Noćni režim: kako mobilni telefoni slikaju u mraku

Slikanje u uslovima slabog osvetljenja oduvek je predstavljalo najveći tehnički izazov u fotografiji. Dok je tokom sunčanog dana količina dostupne svetlosti tolika da čak i najjednostavniji senzori mogu da naprave oštre i detaljne fotografije, noć pretvara fotografisanje u borbu za svaki foton. Tradicionalni pristup noćnoj fotografiji zahtevao je upotrebu glomaznih stativa, ručno podešavanje dugih ekspozicija (često po nekoliko sekundi ili minuta) i skupe objektive sa velikim otvorom blende.

Sa pojavom pametnih telefona, ovaj problem je postao još izraženiji. Zbog potrebe da telefoni ostanu tanki i lagani, sočiva i senzori u njima su morali da ostanu ekstremno mali. Fizički zakoni su neumoljivi: manji senzor prikuplja manje svetlosti, što u uslovima noćnog snimanja rezultira tamnim slikama punim zrnatog digitalnog šuma ili potpuno zamućenim kadrovima usled podrhtavanja ruku. Da bi rešila ovaj problem, industrija mobilnih telefona morala je da redefiniše način na koji kamere funkcionišu, oslanjajući se na moć kompjuterske fotografije (computational photography) i razvijajući noćni režim (Night Mode).

U ovoj lekciji ćemo detaljno analizirati kako funkcioniše ova softversko-hardverska magija, koji se matematički i fizički principi kriju iza nje, i kako je možete maksimalno iskoristiti za kreiranje zapanjujućih noćnih snimaka.

Problem slabog svetla i fizička ograničenja hardvera

Kada pritisnemo dugme zatvarača na kameri, senzor počinje da prikuplja fotone (svetlost) i pretvara ih u električni signal. Kvalitet digitalne slike u velikoj meri zavisi od odnosa signala i šuma (engl. Signal-to-Noise Ratio - SNR). U dobro osvetljenim scenama, signal (korisna svetlost) je dominantan, dok je šum (slučajne varijacije u električnom naponu senzora) neprimetan. Međutim, u mraku, količina korisnog signala opada, a šum ostaje isti. Ako pokušamo da posvetlimo sliku jednostavnim softverskim pojačanjem signala (povećanjem ISO osetljivosti), mi zapravo pojačavamo i šum, što rezultira ružnim zrnima i gubitkom detalja.

Druga opcija je produžavanje vremena ekspozicije - ostavljanje zatvarača otvorenim duže vreme kako bi senzor sakupio dovoljno fotona. Ali, tu se javlja novi problem: ljudsko telo ne može da ostane savršeno mirno. Svako mikroskopsko podrhtavanje ruku tokom ekspozicije duže od 1/10 sekunde rezultiraće zamućenjem cele fotografije.

Mobilni telefoni su se našli u procepu između ova dva problema. Rešenje koje je ponudio noćni režim nije bilo optičko, već računarsko. Umesto jedne duge ekspozicije ili ekstremno visokog ISO-a, telefon koristi proces slaganja slika (image stacking) i napredno digitalno procesiranje u realnom vremenu.

Anatomija noćnog režima: korak po korak

Kada prebacite kameru u noćni režim i pritisnete okidač držeći telefon u ruci, procesor telefona prolazi kroz složen niz faza u roku od svega nekoliko sekundi.

1. Snimanje niza kratkih ekspozicija (bracketed burst)

Umesto da drži senzor otvorenim npr. tri sekunde, telefon u trenutku pritiska na dugme snima veliki broj pojedinačnih fotografija (frejmova) u brzom nizu. Broj frejmova može da varira od 8 pa do više od 30, u zavisnosti od tame i procesorske snage telefona.

Ono što je ključno jeste da ovi frejmovi nisu svi isti. Telefon koristi tehniku zvanu "ekspozicioni breketiranje" (exposure bracketing). To znači da snima mešavinu:

• Veoma brzih, tamnih frejmova: Ovi frejmovi imaju kratko vreme ekspozicije (npr. 1/100s) i služe da "zamrznu" pokrete i sačuvaju detalje u najsvetlijim delovima scene, kao što su ulične svetiljke ili neon reklame, koje bi inače bile potpuno "spaljene" (preeksponirane).
• Srednjih frejmova: Ovi frejmovi služe kao osnova za tonove i boje.
• Dužih frejmova: Ako telefon detektuje da je postavljen na stativ ili da je ruka izuzetno mirna, on će snimiti i nekoliko dužih frejmova (npr. 1/4s) kako bi izvukao detalje iz najdubljih senki.

2. Poravnavanje kadrova u realnom vremenu (alignment)

Pošto se ruke fotografa neizbežno pomeraju tokom ovog procesa, svaki snimljeni frejm je blago pomeren u prostoru (rotiran ili transliran) u odnosu na prethodni. Pre nego što se slike spoje, one moraju biti savršeno poravnate.

Procesor telefona koristi napredne algoritme za prepoznavanje geometrijskih oblika i kontrastnih ivica na slici. On mapira stotine "kontrolnih tačaka" na svakom frejmu i koristi složene matematičke matrice (homografiju) kako bi svaki frejm deformisao i poravnao sa referentnim frejmom (obično onim koji je najoštriji). Ako se tokom slikanja u kadru našao objekat koji se kreće (npr. pešak), algoritam za detekciju pokreta locira te piksele i primenjuje tehnike de-ghosting-a, odbacujući informacije o pokretu sa ostalih frejmova kako se na finalnoj slici ne bi pojavile providne siluete ili razmazani tragovi.

3. Matematičko spajanje i redukcija šuma (stacking & noise reduction)

Kada su frejmovi poravnati, softver vrši njihovo spajanje kroz matematički proces prosekavanja piksela (pixel averaging). Pored jednostavnog sabiranja svetlosti radi kreiranja svetlije slike, ovaj proces ima čudesan uticaj na šum.

Digitalni šum je po svojoj prirodi slučajan (stohastički). To znači da ako pogledamo jedan određeni piksel na 10 različitih fotografija snimljenih u mraku, šum će na nekima taj piksel učiniti svetlijim, na nekima tamnijim, a na nekima u pogrešnoj boji. Nasuprot tome, stvarni objekat na slici uvek zadržava istu vrednost. Kada algoritam sabere vrednosti tog piksela sa svih 10 frejmova i podeli ih sa 10 (izračuna prosek), slučajni šum se međusobno poništava, dok stvarni signal ostaje čist.

Matematički, odnos signala i šuma se poboljšava sa kvadratnim korenom broja spojenih slika ($ sqrt{N}$). Ako spojimo 16 slika, nivo šuma na finalnoj fotografiji biće smanjen za faktor 4 (odnosno za 2 ekspoziciona koraka), što je ekvivalentno prelasku sa šumnog ISO 6400 na čisti ISO 1600.

4. Semantička segmentacija i lokalno toniranje (tone mapping)

Poslednji korak je estetska obrada slike. Spojena slika visoke dinamike (HDR) ima preveliki raspon svetline koji standardni ekrani ne mogu da prikažu bez obrade. Zato softver primenjuje lokalno toniranje (local tone mapping).

Procesor koristi veštačku inteligenciju da prepozna različite regione na slici (nebo, zgrade, lica ljudi, svetla). Zatim selektivno posvetljava duboke senke kako bi otkrio detalje u mraku, dok istovremeno prigušuje jake izvore svetlosti kako ne bi blještali. Nebo se često softverski potamnjuje kako bi se očuvao noćni karakter scene, a šum u jednobojnim površinama (kao što je noćno nebo) dodatno se pegla naprednim filterima za prostornu redukciju šuma.

Uloga hardvera: senzori i stabilizacija

Iako je softver srce noćnog režima, on ne bi mogao da postigne ovakve rezultate bez ključnih hardverskih inovacija koje su se desile u poslednjoj deceniji.

Napredna optička stabilizacija slike (OIS)

Optička stabilizacija slike (OIS) je fizički mehanizam koji suspenduje modul kamere (ili sam senzor kod sensor-shift tehnologije) unutar magnetnog polja. Žiroskopi unutar telefona detektuju mikro-pomeranja vaših ruku hiljadama puta u sekundi, a elektromagnetni motori pomeraju sočivo ili senzor u suprotnom smeru kako bi kompenzovali to kretanje.

U kontekstu noćnog režima, OIS omogućava telefonu da pojedinačne frejmove unutar niza snima sa znatno dužim ekspozicijama (npr. 1/8s umesto 1/30s) bez opasnosti od zamućenja usled podrhtavanja ruku. To znači da svaki pojedinačni frejm u startu sadrži mnogo više svetlosti i informacija, olakšavajući softveru kasniju obradu.

Veliki senzori i piksel bining

Fizička veličina senzora direktno utiče na njegovu sposobnost prikupljanja svetlosti. U poslednje vreme svedoci smo trenda ugradnje senzora veličine 1 inč u premijum pametne telefone, što je veličina koja se nekada koristila u naprednim kompaktnim fotoaparatima.

Paralelno sa veličinom senzora, razvijena je tehnologija piksel bininga. Umesto da senzor od npr. 50 megapiksela snima sliku visoke rezolucije u mraku (gde bi pojedinačni pikseli bili ekstremno mali i podložni šumu), senzor elektronski spaja grupe od 4 ili 9 susednih piksela. Ovi spojeni pikseli deluju kao jedan džinovski piksel koji može da prikupi znatno više svetlosti, dajući čistu fotografiju od 12 megapiksela sa superiornim performansama u mraku.

Praktični vodič: kako izvući maksimum iz noćnog režima

Noćni režim na modernim telefonima se uglavnom aktivira automatski kada telefon proceni da u sceni nema dovoljno svetlosti. Međutim, razumevanjem procesa možete preduzeti korake koji će dramatično poboljšati kvalitet vaših fotografija.

1. Obezbedite maksimalnu stabilnost

Iako algoritmi vrše poravnavanje kadrova, njihova moć nije neograničena. Što stabilnije držite telefon, to će rezultati biti bolji.

• Držite telefon sa obe ruke, laktove prislonite uz telo ili ih oslonite na čvrstu površinu (npr. sto, ogradu).
• Kada pritisnete okidač, zadržite dah na trenutak i nemojte pomerati telefon sve dok se odbrojavanje na ekranu potpuno ne završi.
• Ako koristite stativ, telefon će to detektovati pomoću žiroskopa i automatski će produžiti vreme slikanja (ponekad i do 30 sekundi). Ovo omogućava telefonu da snimi frejm sa izuzetno niskim ISO vrednostima i dugim ekspozicijama, što rezultira fotografijama vrhunskog kvaliteta koje mogu da pariraju DSLR aparatima, a omogućava i astrofotografiju (slikanje zvezdanog neba).

2. Ručno kontrolišite ekspoziciju (exposure slider)

Automatski proračun noćnog režima često teži da scenu učini svetlijom nego što ona zapravo jeste, pretvarajući noćne pejzaže u neprirodno osvetljene kadrove koji izgledaju kao da su snimljeni tokom tmurnog dana. Da biste sačuvali atmosferu noći:

• Tapnite na ekran na mesto gde se nalazi glavni subjekat kako biste zaključali fokus.
• Povucite klizač sa ikonicom sunca (koji se pojavljuje pored fokusa) nadole kako biste blago smanjili ekspoziciju. Ovo će potamniti senke, sačuvati crnilo neba i dati fotografiji prirodniji, kontrastniji izgled sa manje šuma u tamnim partijama.

3. Koristite isključivo primarni objektiv

Kada fotografišete noću, izbegavajte upotrebu ultraširokog ili telephoto objektiva osim ako vaš telefon ne pripada najvišoj klasi sa naprednim senzorima na svim kamerama. Glavna (širokougaona) kamera uvek ima najveći senzor i najsvetliji objektiv, što je čini jedinim pravim izborom za ekstremne noćne uslove. Ako vam je potreban bliži kadar, radije se fizički približite subjektu nego što ćete koristiti optički zum koji prebacuje na manji i tamniji telephoto senzor.

Česte greške i kako ih izbeći

1. Slikanje brzih pokreta u noćnom režimu: Nikada nemojte koristiti noćni režim za slikanje sporta, dece koja trče ili kućnih ljubimaca u pokretu noću. Algoritam spajanja slika će stvoriti mutne, razmazane fleke i duhove. Za takve scene prebacite telefon u manuelni (Pro) režim, ručno postavite brzu ekspoziciju (npr. 1/125s) i prihvatite viši nivo šuma zarad oštrine subjekta.
2. Korišćenje blica u kombinaciji sa noćnim režimom: Ugrađeni LED blic na telefonima ima veoma mali domet (obično do 2-3 metra) i daje izuzetno grubo, direktno svetlo koje uništava atmosferu i stvara neprirodne tonove kože. Noćni režim je dizajniran da koristi postojeće ambijentalno svetlo. Isključite blic i dozvolite algoritmima da odrade svoj posao koristeći prirodno svetlo uličnih svetiljki ili izloga.
3. Zaboravljanje na čišćenje stakla objektiva: Pošto noću svetlosni izvori (farovi automobila, ulične lampe) sijaju direktno u objektiv, svaka masnoća ili otisak prsta na staklu stvoriće ružne svetlosne linije i odsjaje (lens flare) koji mogu potpuno uništiti fotografiju. Uvek prebrišite staklo kamere čistom pamučnom krpom pre nego što počnete sa noćnim slikanjem.

Saznajte više o profesionalnoj video produkciji na Kotodama

Reference i preporučena literatura

1. Hasinoff, Samuel W., et al. Burst photography for high dynamic range and low-light imaging on mobile phones. ACM Transactions on Graphics (TOG), 2016.
   • Komentar: Ovaj naučni rad inženjera iz Google-a predstavlja temelj razvoja HDR+ algoritama koji su direktno omogućili razvoj modernog noćnog režima na pametnim telefonima kroz proces spajanja brzih rafala kratkih ekspozicija.
2. Nakamura, Junichi. Image Sensors and Signal Processing for Digital Still Cameras. CRC Press, 2005.
   • Komentar: Detaljan tehnički priručnik koji objašnjava arhitekturu digitalnih senzora, funkcionisanje procesora za obradu slike (ISP) i mehanizme redukcije šuma na hardverskom i softverskom nivou.
3. Ray, Sidney F. Applied Photographic Optics, 3rd Edition. Focal Press, 2002.
   • Komentar: Sveobuhvatna knjiga o optici u fotografiji koja pruža duboko razumevanje ponašanja svetlosti, aberacija sočiva i tehničkih izazova sa kojima se suočavaju minijaturni optički sistemi u mobilnim telefonima.
4. Lukac, Rastislav. Computational Photography: Methods, Algorithms, and Applications. CRC Press, 2010.
   • Komentar: Zbornik radova i teorijskih osnova koji pokrivaju različite aspekte računarske fotografije, uključujući metode spajanja više slika za postizanje većeg dinamičkog raspona i boljeg kvaliteta pri slabom osvetljenju.