Senzori mobilnih telefona, megapikseli i pixel binning

Svet mobilne fotografije prešao je neverovatan put za manje od dve decenije. Od prvih telefona sa kamerama koji su jedva uspevali da zabeleže mutne slike rezolucije 0.1 megapiksela, došli smo do uređaja koji staju u džep, a imaju senzore od 50, 108 ili čak 200 megapiksela. Proizvođači pametnih telefona u svojim marketinškim kampanjama često ističu ove astronomske brojke kao primarni dokaz superiornosti svojih kamera.

Međutim, svako ko je pokušao da uporedi noćnu fotografiju sa telefona od 108 megapiksela i profesionalnog fotoaparata sa "samo" 24 megapiksela, primetio je da profesionalni aparat i dalje daje znatno čistiju sliku sa boljim bojama i većim dinamičkim opsegom. Kako je to moguće? Odgovor leži u fizici svetlosti i u odnosu između broja megapiksela, fizičke veličine senzora i tehnologije obrade slike kao što je Pixel Binning. U ovoj lekciji demistifikovaćemo ove pojmove i naučiti kako mobilni telefoni koriste napredne algoritme da prevaziđu svoja fizička ograničenja.

Fizička ograničenja mobilne optike i senzora

Da bismo razumeli zašto megapikseli nisu jedino merilo kvaliteta, moramo analizirati fizička ograničenja pametnih telefona. Telefon mora biti tanak, lagan i estetski privlačan. To znači da prostor namenjen modulu kamere iznosi svega nekoliko milimetara u dubinu i širinu.

U klasičnoj fotografiji, kvalitet slike zavisi od količine svetlosti koju možemo prikupiti. Veliki objektivi sa promerom stakla od nekoliko centimetara propuštaju ogromnu količinu svetlosti koja pada na veliki senzor punog formata (full-frame, dimenzija 36x24 milimetra). Na telefonu su i objektiv i senzor mikroskopski mali u poređenju sa profesionalnom opremom.

Veličina senzora kao ključni faktor

Senzor je elektronski čip sastavljen od miliona fotoosetljivih dioda – piksela. Možemo ih zamisliti kao kofice koje skupljaju svetlost (fotone). Što je kofica veća, to više vode (svetlosti) može da prikupi pre nego što se prelije, i manja je verovatnoća da će vetar (šum) uticati na merenje.

• Na velikom senzoru profesionalnog fotoaparata, pikseli su veliki (obično između 4 i 8 mikrona).
• Na malom senzoru mobilnog telefona, ako na istoj površini pokušamo da smestimo 108 ili 200 miliona piksela, ti pikseli moraju biti ekstremno mali (često svega 0.5 do 0.8 mikrona).

Mali pikseli prikupljaju vrlo malo svetlosti. Rezultat je slabiji odnos signala i šuma (Signal-to-Noise Ratio), što se u praksi manifestuje kao zrnasta struktura (digitalni šum) i gubitak detalja u senkama i svetlim delovima slike (loš dinamički opseg), posebno u uslovima slabog osvetljenja.

Veličine mobilnih senzora: kako čitati oznake

Kada čitate specifikacije mobilnih telefona, susrećete se sa oznakama poput 1/2.55", 1/1.7", 1/1.33" ili čak 1". Ove oznake su frakcione, što znači da je senzor veći što je imenilac (broj ispod razlomačke crte) manji.

Na primer, senzor veličine 1/1.33" je znatno veći od senzora od 1/2.55". Poslednjih godina, u premijum klasu telefona ušli su takozvani "1-inčni senzori" (1-inch type). Iako zvuči kao da senzor ima prečnik od 2.54 cm, njegova stvarna dijagonala je oko 1.6 cm, što je i dalje gigantski za standarde mobilnih telefona i omogućava drastično bolji kvalitet slika.

Šta je pixel binning i kako funkcioniše?

Da bi rešili problem malih piksela na senzorima visoke rezolucije, inženjeri su razvili tehnologiju pod nazivom Pixel Binning (spajanje piksela).

Pixel Binning je softversko-hardverski proces u kojem se susedni pikseli na senzoru grupišu i posmatraju kao jedan veliki piksel (super-pixel). Ovaj proces se odvija direktno na senzoru pre nego što se slika pošalje na dalju obradu procesoru (ISP - Image Signal Processor).

Vrste pixel binninga:

1. 4-in-1 Binning (Quad Bayer / Tetra-binning): Senzor spaja blokove od 4 susedna piksela (2x2) u jedan. Na primer, senzor od 48 megapiksela snima fotografiju rezolucije 12 megapiksela. Efektivna veličina piksela se udvostručuje (npr. sa 0.8 mikrona na 1.6 mikrona), što omogućava znatno bolju osetljivost na svetlo.
2. 9-in-1 Binning (Nonapixel): Senzor spaja blokove od 9 susednih piksela (3x3). Najčešće se koristi kod senzora od 108 megapiksela, dajući krajnju sliku od 12 megapiksela.
3. 16-in-1 Binning (Tetra2pixel): Najnoviji senzori od 200 megapiksela spajaju 16 piksela (4x4) u jedan, stvarajući fotografiju od 12.5 megapiksela. U ovom režimu, mikroskopski pikseli od 0.56 mikrona postaju ekvivalent pikselu veličine 2.24 mikrona, što pruža impresivne performanse u noćnim uslovima.

Quad bayer vs. standardni bayer raspored

Kod klasičnog senzora, pikseli različitih boja (crvena, zelena, plava) su pomešani u RGGB mozaik. Kod senzora koji koriste Pixel Binning, koristi se prilagođeni raspored (npr. Quad Bayer) gde su grupe piksela iste boje postavljene jedna pored druge. To omogućava njihovo lako elektronsko spajanje bez mešanja informacija o bojama.

Računarska fotografija (computational photography)

Senzori i Pixel Binning su samo polovina uspeha modernih telefona. Druga polovina je računarska fotografija – upotreba moćnih procesora i AI algoritama koji u realnom vremenu obrađuju sliku.

S obzirom na to da senzor telefona ne može da primi dovoljno svetla odjednom bez stvaranja šuma, telefoni koriste tehniku višestruke ekspozicije (Multi-frame processing):

• Kada pritisnete dugme za slikanje, telefon zapravo snimi niz od 8 do 15 fotografija u deliću sekunde, neke podeksponirane (da sačuva detalje u svetlim delovima), neke preeksponirane (da izvuče detalje iz senki).
• AI algoritmi zatim poravnavaju ove slike (kompenzujući pomeranje ruku fotografa) i spajaju ih u jednu fotografiju sa ogromnim dinamičkim opsegom (HDR) i minimalnim šumom.
• Noćni režim (Night Mode) koristi istu tehniku, ali produžava vreme snimanja na nekoliko sekundi, koristeći AI da razlikuje stvarni pokret u kadru od podrhtavanja kamere.

Tabela: poređenje rezolucija i performansi senzora mobilnih telefona

Da bismo lakše razumeli kako rezolucija i veličina piksela utiču na fotografiju, pogledajmo sledeće poređenje:

Zablude o megapikselima u mobilnoj fotografiji

Marketinški pritisak je stvorio nekoliko duboko ukorenjenih zabluda kod korisnika:

Zabluda 1: "više megapiksela automatski znači bolje fotografije"

Ovo je netačno. Kvalitet fotografije primarno zavisi od optičkog kvaliteta sočiva, fizičke veličine senzora i algoritama za obradu slike. Telefon sa senzorom od 12MP koji je fizički veći (npr. iPhone Pro modeli ili stariji Pixel modeli) često pravi znatno bolje slike od jeftinijeg telefona sa senzorom od 64MP ili 108MP malih dimenzija.

Zabluda 2: "slike od 108MP su uvek oštrije od onih od 12MP"

Samo pod idealnim uslovima osvetljenja (jako sunce) i ako držite telefon savršeno mirno. U punoj rezoluciji od 108MP ili 200MP, pikseli su toliko mali da i najmanji šum ili mikro-pomeranje ruke može da zamuti sliku, poništavajući prednost u rezoluciji. Takođe, optika (sočivo) mobilnog telefona često nema dovoljnu rezolutivnu moć (oštrinu) da projektuje tako fine detalje na senzor, pa slika u punoj rezoluciji može izgledati mutno kada se uveliča na 100%.

Zabluda 3: "digitalni zum na 200MP je isto što i optički zum"

Iako senzori visoke rezolucije omogućavaju takozvani "in-sensor crop" (isecanje centralnog dela senzora od npr. 12MP iz 200MP baze kako bi se simulirao 2x ili 3x zum), to i dalje nije isto što i pravi optički zum. Optički zum koristi sočiva koja fizički menjaju žižnu daljinu i zadržavaju punu površinu senzora za prikupljanje svetlosti, dok isecanje senzora smanjuje količinu svetla i povećava šum.

Za sve one koji žele da prošire svoja znanja o vizuelnoj umetnosti i videokreaciji, preporučujemo da istražite resurse na portalu Kotodama.

Reference i preporučena literatura

Za one koji žele dublje da prouče tehnologiju poluprovodnika, arhitekturu digitalnih senzora i napredne koncepte računarske fotografije, preporučujemo sledeće resurse:

1. Nakamura, Junichi. Image Sensors and Signal Processing for Digital Still Cameras. Boca Raton: CRC Press, 2005.
   • Komentar: Stručna tehnička knjiga koja detaljno opisuje fiziku poluprovodnika, dizajn CMOS i CCD senzora, procese konverzije svetlosti u električni signal i algoritme za obradu slike u kamerama.
2. Szeliski, Richard. Computer Vision: Algorithms and Applications. London: Springer, 2nd Edition, 2022.
   • Komentar: Enciklopedijsko delo iz oblasti računarskog vida koje pokriva algoritme za spajanje slika, HDR tehnologiju, noćne režime i tehnike koje moderni pametni telefoni koriste za računarsku fotografiju.
3. Hogarty, Steve. The Mobile Photography Book. New York: Amphoto Books, 2015.
   • Komentar: Praktičan vodič koji objašnjava kako izvući maksimum iz hardverskih ograničenja kamera pametnih telefona, uz teorijska objašnjenja funkcionisanja ekspozicije i senzora na mobilnim uređajima.
4. Bayer, Bryce E. Color Imaging Array. US Patent 3,971,065, 1976.
   • Komentar: Originalni patent Brajsa Bajera koji opisuje raspored filtera u boji koji se i danas koristi u preko 99% svih digitalnih senzora na svetu, što predstavlja temelj za razumevanje modifikacija kao što su Quad Bayer i Nonapixel.