Een digitale camera gebruikt een reeks van miljoenen licht gaatjes om een foto te genereren, deze lichtgaatjes worden ook wel ‘photosites’ genoemd. Wanneer je op de opname knop drukt begint de belichting en worden de fotonen opgeslagen. Wanneer de belichting voltooid is, sluit de camera elke photosite en probeert vervolgens te bepalen hoeveel fotonen in elke gaatje terecht zijn gekomen. De relatieve hoeveelheid fotonen in elk gaatje worden dan gesorteerd op intensiteit en uitgelezen als een elektrisch signaal, gekwantificeerd en opgeslagen als waarden in een digitaal bestand. De precisie hiervan is afhankelijk van de kleurdiepte (0-255 voor een 8 bits plaatje).

Een foton is een lichtdeeltje.

Voor het beoordelen van kleuren gebruiken digitale camera's meestal  filters om ervoor te zorgen dat slechts één kleur tegelijk wordt opgeslagen (zie monochrome versus kleursensoren). Wat Bayer-sensoren uniek maakt, is hoe deze kleurfilters zijn gerangschikt.

De hierboven vertoonde situatie zou een zwart wit plaatje opleveren omdat de gaatjes niet in staat zijn om de hoeveelheid licht van elke specifieke kleur te onderscheiden. Daarom wordt er over elke photosite een kleurfilter geplaatst dat alleen een bepaalde kleur licht doorlaat.

Bijna alle huidige digitale camera’s kunnen slechts één van de drie primaire kleuren per photosite verwerken, hierdoor wordt er dus ruwweg 2/3 van het binnenkomende licht niet gebruikt. Het gevolg hiervan is dat de camera de andere 2 kleuren moet schatten om de volledige kleur van de pixel te kunnen bepalen. De meest voorkomende kleurenfiltermatrix wordt de ‘bayer array’ genoemd.

Een bayer matrix bestaat uit variërende rijen van rode, blauwe en groene filters. Waarbij er twee keer zo veel groene filters dan rode of blauwe. Elke basiskleur krijgt niet een gelijkmatig deel omdat het menselijk oog gevoeliger is voor groen dan rood of blauw. Een plaatje met een overvloedige hoeveelheid groene pixels lijkt minder ruis te hebben en heeft meer detail dan als elke kleur een gelijkmatig verdeelt zou worden. Dit verklaart ook waarom de ruis in het groen veel minder is dan in de andere kleuren.

Het gebruiken van extra rode en blauwe en minder groene filters zou een betere kleurresolutie opleveren (wat minder waarneembaar is), maar ook resulteren in een slechtere helderheidsresolutie (wat beter waarneembaar is). Als alternatief nemen photosites zonder kleurenfilters geen licht weg en vereisen geen demosaicing (debayering), maar deze geven alleen een monochroom (zwart/wit) beeld. Idealiter zou de kleur van elke pixel worden bepaald door photosites van elke primaire kleur.

Debayering (de-mosaieken)
Debayering is het vertalingsproces van de primaire kleuren naar het uiteindelijke plaatje welke de volledige kleurinformatie bevat. Om te begrijpen hoe de camera de kleuren berekent, moet je het bekijken alsof de camera 4 photosites ziet als 1 volledig kleurgaatje.

De camera’s nemen echter nog nauwkeurige stappen om de kleurinformatie te berekenen, anders zou op deze manier slecht de helft van de mogelijke resolutie in horizontale en verticale richting kunnen worden behaald. Dit is echter niet het geval als de reeksen elkaar overlappen, met behulp van algoritmes wordt de kleur van elke pixel berekend.

Er bestaan ook andere logaritmes waardoor een nog betere resolutie kan worden verkregen. Maar het basisprincipe waarop de camera zijn kleuren berekend wordt hiermee duidelijk. Bij Debayering worden alle kleuren omgerekend naar de daadwerkelijke pixelwaardes.

RAW
Bij een RAW-camera wordt de informatie afkomstig van de beeldsensor rechtstreeks als data opgeslagen, er vindt dus geen debayering plaats. Om deze reden kunnen RAW-beelden ook niet meteen bekeken worden.

De data moet eerst met behulp van een debayering algoritme omgerekend worden naar een colorspace met specifieke pixelwaardes om het uiteindelijke plaatje te kunnen vormen. Dit omzettingsproces is intensief voor de processor van een computer en om deze reden is het met veel computers niet mogelijk om RAW beelden te monteren.    

De-mozaiek vervorming (Moire)
Afbeeldingen met een kleinschalig detail waarbij het detail van een onderwerp kleiner is dan de grote van de pixel zal het limiet van de resolutie van de sensor resulteren in een onrealistisch effect. De meest voorkomende vervorming is moiré, wat eruitziet als een zich herhalend patroon. Wanneer er in de nabewerking gedownscaled wordt kan er zowel kleurvervorming (chromatic aberation) als maasvervorming (aliasing) ontstaan.

Zelfs als elke photosite elke kleur zou kunnen registeren kunnen vervormingen als moiré en dergelijke nog steeds ontstaan. Dit is een onvermijdelijk fenomeen bij een systeem dat een continu signaal registreert. Om dit tegen te gaan wordt bij nagenoeg elke digitale sensor een ‘optical low pass’ (OLPF) filter of een anti-aliasing (AA) filter gebruikt. Dit is over het algemeen een dunne laag direct aan de voorkant van de sensor die details kleiner dan de resolutie van de sensor vervaagd.

Microlens arrays
In de werkelijkheid wordt niet de gehele oppervlakte van de sensor voorzien van photosites. In feite bedekken ze ongeveer de helft van een camerasensor. Elk gaatje is voorzien van een punt dat de fotonen van het ene naar het andere gaatje leidt. Digitale camera’s bevatten microlenzen aan de bovenkant van elke photosite om het licht beter te kunnen vangen. Dit zijn analoge tunnels die de fotonen naar de ‘photosites’ leiden waar anders fotonen ongebruikt zouden zijn gebleven, anders zou slechts 1/3 van de fotonen gebruikt worden.

Camera’s met goede microlenzen verbeteren het fotonensignaal bij elke photosite en hebben daardoor plaatjes met veel minder ruis.

Er zijn drie andere manieren waarop fotonen geregistreerd kunnen worden:

1. Striped RGB groepeert drie photosites in elke pixel, vergelijkbaar met hoe de fosfors op oudere CRT-televisies werden gerangschikt. De eerste motivatie was om deze direct in RGB-pixels te kunnen lezen, zonder dat daarvoor een demosaicing-algoritme nodig was. Omdat elke kleur zich in een andere positie bevindt, zijn deze sensoren bovendien gevoelig voor regenboogartefacten wanneer ze rechtstreeks als RGB-waarden worden ingelezen.

2. Three-Chip RGB & Prism - Deze bereiken de indrukwekkende prestatie om de precieze locatie van elke kleur licht te registreren zonder gebruik te maken van kleurenfilters. Dit verhoogt echter de kosten aanzienlijk door het sensoroppervlak van drie chips te voorzien. Om de prijzen concurrerend te houden, wordt de omvang van elke sensor vaak beperkt, maar dit vereist niet-standaardlenzen en vermindert het gebied waar licht wordt verzameld. Het gebruik van een prisma om licht te richten heeft ook het potentieel om nieuwe beeldartefacten te introduceren, omdat licht niet op de gewenste manier kan breken (afhankelijk van hoek, afstand en polarisatie).

3. Stacked RGB – Bij deze techniek is het mogelijk om elke kleur op één photosite te onderscheiden. Hoewel dit in eerste instantie de ideale oplossing lijkt te zijn - met behulp van één enkele sensor om alle drie de kleuren op elke photosite te registreren - zijn alle huidige implementaties ver verwijderd van de theoretische voordelen. Een belangrijke reden is dat deze sensoren moeite hebben met het onderscheiden van kleuren, omdat ze werken door de penetratie in de photosites te berekenen in plaats van het gebruik van speciaal ontworpen kleurenfilters. Als gevolg hiervan hebben deze sensoren een interne verzadigingsboost nodig, die de beeldruis verhoogt. Verder moet de uitleessnelheid van deze sensoren nog steeds standaard videoframesnelheden bereiken bij normale uitzendresoluties.

Hoewel de laatste twee voorbeelden aanvankelijk misschien een hogere resolutie dan Bayer-arrays lijken te behalen, wordt dit potentiële voordeel gecompenseerd door de behoefte aan een anti-aliasingfilter om artefactvrije video te bereiken. In dergelijke gevallen worden photosites inefficiënt toegewezen aan het verbeteren van de resolutie en kunnen ze beter worden gebruikt voor andere aspecten van het vastleggen van afbeeldingen, zoals gevoeligheid of dynamisch bereik.