典型圖像傳感器的核心是CCD單元(charge-coupled device，電荷耦合器件)或標準CMOS單元(complementary meta-oxide semiconductor，互補金屬氧化物半導體)。CCD和CMOS傳感器具有類(lèi)似的特性，它們被廣泛應用于商業(yè)攝像機上。
不過(guò)，現代多數傳感器均使用CMOS單元，這主要是出于制造方面的考慮。傳感器和光學(xué)器件常常整合在一起用于制造晶片級攝像機，這種攝像機被用在類(lèi)似于生物學(xué)或顯微鏡學(xué)等領(lǐng)域，如圖1所示。
圖像傳感器是為滿(mǎn)足不同應用的特殊目標而設計的，它提供了不同級別的靈敏度和質(zhì)量。
1、傳感器材料
硅制圖像傳感器應用zui廣，當然也會(huì )使用其他材料，比如在工業(yè)和**應用中會(huì )用鎵(Ga)來(lái)覆蓋比硅更長(cháng)的紅外波長(cháng)。
不同的攝像機，其圖像傳感器的分辨率會(huì )有所不同。從單像素光電晶體管攝像機(它通過(guò)一維直線(xiàn)掃描陣列用于工業(yè)應用)，到普通攝像機上的二維長(cháng)方形陣列(所有到球形整列的路徑均用于高分辨率成像)，都有可能用到。
普通成像傳感器采用CCD、CMOS、BSI和Foveon方法進(jìn)行制造。硅制圖像傳感器具有一個(gè)非線(xiàn)性的光譜響應曲線(xiàn)，這會(huì )很好地感知光譜的近紅外部分，但對藍色、紫色和近紫外部分就感知得不好(如圖2所示)。
硅光電二極管的典型光譜響應
可以注意到，光電二極管在900納米附近的近紅外范圍內 具有高的敏感度，而在橫跨400納米～700納米的可見(jiàn)光范圍內具有非線(xiàn)性的敏感度。 由于標準的硅響應的緣故，從攝像機中去掉IR濾波器會(huì )增加近紅外的靈敏度。(光譜數據圖像的使用已獲得OSI光電股份有限公司的許可)
注意，當讀入原始數據，并將該數據離散化成數字像素時(shí)，會(huì )導致硅光譜響應。傳感器制造商在這個(gè)區域做了設計補償，然而，當根據應用標定攝像機系統并設計傳感器處理方法時(shí)，應該考慮傳感器的顏色響應。
2、傳感器光電二極管元件
圖像傳感器的關(guān)鍵在于光電二極管的大小或元件的大小。使用小光電二極管的傳感器元件所捕獲的光子數量沒(méi)有使用大的光電二極管多。
如果元件尺寸小于可捕獲的可見(jiàn)光波長(cháng)(如長(cháng)度為400納米的藍光)，那么為了校正圖像顏色，在傳感器設計中必須克服其他問(wèn)題。傳感器廠(chǎng)商花費大量精力來(lái)設計優(yōu)化元件大小，以確保所有的顏色能同等成像(如圖3所示)。
顏色的波長(cháng)分配
注意，基本顏**域相互重疊， 對所有的顏色而言，綠色是一個(gè)很好的單色替代品
3、傳感器配置：馬賽克、Faveon和BSI
圖4顯示了多光譜傳感器設計的不同片內配置，包括馬賽克和堆疊方法。在馬賽克方法中，顏色過(guò)濾器被裝在每個(gè)元件的馬賽克模式上。Faveon傳感器堆疊方法依賴(lài)于顏色波長(cháng)深度滲透到半導體材料的物理成分，其中每種顏色對硅材料進(jìn)行不同程度的滲透，從而對各自的顏色進(jìn)行成像。整個(gè)元件大小可適用于所有顏色，所以不需要為每種顏色分別配置元件。
圖)堆疊RGB元件的Foveon方法，(右圖)標準的馬賽克元件
反向照明(back-side illuminated，BSI)傳感器結構具有更大的元件區域，并且每個(gè)元件要聚集更多的光子，因而在晶粒上重新布置了傳感器接線(xiàn)。
圖5：元件顏色的幾個(gè)不同馬賽克配置，包括白色、基本RGB顏色和次要CYM元件
傳感器元件的布置也影響到顏色響應。例如，圖5顯示了基本顏色(R、G、B)傳感器以及白色傳感器的不同排列，其中白色傳感器(W)有一個(gè)非常清晰或非彩色的顏色濾波器。
傳感器的排列考慮到了一定范圍的像素處理，如在傳感器對一個(gè)像素信息的處理過(guò)程中，會(huì )組合在鄰近元件的不同配置中所選取的像素，這些像素信息會(huì )優(yōu)化顏色響應或空間顏色分辨率。
4、動(dòng)態(tài)范圍和噪聲
當前，zui先進(jìn)的傳感器每個(gè)顏色單元能提供至少8個(gè)比特位，通常是12～14個(gè)比特位。傳感器元件需要花費空間和時(shí)間來(lái)聚集光子，所以較小的元件必須經(jīng)過(guò)精心設計，以避免產(chǎn)生一些問(wèn)題。
噪聲可能來(lái)自于所用的光學(xué)元件、顏色濾波器、傳感器元件、增益和A/D轉換器、后期處理過(guò)程或者壓縮方法等。傳感器的讀出噪聲也會(huì )影響到實(shí)際的分辨率，因為每個(gè)像素單元從傳感器中讀出再傳到A/D轉換器中，從而組成數字形式的行和列，以便用于像素轉換。越好的傳感器會(huì )產(chǎn)生越少的噪聲，同時(shí)會(huì )得到更高效的比特分辨率。
5、傳感器處理
通常在每個(gè)成像系統中都有一個(gè)專(zhuān)有的傳感器處理器，包括一個(gè)快速HW傳感器接口、優(yōu)化的超長(cháng)指令集(very long instruction word,VLIW)、單指令多數據流(single instruction multiple data, SIMD)指令以及具有固定功能的硬件模塊，這些功能是為了解決大規模并行像素處理所造成的工作負載。
通常，傳感器處理過(guò)程透明且自動(dòng)化，并由成像系統的生產(chǎn)廠(chǎng)商設置，來(lái)自傳感器的所有圖像均以同樣的方式處理。也存在用于提供原始數據的其他方式，這些數據允許針對應用來(lái)定制傳感器處理過(guò)程，就像數字攝影那樣。
6、去馬賽克
馬賽克的一個(gè)主要挑戰之一是像素插值，其作用是將鄰近單元的顏色通道組合成單個(gè)像素。在給定傳感器元件排列的幾何形狀以及單元排列的縱橫比的條件下，這是一個(gè)重要的問(wèn)題。一個(gè)與之相關(guān)的問(wèn)題是顏色單元的加權問(wèn)題，如在每個(gè)RGB像素中每種顏色應該占多少比例。
因為在馬賽克傳感器中，空間元件分辨率大于zui終組合的RGB像素分辨率，某些應用需要原始傳感器數據，以便盡可能利用所有的精度和分辨率，或者有些處理要么需要增強有效的像素分辨率，要么需要更好地實(shí)現空間精 確的顏色處理和去馬賽克處理。
7、壞像素的校正
像LCD顯示器一樣，傳感器也可能會(huì )有壞像素。通過(guò)在攝像機模塊或驅動(dòng)程序中提供需要校正的壞像素坐標，供應商可以在工廠(chǎng)校正傳感器，并為已知的缺陷提供一個(gè)傳感器缺陷圖。
在某些情況下，自適應的缺陷校正方**用在傳感器上，以便監控鄰近像素點(diǎn)來(lái)發(fā)現缺陷，然后校正一定范圍內的缺陷類(lèi)型，比如單像素缺陷、列或行缺陷以及類(lèi)似2×2或3×3的塊狀缺陷。為了實(shí)時(shí)尋找瑕疵，攝像機驅動(dòng)也可提供自適應的缺陷分析，在攝像機的啟動(dòng)菜單中可能會(huì )提供一個(gè)特殊的補償控制。
8、顏色和照明校正
有必要進(jìn)行顏色校正以便平衡總的顏色精 確度和白平衡。如圖1-2所示，硅傳感器上對紅色和綠色這兩種顏色通常很敏感，但是對藍色卻不敏感，因此，理解和標定傳感器是得到zui精 確顏色的基本工作。
大多數圖像傳感器的處理器包含了用于光暈校正的幾何處理器，這在圖像的邊緣表現為光照更暗。校正基于幾何扭曲函數，可考慮可編程的光照功能來(lái)增加朝向邊緣的光照，這需要在出廠(chǎng)前進(jìn)行標定，以便與光學(xué)的光暈模式相匹配。
9、幾何校正
鏡頭可能會(huì )有幾何相差或朝邊緣發(fā)生扭曲，產(chǎn)生徑向失真的圖像。為了解決鏡頭畸變，大多數成像系統具有專(zhuān)用的傳感器處理器，它有一個(gè)硬件加速的數字扭曲元件，類(lèi)似于GPU上的紋理采樣器。在工廠(chǎng)就會(huì )針對光學(xué)器件的幾何校正進(jìn)行校準并編程。