TWI435167B - 影像感測器中改良的光感性 - Google Patents

影像感測器中改良的光感性 Download PDF

Info

Publication number
TWI435167B
TWI435167B TW096145727A TW96145727A TWI435167B TW I435167 B TWI435167 B TW I435167B TW 096145727 A TW096145727 A TW 096145727A TW 96145727 A TW96145727 A TW 96145727A TW I435167 B TWI435167 B TW I435167B
Authority
TW
Taiwan
Prior art keywords
pixels
color
pixel
image sensor
image
Prior art date
Application number
TW096145727A
Other languages
English (en)
Other versions
TW200834227A (en
Inventor
John T Compton
Michele O'brien
John F Hamilton Jr
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW200834227A publication Critical patent/TW200834227A/zh
Application granted granted Critical
Publication of TWI435167B publication Critical patent/TWI435167B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

影像感測器中改良的光感性
本發明係關於一種具有改良的光感性之二維影像感測器。
電子成像系統取決於用以建立視覺影像之電子表示的電子影像感測器。此類電子影像感測器之範例包含電荷耦合裝置(CCD)影像感測器及主動像素感測器(APS)裝置(APS裝置係因能夠在互補金氧半導體程序中製造其而通常稱為CMOS感測器)。通常而言，此等影像感測器包含通常配置在列及行之規則圖案中的若干光敏像素。為捕獲彩色影像，通常在像素圖案上製造濾光片圖案，將不同濾光片材料用以使個別像素僅對可見光頻譜之一部分敏感。彩色濾光片必須減小達到每一個像素的光之數量，且因此減小每一個像素之光感性。不斷需要改良電子彩色影像感測器之光感性或照相速度以容許影像在較低光位準情況下得以捕獲或允許影像在較高光位準情況下採用較短曝光時間得以捕獲。
影像感測器係線性或二維的。一般而言，此等感測器具有兩種不同類型的應用。二維感測器係通常適合於影像捕獲裝置，例如數位相機、行動電話及其他應用。線性感測器係通常用於掃描文件。在任一情況下，當使用彩色濾光片時，影像感測器具有減小的敏感性。
由伊士曼柯達公司(Eastman Kodak Company)製造的線 性影像感測器KLI－4104包含四個線性單一像素寬像素陣列，其中將彩色濾光片應用於該等陣列之三個以使每一個陣列對紅色、綠色或藍色全部敏感，而且未將彩色濾光片陣列應用於第四個陣列；此外，該三個彩色陣列具有較大像素用以補償光感性由於彩色濾光片而引起的減小，而且第四個陣列具有較小像素用以捕獲高解析度光度影像。當使用此影像感測器捕獲一影像時，將該影像表示為一高解析度、高照相敏感性光度影像連同三個較低解析度影像，其具有大致相同的照相敏感性且具有對應於自該影像的紅、綠或藍光的三個影像之每一個；因此，電子影像中的每一個點包含一光度值、一紅色值、一綠色值以及一藍色值。然而，因為此係線性影像感測器，所以其需要影像感測器與影像之間的相對機械運動以便橫跨四個線性像素陣列來掃描影像。此限制掃描影像所採用的速度並排除將此感測器用於手持相機或捕獲包含移動物件的場景。
在該技術中亦應瞭解由Akira Muramatsu在美國專利第4,823,186號中說明的包含兩個感測器之一電子成像系統，其中該等感測器之每一個包含一二維像素陣列但是一個感測器沒有彩色濾光片而另一個感測器包含彩色濾光片之一圖案，其包含像素且包含一光學分光器以為每一個影像感測器提供影像。因為該彩色感測器具有所應用的彩色濾光片之一圖案，所以該彩色感測器中的每一個像素僅提供一單一彩色。當採用此系統捕獲一影像時，電子影像中的每一個點包含一光度值及一個彩色值，而且彩色影像在從附 近彩色內插的每一個像素位置處一定具有遺漏的彩色。儘管此系統改良單一傳統影像感測器上的光感性，但是系統的總複雜性、大小以及成本係由於需要兩個感測器及一分光器而較大。此外，該分光器將自該影像的僅一半光引導至每一個感測器，從而限制照相速度的改良。
除上述線性影像感測器以外，在該技術中應瞭解具有二維像素陣列的影像感測器，其中該等像素包含沒有應用於其的彩色濾光片之像素。例如，參考Sato等人在美國專利4,390,895、Yamagami等人在美國專利5,323,233、Gindele等人在美國專利6,476,865以及Frame在美國專利申請案2003/0210332中所說明。在所敘述的專利之每一個中，用於彩色像素之取樣配置對未濾波像素之光度支援光度影像勝過彩色影像或反之亦然，或者採用某另一方式提供彩色及光度像素的次最佳配置。
因此，不斷需改良使用具有二維像素陣列的單一感測器之電子捕獲裝置的光感性。
本發明係關於提供一種具有彩色及全色像素之二維陣列的影像感測器，其提供高敏感性且有效用以產生完全彩色影像。
簡要概述而言，依據本發明之一態樣，本發明提供一種用以捕獲一彩色影像之影像感測器，其包括具有複數個最小重複單位的一二維像素陣列，其中每一個重複單位係由具有五個全色像素以及具有不同彩色回應之三個像素的八 個像素組成。
依據本發明之影像感測器係尤其適用於低位準發光條件，其中此類低位準發光條件係低場景發光、短曝光時間、小孔徑或對到達感測器的光之其他限制的結果。其具有較大範圍的應用且而且許多類型的影像捕獲裝置可有效地使用此等感測器。另外，依據本發明之影像感測器促進捕獲影像的處理以產生最終全演色影像。
從較佳具體實施例之以下詳細說明及隨附申請專利範圍，並參考附圖，將更清楚瞭解並明白本發明之此等及其他態樣、目的、特性及優點。
因為將成像裝置及相關電路用於信號捕獲及校正並用於曝光控制的數位相機已為人所熟知，所以本說明將係特定關於形成其部分或更直接與依據本發明之方法及設備配合的元件。本文中未明確顯示或說明的元件係選自該技術中已知的元件。欲加以說明的具體實施例之某些態樣係提供在軟體中。在如下列材料中依據本發明加以顯示及說明的系統情況下，本文中未明確顯示、說明或建議的可用於實施本發明之軟體係傳統的且為熟習此類技術人士所瞭解。
現在參見圖1，其顯示一影像捕獲裝置之方塊圖，該裝置係顯示為體現本發明的數位相機。儘管現在說明數位相機，但是本發明可清楚地應用於其他類型的影像捕獲裝置。在所揭示的相機中，自物件風景的光10係輸入至一成像級11，其中該光係藉由透鏡12所聚焦以在固態影像感測 器20上形成一影像。影像感測器20將入射光轉換為用於每一個圖像元素(像素)之電信號。較佳具體實施例之影像感測器20係電荷耦合裝置(CCD)型或主動像素感測器(APS)型(APS裝置係因能夠在互補金氧半導體程序中製造其而通常稱為CMOS感測器)。使用具有二維像素陣列之其他類型的影像感測器，只要其使用本發明之圖案。本發明亦使用具有彩色及全色像素之二維陣列的影像感測器20，此將在下文說明圖1之後於此說明書中變得清楚。用於影像感測器20的本發明之彩色及全色像素之圖案的範例係顯示在圖4A至圖4D、圖8A、圖8E、圖9A至圖9C、圖10A、圖10C至圖10F、圖11A至圖11B、圖12及圖15中，儘管在本發明之精神內使用其他圖案。
藉由改變孔徑的光圈區塊14以及包含內插在光學路徑中的一或多個ND濾光片之中性密度(ND)濾光片區塊13調節到達感測器20的光之數量。快門區塊18開啟的時間亦調節總光位準。曝光控制器區塊40回應於如藉由亮度感測器區塊16所測量之場景中可用的光之數量且控制所有此等三個調節功能。
特定相機組態之此說明將為熟習技術人士所熟悉，並且應明白存在許多變化及額外特性。例如，添加一自動聚焦系統或透鏡係可分開且可交換。應瞭解本發明係應用於任何類型的數位相機，其中藉由替代性組件提供類似功能。例如，該數位相機係相對簡單的點及攝影型數位相機，其中快門18係相對簡單的可移動葉片快門或類似物，而非較 複雜的焦平面配置。亦可在包含於非相機裝置(例如行動電話及自動車輛)中的成像組件上實施本發明。
自影像感測器20的類比信號係藉由類比信號處理器22所處理並應用於類比至數位(A/D)轉換器24。時序產生器26產生各種時脈信號以選擇列及像素並使類比信號處理器22及A/D轉換器24之操作同步。影像感測器級28包含影像感測器20、類比信號處理器22、A/D轉換器24以及時序產生器26。影像感測器級28之組件係分離製造的積體電路，或其係製造為如通常採用CMOS影像感測器所製造的單一積體電路。自A/D轉換器24之獲得的數位像素值之流係儲存在與數位信號處理器(DSP)36相關聯的記憶體32中。
除系統控制器50及曝光控制器40以外，數位信號處理器36係此具體實施例中的三個處理器或控制器之一。儘管多個控制器及處理器當中的相機功能控制之此分割係典型的，但是此等控制器或處理器係採用各種方式組合而不影響相機之功能操作及本發明之應用。此等控制器或處理器可包括一或多個數位信號處理器裝置、微控制器、可程式化邏輯裝置或其他數位邏輯電路。儘管已說明此類控制器或處理器的組合，但是應明白一個控制器或處理器係指明用以執行所有需要的功能。所有此等變化可以執行相同功能並在本發明之範疇內，而且術語"處理級"將按需要用以將所有此功能包含在一個片語內，例如圖1中的處理級38。
在所說明的具體實施例中，DSP 36依據一軟體程式操縱 其記憶體32中的數位影像資料，該軟體程式係永久地儲存在程式記憶體54中並複製到記憶體32以在影像捕獲期間執行。DSP 36執行實施圖18所示的影像處理所必須的軟體。記憶體32包含任何類型的隨機存取記憶體，例如SDRAM。包括用於位址及資料信號的路徑之匯流排30將DSP 36與其相關記憶體32、A/D轉換器24以及其他相關裝置連接。
系統控制器50根據儲存在程式記憶體54(其可包含快閃EEPROM或其他非揮發性記憶體)中的軟體程式來控制相機的總操作。此記憶體亦可用以儲存影像感測器校準資料、使用者設定選擇以及在關閉相機時必須加以保存的其他資料。系統控制器50藉由下列方式控制影像捕獲之序列：引導曝光控制器40以操作如先前說明的透鏡12、ND濾光片13、光圈14以及快門18，引導時序產生器26以操作影像感測器20及相關聯元件，以及引導DSP 36以處理捕獲的影像資料。在捕獲並處理一影像之後，儲存在記憶體32中的最終影像檔案係經由介面57傳輸至一主機電腦，儲存在可移動記憶卡64或其他儲存裝置中，以及為使用者顯示在影像顯示器88上。
匯流排52包含用於位址、資料及控制信號的路徑，並且將系統控制器50與DSP 36、程式記憶體54、系統記憶體56、主機介面57、記憶卡介面60以及其他相關裝置連接。主機介面57提供高速連接至個人電腦(PC)或其他主機電腦以傳輸用於顯示、儲存、操縱或列印的影像資料。此介面 係IEEE1394或USB2.0串列介面或任何其他適當的數位介面。記憶卡64通常係微型快閃(CF)卡，其係***插座62中且經由記憶卡介面60與系統控制器50連接。所用的其他類型之儲存器無限制地包含PC卡、多媒體卡(MMC)或安全數位(SD)卡。
處理的影像係複製到系統記憶體56中的顯示緩衝器並經由視訊編碼器80加以連續地讀出以產生一視訊信號。此信號係從相機直接輸出以顯示在一外部監視器上，或藉由顯示器控制器82進行處理並加以呈現在影像顯示器88上。此顯示器通常係主動矩陣彩色液晶顯示器(LCD)，儘管亦使用其他類型的顯示器。
藉由在曝光控制器40及系統控制器50上執行的軟體程式之組合來控制一使用者控制及狀態介面68，其包含視野取景器顯示器70、曝光顯示器72、狀態顯示器76、及影像顯示器88以及使用者輸入74之所有或任一組合。使用者輸入74通常包含按鈕、搖桿開關、操縱桿、旋轉撥號盤或觸控螢幕之某組合。曝光控制器40操作光計量、曝光模式、自動聚焦以及其他曝光功能。系統控制器50管理在該等顯示器之一或多個(例如影像顯示器88)上呈現的圖形使用者介面(GUI)。GUI通常包含用以進行各種選項選擇的選單以及用以檢查捕獲的影像之檢視模式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間(快門速度)以及曝光指數或ISO速度等級的使用者輸入並相應地引導透鏡及快門以進行隨後捕獲。亮度感測器16係 用以測量場景之亮度並提供曝光計量功能以供使用者用以參考何時手動設定ISO速度等級、孔徑以及快門速度。在此情況下，隨著使用者改變一或多個設定，在視野取景器顯示器70上呈現的光計量指示器告訴使用者影像將達到何種過曝光或曝光不足程度。在自動曝光模式中，使用者改變一個設定而且曝光控制器40自動地改變另一設定以維持正確的曝光，例如對於一給定ISO速度等級而言，當使用者減小透鏡孔徑時，曝光控制器40會自動地增加曝光時間以維持相同的總曝光。
ISO速度等級係數位相機之一重要屬性。曝光時間、透鏡孔徑、透鏡透射比、場景照明之位準及頻譜分佈、以及場景反射比決定數位相機之曝光位準。當使用不足夠的曝光獲得自數位相機的一影像時，一般可藉由增加電子或數位增益來維持適當的色調重現，但是該影像將包含不可接受的數量之雜訊。隨著曝光的增加，增益會減小，且因此可通常將影像雜訊減小至可接受的位準。若過份地增加曝光，則影像之明亮區域中獲得的信號可超過影像感測器或相機信號處理之最大信號位準能力。此可使影像加亮區得以限幅，從而形成均勻明亮區域或擴散至影像之周圍區域。重要的係在設定適當曝光時指導使用者。ISO速度等級係旨在用作此類指導。為輕易地得到攝影師的瞭解，用於數位相機的ISO速度等級應該直接與用於照相底片相機的ISO速度等級相關。例如，若數位相機具有ISO速度等級ISO 200，則相同的曝光時間及孔徑對於ISO 200等級式底 片/程序系統應該係適當的。
ISO速度等級係旨在與底片ISO速度等級協調。然而，在排除準確等效性的電子與以底片為基礎的成像系統之間存在差異。數位相機可包含可變增益，且可在已捕獲影像資料以後提供數位處理，從而使色調重現能在相機曝光範圍內達到。因此數位相機可以具有一定範圍的速度等級。此範圍係界定為ISO速度寬容度。為預防混淆，將單一值指明為內在ISO速度等級，其中ISO速度寬容度之上限及下限指示該速度範圍，即包含不同於內在ISO速度等級的有效速度等級之範圍。在瞭解此點的情況下，內在ISO速度係採用在數位相機之焦平面上提供的曝光加以計算的數值，其用以產生指定的相機輸出信號特徵。內在速度通常係曝光指數值，其針對正常場景產生用於一給定相機系統的峰值影像品質，其中曝光指數係與提供至影像感測器的曝光與反比的數值。
數位相機之前述說明將為熟習技術人士所熟悉。應明白存在此具體實施例之許多變化，其可行且係選擇用以減小成本，添加特性或改良相機之性能。下列說明將詳細揭示此相機依據本發明而捕獲影像之操作。儘管此說明參考一數位相機，但是應瞭解本發明適用於具有帶有彩色及全色像素的影像感測器之任一類型的影像捕獲裝置。
圖1所示的影像感測器20通常包含在一矽基板上製造的二維光敏像素陣列，該基板提供將每一個像素中的入射光轉換成所測量的電信號之方式。隨著感測器係曝露於光， 自由電子係產生並捕獲在每一個像素中的電子結構內。在某時間週期內捕獲此等自由電子並接著測量捕獲的電子之數量，或測量產生自由電子所採用的速率會測量每一個像素中的光位準。在前者情況下，累積的電荷係從像素陣列偏移至如電荷耦合裝置(CCD)中的一電荷至電壓測量電路，或接近於每一個像素的區域包含如主動像素感測器(APS或CMOS感測器)中的一電荷至電壓測量電路之元件。
無論何時一般參考下列說明中的一影像感測器，均將其瞭解為表示自圖1的影像感測器20。應進一步瞭解在此說明書中揭示的本發明之影像感測器架構及像素圖案之所有範例及其等效物係用於影像感測器20。
在一影像感測器的背景下，一像素("圖像元素''之縮略)指一離散光感測區域及與該光感測區域相關聯的電荷偏移或電荷測量電路。在數位彩色影像的背景下，術語像素通常指具有相關聯彩色值之影像中的特定位置。
為產生彩色影像，影像感測器中的像素陣列通常具有放置在其上的彩色濾光片之圖案。圖2顯示通常使用的紅、綠及藍色濾光片之圖案。此特定圖案係通常瞭解為其發明者Bryce Bayer之後的拜耳(Bayer)彩色濾光片陣列(CFA)，如US 3,971,065中所揭示。此圖案係有效地用於具有二維彩色像素陣列之影像感測器。因此，每一個像素具有特定彩色光回應，其在此情況下係對紅、綠或藍光的主要敏感性。彩色光回應之另一有用變化係對深紅、黃或青光的主要敏感性。在每一種情況下，特定彩色光回應具有對可見 頻譜之某些部分的高敏感性，而同時具有對可見頻譜之其他部分的低敏感性。術語彩色像素指具有彩色光回應的像素。
選擇用於感測器的一組彩色光回應通常具有三個彩色，如拜耳CFA所示，但是其亦包含四或多個彩色。本文中所用的全色光回應指具有比一組選擇的彩色光回應中所表示的頻譜敏感性寬之頻譜敏感性的光回應。全色光回應可具有橫跨整個可見頻譜之高敏感性。術語全色像素指具有全色光回應的像素。儘管全色像素一般具有比該組彩色光回應寬的頻譜敏感性，但是每一個全色像素可具有一相關聯濾光片。此類濾光片係中性密度濾光片或彩色濾光片。
當彩色及全色像素之一圖案係在一影像感測器之表面上時，每一個此類圖案具有一重複單位，其係作為基本構建區塊的鄰近像素子陣列。藉由並置該重複單位之多個複本，產生整個影像感測器圖案。在對角線方向及水平與垂直方向上進行重複單位之多個複本的並置。
一最小重複單位係一重複單位，因此無其他重複單位具有較少的像素。例如，圖2中的CFA包含一最小重複單位，其係二個像素×二個像素之單位，如藉由圖2中的像素區塊100所示。此最小重複單位之多個複本係分塊用以覆蓋一影像感測器中的整個像素陣列。最小重複單位係顯示為在右上角具有綠色像素，但是三個替代性最小重複單位可藉由將粗線外形區域向右移動一個像素、向下移動一個像素或以對角線方式向右下方移動一個像素而輕易地加以 辨別。儘管像素區塊102係一重複單位，但是其並非一最小重複單位，因為像素區塊100係一重複單位而且區塊100具有比區塊102少的像素。
使用具有帶有圖2之CFA之二維陣列的一影像感測器捕獲之一影像在每一個像素中僅具有一個彩色值。為產生一完全彩色影像，存在若干技術用以推斷或內插每一個像素中的遺漏彩色。此等CFA內插技術在該技術中已為人所熟知而且參考下列專利：US 5,506,619、US 5,629,734及US 5,652,621。
圖3顯示在一典型相機應用中具有紅、綠及藍色濾光片的像素之相對頻譜敏感性。圖3中的X軸表示以奈米為單位之光波長，而且Y軸表示效率。在圖3中，曲線110表示用以阻塞紅外線及紫外線光到達影像感測器的典型濾光片之頻譜透射特徵。需要此類濾光片，因為用於影像感測器的彩色濾光片通常不阻塞紅外線光，因此像素能夠區分紅外線光與在其相關聯彩色濾光片之通帶內的光。藉由曲線110所示的紅外線阻塞特徵預防紅外線光損壞可見光信號。用於具有紅色、綠色及藍色濾光片之典型矽感測器的頻譜量子效率(即捕獲的入射光子與轉換成可測量電信號的入射光子之比例)係乘以藉由曲線110表示的紅外線阻塞濾光片之頻譜透射特徵以產生藉由用於紅色之曲線114、用於綠色之曲線116以及用於藍色之曲線118所表示的組合式系統量子效率。應從此等曲線瞭解每一個彩色光回應僅對可見頻譜之一部分敏感。藉由對比，由曲線112顯示沒 有所應用的彩色濾光片(但包含紅外線阻塞濾光片特徵)的同一矽感測器之光回應；此係全色光回應之一範例。藉由將彩色光回應曲線114、116及118與全色光回應曲線112比較，可清楚看出全色光回應比彩色光回應之任一者對較寬頻譜光之敏感性大三至四倍。儘管一不同類型之另一感測器可具有不同於圖3所示的光回應，但是應清楚看出較寬的全色回應始終比彩色光回應之任一者對寬頻譜光的敏感性大。
圖3所示的較大全色敏感性容許藉由將包含彩色濾光片之像素與不包含彩色濾光片之像素混合而改良一影像感測器之總敏感性。然而，彩色濾光片像素將在很大程度上不及全色像素敏感。在此情形下，若全色像素係適當地曝露於光以便自一場景的光強度之範圍涵蓋全色像素之全測量範圍，則彩色濾光片將在很大程度上係曝光不足。因此，有利的係調整彩色濾光片像素之敏感性以便其具有與全色像素粗略相同的敏感性。例如，藉由增加彩色像素相對於全色像素的大小來增加彩色像素之敏感性，空間像素會相關聯地減少。
在包含全色像素及彩色像素的一影像捕獲裝置中，像素陣列內的全色及彩色像素之配置會影響該影像捕獲裝置的空間取樣特徵。在全色像素代替彩色像素的範圍內，彩色取樣之頻率會減小。例如，若用一全色像素代替圖2中最小重複低單位100中的綠色像素之一(如Gindele等人在美國專利6,476,865中所說明)，則綠色取樣頻率會減小，因為 存在如圖2所示之原始的圖案中一半一樣多的綠色像素。在此特定情況下，全色像素及彩色像素之每一個的取樣頻率係相同。
因為全色像素一般係比彩色像素的敏感性大，所以全色像素需要具有比彩色像素之任一者高的取樣頻率，從而提供影像之強固、較高敏感性全色表示以為隨後的影像處理及每一個像素中的遺漏彩色之內插提供依據。例如，Yamagami等人在美國專利5,323,233中顯示具有50%的全色像素、25%的綠色像素以及各12.5%的紅色及藍色像素之一圖案。圖4中顯示此圖案之一最小重複單位。具有與彩色像素之任一者的兩倍一樣多的綠色像素係與廣泛使用的拜耳圖案一致，但是其在與如Yamagami中所示的強固全色取樣配置組合時不一定提供一優點。減小綠色取樣配置以與其他彩色比較將沒有對完全處理影像的重要不利影響。用不同彩色像素代替圖4中的綠色像素之一會提供額外頻譜資訊而不影響全色取樣配置且沒有對彩色取樣的重要影響。
圖5A顯示本發明之一最小重複單位，將四個全色像素均勻地佈置在整個最小重複單位中，該四個像素為一個紅色像素(R)、一個綠色像素(G)、一個藍色像素(B)、以及一個具有第四不同頻譜敏感性的一個彩色像素(Q)。圖5A之最小重複單位取Yamagami(圖4)之額外綠色像素並用具有不同於其他三個彩色的頻譜敏感性之一像素代替該綠色像素。此圖案具有50%的全色像素以及各12.5%的具有四個 不同頻譜敏感性之一的像素。Q像素係不同於由R、G或B提供的可見範圍；或者，Q像素包括非可見範圍。例如，Q像素可對紅外線光敏感。
圖5B顯示本發明之另一最小重複單位。圖5B係類似於圖5A，已交換綠色及藍色像素除外。用於每一個彩色的彩色取樣頻率保持相同，但是在圖5A與圖5B之間在四個彩色取樣配置之間的相位關係係不同。圖5C顯示本發明之另一最小重複單位。圖5C係類似於圖5A，下列情況除外：已分別用青色、黃色及深紅色像素代替紅色、綠色及藍色像素，從而證實本發明之此具體實施例可用於任何一組四個不同頻譜敏感性。
圖5A之最小重複單位係分塊用以採用若干方式提供沒有遺漏像素的較大像素陣列。圖6A顯示一分塊配置，其中圖5A之最小重複單位係均勻地分塊成列及行。圖6B顯示用於圖5A的分塊配置，其中每隔一行係向下(或等效地向上)偏移一個像素；換言之，圖5A之最小重複單位係均勻分塊成行，每一行係相對於相鄰行垂直偏移最小重複單位高度的一半。圖6C顯示一分塊配置，其中每一列係相對於上面的列向右偏移一個像素；換言之，圖5A之最小重複單位係均勻地分塊成列，每一列係相對於上面的相鄰列向右偏移最小重複單位寬度的四分之一。圖6D顯示一分塊配置，其中每隔一列係向右(或等效地向左)偏移兩個像素，或最小重複單位之寬度的一半；換言之，圖5A之最小重複單位係均勻分塊成列，每一列係相對於相鄰列向右偏移最小重複 單位寬度的一半。
圖6A至圖6C所示的用於圖5A之分塊配置為像素陣列提供用於個別彩色的取樣頻率，其在水平與垂直方向之間係不同。圖6D之分塊配置為一像素陣列提供用於個別彩色的取樣頻率，其在水平與垂直方向上係相同而且在左上至右下對角線(斜線)及右上至左下對角線(倒斜線)方向上係相同；此外，取樣頻率在彩色之間係相同，並且用於該等彩色的最高取樣頻率係與水平及垂直方向相關聯。將最高取樣頻率配置成與水平及垂直方向相關聯使垂直及水平邊緣可採用最低混淆機會加以取樣。因此，根據以上論點，圖6D為圖5A之最小重複單位提供一較佳分塊配置。
三個不同頻譜敏感性之像素一般係足夠用以為捕獲的彩色影像提供彩色資訊。例如，通常採用具有紅色、綠色及藍色敏感性的像素實施熟知的拜耳圖案。在全色/彩色影像捕獲裝置中，存在提供比任一彩色像素大的全色像素之比例以便捕獲強固全色影像之優點。假設具有不同頻譜敏感性的像素對於彩色資訊係足夠的且藉由改良全色取樣方面的興趣而激發，則使具有圖5A中的第四頻譜敏感性Q之像素為全色像素。若Q係全色的，則最小重複單位具有62.5%的全色像素以及各12.5%的紅色、綠色及藍色像素。此提供用以提供影像之強固全色表示的全色取樣與用以識別影像內彩色的彩色取樣之間之改良的平衡。
圖7A顯示具有八個像素的本發明之一替代性具體實施例之最小重複單位，在該八個像素中五個像素係全色像素而 且其餘三個像素係三個不同彩色。此最小重複單位具有最後段落中說明的全色像素與彩色像素之比例。在圖7A中，三個彩色像素係紅色、綠色及藍色。應注意三個彩色及五個全色像素之若干配置係可行的。例如，圖7B係類似於圖7A，下列情況除外：切換紅色及藍色像素，從而形成新的且不同的最小重複單位。圖7C係類似於圖7A，已切換綠色及藍色像素除外。
圖7A之最小重複單位係分塊用以採用若干方式提供沒有遺漏像素的較大像素陣列。圖8A至圖8D顯示用於圖7A之最小重複單位的分塊配置，其對應於圖6A至圖6D所示的分塊配置。根據關於以上圖6A至圖6D的說明，圖8D提供用於圖7A之最小重複單位的最佳分塊配置。
應注意儘管在前述說明中彩色像素係紅色、綠色及藍色，但是可使用替代組的彩色，例如青色、深紅色及黃色。圖9A類似於圖7A，下列情況除外：已分別用青色、黃色及深紅色像素代替紅色、綠色及藍色像素，從而證實本發明之此具體實施例可用於彩色像素之任何一組三個不同頻譜敏感性。圖9B及圖9C顯示用於青色、深紅色及黃色像素的額外配置。
本發明之圖案中的全色像素不必在敏感性方面相同。例如，圖10A顯示類似於圖5A的最小重複單位，其中用不同於其他全色像素的照相速度之全色像素代替Q像素。具有不同照相敏感性的全色像素係用以捕獲較大範圍的光位準。圖10B顯示另一最小重複單位，其具有帶有兩個不同 照相速度的全色像素之替代性配置，最小重複單位之一列具有一個速度而且另一列具有不同速度。
儘管用以說明本發明至此點的最小重複單位全部係配置成矩形的每列四個像素之兩列，但是存在替代性等效最小重複單位。例如，圖11A顯示本發明之最小重複單位，其係等效於如圖8D中分塊的圖7A之最小重複單位。另外，在圖7B係類似於圖8D而分塊的情況下圖11B係等效於圖7B，而且在圖10A係類似於圖8D而分塊的情況下圖11C係等效於圖10A。
應注意旋轉圖5A、圖7A、圖10A、圖11A之圖案之任一者，或本發明之其他先前說明的具體實施例之任一者，係完全在本發明之範疇內。例如，圖13A顯示八邊形像素之配置的最小重複單位，其係等效於反時針旋轉圖7A之最小重複單位四十五度。圖13B顯示分塊用以形成一圖案的圖13A之最小重複單位，其係等效於圖8D之四十五度反時針旋轉。
儘管用於圖6D之四個彩色或圖8D之三個彩色之每一個彩色的取樣頻率係相同，但是該等彩色之間的相位關係並非相同。例如，圖8D中的每一個彩色(即，紅色、綠色及藍色)之像素提供用於三個彩色的相同取樣圖案。此係藉由檢查圖14中的每一個別彩色而清楚地看出，該圖案係與圖8D所示的圖案相同，其中僅識別彩色像素。然而，雖然每一個藍色像素係與四個相鄰紅色像素等距，從而形成紅色及藍色像素之棋盤，但是綠色像素係定位在45度對角線 中的紅色像素之間，以及在－45度對角線中的藍色像素之間。顯然，綠色與其他兩個彩色之間的相位關係係不同於紅色與藍色之間的相位關係，即使紅色、綠色及藍色個別地具有相同取樣配置。此提出機會以進一步最佳化全色/三色成像裝置，其中彩色取樣配置對三個彩色之每一個係相同而且彩色對之間的相位關係係一致。
圖15A顯示本發明之另一具體實施例的最小重複單位。圖15A之最小重複單位包含九個像素，其中六個像素係全色像素而且其餘三個像素係三個不同彩色。此最小重複單位表示一圖案，其係2/3全色像素、1/9紅色像素、1/9綠色像素以及1/9藍色像素。如已採用先前最小重複單位說明，圖15A中的三個彩色像素係紅色、綠色及藍色，但是其可以係青色、深紅色及黃色或某另一組三個彩色。此外，圖15A中的全色像素具有相等的照相敏感性，但是其可具有兩個或兩個以上不同敏感性。圖15B顯示一分塊配置，其中圖15A之最小重複單位係均勻分塊成行，每一行係相對於相鄰行向上或向下偏移最小重複單位高度的一半。
圖16顯示圖15B之圖案，僅識別彩色像素。從圖16可清楚看出用於三個彩色之每一個的取樣配置係相同，而且該等彩色之每一個之間的相位關係係一致。在圖14中的彩色像素之某些係較接近於某些其他彩色的情況下，圖15B中的彩色像素之全部係定位成彼此等距。
用於某些目的，有利的係從該感測器產生較低解析度影 像(例如)以為視訊捕獲提供較高圖框速率或在顯示螢幕上提供主動預覽影像。在圖1中，DSP 36從藉由該感測器及成像子系統提供的原始影像提供處理的影像。為以視訊圖框速率提供一系列處理的影像，許多情況下的DSP 36提供固線式影像處理路徑(與可程式化影像處理路徑相反)。此類固線式影像處理路徑通常需要感測器資料以符合拜耳濾光片圖案：G R B G因此，有利的係提供從本發明之感測器方便地讀取減小的解析度之拜耳影像的能力。
參考圖17A，其顯示本發明之彩色及全色像素的配置。圖17A係類似於圖8D，將指標添加至每一個像素以協助證實從本發明之一影像感測器產生減小的解析度之拜耳影傢。圖17A(最小重複單位120)係顯示為與圖7A中所示的最小重複單位相同。假定圖17A中的所有綠色像素(例如，G12、G16、G34、G38等)可不經修改地加以使用。圖17B中顯示為圓圈式的此等綠色像素形成出現在拜耳圖案中的綠色像素之棋盤。對於拜耳圖案中的紅色及藍色像素而言，將紅色及藍像素組合成對以產生紅色及藍色像素平均值。例如，組合R21及R43以產生圖17B中在綠色像素G12與G52之間的圓圈式紅色像素平均值R'32。紅色像素之類似對角線組合提供減小的解析度之拜耳影像中接近固定的紅色傢素平均值。相同地，組合B45及B63以產生圖17B中 在綠色像素G34與G74之間的圓圈式藍色像素平均值B'54。藍色像素之類似對角線組合提供減小的解析度之拜耳影像中接近固定的藍色像素平均值。圖17C顯示獲得的影像：一拜耳影像，其具有原始的影像之1/2的水平解析度以及1/2的垂直解析度。
圖17A至圖17C證實一拜耳影像之產生，其具有原始的影像之像素數目的1/4。圖17D及圖17E證實使用類似技術產生一拜耳影像，其具有原始的影像之像素數目的1/16。例如藉由下列方式組合如圖17B及圖17E所示的像素：組合像素中的電荷，平均化取樣的電壓或組合像素信號之數位表示。
現在參考圖18，其顯示數位信號處理器區塊36(圖1)，該區塊接收由本發明之一影像感測器產生且由資料匯流排30(圖1)承載的捕獲原始影像資料。將原始影像資料傳遞至低解析度部分彩色區塊202及高解析度全色區塊204。已經在圖7A中顯示用於本發明之影像感測器的最小重複單位之一範例。
在低解析度部分彩色區塊202(圖18)中，從捕獲的原始影像資料產生部分彩色影像，部分彩色影像係每一個像素具有至少一個彩色值並且每一個像素亦遺漏至少一個彩色值的彩色影像。因為與全色像素相比，在比例上存在具有給定頻譜回應的較少彩色像素，所以與由全色像素捕獲的影像相比，部分彩色影像係因此在空間解析度方面較低。
低解析度部分彩色區塊202採用類似方式處理部分彩色影像之每一個像素，從而產生一彩色值陣列，每一個低解 析度像素有一數值。儘管本文中未顯示，但是通常有利的係在此步驟中雜訊清除低解析度部分彩色影像。
參考圖19，其顯示一濾光片圖案，其係等效於圖17A所示的圖案。最小重複單位220(圖19)係視為與最小重複單位120(圖17A)匹配。再次參考圖19，可依據下列等式計算位置(a)、(b)、(c)及(d)處的間隙全色值：a＝(－P30＋9*P21＋9*P12－P03)/16 b＝(－P34＋9*P23＋9*P12－P01)/16 c＝(－P10＋9*P21＋9*P32－P43)/16 d＝(－P14＋9*P23＋9*P32－P41)/16因此，包含綠色值的像素G22具有八個相鄰菱形全色值，即P21、a、P12、b、P23、d、P32、c。分級值現在可在像素G22情況下使用水平、垂直、斜線及倒斜線方向中的四個中心差異梯度之絕對值加以計算：clashorz＝|P23－P21| clasvert＝|P12－P32| classlash＝|b－c| clasback＝|a－d|用於此等方向的對應預測值係：predhorz＝(P23＋P21)/2 predvert＝(P12＋P32)/2 predslash＝(b＋c)/2 predback＝(a＋d)/2在選擇具有最小分級值的方向之後，對應於選擇的方向之 全色預測值產生內插全色值P22。
一旦已為綠色像素內插全色值，則對紅色及藍色像素採取相同措施。再次參考圖19所示的CFA圖案，可以看出用於綠色像素的相同全色內插程序同樣較佳地應用於紅色及藍色像素。例如，全色像素P23、P32、P34及P43緊接地包圍藍色像素B33，正如全色像素P12、P21、P23及P32緊接地包圍綠色像素G22。可使用類似於以上綠色像素G22給定的等式之等式來計算用於像素B33的相鄰間隙全色值。
在已將全色值內插在所有彩色像素位置處之後，存在用於該感測器上的每一個像素位置之測量或內插的全色值。此等全色值構成高解析度全色影像204，如圖19所示。低解析度全色像素206係藉由選擇僅具有內插全色值的像素而產生。低解析度全色像素206現在係與低解析度部分彩色影像202組合以產生低解析度彩色差異208。下一處理步驟係產生高解析度彩色差異210，該步驟藉由找到用於每一個全色菱形中的中心全色像素之綠色減去全色G－P值而開始。一旦產生G－P彩色差異值，則將其添加至中心全色值以產生高解析度最終影像212中的綠色值。
參考圖19，此類中心像素將係P24，因為其係在藉由P14、P23、P24、P25、P34定義的全色像素之菱形集合的中心。四個最近的綠色值係G04、G22、G26及G44。此四個綠色像素之每一個亦具有一內插全色值，因此可計算每一個位置處的G－P彩色差異。可依據下列等式計算水平及垂直分級及預測值： clashorz＝|(G22－P22)－(G26－P26)|＋|P22－2*P24＋P26| clasvert＝|(G04－P04)－(G44－P44)|＋|P04－2*P24＋P44| predhorz＝[(G22－P22)＋(G26－P26)]/2 predvert＝[(G04－P04)＋(G44－P44)]/2較小分級指示欲使用何預測值。接著將指示的彩色差異添加至中心像素P24處的全色值以產生內插綠色值G24。
一旦已為每一個全色菱形之中心像素計算綠色值，則存在用於具有兩個偶數下標之每一個像素的一綠色值。下一步驟係計算具有兩個奇數下標之每一個像素處的綠色值。例如，考量藍色像素B33，可依據下列等式計算斜線及倒斜線分級及預測值：classlash＝|(G42－P42)－(G24－24)|＋|P42－2*P33＋P24| clasback＝|(G22－P22)－(G44－P44)|＋|P22－2*P33＋P44| predslash＝[(G42－P42)＋(G24－P24)]/2 predback＝[(G22－P22)＋(G44－P44)]/2較小分級指示欲使用何預測值。接著將指示的彩色差異添加至像素B33處的全色值以產生內插綠色值G33。將相同方法用於紅色像素。一旦已計算所有此等綠色值，則存在用於具有皆為奇數或皆為偶數之下標的所有像素位置之綠色值。
為完成綠色內插，將一像素視為具有一個奇數及一個偶數下標，如像素P32。可依據下列等式計算水平及垂直分級及預測值：clashorz＝|(G31－P31)－(G33－P33)|＋|P31－2*P32＋P33| clasvert＝|(G22－P22)－(G42－P42)|＋|P22－2*P32＋P42| predhorz＝[(G31－P31)＋(G33－P33)]/2 predvert＝[(G22－P22)＋(G42－P42)]/2較小分級指示欲使用何預測值。接著將指示的彩色差異添加至中心像素P32處的全色值以產生內插綠色值G32。
所有像素位置現在具有全色值及綠色值。保持內插任一遺漏紅色及藍色值。因為存在相同數目的紅色、綠色及藍色像素，且因為其幾何佈局圖案係相同，所以用於內插綠色的該組等式可經修改並應用於紅色像素以及藍色像素。一般而言，計算紅色值的方法包含找到R－G彩色差異值，其係接著添加至現有綠色值以產生紅色值。全色值係仍用以決定分級值。
例如，考量計算藍色像素B33處的一紅色值。可依據下列等式使用R－G彩色差異計算水平及垂直分級及預測值：clashorz＝|(R31－G31)－(R35－G35)|＋|P31－2*P33＋P35| clasvert＝|(R13－G13)－(R15－G15)|＋|P13－2*P33＋P15| predhorz＝[(R31－G31)＋(R35－G35)]/2 predvert＝[(R13－G13)＋(R35－G35)]/2 較小分級指示欲使用何預測值。接著將指示的彩色差異添加至藍色像素B24處的綠色值以產生內插紅色值R24。使用B－G彩色差異的一組類似等式可用以計算紅色像素位置處的藍色值。一旦已計算所有藍色像素位置處的紅色值並且已計算紅色像素位置處的藍色值，則存在用於具有兩個奇數下標之每一個像素位置的紅色及藍色值。
下一步驟係計算具有兩個偶數下標之像素處的紅色及藍色值。例如，考量計算綠色像素位置G44處的一紅色值。可依據下列等式計算斜線及倒斜線分級及預測值：classlash＝|(R53－G53)－(R35－G35)|＋|P53－2*P44＋P35| clasback＝|(R33－G33)－(R55－G55)|＋|P33－2*P44＋P55| predslash＝[(R53－G53)＋(R35－G35)]/2 predback＝[(R33－G33)＋(R55－G55)]/2較小分級指示欲使用何預測值。接著將指示的彩色差異添加至像素G44處的綠色值以產生內插紅色值R33。將相同方法用於藍色像素。一旦已計算所有紅色及藍色值，則存在用於具有皆為奇數或皆為偶數之下標的所有像素位置之紅色及藍色值。
為完成彩色內插程序，將一像素視為具有一個奇數及一個偶數下標，如像素P32，並計算紅色值。可依據下列等式計算水平及垂直分級及預測值：clashorz＝|(R31－G31)－(R33－G33)|＋|P31－2*P32＋P33| clasvert＝|(R22－G22)－(R42－G42)|＋|P22－2*P32＋P42| predhorz＝[(R31－G31)＋(R33－G33)]/2 predvert＝[(R22－G22)＋(R42－G42)]/2較小分級指示欲使用何預測值。接著將指示的彩色差異添加至全色像素位置P32處的綠色值以產生內插紅色值R32。將使用B－G彩色差異的相同方法用以計算藍色值B32。在此情況下完成彩色內插，因為每一個像素具有全部三個彩色值：紅色、綠色及藍色。此等像素構成高解析度最終影 像212。
10‧‧‧自物件場景的光
11‧‧‧成像級
12‧‧‧透鏡
13‧‧‧中性密度濾光片
14‧‧‧光圈
16‧‧‧亮度感測器
18‧‧‧快門
20‧‧‧影像感測器
22‧‧‧類比信號處理器
24‧‧‧類比至數位(A/D)轉換器
26‧‧‧時序產生器
28‧‧‧影像感測器級
30‧‧‧數位信號處理器(DSP)匯流排
32‧‧‧數位信號處理器(DSP)記憶體
36‧‧‧數位信號處理器(DSP)
38‧‧‧處理級
40‧‧‧曝光控制器
50‧‧‧系統控制器
52‧‧‧系統控制器匯流排
54‧‧‧程式記憶體
56‧‧‧系統記憶體
57‧‧‧主機介面
60‧‧‧記憶卡介面
62‧‧‧記憶卡插座
64‧‧‧記憶卡
68‧‧‧使用者控制及狀態介面
70‧‧‧視野取景器顯示器
72‧‧‧曝光顯示器
74‧‧‧使用者輸入
76‧‧‧狀態顯示器
80‧‧‧視訊編碼器
82‧‧‧顯示器控制器
88‧‧‧影像顯示器
100‧‧‧用於拜耳圖案的最小重複單位
102‧‧‧用於拜耳圖案之並非最小的重複單位
110‧‧‧紅外線阻塞濾光片之頻譜透射率曲線
112‧‧‧感測器之未濾波頻譜光回應
114‧‧‧感測器之紅色光回應曲線
116‧‧‧感測器之綠色光回應曲線
118‧‧‧感測器之藍色光回應曲線
120‧‧‧最小重複單位
202‧‧‧低解析度部分彩色區塊
204‧‧‧高解析度全色區塊
206‧‧‧低解析度全色區塊
208‧‧‧低解析度彩色差異區塊
210‧‧‧高解析度彩色差異區塊
212‧‧‧高解析度最終影像區塊
220‧‧‧本發明之最小重複單位
圖1係可使用傳統感測器及處理方法或本發明之感測器及處理方法的傳統數位相機系統之方塊圖；圖2(先前技術)係顯示一最小重複單位及一非最小重複單位的一傳統拜耳彩色濾光片陣列圖案；圖3提供用於紅色、綠色及藍色像素的表示性頻譜量子效率曲線，以及較寬的頻譜全色量子效率，其全部係乘以紅外線切割濾光片之透射特徵；圖4(先前技術)係具有全色及彩色像素兩者之彩色濾光片陣列圖案；圖5A至圖5C顯示用於本發明之彩色濾光片陣列圖案的若干最小重複單位；圖6A至圖6D顯示用以分塊圖5A之最小重複單位的若干方式；圖7A至圖7C顯示用於使用主要彩色濾光片的本發明之一替代性具體實施例之彩色濾光片陣列圖案的若干最小重複單位；圖8A至圖8D顯示用以分塊圖7A之最小重複單位的若干方式；圖9A至圖9C顯示用於使用互補彩色濾光片的本發明之一替代性具體實施例之彩色濾光片陣列圖案的若干最小重複單位；圖10A至圖10B顯示用於使用不同照相敏感性之全色像 素的本發明之一替代性具體實施例之彩色濾光片陣列圖案的若干最小重複單位；圖11A至圖11C提供用於產生類似於圖8D之分塊的圖7A至圖7C之彩色濾光片陣列的替代性最小重複單位；圖12顯示用於圖11A之最小重複單位的分塊配置；圖13A至圖13B顯示用於本發明之一彩色濾光片陣列的一最小重複單位，其中該等傢素係配置在一八邊形圖案中，並且包含一分塊配置；圖14顯示自圖9D之分塊配置的彩色樣本之空間分佈；圖15A至圖15B顯示用於本發明之一彩色濾光片陣列的一最小重複單位，其中該等像素係以六邊形方式配置；圖16顯示自圖15B之分塊配置的彩色樣本之空間分佈；圖17A至圖17E顯示自本發明之一影像感測器的較低解析度拜耳影像之產生；圖18係本發明之一程序圖，其顯示處理自本發明之一感測器的彩色及全色像素之右法；以及圖19顯示本發明之彩色及全色傢素之一配置，其指標用以支援一內插方法之說明。
(無元件符號說明)

Claims (18)

  1. 一種用以捕獲一彩色影像之影像感測器，其包括具有複數個最小重複單位的一二維像素陣列，其中每一個重複單位係由具有四個全色像素以及四個具有不同彩色回應之像素的八個像素組成。
  2. 如請求項1之影像感測器，其具有下列最小重複單位：P B P D A P C P 其中P表示全色像素而且A、B、C、D表示具有不同彩色回應的像素。
  3. 一種用以捕獲一彩色影像之影像感測器，其包括具有複數個最小重複單位的一二維像素陣列，其中每一個重複單位係由具有五個全色像素以及三個具有不同彩色回應之像素的八個像素組成，其中該影像感測器具有下列最小重複單位：P B P P A P C P 其中P表示全色像素而且A、B及C表示具有不同彩色回應的像素，且其中該像素陣列係藉由將該最小重複單位均勻地分塊成列中並且每一列係相對於相鄰列偏移最小重複單位寬度的一半而形成。
  4. 如請求項3之影像感測器，其中A、B及C表示具有個別地選自紅色、綠色或藍色回應的彩色回應之像素。
  5. 如請求項3之影像感測器，其中A、B及C表示具有分別 係紅色、綠色或藍色回應的彩色回應之像素。
  6. 如請求項3之影像感測器，其中A、B及C表示具有個別地選自青色、深紅色及黃色回應的彩色回應之像素。
  7. 如請求項3之影像感測器，其中A、B及C表示具有分別係青色、黃色及深紅色回應的彩色回應之像素。
  8. 如請求項3之影像感測器，其中該等全色像素包括具有至少兩個不同照相速度之像素。
  9. 如請求項8之影像感測器，其具有下列最小重複單位： 其中P1表示具有一第一照相速度之全色像素；P2表示具有一第二照相速度之全色像素；以及A、B及C表示具有不同彩色回應之像素。
  10. 一種用以捕獲一彩色影像之影像感測器，其包括佈置在一六邊形圖案中且具有複數個最小重複單位的一二維像素陣列，其中每一個重複單位係由具有六個全色像素以及三個具有不同彩色回應之像素的九個像素組成。
  11. 如請求項10之影像感測器，其具有下列最小重複單位： 其中P表示全色像素而且A、B及C表示具有不同彩色 回應的像素。
  12. 如請求項11之影像感測器，其中A、B及C表示具有個別地選自紅色、綠色或藍色回應的彩色回應之像素。
  13. 如請求項11之影像感測器，其中A、B及C表示具有分別係紅色、綠色或藍色回應的彩色回應之像素。
  14. 如請求項11之影像感測器，其中A、B及C表示具有個別地選自青色、深紅色及黃色回應的彩色回應之像素。
  15. 如請求項11之影像感測器，其中A、B及C表示具有分別係青色、黃色及深紅色回應的彩色回應之像素。
  16. 如請求項11之影像感測器，其中該像素陣列係藉由將該最小重複單位均勻地分塊成行並且每一行係相對於相鄰行偏移最小重複單位高度的一半而形成。
  17. 如請求項10之影像感測器，其中該等全色像素包括具有至少兩個不同照相速度之像素。
  18. 如請求項17之影像感測器，其具有下列最小重複單位： 其中P1表示具有一第一照相速度之全色像素；P2表示具有一第二照相速度之全色像素；以及A、B及C表示具有不同彩色回應之像素。
TW096145727A 2006-12-01 2007-11-30 影像感測器中改良的光感性 TWI435167B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/565,687 US7893976B2 (en) 2006-12-01 2006-12-01 Light sensitivity in image sensors

Publications (2)

Publication Number Publication Date
TW200834227A TW200834227A (en) 2008-08-16
TWI435167B true TWI435167B (zh) 2014-04-21

Family

ID=39307035

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096145727A TWI435167B (zh) 2006-12-01 2007-11-30 影像感測器中改良的光感性

Country Status (5)

Country Link
US (1) US7893976B2 (zh)
EP (1) EP2087725B1 (zh)
JP (2) JP5155333B2 (zh)
TW (1) TWI435167B (zh)
WO (1) WO2008069920A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
JP5250315B2 (ja) * 2007-06-28 2013-07-31 富士フイルム株式会社 信号処理装置、撮像装置、及び同時化処理プログラム
DE102008027188A1 (de) * 2008-06-06 2009-12-10 Volkswagen Ag Bildaufnahmevorrichtung
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7948534B2 (en) * 2008-10-22 2011-05-24 Eastman Kodak Company Charge-coupled device image sensor with vertical binning of same-color pixels
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
JP4626706B2 (ja) * 2008-12-08 2011-02-09 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4683121B2 (ja) * 2008-12-08 2011-05-11 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8610808B2 (en) 2008-12-22 2013-12-17 Koninklijke Philips N.V. Color CMOS imager with single photon counting capability
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8198578B2 (en) * 2009-06-23 2012-06-12 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
US20110115954A1 (en) * 2009-11-19 2011-05-19 Eastman Kodak Company Sparse color pixel array with pixel substitutes
JP2011199452A (ja) * 2010-03-18 2011-10-06 Fuji Xerox Co Ltd 処理装置及び制御プログラム
JP5757711B2 (ja) * 2010-09-27 2015-07-29 オリンパス株式会社 スペクトル情報測定方法、カラーセンサおよびバーチャルスライド装置
JP6035744B2 (ja) * 2012-01-10 2016-11-30 凸版印刷株式会社 固体撮像素子
DE102012021736B4 (de) 2012-03-22 2021-08-05 Volkswagen Aktiengesellschaft Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
CN104170376B (zh) * 2012-03-27 2016-10-19 索尼公司 图像处理设备、成像装置及图像处理方法
EP2677732B1 (en) 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
CN103051849B (zh) * 2012-12-18 2017-09-29 上海集成电路研发中心有限公司 新型结构的像素阵列
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9883149B2 (en) 2014-08-01 2018-01-30 Sri International Imaging sensor and method for color night vision
US9369681B1 (en) 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
JP6311771B2 (ja) * 2016-10-31 2018-04-18 凸版印刷株式会社 固体撮像素子
JP7281895B2 (ja) 2018-12-06 2023-05-26 ソニーセミコンダクタソリューションズ株式会社 撮像素子および電子機器
KR102680865B1 (ko) * 2019-03-11 2024-07-04 삼성전자주식회사 Rgbw 이미지 센서, 이미지 센서의 비닝 방법 및 그 방법을 수행하기 위한 기록 매체
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
CN112702490A (zh) * 2020-12-25 2021-04-23 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
JPS5763983A (en) 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
JPS5986982A (ja) * 1982-11-11 1984-05-19 Shoichi Tanaka 固体撮像装置
EP0119862B1 (en) * 1983-03-17 1990-12-27 Nec Corporation Solid-state color imaging apparatus
JPS60103790A (ja) * 1983-11-10 1985-06-08 Nec Corp カラ−固体撮像装置
JPS6238692A (ja) * 1985-08-13 1987-02-19 Mitsubishi Electric Corp カラ−固体撮像素子
JP2849813B2 (ja) 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JPH0823542A (ja) * 1994-07-11 1996-01-23 Canon Inc 撮像装置
FR2755815B1 (fr) 1996-11-08 1998-12-18 Commissariat Energie Atomique Dispositif et procede de determination de la position presumee d'un evenement par rapport a un ensemble de photodetecteurs, et application aux gamma-cameras
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US6765611B1 (en) * 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子

Also Published As

Publication number Publication date
WO2008069920A1 (en) 2008-06-12
US7893976B2 (en) 2011-02-22
JP5155333B2 (ja) 2013-03-06
TW200834227A (en) 2008-08-16
JP2013042530A (ja) 2013-02-28
JP5547786B2 (ja) 2014-07-16
EP2087725A1 (en) 2009-08-12
US20080130073A1 (en) 2008-06-05
EP2087725B1 (en) 2018-10-10
JP2010512050A (ja) 2010-04-15

Similar Documents

Publication Publication Date Title
TWI435167B (zh) 影像感測器中改良的光感性
USRE47458E1 (en) Pattern conversion for interpolation
TWI504276B (zh) 用於捕捉彩色影像之影像感測器
TWI428006B (zh) 處理像素陣列及處理影像的方法
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
JP5149279B2 (ja) 光感度が改善されたイメージ・センサー
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
US8237831B2 (en) Four-channel color filter array interpolation
TWI432036B (zh) 具有彩色及全色像素之影像處理
US8125546B2 (en) Color filter array pattern having four-channels
US8253832B2 (en) Interpolation for four-channel color filter array
US20090051984A1 (en) Image sensor having checkerboard pattern
US20070177236A1 (en) Image sensor with improved light sensitivity
JP2009506646A (ja) 光感度が改善されたイメージ・センサー
JP2013511909A (ja) ピクセル代替のある疎カラー・ピクセル・アレイ