TWI428006B - 處理像素陣列及處理影像的方法 - Google Patents

處理像素陣列及處理影像的方法 Download PDF

Info

Publication number
TWI428006B
TWI428006B TW096145456A TW96145456A TWI428006B TW I428006 B TWI428006 B TW I428006B TW 096145456 A TW096145456 A TW 096145456A TW 96145456 A TW96145456 A TW 96145456A TW I428006 B TWI428006 B TW I428006B
Authority
TW
Taiwan
Prior art keywords
pixels
color
pixel
image
group
Prior art date
Application number
TW096145456A
Other languages
English (en)
Other versions
TW200835302A (en
Inventor
Bruce H Pillman
Michele O'brien
John F Hamilton Jr
Amy D Enge
Thomas Edward Deweese
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW200835302A publication Critical patent/TW200835302A/zh
Application granted granted Critical
Publication of TWI428006B publication Critical patent/TWI428006B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

處理像素陣列及處理影像的方法
本發明係關於提供具有彩色及全色像素之二維影像以及減小並處理影像以供進一步的使用。
電子成像系統取決於用以建立視覺影像之電子表示的電子影像感測器。此類電子影像感測器之範例包含電荷耦合裝置(CCD)影像感測器及主動像素感測器(APS)裝置(APS裝置係因能夠在互補金氧半導體程序中製造其而通常稱為CMOS感測器)。通常而言，此等影像感測器包含通常配置在列及行之規則圖案中的若干光敏像素。為捕獲彩色影像，通常在像素圖案上製造濾光片圖案，將不同濾光片材料用以使個別像素僅對可見光頻譜之一部分敏感。彩色濾光片必須減小達到每一個像素的光之數量，且因此減小每一個像素之光感性。不斷需要改良電子彩色影像感測器之光感性或照相速度以容許影像在較低光位準情況下得以捕獲或允許影像在較高光位準情況下採用較短曝光時間得以捕獲。
影像感測器係線性或二維的。一般而言，此等感測器具有兩種不同類型的應用。二維感測器係通常適合於影像捕獲裝置，例如數位相機、行動電話及其他應用。線性感測器係通常用於掃描文件。在任一情況下，當使用彩色濾光片時，影像感測器具有減小的敏感性。
由伊士曼柯達公司(Eastman Kodak Company)製造的線 性影像感測器KLI－4104包含四個線性單一像素寬像素陣列，其中將彩色濾光片應用於該等陣列之三個以使每一個陣列對紅色、綠色或藍色全部敏感，而且未將彩色濾光片陣列應用於第四個陣列；此外，該三個彩色陣列具有較大像素用以補償光感性由於彩色濾光片而引起的減小，而且第四個陣列具有較小像素用以捕獲高解析度單色影像。當使用此影像感測器捕獲一影像時，將該影像表示為一高解析度、高照相敏感性單色影像連同三個較低解析度影像，其具有大致相同的照相敏感性且具有對應於自該影像的紅、綠或藍光的三個影像之每一個；因此電子影像中的每一個點包含一單色值、一紅色值、一綠色值以及一藍色值。然而，因為此係線性影像感測器，所以其需要影像感測器與影像之間的相對機械運動以便橫跨四個線性像素陣列來掃描影像。此舉限制掃描影像所採用的速度並排除將此感測器用於手持相機或捕獲包含移動物件的場景。
在該技術中亦應瞭解由Akira Muramatsu在美國專利第4,823,186號中說明的包含兩個感測器之一電子成像系統，其中該等感測器之每一個包含一二維像素陣列但是一個感測器沒有彩色濾光片而另一個感測器包含彩色濾光片之一圖案，其包含像素且包含一光學分光器以為每一個影像感測器提供影像。因為該彩色感測器具有所應用的彩色濾光片之一圖案，所以該彩色感測器中的每一個像素僅提供一單一彩色。當採用此系統捕獲一影像時，電子影像中的每一個點包含一單色值及一個彩色值，而且彩色影像在從附 近彩色內插的每一個像素位置處一定具有遺漏的彩色。儘管此系統改良單一傳統影像感測器上的光感性，但是系統的總體複雜性、大小以及成本係由於需要兩個感測器及一分光器而較大。此外，該分光器將自該影像的僅一半光引導至每一個感測器，從而限制照相速度的改良。
除以上提到的線性影像感測器以外，在該技術中應瞭解具有二維像素陣列的影像感測器，其中該等像素包含沒有應用於其的彩色濾光片之像素。例如，參考Sato等人提供的美國專利第4,390,895號、Yamagami等人提供的美國專利第5,323,233號、以及Gindele等人提供的美國專利第6,476,865號。在所敍述的專利之每一個中，未濾波或單色像素之敏感性係在很大程度上高於彩色像素，從而需要將增益應用於彩色像素以便與自像素陣列的彩色及單色信號匹配。增加增益會增加雜訊以及信號，從而引起所獲得的影像之總信號對雜訊比降低。美國專利申請公告案2003/0210332中的圖框揭示一像素陣列，其中大多數像素未經濾波，但是彩色像素遭受與以上提到的情況相同的敏感性不足。
Noda在歐洲專利第0138074號中說明使用彩色及全色像素一視訊相機系統。特定言之，Noda揭示用於具有W、Ye、Cy以及W、Ye、Cy、G彩色濾光片陣列圖案的影像感測器之影像處理技術，其中W(全色)、Ye(黃色)、Cy(青色)以及G(綠色)像素係用以提供正常紅、綠及藍色影像。選擇不同類型的像素之權重以最小化獲得的影像之波紋圖 案。
在美國專利第5,172,220中Beis揭示一監視相機，其在灰階(全色)模式與彩色模式(使用彩色像素)之間切換。在此情況下，環境照明位準係用作整體開關，從而簡單地選擇全色像素以在環境光位準係較低時產生輸出影像。
在美國專利第6,246,865號中，Lee揭示全色及彩色像素的組合以產生具有比僅採用彩色像素或全色像素可捕獲的動態範圍高之動態範圍的一影像，從而使用彩色像素以估計在限幅全色像素情況下該影像之部分中的內插光度信號。
對於許多影像捕獲裝置而言，完全感測器解析度超過可採用正常視訊圖框速率讀出的像素之數目，且因此必須將某形式的次取樣用以達到視訊圖框速率。達到資料減少的一種方式係藉由直接次取樣原始CFA資料，如(例如)包含基於2x2個像素區塊之一個圖案的美國專利第5,493,335號中所說明。達到資料減少的另一種方式係藉由類比組合自二或多個像素的信號，然後從感測器讀取CFA資料。
在美國專利第6,366,318號中，Smith揭示使用從較大CFA彩色像素陣列所直接次取樣的一不規則陣列而產生規則CFA彩色值陣列。
諸如美國專利第6,246,865號之某先前技術解決高光度條件，在此條件下全色像素得以限幅而且彩色像素具有良好的信號對雜訊比。諸如美國專利第5,172,220號之某先前技術解決極低光度條件。在此等條件下，全色像素具有可用 的信號對雜訊比而且彩色像素具有不可接受的低信號對雜訊比。不斷需要提供一影像捕獲系統，其在較大範圍的條件下提供自一二維感測器的改良式影像品質低解析度影像。
因此本發明之一目的係提供一種校正由具有全色及彩色像素之影像捕獲裝置所捕獲的二維影像之改良式方式。
此目的係藉由處理由影像捕獲裝置所捕獲的像素陣列之方法而達到，該方法包括：(a)提供具有第一及第二像素群組的一第一二維陣列，其中自該第一像素群組之像素具有比自該第二像素群組之像素窄的頻譜光回應而且其中該第一像素群組具有個別像素具有對應於一組至少兩個彩色之頻譜光回應並且該等第一及第二像素群組的放置界定具有包含至少十二個像素之一最小重複單位的一圖案，該最小重複單位具有複數個單元，其中每一個單元具有表示從該第一像素群組選擇的一特定彩色之至少兩個像素以及從配置成容許在不同發光條件下重現一捕獲的彩色影像之該第二像素群組選擇的複數個像素；(b)決定全色像素是否欲與彩色像素組合以回應環境發光條件；(c)組合從步驟(b)決定的像素以產生具有比該第一二維像素陣列少的像素之一第二二維像素陣列；以及(d)校正在步驟(c)中產生的彩色像素。
本發明之一優點係由在較大範圍的環境發光位準內具有全色及彩色像素之一影像感測器所捕獲的一影像之改良式影像品質。
從檢視較佳具體實施例及所附專利申請範圍之以下詳細說明，且藉由參考附圖，將更清楚地瞭解本發明之此及其他態樣、目的、特性及優點。
因為將成像裝置及相關電路用於信號捕獲及校正並用於曝光控制的數位相機已為人所熟知，所以本說明將係特定關於形成其部分或更直接與依據本發明之方法及設備配合的元件。本文中未明確顯示或說明的元件係選自該技術中已知的元件。欲加以說明的具體實施例之某些態樣係提供在軟體中。在如下列材料中依據本發明加以顯示及說明的系統情況下，本文中未明確顯示、說明或建議的可用於實施本發明之軟體係傳統的且為熟習此類技術人士所瞭解。
現在參見圖1，其顯示一影像捕獲裝置之方塊圖，該裝置係顯示為體現本發明的數位相機。儘管現在說明數位相機，但是本發明可清楚地應用於其他類型的影像捕獲裝置。在所揭示的相機中，自物件場景的光10係輸入至一成像級11，其中該光係藉由透鏡12所聚焦以在固態影像感測器20上形成一影像。影像感測器20將入射光轉換為用於每一個圖像元素(像素)之電信號。較佳具體實施例之影像感測器20係電荷耦合裝置(CCD)型或主動像素感測器(APS)型(APS裝置係因能夠在互補金氧半導體程序中製造其而通常 稱為CMOS感測器)。使用具有二維像素陣列之其他類型的影像感測器，只要其使用本發明之圖案。本發明亦使用具有二維彩色及全色像素陣列的影像感測器20，此將在下文說明圖1之後於此說明書中變得清楚。用於影像感測器20的本發明之彩色及全色像素之圖案的範例係顯示在圖4A至D、圖8A至D、圖9、圖10A至B、圖11A、圖11C、圖13A至C、圖14A至B以及圖15A至B中，儘管在本發明之精神內使用其他圖案。
藉由光圈區塊14調節達到感測器20的光之數量，該區塊改變孔徑以及一中性密度(ND)濾光片區塊13，其包含內插在光學路徑中的一或多個ND濾光片。快門18開啟的時間亦調節總光位準。一曝光控制器區塊40回應於如藉由亮度感測器區塊16所計量之場景中可用的光之數量且控制所有此三個調節功能。
特定相機組態之此說明將為熟習技術人士所熟悉，並且應明白存在許多變化及額外特性。例如，添加一自動聚焦系統，或透鏡係可分開且可交換的。應瞭解本發明係應用於任一類型的數位相機，其中藉由替代性組件提供類似功能。例如，該數位相機係相對簡單的點及攝影型數位相機，其中快門18係相對簡單的可移動葉片快門或類似物，而非較複雜的焦平面配置。亦可在包含於非相機裝置(例如行動電話及自動車輛)中的成像組件上實施本發明。
自影像感測器20的類比信號係藉由類比信號處理器22所處理並應用於類比至數位(A/D)轉換器24。時序產生器26 產生各種時脈信號以選擇列及像素並使類比信號處理器22及A/D轉換器24之操作同步。一影像感測器級28包含影像感測器20、類比信號處理器22、A/D轉換器24以及時序產生器26。影像感測器級28之組件係分離製造的積體電路，或其係製造為如通常採用CMOS影像感測器所製造的單一積體電路。自A/D轉換器24之獲得的數位像素值流係儲存在與數位信號處理器(DSP)36相關聯的記憶體32中。
除系統控制器50及曝光控制器40以外，數位信號處理器36係此具體實施例中的三個處理器或控制器之一。儘管多個控制器及處理器當中的相機功能控制之此分割係典型的，但是此等控制器或處理器係採用各種方式組合而不影響相機之功能操作及本發明之應用。此等控制器或處理器可包含一或多個數位信號處理器裝置、微控制器、可程式化邏輯裝置或其他數位邏輯電路。儘管已說明此類控制器或處理器之組合，但是應明白一個控制器或處理器係指明用以執行所有需要的功能。所有此等變化可以執行相同功能並在本發明之範疇內，而且術語「處理級」將按需要用以將此功能之全部包含在一個片語，例如圖1之處理級38中的功能。
在所說明的具體實施例中，DSP 36依據一軟體程式操縱其記憶體32中的數位影像資料，該軟體程式係永久地儲存在程式記憶體54中並複製到記憶體32以在影像捕獲期間執行。DSP 36執行實施圖18所示的影像處理所必需的軟體。記憶體32包含任一類型的隨機存取記憶體，例如 SDRAM。包含用於位址及資料信號的路徑之匯流排30將DSP 36與其相關記憶體32、A/D轉換器24以及其他相關裝置連接。
系統控制器50根據儲存在程式記憶體54(其可包含快閃EEPROM或其他非揮發性記憶體)中的軟體程式來控制相機的總操作。此記憶體亦可用以儲存影像感測器校準資料、使用者設定選擇以及在關閉相機時必須加以保存的其他資料。系統控制器50藉由下列方式控制影像捕獲之序列：引導曝光控制器40以操作如先前說明的透鏡12、ND濾光片13、光圈14以及快門18，引導時序產生器26以操作影像感測器20及相關聯元件，以及引導DSP 36以處理捕獲的影像資料。在捕獲並處理一影像之後，儲存在記憶體32中的最終影像檔案係經由介面57傳輸至一主機電腦，儲存在可移動記憶卡64或其他儲存裝置中，以及為使用者顯示在影像顯示器88上。
系統控制器匯流排52包含用於位址、資料及控制信號的路徑，並且將系統控制器50與DSP 36、程式記憶體54、系統記憶體56、主機介面57、記憶卡介面60以及其他相關裝置連接。主機介面57提供高速連接至個人電腦(PC)或其他主機電腦以傳輸用於顯示、儲存、操縱或列印的影像資料。此介面係IEEE1394或USB2.0串列介面或任何其他適當的數位介面。記憶卡64通常係微型快閃(CF)卡，其係***記憶卡插座62中且經由記憶卡介面60與系統控制器50連接。所用的其他類型之儲存器無限制地包含PC卡、多媒體 卡(MMC)或安全數位(SD)卡。
處理的影像係複製到系統記憶體56中的顯示緩衝器並經由視訊編碼器80加以連續地讀出以產生一視訊信號。此信號係從相機直接輸出以顯示在一外部監視器上，或藉由顯示控制器82進行處理並加以呈現在影像顯示器88上。此顯示器通常係主動矩陣彩色液晶顯示器(LCD)，儘管亦使用其他類型的顯示器。
藉由在曝光控制器40及系統控制器50上執行的軟體程式之組合來控制一使用者介面68，其包含視野取景器顯示器70、曝光顯示器72、狀態顯示器76、影像顯示器88以及使用者輸入74之所有或任一組合。使用者輸入74通常包含按鈕、搖桿開關、操縱桿、旋轉撥號盤或觸控螢幕之某組合。曝光控制器40操作光計量、曝光模式、自動聚焦以及其他曝光功能。系統控制器50管理在該等顯示器之一或多個(例如影像顯示器88)上呈現的圖形使用者介面(GUI)。GUI通常包含用以進行各種選項選擇的選單以及用以檢查捕獲的影像之檢視模式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間(快門速度)以及曝光指數或ISO速度等級的使用者輸入並相應地引導透鏡及快門以進行隨後捕獲。亮度感測器16係用以測量場景之亮度並提供曝光計量功能以供使用者用以參考何時手動設定ISO速度等級、孔徑以及快門速度。在此情況下，隨著使用者改變一或多個設定，在視野取景器顯示器70上呈現的光計量指示器告訴使用者影像將達到何 種過曝光或曝光不足程度。在自動曝光模式中，使用者改變一個設定而且曝光控制器40自動地改變另一設定以維持正確的曝光，例如對於一給定ISO速度等級而言，當使用者減小透鏡孔徑時，曝光控制器40會自動地增加曝光時間以維持相同的總曝光。
ISO速度等級係數位相機之一重要屬性。曝光時間、透鏡孔徑、透鏡透射比、場景照明之位準及頻譜分佈、以及場景反射比決定數位相機之曝光位準。當使用不足夠的曝光獲得自數位相機的一影像時，一般可藉由增加電子或數位增益來維持適當的色調重現，但是該影像將包含不可接受的數量之雜訊。隨著曝光的增加，增益會減小，且因此可通常將影像雜訊減小至可接受的位準。若過份地增加曝光，則影像之明亮區域中獲得的信號可超過影像感測器或相機信號處理之最大信號位準能力。此可使影像加亮區得以限幅，從而形成均勻明亮區域，或擴散至影像之周圍區域。重要的係在設定適當曝光時指導使用者。ISO速度等級係旨在用作此類指導。為輕易地得到攝影師的瞭解，用於數位相機的ISO速度等級應該直接與用於照相底片相機的ISO速度等級相關。例如，若數位相機具有ISO速度等級ISO 200，則相同的曝光時間及孔徑對於ISO 200等級式底片/程序系統應該係適當的。
ISO速度等級係旨在與底片ISO速度等級協調。然而，在排除準確等效性的電子與以底片為基礎的成像系統之間存在差異。數位相機可包含可變增益，且可在已捕獲影像資 料以後提供數位處理，從而使色調重現能在相機曝光範圍內達到。因此數位相機可以具有一定範圍的速度等級。此範圍係界定為ISO速度寬容度。為預防混淆，將單一值指明為內在ISO速度等級，其中ISO速度寬容度之上限及下限指示該速度範圍，即包含不同於內在ISO速度等級的有效速度等級之範圍。在瞭解此點的情況下，內在ISO速度係採用在數位相機之焦平面上提供的曝光加以計算的數值，其用以產生指定的相機輸出信號特徵。內在速度通常係曝光指數值，其針對正常場景產生用於一給定相機系統的峰值影像品質，其中曝光指數係與提供至影像感測器的曝光與反比的數值。
數位相機之前述說明將為熟習技術人士所熟悉。應明白存在此具體實施例之許多變化，其可行且係選擇用以減小成本，添加特性或改良相機之性能。下列說明將詳細揭示此相機依據本發明而捕獲影像之操作。儘管此說明參考一數位相機，但是應瞭解本發明適用於具有帶有彩色及全色像素的影像感測器之任一類型的影像捕獲裝置。
圖1所示的影像感測器20通常包含在一矽基板上製造的一二維光敏像素陣列，其提供將每一個像素中的入射光轉換成加以測量的電信號之方式。隨著影像感測器20係曝露於光，自由電子係產生並捕獲在每一個像素中的電子結構內。在某時間週期內捕獲此等自由電子並接著測量捕獲的電子之數量，或測量產生自由電子所採用的速率可測量每一個像素中的高位準。在前者情況下，累積的電荷係從像 素陣列偏移至如電荷耦合裝置(CCD)中的一電荷至電壓測量電路，或接近於每一個像素的區域可包含如主動像素感測器(APS或CMOS感測器)中的一電荷至電壓測量電路之元件。
無論何時一般參考下列說明中的一影像感測器，均將其瞭解為表示自圖1的影像感測器20。應進一步瞭解在此說明書中揭示的本發明之影像感測器架構及像素圖案之所有範例及其等效物係用於影像感測器20。
在一影像感測器的背景下，一像素("圖像元素"之縮略)指一離散光感測區域及與該光感測區域相關聯的電荷偏移或電荷測量電路。在數位彩色影像的背景下，術語像素通常指具有相關聯彩色值之影像中的特定位置。
為產生彩色影像，影像感測器中的像素陣列通常具有放置在其上的彩色濾光片之圖案。圖2顯示通常使用的紅、綠及藍色濾光片之圖案。此特定圖案係通常瞭解為發明者Bryce Bayer之後的拜耳(Bayer)彩色濾光片陣列(CFA)，如美國專利第3,971,065號中所揭示。此圖案係有效地用於具有二維彩色像素陣列之影像感測器。因此，每一個像素具有特定彩色光回應，其在此情況下係對紅、綠或藍光的主要敏感性。彩色光回應之另一有用變化係對深紅、黃或青光的主要敏感性。在每一種情況下，特定彩色光回應具有對可見頻譜之某些部分的高敏感性，而同時具有對可見頻譜之其他部分的低敏感性。術語彩色像素指具有彩色光回應的像素。
選擇用於感測器的一組彩色光回應通常具有三個彩色，如拜耳CFA所示，但是其亦包含四或多個彩色。本文中所用的全色光回應指具有比一組選擇的彩色光回應中所表示的頻譜敏感性寬之頻譜敏感性的光回應。全色光回應可具有橫跨整個可見頻譜之高敏感性。術語全色像素指具有全色光回應的像素。儘管全色像素一般具有比該組彩色光回應寬的頻譜敏感性，但是每一個全色像素可具有一相關聯濾光片。此類濾光片係中性密度濾光片或彩色濾光片。
當彩色及全色像素之一圖案係在一影像感測器之表面上時，每一個此類圖案具有一重複單位，其係作為基本構建區塊的鄰近像素子陣列。藉由並置該重複單位之多個複本，產生整個影像感測器圖案。在對角線方向及水平與垂直方向上進行重複單位之多個複本的並置。
一最小重複單位係一重複單位，因此無其他重複單位具有較少的像素。例如，圖2中的CFA包含一最小重複單位，其係二個像素×二個像素之單位，如藉由圖2中的像素區塊100所示。此最小重複單位之多個複本係平鋪用以涵蓋一影像感測器中的整個像素陣列。最小重複單位係顯示為在右上角具有綠色像素，但是三個替代性最小重複單位可藉由將粗線外形區域向右移動一個像素、向下移動一個像素或以對角線方式向右下方移動一個像素而輕易地加以辨別。儘管像素區塊102係一重複單位，但是其並非一最小重複單位，因為像素區塊100係一重複單位而且像素區塊100具有比像素區塊102少的像素。
使用具有帶有圖2之CFA之二維陣列的一影像感測器捕獲之一影像在每一個像素中僅具有一個彩色值。為產生一全色影像，存在若干技術用以推斷或內插每一個像素中的遺漏彩色。此等CFA內插技術在該技術中已為人所熟知而且參考下列美國專利第5,506,619、5,629,734及5,652,621號。
圖3顯示在一典型相機應用中具有紅、綠及藍色濾光片的像素之相對頻譜敏感性。圖3中的X軸表示以奈米為單位之光波長，而且Y軸表示效率。在圖3中，曲線110表示用以阻塞紅外線及紫外線光到達影像感測器的典型濾光片之頻譜透射特徵。需要此類濾光片，因為用於影像感測器的彩色濾光片通常不阻塞紅外線光，因此像素能夠區分紅外線光與在其相關聯彩色濾光片之通帶內的光。藉由曲線110所示的紅外線阻塞特徵預防紅外線光損壞可見光信號。用於具有紅色、綠色及藍色濾光片之典型矽感測器的頻譜量子效率(即捕獲的入射光子與轉換成可測量電信號的入射光子之比例)係乘以藉由曲線110表示的紅外線阻塞濾光片之頻譜透射特徵以產生藉由用於紅色之曲線114、用於綠色之曲線116以及用於藍色之曲線118所表示的組合式系統量子效率。應從此等曲線瞭解每一個彩色光回應僅對可見頻譜之一部分敏感。藉由對比，由曲線112顯示沒有所應用的彩色濾光片(但包含紅外線阻塞濾光片特徵)的同一矽感測器之光回應；此係全色光回應之一範例。藉由將彩色光回應曲線114、116及118與全色光回應曲線112比 較，可清楚看出全色光回應係比彩色光回應之任一者對寬頻譜光敏感三至四倍。
圖3所示的較大全色敏感性容許藉由將包含彩色濾光片之像素與不包含彩色濾光片之像素混合而改良一影像感測器之總敏感性。然而，彩色濾光片像素將在很大程度上不及全色像素敏感。在此情形下，若全色像素係適當地曝露於光以便自一場景的光強度之範圍涵蓋全色像素之全測量範圍，則彩色濾光片將在很大程度上係曝光不足。因此，有利的係調整彩色濾光片像素之敏感性以便其具有與全色像素粗略相同的敏感性。例如，藉由增加彩色像素相對於全色像素的大小來增加彩色像素之敏感性，其中相關聯地減少空間像素。
圖4A表示具有兩個群組的二維像素陣列。自第一像素群組之像素具有比自第二像素群組之像素窄的頻譜光回應。第一像素群組包含個別像素，其係關於對應於至少兩個彩色濾光片的至少兩個不同頻譜光回應。混合此等兩個像素群組以改良該感測器的總敏感性。在此說明書中應更清楚，第一及第二像素群組的放置界定一圖案，其具有包含至少十二個像素的一最小重複單位。該最小重複單位包含配置成容許在不同發光條件下重現捕獲的彩色影像之第一及第二像素群組。
圖4A所示的完整圖案表示一最小重複單位，其係平鋪用以涵蓋整個像素陣列。如圖2所示，存在若干其他最小重複單位，其係用以說明彩色及全色像素之此總配置，但是 該等像素的特徵係全部本質上等效而且每一個像素係一像素子陣列，該子陣列的範圍係八個像素×八個像素。此圖案之一重要特性係使全色及彩色像素之列與具有帶有聚集在一起之相同彩色光回應的像素之彩色列交替。具有相同光回應的像素連同其相鄰全色像素之某些之群組係視為形成構成該最小重複單位的四個單元，一單元係具有比一最小重複單位少的像素之一相鄰像素子陣列。
藉由圖4A中的粗線所描繪且在圖5中顯示為單元120、122、124及126的此等四個單元圍繞四個群組，每一個群組具有4×4個像素，其中120表示左上單元，122表示右上單元，124表示左下單元，以及126表示右下單元。四個單元之每一個包含相同彩色光回應之八個全色像素及八個彩色像素。一單元中的彩色像素係組合成表示該整個單元的彩色。因此，圖5中的單元120係視為綠色單元，單元122係視為紅色單元，並以此類推。每一個單元包含相同彩色的至少兩個像素，從而允許相同彩色之像素得到組合以克服彩色像素與全色像素之間的光感性差異。
在具有四個非重疊單元(每一個單元具有相同彩色之兩個像素以及兩個全色像素)的一最小重複單位之情況下，可清楚看出該最小重複單位包含十六個像素。在具有三個非重疊單元(每一個單元具有相同彩色之兩個像素以及兩個全色像素)的一最小重複單位之情況下，可清楚看出該最小重複單位包含十二個像素。
依據本發明，在按照圖5中加以識別的單元結構進行考 量時，圖4A之最小重複單位可表示配置成容許在不同發光條件下重現一捕獲的彩色影像之高解析度全色影像及低解析度拜耳圖案彩色影像的組合。拜耳圖案影像之個別元素表示對應單元中的彩色像素之組合。第一像素群組界定低解析度彩色濾光片陣列影像而且第二像素群組界定高解析度全色影像。參見圖6A及圖6B。圖6A表示對應於圖4A的高解析度全色影像，其包含自圖4A的全色像素P以及內插的全色像素P'；而且圖6B表示低解析度拜耳圖案彩色影像，其中R'、G'及B'表示圖5中略述的單元之每一個，單元彩色係與該單元中的組合式彩色像素相關聯。
在下列說明中，圖4B至D、8A至D、9、10A至B、11A、11C、12A至B、13A至C、14A至B以及15A至B中的所有單元係藉由粗線所描繪，如其在圖4A中一樣。
除圖4A之替代性最小重複單位以外，將該圖案之每一個像素旋轉90度以產生圖4B所示的圖案。此係實質上同一圖案，但是其將最高全色取樣頻率放置在垂直方向代替水平方向上。對使用圖4A或圖4B之選擇取決於是否需要分別在水平或垂直方向上具有較高的全色空間取樣。然而，可清楚看出構成兩個圖案中的最小重複單位之獲得的單元針對兩個圖案產生同一低解析度彩色影像。因此，從彩色觀點看，圖4A及圖4B係等效。一般而言，圖4A及圖4B係實施本發明之範例，其中以線性方式將全色影像配置在列或行中。此外，圖4A具有全色影像之單一列，其中每一列係藉由一彩色像素列與全色像素之相鄰列分離；圖4B在行方 向上具有相同特徵。
圖4C表示圖4A之另一替代性最小重複單位，其具有本質上相同的單元彩色特徵。然而，圖4C顯示以逐個單元為基礎而錯開的全色及彩色列。此可改良垂直全色解析度。圖4D中表示圖4A之另一替代性最小重複單位，其中藉由行對來錯開全色及彩色列。此亦具有改良垂直全色解析度之潛能。圖4A至D之所有最小重複單位之一特徵係二或多個相同彩色像素之群組係並列配置在列或行中。
圖4A至D全部具有相同的彩色結構，其具有構成表達低解析度拜耳圖案之最小重複單位的單元。因此可看出在本發明之精神內構造全色像素以及分組彩色像素之各種配置。
為增加彩色光感性以克服全色光感性與彩色光感性之間的不均等，採用各種方式組合每一個單元內的彩色像素。例如，在CCD影像感測器或各類型之容許裝載的主動像素感測器中組合或裝載自相同彩色像素的電荷。或者，平均化對應於相同彩色像素中測量的電荷數量之電壓，例如藉由並聯連接充電至此等電壓的電容器。在另一方法中，加總或平均化相同彩色像素中的光位準之數位表示。組合或裝載自兩個像素的電荷會使信號位準加倍，而與取樣並讀出組合信號相關聯的雜訊保持相同，從而將信號對雜訊比增加因數2，其表示組合像素之光感性對應增加兩倍。在加總自兩個像素的光位準之數位表示的情況下，獲得的信號會增加因數2，但是自讀取兩個像素的對應雜訊位準以 求積方式組合，從而將雜訊增加2的平方根；組合像素之獲得的信號對雜訊比因此在未組合信號上增加2的平方根。類似分析適用於電壓或數位平均化。
單獨或組合使用組合自一單元內的相同彩色像素之信號之先前提到的方法。例如，以兩個一群組的方式垂直組合自圖4A中相同彩色像素之電荷以產生具有圖7A所示的組合信號R'、G'及B'之組合像素。在此情況下，每一個R'、G'及B'具有兩倍的未組合像素之敏感性。或者，以四個一群組的方式水平組合自圖4A中相同彩色像素之測量值(電壓或數位值)以產生具有圖7B所示的組合信號R'、G'及B'之組合像素。在此情況下，因為信號增加因數4但雜訊增加2，所以每一個R'、G'及B'具有兩倍的未組合像素之敏感性。在另一替代性組合方案中，以兩個一群組的方式垂直組合自圖7A中相同彩色像素的電荷，並以四個一群組的方式水平加總或平均化圖7A之組合像素的測量值會產生圖7C之最終組合彩色像素，R"、G"及B"表示相同彩色像素之最終組合。在此組合配置中，圖7C之最終組合彩色像素分別具有四倍的未組合像素之敏感性。某些感測器架構(特別地係某些CCD配置)可容許自每一個單元內的所有八個相同彩色像素之電荷採用圖7C之方式加以組合，從而導致組合彩色像素之敏感性增加八倍。
從上文，現在應瞭解在用於調整彩色像素的光感性之目的而組合彩色像素方面存在若干自由度。熟知的組合方案為熟習技術人士所瞭解且係基於場景內容、場景照明體、 總光位準或其他準則。此外，選擇組合方案以有意容許組合像素具有比全色像素大或小的敏感性。
為此目的，已將影像感測器說明為使用紅色、綠色及藍色濾光片。採用替代性濾光片選擇實施本發明。使用青色、深紅色及黃色感測器之影像感測器在該技術中已為人所熟知，而且採用青、深紅及黃色濾光片實施本發明。圖8A顯示圖4A之青色、深紅色及黃色等效物，C表示青色像素，M表示深紅色像素，以及Y表示黃色像素。本發明亦可用於具有三個以上彩色光回應的像素。
圖8B顯示本發明之一最小重複單位，其包含青色像素(由C表示)、深紅色像素(由M表示)、黃色像素(由Y表示)、以及綠色像素(由G表示)。此保持圖5所示的最小重複單位之總單元配置，但是包含四個不同彩色像素並因此包含四個不同彩色對應單元。圖8C顯示另一替代性四色配置，其包含紅色像素(由R表示)、藍色像素(由B表示)、具有一個彩色光回應的綠色像素(由G表示)、以及具有不同彩色光回應之替代性綠色像素(由E表示)。圖8D顯示另一替代性四色配置，其中由一黃色單元取代圖4A之綠色單元之一，而由Y表示黃色像素。
除全色像素以外，採用三個彩色實施本發明。例如，適合使用具有對應於紅色及藍色的單元之最小重複單位。
在本發明之精神內實施圖4A之許多替代例。例如，圖9表示本發明之一替代性最小重複單位，其具有與圖4A相同的單元結構但具有全色像素之棋盤圖案。此圖案提供影像 之均勻全色取樣，從而克服圖4A、4C及4D之垂直全色取樣不足。圖9之特徵為藉由將全色像素配置成對角線而實施本發明之一範例。圖9之進一步特徵為具有全色像素之單一對角線，每一條對角線係藉由彩色像素之一對角線與全色像素之相鄰對角線分離。圖9之另一特徵為將相同彩色像素之二或多個群組並列配置成對角線。
迄今呈現的圖案已具有相等數目的全色及彩色像素。本發明不限於此配置，因為全色像素係比彩色像素多。圖10A顯示本發明之另一具體實施例，其中將彩色像素嵌入在全色像素之格柵圖案內。此圖案提供很好的全色空間取樣，同時表達與圖4A及9相同的彩色單元配置。圖10B提供全色格柵圖案之四色具體實施例之一範例。一般而言，圖10之最小重複單位之特徵為藉由一或多個全色像素將每一個彩色像素與相鄰彩色像素分離。
對於一給定的像素圖案而言，先前已將一最小重複單位界定為一重複單位以便無其他重複單位具有較少的影像。在同一場景，依據重複單位中的像素之總數來比較自不同像素圖案的重複新單位之大小。舉例而言，自一個像素圖案的四個像素×八個像素之重複單位係小於自另一個像素圖案的六個像素×六個像素之重複單位，因為第一重複單位中的像素之總數(4×8＝32)係小於第二重複單位中的像素之總數(6×6＝36)。另外舉例而言，小於具有八個像素×八個像素的重複單位之一重複單位包含少於64個的總像素。
迄今呈現的所有圖案已展現一單元結構，其中每一個單元包含除全色像素以外的單一彩色。此外，迄今呈現的所有圖案已展現範圍係八個像素×八個像素的最小重複單位。亦可使用具有單元的一最小重複單位，每一個單元中具有一個以上彩色；此外，界定一最小重複單位，其範圍係小於八個像素×八個像素。例如，圖11A之最小重複單位具有兩個單元，每一個單元包含兩個彩色：左單元中的藍色與綠色(分別由B與G表示)，以及右單元中的紅色與綠色(分別由R與G表示)。在圖11A中，單元包含兩個彩色，而且此等彩色係配置成用於改良彩色敏感性之目的而促進組合相同彩色。圖11B顯示如何平鋪圖11A的最小重複單位以便使紅色及藍色錯開。圖11C提供使用四色且每單元兩色的最小重複單位。圖11D顯示如何平鋪圖11C的最小重複單位以便使紅色及藍色錯開。在圖11D中，粗彩色圖案之特徵為綠色範圍內的兩個不同彩色光回應之棋盤(由G及E表示)係與紅色及藍色之棋盤(分別由R及B表示)交錯。圖12A提供圖11A之全色棋盤版本，而且圖12B提供圖11C之全色棋盤版本。一般而言，圖11A及11C的最小重複單位之特徵為藉由不同彩色像素或全色像素之相異像素使每一個彩色像素與列及行中的相鄰彩色像素分離。
迄今說明的最小重複單位之範圍係8×8或4×8個像素。然而，該最小重複單位係較小。例如，圖13A係與圖4類似，但是每一個彩色單元係3個像素寬×4個像素高並且總最小重複單位係6個像素寬×8個像素高。圖13B消除自圖13A的 彩色像素列之兩個，從而產生3個像素×3個像素之單元以及6個像素×6個像素之一最小重複單位。圖13C藉由消除該等全色列之兩個而繼續，從而產生3個像素寬×2個像素高之單元(每一個單元包含3個全色像素及3個彩色像素)以及6個像素寬×4個像素高之一最小重複單位。若組合每一個單元內的彩色之方案需要比圖4A及其他圖案所示的像素數目少之像素，則圖13A至13C所示的圖案係尤其有用。
圖14A顯示另一最小重複單位。圖14A中的最小重複單位係六個像素×六個像素，每一個單元包含單一彩色之4像素菱形圖案，其餘5個像素係全色像素。圖14A所示的全色空間取樣圖案係稍不規則，從而建議具有全色棋盤的圖14B之圖案，並且藉由單一彩色佔據每一個三像素×三像素單元中的其餘像素。
圖15A顯示一最小重複單位，其係4×4個像素之單位且包含四個2×2像素單元。應注意每一個單元包含兩個全色像素及兩個相同彩色像素。本發明需要將兩個相同彩色像素放置在2×2像素單元之每一個中以便促進組合每一個單元內的彩色像素。圖15B係類似於圖15A但使用一全色棋盤圖案。
現在參考圖16，將圖5所示的最小重複單位細分成四個單元，一單元係具有比一最小重複單位少的像素之一鄰近像素子陣列。圖1之DSP 36中包含提供下列處理所需要的軟體。單元220、224、226及228係單元之範例，其中此等單元包含分別具有綠色、紅色、藍色及綠色光回應之像 素。在此範例中，單元220包含全色像素及綠色像素兩者，將綠色像素識別為像素群組222。最後的目標係藉由組合自像素群組222中的綠色像素之八個綠色信號來產生用於單元220的單一綠色信號。根據該影像感測器的操作模式，藉由組合類比範圍內的所有八個綠色信號(例如藉由電荷裝載)而產生單一綠色信號，或藉由組合取自像素群組222的較小像素群組來產生多個綠色信號。圖17A顯示單元220之全色像素。在下列範例中，個別地數位化自此等全色像素之所有八個信號。圖17B至17E顯示單元220之綠色像素，其中該等綠色像素係依據如何在類比範圍內組合其信號而得以聚集在一起。圖17B描述組合所有八個綠色像素以產生用於單元220的單一綠色信號(圖16)之情況。該感測器可產生兩個綠色信號，例如藉由首先組合自像素G21、G22、G23及G24的信號，並接著組合自像素G41、G42、G43及G44的信號，如圖17C所示。亦採用其他方式產生兩個信號。該感測器可首先組合自像素G21、G22、G41及G42的信號，並接著組合自像素G23、G24、G43及G44的信號，如圖17D所示。該感測器亦可藉由組合四對信號來產生用於單元220的四個綠色信號，例如將像素G21與G22組合，接著將G23與G24組合，再接著將G41與G42組合，並最終將G43與G44組合，如圖17E所示。應清楚看出存在許多額外方式可用以組合單元220內的綠色信號對(圖16)。若該感測器根本不組合，則個別地針對單元220報告所有八個綠色信號。因此，在單元220之情況下，該感 測器可產生用於單元220的一、二、四或八個綠色值，並採用不同方式根據其操作模式產生該等綠色值。
對於單元224、226及228(圖16)而言，藉由該感測器根據其操作模式產生類似的彩色信號。用於單元224、226及228的彩色信號分別係紅色、藍色及綠色。
參考單元220之情況，不管針對此單元數位化多少信號，本發明之影像處理演算法進一步組合數位化綠色值以產生用於該單元的單一綠色值。獲得單一綠色值的一種方式係藉由平均化為單元220產生的所有數位化綠色值。在一單元包含不同光回應之彩色像素的事件中，同樣地組合該單元內的所有彩色資料以便存在用於該單元內表示的每一個彩色光回應之單一數值。
重要的係區分關於捕獲原始影像資料之原始的感測器中的像素之彩色值，與關於原始的感測器內的單元之彩色值。兩種類型的彩色值皆係用以產生彩色影像，但是獲得的彩色影像具有不同解析度。具有與原始的感測器中的像素相關聯的像素值之一影像指高解析度影像，而且具有與原始的感測器內的單元相關聯的像素值之一影像指低解析度影像。
現在參考圖18，其顯示從資料匯流排30(圖1)接收捕獲的原始影像資料之數位信號處理器區塊36(圖1)。將原始影像資料傳遞至低解析度部分彩色區塊202及高解析度全色區塊204。已經在圖5及圖16中顯示用於影像感測器的最小重複單位之一範例。在單元220(圖16)的情況下，捕獲的原 始影像資料包含由如圖17A所示的個別全色像素產生的全色資料。此外，對於單元220(圖16)，亦包含一或多個綠色(彩色)值，例如自圖17B至E所示的組合。
在低解析度部分彩色區塊202(圖18)中，從捕獲的原始影像資料產生部分彩色影像，部分彩色影像係每一個像素具有至少一個彩色值並且每一個像素亦遺漏至少一個彩色值的彩色影像。根據該影像感測器的操作模式，捕獲的原始資料包含由每一個單元內的彩色像素產生的某數目之彩色值。在低解析度部分彩色區塊202內，此等彩色值係減小至用於該單元內表示的每一個彩色之單一數值。舉例而言，對於單元220(圖16)，產生單一綠色值。同樣地，對於單元224、226及228，分別產生單一紅、藍及綠色值。
低解析度部分彩色區塊202採用類似方式處理每一個單元，從而產生一彩色值陣列，每一個單元有一數值。因為獲得的影像陣列係基於單元而非原始的感測器中的像素，所以在每一維度上比原始的捕獲的原始影像資料陣列小四倍。因為獲得的陣列係基於單元且因為每一個像素具有某些但非所有彩色值，所以獲得的影像為低解析度部分彩色影像。在此情況下，低解析度部分彩色影像得以彩色平衡。
現在參見高解析度全色區塊204，使用與圖16所示之原始影像資料相同的的原始影像資料，儘管將僅使用全色值(圖17A)。此次的任務係藉由估計尚沒有全色值之像素中的全色值來內插完整的高解析度全色影像。在單元220(圖 16)之情況下，必須針對像素群組222(圖16)中的綠色像素估計全色數值。估計遺漏全色值的一種簡單方式係進行垂直平均化。因此，例如可如下估計像素22中的全色值：P22＝(P12＋P32)/2亦可使用適應性方法。例如，一種適應性方法係計算三個梯度值並取其絕對值：SCLAS＝ABS(P31－P13) VCLAS＝ABS(P32－P12) BCLAS＝ABS(P33－P11)上述方法使用如圖17A所示的全色值。同樣地，計算三個預測值：SPRED＝(P31＋P13)/2 VPRED＝(P32＋P12)/2 BPRED＝(P33＋P11)/2
因此，將P22設定為等於對應於最小分級值的預測值。在不分勝負的情況下，將P22設定為等於所指示的預測值之平均值。全色內插係在整個影像內繼續而不考量單元邊界。當高解析度全色區塊204之處理完成時，獲得的數位全色影像之大小係與原始的捕獲的原始影像相同，此使其為高解析度全色影像。
低解析度全色區塊206接收由高解析度全色區塊204產生的高解析度全色影像陣列並產生一低解析度全色影像陣列，其大小係與由低解析度部分彩色區塊202產生的低解析度部分彩色影像相同。藉由針對具有彩色濾光片之像素 平均化一給定單元內的估計全色值而獲得每一個低解析度全色值。在單元220(圖16)的情況下，先前針對像素群組222(圖16)中的綠色像素加以估計的高解析度全色值現在係在一起平均化以產生用於該單元的單一低解析度全色值。同樣地，使用在具有紅色濾光片之像素中估計的高解析度全色值，為單元224計算單一低解析度全色值。採用此方式，每一個單元以單一低解析度全色值結束。
低解析度彩色差異區塊208從低解析度部分彩色區塊202接收低解析度部分彩色影像並從低解析度全色區塊206接收低解析度全色陣列。因此藉由採用自低解析度全色影像的指導來彩色內插低解析度部分彩色影像而形成低解析度中間彩色影像。以下欲詳細說明的彩色內插演算法之準確性取決於將像素光回應之何圖案用以捕獲原始的原始影像資料。
在形成低解析度中間彩色影像之後，對其進行彩色校正。一旦對低解析度中間彩色影像進行彩色校正，則藉由個別地從低解析度彩色平面之每一個減去低解析度全色影像來計算具彩色差異之低解析度影像。高解析度彩色差異區塊210從低解析度彩色差異區塊208接收低解析度彩色差異影像，並使用雙線性內插對低解析度彩色差異影像進行向上取樣以與原始的原始影像資料之大小匹配。結果係一高解析度彩色差異影像，其大小與由高解析度全色區塊204產生的高解析度全色影像相同。
高解析度最終影像區塊212從高解析度彩色差異區塊210 接收高解析度彩色差異影像並從高解析度全色區塊204接收高解析度全色影像。接著藉由將高解析度全色影像添加至高解析度彩色差異平面之每一個來形成高解析度最終彩色影像。再接著進一步處理獲得的高解析度最終彩色影像。例如，將其儲存在DSP記憶體區塊32(圖1)中並接著對其進行銳化並壓縮以將其儲存在記憶卡區塊64(圖1)中。
圖4A至D、8A、9、10A、13A至C、14A至B以及15A至B所示的感測器濾光片圖案具有一最小重複單位，因此在低解析度部分彩色區塊202中產生之獲得的低解析度部分彩色影像展現用於彩色濾光片的重複拜耳圖案：除由低解析度部分彩色影像給定的單一彩色值以外，每一個單元亦具有由低解析度全色影像給定的全色值。
考量在低解析度部分彩色影像中存在拜耳圖案之情況，現在更詳細地說明低解析度彩色差異區塊208(圖18)內的彩色內插之任務。彩色內插藉由將綠色值內插在尚沒有綠色值的像素(如圖19A中的像素234)中開始。顯示為像素230、232、236及238的四個相鄰像素全部具有綠色值且其亦全部具有全色值。中心像素234具有一全色值，但沒有如由問號指示的綠色值。
第一步驟係計算兩個分級值，第一個分級值與水平方向相關，而且第二個分級值與垂直方向相關：HCLAS＝ABS(P4－P2)＋ABS(2*P3－P2－P4) VCLAS＝ABS(P5－P1)＋ABS(2*P3－P1－P5)接著，計算兩個預測值，第一個預測值與水平方向相關，而且第二個預測值與垂直方向相關：HPRED＝(G4＋G2)/2＋(2*P3－P2－P4)/2 VPRED＝(G5＋G1)/2＋(2*P3－P1－P5)/2最終，假設THRESH係根據經驗決定的臨界值，可依據下列等式適應性地計算遺漏值G3：若MAX(HCLAS,VCLAS)<THRESH G3＝(HPRED＋VPRED)/2 ELSEIF VCLAS<HCLAS G3＝VPRED或者G3＝HPRED結束因此，若兩個分級值係小於臨界值，則為G3計算兩個預測值的平均值。若並非小於臨界值，則根據分級HCLAS或VCLAS之何者係較小而使用HPRED或VPRED。
一旦已估計所有遺漏綠色值，則內插遺漏紅色及藍色值。如圖19B所示，像素242係遺漏一紅色值但是其兩個水平相鄰像素(即像素240及244)分別具有紅色值R2及R4。所有三個像素具有綠色值。在此等條件下，如下計算對用於像素242之紅色值(R3)的一估計：R3＝(R4＋R2)/2＋(2*G3－G2－G4)/2在類似條件下採用類似方式計算遺漏藍色值。在此情況 下，僅仍具有遺漏紅色及藍色值的像素係需要垂直內插的像素。如圖19C所示，像素252係遺漏一紅色值但是其兩個垂直相鄰像素(像素250及254)分別具有紅色值R1及R5。在此等條件下，如下計算對用於像素252之紅色值(R3)的一估計：R3＝(R5＋R1)/2＋(2*G3－G1－G5)/2在類似條件下採用類似方式計算遺漏藍色值。此完成低解析度部分彩色影像之內插而且結果係一低解析度中間彩色影像。如先前所說明，現在可藉由從剛說明之範例中的每一個彩色平面(紅色、綠色及藍色平面)減去低解析度全色值來計算低解析度彩色差異。
並非所有感測器均產生展現彩色值之重複拜耳圖案的低解析度部分彩色影像。例如，圖11A所示的感測器圖案決定每一個單元接收兩個彩色值：綠色及紅色，或綠色及藍色。因此，在此情況下，低解析度彩色差異區塊208(圖18)內的彩色內插任務估計用於每一個像素的遺漏紅色值或遺漏藍色值。參考圖19D，像素264係顯示為具有綠色值(G3)但沒有紅色值(R3)。四個相鄰像素260、262、266及268具有綠色值及紅色值。內插用於像素264(圖19D)的紅色值之方法係類似於用以內插用於像素234(圖19A)的綠色值之方法。
第一步驟係計算兩個分級值，第一個分級值與水平方向相關，而且第二個分級值與垂直方向相關：HCLAS＝ABS(G4－G2)＋ABS(2*G3－G2－G4) VCLAS＝ABS(G5－G1)＋ABS(2*G3－G1－G5)接著，計算兩個預測值，第一個預測值與水平方向相關，而且第二個預測值與垂直方向相關：HPRED＝(R4＋R2)/2＋(2*G3－G2－G4)/2 VPRED＝(R5＋R1)/2＋(2*G3－G1－G5)/2最終，假設THRESH係根據經驗決定的臨界值，依據下列等式適應性地計算遺漏值G3：若MAX(HCLAS,VCLAS)<THRESH R3＝(HPRED＋VPRED)/2 ELSEIF VCLAS<HCLAS R3＝VPRED或者R3＝HPRED結束因此，若兩個分級值係小於臨界值，則為R3計算兩個預測值的平均值。若並非小於臨界值，則根據分級值HCLAS或VCLAS之何者係較小而使用HPRED或VPRED。
使用藍色值代替紅色值，採用完全相同的方式內插遺漏藍色值。一旦完成，則已產生低解析度中間彩色影像。從中看出，如先前說明而計算低解析度彩色差異。
影像捕獲裝置通常具有提供低解析度影像的要求。影像感測器上貢獻低解析度影像之像素將稱為第一二維像素陣列。此第一二維像素陣列可以係該感測器上的所有主動像素，或該陣列可以係來自該感測器之一較小區。在任一情 況下，第一二維像素陣列中的像素均對應於該影像感測器上的實際像素。
自一影像捕獲裝置的低解析度影像通常係完全感測器解析度之一小部分，例如完全解析度的1/2至1/10。低解析度影像之一共同用途係提供用於分析並用於預覽場景的影像之流或序列。例如，此等低解析度影像之流可加以顯示在相機之背面上或在一電子視野取景器中。此種預覽流具有兩個關鍵特徵：影像係少於完全解析度，而且處理必須以正常視訊圖框速率(例如每秒30個圖框)來遞送影像。此要求之另一範例係建立視訊，其係此等低解析度影像之流。
組合自多個像素的信號之若干方法可用以產生低解析度影像；然而，大多數組合技術需要取樣並轉換欲加以組合的像素，因此其並不減小總像素讀出速率。組合係在本文中用以表示比裝載普遍的操作而且包含作為用以組合像素之一種特定方法的裝載。組合自多個像素的電荷會減少低解析度影像中的混淆，因為每一個裝載像素中包含較多空間取樣。術語類比組合指組合自多個像素的信號，然後將組合信號從類比轉換至數位形式的任一方法。此方法之一範例係裝載(組合電荷範圍內的信號)。
藉由自第一二維像素陣列中的多個像素之信號的類比組合產生的一像素係稱為合成像素。
在採用此二維像素陣列產生低解析度影像時，一種方法係簡單地次取樣完全解析度像素。例如，參考圖10A，可從圖10B中的像素之第一及第五行與第二及第六列選擇每 一個像素。此將產生具有拜耳圖案的彩色影像，其便於使用設計用以與拜耳圖案感測器合作的硬體進行校正。此類影像不包含合成像素。
此方法具有實質影像品質問題：其係極傾向於混淆並係限於個別像素中的單一位準。組合自多個像素的信號(例如藉由裝載)會改良信號對雜訊比且減小混淆的傾向。
在讀出像素信號之前對像素信號進行類比組合可解決三個需求。一個需求係資料減少，從而達到視訊圖框速率；第二個需求係較大的照相速度；以及第三個需求係達到完全解析度影像之較佳取樣，例如從而減少混淆假影。然而，存在對均勻隔開的CFA資料之第四個需求。針對規則隔開的輸入資料來最佳化用於視訊處理之硬體。若改為使用非規則隔開的CFA影像資料，則在校正影像中產生假影。
當至少某些合成像素係用以產生得自第一二維像素陣列的低解析度影像時，獲得的影像將稱為第二二維像素陣列。此第二陣列中的像素可包含未規則隔開的某些像素。為補救此問題，將第二二維像素陣列用以計算對應於規則隔開之不同像素位置的像素。獲得的影像將稱為一第三二維像素陣列。
圖20A說明具有兩個群組的二維像素陣列。自第一像素群組之像素係彩色像素且具有比自第二像素群組之像素窄的頻譜光回應。第一像素群組包含個別像素，其係關於對應於至少兩個彩色濾光片的至少兩個不同頻譜光回應。混 合此等兩個像素群組以改良感測器的總敏感性。
參考圖20A，其顯示具有CFA圖案的第一二維像素陣列之一部分，該部分包含與彩色像素之列交替的全色像素之列，其中P表示全色像素而且R、G及B分別表示紅色、綠色及藍色像素。一般而言，此圖案具有下列最小重複單位：其中P表示第二群組之像素，A表示第一群組之像素的第一彩色之像素，B表示第一群組之像素的第二彩色之像素，以及C表示第一群組之像素的第三彩色之像素。例如，一般最小重複單位中的第二彩色像素B對應於圖20A中的綠色像素，儘管其他組的彩色亦可用於本發明。
圖20A至B中說明的類比組合係適合於一定範圍的環境發光位準，其大部分為高環境發光位準，其中需要相對較少的增益來達到良好的信號/雜訊比。在較低環境發光位準情況下，信號/雜訊比會下降。因此，較佳藉由組合不同像素來增加信號/雜訊比。
參考圖21A，其顯示用於像素之類比組合的不同圖案。在圖21A中，全色及彩色像素係顯示為藉由實線加以接合，從而指示執行其數值的類比組合。圖21A中的像素係第一二維像素陣列之一部分。因為組合全色及彩色像素， 所以組合的彩色值對應於該影像感測器中的個別像素未達到的合成頻譜回應。
圖21B顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像素。例如，數值G11係顯示為跨越第一及第二列，其係圖21A所示的兩個貢獻像素在第一行第一及第二列中的平均位置。同樣地，跨越圖21B之第一及第二列之第三行中的彩色值R12係組合圖21A之第三行第一及第二列所示的兩個像素之結果。圖21B中的像素係第二二維像素陣列之一部分。此等合成像素係在拜耳圖案中規則地隔開。
當校正組合像素之影像時，圖20B所示的組合像素可加以平衡並校正為更像個別像素。組合像素之頻譜敏感性係藉由組合此等像素而有效地不改變。圖21B所示的組合像素需要不同校正，因為組合全色及彩色像素會改變有效頻譜敏感性。熟習校正技術之人士應明白自圖21B的組合影像一般不及圖20B中的組合像素飽和(其頻譜敏感性具有較多的重疊)。因此，用於圖21B的校正將必須增加彩色飽和以便提供類似於從圖20B產生的校正影像之一校正影像。因為實質上藉由將像素與較大信號組合來改良信號/雜訊比，所以從增加彩色飽和獲得的雜訊放大係可接受。亦可藉由雜訊減少、銳化及其他操作中的變化來減輕從增加彩色飽和獲得的此雜訊放大。此係亦取決於環境發光位準的校正之一範例。
參考圖22A至B，其顯示用於像素之類比組合的不同圖 案。在圖22A中，全色及彩色像素係顯示為藉由實線加以接合，從而指示執行其數值的類比組合。圖22A中的像素係第一二維像素陣列之一部分。圖22B中顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像素。例如，數值G11係顯示為跨越第一及第二行第一及第二列，其係圖22A所示的四個貢獻像素在第一及第二行第一及第二列中的平均位置。同樣地，跨越圖22B之第三及第四行第一及第二列的彩色值R12係組合圖22A之第三及第四行第一及第二列所示的四個像素之結果。圖22B中的像素係第二二維像素陣列之一部分。此等合成像素係在拜耳圖案中規則地隔開。
當校正組合像素之影像時，圖20B所示的組合像素可加以平衡並校正為更像個別像素。組合像素之頻譜敏感性係藉由組合此等像素而有效地不改變。圖21B及22B所示的組合像素需要不同校正，因為組合全色及彩色像素會改變有效頻譜敏感性。熟習校正技術之人士應明白自圖21B及圖22B的組合影像一般不及圖20B中的組合像素飽和(其頻譜敏感性具有較多的重疊)。因此，用於圖21B及圖22B的校正將必須增加彩色飽和以便提供類似於從圖20B產生的校正影像之一校正影像。因為實質上藉由將像素與較大信號組合來改良信號/雜訊比，所以從增加彩色飽和獲得的雜訊放大係可接受。亦可藉由雜訊減少、銳化及其他操作中的變化來減輕從增加彩色飽和獲得的此雜訊放大。此係亦取決於環境發光位準的校正之一範例。
因為圖21B及22B中的組合像素並非彩色像素之線性組合，所以自圖21B及22B的校正影像無法準確地與自圖20B之組合像素的校正影像匹配。儘管如此，在對校正進行某調整的情況下，仍可減輕差異。在極低環境照明位準情況下，組合像素之去飽和以及組合像素之較差信號/雜訊特徵將使一彩色影像之遞送不合需要。例如，遞送灰階影像係較佳用以遞送具有大量彩色雜訊之影像。先前技術已顯示在此等極低信號位準情況下，切換至簡單地使用全色像素可能有效。
較佳具體實施例提供一灰階影像，其使用使得該影像完全去飽和的校正，從而減少程序中的雜訊。在圖20B、21B及22B所示的範例中，當從組合彩色像素切換至組合彩色像素及全色像素時，組合像素在彩色重現方面具有較大變化。因為影像特徵隨改變環境照明而突然轉變係不合需要的，所以較佳具體實施例消除彩色重現中的此等轉變。例如，校正影像應該從高環境光位準下的完全飽和逐漸改變為極低光位準下的灰階，而無突然轉變。此在改變全色像素與彩色像素之混合比例的光位準情況下通常需要在校正中突然偏移。
參考圖23A，其顯示具有一CFA圖案的第一二維像素陣列之一部分。在圖23A中，彩色像素對係顯示為藉由實線所接合，從而指示執行其彩色值的類比組合。圖23A中的像素係第一二維像素陣列之一部分。圖23B中顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像 素。例如，在第二列中數值G11係顯示為跨越第一及第二行第一列，其係圖23A中所示的兩個貢獻綠色像素在第一及第二行第一列中的平均位置。同樣地，跨越圖23B之第三及第四行之彩色值R12係組合圖23A之第三及第四行所示之兩個紅色值的結果。圖23B中的像素係第二二維像素陣列之一部分。
然而，此等合成像素之間距仍不理想，因為合成像素之間的距離並不相等。附於圖23B中的像素之小圓圈顯示用於彩色值的較佳位置。例如可如下計算具有偏移有效位置之新彩色值：R32'＝(49*R32＋7*R34＋7*R12＋R14)/64以及G33'＝(49*G33＋7*G31＋7*G13＋G11)/64獲得的彩色值R32'及G33'連同其他彩色值係顯示在圖23C中的其適當位置處。應注意用於R32'的等式顯示如何向上及向右偏移一彩色值而且用於G33'的等式顯示如何向上且向左偏移一彩色值。類似等式可用以計算其餘藍及綠色值。圖23C所示的像素係第三二維像素陣列之一部分，其係適合於對可觀看的影像進行校正。
圖23C中的每一個像素係基於同一彩色之三個完全解析度像素。此具有每一個合成影像具有顯著的改良式信號/雜訊比之優點。應注意組合像素之影像中的彩色之圖案係一拜耳圖案，其便於進一步採用標準處理進行校正。
在圖24A中，彩色像素對係顯示為藉由實線與全色像素 對接合在一起，從而指示執行四個數值的類比組合。圖24A中的像素係第一二維像素陣列之一部分。圖24B中顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像素。例如，數值G11係顯示為跨越第一及第二行與第一及第二列，其係圖24A所示的四個貢獻像素在第一及第二列與第一及第二行中的平均位置。同樣地，跨越圖24B之第三及第四行與第一及第二列的彩色值R12係組合圖24A之第三及第四行與第一及第二列所示的四個貢獻像素之結果。圖24B中的像素係第二二維像素陣列之一部分。
然而，此等合成像素之間距仍不理想，因為合成像素之間的距離並不相等。附於圖24B中的像素之小圓圈顯示用於彩色值的較佳位置。例如可如下計算具有偏移有效位置之新彩色值：R32'＝(105*R32＋15*R34＋7*R12＋R14)/128以及G33'＝(105*G33＋15*G31＋7*G13＋G11)/128獲得的彩色值R32'及G33'連同其他彩色值係顯示在圖24C中的其適當位置處。應注意用於R32'的等式顯示如何向上及向右偏移一彩色值而且用於G33'的等式顯示如何向上且向左偏移一彩色值。類似等式可用以計算其餘藍及綠色值。圖24C所示的像素係第三二維像素陣列之一部分，其係適合於對可觀看的影像進行校正。
參考圖25A，其顯示具有一CFA圖案的第一二維像素陣 列之一部分，該部分具有與彩色像素交替的全色像素，其中P表示全色像素而且R、G及B分別表示紅色、綠色及藍色像素。一般而言，此圖案具有下列最小重複單位：其中P表示第二群組之像素，A表示第一群組之像素的第一彩色之像素，B表示第一群組之像素的第二彩色之像素，以及C表示第一群組之像素的第三彩色之像素。例如，一般最小重複單位中的第二彩色像素B對應於圖25A中的綠色像素，儘管其他組的彩色亦可用於本發明。
圖25B中顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像素。例如，數值G11係顯示為跨越第一及第二列與第一及第二行，其係圖25A所示的兩個貢獻像素在第一列第一行以及第二列第二行中的平均位置。同樣地，跨越圖25B之第一及第二列與第三及第四行的彩色值R12係組合圖25A之第一列第三行及第二列第二行所示的兩個像素之結果。圖25B中的像素係第二二維像素陣列之一部分。此等合成像素係在拜耳圖案中規則地隔開。
在較低環境光位準情況下，較佳藉由組合較多像素來進一步增加信號/雜訊比。參考圖26A，其顯示一CFA圖案，其中藉由實線接合四個像素之四集體，從而指示執行其彩色值的類比組合。因為此等像素之某些係全色的而且某些 係彩色的，所以組合彩色值對應於該感測器中的個別像素未達到的合成頻譜回應。如上所述，圖26A中的像素係第一二維像素陣列之一部分。圖26B中顯示獲得的合成像素，其中依據貢獻像素之平均位置而定位該等像素。例如，數值G11係顯示跨越圖26A之左上角所示的四個貢獻像素(兩個全色像素及兩個綠色像素)之平均位置處的第一及第二列、第一及第二行。同樣地，跨越圖26B之第三及第四行第一及第二列的彩色值R12係組合圖26A之第二及第四行第一及第二列所示的四個貢獻像素(兩個全色像素及兩個紅色像素)之結果。圖26B中的合成像素係第二二維像素陣列之一部分。此等合成像素係在拜耳圖案中規則地隔開。
10‧‧‧自物件場景的光
11‧‧‧成像級
12‧‧‧透鏡
13‧‧‧中性密度濾光片
14‧‧‧光圈
16‧‧‧亮度感測器
18‧‧‧快門
20‧‧‧影像感測器
22‧‧‧類比信號處理器
24‧‧‧類比至數位(A/D)轉換器
26‧‧‧時序產生器
28‧‧‧影像感測器級
30‧‧‧數位信號處理器(DSP)匯流排
32‧‧‧數位信號處理器(DSP)記憶體
36‧‧‧數位信號處理器(DSP)
38‧‧‧處理級
40‧‧‧曝光控制器
50‧‧‧系統控制器
52‧‧‧系統控制器匯流排
54‧‧‧程式記憶體
56‧‧‧系統記憶體
57‧‧‧主機介面
60‧‧‧記憶卡介面
62‧‧‧記憶卡插座
64‧‧‧記憶卡
68‧‧‧使用者控制及狀態介面
70‧‧‧視野取景器顯示器
72‧‧‧曝光顯示器
74‧‧‧使用者輸入
76‧‧‧狀態顯示器
80‧‧‧視訊編碼器
82‧‧‧顯示器控制器
88‧‧‧影像顯示器
100‧‧‧用於拜耳圖案的最小重複單位
102‧‧‧用於拜耳圖案之並非最小的重複單位
110‧‧‧紅外線阻塞濾光片之頻譜透射率曲線
112‧‧‧感測器之未濾波頻譜光回應
114‧‧‧感測器之紅色光回應曲線
116‧‧‧感測器之綠色光回應曲線
118‧‧‧感測器之藍色光回應曲線
120‧‧‧第一綠色單元
122‧‧‧紅色單元
124‧‧‧藍色單元
126‧‧‧第二綠色單元
202‧‧‧低解析度部分彩色區塊
204‧‧‧高解析度全色區塊
206‧‧‧低解析度全色區塊
208‧‧‧低解析度彩色差異區塊
210‧‧‧高解析度彩色差異區塊
212‧‧‧高解析度最終影像區塊
220‧‧‧第一綠色單元
222‧‧‧第一綠色單元中的綠色像素
224‧‧‧紅色單元
226‧‧‧藍色單元
228‧‧‧第二綠色單元
230‧‧‧用以內插遺漏綠色值的上像素值
232‧‧‧用以內插遺漏綠色值的左像素值
234‧‧‧具有遺漏綠色值的像素
236‧‧‧用以內插遺漏綠色值的右像素值
238‧‧‧用以內插遺漏綠色值的下像素值
240‧‧‧用以內插遺漏紅色值的左像素值
242‧‧‧具有遺漏紅色值的像素
244‧‧‧用以內插遺漏紅色值的右像素值
250‧‧‧用以內插遺漏紅色值的上像素值
252‧‧‧具有遺漏紅色值的像素
254‧‧‧用以內插遺漏紅色值的下像素值
260‧‧‧用以內插遺漏紅色值的上像素值
262‧‧‧用以內插遺漏紅色值的左像素值
264‧‧‧具有遺漏紅色值的像素
266‧‧‧用以內插遺漏紅色值的右像素值
268‧‧‧用以內插遺漏紅色值的下像素值
圖1係可使用傳統感測器及處理方法或本發明之感測器及處理方法的傳統數位相機系統之方塊圖；圖2(先前技術)係顯示最小重複單位及非最小重複單位的傳統拜耳彩色濾光片陣列圖案；圖3提供對紅色、綠色及藍色像素的表示性頻譜量子效率曲線，以及較寬頻譜全色量子效率，其全部乘以紅外線切割濾光片之透射特徵；圖4A至D提供用於具有帶有配置在列或行中的相同彩色光回應之彩色像素的本發明之一彩色濾光片陣列圖案之若干變化的最小重複單位；圖5顯示自圖4A的最小重複單位之單元結構； 圖6A係用於圖4A的內插全色影像；圖6B係對應於圖4A及圖5中的單元之低解析度彩色影像；圖7A至C顯示組合圖4A之像素的若干方式；圖8A至D顯示圖4A之彩色濾光片陣列圖案，其具有彩色像素，該等彩色像素具有替代性彩色光回應特徵，包含四個彩色替代例以及青色、深紅色以及黃色替代例；圖9提供用於本發明之一替代性彩色濾光片陣列的最小重複單位，其中將全色像素配置成對角線；圖10A至B提供用於本發明之一替代性彩色濾光片陣列之兩種變化的最小重複單位，其中全色像素形成將彩色像素嵌入其中的格柵；圖11A至D提供用於本發明之一替代性彩色濾光片陣列之兩種變化的最小重複單位及平鋪配置，其中每單元具有兩個彩色；圖12A至B提供用於本發明之一替代性彩色濾光片陣列之兩種變化的最小重複單位，其中每單元具有兩個彩色而且將全色像素配置成對角線；圖13A至C提供圖4A之變化，其中最小重複單位係小於8×8個像素；圖14A至B提供用於本發明之一替代性彩色濾光片陣列之兩種變化的最小重複單位，其中最小重複單位係6×6個像素；圖15A至B提供用於本發明之一替代性彩色濾光片陣列 之兩種變化的最小重複單位，其中最小重複單位係4×4個像素；圖16係圖4A之最小重複單位，其中將下標用於最小重複單位內的個別像素；圖17A至E顯示圖16之一個單元的全色像素及彩色像素，以及組合彩色像素所採用的各種方式；圖18係本發明之一程序圖，其顯示處理自本發明之一感測器的彩色及全色像素之方法；圖19A至D說明本發明之方法，其用以將遺漏彩色內插在圖18之低解析度部分彩色影像中；圖20A至B顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；圖21A至B顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；圖22A至B顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；圖23A至C顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；圖24A至C顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；圖25A至B顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟；以及圖26A至B顯示組合用於一特定彩色濾光片陣列圖案之像素中的若干步驟。
10‧‧‧自物件場景的光
11‧‧‧成像級
12‧‧‧透鏡
13‧‧‧中性密度濾光片
14‧‧‧光圈
16‧‧‧亮度感測器
18‧‧‧快門
20‧‧‧影像感測器
22‧‧‧類比信號處理器
24‧‧‧類比至數位(A/D)轉換器
26‧‧‧時序產生器
28‧‧‧影像感測器級
30‧‧‧數位信號處理器(DSP)匯流排
32‧‧‧數位信號處理器(DSP)記憶體
36‧‧‧數位信號處理器(DSP)
38‧‧‧處理級
40‧‧‧曝光控制器
50‧‧‧系統控制器
52‧‧‧系統控制器匯流排
54‧‧‧程式記憶體
56‧‧‧系統記憶體
57‧‧‧主機介面
60‧‧‧記憶卡介面
62‧‧‧記憶卡插座
64‧‧‧記憶卡
68‧‧‧使用者控制及狀態介面
70‧‧‧視野取景器顯示器
72‧‧‧曝光顯示器
74‧‧‧使用者輸入
76‧‧‧狀態顯示器
80‧‧‧視訊編碼器
82‧‧‧顯示器控制器
88‧‧‧影像顯示器

Claims (9)

  1. 一種處理藉由一影像捕獲裝置捕獲的一像素陣列之方法，其包括：(a)提供具有第一及第二像素群組的一第一二維陣列，其中自該第一像素群組之像素具有比自該第二像素群組之像素窄的頻譜光回應而且其中該第一像素群組具有個別像素具有對應於一組至少兩個彩色之頻譜光回應並且該等第一及第二像素群組的放置界定具有包含至少十二個像素之一最小重複單位的一圖案，該最小重複單位具有複數個單元，其中每一個單元具有表示從該第一像素群組選擇的一特定彩色之至少兩個像素以及從配置成容許在不同發光條件下重現一捕獲的彩色影像之該第二像素群組選擇的複數個像素；(b)決定全色像素是否欲與彩色像素組合以回應環境發光條件；(c)組合從步驟(b)決定的像素以產生具有比該第一二維像素陣列少的像素之一第二二維像素陣列；以及(d)校正在步驟(c)中產生的該等彩色像素。
  2. 如請求項1之方法，其中該第一二維陣列具有下列最小重複單位：其中P表示該第二群組之像素，A表示該第一群組之像素的一第一彩色之像素，B表示該第一群組之像素的一第二彩色之像素，以及C表示該第一群組之像素的一第三彩色之像素。
  3. 如請求項1之方法，其中從一或多個全色像素中的該數值決定環境發光條件。
  4. 如請求項1之方法，其中步驟(c)包含彩色像素與全色像素之類比組合。
  5. 如請求項1之方法，其中該第一二維陣列具有下列最小重複單位：其中P表示該第二群組之像素，A表示該第一群組之像素的一第一彩色之像素，B表示該第一群組之像素的一第二彩色之像素，以及C表示該第一群組之像素的一第三彩色之像素。
  6. 如請求項5之方法，其中步驟(c)包含彩色像素與全色像素之類比組合。
  7. 如請求項1之處理方法，其中步驟(d)包含亦取決於環境發光位準的校正。
  8. 一種將藉由一電子感測器捕獲的一高解析度彩色數位影像轉換成一低解析度彩色數位影像之方法，其包括： (a)使用該電子感測器捕獲具有第一及第二像素群組的一第一二維像素陣列，其中自該第一像素群組之像素具有比自該第二像素群組之像素窄的頻譜光回應而且其中該第一像素群組具有個別像素具有對應於一組至少兩個彩色之頻譜光回應並且該等第一及第二像素群組的放置界定具有包含至少十二個像素之一最小重複單位的一圖案，該最小重複單位具有複數個單元，其中每一個單元具有表示從該第一像素群組選擇的一特定彩色之至少兩個像素以及從配置成容許在不同發光條件下重現一捕獲的彩色影像之該第二像素群組選擇的複數個像素；(b)類比組合該第一二維像素陣列中的像素以產生包含至少某些合成像素且亦具有非規則間距的一第二二維陣列；(c)計算具有規則間距的一第三二維像素陣列；以及(d)校正該規則化的第三二維像素陣列以產生具有減少的假影之一校正影像。
  9. 如請求項8之方法，其中存在一數位影像流，該等數位影像之每一個係如請求項8處理。
TW096145456A 2006-11-30 2007-11-29 處理像素陣列及處理影像的方法 TWI428006B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/565,157 US7769230B2 (en) 2006-11-30 2006-11-30 Producing low resolution images

Publications (2)

Publication Number Publication Date
TW200835302A TW200835302A (en) 2008-08-16
TWI428006B true TWI428006B (zh) 2014-02-21

Family

ID=39469911

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096145456A TWI428006B (zh) 2006-11-30 2007-11-29 處理像素陣列及處理影像的方法

Country Status (5)

Country Link
US (1) US7769230B2 (zh)
EP (1) EP2090116A2 (zh)
JP (1) JP5345944B2 (zh)
TW (1) TWI428006B (zh)
WO (1) WO2008066698A2 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
JP5250315B2 (ja) * 2007-06-28 2013-07-31 富士フイルム株式会社 信号処理装置、撮像装置、及び同時化処理プログラム
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
JP2009086783A (ja) * 2007-09-28 2009-04-23 Fujitsu Microelectronics Ltd フィルタ回路、フィルタ処理方法、撮像素子回路およびカメラ
US8412000B2 (en) * 2007-11-30 2013-04-02 Texas Instruments Incorporated System and method for reducing motion artifacts by displaying partial-resolution images
US8180179B2 (en) * 2007-12-21 2012-05-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program executing image processing method, and storage medium
US8315480B2 (en) * 2007-12-28 2012-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program to execute the image processing method
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
KR101470019B1 (ko) * 2008-12-26 2014-12-05 엘지이노텍 주식회사 이미지센서의 불량 픽셀 검출 및 보정 방법
EP2394163B1 (en) 2009-02-05 2020-08-19 Biogen MA Inc. Methods for the detection of jc polyoma virus
TWI387314B (zh) * 2009-03-10 2013-02-21 Univ Nat Central Image processing apparatus and method thereof
US8218027B2 (en) * 2009-04-09 2012-07-10 Hand Held Products, Inc. Imaging terminal having color correction
US20100289904A1 (en) * 2009-05-15 2010-11-18 Microsoft Corporation Video capture device providing multiple resolution video feeds
DK2442720T3 (en) 2009-06-17 2016-12-19 3Shape As Focus scan devices
US20110157395A1 (en) 2009-12-31 2011-06-30 Compton John T Image sensor with fractional resolution image processing
WO2012114993A1 (ja) 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子
CN102884796B (zh) * 2011-02-21 2014-07-09 富士胶片株式会社 彩色成像元件
WO2012114992A1 (ja) * 2011-02-21 2012-08-30 富士フイルム株式会社 カラー撮像素子
CN103380623B (zh) * 2011-02-21 2016-09-14 富士胶片株式会社 彩色图像拾取元件
JP5054857B1 (ja) * 2011-02-28 2012-10-24 富士フイルム株式会社 カラー撮像装置
EP2683167B1 (en) 2011-02-28 2018-05-02 Fujifilm Corporation Color imaging device
BR112012029513A2 (pt) 2011-03-09 2016-12-06 Fujifilm Corp elemento de imageamento de cor.
CN103270757B (zh) 2011-03-11 2015-07-22 富士胶片株式会社 图像传感装置和控制其操作的方法
JP5378627B2 (ja) 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
EP2685725B1 (en) * 2011-03-11 2016-12-07 FUJIFILM Corporation Imaging device and imaging program
CN103430552B (zh) * 2011-03-11 2015-04-08 富士胶片株式会社 摄像装置
EP2690874A4 (en) * 2011-03-24 2014-09-03 Fujifilm Corp COLOR IMAGE SENSOR, IMAGING DEVICE AND CONTROL PLAN FOR THE IMAGING APPARATUS
CN103444184B (zh) 2011-03-24 2014-10-29 富士胶片株式会社 彩色摄像元件及摄像装置
WO2012127701A1 (ja) 2011-03-24 2012-09-27 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
JP5539585B2 (ja) * 2011-03-24 2014-07-02 富士フイルム株式会社 カラー撮像素子、撮像装置、及び撮像プログラム
CN103444183B (zh) * 2011-03-24 2015-01-28 富士胶片株式会社 彩色摄像元件及摄像装置
EP2696585A4 (en) * 2011-03-24 2014-10-08 Fujifilm Corp COLOR IMAGE CAPTURE ELEMENT, IMAGE CAPTURE DEVICE, AND IMAGE CAPTURE PROGRAM
DE102011100350A1 (de) * 2011-05-03 2012-11-08 Conti Temic Microelectronic Gmbh Bildsensor mit einstellbarer Auflösung
JP5425343B2 (ja) 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
EP2728885B1 (en) 2011-06-30 2016-08-03 FUJIFILM Corporation Imaging device and imaging program
CN104041020B (zh) 2011-12-27 2015-11-25 富士胶片株式会社 彩色摄像元件
JP5621059B2 (ja) 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子及び撮像装置
WO2013100093A1 (ja) 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5621055B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
WO2013100094A1 (ja) 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
WO2013100034A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
CN104025575B (zh) 2011-12-27 2015-11-25 富士胶片株式会社 摄像装置及摄像装置的控制方法
WO2013100095A1 (ja) * 2011-12-27 2013-07-04 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び制御プログラム
EP2800373A4 (en) * 2011-12-27 2015-08-05 Fujifilm Corp COLOR PICTURE ELEMENT
EP2800382B1 (en) 2011-12-27 2016-06-29 Fujifilm Corporation Imaging device, method for controlling imaging device, and control program
JP5597777B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 カラー撮像素子及び撮像装置
CN104412580B (zh) 2012-07-06 2016-04-06 富士胶片株式会社 彩色摄像元件以及摄像装置
JP5698875B2 (ja) * 2012-07-06 2015-04-08 富士フイルム株式会社 カラー撮像素子および撮像装置
JP5927068B2 (ja) 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
US9667933B2 (en) 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
WO2015118120A1 (en) 2014-02-07 2015-08-13 3Shape A/S Detecting tooth shade
JP5884847B2 (ja) * 2014-03-12 2016-03-15 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
US11108973B2 (en) * 2018-10-05 2021-08-31 Essential Products, Inc. Varying a zoom level of an image recorded with a lens having a fixed zoom level
CN109587455B (zh) * 2019-02-01 2024-05-03 思特威(上海)电子科技股份有限公司 智能变焦图像传感器
KR20210147694A (ko) 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치
US11394935B2 (en) * 2020-06-15 2022-07-19 Samsung Electronics Co., Ltd. Pixel array for reducing image information loss and image sensor including the same
TWI774039B (zh) * 2020-08-12 2022-08-11 瑞昱半導體股份有限公司 固定圖像雜訊的影像補償系統
US20220303515A1 (en) * 2021-03-17 2022-09-22 Mediatek Inc. High Sensitivity Color Image Generation Using Hybrid Sensor
JP2022161538A (ja) * 2021-04-09 2022-10-21 コニカミノルタ株式会社 画像読み取り装置、画像読み取りプログラム、画像処理装置および画像処理プログラム
JP2024024906A (ja) * 2022-08-10 2024-02-26 コニカミノルタ株式会社 画像読取装置、画像読取方法、画像読取プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122887A (en) * 1991-03-05 1992-06-16 Sayett Group, Inc. Color display utilizing twisted nematic LCDs and selective polarizers
TW407420B (en) * 1998-03-31 2000-10-01 Intel Corp Magenta-white-yellow (MWY) color system for digital image sensor applications

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
JPS58219889A (ja) * 1982-06-14 1983-12-21 Shoichi Tanaka 固体撮像装置
DE3480760D1 (de) 1983-09-16 1990-01-18 Hitachi Ltd Signalverarbeitungsschaltung fuer eine farbvideokamera.
JPS6238692A (ja) * 1985-08-13 1987-02-19 Mitsubishi Electric Corp カラ−固体撮像素子
JP2849813B2 (ja) * 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
DE3824639C2 (de) * 1988-07-20 1993-11-18 Geutebrueck Videotechnik Gmbh Optische Überwachungseinrichtung
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US6246865B1 (en) * 1997-02-04 2001-06-12 Samsung Electronics Co., Ltd. Device and method for controlling distortion characteristic of predistorter
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
EP1659776A1 (en) * 2004-11-23 2006-05-24 Dialog Semiconductor GmbH An image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light
JP4253634B2 (ja) * 2004-11-30 2009-04-15 富士フイルム株式会社 デジタルカメラ
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122887A (en) * 1991-03-05 1992-06-16 Sayett Group, Inc. Color display utilizing twisted nematic LCDs and selective polarizers
TW407420B (en) * 1998-03-31 2000-10-01 Intel Corp Magenta-white-yellow (MWY) color system for digital image sensor applications

Also Published As

Publication number Publication date
US20080131028A1 (en) 2008-06-05
WO2008066698A2 (en) 2008-06-05
TW200835302A (en) 2008-08-16
EP2090116A2 (en) 2009-08-19
JP5345944B2 (ja) 2013-11-20
WO2008066698A3 (en) 2008-12-04
US7769230B2 (en) 2010-08-03
JP2010512048A (ja) 2010-04-15

Similar Documents

Publication Publication Date Title
TWI428006B (zh) 處理像素陣列及處理影像的方法
TWI432036B (zh) 具有彩色及全色像素之影像處理
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
EP1977614B1 (en) Image sensor with improved light sensitivity
US8194296B2 (en) Image sensor with improved light sensitivity
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
JP2009506646A (ja) 光感度が改善されたイメージ・センサー