TWI514894B - 攝取數位影像中的白平衡校正技術 - Google Patents

Description

攝取數位影像中的白平衡校正技術

本發明係有關於攝取數位影像中的白平衡校正技術。

背景

在一數位照相機或照相手機中，顏色校正必須經常應用到攝取圖像中，使得該圖像真實準確地使情景重現。在某些情況下，尤其當該數位照相機或照相手機利用距離透鏡只有幾微米之一相當小的成像感測器時，該透鏡之中心軸與該成像感測器之邊緣之間的大角度可在該感測器陣列外圍周邊產生陰影及光暈，因而需要大量的圖像處理以補償該攝取圖像中之此類缺點。

在其它情況下，諸如，當在變化照明體(可包括鎢絲燈、螢光燈源、日光等)下攝取圖像時，也需要某種程度之圖像處理以正確地設定「白平衡」點。如果未正確地設定白平衡點，由於在產生之圖像中具有過量的紅、藍、黃或其它顏色，該圖像看起來會不真實。

發明概要

依據本發明之一實施例，係特地提出一種用於校正一攝取數位圖像中之白平衡之方法，其包含以下步驟：將表示該攝取數位圖像之原始感測器資料儲存在一記憶體中；透過將無關照明體之陰影及光暈校正應用到該原始感測器資料而正規化該原始感測器資料；將多個照明體相依之陰影及光暈校正增益遮罩應用到該原始感測器資料；及比較該照明體相依之陰影及光暈校正結果與無關照明體之陰影及光暈校正結果。

圖式簡單說明

第1圖顯示了可實施本發明之實施例之一成像感測器陣列之一示範性部分。

第2圖是根據本發明之一實施例的用於校正一攝取圖像中之白平衡之一數位成像模組之一方塊圖。

第3圖是根據本發明之一實施例的用於判定一攝取圖像中之恰當白平衡之一流程圖。

較佳實施例之詳細說明

當數位成像裝置繼續從數位照相機演變為蜂巢式相機手機及「網路攝影機」，甚至演變為更小的圖像攝取裝置時，用在此等裝置中之組件的感測器及透鏡幾何形狀之尺寸不斷減小。由於此等裝置之尺寸不斷減小，所以圖像處理技術必須用以校正出現在攝取圖像中之光暈及色差。麻煩的是，當各種照明體可用來照明攝取場景時，與照明體相依的色差及光暈可能會另外引入到該攝取圖像。此等人工因素可遭校正以產生正確表現該攝取場景之一圖像。

在所附申請專利範圍中提出之本發明之發明人已確定，相比於一照明體相依之陰影及光暈校正，一無關照明體之陰影及光暈校正可用來導引該成像裝置選擇用來照明該攝取場景之恰當的照明體。當選擇恰當的照明體時，可選擇該攝取圖像之白平衡點之正確設定。當該產生之圖像之該白平衡遭正確地設定時，該圖像可能更準確地展示出現在該攝取場景中之顏色。

第1圖顯示了可實施本發明之實施例之一成像感測器陣列之一示範性部分。儘管該圖式中只顯示了兩個示範性微透鏡與兩個成像感測器，但申請本發明專利之發明人估計本發明之至少一些實施例在該成像感測器陣列中可能會包括數以百萬或千萬計之微透鏡及一相應數目之成像感測器。

在第1圖中，光線10與11入射到透鏡12上。由於該等光線由透鏡12聚焦，所以光線10入射到微透鏡20上而光線11入射到微透鏡14上。在第1圖之該實施例中，微透鏡14及20展示位於透鏡12下方之一成像感測器陣列之一部分。直接位於微透鏡14下方的是成像感測器16，而直接位於微透鏡20下方的是成像感測器22。

每一成像感測器，諸如在第1圖中繪示的那些成像感測器，可遭認為呈一杯狀結構，其中該成像感測器之光電轉換部分位於該杯狀物之底部，且每一杯狀物距離該等微透鏡至少一高度“h”。因此，考慮到第1圖之該幾何形狀，可明白當光線10與11藉由透鏡12聚焦時，按照角度θ(theta)的一函數，較少量的光出現在該感測器陣列周邊處之該等感測器處。換而言之，當角度θ假定是較接近於0之值時，較大量的光將出現在直接位於透鏡12下方之感測器處。

而且，當透鏡12包含一紅外線「阻隔」(或者「IR阻隔」)濾鏡時，按照角度θ的一函數，該濾鏡可使該成像感測器陣列表現一顏色相依之過濾特性。因而，在透鏡12中心之正下方，(只)紅外線波長之光遭排斥。然而，隨著角度θ增大，另外的波長(諸如可見光光譜中之波長)也可遭排斥在外。因此，至少在這一點看，透鏡12可看做一“空間相依光學帶通濾波器”，因為隨著角度θ增大，(除了紅外線光)大量可見光波長之光也不從透鏡12傳播到該成像感測器陣列。隨著角度θ增大，這會在感測器上引起額外的色差。

一成像感測器陣列中之色差現象導致在諸如第1圖中舉例的該光學感測器之光學感測器中需要色差校正。在光學感測器中，諸如本文所述之那些光學感測器，色差校正可用來提高該成像感測器陣列周邊之成像感測器之增益。在第1圖之該範例中，發明人預想示範性感測器16及22是拜耳感測器，其包括在一第一線上之紅色與綠色感測器之交替圖樣(2×2)及一第二線上之綠色與藍色感測器之一交替圖樣(即拜耳像素塊)。在此範例中，接近該成像陣列周邊之藍色感測器可經歷一較大的增益放大因數，其比該成像陣列中心附近之因數大。

在本發明之一個實施例中，應用到第1圖之該成像陣列之每一輸出之該無關照明體之陰影及光暈校正方法是可用來正規化該陣列中之每一像素之輸出的一空間變化(4×4)顏色校正矩陣。在本發明之一些實施例中，該成像陣列中之數以百萬或者可能千萬計之像素可透過利用這樣一顏色校正矩陣而遭校正。在本發明之一實施例中，一指定感測器位置之顏色校正矩陣可表示為：

當該矩陣移過該圖像且應用到每一2×2拜耳像素塊以補償該光學系統之空間變化色差及光暈特性時，該上述顏色校正矩陣內之標定常數不斷地變化。由於該矩陣校正任一圖像中之色差及光暈而與照明體無關，所以該以上確定之顏色校正矩陣可稱為「與照明體無關」。在本發明之此實施例中，該感測器陣列之該輸出可透過上述該空間變化4×4顏色校正矩陣而遭顏色校正，且該等正規化之輸出儲存在記憶體中。在本發明之一些實施例中，可能只取樣表示該成像感測器陣列之一部分之一80×60陣列且該等正規化輸出遭儲存。在本發明之其它實施例中，根據該記憶體及該特定圖像處理裝置之處理能力，一較大或較小數目之輸出可遭儲存。

應用於第1圖之該成像陣列之每一輸出之該照明體相依之陰影及光暈校正方法由該成像感測器陣列之該拜耳感測器之每一通道有一空間變化增益遮罩構成。本發明人打算該等空間變化增益值表示應用到每一輸入像素之增益。對於一四通道原始拜耳圖像，通常使用四個增益遮罩一個紅色、兩個綠色及一個藍色)。此方法可稱為「照明體相依的」，因為每一照明體需要唯一一組增益遮罩。如果針對一個照明體而產生之一增益遮罩用來校正使用一不同照明體一圖像，則在該產生之校正圖像中，色差將很可能看得見。

在本發明之一實施例中，一指定感測器位置之照明體相依顏色校正可表示為：

R _{corr ( x , y )} =KR _{illum ( x , y )} *R _{sensor ( x , y )}

Gr _{corr ( x , y )} =KGr _{illum ( x , y )} *Gr _{sensor ( x , y )}

Gb _{corr ( x , y )} =KGb _{i llum ( x , y )} *Gb _{sensor ( x , y )}

B _{corr ( x , y )} =KB _{illum ( x , y )} *B _{sensor ( x , y )}

再次參考第1圖，會注意到，隨著角度θ增大，透鏡12之可見光過濾(除了紅外線波長光之過濾)變得更明顯。因此，本發明人考慮，為了補償作為角度θ的一函數之該可見光過濾之相依性，應當執行陰影及光暈校正之一無關照明體之特徵以增強該攝取數位圖像之品質。而且，在第1圖之該實施例中，對該成像感測器陣列之一無關照明體之校準及對可能多達15個或更多(諸如7500、6500、5500、5000、4500、4000°K及其它)照明體之一無關照明體之校準可遭執行。

第2圖是根據本發明之一實施例的用於校正一攝取圖像中之白平衡之一數位成像模組之一方塊圖。在第2圖中，照明體120照射景物125。照明體120表示一特定色溫下之陽光輻射，但也可以只表示任一其它溫度下的陽光輻射及表示一螢光照明體、一白熾光照明體等。但是不管照明體是什麼，來自那個照明體之能量自景物125反射且由透鏡130聚焦到成像感測器陣列135上。成像感測器陣列135透過可能數以百萬計或千萬計個將某些波長之接收光能轉換成電荷之像素收集大量光能。

來自成像感測器陣列135之原始資料儲存在記憶體140中。降低取樣器150耦接到記憶體140，其用來獲得來自成像感測器陣列135之該原始資料輸出之一降低取樣態樣。降低取樣器150之目的是降低解譯該攝取景物之顏色內容所需的記憶量。在本發明之一些實施例中，降低取樣器150可取樣該圖像感測器陣列中之小於該等像素之5%之一矩陣。在本發明之其它實施例中，一較大或較小數目個像素可遭取樣。

無關照明之陰影及光暈校正模組155用來正規化透過記憶體140傳遞之來自成像感測器陣列135之該等輸出。來自無關照明之陰影及光暈校正模組155之輸出可傳播到180。

在本文描述之本發明之該等實施例之脈絡中，該用語「正規化」意指來自成像感測器陣列135之每一感測器的該等輸出遭調整或校準，使得該成像感測器陣列之一特定位置處之一特定顏色平面中之一感測器之頻譜響應與該顏色平面中其它位置處之其它感測器之頻譜響應匹配。因而，作為一範例，位於成像感測器陣列135周邊之一感測器應當使其輸出向上調整以補償光暈或信號之其它損失以匹配朝向成像感測器陣列135中心之同一顏色平面中之其它感測器之輸出。

耦接到降低取樣器150的還有照明體相依之陰影及光暈校正模組170，其校正針對校準資料可供使用的該15個照明體中之一個之圖像。在陰影及光暈校正輸出比較器180處，利用無關照明體之校正模組155校正之該圖像與利用照明體相依校正模組170校正之該圖像作比較。陰影及光暈校正輸出比較器180接著產生一誤差分數，諸如在下面描述該照明體相依校正與該無關照明體之校正之匹配程度之每一像素之差之平方和。照明體相依陰影及光暈校正模組170可接著校正不同照明體之原始圖像，產生由陰影及光暈校正輸出比較器180計算出的針對此等照明體之一不同誤差分數。應用照明體相依校正、比較該選擇輸出與無關照明體之校正，及隨後估計該兩個校正之間的偏差之此程序繼續進行，直到具有最低誤差分數之校準照明體遭確定。

接著該陰影及光暈校正輸出可傳遞到通道平衡倍增器模組190。對應於產生最低誤差分數之該照明體之該等通道倍增器接著應用到該陰影及光暈已校正之圖像之每一通道以校正白平衡。該等通道倍增器可用在陰影及光暈校正之後，但此等倍增器同樣可併入每一無關照明體之4×4校正矩陣或併入該照明體相依陰影及光暈增益遮罩中。

如果想要更準確地確定該照明體，可由一處理器(第2圖中未示)***兩個或更多照明體相依校正遮罩。在本發明之一實施例中，該***動作包括透過在該等照明相依遮罩之間***而產生一新的照明相依遮罩，使得在該已***的照明相依遮罩及與無關照明之校正模組155之間產生最小偏差。當最好的照明相依校正已遭確定時，對應於該最好的照明相依校正模組之該照明體可用以設定該恰當的白平衡點。

第3圖是根據本發明之一實施例的用於確定一攝取圖像中之恰當白平衡點之一流程圖。儘管第2圖能夠執行第3圖之該方法，但該方法可由可選擇之軟體/硬體架構執行。第3圖之該方法開始於步驟200，其中一圖像遭攝取。在步驟210，該原始感測器輸出遭降低取樣且儲存在記憶體中(如步驟220中)。儘管第3圖之該方法包括降低取樣及儲存步驟210及220，但本發明之很多實施例可不包括此等步驟。

現在轉向步驟230，一照明體相依陰影及光暈校正可應用到在步驟220中儲存到記憶體中之該降低取樣之原始感測器資料。在步驟235處，無關照明體之陰影及光暈校正可應用到該降低取樣之原始感測器資料。該方法在步驟240處繼續，其中(步驟235之)該無關照明體陰影及光暈校正之輸出與(步驟230之)該照明體相依陰影及光暈校正作比較。此比較結果可儲存在記憶體中，如步驟250中。

在步驟260處，判定是否需要更多的陰影及光暈校正遮罩應用到該降低取樣之輸出。如果確實需要比較更多的照明體相依陰影及光暈校正，則步驟270遭執行，其中對應於一不同照明體之下一組增益遮罩應用到該降低取樣之原始感測器資料。該方法接著回到步驟240，其中步驟270之該照明體相依陰影及光暈校正與步驟235之該無關照明體之陰影及光暈校正作比較。

如果步驟260之該決定表明，不再有陰影及光暈校正遮罩要與該無關照明體之陰影及光暈校正之降低取樣輸出作比較，則執行步驟280，其中對應於接近(或近似)該感測器之該顏色校正輸出的遮罩之照明體遭選擇。

在一景物之照明體遭確定之後，如步驟280中，對應於該照明體之該等通道倍增器可應用到該陰影及光暈已校正之圖像之每一通道以校正白平衡(步驟290)。白平衡之目的是確保一景物中之顏色看起來相同而不管該景物照明體是什麼。典型地，該等通道倍增器在陰影及光暈校正之後應用，但是此等倍增器同樣可併入每一無關照明體之4×4校正矩陣或者併入該等照明體相依陰影及光暈增益遮罩。

總之，儘管本發明已特定就各個實施例予以顯示及描述，但熟於此技者將理解，可對其做很多修改而不脫離在以下申請專利範圍中定義之本發明之範圍。應當理解，本發明之此描述包括本文描述之元件之新穎且非顯而易見的組合，且對此等元件之任一新穎且非顯而易見之組合所提出的申請專利範圍1可呈現在此申請案或者一在後申請案中。該等以上實施例是說明性的，且沒有一單一特徵或元件對於可在此申請案或一在後申請案中加以申請專利的所有可能組合是必不可少的。在該等申請專利範圍列舉「一」或「一第一」元件或其等效物之處，應當理解此等申請專利範圍包括一個或多個此元件之併入，不需要也不排除兩個或更多此元件。

10、11．．．光線

12、130．．．透鏡

14、20．．．微透鏡

16、22．．．成像感測器

120．．．照明體

125．．．景物

135．．．成像感測器陣列

140．．．記憶體

150．．．降低取樣器

155．．．無關照明陰影及光暈校正模組、無關照明校正模組

170．．．照明體相依陰影及光暈校正模組

180．．．陰影及光暈校正輸出比較器

190．．．通道平衡倍增器模組

200、210、220、230、235、240、250、260、270、280、290．．．步驟

第1圖顯示了可實施本發明之實施例之一成像感測器陣列之一示範性部分。

第2圖是根據本發明之一實施例的用於校正一攝取圖像中之白平衡之一數位成像模組之一方塊圖。

第3圖是根據本發明之一實施例的用於判定一攝取圖像中之恰當白平衡之一流程圖。

120．．．照明體

125．．．景物

135．．．成像感測器陣列

140．．．記憶體

150．．．降低取樣器

155．．．無關照明陰影及光暈校正模組、無關照明校正模組

170．．．照明體相依陰影及光暈校正模組

180．．．陰影及光暈校正輸出比較器

190．．．通道平衡倍增器模組

Claims (15)

1. 一種用以校正一攝取數位影像中之白平衡之方法，其包含以下步驟：將表示該攝取數位影像之原始感測器資料儲存在一記憶體中，該原始感測器資料係由一成像感測器陣列收集；透過將無關照明體之陰影及光暈校正應用到該原始感測器資料，包括將一空間變化顏色校正矩陣應用至該原始感測器資料，而正規化該原始感測器資料；將多個照明體相依之陰影及光暈校正增益遮罩應用到該原始感測器資料，該等照明體相依之陰影及光暈校正增益遮罩各包括用於該成像感測器陣列之一個別顏色通道的一空間變化增益遮罩；比較該照明體相依之陰影及光暈校正結果與無關照明體之陰影及光暈校正結果；以及選擇並應用最佳趨近正規化之該原始感測器資料的該照明體相依之陰影及光暈校正增益遮罩。
2. 如申請專利範圍第1項所述之方法，其中該正規化步驟進一步包含針對該成像感測器陣列上之不同空間位置處之多個顏色通道降低取樣該原始感測器資料之步驟。
3. 如申請專利範圍第2項所述之方法，其中該降低取樣步驟進一步包含將一空間低通濾波器應用到該成像感測器陣列之至少一些元件以移除該原始感測器資料中之高頻變化。
4. 如申請專利範圍第1項所述之方法，其中該正規化步驟 包括在該成像感測器陣列之不同空間位置處應用一4x4顏色校正矩陣，其中該4x4顏色校正矩陣之係數隨該成像感測器陣列之該等不同空間位置而變化。
5. 如申請專利範圍第1項所述之方法，其中該正規化步驟進一步包含調整該成像感測器陣列之一特定顏色平面中一特定位置處的一感測器之一頻譜響應，以匹配該成像感測器陣列之該特定顏色平面中其他位置處的其他感測器之一頻譜響應。
6. 如申請專利範圍第1項所述之方法，其中該比較步驟包括針對該攝取數位影像之各個像素產生一誤差分數作為該照明體相依之陰影及光暈校正結果與該無關照明體之陰影及光暈校正結果間的平方差之和。
7. 如申請專利範圍第1項所述之方法，其中該選擇及應用步驟包括在兩個呈現接近於該正規化原始感測器資料的照明體相依陰影及光暈校正增益遮罩之間進行內插。
8. 如申請專利範圍第1項所述之方法，其中該原始感測器資料在該儲存步驟之前降低取樣。
9. 一種用以校正一攝取影像中之白平衡之數位成像模組，其包含：用以將表示一攝取影像之原始感測器資料儲存到一記憶體之模組，該原始感測器資料係由一成像感測器陣列收集；用以將一空間變化之無關照明體之陰影及光暈顏色校正轉換應用到該原始感測器資料以正規化該成像 感測器陣列之輸出之模組；用以將多個照明體相依之陰影及光暈顏色校正遮罩中之至少一者應用到該原始感測器資料的模組，該等照明體相依之陰影及光暈顏色校正遮罩各包括用於該成像感測器陣列之一個別顏色通道的一空間變化遮罩；用以判定該等照明體相依之陰影及光暈顏色校正遮罩的輸出與該成像感測器陣列之該正規化輸出間之差異之模組；以及用以選擇並應用最佳趨近該成像感測器陣列之該正規化輸出之該照明體相依之陰影及光暈顏色校正遮罩的模組。
10. 如申請專利範圍第9項所述之數位成像模組，其中用以應用該空間變化之無關照明體之陰影及光暈顏色校正轉換之模組包括用以將一空間變化4×4顏色校正矩陣應用到該原始感測器資料的模組。
11. 如申請專利範圍第9項所述之數位成像模組，其進一步包含：用以產生一誤差分數作為該照明體相依之陰影及光暈校正輸出與該成像感測器陣列之該正規化輸出間之平方差之和的模組，其中選擇該照明體相依之陰影及光暈顏色校正遮罩包括選擇具有一最低誤差分數之該照明體相依之陰影及光暈顏色校正遮罩。
12. 如申請專利範圍第9項所述之數位成像模組，其中用以將一空間變化無關照明體之陰影及光暈顏色校正轉換 應用至該原始感測器資料之模組，包括調整該成像感測器陣列之一特定顏色平面中一特定位置處的一感測器之一頻譜響應，以匹配該成像感測器陣列之該特定顏色平面中其他位置處的其他感測器之一頻譜響應。
13. 一種數位成像裝置，其包含：一成像感測器陣列，用以攝取一數位影像；以及用以自該成像感測器陣列產生一輸出之一處理器，該處理器用以將多個照明體相依之陰影及光暈顏色校正遮罩應用到來自該成像感測器陣列之該輸出，且該處理器用以基於來自該成像感測器陣列之無關照明體之陰影及光暈顏色校正輸出與來自最近似於該無關照明之顏色校正輸出之該等多個照明體相依之陰影及光暈顏色校正遮罩中之一者的輸出間的差異，來選擇一照明體相依之陰影及光暈顏色校正遮罩，該無關照明體之陰影及光暈顏色校正輸出係從應用於來自該成像感測器陣列之輸出的一空間變化顏色校正矩陣產生，及該等照明體相依之陰影及光暈顏色校正遮罩各包括用於該成像感測器陣列之一個別顏色通道之一空間變化增益遮罩。
14. 如申請專利範圍第13項所述之數位成像裝置，其中該處理器另外基於一選擇之照明體，應用白平衡校正因數。
15. 如申請專利範圍第13項所述之數位成像裝置，其中該處理器另外在呈現接近於該無關照明體顏色校正輸出之兩個照明體相依之陰影及光暈顏色校正遮罩之間進行內插。