TWI543115B - 基於估測修正比例值的色彩平衡演算法 - Google Patents

Description

基於估測修正比例值的色彩平衡演算法

一種色偏處理方法，尤其是一種基於估測修正比例值的色彩平衡演算法。

色彩平衡(color balance)便是為了補償光照影響而被發展出來之一類影像處理演算法則。通常未經過色彩平衡之影像會呈現整體色彩偏向某種顏色，即所謂該影像有色偏(color cast)。而色彩平衡演算法可透過調整影像的紅、綠、藍三個基本顏色層的值以使得有色偏之影像中的各種顏色回復正常，即所謂去除色偏。一般演算法基本上包含兩大步驟：(1)估測擷取影像之光照條件；(2)調整影像。

典型之色彩平衡只考慮補償光源對影像之影響，而不考慮感測器動態響應不同於人類視覺系統響應之問題，然而現有相關之演算法不一定有對這兩種補償目的做明顯區分。許多高階之數位相機與攝影機內建光源感測器可以即時測量光照條件並根據所獲得之影像色溫做對應之修正，但如前所述，為了打入一般消費者市場，大部分有成本限制之中低階相機或攝影機只能依據欲拍攝之影像內容來估測色溫並針對中性顏色(例如白色)進行 修正。大部分相機均有內建數個預設光源，讓使用者根據欲拍攝之影像之光源條件自行選擇對應之光源設定。另外常見相機中自訂白平衡估測光源之方式尚有提供使用者將相機對準內含參考顏色之參考物體(例如色階或灰階卡)，再依據擷取之顏色值設計調整法則。且許多現有方法之共同問題在於其效能好壞極度仰賴景物內容以及光源種類，許多方法之過程均牽涉須對影像內容進行推理與判斷，但卻少有方法使用模糊推論系統(fuzzy system)來輔助定義與解決問題，使演算法適應不同光源與景物之能力均十分有限。

為使色彩平衡演算法有效的將未知光源下的影像色彩調整為已知光源下的影像色彩，本發明提出一種基於估測修正比例值的色彩平衡演算法，其包含下列步驟：輸入一原始影像，該原始影像之像素以一種顏色空間之格式輸入；執行模糊推論演算，該模糊推論演算包含複數條模糊推論規則，使輸入之該原始影像所有像素以該模糊推論規則執行模糊演算，產生每一該原始影像之像素所對應的一組修正比例值；執行資料過濾與比對運算決定一組代表修正比例值，係依據該顏色空間中各色彩向量的該修正比例值大小進行分欄，並於每一色彩向量的分欄中設定一修正比例值門檻，取每一色彩向量中大於該修正比例值門檻的該修正比例值之平均值，該平均值定義為一組代表修正比例值；及執行一影像補償運算，將該組代表修正比例值依色彩向量分別乘上該原 始影像的像素，產生修正影像。

進一步的，前述的基於估測修正比例值的色彩平衡演算法，建立該模糊推論規則包含下列步驟：依據該標準影像之像素以色彩相近程度進行一色彩分群，依該色彩分群之數量決定該模糊推論規則之數量；選定某一色溫，並依據色溫進一步分類該色彩分群之分類結果，依據該色溫分群所挑選之分群於該顏色空間之向量值計算出一規則中心及一規則寬度；及將該已知光源下的該色彩分群於該顏色空間之向量值依向量分別除以該色溫分群於該顏色空間中之向量值，得到一組後鑑部比例值參數。

其中，該資料過濾與比對運算係以一直方圖系統進行分欄及統計來定義該代表修正比例值。

其中，該原始影像之像素輸入該模糊推論前，預先進行一過飽和前置處理，其中該過飽和前置處理的判斷式係在該原始影像之像素值大於該上界門檻時該像素判定為過飽和；在該原始影像之像素值小於該下界門檻時該像素判定為過飽和。

其中，該顏色空間為RGB顏色空間或YCbCr顏色空間。

其中，其預先捨棄該顏色空間中對光源改變不敏感的顏色層，針對其餘的顏色層進行該基於估測修正比例值的色彩平衡演算。

其中，該直方圖系統之分欄及統計方法為對該直方圖系統取算數平均、幾何平均或選擇數目最多的分欄資料取算數平均。

進一步的，該模糊推論演算為一類神經網路計算架構，其 包含一輸入層、模糊化層、規則層及一輸出層，其中：由該輸入層分別輸入該原始影像之像素，並將該像素傳送至該模糊化層；該模糊化層對輸入之該原始影像之像素進行一模糊化運算，該模糊化運算係以一高斯歸屬函數進行運算，運算每一像素與該模糊推論規則的符合程度；該規則層對該模糊化層的結果進行一AND運算；及該輸出層進行一解模糊運算，輸出該原始影像中各像素應對應的該修正比例值。

其中，該高斯歸屬函數以一查表法替代或該AND運算以取一最小值之演算方法替代。

由上述說明可知本發明具有下列優點：

1.直接透過該原始影像的資訊將未知光源的影像補償還原至已知光源的影像。

2.可應用於各種數位影像擷取工具(如數位相機、攝影機......等)，亦可用於離線作業(後製影像)。

3.可透過參數調整，規則增加等提升估測準確度，相較既有的色彩平衡白平衡演算法具有更佳之有調整效率並可突破既有演算法的弱點。

圖1為本發明較佳實施例之系統架構圖。

圖2為本發明較佳實施例之模糊推論演算架構示意圖。

圖3為本發明較佳實施例之資料過濾及比對示意圖

本發明為一種基於估測修正比例值的色彩平衡演算法，將需要進行一色彩平衡的一原始影像以一種顏色空間的格式逐一輸入其像素至該色彩平衡演算法中，由該色彩平衡演算法中所包含的一模糊推論演算及一資料過濾與比對運算估算出一組代表修正比例值(α _{R_o} ,α _{G_o} ,α _{B_o} )。而如式1所示，該原始影像乘上該代表修正比例值後輸出一修正影像，該修正影像係為已完成該色彩平衡該原始影像。

於執行該色彩平衡演算法前於一標準空間內以一已知光源投射於一被測物體上，建立一標準影像。該被測物體反射該已知光源，透過一數位影像擷取裝置截取該被測物體受該已知光源照射後的影像，該影像定義為該標準影像。其中，該標準空間為一排除該已知光源之外的光源的拍攝空間，該被測物體可為一單色物體，而該已知光源可為D50或D65，其中D65之光源最接近正常白天室外之陽光，本發明以其照射下之影像作為該標準影像。前述之該標準影像之顏色空間定義為：

其中：O _(r,s)為該已知光源下拍攝的影像中所包含之像素值，並以 RGB顏色空間定義該標準影像；及(r,s)代表該像素於該中之位置，r=1,2,...,m與s=1,2,...,n分別代表影像之列與行。

進一步的，於本發明中該顏色空間的採用不限定於RGB顏色空間，也可為其他顏色空間，例如：YCbCr顏色空間或L*a*b*顏色空間。

拍攝該被測物體受一未知光源照射後的一原始影像，該原始影像受拍攝場地光線或該被測物體表面狀態之影響，使該原始影像與該標準影像產生有一色偏，而本發明之該色彩平衡演算法修正該原始影像之色偏。

如圖1所示，該色彩平衡演算法包含下列步驟：

步驟一、輸入該原始影像

該原始影像所包含之像素以RGB顏色空間定義為：

其中：I _(r,s)為該未知光源下拍攝的該原始影像中所包含之像素，並以RGB顏色空間定義該標準影像：及(r,s)代表該像素於該原始影像中之位置，r=1,2,...,m與s=1,2,...,n分別代表影像之列與行。

步驟二、執行該模糊推論演算，該模糊推論演算包含複數條模糊推論規則，由該標準影像之像素建立該模糊推論演算判斷的依據，其中，該模糊推論規則建立步驟如下： 模糊推論規則建立步驟一、將該標準影像之像素以色彩相近程度進行一色彩分群，依該色彩分群之數量決定該模糊推論規則之數量。

模糊推論規則建立步驟二、選定某一色溫，並依據色溫進一步分類該色彩分群之分類結果，依據該色溫分群所挑選之分群於該顏色空間之向量值計算出一規則中心(m _R1,m _G1,m _B1)及一規則寬度(σ _R1,σ _G1,σ _B1)，其中，該規則寬度為依據該規則中心及該顏色空間之向量值計算而得的一組標準差。

模糊推論規則建立步驟三、利用該已知光源下各該色彩分群於該顏色空間之向量值，依照其色彩向量分別對應得除以該色溫分群於該顏色空間中之向量值，得到一組後鑑部比例值參數(w _R1,w _G1,w _B1)。

重複上述該模糊推論規則建立步驟建立複數條該模糊推論規則，而該模糊推論規則如下所示：Rule-1：If(R,G,B)is(m _R1,m _G1,m _B1),then(α _R ,α _G ,α _B )is(w _R1,w _G1,w _B1)

Rule-2：If(R,G,B)is(m _R2,m _G2,m _B2),then(α _R ,α _G ,α _B )is(w _R2,w _G2,w _B2)

......

Rule-k：If(R,G,B)is(m _Rk ,m _Gk ,m _Bk ),then(α _R ,α _G ,α _B )is(w _Rk ,w _Gk ,w _Bk )

透過複數條該模糊推論規則判斷輸入的該原始影像之每一像素(R,G,B)應對應的一修正比例值(α _R ,α _G ,α _B ) _k ,k=1,...,N。

該原始影像之像素輸入該模糊推論演算前為降低該模糊推論演算的運算時間，預先進行一過飽和前置處理，經由該過飽和前置處理判定為過飽和之像素則不輸入該模糊推論演算。該過飽 和前置處理中包含一上界門檻及一下界門檻，透過該上界門檻及該下界門檻篩選由該原始影像輸入之像素。其中該過飽和前置處理的判斷式為，在該原始影像之像素值大於該上界門檻時，該像素判定為過飽和；在該原始影像之像素值小於該下界門檻時，該像素判定為過飽和。於本發明實施例中，該上界門檻、該下界門檻及其組成之判斷式如下：R>Sat _upper & G>Sat _upper & B>Sat _upper 或R<Sat _bottom & G<Sat _bottom & B<Sat _bottom

其中，該上界門檻為：Sat _upper 及該下界門檻為：Sat _bottom 。

該模糊推論規則可表示為一類神經網路計算架構，如圖2所示，其中包含一輸入層(Layer1)、第一隱藏層(Layer2)、第二隱藏層(Layer3)及一輸出層(Layer4)，其中各層之運算過程如下所示。

一、輸入層

由該輸入層分別輸入該原始影像之像素，並將該像素傳送至該模糊化層。

二、模糊化層

由該模糊化層對輸入之該原始影像之像素進行一模糊化運算，而於本發明實施例中該模糊化運算係以一高斯歸屬函數進行運算，運算每一像素與該模糊推論規則的符合程度，運算結果輸入至該第二隱藏層。該高斯歸屬函數之數學模式為：

其中： m _R為依據該色溫分群所挑選之分群於該顏色空間之向量值計算出該規則中心；σ_R為該規則重心之標準差；及μ(x)為該模糊化層運算之結果。

進一步的，該高斯歸屬函數可以一查表法替代，以簡化整體運算。

三、規則層

由該規則層對該模糊化層運算後的結果進行一AND運算，而於本發明實施例中，該集合運算之運算式如下所示：

⋮

其中：「~」為第二隱藏層運算之結果。

進一步的，該AND運算可透過取一最小值的演算方法替代，以簡化整體運算。四、輸出層

由該輸出層進行一解模糊運算，輸出該原始影像中各像素應對應的該修正比例值。

其中本發明實施例中，該解模糊運算之運算方法如下所示：

其中：W為該後鑑部比例值參數；及α為修正比例值。

步驟三、如圖3所示，執行該資料過濾與比對運算，該資料過濾與比對運算於複數筆該像素之修正比例值中篩選出該代表修正比例值。

該資料過濾與比對運算依據該顏色空間中色彩向量的該修正比例值大小分欄並統計該原始影像中每一像素所對應的該修正比例值。例如於本發明實施例中，該原始影像的每一像素皆以RGB顏色空間表示，該資料過濾與比對運算將該修正比例值依照該RGB色彩空間的色彩向量(R、G、B)分類，並於每一色彩向量的分欄中設定一修正比例值門檻。將各該色彩向量分類中的該修正比例值正規化後，取每一色彩向量中大於該修正比例值門檻的該修正比例值之平均值，該平均定義為該代表修正比例值。

於本發明實施例中，該資料過濾與比對運算係以一直方圖系統進行分欄及統計來定義該代表修正比例值，其中，前述之分欄及統計之方法可為對該直方圖系統取算數平均、幾何平均或選擇數目最多的分欄資料取算數平均。

步驟四、執行一影像補償運算，以該代表修正比例值對該原始影像進行該色彩平衡演算，修正該原始影像之色偏。該色彩平衡運算將該代表修正比例值依色彩向量分別乘上該原始影像 的像素，產生該修正影像，其運算式為：

進一步的，於本發明實施例中，前述的色彩平衡演算法可預先捨棄該顏色空間中對光源改變不敏感的顏色層，針對其餘的顏色層進行該色彩平衡演算法的運算，以簡化整體運算。

進一步的，於本發明實施例中，該影像補償運算可直接以各像素所產生之該修正比例值對該原始影像進行運算。

由上述說明可知本發明具有下列優點：

1.直接透過該原始影像的資訊將未知光源的影像補償還原至已知光源的影像。

2.可應用於各種數位影像擷取工具(如數位相機、攝影機......等)，亦可用於離線作業(後製影像)。

3.可透過參數調整，規則增加等提升估測準確度。較既有的色彩平衡白平衡演算法更有潛力。並且較能克服既有演算法的弱點(如色彩單調，偏向某一色彩的影像)

Claims (9)

1. 一種基於估測修正比例值的色彩平衡演算法，其包含下列步驟：輸入一原始影像，該原始影像之像素以一種顏色空間之格式輸入；執行模糊推論演算，該模糊推論演算包含複數條模糊推論規則，使輸入之該原始影像所有像素以該模糊推論規則執行模糊演算，產生每一該原始影像之像素所對應的一組修正比例值；執行一影像補償運算，將該組修正比例值依色彩向量分別乘上該原始影像的像素，產生修正影像；執行資料過濾與比對運算決定一組代表修正比例值，係依據該顏色空間中各色彩向量的該修正比例值大小進行分欄，並於每一色彩向量的分欄中設定一修正比例值門檻，取每一色彩向量中大於該修正比例值門檻的該修正比例值之平均值，該平均值定義為一組代表修正比例值；及執行該影像補償運算，將該代表修正比例值依色彩向量分別乘上該原始影像的像素，產生修正影像。
2. 如請求項第1項所述的基於估測修正比例值的色彩平衡演算法，建立該模糊推論規則包含下列步驟：依據該標準影像之像素以色彩相近程度進行一色彩分群，依該色彩分群之數量決定該模糊推論規則之數量；選定某一色溫，並依據色溫進一步分類該色彩分群之分類結果，依據該色溫分群所挑選之分群於該顏色空間之向量值計算 出一規則中心及一規則寬度；及將該已知光源下的該色彩分群於該顏色空間之向量值依向量分別除以該色溫分群於該顏色空間中之向量值，得到一組後鑑部比例值參數。
3. 如請求項第2項所述的基於估測修正比例值的色彩平衡演算法，該資料過濾與比對運算係以一直方圖系統進行分欄及統計來定義該代表修正比例值。
4. 如請求項第3項所述的基於估測修正比例值的色彩平衡演算法，該原始影像之像素輸入該模糊推論前，預先進行一過飽和前置處理，其中該過飽和前置處理的判斷式係在該原始影像之像素值大於該上界門檻時該像素判定為過飽和；在該原始影像之像素值小於該下界門檻時該像素判定為過飽和。
5. 如請求項第4項所述的基於估測修正比例值的色彩平衡演算法，該顏色空間為RGB顏色空間或YCbCr顏色空間。
6. 如請求項第4項所述的基於估測修正比例值的色彩平衡演算法，其預先捨棄該顏色空間中對光源改變不敏感的顏色層，針對其餘的顏色層進行該基於估測修正比例值的色彩平衡演算。
7. 如請求項第4項所述的基於估測修正比例值的色彩平衡演算法，其中，該直方圖系統之分欄及統計方法為對該直方圖系統取算數平均、幾何平均或選擇數目最多的分欄資料取算數平 均。
8. 如請求項第1、2、3、4、5、6或7項所述的基於估測修正比例值的色彩平衡演算法，該模糊推論演算為一類神經網路計算架構，其包含一輸入層、模糊化層、規則層及一輸出層，其中：由該輸入層分別輸入該原始影像之像素，並將該像素傳送至該模糊化層；該模糊化層對輸入之該原始影像之像素進行一模糊化運算，該模糊化運算係以一高斯歸屬函數進行運算，運算每一像素與該模糊推論規則的符合程度；該規則層對該模糊化層的結果進行一AND運算或最小值運算；及該輸出層進行一解模糊運算，輸出該原始影像中各像素應對應的該修正比例值。
9. 如請求項第1、2、3、4、5、6或7項所述的基於估測修正比例值的色彩平衡演算法，該模糊推論演算為一類神經網路計算架構，其包含一輸入層、模糊化層、規則層及一輸出層，其中：由該輸入層分別輸入該原始影像之像素，並將該像素傳送至該模糊化層；該模糊化層對輸入之該原始影像之像素進行一模糊化運算，該模糊化運算係以一查表法進行運算，運算每一像素與該模糊推論規則的符合程度；該規則層對該模糊化層的結果進行一AND運算或最小值運 算；及該輸出層進行一解模糊運算，輸出該原始影像中各像素應對應的該修正比例值。