TWI528812B - 降低雜訊的系統及方法 - Google Patents

Description

降低雜訊的系統及方法

本發明係有關雜訊的降低，特別是關於一種影像感測器的雜訊降低系統及方法。

配備影像感測器（例如互補金屬氧化物半導體（CMOS）影像感測器）的數位相機所擷取的影像不可避免地會含有各種雜訊源。一般常見的雜訊源有閃爍（flicker）雜訊、壞像素、高斯雜訊、綠色失配（green imbalance）等。因此，一般都需要盡可能地降低雜訊。

傳統降低雜訊的方法通常僅用以克服一種雜訊，且大都忽視雜訊的個別特性及影像的特徵。因此，傳統方法無法達到令人滿意的結果。

因此亟需提出一種新穎的機制以降低影像感測器的雜訊。

鑑於上述，本發明實施例的目的之一在於提出一種降低影像感測器之雜訊的方法，使得不同型態的雜訊得以藉由適當的機制而降低，且考量影像的特徵以執行雜訊的降低。

根據本發明實施例，降低雜訊的系統包含設有彩色濾波陣列的影像感測器、雜訊降低裝置及彩色內插裝置。彩色濾波陣列設於影像感測器上，用以輸出原始資料。雜訊降低裝置根據處理遮罩內的原始目前像素及複數相鄰同色像素之間的距離，以校正原始資料，因而產生新目前像素，用以輸出校正的原始資料。彩色內插裝置接收校正的原始資料，以產生全彩資料。

第一圖顯示本發明實施例之降低雜訊系統100的方塊圖。本實施例之系統100包含影像感測器11（例如互補金屬氧化物半導體（CMOS）影像感測器）。影像感測器11上設有彩色濾波陣列（colorfilter array (CFA)或color filter mosaic (CFM)）10，例如貝爾（Bayer）彩色濾波陣列，用以輸出原始資料（raw data）。第二圖顯示貝爾彩色濾波陣列的樣式，其中50%為綠色濾波器、25%為藍色濾波器且25%為紅色濾波器。換句話說，每一個2x2次陣列包含二綠色濾波器、一藍色濾波器及一紅色濾波器。這些彩色濾波器根據不同波長範圍對入射光進行濾波，使得輸出的原始資料提供紅色、綠色及藍色（R/G/B）波長區域之強度訊息。彩色內插裝置13對原始資料進行內插處理以得到全彩資料，以顯示於顯示裝置14（例如液晶顯示器）。本實施例在對原始資料進行內插處理之前，更藉由雜訊降低裝置12進行校正，以產生校正的原始資料，其雜訊成分可大量降低。雜訊降低裝置12或/且彩色內插裝置13可以是影像信號處理器（ISP）的一部份，或者以硬體或/且軟體方式實施而受控於影像信號處理器。

第三A圖例示綠色像素的5x5處理遮罩（process mask）或視窗，其依序通過並處理原始資料所形成的影像，例如從上而下且由左而右。中間列包含位於中央的目前綠色像素Cur及相鄰同（綠）色像素P3及P4；含有相鄰同（綠）色像素P0、P1及P2的二頂列為已處理；而含相鄰同（綠）色像素P5、P6及P7的二底列為未處理。第三B圖例示非綠色像素的5x5處理遮罩，中間列包含位於中央的目前非綠色（例如藍色）像素Cur及相鄰同（非綠）色像素P3及P4；含有相鄰同（非綠）色像素P0、P1及P2的二頂列為已處理；而含相鄰同（非綠）色像素P5、P6及P7的二底列為未處理。在本說明書中，“相鄰同色像素”與“相鄰像素”代表同一事項，因而可以互相置換使用。

第四圖顯示本發明實施例之降低雜訊方法的流程圖。於步驟41，分別得到目前像素與該些相鄰像素的距離（或絕對差值）。於步驟42，將該些距離分別與一臨界雜訊比較。在本實施例中，臨界雜訊可由使用者定義。如果距離小於臨界雜訊，則相關的相鄰像素即決定為相似相鄰像素。換句話說，相似相鄰像素的值非常接近目前像素的值，且兩者之差小於臨界雜訊。於步驟43，根據相似相鄰像素的計數值，將目前像素分類為多種型態之一。如果不存在相似相鄰像素（亦即，型態0），表示目前像素可能為壞像素。如果存在單一相似相鄰像素（亦即，型態1），表示目前像素可能為線端點。如果存在二或以上的相似相鄰像素，則為型態n（對於第三A/三B圖所例示的5x5處理遮罩，n=2至8）。根據本實施例的特徵之一，（目前）像素根據相似相鄰像素的不同計數值而分類為不同型態之一（步驟43），且不同型態的像素係使用不同機制（步驟44A、44B及44C）以降低雜訊。

如果目前像素為型態0，於步驟44A，沿最平滑方向對相鄰像素執行內插，以產生一校正值作為新目前像素。以第三A圖或第三B圖為例，如果|P0-P7|<|P1-P6|<|P2-P5|<|P3-P4|，則P0-P7方向為最平滑方向，因而以校正值（例如，內插值(P0+P7)/2）來取代目前像素Cur。

如果目前像素為型態1，於步驟44B，使用方向濾波器（directional filter），沿相似相鄰像素及目前像素所形成的方向對相鄰像素及目前像素執行內插，以產生一校正值作為新目前像素。以第三A圖或第三B圖為例，如果P0為單一相似相鄰像素，則以P-Cur-P7方向上的校正值（例如，內插值(P0+P7+Cur)/3）來取代目前像素Cur。

如果目前像素為型態n（n=2至8），於步驟44C，使用基於分群區塊（grouping-patch-based）的去雜訊機制，對部分相似相鄰像素及目前像素進行去雜訊，以產生一校正值作為新目前像素。根據本實施例的另一特徵，先將相似相鄰像素及目前像素分為二群組，亦即群組0及群組1。第五A圖例示型態8的目前像素，且第五B圖依序顯示第五A圖的像素值。八個相似相鄰像素及目前像素以最大跨距（leap）被分為群組0及群組1。因而，群組0的像素值小於群組1的像素值，且群組0的最大像素值至群組1的最小像素值具有最大的跨距。接著，具較多像素個數的群組成為選擇群組，而另一群組則捨去。如果二群組的像素個數相等，則包含有目前像素的群組成為選擇群組。

接下來，根據選擇群組的範圍（range）以執行中央數（median）或平均數（mean）運算，以得到校正值。在本實施例中，範圍係定義為選擇群組當中最大像素值與最小像素值之間的絕對差值。如果範圍大於一預設值，則使用中央數運算；否則，使用平均數運算。

根據實施例的又一特徵，於步驟45，對於步驟44A、44B或44C所得到的新目前像素連同原始目前像素，還可根據像素的色度（hue）或/且飽和度（saturation）作調整，以產生全彩資料。色度及飽和度訊息可使用傳統方法，由紅/綠/藍像素來得到。以色度訊息而言，如果（處理遮罩內的）原始目前像素的色度大量異於新目前像素的色度（例如，兩者之間的絕對差值大於一預設值），則使用較小強度/權重以調整（例如乘以）新目前像素，且使用較大強度/權重以調整原始目前像素，反之亦是。換句話說，當偵測到較大的色度變化時，則進行較少的去雜訊，反之亦是。

以飽和度訊息而言，如果（處理遮罩內的）飽和度很低（例如，紅、綠及藍像素彼此的平均值相近，例如彼此間的絕對差值小於一預設值），則使用較小強度/權重以調整（例如乘以）新目前像素，且使用較大強度/權重以調整原始目前像素，反之亦是。換句話說，當偵測到較小的飽和度變化時，則進行較少的去雜訊，反之亦是。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100．．．降低雜訊的系統

10．．．彩色濾波陣列

11．．．影像感測器

12．．．雜訊降低裝置

13．．．彩色內插裝置

14．．．顯示裝置

Cur．．．目前像素

P0~P7．．．相鄰同色像素

41~45．．．降低雜訊的步驟

第一圖顯示本發明實施例之降低雜訊系統的方塊圖。第二圖顯示貝爾彩色濾波陣列的樣式。第三A圖及第三B圖例示5x5處理遮罩。第四圖顯示本發明實施例之降低雜訊方法的流程圖。第五A圖例示型態8的目前像素。第五B圖依序顯示第五A圖的像素值。

100．．．降低雜訊的系統

10．．．彩色濾波陣列

11．．．影像感測器

12．．．雜訊降低裝置

13．．．彩色內插裝置

14．．．顯示裝置

Claims (16)

1. 一種降低雜訊的系統，包含：一影像感測器，其上設有一彩色濾波陣列，用以輸出原始資料；一雜訊降低裝置，根據處理遮罩內的一原始目前像素及複數相鄰同色像素之間的亮度灰階上之距離，以校正該原始資料，因而產生一新目前像素，用以輸出校正的原始資料；及一彩色內插裝置，接收該校正的原始資料，以產生全彩資料；其中該些距離分別與一臨界雜訊作比較，如果該距離小於該臨界雜訊，則相關的相鄰同色像素即為相似相鄰同色像素；其中該些相似相鄰同色像素及該原始目前像素根據最大跨距被分為群組0及群組1；其中具較多像素個數的群組成為選擇群組；根據該選擇群組的範圍以執行中央數或平均數運算，以得到該新目前像素。
2. 根據申請專利範圍第1項所述降低雜訊的系統，其中該原始目前像素根據該些相似相鄰同色像素的計數值，被分類為多種型態之一。
3. 根據申請專利範圍第2項所述降低雜訊的系統，如果該相似相鄰同色像素的計數值為零，則該雜訊降低裝置沿最平滑方向對該相鄰同色像素執行內插，以產生該新目前像素。
4. 根據申請專利範圍第2項所述降低雜訊的系統，如果該相似相鄰同色像素的計數值為一，則該雜訊降低裝置沿該相似相鄰同色像素及該原始目前像素所形成的方向，對該些相鄰同色像素及該原始目前像素執行內插，以產生該新目前像素。
5. 根據申請專利範圍第2項所述降低雜訊的系統，如果該些相似相鄰同色像素的計數值為二或以上，則該雜訊降低裝置對部分該些相似相鄰同色像素及該原始目前像素進行去雜訊，以產生該新目前像素。
6. 根據申請專利範圍第1項所述降低雜訊的系統，其中該原始目前像素與該新目前像素根據該處理遮罩內的像素之色度或/且飽和度作混合調整。
7. 根據申請專利範圍第6項所述降低雜訊的系統，如果該原始目前像素的色度大量異於該新目前像素的色度，則使用較小強度/權重以調整該新目前像素，且使用較大強度/權重以調整該原始目前像素。
8. 根據申請專利範圍第6項所述降低雜訊的系統，如果該飽和度較低，則使用較小強度/權重以調整該新目前像素，且使用較大強度/權重以調整該原始目前像素。
9. 一種降低雜訊的方法，包含：自一影像感測器輸出原始資料，該影像感測器上設有一彩色濾波陣列；根據處理遮罩內的一原始目前像素及複數相鄰同色像素之間的亮度灰階上之距離，以校正該原始資料，因而產生一新目前像素，用以輸出校正的原始資料；及彩色內插該校正的原始資料，以產生全彩資料；其中該些距離分別與一臨界雜訊作比較，如果該距離小於該臨界雜訊，則相關的相鄰同色像素即為相似相鄰同色像素；其中該些相似相鄰同色像素及該原始目前像素根據最大跨距被分為群組0及群組1；其中具較多像素個數的群組成為選擇群組；根據該選擇群組的範圍以執行中央數或平均數運算，以得到該新目前像素。
10. 根據申請專利範圍第9項所述降低雜訊的方法，其中該原始目前像素根據該些相似相鄰同色像素的計數值，被分類為多種型態之一。
11. 根據申請專利範圍第10項所述降低雜訊的方法，如果該相似相鄰同色像素的計數值為零，則沿最平滑方向對該相鄰同色像素執行內插，以產生該新目前像素。
12. 根據申請專利範圍第10項所述降低雜訊的方法，如果該相似相鄰同色像素的計數值為一，則沿該相似相鄰同色像素及該原始目前像素所形成的方向，對該些相鄰同色像素及該原始目前像素執行內插，以產生該新目前像素。
13. 根據申請專利範圍第10項所述降低雜訊的方法，如果該些相似相鄰同色像素的計數值為二或以上，則對部分該些相似相鄰同色像素及該原始目前像素進行去雜訊，以產生該新目前像素。
14. 根據申請專利範圍第9項所述降低雜訊的方法，其中該原始目前像素與該新目前像素根據該處理遮罩內的像素之色度或/且飽和度作混合調整。
15. 根據申請專利範圍第14項所述降低雜訊的方法，如果該原始目前像素的色度大量異於該新目前像素的色度，則使用較小強度/權重以調整該新目前像素，且使用較大強度/權重以調整該原始目前像素。
16. 根據申請專利範圍第14項所述降低雜訊的方法，如果該飽和度較低，則使用較小強度/權重以調整該新目前像素，且使用較大強度/權重以調整該原始目前像素。