TWI670977B

TWI670977B - 不良像素補償方法與裝置

Info

Publication number: TWI670977B
Application number: TW106138325A
Authority: TW
Inventors: 黃文聰
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2017-11-06
Filing date: 2017-11-06
Publication date: 2019-09-01
Also published as: US10812744B2; US20190141268A1; TW201919385A

Abstract

本發明揭露了一種不良像素補償方法與一種不良像素補償裝置，能夠補償一紅綠藍紅外線（RGBIr）感測器的不良像素，該方法之一實施例包含：判斷一感測器的型態；依據該感測器的型態與一目標像素的位置決定複數個取樣位置；依據該複數個取樣位置獲得一取樣範圍內的複數個參考像素的值；依據該複數個參考像素的值決定一區間與至少一補償值；以及判斷該目標像素的一目標像素輸入值是否位於該區間內，當該目標像素輸入值位於該區間內，輸出該目標像素輸入值做為該目標像素的值，當該目標像素輸入值位於該區間外，輸出該至少一補償值的其中之一做為該目標像素的值。

Description

不良像素補償方法與裝置

本發明是關於不良像素補償技術，尤其是關於能夠補償具有四種像素的感測器的不良像素的技術。

傳統紅綠藍(RGB)感測器在低光源的環境下感光度不足，為解決上述問題，有些監視應用等級的影像擷取裝置使用紅外線截止式濾波器(IR Cut Filter)，以在日間模式下輸出RGB彩色影像，並在夜晚模式輸出IR影像。然而，機械性的IR Cut Filter的動件裝置容易因使用過度而損壞，且有體積大及成本高等問題，因此，新型態的混和式紅綠藍紅外線(RGBIr)感測器因應而起。

RGBIr感測器可應用於手機、筆電、網路監控攝影機、遊戲產品、智慧型家庭設施等，然而，若感測器本身有缺陷(例如：製造所引起的缺陷)，感測器所輸出的像素會包含錯誤/失真(error/distortion)，若不校正這些錯誤/失真，最後顯示器所輸出的影像會顯現許多人眼容易查覺的不自然現象，例如亮點(stuck pixel)、暗點(dead pixel)、偏亮點(hot pixel)、偏暗點(dark pixel)，其中偏亮點與偏暗點分別是裝置操作條件改變時，相較於鄰近像素會偏亮的像素與偏暗的像素。然而，目前僅有對RGB感測器的不良像素進行補償的技術，並無對RGBIr感測器的不良像素進行補償的技術。

前述對RGB感測器的不良像素進行補償的技術可見於下列文獻：專利號8,164,660之美國專利。

本發明之一目的在於提供一種不良像素補償方法與一種不良像素補償裝置，以避免先前技術的問題。

本發明揭露了一種不良像素補償方法，用來補償一感測器的不良像素，該感測器包含四個種類的像素，該不良像素補償方法的一實施例包含下列步驟：依據至少一感測器型態訊號，判斷該感測器的型態；依據該感測器的型態與一目標像素的位置，決定複數個取樣位置；依據該複數個取樣位置，獲得一取樣範圍內的複數個參考像素的值；依據該複數個參考像素的值決定一區間與至少一補償值；以及判斷該目標像素的一目標像素輸入值是否位於該區間內，當該目標像素輸入值位於該區間內，輸出該目標像素輸入值做為該目標像素的值，當該目標像素輸入值位於該區間外，輸出該至少一補償值的其中之一做為該目標像素的值。本實施例中，該四個種類的像素是紅色像素、綠色像素、藍色像素與紅外線像素，且該複數個參考像素的種類與該目標像素的種類相同。

本發明另揭露一種不良像素補償裝置，能夠補償一感測器的不良像素，該感測器包含四個種類的像素，該不良像素補償裝置的一實施例包含：一參考像素取樣電路，用來依據一目標像素的位置，決定複數個取樣位置，從而依據該複數個取樣位置獲得一取樣範圍內的複數個參考像素的值；一計算電路，用來依據該複數個參考像素的值決定一區間與至少一補償值；以及一判斷暨補償電路，用來判斷該目標像素的輸入值是否位於該區間內，當該目標像素的輸入值位於該區間外，依據該至少一補償值補償該目標像素的輸入值。本實施例中，該四個種類的像素是紅色像素、綠色像素、藍色像素與紅外線像素，且該複數個參考像素的種類與該目標像素的種類相同。

有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

R‧‧‧紅色像素

G‧‧‧綠色像素

B‧‧‧藍色像素

Ir‧‧‧紅外線像素

T‧‧‧目標像素

Ref、B/R_REF、G_REF、Ir_REF‧‧‧參考像素

S710~S750‧‧‧步驟

S810~S830‧‧‧步驟

S910~S950‧‧‧步驟

1000‧‧‧不良像素補償裝置

1010‧‧‧參考像素取樣電路

1020‧‧‧計算電路

1030‧‧‧判斷暨補償電路

〔圖1〕顯示2×2型感測器之感光巨集像素的一範例；〔圖2〕顯示4×4型感測器之感光巨集像素的一範例；〔圖3〕顯示本發明選擇參考像素的一實施例；〔圖4〕顯示本發明選擇參考像素的另一實施例；〔圖5〕顯示本發明選擇參考像素的又一實施例；〔圖6〕顯示本發明選擇參考像素的再一實施例；〔圖7〕顯示本發明之不良像素補償方法的一實施例；〔圖8〕顯示圖7之步驟S740的一實施例所包含的步驟；〔圖9〕顯示產生圖8之亮區平移準位與暗區平移準位的一實施例；以及〔圖10〕顯示本發明之不良像素補償裝置的一實施例。

以下說明內容的用語是參照本技術領域的習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語的解釋是以本說明書的說明或定義為準。

本發明揭露一種不良像素補償方法與一種不良像素補償裝置，用來補償一感測器的不良像素，該感測器包含四個種類的像素，例如紅色像素、綠色像素、藍色像素與紅外線像素。為便於理解，以下說明所提到的感測器是一紅綠藍紅外線(RGBIr)感測器；然而，在實施為可能的前提下，本發明也可用來補償其它類型的感測器的不良像素。

RGBIr感測器的感光巨集像素(photo-sensitive macroblock pixels)包含許多基本感光單元，一基本感光單元的像素排列方式例如是圖1的2×2型(即每個基本感光單元包含四個像素)或圖2的4×4型(即每個基本感光單元包含十六個像素)，其中紅色像素標示為R、綠色像素標示為G、藍色像素標示為B、紅外線像素標示為Ir，且其它圖式也採用上述標示方式。值得注意的是，圖1與圖2僅繪示了部分的像素，且圖1與圖2的像素排列方式是範例性的，並非本發明之實施限制。而為了判斷RGBIr感測器的一目標像素是否為不良像素，本發明依據一取樣範圍，將鄰近該目標像素的複數個像素做為參考像素，以依據該些參考像素判斷該目標像素是否為不良像素，該些參考像素的種類與該目標像素的種類相同(例如：均為紅色像素、或綠色像素、或藍色像素、或紅外線像素)；然而，在實施結果是可接受的前提下，一或多個參考像素的種類與該目標像素的種類可以不同。

為幫助瞭解，底下說明主要以具有2×2型之基本感光單元的RGBIr感測器為例，並以5×5取樣範圍(亦即該取樣範圍內有25個像素)為例；然而，上述條件並非本發明之實施限制，本領域具有通常知識者可依據本發明之揭露，瞭解如何偵測其它型的RGBIr感測器(例如：具有4×4型之基本感光單元的RGBIr感測器)，以及如何採用其它大小的取樣範圍(例如：3×3、3×5、5×3、5×7、7×5、7×7、7×9、9×7、或9×9的取樣範圍)。值得注意的是，當RGBIr感測器之型態(例如：尺寸已知的具有2×2型之基本感光單元的RGBIr感測器(後稱2×2型感測器)或尺寸已知的具有4×4型之基本感光單元的RGBIr感測器(後稱4×4型感測器))與一目標像素的位置(例如：該目標像素相對於該RGBIr感測器之所有像素的座標，其中該座標的產生屬於本領域的通常技術)決定後，上述取樣範圍內的那些像素是參考像素，就可以被確定。舉例而言，在一目標像素是位於5×5取樣範圍的中心以及該目標像素的種類與參考像素的種類相同的設定下，當感測器為2×2型感測器時，參考像素如圖3所示(圖3中參考像素標示為Ref，目標像素標示為T)，其中該目標像素與該些參考像素均為紅色像素、綠色像素、藍色像素或紅外線像素；當感測器為4×4型感測器且目標像素為藍色或紅色像素時，參考像素如圖4所示(圖4中參考像素標示為B/R_REF，目標像素標示為T)；當感測器為4×4型感測器且目標像素為綠色像素時，參考像素如圖5所示(圖5中參考像素標示為G_REF，目標像素標示為T)；當感測器為4×4型感測器且目標像素為紅外線像素時，參考像素如圖6所示(圖6中參考像素標示為Ir_REF，目標像素標示為T)。另舉例而言，於一取樣範圍內，只有一部分與目標像素同種類的像素被選為參考像素。再舉例而言，在一目標像素不位於一取樣範圍(例如：6×6取樣範圍)的中心的設定下，該目標像素是最接近該中心的複數個像素中的一像素，且該取樣範圍內的參考像素的位置，也可依據感測器的型態與該目標像素的位置而被確定。

圖7顯示本發明之不良像素補償方法的一實施例，其可由本發明的不良像素補償裝置或其等效裝置來執行。圖7的實施例包含下列步驟：

步驟S710：依據至少一感測器型態訊號，判斷該感測器的型態。上述感測器型態訊號可由該感測器或其它外部裝置提供，或可藉由使用者設定用來執行該不良像素補償方法的裝置而得；當然，其它能提供感測器型態訊號的已知或自行開發的方式，也可用於本步驟。

步驟S720：依據該感測器的型態與一目標像素的位置，決定複數個取樣位置。舉例而言，上述複數個取樣位置，為圖3~6的其中之一所示的參考像素的位置。

步驟S730：依據該複數個取樣位置，獲得一取樣範圍內的複數個參考像素的值。舉例而言，上述複數個參考像素的值，為圖3~6的其中之一所示的參考像素的值。

步驟S740：依據該複數個參考像素的值決定一區間與至少一補償值。本步驟之範例說明於後。

步驟S750：判斷該目標像素的一目標像素輸入值(例如：該目標像素的原始像素值，或一在前影像處理階段(先於本方法之執行)所輸出的該目標像素的值)是否位於該區間內，當該目標像素輸入值位於該區間內，輸出該目標像素輸入值做為該目標像素的值，當該目標像素輸入值位於該區間外，輸出該至少一補償值的其中之一做為該目標像素的值。本步驟之範例說明於後。

如圖8所示，於一實施例中，前述步驟S740包含下列步驟：

步驟S810：依據該複數個參考像素的值決定一亮度上限。舉例而言，該亮度上限的組成包含一亮度參考準位(brightness reference level)(例如：該亮度上限為該亮度參考準位)。另舉例而言，該複數個參考像素的值包含一最大值、一中位值與一最小值，該亮度參考準位介於該最大值與該中位值之間(例如：該亮度參考準位等於該最大值，或等於該複數個參考像素的次大值)，其中至少該最大值與該最小值可藉由對該複數個參考像素執行一遞增排序或一遞減排序而得。另舉例而言，該亮度上限的組成包含該亮度參考準位以及下列準位的至少其中之一：一邊緣特徵參考準位(edge feature reference level)以及一亮區平移準位(bright area shift level)(例如：該亮度上限等於該亮度參考準位、該邊緣特徵參考準位與該亮區平移準位的加總)，其中該邊緣特徵參考準位用來於該目標像素位於邊緣時，調整該亮度上限與後述的亮度下限，該亮區平移準位用來依據該複數個參考像素的亮度調整該亮度上限。上述邊緣特徵參考準位與亮區平移準位的範例說明於後。

步驟S820：依據該複數個參考像素的值決定一亮度下限。舉例而言，該亮度下限的組成包含一暗度參考準位(darkness reference level)(例如：該亮度下限為該暗度參考準位)。另舉例而言，該暗度參考準位介於該中位值與該最小值之間(例如：該暗度參考準位等於該最小值，或等於該複數個參考像素的次小值)。另舉例而言，該亮度下限的組成包含該暗度參考準位以及下列準位的至少其中之一：該邊緣特徵參考準位以及一暗區平移準位(dark area shift level)(例如：該亮度下限等於該暗度參考準位減去該邊緣特徵參考準位以及該暗區平移準位)，其中該暗區平移準位用來依據該複數個參考像素的亮度調整亮度下限。上述暗區平移準位的範例說明於後。

步驟S830：依據該亮度上限與該亮度下限決定該區間。舉例而言，該區間是該亮度上限與該亮度下限之間的區間，該至少一補償值包含該亮度參考準位與該暗度參考準位，因此，於步驟S750中，當該目標像素的目標像素輸入值大於該亮度上限，該亮度參考準位被輸出以做為該目標像素的值，以及當該目標像素之目標像素輸入值小於該亮度下限，該暗度參考準位被輸出以做為該目標像素的值。

於一實施例中，前述邊緣特徵參考準位是依據一預設的邊緣準位演算法計算該複數個參考像素而產生，舉例而言，該邊緣特徵參考準位等於該複數個參考像素的變異係數乘以一邊緣比例(edge rate)(例如：0~1之間的值)，其中該邊緣比例可以是一預定比例，或是由實施本發明者決定。於一實施例中，該邊緣特徵參考準位是依據一邊緣偵測演算法偵測該目標像素而產生，舉例而言，該邊緣偵測演算法採用索貝爾運算子(Sobel Operator)，以分別算出該目標像素的橫向梯度近似值與縱向梯度近似值(例如：G _x=；；其中G _x為橫向梯度，G _y為縱向梯度，A為以該目標像素為中心之3×3大小的像素矩陣)，再據以計算該目標像素的梯度(例如：)，然後將該梯度乘以該邊緣比例以得到該邊緣特徵參考準位。

如圖9所示，於一實施例中，前述亮區平移準位與暗區平移準位是依據至少下列步驟而產生：

步驟S910：計算該複數個參考像素的平均值。

步驟S920：判斷該平均值是否小於一低亮度門檻(例如：若每個參考像素值介於0~255之間，該低亮度門檻為60或為一介於15~112之間的值)及/或判斷該平均值是否大於一高亮度門檻(例如：若每個參考像素值介於0~255之間，該高亮度門檻為180或為一介於142~240之間的值)。本步驟中，若在先的判斷成立(例如：判斷該平均值是否小於該低亮度門檻的步驟先被執行，且判斷結果指出該平均值小於該低亮度門檻)，在後的判斷(例如：判斷該平均值是否大於該高亮度門檻的步驟)可選擇性地被執行。

步驟S930：若該平均值小於該低亮度門檻，令該亮區平移準位等於一最小亮區平移準位(例如：4，或實施本發明者所決定的值能幫助辨別該目標像素在暗區是否偏亮)，以及令該暗區平移準位等於一最小暗區平移準位(例如：8，或實施本發明者所決定的值能幫助辨別該目標像素在暗區是否偏暗)。

步驟S940：若該平均值大於該高亮度門檻，令該亮區平移準位等於一最大亮區平移準位(例如：8，或實施本發明者所決定的值能幫助辨別該目標像素在亮區是否偏亮)，以及令該暗區平移準位等於一最大暗區平移準位(例如：4，或實施本發明者所決定的值能幫助辨別該目標像素在亮區是否偏暗)。

步驟S950：若該平均值介於該低亮度門檻與該高亮度門檻之間，依據一預設的平移準位演算法來計算該亮區平移準位與該暗區平移準位。舉例而言，該預設的平移準位演算法使得「該亮區平移準位=最小亮區平移準位+(最大亮區平移準位-最小亮區平移準位)×(該平均值-該低亮度門檻)÷128」，以及使得「該暗區平移準位=最小暗區平移準位+(最大暗區平移準位-最小暗區平移準位)×(該平均值-該低亮度門檻)÷128」。

本發明之不良像素補償裝置的一實施例如圖10所示。圖10之不良像素補償裝置1000是一影像處理器(例如：一影像處理積體電路)，能夠執行本發明之不良像素補償方法。不良像素補償裝置1000包含一參考像素取樣電路1010、一計算電路1020、以及一判斷暨補償電路1030。參考像素取樣電路1010用來依據一目標像素的位置，決定複數個取樣位置，從而依據該複數個取樣位置獲得一取樣範圍內的複數個參考像素的值；舉例而言，參考像素取樣電路1010接收該取樣範圍內的所有像素的值，再依據該目標像素的位置決定該複數個取樣位置，從而獲得該複數個參考像素的值。計算電路1020用來依據該複數個參考像素的值決定一區間與至少一補償值。判斷暨補償電路1030用來判斷該目標像素的輸入值是否位於該區間內，當該目標像素的輸入值位於該區間外，依據該至少一補償值補償該目標像素的輸入值。本領域具有通常知識者，能夠依據本揭露，利用已知的電路與技術來實現不良像素補償裝置1000。

由於本領域具有通常知識者能夠參酌前述方法實施例來瞭解上述裝置實施例的細節與變化，亦即前述方法實施例的技術特徵均可合理應用於該裝置實施例中，因此，在不影響該裝置實施例的揭露要求與可實施性的前提下，重複及冗餘之說明在此省略。

請注意，在實施為可能的前提下，本技術領域具有通常知識者可選擇性地實施前述任一實施例的部分或全部技術特徵，或選擇性地實施前述複數個實施例的部分或全部技術特徵的組合，藉此增加本發明實施時的彈性。另請注意，前述實施例所提到的數值與演算法是範例性的，本領域具有通常知識者可依本發明的揭露及其需求，自行設定數值以及選擇/開發適當的演算法。

綜上所述，本發明能夠產生主要資訊(例如：前述亮度參考準位與暗度參考準位)，以依據該主要資訊判斷一RGBIr感測器的一目標像素是否為不良像素，並據以補償；本發明也能選擇性地產生輔助資訊(例如：前述邊緣特徵參考準位、亮區平移準位以及暗區平移準位)，以利用該輔助資訊，協助判斷該目標像素是否為不良像素。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

Claims

一種不良像素補償方法，用來補償一感測器的不良像素，該感測器包含四個種類的像素，該不良像素補償方法包含下列步驟：依據至少一感測器型態訊號，判斷該感測器的型態；依據該感測器的型態與一目標像素的位置，決定複數個取樣位置；依據該複數個取樣位置，獲得一取樣範圍內的複數個參考像素的值；依據該複數個參考像素的值決定一區間與至少一補償值，其中決定該區間的步驟包含：依據該複數個參考像素的值決定一亮度上限；依據該複數個參考像素的值決定一亮度下限；以及依據該亮度上限與該亮度下限決定該區間；以及判斷該目標像素的一目標像素輸入值是否位於該區間內，當該目標像素輸入值位於該區間內，輸出該目標像素輸入值做為該目標像素的值，當該目標像素輸入值位於該區間外，輸出該至少一補償值的其中之一做為該目標像素的值，其中該亮度上限的組成包含一亮度參考準位以及下列準位的至少其中之一：一邊緣特徵參考準位以及一亮區平移準位；以及該亮度下限的組成包含一暗度參考準位以及下列準位的至少其中之一：該邊緣特徵參考準位以及一暗區平移準位。
如申請專利範圍第1項所述之不良像素補償方法，其中該四個種類的像素是紅色像素、綠色像素、藍色像素與紅外線像素。
如申請專利範圍第1項所述之不良像素補償方法，其中該複數個參考像素的種類與該目標像素的種類相同。
如申請專利範圍第1項所述之不良像素補償方法，其中該複數個參考像素的值包含一最大值、一次大值、一中位值、一次小值與一最小值，該亮度參考準位等於該最大值或該次大值，該暗度參考準位等於該最小值或該次小值。
如申請專利範圍第1項所述之不良像素補償方法，其中該至少一補償值包含該亮度參考準位與該暗度參考準位；當該目標像素輸入值大於該亮度上限，該亮度參考準位被輸出以做為該目標像素的值；以及當該目標像素輸入值小於該亮度下限，該暗度參考準位被輸出以做為該目標像素的值。
如申請專利範圍第1項所述之不良像素補償方法，其中該複數個參考像素的值包含一最大值、一中位值與一最小值，該亮度參考準位介於該最大值與該中位值之間，該暗度參考準位介於該中位值與該最小值之間，以及決定該區間的步驟包含：依據該複數個參考像素之值進行一遞增排序或一遞減排序，以找出至少該最大值與該最小值。
如申請專利範圍第1項所述之不良像素補償方法，其中該複數個參考像素的值包含一最大值、一中位值與一最小值，該至少一補償值包含一亮度參考準位與一暗度參考準位，該亮度參考準位介於該最大值與該中位值之間，該暗度參考準位介於該中位值與該最小值之間。
一種不良像素補償裝置，能夠補償一感測器的不良像素，該感測器包含四個種類的像素，該不良像素補償裝置包含：一參考像素取樣電路，用來依據一目標像素的位置，決定複數個取樣位置，從而依據該複數個取樣位置獲得一取樣範圍內的複數個參考像素的值；一計算電路，用來依據該複數個參考像素的值決定一區間與至少一補償值，其中該計算電路執行至少下列步驟以決定該區間：依據該複數個參考像素的值決定一亮度上限；依據該複數個參考像素的值決定一亮度下限；以及依據該亮度上限與該亮度下限決定該區間；以及一判斷暨補償電路，用來判斷該目標像素的一輸入值是否位於該區間內，當該目標像素的該輸入值位於該區間外，依據該至少一補償值補償該目標像素的該輸入值，其中該亮度上限的組成包含一亮度參考準位以及下列準位的至少其中之一：一邊緣特徵參考準位以及一亮區平移準位；以及該亮度下限的組成包含一暗度參考準位以及下列準位的至少其中之一：該邊緣特徵參考準位以及一暗區平移準位。
如申請專利範圍第8項所述之不良像素補償裝置，其中該四個種類的像素是紅色像素、綠色像素、藍色像素與紅外線像素。
如申請專利範圍第8項所述之不良像素補償裝置，其中該複數個參考像素的種類與該目標像素的種類相同。