TWI727497B

TWI727497B - 基於感測器特性的影像處理方法

Info

Publication number: TWI727497B
Application number: TW108140872A
Authority: TW
Inventors: 周暘庭; 李宗軒; 唐婉儒; 陳世澤
Original assignee: 瑞昱半導體股份有限公司
Priority date: 2019-11-11
Filing date: 2019-11-11
Publication date: 2021-05-11
Also published as: US11317069B2; US20210144351A1; TW202119361A

Abstract

本發明揭露一種基於感測器特性的影像處理方法，包含下列步驟：取得複數個輸出訊號 x與該複數個輸出訊號之雜訊標準差

之間的關係的一常數

Description

基於感測器特性的影像處理方法

本發明是關於影像處理方法，尤其是關於基於感測器特性的影像處理方法。

一般的阿爾法混合(Alpha Blending)是基於利用雜訊等級(Noise Level)來判斷一圖像中各像素的紋理/平坦屬性的高低，並根據該紋理/平坦屬性的高低給予各像素不同的混合率(Blending Rate)，以供後續處理之用。於一目前的影像處理裝置中，許多模組都有去雜訊但保留紋理的需求；然而，一後端模組常因一或多種前端處理(例如：自動白平衡、自動曝光增益、鏡頭陰影校正(lens shading correction,LSC)、黑電平校正(black level correction,BLC))而缺少強而有力的雜訊等級的資訊用於判斷各像素的紋理/平坦屬性的高低，從而該後端模組無法有效地區別一圖像的紋理區與平坦區。

以下列示了一些目前技術：

(一) Weisheng Dong, Ming Yuan, Xin Li, and Guangming Shi, “Joint Demosaicing and Denoising with Perceptual Optimization on a Generative Adversarial Network”。

(二) Micha¨el Gharbi, Gaurav Chaurasia, Sylvain Paris, and Fr'edo Durand “Deep Joint Demosaicking and Denoising”。

(三) Keigo Hirakawa and Thomas W. Parks, “JOINT DEMOSAICING AND DENOISING”。

(四) Marc Levoy, “Image formation”, page 60~62, Computer Science Department, Stanford University, CS 178, Spring 2014。

(五) Wojciech Jarosz, “Computational Aspects of Digital Photography - Noise & Denoising”, Dartmouth College, CS 89.15/189.5, Fall 2015。

(六) Marc Levoy, “Noise and ISO”, page 7~11, Computer Science Department, Stanford University, CS 178, Spring 2014。

本發明之一目的在於提供一種基於感測器特性的影像處理方法，以避免先前技術的問題。

本發明之影像處理方法的一實施例包含下列步驟：取得複數個輸出訊號x與該複數個輸出訊號之雜訊標準差σ(x)之間的關係的一常數c

σ(x)/

，其中該複數個輸出訊號是一感測器在同一感測器增益(例如：感光度，像是相機的ISO值)下所輸出的複數個訊號；依據一取樣範圍內複數個像素值計算出一梯度值，該複數個像素值包含一目標像素的輸入值；依據該複數個像素計算一平坦值與一紋理值；依據一權重變化率、該梯度值、一前端增益(例如：自動曝光增益)、與該常數執行一權重值計算，以得到一權重值；以及依據該權重值對該平坦值與該紋理值執行一加權計算，以得到該目標像素的輸出值。

本發明之影像處理方法的另一實施例包含下列步驟：取得複數個輸出訊號與該複數個輸出訊號之雜訊標準差之間的關係的一常數，其中該複數個輸出訊號是一感測器在同一感測器增益下所輸出的複數個訊號；以及依據一取樣範圍內複數個像素值、該常數、以及一前端增益來計算一目標像素的一輸出值，其中該目標像素的一輸入值為該複數個像素值的其中之一。

有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。

100、200、300、400:圖像

S510~S550:步驟

x:灰度值

σ(x):輸出訊號的雜訊標準差

thd₀:平坦區門檻值

thd₁:紋理區門檻值

G_TOTAL:梯度值

W_MAX:最大權重值

W_MIN:最小權重值

W:權重值

W_SLOPE:權重變化率

S810~S820:步驟

〔圖1〕顯示一感測器輸出圖像；〔圖2〕顯示依據一低臨界值所得到的圖1之圖像的紋理；〔圖3〕顯示依據一高臨界值所得到的圖1之圖像的紋理；〔圖4〕顯示依據本發明所得到的圖1之圖像的紋理；〔圖5〕顯示本發明之基於感測器特性的影像處理方法的一實施例；〔圖6〕顯示一感測器之輸出訊號的灰度值與該感測器之輸出訊號的雜訊標準差之間的關係；〔圖7〕顯示梯度值與權重值之間的關係；以及〔圖8〕顯示本發明之基於感測器特性的影像處理方法的另一實施例。

本發明之一目的在於依據一感測器(例如：光感測器)的特性來準確地判斷一圖像中各像素之紋理/平坦屬性的高低；一般先前技術(例如：梯度特徵值的計算)不易準確地區分一圖像中的紋理區與平坦區，原因之一在於該圖像之暗部的雜訊強度與亮部的雜訊強度可能不同。舉例而言，圖一顯示一感測器輸出圖像100，若無視於圖像100之暗部與亮部的雜訊差異而藉由一固定臨界值區分圖像100的紋理區與平坦區，當該固定臨界值的設定較小時，圖像100中應被判斷為平坦區的部分容易被誤判成紋理區，如圖二之圖像200所示；當該固定臨界值的設定較大時，圖像100中應被判斷為紋理區的部分容易被誤判成平坦區，如圖三之圖像300所示；而本發明能夠相對準確地區分圖像100之紋理區與平坦區，如圖四之圖像400所示；圖二至圖四的圖像中，黑色代表紋理區，白色代理平坦區。

圖5顯示本發明之基於感測器特性的影像處理方法的一實施例，該實施例可由一已知或自行開發的影像處理裝置來執行，包含下列步驟：

步驟S510：取得複數個輸出訊號x與該複數個輸出訊號之雜訊標準差σ(x)之間的關係的一常數c

σ(x)/

，其中該複數個輸出訊號是一感測器在同一感測器增益(sensor gain)(例如：感光度，像是相機的ISO值)下所輸出的複數個訊號。舉例而言，基於該感測器增益為十六、該感測器之輸出訊號的像素值是以十二位元值(亦即：0~4095之間的值)來表示、以及該感測器的雜訊是散粒雜訊(shot noise)的假設，該感測器依據Q種曝光時間(例如：1/30秒、1秒、與10秒)對同一對象擷取多張圖像包含同一種曝光時間的K張(例如：100張)圖像，使所有擷取圖像(Q×K張圖像)整體而言涵蓋所有種類的像素值(亦即：0~4095之間的每個值)；接著，依據同一種曝光時間的K張圖像的同一像素位置的值的平均可以得到一平均像素值(亦即：依據Q種曝光時間的所有圖像可以得到同一像素位置的Q個平均像素值)，所有擷取圖像的所有平均像素值涵蓋了所有種類的像素值(亦即：0~4095之間的每個值)；接下來，依據同一種曝光時間的K張圖像的同一像素位置的K個值與相同K張圖像的相同像素位置的平均像素值可求出一標準差；依據所有標準差相對於所有平均像素值的分佈可找出一回歸線，如圖6所示；依據上述方式，每一像素平均值(或稱灰度值)的平方根

與該像素平均值所對應的標準差σ(x)的關係會是σ(x)

c×

，其中“c”為常數，可由圖6之回歸線求得；據上所述，該些灰度值的平方根

(亦即：

、

、...、

，其中n為最大灰度值)與其所對應的標準差σ(x)(亦即：σ0、σ1、...、σn)之間的關係可表示如下式：

步驟S520：依據一取樣範圍內複數個像素值計算出一梯度值，該複數個像素值包含一目標像素的輸入值。舉例而言，該取樣範圍內的像素為3×3的像素矩陣

，該像素矩陣之中心像素為該目標像素；藉由將該像素矩陣的每一像素開根號，可得到像素平方根矩陣

；藉由預設的水平梯度遮罩(gradient mask)

與垂直梯度遮罩

分別乘以該像素平方根矩陣，可得到水平梯度G_H=2與垂直梯度G_V=0，從而得到該梯度值G_TOTAL=G_H+G_V=2。

步驟S530：依據該複數個像素計算一平坦值與一紋理值。舉例而言，該取樣範圍內的像素為3×3的像素矩陣

，該平坦值

等於所有像素值的和“24”除以像素總數“9”，該紋理值

等於該目標像素所在之處的紋理方向(本例中因G_H>H_V，判定該紋理方向為垂直方向)上的像素的值的和“4+4+4=12”除以該些像素的數目“3”。

步驟S540：依據一權重變化率(例如：後述thd0與thd1所決定之斜率)、該梯度值、一前端增益(例如：自動曝光增益)、與該常數執行一權重值計算，以得到一權重值(或稱混合率)W。舉例而言，若該前端增益“DG”為四、該常數“c”為0.75、以及使用者設定的/預設的平坦區門檻設定值thd_{0_manual}與紋理區門檻設定值thd_{1_manual}分別為0.4與4，依據該平坦區門檻設定值、該前端增益、與該常數可求出平坦區門檻值thd₀=thd_{0_manual}×

，依據該紋理區門檻設定值、該前端增益、與該常數可求出紋理區門檻值

；該平坦區門檻值與該紋理區門檻值共同決定該權重變化率W_SLOPE(亦即：thd₀所對應的最小權重值W_MIN與thd₁所對應的最大權重值W_MAX之間的直線的斜率

)如圖7所示；該權重值W等於該梯度值與該平坦區門檻值之間的差值乘以該權重變化率(W=(G_TOTAL-thd₀)×W_SLOPE+W_MIN=(2-0.3)×3034+0

5158)。值得注意的是，小於該平坦區門檻值的任一梯度值所對應的權重為最小權重值(例如：圖7之最小權重值0)，大於該紋理區門檻值的任一梯度值所對應的權重為最大權重值(例如：圖7之最大權重值8192)。

步驟S550：依據該權重值對該平坦值與該紋理值執行一加權計算，以得到該目標像素的輸出值。舉例而言，步驟S550包含下列步驟：將該紋理值乘以該權重值，以得到一加權紋理值；將該平坦值乘以一最大權重值與該權重值之間的差值，以得到一加權平坦值；加總該加權紋理值與該加權平坦值以得到一加總值；以及將該加總值除以該最大權重值，以得到該目標像素的輸出值I_OUTPUT。上述範例可由底下算式來表示：

若套用前述範例所求得的值，則該目標像素的輸出值I_OUTPUT如下式所示：

值得注意的是，前述步驟S540的範例中，求出該平坦區門檻值與該紋理區門檻值的方式是基於以下說明。該前端增益DG與該感測器之輸出訊號的雜訊標準差σ(x)

c×

為已知，T(‧)表示對該感測器之輸出信號執行轉換的轉換式，依據上述，一用來判斷紋理/平坦屬性的梯度值的計算式可表示為T(DG×x+DG×σ(x))-T(DG×x)

T'(DG×x)．DG×σ(x)；當

時，

，因此，上述計算式可改寫為T'(DG×x)．DG×σ(x)=

；換言之，該梯度值與該前端增益DG以及該常數c有關。

承前所述，於一實作範例中，該感測器為一光感測器。於一實作範例中，該前端增益為/相關於一鏡頭陰影校正(Lens Shading Correction,LSC)增益、一特定顏色之像素值增益、一自動曝光(Auto Exposure,AE)增益、一黑電平校正(Black Level Correction,BLC)增益、以及一色彩校正矩陣(Color Correction Matrix,CCM)的其中之一。於一實作範例中，該複數個輸出訊號的雜訊主要為散粒雜訊(shot noise)。於一實作範例中，該複數個輸出訊號包含一最小灰度值訊號至一最大灰度值訊號之間的所有訊號。

圖8顯示本發明之基於感測器特性的影像處理方法的另一實施例，包含下列步驟：

步驟S810：取得複數個輸出訊號與該複數個輸出訊號之雜訊標準差之間的關係的一常數，其中該複數個輸出訊號是一感測器在同一感測器增益下所輸出的複數個訊號。

步驟S820：依據一取樣範圍內複數個像素值、該常數、以及一前端增益來計算一目標像素的一輸出值，其中該目標像素的一輸入值為該複數個像素值的其中之一。

由於本領域具有通常知識者能夠參酌圖1~7的揭露內容來瞭解圖8之實施例的細節與變化，亦即圖1~7的技術特徵均可合理應用於圖8的實施例中，因此，重複及冗餘之說明在此予以節略。

請注意，在實施為可能的前提下，本技術領域具有通常知識者可選擇性地實施前述任一實施例中部分或全部技術特徵，或選擇性地實施前述複數個實施例中部分或全部技術特徵的組合，藉此增加本發明實施時的彈性。

綜上所述，本發明能夠依據一感測器(例如：光感測器)的特性來準確地判斷一圖像中各像素的紋理/平坦屬性的高低。

雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。

S510~S550:步驟

Claims

一種基於感測器特性的影像處理方法，包含：取得複數個輸出訊號與該複數個輸出訊號之雜訊標準差之間的關係的一常數，其中該複數個輸出訊號是一光感測器在同一感測器增益下所輸出的複數個訊號；依據一目標像素的位置決定一取樣範圍，以依據該取樣範圍內複數個像素值計算出一梯度值，該複數個像素值包含該目標像素之一輸入值，該複數個像素值源自於該複數個輸出訊號；依據該複數個像素值計算一平坦值與一紋理值；依據一權重變化率、該梯度值、一前端增益、與該常數執行一權重值計算，以得到一權重值；以及依據該權重值對該平坦值與該紋理值執行一加權計算，以得到該目標像素之一輸出值。
如申請專利範圍第1項所述之影像處理方法，其中該關係為該複數個輸出訊號之雜訊的每一個的標準差與該複數個輸出訊號的每一個的平方根之間的關係。
如申請專利範圍第1項所述之影像處理方法，其中該常數為該複數個輸出訊號之雜訊的任一個的標準差除以該複數個輸出訊號的任一個的平方根的一近似值。
如申請專利範圍第1項所述之影像處理方法，其中計算出該梯度值的步驟包含：計算出該複數個像素值之每一個的平方根；以及依據該複數個像素值的平方根計算該梯度值。
如申請專利範圍第1項所述之影像處理方法，其中計算出該梯度值的步驟包含：依據該複數個像素值計算一水平梯度值；依據該複數個像素值計算一垂直梯度值；以及依據該水平梯度值與該垂直梯度值計算該梯度值。
如申請專利範圍第1項所述之影像處理方法，其中執行該權重值計算的步驟包含：依據一平坦區門檻設定值、該前端增益、與該常數計算出一平坦區門檻值；依據一紋理區門檻設定值、該前端增益、與該常數計算出一紋理區門檻值；以及依據該平坦區門檻值、該紋理區門檻值、該梯度值、與該常數計算出該權重值。
如申請專利範圍第1項所述之影像處理方法，其中執行該加權計算的步驟包含：將該紋理值乘以該權重值，以得到一加權紋理值；將該平坦值乘以一最大權重值與該權重值之間的差值，以得到一加權平坦值；加總該加權紋理值與該加權平坦值，以得到一加總值；以及將該加總值除以該最大權重值，以得到該輸出值。
如申請專利範圍第1項所述之影像處理方法，其中該前端增益相關於一鏡頭陰影校正(Lens Shading Correction,LSC)增益、一特定顏色之一像素值增益、以及一自動曝光(Auto Exposure,AE)增益、一黑電平校正(Black Level Correction,BLC)增益、以及一色彩校正矩陣(Color Correction Matrix,CCM)的其中之一。
一種基於感測器特性的影像處理方法，包含：取得複數個輸出訊號與該複數個輸出訊號之雜訊標準差之間的關係的一常數，其中該複數個輸出訊號是一光感測器在同一感測器增益下所輸出的複數個訊號；以及依據一目標像素的位置決定一取樣範圍，以依據該取樣範圍內複數個像素值、該常數、以及一前端增益執行一梯度值計算、一影像特性值計算、一權重值計算與一加權計算，以計算該目標像素的一輸出值，其中該目標像素的一輸入值為該複數個像素值的其中之一，該複數個像素值源自於該複數個輸出訊號。
如申請專利範圍第9項所述之影像處理方法，其中該前端增益相關於一鏡頭陰影校正(Lens Shading Correction,LSC)增益、一特定顏色之一像素值增益、以及一自動曝光(Auto Exposure,AE)增益、一黑電平校正(Black Level Correction,BLC)增益、以及一色彩校正矩陣(Color Correction Matrix,CCM)的其中之一。