TWI694721B - 紅外線串擾補償方法及其裝置 - Google Patents
紅外線串擾補償方法及其裝置 Download PDFInfo
- Publication number
- TWI694721B TWI694721B TW107135468A TW107135468A TWI694721B TW I694721 B TWI694721 B TW I694721B TW 107135468 A TW107135468 A TW 107135468A TW 107135468 A TW107135468 A TW 107135468A TW I694721 B TWI694721 B TW I694721B
- Authority
- TW
- Taiwan
- Prior art keywords
- compensation
- axis
- value
- pixel
- pixels
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005192 partition Methods 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000003491 array Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
一種紅外線串擾補償方法包括對一景象擷取一原始影像，原始影像包括多個原始像素，該些原始像素依據一第一軸向及一第二軸向呈二維陣列排列，各該原始像素具有一紅色子像素值、一綠色子像素值、一藍色子像素值及一紅外線子像素值；前述方法另包括依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該紅色、綠色、藍色、紅外線子像素值的一補償後值；及依據該些紅色、綠色、藍色、紅外線子像素的補償後值獲得一補償後影像。
Description
本案是關於紅外線串擾領域，特別是一種影像感測的紅外線串擾補償方法及其裝置。
影像感測器（Image Sensor）為將光訊號轉換成電訊號的裝置，影像感測器又稱為感光元件，影像感測器早期僅使用在照相設備，但現今已是行動裝置的標準配備。影像感測器由感光耦合元件（CCD，Charge Coupled Device）或互補性金屬氧化半導體（CMOS，Complementary Metal-Oxide Semiconductor）所構成。如再細部探究影像感測器的構造功能，其具有彩色濾光片及感光像素，其中彩色濾光片用以區分接收紅色光、綠色光、藍色光的區域，在接收紅色光的區域彩色濾光片僅讓紅色光通過，在接收綠色光的區域彩色濾光片僅讓綠色光通過，在接收藍色光的區域彩色濾光片僅讓藍色光通過，而感光像素用以感測前述通過彩色濾光片的紅、綠、藍色光。由於現今影像感測器仍著重於接收可見光，因此影像感測器的構造上還有一層紅外線濾鏡（IR Cut Filter），紅外線濾鏡用以過濾紅外線，避免感光像素所感測的可見光被紅外線串擾的影響而失真。
但是近年行動裝置的照相功能日趨多元化，使用者對於夜間拍攝及紅外線影像攝影的需求也逐漸被重視。因此影像感測器必須移除紅外線濾鏡，以具備接收紅外線的功能並滿足前述的需求。但影像感測器在移除紅外線濾鏡之後，其所感測的紅、綠、藍色光勢必將混雜紅外線串擾，而造成色彩偏移（Color Washout）的現象。而目前影像感測器的製造技術仍無法解決前述紅外線串擾的問題。
鑑於上述，本案提出一種紅外線串擾補償方法及其裝置。
依據一些實施例，一種紅外線串擾補償裝置包括一影像擷取電路及一控制電路。其中，影像擷取電路用以對一景象擷取一原始影像，該原始影像包括多個原始像素，該些原始像素依據一第一軸向及一第二軸向呈二維陣列排列，各該原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值。控制電路依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該R、G、B、IR子像素的一補償後值，並依據該些R、G、B、IR子像素的該補償後值，輸出一補償後影像。
前述補償方程式為：
其中，v為各該原始像素在該補償軸向的座標值，R
i、G
i、B
i、IR
i為在該補償軸向的座標值為i的該原始像素的R、G、B、IR子像素值，R
o、G
o、B
o、IR
o為在該補償軸向的座標值為v的該原始像素的R、G、B、IR子像素的該補償後值，K
f(v)為該原始像素在該補償軸向的座標值為v時的一補償係數。
依據一些實施例，一種紅外線串擾補償裝置更包括一影像顯示裝置，用以顯示前述的補償後影像。
依據一些實施例，一種紅外線串擾補償裝置更包括一儲存裝置，用以儲存前述的補償後影像。
依據一些實施例，前述控制電路依據一補償係數獲得程序，獲得該些補償係數，其中該補償係數獲得程序包括：對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，該些參考像素依據該第一軸向及該第二軸向呈二維陣列排列，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值；依據一方向判斷程序，獲得該補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數。
前述補償係數方程式為：
其中，v為各該參考像素在該補償軸向的座標值，K
1、K
2、…K
n為各該區補償值，v
1、v
2、…v
n為各該分區在該補償軸向的座標值，K
f(v)為該原始像素在該補償軸向的座標值為v時的該補償係數。
依據一些實施例，該方向判斷程序包括：依據一區決定程序，獲得一初始區塊及一終區塊，該區決定程序包括：依據一校正方程式及各該參考像素，級距式調整一運算變數，獲得對應各該級距的一暗區塊；依據該初始區塊及該終區塊，獲得該補償軸向；及依據該補償軸向，獲得該些分區及該些區補償值。
前述校正方程式為：
其中，c為該運算變數，R
i為該R參考值，G
i為該G參考值，B
i為該B參考值，IR
i為該IR參考值，R
o為一R補償後參考值，G
o為一G補償後參考值，B
o為一B補償後參考值。
依據一些實施例，一種紅外線串擾補償方法包括：對一景象擷取一原始影像，該原始影像包括多個原始像素，該些原始像素依據一第一軸向及一第二軸向呈二維陣列排列，各該原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該R、G、B、IR子像素值的一補償後值；及依據該些R、G、B、IR子像素的該補償後值，獲得一補償後影像。
依據一些實施例，一種紅外線串擾補償方法，更包括一獲得紅外線串擾補償係數方法。
依據一些實施例，一種獲得紅外線串擾補償係數方法包括：對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，該些參考像素依據該第一軸向及該第二軸向呈二維陣列排列，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值；依據一方向判斷程序，獲得該補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數。
綜上所述，根據本案的紅外線串擾補償方法及其裝置，適於補償具有紅外線串擾的原始影像，並依據對應補償軸向的補償係數及IR子像素值補償原始像素，以有效降低原始影像中的紅外線串擾。在一些實施例中，依據分區及區補償值調整對應補償軸向的補償係數，更進一步達到補償紅外線串擾的目的。
本案是關於紅外線串擾補償。儘管在說明書中描述了數個被認為是實施本案的較佳模式，但應理解本案仍可以諸多方式來實現，且不應限定於下述之特定實施例或實現下述特徵的特定方式。在其他情況下，公知細節將不再贅述或討論以避免模糊本案重點。
圖1繪示依據本案一些實施例的紅外線串擾補償裝置的示意圖。在一些實施例，紅外線串擾補償裝置10配置於一終端設備中，該終端設備例如但不限於手機、平板電腦、筆記型電腦、桌上型電腦、攝影設備或智慧型穿戴設備。
請參閱圖1，在一些實施例，紅外線串擾補償裝置10包括一影像擷取電路12及一控制電路14。影像擷取電路12用以對一景象擷取一原始影像。該控制電路14依據一補償軸向D3、對應該補償軸向D3的多個補償係數、及一補償方程式，輸出一補償後影像。
請參閱圖1，依據一些實施例，紅外線串擾補償裝置10更包括一影像顯示裝置16，用以顯示該補償後影像。該影像顯示裝置16例如但不限於液晶顯示器、發光二極體顯示器、有機發光二極體顯示器。
請續參閱圖1，依據一些實施例，紅外線串擾補償裝置10更包括一儲存裝置18，用以儲存該補償後影像。該儲存裝置18例如但不限於揮發性記憶體、唯讀記憶體、快閃記憶體、磁碟。
在一些實施例中，原始影像包括多個原始像素，該些原始像素依據一第一軸向D1及一第二軸向D2呈二維陣列排列，各該原始像素具有一R子像素值（意即紅色子像素值）、一G子像素值（ 意即綠色子像素值）、一B子像素值（意即藍色子像素值）及一IR子像素值（意即紅外線子像素值）。
承上，前述控制電路14獲得各該R、G、B、IR子像素的一補償後值，再依據該些R、G、B、IR子像素的該補償後值輸出前述補償後影像。
前述補償方程式為：
其中，v為各該原始像素在該補償軸向D3的座標值。R
i、G
i、B
i、IR
i為在該補償軸向D3的座標值為v的該原始像素的R、G、B、IR子像素值。R
o、G
o、B
o、IR
o為在該補償軸向D3的座標值為v的該原始像素的R、G、B、IR子像素的該補償後值。K
f(v)為在該補償軸向D3的座標值為v的該原始像素對應的一補償係數。K
f(v)*IR
i為原始像素在該補償軸向D3的座標值為v時的一補償值。
具體而言，在一些實施例，該些R、G、B子像素值，除了包括本身色彩的亮度的灰階值之外，尚具有一紅外線串擾值，因此該些R、G、B子像素值受紅外線串擾影響而失真，並無法代表本身色彩的亮度。各該R、G、B子像素值需減去對應的該補償值（實務上，該補償值近似該紅外線串擾值）之後，所產生的各該R、G、B、IR子像素值的該補償後值，才能有效代表本身色彩的亮度。而該些IR子像素值的該補償後值等於原本的該些IR子像素值，因為該些IR子像素值代表本身紅外線的亮度，不易受其他串擾值影響。其中，該補償係數依據該原始像素在該補償軸向D3的座標值而調整，因此可進一步藉由紅外線串擾的分布來調整對應位置的補償值，以達到有效補償紅外線串擾。
圖2A至圖2E繪示依據本案一些實施例的感測電路的示意圖。請參閱圖2A，在一些實施例中，影像擷取電路12具有多個感測電路20，該些感測電路20依據該第一軸向D1及該第二軸向D2呈二維陣列排列。各該感測電路20具有一紅色光感測器22（簡稱，R感測器22）、一綠色光感測器24（簡稱，G感測器24）、一藍色光感測器26（簡稱，B感測器26）、及一紅外線感測器28（簡稱，IR感測器28），其中該R感測器22位於各該感測電路20的左上側，用以感測紅色光訊號並轉換為對應的電訊號。該G感測器24位於各該感測電路20的右上側，用以感測綠色光訊號並轉換為對應的電訊號。該B感測器26位於各該感測電路20的左下側，用以感測藍色光訊號並轉換為對應的電訊號。該IR感測器28位於各該感測電路20的右下側，用以感測紅外線光訊號並轉換為對應的電訊號。前述R、G、B、IR感測器也是以該第一軸向D1及該第二軸向D2呈二維陣列排列於各該感測電路20中，並且二維陣列的行數及列數相等。
承上，在一些實施例中，該些R、G、B、IR感測器個別對應的區域皆為一個前述原始像素。當前述原始像素對應到該R感測器22，則前述的R子像素值為該R感測器22的電訊號讀值，而前述的G子像素值為鄰近的該些G感測器24的電訊號讀值的平均值，前述的B子像素值為鄰近的該些B感測器26的電訊號讀值的平均值，前述的IR子像素值為鄰近的該些IR感測器28的電訊號讀值的平均值。當前述原始像素如對應到該G感測器24、該B感測器26、或該IR感測器28時，同理得到前述的R、G、B、IR子像素。
請參閱圖2B至圖2E，在一些實施例中，前述影像擷取電路12擷取的原始影像以拜爾樣式（Bayer pattern）呈現，因此感測電路20以拜爾樣式排列其中的R感測器22、G感測器24、B感測器26及IR感測器28。該些R、G、B、IR感測器的排列方式如圖中所示，依據該第一軸向D1及該第二軸向D2呈二維陣列排列。原始像素缺少的R、G、B、IR子像素可經由習知的內差演算法藉由該原始像素位在的感測電路20中的其他R、G、B、IR子像素內差運算得出。因此各個原始像素皆具有R、G、B、IR子像素。
圖3繪示依據本案一些實施例的紅外線串擾補償方法的流程圖。請參閱圖3，在一些實施例中，一種紅外線串擾補償方法包括以下步驟：
步驟S100：對一景象擷取一原始影像，該原始影像包括多個原始像素，各該原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；
步驟S120：依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該R、G、B、IR子像素值的一補償後值；及
步驟S140：依據該些R、G、B、IR子像素的該補償後值，獲得一補償後影像。
圖4繪示依據本案一些實施例的獲得紅外線串擾補償係數方法的流程圖。請參閱圖4，在一些實施例中，一種紅外線串擾補償方法，更包括一獲得紅外線串擾補償係數方法，以獲得該些補償係數，其中該獲得紅外線串擾補償係數方法包括以下步驟：
步驟S220：對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值；
步驟S240：依據一方向判斷程序，獲得該補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及
步驟S280：依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數。
請續參閱圖4，在一些實施例，前述控制電路14依據一補償係數獲得程序，獲得該些補償係數，其中該補償係數獲得程序包括的步驟與該獲得紅外線串擾補償係數方法的步驟相同。
依據一些實施例中，前述參考影像30只擷取自前述黑色參考物體的景象，不擷取到其他非黑色參考物體的景象。並且，前述黑色參考物體例如但不限於黑幕、黑紙、或具有黑色平坦表面的物體。其黑色用於避免反射背景可見光，使前述參考影像30視為只接收到紅外線，而沒有接收到可見光，因此可進一步用於判讀紅外線串擾。在一些實施例中，前述參考影像30可以是除了前述黑色參考物體外，還包括前述黑色參考物體之背景，若該背景比例佔整個前述參考影像30的比例相對低時，亦能獲得前述補償係數。
圖5繪示依據本案一些實施例的參考影像及分區的示意圖。請參閱圖5，在一些實施例中，前述參考影像30包括多個參考像素32，該些參考像素32依據該第一軸向D1及該第二軸向D2呈二維陣列排列，各該參考像素32具有一R參考值（意即紅色參考值）、一G參考值（意即綠色參考值）、一B參考值（意即藍色參考值）及一IR參考值（意即紅外線參考值）。
承上，在一些實施例中，前述R、G、B、IR感測器對應於該些參考像素32的關係類似前述R、G、B、IR感測器對應於該些原始像素的關係，故同理可得到該些R、G、B、IR參考值，在此不贅述。
請續參閱圖5，在一些實施例中，該第一軸向及該第二軸向位於習知的xy座標系，其中該第一軸向D1為x軸，該第二軸向D2為y軸，該參考影像30具有a個行及b個列(a、b皆為一常數)。而該些分區34依據該第一軸向D1及該第二軸向D2呈二維陣列排列，彼此不重疊。當該補償軸向D3為該第一軸向D1，該些分區34皆為b個列的二維陣列，而該些分區34的行的個數總和為a；反之，當該補償軸向D3為該第二軸向D2，該些分區34皆為a個行的二維陣列，而該些分區34的列的個數總和為b。並且，該些分區34依據該補償軸向D3的方向排列。若分為n+1個分區34（n為一整數），則該些分區34依序分別為一第一、一第二、…一第n、一第n+1分區。該些分區34個別具有在該補償軸向D3的一補償座標值，其值如下所述：該第一分區在該補償軸向D3的補償座標值，為該第一分區跟該第二分區的交界36在該補償軸向D3的座標值v
1；該第二分區在該補償軸向D3的補償座標值，為該第二分區跟該第三分區的交界36在該補償軸向D3的座標值v
2，同理推演該第三、…該第n分區在該補償軸向D3的補償座標值分別為v
3、…v
n；及該第n+1分區在該補償軸向D3沒有補償座標值。其中，
。
在一些實施例，該些分區34在該補償軸向D3等量劃分該參考影像30，即該些分區34在該補償軸向D3的長度皆相等，並具有相同總數的該些參考像素32，具體而言，若分為n+1個分區34：當該補償軸向D3為該第一軸向D1，該些分區34皆為a/(n+1)個行及b個列的二維陣列；反之，當該補償軸向D3為該第二軸向D2，該些分區34皆為a個行及b/(n+1)個列的二維陣列。
在一些實施例，該些分區34在該補償軸向D3非等量劃分該參考影像30，即該些分區34在該補償軸向D3的長度可不相等，通常取決於相鄰的該些參考像素32的紅外線串擾的差異：在紅外線串擾的差異較大的區域會用較密集的分區34來處理，以避免紅外線串擾補償不完全；及在紅外線串擾的差異較小的區域會用較粗略的分區34來處理，以避免不必要的多餘運算。
前述補償係數方程式為
其中，v為各該參考像素32在該補償軸向D3的座標值，K
1、K
2、…K
n為各該區補償值，且皆為常數（依序分別為一第一、一第二、…一第n分區補償值）。v
1、v
2、…v
n為各該分區34在該補償軸向D3的補償座標值。K
f(v)為該原始像素在該補償軸向D3的座標值為v時的該補償係數。
承前述的補償係數方程式，其中：當該參考像素32在該補償軸向D3的座標值小於該第一分區在該補償軸向D3的補償座標值時，該補償係數為該第一分區補償值；當該參考像素32在該補償軸向D3的座標值介於該第一分區與該第二分區在該補償軸向D3的補償座標值之間時，依據該參考像素32在該補償軸向D3的座標值、該第一分區與該第二分區在該補償軸向D3的補償座標值，對該第一分區補償值及該第二分區補償值做內差得出該補償係數，並以此類推當該參考像素32在該補償軸向D3的座標值介於該第二分區與該第n分區在該補償軸向D3的補償座標值之間時的該補償係數；及當參考像素32在該補償軸向D3的座標值大於該第n分區在該補償軸向D3的補償座標值時，該補償係數為該第n分區補償值。
圖6繪示依據本案一些實施例的方向判斷程序的流程圖。請參閱圖6，在一些實施例中，一種方向判斷程序包括以下步驟：
步驟S250：依據一區決定程序，獲得一初始區塊及一終區塊；
步驟S260：依據該初始區塊及該終區塊，獲得該補償軸向；及
步驟S270：依據該補償軸向，獲得該些分區及該些區補償值。
圖7繪示依據本案一些實施例的區決定程序的流程圖。請參閱圖7，在一些實施例中，一種區決定程序包括以下步驟：
步驟S252：依據一校正方程式及各該參考像素，級距式調整一運算變數，獲得對應各該級距的一暗區塊；
步驟S254：以該運算變數最小時對應的該暗區塊為該初始區塊；及
步驟S256：以該運算變數最大時對應的該暗區塊為該終區塊。
請參閱圖8A，依據一些實施例，其中該初始區塊42及該終區塊44皆為部分的該參考影像30。其中，該運算變數以級距式調整，該初始區塊42為該運算變數最小時對應的該暗區塊，而該終區塊為該運算變數最大時對應的該暗區塊。而該初始區塊42具有一初始幾何中心43，該終區塊44具有一終幾何中心45，該初始幾何中心43指向該終幾何中心45的方向為一亮度方向D4，該亮度方向D4為一向量。以該亮度方向D4判斷該參考影像30受紅外線串擾的影響分布。
請參閱圖8B，在一些實施例中，該補償軸向D3以該第一軸向D1與該亮度方向D4的內夾角的大小，及該第二軸向D2與該亮度方向D4的內夾角的大小而定，其中包括四種情況：第一情況，當該第一軸向的正方向D11與該亮度方向D4的內夾角θ1不大於45度時，以該第一軸向D1為該補償軸向D3；第二情況，當該第一軸向的負方向D13與該亮度方向D4的內夾角θ2不大於45度時，以該第一軸向D1為該補償軸向D3；第三情況，當該第二軸向的正方向D21與該亮度方向D4的內夾角θ3小於45度時，以該第二軸向D2為該補償軸向D3；及第四情況，當該第二軸向的負方向D23與該亮度方向D4的內夾角θ4小於45度時，以該第二軸向D2為該補償軸向D3。
在一些實施例，依據前述補償軸向D3，進一步獲得該些分區34及該些區補償值，其中該些分區34依據前述補償軸向D3的正方向排列。於第一情況及第三情況時，該些區補償值的關係為
。反之，於第二情況及第四情況時，該些區補償值的關係為
。
前述校正方程式為
其中，c為該運算變數。R
i為該R參考值，G
i為該G參考值，B
i為該B參考值，IR
i為該IR參考值。R
o為一R補償後參考值，G
o為一G補償後參考值，B
o為一B補償後參考值。
具體而言，依據該校正方程式及該運算變數，該參考像素32得到對應的該R、G、B補償後參考值，而該些暗區塊為該R、G、B補償後參考值皆為零的該參考像素32的集合（簡稱，該R、G、B補償後參考值皆為零的該參考像素32為一暗像素）。因此當由小至大的級距式調整該運算變數，可分別獲得由小至大的該暗區塊，並以此判斷該參考影像30受紅外線串擾的影響分布。如果該參考像素32需要越大的該運算變數才會變成該暗像素，代表該參考像素32受紅外線串擾的影響越嚴重；反之，如果該參考像素32僅需很小的該運算變數或該運算變數為0時，即變成該暗像素，代表該參考像素32受紅外線串擾的影響較輕微。
在一些實施例中，當該運算變數最小時，該暗像素的個數（簡稱，該暗像素的個數為一暗像素總數）除以該參考影像30的該參考像素32的總數（簡稱，該參考影像30的該參考像素32的總數為一參考像素總數）的商值的百分比為10％；而下一級的運算變數，該暗像素總數與該參考像素總數的商值的百分比為20％，並以每一級增加10％類推；及當該運算變數最大時，該暗像素總數與該參考像素總數的商值的百分比為90％。
在一些實施例中，該些暗像素區補償值依序為前述的級距式調整的該運算變數。具體而言，若分為n+1個分區34：當該運算變數為該第一分區補償值時，依據前述校正方程式獲得對應的一個暗區塊，該暗區塊的該暗像素總數除以該參考像素總數的商值為1/(n+1)；及當運算變數為該第二、…、或第n分區補償值時，依據前述校正方程式獲得對應的多個暗區塊，各該暗區塊的該暗像素總數除以該參考像素總數的商值分別為2/(n+1)、…n/(n+1)。
在一些實施例中，當該R、G、B參考值皆為0的該參考像素32存在，則前述的級距式調整該運算變數可改為依據該暗像素增加的百分比做調整（當該暗像素增加的百分比為100％，即所有的該些參考像素32都為該暗像素）。因此，當該運算變數最小時，該暗像素增加的百分比為10％；而下一級的運算變數，該暗像素增加的百分比為20％，並以每一級增加10％類推；及當該運算變數最大時，暗像素增加的百分比為90％。
在一些實施例中，該些R、G、B、IR參考值、該些R、G、B、IR子像素值、該些R、G、B補償後參考值分別為一介於0～255的整數，個別對應其代表色彩的亮度的灰階值。當該些R、G、B、IR參考值、該些R、G、B、IR子像素、該些R、G、B補償後參考值經運算之後小於0，則為0，反之，經運算之後大於255，則為255。
綜上所述，根據本案的紅外線串擾補償方法及其裝置，適於補償具有紅外線串擾的原始影像，並依據對應補償軸向的補償係數及IR子像素值補償原始像素，以有效降低原始影像中的紅外線串擾。在一些實施例中，依據分區及區補償值調整對應補償軸向的補償係數，更進一步達到補償紅外線串擾的目的。
10 紅外線串擾補償裝置 12 影像擷取電路 14 控制電路 16 影像顯示裝置 18 儲存裝置 20 感測電路 22 紅色光感測器/R感測器 24 綠色光感測器/G感測器 26 藍色光感測器/B感測器 28 紅外線感測器/IR感測器 30 參考影像 32 參考像素 34 分區 36 交界 42 初始區塊 43 初始幾何中心 44 終區塊 45 終幾何中心 D1 第一軸向 D2 第二軸向 D3 補償軸向 D4 亮度方向 D11 第一軸向的正方向 D13 第一軸向的負方向 D21 第二軸向的正方向 D23 第二軸向的負方向 θ1-θ4 內夾角 S100-S140、S220-S280、S252-S256 步驟
圖1繪示依據本案一些實施例的紅外線串擾補償裝置的示意圖。 圖2A至圖2E繪示依據本案一些實施例的感測電路的示意圖。 圖3繪示依據本案一些實施例的紅外線串擾補償方法的流程圖。 圖4繪示依據本案一些實施例的獲得紅外線串擾補償係數方法的流程圖。 圖5繪示依據本案一些實施例的參考影像及分區的示意圖。 圖6繪示依據本案一些實施例的方向判斷程序的流程圖。 圖7繪示依據本案一些實施例的區決定程序的流程圖。 圖8A繪示依據本案一些實施例的亮度方向的示意圖。 圖8B繪示依據本案一些實施例的判斷補償軸向的示意圖。
S100-S140 步驟
Claims (10)
- 一種紅外線串擾補償方法，包括： 對一景象擷取一原始影像，該原始影像包括多個原始像素，該些原始像素依據一第一軸向及一第二軸向呈二維陣列排列，各該原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值； 依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該R、G、B、IR子像素值的一補償後值，該補償方程式為：
其中，v為各該原始像素在該補償軸向的座標值，R i、G i、B i、IR i為在該補償軸向的座標值為v的該原始像素的R、G、B、IR子像素值，R o、G o、B o、IR o為在該補償軸向的座標值為v的該原始像素的R、G、B、IR子像素的該補償後值，K f(v)為在該補償軸向的座標值為v的該原始像素對應的一補償係數；及 依據該些R、G、B、IR子像素的該補償後值，獲得一補償後影像。
- 如請求項1所述的紅外線串擾補償方法，更包括一獲得紅外線串擾補償係數方法，以獲得該些補償係數，其中該獲得紅外線串擾補償係數方法包括： 對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，該些參考像素依據該第一軸向及該第二軸向呈二維陣列排列，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值； 依據一方向判斷程序，獲得該補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及 依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數，該補償係數方程式為其中，v為各該參考像素在該補償軸向的座標值，K 1、K 2、…K n為各該區補償值，v 1、v 2、…v n為各該分區在該補償軸向的座標值，K f(v)為在該補償軸向的座標值為v時的該原始像素對應的該補償係數。
- 如請求項2所述的紅外線串擾補償方法，其中該方向判斷程序包括： 依據一區決定程序，獲得一初始區塊及一終區塊，該區決定程序包括： 依據一校正方程式及各該參考像素，級距式調整一運算變數，獲得對應各該級距的一暗區塊，該校正方程式為：
其中，c為該運算變數，R i為該R參考值，G i為該G參考值，B i為該B參考值，IR i為該IR參考值，R o為一R補償後參考值，G o為一G補償後參考值，B o為一B補償後參考值； 以該運算變數最小時對應的該暗區塊為該初始區塊；及 以該運算變數最大時對應的該暗區塊為該終區塊； 依據該初始區塊及該終區塊，獲得該補償軸向；及 依據該補償軸向，獲得該些分區及該些區補償值。
- 一種獲得紅外線串擾補償係數的方法，包括： 對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，該些參考像素依據一第一軸向及一第二軸向呈二維陣列排列，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值； 依據一方向判斷程序，獲得一補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及 依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數，該補償係數方程式為其中，v為各該參考像素在該補償軸向的座標值，K 1、K 2、…K n為各該區補償值，v 1、v 2、…v n為各該分區在該補償軸向的座標值，K f(v)為在該補償軸向的座標值為v時的該原始像素對應的該補償係數。
- 如請求項4所述的獲得紅外線串擾補償係數的方法，其中該方向判斷程序包括： 依據一區決定程序，獲得一初始區塊及一終區塊，該區決定程序包括： 依據一校正方程式及各該參考像素，級距式調整一運算變數，獲得對應各該級距的一暗區塊，該校正方程式為：其中，c為該運算變數，R i為該R參考值，G i為該G參考值，B i為該B參考值，IR i為該IR參考值，R o為一R補償後參考值，G o為一G補償後參考值，B o為一B補償後參考值； 以該運算變數最小時對應的該暗區塊為該初始區塊；及 以該運算變數最大時對應的該暗區塊為該終區塊； 依據該初始區塊及該終區塊，獲得該補償軸向；及 依據該補償軸向，獲得該些分區及該些區補償值。
- 一種紅外線串擾補償裝置，包括： 一影像擷取電路，用以對一景象擷取一原始影像，該原始影像包括多個原始像素，該些原始像素依據一第一軸向及一第二軸向呈二維陣列排列，各該原始像素具有一R子像素值、一G子像素值、一B子像素值及一IR子像素值；及 一控制電路，依據該原始影像、一補償軸向、對應該補償軸向的多個補償係數、及一補償方程式，獲得各該R、G、B、IR子像素的一補償後值，並依據該些R、G、B、IR子像素的該補償後值，輸出一補償後影像，其中，該補償方程式為：其中，v為各該原始像素在該補償軸向的座標值，R i、G i、B i、IR i為在該補償軸向的座標值為i的該原始像素的R、G、B、IR子像素值， R o、G o、B o、IR o為在該補償軸向的座標值為v的該原始像素的R、G、B、IR子像素的該補償後值，K f(v)為該原始像素在該補償軸向的座標值為v時的一補償係數。
- 如請求項6所述的紅外線串擾補償裝置，更包括一影像顯示裝置，用以顯示該補償後影像。
- 如請求項6所述的紅外線串擾補償裝置，更包括一儲存裝置，用以儲存該補償後影像。
- 如請求項6所述的紅外線串擾補償裝置，該控制電路依據一補償係數獲得程序，獲得該些補償係數，其中該補償係數獲得程序包括： 對一黑色參考物體，擷取一參考影像，該參考影像包括多個參考像素，該些參考像素依據該第一軸向及該第二軸向呈二維陣列排列，各該參考像素具有一R參考值、一G參考值、一B參考值及一IR參考值； 依據一方向判斷程序，獲得該補償軸向、多個分區、及多個區補償值，各該區補償值對應各該分區；及 依據一補償係數方程式及該些區補償值，獲得對應該補償軸向的該些補償係數，該補償係數方程式為其中，v為各該參考像素在該補償軸向的座標值，K 1、K 2、…K n為各該區補償值，v 1、v 2、…v n為各該分區在該補償軸向的座標值，K f(v)為該原始像素在該補償軸向的座標值為v時的該補償係數。
- 如請求項9所述的紅外線串擾補償裝置，其中該方向判斷程序包括： 依據一區決定程序，獲得一初始區塊及一終區塊，該區決定程序包括： 依據一校正方程式及各該參考像素，級距式調整一運算變數，獲得對應各該級距的一暗區塊，該校正方程式為：其中，c為該運算變數，R i為該R參考值，G i為該G參考值，B i為該B參考值，IR i為該IR參考值，R o為一R補償後參考值，G o為一G補償後參考值，B o為一B補償後參考值； 以該運算變數最小時對應的該暗區塊為該初始區塊；及 以該運算變數最大時對應的該暗區塊為該終區塊； 依據該初始區塊及該終區塊，獲得該補償軸向；及 依據該補償軸向，獲得該些分區及該些區補償值。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107135468A TWI694721B (zh) | 2018-10-08 | 2018-10-08 | 紅外線串擾補償方法及其裝置 |
| US16/380,708 US10887533B2 (en) | 2018-10-08 | 2019-04-10 | Infrared crosstalk compensation method and apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107135468A TWI694721B (zh) | 2018-10-08 | 2018-10-08 | 紅外線串擾補償方法及其裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202015394A TW202015394A (zh) | 2020-04-16 |
| TWI694721B true TWI694721B (zh) | 2020-05-21 |
Family
ID=70052829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107135468A TWI694721B (zh) | 2018-10-08 | 2018-10-08 | 紅外線串擾補償方法及其裝置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10887533B2 (zh) |
| TW (1) | TWI694721B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108900772A (zh) * | 2018-07-19 | 2018-11-27 | 维沃移动通信有限公司 | 一种移动终端及图像拍摄方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0660591B1 (en) * | 1993-12-23 | 2001-11-14 | Applied Science Fiction, Inc. | A method for reducing colour crosstalk |
| US20130135272A1 (en) * | 2011-11-25 | 2013-05-30 | Jaeyeol Park | System and method for calibrating display device using transfer functions |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6108612A (en) * | 1998-06-23 | 2000-08-22 | Interval Research Corporation | Coded objects and methods for detecting such coded objects |
| DE10138609B4 (de) * | 2001-08-07 | 2005-02-17 | Sick Ag | Überwachungsverfahren und optoelektronischer Sensor |
| US20050046703A1 (en) * | 2002-06-21 | 2005-03-03 | Cutler Ross G. | Color calibration in photographic devices |
| JP4868576B2 (ja) * | 2006-01-27 | 2012-02-01 | 株式会社メガチップス | 画像処理装置 |
| US20100195902A1 (en) * | 2007-07-10 | 2010-08-05 | Ronen Horovitz | System and method for calibration of image colors |
| US20090109507A1 (en) * | 2007-10-31 | 2009-04-30 | Seiko Epson Corporation | Image Forming Apparatus, Image Forming Method, and Computer Readable Medium Recording a Printing Data Generation Program |
| US8866920B2 (en) * | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| KR20120114895A (ko) * | 2011-04-08 | 2012-10-17 | 삼성전자주식회사 | 내시경 장치 및 상기 내시경 장치의 영상 획득 방법 |
| JP2015087144A (ja) * | 2013-10-29 | 2015-05-07 | セイコーエプソン株式会社 | 分光測定装置及び分光測定方法 |
| JP2015099074A (ja) * | 2013-11-19 | 2015-05-28 | セイコーエプソン株式会社 | 分光測定装置及び分光測定方法 |
| CN108419061B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
| CN108419062B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 图像融合设备和图像融合方法 |
| US10521920B2 (en) * | 2017-09-21 | 2019-12-31 | Intel Corporation | Reducing textured IR patterns in stereoscopic depth sensor imaging |
-
2018
- 2018-10-08 TW TW107135468A patent/TWI694721B/zh active
-
2019
- 2019-04-10 US US16/380,708 patent/US10887533B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0660591B1 (en) * | 1993-12-23 | 2001-11-14 | Applied Science Fiction, Inc. | A method for reducing colour crosstalk |
| US20130135272A1 (en) * | 2011-11-25 | 2013-05-30 | Jaeyeol Park | System and method for calibrating display device using transfer functions |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200112696A1 (en) | 2020-04-09 |
| TW202015394A (zh) | 2020-04-16 |
| US10887533B2 (en) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8203633B2 (en) | Four-channel color filter array pattern | |
| US8237831B2 (en) | Four-channel color filter array interpolation | |
| US8253832B2 (en) | Interpolation for four-channel color filter array | |
| US10225495B2 (en) | Crosstalk processing module, method of processing crosstalk and image processing system | |
| US8125546B2 (en) | Color filter array pattern having four-channels | |
| US8068159B2 (en) | Image capturing device and method with infrared detection thorugh plural filter regions | |
| US8345130B2 (en) | Denoising CFA images using weighted pixel differences | |
| EP2529554B1 (en) | Iteratively denoising color filter array images | |
| TWI557686B (zh) | 校正影像色偏之方法與相關裝置 | |
| US20150098005A1 (en) | Image sensor and image capturing system | |
| TWI547169B (zh) | 影像處理方法與模組 | |
| CN113168669B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| TWI694721B (zh) | 紅外線串擾補償方法及其裝置 | |
| US11317063B2 (en) | Calibration module of image sensor, image sensor and method of calibrating crosstalk in image sensor | |
| US11647302B2 (en) | Method of calibrating image sensor and device for calibrating image sensor | |
| CN111050097B (zh) | 红外线串扰补偿方法及其装置 | |
| US20230353884A1 (en) | Image processing system and image processing method | |
| US11696041B2 (en) | Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus | |
| KR102689327B1 (ko) | 이미지 센서의 캘리브레이션 모듈, 이미지 센서 및 크로스토크를 캘리브레이션하는 방법 | |
| KR20220161124A (ko) | 이미지 신호 프로세서를 포함하는 이미지 센서 및 이의 동작 방법 | |
| JP2024100663A (ja) | 画像処理装置および画像ブラーリング方法 |