TWI708510B

TWI708510B - 用於強化彩色影像的方法以及執行此方法的組件

Info

Publication number: TWI708510B
Application number: TW107120044A
Authority: TW
Inventors: 喬那斯傑姆斯多; 史戴方朗德柏克; 因傑馬爾拉森
Original assignee: 瑞典商安訊士有限公司
Priority date: 2017-06-29
Filing date: 2018-06-11
Publication date: 2020-10-21
Also published as: KR102100031B1; KR102113488B1; EP3422700A1; JP2019012267A; US20190007665A1; CN109218696A; CN109218691A; US10531058B2; EP3422700B1; CN109218696B; JP2019036947A; JP6803355B2; TW201911860A; TW201906400A; KR20190002348A; JP6606231B2; TWI684365B; KR20190002289A

Abstract

一種產生藉由一被曝露到可見光以及IR輻射的影像感測器所捕捉的一場景的彩色影像之方法，該方法係包括：-在一可變光圈的一第一比例被一IR截止的濾鏡覆蓋下捕捉一第一影像，-判斷在該第一影像中被捕捉的一第一輻射量，-在該光圈的一第二比例被該IR截止的濾鏡覆蓋下捕捉一第二影像，-判斷在該第二影像中被捕捉的一第二輻射量，-根據該第一光量、該第二光量，該第一IR截止的濾鏡的比例，以及該第二IR截止的濾鏡的比例來計算IR輻射在該場景中的一比例，並且藉由利用該計算出的IR輻射的比例來從一影像移除一IR貢獻。

Description

用於強化彩色影像的方法以及執行此方法的組件

本發明係有關於從一包括從紅外線輻射以及可見光發出的一被記錄的信號的影像移除一紅外線成分的一貢獻。本發明亦有關於一種被配置以執行此種方法的裝置。

用於相機以及尤其是相關於數位相機的IR(紅外線)濾鏡的使用是在此項技術中眾所週知的。簡言之，該相機的影像感測器係具有一頻譜響應，其係具有一在該紅外線中的不可忽略的成分。此既產生機會，但也產生了挑戰。一機會係位在於低照度的狀況中，該IR成分可以提供有關被成像的場景的有用的資訊，甚至是可以進一步藉由一IR光源來強化的資訊。一挑戰係見於白天期間的成像，其中一IR成分的加入將會扭曲在該影像中的色彩平衡，並且其亦可能會完全地飽和該影像感測器。

一種維持有利的效果，同時抑制較不有利的效果的方式係在該影像感測器的前面的射束路徑中增加一可移動式IR截止的濾鏡。以此種方式，該IR(截止)濾鏡可以在日光的狀況期間被使用，其係致能彩色影像的獲得。在整個申請案中，"IR截止的濾鏡(IR-cut filter)"以及"IR濾鏡"可以是可互換地被使用，並且除非有明確地敘述，否則"IR濾鏡"都將會在本案上下文中對應於一IR截止的濾鏡。該影像感測器的像素將會接著以一第一方式運作，其中入射的光係被分色，並且在個別的光檢測器上被偵測為一電荷，因此致能分色。在夜間期間、或是在低照度的狀況中，該IR濾鏡可被移開，並且做成是利用在來自該頻譜的IR部分的進入的輻射上所導致的增加。該IR輻射將不會包含任何的色彩資訊，因而並非執行一分色，而是唯一的參數是該進入的輻射的強度，其可被呈現為一黑白強度的影像(或是利用任何所期望的色階)。一IR光源的加入甚至可以進一步強化該影像。

然而，可能會有其中從此種影像移除該IR貢獻將會是所期望的情形，其目的是產生真實色彩的影像。本發明將會提供一種用於執行此種移除的方法、以及一種被配置以執行此種方法的裝置。

在試圖改善當一場景包括IR輻射以及可見光兩者時的成像中，本發明係提供一種產生藉由一被曝露到可見光以及IR輻射的影像感測器所捕捉的一場景的彩色影像之方法。該方法係包括在一孔徑的一第一比例被一IR截止的濾鏡所覆蓋之下捕捉一第一影像，判斷在該第一影像中被捕捉的一第一輻射量，在該孔徑的一第二比例被該IR截止的濾鏡所覆蓋之下捕捉一第二影像，判斷在該第二影像中被捕捉的一第二輻射量。在這些量測之後，IR輻射在該場景中的一比例係根據該被捕捉的第一輻射量、該被捕捉的第二輻射量、該第一IR截止的濾鏡的比例、以及該第二IR截止的濾鏡的比例而被計算出。在此計算之後，一IR貢獻可以藉由利用該計算出的IR輻射的比例以從一影像被移除。以此種方式，一真實的色彩表示可加以獲得，即使該被成像的場景將會包含藉由該影像感測器所捕捉的IR輻射也是如此。

在一或多個實施例中，該計算係根據單一影像的量測，而對於其它實施例而言，一針對於數個影像幀的平均值係被計算出，以便於改善統計。

在一或數個實施例中，從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的一改變係藉由改變該孔徑的一尺寸來加以達成，此係一種直接且簡單的方式來改變該些比例。至少對於某些使用案例而言，該改變以及因此的量測可以快速地並且在所展示或是所記錄的視訊上的小或是沒有可見的影響之下加以執行。在其它實施例中，隱藏在該量測期間受到影響的影像幀可能是較佳的。作為一進一步的優點的是，其中該孔徑尺寸被改變的實施例將不會需要額外可移動的機械被加入到一執行該方法的相機中。

在另外其它的實施例中，從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的改變係藉由在該孔徑的一部分中***或移去一IR截止的濾鏡來加以達成的。藉由改變被一IR濾鏡覆蓋的部分，很快地獲取得出根據其之數個實施例的方法的結論所需的量測資料是可能的。

在另外其它實施例中，該IR截止的濾鏡可以是一液晶濾鏡(LC濾鏡)，並且從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的改變可以藉由將該LC濾鏡從一第一狀態切換至一第二狀態來加以達成。利用一LC濾鏡係在不引入任何的移動部件下帶來一高度可控制的功能。如同其它實施例，一LC濾鏡的使用將會在詳細說明中更徹底地加以論述。

在一或是任意的實施例中，該IR貢獻係藉由利用該計算出的IR輻射的比例，以從該第一影像、該第二影像、或是一第三獲得的影像加以移除。基本上，該IR貢獻的移除應該加以執行，以便於獲得真實的色彩資訊。當利用該第一或第二影像時，此將會是不重要的，因為這些是當計算該貢獻時所用的影像。然而，除非該IR貢獻係快速地改變，否則其可以良好等同地從一第三影像被移除，即使計算係在該第一及第二影像上被執行也是如此。再者，若一平均值係在該計算中被使用，則該第一及第二影像可以對應於第一及第二組影像。重要的是，所需的處理並不妨礙針對於每一個影像對來加以執行的計算，然而在大多數的應用中，此並不需要的，並且因此其可加以避免。在某些實施例中，相同的IR貢獻可以從數個連續的影像加以移除，除非在該成像的場景中偵測到一改變。

在任意的實施例中，在該影像中的IR比例的計算可以在該影像的個別的像素或是個別的像素群組的層級上加以執行。以此種方式，IR貢獻的一或多個來源可以被找出，並且可以進行量測，以根據此知識來改善該成像。在一或多個實施例中，局部的IR來源可以導致該補償(IR貢獻的移除)被隔離到相關的區域，而具有小的或甚至是微小的IR貢獻的區域則讓其不受影響。此係節省處理能力，並且在其中該方法的應用係提高一雜訊位準的實施例中，此種不必要的提高係加以避免。該知識亦可被用來決定使用多次曝光是否為適當的，其中至少一次係具有一較長的曝光時間，並且至少一次係具有一較短的曝光時間，以便於致能色彩資訊的取出，即使有一強的IR來源也是如此，並且避免在此種強的IR來源的位置中的像素的飽和。

在使得任何實施例的IR截止的濾鏡配置在該孔徑光闌(aperture stop)中、在該可變光圈的緊鄰的附近中係有實際的益處。"在該孔徑光闌中"將會實際上解讀成"實際上盡可能接近該孔徑光闌的"。若有一可變光圈位在該孔徑光闌中，並且該IR截止的濾鏡並不是該可變光圈的一直接的部分，則一緊鄰該可變光圈光闌的位置將會是可利用的最佳可行的解決方案。

根據本發明的另一概念，本發明係有關於一種組件，其係包括一相機、一相機控制器、一相機透鏡、以及一用於控制到達該相機的一影像感測器的輻射量的孔徑配置，其中一IR截止濾鏡係被整合在該孔徑配置中。該組件係被配置以執行根據在以上或是以下所給出的說明的方法。值得注意的是，本發明的組件將不會必須在單一實施例中執行所有的方法，其將會是藉由至少和相關於本發明的方法的實施例一樣多的實施例來加以表示。

作為此的一個例子的是在一或多個實施例中，該組件的孔徑可包括至少兩個光圈葉片，並且該IR截止濾鏡可以被配置在該些光圈葉片中的至少一個上。

在至少一實施例中，該IR截止濾鏡可以相鄰該孔徑來加以配置，並且在其之一中央部分中具有IR截止的性質，然而其並未徑向地在該中央部分之外。此實施例係使得本發明的方法能夠在不增加任何額外的可移動的元件之下加以執行。

先前的實施例的一正好相反的實施例亦可以藉由一種其中該IR截止濾鏡係具有在其之一表面上變化的IR截止的性質，並且是可動地相鄰該光圈而被配置的組件來加以實現。移動該IR截止的濾鏡將會有效地達成所尋求的效果。

在一或多個其它實施例中，該IR截止的濾鏡可以是一LC濾鏡，其係具有一第一狀態以及一第二狀態、或是其中該IR截止的濾鏡係可旋轉地加以配置。在這兩個實施例的分支中，該LC濾鏡將會給予已經揭露的優點，而該可旋轉地配置的濾鏡可以產生其它的優點。

在一或任意的實施例中，如同相關於本發明的方法的實施例所論述的，該IR截止的濾鏡可被配置在該孔徑光闌中、或是在該孔徑光闌的緊鄰的附近。

根據本發明的一第三特點，其係有關於一種包含程式指令的電腦可讀取的媒體，該些程式指令係用於使得一相機處理器執行任意實施例的方法。

本發明的可利用性的進一步的範疇從在以下給予的詳細說明來看將會變成是明顯的。然而，應瞭解的是該詳細說明以及特定的例子儘管是指出本發明的較佳實施例，但其只是舉例而已，因為在本發明的範疇內的各種改變及修改對於熟習此項技術者而言，從此詳細的說明來看都將會變成是明顯的。因此，將瞭解到的是本發明並不限於所述的裝置的特定構件部分、或是所述的方法的步驟，因為此種裝置及方法可以變化。同樣將會瞭解到的是，在此所用的術語只是為了描述特定實施例的目的而已，因而並不欲是限制性的。必須予以指明的是，如同在該說明書以及所附的申請專利範圍中所用的，除非上下文有清楚地相反指出，否則該些冠詞"一"、"一個"、"該"以及"所述"係欲表示有一或多個元件。因此，例如對於"一感測器"或是"該感測器"的參照可包含數個感測器、與類似者。再者，該字詞"包括"並不排除其它的元件或步驟。

100‧‧‧相機

102‧‧‧影像感測器

104‧‧‧相機透鏡殼體

106‧‧‧透鏡系統

108‧‧‧透鏡系統

210‧‧‧可變光圈

212‧‧‧光圈葉片

214‧‧‧切口

216‧‧‧IR濾鏡

318‧‧‧第一步驟

320‧‧‧第二步驟

322‧‧‧第三步驟

324‧‧‧步驟

616a‧‧‧濾鏡

616b‧‧‧濾鏡

712b‧‧‧光圈調整片

716‧‧‧濾鏡

724‧‧‧中央部分/濾鏡

812‧‧‧光圈葉片

816‧‧‧液晶濾鏡/LC濾鏡

圖1是一相機設置的概要的視圖。

圖2是一可被用在本發明的實施例中的光圈的概要的視圖。

圖3是概述本發明根據其之一或多個實施例的主要步驟的流程圖。

圖4a、b以及5a、b是描繪在圖3的方法中的實際步驟的組合的視圖。

圖6a及6b是可以為了致能本發明之目的而被利用的光圈/濾鏡組合的視圖。

圖7a、7b及7c是根據本發明之進一步實施例的可以為了致能本發明之目的而被利用的光圈/濾鏡組合的進一步組合的視圖。

圖8是根據進一步的實施例的可以致能本發明的另一光圈/濾鏡組合的視圖。

圖9是概要地描繪一影像感測器的色彩像素的頻譜響應的圖。

圖1是描繪一種其中本案的配置及方法可以構成一部分的設置的概要的視圖。所描繪的是一相機100(例如一攝影機)，其係具有一影像感測器102以及一相機透鏡殼體104。該舉例說明的例子的相機透鏡殼體104係具有一標準的佈局，其係具有一透鏡系統106以及一光圈108，例如是一可變光圈。此明顯的是一相機透鏡殼體的一非常簡化的說明，但是被視為針對於本申請案之目的為足夠的。

該光圈108係被設置在該透鏡系統106的孔徑光闌中(或是實際盡可能接近孔徑平面的)。對於一理想的單透鏡系統而言，該孔徑光闌將會與該光學軸正交地被設置在該透鏡的中間。就已經陳述的進一步而言，該孔徑光闌的特點係意指該光圈的尺寸將只會影響到達該影像感測器102的光量，而不影響實際的影像。更明確地說，其將不會在該影像平面中，亦即在該影像感測器的平面中產生任何陰影或是類似的效果或假影。為此理由，標準的實務是將該光圈(該孔徑)設置在該孔徑光闌中。在本說明的上下文之中，"該孔徑"可以(但並非必須)對應於該光圈，例如是一被配置在該孔徑光闌中或是接近該孔徑光闌的可變光圈。在任一情形中，本發明的方法或裝置的使用都將會改變通過該光圈的輻射的頻譜組成。

藉由控制該孔徑的開口尺寸，控制到達該感測器的輻射量是可能的，此當然是用於相機的正規的光圈調整片眾所週知的。

一可被用在一第一實施例的可變光圈210係被描繪在圖2中，並且儘管實際的設計可能會顯著地不同，但圖2據信是用滿足需求的程度來描述該功能的。該可變光圈210係包括兩個光圈葉片212，每一個葉片都具有一個三角形切口214。在每一個葉片上的箭頭係描繪它們如何可以來回地移動，較佳的是以一同步化的方式移動，此將會導致在藉由該些三角形切口組合所界定的可變光圈的尺寸上的一變化。

根據本發明的一第一實施例來深入本發明，IR濾鏡216係被配置在每一個三角形切口的頂點中。在該舉例說明的實施例中，該些濾鏡係已經被給予一方形形狀，但是該形狀可以不同。再者，該些切口214的形狀可以不同。在某個程度下，該切口的形狀可以非常自由地加以設計，並且不同的製造商係提供不同的形狀。一共同的特點可以是在該些可變光圈葉片閉合時，應該避免一狹縫狀孔徑的形成，因為此可能會導致非所要的影響。該一或多個濾鏡的形狀明顯地將會適配於對應的切口的形狀。回到該些IR濾鏡，它們是IR截止的濾鏡，其係容許可見光的透射，而防止紅外線輻射的透射。明顯的是當該可變光圈開啟到在圖2中描繪的範圍時，可見光以及IR輻射都將會通過該開口。再者，容易體認到的是當該可變光圈的尺寸被縮小時，將會到達一點是其中該孔徑係完全地被IR濾鏡所覆蓋，因此只容許可見光的透射。從此點並且向下(亦即朝向較小的孔徑)的範圍，該些IR濾鏡將會完全地覆蓋該孔徑，並且該範圍因此係適合用於其中有充足的環境光，例如是在白天期間的狀況。

考量到藉由該些切口的組合所界定的整個區域將會容許可見光的透射，而IR輻射的透射將會是藉由該整個區域減去濾鏡所佔去的區域來加以界定的。因此，一有效的孔徑尺寸將會針對於該兩個波長區域來變化。更明確地說，被該些IR截止濾鏡所佔去的區域是固定的(其忽略在該舉例說明的實施例中的任何重疊)，此係表示在可見光以及IR輻射之間的比例將會隨著該可變光圈的葉片的位置，亦即該可變光圈的尺寸而變化。該透射的可見光以及IR輻射將會成比例於該孔徑的尺寸來變化，但是以不同的比率來變化，因為它們將會具有不同的有效的孔徑，並且因此在IR輻射以及可見的輻射之間的比例將會變化。

若該透射的輻射在頻譜上完全被解析，則監視及評估該些比例將會是容易可行的，但應注意到的是，該影像感測器以及相關的構件一般最多將會分類該進入的輻射成為紅色、綠色以及藍色成分，該些色彩成分的每一個係包含一IR成分(此係在圖9中被指出)，以便於能夠再生一彩色影像，並且完全隔離該紅外線成分一般而言是不可能的。致能此種頻譜解析的影像感測器係已經揭露在專利文獻中，並且包含NIR像素，然而此種影像感測器的成本在現今是顯著更加昂貴的。再者，該些NIR像素係內含在該感測器中，以在解析度上的損失作為代價的，此最常是在該綠色的色彩成分中。

儘管該IR截止的濾鏡係被配置在該孔徑平面中，但是其它濾鏡可被設置在該感測器的前面、或甚至是在該透鏡的前面，一項原因是某些濾鏡係根據環境的光狀況以及效果來加以改變(此種濾鏡通常是被配置在該透鏡的前面、或是附接至其)、或是該濾鏡並不被視為被移開或替換、或是控制係藉由一個別的致動器來加以執行(在濾鏡被配置在該影像感測器的正前面的情形中)。

回到圖2，應該明顯的是本實施例的可變光圈210是如何可以移位在一其中IR輻射係完全被阻擋的純白天模式、以及一其中IR輻射至該影像感測器的透射係被容許的夜晚模式之間。亦應該容易理解的是瞭解該孔徑的尺寸如何可以在該白天模式以及該夜晚模式之中被改變，以便於例如是推論存在於該場景中的IR光的量。

在該傳統的解決方案中，一可移動的IR截止的濾鏡係在該白天模式中被配置在該影像感測器的前面，並且在該夜晚模式中從該射束路徑被移開。因此，在該傳統的解決方案中，該光圈孔徑可以在該白天模式以及該夜晚模式中都在一相等的範圍上加以改變，因為其功能係與該濾鏡的功能隔離開的，儘管在一實際的情況中，該光圈在夜晚模式中係完全地被開啟。相對地，對於本實施例而言，在IR輻射將會開始透射穿過該光圈孔徑之前，該些濾鏡216的尺寸將會影響該光圈可以被開啟有多大。為了該原因，本發明的實施例可能必須切換到夜晚模式，亦即產生黑白影像，此係較早於在一傳統的解決方案中原本將會是的情形。

該原因是IR輻射的引入至該影像感測器將會扭曲藉由該相機控制器所執行的色彩校正，因為IR輻射將會影響所有的像素(參照圖9)，因而為了能夠提供一真實的色彩表示，一IR濾鏡是必要的。因此，夜晚模式一般是只有黑白地加以呈現(只有顯示強度資訊，而不是頻譜資訊)。針對於本發明，根據其之某些實施例，一範圍的中間狀態可以存在於白天模式與夜晚模式之間。在這些中間狀態中，該色彩校正演算法係被維持，即使所顯示的色彩可能被扭曲。使用者可以選擇可被視為可接受的失真的量、以及何時應該執行一切換到真實的白天模式或是真實的夜晚模式。根據該監視情況，色彩差異的資訊對於使用者而言可能是有價值的，即使該些色彩被扭曲也是如此。在本申請案的說明書之中，將會被揭露的是吾人如何可以取出一對於影像強度的IR貢獻，使得充分的補償可加以執行。以此種方式，真實的彩色影像可加以達成，即使到達該影像感測器的輻射係包括可見光以及紅外線輻射兩者也是如此。

到目前為止，吾人只已經敘述一種致能本發明的設置。在以下的段落中，根據一第一實施例的一種方法將會參照圖3、4及5而被揭露。圖3是該方法的流程圖，並且圖4及5是描繪兩個光圈設定以及相關的透射的輻射為波長的一函數的視圖。該些圖是性質上的，而不是量化的。

圖4係描繪一種方法的當從一純白天模式開始時的一部分，其中在其第一設定中只有可見的波長係被容許通過該可變光圈，而圖5係描繪一種方法的從一夜晚模式開始的一部分，其中可見的波長以及IR波長的一混合係在該開始位置中被容許通過。

在一第一步驟318中，該方法係被起始。該起始可以自動地、或是根據一使用者的請求而被進行。一種可能的情況是一使用者已經選擇某一顯示模式，並且該方法係在該顯示模式的架構之內加以執行。

在一第二步驟320中，該可變光圈(其亦可以是一個別的孔徑)係被開啟一預設的量(圖4b的下方的部分)，此係導致該透射的輻射開始包含在該紅外線波長區域中的波長，即如同在圖4b的圖中所指出者。在該第一影像中(或是當該可變光圈係處於如同在圖4a中所繪的其第一位置時所取得的影像)是完全沒有IR貢獻的。

在一第三步驟322中，該預設的開口的效果係被評估。藉由評估該預設的開口的效果，分別推論可見光以及IR輻射的貢獻將會是可能的。對於此實施例以及任何實施例而言，該評估可以在任何層級的解析度上針對於該影像來加以執行，其範圍是從個別的像素或像素的群組，到該影像幀的較大的部分或是該整個影像幀。再者，該評估可以是根據單幀的，但是為了針對於每一個設定的更佳的統計，一些影像幀可以在該評估被執行之前先加以組合，以形成一平均值。此不僅對於本實施例而言係成立的，而且對於本發明的如同在此所揭露以及如同在所附的申請專利範圍界定的所有其它實施例也是成立的。

在該評估之後，隔離來自可見的波長以及紅外線波長的貢獻，並且依此來補償一產生的影像將會是可能的，其係在一第五步驟中進行的。

再次注意到的是，在頻譜上解析出的資訊是不可供利用的，該影像感測器只能夠偵測一強度。然而，該強度可以在空間上加以解析，儘管在該整個影像感測器之上的一平均值或是加總值可以給予更可靠的統計，並且找出最小強度以及最大強度亦可以提供重要的資訊。然而，藉由知道該光圈的性質，透射可見光的區域已經增大有多大、以及透射IR輻射的區域已經增大有多大是已知的(在圖4的例子中基本上從0增大到某個其它數值)。

轉到圖5，有一項差異是在於最初的影像係包含一IR貢獻。在該第一位置中，該光圈幾乎是完全被開啟的，其係容許IR以及可見光的透射。除此之外，本發明針對於圖5的情況的應用將會是類似於參照圖4所述的應用。

在該起始之後，該可變光圈可以是在該第二步驟中被閉合至一第一預設的狀態，其係被展示在圖5b的下方的部分中(其當然可以良好等同地被開啟至一預設的狀態)。在此點，透射的IR輻射的量將會已經比可見光的量被降低一更高的程度，此係被描繪在圖5b的圖中的明顯可見的比例變遷。知道該IR透射的光圈區域以及該可見光透射的光圈區域有多少已經改變係使得推論分別來自該兩個波長區域：可見光以及紅外線的貢獻成為可能的。接著一補償或是校正可加以達成。

圖6a及6b是用於該光圈以及濾鏡的某些替代實施例的視圖。在圖6a中，一具有三角形橫截面的濾鏡616a係被配置在每一個葉片上，此係致能在不重疊濾鏡下的一完全的IR阻擋，並且在圖6b中有被配置在該些葉片中之一上的單一濾鏡616b，此係致能在無任何濾鏡重疊下的IR阻擋，並且改變孔徑尺寸。

圖7a係描繪一替代方案，其係在該些光圈葉片中包含該IR截止的濾鏡，亦即具有一IR截止的濾鏡716，其係在其表面之上具有變化的頻譜透射率。在該舉例說明的例子中，該IR截止的濾鏡只是在其之一中央部分724中的一真實IR截止的濾鏡，而該濾鏡716的其餘部分係透射可見光以及IR輻射兩者。將此種IR截止的濾鏡固定地配置在該光圈的平面中或是接近該光圈的平面，此係致能根據已經揭露的實施例的一種方法的利用。其中該IR截止的濾鏡係內含在一光圈配置中、而不是在一光圈葉片中的實施例係致能更精細的光圈結構的使用。如同在圖7b中所示，一例子是與一光圈調整片712b的一組合。圖7c係描繪該濾鏡配置的另一實施例、或者實際上是兩個實施例。該共同的特性是該IR截止的濾鏡724係被配置成使得其可被旋轉。再者，包含該IR截止的濾鏡的構件亦包含一不具有濾鏡的區域，亦即一透射IR輻射及可見光兩者的區域。再者，該構件的一部分將會延伸到該可變光圈中，並且藉由該構件的旋轉，改變該可變光圈被一IR截止的濾鏡所覆蓋的區域將會是可能的。在左邊的配置中，該構件係包括兩個區域，其中該陰影的區域係對應於該IR截止的濾鏡，並且該空白的區域係對應於無濾鏡的區域。在右邊的配置中係替代地有四個區域。注意到的是，該些構件中只有一個將會被用在單一實施例中，因而該些濾鏡的形狀及設計可以非常大地變化，而仍然致能本發明如同藉由該申請專利範圍所界定的應用。旋轉可以利用一電性致動器來加以達成。除了該不同的設計之外，圖7c的實施例將會致能本發明根據其之一或是任意的實施例的實現。在此分支中的實施例的一進一步的推敲將會是離開中心地配置該可旋轉的濾鏡(或是具有一離開中心被成形的濾鏡)，使得該濾鏡所覆蓋的一區域可以藉由控制該濾鏡以及藉由控制該孔徑的尺寸來加以改變。

圖8是描繪本發明的另一實施例。在此實施例中，該IR截止的濾鏡係以一液晶濾鏡(LC濾鏡)816來加以體現。該LC濾鏡係被配置以切換在一其中其係透射可見光而阻擋IR輻射的狀態、以及一其中其係阻擋可見光與IR輻射兩者的狀態之間。該LC濾鏡係被疊加在一IR濾鏡上。因此，當該LC濾鏡是在該第一狀態時，可見光可以通過該組合的濾鏡，但是IR輻射係被阻擋，而在該第二狀態中，可見光以及IR輻射都被阻擋。藉由此配置的使用，以一種非常便利的方式而且在無任何額外的機械式部件下執行本發明的方法將會是可能的。該LC濾鏡可被配置在該些光圈葉片812上，但是其亦可以靜態配置在該孔徑光闌的附近或是之中。該後者(靜態配置在該孔徑光闌的位置的附近或是之中)對於大多數的實施例而言將會是較佳替代方案，因為其將會最小化移動構件的數目。在其它實施例中，該LC濾鏡可被配置以在一第一狀態中透射所有的波長(至少可見光以及NIR，亦即對於該影像感測器而言具有一不可忽略的響應的波長)，並且在一第二狀態中只透射可見光。在此種實施例中，並不需要將該LC濾鏡重疊在一IR濾鏡上。

儘管該LC濾鏡可以非常快速地移位在狀態之間，但是每一次轉變都將會有在某個時間刻度的一斜率。譬如，其可以幾乎立即移位到一其中其係阻擋所有輻射的狀態，然而回到一部份地透射狀態的轉變是較慢的。若所用的影像感測器係利用一滾動式快門來操作，則個別的列將會不同地受到影響，此係導致在影像中的假影。然而，該特性係可預測的，因而對於該些假影的補償可以用一種直接的方式來加以執行，此係表示當該方法被執行時，一連續的影像串流可加以提供。在其中一旋轉的濾鏡係被使用的實施例中，針對於此種假影的校正可能是較困難的，並且因此避免展示在該量測期間獲得的影像幀可能是較佳的。一替代方案將會是使用一全局式快門(global shutter)，其目前並不常用在數位視訊中，然而其係逐漸普遍的。

在一其中該LC濾鏡係覆蓋該孔徑的整體面積A的一部分A_v，並且該LC濾鏡係被疊加在一IR濾鏡上的例子中，所揭露的實施例的一個例子可以用以下的方式被用來計算一IR貢獻：

I_v：在可見光範圍中的強度

I_n：在近紅外線範圍中的強度

A_v：IR截止的濾鏡所覆蓋的面積

A：整體面積

P₁：當LC濾鏡透射時的來自像素的讀數

P₂：當LC濾鏡阻擋時的來自像素的讀數

當然，實際的方程式以及被使用作為輸入的參數可以根據設置而為不同的，然而注意到的是，在該方程式的右側的所有參數在量測之後、或是從一用於該特定設置的查找表而都為已知的。亦注意到的是，假設該濾鏡係被配置在該孔徑光闌中或是接近該孔徑光闌，則該方程式係可應用在該影像的每一部分上，其範圍從單一像素或是像素群組至該整個影像。

此實施例的一效果是在該些狀態中之一，一IR截止的濾鏡將會被配置在該可變光圈的一部分之上，而在另一狀態中，該可變光圈的該部分將會阻擋IR輻射以及可見光。然而，對於每一個狀態而言，該光圈被覆蓋以及未被覆蓋的尺寸將會是已知的，此係使得該計算是如同在先前揭露的實施例中一樣地直接的。

在圖8的實施例中，該LC濾鏡的配置係模仿圖2的配置以及類似的實施例，然而其亦可以用一種對應於圖7a及7b的實施例以及類似的實施例的方式來加以配置，此係表示該IR截止的濾鏡的主動區域可能對應於該整個濾鏡的一(較小的)部分，該濾鏡可以是被靜態配置、或是其之一組合。如同在以上所提及的，一可調諧的帶通LC濾鏡可被使用，其在一狀態中係透射可見光以及IR輻射，並且在另一狀態中係透射可見光，但是阻擋IR輻射。在此種濾鏡下，可想到的是利用該濾鏡來覆蓋該整個可變光圈，並且藉由調諧該LC濾鏡以IR輻射被容許通過該孔徑的比例來達成改變。然而，此種方法的一缺點將會是某些光強度隨時都會失去，因為即使在其中其係容許可見光以及IR輻射兩者的透射的狀態中，該LC濾鏡也不是完全地"開啟的"。

在整個圖式中，類似的構件係已經被給予類似的元件符號，其不同只在於有關該圖號的一識別符。在圖之間的相似性將會使得讀者能夠容易理解不同的圖，因此使得元件符號的過度使用是多餘的。

一項有關在所揭露的實施例中的孔徑配置的特性的共同的特點是在透射穿過該配置的IR輻射以及可見光之間的比例將會在可能的孔徑開口的範圍上變化。該開口越小，則該比例越小(亦即，該可見光的部分將會增加)，而至其中實質沒有IR輻射被透射的一點(該衰減將會受限於該IR截止的濾鏡的性質)，並且該比例基本上是零。該比例將會隨著該孔徑開口的尺寸而增大，但是其絕對不會到達1，因為該孔徑開口總是會有一部分被該IR截止的濾鏡所覆蓋。再者，該孔徑開口將會有其中實質沒有IR光的一區域，並且因此將會有接近一其中該比例是固定的完全閉合的位置的一區間。此區間的尺寸將會受到該IR截止的濾鏡的尺寸的影響。

本發明的方法可以藉由僅僅利用來自該整個影像感測器的信號的一總和來加以達成。形成在原始影像以及其中該孔徑的另一比例是利用該IR截止的濾鏡所覆蓋的影像之間的比例係致能一組方程式的形成。該組方程式的解是直截了當的，並且其係透露出參數，該些參數於是致能不同的波長區域對於藉由一影像感測器所獲得的一影像的貢獻的預測。

318‧‧‧第一步驟

320‧‧‧第二步驟

322‧‧‧第三步驟

324‧‧‧步驟

Claims

一種產生一場景的彩色影像之方法，該場景藉由一被曝露到可見光以及IR輻射的影像感測器所捕捉，該方法係包括：在一孔徑的一第一比例被一IR截止的濾鏡所覆蓋之下捕捉一第一影像，判斷在該第一影像中被捕捉的一第一輻射量，在該孔徑的一第二比例被該IR截止的濾鏡所覆蓋之下捕捉一第二影像，判斷在該第二影像中被捕捉的一第二輻射量，根據該被捕捉的第一輻射量、該被捕捉的第二輻射量、該第一IR截止的濾鏡的比例、以及該第二IR截止的濾鏡的比例來計算IR輻射在該場景中的一比例，以及藉由利用該計算出的IR輻射的比例來從一影像移除一IR貢獻。
如請求項1所述之方法，其中從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的一改變係藉由改變該孔徑的一尺寸來加以達成。
如請求項1所述之方法，其中從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的一改變係藉由在該孔徑的一部分中***或移開一IR截止的濾鏡來加以達成。
如請求項1所述之方法，其中該IR截止的濾鏡是一液晶濾鏡，並且其中從該第一IR截止的濾鏡的比例至該第二IR截止的濾鏡的比例的一改變係藉由將該LC濾鏡從一第一狀態切換至一第二狀態來加以達成。
如請求項1所述之方法，其中該IR貢獻係藉由利用該計算出的IR輻射的比例，以從該第一影像、該第二影像、或是一第三獲得的影像來加以移除。
如請求項1所述之方法，其中該計算在該影像中的該IR比例係在該影像的個別的像素或是個別的像素群組的一層級上加以執行的。
如請求項6所述之方法，其進一步包括藉由比較在該影像上的一IR比例來找出該影像的具有一升高的IR輻射量的區域。
如請求項1所述之方法，其中該第一影像及該第二影像中的至少一個是一多次曝光的一結果，其中該多次曝光具有至少一次曝光，其係具有一較長的曝光時間，並且該多次曝光具有至少一次曝光，其係具有一較短的曝光時間。
如請求項1所述之方法，其中該IR截止的濾鏡係被配置在一孔徑光闌中，而在一可變光圈的一緊鄰的附近中。
一種組件，其係包括：一相機，其具有一影像感測器；一相機控制器；一相機透鏡；以及一孔徑配置，其被配置以控制到達該相機的該影像感測器的一輻射量，其中該孔徑配置包含一孔徑和一IR截止的濾鏡，其中該相機控制器被配置以控制在該孔徑的一第一比例被該IR截止的濾鏡所覆蓋之下捕捉一第一影像，判斷在該第一影像中被捕捉的一第一輻射量，在該孔徑的一第二比例被該IR截止的濾鏡所覆蓋之下捕捉一第二影像，判斷在該第二影像中被捕捉的一第二輻射量，根據該被捕捉的第一輻射量、該被捕捉的第二輻射量、該第一IR截止的濾鏡的比例、以及該第二IR截止的濾鏡的比例來計算IR輻射在該場景中的一比例，以及藉由利用該計算出的IR輻射的比例來從一影像移除一IR貢獻。
如請求項10所述之組件，其中該孔徑係包括至少兩個光圈葉片，並且其中該IR截止的濾鏡係被配置在該至少兩個光圈葉片中的至少一個上。
如請求項10所述之組件，其中該IR截止的濾鏡係相鄰該孔徑來加以配置，並且在其之一中央部分中具有IR截止的性質，然而其並非徑向地在該中央部分之外。
如請求項10所述之組件，其中該IR截止的濾鏡係具有在其之一表面上變化的IR截止的性質，並且可動地相鄰該孔徑來加以配置。
如請求項10所述之組件，其中該IR截止的濾鏡是一具有一第一狀態以及一第二狀態的LC濾鏡。
如請求項10所述之組件，其中該IR截止的濾鏡係可旋轉地加以配置。
如請求項10所述之組件，其中該IR截止的濾鏡係被配置在該孔徑之一孔徑光闌中、或是在該孔徑之該孔徑光闌的一緊鄰的附近。