TWI794837B - 透過環境切換對圖像感測器進行自動曝光控制的方法和設備 - Google Patents
透過環境切換對圖像感測器進行自動曝光控制的方法和設備 Download PDFInfo
- Publication number
- TWI794837B TWI794837B TW110122100A TW110122100A TWI794837B TW I794837 B TWI794837 B TW I794837B TW 110122100 A TW110122100 A TW 110122100A TW 110122100 A TW110122100 A TW 110122100A TW I794837 B TWI794837 B TW I794837B
- Authority
- TW
- Taiwan
- Prior art keywords
- environment
- image
- control unit
- exposure
- capture device
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 12
- 230000004913 activation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004622 sleep time Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一種用於控制根據一啟動訊號來進行運作的圖像擷取設備的方法。該方法包含:透過一第一環境設置一圖像感測器陣列,以將具有相對較長的曝光時間的一高解析度圖像輸出到一後端設備。根據該高解析度圖像和一寬收斂區間,將該第一環境切換到一第二環境;透過該第二環境設置該圖像感測器陣列,以輸出具有相對較短的曝光時間的一個或多個低解析度圖像,以根據該一個或多個低解度圖像更新一曝光值;以及根據一窄收斂區間來更新該曝光值,從而設置該圖像感測器陣列。
Description
本發明關於圖像感測器的自動曝光控制,尤指透過環境切換(context switching)手段,對圖像感測器進行自動曝光控制的方法和設備。
自動曝光是數位相機的基礎功能,用於補償圖像感測器的有限動態範圍。自動曝光可以自動計算和操控相機的曝光設定(例如,曝光時間、感測器增益),從而提供:(a)對人眼來說更舒適觀賞的圖像,或(b)適合進行電腦視覺任務的圖像(例如,臉部識別、物體/動態偵測)。除了提供曝光良好的圖像外,能夠在光照劇烈變化發生時(例如,開/關燈),立刻進行快速曝光控制,從而縮短獲得曝光良好的圖像的所需時間也很重要。
通常,圖像感測器會被設置成輸出低解析度圖像,以加速自動曝光控制。自動曝光控制機制將分析低解析度圖像,以獲得最佳曝光值,並使用該值決定當前場景的曝光設定。一旦找到最佳曝光值後,便將圖像感測器陣設置成輸出高解析度圖像,以此作為最終輸出。這是因為低解析度圖像的讀取與分析速度較快。為了加速自動曝光控制,圖像感測器還會被設置為在輸出低解析度圖像時使用較短的曝光時間(以及高增益)。
然而,當場景是由交流電供電的人造光源所照明時,短曝光時間可能導致不準確和不穩定的自動曝光控制。由於光源可能在特定頻率(例如100Hz
或120Hz)下運作,且光源強度可能會在照明週期內發生變化(稱為“閃爍”)。因此,若曝光時間短於光源的照明週期,可能會導致擷取到的低解析度圖像之間存在亮度波動。如此一來,基於低解析度圖像所決定的曝光值,可能不適合用於產生具有較長曝光時間的高解析度圖像。在最壞的情況下,可能導致高解析度圖像的曝光值不穩定,並且讓擷取到的高解析度圖像之間出現明顯可見的閃爍。有鑑於此,有必要提供一種改善自動曝光控制機制的方法。
為了解決前述的問題,本發明的目的之一在於提供一種用於監控相機系統或動態啟動(motion-activated device)裝置中的圖像擷取設備的自動曝光控制機制。本發明實施例透過環境切換(context switching)來快速設置圖像擷取設備,從而針對不同用途提供圖像,例如,圖像擷取或場景感測(例如,照度估計)。更具體來說,圖像擷取設備可以被一個環境(context)設置為輸出高解析度與高質量的圖像,以用於圖像擷取,而由另一個環境設置為輸出低解析度圖像,以用於照度估計。此外,本發明還提供了不同的自動曝光控制策略,從而適應不同的情境(例如,不同的照度條件)。根據本發明的多個實施例,圖像擷取設備可以使用不同的收斂區間,進行曝光控制和環境切換。因此,本發明提出了一種自動曝光控制機制,可以在短時間內提供準確的曝光結果,並且對不同情境有著良好的適應性。
本發明之一實施例提供一種根據一啟動訊號進行運作的圖像擷取設備。該圖像擷取設備包含:一圖像感測器陣列、一環境切換控制單元以及一曝光控制單元。該圖像感測器陣列可透過一第一環境所設置,以將具有相對較長的曝光時間的一高解析度圖像輸出到一後端設備,並透過一第二環境所設置,
以輸出具有相對較短的曝光時間的一個或多個低解析度圖像,以根據該一個或多個低解度圖像更新一曝光值。該環境切換控制單元用於根據該高解析度圖像和一寬收斂區間,將該第一環境切換到該第二環境。該曝光控制單元由該些環境所設置,用於根據一窄收斂區間來更新該曝光值,從而設置該圖像感測器陣列。
本發明之一實施例提供一種用於控制根據一啟動訊號進行運作的一圖像擷取設備的方法。該方法包含:透過一第一環境設置一圖像感測器陣列,以將具有相對較長的曝光時間的一高解析度圖像輸出到一後端設備。根據該高解析度圖像和一寬收斂區間,將該第一環境切換到一第二環境;透過該第二環境設置該圖像感測器陣列,以輸出具有相對較短的曝光時間的一個或多個低解析度圖像,以根據該一個或多個低解度圖像更新一曝光值;以及根據一窄收斂區間來更新該曝光值,從而設置該圖像感測器陣列。
100:圖像擷取設備
110:圖像感測器陣列
120:暫存器組
122_1~122_N:暫存器
125:多工器
130:環境切換控制單元
140:曝光控制單元
142:平均值統計模組
144:區間檢查模組
146:曝光計算模組
第1圖繪示本發明實施例的圖像擷取設備的架構示意圖。
第2圖繪示本發明實施例的圖像擷取設備的操作時序。
第3圖繪示本發明實施例的圖像擷取設備所使用的關於曝光控制的收斂區間。
第4A圖與第4B圖繪示本發明第一實施例的圖像擷取設備如何透過環境切換進行曝光控制。
第5圖繪示本發明第二實施例的圖像擷取設備如何透過環境切換進行曝光控制。
第6圖繪示本發明實施例中如何控制圖像擷取設備的流程圖。
在以下內文中,描述了許多具體細節以提供閱讀者對本發明實施例的透徹理解。然而,本領域的技術人士將能理解,如何在缺少一個或多個具體細節的情況下,或者利用其他方法或元件或材料等來實現本發明。在其他情況下,眾所皆知的結構、材料或操作不會被示出或詳細描述,從而避免模糊本發明的核心概念。
說明書中提到的「一實施例」意味著該實施例所描述的特定特徵、結構或特性可能被包含於本發明的至少一個實施例中。因此,本說明書中各處出現的「在一實施例中」不一定意味著同一個實施例。此外,前述的特定特徵、結構或特性可以以任何合適的形式在一個或多個實施例中結合。
請參考第1圖,該圖繪示本發明實施例的圖像擷取設備。如圖所示,圖像擷取設備100包括圖像感測器陣列110、暫存器組120、環境切換(context switching)控制單元130和曝光控制單元140。根據本發明的各種實施例,暫存器組120、環境切換控制單元130和曝光控制單元140可以整合並實現在單個處理器,或者分別實現在不同的晶片上。
圖像擷取設備100可以用在監視系統或動態啟動的照明系統中。在不同實施例中,圖像擷取設備100可以用於向後端設備(未示出)提供高品質圖像,其中後端設備可利用這些高品質圖像,進行圖像辨識或各種其他應用。
請參考第2圖以了解更多細節。如圖所示,圖像擷取設備100可以週
期性地運作於低功率或睡眠模式中,且僅在收到啟動訊號後的短時間內被啟動,輸出所擷取的圖像。根據不同實施例,啟動訊號可以由一個參考時脈源產生。舉例來說,啟動訊號可能以每隔幾秒或以遠低於常見幀率30fps的速率(例如1、5或10fps),啟動圖像擷取設備100來輸出所擷取的圖像。在監控系統的例子中,動態偵測(未示出)可以透過分析擷取到的圖像來判斷物體是否存在於場景中,或在場景中動作。一旦發現物體存在於場景中或在場景中動作時,則圖像擷取設備100可以在正常模式下操作,並且以30fps的普通幀率輸出所擷取的圖像,從而完整地記錄場景中物體運動。在動態啟動照明系統的例子中,一旦發現物體存在於場景中或者有動作,便可啟動光源。透過這種方式,監控系統或動態啟動照明系統可以更加地節能。
圖像擷取設備100依靠環境切換在不同設置之間進行快速切換,以對不同用途提供圖像。每個環境(context)指出圖像擷取設備100中的多個元件的獨特設置組合,例如圖像感測器陣列110、環境切換控制單元130和曝光控制單元140等元件的設置。下表示出了本發明中一個環境範例所包含的設定:
“圖像解析度”代表關於圖像感測器陣列110的輸出圖像的尺寸設定。“最長曝光時間”代表圖像感測器陣列110擷取單張圖像時,可使用的最長曝光時間設定。“區間選擇”代表曝光控制單元140進行自動曝光控制時,所使用的收斂區間的寬度設定,以及環境切換控制單元130決定環境切換時,所使用的收斂區間的寬度設定。“切換條件”代表環境切換控制單元130何時從一個環境切換到另一個環境的條件。請注意,在本發明不同實施例中,一個環境可能還包含其他可用於設定圖像擷取設備100的參數,例如幀率。
圖像感測器陣列110包括以矩陣形式排列的多個像素電路,其可以是電荷耦合元件(Charge-coupled Device,CCD)或互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)式的圖像感測器。像素電路的感測訊號被讀出後,產生擷取圖像。基於所選環境所設定的“圖像解析度”,圖像感測器陣列110可以輸出用於圖像擷取的高解析度圖像或用於場景感測的低解析度圖像,例如估計場景的照明度。此外,本發明還會計算圖像感測器陣列110在當前所選的環境下,輸出圖像的數量,這樣的資訊可在判斷是否切換環境時被參考。
暫存器組120包括多個暫存器,其中暫存器組120中的多個暫存器組合122_1~122_N分別儲存不同的環境。儲存在暫存器組合122_1~122_N中的多個環境之一可被載入,以設置圖像感測器陣列110、環境切換控制單元130和曝光控制單元140。多個暫存器組合122_1~122_N的選擇由多工器125所決定,而多工器125可被環境切換控制單元130所控制。
曝光控制單元140包括平均值統計模組142、區間檢查模組144和曝光
計算模組146。平均值統計模組142被設置為用於計算擷取圖像的亮度平均值ME_K。區間檢查模組144被設置為用於檢查亮度平均值ME_K是否落入收斂區間內,其中收斂區間定義了特定的亮度範圍。將亮度平均值與收斂區間所定義的上界和下界進行比較,便可了解圖像擷取設備100所使用的曝光值是否能夠正確地曝光當前場景。
根據區間檢查模組144產生的檢查結果,曝光計算模組146將決定是否更新當前曝光值。若擷取圖像的平均亮度值ME_K未落入收斂區間內,則曝光控制單元140會更新曝光值。如果亮度平均值高於目標值TV,則曝光計算模組146將透過降低等級來更新當前曝光值。如果亮度平均值低於目標值TV,則曝光計算模組146將透過增加等級來更新當前曝光值。一旦曝光值被更新,就可以決定新的增益設定和新的曝光時間設定,並將此些設定應用於圖像感測器陣列110。
請參考第3圖,該圖展示了曝光控制單元140如何以及何時更新曝光值。在第3圖中所示的情況下,第一擷取圖像的亮度平均值ME_1未落入收斂區間Zone_A(上界為Zone_A_U,下界值為Zone_A_L)。因此,曝光計算模組146決定更新曝光值。由於平均亮度值ME_1高於目標值TV,曝光計算模組146將曝光值由較高的等級調整為較低的等級。一旦曝光計算模組146開始更新曝光值,它會不斷地調整曝光值,直到亮度平均值ME_3落入收斂區間Zone_A內。簡而言之,當擷取圖像的亮度平均值未落在收斂區間Zone_A內時,曝光控制單元140開始自動曝光控制,並且當擷取圖像的亮度平均值落在收斂區間Zone_A內時,曝光控制單元140停止自動曝光控制。
關於曝光控制單元140所計算的亮度平均值和使用的收斂區間等相
關資訊,將被傳送到環境切換控制單元130。環境切換控制單元130可以使用這些資訊來判斷是否從一個環境切換至另一個環境。根據本發明的不同實施例,曝光控制單元140用於判斷何時開始或停止自動曝光控制的一個或多個收斂區間可以不同於,環境切換控制單元130用於判斷是否切換環境所使用的收斂區間(稍後會說明)。此外,環境切換控制單元130還可以根據,當前所選環境下產生的圖像數量來判斷是否從一個環境切換至另一個環境。
請參考第4A圖與第4B圖繪示出了本發明第一實施例的情境與操作。第4A圖繪示了場景中環境光的強度和擷取圖像相對應的亮度平均值。在本實施例中,環境光是交流電供電的人造光源,例如,螢光燈或發光二極體(light-emitting diode,LED)光源。交流電供電的人造光源在時間T0開啟,由於交流電供電,其強度基於特定頻率(例如,100Hz或120Hz)不斷變化。因此,本發明提供以下控制機制,以執行快速且抗閃爍的自動曝光控制。其中,圖像擷取裝置100被喚醒後,透過低解析度圖像,疊代地執行自動曝光控制,直到曝光值被最佳化。並且,基於最佳曝光值輸出高解析度圖像至後端裝置(未示出),之後圖像擷取裝置100便進入休眠狀態。
在第一實施例中,首先由環境切換控制單元130從儲存在暫存器組合122_1~122_N中的多個環境中選擇環境No_1。其中環境No_1可將圖像感測器陣列110設置成使用相對較短的曝光時間擷取低解低度圖像。由於低解析度圖像可以更快地被讀取和分析,所以可以加快自動曝光控制,並且縮短獲得合理曝光值的時間。
另外,環境No_1將曝光控制單元140設置為使用較寬的收斂區間Zone_B(上界為Zone_B_U,下界為Zone_B_L)來決定何時開始與停止進行自動曝光控制。環境No_1還將環境切換控制單元130設置為使用較寬的收斂區間Zone_B來決定何時切換環境。
在環境No_1的設置下,如果低解析度圖像的亮度平均值落在較寬的收斂區間Zone_B內,則環境切換控制單元130將切換到儲存在暫存器組合122_1~122_N中的環境No_2。一旦低解析度圖像的亮度平均值落在較寬的收斂區間Zone_B內,則意味著曝光控制單元140已找到次佳(suboptimal)曝光值,此值會近似適合產生當前場景的高解析度圖像的最佳曝光值。因此,環境切換控制單元130切換到環境No_2,從而允許圖像感測器陣列110輸出高解析度圖像作為最終輸出。
另一方面,如果曝光控制單元140長時間未能找到最佳曝光值,則環境切換控制單元130也會切換到環境No_2。亦即,若幀數Fcount_1(即在環境No_1的設置下所輸出的圖像數量)大於或等於N,則環境切換控制單元130將切換至環境No_2。換句話說,環境切換控制單元130可以讓曝光控制單元140停止自動曝光控制,並且無論低解析度圖像的亮度平均值是否落在較寬的收斂區間Zone_B內,圖像擷取設備100都被強制輸出高解析度圖像,從而避免圖像擷取設備100的睡眠時間被限制。
一旦環境No_2被選擇,圖像感測器陣列110被設置成以相對長的曝光時間擷取高解析度圖像。此外,環境No_2亦設置曝光控制單元140使用比收斂區間Zone_B更窄的收斂區間Zone_A(具有上界Zone_A_U,和下界Zone_A_L)來判斷是否開始和停止自動曝光控制。透過使用以較長曝光時間擷取到的高解析度圖像,自動曝光控制能夠進一步微調與修正,在先前的環境No_1設置中,以短時間所獲得的次佳曝光值。由於高解析度圖像的曝光時間可以為照明週期的整數倍,因此可以在不受光源強度變化影響的情況下,決定最佳曝光值。在環境No_2的設置中,如果幀數Fcount_2(即在環境No_2的設置下所輸出的圖像數量)大於或等於1,則環境切換控制單元130將切換回環境No_1。這意味著一旦輸出高解析度圖像後,環境切換控制單元130就切換回環境No_1。在圖像感測器陣列110輸出高解析度圖像後,圖像擷取設備100會進入睡眠狀態,直到被啟動訊號再次喚醒。
請進一步參考第4B圖以獲取更多細節。圖像擷取裝置100在時間T1被啟動訊號TR喚醒。在時間T1,圖像擷取裝置100會被環境No_1所設置,使得圖像感測器陣列110輸出低解析度圖像IMG_L_1。曝光控制單元140分析低解析
度圖像IMG_L_1以獲得亮度平均值ME_1。在第4B圖所示的情況下,直到曝光控制單元140兩次更新曝光值以獲得曝光值E1後,低解析度圖像IMG_L_3的亮度平均值ME_3才落入較寬的收斂區間Zone_B內。
當低解析度圖像IMG_L_3的亮度平均值ME_3落入收斂區間Zone_B時,環境切換控制單元130決定切換到環境No_2。同時,由於亮度平均值ME_3落入收斂區間Zone_B,曝光控制單元140也將停止自動曝光控制。一旦環境切換控制單元130切換到環境No_2,圖像感測器陣列110便輸出高解析度圖像IMG_H_1。圖像感測器陣列110會依據曝光值E1來輸出高解析度圖像IMG_H_1。請注意,即使低解析度圖像IMG_L_3與高解析度圖像IMG_H_1均基於曝光值E1所擷取,但兩者對應的圖像感測器陣列110的增益設定是不同的。這是因為低解析度圖像是用短曝光時間所擷取的,而高解析度圖像則是用長曝光時間所擷取的,所以兩者的增益設定必須不同才能達到相同的曝光值E1。
由於在環境No_1中獲得的曝光值E1導致高解析度圖像IMG_H_1的亮度平均值ME_4未能落入較窄的收斂區間Zone_A內,因此曝光控制單元140開始進行自動曝光控制,並更新當前曝光值使其從E1到E2。此外,在圖像感測器陣列110輸出高解析度圖像IMG_H_1後,環境切換控制單元130切換回環境No_1。之後,圖像擷取設備100進入睡眠狀態。
在時間T2,圖像擷取裝置100被啟動訊號TR喚醒,圖像擷取裝置100會由環境No_1所設置,使得圖像感測器陣列110輸出低解析度圖像IMG_L_4。此外,圖像感測器陣列110基於曝光值E2產生低解析度圖像IMG_L_4。由於低解析度圖像IMG_L_4的亮度平均值ME_5落入較寬的收斂區間Zone_B,因此曝光控制
單元140不會開始自動曝光控制,使得曝光值維持在E2。透過使用較寬的收斂區間Zone_B,交流電供電的人造光源的亮度波動將不至於影響根據高解析度圖像IMG_H_1所得到的曝光值E2。另一方面,由於亮度平均值ME_5落入較寬的收斂區間Zone_B內,環境切換控制單元130切換到環境No_2。
在選擇環境No_2後,圖像感測器110被設置為輸出高解析度圖像IMG_H_2。圖像感測器110基於曝光值E2輸出高解析度圖像IMG_H2。由於高解析度圖像IMG_H_2的亮度平均值ME_6落入較窄的收斂區間Zone_A內,因此曝光控制單元140不會開始自動曝光,使得曝光值將維持在E2。此外,在圖像感測器110輸出高解析度圖像IMG_H_2後,環境切換控制單元130會切換回環境No_1。之後,圖像擷取設備100進入睡眠狀態。
在時間T3,圖像擷取裝置100根據啟動訊號TR再次被啟動,圖像擷取裝置100由環境No_1設置,使得圖像感測器陣列110輸出低解析度圖像IMG_L_5。圖像感測器陣列110仍然依靠曝光值E2產生低解析度圖像IMG_L_5。由於低解析度圖像IMG_L_5的亮度平均值ME_7落入收斂區間Zone_B內,因此曝光控制單元140不會開始自動曝光控制,且曝光值繼續維持在E2。另一方面,由於亮度平均值ME_7落在收斂區間Zone_B內,所以環境切換控制單元130切換到環境No_2。在選擇環境No_2之後,圖像感測器陣列110被設置成輸出高解析度圖像IMG_H_3。圖像感測器陣列110依靠曝光值E2產生高解析度圖像IMG_H_3。由於高解析度圖像IMG_H_3的亮度平均值ME_8落入較窄的收斂區間Zone_A內,因此曝光控制單元140不會開始自動曝光控制,使得曝光值繼續維持在E2。之後,環境切換控制單元130切換回環境No_1,且圖像擷取裝置100進入睡眠狀態。
由於環境No_1使用了較寬的收斂區間Zone_B,因此交流電供電的人造光源所導致的亮度波動(例如ME_5、ME_7)不會影響基於高解析度圖像IMG_H_1所得到的曝光值E2,從而避免不穩定的曝光值被用在產生高解析度圖像IMG_H_2和IMG_H_3。
在本實施例中,在環境No_1的設置下,曝光控制單元140使用較寬的收斂區間Zone_B來決定是否啟動自動曝光控制,使得曝光控制可以不受交流電供電的人造光源的亮度變化所影響,讓曝光值更為穩定。因此,高解析度圖像(作為最終輸出)的整體亮度可以更加一致。又或者是,在環境No_2的設置下,曝光控制單元140利用收斂區間Zone_A來決定是否啟動自動曝光控制,使得曝光控制機制能夠找到適合產生當前場景的高解析度圖像的最佳曝光值。另一方面,在環境No_1的設置下,環境切換控制單元130使用較寬的收斂區間Zone_B來判斷當光照劇烈變化時,是否繼續保持環境NO_1的設置,以進行快速自動曝光控制。
請參考第5圖,該圖繪示本發明第二實施例的情境和操作。圖像擷取裝置100被喚醒後,先將高解析度圖像輸出至後端裝置,再以低解析度圖像疊代地進行自動曝光控制,直到曝光值被最佳化。之後,圖像擷取設備100進入睡眠狀態,並且儲存最佳曝光值,以應用於下一張高解析度圖像中。
在本實施例中,環境切換控制單元130首先從暫存器組合122_1~122_N保存的多個環境中,選擇環境No_3。其中環境No_3將設置圖像感測器陣列11,令其使用相對較長的曝光時間擷取高解析度圖像,而高解析度圖像將被輸出到後端設備(未示出)。此外,環境No_3還將設置曝光控制單元140,令其使用較窄的收斂區間Zone_A來決定是否開始和停止自動曝光控制。環境No_3也設置環境切換控制單元130,使用較寬的收斂區間Zone_B來判斷何時切換環境。
如果高解析度圖像的亮度平均值未落入收斂區間Zone_B內,則環境切換控制單元130將從暫存器組合122_1~122_N中選擇環境No_4。這意味著當前曝光值可能與當前場景的最佳曝光值相差甚遠。因此,快速自動曝光控制是必要的。為了加速自動曝光控制,本發明將使用環境No_4,因為它將設置圖像感測器陣列110輸出可以更快被讀取和分析的低解析度圖像。
一旦環境No_4被選擇,它將設置圖像感測器陣列110使用相對較短的曝光時間來擷取低解析度圖像。此外,環境No_4會設置曝光控制單元140使用較
窄的收斂區間Zone_A來判斷是否開始和停止自動曝光控制。環境No_4還設置環境切換控制單元130以使用較窄的收斂區間Zone_A來判斷何時切換環境。
在環境No_4的設置下,如果低解析度圖像的亮度平均值落在收斂區間Zone_A內,則環境切換控制單元130將切換回環境No_3,這意味著曝光控制單元140已經找到次佳曝光值,此值近似於足以正確地曝光當前場景的高解析度圖像的最佳曝光值。此外,若幀數Fcount_4(即在環境No_4的設置下輸出的圖像數量)大於或等於N,則環境切換控制單元130切換回環境No_3,這是為了限制自動曝光控制耗費的時間,避免圖像擷取設備100的睡眠時間被壓縮。
請參考第5圖以獲取進一步細節。圖像擷取裝置100在時間T1被啟動訊號TR喚醒。在時間T1,圖像擷取裝置100會被環境No_3設置,使圖像感測器陣列110輸出高解析度圖像IMG_H_1至後端裝置供其應用。曝光控制單元140分析高解析度圖像IMG_H_1以獲得亮度平均值ME_1。由於高解析度圖像IMG_H_1的平均亮度值ME_1並未落入較寬的收斂區間Zone_B內,因此環境切換控制單元130切換至環境No_4以進行快速自動曝光控制。此外,由於高解析度圖像IMG_H_1的亮度平均值ME_1並未落入收斂區間Zone_A內,曝光控制單元140亦決定開始自動曝光控制,並將曝光值由E1更新為E2。
一旦環境No_4被選擇,圖像感測器陣列110開始輸出以短曝光時間擷取的低解析度圖像。曝光控制單元140計算亮度平均值並相應地更新曝光值。在第5B圖所示的情況下,直到曝光控制單元140將曝光值更新為E4,低解析度圖像IMG_L_3的亮度平均值ME_4才落入收斂區間Zone_A內。一旦低解析度圖像IMG_L_3的亮度平均值ME_4落入收斂區間Zone_A內,曝光控制單元140就停止
自動曝光控制,使得曝光值維持在E4。另外,由於亮度平均值ME_4落在收斂區間Zone_A內,環境切換控制單元將切換到環境No_3。之後,圖像擷取設備100進入睡眠狀態。
由於交流電供電的人造光源的亮度變化,使得擷取的低解析度圖像之間具有亮度波動,讓自動曝光控制無法找到最佳曝光值。因此,自動曝光控制需要以相對較長的曝光時間所擷取到的高解析度圖像,進一步微調次佳曝光值E4。
在時間T2,圖像擷取裝置100根據啟動訊號TR被啟動,且圖像擷取裝置100將由環境No_3所設置,使得圖像感測器陣列110輸出高解析度圖像IMG_H_2。圖像感測器陣列110基於曝光值E4產生高解析度圖像IMG_H_2。由於高解析度圖像IMG_H_2的亮度平均值ME_5未落入收斂區間Zone_A內時,曝光控制單元140因此開始自動曝光控制,將當前曝光值由E4更新為E5。另一方面,由於亮度平均值ME_5落入收斂區間Zone_B內,環境切換控制單元130不會切換環境。之後,圖像擷取設備100進入睡眠狀態。
在時間T3,圖像擷取裝置100根據啟動訊號TR再次被啟動,圖像擷取裝置100由環境No_3所設置,使圖像感測器陣列110輸出高解析度圖像IMG_H_3。圖像感測器陣列110根據曝光值E5產生高解析度圖像IMG_H_3。由於高解析度圖像IMG_H_3的亮度平均值ME_6落入收斂區間Zone_A內,因此曝光控制單元140無需啟動自動曝光控制以及更新當前曝光值。另一方面,由於亮度平均值ME_6落入收斂區間Zone_B內,環境切換控制單元130不會切換環境。因此,圖像擷取設備100進入睡眠狀態。
由於環境No_3使用較寬的收斂區間Zone_B,所以僅當光照劇烈變化時,才會進行低解析度圖像的擷取。如此一來,可以降低低解析度圖像的擷取所造成的功耗,並且交流電供電的人造光源的亮度變化所導致的亮度波動,將不會影響使用高解析度圖像所得到的最佳曝光值。
在本實施例中,在環境No_3的設置下,環境切換控制單元130使用較寬的收斂區間Zone_B來判斷是否切換到環境NO_4,這樣可以避免低解析度圖像的亮度波動的影響,並降低了切換至環境No_4的機率。如此一來,只有在當前曝光值與當前場景的最佳曝光值相差很遠時(如光照劇烈變化),才會進一步使用低解析度圖像進行快速自動曝光控制,所以低解析度圖像的擷取所導致的功耗可被降低。
第6圖繪示了透過環境切換來控制圖像擷取設備的方法的簡化流程,其中,圖像擷取設備根據啟動訊號進行操作,該方法包括以下步驟:步驟310:從多個環境中選擇一個環境;步驟320:利用一圖像擷取裝置中的一圖像感測器陣列,根據該所選環境輸出一張或多張擷取圖像;步驟330:利用該所選環境所設置的用於環境切換的一收斂區間,判斷是否從該所選環境切換到另一個環境;以及步驟340:利用由該所選環境所設置的用於曝光控制的一收斂區間,判斷是否更新一曝光值,並相應地決定該曝光值以設置該圖像感測器陣列,其中,用於該環境切換的該收斂區間以及用於曝光控制的該收斂區間都定義了亮
度範圍,且用於環境切換的該收斂區間的寬度可以不同於用於曝光控制的該收斂區間的寬度。
由於上述步驟的原理和具體細節已經結合圖像擷取設備100的實施例進行了詳細描述和說明,在此不再贅述處理方法。值得注意的,本發明還可以透過在上述流程中加入其他額外步驟來實現。
綜上所述,本發明的圖像擷取裝置使用預設的環境條件來提升可設置性,以適應不同的情境。例如,本發明可以使用較寬的收斂區間,判斷是否基於啟動基於低解析度圖像的自動曝光控制,以進行快速曝光控制,同時使用較窄的收斂區間以判斷是否基於啟動基於高解析度圖像的自動曝光控制,從而使用低解析度圖像微調以及最佳化自動曝光控制的結果。這樣的設置可以讓圖像擷取設備更不受環境光的強度變化的影響,並且加速曝光控制。另一方面,本發明亦設置圖像感測器陣列以先高解析度圖像作為最終輸出,然後選擇性地設置圖像感測器陣列輸出低解析度圖像,以進行快速自動曝光控制。在這種做法中,可以保證圖像擷取設備有充足的睡眠時間,從而提高圖像擷取設備的能源效率。
本發明之實施例可使用硬體、軟體、韌體以及其相關結合來完成。藉由適當之一指令執行系統,可使用儲存於一記憶體中之軟體或韌體來實作本發明的實施例。就硬體而言,則是可應用下列任一技術或其相關結合來完成:具有可根據資料信號執行邏輯功能之邏輯閘的一個別運算邏輯、具有合適的組合邏輯閘之一特定應用積體電路(application specific integrated circuit,ASIC)、可程式閘陣列(programmable gate array,PGA)或一現場可程式閘陣列(field
programmable gate array,FPGA)等。
說明書內的流程圖中的流程和方塊示出了基於本發明的各種實施例的系統、方法和電腦軟體產品所能實現的架構,功能和操作。在這方面,流程圖或功能方塊圖中的每個方塊可以代表程式碼的模組,區段或者是部分,其包括用於實現指定的邏輯功能的一個或多個可執行指令。另外,功能方塊圖以及/或流程圖中的每個方塊,以及方塊的組合,基本上可以由執行指定功能或動作的專用硬體系統來實現,或專用硬體和電腦程式指令的組合來實現。這些電腦程式指令還可以存儲在電腦可讀媒體中,該媒體可以使電腦或其他可編程數據處理裝置以特定方式工作,使得存儲在電腦可讀媒體中的指令,實現流程圖以及/或功能方塊圖中的方塊所指定的功能/動作。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:圖像擷取設備
110:圖像感測器陣列
120:暫存器組
122_1~122_N:暫存器
125:多工器
130:環境切換控制單元
140:曝光控制單元
142:平均值統計模組
144:區間檢查模組
146:曝光計算模組
Claims (7)
- 一種根據一啟動訊號所運作的圖像擷取設備,包含:一圖像感測器陣列,可透過一第一環境(context)所設置,以將具有相對較長的曝光時間的一高解析度圖像輸出到一後端設備,並透過一第二環境所設置,以輸出具有相對較短的曝光時間的一個或多個低解析度圖像,以根據該一個或多個低解度圖像更新一曝光值;一環境切換控制單元,用於根據該高解析度圖像和一寬收斂區間,將該第一環境切換到該第二環境;其中,在該第一環境被選擇來設置該圖像感測器陣列的情況下,若所獲得的一特定高解析度圖像對應的一平均亮度值未落於該寬收斂區間內,則該環境切換控制單元將切換環境,從而選擇使用該第二環境來設置該圖像感測器陣列;以及一曝光控制單元,由該些環境所設置,用於根據一窄收斂區間來更新該曝光值,從而設置該圖像感測器陣列。
- 如請求項1所述的圖像擷取設備,其中該啟動訊號是基於一參考時脈源所產生,並且該圖像擷取設備週期性地被該啟動信號從一睡眠狀態中喚醒。
- 如請求項1所述的圖像擷取設備,其中若該圖像感測器陣列輸出的該些低解析度圖像中一者的一亮度平均值落在該寬收斂區間內,則該環境切換控制單元將環境從該第二環境切換到該第一環境。
- 如請求項1所述的圖像擷取設備,其中若該圖像感測器陣列輸出的低解析度圖像的數量大於一預定值,則該環境切換控制單元將環境從該第二 環境切換到該第一環境。
- 如請求項1所述的圖像擷取設備,其中若該高解析度圖像或該低解析度圖像的一亮度平均值在該窄收斂區間內時,則該圖像擷取設備進入該睡眠狀態。
- 如請求項1所述的圖像擷取設備,另包含:一暫存器組,包括複數個暫存器組合,每個暫存器組合用於儲存一個環境;以及一多工器,耦接到該暫存器組與該環境切換控制單元,可由該環境切換控制單元所控制,以輸出所選擇的一個環境。
- 如請求項1所述的圖像擷取設備,其中該圖像感測器陣列在該啟動訊號後,由該第一環境所設置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/136,046 US11252337B1 (en) | 2020-12-29 | 2020-12-29 | Method and apparatus of performing automatic exposure control for image sensor with context switching |
US17/136,046 | 2020-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202226815A TW202226815A (zh) | 2022-07-01 |
TWI794837B true TWI794837B (zh) | 2023-03-01 |
Family
ID=80249389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110122100A TWI794837B (zh) | 2020-12-29 | 2021-06-17 | 透過環境切換對圖像感測器進行自動曝光控制的方法和設備 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11252337B1 (zh) |
CN (1) | CN114697561B (zh) |
TW (1) | TWI794837B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11653111B2 (en) * | 2021-03-31 | 2023-05-16 | Apple Inc. | Exposure truncation for image sensors |
US11750922B2 (en) | 2021-09-13 | 2023-09-05 | Apple Inc. | Camera switchover control techniques for multiple-camera systems |
US12015845B2 (en) | 2021-09-13 | 2024-06-18 | Apple Inc. | Object depth estimation and camera focusing techniques for multiple-camera systems |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120300105A1 (en) * | 2009-04-01 | 2012-11-29 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
US20130070151A1 (en) * | 2010-06-06 | 2013-03-21 | Apple Inc. | Auto Exposure Techniques for Variable Lighting Conditions |
US20150095537A1 (en) * | 2013-10-02 | 2015-04-02 | Qualcomm Incorporated | Camera control interface sleep and wake up signaling |
US20150189181A1 (en) * | 2010-07-26 | 2015-07-02 | Apple Inc. | System and Method For Contextual Digital Photography Mode Selection |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11112864A (ja) * | 1997-09-30 | 1999-04-23 | Ricoh Co Ltd | デジタルカメラ調整システム及びデジタルカメラ調整装置 |
US20060011724A1 (en) * | 2004-07-15 | 2006-01-19 | Eugene Joseph | Optical code reading system and method using a variable resolution imaging sensor |
US20080165258A1 (en) * | 2005-05-10 | 2008-07-10 | Andrew Augustine Wajs | Method of Controlling an Image Capturing System, Image Capturing System and Digital Camera |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
JP2012008442A (ja) * | 2010-06-28 | 2012-01-12 | Elmo Co Ltd | 露出制御装置および露出制御方法 |
CN102118564B (zh) * | 2011-02-17 | 2012-12-19 | 无锡中星微电子有限公司 | 曝光控制***及方法 |
US20130128083A1 (en) * | 2011-11-23 | 2013-05-23 | Himax Imaging Limited | High dynamic range image sensing device and image sensing method and manufacturing method thereof |
JP5986461B2 (ja) * | 2012-09-07 | 2016-09-06 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
US9343177B2 (en) * | 2013-02-01 | 2016-05-17 | Apple Inc. | Accessing control registers over a data bus |
JP6736407B2 (ja) * | 2016-07-28 | 2020-08-05 | キヤノン株式会社 | 撮像装置、その制御方法およびプログラム |
CN107580185B (zh) * | 2017-09-30 | 2020-02-14 | 德淮半导体有限公司 | 图像传感器及操作方法以及成像装置 |
US10873714B2 (en) * | 2017-11-09 | 2020-12-22 | Semiconductor Components Industries, Llc | Image sensor with multiple pixel access settings |
US20200288052A1 (en) * | 2019-03-08 | 2020-09-10 | Himax Imaging Limited | Image capturing device for auto exposure |
-
2020
- 2020-12-29 US US17/136,046 patent/US11252337B1/en active Active
-
2021
- 2021-06-10 CN CN202110648280.7A patent/CN114697561B/zh active Active
- 2021-06-17 TW TW110122100A patent/TWI794837B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120300105A1 (en) * | 2009-04-01 | 2012-11-29 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
US20130070151A1 (en) * | 2010-06-06 | 2013-03-21 | Apple Inc. | Auto Exposure Techniques for Variable Lighting Conditions |
US20150189181A1 (en) * | 2010-07-26 | 2015-07-02 | Apple Inc. | System and Method For Contextual Digital Photography Mode Selection |
US20150095537A1 (en) * | 2013-10-02 | 2015-04-02 | Qualcomm Incorporated | Camera control interface sleep and wake up signaling |
Also Published As
Publication number | Publication date |
---|---|
CN114697561B (zh) | 2024-04-26 |
CN114697561A (zh) | 2022-07-01 |
US11252337B1 (en) | 2022-02-15 |
TW202226815A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI794837B (zh) | 透過環境切換對圖像感測器進行自動曝光控制的方法和設備 | |
EP1576805B1 (en) | Illumination apparatus and illumination method for an imaging apparatus | |
JP4259998B2 (ja) | フリッカ検出装置及び撮像装置 | |
US20090195505A1 (en) | Motion estimation device and power saving method thereof | |
US10292242B2 (en) | Control device, control method, and program | |
US9060404B2 (en) | Synchronized light source for rolling shutter imagers | |
JP2005354155A (ja) | 動画撮像装置 | |
CN113114926B (zh) | 一种图像处理方法、装置及摄像机 | |
KR20120095681A (ko) | 이미지 센서 및 이를 포함하는 촬영 장치 | |
JP2008529430A (ja) | Ledフラッシュ制御 | |
JP6816210B2 (ja) | 撮像装置およびその制御方法、プログラム | |
WO2017059577A1 (zh) | 眼球跟踪装置及其辅助光源控制方法及相关装置 | |
US7529477B2 (en) | Image-taking apparatus | |
JP4932170B2 (ja) | 画像撮影装置及び発光制御方法、並びに携帯電話端末 | |
JP2020057885A (ja) | スイッチング電源回路 | |
JPH05328210A (ja) | テレビカメラ用led照明装置 | |
JP2010243487A (ja) | 照明装置の明るさの調整方法及びこれを用いるバイオディスクドライブ | |
JP2010153992A (ja) | 画像処理装置および固体撮像装置 | |
EP3956723A1 (en) | External light source for mobile devices | |
JP2006201766A (ja) | 撮像装置及びそのストロボ制御方法 | |
JP2014220762A (ja) | 撮像装置 | |
WO2019113823A1 (zh) | 显示装置及显示驱动方法 | |
US20240073517A1 (en) | Power reduction for leds based on infrared pulsing | |
JP4962132B2 (ja) | 撮像装置 | |
JP2018526765A (ja) | ローリングシャッター撮像素子用の同期光源 |