TW201935116A - 基於結構光之自動曝光控制器、自動曝光控制方法及其系統 - Google Patents

Abstract

一種自動曝光控制系統，包括：攝像機，被配置以擷取輸入影像；關注區域測定電路，被配置以測定輸入影像的關注區域；深度解碼器；以及自動曝光控制器。深度解碼器被配置以產生輸入影像的深度圖，並依據輸入影像的深度圖、關注區域來決定解碼率數值。自動曝光控制器包括：調整曝光電路，被配置以接收解碼率數值以及偵測結果，並依據解碼率數值的變化重複地調整複數個曝光參數。用以調整曝光參數的步階值是依據解碼率數值的變化以及偵測結果而定。

Description

基於結構光之自動曝光控制器、自動曝光控制方法及其系統

本發明是有關於一種控制自動曝光的方法、自動曝光控制器以及自動曝光控制系統，且特別是有關於一種結構光深度感知的控制自動曝光的方法、自動曝光控制器以及自動曝光控制系統。

電子裝置，特別是配備有攝像機以及感測器的電子裝置，被廣泛地實際應用於現實生活中。執行於電子裝置的自動曝光演算法用以自動地調整曝光參數，從而提高電子裝置於深度感知應用方便的效能。現有的自動曝光演算法多以處理單一曝光設定或參數(例如擷取影像強度)來執行。然而，單一曝光設定或參數並不足以使現有的自動曝光演算法來處理多樣化的問題，例如亮度改變以及場景改變、目標對象的深度改變(例如近距目標與遠距背景)、目標對象的表面特性差異(例如材料、反射率、顏色等)、雜訊、運動模糊等導致解碼品質的因素。

因此，我們需要可在深度感知方面增進解碼品質的感知深度的自動曝光控制方法。

據此，本發明提供在深度感知應用方面增進解碼品質的自動曝光控制方法以及自動曝光控制系統。

本發明所提出之自動曝光的控制方法包括以下步驟：接收輸入影像；接收輸入影像之解碼率數值，其中解碼率數值是依據輸入影像的深度圖以及關注區域而定；確認輸入影像的場景是否改變以得到偵測結果；以及依據解碼率數值的變化依序調整複數個曝光參數。調整曝光參數的步階值是依據解碼率數值的變化以及偵測結果而定。

本發明更提出一種自動曝光控制系統，其包括攝像機、關注區域測定電路、深度解碼器以及自動曝光控制器。攝像機被配置以擷取輸入影像。關注區域測定電路被配置以測定輸入影像的關注區域。深度解碼器被配置以依據輸入影像的深度圖以及關注區域來決定解碼率數值。自動曝光控制器包括場景改變偵測電路以及曝光調整電路，場景改變偵測電路用以接收輸入影像以及偵測輸入影像的場景是否改變，並得到偵測結果，曝光調整電路則耦接至場景改變偵測電路。曝光調整電路接收解碼率數值以及偵測結果，並依據解碼率數值的變化依序地調整複數個曝光參數。調整曝光參數的步階值是依據解碼率數值的變化以及偵測結果而定。

基於上述，曝光參數依據解碼率以及其他條件(例如場景改變條件)被有效地調整。曝光參數設定組合可以增進解碼率數值，從而改善深度感知應用的自動曝光控制效能。再者，關注區域的選擇與步階值可進一步提高自動曝光控制方法的效能。

本發明透過下述實施例並參考所附圖式來說明。其中，所附圖式僅就本發明的結構及方法、透過描述部件與組合的關聯來簡略地表示出目的。因此，圖中物件並非以實際的數量、實際形狀、實際尺寸來精準表示，亦非以實際比例來表示。為能更佳地呈現，部分尺寸或尺寸比例已被放大或簡化。實際數量、實際形狀、或實際尺寸比例可選擇形地設計或設置，其細節部件部局可能更加複雜。

請參酌圖1，自動曝光(auto exposure, AE)控制系統100包括攝像機110、關注區域(region of interest, ROI)測定電路120、深度解碼器130、AE控制器140以及投影機150。攝像機110被配置以擷取輸入影像IF，並將輸入影像IF提供至深度解碼器130以及AE控制器140。攝像機110可以是擷取紅外線影像或近紅外線影像的紅外線(IR)攝像機，但本發明不以此為限。任何類型的攝像機以及攝像機所擷取的任何格式的輸入影像皆在本申請範圍內。

投影機150可投影出可見光或不可見光束，或是固定數量的可見光點或不可見光點，以支持攝像機110拍攝輸入影像或支持輸入影像的深度值定義。在一示範例中，投影機150能以紅外線光束或特殊功率的雷射光束形式，將結構光圖案投影至投影機150的前方環境中；並且攝像機110可擷取反射自物體的結構光圖案，以產生輸入影像。

深度解碼器130接收來自攝像機110的輸入影像，並解碼輸入影像以產生深度圖D，深度圖D包含輸入影像的複數個深度值。深度解碼器130亦可對當前輸入影像的深度圖D與先前輸入影像的深度圖進行比較，以得到深度差異圖。深度差異圖顯示出輸入影像的深度值變化。深度解碼器130可以區塊或像素為基礎的解碼輸入影像，以產生以區塊為基礎的深度圖或以像素為基礎的深度圖或兩者皆有。由深度解碼器130所產生的深度圖D可提供至ROI測定電路120。本發明並不對用以解碼輸入影像的深度解碼器130所使用的演算法加以限制。

ROI測定電路120可依據輸入影像的曝光參數自動測定特定的ROI。舉例來說，陰影區域或具低反射率的一些物體可能會影響深度感測精確度的效能。因此，這些區域應自ROI移除。ROI測定電路120可測定輸入影像中曝光不足區域以及過度曝光區域，並移除曝光不足區域以及曝光過度區域以得到ROI。過度曝光區域可具有大於非零曝光門檻值的曝光值，曝光不足區域可具有小於非零曝光門檻值的曝光值。或者，過度曝光區域以及曝光不足區域可依據強度、亮度或輸入影像的任何其他參數而定。

在另一實施例中，ROI測定電路120可接收具有結構光圖案的第一影像以及具有結構光圖案的第二影像，其中第一影像是在投影機150的最高功率下所擷取的，第二影像則是在投影機150的最低功率下所擷取的。然後，ROI測定電路120移除第一影像中曝光不足的區域，以及第二影像中過度曝光的區域，並結合解碼結果來測定ROI。

此外，ROI測定電路120可進一步移除ROI中曝光良好、但幾乎不解碼的區域。由於硬體效能的限制及各種原因，深度解碼器130即使在正常曝光的情形下也可能不會感測出深度值。因此，本應用中的ROI測定電路120可進一步移除ROI中幾乎不解碼的區域，以增進AE控制系統100的效能。

ROI測定電路120亦可採用使用者定義區域來測定ROI。舉例來說，ROI測定電路120可依據使用者定義區域、解碼結果、過度曝光區域以及曝光不足區域來測定ROI。ROI可經由權重圖W來呈現。要注意的是，用來表現ROI的權重圖W可以是以區塊為基礎的或是以像素為基礎的權重圖。

在本發明的一實施例中，當AE控制系統100啟動或輸入影像的場景改變時，ROI測定電路120被觸發以測定輸入電壓的ROI。

深度解碼器130可依據深度值(例如深度圖D)與ROI(例如權重圖W)來產生解碼率數值。輸入圖像的一些像素可能未偵測出深度值，而解碼率數值與偵測出深度值的像素的數量成比例。舉例來說，如果深度解碼器130是以以區塊為基礎(每一區塊有n個像素)來執行，其中n個像素中僅有p個像素的深度值被偵測到(p小於等於n)，則解碼率數值依據p值以及特定區塊所對應的權重值而定。深度解碼器130可產生可偵測深度圖，圖顯示在各區塊中的其深度值被偵測出的像素的數量。可偵測深度圖與ROI用以加權解碼率。

AE控制器140包括曝光調整電路142以及場景改變偵測電路144。場景改電偵測電路144耦接攝像機110以接收攝像機110所擷取的輸入影像IF，並被配置以偵測輸入影像IF中的場景變化。場景改變偵測電路144可應用移動偵測演算法以確認輸入影像的場景是否改變。或者，場景改變偵測電路144可依據解碼率數值的改變、深度值的改變、輸入影像的強度的改變或其組合，來確認輸入影像的改變。舉例來說，如果解碼率數值的改變大於解碼率門檻值，則場景改變偵測電路144可確認輸入影像的場景已經改變。如果深度值的變化大於深度值門檻值，則場景改變偵測電路144可確認輸入影像的場景已經改變。如果輸入影像IF其整體強度變化大於預定門檻值，則場景改變偵測電路144可確認輸入影像IF的場景已經改變。

曝光調整電路142耦合至深度解碼器130與場景改變偵測電路144，以接收來自深度解碼器130的解碼率數值以及場景改變確認結果。曝光調整電路142被配置以依據解碼率數值以及場景改變確認結果來調整曝光參數。曝光參數可包括控制投影機150的參數P1以及控制攝像機110的參數P2。參數P1可包括投影機功率，參數P2可包括類比增益以及曝光時間。在一實施例中，投影機150包括雷射二極體光源(圖未繪示)，投影機功率包括雷射二極體功率。

參照圖1以及圖2，權重圖W由ROI測定電路120提供，可偵測深度圖D1由深度解碼器130提供。權重圖W以及可偵測深度圖D1可以是以區塊為基礎圖，可偵測深度圖D1指示出其深度值可偵測的n個像素中每個區塊所占像素數量。權重圖W指示出由ROI測定電路120所測定之ROI區域。舉例來說，在可偵測深度圖D1的區域R’中，區塊B1’具有p1個測得深度的像素，區塊B2’具有p2個測得深度的像素，區塊B3’具有p3個測得深度的像素。權重圖W具有對應可偵測深度圖D1中區域R’的區域R，區域R具有區塊B1、B2以及B3，其相當於可偵測深度圖D1中區域R’的區塊B1’、B2’以及B3’。區塊B1、B2以及B3之權重分別為w1、w2以及w3。對應的區域R的解碼率權重(Decode rate weight)是以下列公式來計算：

解碼率數值可依據區域R的解碼率權重以及區域R的深度值而定。計算出的解碼率數值用來調整曝光參數P1、P2的值。

圖3A繪示出本發明一實施例的曝光調整電路342。曝光調整電路342可包括初始狀態電路3421、類比增益調整電路3422、曝光時間調整電路3423以及投影功率調整電路3424。初始狀態電路3421被配置以產生曝光參數的初始值，曝光參數例如類比增益、曝光時間以及投影功率，初始狀態電路3421並將初始參數提供至類比增益調整電路3422、曝光時間調整電路3423以及投影功率調整電路3424。

類比增益調整電路3422、曝光時間調整電路3423以及投影機功率調整電路3424被配置為依據在梯度下降法下的解碼率，以特定步階值來調整類比增益值、曝光時間以及投影機功率，其中特定步階值是依據解碼率數值以及場景改變確認結果而定。解碼率與類比增益、曝光時間，或投影功率之間的關聯是依據如圖3B所示的凸狀曲線。類比增益調整電路3422可反覆地調整類比增益值直到得到最大的解碼率數值。一旦此調整類比增益的程序完成，曝光時間調整電路3423即依據梯度下降法下的解碼率反覆地調整曝光時間值直到得到最大的解碼率數值。一旦此調整曝光時間的程序完成，投影功率調整電路3424即依據梯度下降法下的解碼率反覆地調整投影功率值直到得到最大的解碼率數值。

如此，曝光參數依據解碼率數值被依序地調整。此外，為使解碼率最大化，每個曝光參數依據解碼率數值被反覆地調整。在圖3A中，調整的順序為類比增益、曝光時間，然後是投影功率，然而本發明並不對調整曝光參數的順序做任何限定。

圖4繪示出本發明之一實施例的AE控制方法的流程圖。在步驟S401中，初始化包括類比增益、曝光增益以及投影功率之曝光參數。在步驟S402中，將大步階值指定給在梯度下降法下的步階值值，並且在步驟S403中，依據基於大步階值的解碼率數值調整每一曝光參數。梯度下降法下的步階值被指定為一大的數量，以使系統可快速地趨近解碼率的最大值。步驟S403包括子步驟S4031至S4033，其中子步驟S4031用以調整類比增益，子步驟S4032用以調整曝光時間，子步驟S4033用以調整投影功率。

當調整類比增益、曝光時間以及投影功率的程序於步驟S403完成時，步驟S404的場景改變偵測啟動，以偵測輸入影像的場景是否改變。場景改變得確認是依據移動偵測、解碼率的變化、深度值的變化或強度變化，也可以是上述組合。如果輸入影像的場景改變，則步驟S401至S403再次執行。

當輸入影像的場景未改變時，步驟S405啟動以確認是否得到穩定狀態。穩定狀態可依據解碼率的變化而定。如果解碼率的變化小於預定門檻值，則得到穩定狀態，否則當解碼率的變化大於或等於預定門檻值時，穩定狀態未得到。如果得到穩定狀態，梯度下降法下的步階值就會被指定為一小的值，使系統能精準調整曝光參數值以取得解碼率的最大值。於步驟S403中需注意，曝光參數被依序地調整，但本發明並不對參數的調整順序做任何的限制。

在步驟S405中，假設穩定狀態未得到時，梯度下降法的步階值被設定為一大的值，並且步驟S403的程序以大的值來執行。

參照圖5，本發明之一實施例的AE控制方法被繪示出來。在步驟S501中，接收具有結構光圖案的輸入影像；再步驟S503中，接收輸入影像的解碼率，其中解碼率式依據輸入影像的深度圖以及關注區域(ROI)而定；輸入影像的ROI區域可依據使用者定義區域、曝光值以及深度圖而定。

在步驟S505中，依據解碼率參數的變化依序地調整複數個曝光參數，其中調整曝光參數的步階值依據解碼率數值的變化以及偵測結果而定。

在本發明之實施例中，曝光參數依據解碼率以及例如場景改變的其他條件被有效地調整。曝光參數設定群可在深度感知方面改進AE控制的解碼率數值。進而，挑選並移除ROI中低反射、幾乎不解碼的區域，從而排除這些區域對AE控制效能所造成的負面影響。設定用以調整曝光參數的步階值可快速而精準地設置曝光參數以使解碼率最大化，從而增進AE控制方法的效能。

對本領域之技術人員來說很顯而易見的是，在不脫離本發明的範圍和精神下，可對本發明之結構進行各種的修改與變化。在前述觀點下，可預期在下述申請專利範圍及其均等範圍內所做的修改和變化亦落入本發明範疇。

100‧‧‧AE控制系統

110‧‧‧攝像機

120‧‧‧ROI測定電路

130‧‧‧深度解碼器

140‧‧‧AE控制器

142‧‧‧曝光調整電路

144‧‧‧場景改變偵測電路

150‧‧‧投影機

342‧‧‧曝光調整電路

3421‧‧‧初始狀態電路

3422‧‧‧類比增益調整電路

3423‧‧‧曝光時間調整電路

3424‧‧‧投影功率調整電路

B1~B3、B1’~B3’‧‧‧區塊

D‧‧‧深度圖

IF‧‧‧輸入影像

P1、P2‧‧‧參數

R、R’‧‧‧區域

S401~S406、S4031~S4033‧‧‧步驟

S501S505‧‧‧步驟

W‧‧‧權重圖

w1~w3‧‧‧權重

所附圖式是為增進對本發明的理解而合併在說明書中，並構成說明書的一部分。圖式繪示出本發明的實施例，且與說明內容一起解釋本發明的原理。

圖1繪示出包含自動曝光控制器的自動曝光控制系統的方塊圖，AE控制器是依據本發明實施例來擷取結構光影像。

圖2為依據本發明實施例所繪示出的加權解碼率範例。

圖3A為依據本發明實施例所繪示出的曝光調整電路方塊圖。

圖3B為依據本發明實施例所繪示出的解碼率數值與曝光參數的關聯範例。

圖4為依據本發明實施例所繪示出的自動曝光控制方法流程方塊圖。

圖5為依據本發明實施例所繪示出的自動曝光控制方法流程圖。

Claims (18)

1. 一種自動曝光的控制方法，包括： 接收具有一結構光圖案的一輸入影像； 接收該輸入影像之一解碼率數值，該解碼率數值是依據該輸入影像的一深度圖以及該輸入影像的一關注區域而定；以及 依據該解碼率數值的變化依序調整複數個曝光參數； 其中，用以調整該些曝光參數的一步階值是依據該解碼率數值的變化以及指示該輸入影像的場景是否改變的一偵測結果而定。
2. 如申請專利範圍第1項所述的自動曝光的控制方法，其中該些曝光參數包括一投影功率、一類比增益以及一曝光時間，其中該投影功率是用以控制一投影機，該類比增益以及該曝光時間是用來控制一攝像機。
3. 如申請專利範圍第1項所述的自動曝光的控制方法，其中該些曝光參數是依據該解碼率數值的變化來調整，該解碼率數值的變化則是基於一梯度下降法。
4. 如申請專利範圍第3項所述的自動曝光的控制方法，更包括： 確認該輸入影像的場景是否改變以得到該偵測結果，其中依據該解碼率數值的變化依序調整該些曝光參數的步驟包括： 如果該輸入影像的場景改變，初始化該些曝光參數的數值，並依據該解碼率數值的變化，以一第一步階值反覆地調整該些曝光參數；以及 如果該輸入影像的場景未改變，則確認是否得到一穩定狀態。
5. 如申請專利範圍第4項所述的自動曝光的控制方法，其中當該解碼率數值的變化大於一第一預定門檻值，或是一深度平均值的變化大於一第二預定門檻值，又或是一強度值的變化大於一第三預定門檻值時，該輸入影像的場景為改變。
6. 如申請專利範圍第4項所述的自動曝光的控制方法，其中確認是否得到該穩定狀態的步驟包括： 確認該解碼率數值的變化是否大於或等於一第四預定門檻值； 當該解碼率數值的變化大於或等於該第四預定門檻值時，則得到該穩定狀態；以及 當該解碼率數值的變化小於該第四預定門檻值時，則未得到該穩定狀態。
7. 如申請專利範圍第4項所述的自動曝光的控制方法，更包含： 如果未得到該穩定狀態，依據該解碼率數值的變化以該第一步階值反覆調整該些曝光參數；以及 如果得到該穩定狀態，依據該解碼率數值的變化以一第二步階值重複調整該些曝光參數，其中該第二步階值小於該第一步階值。
8. 如申請專利範圍第1項所述的自動曝光的控制方法，更包含： 擷取具有一結構光圖案的一第一影像、一第一投影功率、具有該結構光圖案的一第二影像，以及一第二投影功率，其中該第一投影功率為所能提供之最高投影功率，該第二投影功率為所能提供之最低投影功率； 移除該第一影像以及第二影像中的一過度曝光區域以及一曝光不足區域，得到一餘留區域，其中該過度曝光區域具有大於一第一曝光門檻值的曝光值，以及該曝光不足區域具有小於一第二曝光門檻值的曝光值；以及 依據該解碼率數值在該餘留區域選擇該關注區域。
9. 如申請專利範圍第8項所述的自動曝光的控制方法，更包含： 得到一使用者定義區域；以及 依據該解碼率數值以及該使用者定義區域，在該餘留區域中選擇該關注區域。
10. 一種自動曝光的控制系統，包括： 一攝像機，被配置用以自一投影機擷取具有一結構光圖案的一輸入影像； 一關注區域測定電路，被配置以測定該輸入影像的關注區域； 一深度解碼器，耦接至該攝像機以及該關注區域測定電路，被配置用以產生該輸入影像的一深度圖，以及依據該輸入影像的該深度圖與該輸入影像的該關注區域決定一解碼率數值；以及 一自動曝光控制器，耦接至該投影機、該攝像機以及該深度解碼器，包括： 一曝光調整電路，接收該解碼率數值以及一偵測結果，並依據該解碼率數值的變化依序地調整複數個曝光參數，其中調整該些曝光參數的步階值是依據該解碼率數值的變化以及指示該輸入影像的場景是否改變的該偵測結果而定。
11. 如申請專利範圍第10項所述的自動曝光的控制系統，其中該些曝光參數包括一投影功率、一類比增益以及一曝光時間，其中該曝光強度是用以控制該投影機，該類比增益以及該曝光時間是用以控制該攝像機。
12. 如申請專利範圍第10項所述的自動曝光的控制系統，其中該曝光調整電路依據該解碼率數值的變化來調整該些曝光參數，該解碼率數值的變化則是基於一梯度下降法。
13. 如申請專利範圍第12項所述的自動曝光的控制系統，該自動曝光控制器更包括： 一場境改變偵測電路，接收該輸入影像並偵測該輸入影像的場景是否改變以得到該偵測結果； 其中，如果該輸入影像的場景已改變，該曝光調整電路初始化該些曝光參數，並依據該解碼率數值的變化，以一第一步階值來重複地調整該些曝光參數；以及 如果該輸入影像的場景未改變，該曝光調整電路確認得到一穩定狀態。
14. 如申請專利範圍第13項所述的自動曝光的控制系統，其中當該解碼率數值的變化大於一第一預定門檻值或是一深度平均值的變化大於一第二預定門檻值，又或是一強度值的變化大於一第三預定門檻值時，該輸入影像的場景為改變。
15. 如申請專利範圍第13項所述的自動曝光的控制系統，其中該曝光調整電路更進一步被配置以： 確認該解碼率數值的變化是否大於或等於一第四預定門檻值； 當該解碼率數值的變化大於或等於該第四預定門檻值時，則得到該穩定狀態；以及 當該解碼率數值的變化小於該第四預定門檻值時，則未得到該穩定狀態。
16. 如申請專利範圍第13項所述的自動曝光的控制系統，其中如果未得到該穩定狀態，該曝光調整電路依據該解碼率數值的變化以該第一步階值反覆調整該些曝光參數；以及如果得到該穩定狀態，該曝光調整電路依據該解碼率數值的變化以一第二步階值重複調整該些曝光參數，其中該第二步階值小於該第一步階值。
17. 如申請專利範圍第10項所述的自動曝光的控制系統，其中該攝像機更進一步被配置以擷取具有一結構光圖案的一第一影像、一第一投影功率、具有該結構光圖案的一第二影像，以及一第二投影功率，其中該第一投影功率為該投影機所提供之最高投影功率，該第二投影功率為該投影機所提供之最低投影功率；以及該關注區域測定電路被配置以移除該第一影像以及該第二影像中的一過度曝光區域以及一曝光不足區域，得到一餘留區域，其中該過度曝光區域具有大於一第一曝光門檻的曝光值，以及該曝光不足區域具有小於一第二曝光門檻的曝光值；以及該關注區域測定電路依據該解碼率數值在該餘留區域選擇該關注區域。
18. 如申請專利範圍第10項所述的自動曝光的控制系統，該關注區域測定電路得到一使用者定義區域，並依據該解碼率數值以及該使用者定義區域，在該餘留區域中選擇該關注區域。