TWI540897B

TWI540897B - 深度相機的控制方法

Info

Publication number: TWI540897B
Application number: TW104114739A
Authority: TW
Inventors: 陳昭宇
Original assignee: 光寶電子（廣州）有限公司; 光寶科技股份有限公司
Priority date: 2015-05-08
Filing date: 2015-05-08
Publication date: 2016-07-01
Also published as: TW201640882A

Description

深度相機的控制方法

本發明是有關於一種深度相機的控制方法，特別是指一種能產生三維點雲資料之深度相機的控制方法。

一種現有的深度相機為結構化光深度相機，其使用一紅外光源發出具有特定圖案的紅外光，並使用一紅外光感測器感測自視野反射回相機的紅外光而產生一紅外光影像，並透過分析該紅外光影像而能獲得深度圖。結構化光深度相機的優點為其深度圖的精準度高，然而當結構化光深度相機視野中的物體之距離較遠時，紅外光源的操作功率需提高，所發出的紅外光才能自視野反射回結構化光深度相機，因此具有消耗功率大的缺點。

另一種現有的深度相機為立體視覺深度相機，其使用二色彩感測器產生不同視角的色彩影像，並透過分析該等色彩影像而能獲得深度圖。由於立體視覺深度相機不需發出紅外光，因此功率消耗較結構化光深度相機低，然而當視野中出現大片平面的景物時，基於色彩影像所獲得的邊緣像素的數目不足，導致無法有效辨別出景物與深度相機之間的距離。

因此，本發明之目的，即在提供一種能改善前述現有深度相機缺點的深度相機的控制方法。

於是，本發明深度相機的控制方法，該深度相機包含一光源、一第一影像感測單元、一與該第一影像感測單元相間隔且具有重疊視野的第二影像感測單元，及一電連接於該光源、該第一影像感測單元、該第二影像感測單元的處理器，該第一影像感測單元能針對一第一波長範圍的光線進行感測，該第二影像感測單元能針對該第一波長範圍的光線及一第二波長範圍的光線進行感測，該第二波長範圍相異於該第一波長範圍，該光源所發出之光線的波長在該第二波長範圍內，該深度相機的控制方法包含：(A)該處理器控制該第一影像感測單元及該第二影像感測單元針對該第一波長範圍進行感測，使該第一影像感測單元產生一第一影像，並使該第二影像感測單元產生一第二影像；(B)該處理器根據該第一影像及該第二影像產生一第一深度圖；(C)該處理器對該第一影像或該第二影像進行邊緣偵測以獲得一邊緣像素數目；(D)該處理器判斷該邊緣像素數目是否小於一第一預設像素數目；(E)當該處理器判斷該邊緣像素數目小於該第一預設像素數目，該處理器控制該光源發光；(F)該處理器控制該第二影像感測單元針對該第二波長範圍進行感測，使該第二影像感測單元產生一第三影像；(G)該處理器根據該第三影像產生一第二深度圖；(H)該處理器將該第二深度圖與該第一深度圖融合，以產生一融合深度圖；及(I)該處理器將該融合深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。

在一些實施態樣中，所述的深度相機的控制方法還包含：(J)當該處理器判斷該邊緣像素數目不小於該第一預設像素數目，該處理器根據該第一影像與該第二影像的複數個視差值計算出一深度代表值；(K)該處理器判斷該深度代表值是否大於一第一預設深度；(L)當該處理器判斷該深度代表值不大於該第一預設深度，該處理器判斷該邊緣像素數目是否小於一第二預設像素數目，該第二預設像素數目大於該第一預設像素數目；(M)當該處理器判斷該邊緣像素數目小於該第二預設像素數目，該處理器判斷該深度代表值是否小於一第二預設深度，該第二預設深度小於該第一預設深度；及(N)當該處理器判斷該深度代表值不小於該第二預設深度，該處理器控制該光源發光，並接著執行(F)、(G)、(H)及(I)，其中，驅動該光源的一第一驅動電流的電流值與該深度代表值呈正相關。

在一些實施態樣中，所述的深度相機的控制方法還包含：(O)當該處理器判斷該深度代表值小於該第二預設深度，該處理器控制該光源發光，並接著執行(F)、(G)、(H)及(I)，其中，驅動該光源的一第二驅動電流的電流值不大於該第一驅動電流的最小電流值。

在一些實施態樣中，所述的深度相機的控制方法還包含：(P)當該處理器判斷該深度代表值大於該第一預設深度，該處理器不控制該光源發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。

在一些實施態樣中，所述的深度相機的控制方法還包含：(Q)當該處理器判斷該邊緣像素數目不小於該第二預設像素數目，該處理器不控制該光源發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。

本發明之功效在於藉由判斷該邊緣像素數目及該深度代表值的大小，以決定是否產生第二深度圖及光源的操作功率，從而能避免高功率消耗，且維持高精準度的深度判別。

1‧‧‧光源

2‧‧‧第一影像感測單元

3‧‧‧第二影像感測單元

4‧‧‧處理器

5‧‧‧記憶體

S01~S16‧‧‧流程步驟

I₁‧‧‧第一驅動電流

I₂‧‧‧第二驅動電流

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是本發明深度相機的控制方法之實施例的深度相機的一硬體連接關係示意圖；及圖2A及圖2B是該實施例的一流程圖。

參閱圖1與圖2，是本發明深度相機的控制方法之實施例。深度相機包含一光源1、一第一影像感測單元2、一與第一影像感測單元相間隔且具有重疊視野的第二影像感測單元3、一記憶體5，及一電連接於光源1、第一影像感測單元2、第二影像感測單元3與記憶體5的處理器4。

第一影像感測單元2能針對一第一波長範圍的光線進行感測。第二影像感測單元3能針對該第一波長範圍的光線及一第二波長範圍的光線進行感測，第二波長範圍相異於第一波長範圍。光源1所發出之光線的波長在該第二波長範圍內。在本實施例中，該第一波長範圍內的光線為可見光，該第二波長範圍內的光線為不可見光，光源1所發出之光線為紅外光。具體來說，本實施例的第一影像感測單元2包含一能感測第一波長範圍的光線之RGB感測器，本實施例的第二影像感測單元包含一能感測第一波長範圍及第二波長範圍的光線之RGB-IR感測器。在另一實施態樣中，第一影像感測單元2包含一能感測第一波長範圍的光線之RGB感測器，而第二影像感測單元包含一能感測第一波長範圍的光線之RGB感測器，及一能感測第二波長範圍的光線之IR感測器。

記憶體5儲存有一第一預設像素數目、一大於該第一預設像素數目的第二預設像素數目、一第一預設深度，及一小於該第一預設深度的第二預設深度。

深度相機的控制方法首先如步驟S01所示，處理器4控制第一影像感測單元2及第二影像感測單元3針對該第一波長範圍進行感測，使第一影像感測單元2產生一第一影像，並使第二影像感測單元3產生一第二影像。接著，如步驟S02所示，處理器4根據該第一影像及該第二影像產生一第一深度圖(depth map)。

接著，如步驟S03所示，處理器4對該第一影像或該第二影像進行邊緣偵測(edge detection)以獲得一邊緣像素(edge-pixel)數目。接著，如步驟S04所示，處理器4判斷該邊緣像素數目是否小於該第一預設像素數目，若是，則執行步驟S05，若否，則執行步驟S10。

如步驟S05所示，當處理器4判斷該邊緣像素數目小於該第一預設像素數目，處理器4控制光源1發光。接著，如步驟S06所示，處理器4控制第二影像感測單元3針對該第二波長範圍進行感測，使第二影像感測單元3產生一第三影像。接著，如步驟S07所示，處理器4根據該第三影像產生一第二深度圖。在本實施例中，光源1能發出一具有預定圖案的圖案化(patterned)紅外光，又可稱為結構化光(structured light)，由於深度相機視野內不同距離的景物受到結構化光照射時，照射在景物上的預定圖案會產生不同的形狀改變，處理器4能藉由將該第三影像中的各種圖案與預先儲存於記憶體5內的單個或數複個參考圖案比對，從而獲得該第二深度圖。

接著，如步驟S08所示，處理器4將該第二深度圖與該第一深度圖融合(fusion)，以產生一融合深度圖。接著，如步驟S09所示，處理器4將該融合深度圖與該第一影像或該第二影像配準(registration)，以產生一三維點雲資料(3D point cloud data)。由於當該邊緣像素數目小於該第一預設像素數目時，深度相機會執行步驟 S05~S09，使得當該第一深度圖的精準度不足時，深度相機會產生精準度高的第二深度圖，並將該第二深度圖與該第一深度圖融合，藉此維持深度相機深度感測的精準度。

另一方面，當步驟S04的判斷結果為否，也就是說，當處理器4判斷該邊緣像素數目不小於該第一預設像素數目，則深度相機接著執行步驟S10。步驟S10係處理器4根據該第一影像與該第二影像的複數個視差值(disparity)計算出一深度代表值。更明確的說，該第一影像與該第二影像之間具有該等視差值，處理器4能由各視差值計算出一深度，例如將各視差值倒數後乘以第一影像感測單元2與第二影像感測單元3之間的間距(以第一影像感測單元2及第二影像感測單元3的光學中心為準)，再乘以第一影像感測單元2或第二影像感測單元3的焦距，再除以該第一影像或該第二影像的像素尺寸，就能求出該深度。處理器4再根據複數個使用前述方法求出的深度，計算出該深度代表值。在本實施例中，該深度代表值為該等深度的平均值，但不以此為限，該深度代表值也可以例如是該等深度的中位數。

接著，如步驟S11所示，處理器4判斷該深度代表值是否大於該第一預設深度，若是，則執行步驟S16，若否則執行步驟S12。

如步驟S16所示，當處理器4判斷該深度代表值大於該第一預設深度，處理器4不控制光源1發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生三維點雲資料。由於當該深度代表值大於該第一預設深度時，處理器4直接將該第一深度圖與該第一影像或該第二影像配準而不產生第二深度圖，因此，能避免視野中的景物大都距離過遠時，深度相機的光源1以高功率運作而導致高耗能的情況。

又如步驟S12所示，當處理器4判斷該深度代表值不大於該第一預設深度，處理器4判斷該邊緣像素數目是否小於該第二預設像素數目，若是，則接著執行步驟S13；若否，則執行步驟S16，也就是說，當處理器4判斷該邊緣像素數目不小於該第二預設像素數目，處理器4不控制該光源1發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生三維點雲資料，藉此，當該邊緣像素數目十分充足而使第一深度圖具有高精準度時，處理器4直接將該第一深度圖與該第一影像或該第二影像配準而不產生第二深度圖，從而能節省產生第二深度圖所需之功耗。

另一方面，如步驟S13所示，當處理器4判斷該邊緣像素數目小於該第二預設像素數目，處理器4判斷該深度代表值是否小於一第二預設深度，若是，則執行步驟S15，若否，則執行步驟S14。

如步驟S14所示，當該處理器4判斷該深度代表值不小於該第二預設深度，處理器4控制光源1發光，且由處理器4產生並用於驅動光源1的一第一驅動電流I₁的電流值與該深度代表值呈正相關。此處的正相關是指當該深度代表值越大時，該第一驅動電流的電流值也越大，當該深度代表值越小時，該第一驅動電流I₁的電流值也越小。於步驟S14之後接著執行步驟S06、S07、S08及S09。藉此，當視野內景物與深度相機的距離大致不會過遠也沒有很近，且第一深度圖的精準度不高也不低時，深度相機依據景物與深度相機的距離調整光源1的操作功率以產生第二深度圖，並將該第二深度圖與該第一深度圖融合，從而能維持深度相機深度感測的精準度，且不會造成過大的功耗。

另一方面，當該處理器4判斷該深度代表值小於該第二預設深度，處理器4控制光源1發光，且由處理器4產生並用於驅動光源1的一第二驅動電流I₂的電流值不大於該第一驅動電流I₁的最小電流值。於步驟S14之後接著執行步驟S06、S07、S08及S09。藉此，當視野內景物與深度相機的距離很近，且第一深度圖的精準度不高也不低時，深度相機以最低的操作功率操作光源1以產生第二深度圖，並將該第二深度圖與該第一深度圖融合，從而能維持深度相機深度感測的精準度，且不會造成過大的功耗。

舉例來說，設第一預設像素數目為5000，第二預設像素數目為20000，第一預設深度為10000mm，第二預設深度為500mm。當該邊緣像素數目為2000時，由於該邊緣像素數目小於該第一預設像素數目，因此深度相機於執行完步驟S04之判斷步驟之後會執行步驟S05、S06、 S07、S08及S09。

又當該邊緣像素數目為12000且該深度代表值為1000000mm時，由於該邊緣像素數目不小於第一預設像素數目，且該深度代表值大於第一預設深度，因此，深度相機於執行完步驟S04及S11之判斷步驟之後會執行步驟S16。

又當該邊緣像素數目為50000且該深度代表值為700mm時，由於該邊緣像素數目不小於該第一預設像素數目及該第二預設像素數目，且該深度代表值不大於第一預設深度，因此，深度相機於執行完步驟S04、S11及S12之判斷步驟之後會執行步驟S16。

又當該邊緣像素數目為10000且該深度代表值為700mm時，由於該邊緣像素數目介於該第一預設像素數目及該第二預設像素數目之間，且該深度代表值介於第一預設深度及第二預設深度之間，因此，深度相機於執行完步驟S04、S11、S12及S13之判斷步驟之後會執行步驟S14，並接著執行步驟S05、S06、S07、S08及S09。

又當該邊緣像素數目為8000且該深度代表值為300mm時，由於該邊緣像素數目介於該第一預設像素數目及該第二預設像素數目之間，且該深度代表值小於該第二預設深度，因此，深度相機於執行完步驟S04、S11、S12及S13之判斷步驟之後會執行步驟S15，並接著執行步驟S05、S06、S07、S08及S09。

綜上所述，本發明深度相機的控制方法藉由判斷該邊緣像素數目及該深度代表值的大小，以決定是否產生第二深度圖及光源1的操作功率，從而能避免高功率消耗，且維持高精準度的深度判別，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

S01~S16‧‧‧流程步驟

Claims

一種深度相機的控制方法，該深度相機包含一光源、一第一影像感測單元、一與該第一影像感測單元相間隔且具有重疊視野的第二影像感測單元，及一電連接於該光源、該第一影像感測單元、該第二影像感測單元的處理器，該第一影像感測單元能針對一第一波長範圍的光線進行感測，該第二影像感測單元能針對該第一波長範圍的光線及一第二波長範圍的光線進行感測，該第二波長範圍相異於該第一波長範圍，該光源所發出之光線的波長在該第二波長範圍內，該深度相機的控制方法包含：(A)該處理器控制該第一影像感測單元及該第二影像感測單元針對該第一波長範圍進行感測，使該第一影像感測單元產生一第一影像，並使該第二影像感測單元產生一第二影像；(B)該處理器根據該第一影像及該第二影像產生一第一深度圖；(C)該處理器對該第一影像或該第二影像進行邊緣偵測以獲得一邊緣像素數目；(D)該處理器判斷該邊緣像素數目是否小於一第一預設像素數目；(E)當該處理器判斷該邊緣像素數目小於該第一預設像素數目，該處理器控制該光源發光；(F)該處理器控制該第二影像感測單元針對該第二波長範圍進行感測，使該第二影像感測單元產生一第三影像；(G)該處理器根據該第三影像產生一第二深度圖；(H)該處理器將該第二深度圖與該第一深度圖融合，以產生一融合深度圖；及(I)該處理器將該融合深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。
如請求項1所述的深度相機的控制方法，在(D)之後，還包含：(J)當該處理器判斷該邊緣像素數目不小於該第一預設像素數目，該處理器根據該第一影像與該第二影像的複數個視差值計算出一深度代表值；(K)該處理器判斷該深度代表值是否大於一第一預設深度；(L)當該處理器判斷該深度代表值不大於該第一預設深度，該處理器判斷該邊緣像素數目是否小於一第二預設像素數目，該第二預設像素數目大於該第一預設像素數目；(M)當該處理器判斷該邊緣像素數目小於該第二預設像素數目，該處理器判斷該深度代表值是否小於一第二預設深度，該第二預設深度小於該第一預設深度；及(N)當該處理器判斷該深度代表值不小於該第二預設深度，該處理器控制該光源發光，並接著執行(F)、(G)、(H)及(I)，其中，驅動該光源的一第一驅動電流的電流值與該深度代表值呈正相關。
如請求項2所述的深度相機的控制方法，在(M)之後，還包含：(O)當該處理器判斷該深度代表值小於該第二預設深度，該處理器控制該光源發光，並接著執行(F)、(G)、(H)及(I)，其中，驅動該光源的一第二驅動電流的電流值不大於該第一驅動電流的最小電流值。
如請求項2所述的深度相機的控制方法，在(K)之後，還包含：(P)當該處理器判斷該深度代表值大於該第一預設深度，該處理器不控制該光源發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。
如請求項2所述的深度相機的控制方法，在(L)之後，還包含：(Q)當該處理器判斷該邊緣像素數目不小於該第二預設像素數目，該處理器不控制該光源發光，並將該第一深度圖與該第一影像或該第二影像配準，以產生一三維點雲資料。