TWI647661B - 影像深度感測方法與影像深度感測裝置 - Google Patents

影像深度感測方法與影像深度感測裝置 Download PDF

Info

Publication number
TWI647661B
TWI647661B TW106127125A TW106127125A TWI647661B TW I647661 B TWI647661 B TW I647661B TW 106127125 A TW106127125 A TW 106127125A TW 106127125 A TW106127125 A TW 106127125A TW I647661 B TWI647661 B TW I647661B
Authority
TW
Taiwan
Prior art keywords
field
view
depth
image
structured light
Prior art date
Application number
TW106127125A
Other languages
English (en)
Other versions
TW201911233A (zh
Inventor
張耀宗
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106127125A priority Critical patent/TWI647661B/zh
Priority to CN201710755905.3A priority patent/CN109547764B/zh
Priority to US15/800,073 priority patent/US10325377B2/en
Application granted granted Critical
Publication of TWI647661B publication Critical patent/TWI647661B/zh
Publication of TW201911233A publication Critical patent/TW201911233A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本發明提出一種影像深度感測方法,適於以影像深度感測裝置取得視野範圍中的深度訊息。所述方法包括以下步驟。判斷視野範圍內是否包括深度大於距離門檻值的遠處物體。若視野範圍中不包括遠處物體,依據一般模式取得視野範圍中的深度訊息。若視野範圍中包括遠處物體,依據增強模式取得視野範圍中的深度訊息。在一般模式中所能偵測的最大深度不大於該距離門檻值,並且在增強模式中所能偵測的最大深度大於該距離門檻值。此外,一種影像深度感測裝置亦被提出。

Description

影像深度感測方法與影像深度感測裝置
本發明是有關於一種影像深度感測方法與影像深度感測裝置。
近年來,立體影像擷取裝置的應用日漸普及。舉例而言,雙鏡頭相機是一種常見的立體影像擷取裝置,其利用兩個鏡頭的視角差來量測物體與相機之間的距離。另一種常見的技術例如是量測發射雷射光與接收物體所反射的雷射光的時間差作為光子飛行時間(Time of Flight,TOF),來計算出物體的距離。此外,還有一種技術是利用固定距離來設置光發射元件與光偵測元件。光發射元件以發射角向物體發射光束,而光偵測元件可以偵測到物體所反射的光束及其反射角。依據上述發射角與反射角再搭配兩元件之間的距離,便能夠以三角型的數學原理來計算出物體的距離。基於上述的各種方式,便能夠輕易地測得空間中一點的距離。然而,若要測得整個區域的距離就需要花費大量的時間。
結構光技術的發明,減少了量測區域中每一處的距離的處理時間與設備成本。結構光技術基本的應用例如是在掃描週期中,朝向特定區域依序投射多道不同編碼圖樣的結構光,再利用光偵測元件來偵測對應多道結構光的反射圖樣。從各種不同編碼圖樣以及所偵測到對應的反射圖樣,可以判別反射光點之反射角及其對應投射光之投射角,再同樣藉由三角型的數學原理,便能夠推知區域中各處的距離。
然而,在電子裝置的設計越發輕薄的趨勢之下,耗電量是需要考量的重要因素之一。因此,如何能夠設計出一種機制,以較低的耗電量來有效地取得立體影像而使裝置的使用時間得以延長,是本領域技術人員所共同致力的目標。
本發明提供一種影像深度感測方法與影像深度感測裝置,能夠節省感測物體深度時所需的電力,以延長裝置的使用時間。
本發明的影像深度感測方法,適於以影像深度感測裝置取得視野範圍中的深度訊息。所述方法包括以下步驟。判斷視野範圍內是否包括深度大於距離門檻值的遠處物體。若視野範圍中不包括遠處物體,依據一般模式取得視野範圍中的深度訊息。若視野範圍中包括遠處物體,依據增強模式取得視野範圍中的深度訊息。在一般模式中所能偵測的最大深度不大於該距離門檻值,並且在增強模式中所能偵測的最大深度大於該距離門檻值。
本發明的影像深度感測裝置包括深度影像擷取元件以及處理元件。深度影像擷取元件用以擷取視野範圍內的光訊號影像。處理元件耦接於深度影像擷取元件,用以藉由深度影像擷取元件,依據一般模式或增強模式取得視野範圍內的深度訊息。在一般模式中所能偵測的最大深度不大於該距離門檻值,並且在增強模式中所能偵測的最大深度大於該距離門檻值。處理元件判斷視野範圍內是否包括深度大於距離門檻值的遠處物體。若視野範圍中不包括遠處物體,處理元件藉由深度影像擷取元件,依據一般模式取得視野範圍中的深度訊息;若視野範圍中包括遠處物體,處理元件藉由深度影像擷取元件,依據增強模式取得視野範圍中的深度訊息。
基於上述,本發明實施例所提出的影像深度感測方法與影像深度感測裝置,提供了感測能力不同的一般模式與增強模式,並且依據視野範圍內物體的距離來決定影像深度感測時所使用的模式。如此一來,能夠節省電力以延長裝置的使用時間。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明實施例提出一種影像深度感測方法以及使用此方法的影像深度感測裝置。在所提出的方法中提供一般模式與增強模式兩種感測物體深度的模式。相較於一般模式,增強模式會消耗較多的電力,因此增強模式所能偵測到的物體最大深度比一般模式所能偵測到的物體最大深度深。特別是,本發明實施例所提出的影像深度感測方法只有在偵測到視野範圍內有遠處物體(例如,距離超過一般模式所能偵測的最大深度的物體)時,才會切換到增強模式,否則會維持在一般模式中以節省裝置的電力。
圖1繪示本發明一實施例的影像深度感測裝置的概要方塊圖。請參照圖1,影像深度感測裝置100包括深度影像擷取元件110以及處理元件130。深度影像擷取元件110用以擷取視野範圍(field of view,FOV)內的光訊號影像。處理元件130耦接於深度影像擷取元件110,用以控制深度影像擷取元件110以一般模式或增強模式來擷取光訊號影像,並接收深度影像擷取元件110所擷取的光訊號影像,再依據所接收的光訊號影像來判斷視野範圍中物體的深度訊息。
在一實施例中,影像深度感測裝置100可更包括影像擷取元件(未繪示),耦接於處理元件130。影像擷取元件例如為傳統的彩色相機,用以拍攝視野範圍內的二維彩色影像。處理元件130將視野範圍內的深度訊息結合二維彩色影像,便能夠得到三維的立體彩色影像。
在本實施例中,處理元件130例如為中央處理單元(Central Processing Unit,CPU)或是其他可程式化之微處理器(Microprocessor)等,但本發明並不在此限。在一實施例中,處理元件130可更包括鏡頭控制單元(未繪示),用以控制深度影像擷取元件110進行控制。
在本實施例中,影像深度感測裝置100例如是透過結構光的技術來判斷物體的深度或距離,而深度影像擷取元件110包括結構光投射元件111以及反射光偵測元件113。然而,本發明並不限於此。在其他實施例中,影像深度感測裝置100亦可以藉由視角差等其他的技術來判斷物體的深度或距離。
結構光投射元件111耦接於處理元件130,用以在視野範圍內投射多道結構光。在一實施例中,結構光投射元件111所投射的結構光為不可見光(例如,紅外光),並且結構光投射元件111中設置有微動結構,受控於處理元件130來朝視野範圍投射不同編碼圖樣的結構光。本發明實施例並不在此限制結構光投射元件111的具體結構,所屬領域具備通常知識者當可依其需求來實作本發明所提出的結構光投射元件111。
反射光偵測元件113耦接於處理元件130,用以擷取視野範圍內,對應結構光投射元件111所投射的結構光的多個光訊號影像。在一實施例中,結構光投射元件111所投射的結構光為不可見光(例如,紅外光),而反射光偵測元件113例如為不可見光(例如,紅外光)偵測器或相機,用以擷取反射的結構光的影像。類似地,本發明實施例並不在此限制反射光偵測元件113的具體結構,所屬領域具備通常知識者當可依其需求來實作本發明所提出的反射光偵測元件113。
圖2繪示本發明一實施例的擷取光訊號影像的示意圖。
請參照圖2,在一實施例中,結構光投射元件111在結構光處理周期內,依序在視野範圍RG內投射不同編碼圖樣的多道結構光SL,而反射光偵測元件113則依序地擷取對應不同編碼圖樣的多道結構光SL的多張光訊號影像IMG。其中,各道結構光SL中包括多條掃描線,並且藉由各條掃描線的明暗來組成不同編碼圖樣的結構光SL。
圖3繪示本發明一實施例的結構光編碼圖樣的示意圖。
請參照圖3,結構光SL1中包括32條明掃描線S1~S32以及32條暗掃描線S33~S64,因此結構光SL1的編碼圖樣為“1111111111111111111111111111111100000000000000000000000000000000”。 結構光SL2中包括16條明掃描線S1~S16、16條暗掃描線S17~S32、16條明掃描線S33~S48以及16條暗掃描線S49~S64,因此結構光SL2的編碼圖樣為“1111111111111111000000000000000011111111111111110000000000000000”。另一方面,結構光SL6中包括明暗相間的64條掃描線S1~S64,因此結構光SL6的編碼圖樣為 “1010101010101010101010101010101010101010101010101010101010101010”,以此類推。
值得一提的是,為了清楚標示與說明,在圖3中僅標示出前三條掃描線S1~S3、第36條掃描線與第64條掃描線S64,而其中的掃描線S4~S35、S37~S63可以依順序而推得。
一道結構光中掃描線從明到暗的間距稱為一個空間週期。因此,結構光SL1的空間週期為結構光SL6的空間週期的32倍,而結構光SL6的空間頻率(例如,32f)為結構光SL1的空間頻率(例如,f)的32倍。換言之,結構光的空間頻率可以用以表示在視野範圍內,結構光的掃描線從明到暗切換的次數。
請同時參照圖2與圖3,當結構光投射元件111在結構光處理周期內,依序在視野範圍RG內投射不同空間頻率(例如,2 nf,n=1, 2, 3, 4, 5, 6)的編碼圖樣的多道結構光SL1~SL6,且反射光偵測元件113依序取得對應結構光SL1~SL6的反射光訊號影像IMG1~IMG6時,處理元件130便能夠從光訊號影像IMG1~IMG6來判斷哪一條掃描線被物體反射。據此,在一個結構光處理周期內,將上述的資訊搭配光訊號影像中的反射點位置,便能夠計算出該反射點對應的物體深度。
舉例而言,光訊號影像IMG2、IMG3、IMG4中的某一畫素位置P都偵測到反射點,而其他光訊號影像IMG1、IMG5、IMG6中的同一畫素位置並未偵測到反射點。由於結構光SL2、SL3、SL4的第36條掃描線為明掃描線,而結構光SL1、SL5、SL6的第36條掃描線為暗掃描線,因此能夠推算出是第36條掃描線S36被物體所反射。從第36條掃描線可以推得投射角,而從畫素位置P能夠推得反射角,再搭配結構光投射元件111與反射光偵測元件113之間的已知距離,便能夠計算出畫素位置P的深度。如此一來,對視野範圍內的每個畫素位置都計算出深度後,便能夠計算出視野範圍中的深度訊息。
在本發明的一實施例中,處理元件130能夠進一步控制結構光投射元件111以不同的強度來投射結構光。舉例而言,在一般模式下,結構光投射元件111以第一強度來投射結構光;在增強模式下,結構光投射元件111以大於第一強度的第二強度來投射結構光。因此,在增強模式中所能偵測的最大深度較一般模式中所能偵測的最大深度深。
在本發明的一實施例中,處理元件130能夠進一步控制反射光偵測元件113以不同的放大倍率來放大光電流,以擷取光訊號影像。舉例而言,在一般模式下,反射光偵測元件113以第一放大倍率來放大光電流;在增強模式下,反射光偵測元件113以高於第一放大倍率的第二放大倍率來放大光電流。因此,在增強模式中的感光度較一般模式中的感光度高,而在增強模式中所能偵測的最大深度也較一般模式中所能偵測的最大深度深。
在本發明的一實施例中,處理元件130還能夠同時控制結構光投射元件111以及反射光偵測元件113。在一般模式下,結構光投射元件111在視野範圍中以第一強度依序投射多道結構光,並且反射光偵測元件113以第一放大倍率擷取視野範圍的多張第一光訊號影像。在增強模式下,結構光投射元件111在視野範圍中以第二強度依序投射多道結構光,並且反射光偵測元件113以第二放大倍率擷取視野範圍的多張第二光訊號影像。
處理元件130會藉由先前所介紹的方式來分析所取得的光訊號影像(例如,第一光訊號影像或第二光訊號影像)以取得視野範圍中的深度訊息。
圖4繪示本發明一實施例的影像深度感測方法的流程圖。本實施例的影像深度感測方法適用於圖1實施例的影像深度感測裝置100,故以下將搭配影像深度感測裝置100及其各項元件來說明本實施例的影像深度感測方法。
首先,處理元件130會判斷影像深度感測裝置100的視野範圍內是否包括深度大於距離門檻值的遠處物體(S410)。在本實施例中,距離門檻值是預設為在一般模式下所能偵測的最大深度,但不限於此。
若視野範圍中不包括遠處物體,表示一般模式的偵測能力足以偵測當前視野範圍中的所有物體深度。因此,處理元件130會藉由深度影像擷取元件110,依據一般模式來取得視野範圍中的深度訊息(S430)。
若視野範圍中包括遠處物體,表示一般模式的偵測能力並不足以偵測當前視野範圍中的所有物體深度。因此,處理元件130會藉由深度影像擷取元件110,依據增強模式來取得視野範圍中的深度訊息(S450)。
關於本實施例中依據一般模式與增強模式取得視野範圍中的深度訊息的詳細方式已於前述段落中舉實施例詳細說明,所屬領域具備通常知識者當可依據本發明實施例的教示來據以實作,故在此不再贅述。
以下將舉多個實施例說明本發明實施例中處理元件130判斷視野範圍中是否包括遠處物體的方式。
圖5繪示本發明一實施例的影像深度感測方法的示意圖。在一實施例中,處理元件130可依據增強模式來藉由深度影像擷取元件110來取得視野範圍中的深度訊息,並且直接比較所取得的深度訊息以及距離門檻值,便能夠判斷視野範圍內是否包括深度大於距離門檻值的遠處物體。
請參照圖5,處理元件130可在一般模式下執行N個結構光處理周期來取得視野範圍內的深度訊息(S501),並且在第N+1個時切換到增強模式來取得視野範圍內的深度訊息(S502),以判斷視野範圍內是否包括深度大於距離門檻值的遠處物體。若處理元件130判斷視野範圍內包括遠處物體,則切換到增強模式。反之,則回到一般模式。
另一方面,在增強模式中,若處理元件130持續M個結構光處理周期都判斷視野範圍內沒有遠處物體,則切換回一般模式來取得深度訊息(S503)。反之,則維持在增強模式(S504)。
在本實施例中,每間隔特定周期(例如,N個結構光處理周期)才判斷視野範圍內是否包括遠處物體,可減少判斷的次數以更節省電力。值得一提的是,本實施例中的N、M為正整數,但本發明並不在此限制N、M的實際數值大小。
圖6繪示本發明另一實施例的影像深度感測方法的示意圖。在一實施例中,處理元件130在一個結構光處理周期中,利用不同強度的多道結構光來判斷視野範圍內是否存在遠處物體。
請參照圖6,處理元件130在一個結構光處理周期中分別投射不同空間頻率(例如,f、2f、4f、8f、16f與32f)的六道不同編碼圖樣的結構光SL1~SL6。
在本實施例中,處理元件130例如是以第一強度來投射結構光SL1~SL5(第一結構光)並取得對應的第一影像IMG1~IMG5,以及以第二強度來投射結構光SL6(第二結構光)並取得對應的第二影像IMG6。若在某一個畫素位置中,只有第二影像IMG6出現反射點,而第一影像IMG1~IMG5都沒有出現反射點,表示該畫素位置所出現的反射點是來自遠處物體的反射。因此,處理元件130便會判斷視野範圍中出現遠處物體而以增強模式來取得視野範圍內的深度訊息。
值得一提的是,由於第63條掃描線在結構光SL1~SL5中為暗掃描線,而在結構光SL6中為明掃描線。因此,為了避免混淆,在本實施例中處理元件130可不使用第63條編碼之掃描線。
類似於圖5實施例,在一實施例中,處理元件130亦可以一般模式或增強模式來執行N個結構光處理周期來取得視野範圍內的深度訊息後,在第N+1個時才執行圖6實施例的方法來判斷視野範圍內是否存在遠處物體。
另一方面,在一實施例中,處理元件130可例如在增強模式中以第二強度來投射結構光SL1~SL5(第一結構光)並取得對應的第一影像IMG1~IMG5,以及以第一強度來投射結構光SL6(第二結構光)並取得對應的第二影像IMG6。若第一影像IMG1~IMG5所曾經出現反射點在第二影像IMG6中都有出現,處理元件130會判斷視野範圍內並不包括遠處物體。當持續M個結構光處理周期處理元件130都判斷視野範圍不包括遠處物體時,便會切換回一般模式。反之,則維持在增強模式。
值得注意的是,在上述實施例中的一些情形下,當第一影像IMG1~IMG5所出現的反射點在第二影像IMG6中沒有出現時,視野範圍中也可能不包括遠處物體。舉例而言,當第一影像IMG1~IMG5中曾出現的反射點恰好是位於第偶數條編碼之掃描線(即,結構光SL6的暗掃描線)處,則此反射點可能並不一定來自於遠處物體,而導致處理單元130沒有正確判斷。為了提高判斷的正確性以更加節省電力,處理單元130可將上述的結構光SL6的所有暗掃描線都取代為明掃描線,也就是使用第一強度來投射64條掃描線皆為明掃描線的結構光SL6。如此一來,便能夠提高「在IMG1~IMG5曾出現反射點在第二影像IMG6中都有出現時,判斷視野範圍內不包括遠處物體」的正確性。
相較於圖5實施例,本實施例在判斷是否有遠處物體時並不需要在一個結構光處理周期中持續投射高強度的結構光,因此更加節省電力。
圖7繪示本發明又另一實施例的影像深度感測方法的示意圖。本實施例與圖6實施例的差異在於,本實施例中的結構光SL6的空間頻率是相同於結構光SL5的空間頻率。
請參照圖7,處理元件130在一個結構光處理周期中分別投射空間頻率為f、2f、4f、8f、16f與16f的六道結構光SL1~SL6,其中結構光SL5與SL6的編碼圖樣相同。
在本實施例中,處理元件130例如是以第一強度來投射結構光SL1~SL5(第一結構光)並取得對應的第一影像IMG1~IMG5,以及以第二強度來投射結構光SL6(第二結構光)並取得對應的第二影像IMG6。
在本實施例中,處理元件130僅需比較第二影像IMG6中是否出現第一影像IMG5中所沒有出現的反射點,即可判斷視野範圍中是否有遠處物體。當第二影像IMG6中出現第一影像IMG5中所沒有出現的反射點,處理元件130便會判斷視野範圍中出現遠處物體而以增強模式來取得視野範圍內的深度訊息。
另一方面,處理元件130例如是以第二強度來投射結構光SL1~SL5(第一結構光)並取得對應的第一影像IMG1~IMG5,以及以第一強度來投射結構光SL6(第二結構光)並取得對應的第二影像IMG6。處理元件130僅需比較第一影像IMG5中是否存在第二影像IMG6中所沒有出現的反射點,即可判斷視野範圍中是否有遠處物體。當第一影像IMG5中存在出現第二影像IMG6中所沒有出現的反射點,判斷視野範圍中存在遠處物體,反之,則判斷視野範圍中不存在遠處物體。
特別是,相較於圖6實施例,本實施例中處理元件130只需要比較兩張影像,因此可以耗費更少的計算資源,就能夠判斷出視野範圍中是否存在遠處物體。
類似於圖5實施例,在一實施例中,處理元件130亦可以一般模式或增強模式來執行N個結構光處理周期來取得視野範圍內的深度訊息後,在第N+1個時才執行圖7實施例的方法來判斷視野範圍內是否存在遠處物體。
圖8繪示本發明又另一實施例的影像深度感測方法的示意圖。本實施例與圖7實施例的差異在於,圖7實施例是將結構光SL6的空間頻率與編碼圖樣修改為相同於結構光SL5的空間頻率與編碼圖樣來用以判斷遠處物體,而本實施例是當欲判斷視野範圍中是否存在遠處物體時,在結構光處理週期額外增加一條編碼圖樣與結構光SL6相同的結構光SL7,用以判斷遠處物體。
請參照圖8,處理元件130在一個結構光處理周期分別投射空間頻率為f、2f、4f、8f、16f與32f的六道結構光SL1~SL6,以及額外投射一道編碼圖樣與結構光SL6相同的結構光SL7。
類似地,在本實施例中,處理元件130例如是以第一強度來投射結構光SL1~SL6(第一結構光)並取得對應的第一影像IMG1~IMG6,以及以第二強度來投射結構光SL7(第二結構光)並取得對應的第二影像IMG7。
在本實施例中,處理元件130僅需比較第二影像IMG7中是否出現第一影像IMG6中所沒有出現的反射點,即可判斷視野範圍中是否有遠處物體。當第二影像IMG7中出現第一影像IMG6中所沒有出現的反射點,處理元件130便會判斷視野範圍中出現遠處物體而以增強模式來取得視野範圍內的深度訊息。
另一方面,處理元件130例如是以第二強度來投射結構光SL1~SL6(第一結構光)並取得對應的第一影像IMG1~IMG6,以及以第一強度來投射結構光SL7(第二結構光)並取得對應的第二影像IMG7。處理元件130僅需比較第一影像IMG6中是否存在第二影像IMG7中所沒有出現的反射點,即可判斷視野範圍中是否有遠處物體。當第一影像IMG6中存在出現第二影像IMG7中所沒有出現的反射點,判斷視野範圍中存在遠處物體,反之,則判斷視野範圍中不存在遠處物體。
特別是,相較於圖7實施例,本實施例中可以在不需要犧牲解析度的情形下,藉由比較兩張影像就能以較少的計算資源來判斷出視野範圍中是否存在遠處物體。
類似於圖5實施例,在一實施例中,處理元件130亦可以一般模式或增強模式來執行N個結構光處理周期來取得視野範圍內的深度訊息後,在第N+1個時才執行圖8實施例的方法來判斷視野範圍內是否存在遠處物體。
在一實施例中,影像深度感測裝置100更包括輸入元件(未繪示),耦接於處理元件130。輸入元件用以接收輸入訊號,以選取視野範圍中的感興趣區域(region of interest,ROI)。處理元件130僅針對感興趣區域來判斷其中是否包括遠處物體。
舉例來說,感興趣區域例如為視野範圍中的第10~20條掃描線的涵蓋區域。處理元件130在判斷感興趣區域中是否包括遠處物體時,可例如僅以第二強度來投射第10~20條掃描線,而第1~9條以及第21~64條則維持第一強度。如此一來,除了能夠減少投射結構光所需的電力之外,同時也能減少處理元件130的計算負擔。
值得一提的是,在本發明實施例中皆是以64條掃描線作為說明,因此只需要投射6道空間頻率各不相同的結構光便能夠計算出視野範圍中的深度訊息。然而,本發明並不限於此。在其他需要實施例中,例如可在結構光處理周期內,使用10道空間頻率不同的結構光來投射1024條掃描線,或在結構光處理周期內,使用11道空間頻率不同的結構光來投射2048條掃描線,以達到更高的解析度。
綜上所述,本發明實施例所提出的影像深度感測方法與影像深度感測裝置除此之外,本發明實施例更提出多種判斷視野範圍內是否包括遠處物體,以決定使用一般模式或增強模式的方法,除了節省裝置電力之外還能夠減輕運算的負擔。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧影像深度感測裝置
110‧‧‧深度影像擷取元件
111‧‧‧結構光投射元件
113‧‧‧反射光擷取元件
130‧‧‧處理元件
IMG1~IMG7‧‧‧光訊號影像
P‧‧‧畫素位置
RG‧‧‧視野範圍
S1、S2、S3、S36、S64‧‧‧掃描線
S410‧‧‧判斷視野範圍內是否包括深度大於距離門檻值的遠處物體
S430‧‧‧依據一般模式來取得視野範圍中的深度訊息
S450‧‧‧依據增強模式來取得視野範圍中的深度訊息
S501‧‧‧執行N個結構光處理周期來取得視野範圍內的深度訊息
S502‧‧‧在第N+1個時切換到增強模式來取得視野範圍內的深度訊息
S503‧‧‧切換回一般模式來取得深度訊息
S504‧‧‧維持在增強模式
SL、SL1~SL7‧‧‧結構光
圖1繪示本發明一實施例的影像深度感測裝置的概要方塊圖。 圖2繪示本發明一實施例的擷取光訊號影像的示意圖。 圖3繪示本發明一實施例的結構光編碼圖樣的示意圖。 圖4繪示本發明一實施例的影像深度感測方法的流程圖。 圖5繪示本發明一實施例的影像深度感測方法的示意圖。 圖6繪示本發明一實施例的影像深度感測方法的示意圖。 圖7繪示本發明一實施例的影像深度感測方法的示意圖。 圖8繪示本發明一實施例的影像深度感測方法的示意圖。

Claims (18)

  1. 一種影像深度感測方法,適於以影像深度感測裝置取得視野範圍中的深度訊息,所述方法包括:判斷該視野範圍內是否包括深度大於距離門檻值的遠處物體;若該視野範圍中不包括該遠處物體,依據一般模式取得該視野範圍中的該深度訊息,包括:在該視野範圍中以一第一強度依序投射多道結構光,並且以一第一放大倍率擷取該視野範圍的多張第一光訊號影像;以及分析該些第一光訊號影像以取得該視野範圍中的該深度訊息;以及若該視野範圍中包括該遠處物體,依據增強模式取得該視野範圍中的該深度訊息,包括:在該視野範圍中以一第二強度依序投射多道結構光,並且以一第二放大倍率擷取該視野範圍的多張第二光訊號影像;以及分析該些第二光訊號影像以取得該視野範圍中的該深度訊息,其中該一般模式所能偵測的最大深度不大於該距離門檻值,並且增強模式所能偵測的最大深度大於該距離門檻值,其中該第二強度大於該第一強度或該第二放大倍率高於該第一放大倍率。
  2. 如申請專利範圍第1項所述的影像深度感測方法,其中該第二強度大於該第一強度。
  3. 如申請專利範圍第1項所述的影像深度感測方法,其中該第二放大倍率高於該第一放大倍率。
  4. 如申請專利範圍第1項所述的影像深度感測方法,其中判斷該視野範圍內是否包括深度大於該距離門檻值的該遠處物體包括:依據該增強模式取得該視野範圍中的該深度訊息;以及比較該深度訊息與該距離門檻值,以判斷該視野範圍內是否包括該遠處物體。
  5. 如申請專利範圍第1項所述的影像深度感測方法,其中判斷該視野範圍內是否包括深度大於該距離門檻值的該遠處物體包括:依據該一般模式取得該視野範圍中的該深度訊息;以及每間隔特定週期,判斷該視野範圍內是否包括深度大於該距離門檻值的該遠處物體。
  6. 如申請專利範圍第1項所述的影像深度感測方法,其中判斷該視野範圍內是否包括深度大於該距離門檻值的該遠處物體包括:在結構光掃描週期內,在該視野範圍中投射該第一強度與該第二強度的其中之一的多道第一結構光,以及該第一強度與該第二強度的其中之另一的第二結構光;擷取該視野範圍內對應該些第一結構光的多張第一影像,以及對應該第二結構光的第二影像;以及依據該些第一影像以及該第二影像判斷該視野範圍內是否包括該遠處物體。
  7. 如申請專利範圍第6項所述的影像深度感測方法,其中該些第一結構光與該第二結構光的空間頻率互不相同。
  8. 如申請專利範圍第7項所述的影像深度感測方法,其中該第二結構光的空間頻率高於各該些第一結構光的空間頻率。
  9. 如申請專利範圍第6項所述的影像深度感測方法,其中該些第一結構光的其中之一的空間頻率相同於該第二結構光的空間頻率。
  10. 一種影像深度感測裝置,包括:深度影像擷取元件,包括:結構光投射元件,用以在視野範圍內投射多道結構光;以及反射光偵測元件,用以擷取該視野範圍內對應該些結構光的多個光訊號影像;以及處理元件,耦接於深度影像擷取元件,用以藉由該深度影像擷取元件,依據一般模式或增強模式取得該視野範圍內的深度訊息,其中該一般模式所能偵測的最大深度不大於距離門檻值,並且該增強模式所能偵測的最大深度大於該距離門檻值,其中該處理元件判斷該視野範圍內是否包括深度大於該距離門檻值的遠處物體,其中若該視野範圍中不包括該遠處物體,該處理元件藉由該深度影像擷取元件,依據該一般模式取得該視野範圍中的該深度訊息,其中若該視野範圍中包括該遠處物體,該處理元件藉由該深度影像擷取元件,依據該增強模式取得該視野範圍中的該深度訊息,其中該處理元件依據該一般模式取得該視野範圍中的該深度訊息時,該結構光投射元件在該視野範圍中以一第一強度依序投射多道結構光,該反射光偵測元件以第一放大倍率擷取該視野範圍的多張第一光訊號影像,並且該處理元件分析該些第一光訊號影像以取得該視野範圍中的該深度訊息,其中該處理元件依據該增強模式取得該視野範圍中的該深度訊息時,該結構光投射元件在該視野範圍中以一第二強度依序投射多道結構光,該反射光偵測元件以第二放大倍率擷取該視野範圍的多張第二光訊號影像,並且該處理元件分析該些第二光訊號影像以取得該視野範圍中的該深度訊息,其中該第二強度大於該第一強度或該第二放大倍率高於該第一放大倍率。
  11. 如申請專利範圍第10項所述的影像深度感測裝置,其中該第二強度大於該第一強度。
  12. 如申請專利範圍第10項所述的影像深度感測裝置,其中該第二放大倍率高於該第一放大倍率。
  13. 如申請專利範圍第10項所述的影像深度感測裝置,其中該處理元件依據該增強模式取得該視野範圍中的該深度訊息,並且比較該深度訊息與該距離門檻值,以判斷該視野範圍內是否包括該遠處物體。
  14. 如申請專利範圍第10項所述的影像深度感測裝置,其中該處理元件依據該一般模式取得該視野範圍內的該深度訊息,並且每間隔特定周期,判斷判斷該視野範圍內是否包括深度大於該距離門檻值的該遠處物體。
  15. 如申請專利範圍第10項所述的影像深度感測裝置,其中該結構光投射元件在結構光掃描週期內,在該視野範圍中投射該第一強度與該第二強度的其中之一的多道第一結構光,以及該第一強度與該第二強度的其中之另一的第二結構光,該反射光偵測單元擷取該視野範圍內對應該些第一結構光的多張第一影像,以及對應該第二結構光的第二影像,並且該處理元件依據該該些第一影像以及該第二影像判斷該視野範圍內是否包括該遠處物體。
  16. 如申請專利範圍第15項所述的影像深度感測裝置,其中該些第一結構光與該第二結構光的空間頻率互不相同。
  17. 如申請專利範圍第16項所述的影像深度感測裝置,其中該第二結構光的空間頻率高於各該些第一結構光的空間頻率。
  18. 如申請專利範圍第15項所述的影像深度感測裝置,其中該些第一結構光的其中之一的空間頻率相同於該第二結構光的空間頻率。
TW106127125A 2017-08-10 2017-08-10 影像深度感測方法與影像深度感測裝置 TWI647661B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106127125A TWI647661B (zh) 2017-08-10 2017-08-10 影像深度感測方法與影像深度感測裝置
CN201710755905.3A CN109547764B (zh) 2017-08-10 2017-08-29 影像深度感测方法与影像深度感测装置
US15/800,073 US10325377B2 (en) 2017-08-10 2017-11-01 Image depth sensing method and image depth sensing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106127125A TWI647661B (zh) 2017-08-10 2017-08-10 影像深度感測方法與影像深度感測裝置

Publications (2)

Publication Number Publication Date
TWI647661B true TWI647661B (zh) 2019-01-11
TW201911233A TW201911233A (zh) 2019-03-16

Family

ID=65275290

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106127125A TWI647661B (zh) 2017-08-10 2017-08-10 影像深度感測方法與影像深度感測裝置

Country Status (3)

Country Link
US (1) US10325377B2 (zh)
CN (1) CN109547764B (zh)
TW (1) TWI647661B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045169A1 (en) * 2018-05-30 2019-02-07 Intel Corporation Maximizing efficiency of flight optical depth sensors in computing environments
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
KR20200131029A (ko) * 2019-05-13 2020-11-23 엘지이노텍 주식회사 카메라 모듈
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
TWM423406U (en) * 2011-09-14 2012-02-21 Tlj Intertech Inc Object-depth calculation device
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其***
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8970827B2 (en) * 2012-09-24 2015-03-03 Alces Technology, Inc. Structured light and time of flight depth capture with a MEMS ribbon linear array spatial light modulator
WO2014106843A2 (en) * 2013-01-01 2014-07-10 Inuitive Ltd. Method and system for light patterning and imaging
EP2973476A4 (en) * 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9386236B2 (en) * 2014-01-26 2016-07-05 Muller Imaging Technologies, Inc Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
US9389069B2 (en) * 2014-03-26 2016-07-12 Alces Technology, Inc. Compact 3D depth capture systems
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
EP3262439B1 (en) * 2015-02-25 2022-11-02 Facebook Technologies, LLC Using intensity variations in a light pattern for depth mapping of objects in a volume
US9530215B2 (en) * 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及***
US9846943B2 (en) * 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US9946089B2 (en) * 2015-10-21 2018-04-17 Princeton Optronics, Inc. Generation of coded structured light patterns using VCSEL arrays
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US10021372B2 (en) * 2016-09-16 2018-07-10 Qualcomm Incorporated Systems and methods for improved depth sensing
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1414420A (zh) * 2002-10-09 2003-04-30 天津大学 动态多分辨率的三维数字成像的方法及装置
TWM423406U (en) * 2011-09-14 2012-02-21 Tlj Intertech Inc Object-depth calculation device
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
CN106257995A (zh) * 2016-07-25 2016-12-28 深圳大学 一种结构光场三维成像方法及其***

Also Published As

Publication number Publication date
CN109547764B (zh) 2021-08-17
US20190051005A1 (en) 2019-02-14
CN109547764A (zh) 2019-03-29
TW201911233A (zh) 2019-03-16
US10325377B2 (en) 2019-06-18

Similar Documents

Publication Publication Date Title
TWI647661B (zh) 影像深度感測方法與影像深度感測裝置
US10795004B2 (en) Distance measurement apparatus
JP6270813B2 (ja) 複数の光源を有するモーションセンサ装置
US11172126B2 (en) Methods for reducing power consumption of a 3D image capture system
US9819872B2 (en) Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount
TWI585436B (zh) 深度資訊量測方法及裝置
JP6299983B2 (ja) 複数の光源を有するモーションセンサ装置
TWI533224B (zh) 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
US20140192206A1 (en) Power consumption in motion-capture systems
US20180335298A1 (en) Three-dimensional shape measuring apparatus and control method thereof
US20150193934A1 (en) Motion sensor apparatus having a plurality of light sources
US9659379B2 (en) Information processing system and information processing method
JP2016213744A (ja) 被写体追跡装置、光学機器、撮像装置、被写体追跡装置の制御方法、プログラム
US20130229514A1 (en) Displacement detection device and operating method thereof
US10616561B2 (en) Method and apparatus for generating a 3-D image
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
TW201625904A (zh) 具動態曝光時間的光學測距系統
US20140292657A1 (en) Displacement detection device
CN105988599B (zh) 可调整取样周期的导航装置
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
US20100289745A1 (en) System and method for automatically adjusting light source drive current during optical navigation operation
KR20120000234A (ko) 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
US20240027645A1 (en) Sensing system and signal processing apparatus
TWI427508B (zh) 調整光學感應模組的曝光條件的方法與其光學感應模組
JP2014021100A (ja) 3次元情報検出装置および3次元情報検出方法