TW201741685A - 深度資訊量測方法及裝置 - Google Patents
深度資訊量測方法及裝置 Download PDFInfo
- Publication number
- TW201741685A TW201741685A TW105115425A TW105115425A TW201741685A TW 201741685 A TW201741685 A TW 201741685A TW 105115425 A TW105115425 A TW 105115425A TW 105115425 A TW105115425 A TW 105115425A TW 201741685 A TW201741685 A TW 201741685A
- Authority
- TW
- Taiwan
- Prior art keywords
- light
- scan
- image
- moving object
- scanning
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/507—Depth or shape recovery from shading
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一種深度資訊量測方法及裝置。此方法是利用光投射裝置投射具有一掃描圖像的結構光以掃描至少一個物體,並利用光感測裝置偵測物體的反射光,以根據反射光的反射圖像的形變計算各個物體的深度資訊。然後,利用影像擷取裝置拍攝包括物體的影像,以獲取各個物體的位置資訊,並根據此位置資訊的變化,找出這些物體中的移動物體。最後,根據移動物體所在區域,調整結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及掃描所得資料的處理順序的至少其中之一,據以計算各個物體的深度資訊。
Description
本發明是有關於一種量測方法及裝置,且特別是有關於一種深度資訊量測方法及裝置。
近年來,三維立體相機(3D camera)之應用日漸普及。其中,雙鏡頭相機可利用兩個鏡頭的視角差來量測所拍攝影像中各個物體與相機之間的距離。飛行時間(Time of Fly,TOP)技術則是在影像感測器上配置光源,利用此光源投射光並利用影像感測器量測投射光碰到物體後的反射光,從而根據光往返所花費的時間來測量物體的距離。另一技術則是在不同位置配置光發射器及光接收器,利用光發射器發射光的發射角,光接收器接收反射光的反射角,以及光發射器與光接收器之間的距離,依據三角測量的原理,計算待測物體的距離。
然而,測得單一物體的距離容易,要測得整個區域中多個物體的距離就需花費許多時間及計算成本。對此,近期發展的結構光(structure lighting)技術利用待測物體表面曲率變化會使得投射於其上的圖像產生形變的原理,將具有特定圖像的光以已知角度投射在待測物體上,並偵測從物體反射的反射圖像,從而根據特定圖像在反射圖像中的變形程度,計算出各個物體的深度。藉此,可以在較少的處理時間及較低的設備成本下,快速測得待測物體的距離。
結構光技術一般會使用平行的多條掃描線(例如直線或橫線)之圖像來掃描物體,以藉由簡化圖像來減少計算量。然而,即便簡化了圖像,目前的結構光技術仍需針對整個影像進行掃描,而在為了提高判讀精確度而增加圖像複雜度(例如增加掃描頻率)的情況下,計算量將大幅增加。
本發明提供一種深度資訊量測方法及裝置,可有效節省量測深度資訊所需的運算資源及處理時間。
本發明的深度資訊量測方法適用於具有光投射裝置、光感測裝置及影像擷取裝置的電子裝置。此方法是利用光投射裝置投射具有一掃描圖像的結構光以掃描至少一個物體,並利用光感測裝置偵測這些物體的反射光,以根據反射光的反射圖像的形變計算各個物體的深度資訊。然後,利用影像擷取裝置拍攝包括這些物體的影像,以獲取各個物體的位置資訊,並根據此位置資訊的變化,從這些物體中找出移動物體。最後,根據移動物體所在區域,調整結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及掃描所得資料的處理順序的至少其中之一,據以計算各個物體的深度資訊。
本發明的深度資訊量測裝置包括光投射裝置、光感測裝置及影像擷取裝置。其中,光投射裝置是用以投射具有一掃描圖像的結構光以掃描至少一個物體。光感測裝置是用以偵測物體的反射光。影像擷取裝置是用以拍攝包括上述物體的影像。處理器耦接光投射裝置、光感測裝置及影像擷取裝置,用以控制光投射裝置投射結構光,並控制光感測裝置偵測反射光,以根據反射光的反射圖像的形變計算各個物體的深度資訊。其中,處理器利用上述的影像獲取各個物體的位置資訊,並根據此位置資訊的變化,從這些物體中找出移動物體。處理器還根據移動物體所在區域,調整光投射裝置所投射之結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及掃描所得資料的處理順序的至少其中之一。
基於上述,本發明的深度資訊量測方法及裝置藉由偵測所拍攝影像中的移動物體,而根據移動物體所在區域動態調整結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像,或是優先處理移動物體所在區域的深度資訊的運算。藉此,可以節省掃描時間,加快處理速度,或可以在同樣的處理時間,增加掃描解析度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明係針對結構光(structured light)技術,在所拍攝影像中的物體沒有變動時,降低結構光的掃描頻率,而在偵測到移動物體時,依據移動物體所在區域,動態調整掃描區域的大小或頻率。其中,針對影像中只有少數物體有移動的狀況,本發明可僅針對移動物體所在區域增加其掃描頻率或掃描解析度,並降低其他區域的掃描頻率或掃描解析度,或是停止其他區域的掃描。藉此,可以節省掃描時間,加快處理速度,或可以在同樣處理時間內,增加掃描解析度。
圖1是依照本發明一實施例所繪示之深度資訊量測裝置的方塊圖。請參照圖1,本實施例的深度資訊量測裝置10例如是可獨立執行深度量測功能的電子裝置,或是可整合於數位相機或手機、平板電腦、筆記型電腦等具備拍照功能的裝置,而提供其拍照時所需的深度資訊。深度資訊量測裝置10包括光投射裝置12、光感測裝置14、影像擷取裝置16及處理器18,其功能分述如下:
光投射裝置12例如是可投射紅外線等非可見光的發光裝置。為了增加準確性,光投射裝置12以使用雷射光為主,特別是紅外線之雷射光。光投射裝置12例如可接收處理器20的控制,而投射具有特定掃描圖像(例如橫線或直線)的結構光,並可調整所投射結構光的掃描圖像、掃描頻率、掃描解析度或掃描區域的大小。
光感測裝置14例如是與光投射裝置12搭配的特殊光的相機,例如紅外線相機,其可偵測光投射裝置12所投射之結構光遇到物體所反射回來之反射光。光感測裝置14亦可接收處理器20的控制,調整接收結構光的區域大小。
影像擷取裝置16例如是包含光學定焦鏡頭或光學變焦鏡頭,以及電荷耦合元件(Charge Coupled Device;CCD)或互補金氧半導體(Complementary Metal-Oxide Semiconductor;CMOS)元件等感光元件的相機或攝影機,而可用以擷取深度資訊量測裝置10所欲量測深度之物體的影像。
處理器18耦接於光投射裝置12、光感測裝置14與影像擷取裝置16,其例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或其他類似裝置或這些裝置的組合。在本實施例中,處理器18可控制光投射裝置12、控制光感測裝置14及影像擷取裝置16,藉以執行本申請實施例的深度資訊量測方法。
值得一提的是,在一實施例中,光投射裝置12、光感測裝置14、影像擷取裝置16可額外連接一個鏡頭控制器(未繪示),其可接收處理器18的控制指令,從而控制光投射裝置12投射所要圖像的結構光、控制光感測裝置14偵測反射光,以及控制影像擷取裝置16拍攝影像,並將光感測裝置14所偵測到的反射光資訊以及影像擷取裝置16所拍攝的影像資訊傳送給處理器18。其中,鏡頭控制器例如可控制光投射裝置12調整其投射結構光的掃描區域大小、掃描頻率及掃描圖像,也可以控制光感測裝置14調整其偵測反射光的區域大小,另還可控制影像擷取裝置16調整拍攝影像所使用的焦距。此外,深度資訊量測裝置10例如還包括用以儲存處理器18所執行程式的記憶體、記憶卡等儲存裝置(未繪示),用以接收使用者操作的觸控螢幕、觸控板、鍵盤等輸入裝置(未繪示),以及用以顯示影像擷取裝置16的拍攝視野、所拍攝影像及其相關資訊,以及使用者操作介面等資訊的顯示裝置(未繪示)。
圖2是依照本發明一實施例所繪示之深度資訊量測方法的流程圖。請同時參照圖1及圖2,本實施例的方法適用於上述圖1的深度資訊量測裝置10,以下即搭配圖1中深度資訊量測裝置10的各項元件,說明本實施例之深度資訊量測方法的詳細步驟:
首先,由處理器18利用光投射裝置12投射具有一掃描圖像的結構光以掃描至少一個物體,並利用光感測裝置14偵測這些物體的反射光,以根據此反射光的反射圖像的形變計算各個物體的深度資訊(步驟S202)。其中,處理器18例如是先依照預設的掃描圖像控制光投射裝置12投射結構光,此掃描圖像例如是由多條平行的橫線或直線所組成,而這些橫線或直線的間隔及寬度例如是由處理器18根據預設的掃描解析度所決定。此外,依據結構光技術的原理,處理器18會分析反射圖像相對於掃描圖像的形變,從而找出反射圖像中像素與掃描圖像中像素的對應關係,然後再依據光投射裝置12投射結構光至物體上特定位置的投射角、光感測裝置14接收自該物體上特定位置反射之反射光的感測角,以及光投射裝置12與光感測裝置14之間的距離,利用三角量測原理,而計算出物體相對於深度資訊量測裝置10的深度資訊。
然後,由處理器18利用影像擷取裝置16拍攝包括上述物體的影像,以獲取各個物體的位置資訊,並根據位置資訊的變化,找出所述物體中的至少一個移動物體(步驟S204)。其中,處理器18例如會將影像擷取裝置16所拍攝的目前影像與前一張影像進行比對,從而依據影像中物體的特徵,找出兩張影像中特徵相對應的物體,最後則可根據相對應物體的位置變化找出目前影像中的移動物體。
值得一提的是,藉由上述拍攝影像的方式,處理器18可找出在二維方向上有移動的物體,而在另一實施例中,處理器18可進一步將各個物體的位置資訊與步驟S202中所計算的該物體的深度資訊結合為三維空間資訊,而可進一步根據該三維空間資訊的變化,找出所述移動物體。藉此,處理器18不僅可找出在二維方向上有移動的物體,還可找出在深度方向上有移動的物體。
在找出移動物體之後,處理器18即會根據這些移動物體所在區域,調整光投射裝置12所投射之結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及掃描所得資料的處理順序的至少其中之一(步驟S206)。詳言之,原本光投射裝置12所投射之結構光是針對整個區域,因此處理器18在計算深度資訊時,也是針對整張影像,但其實影像中通常只有少部分區域會發生變動,其餘區域則保持不動,此時就沒有必要花費時間處理靜止區域的資料。
據此,本實施例的處理器18即藉由偵測掃描區域內的移動物體,從而根據此移動物體所在區域的大小,動態調整光投射裝置12所投射之結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像,或調整光感測裝置14所偵測之區域及頻率,或調整影像擷取裝置16擷取影像之區域及大小,又或可調整自身處理資料的順序,而優先處理移動物體所在區域的資料以計算其深度資訊。以上方法可達到節省掃描時間、加快處理速度等功效,以下將分別舉實施例詳細說明。
圖3A至圖3J是依照本發明一實施例所繪示之深度資訊量測方法的範例。其中,圖3A中繪示的影像30是本發明實施例之深度資訊量測裝置利用影像擷取裝置所拍攝的影像,其中包括物體A~E,而掃描圖案32則是深度資訊量測裝置利用光投射裝置所投射之結構光的圖案,其是由多條平行的直線所構成。
第一實施例
請同時參照圖3A及圖3B,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體C有移動時,即會根據物體C所在區域34(如圖3B所示)的位置及大小,控制光投射裝置僅針對物體C所在區域34增加其所投射之結構光的掃描解析度,並停止投射結構光於物體C所在區域34以外的其他區域。藉此,不僅可提升深度資訊量測裝置量測區域34之深度資訊的精確度,還可節省持續運算其他區域之深度資訊所需花費的時間及運算成本。
需說明的是,在另一實施例中,當深度資訊量測裝置偵測到影像30中的物體C有移動時,亦可根據物體C所在區域34(如圖3B所示)的位置及大小,控制光投射裝置僅針對物體C所在區域34增加其所投射之結構光的掃描頻率,並停止投射結構光於物體C所在區域34以外的其他區域。藉此,可達到提升深度資訊量測裝置量測區域34之深度資訊的靈敏度(即在時間上的變化)。
第二實施例
請同時參照圖3A及圖3C,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體C有移動時,即會根據物體C所在區域36(如圖3C所示)的位置及大小,控制光投射裝置僅針對物體C所在區域36投射結構光,並維持所投射結構光的掃描解析度,同時也停止投射結構光於物體C所在區域36以外的其他區域。藉此,可節省掃描時間,加快處理速度。
第三實施例
請同時參照圖3A及圖3D,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體C有移動時,即會根據物體C所在區域40(如圖3D所示)的位置及大小,控制光投射裝置針對物體C所在區域40增加其所投射之結構光的掃描解析度,但仍針對物體C所在區域40以外的其他區域38維持所投射之結構光的掃描解析度。藉此,可增加量測區域40之深度資訊的精確度,且可持續偵測其他區域38的深度變化。
值得一提的是,針對上述針對物體C所在區域40增加掃描解析度的實施方式,在另一實施例中,深度資訊量測裝置可在執行完整個影像30的掃描後,控制光投射裝置針對移動物體所在區域額外執行一次掃描,並控制光投射裝置增加在該次掃描中投射於移動物體所在區域的結構光的掃描解析度。舉例來說,深度資訊量測裝置可控制光投射裝置先針對整個影像30進行N階的掃描之後,再針對物體C所在區域40額外進行N+1階的掃描,其中N+1階的掃描例如是比N階的掃描多一倍的掃描線,而可增加提升深度資訊量測裝置量測區域40之深度資訊的精確度。
需說明的是,在另一實施例中,當深度資訊量測裝置偵測到影像30中的物體C有移動時,則會根據物體C所在區域40(如圖3D所示)的位置及大小,控制光投射裝置針對物體C所在區域40增加其所投射之結構光的掃描頻率,但仍針對物體C所在區域40以外的其他區域38維持所投射之結構光的掃描頻率。藉此,可增加量測區域40之深度資訊的靈敏度。
第四實施例
請同時參照圖3A及圖3E、3F,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體C有移動時,可控制光投射裝置維持原有投射之掃描圖像32的掃描解析度,但只針對反射圖像中物體C所在區域的資料進行處理,或優先處理物體C所在區域的資料,以計算移動物體C的深度資訊。其中,上述的物體C所在區域例如是影像30中由物體C所涵括之所有行像素所形成的區域42(如圖3E所示),或是由物體C周圍一定範圍內的像素所形成的區域44(如圖3F所示)。藉由以上處理方式,可幫助深度資訊量測裝置在有限的時間或運算資源內,快速獲取移動物體的動態運動。
需說明的是,在另一實施例中,當深度資訊量測裝置偵測到影像30中的物體C有移動時,可控制光投射裝置維持原有投射之掃描圖像32的掃描頻率,但只針對反射圖像中物體C所在區域(如圖3E的區域42或圖3F的區域44)的資料進行處理,或優先處理物體C所在區域的資料,以計算移動物體C的深度資訊。藉此,可節省掃描時間,加快處理速度。
第五實施例
請同時參照圖3A及圖3G、3H,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體C有移動時,則可根據移動物體C的位置及大小,控制控制光投射裝置增加所投射之掃描圖像的掃描解析度,但只針對所偵測之反射圖像中物體C所在區域的資料進行處理,或優先處理物體C所在區域的資料,以計算移動物體C的深度資訊。其中,深度資訊量測裝置例如會控制光投射裝置增加所投射之掃描圖像的掃描解析度(如圖3G的掃描圖像46),並優先處理反射圖像中物體C所在區域48(影像30中物體C周圍一定範圍內的像素所形成的區域)的資料,以計算移動物體C的深度資訊。或者,深度資訊量測裝置會控制光投射裝置增加所投射之掃描圖像的掃描解析度(如圖3H的掃描圖像50),並優先處理反射圖像中物體C所在區域52(影像30中物體C所涵括之所有行像素所形成的區域)的資料,以計算移動物體C的深度資訊。藉由以上處理方式,可幫助深度資訊量測裝置在有限的時間或運算資源內,快速獲取移動物體的動態運動,並增加掃描的解析度,而提升所量測深度資訊的精確度。
需說明的是,在另一實施例中,當深度資訊量測裝置偵測到影像30中的物體C有移動時,可僅控制光投射裝置增加所投射之掃描圖像的掃描解析度,而提升所量測深度資訊的精確度。待深度資訊量測裝置偵測到物體C不再移動時,再控制光投射裝置回復原先所投射之掃描圖像的掃描解析度。藉由僅在偵測到移動物體時增加掃描解析度,即可在增加所量測移動物體的深度資訊的精確度的同時,也節省掃描時間。
在又一實施例中,當深度資訊量測裝置偵測到影像30中的物體C有移動時,則可僅控制光投射裝置增加所投射之掃描圖像的掃描頻率,而提升所量測深度資訊的靈敏度。待深度資訊量測裝置偵測到物體C不再移動時,再控制光投射裝置回復原先所投射之掃描圖像的掃描頻率。藉由僅在偵測到移動物體時增加掃描頻率,即可在增加所量測移動物體的深度資訊的靈敏度的同時,也節省掃描時間。
第六實施例
請同時參照圖3A及圖3I,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體B、C有移動時,則會根據移動物體B、C的位置及大小(例如移動物體B、C之間的距離),判斷其所在區域彼此相鄰。據此,深度資訊量測裝置會將移動物體B、C所在區域合併為區域54,並據以將光投射裝置投射結構光的掃描區域調整為區域54,以獲取移動物體B、C的深度資訊。另一方面,請同時參照圖3A及圖3J,當深度資訊量測裝置藉由比對圖3A影像30中各物體的二維或三維空間資訊,而偵測到影像30中的物體A、C有移動時,則會根據移動物體A、C的位置及大小(例如移動物體A、C之間的距離),判斷其所在區域56、58彼此不相鄰。據此,深度資訊量測裝置會控制光投射裝置分別投射結構光至區域56、58,並分別處理區域56、58中的資料,以獲取移動物體A、C的深度資訊。
需說明的是,上述實施例的量測方法是應用在有偵測到移動物體的情況下。在另一實施例中,深度資訊量測裝置在偵測到移動物體並據以調整結構光之後,還會持續偵測這些移動物體是否移動,而在持續未偵測到移動物體的時間超過預設時間時,則會結束上述對於結構光的調整。
舉例來說,圖4是依照本發明一實施例所繪示之深度資訊量測裝置的狀態機。請參照圖4,狀態機40包括一般模式42及追蹤模式44。其中,在狀態S1中,深度資訊量測裝置持續未偵測到有物體移動,因此會持續處於一般模式42。此時,為了省電,深度資訊量測裝置例如會適度降低掃描頻率或解析度。在狀態S2中,深度資訊量測裝置偵測到移動物體,此時會進入追蹤模式44,從對移動物體所在區域加強掃描頻率或解析度,並停止對其它區域的偵測或降低對其他區域的掃描率或解析度。在狀態S3中,深度資訊量測裝置持續偵測到有物體移動,因此也會持續地對移動物體所在區域加強掃描頻率或解析度。在狀態S4中,深度資訊量測裝置持續一段時間未偵測到移動物體,此時將會回到一般模式,而結束上述對於結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及/或掃描所得資料的處理順序的調整,藉此達到省電的功效。
綜上所述,本發明的深度資訊量測方法及裝置藉由偵測拍攝物體影像以偵測移動物體,並根據移動物體所在區域的位置及大小,動態調整光投射裝置投射結構光的掃描區域、掃描頻率、掃描解析度、掃描圖像及/或處理掃描所得資料的順序。藉此,可以節省掃描時間,加快處理速度,或者可以在同樣的處理時間內,增加掃描解析度。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧深度資訊量測裝置
12‧‧‧光投射裝置
14‧‧‧光感測裝置
16‧‧‧影像擷取裝置
18‧‧‧處理器
30‧‧‧影像
32、46、50‧‧‧掃描圖案
34、36、38、40、42、44、48、52、54、56、58‧‧‧區域
A~E‧‧‧物體
40‧‧‧狀態機
42‧‧‧一般模式
44‧‧‧追蹤模式
S1~S4‧‧‧狀態
S202~S206‧‧‧本發明一實施例之深度資訊量測方法的步驟
12‧‧‧光投射裝置
14‧‧‧光感測裝置
16‧‧‧影像擷取裝置
18‧‧‧處理器
30‧‧‧影像
32、46、50‧‧‧掃描圖案
34、36、38、40、42、44、48、52、54、56、58‧‧‧區域
A~E‧‧‧物體
40‧‧‧狀態機
42‧‧‧一般模式
44‧‧‧追蹤模式
S1~S4‧‧‧狀態
S202~S206‧‧‧本發明一實施例之深度資訊量測方法的步驟
圖1是依照本發明一實施例所繪示之深度資訊量測裝置的方塊圖。 圖2是依照本發明一實施例所繪示之深度資訊量測方法的流程圖。 圖3A至圖3J是依照本發明一實施例所繪示之深度資訊量測方法的範例。 圖4是依照本發明一實施例所繪示之深度資訊量測裝置的狀態機。
S202~S206‧‧‧本發明一實施例之深度資訊量測方法的步驟
Claims (20)
- 一種深度資訊量測方法,適用於具有光投射裝置、光感測裝置及影像擷取裝置的電子裝置,該方法包括下列步驟: 利用該光投射裝置投射具有一掃描圖像的結構光以掃描至少一物體,並利用該光感測裝置偵測所述物體的反射光,以根據該反射光的反射圖像的形變計算各所述物體的深度資訊; 利用該影像擷取裝置拍攝包括所述物體的影像,以獲取各所述物體的位置資訊,並根據該位置資訊的變化,找出所述物體中的至少一移動物體;以及 根據所述移動物體所在區域,調整該結構光的掃描區域、掃描頻率、掃描解析度、該掃描圖像及掃描所得資料的處理順序的至少其中之一,據以計算各所述物體的該深度資訊。
- 如申請專利範圍第1項所述的方法,其中根據該位置資訊的變化,找出所述物體中的移動物體的步驟更包括: 結合各所述物體的該位置資訊及該深度資訊為三維空間資訊;以及 根據該三維空間資訊的變化,找出所述移動物體。
- 如申請專利範圍第1項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一的步驟包括: 控制該光投射裝置增加投射於所述移動物體所在區域的該結構光的該掃描頻率或該掃描解析度。
- 如申請專利範圍第3項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一的步驟更包括: 控制該光投射裝置停止投射該結構光於所述移動物體所在區域以外的其他區域。
- 如申請專利範圍第3項所述的方法,其中控制該光投射裝置增加投射於所述移動物體所在區域的該結構光的該掃描頻率的步驟包括: 針對所述移動物體所在區域額外執行一次掃描,並控制該光投射裝置增加該次掃描中投射於所述移動物體所在區域的該結構光的該掃描解析度。
- 如申請專利範圍第1項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一的步驟包括: 控制該光投射裝置僅投射該結構光於所述移動物體所在區域,並維持所投射該結構光的該掃描頻率。
- 如申請專利範圍第1項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一,據以計算各所述物體的該深度資訊的步驟包括: 優先處理該反射圖像中所述移動物體所在區域的資料,以計算所述移動物體的所述深度資訊。
- 如申請專利範圍第1項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一,據以計算各所述物體的該深度資訊的步驟包括: 根據所述移動物體的位置及大小,控制該光投射裝置增加所投射該結構光的該掃描解析度;以及 優先處理該反射圖像中所述移動物體所在區域的資料,以計算所述移動物體的所述深度資訊。
- 如申請專利範圍第1項所述的方法,其中調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一的步驟包括: 合併相鄰的所述移動物體所在區域,據以調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一。
- 如申請專利範圍第1項所述的方法,其中在調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一的步驟之後,更包括: 持續偵測所述移動物體,並在未偵測到所述移動物體的時間超過預設時間時,結束調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一。
- 一種深度資訊量測裝置,包括: 光投射裝置,投射具有一掃描圖像的結構光以掃描至少一物體; 光感測裝置,偵測所述物體的反射光; 影像擷取裝置,拍攝包括所述物體的影像;以及 處理器,耦接該光投射裝置、該光感測裝置及該影像擷取裝置,控制該光投射裝置投射該結構光,並控制該光感測裝置偵測該反射光,以根據該反射光的反射圖像的形變計算各所述物體的深度資訊,其中 該處理器利用所述影像獲取各所述物體的位置資訊,並根據該位置資訊的變化,找出所述物體中的至少一移動物體;以及 該處理器根據所述移動物體所在區域,調整該光投射裝置所投射之該結構光的掃描區域、掃描頻率、掃描解析度、該掃描圖像及掃描所得資料的處理順序的至少其中之一。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括結合各所述物體的該位置資訊及該深度資訊為三維空間資訊,並根據該三維空間資訊的變化,找出所述移動物體。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括控制該光投射裝置增加投射於所述移動物體所在區域的該結構光的該掃描頻率或該掃描解析度。
- 如申請專利範圍第13項所述的裝置,其中該處理器更控制該光投射裝置停止投射該結構光於所述移動物體所在區域以外的其他區域。
- 如申請專利範圍第13項所述的裝置,其中該處理器包括控制該光投射裝置針對所述移動物體所在區域額外執行一次掃描,並控制該光投射裝置增加該次掃描中投射於所述移動物體所在區域的該結構光的該掃描解析度。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括控制該光投射裝置僅投射該結構光於所述移動物體所在區域,並維持所投射該結構光的該掃描頻率。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括優先處理該反射圖像中所述移動物體所在區域的資料,以計算所述移動物體的所述深度資訊。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括根據所述移動物體的位置及大小,控制該光投射裝置增加所投射該結構光的該掃描解析度,並優先處理該反射圖像中所述移動物體所在區域的資料,以計算所述移動物體的所述深度資訊。
- 如申請專利範圍第11項所述的裝置,其中該處理器包括合併相鄰的所述移動物體所在區域,據以調整該光投射裝置所投射之該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一。
- 如申請專利範圍第11項所述的裝置,其中該處理器更持續偵測所述移動物體,並在未偵測到所述移動物體的時間超過預設時間時,結束調整該結構光的該掃描區域、該掃描頻率、該掃描解析度、該掃描圖像及掃描所得資料的該處理順序的至少其中之一。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105115425A TWI585436B (zh) | 2016-05-19 | 2016-05-19 | 深度資訊量測方法及裝置 |
CN201610352046.9A CN107424186B (zh) | 2016-05-19 | 2016-05-25 | 深度信息测量方法及装置 |
US15/231,796 US10008001B2 (en) | 2016-05-19 | 2016-08-09 | Method and apparatus for measuring depth information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105115425A TWI585436B (zh) | 2016-05-19 | 2016-05-19 | 深度資訊量測方法及裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI585436B TWI585436B (zh) | 2017-06-01 |
TW201741685A true TW201741685A (zh) | 2017-12-01 |
Family
ID=59688225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW105115425A TWI585436B (zh) | 2016-05-19 | 2016-05-19 | 深度資訊量測方法及裝置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10008001B2 (zh) |
CN (1) | CN107424186B (zh) |
TW (1) | TWI585436B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI725522B (zh) * | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
TWI786403B (zh) * | 2020-05-14 | 2022-12-11 | 瑞士商Ams國際有限公司 | 光學接近性感測器模組及包含該模組的設備,以及減少顯示螢幕之失真的方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107944422B (zh) * | 2017-12-08 | 2020-05-12 | 业成科技(成都)有限公司 | 三维摄像装置、三维摄像方法及人脸识别方法 |
WO2019113968A1 (zh) * | 2017-12-15 | 2019-06-20 | 深圳配天智能技术研究院有限公司 | 基于图像内容的投射结构光方法、深度检测方法及结构光投射装置 |
CN109978932B (zh) * | 2017-12-27 | 2023-03-21 | 宁波舜宇光电信息有限公司 | 利用结构光获取检测对象的深度信息的***和方法 |
US11061234B1 (en) * | 2018-02-01 | 2021-07-13 | Facebook Technologies, Llc | Depth camera assembly based on near infra-red illuminator |
CN109059795B (zh) * | 2018-06-29 | 2020-11-03 | 歌尔光学科技有限公司 | 深度测量方法、深度测量装置及拍摄设备 |
CN110687516B (zh) * | 2018-07-06 | 2022-10-04 | 江苏慧光电子科技有限公司 | 光束扫描的控制方法、装置、***及相应的介质 |
TWI668411B (zh) * | 2018-10-12 | 2019-08-11 | 國立交通大學 | 位置檢測方法及其電腦程式產品 |
CN109819238B (zh) * | 2019-02-22 | 2021-06-22 | 北京旷视科技有限公司 | Tof图像采集模块的工作频率调节方法、装置和电子*** |
CN110430415A (zh) * | 2019-03-26 | 2019-11-08 | 华为技术有限公司 | 一种物体深度信息的确定方法、电子设备和电路*** |
US11340456B1 (en) | 2019-05-22 | 2022-05-24 | Facebook Technologies, Llc | Addressable crossed line projector for depth camera assembly |
CN110430406A (zh) * | 2019-08-05 | 2019-11-08 | 歌尔股份有限公司 | 深度图像生成方法、装置、设备及计算机可读存储介质 |
US11698457B2 (en) * | 2019-09-04 | 2023-07-11 | Pixart Imaging Inc. | Object detecting system and object detecting method |
JPWO2021065138A1 (zh) * | 2019-10-01 | 2021-04-08 | ||
TWI755697B (zh) * | 2020-03-19 | 2022-02-21 | 澔鴻科技股份有限公司 | 倉儲與貨運用的飛時測距辨識系統及其辨識方法 |
CN113341737B (zh) * | 2021-05-18 | 2023-11-10 | 珠海格力电器股份有限公司 | 智能家居设备的控制方法、***、装置、设备及存储介质 |
CN116593282B (zh) * | 2023-07-14 | 2023-11-28 | 四川名人居门窗有限公司 | 一种基于结构光的玻璃抗冲击反应测试***及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3642051A1 (de) * | 1985-12-10 | 1987-06-11 | Canon Kk | Verfahren zur dreidimensionalen informationsverarbeitung und vorrichtung zum erhalten einer dreidimensionalen information ueber ein objekt |
US7274800B2 (en) * | 2001-07-18 | 2007-09-25 | Intel Corporation | Dynamic gesture recognition from stereo sequences |
TWI435051B (zh) | 2011-03-15 | 2014-04-21 | Largan Precision Co Ltd | 位置及深度之檢出裝置及其方法 |
TWI465960B (en) * | 2011-08-30 | 2014-12-21 | Three-dimensional human interface system and method thereof | |
CN103345301B (zh) * | 2013-06-18 | 2016-08-10 | 华为技术有限公司 | 一种深度信息获取方法和装置 |
TWI536206B (zh) * | 2013-11-05 | 2016-06-01 | 緯創資通股份有限公司 | 操作體的定位方法及裝置以及深度判定方法及裝置 |
KR102159994B1 (ko) * | 2014-01-22 | 2020-09-25 | 삼성전자주식회사 | 티오에프 카메라 장치 및 이의 구동 방법 |
CN103942802A (zh) * | 2014-04-29 | 2014-07-23 | 西安电子科技大学 | 基于随机模板的结构光动态场景深度获取方法 |
CN105069789B (zh) * | 2015-08-05 | 2018-03-06 | 西安电子科技大学 | 基于编码网格模板的结构光动态场景深度获取方法 |
-
2016
- 2016-05-19 TW TW105115425A patent/TWI585436B/zh active
- 2016-05-25 CN CN201610352046.9A patent/CN107424186B/zh active Active
- 2016-08-09 US US15/231,796 patent/US10008001B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI725522B (zh) * | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
TWI786403B (zh) * | 2020-05-14 | 2022-12-11 | 瑞士商Ams國際有限公司 | 光學接近性感測器模組及包含該模組的設備,以及減少顯示螢幕之失真的方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170337702A1 (en) | 2017-11-23 |
CN107424186A (zh) | 2017-12-01 |
US10008001B2 (en) | 2018-06-26 |
TWI585436B (zh) | 2017-06-01 |
CN107424186B (zh) | 2020-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI585436B (zh) | 深度資訊量測方法及裝置 | |
JP6299983B2 (ja) | 複数の光源を有するモーションセンサ装置 | |
US10277889B2 (en) | Method and system for depth estimation based upon object magnification | |
EP2571257B1 (en) | Projector device and operation detecting method | |
KR101331543B1 (ko) | 스페클 패턴을 이용한 3차원 센싱 | |
TWI476364B (zh) | 感測方法與裝置 | |
US9900500B2 (en) | Method and apparatus for auto-focusing of an photographing device | |
JP6302414B2 (ja) | 複数の光源を有するモーションセンサ装置 | |
JP2020511685A (ja) | 焦点合わせの方法、端末、およびコンピュータ可読記憶媒体 | |
US9648223B2 (en) | Laser beam scanning assisted autofocus | |
US10630890B2 (en) | Three-dimensional measurement method and three-dimensional measurement device using the same | |
JP2015049200A (ja) | 計測装置、方法及びプログラム | |
WO2022050279A1 (ja) | 三次元計測装置 | |
KR20140134498A (ko) | 이미징 시스템 및 그것의 자동초점 방법 | |
US10073614B2 (en) | Information processing device, image projection apparatus, and information processing method | |
US9342164B2 (en) | Motion detecting device and the method for dynamically adjusting image sensing area thereof | |
EP4071578A1 (en) | Light source control method for vision machine, and vision machine | |
TW201833510A (zh) | 物體尺寸計算系統 | |
JP3382346B2 (ja) | 撮像装置 | |
TW201710772A (zh) | 影像擷取裝置及方法 | |
TW201642008A (zh) | 影像擷取裝置及其動態對焦方法 | |
JP2015207862A (ja) | 撮像装置および撮像方法 | |
JP2023047715A (ja) | 撮像システム、撮像方法及びプログラム | |
TWI547849B (zh) | 光學感測電子裝置及光學感測方法 | |
KR20230155967A (ko) | 거리정보 생성 장치 및 방법 |