TWI591584B - 三維感測方法與三維感測裝置 - Google Patents

三維感測方法與三維感測裝置 Download PDF

Info

Publication number
TWI591584B
TWI591584B TW101150246A TW101150246A TWI591584B TW I591584 B TWI591584 B TW I591584B TW 101150246 A TW101150246 A TW 101150246A TW 101150246 A TW101150246 A TW 101150246A TW I591584 B TWI591584 B TW I591584B
Authority
TW
Taiwan
Prior art keywords
image
interest
region
resolution
processed
Prior art date
Application number
TW101150246A
Other languages
English (en)
Other versions
TW201426638A (zh
Inventor
羅文秀
陳加珍
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW101150246A priority Critical patent/TWI591584B/zh
Priority to CN201310056466.9A priority patent/CN103903222B/zh
Priority to US13/861,403 priority patent/US9230330B2/en
Publication of TW201426638A publication Critical patent/TW201426638A/zh
Application granted granted Critical
Publication of TWI591584B publication Critical patent/TWI591584B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

三維感測方法與三維感測裝置
本揭露是有關於一種可動態調整影像感測區域與解析度的三維感測方法及其三維感測裝置。
現有影像感測器發展相當成熟，但僅能取得二維影像資訊，因此如何有效、高速且高解析度的取得其第三維(即深度)的資訊一直是技術發展上的課題。由於深度影像提供更完整的空間影像資訊，因此可以用來設計作為3D(three dimensional)互動遊戲、互動瀏覽裝置操作介面。其次，在安全影像監控、機器人視覺及醫療影像應用上也有相當的發展潛力。2010年底，微軟正式發表新世代體感遊戲裝置Kinect，採用人體動作為遊戲的互動媒介，其中就是以深度感測器為主要核心元件。以目前發展來說，手勢與人體互動介面相關技術與應用已掀起一波熱潮。
隨著製造技術的進步，極高解析度的影像擷取裝置例如相機、攝影機等已經很容易取得。但是受限於影像的傳輸速率與影像處理速度，想要以高解析度影像擷取裝置，進行即時高解析度3D量測，還是非常困難。更詳細地說，深度量測的精確度是由量測範圍與影像擷取裝置的影像解析度兩項因素所決定。因此，量測範圍愈小，精確度愈高，但是量測範圍過小，會造成使用上的限制。另一方面，影像解析度愈高，精確度雖然愈高，但是資料量卻大幅增加， 易造成影像處理資源過高、反應速率大幅降低與傳輸延遲等問題。因此，在運算資源有限的情況下，如何兼顧量測精確度與運算處理速度，並且可動態調整影像感測區域與解析度，是即時高解析度3D量測的一重要課題。
本揭露提供一種三維感測方法及其三維感測裝置，在兼顧量測精確度與運算處理速度的前提下，達成可動態調整量測範圍的高解析度三維量測。
本揭露提出一種三維感測方法，適於對第一待處理影像與第二待處理影像進行深度影像運算，其中第一與第二待處理影像的解析度為M×N。三維感測方法包括下列步驟。先對第一與第二待處理影像進行解析度縮放(Resolution scaling)，以產生縮放後的第一影像與第二影像。其中，縮放後的第一與第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數。接著，對縮放後的第一與第二影像進行全景三維量測，以獲得全景深度影像。並且，分析此全景深度影像以分別設定產生第一與第二待處理影像之影像擷取裝置的第一興趣區域(Region of interest)與第二興趣區域。再依據第一與第二興趣區域分別獲取第一興趣區域影像與第二興趣區域影像，據以進行局部三維量測後產生局部深度影像。
本揭露另提出一種三維感測裝置，其包括投光裝置、影像擷取裝置以及影像處理單元。其中，投光裝置用以投 射投影圖案到被測物上，其中投光裝置作為虛擬影像擷取裝置，以投影圖案的本源影像(inherent image)作為虛擬的第一待處理影像。影像擷取裝置用以感測投影到被測物上的投影圖案，以產生真實的第二待處理影像，其中第一與第二待處理影像的解析度為M×N。影像處理單元耦接投光裝置與影像擷取裝置。影像處理單元對第一與第二待處理影像進行解析度縮放以產生縮放後的第一影像與第二影像。縮放後的第一與第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數。影像處理單元對縮放後的第一與第二影像進行全景三維量測，以獲得全景深度影像。影像處理單元分析全景深度影像以分別設定投光裝置的第一興趣區域與影像擷取裝置的第二興趣區域。最後，影像處理單元對第一興趣區域影像與第二興趣區域影像進行局部三維量測，以產生局部深度影像。
本揭露又提出一種三維感測裝置，其包括投光裝置、第一與第二影像擷取裝置以及影像處理單元。其中，投光裝置用以投射投影圖案到被測物上。第一與第二影像擷取裝置分別感測投射到被測物上的投影圖案，以產生第一待處理影像與第二待處理影像，其中第一與第二待處理影像的解析度為M×N。影像處理單元耦接至投光裝置、第一與第二影像擷取裝置。影像處理單元對第一與第二待處理影像進行解析度縮放以產生縮放後的第一影像與第二影像。縮放後的第一與第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數。影像處理單元對縮放 後的第一與第二影像進行全景三維量測，以獲得全景深度影像。影像處理單元並分析全景深度影像以分別設定第一與第二影像擷取裝置中的第一興趣區域與第二興趣區域。最後，影像處理單元對第一興趣區域影像與第二興趣區域影像進行局部三維量測，以產生局部深度影像。
基於上述，本揭露提出一種三維感測方法及其三維感測裝置，利用解析度縮放與興趣區域的設定方法，達成高速、高解析度並且可動態調整量測範圍的數位變焦三維感測方法與裝置。
為讓本揭露之上述特徵和優點能更明顯易懂，下文特舉實施範例，並配合所附圖式作詳細說明如下。
本揭露藉由結合解析度縮放(Resolution scaling)與興趣區域(Region of interest)設定方法，提供一種可動態調整取像範圍之三維感測方法及其裝置，因此能夠在維持高速運算下，於大範圍內區域(global area)進行低解析度深度量測或是在特定小範圍區域(local area)進行高解析度深度量測。同時透過本揭露所提出的校正、量測方法，利用座標轉換和雙影像擷取裝置，達成類似數位變焦深度攝影機的三維量測功能。為了使本揭露之內容更為明瞭，以下列舉實施例作為本揭露確實能夠據以實施的範例。所提出的實施例僅作為解說之用，並非用來限定本揭露的申請權利範圍。
圖1是根據本揭露一範例實施例所繪示之三維感測裝置之架構示意圖。請參照圖1，本範例實施例的三維感測裝置100包括一投光裝置110、至少兩台影像擷取裝置120、130以及一影像處理單元140。投光裝置110例如是光學投影裝置、數位投影裝置等，主要是將隨機分布之散亂光點的投影圖案投射至被測物(在本範例實施例中未繪示)上。此隨機分布之散亂光點圖案可以是預先設計，或者是自動、隨機產生。影像擷取裝置120、130用以擷取將投影圖案投影在被測物後的影像，以分別取得第一待處理影像與第二待處理影像。影像擷取裝置120、130例如是攝影機、單眼相機、數位相機等各種可以用來擷取影像資料的電子裝置。
影像處理單元140為中央處理器、可編程微處理器、數位訊號處理器、可編程控制器、特定應用積體電路、可編程邏輯元件或任何類似元件。影像處理單元140係耦接投光裝置110、影像擷取裝置120、130，以接受及處理由影像擷取裝置120、130所擷取的影像。
圖2是根據本揭露一範例實施例所繪示之解析度縮放與興趣區域之示意圖。請參照圖1與圖2，在此假設影像擷取裝置120、130所擷取的待處理影像的最大影像解析度為M×N。則利用解析度縮放功能可將待處理影像之解析度縮小成m×n，其中m<M、n<N，且M、N、m、n皆為正整數。在解析度縮放處理中雖然解析度降低，但因為可視範圍不變所以可進行大範圍深度量測。另一方面，在設定 興趣區域處理中，影像解析度不變，但影像輸出尺寸(dimension)由M×N變成m×n。在興趣區域處理中雖然可視範圍縮小，但因為影像解析度不變所以可進行高解析度深度量測。
三維感測裝置100在進行量測時，例如皆以m×n的影像解析度進行深度量測，因此影像擷取裝置120、130傳送到影像處理單元140的影像資料皆維持m×n的影像解析度。如此一來，影像處理單元140在傳輸或處理影像資料時，由於影像資料的大小皆維持在指定的範圍內，使得三維感測裝置100在進行深度量測時可以進行高速運算處理。
上述圖1所示之三維感測裝置100係使用兩台影像擷取裝置進行深度量測。然而，在另一範例實施例中，雙影像擷取裝置的其中之一可以是虛擬相機，即，符合針孔模型(Pin-hole model)的投光裝置。
圖3是根據本揭露另一範例實施例所繪示之三維感測裝置之架構示意圖。請參照圖3，本範例實施例的三維感測裝置300包括一投光裝置310、一影像擷取裝置320以及一影像處理單元330。在本範例實施例中，投光裝置310被當做一虛擬影像擷取裝置(或稱為虛擬相機)來使用，其所產生的本源影像(inherent image)作為虛擬的第一待處理影像與影像擷取裝置320所取得的第二待處理影像一併傳送至影像處理單元330，以進行分析進而獲得全景深度影像或局部深度影像。
在進行測量時，投光裝置310有兩個主要用途：一是當做光源，讓實際存在的真實相機(例如影像擷取裝置320)能夠擷取影像；二是製造亮暗或色彩變化，讓真實相機所取得的影像含有豐富的特徵或變化，方便後續的影像分析處理。
更詳細地說，圖4繪示為投光裝置當做虛擬影像擷取裝置時之本源影像與虛擬影像之間的關係示意圖。如圖4所示，以針孔模型描述投光裝置時，在此可以想像此投光裝置相當於一台虛擬相機。虛擬相機的光軸AX及投影中心C，與投光裝置的光軸及投影中心完全一致，故虛擬相機所成像的虛擬影像V(i,j)的位置和影像大小與投光裝置的本源影像H(i,j)完全一致或成比例。也就是說，本源影像即是投光裝置所投射的影像，虛擬相機所取得的影像即是這個影像的數位化版本(在此稱為數位化本源影像)。在本範例實施例中，同樣可將數位化本源影像的解析度設定為最大解析度M×N，以作為第一待處理影像。如此一來，同樣可以對虛擬相機所獲得的數位化本源影像進行解析度縮放和設定興趣區域的操作。
圖5是根據本揭露一範例實施例所繪示之三維感測方法的流程圖。本實施例的方法適用於圖1的三維感測裝置100或圖3的三維感測裝置300。為方便後續說明，以下搭配三維感測裝置300來說明本實施例三維感測方法的詳細步驟：
如步驟S510所述，影像處理單元330對第一待處理 影像與第二待處理影像進行解析度縮放處理，以產生縮放後的第一影像與第二影像。其中，第一待處理影像與第二待處理影像分別是由投光裝置310以及影像擷取裝置320所獲取。第一待處理影像與第二待處理影像的解析度為M×N；縮放後的第一影像與第二影像之解析度為m×n，其中m<M、n<N。換句話說，縮放後的第一與第二影像的解析度低於第一與第二待處理影像的解析度。
在步驟S520中，影像處理單元330對縮放後的第一與第二影像進行全景三維量測，以獲得全景深度影像。也就是說一開始量測時，使用解析度縮放的功能來降低影像的解析度，然後才據以量測深度圖。雖然量測的精確度降低，但是量測範圍不變，且可提升量測速度。
接著，在步驟S530中，影像處理單元330分析全景深度影像以分別設定產生第一待處理影像與第二待處理影像之影像擷取裝置的第一興趣區域與第二興趣區域。詳細地說，影像處理單元330分析全景深度影像來設定投光裝置310的第一興趣區域，並且設定影像擷取裝置320的第一興趣區域。
圖6是根據本揭露一範例實施例所繪示之決定興趣區域之示意圖。請參照圖6，影像610例如是第一待處理影像，影像解析度為M×N，經由解析度縮放以及全景三維量測後得到全景深度影像620。影像處理單元330分析並偵測全景深度影像620中具有特定形狀或指定特徵之區域，以作為關注區域(Interested area)622。再將關注區域622的 影像解析度回復到M×N，藉以設定興趣區域630。其中，興趣區域630的尺寸例如是m×n，興趣區域630必須涵蓋關注區域之圖像。至於如何依據第一興趣區域來設定第二興趣區域的方法則容後詳述。
接著在步驟S540中，投光裝置310依據第一興趣區域的位置獲取第一興趣區域影像，影像擷取裝置320依據第二興趣區域的位置獲取第二興趣區域影像。影像處理單元330利用第一與第二興趣區域影像進行局部三維量測，以獲得局部深度影像。在此步驟中，由於僅針對屬於興趣區域部分的影像區塊進行量測，因此可以得到高精確度的量測效果。
在步驟S550中，則可依實際應用需求進行後續的資料分析處理。若需要再進行下一輪的量測、分析，則重新回到步驟S510。
是以，結合解析度縮放與興趣區域的設定方法，可以用較高的量測速度進行運算，並且快速地在大範圍的影像區域內找到關鍵位置而進行高精確度深度量測。以下則舉實施例說明本揭露之三維感測裝置100、300如何達成數位變焦之功能。
圖7繪示為現有一種機械式三維感測裝置的架構示意圖。請參照圖7，機械式三維感測裝置700是由一個可變焦的深度攝影機710與兩個旋轉軸720、730所組成。可變焦深度攝影機710藉由改變鏡頭焦距以及配合兩個方向的旋轉軸，可以改變量測範圍。舉例來說，虛線D1所示為 深度攝影機710的最大量測範圍；虛線D2所示為深度攝影機710使用一種短焦距進行大範圍量測的低解析度量測範圍；實線D3所示為深度攝影機710使用一種長焦距進行小範圍量測的高解析度量測範圍。
使用如圖7所示的機械式三維感測裝置價格昂貴且笨重。因此，本揭露利用高解析度的影像擷取裝置，使用解析度縮放以及設定興趣區域的方法，可以建構一種電子電路版本的三維量測系統，可用來取代機械式三維感測裝置。
圖8(a)與圖8(b)是根據本揭露一範例實施例所繪示之可數位變焦的影像擷取裝置之實施概念示意圖。首先，可以使用解析度縮放的方法，讓影像擷取裝置的最大視野801成像在不同解析度的影像上，最大視野801的解析度例如是M×N。舉例來說，圖8(a)之第一影像Img1的影像解析度例如是a×b；圖8(b)之第一影像Img1’的影像解析度例如是c×d。其中a>c，b>d，a、b、c、d皆為正整數。接著，分別在圖8(a)之第一影像Img1與圖8(b)之第一影像Img1’中選取相同尺寸的興趣區域Roi1、Roi1’，興趣區域Roi1、Roi1’的尺寸例如是m×n。如圖8(a)與圖8(b)所示，相對於興趣區域Roi1、Roi1’的有效視野803、805會隨著解析度縮放的比例關係而有所不同。
以圖8(a)為例，圖8(a)之第一影像Img1例如是由圖1之影像擷取裝置120(或圖3之投光裝置310)所獲取；圖8(a)之第二影像Img2例如是由圖1之影像擷取裝置130(或圖3之影像擷取裝置320)所獲取。以圖1之三維感測裝置100 為例實行數位變焦深度量測時，讓影像擷取裝置120、130的興趣區域尺寸維持不變。並且讓影像擷取裝置120的興趣區域保持在正中間位置，影像擷取裝置130的興趣區域則偏離正中間一段距離，即像差值(Disparity)，以便擷取的第一影像Img1和第二影像Img2能得到最多的對應點。像差值λ與待測物的深度值有關，可以從全景量測或先前量測結果，配合影像擷取裝置120、130的校正參數估計出來。
依據上述，圖8(a)實現一種高倍率數位變焦深度量測之實施概念；圖8(b)實現一種低倍率數位變焦深度量測之實施概念。使用兩個影像擷取裝置之興趣區域內的影像進行三維量測，藉由變化不同的解析度縮放比例，即可達成數位變焦深度量測的功能。如本範例實施例藉由改變第一個影像擷取裝置之興趣區域的位置，並同時改變第二個影像擷取裝置之興趣區域的對應位置，等同於圖7所示使用兩個旋轉軸720、730來改變量測位置之功效。
以下則詳細說明經解析度縮放或設定興趣區域後的第一、第二影像(解析度為m×n)與第一、第二待處理影像(解析度為M×N)之間的座標轉換關係。假設(x,y)是第一、第二待處理影像上任一點的座標，經過解析度縮放之後，在縮放後的第一、第二影像上的對應座標是(x’,y’)，兩者間的關係如下：X=αX' y=βy' (1)
其中，α是解析度縮放的水平縮放倍率、β是解析度縮放的垂直縮放倍率，α=M/m，β=N/n。其中當該水平縮 放倍率相同於該垂直縮放倍率時，α=β，其中當該水平縮放倍率不同於該垂直縮放倍率時，α≠β。
另一方面，假設(x,y)是第一、第二待處理影像上任一點的座標，設定興趣區域之後，在第一、第二影像上的對應座標是(x”,y”)，兩者間的關係如下：x=x"+τ x y=y"+τ y (2)
其中，(τ x ,τ y )是興趣區域原點B與待處理影像原點A之間的位移量(如圖2所示)。
圖9是現有一種雙相機三維感測方法的流程圖。運用圖9之三維感測方法的雙相機之影像解析度與視野大小都維持不變。首先第一、第二待處理影像經過反扭曲修正(anti-distortion correction)，將相機的各種影像扭曲效應消除，成為符合針孔模式的理想影像(步驟S910)。在本範例實施例中，假設(x,y)是原始影像上任一點的座標，進行反扭曲修正後，新的座標成為(x’,y’)，兩者間的關係如下：x'=Φ x (x,y) y'=Φ y (x,y) (3)
其中Φ x ,Φ y 是反扭曲修正函數。本領域具通常知識者可以採用任何的相機鏡頭反扭曲修正函數來進行反扭曲補償。
進行扭曲補償校正後，第一、第二影像再個別進行影像轉正(Image rectification)，讓兩張影像上的對應點落在同一個水平線上(步驟S920)。影像轉正例如是以兩個3×3的矩陣H1、H2轉換來達成，其中H1是第一個相機的轉正矩 陣(Rectification matrix)，H2是第二個相機的轉正矩陣。反扭曲修正和影像轉正都是單純的影像座標轉換，因此兩者可以整合成一個複合轉換函式。在本範例實施例中，假設(x1,y1)、(x2,y2)分別是第一和第二待處理影像上任一點的座標，經過反扭曲修正和影像轉正後，新的座標分別成為(x’1,y’1)、(x’2,y’2)，兩者間的關係如下：x'1=Ψ1 x (x 1,y 1) y'1=Ψ1 y (x 1,y 1) x'2=Ψ2 x (x 2,y 2) y'2=Ψ2 y (x 2,y 2) (4)
其中Ψ1，Ψ2分別是第一和第二待處理影像的複合轉換函式。兩張影像經過轉正後，即可進行立體影像比對(Stereo matching)，以找出在兩張影像上的對應點(步驟S930)。找到兩張影像上的對應點後，使用兩個相機的三維參數，可以計算出三維座標點的位置(步驟S940)。兩個相機的三維參數例如可以用兩個3×4的矩陣P1、P2來表示，其中P1是第一個相機的投影矩陣(Projection matrix)，P2是第二個相機的投影矩陣。將第一影像的任一點(x1,y1)，和它在第二影像的對應點(x2,y2)，分別代入投影矩陣P1、P2中，即可算出此點的三維座標。以第一影像為基準，只要每個像素點都找出在第二影像中的對應點，就可計算出每個像素點的深度值，從而產生一張深度影像。
圖10是根據本揭露另一範例實施例所繪示之三維感測方法的流程圖。與圖9不同的是，運用圖10之三維感測方法的雙相機之影像解析度與視野大小都可以改變。其中在此所指的雙相機例如是圖1所示的影像擷取裝置120、 130；或者是圖3所示的投光裝置310(作為虛擬相機)及影像擷取裝置320。雙相機之設定端視實際應用需求而定，在此不限制。
在進行實際的深度量測時，雙相機必須先經過校正，以取得三維量測所需的相機三維參數。在進行校正時，先分別將兩個相機的解析度設定成最大解析度M×N，在此解析度下利用現有的相機校正方法，產生反扭曲修正(anti-distortion correction)、影像轉正(Image rectification)、以及相機三維參數。使用雙相機所能設定的最大解析度M×N進行校正，可以獲得最大的校正精確度。並且，在解析度縮放或設定興趣區域後所取得的m×n影像，其影像座標可以由前述範例實施例所述的影像座標轉換方法，轉換回對應至M×N影像的座標。據此，雙相機僅須以最大解析度M×N校正一次，之後，就可使用此校正參數進行後續的影像轉換與三維座標計算。
請參照圖10，在本範例實施例中，是以設定興趣區域之操作來進行三維感測，因此先依據第一待處理影像來設定第一相機的興趣區域(步驟S1001)。如圖6所示，先分析低解析度全景量測的景深圖來選取關注區域，再依據關注區域來設定第一相機的興趣區域。
圖11是根據本揭露另一範例實施例所繪示之設定興趣區域的示意圖。在本範例實施例中，假設在第一待處理影像中的興趣區域的原點是(x1,y1)，影像尺寸是m×n。經過第一相機的反扭曲修正和影像轉正的複合轉換函式Ψ1之 後，(x1,y1)的新座標變為(x’1,y’1)。假設經過第二個相機的反扭曲修正和影像轉正的複合轉換函式Ψ2之後，(x’1,y’1)的影像對應點是(x’2,y’2)。因為第一、第二相機都經過影像轉正，所以兩個相機的影像對應點位於同一水平線。(x’1,y’1)與(x’2,y’2)的關係如下所示：x'2=x'1+λ y'2=y'1 (5)
其中，λ是像差值，與(x1,y1)的深度值有關，是個未知量，可以從先前低解析度全景量測的量測結果，得到大約的估計值。圖12是根據本揭露另一範例實施例所繪示之依據像差設定興趣區域的示意圖。如圖12所示，一個待測物因其深度值的不同，在第一、第二影像上會呈現不同程度的位移量，即像差值(disparity)。若像差值λ估計不當，會使得第二相機的興趣區域無法完整涵蓋待測物，使得量測結果不完整。需注意的是，像差值λ的估計不需要很精確，只要讓第二相機的興趣區域涵蓋整個待測物即可。再請參照圖11，得到了適當的(x’2,y’2)數值後，經過第二相機的逆向複合轉換(Ψ2)-1，可以得到其在第二待處理影像上的座標位置(x2,y2)，如下所示：x 2=(Ψ2)-1 x (x'2,y'2) y 2=(Ψ2)-1 y (x'2,y'2) (6)
接著便可將座標(x2,y2)設定為第二相機的興趣區域原點，其中興趣區域的影像尺寸同樣是m×n(步驟S1003)。
回到圖10，在第一、第二相機都設定好興趣區域之 後，每次量測時只需要取出影像尺寸為m×n的興趣區域影像(步驟S1005)。將這些影像利用式(2)來進行影像座標轉換之後(步驟S1007)，即可使用解析度為M×N的第一、第二待處理影像的校正參數，來進行反扭曲修正和影像轉正的複合影像轉換，以產生新的影像尺寸為m×n的影像(步驟S1009、S1011)。針對兩張影像尺寸為m×n的新影像，使用立體影像比對(Stereo matching)找到對應點(步驟S1013)。再將兩張影像上的對應點利用式(2)進行座標轉換(步驟S1015)，就可以使用解析度為M×N的待處理影像的校正參數來計算三維座標(步驟S1017)，最後產生影像尺寸為m×n的局部深度圖。本範例實施例之步驟S1009、S1011、S1013、S1017分別與圖9之實施例之步驟S910、S920、S930、S940相同或類似，故在此不贅述其實施細節。
為了說明方便，前文中在解析度縮放和興趣區域所設定的影像尺寸都是m×n。實際上，兩者的影像尺寸可為不同。同時在實際量測時，m與n的數值也不須要固定不變，可以根據實際應用需求來選取適當的數值。
圖10所描述的三維感測方法，也可以適用於解析度縮放和興趣區域同時運用的範例實施例。例如，以α的縮放倍率對解析度為M×N的影像進行解析度縮放，新的影像解析度成為M’×N’。然後再設定興趣區域，(τ x ,τ y )例如是興趣區域原點與解析度為M’×N’影像原點之間的位移量，其中興趣區域尺寸為m×n。假設(x,y)是解析度為M×N影像上任一點的座標，在解析度縮放和興趣區域的設定操 作之後，(x,y)在尺寸為m×n影像上的對應座標是(x’,y’)，兩者間的關係如下：x=α(x'+τ x ) y=α(y'+τ y ) (7)
只要使用式(7)進行座標轉換，同樣可以使用如圖10所述的方法流程進行三維感測。
綜上所述，本揭露之三維感測方法及其三維感測裝置，藉由使用解析度縮放(Resolution scaling)與興趣區域(Region of interest)的設定操作方法，達成可動態調整取像範圍與解析度的深度影像運算機制。因此，本揭露能夠在維持高速運算下，於大範圍區域內進行深度影像運算或是在特定小範圍區域進行高解析度量測。同時，透過本揭露之校正、量測方法，利用座標轉換和標準的雙相機量測機制，可達成類似數位變焦深度攝影機的三維量測功能。
雖然本揭露已以實施範例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，故本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100、300‧‧‧三維感測裝置
110、310‧‧‧投光裝置
120、130、320‧‧‧影像擷取裝置
140、330‧‧‧影像處理單元
610‧‧‧影像
620‧‧‧全景深度影像
622‧‧‧關注區域
630、Roi1、Roi2、Roi1’、Roi2’、1101‧‧‧興趣區域
700‧‧‧機械式三維感測裝置
710‧‧‧可變焦深度攝影機
720、730‧‧‧旋轉軸
801‧‧‧最大視野
803、805‧‧‧有效視野
A‧‧‧待處理影像原點
B‧‧‧興趣區域原點
C‧‧‧投影中心
D1‧‧‧最大量測範圍
D2‧‧‧低解析度量測範圍
D3‧‧‧高解析度量測範圍線
AX‧‧‧光軸
λ‧‧‧像差值
Img1、Img1’‧‧‧第一影像
(τ x ,τ y )‧‧‧位移量
V(i,j)‧‧‧虛擬影像
H(i,j)‧‧‧本源影像
S510~S550‧‧‧一範例實施例之三維感測方法的各步驟
S910~S940‧‧‧現有一種三維感測方法的各步驟
S1001~S1017‧‧‧另一範例實施例之三維感測方法的各步驟
圖1是根據本揭露一範例實施例所繪示之三維感測裝置之架構示意圖。
圖2是根據本揭露一範例實施例所繪示之解析度縮放與興趣區域之示意圖。
圖3是根據本揭露另一範例實施例所繪示之三維感測裝置之架構示意圖。
圖4繪示為投光裝置當做虛擬影像擷取裝置時之本源影像與虛擬影像之間的關係示意圖。
圖5是根據本揭露一範例實施例所繪示之三維感測方法的流程圖。
圖6是根據本揭露一範例實施例所繪示之決定興趣區域之示意圖。
圖7繪示為現有一種機械式三維感測裝置的架構示意圖。
圖8(a)與圖8(b)是根據本揭露一範例實施例所繪示之可數位變焦的影像擷取裝置之實施概念示意圖。
圖9是現有一種雙相機三維感測方法的流程圖。
圖10是根據本揭露另一範例實施例所繪示之三維感測方法的流程圖。
圖11是根據本揭露另一範例實施例所繪示之設定興趣區域的示意圖。
圖12是根據本揭露另一範例實施例所繪示之依據像差設定興趣區域的示意圖。
S510~S550‧‧‧三維感測方法之各步驟

Claims (19)

  1. 一種三維感測方法，適於對一第一待處理影像與一第二待處理影像進行深度影像運算，其中該第一與該第二待處理影像的解析度為M×N，該三維感測方法包括：對該第一與該第二待處理影像進行一解析度縮放，以產生縮放後的一第一影像與一第二影像，其中，縮放後的該第一與該第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數；對縮放後的該第一與該第二影像進行全景三維量測，以獲得一全景深度影像；分析該全景深度影像以分別設定產生該第一與該第二待處理影像之影像擷取裝置的一第一興趣區域與一第二興趣區域；以及依據該解析度縮放的比例還原該全景深度影像中的該第一與該第二興趣區域，以分別獲取一第一與一第二興趣區域影像，並對該第一與該第二興趣區域影像進行局部三維量測，以產生一局部深度影像。
  2. 如申請專利範圍第1項所述之三維感測方法，其中分析該全景深度影像以分別設定產生該第一與該第二待處理影像之影像擷取裝置的該第一與該第二興趣區域的步驟包括：分析並偵測縮放後的該第一影像中具有一特定形狀或一指定特徵之區域，以作為一關注區域；以及依據該關注區域分別設定對應的該第一與該第二興 趣區域，其中該第一與該第二興趣區域涵蓋該關注區域。
  3. 如申請專利範圍第2項所述之三維感測方法，其中依據該關注區域分別設定對應的該第一與該第二興趣區域的步驟更包括：依據該第一興趣區域與一像差值來對應設定該第二興趣區域。
  4. 如申請專利範圍第1項所述之三維感測方法，其中在進行局部三維量測的步驟之前更包括：先分別對該第一興趣區域影像與該第二興趣區域影像進行一座標轉換；以及對進行該座標轉換後的該第一與該第二興趣區域影像進行一反扭曲修正及一影像轉正後，產生一第一修正後影像與一第二修正後影像，藉以對該第一與該第二修正後影像進行局部三維量測。
  5. 如申請專利範圍第4項所述之三維感測方法，其中該座標轉換是指依據該解析度縮放的比例關係進行一座標點的縮放。
  6. 如申請專利範圍第5項所述之三維感測方法，其中該第一或該第二興趣區域影像中的座標為(x’,y’)，該座標轉換如下：x=α x’，α=M/m；y=β y’，β=N/n；其中，(x,y)是對應至該第一或該第二待處理影像的座標，α是該解析度縮放的一水平縮放倍率，β是該解析度 縮放的一垂直縮放倍率。
  7. 如申請專利範圍第6項所述之三維感測方法，其中當該水平縮放倍率相同於該垂直縮放倍率時，α=β，其中當該水平縮放倍率不同於該垂直縮放倍率時，α≠β。
  8. 如申請專利範圍第4項所述之三維感測方法，其中該第一或該第二興趣區域影像的座標為(x”,y”)，該座標轉換如下：x=x”+τx，y=y”+τy，其中，(x,y)是對應至該第一或該第二待處理影像的座標，(τx,τy)是該第一或該第二興趣區域影像的座標原點與該第一或該第二待處理影像的座標原點之間的位移量。
  9. 一種三維感測裝置，包括：一投光裝置，用以投射一投影圖案到一被測物上，其中該投光裝置作為一虛擬影像擷取裝置，以該投影圖案的一本源影像作為虛擬的一第一待處理影像；一影像擷取裝置，感測投影到該被測物上的該投影圖案，以產生真實的一第二待處理影像，其中該第一與該第二待處理影像的解析度為M×N；以及一影像處理單元，耦接該投光裝置與該影像擷取裝置，該影像處理單元對該第一與該第二待處理影像進行一解析度縮放以產生縮放後的一第一影像與一第二影像，其中，縮放後的該第一與該第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數， 其中，該影像處理單元對縮放後的該第一與該第二影像進行全景三維量測，以獲得一全景深度影像，並分析該全景深度影像以分別設定該投光裝置的一第一興趣區域與該影像擷取裝置的一第二興趣區域，該影像處理單元對一第一興趣區域影像與一第二興趣區域影像依據該解析度縮放的比例進行解析度還原，以獲取一第一與一第二興趣區域影像，並對該第一與該第二興趣區域影像進行局部三維量測，以產生一局部深度影像。
  10. 如申請專利範圍第9項所述之三維感測裝置，其中：該影像處理單元偵測縮放後的該第一影像中具有一特定形狀或一指定特徵之區域，決定縮放後的該第一影像中的一關注區域，並且依據該關注區域分別設定該投光裝置的該第一興趣區域與該影像擷取裝置的該第二興趣區域。
  11. 如申請專利範圍第10項所述之三維感測裝置，其中該影像處理單元更依據該第一興趣區域與一像差值來對應設定該第二興趣區域。
  12. 如申請專利範圍第9項所述之三維感測裝置，其中該投光裝置依據該第一興趣區域取得該第一興趣區域影像，該影像擷取裝置依據該第二興趣區域取得該第二興趣區域影像：該影像處理單元轉換該第一興趣區域影像與該第二興趣區域影像的座標，並且對座標轉換後的該第一與該第 二興趣區域影像進行一反扭曲修正以及一影像轉正，以產生一第一修正後影像與一第二修正後影像。
  13. 如申請專利範圍第12項所述之三維感測裝置，其中：該影像處理單元依據該解析度縮放的比例關係進行一座標點的縮放。
  14. 如申請專利範圍第13項所述之三維感測裝置，其中該第一或該第二興趣區域影像中的座標為(x’,y’)，該座標轉換如下：x=α x’，α=M/m；y=β y’，β=N/n；其中，(x,y)是對應至該第一或該第二待處理影像的座標，α是該解析度縮放的一水平縮放倍率，β是該解析度縮放的一垂直縮放倍率。
  15. 如申請專利範圍第13項所述之三維感測裝置，其中該第一或該第二興趣區域影像的座標為(x”,y”)，該座標轉換如下：x=x”+τx，y=y”+τy，其中，(x,y)是對應至該第一或該第二待處理影像的座標，(τx,τy)是該第一或該第二興趣區域影像的座標原點與該第一或該第二待處理影像的座標原點之間的位移量。
  16. 如申請專利範圍第12項所述之三維感測裝置，其中： 該影像處理單元更將該反扭曲修正與該影像轉正整合為一複合影像轉換，將該第一與該第二興趣區域影像進行該複合影像轉換後，以產生該第一修正後影像與該第二修正後影像。
  17. 如申請專利範圍第9項所述之三維感測裝置，其中該投光裝置所投射的該投影圖案為預先設計或隨機產生。
  18. 如申請專利範圍第9項所述之三維感測裝置，其中該投光裝置所投射的該投影圖案為隨機分布的散亂光點圖案。
  19. 一種三維感測裝置，包括：一投光裝置，用以投射一投影圖案到一被測物上；一第一與一第二影像擷取裝置，分別感測投射到該被測物上的該投影圖案，以產生一第一待處理影像與一第二待處理影像，其中該第一與該第二待處理影像的解析度為M×N；以及一影像處理單元，耦接該投光裝置與該第一與該第二影像擷取裝置，該影像處理單元對該第一與該第二待處理影像進行一解析度縮放以產生縮放後的一第一影像與一第二影像，其中，縮放後的該第一與該第二影像的解析度為m×n，其中m<M、n<N，且M、N、m、n皆為正整數，其中，該影像處理單元對縮放後的該第一與該第二影像進行全景三維量測，以獲得一全景深度影像，並分析該全景深度影像以分別設定該第一與該第二影像擷取裝置中 的一第一興趣區域與一第二興趣區域，以及該影像處理單元對一第一興趣區域影像與一第二興趣區域影像依據該解析度縮放的比例進行解析度還原，以獲取一第一與一第二興趣區域影像，並對該第一與該第二興趣區域影像進行局部三維量測，以產生一局部深度影像。
TW101150246A 2012-12-26 2012-12-26 三維感測方法與三維感測裝置 TWI591584B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101150246A TWI591584B (zh) 2012-12-26 2012-12-26 三維感測方法與三維感測裝置
CN201310056466.9A CN103903222B (zh) 2012-12-26 2013-02-22 三维感测方法与三维感测装置
US13/861,403 US9230330B2 (en) 2012-12-26 2013-04-12 Three dimensional sensing method and three dimensional sensing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101150246A TWI591584B (zh) 2012-12-26 2012-12-26 三維感測方法與三維感測裝置

Publications (2)

Publication Number Publication Date
TW201426638A TW201426638A (zh) 2014-07-01
TWI591584B true TWI591584B (zh) 2017-07-11

Family

ID=50974737

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101150246A TWI591584B (zh) 2012-12-26 2012-12-26 三維感測方法與三維感測裝置

Country Status (3)

Country Link
US (1) US9230330B2 (zh)
CN (1) CN103903222B (zh)
TW (1) TWI591584B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102023179B1 (ko) * 2013-02-21 2019-09-20 삼성전자주식회사 듀얼 카메라를 포함하는 전자장치에서 듀얼 리코딩 촬영을 위한 방법 및 장치
TWI498526B (zh) * 2013-06-05 2015-09-01 Nat Univ Chung Cheng Environment depth measurement method and its image acquisition device
CN105631891B (zh) * 2016-02-22 2018-12-11 清华大学 人脸采集***和人脸采集方法
CN105741308A (zh) * 2016-03-07 2016-07-06 英华达（上海）科技有限公司 一种多维视觉图像的获取方法及***
CN107303204B (zh) * 2016-04-21 2019-12-27 北京大学口腔医学院 一种手持式口腔三维扫描装置及控制方法
WO2018077394A1 (en) * 2016-10-26 2018-05-03 Huawei Technologies Co., Ltd. Method and device for depth detection using stereo images
US10841561B2 (en) * 2017-03-24 2020-11-17 Test Research, Inc. Apparatus and method for three-dimensional inspection
JP7005175B2 (ja) * 2017-05-30 2022-01-21 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
WO2019061064A1 (zh) * 2017-09-27 2019-04-04 深圳市大疆创新科技有限公司 图像处理方法和设备
TWI649723B (zh) * 2017-12-05 2019-02-01 大陸商光寶電子〈廣州〉有限公司 深度成像裝置及其驅動方法
US10229714B1 (en) * 2018-01-29 2019-03-12 Kt Corporation Apparatus and user device for providing time slice video
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
TW202025083A (zh) * 2018-12-19 2020-07-01 財團法人工業技術研究院 動態調整深度解析度的裝置及其方法
US11039173B2 (en) * 2019-04-22 2021-06-15 Arlo Technologies, Inc. Method of communicating video from a first electronic device to a second electronic device via a network, and a system having a camera and a mobile electronic device for performing the method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
TW200720809A (en) 2005-11-24 2007-06-01 Ind Tech Res Inst Focalizable three-dimension picture-taking apparatus
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
CN101496032B (zh) 2006-02-27 2011-08-17 普莱姆传感有限公司 使用斑纹解相关的距离映射的方法及设备
KR101327791B1 (ko) 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
TWI362628B (en) 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
US9336624B2 (en) 2008-10-07 2016-05-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for rendering 3D distance fields
US8199248B2 (en) 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8786682B2 (en) * 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
KR101613133B1 (ko) 2009-05-14 2016-04-18 삼성전자주식회사 3차원 영상 처리 장치 및 그 방법
TWI393980B (zh) 2009-06-08 2013-04-21 Nat Univ Chung Cheng The method of calculating the depth of field and its method and the method of calculating the blurred state of the image
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US8239179B2 (en) 2009-12-14 2012-08-07 Harris Corporation Geospatial modeling system using single optical images and associated methods
TWI402479B (zh) 2009-12-15 2013-07-21 Ind Tech Res Inst 深度感測方法及應用其之系統
CN102005039B (zh) 2010-08-24 2012-05-23 浙江大学 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法
US8760517B2 (en) * 2010-09-27 2014-06-24 Apple Inc. Polarized images for security
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
TWI463244B (zh) 2011-04-14 2014-12-01 Ind Tech Res Inst 深度影像擷取裝置、系統及其方法
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置

Also Published As

Publication number Publication date
CN103903222B (zh) 2017-06-27
CN103903222A (zh) 2014-07-02
US9230330B2 (en) 2016-01-05
US20140177942A1 (en) 2014-06-26
TW201426638A (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
TWI591584B (zh) 三維感測方法與三維感測裝置
US9813693B1 (en) Accounting for perspective effects in images
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
WO2015180659A1 (zh) 图像处理方法和图像处理装置
JP5760559B2 (ja) ステレオカメラ装置、視差画像生成方法
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
TWI520576B (zh) 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體
JP6580761B1 (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP2008140271A (ja) 対話装置及びその方法
JP5886242B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、***
JP6304244B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
JP2015119395A (ja) 情報処理装置、情報処理方法およびプログラム
US20220148143A1 (en) Image fusion method based on gradient domain mapping
CN110827392A (zh) 具好的场景易用性的单目图像三维重建方法、***及装置
JP2019114842A (ja) 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法
KR101631514B1 (ko) 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
CN108805921A (zh) 图像获取***及方法
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
KR101857977B1 (ko) 플래놉틱 카메라와 깊이 카메라를 결합한 영상 장치 및 영상 처리 방법
JP5086120B2 (ja) 奥行き情報取得方法、奥行き情報取得装置、プログラムおよび記録媒体
KR101358432B1 (ko) 디스플레이 장치 및 방법
JP2009237652A (ja) 画像処理装置および方法並びにプログラム