TWI536318B - 深度測量之品質提升 - Google Patents

深度測量之品質提升 Download PDF

Info

Publication number
TWI536318B
TWI536318B TW101122621A TW101122621A TWI536318B TW I536318 B TWI536318 B TW I536318B TW 101122621 A TW101122621 A TW 101122621A TW 101122621 A TW101122621 A TW 101122621A TW I536318 B TWI536318 B TW I536318B
Authority
TW
Taiwan
Prior art keywords
depth
pixel
pixels
defective
value
Prior art date
Application number
TW101122621A
Other languages
English (en)
Other versions
TW201308252A (zh
Inventor
駱朗 古格斯
麥可 沙米亞魯
朱利恩 索羅特
Original Assignee
舒緩運動軟體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 舒緩運動軟體公司 filed Critical 舒緩運動軟體公司
Publication of TW201308252A publication Critical patent/TW201308252A/zh
Application granted granted Critical
Publication of TWI536318B publication Critical patent/TWI536318B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

深度測量之品質提升
本發明係關於一種測距測量結果如深度圖或包含「三維點雲(three-dimensional point cloud)」資料資訊之影像的品質之提升，特別是關於深度測量結果之去雜訊以及與數個像素相關之有問題的經插值的深度值之修正，該等像素係與三維影像場景中一前景物體和一背景物體之間的一邊緣對應者。
由於使用於消費性電子系統和電視遊戲中之手勢辨識和人體骨架追蹤之技術，深度測量相機系統變成近來愈來愈受歡迎的測距裝置。
主要有兩種環境照明獨立深度感測或三維(3D)相機技術適合於此等應用。一種三維相機技術係結構光源3D相機(例如由PrimeSense公司所提供者)，其於微軟Kinect for Xbox 360(被稱為Kinect)遊戲機中被用於手勢辨識。(Microsoft,Kinet和Kinect for Xbox 360為微軟公司的商標)。第二種3D感測相機技術係時差測距(time-of-flight,ToF)相機，其係由幾個獨立公司所發展製造且使用於例如汽車工業或是包含諸如視訊遊戲、機器人、家用自動化等人對機器介面之各種環境中的手勢辨識和人體骨架追蹤。
然而，不分3D感測相機之型式，一場景之一影像皆假設包含複數個像素，該影像的每個像素含有至少與從成像物體到相機之距離有關的資訊，如此之資訊係所測 量之深度值。此嵌有至少深度測量資訊之影像被稱為「深度圖」。其它型式的影像亦可包含嵌入的深度測量資訊，例如一「三維點雲」資料矩陣，於此資料矩陣中影像係包含了關於相機坐標系統或關於虛擬環境坐標系統之內嵌資訊。在如此之影像中，x和y係分別對應於横軸和縱軸且z軸係對應於深度。從相機坐標系統轉換到虛擬環境坐標系統係一種投射，且如此的轉換一般被稱為「場景校正(scene calibration)」。
任何利用提供深度測量結果之影像之應用或系統乃取決於解析度、雜訊、清楚度、穩健度和重覆性等方面之測量品質。特別地，當主要考慮到3D ToF相機技術，在場景物體邊緣之深度測量結果係眾所皆知用來表明旋積(convolution)和/或亦稱作「飛行像素」(對單一自然銳利邊緣可影響至少一像素半徑內之深度資料)之插值假影(interpolation artefacts)。如此的「飛行像素」係空間假影，與任何可能發生在一物體邊緣的動態模糊(motion blur)無關，且需要被移除和/或被回復至場景中之與一重新計算之深度值對應的一正確位置，該重新計算之深度值係適當地將「飛行像素」指定給前景物體或背景物體。如此之回復之目的係為了要大幅地改善後續的物體偵測信心和提高三維場景內物體之深度資訊品質。
因此本發明之目的係要提供一種提升測距測量結果的品質之方法和系統，例如，藉由偵測可能為雜訊像素數值和/或經插值之「飛行像素」數值之型式之有缺陷的 像素，以深度圖或三維點雲的型式來提供該測量結果。特別地，雜訊像素數值係與整個深度圖有關。然而，雜訊像素數值傾向於降低平坦表面和連續表面的品質。「飛行像素」數值係與呈現於深度圖中或於相應3D點需中之3D物體邊緣有關，這些邊緣被界定成位於一前景物體和一位於不同深度的背景物體之間的界限。
根據本發明之一觀點，提供一種提升三維影像中之有缺陷的像素值之深度圖品質之方法，該方法包含以下步驟： a)決定與一場景相關之深度測量資料；b)偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正。
藉由使用本發明之方法，當深度測量雜訊可被明確地降低時，即可獲得深度圖或3D點雲影像品質之重大提升。特別地，包含在位於物體邊緣之經插值之「飛行像素」內之資訊係被回復且這些邊緣接著因此被銳化，使得它們能相關連且有助於進一步的訊號處理方法。
此外，本發明之結果是使用者和物體之偵測、識別、追蹤和諸如在三維場景內執行於興趣物件上之手勢辨識之運動相關資料分析係被大幅地改善，因為如此之方法係取決於深度圖深度資料值之品質。另一結果是，相關於一場景內之使用者形狀和物體形狀之影像取出係可更 簡單地且具有較佳可靠度及清楚度地被執行。
另外，改善的物體偵測亦提供在3D場景中之使用者和物體顯著提升的建模能力。特別地，人體骨架配合和追蹤亦大幅地改善，因為使用者身體部位和物體或和其本身之合併會被最小化而且使用者的身體形狀能更清楚地被建模。
在本發明之一較佳實施例中，步驟b)包含：針對每一像素，決定並使用在至少一方向上之深度相關方向導數(depth related directional derivative)。
步驟c)對於每一經識別出有缺陷的像素較佳地包含以下步驟：c1)決定與該深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向量中之至少一個之結果連同一資料參數，決定一加權因子參數，該資料參數之數值係與由該像素寬度所呈現之實體空間中之公制尺寸相關；以及c4)使用該加權因子參數和與相鄰像素相關資訊中之至少一者，決定一修正因子。
於一實施例中，步驟c4)可進一步包含使用在該相鄰像素之深度值、加權值和修正因子中之至少一者。另一作法或具選擇性地，步驟c4)可包含使用該相鄰像素相關資訊之一統計眾數。
有利地，步驟c4)僅使用有效相鄰像素。
步驟c4)可進一步包含使用從該相鄰像素所決定之 一回歸平面取出之深度資訊。
於本發明之一個實施例中，有缺陷的像素可包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的經插值之像素資料值。在此實施例中，步驟b)可進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且若至少兩連續方向導數具有相同正負符號時，使用該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量結果。如此提供了一個上述「飛行像素」的測試方法。
除了「飛行像素」的修正之外，本發明之方法亦修正了「雜訊像素」。於此實施例中，步驟b)包含決定在該三維影像內之連續表面上之像素有缺陷的測量結果。
於此實施例中，步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量結果。
當有缺陷的像素為「雜訊像素」時，步驟c)對於每一已識別有缺陷的像素可進一步包含此驟：c5)使用兩正交軸決定與該等深度方向導數資料值相關之一向量；c6)使用該已決定之向量之一半徑值、該已決定之向量之正交資訊和由該像素所呈現在場景中之實際寬度中之至少一者，決定一加權因子參數；以及c7)使用該已決定之加權因子參數結合相鄰像素相 關資訊，施加一修正因子。
於一實施例中，該等深度相關方向導數係使用至少兩正交軸而決定。於另一實施例中，該等深度相關方向導數係使用一法線圖(normal map)而決定。於另一較佳實施例中，該等深度相關方向導數係用以決定一法線圖。
於本發明之一個實施例中，該方法係用以修正「飛行像素」和「雜訊像素」中至少一者，且在一較佳實施例中，該方法係修正「飛行像素」和「雜訊像素」兩者。
步驟a)可包含存取藉由一3D感測元件或相機所提供或者來自一儲存媒體以一深度圖型式或以一3D點雲型式或任何型式所提供之深度測量資料。
為對本發明有更佳之了解，以下說明將參考所附圖式進行，且參考圖式僅作為舉例，並非限定如此。
以下就特定實施例並參考特定圖式來敍述本發明，但本發明並不限定如此。所述圖式僅係示意而並不限定。圖式中，為了說明，可能誇大且未按比例顯示部分元素之尺寸。
應了解本文中所使用之用語「垂直」和「水平」等表示圖面之特有方位，且此等用語並非是本文中所敍述之特定實施例的限定用語。
就一典型的時差測距(time-of-flight,ToF)3D相機而言，利用TOF原理計算距離或深度資料之過程涉及具有類比和數位處理單元之光學和電子裝置之組合。典型地，藉由一內嵌於ToF相機裝置之照明系統將一調幅紅 外線訊號送出至場景。一專用感測器同步地將由該場景中之物體所反射的紅外線強度記錄為一相位函數。接著將來自感測器之訊號對時間積分，並利用相位延遲計算來針對每一像素估算深度值測量結果。ToF 3D影像可能受限於：依感測器解析度和鏡頭視域而定之3D影像解析度；該等影像之依光之調變頻率、由場景反射之光線量和與成像系統有關之參數如光學引擎品質而定之深度測量精準度；；在測量時基本上會產生一些量子化假影(quantisation artefacts)和雜訊之光學、電子及訊號處理裝置之組合假影；以及更嚴重的問題是，部分經插值的深度測量結果基本上會導致深度圖中之「模糊」邊緣。該等「模糊」邊緣中的像素亦被稱作「飛行像素」。
本發明係關於一種方法及系統，用以解決統稱「有缺陷的像素」之「雜訊」和「飛行像素」，以使其等之在深度圖中的深度測量值被修正而盡可能地與在場景中所呈現的實體一致。該方法和系統具有一輸入操作，輸入藉由3D感測相機、媒體儲存元件或網際網路媒體所提供之內嵌有以相位圖、深度圖或3D點雲型式表示之深度相關測量結果的影像。對於經輸入之3D影像的深度資料施加特定信號處理，以就部分特定的深度梯度測量結果、向量及幾何限制運算、門檻值及尤其是經加權之旋積來對於「雜訊」和經插值的「飛行像素」兩者進行修正。所產生的輸出提供了一重建的深度圖影像，該影像包含較少的雜訊及大幅減少之在邊緣位於z軸或深度軸上之場景物體附近之經插值的「飛行像素」。接著代替3D相 機元件或其他3D影像系統所提供之原始輸入3D影像而使已提升和/或已修正之影像供3D成像應用使用，以使該等應用可有較佳操作性和效率。
首先參考第1圖，一場景之二維(2D)上視圖顯示於一x-z平面中。一相機10具有由虛線12,14所界定的視域，在該視域內有一前景物體16和一背景物體18。將如參考第3圖所述，前景物體16之邊緣20就背景物體18而言可能產生「飛行像素」。
第2圖係在x-y平面上之第1圖中所界定之具有前景物體16和背景物體18之3D場景之2D相機前視圖。於此觀點下，邊緣20在前景物體16和背景物體18之間係界定良好且銳利。雖然僅有顯示邊緣20，但應理解為「飛行像素」亦可發生在前景物體16與背景物體18重疊處之頂端邊緣和底部邊緣22,24。此外，應了解到物體16和18之平坦連續表面可能會因相機感測器性能之故而呈現一些雜訊像素。
第3圖係以與第1圖中所示之影像對應的像素之角度來顯示前景物體32和背景物體34。如圖所示，兩「飛行像素」36,38係位於在前景物體32和背景物體34之間的邊緣上。此兩「飛行像素」可屬於前景物體32或者屬於背景物體34，或者僅有一個屬於前景物體32且一個屬於背景物體34。前景物體32係一連續平坦表面物體，其測量結果顯示至少有一個雜訊像素37。
第4圖類似第3圖，但另顯示一與深度圖相關之訊號40。如圖所示，於訊號40中，下方線係相應於數個 像素42所表示的前景物體，且在下方線和上方線之間的斜率係相應於兩「飛行像素」46,48。在下方線中之一凹陷部係相應於由數個像素42所表示之前景物體中之「雜訊像素」43。
在依本發明之處理後，「雜訊像素」43和「飛行像素」46,48被修正如第5圖所示。如第5圖所示，更清楚地界定具有一相應於數個像素52之下方直線和一相應於數個像素54之上方直線的訊號50。在第4圖中顯示為43之「雜訊像素」現在被修正為如像素53所示，且「飛行像素」46,48已被正確地指定給與前景物體對應之數個像素52(像素56)和與背景物體對應之數個像素54(像素58)。
在第6圖中顯示本發明方法之一實施例之主要步驟流程圖。於步驟60，獲取一輸入深度圖或3D點雲。該深度圖或3D點雲可直接從3D相機、媒體儲存元件或網際網路取得。於步驟62，偵測出統稱為「有缺陷的像素」之「雜訊像素」和「飛行像素」。針對每一被判定為「雜訊像素」之像素決定一去雜訊修正因子，並對於相鄰像素而施加該修正因子，步驟64。針對每一被判定為「有缺陷的像素」之像素執行一修正因子之決定並施加。於步驟66中，就前景物體和背景物體之深度值而執行修正。於步驟64和步驟66中，如此之修正因子的決定可包含：使用統計眾數，於此處指定給被修正像素之數值係根據相鄰像素之平均值、中間值和/或眾數值中之至少一者而決定。經復原之深度圖或3D點雲接著被輸出(步 驟68)。步驟68之輸出可被使用在任何需要或優先選擇清楚及可靠的深度圖之應用中。
本發明之方法包含兩個主要步驟，亦即偵測「雜訊像素」和經插值的「飛行像素」，以及修正經偵測之「雜訊像素」和「飛行像素」兩者。
關於「雜訊像素」和經插值之「飛行像素」兩者之偵測，第一步驟係使用某一點附近的方向導數來判斷像素是否是「雜訊」或是「飛行」，該點係對應於被評估的像素。較佳地，所有的深度影像像素均被評估。這些方向導數可以是多方向的，但為簡化敍述，以下僅敍述垂直和水平方向。然而應理解為同樣的原則可適用於其他方向。此外，亦可不使用方向導數而應用其他的方法。
若「P」是在深度圖中被評估的像素且「a」是平面上被選定的方向，則da(P)是像素「P」在方向「a」的導數值。若在「a」方向上之方向導數絕對值|da(P)|和|da+π(P)|超過一預定門檻值，且若da(P)和da+π(P)的正負符號相同，則一像素被稱為「飛行」。若一像素具有與其所有相鄰像素相當不同的深度值，尤其是如果至少一個方向導數超過一預定值且如果至少兩個方向導數具有相反正負符號，則該像素被稱為「雜訊」。對每一像素，不管「雜訊像素」測試或是「飛行像素」測試均可在任一數目的方向上被執行。理想上，方向應涵蓋單位圓，亦即半徑為一像素半徑之圓。典型地，一組方向{a_i}，i=1至n，能以下式表示：a_i=(i-1)＊π/n
方向導數可以簡單地使用有限差分來評估。第7圖中，像素70係被評估的像素「P」，像素72,74,76,78係對應於像素「P」之上方像素「T」、左方像素「L」、右方像素「R」和下方像素「B」。像素72,74,76,78之數值可被使用來決定該像素在兩個方向上是否是「飛行」且是否是「雜訊」，亦即在0°角和π/2角之方向(水平和垂直方向)。
在這兩個方向上，「雜訊像素」測試簡化成(|R-P|<Th且|L-P|<Th)或(|T-P|<Th且|B-P|<Th)且sign(R-P)≠sign(P-L)或sign(T-P)≠sign(P-B)
「飛行像素」測試簡化成(|R-P|>kTh且|L-P|>kTh)或(|T-P|>kTh且|B-P|>kTh)且sign(R-P)=sign(P-L)或sign(T-P)=sign(P-B)其中Th係所應用之門檻值且k係一預定加權因子。例如，0.08m之Th值可被使用，但可被理解的是任何其他合適值亦可被使用。作為上述給定之「雜訊像素」測試及「飛行像素」測試之另一種測試法，以下判斷方式亦可被使用：|L-R|>Th且|T-B|>Th
在後者中，其門檻值之數值可以大於前者之門檻值數值係因為它使用環繞被評估像素之兩像素之間的數值。
「雜訊像素」和「飛行像素」被識別後，第二步驟係估算新的深度值以將個別修正施加至每個經識別之 「雜訊像素」或「飛行像素」。修正可在一單一程序中之單通(single pass)中被執行。為有較佳之了解，依時間順序而敍述修正步驟。
所有的「飛行像素」和「雜訊像素」首先被標示成無效。特別地，當使用ToF相機時，可能因其他理由如信任不足或低紅外線照明而被判定(亦即使用門檻值)為不可靠的其他像素亦可被標示成無效，且其等之深度亦可使用本發明之方法被重新估算。
原理是使用一無效像素之有效環繞像素來估算該無效像素之新的深度。此原理顯示於第8圖，其中與顯示如像素對82,84之環繞有效像素相關地評估像素80。雖然該等像素對係顯示用來評估，但應理解為任何數目之有效像素均可使用來做此決定。
第8圖中，環繞一無效「飛行像素」(「P」)之數個像素被標示為「V」。然而，對此估算而言，僅有被標示成82之前景有效像素或者被標示成84之背景有效像素被使用，且不是來自前景及背景之有效像素之組合被使用。像素82之深度值將小於「P」的深度值且像素84之深度值將大於「P」的深度值。
關於像素係有效但已被識別為「雜訊」之一「雜訊像素」，對於該「雜訊像素」執行與上述執行於「飛行像素」之處理相同的處理。
選擇使用哪個有效像素來估算係評估一無效點優先出現在前景物體中或優先出現在背景物體中。優先模式可以藉由例如根據「飛行像素」之深度值所需最少修正 量，映射「飛行像素」、藉由設定「飛行像素」給前景物體，如果它和相機之距離超過一預定門檻值，或者藉由設定「飛行像素」給背景物體，如果它和相機之距離小於該預定門檻值，來決定。如果使用前景物體優先，且有效前景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效前景物體像素為基礎而估算。如果有效前景物體像素集合是空集合且有效背景物體像素集合不是空集合，則「P」之新深度值將僅以有效背景物體像素為基礎而估算。如果兩個與有效前景和背景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。同樣地，如果使用背景物體優先，如果有效背景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效背景物體像素為基礎而估算。如果有效背景物體像素集合是空集合，且有效前景物體像素集是空集合，則「P」之新深度值將僅以有效前景物體像素集合為基礎而估算。如果兩個與有效背景和前景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。
來自一環繞像素集合(不管來自於前景物體或背景物體)之「P」的深度值估算可用不同方法執行，包括應用一加權因子、任何使用統計測定或使用回歸平面之插值法。
在本發明之一實施例中，係利用以有效前景像素為基礎之一回歸平面。在點p之回歸平面之深度值係被指定為像素「P」之新深度值。
於另一實施例中，前景物體中之有效像素之平均深度值係被決定且被指定為像素「P」之新深度值。作為其他選項，亦可使用有效前景物體像素或有效背景物體像素之諸深度值中之最小值、最大值、中位數或眾數。不同的估算方法可使用於有效前景物體像素集合和有效背景物體像素集合。例如，如果估算係依靠有效前景物體像素，則可使用集合中之有效像素之最大深度值；如果估算係依靠有效背景物體像素，則可使用集合中之有效像素之最小深度值。
所有其深度值已被該方法成功地估算過之無效像素，亦即所有具有至少一有效相鄰像素之無效像素，係被標示為有效。只要至少一像素在流程一開始被標示為有效，則該方法可以疊代地被重覆以允許深度圖中所有無效像素被重建。
然而，為了改善「飛行像素」識別和修正之可靠度，必須將雜訊從相機所產生的深度圖中移除。這可藉由首先決定每一像素之ω i ，再對每一像素使用3x3加權之ω i 核心來達成。多通(multiple passes)可與(或不與)核心ω i 參數之再計算一起應用。
再次參考第8圖，以下方程式可用自景深中決定一正交角：
dw=P之寬度 (4)
ω i =acos(dz/r) (6)
方程式(1)和(2)與梯度(x)和(y)有關且方程式(3)以梯度方式提供半徑。方程式(4)給出像素「P」之如上所述之寬度且方程式(5)和(6)分別提供正交半徑和正交角。
其他方法可用於計算、估算或取回例如來自相機之正交角(如果有的話)，亦可依照相機、訊號和平台特性而被使用。
例如，為了計算效率，來自深度圖之ω i 可以被決定成：
通當，函數ωi=Fw(dz)被稱為視窗函數(window function)。
在雜訊移除通過之後，一場梯度被計算且二階導數d2z之符號被作為一局部分離參數(local disjunction parameter)。二階偏導數d2z被計算成導數dz在映射空間中梯度向量之兩極值間之差值。
一加權ω i 3×3雙極核心(bipolar kernel)接著被應用在n個傳遞，其中n大於等於1。該分離參數作為核心中之群識別(group identification)；且具有相同正負符號之諸像素值將一起平均，但忽略相反正負符號之像素。
此原則係被改善以允許該分離參數具有無符號數值(亦即等於0)，使得該等點可以用兩種符號被平均。此攺善允許應用一門檻值至該分離參數，例如，使用 2z或 其他諸如紅外線功率來試圖降低因為分離而引入輸出訊號之雜訊。
此核心可多次應用以產生想要的效果。典型地電流TOF訊號係受益於雙通處理(two-pass processing)。
為了加速此分離且/或避免多通處理，可在梯度方向上建立一位移貼圖(displacement map)以產生一局部擴展(local expansion)。個別深度值可合理地作為最小值和/或最大值。然而，輸出訊號中的雜訊和所欲之分離速率將判斷使用何種擴展方法。
10‧‧‧相機
12,14‧‧‧虛線
16‧‧‧前景物體
18‧‧‧背景物體
20‧‧‧邊緣
22‧‧‧頂端邊緣
24‧‧‧底部邊緣
32‧‧‧前景物體
34‧‧‧背景物體
36,38‧‧‧飛行像素
37‧‧‧雜訊像素
40‧‧‧訊號
42,44‧‧‧數個像素
43‧‧‧雜訊像素
46,48‧‧‧飛行像素
50‧‧‧訊號
52,54‧‧‧數個像素
53,56,58,70,72,74,76,78,80‧‧‧像素
82,84‧‧‧數個像素
第1圖係圖示三維場景之二維上視示意圖；第2圖係圖示第1圖中之三維場景之二維相機前視示意圖；第3圖係圖示第1圖之二維上視圖之三維資料測量之示意表示圖；第4圖係圖示深度值訊號和像素位置之示意表示圖；第5圖係類似第4圖但係圖示根據本發明修正後之深度值訊號和像素位置；第6圖係圖示根據本發明之深度圖去雜訊和邊緣修正方法之步驟流程圖；第7圖係圖示一位於一「飛行像素」中央之3×3核心，該「飛行像素」係伴隨著在兩正交軸中之相鄰像素；以及第8圖係圖示一位於一「飛行像素」中央之3×3核 心，該「飛行像素」係伴隨著被決定為有效且成為一前景物體或一背景物體之一部分之相鄰像素。
50‧‧‧訊號
52‧‧‧數個像素
53‧‧‧像素
54‧‧‧數個像素
56‧‧‧像素
58‧‧‧像素

Claims (10)

  1. 一種用以提升由三維影像系統所產生之三維影像中具有缺陷的像素深度資料值之深度圖品質之方法，該方法包含以下步驟：a)決定與一場景相關之深度測量資料；b)藉由針對每一像素決定並使用在至少一方向上之深度相關方向導數，來偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正；其特徵在於：該有缺陷的像素係包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的插值像素資料值，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且至少兩個連續方向導數具有相同正負符號時，使用在至少一方向內的該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量值；且步驟c)對於每一經識別出有缺陷的像素包含以下步驟：c1)使用與相鄰像素相關的資訊，決定與該等深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向 量中之至少一個之結果，決定一加權因子；以及c4)使用該加權因子，決定一修正因子。
  2. 如申請專利範圍第1項之方法，其中該有缺陷的像素係進一步包含位在該三維影像之連續表面之雜訊像素資料值，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於另一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量值。
  3. 如申請專利範圍第1項之方法，其中步驟c1)僅使用有效相鄰像素之資料值。
  4. 如申請專利範圍第2項之方法，其中步驟c1)僅使用有效相鄰像素之資料值。
  5. 如申請專利範圍第1至4項中任一項之方法，其中該與相鄰像素相關的資訊包含該相鄰像素之深度值、加權值和深度修正中之至少一者。
  6. 如申請專利範圍第1項至第4項之任一項之方法，其中步驟c1)包含使用該相鄰像素相關資訊之一統計眾數。
  7. 如申請專利範圍第1項至第4項之任一項之方法，其中步驟c4)進一步包含使用從該相鄰像素所決定之一回歸平面取出之深度資訊。
  8. 如申請專利範圍第1項至第4項之任一項之方法，該等深度相關方向導數係使用至少兩正交軸而決定。
  9. 如申請專利範圍第1項至第4項之任一項之方法，其 中該等深度相關方向導數係使用一法線圖而決定。
  10. 如申請專利範圍第1項至第4項之任一項之方法，其中該等深度相關方向導數係用以決定一法線圖。
TW101122621A 2011-06-24 2012-06-25 深度測量之品質提升 TWI536318B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP11171408 2011-06-24

Publications (2)

Publication Number Publication Date
TW201308252A TW201308252A (zh) 2013-02-16
TWI536318B true TWI536318B (zh) 2016-06-01

Family

ID=46275736

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101122621A TWI536318B (zh) 2011-06-24 2012-06-25 深度測量之品質提升

Country Status (7)

Country Link
US (1) US9426444B2 (zh)
EP (1) EP2538242B1 (zh)
JP (2) JP6143747B2 (zh)
KR (1) KR101554241B1 (zh)
CN (1) CN103814306B (zh)
TW (1) TWI536318B (zh)
WO (1) WO2012175731A1 (zh)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
EP2750391B1 (en) 2012-12-31 2017-03-22 Nokia Technologies Oy Method, apparatus and computer program product for processing of images
CN104981849A (zh) 2013-02-12 2015-10-14 汤姆逊许可公司 用于丰富深度图的内容的方法和设备
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US9860510B2 (en) * 2013-03-15 2018-01-02 Intuitive Surgical Operations, Inc. Depth based modification of captured images
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
US9584790B2 (en) * 2013-06-03 2017-02-28 Microsoft Technology Licensing, Llc Edge preserving depth filtering
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9418309B2 (en) * 2013-09-17 2016-08-16 Motion Metrics International Corp. Method and apparatus for performing a fragmentation assessment of a material
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US9582887B2 (en) 2013-10-09 2017-02-28 Sony Corporation Methods and apparatus for determining field of view dependent depth map correction values
CN103927782A (zh) * 2014-01-06 2014-07-16 河南科技大学 一种用于深度图像曲面拟合的方法
US9418432B2 (en) 2014-03-28 2016-08-16 Sony Corporation Imaging system with depth estimation mechanism and method of operation thereof
US9098754B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
AU2014218390B2 (en) * 2014-08-27 2017-01-12 Canon Kabushiki Kaisha Method, system and apparatus for forming a high resolution depth map
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
JP6017735B2 (ja) * 2014-10-14 2016-11-02 オリンパス株式会社 撮像システム
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
CN104378619B (zh) * 2014-11-12 2016-09-28 合肥工业大学 一种基于前后景梯度过渡的快速高效的空洞填补算法
CN104778673B (zh) * 2015-04-23 2018-11-09 上海师范大学 一种改进的高斯混合模型深度图像增强方法
GB2541153A (en) * 2015-04-24 2017-02-15 Univ Oxford Innovation Ltd Processing a series of images to identify at least a portion of an object
GB2537831A (en) * 2015-04-24 2016-11-02 Univ Oxford Innovation Ltd Method of generating a 3D representation of an environment and related apparatus
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US10677924B2 (en) 2015-06-23 2020-06-09 Mezmeriz, Inc. Portable panoramic laser mapping and/or projection system
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
CN105374019B (zh) * 2015-09-30 2018-06-19 华为技术有限公司 一种多深度图融合方法及装置
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
CN105445751B (zh) * 2015-11-18 2018-09-07 国家***第一海洋研究所 一种浅水区域水深比值遥感反演方法
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
EP3422285A4 (en) * 2016-02-22 2019-03-06 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGE CAPTURE DEVICE, MOBILE BODY APPARATUS CONTROL SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM
JP6431495B2 (ja) * 2016-03-25 2018-11-28 本田技研工業株式会社 教師データ生成方法
CN108885265A (zh) * 2016-03-31 2018-11-23 富士胶片株式会社 距离图像处理装置、距离图像获取装置及距离图像处理方法
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10165168B2 (en) 2016-07-29 2018-12-25 Microsoft Technology Licensing, Llc Model-based classification of ambiguous depth image data
KR102561099B1 (ko) 2016-09-23 2023-07-28 삼성전자주식회사 ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
US10181089B2 (en) * 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
EP3340629A1 (en) * 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
KR101865821B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
CN106981081A (zh) * 2017-03-06 2017-07-25 电子科技大学 一种基于深度信息提取的墙面平整度检测方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN108234858B (zh) * 2017-05-19 2020-05-01 深圳市商汤科技有限公司 图像虚化处理方法、装置、存储介质及电子设备
JP6813436B2 (ja) * 2017-06-16 2021-01-13 株式会社東芝 情報処理装置、移動体、情報処理方法、およびプログラム
CA3009798A1 (en) * 2017-07-12 2019-01-12 General Electric Company Graphic overlay for measuring dimensions of features using a video inspection device
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
EP3438699A1 (de) * 2017-07-31 2019-02-06 Hexagon Technology Center GmbH Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen
EP3680857B1 (en) * 2017-09-11 2021-04-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium
EP3462415A1 (en) * 2017-09-29 2019-04-03 Thomson Licensing Method and device for modifying attributes of points of a 3d scene
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
WO2019162564A1 (en) * 2018-02-22 2019-08-29 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10477220B1 (en) 2018-04-20 2019-11-12 Sony Corporation Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
JP7117914B2 (ja) 2018-06-29 2022-08-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020010146A (ja) 2018-07-05 2020-01-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020013291A (ja) * 2018-07-18 2020-01-23 コニカミノルタ株式会社 物体検出システム及び物体検出プログラム
CN110956603B (zh) * 2018-09-25 2023-04-21 Oppo广东移动通信有限公司 深度图像边缘飞点的检测方法、装置及电子设备
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
TWI687708B (zh) * 2018-10-09 2020-03-11 大陸商光寶電子（廣州）有限公司 誤差校正系統及其方法
CN112184603B (zh) * 2019-07-04 2022-06-24 浙江商汤科技开发有限公司 一种点云融合方法、装置、电子设备和计算机存储介质
CN110400343B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110400340B (zh) * 2019-07-11 2022-03-22 Oppo广东移动通信有限公司 深度图处理方法和装置
CN112241015B (zh) * 2019-07-19 2023-03-24 北醒（北京）光子科技有限公司 一种单点激光雷达去除拖点的方法
JP2021051015A (ja) * 2019-09-25 2021-04-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、測距方法、並びにプログラム
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
CN114450550A (zh) * 2019-10-02 2022-05-06 富士通株式会社 校正方法、校正程序以及信息处理***
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
US11295521B2 (en) 2020-03-25 2022-04-05 Woven Planet North America, Inc. Ground map generation
CN111443357A (zh) * 2020-05-19 2020-07-24 炬佑智能科技(苏州)有限公司 一种测距方法及测距***
CN111709940B (zh) * 2020-06-19 2023-06-27 湖南恒岳重钢钢结构工程有限公司 一种基于机器视觉的电容缺陷检测方法
KR102385076B1 (ko) * 2020-07-10 2022-04-11 주식회사 메디트 데이터 잠금 시스템 및 데이터 잠금 방법
CN111833370A (zh) * 2020-07-22 2020-10-27 浙江光珀智能科技有限公司 一种飞行像素滤除方法及***
JP2022083913A (ja) * 2020-11-25 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2022196705A1 (ja) 2021-03-17 2022-09-22 富士フイルム株式会社 情報処理装置、情報処理方法、プログラム、及び放射線撮影システム
JPWO2022201804A1 (zh) * 2021-03-25 2022-09-29
CN113379847B (zh) * 2021-05-31 2024-02-13 上海集成电路制造创新中心有限公司 异常像素的修正方法及设备
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN113313658B (zh) * 2021-07-29 2021-11-30 南昌虚拟现实研究院股份有限公司 图像处理方法、装置、电子设备及存储介质
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
US20230394691A1 (en) * 2022-06-07 2023-12-07 Toyota Research Institute, Inc. Depth estimation with sparse range sensor depth and uncertainty projection
KR102567379B1 (ko) * 2022-07-18 2023-08-17 주식회사 호인스컴퍼니 3d 모델링 자동 보정을 통한 실감 오브젝트 생성 시스템
WO2024116631A1 (ja) * 2022-11-29 2024-06-06 ソニーセミコンダクタソリューションズ株式会社 検出装置及び検出方法
KR102525570B1 (ko) * 2022-11-30 2023-04-25 주식회사 테스트웍스 라이다-카메라 영상 융합을 위한 라이다 데이터 이상치 제거 방법 및 이를 수행하는 컴퓨팅 장치
EP4386449A1 (fr) * 2022-12-14 2024-06-19 Stmicroelectronics (Grenoble 2) Sas Obtention d'une carte de profondeur

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807137B2 (ja) * 1992-12-15 1998-10-08 松下電工株式会社 立体形状検出方法
JPH0934932A (ja) * 1995-07-20 1997-02-07 Matsushita Electric Ind Co Ltd ３次元データの凹凸検出方法および凹凸検出装置
JPH09161072A (ja) * 1995-12-13 1997-06-20 Tsushin Hoso Kiko 映像信号の構造情報を抽出する映像処理装置
US5751290A (en) * 1996-09-20 1998-05-12 Industrial Technology Research Institute Three dimensional graphics system and method with correction to z buffer value errors
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JPH11120359A (ja) * 1997-10-21 1999-04-30 Sony Corp 画像処理装置および方法、並びに伝送媒体
US6577307B1 (en) 1999-09-20 2003-06-10 Silicon Integrated Systems Corp. Anti-aliasing for three-dimensional image without sorting polygons in depth order
JP2004297267A (ja) * 2003-03-26 2004-10-21 Sharp Corp 画素欠陥処理装置
JP2006191454A (ja) * 2005-01-07 2006-07-20 Sony Corp ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法
CN101443817B (zh) * 2006-03-22 2013-06-12 皮尔茨公司 用于确定场景的三维重建时的对应关系的方法和装置
JP2008243184A (ja) * 2007-02-26 2008-10-09 Fujifilm Corp 濃淡画像の輪郭補正処理方法及びその装置
BRPI0721562A2 (pt) * 2007-04-20 2013-01-22 Softkinetic S A mÉtodo e sistema de reconhecimento de volume
RU2497196C2 (ru) * 2007-10-11 2013-10-27 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обработки карты глубины
JP5448617B2 (ja) * 2008-08-19 2014-03-19 パナソニック株式会社 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP5624998B2 (ja) * 2009-12-25 2014-11-12 本田技研工業株式会社 画像処理装置、画像処理方法、コンピュータプログラム及び移動体
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
JP5150698B2 (ja) * 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
US9123115B2 (en) * 2010-11-23 2015-09-01 Qualcomm Incorporated Depth estimation based on global motion and optical flow

Also Published As

Publication number Publication date
US20140253679A1 (en) 2014-09-11
TW201308252A (zh) 2013-02-16
KR20140027468A (ko) 2014-03-06
CN103814306A (zh) 2014-05-21
JP2014524016A (ja) 2014-09-18
WO2012175731A1 (en) 2012-12-27
CN103814306B (zh) 2016-07-06
EP2538242B1 (en) 2014-07-02
JP2016201117A (ja) 2016-12-01
EP2538242A1 (en) 2012-12-26
JP6143747B2 (ja) 2017-06-07
US9426444B2 (en) 2016-08-23
JP6244407B2 (ja) 2017-12-06
KR101554241B1 (ko) 2015-09-18

Similar Documents

Publication Publication Date Title
TWI536318B (zh) 深度測量之品質提升
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10643347B2 (en) Device for measuring position and orientation of imaging apparatus and method therefor
EP2848003B1 (en) Method and apparatus for acquiring geometry of specular object based on depth sensor
CN109660783B (zh) 虚拟现实视差校正
US20140168367A1 (en) Calibrating visual sensors using homography operators
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
JP6744747B2 (ja) 情報処理装置およびその制御方法
CN110544294B (zh) 一种基于全景视频的稠密三维重构方法
CN112184603B (zh) 一种点云融合方法、装置、电子设备和计算机存储介质
EP3633606A1 (en) Information processing device, information processing method, and program
JPWO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
Lo et al. Depth map super-resolution via Markov random fields without texture-copying artifacts
US20220180545A1 (en) Image processing apparatus, image processing method, and program
JP6579659B2 (ja) 光源推定装置及びプログラム
JP2017199285A (ja) 情報処理装置、情報処理方法、プログラム
JP6250035B2 (ja) 奥行きセンサベース反射物体の形状取得方法及び装置
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
TW202226158A (zh) 處理深度圖之設備及方法
An et al. Tracking an RGB-D camera on mobile devices using an improved frame-to-frame pose estimation method
US11935182B2 (en) Information processing apparatus, information processing method, and storage medium
KR20210142518A (ko) 동적 물체 탐지 방법 및 장치
KR20220065301A (ko) 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치
Agrawal et al. Ego-motion estimation and 3d model refinement in scenes with varying illumination