TWI509221B - 用於視覺同時區域化及映射（ｓｌａｍ）之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置 - Google Patents

用於視覺同時區域化及映射（ｓｌａｍ）之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置 Download PDF

Info

Publication number
TWI509221B
TWI509221B TW102139873A TW102139873A TWI509221B TW I509221 B TWI509221 B TW I509221B TW 102139873 A TW102139873 A TW 102139873A TW 102139873 A TW102139873 A TW 102139873A TW I509221 B TWI509221 B TW I509221B
Authority
TW
Taiwan
Prior art keywords
target
points
subsequent
interest
image
Prior art date
Application number
TW102139873A
Other languages
English (en)
Other versions
TW201430315A (zh
Inventor
Gerhard Reitmayr
Alessandro Mulloni
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of TW201430315A publication Critical patent/TW201430315A/zh
Application granted granted Critical
Publication of TWI509221B publication Critical patent/TWI509221B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)

Description

用於視覺同時區域化及映射(SLAM)之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置 相關申請案的交叉參考
本申請案主張2012年11月2日申請之美國臨時申請案第61/722,091號之權利及優先權，該案特此以全文引用之方式併入本文中。
本文中所揭示之標的大體上係關於視覺同時區域化及映射。
在增強現實系統及機器人導航中使用同時區域化及映射(SLAM)以自環境或場景建置一目標。視覺SLAM(VSLAM)將攝影機或視覺感測器資料或影像用作輸入以建置環境之目標或模型。當結合增強現實(AR)系統來使用VSLAM時，可將虛擬物件***至使用者對真實世界之視域中並在器件(例如，行動器件、蜂巢式電話或其類似者)上顯示該等虛擬物件。
使VSLAM追蹤或判定攝影機位置及定向(姿勢)的一個常見先決條件係使用一已知之參考。舉例而言，一已知或先前所獲取之參考可為環境或被***至真實世界中之人工標誌之3維(3D)模型。傳統VSLAM亦可要求第一參考影像為在初始化及追蹤之前的環境中之平面表面的精確前視圖。否則，在無已知之參考或精確擷取之初始影像的情況下，物件可出現在錯誤位置處或環境之映射可完全失敗。
具有單一攝影機的利用VSLAM之追蹤系統亦可依賴於根據由單 一攝影機所擷取之兩個單獨參考影像來初始化3D目標。使用傳統技術基於兩個參考影像來建立3D目標僅在該兩個參考影像之間的攝影機運動係適當且亦維持兩個影像中之場景間之足夠重疊的情況下才有可能。當在兩個經特定地界定之參考影像之間存在足夠的最小平移時，可將該等參考影像判定為適當的。
傳統VSLAM實施亦可依賴於直接使用者輸入來選擇兩個參考影像或提供一額外視覺目標以便可在將3D目標初始化之前記錄6自由度(6DoF)攝影機運動。
舉例而言，一些追蹤方法要求使用者在無視覺反饋的情況下執行特定非直觀運動序列，使得可使用3D重建構方法來找出環境中之真實平面並根據此平面將3D目標初始化。
由於傳統VSLAM方法之以上限制，當前的增強現實使用者體驗可常常為令人沮喪的且感到不自然。此外，大多數使用者不太可能知道或理解進行傳統VSLAM初始化所必要之攝影機運動。典型使用者亦常對於其為何應不得不在增強現實系統可顯示場景之追蹤更新之前執行特定運動而感到困惑。
因此，需要改良之VSLAM初始化及追蹤。
本文中所揭示之實施例可係關於一種用於視覺同時區域化及映射之方法。該方法包括在處理後續影像之前根據第一參考影像初始化三維目標。該方法另外包括：處理一或多個後續影像；以6DoF來追蹤3D目標；及基於對該一或多個後續影像之處理來改進3D目標。
本文中所揭示之實施例亦可係關於一電腦可讀穩定式儲存媒體，其具有用以執行視覺同時區域化及映射之指令。該媒體包括用於在處理後續影像之前根據第一參考影像初始化三維目標的指令。該媒體另外包括用於執行以下步驟之指令：處理一或多個後續影像；以 6DoF來追蹤3D目標；及基於對該一或多個後續影像之處理來改進3D目標。
本文中所揭示之實施例亦可係關於一裝置，其包括用於在處理後續影像之前根據第一參考影像初始化三維目標的構件。該裝置另外包括用於處理一或多個後續影像之構件；用於以6DoF來追蹤3D目標之構件；及用於基於對該一或多個後續影像之處理來改進3D目標之構件。
本文中所揭示之實施例可另外係關於一資料處理系統，其包括一處理器及一可組態以儲存用以執行視覺同時區域化及映射之指令的儲存器件。該等指令導致處理器在處理一或多個後續影像之前根據第一參考影像初始化三維目標。該等指令另外導致處理器：處理後續影像；以6DoF來追蹤3D目標；及基於對該一或多個後續影像之處理來改進3D目標。
其他特徵及優勢將自隨附圖式及自詳細描述顯而易見。
100‧‧‧器件
111‧‧‧運動感測器
112‧‧‧顯示器
114‧‧‧攝影機
140‧‧‧收發器
150‧‧‧使用者介面
152‧‧‧小鍵盤
154‧‧‧麥克風
156‧‧‧揚聲器
161‧‧‧通用處理器
162‧‧‧硬體
163‧‧‧韌體
164‧‧‧記憶體
165‧‧‧軟體
166‧‧‧影像處理器
167‧‧‧圖形引擎
168‧‧‧姿勢處理器
177‧‧‧匯流排
405‧‧‧攝影機位置
410‧‧‧物件
415‧‧‧射線
420‧‧‧平面
425‧‧‧感興趣點
430‧‧‧感興趣點
435‧‧‧感興趣點
440‧‧‧感興趣點
445‧‧‧感興趣點
450‧‧‧感興趣點
505‧‧‧攝影機位置
510‧‧‧小幅移動
610‧‧‧大運動
615‧‧‧新攝影機位置
620‧‧‧射線
725‧‧‧點
735‧‧‧點
740‧‧‧點
745‧‧‧點
750‧‧‧點
760‧‧‧點
圖1為一能夠執行所揭示方法之系統之一個實施例的方塊圖；圖2說明快速VSLAM初始化之一個實施例之流程圖；圖3說明快速VSLAM初始化之另一實施例之流程圖；圖4說明攝影機擷取藉由一平面而初始化之目標之影像的例示性側面示意圖；圖5說明攝影機擷取場景之影像及由該攝影機進行之小運動之例示性側面示意圖；圖6說明攝影機擷取場景之影像及由該攝影機進行之大運動之例示性側面示意圖；及圖7說明在由攝影機進行之大運動之後在場景的表示中之感興趣點之經更新集合的例示性側面示意圖。
本文中使用詞語「例示性」或「實例」以意謂「充當一實例、例子或說明」。本文中被描述為「例示性」或「實例」之任何態樣或實施例未必將解釋為較其他態樣或實施例較佳或有利。
圖1為說明能夠執行所揭示方法之系統的方塊圖。系統可包含器件100，該器件100可包括通用處理器161、影像處理器166、姿勢處理器168、圖形引擎167及記憶體164。器件100亦可包括耦接至一或多個匯流排177或信號線之若干器件感測器，該一或多個匯流排177或信號線另外耦接至處理器161、166及168中之至少一者。器件100可為：行動器件、無線器件、蜂巢式電話、個人數位助理、可佩帶器件(例如，眼鏡、手錶、頭飾或類似之附在身體上的器件)、行動電腦、平板電腦、個人電腦、膝上型電腦，或具有處理能力之任何類型的器件。
在一個實施例中，器件100可為行動/攜帶型平台。器件100可包括一用於擷取影像之構件(諸如攝影機114及/或CMOS/視覺感測器(未圖示))，且可視情況包括運動感測器111，諸如加速計、陀螺儀、電子羅盤或其他類似之運動感測元件。器件100亦可在前置及/或後置攝影機(例如，攝影機114)上擷取影像。器件100可另外包括使用者介面150，該使用者介面150包括一用於顯示增強現實影像之構件(諸如顯示器112)。使用者介面150亦可包括鍵盤、小鍵盤152或使用者可藉以將資訊輸入至器件100中之其他輸入器件。若需要，將虛擬小鍵盤整合至具有觸控螢幕/感測器之顯示器112中可避免使用鍵盤或小鍵盤152。使用者介面150亦可包括麥克風154及揚聲器156(例如，若器件100為諸如蜂巢式電話之行動平台)。器件100可包括各種其他元件，諸如衛星定位系統接收器、功率器件(例如，電池)以及通常與攜帶型及非攜帶型電子器件相關聯之其他組件。
器件100可充當行動或無線器件且可經由無線網路經由一或多個 無線通信鏈路進行通信，該一或多個無線通信鏈路係基於或以其他方式支援任何合適之無線通信技術。舉例而言，在一些態樣中，器件100可為用戶端或伺服器，且可與無線網路相關聯。在一些態樣中，網路可包含人體區域網路或個人區域網路(例如，超寬頻網路)。在一些態樣中，網路可包含區域網路或廣域網路。無線器件可支援或以其他方式使用多種無線通信技術、協定或標準(諸如，CDMA、TDMA、OFDM、OFDMA、WiMAX及Wi-Fi)中之一或多者。類似地，無線器件可支援或以其他方式使用多種對應之調變或多工方案中之一或多者。行動無線器件可與其他行動器件、蜂巢式電話、其他有線及無線電腦、網際網路網站等無線地通信。
如上文所描述，器件100可為攜帶型電子器件(例如，智慧型手機、專用增強現實(AR)器件、遊戲器件，或具有AR處理及顯示能力之其他器件)。可將器件100(其可實施本文中所描述之AR系統)用於多種環境(例如，大型購物中心、街道、辦公室、家或使用者可使用其器件的任何地方)中。使用者可能夠在廣泛多種情形中與器件100之多個特徵建立介面連接。在AR之內容脈絡中，使用者可使用器件100以經由顯示器112來檢視真實世界之表示。使用者可藉由使用攝影機114來接收真實世界影像/視訊而與具AR能力之器件100互動。器件100可接著以將額外或替代資訊疊加至所顯示之真實世界影像/視訊上的方式來處理該等影像。在一些實施例中，在器件100上之AR實施中，真實世界物件或場景可即時、接近即時或在影像擷取之短時間窗內被替換或更改，且在顯示器112上向使用者加以顯示。可將虛擬物件(例如，文字、影像、視訊)***至在器件顯示器上所描繪之場景的表示中。
在一個實施例中，如本文中所描述之快速VSLAM初始化模組(FVI)可提取或偵測一或多個感興趣點(例如，與一目標物件或物件/場 景之群組相關聯之3D感興趣點)，且可根據點對應性之集合來估計6DoF攝影機位置及定向(姿勢)。術語模組係用來指能夠執行所陳述之功能的硬體、韌體、軟體或其某一組合。在一些實施例中，FVI可即時、接近即時或在影像擷取之短時間窗內操作。舉例而言，在一個實施例中，FVI可顯示輸入影像之增強表示，使得該等增強與由攝影機114擷取之影像同時出現，且使用者可注意到的延遲或時滯得以最小化。
FVI可在接收到影像或視訊輸入之後輸出(例如，顯示)輸入影像或視訊之增強表示(AR)。如本文中所使用，將對感興趣點之偵測及估計6DoF攝影機姿勢稱作「追蹤」目標。FVI可在預先不知道使用者之環境(例如，無預填入之地圖、CAD模型、場景中之標誌或類似之預定義目標描述符)且在不使用兩個不同之精確參考影像的情況下在提供視覺(例如，所顯示目標調整)反饋之前進行初始化。
FVI可自單一攝影機114或單眼視覺輸入來接收影像或視訊，且提供追蹤及攝影機姿勢判定。在一個實施例中，FVI可即時、接近即時、在短時間窗內或在接收到單一參考影像時瞬間地顯示場景之增強(例如，真實世界場景中之虛擬物件的修改或添加)。在一個實施例中，FVI可使用單一參考影像(例如，自攝影機114擷取之影像圖框)且在無來自加速計、雷射測距儀、陀螺儀、GPS或用於判定位置之其他感測器之額外感測器輸入的情況下提供準確及即時、接近即時或瞬間追蹤。可因此避免昂貴且複雜之多個攝影機陣列系統，且FVI可耦接至常用之攝影機感測器。舉例而言，攝影機可耦接至諸如智慧型手機之行動器件或諸如AR眼鏡之可佩帶器件，且可將AR能力實施為由行動器件之處理器或由AR眼鏡中之處理器執行的軟體應用程式或程式。
圖2說明VSLAM初始化之一個實施例的流程圖。在區塊205處， FVI可在處理後續影像之前根據第一參考影像(例如，單一參考影像)初始化3D目標。舉例而言，初始化第一影像(例如，自攝影機114擷取之單一參考影像)可包括判定三維空間中之具有初始估計深度的感興趣點之集合，如下文予以進一步詳細描述。在一些實施例中，初始化可立即、即時、接近即時或在參考影像擷取之短時間窗內發生。
在一個實施例中，FVI可根據初始所擷取之參考影像建立目標。亦可將如本文中所使用之目標理解為3D物件或場景之模型或地圖。FVI可根據來自單一攝影機感測器或單眼源之單一影像建立目標。該目標可儲存於記憶體中(例如，儲存於器件100之記憶體164中)，且由自影像提取或計算之一或多個3D感興趣點來表示，或與該一或多個3D感興趣點相關聯。在一些實施例中，可在選擇初始參考影像或第二參考影像時在無任何使用者輸入的情況下將3D目標初始化。
在區塊210處，FVI可處理一或多個後續影像。處理可包括判定該等後續影像中之每一者內的感興趣點之集合。在一些實施例中，感興趣點之集合可為在處理參考影像之後所判定之相同感興趣點，然而，位置及深度值可不同於參考影像。
在區塊215處，FVI可以六自由度來追蹤3D目標。FVI可基於所接收之第一影像圖框來開始追蹤目標(例如，場景、物件或地圖)。在一些實施例中，追蹤可在由FVI接收到第一單一參考影像之後立即、瞬間、即時、接近即時或在一短時間週期內發生。在一些實施例中，VSLAM初始化可容易被增強現實使用者顯而易見，此係因為可瞬間、即時、接近即時或在圖框擷取之短時間週期內將3D目標初始化。在一些實施例中，當使用者在任何方向上移動攝影機114且接收到並處理額外影像時，可進一步改進3D目標。FVI可在追蹤時顯示目標之表示，如下文予以更詳細描述。
在區塊220處，FVI可基於對一或多個後續影像之處理來改進3D 目標。FVI可判定感興趣點是否可被估計，且經由小幅移動遞增地改進目標。在一個實施例中，FVI可藉由使目標近似一具有假定之深度值的平面來提供針對初始小運動之攝影機運動估計。又，在用平面來近似目標的實施例中，可省略詳盡地求解極幾何(其可取決於具有足夠的平移)的步驟。因此，在一些實施例中，FVI可自動地進行初始化且亦提供自第一參考影像往後之連續攝影機114追蹤。FVI亦可自動地自由攝影機114記錄之額外影像(例如，在第一初始參考影像之後的後續影像擷取)選擇第二參考影像。下文進一步詳細描述選擇第二參考影像之方法。在選擇第二參考影像之後，可基於根據第一參考影像及第二參考影像之追蹤及攝影機姿勢判定而繼續進行追蹤及攝影機114姿勢判定。
在一個實施例中，在發現具有自初始參考影像之充分平移(例如，較大移動)的影像時，可將所發現之影像自動地指派為第二參考影像。來自第二參考影像之感興趣點可用以對目標進行三角量測，從而導致追蹤準確度之進一步增加。
在一些實施例中，器件100可能夠在無任何直接或手動使用者互動或觸發的情況下自動地開始、執行或運作(例如，藉由使用處理器161)FVI(例如，作為FVI引擎、軟體處理程序或其他實施)。或者，在其他實施例中，FVI可導致器件100提示使用者藉由觸摸觸控螢幕、按下按鈕或類似之輸入而開始目標之初始化及追蹤。在又其他實施中，可將FVI整合至應用程式或程式中，且該應用程式或程式提示使用者或自動地擷取初始參考影像並開始追蹤。
第一影像可為初始或第一參考影像。器件100可藉由攝影機114來擷取初始影像且將該影像發送至FVI以用於增強現實處理。在一個實施例中，可在偵測到攝影機移動或運動時，由攝影機114自動地擷取初始影像圖框。應理解，如本文中所使用，所擷取之影像可為靜止/ 照相影像圖框或視訊圖框。舉例而言，攝影機114可具有視訊以及靜止相片影像擷取能力。
在一個實施例中，至少部分地藉由處理單一第一影像(例如，自攝影機114擷取之初始化影像)及使用初始估計深度來計算所提取之感興趣點之集合，有可能實現自第一參考影像(例如，由攝影機114擷取之第一影像)開始之快速攝影機追蹤。在一個實施例中，增強現實程式或應用程式可在自初始化往後、在接收到任何攝影機114運動(例如，攝影機平移)之前在場景中(例如，在行動器件或電腦之顯示器上)顯示暫存之內容(圖形)。FVI亦可在僅接收到旋轉運動時在場景中顯示暫存之內容。
在一個實施例中，FVI可在不要求使用者進行用以初始化追蹤的特定運動的情況下建立用於目標追蹤之準確資料集。在一個實施例中，FVI可立即追蹤場景或物件，且即時、接近即時、瞬間或在一短時間窗內將AR更新提供至顯示器(例如，目標之增強)。藉由允許實現自單一初始參考影像之初始化起的目標追蹤，使用者受到鼓勵而繼續移動/重定位攝影機並藉由器件攝影機114來探索目標或場景。以不同角度及視點對場景之更多探索可揭露關於目標之更多資訊。FVI可使用在使用者移動攝影機時所獲得的額外資訊以改進目標。在一些實施例中，FVI可在使用者移動攝影機時使用經改進之目標來提供即時顯示反饋。在一些實施例中，當提供即時顯示反饋時，可發現並選擇可用以進一步改進FVI所收集之關於目標及攝影機姿勢之資訊的第二參考影像。
在增強現實(AR)實施中，FVI可視情況提示使用者提供用以增強目標之額外資訊。舉例而言，使用者可能夠將使用者建立之內容或所選之內容添加至器件100顯示器上之表示。使用者內容可為可與目標之表示整合或由目標之表示覆疊或替換目標之表示的影像、3D物 件、視訊、文字或其他內容類型。
在一個實施例中，可至少部分地藉由將第一影像(例如，自攝影機114擷取之初始化影像)處理為3D目標(例如，處理為平面或其他幾何形狀之3D目標)來促進自第一參考影像(例如，由攝影機114擷取之第一影像)之快速目標追蹤。在一個實施例中，FVI自動地選擇考慮到所觀測到之攝影機114運動可加以更新之場景(例如，3D地圖)的若干部分(例如，感興趣點)。因此，在一些實施例中，FVI可自動地進行初始化，且提供自第一參考影像往後至後續所擷取影像之連續攝影機114追蹤。FVI亦可自動地自由攝影機114記錄之額外影像選擇第二參考影像(例如，在第一初始參考影像之後的後續影像擷取)。在選擇第二參考影像之後，可基於根據第一參考影像及第二參考影像之追蹤及攝影機姿勢判定而進一步/充分改進追蹤及攝影機114姿勢判定。
在一個實施例中，FVI可在未接收到與特定目標形狀、標誌(真實世界或虛擬)或標記有關之任何預定或預初始化輸入的情況下建立用於3D目標追蹤之準確資料集。在一些實施例中，FVI可在預先不知道3D目標之形狀且在不知道3D目標內之特定特徵之存在的情況下將3D目標初始化。舉例而言，在一個實施例中，代替接收具有已知座標之預定義目標物件或目標，FVI可初始化3D目標且可將相等深度設定至每一所發現之特徵。因此，在一個實施例中，用於3D目標之資料集可被完全填入有來自第一單一參考影像之所有感興趣點的深度及位置。隨著攝影機姿勢相對於3D目標改變，可校正任何深度錯誤。
在一個實施例中，AR程式或應用程式可在自初始化往後、在接收到任何攝影機114或旋轉運動之前在場景中(例如，在行動器件或電腦之顯示器上)顯示暫存之內容(圖形)。舉例而言，AR程式可在行動電話或手持型器件之顯示器上提供目標之AR表示。
可將如本文中所使用之感興趣點界定為影像之引起興趣或注意 的部分。感興趣點偵測可為用以檢查每一像素以判定感興趣點是否存在於特定像素處的低階影像處理操作。或者，亦可將高階演算法用於感興趣點偵測。感興趣點偵測可處理整個影像圖框，或替代性地處理影像之子區段。
自影像提取之感興趣點可表示沿三維空間(例如，X、Y及Z軸座標)之相異點。如本文中所使用，目標可包括自影像內之單一被隔離物件(或多個物件)提取或與影像內之單一被隔離物件(或多個物件)相關聯的感興趣點。舉例而言，在影像中所擷取之整個場景可包括多個物件且每一物件可具有一或多個所提取之感興趣點。影像或場景內之物件群組亦可具有與該整個群組相關聯之集體組合之感興趣點集合。
在一個實施例中，FVI對具有初始估計深度的感興趣點之提取允許針對非平面場景(例如，並非平行於初始參考影像或影像之單一平面而是可在位於任意位置中之平面或一不同3D表面中的場景，或根本不具有主要平面結構的場景)之追蹤及攝影機姿勢判定。
對於每一所擷取之影像或視訊圖框而言，一旦已偵測到感興趣點，便可提取在感興趣點周圍之局部影像塊。可使用眾所周知之技術(諸如尺度不變特徵變換(SIFT))來提取感興趣點，其將感興趣點區域化並產生該等感興趣點之描述。若需要，可使用其他技術，諸如快速強健特徵(SURF)、梯度位置-定向直方圖(GLOH)或其他相當之技術。在一些實施例中，當判定影像之所提取之感興趣點的數目超過一臨限值(例如，100個感興趣點或其他點數目)時，可將該影像儲存作為第一參考影像且可將該等所提取之感興趣點定義為參考點。
在一些實施例中，FVI可在不使用任何加速計資料的情況下追蹤目標(例如，目標可位於相對於重力的任何定向中，且水平或垂直對準之物件對於FVI追蹤同等可行)。此外，FVI可追蹤任何形狀之目標(例如，FVI不依賴於矩形或另一所定義之幾何結構以便識別及追蹤目 標)。在一些實施例中，由於FVI並不為了追蹤目標而要求或假定完整目標形狀/結構，所以即使當目標被部分地遮蔽時FVI仍可追蹤該目標。舉例而言，即使在初始參考圖框中目標之一或多個部分遺漏或被遮掩時，FVI仍可追蹤該目標。當攝影機以6DoF移動時，FVI可用額外的所發現之感興趣點來更新目標。
在一些實施例中，FVI可既不需要使用者輸入，亦不依賴於其他追蹤初始化方法來開始追蹤目標。舉例而言，在追蹤目標之前，FVI追蹤並不依賴於使用者在特定運動中移動攝影機、站在特定位置中、水平地固持攝影機或執行其他形式之追蹤初始化方法。
如上文所描述，器件100可為攜帶型電子器件(例如，智慧型手機、專用增強現實(AR)器件、遊戲器件、諸如眼鏡之可佩帶器件，或具有AR處理及顯示能力之其他器件)。可將實施本文中所描述之AR系統的器件用於多種環境(諸如，大型購物中心、街道、房間或使用者可將攜帶型器件帶往的任何地方)中。在AR之內容脈絡中，使用者可使用器件100以經由其器件之顯示器來檢視目標及真實世界之表示。
使用者可藉由使用具AR能力之器件的攝影機接收真實世界影像/視訊且將額外或替代資訊疊加或覆疊至器件上之所顯示之真實世界影像/視訊上來與該器件互動。當使用者在其器件上檢視AR實施時，可在器件顯示器上即時地替換或更改真實世界物件或場景。可將虛擬物件(例如，文字、影像、視訊)***至器件顯示器上所描繪之場景的表示中。舉例而言，可將定製之虛擬相片***於真實世界告示牌、海報或相框之上。另一實例為將3D虛擬字元(例如，視訊遊戲字元)置於真實世界場景中，諸如置放於藉由攝影機及AR器件所檢視之辦公室或家庭環境內。
在一個實施例中，可藉由在使用者移動AR器件時且在預先不知道使用者之環境的情況下自動地更新顯示於器件上之AR來極大地加 強使用者對器件之體驗。舉例而言，在一些實施例中，FVI可在無地圖、CAD模型、場景中之標誌或其類似者的情況下進行操作。FVI亦可在無多個不同及精確之影像擷取的情況下藉由提供視覺反饋(例如，對顯示器112上所表示之目標的AR更新)來加強使用者體驗。在一些實施例中，可即時、接近即時、幾乎瞬間或在擷取第一參考影像之短時間窗內將對AR系統之視覺更新提供至顯示器及使用者。
在一個實施例中，藉由使用任何處增強，使用者一將攝影機指向環境中之所選點，FVI就可將關於增強將如何被錨定至該點的互動式反饋提供至使用者。舉例而言，在器件上進行初始化之後，FVI便可允許使用者僅僅藉由將攝影機指向一目標來自動地選擇該目標。
器件100及攝影機114之移動可導致顯示器即時地更新正被追蹤之目標(例如，一或多個物件或場景)之增強。在器件移動遠離初始參考影像位置的情況下，器件可自替代視域擷取額外影像。當顯示替代視圖時，在FVI處理額外影像時場景增強可變得更準確。FVI可估計與目標相關聯之所提取之感興趣點的3D位置以獲得攝影機正查看之環境的3D知識。透過使用用於追蹤感興趣點之基於視覺之解決方案，可推斷出局部法向向量及點之間的相對距離。
在一個實施例中，可將物件或圖形***或整合至由攝影機114所擷取之視訊流(或影像)中且在顯示器112上顯示該物件或圖形。在一些實施例中，顯示器可藉由自原始場景起之順暢追蹤而即時地進行更新。舉例而言，可用替代文字來替換告示牌上之文字，或可策略性地將3D物件置放於場景中並顯示於器件100上。當使用者改變攝影機114之位置及定向時，可調整或增強圖形或物件以匹配攝影機114之相對移動。
在一個實施例中，FVI可在攝影機視圖方向上將來自攝影機之射線投射至所估計之主要平面(例如，被初始化於上文所描述之初始深 度的平面)中。FVI可使用加速計來估計重力方向，且不論攝影機被指向哪裡，均使用該重力方向(除此之外，亦使用自攝影機投射之射線)來正確地將供顯示之目標之3D增強對準、定位及設定距離。舉例而言，若將虛擬物件***至增強現實顯示中，則遠離虛擬物件之攝影機移動可相對於由攝影機114行進之距離來減小虛擬物件之大小。舉例而言，在所有其他變數相等的情況下，與自虛擬物件退回半步相比，自虛擬物件退回四步應導致虛擬物件之大小的較大減小。可在由FVI表示之場景內製作運動圖形或動畫。舉例而言，動畫化之物件可在增強現實顯示器中所描繪之場景內「移動」。
在一個實施例中，在攝影機114移動且攝影機姿勢改變(例如，由於使用者或機器人起始之移動)時，FVI可將一適當影像選擇用作第二參考影像。可自影像饋入或影像流選擇第二參考影像。在自第二參考影像提取感興趣點並進行三角量測之後，可達成該增強之增大的準確度(例如，物件周圍之邊界可更精確地擬合，場景中之物件之表示將表現得更為逼真，且目標置放可相對於攝影機114姿勢更準確)。
熟習此項技術者將認識到，可以除AR之外的方式(例如，機器人定位或用以利用FVI之其他實施)來實施本文中所描述之實施例。
在一個實施例中，可將FVI實施為由處理器執行以將影像或視訊接收作為輸入的引擎或模組。FVI可以接收單一影像I 0 開始。與初始影像I 0 相關聯之攝影機姿勢為C 0 =I 4x 4 (單位矩陣)。可自該單一影像提取2D感興趣點p i =(u i ,v i )。每一感興趣點可與初始深度z i =1相關聯。可將深度儲存作為反深度。對應於感興趣點p i 之點X i 的3D位置接著為以齊次座標所表示之X i =(u i ,v i ,1,w i ) T 。
對於在時間t所擷取之任何後續攝影機影像I t 而言，根據3D點X i 之2D位置之量測來估計攝影機位置C t 。使用最近已知之攝影機姿勢C t -1 而將點X i 重投影至當前影像I t 中，且可進行對影像I t 中之2D位置之新量測。在一個實施例中，可使用自影像I 0 取得之影像塊之間的正規化交叉相關或獲得影像對應性之另一方法來獲得對影像I t 中之2D位置之新量測。使用此方法，可針對每一點X i 觀測2D位置m i 。接著，可使用高斯-牛頓非線性改進方案來最佳化攝影機位置C t 以及每一點之反深度w i 。
投影函數為：
關於R ,T 及w 之亞可比行列式(Jacobians)為：及
其中R代表攝影機相對於目標之旋轉。當C t -1 之攝影機平移T 太小時，觀測m i 的關於3D點之反深度w i 的亞可比行列式J w 趨於零(變小且幾乎為零)，從而可妨礙反深度之準確估計。因此，在高斯-牛頓迭代期間，對於每一點而言，測試反深度參數之資訊矩陣。在此狀況下，該資訊矩陣僅為非負純量值；若其低於臨限值(諸如10-3 )，則將其倒數設定至零。將倒數設定至0避免了更新深度座標，因為在此狀況下更新無法可靠地完成。
在一個實施例中，FVI可總是估計攝影機姿勢，因為點X i 具有已知之深度座標。因此，在一個實施例中，最佳化之攝影機參數部分總是受到良好約束。
最佳化及更新攝影機姿勢參數與所有點之反深度座標w i 兩者可導致新攝影機姿勢C t 及亞可比行列式未趨於零之所有點的新深度估計。
圖3說明快速VSLAM初始化之一個實施例之流程圖。
在區塊305處，FVI可讀取或接收一影像以用作參考影像。該參考影像可為來自攝影機感測器/影像饋入之初始擷取之影像，或可由使用者加以選擇。在一個實施例中，FVI可在無用於選擇初始影像之任何使用者輸入的情況下將3D目標初始化。在一個實施例中，當攝影機114在任何方向上移動時，起始建置3D目標。參考影像可為用於在攝影機114以6DoF移動並擷取後續影像時連續地估計目標之真實/經改進之形狀的起點。在一個實施例中，使用者可在任何方向上移動攝影機114且可在原始場景保持為至少部分地可見時執行3D目標之追蹤及初始化。在一個實施例中，藉由向點指派一假定深度值，可瞬間、即時、接近即時或在自第一影像(參考影像)往後的短時間窗內執行攝影機追蹤。
在區塊310處，FVI可使用上文所描述之方法中之一者自參考影像判定3D感興趣點之一集合。
在區塊315處，FVI可將目標設定為幾何形狀。在一個實施例中，幾何形狀可採用平面之形式，然而，可使用其他形狀來設定目標。在一個實施例中，FVI可將3D感興趣點中之每一者指派給相同/相等之固定深度值。該等感興趣點可最初沿平行於影像平面之2D平面定位。在一個實施例中，所有3D感興趣點係在平行於影像平面(例如，感測器或攝影機平面)之平面上的假定促進了對目標之即時、接近即時或快速追蹤，同時當更新3D點深度時可具有遞增之改進。
圖4說明攝影機擷取藉由平面而初始化之目標之影像的側面示意圖之一個實施例。圖4亦說明目標之若干感興趣點(例如，感興趣點425、430、435、440、445及450)，如自在位置405處之攝影機114所檢視，該等感興趣點被以預定義之初始距離而設定至平面420。可使用如上文所揭示之用於提取之眾所周知之技術中的一者來提取感興趣 點。舉例而言，如上文所揭示，可自影像提取2D感興趣點p i =(u i ,v i )。每一感興趣點可與一初始深度(例如，如上文所揭示，z i =1或另一預定初始化值)相關聯，使得所有感興趣點最初均沿相同平面(例如，點425、430、435、440、445及450係沿單一平面420)。
在其他實施例中，可藉由任何其他幾何形狀或經初始化之深度值之任何配置將感興趣點初始化。舉例而言，FVI可判定另一幾何形狀應為目標之基線起點，且隨著發現更多目標資訊而進行改進。此外，替代每一感興趣點具有相同深度值的做法，可藉由如此項技術中已知之其他技術來個別地估計或判定經初始化之深度值。舉例而言，初始深度值可為某一範圍之值，使得平均感興趣點深度係在一預定臨限平均深度範圍內。
圖4亦說明表示由攝影機114所觀測到之3D場景的物件(例如，物件410)。線415說明射線，在該射線下可看見與物件410相關聯之感興趣點425(例如，與物件410之邊緣相關聯的感興趣點425具有與沿平面420所偵測到之其他感興趣點相等的初始深度)。沿線415的自位置405處之攝影機114至感興趣點425的距離為感興趣點425之假定深度。
參看圖3，在區塊320處，FVI可開始處理後續影像。在一個實施例中，當器件100相對於參考影像內之物件(例如，物件410)移動時，攝影機114可繼續擷取並處理目標之來自不同視點的後續影像中的一或多者。在一些例子中，該(該等)後續影像可緊隨參考影像。或者，可自影像流擷取該(該等)後續影像且在參考影像之後的任何較遲時間擷取該(該等)後續影像(例如，可直接在參考影像與一後續影像之間擷取其他影像)。處理後續影像可包括提取或判定該後續影像內之3D感興趣點之一集合。該(該等)後續影像中之3D感興趣點之集合可與根據參考影像判定之3D感興趣點相同或等效，只不過該(該等)後續影像中之3D感興趣點可處於與參考影像相比之不同深度或位置處。
FVI可在判定參考影像之後立即開始處理後續影像，或替代性地可延遲處理直至已偵測到兩個或兩個以上影像(例如，在攝影機饋入內)。舉例而言，攝影機114可以每秒30個圖框的速率擷取影像，然而，FVI可判定5個緊隨之圖框(例如，或在緊接在擷取初始參考影像之後的一時間週期內所擷取之圖框)不太可能導致可量測之攝影機平移。因此，在一些實施例中，FVI可略過一或多個後續圖框或可略過在初始參考圖框之後的一段時間。類似地，FVI可能並不總是處理影像饋入中之每一影像以便減少總處理時間。舉例而言，FVI可使用影像饋入之樣本(例如，每隔一個的所記錄之影像，或每五個所記錄之影像中之一者)來進行處理以得到感興趣點。
在區塊325處，FVI可追蹤後續影像之感興趣點。在一些實施例中，追蹤目標包括將來自參考影像之每一3D感興趣點之位置與來自後續影像之對應3D感興趣點相比較，且判定在兩個影像中所找到之相同3D感興趣點中之一或多者的位置改變。對於每一後續影像(例如，在初始參考影像之後擷取及處理之影像)而言，FVI可判定該後續影像是否為供指派作為第二參考影像之後續影像，如下文予以更詳細揭示。對於某種運動而言，平面近似減少或消除了追蹤錯誤，使得任何剩餘錯誤在很大程度上未被使用者注意到。舉例而言，對於小幅移動而言，場景之第一平面近似可足夠準確使得追蹤錯誤並不顯著。由此等小幅移動產生之影像將不被用作後續參考影像，然而，此促進由使用者進行之進一步場景探索直至獲得第二參考影像以進一步減少任何錯誤。
圖5中將藉由平面進行之小幅移動追蹤之一個實施例說明為自攝影機位置405至攝影機位置505之小幅移動510的側面示意圖。如圖5中所說明，射線及感興趣點可最初隨著自攝影機位置405之小幅移動510而發散。
圖6說明攝影機擷取場景之影像及攝影機自位置405至新攝影機位置615之大運動610之側面示意圖之一個實施例。圖6說明先前與感興趣點425相關聯之射線415變成射線620且不再準確地追蹤感興趣點425。
參看圖3，在區塊330處，FVI可判定是否可估計每一感興趣點深度(亦即，3D點位置)。3D點估計遵守極約束，因為其聯合地估計攝影機運動及所有可能之3D點。如上文所論述，對於每一感興趣點而言，測試反深度參數之資訊矩陣以判定是否可估計感興趣點之深度。若不能估計感興趣點深度，則FVI可繼續至區塊340且添加攝影機約束。否則，若可估計感興趣點，則在區塊335處將所估計之感興趣點添加至一更新點清單。或者，所估計之感興趣點可更新感興趣點之主儲存器位置(例如，資料庫、平面檔案或其他儲存類型)而非維持更新點之單獨清單或位置。在更新感興趣點抑或判定更新係不可能之後，FVI可繼續至區塊340以添加對於感興趣點之攝影機約束。
在區塊340處，將攝影機約束添加至感興趣點。如本文中所使用之約束為由亞可比行列式(Jacobians)及所觀測到之2D量測給出的線性約束。見上文關於R、T及w 之投影函數及亞可比行列式之詳細論述。
在區塊345處，FVI可最佳化攝影機及目標。在一個實施例中，FVI基於攝影機114之移動來最佳化攝影機114及目標。當使用者移動攝影機114時，顯示器可即時地將更新提供至使用者。接收即時反饋可鼓勵使用者繼續移動攝影機114。額外攝影機移動可提供對目標之進一步改進及更大之追蹤準確度。舉例而言，在AR的內容脈絡中，器件100可顯示一與目標整合之圖形或物件，且可在場景中定位該圖形或物件使得當移動攝影機(例如，以6DoF中之一者)時，該圖形或物件維持其相對於其他物件或環境(相對於如自第一參考影像所判定之其位置及定向)的位置。
在區塊350處，FVI可判定是否已估計足夠點。經由在不同場景中測試該方法來設定點數目之臨限(例如，可基於設計及系統參數來設定臨限)。在一個實施例中，可將臨限設定於100個點或替代性地150個點或某一其他數目。若已存在足夠點，則FVI可繼續至區塊355。在一個實施例中，當滿足點之臨限數目時，FVI可將與該等點相關聯之影像指派作為第二參考影像且繼續至區塊355。否則，FVI繼續在區塊320處處理後續影像。在一個實施例中，FVI可在多個後續影像(例如，來自自攝影機114擷取之一系列影像圖框)中反覆處理，從而在判定是否已估計足夠之感興趣點的同時處理每一影像。
在區塊355處，FVI可被判定為完成，且為後續影像提供準確度增加之追蹤。舉例而言，如圖7中所說明，FVI可對來自第一參考影像及第二參考影像之感興趣點位置進行三角量測。該兩個參考影像可自不同檢視方向來描繪相同目標(例如，物件或場景的一區段)。FVI可連同使攝影機自第一參考影像移至第二參考影像的運動一起找到對應性(亦即，在第一影像與第二影像兩者中之感興趣點位置)且計算此等對應之感興趣點之3D結構。可將感興趣點之三角量測視為在上文所描述之初始小運動改進之後的第二層級之改進。三角量測可發生於判定兩個參考影像之後。
圖7說明在大幅攝影機移動之後及在第二參考影像允許得到由攝影機114(615)觀測到之點725、735、745、750、740及760之集合中之每一者的更準確(亦即，經更新)感興趣點深度之後攝影機405之側面示意圖。線620說明射線，在該射線下可看見經更新之感興趣點760。
可將本文中之教示併入至多種裝置(例如，器件)中(例如，實施於多種裝置內或由多種裝置執行)。舉例而言，可將本文中所教示之一或多個態樣併入至電話(例如，蜂巢式電話)、個人資料助理(「PDA」)、平板電腦、行動電腦、膝上型電腦、平板電腦、娛樂器 件(例如，音樂或視訊器件)、耳機(例如，頭戴式耳機、耳承等)、醫學器件(例如，生物測定感測器、心率監視器、計步器、EKG器件等)、使用者I/O器件、電腦、伺服器、銷售點器件、娛樂器件、機上盒或任何其他合適之器件。此等器件可具有不同功率及資料要求，且可導致針對每一感興趣點或感興趣點的每一集合所產生之不同功率分佈。
在一些態樣中，無線器件可包含用於通信系統之存取器件(例如，Wi-Fi存取點)。此存取器件可透過收發器140經由有線或無線通信鏈路而提供(例如)至另一網路(例如，諸如網際網路或蜂巢式網路之廣域網路)之連接性。因此，該存取器件可使另一器件(例如，Wi-Fi台)能夠存取該另一網路或某一其他功能性。另外，應瞭解，該等器件中之一者或兩者可為攜帶型的，或在一些狀況下為相對非攜帶型的。
熟習此項技術者將理解，可使用多種不同技藝及技術中之任一者來表示資訊及信號。舉例而言，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示可貫穿以上描述所引用之資料、指令、命令、資訊、信號、位元、符號及碼片。
熟習該項技術者將進一步瞭解，可將結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、引擎、電路及演算法步驟實施為電子硬體、電腦軟體或兩者之組合。為了清晰地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、引擎、電路及步驟已在上文大體按其功能性加以描述。此功能性經實施為硬體或是軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以變化之方式來實施所描述之功能性，但不應將此等實施決策解釋為導致背離本發明之範疇。
結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模 組及電路可藉由通用處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他可程式化邏輯器件、離散閘或電晶體邏輯、離散硬體組件或經設計以執行本文中所描述之功能的任何其組合來實施或執行。通用處理器可為微處理器，但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可經實施為計算器件之組合，例如DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任一其他此組態。
結合本文中所揭示之實施例而描述之方法或演算法的步驟可直接體現於硬體中、由處理器所執行之軟體中，或兩者之組合中。軟體可駐存於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、抽取式碟片、CD-ROM或此項技術中已知之任何其它形式之儲存媒體中。例示性儲存媒體耦接至處理器，使得處理器可自儲存媒體讀取資訊並將資訊寫入至儲存媒體。在替代例中，儲存媒體可整合至處理器。處理器及儲存媒體可駐留於ASIC中。ASIC可駐留於使用者終端機中。在替代例中，處理器及儲存媒體可作為離散組件而駐留於使用者終端機中。
在一或多個例示性實施例中，可以硬體(例如，硬體162)、軟體(例如，軟體165)、韌體(例如，韌體163)或其任何組合來實施所描述之功能或模組。若以軟體來實施作為電腦程式產品，則可將該等功能或模組作為穩定式電腦可讀媒體上之一或多個指令或程式碼來儲存或傳輸。電腦可讀媒體可包括電腦儲存媒體與通信媒體兩者，通信媒體包括促進電腦程式自一處傳送至另一處的任何媒體。儲存媒體可為可由電腦存取之任何可用媒體。藉由實例且並非限制，此等穩定式電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件，或可用以載運或儲存呈指令或 資料結構形式之所要程式碼並可由電腦存取的任何其他媒體。又，將任何連接恰當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)自網站、伺服器或其他遠端源來傳輸軟體，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)被包括於媒體之定義中。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於穩定式電腦可讀媒體之範疇內。
提供所揭示之實施例之先前描述以使熟習此項技術者能夠製作或使用本發明。熟習此項技術者將容易顯而易見對此等實施例之各種修改，且在不背離本發明之精神或範疇的情況下可將本文中所界定之一般原理應用於其他實施例。因此，本發明並不意欲限於本文中所展示之實施例，而是應符合與本文中所揭示之原理及新穎特徵相一致的最廣範疇。

Claims (36)

  1. 一種用於視覺同時區域化及映射之處理器實施方法，該方法包含：根據從一第一參考影像獲得之一第一組目標3D點不需標誌從該第一參考影像初始化一三維(3D)目標，其中於該第一組中之該等目標3D點在處理一後續影像之前於一預定初始深度值沿著一平面被初始化；及在獲得一第二參考影像之前，藉由以下步驟處理一或多個後續影像：以六自由度來追蹤該3D目標；及聯合地估計攝影機姿勢及基於從該一或多個後續影像之該處理獲得之該等目標3D點之後續組二維(2D)量測來改進該3D目標，每一後續組2D量測對應於該一或多個後續影像中之一者。
  2. 如請求項1之處理器實施方法，其另外包含：在初始化該3D目標之後便顯示該3D目標之一經正確地對準、定位及設定距離之增強現實表示。
  3. 如請求項2之處理器實施方法，其另外包含：當以六自由度來追蹤該3D目標時，更新該3D目標之該增強現實表示。
  4. 如請求項1之處理器實施方法，其中該處理一或多個後續影像另外包含：自該一或多個後續影像提取2D感興趣點。
  5. 如請求項1之處理器實施方法，其中初始化該3D目標另外包含：自該參考影像提取2D感興趣點之一參考集合；判定目標3D點，每一目標3D點對應於2D感興趣點之該參考集 合中之一2D感興趣點；及將一預定初始深度值指派給每一目標3D點。
  6. 如請求項5之處理器實施方法，其中該追蹤該3D目標另外包含將對應於該等目標3D點中之至少一者的至少一參考興趣點位置與一自該一或多個後續影像提取之該等目標3D點中該至少一者之一對應之經更新之2D位置相比較。
  7. 如請求項5之處理器實施方法，其中改進該3D目標另外包含：基於一後續組中該一或多個目標3D點之對應2D量測判定於該第一組中該等目標3D點中之一或多者之一經更新之深度值；及用該對應之經更新之深度值來替換用於該第一組中該一或多個目標3D點之每一者之該預定初始深度值。
  8. 如請求項7之處理器實施方法，其另外包含：判定何時具有經更新之深度值之該等目標3D點的一臨限數目被滿足，其中該臨限數目係從該一或多個後續影像中之一對應後續影像獲得；及將該對應後續影像指派作為一第二參考影像。
  9. 如請求項8之處理器實施方法，其中該3D目標之該改進另外包含藉由用自該第二參考影像所提取之複數個2D感興趣點三角量測該等目標3D點來執行對該3D目標之一另外改進。
  10. 一種電腦可讀穩定式儲存媒體，其含有可執行之程式指令，該等程式指令導致一資料處理器件執行一用於視覺同時區域化及映射之方法，該方法包含：根據從一第一參考影像獲得之一第一組目標3D點不需標誌從該第一參考影像初始化一三維(3D)目標，其中於該第一組中之該等目標3D點在處理一後續影像之前於一預定初始深度值沿著一平面被初始化；及 在獲得一第二參考影像之前，藉由以下步驟處理一或多個後續影像：以六自由度來追蹤該3D目標；及聯合地估計攝影機姿勢及基於從該一或多個後續影像之該處理獲得之該等目標3D點之後續組二維(2D)量測來改進該3D目標，每一後續組2D量測對應於該一或多個後續影像中之一者。
  11. 如請求項10之媒體，其另外包含：在初始化該3D目標之後便顯示該3D目標之一經正確地對準、定位及設定距離之增強現實表示。
  12. 如請求項11之媒體，其另外包含：當以六自由度來追蹤該3D目標時，更新該3D目標之該增強現實表示。
  13. 如請求項10之媒體，其中該處理一或多個後續影像另外包含：自該一或多個後續影像來提取2D感興趣點。
  14. 如請求項10之媒體，其中初始化該3D目標另外包含：自該參考影像提取2D感興趣點之一參考集合；判定目標3D點，其中每一目標3D點對應於2D感興趣點之該參考集合中之一2D感興趣點；及將一預定初始深度值指派給每一目標3D點。
  15. 如請求項14之媒體，其中該追蹤該3D目標另外包含將對應於該等目標3D點中之至少一者的至少一參考興趣點位置與一自該一或多個後續影像提取之一對應之經更新之2D位置相比較。
  16. 如請求項14之媒體，其中改進該3D目標另外包含：基於一後續組中該一或多個目標3D點之對應2D量測判定於該第一組中該等目標3D點中之一或多者之一經更新之深度值；及用該對應之經更新之深度值來替換用於該第一組中該一或多 個目標3D點之每一者之該預定初始深度值。
  17. 如請求項16之媒體，其另外包含：判定何時具有一經更新之深度值之該等目標3D點的一臨限數目被滿足，其中該臨限數目係從該一或多個後續影像中之一對應後續影像獲得；及將該對應後續影像指派作為一第二參考影像。
  18. 如請求項17之媒體，其中該3D目標之該改進另外包含藉由用自該第二參考影像所提取之複數個2D感興趣點三角量測該等目標3D點來執行對該3D目標之一另外改進。
  19. 一種用於視覺同時區域化及映射之資料處理器件，其包含：一處理器；及一儲存器件，其耦接至該處理器且可組態以用於儲存指令，該等指令在由該處理器執行時導致該處理器執行以下步驟：根據從一第一參考影像獲得之一第一組目標3D點不需標誌從該第一參考影像初始化一三維(3D)目標，其中於該第一組中之該等目標3D點在處理一後續影像之前於一預定初始深度值沿著一平面被初始化；在獲得一第二參考影像之前處理一或多個後續影像，其中用於處理該一或多個後續影像之複數個指令導致該處理器執行以下步驟：；以六自由度來追蹤該3D目標；及聯合地估計攝影機姿勢及基於從該一或多個後續影像之該處理獲得之該等目標3D點之後續組二維(2D)量測來改進該3D目標，每一後續組2D量測對應於該一或多個後續影像中之一者。
  20. 如請求項19之資料處理器件，其另外包含用以執行以下步驟之指令： 在初始化該3D目標之後便顯示該3D目標之一經正確地對準、定位及設定距離之增強現實表示。
  21. 如請求項20之資料處理器件，其另外包含用以執行以下步驟之指令：當以六自由度來追蹤該3D目標時，更新該3D目標之該增強現實表示。
  22. 如請求項19之資料處理器件，其中該處理一或多個後續影像另外包含用以執行以下步驟之指令：自該一或多個後續影像提取2D感興趣點。
  23. 如請求項19之資料處理器件，其中初始化該3D目標另外包含用以執行以下步驟之指令：自該參考影像提取2D感興趣點之一參考集合；判定目標3D點，其中每一目標3D點對應於2D感興趣點之該參考集合中之一2D感興趣點；及將一預定初始深度值指派給每一目標3D點。
  24. 如請求項23之資料處理器件，其中該追蹤該3D目標另外包含將對應於該等目標3D點中之至少一者的至少一參考興趣點位置與一自該一或多個後續影像提取之一對應之經更新之2D位置相比較。
  25. 如請求項23之資料處理器件，其中改進該3D目標另外包含用以執行以下步驟之指令：基於一後續組中該一或多個目標3D點之對應2D量測判定於該第一組中該等目標3D點中之一或多者之一經更新之深度值；及用該對應之經更新之深度值來替換用於該第一組中該一或多個目標3D點之每一者之該預定初始深度值。
  26. 如請求項25之資料處理器件，其另外包含用以執行以下步驟之 指令：判定何時具有一經更新之深度值之該等目標3D點的一臨限數目被滿足，其中該臨限數目係從該一或多個後續影像中之一對應後續影像獲得；及將該對應後續影像指派作為一第二參考影像。
  27. 如請求項26之資料處理器件，其中該3D目標之該改進另外包含用以執行以下步驟之指令：藉由用自該第二參考影像所提取之複數個2D感興趣點三角量測該等目標3D點來執行對該3D目標之一另外改進。
  28. 一種用於視覺同時區域化及映射之裝置，其包含：用於根據從一第一參考影像獲得之一第一組目標3D點不需標誌從該第一參考影像初始化一三維(3D)目標的構件，其中於該第一組中之該等目標3D點在處理一後續影像之前於一預定初始深度值沿著一平面被初始化；及用於在獲得一第二參考影像之前處理一或多個後續影像的構件，該用於處理之構件包含以下構件；用於以六自由度來追蹤該3D目標的構件；及用於聯合地估計攝影機姿勢及基於從該一或多個後續影像之該處理獲得之該等目標3D點之後續組二維(2D)量測來改進該3D目標的構件，每一後續組2D量測對應於該一或多個後續影像中之一者。
  29. 如請求項28之裝置，其另外包含：用於在初始化該3D目標之後便顯示該3D目標之一經正確地對準、定位及設定距離之增強現實表示的構件。
  30. 如請求項29之裝置，其另外包含：用於在以六自由度來追蹤該3D目標時更新該目標之該增強現 實表示的構件。
  31. 如請求項28之裝置，其中該處理一或多個後續影像另外包含：用於自該一或多個後續影像提取2D感興趣點的構件。
  32. 如請求項28之裝置，其中初始化該3D目標另外包含：用於自該參考影像提取2D感興趣點之一參考集合的構件；用於判定目標3D點的構件，其中每一目標3D點對應於2D感興趣點之該參考集合中之一2D感興趣點；及用於將一預定初始深度值指派給每一目標3D點的構件，每一目標3D點對應於2D感興趣點之該參考集合中之一2D感興趣點。
  33. 如請求項32之裝置，其中該追蹤該3D目標另外包含用於將對應於該等目標3D點中之至少一者的至少一參考興趣點位置與一自該一或多個後續影像提取之該等目標3D點中該至少一者之一對應之經更新之2D位置相比較的構件。
  34. 如請求項32之裝置，其中改進該3D目標另外包含：用於基於一後續組中該一或多個目標3D點之對應2D量測判定於該第一組中該等目標3D點中之一或多者之一經更新之深度值的構件；及用於用該對應之經更新之深度值來替換用於該第一組中該一或多個目標3D點之每一者之該預定初始深度值的構件。
  35. 如請求項34之裝置，其另外包含：用於判定何時具有經更新之深度值之該等目標3D點的一臨限數目被滿足的構件，其中該臨限數目係從該一或多個後續影像中之一對應後續影像獲得；及用於將該對應後續影像指派作為一第二參考影像的構件。
  36. 如請求項35之裝置，其中該3D目標之該改進另外包含用於藉由用自該第二參考影像所提取之複數個2D感興趣點三角量測該等目標3D點來執行對該3D目標之一另外改進的構件。
TW102139873A 2012-11-02 2013-11-01 用於視覺同時區域化及映射（ｓｌａｍ）之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置 TWI509221B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261722091P 2012-11-02 2012-11-02
US13/831,405 US9576183B2 (en) 2012-11-02 2013-03-14 Fast initialization for monocular visual SLAM

Publications (2)

Publication Number Publication Date
TW201430315A TW201430315A (zh) 2014-08-01
TWI509221B true TWI509221B (zh) 2015-11-21

Family

ID=50622422

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102139873A TWI509221B (zh) 2012-11-02 2013-11-01 用於視覺同時區域化及映射（ｓｌａｍ）之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置

Country Status (8)

Country Link
US (1) US9576183B2 (zh)
EP (1) EP2915140B1 (zh)
JP (1) JP6258953B2 (zh)
KR (1) KR20150082379A (zh)
CN (1) CN104781849B (zh)
BR (1) BR112015009521A2 (zh)
TW (1) TWI509221B (zh)
WO (1) WO2014070483A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772177B (zh) * 2021-09-10 2022-07-21 迪伸電子股份有限公司 自走裝置的移動控制方法及自走裝置

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135705B2 (en) 2012-10-16 2015-09-15 Qualcomm Incorporated Sensor calibration and position estimation based on vanishing point determination
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
US20140369557A1 (en) * 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking
US9405972B2 (en) 2013-09-27 2016-08-02 Qualcomm Incorporated Exterior hybrid photo mapping
CN105825520A (zh) * 2015-01-08 2016-08-03 北京雷动云合智能技术有限公司 一种可创建大规模地图的单眼slam方法
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN104867158B (zh) * 2015-06-03 2017-09-29 武汉理工大学 基于单目视觉的室内水面船舶精确定位***和方法
GB2541884A (en) 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
CN107025661B (zh) * 2016-01-29 2020-08-04 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及***
CN107665508B (zh) * 2016-07-29 2021-06-01 成都理想境界科技有限公司 实现增强现实的方法及***
CN109791696B (zh) * 2016-08-24 2024-04-30 苏黎世大学 用于场景的3d重建的方法、设备和定位事件摄像机的方法
CN106197432B (zh) * 2016-08-30 2018-12-21 北京航空航天大学 一种基于FastSLAM算法的无人机着陆方法
EP3306572A1 (en) * 2016-10-07 2018-04-11 Schneider Electric Industries SAS Method for 3d mapping of 2d point of interest
CN106570913B (zh) * 2016-11-04 2019-12-13 上海玄彩美科网络科技有限公司 基于特征的单目slam快速初始化方法
US10430685B2 (en) * 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US20200158517A1 (en) * 2017-01-19 2020-05-21 Mindmaze Holding Sa System, methods, device and apparatuses for preforming simultaneous localization and mapping
WO2018134686A2 (en) * 2017-01-19 2018-07-26 Mindmaze Holding Sa Systems, methods, device and apparatuses for performing simultaneous localization and mapping
WO2018134587A1 (en) 2017-01-23 2018-07-26 Oxford University Innovation Limited Determining the location of a mobile device
CN110785777B (zh) 2017-01-23 2024-04-02 牛津大学创新有限公司 确定可移动的设备的位置
US10659768B2 (en) * 2017-02-28 2020-05-19 Mitsubishi Electric Research Laboratories, Inc. System and method for virtually-augmented visual simultaneous localization and mapping
US10489965B1 (en) * 2017-03-24 2019-11-26 Mappedin Inc. Systems and methods for positioning a virtual camera
US10848741B2 (en) * 2017-06-12 2020-11-24 Adobe Inc. Re-cinematography for spherical video
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
WO2019019157A1 (en) 2017-07-28 2019-01-31 Qualcomm Incorporated INITIALIZING IMAGE SENSOR IN A ROBOTIC VEHICLE
US11551368B2 (en) * 2017-08-31 2023-01-10 Sony Group Corporation Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
US10497145B2 (en) * 2017-11-16 2019-12-03 Nec Corporation System and method for real-time large image homography processing
CN111448497B (zh) 2017-12-10 2023-08-04 奇跃公司 光波导上的抗反射涂层
KR20200100720A (ko) 2017-12-20 2020-08-26 매직 립, 인코포레이티드 증강 현실 뷰잉 디바이스용 인서트
US10402986B2 (en) * 2017-12-20 2019-09-03 Facebook, Inc. Unsupervised video segmentation
US10311646B1 (en) 2018-02-26 2019-06-04 Capital One Services, Llc Dynamic configuration of an augmented reality overlay
GB2586727A (en) * 2018-03-01 2021-03-03 Lappidus Inc Virtual asset tagging and augmented camera display system and method of use
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN110264509B (zh) * 2018-04-27 2022-10-14 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
EP3803488A4 (en) 2018-05-30 2021-07-28 Magic Leap, Inc. COMPACT VARIABLE FOCUS CONFIGURATIONS
WO2019231850A1 (en) * 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
WO2019237099A1 (en) 2018-06-08 2019-12-12 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
CN109917644B (zh) * 2018-12-26 2022-06-14 达闼科技（北京）有限公司 一种提高视觉惯导***鲁棒性的方法、装置和机器人设备
CN109493685B (zh) * 2018-12-29 2021-03-30 深圳市掌网科技股份有限公司 一种基于增强现实的虚拟打击乐器训练***
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US20220180643A1 (en) * 2019-03-22 2022-06-09 Vergence Automation, Inc. Vectorization for object detection, recognition, and assessment for vehicle vision systems
US10955245B2 (en) * 2019-04-30 2021-03-23 Samsung Electronics Co., Ltd. System and method for low latency, high performance pose fusion
EP3963565A4 (en) 2019-05-01 2022-10-12 Magic Leap, Inc. CONTENT DELIVERY SYSTEM AND PROCEDURES
CN110321902B (zh) * 2019-05-09 2021-07-13 哈尔滨工业大学 一种基于socp的室内自动视觉指纹采集方法
CN110298884B (zh) * 2019-05-27 2023-05-30 重庆高开清芯科技产业发展有限公司 一种适于动态环境中单目视觉相机的位姿估计方法
CN112215880B (zh) * 2019-07-10 2022-05-06 浙江商汤科技开发有限公司 一种图像深度估计方法及装置、电子设备、存储介质
CN112243082B (zh) * 2019-07-17 2022-09-06 百度时代网络技术（北京）有限公司 一种跟踪拍摄方法、装置、电子设备及存储介质
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US11340696B2 (en) 2020-01-13 2022-05-24 Sony Interactive Entertainment Inc. Event driven sensor (EDS) tracking of light emitting diode (LED) array
US11315346B2 (en) * 2020-01-16 2022-04-26 Square Enix Co., Ltd. Method for producing augmented reality image
US11113894B1 (en) * 2020-09-11 2021-09-07 Microsoft Technology Licensing, Llc Systems and methods for GPS-based and sensor-based relocalization
KR20240079660A (ko) * 2022-11-29 2024-06-05 한국전자기술연구원 단안 컬러 이미지 기반의 실시간 3d 휴먼 객체 복원 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889505A (en) * 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
TW201214266A (en) * 2010-08-04 2012-04-01 Apple Inc Three dimensional user interface effects on a display by using properties of motion

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6288704B1 (en) 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
AU2003300959A1 (en) 2002-12-17 2004-07-22 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
US20080310757A1 (en) * 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
JP5012615B2 (ja) * 2008-03-27 2012-08-29 ソニー株式会社 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
GB2483213B8 (en) * 2009-06-11 2016-09-14 Toshiba Res Europ Ltd 3D image generation
JP5683851B2 (ja) 2009-08-20 2015-03-11 株式会社ザクティ 撮像装置及び画像処理装置
IL202460A (en) * 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
KR101633620B1 (ko) * 2010-01-04 2016-06-27 삼성전자 주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
JP2011159163A (ja) * 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
FR2960082B1 (fr) * 2010-05-17 2012-08-10 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
JP5612916B2 (ja) * 2010-06-18 2014-10-22 キヤノン株式会社 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム
US8532367B2 (en) * 2010-08-17 2013-09-10 Raytheon Company System and method for 3D wireframe reconstruction from video
JP5743501B2 (ja) 2010-11-25 2015-07-01 キヤノン株式会社 物体追尾装置、物体追尾方法、及び物体追尾プログラム
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
JP2012181688A (ja) 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
WO2013126784A2 (en) * 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US9183631B2 (en) * 2012-06-29 2015-11-10 Mitsubishi Electric Research Laboratories, Inc. Method for registering points and planes of 3D data in multiple coordinate systems
US8831290B2 (en) * 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889505A (en) * 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
TW201214266A (en) * 2010-08-04 2012-04-01 Apple Inc Three dimensional user interface effects on a display by using properties of motion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI772177B (zh) * 2021-09-10 2022-07-21 迪伸電子股份有限公司 自走裝置的移動控制方法及自走裝置

Also Published As

Publication number Publication date
CN104781849B (zh) 2018-05-25
EP2915140B1 (en) 2018-10-17
US9576183B2 (en) 2017-02-21
US20140126769A1 (en) 2014-05-08
EP2915140A1 (en) 2015-09-09
BR112015009521A2 (pt) 2017-07-04
TW201430315A (zh) 2014-08-01
JP6258953B2 (ja) 2018-01-10
WO2014070483A1 (en) 2014-05-08
CN104781849A (zh) 2015-07-15
KR20150082379A (ko) 2015-07-15
JP2016502712A (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
TWI509221B (zh) 用於視覺同時區域化及映射（ｓｌａｍ）之處理器實施方法、電腦可讀穩定式儲存媒體、資料處理器件及裝置
US11481982B2 (en) In situ creation of planar natural feature targets
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚ｓｌａｍ
EP2992507B1 (en) Methods for facilitating computer vision application initialization
US20130135295A1 (en) Method and system for a augmented reality
JP2016522485A (ja) 再構成からの隠消現実感効果および媒介現実感効果
WO2019196745A1 (zh) 人脸建模方法及相关产品
Chen et al. A real-time markerless augmented reality framework based on SLAM technique
CN108028904B (zh) 移动设备上光场增强现实/虚拟现实的方法和***
US11758100B2 (en) Portable projection mapping device and projection mapping system
KR20220083166A (ko) 인체 추정 방법 및 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees