TW201610471A - 具直接幾何模型化之頭戴式顯示器校準 - Google Patents

具直接幾何模型化之頭戴式顯示器校準 Download PDF

Info

Publication number
TW201610471A
TW201610471A TW104121385A TW104121385A TW201610471A TW 201610471 A TW201610471 A TW 201610471A TW 104121385 A TW104121385 A TW 104121385A TW 104121385 A TW104121385 A TW 104121385A TW 201610471 A TW201610471 A TW 201610471A
Authority
TW
Taiwan
Prior art keywords
image
virtual
virtual object
hmd
projected
Prior art date
Application number
TW104121385A
Other languages
English (en)
Other versions
TWI591378B (zh
Inventor
艾琳娜 珂賽勒
瑪格麗特 賽門諾夫 尚切芙
史黛拉 袁
西門 賽托
亞瑞希 艾貝德波
Original Assignee
精工愛普生股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 精工愛普生股份有限公司 filed Critical 精工愛普生股份有限公司
Publication of TW201610471A publication Critical patent/TW201610471A/zh
Application granted granted Critical
Publication of TWI591378B publication Critical patent/TWI591378B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種光學透視(OST)頭戴式顯示器(HMD)使用一校準矩陣，該校準矩陣具有所有其參數內之可調整參數之一固定子集。該校準矩陣之初始值係基於一模型頭部。針對各可調整參數提供增量調整值之一預定義集合。在校準期間，該校準矩陣循環經歷其預定義增量參數改變，且針對各增量改變投射一虛擬物件。將該所得投射虛擬物件對準至一參照真實物件，且識別具有最佳對準之該投射虛擬物件。導致該經最佳對準的虛擬物件之該校準矩陣之設定值被視為將結合該OST HMD使用之該最終校準矩陣。

Description

具直接幾何模型化之頭戴式顯示器校準 【相關申請案之交叉參照】
本申請案依據35 U.S.C.119(e)主張2014年7月10日申請之臨時專利申請案第62/023,090號之權利，其全文以引用之方式併入本文中。
概括而言，本發明係關於攝影機校準之領域，且更具體言之係關於虛擬攝影機校準之領域，其中虛擬攝影機包括人眼/光學透視(OST)頭戴式顯示器(HMD)系統，作為一擴增實境(AR)單元之部分。更特定言之，本發明係關於OST HMD之虛擬視圖之校準。具體言之，本發明係關於虛擬攝影機之立體校準及將感知的虛擬3D物件錨固至真實3D環境。
用於3D視覺化，尤其用於用虛擬替代物替換真實環境的頭戴式顯示器變得愈加流行。同時，擴增實境(AR)之領域同樣在增長。在一AR系統中，真實環境藉由虛擬項目(其等可包含看似浮動的虛擬物件或文字)被它所涉及的真實物件之疊加而豐富。因此，存在AR技術的兩個主要態樣：增強視覺內容的能力，及擴展及增強使用者與真實世界的互動的可能性。
一AR單元可提供如由一虛擬攝影機「看見」(或捕獲)的視覺內容之一視圖(或顯示或影像)。如所屬領域中已知，一虛擬攝影機從一規定角度(或視場FOV)顯示一虛擬物件之一影像，如同其將被一真實 攝影機捕獲或看見，前提是一真實攝影機定位在規定角度且虛擬物件係一真實物件。所得視圖不僅包含真實場景中的真實、實體項目，而且包含被***真實場景中的虛擬物件。在此一擴增實境(AR)單元中，可由一光學透視(OST)頭戴式顯示器(HMD)系統(即，一OST HMD系統)提供虛擬攝影機視圖。
在一人眼/光學透視顯示器中，個別影像經指定針對一人類使用者之一(若干)選擇眼且可由其觀看。若人眼OST係一單像顯示器，則僅提供針對使用者之兩隻眼之一者(或兩者)之一影像。若人眼OST係一立體顯示器，則提供兩個單獨影像，使用者兩者之各者各一個。例如，一人眼OST可具有在人類使用者之一隻眼正上方之一顯示器，且任選地具有在人類使用者之另一隻眼正上方之另一、單獨顯示器。替代地，一人眼OST可將單獨影像直接投射至人類使用者之單獨眼中或另外控制單獨影像以分別被人類使用者之一隻眼及兩隻眼之各者觀看。
通常，此包含建立在一真實世界場景之真實世界座標與對應於真實世界場景之一電腦產生虛擬場景之虛擬座標之間持續平移之一方法。為了使一AR系統提供一沉浸式體驗，期望虛擬物件以三維(3D)(即立體影像或顯示)形式被呈現及放置在虛擬攝影機顯示器內。此接著需要捕獲真實世界場景之3D資訊。此3D資訊可藉由諸如「飛行時間」感測器、視覺追蹤、慣性感測器、機械連結追蹤器、相差感測器及/或混合系統之構件獲得。無論所使用的3D捕獲方法，一AR系統需要所捕獲的真實世界資訊與電腦產生的虛擬世界資訊之間的校準。此需要將AR的虛擬攝影機視圖校準至真實世界捕獲的資料。
存在將一虛擬攝影機校準至真實世界捕獲的資訊的許多方法，但是此等方法通常的耗時的及/或具有高運算資源要求。期望一AR系統可由人類使用者攜帶及佩戴，其限制電腦架構且因此限制可獲得的 運算資源。進一步期望一AR系統即時提供一虛擬攝影機顯示器，其受阻於對可獲得運算資源的限制。
所需的是一種簡化真實世界場景/物件的真實世界捕獲的資料與一電腦產生虛擬場景/物件的校準的系統。
本發明之一目標係提供一種用於簡化一AR系統至一真實世界場景之校準之系統/方法。
本發明之進一步目標係提供一種能夠即時呈現將真實世界捕獲的資訊與虛擬物件資訊組合之虛擬攝影機顯示器之AR系統。
上述目標在一種用於一(虛擬)光學透視(OST)頭戴式顯示器(HMD)之立體校準之系統/方法中得到滿足，該顯示器具有左眼視圖及右眼視圖以提供立體影像(即，一立體顯示器)。界定左側視圖及右側視圖包含將左側校準矩陣及右側校準矩陣模型化(其中分別在單獨校準矩陣中模型化內部參數及外部參數)，該等矩陣界定真實、參照物件在一所定義世界座標系中的3D座標與相應虛擬物件在OST HMD之左側投射影像及右側投射影像中的2D位置之間之3D-2D點對應性。假設在世界座標系中已知由包括3D虛擬物件之左側2D影像及右側2D影像之立體投射產生之虛擬物件之3D姿態(歸因於虛擬物件至其對應3D參照物件之先前3D錨固)。同樣假設已知頭部追蹤裝置之座標系中(真實)參照物件之3D姿態。真實參照物件之3D姿態可能已作為一初始校準程序之部分被判定，及/或可透過處理由可安裝在HMD上及/或附加至真實參照物件上及/或分佈遍及真實參照物件所處之場景之一或多個追蹤裝置記錄之資料而估計。包含由(若干)追蹤裝置提供的有關平均頭部模型(即，HMD使用者)之左眼或右眼之姿態資訊(例如，平移及旋轉)之幾何資訊被直接併入各眼之外部校準矩陣中。藉由考慮有關平均頭部模型之眼相對於兩個HMD顯示器(即，左側立體顯示器 及右側立體顯示器)的位置、虛擬影像平面與平均頭部模型的兩隻眼相距的距離、投射的左側影像及右側影像之大小及解析度(影像偏斜被假設為可忽略的)的資訊而界定內部參數。以此方式，傳送左眼及右眼之預設校準矩陣。
在一自訂程序中，會提供個別使用者機會來依個人期望準確度調整校準參數。為了應用標準級別的準確度，自訂程序可包括調整使用者的瞳孔間距及校準焦距。作為校準焦距之部分，使用者可調整在此自訂程序期間使其對使用者可見之標記座標系中之投射虛擬物件之感知大小、位置及/或旋轉。將暸解，可在未執行自訂程序時，使標記座標系可見。在校準焦距後，瞳孔間距之校準可與虛擬物件深度校準直接相關，且因此可作為虛擬物件位置校準之部分隱式地執行。自訂程序之結果用於更新相關內部及外部預設校準矩陣。此等矩陣因此用於將3D虛擬物件錨固至3D真實、參照物件。校準程序係快速、簡單且使用者友好的。
上述校準系統/方法可應用於配備用於視覺頭部追蹤的頭戴式攝影機之一OST HMD。替代地，校準系統/方法亦可應用於在預定世界座標系中具有已知姿態之任意其他追蹤感測器。然而，校準方法之複雜性可取決於使用中的擴增實境系統之細節而變化。作為立體OST HMD校準之部分提出較佳實施例，但是將本發明修改為單像及2D視圖OST HMD系統係簡易的，其將減小系統及校準程序之複雜性。
上述目標在一擴增實境(AR)系統之一光學透視(OST)頭戴式顯示器(HMD)之一校準方法中得到滿足，該方法包括：在將使用OST HMD之一場景中提供一真實目標物件，該真實目標物件為該場景內之已知尺寸、位置及定向；基於一預定義頭部模型界定一預設校準矩陣集合；及使用預設校準矩陣集合產生真實目標物件之一虛擬物件表示，及投射虛擬物件之一視圖；儘可能將虛擬物件之投射視圖中心對 準至真實目標物件上；在該預設校準矩陣集合內循環經歷至少一預定義參數中之預定義數目之增量改變；針對預定義參數之各增量改變，產生及投射新虛擬物件，將新虛擬物件再對準至真實目標物件，及比較當前新虛擬物件之當前再對準與先前投射虛擬物件之先前對準；識別具有與真實目標物件的最佳對準之投射虛擬物件且將其指定為經校準真實物件；及設定OST HMD以使用具有對應於經校準虛擬物件之預定義參數之值的校準矩陣集合。
較佳地，OST HMD係一立體AR系統，其提供投射虛擬物件之一雙目影像。
更佳地，雙目影像包括一左側影像及一右側影像；針對左側影像及右側影像之各者分別進行新虛擬物件至真實目標物件之再對準之步驟；及經校準虛擬物件被進一步界定為投射虛擬物件，其左側影像虛擬物件投射及右側影像虛擬物件投射彼此最佳地對準。
此外，預設校準矩陣集合包含一外部參數矩陣及一內部參數矩陣，兩個矩陣界定自OST HMD及頭部模型之直接幾何量測；及外部參數矩陣及內部參數矩陣係基於針孔攝影機模型。
在此情況中，藉由使用真實目標物件之已知尺寸、位置及定向及真實目標物件之一座標系，從一經投射及經對準虛擬物件之3D姿態(3D旋轉+3D平移)之直接幾何量測獲得對外部參數矩陣之更新。
此外，真實目標物件之座標系中之值被轉換為投射虛擬物件之一座標系中之值。
此外，使用一虛擬攝影機產生各投射虛擬物件。
在一較佳實施例中，投射虛擬物件係基於針孔攝影機模型；使用下列幾何量測界定內部參數矩陣內的參數：從虛擬針孔攝影機之一中心至虛擬針孔攝影機之一虛擬影像平面之一中心之一距離用於界定一焦距；及虛擬影像平面相對於頭部模型之中心位置、及投射影像之 一影像解析度係用於界定投射影像之中心像素位置、及投射虛擬物件之像素密度。
在此情況中，OST HMD係提供投射虛擬物件之一雙目影像之一立體AR系統；雙目影像包括一左側影像及一右側影像，各具有一各自外部參數矩陣及一內部參數矩陣；及所界定焦距用於左側影像及右側影像兩者。
此外，一預定義參數係一瞳孔間距(IPD)且藉由下列步驟找到一最佳IPD：針對左側影像及右側影像之各者分別進行新虛擬物件至真實目標物件之再對準之步驟；及識別導致左側影像之再對準新虛擬物件對準至右側影像之再對準新虛擬物件之參數值。
應進一步注意，最佳IPD不一定匹配使用者的真IPD。
較佳地，循環經歷預定義數目之增量改變係回應於一使用者控制的輸入。
將暸解，所述之一預定義參數可為複數個該等預定義參數之一者；該複數個預定義參數之增量改變導致投射虛擬物件之平移，且投射虛擬物件相對於真實目標物件之定向差異係藉由調整投射虛擬物件之平移而校正。
上述目標進一步藉由體現用於藉由一運算裝置執行本較佳實施例之方法之指令之一非暫態電腦可讀媒體而得到滿足。
藉由參考結合附圖進行的下文描述及申請專利範圍將變得清楚及暸解其他目標及成果連同本發明之更全面暸解。
7A‧‧‧影像
7B‧‧‧影像
7C‧‧‧影像
7D‧‧‧影像
7E‧‧‧複合影像
8A‧‧‧影像
8B‧‧‧影像
8C‧‧‧影像
9A‧‧‧第一影像
9B‧‧‧第二影像
10‧‧‧共同3D場景
11‧‧‧攝影機
12‧‧‧方形
13‧‧‧攝影機
14‧‧‧影像投射
15‧‧‧2D影像
16‧‧‧影像投射
17‧‧‧2D影像
19‧‧‧較大球體
21‧‧‧較小球體
22‧‧‧攝影機
23‧‧‧視角
24‧‧‧攝影機
25‧‧‧視角
26‧‧‧立方體
27‧‧‧投射線
28‧‧‧2D影像
29‧‧‧投射線
30‧‧‧2D影像
31‧‧‧線
32‧‧‧影像
33‧‧‧位移線/極線
35‧‧‧位移線/極線
36‧‧‧第一張臉
37‧‧‧第二張臉
38‧‧‧第三張臉
39‧‧‧笑臉
40‧‧‧笑臉
41‧‧‧笑臉
50‧‧‧頭戴式顯示器(HMD)
51‧‧‧右側光學透視顯示單元
51a‧‧‧右側顯示驅動單元
51b‧‧‧右側耳機
52‧‧‧左側光學透視顯示單元
52a‧‧‧左側顯示驅動單元
52b‧‧‧左側耳機
53‧‧‧輔助控制單元
54‧‧‧整合式攝影機
66‧‧‧SIFT直方圖
68‧‧‧向量
101‧‧‧右側頭戴式顯示器(HMD)螢幕
101b‧‧‧右側影像
103‧‧‧左側頭戴式顯示器(HMD)螢幕
103a‧‧‧左側影像
105‧‧‧眼
107‧‧‧眼
109‧‧‧虛擬影像平面
111‧‧‧虛擬影像平面
112‧‧‧頭戴式顯示器(HMD)左側光軸
113‧‧‧焦距
114‧‧‧頭戴式顯示器(HMD)左側光軸
115‧‧‧方形
117‧‧‧真實實體物件
117a‧‧‧虛擬物件
117b‧‧‧虛擬物件
118‧‧‧光軸線
120‧‧‧瞳孔間距
A‧‧‧邊角
A'‧‧‧點
A"‧‧‧點
B‧‧‧邊角
B'‧‧‧點
B"‧‧‧點
C‧‧‧邊角
C'‧‧‧點
C"‧‧‧點
D‧‧‧邊角
D'‧‧‧點
D"‧‧‧點
EL‧‧‧影像點
ER‧‧‧影像點
ID1_1‧‧‧特徵點
ID1_1至ID1_i‧‧‧特徵點
IDn_1至IDn_p‧‧‧特徵點
ID1‧‧‧影像
IDn‧‧‧影像
ImgL‧‧‧虛擬影像平面
ImgR‧‧‧虛擬影像平面
OL‧‧‧焦點
OR‧‧‧焦點
PL‧‧‧點
PR‧‧‧點
Window_1‧‧‧像素陣列
在圖式中，其中相同元件符號指相同部件。
圖1繪示將不同影像中之相應特徵點用於將影像拼接在一起以建立一較大複合影像。
圖2繪示極線幾何之原理。
圖3係使用極線幾何界定立體約束之一實例。
圖4繪示從立體約束建立單應性約束。
圖5繪示用於從立體影像對再建立一透視(即，3D)視圖之單應性，該立體影像對係一共同場景之影像，但各影像具有一不同視場，即FOV。
圖6繪示從一樣本影像之特徵點擷取。
圖7繪示使用一SIFT變換建立特徵點對應性。
圖8繪示使用一ASIFT變換建立特徵點對應性。
圖9係從不同視場(即FOV)取得的共同場景之兩個影像中之特徵點對應性之一實例。
圖10提供SIFT之特徵點擷取功能之一概圖。
圖11繪示從n個影像擷取之多組特徵點，其中影像被識別為ID1至IDn。
圖12繪示一例示性頭戴式顯示器。
圖13繪示根據本發明之一較佳實施例之一HMD之一些外部參數及內部參數。
圖14繪示一虛擬攝影機之一些幾何特徵。
圖15繪示如透過HMD顯示器觀看之一虛擬物件。
圖16展示AR系統之一般化概圖。
圖17繪示一虛擬攝影機之一針孔模型。
圖18繪示使用一投射虛擬物件之焦距調整。
圖19展示彼此聚焦且重合之左側單像視圖及右側單像視圖。
圖20展示歸因於瞳孔間距(IPD)非最佳而使由一右眼感知之一虛擬物件未與由一左眼感知之另一虛擬物件重合。
圖21繪示藉由校正平移錯誤而補償旋轉錯誤。
圖22繪示歸因於一給定IPD之所計算像差。
圖23繪示一眼座標系。
圖24繪示一校準座標系。
圖25繪示一使用者校準一護目鏡型HMD。
圖26A及圖26B繪示一使用者校準程序中之各種步驟。
圖27、圖28A、圖28B、圖29及圖30圖示繪示校準程序中之一些步驟。
圖31及圖32提供本發明之較佳實施例中所使用之數學公式及符號。
頭戴式顯示器已在擴增實境(AR)之領域被廣泛接受，其等用電腦產生的虛擬內容擴增一真實世界場景。一AR系統中之一頭戴式顯示器(HMD)可包含：一人眼/光學透視(OST)顯示器，其係一透視顯示器，其上併入虛擬物件；或一視訊透視(VST)顯示器，其係一視訊顯示器(例如，螢幕)，其將虛擬物件整合至一真實場景之顯示影像中。在兩種情況中，使虛擬物件與真實世界場景之一視圖混合。兩種方法可利用追蹤感測器(例如，3D場景捕獲裝置，諸如「飛行時間」感測器、視覺追蹤(例如，立體攝影機對)、慣性感測器、機械連結追蹤器、相差感測器及/或混合系統)以追蹤(及/或捕獲)真實世界場景資訊。
在此等AR系統中，一電腦產生虛擬物件之圖形，該等圖形隨後與其等如藉由追蹤感測器成像(理想地即時)之真實物件對應物(即，相應實體參照物件)對準。目的係確保虛擬物件附加或錨固至規定真實世界座標以實現真實及虛擬環境之感知融合。適當的感知融合需要計量/校準追蹤感測器以及虛擬攝影機參數，且暸解真實及虛擬物件在一追蹤器座標系中的位置(及/或姿態)。
透過一追蹤機構獲得真實世界物件在追蹤器座標系中的位置， 該追蹤機構可基於如上文所列的不同類型之追蹤感測器(即，感測器及/或追蹤器)。來自追蹤感測器之資訊被組合至如由一虛擬攝影機提供之一複合影像中。本質上，虛擬攝影機界定視場，該視場至少界定HMD中提供之虛擬物件之視圖。虛擬攝影機與所採用感測器之間的關係允許虛擬物件錨固及融合至真實世界，及此關係可透過一校準程序獲得。
校準程序包含設定虛擬攝影機參數，使得使3D虛擬及真實物件點至點對應。攝影機參數包含內部參數(諸如一影像主點之焦距、像素密度及座標)及外部參數(諸如虛擬攝影機相對於一追蹤器座標系之位置)。
如上所述，存在兩種主要手段來在一AR系統中呈現視覺資訊：視訊透視及光學透視。在視訊透視之情況中，電腦產生的虛擬物件被疊加至藉由附接至HMD之一真實攝影機獲得之一視訊串流上。具有對真實世界場景之影像的存取權及能夠處理相關資料使視訊透視系統之校準較不易發生錯誤。即，由於HMD提供一經建構影像，該經建構影像將真實世界場景之捕獲影像與電腦產生的虛擬物件組合，故使用者較不暸解虛擬物件與實際的、真實世界場景之間的未對準。
另一方面，光學透視系統之校準提出額外挑戰，其係因為HMD較佳不針對使用者隱藏真的真實世界視圖。此一系統可被稱作一眼-HMD，此係因為一光學透視(OST)顯示器可被放置在一HMD之一個(且較佳在立體視覺之情況中，兩個)眼位置上方。校準一人眼-HMD顯示器組合之虛擬攝影機的一些難點涉及對準(尤其在立體視覺的情況中)及動態管理信號延遲。即，一眼-HMD中使用者之真實世界場景的視圖可為瞬時的，而產生及顯示虛擬物件可能不是。
已研究眼-HMD校準問題一段時間。正如一真實的、實體攝影機之校準，虛擬攝機之校準可藉由對使投射的、虛擬3D物件之座標與 其等在2D影像(投射至虛擬OST HMD影像平面上)中的對應物對應之方程式求解而執行。假設從與已知座標之真實3D參照物件之感知對準(錨固)已知預期虛擬3D物件放置的座標。
因此，將一虛擬攝影機校準至追蹤感測器係一AR系統之一關鍵態樣，其係除該AR系統的內部複雜性歸因於其取決於人類使用者的感知(即，取決於使用者如何感知組合的虛擬及真實物件)而進一步複雜化以外的情況。因此，存在若干技術挑戰，其需被解決以更好地使AR系統商業化。即使存在若干有前景的結果，但是校準看似仍為使用者相依程序，其至今為止需要稍微繁瑣的使用者互動。本發明提出校準方法，其可達成期望準確度級別，同時保持使用者友好及易應用。
但是，在探討本發明之詳細討論之前，首先提供有關立體攝影機對、影像變換、3D成像、特徵點偵測及其他影像處理主題之一些背景資訊可能係有利的。
一場景之3D影像或目標物件可藉由一3D成像系統(諸如一3D雷射掃描器、一MICROSOFT CORP.KINECT感測器、一範圍攝影機或任意許多不同類型的飛行時間裝置)產生。一3D影像亦可產生自立體2D影像對。此等方法可用於建立一點雲，該點雲係界定一3D物件之表面之三維空間中之點集合。可能期望3D點雲的點與一目標物件之一2D影像(或形狀輪廓)上之個別點(例如，像素)關聯。即，可期望點雲之點(或區域)可與一2D影像之相應點(或區域)關聯且更特定言之與2D影像之一分割關聯。
如上所述，可自立體2D影像之對(即，立體影像對)產生一3D影像。者由兩個2D成像攝影機之各自一者產生一立體影像對中之兩個2D影像之各，該兩個2D成像攝影機間隔開以提供一共同場景之兩個視圖(即，兩個視場FOV或視角)。藉由立體約束，兩個視圖中的相應 像素之點(或像素)資訊被組合以建立一透視(即，3D)視圖，該視圖包含點雲資訊。因此，自一立體影像對產生之一點雲內部地包含點雲之點與立體影像對之兩個2D影像中之點(例如，像素或區域)之間的關聯。
為了從一立體影像對擷取3D資訊，吾等首先需識別立體影像對中的共同成像項目。這樣做的一種方式將係校準兩個攝影機，及識別一特定場景中之一已知點。一種限制較小的方式將免除對將攝影機校準至一特定場景的需要。但是，由於立體影像對之兩個影像提供共同場景之不同視圖，故此可能為一困難的任務。吾等需辨識兩個2D影像場景中之共同物件之不同視圖及將共同物件之特定部分關聯。
物件辨識(或物件識別)因此係電腦視覺之一整合部分，且物件辨識之一整合部分係圖案匹配。影像中(及尤其2D影像中)的圖案匹配的關鍵成分係特徵偵測(或特徵點偵測)，其涉及識別一影像之部分或一影像之個別特徵點(諸如個別像素)，其等係用於研究以判定其等是否可為一影像中之一尋求物件之部分的良好的候選者。
已知用於識別一影像中可用於描述一成像場景之特性特徵之各種技術。特性特徵可包含區分一影像之形狀或區段或一影像之個別點(即，像素)。為方便討論，本實例被描述為使用特徵點(其等包含個別像素)，暸解亦可使用其他特性特徵(及識別特性特徵之方法)。
作為可如何使用特性特徵之一實例，若吾等具有描述一目標之識別特徵庫(諸如從目標物件或物件類型之訓練影像(即，影像樣本)之集合獲得)，則吾等可為該等識別特徵而搜尋一輸入測試影像以判定目標物件之一實例是否存在於輸入測試影像中。在電腦視覺之領域中，此理念已擴展至匹配從不同視角(即，不同FOV)取得之共同場景之多個數位影像中之一共同場景之共同特徵，以在影像之間編製特徵點(即，像素)索引(例如，匹配或關聯)。此允許多個數位影像之組合 處理。
例如，在圖1中，影像7A、7B、7C及7D各提供一真實世界場景中之一建築之部分及重疊視圖，但均不提供整個建築之一全視圖。但是，藉由在關聯至真實世界場景中之相同真實特徵點之四個部分影像7A、7B、7C及7D中應用邊緣偵測及索引特徵點(即，識別特徵點的匹配對)，可將四個部分影像拼接在一起(諸如藉由施加一影像拼接工具)以建立整個建築之一複合影像7E。在圖1之實例中，四個部分影像7A、7B、7C及7D從相同視角(即，單個FOV)取得，但此方法可擴展至對應匹配之領域且應用至從不同FOV取得之影像。
對應匹配指兩個或更多個影像共同之物件或物件特徵之匹配(或更典型地諸如個別像素之特徵點之匹配)。假設在取得第一影像之攝影機已移動後、已歷時一段時間及/或被拍攝物件已移動後才取得第二影像，對應匹配試圖判定一第一影像之哪些部分對應於(即，匹配至)一第二影像之哪些部分。例如，第一影像可為從一第一視角取得之一真實世界場景，其界定一第一視場(即，FOV)，且第二影像可為從界定一第二FOV之一第二視角取得之相同真實世界場景。假設第一FOV及第二FOV至少部分重疊，對應匹配涉及第一影像及第二影像之重疊部分中之共同特徵點之匹配。
因此，對應匹配係電腦視覺(尤其立體視覺、視圖合成及3D(或透視)重建)中之一關鍵問題。假設從兩個視角取得之兩個影像中之若干圖像特徵或物件已匹配，接著，極線幾何可用於識別匹配影像特徵之間的位置關係以達成立體視圖合成，或3D重建。
極線幾何基本上係立體視覺之幾何。例如在圖2中，兩個攝影機11及13分別建立包括一較大球體19及一較小球體21之一共同3D場景10之兩個2D影像15及17。2D影像15及17取自兩個不同視角23及25。極線幾何描述3D場景10(例如，球體19及21)中之點與其等在2D影像 15及17中之相對投射之間的幾何關係。此等幾何關係導致影像點之間的約束，所述約束係極線約束或立體約束之基礎。
圖2繪示一水平視差，其中從攝影機11之視點，較小球體21看似在較大球體19的前方(如2D影像15中所示)，但從攝影機13之視點，較小球體21看似與較大球體19之一側相距一定距離(如2D影像17中所示)。然而，由於兩個2D影像15及17係相同3D場景10，故兩者係較大球體19及較小球體21之相對位置之真表示。攝影機11、攝影機13、較小球體21與較大球體19之間的位置關係因此建立對2D影像15及17之幾何約束，其允許吾等在僅給出2D影像15及17的情況下重建3D場景10，只要極線約束(即，立體約束)係已知的。
極線幾何係基於眾所周知的針孔攝影機模型，其簡化表示展示在圖3中。在針孔攝影機模型中，攝影機由各自攝影機之焦點處之一點(諸如左側點OL及右側點OR)表示。點PO表示被成像之3D場景中之關注點(即，物件)，其在本實例中由兩條十字交叉線表示。
通常，影像平面(即，捕獲經成像3D場景之一2D表示之平面)在攝影機之焦點後方且被顛倒。為方便說明及為避免一顛倒的所捕獲影像之複雜化，兩個虛擬影像平面ImgL及ImgR被展示在其等之各自焦點OL及OR之前方以繪示所捕獲影像之非顛倒表示。吾等可將此等虛擬影像平面想像為透過其等觀看3D場景之窗。點PL係點PO至左側虛擬影像ImgL上之2D投射，且點PR係點PO至右側虛擬影像ImgR上之2D投射。如所屬領域中已知，從3D至2D之此變換可被稱作視角投射或影像投射，且藉由針孔攝影機模型描述。通常藉由從一攝影機射出且穿過其焦點之射線將此投射操作模型化。各經模型化射出射線將對應於所捕獲影像中之單個點。在本實例中，此等射出射線由虛線27及29指示。
極線幾何亦界定有關各攝影機相對於彼此之位置之約束。此可 藉由焦點OL及OR之相對位置完成。一第一攝影機之焦點將投射至一第二攝影機之影像平面上之一不同點，且反之亦然。在本實例中，焦點OR投射至虛擬影像平面ImgL上之影像點EL上，且焦點OL投射至虛擬影像平面ImgR上之影像點ER上。影像點EL及ER被稱作極點(epipole 或epipole point)。極點及投射其等之焦點位於單條線，即線31上。
從焦點OL至點PO的線27被視為虛擬影像平面ImgL中之單個點PL，此係因為點PO在焦點OL正前方。此類似於在圖2之影像15中，較小球體21如何看似在較大球體19前方。但是，自焦點OR，從OL至點PO之相同線27被視為從影像點ER至電PR之一位移線33。此類似於在圖2之影像17中，較小球體21如何看似移位至較大球體19之一側。此位移線33可被稱作一極線。相反地，自焦點OR，線29被視為虛擬影像平面ImgR中之單個點PR，但自焦點OL，線29被視為虛擬影像平面ImgL上的位移線或極線35。
極線幾何因此形成三角量測的基礎。例如，假設攝影機OR及OL之相對平移及旋轉係已知的，若左側虛擬影像平面ImgL上的投射點PL係已知的，則藉由極線幾何已知右側虛擬影像平面ImgR上的極線33。此外，點PO必須在位於此特定極線33上之一點PR處投射至右側虛擬影像平面ImgR上。本質上，對於在一個影像平面中觀測之各點，相同點必須在另一影像平面中在一已知極線上被觀測到。此提供不同影像平面上之相應影像點必須滿足之一極線約束。
另一極線約束可被界定如下。若投射點PL及PR係已知的，則其等之相應投射線27及29亦係已知的。此外，若投射點PL及PR對應於相同3D點PO，則其等之投射線27及29必須在3D點PO處精確相交。此意味著3D點PO之三維位置可從兩個投射點PL及PR之2D座標計算得到。此過程被稱作三角量測。
極線幾何亦形成單應性(即，投射變換)之基礎。單應性描述當觀 看者的視點改變時，所觀測物件之感知位置發生的情況。此之一實例繪示在圖4中，其中一方形12之形狀被展示為在如分別從兩個視點V1及V2觀看之兩個影像投射14及16中失真。與上文相同，影像平面14及16可被視為透過其觀看方形12之窗。
單應性將識別影像投射14及16與方形12之間的共同點(即，點配準)。例如，方形12之四個邊角A、B、C及D分別對應於影像投射14中之點A'、B'、C'及D'且分別對應於影像投射16中之點A"、B"、C"及D"。因此，影像投射14中之點A'、B'、C'及D'分別對應於影像投射16中之點A"、B"、C"及D"。
假設針孔模型適用，極線幾何允許單應性關聯空間中的相同平坦表面之任意兩個影像，其允許兩個影像之間的影像糾正、影像對位或攝影機運動(旋轉及平移)的計算。一旦已從估計的單應性矩陣擷取攝影機旋轉及平移，此資訊亦可用於導覽或將3D物件之模型***至一影像或視訊中，使得3D物件之模型用正確的視角呈現且看似已作為原始場景之部分。
例如在圖5中，攝影機22及24各從不同視點取得一立方體26之一3D場景之圖片。從攝影機22之視點，立方體26看似如同在2D影像28中所示，且從攝影機24之視點，立方體26看似如同在2D影像30中所示。單應性允許吾等識別關聯點，該等關聯點之一些為了說明目的藉由虛線展示。此允許2D影像28及30兩者拼接在一起以建立一3D影像，如影像32中所示。因此，自動尋找影像對之間的對應性係立體視覺之領域中的經典問題。但是，與此成一體的是影像對中特徵點的識別及影像對中相應特徵點的匹配。
立體視覺之上述討論，諸如極線幾何及單應性可被統稱作視角約束，尤其如應用於一立體影像對。
由於其等用於建立透視(即，3D)資訊，故基於特徵之對應匹配演 算法已廣泛應用於電腦視覺。基於特徵之對應匹配演算法之實例係梯度位置及定向直方圖(GLOH)、加速強固特徵(SURF)、尺度不變特徵變換(SIFT)及仿射SIFT(或ASIFT)。各特徵擷取演算法具有其利益及缺點。例如，SIFT及仿射SIFT有意地將邊緣點從其等的分析排除且因此不適於邊緣偵測。為闡釋目的，本文中討論一基於SIFT之演算法。
如所屬領域中已知，SIFT演算法掃描一影像且識別關注點或特徵點，該等點可為個別像素且充分描述像素(通常相對於其在一環繞窗內之相鄰像素)，使得可在另一影像中個別地識別相同特徵點(或像素)。SIFT變換之討論提供在Lowe的美國專利6,711,293中，其全文以引用的方式併入本文中。本質上，SIFT使用訓練影像庫來識別作為一特定物件之特性之特徵點。一旦物件之特性特徵點(例如，像素)庫已被識別，特徵點即可用於判定是否在一新接收的測試影像中發現物件之一例項。
原則上，物件之特徵點(即，關注點)被擷取以提供一特定物件之一「特徵描述」。接著，從訓練影像擷取之此描述可用於識別含許多物件類型之一測試影像中之特定物件。為了執行可靠辨識，從訓練影像擷取特徵較佳可在影像尺度、雜訊、照明及旋轉改變的情況下偵測。特徵點通常位於一影像之高對比度區域附近。但是，由於一物件之失真(諸如若一特徵點定位在一物件之一鉸接或可撓部件中)可更改一特徵點相對於其相鄰像素之描述，故對物件的內部幾何的改變可能引入錯誤。為了補償此等錯誤，SIFT通常偵測且使用大量特徵點，使得由此等局部變動貢獻的錯誤的影響可被減小。
在一典型SIFT應用中，首先從一組訓練影像擷取物件之特徵點且將其等儲存在一資料庫中。藉由個別比較從新影像擷取之各特徵點與此資料庫中之特徵點及基於其等之特徵點向量之歐基里得(Euclidean)距離尋找候選匹配特徵而在一新影像(即，一測試影像)中 辨識一物件。從匹配的完整集合中，識別在物件上一致的特徵點的子集及其在新影像中的位置、尺度及定向來濾除良好匹配。隨後識別良好匹配的一致叢集。通常，在一物件上一致之三個或更多個特徵之各叢集及其姿態隨後經歷進一步詳細模型驗證且隨後離群點被丟棄。最後，給定可能的錯誤匹配之擬合準確度及數目，計算特徵之一特定集合指示一特定物件的存在之概率。通過所有此等測試之物件匹配可被識別為正確的。
一影像中之特徵點之一SIFT判定之一實例繪示在圖6中。首先識別可能的特徵點，如影像8A中之黑點指示。具有低對比度之可能特徵點隨後被丟棄，如影像8B中所示。最後，定位在邊緣上之可能特徵點被移除，其留下影像8C中所示之特徵點之最後集合。
因此，SIFT允許吾等將來自一影像之所識別物件之特徵點匹配至另一者。此繪示在圖7中，其中展示相同物件，即笑臉之三個影像。為闡釋目的，僅展示四個特徵點，對應於眼睛及嘴角附近的點。如圖7中所示，SIFT可將來自一第一張臉36之特徵點匹配至一第二張臉37，而不管尺度的改變。SIFT亦可將來自第一張臉36之特徵點匹配至一第三張臉38，而不管旋轉。但是，已發現SIFT對影像之仿射變換具有有限的免疫力。即，SIFT不限於一所成像物件可經歷且仍被識別之視角之改變量。
擴展SIFT變換以更好地處置仿射變換之一方法描述於Morel等人的「ASIFT：A New Framework for Fully Affine Invariant Image Comparison」(《SIAM Journal on Imaging Sciences》第2卷，第2期，2009年)，其完整內容以引用的方式併入本文中。
參考圖8，一仿射SIFT將更能夠將來自第一張臉36之特徵點匹配至已經歷仿射變換之相同物件之表示，如笑臉39、40及41所示。
在圖9中繪示一仿射SIFT變換之一應用之一實例，其中多個特徵 點從來自一第一視角之自由女神像之一第一影像9A匹配至來自一不同視角且處於一不同尺度之自由女神像之一第二影像9B。
在圖10及圖11中繪示SIFT篩選器/演算法/模組/處理器之特徵點擷取功能之一簡要概述。參考圖10，各所擷取特徵點ID_1(諸如圖5至圖8中所示之特徵點)藉由一窗(例如，表示為Window_1之像素陣列)內落入至數種類別中之一系列度量(即，區分特性)描述。一窗內之中心點(或中心像素)可被識別為該窗之特徵點。若期望，各特徵點被指派一識別碼ID用於快速參考。例如，特徵點ID1_1可將特徵點識別為從影像「ID1」擷取之特徵點編號「1」。
觀測到的度量被配置至相應直方圖中，且因此針對各特徵窗建立多個直方圖。因此，一典型SIFT處理演算法建立一系列或一組SIFT直方圖66，且各組直方圖共同描述一個別特徵點(或SIFT描述符)。SIFT直方圖之各者在統計上描述特徵點相對於其圍繞被處理影像中之特徵點(或項目描述符)之像素(或像素窗)附近之區分特性。
該系列SIFT直方圖66隨後被收集(或另外組合)為界定一特徵點之單個向量68中。即，各向量68提供足夠資料以識別一影像內之一個別像素(或特徵點)。因此，各向量68描述一單個項目描述符(即，一特徵點或特性特徵或(特徵)像素)且通常包括128筆描述資料。因此，各特徵點藉由128維向量68特徵化(即，描述或識別)。
圖11繪示從n個影像擷取之多組特徵點，其中影像被識別為ID1至IDn。各影像被展示為具有個別識別的一組特徵點(繪示為圓)。例如，從影像ID1擷取i個特徵點，且該等特徵點被標註為ID1_1至ID1_i。類似地，從影像IDn擷取p個特徵點，且該等特徵點被標註為IDn_1至IDn_p。各特徵點係128維向量(即，具有128個資料格之向量)。來自一個影像之所擷取特徵點隨後可被匹配至來自其他影像之所擷取特徵點(即，經比較以尋找與來自其他影像之所擷取特徵點之 匹配)。
上述特徵點可用於識別立體影像對中的相應點，但藉由立體影像捕獲系統中攝影機之適當校準而最小化或免除許多上述處理。
如上所述，本發明係關於一頭戴式顯示器(HMD)。為闡釋目的，在圖12中展示例示性HMD 50。在本實例中，HMD 50被展示為具有類似於眼鏡的形狀且可依類似於眼鏡的方式佩戴。所有運算資源可被併入HMD 50中或替代地可在HMD 50與輔助控制單元53或一些其他遠端運算資源(例如個人電腦、伺服器等)之間劃分。若期望，輔助控制單元53可提供使用者介面以控制HMD 50。替代地，所有使用者介面控制裝置可被併入HMD 50中。
較佳地，HMD 50包含一右側光學透視顯示單元51及一左側光學透視顯示單元52，其等一起運作以提供顯示一虛擬3D物件之一立體影像對之左側影像及右側影像。在本情況中，使用者將看見3D虛擬物件之所顯示左側影像及右側影像兩者，且亦透過左側顯示單元51及右側顯示單元52看見外部場景。即，可在未主動顯示虛擬物件的區域中使左側顯示單元51及右側顯示單元52變透明。若期望，所顯示的虛擬物件亦可被賦予期望級別的透明度，使得使用者可任選地透視所顯示的虛擬物件。左側光學透視顯示單元51及右側光學透視顯示單元52可藉由影像投射、透明OLED或LCD顯示器或所屬領域中已知的任意其他類型的透明顯示構件提供一影像。
在本實例中，HMD 50包含右側耳機51b及左側耳機52b以將音訊資訊提供給使用者。較佳地，右側光學透視顯示單元51受控於整合式右側顯示驅動單元51a，且左側光學透視顯示單元52受控於整合式左側顯示驅動單元52a。
在本實例中，HMD 50具有一個整合式攝影機54，該攝影機54具有相對於左側光學透視顯示單元51及右側光學透視顯示單元52及相對 於預定義世界座標的已知位置及姿態。但是，將暸解，HMD 50可任選地包含兩個攝影機以捕獲立體成像對，且藉此獲得其周圍真實場景的3D資訊。替代地，HMD 50可併入用於捕獲周圍場景的3D資訊之任意其他已知的3D成像系統(即，3D資訊捕獲裝置)，諸如一3D雷射掃描器、一MICROSOFT CORP.KINECT感測器、一範圍攝影機或任意許多不同類型的飛行時間裝置。進一步替代地，一或多個3D資訊捕獲裝置可分佈遍及周圍場景，且其等之所捕獲3D資訊被傳輸或另外傳送至HMD 50及/或輔助控制單元53。
一例示性HMD之更全面描述提供於美國公開案第2013/0234914號中，其被讓與與本申請案相同的受讓人且全文以引用的方式併入本文中。
現轉向目前較佳將左側視圖及右側視圖用於在眼-HMD系統中建立立體影像，第一步驟係校準HMD系統提供給使用者的左側視圖及右側視圖。立體校準虛擬光學透視(OST)頭戴式顯示器(HMD)之左側視圖及右側視圖之一方法包括將左側校準矩陣及右側校準矩陣模型化，該左側校準矩陣及該右側校準矩陣界定一參照物件在一世界座標系(即，所有局域座標系可能參照之一全域座標系)中的3D座標與虛擬物件在左側OST HMD投射影像及右側OST HMD投射影像中的2D位置之間的3D-2D對應性。較佳地，內部參數及外部參數被分別考慮，且吾等可具有針對內部參數及外部參數之單獨校準矩陣。
假設在世界座標系中已知由顯示3D虛擬物件(即，立體投射)之左側2D影像及右側2D影像產生的虛擬物件之3D姿態(例如，藉由3D錨固至3D真實參照物件)。同樣地假設已知頭部追蹤裝置之座標系中的(真實)參照物件之3D姿態。可透過處理由追蹤裝置記錄的資料而估計3D姿態。包含追蹤裝置相對於平均頭部模型(即，平均人類使用者的頭部)之左眼或右眼之姿態(例如，平移及旋轉)的幾何資訊被直接併入 各眼之外部校準矩陣中。藉由考慮有關平均頭部模型之眼相對於兩個HMD的位置、虛擬影像平面與兩隻眼相距的距離、投射影像之大小及解析度(影像偏斜被假設為可忽略的)的資訊而界定內部參數。依此，傳達針對左眼及右眼之預設校準矩陣。
在一自訂程序中，會提供個別使用者機會來依期望準確度調整校準參數的機會。對於標準級別的準確度的應用，自訂程序包括調整使用者的瞳孔間距、(較佳觀測的)物件大小及標記座標系中的虛擬物件位置(平移及/或旋轉)。在校準焦距後，瞳孔間距之校準可與虛擬物件深度校準直接相關，且因此可作為虛擬物件位置校準之部分隱式地執行。自訂程序之結果用於更新相關內部及外部預設校準矩陣。此等矩陣因此用於將3D虛擬物件錨固至3D真實、參照物件。校準程序係快速、簡單且使用者友好的。
當前較佳實施例係配備用於視覺頭部追蹤的頭戴式攝影機之一OST HMD。但是，本校準方法完全適用於在預定世界座標系中具有已知姿態的任意其他追蹤感測器之情況。然而，校準方法之複雜性可取決於使用中的擴增實境系統之細節而變化。此外，當前較佳實施例使用一立體OST HMD校準，但是，將暸解本發明可容易地被修改為單像及2D視圖OST HMD校準，其將減少校準程序。
本質上，本發明處理包括人類使用者的眼及光學透視(OST)頭戴式(HMD)顯示器之一光學系統之立體校準。校準結果用於在一擴增實境(AR)系統之一框架內將虛擬3D物件錨固至真實環境(即，真實場景)且感知地融合其等的視圖的目的。
校準係基於針對有關頭部模型之左側虛擬攝影機及右側虛擬攝影機兩者指定複合眼-OST HMD系統(在下文討論中被稱作「虛擬攝影機」)之內部參數及外部參數，且進一步基於針對一個別使用者調整參數。
在較佳實施例中，OST HMD配備用於視覺頭部追蹤之一頭戴式攝影機。但是，較佳校準方法完全適用於在一預定世界座標系中具有已知姿態的(若干)任意其他追蹤感測器。然而，校準方法之複雜性可取決於使用中的擴增實境系統之細節而變化。
校準使用有關HMD幾何、追蹤感測器相對於左側HMD顯示器及右側HMD顯示器的相對位置、平均頭部模型的眼相對於HMD螢幕的位置、影像平面與(左側及右側)虛擬攝影機之各自焦點的距離、及投射影像的大小及解析度的可獲得資訊，例如，如圖13至圖15中描繪。
圖13繪示根據本發明之一較佳實施例之一HMD之一些外部參數及內部參數。有關外部參數，右側HMD螢幕101及左側HMD螢幕103定位在已知位置處。如上文說明，至少一真實攝影機被安裝在HMD上，且真實攝影機與描繪如由使用者的眼觀看的虛擬物件之一虛擬攝影機相關。
參考圖14，此意味著虛擬攝影機將被理想地放置在使用者的眼105及107的位置處。在圖14中，HMD螢幕101及103被展示在使用者的眼105及107的正前方。對於本討論，眼105及107可被視為表示虛擬攝影機，此係因為此等攝影機將理想地「看見」一使用者應看見的虛擬物件。因此，圖14亦展示兩個重疊虛擬影像平面109及111。亦分別展示左側虛擬攝影機及右側虛擬攝影機(如由左眼107及右眼105表示)之HMD左側光軸112及HMD右側光軸114。從一虛擬攝影機至其相應虛擬影像平面之焦距113被展示為一攝影機之一內部參數，但如下文說明，一使用者可調整此焦距，且藉此調整各虛擬影像平面109及111之位置。
圖15繪示如例如透過左側HMD螢幕103及右側HMD螢幕101看見之左側影像103a及右側影像101a。此兩個影像將包括一立體影像對，如上文說明。理想地，左側影像103a及右側影像101a屬於一虛擬物件 (分別117a及117b)，其藉由使虛擬物件疊加在真實物件上而錨固至相應的真實實體物件117，如圖14的中部所示。
參考圖14，一投射虛擬物件117a/117b在一真實物件117上的疊加藉由使光軸線116及118在真實物件117之中心處相交(即，會聚)而表示。藉由使一使用者將虛擬攝影機之感知影像(即，虛擬物件117a及117b)調整至真實物件117上，HMD系統可判定至真實物件117之一距離及其他參數，如下文更全面說明。
參考圖13，方形115繪示將平移向量用於將HMD的真實攝影機的位置及姿態資訊平移至一虛擬攝影機。圖13中亦展示使用者的瞳孔之間的瞳孔間距120。如上說明，HMD基於一模型頭部假設初始瞳孔間距，但一個別使用者可任選地調整此初始瞳孔間距及藉此調整HMD之內部參數。另一所展示之內部參數係右側螢幕103與左側螢幕101之間的距離，以及螢幕大小及解析度。
可使自訂程序具有可調整的準確度且係使用者友好的。使用者互動被最小化且較佳被減少至僅調整五個參數(在總體十二個參數內)；兩個內部參數及三個外部參數。兩個內部參數係焦距及瞳孔間距(IPD)。三個外部參數係x平移、y平移及z平移，其中x及y表示平行於HMD螢幕之主方向(例如，平行於HMD螢幕的平面)的方向且z係垂直於HMD螢幕。較佳地，在假設絕對影像座標在虛擬影像平面中恆定的情況下，與兩個虛擬攝影機之平面內平移參數之改變成比例地內部更新兩個虛擬攝影機之主要點(即，光軸及影像平面之相交點)之改變。
對於標準目標準確度的應用，旋轉錯誤被假設為小的且可藉由校正平移錯誤而最小化。
虛擬攝影機之立體校準的方法包括使用系統的直接幾何特性界定左側虛擬攝影機及右側虛擬攝影機之預設校準矩陣，及同時自訂該 等矩陣以達到個別使用者的期望準確度。下列描述之一些部分涉及單個虛擬攝影機，但將暸解，類似描述將適用於(即，立體校準之)一立體成像系統之兩個虛擬攝影機之各者。
參考圖13至圖15，左側虛擬攝影機/右側虛擬攝影機之預設校準矩陣被界定為下列兩個點：
1.針對內部校準參數，假設針孔虛擬攝影機模型。焦距被設定為等於影像平面相距於(左側及右側)虛擬攝影機的各自焦點的距離。相對於投射影像之大小及解析度，將主影像點的座標設定在從眼至影像平面的法線(即，垂直方向)之相交點處。像素密度被給定為投射影像之解析度與各自影像大小之比率。
2.針對外部校準參數，將平移及旋轉參數設定為各虛擬攝影機在追蹤感測器之座標系中的各自平移向量及旋轉矩陣。
預設校準矩陣之自訂包含下列三個元素：
1.輸入且調諧PID的已知值或藉由計量模型基準參數而手動調整IPD。
2.藉由單像地操控焦距參數而調整虛擬物件大小(例如，僅使用兩個立體攝影機之一者，即僅使用一隻眼)。
3.同時針對左眼及右眼，使虛擬物件在參照座標系中沿著x、y及z方向居中。參照座標系較佳係一任意座標系，其與追蹤感測器之座標系及與所有其他所使用的局域座標系(諸如虛擬攝影機座標系、追蹤裝置之座標系、參照3D物件之座標系、具有至追蹤器座標系之已知轉化之任意較佳座標系)具有已知關係。
透過處理從追蹤感測器獲得之資料而即時暸解參照(錨固)物件之位置。在虛擬追蹤的情況中，世界座標系通常附加至參照3D或2D物件(例如，標記)，且相對於參照物件追蹤頭部姿態。
較佳實施例之下文討論假設一立體OST HMD校準，但是，將方 法修改及將校準程序簡化為單像及2D視圖OST HMD校準係簡易的。
現參考圖13至圖15提供本發明之一較佳方法之一描述。數學模型使用有關由OST HMD及使用者組成的系統的可獲得幾何資訊，且此等圖式繪示眼+OST HMD系統之校準參數與直接幾何量測(即，幾何參數)之間的關係。攝影機115(或更一般地，任意給定追蹤感測器)被展示為被放置在HMD的右側上，但在一般情況中，攝影機115可在HMD框架上之任意一般位置中。
圖16展示AR系統之一般化概圖。目標係將世界座標系映射至虛擬攝影機(眼+OST HMD)座標系。由於在實務中達成可能難以虛擬攝影機座標系，故較佳藉由一頭部追蹤系統(運動感測器121)的幫助而在兩者中解析變換。世界座標被映射至感測器座標系，在該感測器座標系上執行從運動感測器121至虛擬攝影機座標系的映射。
當前較佳實施例使用與一AR背景中的最現有技術OST HMD校準方法不同的校準方法。取代如通常所做的收集點對應性，較佳實施例採用包括一OST HMD及一HMD使用者之系統之直接幾何量測，以界定預設校準矩陣。個別使用者隨後經歷自訂程序，該程序包括藉由直接操控負責2D左側立體影像對及2D右側立體影像對之形成之個別校準參數而感知地對準虛擬及真實3D物件。然而，仍藉由此方法最小化使用者互動。
強調此方法避免使用標誌點，且因此避免任意逐點對準個別標誌點(例如，避免點對應性)。在當前較佳實施例中，使用者互動及因此使用者錯誤被最小化，此係因為使用者未實體移動任意點以使一虛擬物件及一實際參照物件對準。而是，使用者可選擇虛擬物件之增量地不同姿態，該等增量地不同姿態起因於校準參數之減小數目之增量改變。因此完全規避指向正確點位置中的任意使用者錯誤，以及追蹤使用者移動中的任意錯誤。
本方法進一步最小化使用者與HMD之間的互動。在本方法中，使用者僅需在差異、增量步驟中個別地查驗導致完全(即，整個)虛擬物件之不同表示的一些校準參數，且選擇參數之最佳集合。
為了進一步簡化本校準程序，藉由遵循下文所列的若干假設而減少使用者可更改的校準參數之數目。同時，保留具有補償其他校準參數之影響之能力之參數(例如，可補償小旋轉之平移參數，如將在文中進一步說明)。本程序經進一步設計以適當地排序不同參數之最佳化，且因此避免對不同參數的反覆。
本實施例進一步避免引入潛在數字錯誤，該等錯誤可能作為對將一3D姿態差異與一參數向量差異關聯之動態/機械方程式求解之結果出現。
為了為使用者進一步簡化本校準程序，本系統為使用者提供對運用哪種座標系之選擇。
總而言之，與依賴資料點收集來界定預設校準矩陣之先前技術校準方法不同，本方法使用系統之直接幾何資訊，且因此無需資料收集。此外，與使用代數或數字解算器以界定預設校準矩陣之先前校準方法不同，本方法完全規避此步驟。本方法僅需要針對自訂步驟之使用者互動，且隨後僅需要最小的使用者互動來從固定的增量選擇集合中選擇最佳的視覺上令人滿意的校準集合，而先前校準方法需要大量的使用者互動及努力來操控個別資料點。亦運用在固定座標系的用於校準完善的先前方法不同，當前較佳實施例為使用者提供在哪個座標系中運作的選擇(預設選擇係用於視覺頭部追蹤的標記座標系)。
較佳實施例之基本校準程序假設系統的11個假設點或假設特徵。本發明之目標係基本校準程序滿足標準應用準確度的要求。為了簡化校準程序及最小化使用者互動，同時保持期望級別的準確度，進行下列假設(即，點)：
1.假設(即，使用)虛擬攝影機(左側OST HMD-眼系統及右側OST HMD-眼系統)之針孔模型，如圖17中所示。
2.虛擬攝影機主影像點在從使用者的瞳孔的直接垂直突部處。假設平行觀看軸。
3.假設虛擬攝影機的焦距對於左眼及右眼兩者係相同的。
4.當單像地適當調整焦距(即，此時僅用一隻眼觀看場景)時，物件大小係正確的。即，當焦距未針對虛擬攝影機之針孔模型調適(例如，調整)時，(被單像地觀看的)標記平面中的虛擬物件之感知大小不正確，如圖18中所示。在圖18中，較暗垂直條(即，較暗色彩)對應於正確估計的焦距及物件/影像大小，且較淺垂直條(即，較淺色彩)對應於未正確估計的焦距及物件/影像大小。如繪示，虛擬物件至HMD的虛擬距離可從經調整的焦距獲得。
5.若適當調整焦距，則假設在當使用者聚焦在正確深度上時，針對左眼及右眼之虛擬物件之單像視圖(即，單獨使用每隻眼，每次使用一隻眼)重疊時，調整瞳孔間距(IPD)。例如，圖19展示左單像視圖及右單像視圖彼此聚焦且重合。在本實例中，假設感知的虛擬物件與真實參照物件117重合。藉由對比，圖20展示由右眼感知之一虛擬物件117b未與由左眼感知之另一虛擬物件117a重合，且因此IPD不正確(假設焦距已被正確地設定)，且需被進一步調整的情況。以此方式，使用者可容易地判定他/她的正確IPD。
6.假設縱橫比在不同使用者之間恆定，如由HMD光學件判定(16：9)。
7.假設旋轉錯誤為小且可藉由校正平移錯誤而補償旋轉錯誤，如圖21中所示。
8.假設影像偏斜為無。
9.將感測器121固定地安裝至HMD框架，諸如如圖16中所示的護 目鏡上。
10.上述點2及7暗示僅左側校準矩陣與右側校準矩陣之間的差異將歸因於瞳孔間距。因此，對於居中的平均頭部模型，假設主影像點在其等的各自虛擬影像平面中對於左側虛擬攝影機及右側虛擬攝影機係相同的。
11.如點2中所述，如圖17中所示垂直於觀看軸放置的針孔攝影機模型及固定虛擬影像平面暗示針對左眼及右眼的平行觀看軸。所計算的像差因此嚴格歸因於給定IPD，如圖22中所示。
對於更高準確度應用，可放寬假設3、6及7，且可提供使用者更豐富的可能參數幾何來調整，前提是使用者認為是有利的。但是，應注意，此選項將需要更有經驗的OST HMD使用者且將需首先檢驗潛在利益，此係因為潛在利益不會大於增大的投入努力。
即使完美暸解組成校準矩陣的變數，校準結果仍不會且通常並非完美的。此係針孔虛擬攝影機模型假設的後果，但亦係擴增實境中之一些感知問題的後果，如下文進一步說明。
接下來，討論用於校準自訂之座標系的選擇。最初，在追蹤攝影機座標系中界定校準矩陣。(記得雖然關於配備視覺追蹤的OST HMD系統闡釋本方法，但是本方法容易地擴展至利用任意其他類型之追蹤方法或追蹤方法的混合的OST HMD系統)。此座標系並非用於物體操控的天然座標系，此係因為人眼從自身的座標系角度觀看世界，如圖23中所示。因此，為了促進依賴將虛擬物件及真實物件之視圖感知對準之校準，較佳實施例將初始座標系從真實攝影機座標系變換為虛擬攝影機座標系。相關校準參數隨後在虛擬攝影機座標系中增量修改。
即使在將視圖變換至虛擬攝影機座標系後，使用者仍可發現視圖不如在預定義參照座標系中運作直觀，諸如，例如在使用者想要錨 固虛擬物件視圖至其的參照3D(或2D)物件(例如，在視覺追蹤的情況中使用的標記)之座標系中(如圖24中所示)。為此，較佳實施例採用如圖24中說明之一變換鏈來變換參照錨固真實物件的座標軸至虛擬攝影機座標系，且在錨固物件座標系中執行校準。類似地，本實施例可在任意使用者指定的座標系中運作，對於所述座標系已知至固定世界座標系或追蹤攝影機座標系的變換。(相同論證適用於使用任意給定追蹤系統或兩個或更多個追蹤裝置的混合的OST HMD系統)。
接下來，討論實施虛擬攝影機之差異運動之主題。
為了成功變換在任意給定座標系中之運動，較佳實施例界定沿著眼座標系之x、y及z軸的無窮小運動如何投射至校準參數上。x-y平面中的運動將直接變換為兩個虛擬攝影機座標系(左側及右側)之x-y平面中的平移參數的改變。深度上(沿著z)的運動映射至IPD改變中，所述改變反映在左側平移參數及右側平移參數沿著虛擬攝影機x軸的直接改變中。
參考圖31，△T x(y)代表外部平移參數之無窮小改變。△X(Y)係眼座標系中X(Y)座標的無窮小改變，而△Z指示深度的無窮小改變(在眼座標系中)。下標x及y指示所論述的軸，且下標L及R分別指示左側虛擬攝影機及右側虛擬攝影機。在假設絕對點位置在投射虛擬影像平面中恆定的情況下導出兩個方程式(1)及(2)。
△T x(y)的改變固有地暗示影像主點C0x(y)的改變，如圖31之方程式(3)中所示，其中S x(y)(px/mm)係像素密度。
一旦此等無窮小運動被界定，即可適當計算虛擬攝影機座標系中座標軸的任意組合(如圖24及方程式(1)、(2)及(3)中所示，及作為沿著所選擇的參照座標系中的個別座標軸的無窮小變換的結果)。
接下來，解決校準參數的理論值與真值之間的差異。
有關擴增實境中的感知問題，在天然視覺中，人類視覺系統使 用各種深度提示來推斷深度資訊。因此，在真實世界中，藉由彼此一致地存在的多種深度提示實現準確的深度感知。與此相比，立體顯示器可僅傳送可獲得的深度提示的子集。丟失或不受控深度提示可能缺少或提供錯誤深度資訊且導致失真的感知。例如，即使適應(即，調整的集合)可能係弱的深度提示，仍可顯著更改深度及大小感知兩者。使影像平面比工作距離深得多(較佳在5m處，而工作距離通常保持為臂長)將產生更感知更靠近影像平面的效果及因此距離使用者更遠。最佳IPD隨後將大於真使用者的IPD。此係經最佳校準的IPD可能超越真IPD的原因的合情解說。類似地，真實物件與虛擬物件之間的適應失配可能時可能在錯誤深度處感知虛擬物件的使用者困惑，即使真實物件被放置在與虛擬物件視圖相同的深度處；兩個物件之間的適應差異可能導致不同的深度提示。
此外，已表明人類視覺系統無法區分比7mm界限精細的深度，而不管刺激物的形狀及大小。
上述內容暗示即使對於完美設定的預設參數，仍可能需要一些小調諧來達成正確的感知校準，且完美校準固有地歸因於區分深度的人類能力的裕度而難以達成。
有關校準的範圍，在假設來自追蹤機構的完美恢復的頭部位置(而不管使用者與真實、參照物件的距離)的情況下，校準結果仍可對於不同距離/深度範圍不同。此外，若未完美地針對一個深度範圍計量校準參數，則錯誤可能在經校準範圍的末端的深度範圍處成比例地增大。
校準結果對深度範圍的依賴性主要歸因於上文討論的感知問題。另一原因係違反具有平行觀看軸的針孔模型，其中焦距及/或會聚角的潛在小差異可能在不同的深度範圍中出現。
通常，吾等未發現，在使用者報告針對該等範圍之一者的完全 成功的校準的情況下，校準結果針對短範圍(30至40cm)測試及中等範圍(70至80cm)測試不同。然而，由於上述內容，較佳實施例鼓勵使用者針對特定應用圍繞工作距離校準裝置。替代地，小的線性校正項可用於整平針對不同距離範圍的校準。
現轉到校準協定的主題，此段落假設使用頭部姿態之視覺追蹤。簡易地修改針對整合在AR系統中的任意其他追蹤感測器的協定。使用系統的直接幾何量測(即，幾何參數)界定預設校準矩陣。參考圖25、圖26A及圖26B，在視覺追蹤的情況中，校準自訂協定包括下列八個步驟：
1.使用者戴上護目鏡，且將護目鏡定位在使用者的眼的正前方且垂直於使用者的眼。護目鏡的正確定位對於AR系統的成功校準及使用係重要的。載入使用系統的直接幾何資訊界定的預設校準矩陣。
2.使用者選擇用於校準的座標系。依據預設，設定標記座標系。
3.若已知，則使用者輸入正確值且微調IPD。另外，使用者如上文說明調整IPD。標記較佳定位成垂直且正交觀看軸。
4.在將標記保持在相同位置中的情況下，使用者沿著x方向及y方向(雙目地)使物件在標記上居中。
5.在以平面方式使虛擬物件的視圖在標記上居中且使標記保持靜止在垂直位置中的情況下，使用者藉由單像地調整焦距而調整測試物件的大小。若IPD被正確設定，且若焦距被適當地調整，則最佳應在執行步驟3及5後調整與使用者相距的物件深度。
6.將標記保持在如針對步驟5的相同位置中的情況下，若焦距已被修改，則使用者可能需再調整感知的虛擬物件位置，使得測試物件保持在標記上居中。應在執行步驟4及6後最佳調整虛擬攝影機座標系中的x位置及y位置。
7.使用者更水平及側向地定位標記，且驗證是否需要任意進一步 調整來使測試物件(例如，虛擬物件)錨固及居中至標記(例如，真實參照物件)。必要調整在選擇座標系(預設地標記座標系)中完成，且最佳IPD及平面平移的搜尋係隱式的，內嵌在物件對準程序中。
8.校準自訂程序結束。
在圖27、圖28A、圖28B、圖29及圖30中圖示地逐步說明校準程序。
接下來，描述感測器校準。下列校準方法假設完美的追蹤感測器校準及頭部姿態的完美恢復。詳細測試本視覺追蹤AR系統的情況，但原理對於任意其他追蹤機構有效。攝影機使用所屬領域中已知的OpenCV校準工具(開源電腦視覺庫)校準。所使用的校準圖案係棋盤網格14行×10列，方形大小=10.8mm。測試確認準確攝影機校準(適用於其他感測器類型)在頭部姿態恢復中的重要性。
使用ARToolkit標記及追蹤方法(ARToolkit係用於建立擴增實境應用程式的所屬領域中已知軟體庫)，測試被相同地運行來估計短至中等-遠範圍(20cm至1m)中的標記追蹤錯誤，相對於標記表面法線保持小角度攝影機軸。追蹤錯誤保持在2mm至3mm至高達90cm的級別上。性能針對大於90cm的距離劣化(假定作為每個標記表面單元的較小像素密度的結果)。
為完整起見，本文中說明較佳實施例中使用的數學模型的一些額外細節。
世界座標中的3D點與其影像(像素)座標中的2D投射之間的關係可表示為圖32中的公式(4)所描繪的矩陣形式。在此情況中，3D世界及2D點X及p在齊次座標中給出，w係任意標度，且P係統一外部分量及內部分量的投射矩陣。即，P如公式(5)所示界定，其中符號(6)係內部參數矩陣，u0及v0表示影像平面中心的影像像素座標，fu係焦距乘以x方向上的像素密度。類似地，fv係焦距乘以y方向上的像素密度。 R代表旋轉矩陣，且t代表平移向量。數學模型較佳藉由組成P矩陣而界定，其係藉由***對應於平均頭部模型之直接幾何量測(即，幾何參數)而完成。
雖然已結合數個特定實施例描述本發明，但是熟習此項技術者明白鑒於上述描述將暸解許多進一步替代、修改及變化。因此，本文中描述的發明旨在涵蓋如可能落在隨附申請專利範圍的精神及範疇內的所有此等替代、修改、應用及變化。
101‧‧‧右側頭戴式顯示器(HMD)螢幕
103‧‧‧左側頭戴式顯示器(HMD)螢幕
105‧‧‧眼
107‧‧‧眼
109‧‧‧虛擬影像平面
111‧‧‧虛擬影像平面
112‧‧‧頭戴式顯示器(HMD)左側光軸
113‧‧‧焦距
114‧‧‧頭戴式顯示器(HMD)左側光軸
117‧‧‧真實實體物件
118‧‧‧光軸線

Claims (14)

  1. 一種一擴增實境(AR)系統之一光學透視(OST)頭戴式顯示器(HMD)之校準方法，其包括：在將使用該OST HMD之一場景中提供一真實目標物件，該真實目標物件為該場景內的已知尺寸、位置及定向；基於一預定義頭部模型界定一預設校準矩陣集合；使用該預設校準矩陣集合產生該真實目標物件之一虛擬物件表示，及投射該虛擬物件之一視圖；儘可能將虛擬物件之該投射視圖中心對準至該真實目標物件上；在該預設校準矩陣集合內循環經歷至少一預定義參數中之預定義數目之增量改變；針對該預定義參數之各增量改變，產生及投射一新虛擬物件，將該新虛擬物件再對準至該真實目標物件，及比較該當前新虛擬物件之該當前再對準與一先前投射虛擬物件之一先前對準；識別與該真實目標物件具有最佳對準之該投射虛擬物件，且將其指定為一經校準虛擬物件；及設定該OST HMD以使用具有對應於該經校準虛擬物件之該預定義參數之該值的該校準矩陣集合。
  2. 如請求項1之方法，其中該OST HMD係一立體AR系統，其提供該投射虛擬物件之一雙目影像。
  3. 如請求項2之方法，其中：該雙目影像由一左側影像及一右側影像所組成；針對該左側影像及該右側影像之各者分別進行該新虛擬物件 至該真實目標物件之再對準之該步驟；及該經校準虛擬物件被進一步界定為該投射虛擬物件，其左側影像虛擬物件投射與該右側影像虛擬物件投射彼此最佳對準。
  4. 如請求項1之方法，其中：該預設校準矩陣集合包含一外部參數矩陣及一內部參數矩陣，兩個矩陣係界定自該OST HMD及該頭部模型之直接幾何量測；及該外部參數矩陣及該內部參數矩陣係基於一針孔攝影機模型。
  5. 如請求項4之方法，其中藉由使用該真實目標物件之已知尺寸、位置及定向及該真實目標物件之一座標系，從一經投射且對準虛擬物件之3D姿態(3D旋轉+3D平移)之直接幾何量測獲得該外部參數矩陣之更新。
  6. 如請求項5之方法，其中該真實目標物件之該座標系中之值被轉換為該投射虛擬物件之一座標系中之值。
  7. 如請求項5之方法，其中使用一虛擬攝影機產生各投射虛擬物件。
  8. 如請求項4之方法，其中：該投射虛擬物件係基於該針孔攝影機模型；使用下列幾何量測界定該內部參數矩陣內之參數：從該虛擬針孔攝影機之一中心至該虛擬針孔攝影機之一虛擬影像平面之一中心之一距離用於界定一焦距；及該虛擬影像平面相對於該頭部模型之該中心位置及該投射影像之一影像解析度係用於界定該投射影像之一中心像素位置及該投射虛擬物件之像素密度。
  9. 如請求項8之方法，其中：該OST HMD係一立體AR系統，其提供該投射虛擬物件之一雙目影像；該雙目影像由一左側影像及一右側影像所組成，各具有一各自外部參數矩陣及一內部參數矩陣；及該界定焦距用於左側影像及右側影像兩者。
  10. 如請求項8之方法，其中該一個預定義參數係一瞳孔間距(IPD)，且藉由下列方法找到一最佳(IPD)：針對該左側影像及該右側影像之各者單獨進行該新虛擬物件至該真實目標物件之再對準之該步驟；及識別導致該左側影像之該經再對準新虛擬物件對準至該右側影像之該經再對準新虛擬物件之該參數值。
  11. 如請求項10之方法，其中該最佳IPD不匹配一使用者的真IPD。
  12. 如請求項11之方法，其中該循環經歷該預定義數目之增量改變係回應於一使用者控制輸入。
  13. 如請求項1之方法，其中：該一個預定義參數係複數個該等預定義參數之一者；該複數個預定義參數之增量改變導致該投射虛擬物件之平移，且該投射虛擬物件相對於該真實目標物件之該定向之一差異係藉由調整該投射虛擬物件之該平移而校正。
  14. 一種非暫態電腦可讀媒體，其體現用於藉由一運算裝置執行如請求項1之方法之指令。
TW104121385A 2014-07-10 2015-07-01 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體 TWI591378B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462023090P 2014-07-10 2014-07-10
US14/740,523 US10198865B2 (en) 2014-07-10 2015-06-16 HMD calibration with direct geometric modeling

Publications (2)

Publication Number Publication Date
TW201610471A true TW201610471A (zh) 2016-03-16
TWI591378B TWI591378B (zh) 2017-07-11

Family

ID=53793960

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104121385A TWI591378B (zh) 2014-07-10 2015-07-01 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體

Country Status (6)

Country Link
US (1) US10198865B2 (zh)
EP (1) EP2966863B1 (zh)
JP (1) JP2016018213A (zh)
KR (2) KR20160007423A (zh)
CN (2) CN105320271B (zh)
TW (1) TWI591378B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602154B (zh) * 2017-04-26 2017-10-11 偉詮電子股份有限公司 環景影像的拼接方法及其系統
TWI675686B (zh) * 2016-03-30 2019-11-01 索尼互動娛樂股份有限公司 可重組態多模式攝像機

Families Citing this family (183)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303164A (zh) * 2011-03-17 2016-02-03 纽约大学 用于检验和鉴别物理对象的***、方法和计算机可访问介质
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9658686B2 (en) * 2015-05-28 2017-05-23 Microsoft Technology Licensing, Llc Motion based view matrix tuning
US10271042B2 (en) 2015-05-29 2019-04-23 Seeing Machines Limited Calibration of a head mounted eye tracking system
CN107624165A (zh) * 2015-06-15 2018-01-23 埃西勒国际通用光学公司 用于校准双目显示设备的方法
US10607413B1 (en) * 2015-09-08 2020-03-31 Ultrahaptics IP Two Limited Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
US9832451B2 (en) * 2015-11-17 2017-11-28 Survios, Inc. Methods for reduced-bandwidth wireless 3D video transmission
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
EP3384468A4 (en) * 2015-12-04 2019-01-30 Magic Leap, Inc. RELOCALIZATION SYSTEMS AND METHODS
US10424295B2 (en) * 2016-02-03 2019-09-24 Disney Enterprises, Inc. Calibration of virtual image displays
EP3411755A4 (en) * 2016-02-03 2019-10-09 Sportlogiq Inc. SYSTEMS AND METHODS FOR AUTOMATED CALIBRATION OF PHOTOGRAPHIC APPARATUS
WO2017169014A1 (ja) * 2016-03-30 2017-10-05 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10592048B2 (en) * 2016-05-17 2020-03-17 Google Llc Auto-aligner for virtual reality display
TWI586936B (zh) * 2016-05-20 2017-06-11 國立交通大學 實體影像與虛擬影像之間轉換的方法及其系統
US20170344112A1 (en) * 2016-05-31 2017-11-30 Fove, Inc. Gaze detection device
US20170353714A1 (en) * 2016-06-06 2017-12-07 Navid Poulad Self-calibrating display system
US10019839B2 (en) * 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
EP3525173A4 (en) * 2016-07-11 2020-07-08 Taiwan Main Orthopaedic Biotechnology Co., Ltd. IMAGE REALITY EXTENSION PROCESS AND SURGICAL GUIDE TO APPLY THIS TO WEARABLE GLASSES
KR102317683B1 (ko) 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
US10306215B2 (en) 2016-07-31 2019-05-28 Microsoft Technology Licensing, Llc Object display utilizing monoscopic view with controlled convergence
US10212414B2 (en) 2016-08-01 2019-02-19 Microsoft Technology Licensing, Llc Dynamic realignment of stereoscopic digital consent
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
EP3494549A4 (en) 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
WO2018026893A1 (en) 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10216263B2 (en) 2016-09-12 2019-02-26 Microsoft Technology Licensing, Llc Display active alignment systems utilizing test patterns for calibrating signals in waveguide displays
US10324291B2 (en) 2016-09-12 2019-06-18 Microsoft Technology Licensing, Llc Display active alignment system for waveguide displays
CN107817003B (zh) * 2016-09-14 2021-07-06 西安航通测控技术有限责任公司 一种分布式大尺寸空间定位***的外参数标定方法
US10345595B2 (en) * 2016-09-30 2019-07-09 Htc Corporation Head mounted device with eye tracking and control method thereof
CN107024980A (zh) * 2016-10-26 2017-08-08 阿里巴巴集团控股有限公司 基于增强现实的用户位置定位方法及装置
US10388072B2 (en) 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
MX2018007164A (es) 2016-11-08 2019-06-06 Lumus Ltd Dispositivo de guia de luz con borde de corte optico y metodos de produccion correspondientes.
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
CN106648088B (zh) * 2016-12-14 2019-08-23 影动（北京）科技有限公司 惯性运动捕捉姿态瞬时校准方法及其***
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
US10262464B2 (en) 2016-12-30 2019-04-16 Intel Corporation Dynamic, local augmented reality landmarks
KR102296369B1 (ko) 2016-12-31 2021-09-01 루머스 리미티드 도광 광학 소자를 통한 망막 이미징 기반 안구 추적기
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018138714A1 (en) 2017-01-28 2018-08-02 Lumus Ltd. Augmented reality imaging system
US10416769B2 (en) * 2017-02-14 2019-09-17 Microsoft Technology Licensing, Llc Physical haptic feedback system with spatial warping
CN106778710A (zh) * 2017-02-17 2017-05-31 吉林大学 一种基于kinect传感器的飞行模拟器动态视点***
US10666923B2 (en) * 2017-02-24 2020-05-26 Immervision, Inc. Wide-angle stereoscopic vision with cameras having different parameters
JP7227165B2 (ja) * 2017-03-07 2023-02-21 ８２５９４０２ カナダ インコーポレイテッド ディスプレイにおける虚像を制御する方法
WO2018170470A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CA3055218A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
US10311637B2 (en) 2017-05-15 2019-06-04 International Business Machines Corporation Collaborative three-dimensional digital model construction
TWI628619B (zh) * 2017-05-17 2018-07-01 國立交通大學 立體影像產生方法及其裝置
US11410330B2 (en) * 2017-05-30 2022-08-09 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US10488920B2 (en) * 2017-06-02 2019-11-26 Htc Corporation Immersive headset system and control method thereof
KR101857466B1 (ko) * 2017-06-16 2018-05-15 주식회사 비주얼캠프 헤드 마운트 디스플레이 및 그 캘리브레이션 방법
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
US10659771B2 (en) * 2017-07-13 2020-05-19 Google Llc Non-planar computational displays
CN107480710B (zh) * 2017-08-01 2020-05-22 歌尔股份有限公司 特征点匹配结果处理方法和装置
CN110019580B (zh) * 2017-08-25 2022-07-12 腾讯科技（深圳）有限公司 地图显示方法、装置、存储介质及终端
US10798370B2 (en) * 2017-08-30 2020-10-06 Facebook Technologies, Llc Apparatus, system, and method for interpupillary-distance-adjustable head-mounted displays
US10388029B1 (en) * 2017-09-07 2019-08-20 Northrop Grumman Systems Corporation Multi-sensor pose-estimate system
TW201915938A (zh) * 2017-09-20 2019-04-16 宏碁股份有限公司 影像處理系統和方法
TWI653081B (zh) * 2017-09-20 2019-03-11 宏碁股份有限公司 影像處理系統和方法
US11748952B2 (en) * 2017-09-27 2023-09-05 Intel Corporation Apparatus and method for optimized image stitching based on optical flow
CN109561298A (zh) * 2017-09-27 2019-04-02 宏碁股份有限公司 图像处理***和方法
WO2019065784A1 (ja) * 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
KR20190043362A (ko) 2017-10-18 2019-04-26 고등기술연구원연구조합 맞춤형 가상현실공간 제공 시스템 및 방법
WO2019077614A1 (en) 2017-10-22 2019-04-25 Lumus Ltd. ENHANCED REALITY DEVICE MOUNTED ON THE HEAD AND USING AN OPTICAL BENCH
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
CA3078897A1 (en) * 2017-11-15 2019-05-23 Magic Leap, Inc. System and methods for extrinsic calibration of cameras and diffractive optical elements
US11762169B2 (en) 2017-12-03 2023-09-19 Lumus Ltd. Optical device alignment methods
US11244514B2 (en) 2017-12-15 2022-02-08 Telefonaktiebolaget Lm Ericsson (Publ) Determining a content pose of a piece of virtual content
JP7226332B2 (ja) * 2017-12-20 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
FR3075985B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute porte pour rendre conforme l'affichage d'informations de pilotage d'un aeronef avec le monde reel exterieur
FR3075984B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme de recalage d'une symbologie de pilotage d'un aeronef sur un afficheur tete haute porte conforme avec le monde reel exterieur via un systeme de vision synthetique svs
EP3729693B1 (en) 2017-12-21 2023-09-06 Magic Leap, Inc. Method for calibrating an augmented reality device
CA3068659A1 (en) * 2018-01-02 2019-07-11 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
JP7118650B2 (ja) * 2018-01-18 2022-08-16 キヤノン株式会社 表示装置
US11386572B2 (en) * 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
JP2021081757A (ja) * 2018-03-12 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
TWI692968B (zh) * 2018-04-26 2020-05-01 財團法人工業技術研究院 三維建模裝置及應用於其之校準方法
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备
US11543663B2 (en) 2018-05-16 2023-01-03 Cartosense Pvt. Ltd. System and method for alignment between real and virtual objects in a head-mounted optical see-through display
EP3569147B1 (de) * 2018-05-16 2021-07-21 Siemens Healthcare GmbH Verfahren und vorrichtung zum bestimmen einer geometriekalib-rierung für eine bildgebende vorrichtung sowie verfahren zum bestimmen von zuordnungsdaten für die geometriekalibrierung
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN110554511B (zh) * 2018-05-30 2022-05-03 托比股份公司 用于校准头戴式显示器的方法和装置
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
CN108830944B (zh) * 2018-07-12 2020-10-16 北京理工大学 光学透视式三维近眼显示***及显示方法
CN108961155B (zh) * 2018-07-13 2023-06-27 惠州市德赛西威汽车电子股份有限公司 一种高保真的鱼眼镜头畸变校正方法
JP7413345B2 (ja) 2018-07-23 2024-01-15 マジック リープ， インコーポレイテッド フィールド順次ディスプレイにおけるフィールド内サブコードタイミング
JP7304934B2 (ja) 2018-07-23 2023-07-07 マジック リープ， インコーポレイテッド 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN109272454B (zh) * 2018-07-27 2020-07-03 阿里巴巴集团控股有限公司 一种增强现实设备的坐标系校准方法及装置
US10957112B2 (en) 2018-08-13 2021-03-23 Magic Leap, Inc. Cross reality system
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN109242958A (zh) * 2018-08-29 2019-01-18 广景视睿科技（深圳）有限公司 一种三维建模的方法及其装置
WO2020072985A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
WO2020092497A2 (en) * 2018-10-31 2020-05-07 Milwaukee Electric Tool Corporation Spatially-aware tool system
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
KR20200056721A (ko) * 2018-11-15 2020-05-25 숙명여자대학교산학협력단 증강현실 기기의 광학 특성 측정 방법 및 장치
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
WO2020114582A1 (en) 2018-12-04 2020-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Improved optical see-through viewing device and method for providing virtual content overlapping visual objects
US11042034B2 (en) * 2018-12-27 2021-06-22 Facebook Technologies, Llc Head mounted display calibration using portable docking station with calibration target
WO2020185219A1 (en) 2019-03-13 2020-09-17 Hewlett-Packard Development Company, L.P. Detecting eye tracking calibration errors
CN110139028B (zh) * 2019-03-25 2020-07-07 华为技术有限公司 一种图像处理的方法及头戴式显示设备
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
US10867409B2 (en) * 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors
CN110099273B (zh) * 2019-04-23 2021-07-30 百度在线网络技术（北京）有限公司 增强现实内容显示方法及装置
CN114080582B (zh) * 2019-07-02 2024-03-08 交互数字Vc控股公司 用于稀疏分布式渲染的***和方法
US11189103B2 (en) 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
CN110473262A (zh) * 2019-08-22 2019-11-19 北京双髻鲨科技有限公司 多目相机的外参标定方法、装置、存储介质及电子设备
US11137608B2 (en) 2019-09-25 2021-10-05 Electronics And Telecommunications Research Institute Slim immersive display device, slim visualization device, and user eye-tracking device
US11632679B2 (en) 2019-10-15 2023-04-18 Magic Leap, Inc. Cross reality system with wireless fingerprints
JP2021063922A (ja) * 2019-10-15 2021-04-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2022551734A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 複数のデバイスタイプをサポートするクロスリアリティシステム
WO2021076754A1 (en) * 2019-10-15 2021-04-22 Magic Leap, Inc. Cross reality system with localization service
CN110794585B (zh) * 2019-10-16 2022-05-24 中国航空工业集团公司洛阳电光设备研究所 一种头盔显示器双目对准校准方法
US11386627B2 (en) 2019-11-12 2022-07-12 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
US11562542B2 (en) 2019-12-09 2023-01-24 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US10866425B1 (en) * 2019-12-16 2020-12-15 Microsoft Technology Licensing, Llc Image reprojection based on intra-pupil distance
CN111127564B (zh) * 2019-12-23 2023-02-28 中电科新型智慧城市研究院有限公司 一种基于几何定位模型的视频影像校正方法
CA3163674A1 (en) 2019-12-25 2021-07-01 Lumus Ltd. Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element
KR102151265B1 (ko) 2019-12-26 2020-09-02 주식회사 델바인 Hmd 시스템 및 이를 포함하는 재활훈련 시스템
KR102260754B1 (ko) * 2019-12-31 2021-06-07 주식회사 버넥트 증강현실용 가이드 도구의 자세 추정을 위한 캘리브레이션 기구 및 이를 이용한 캘리브레이션 방법
US11209573B2 (en) 2020-01-07 2021-12-28 Northrop Grumman Systems Corporation Radio occultation aircraft navigation aid system
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
WO2021163300A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
US11609345B2 (en) 2020-02-20 2023-03-21 Rockwell Automation Technologies, Inc. System and method to determine positioning in a virtual coordinate system
US11551430B2 (en) 2020-02-26 2023-01-10 Magic Leap, Inc. Cross reality system with fast localization
CN111325796B (zh) * 2020-02-28 2023-08-18 北京百度网讯科技有限公司 用于确定视觉设备的位姿的方法和装置
WO2021222371A1 (en) 2020-04-29 2021-11-04 Magic Leap, Inc. Cross reality system for large scale environments
CN111583310B (zh) * 2020-04-29 2023-06-30 南京睿悦信息技术有限公司 一种用于虚拟现实和增强现实设备的虚实配准方法及装置
US20210342493A1 (en) * 2020-04-30 2021-11-04 Clothing Tech LLC Improving garment design processes with 3d cad tools
US11756225B2 (en) * 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11176756B1 (en) 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
TWI784330B (zh) * 2020-10-21 2022-11-21 財團法人工業技術研究院 物件追蹤方法及其處理裝置與系統
US11514799B2 (en) 2020-11-11 2022-11-29 Northrop Grumman Systems Corporation Systems and methods for maneuvering an aerial vehicle during adverse weather conditions
US11747137B2 (en) 2020-11-18 2023-09-05 Lumus Ltd. Optical-based validation of orientations of internal facets
KR102497969B1 (ko) * 2020-12-31 2023-02-08 순천대학교 산학협력단 복수개의 서포터를 갖는 변압기 지지대 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법
KR102497961B1 (ko) * 2020-12-31 2023-02-14 순천대학교 산학협력단 변압기 지지대 시뮬레이션 시스템 및 이를 이용한 시뮬레이션 방법
JP2024510870A (ja) 2021-03-01 2024-03-12 ルムス エルティーディー． プロジェクタから導波路へのコンパクトな結合を有する光学システム
CN112967193B (zh) * 2021-03-02 2024-06-25 Oppo广东移动通信有限公司 图像校准方法及装置、计算机可读介质和电子设备
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11804007B2 (en) * 2021-03-31 2023-10-31 Disney Enterprises, Inc. 3D digital model surface rendering and conversion
CN113259649B (zh) * 2021-05-06 2022-08-09 青岛小鸟看看科技有限公司 基于场景摄像头重定位的虚拟现实方法、***
JP2024517804A (ja) 2021-05-19 2024-04-23 ルムス エルティーディー． 活性光学エンジン
TWI790640B (zh) * 2021-06-11 2023-01-21 宏碁股份有限公司 擴增實境顯示裝置與方法
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
US11770495B2 (en) * 2021-08-13 2023-09-26 GM Global Technology Operations LLC Generating virtual images based on captured image data
EP4374204A1 (en) 2021-08-23 2024-05-29 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors
GB202112597D0 (en) * 2021-09-03 2021-10-20 Laetus Gmbh Method and apparatus for image rectification and stitching
CN114167610A (zh) * 2021-11-24 2022-03-11 上海实迅网络科技有限公司 一种基于ar的数字博物馆展示***
CN114119772A (zh) * 2021-11-29 2022-03-01 歌尔光学科技有限公司 头戴显示设备的标定方法、装置、设备、***及存储介质
KR20230085614A (ko) 2021-12-07 2023-06-14 광운대학교 산학협력단 가상 디스플레이를 설정하는 가상현실장치 및 장치의 동작 방법
TWI831475B (zh) * 2022-01-26 2024-02-01 財團法人工業技術研究院 光學穿透式顯示器的校正方法與校正系統
US11961258B2 (en) 2022-01-26 2024-04-16 Industrial Technology Research Institute Calibration method for optical see-through display and calibration system
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack
US20240046575A1 (en) * 2022-08-05 2024-02-08 Samsung Electronics Co., Ltd. Video See-Through Augmented Reality
JP2024035526A (ja) * 2022-09-02 2024-03-14 キヤノン株式会社 情報処理装置
WO2024108393A1 (zh) * 2022-11-22 2024-05-30 北京小米移动软件有限公司 相机标定方法和装置、增强现实设备、可读存储介质
CN115761005A (zh) * 2022-11-23 2023-03-07 立讯精密科技(南京)有限公司 虚拟现实设备调节方法、装置、电子设备及存储介质

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100318330B1 (ko) 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
JP3138080B2 (ja) 1992-10-22 2001-02-26 株式会社豊田中央研究所 視覚センサの自動キャリブレーション装置
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US6697761B2 (en) 2000-09-19 2004-02-24 Olympus Optical Co., Ltd. Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system
US20020105484A1 (en) 2000-09-25 2002-08-08 Nassir Navab System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
CN100416336C (zh) * 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
JP4859205B2 (ja) 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP4757142B2 (ja) 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US7957582B2 (en) 2007-06-21 2011-06-07 General Electric Company Method and system for correction of fluoroscope image distortion
FR2921149B1 (fr) 2007-09-14 2009-11-06 Thales Sa Procede de telemetrie sur image stabilisee
JP2009116196A (ja) * 2007-11-08 2009-05-28 Canon Inc 画像表示装置
JP2010124339A (ja) * 2008-11-20 2010-06-03 Scalar Corp ヘッドマウントディスプレイ
JP4863527B2 (ja) 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
JP2010217719A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 装着型表示装置、その制御方法及びプログラム
JP5247590B2 (ja) * 2009-05-21 2013-07-24 キヤノン株式会社 情報処理装置及びキャリブレーション処理方法
EP2341386A1 (en) 2009-12-17 2011-07-06 BAE Systems PLC A method of aligning a helmet mounted display
FR2955409B1 (fr) 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
WO2011127201A1 (en) 2010-04-06 2011-10-13 Youbiq Llc Camera control
JP5499854B2 (ja) * 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
CN102971692B (zh) 2010-06-29 2016-06-08 富士胶片株式会社 三维显示设备、三维图像捕获设备、和指示确定方法
CN103380625A (zh) 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
JP2013050558A (ja) 2011-08-30 2013-03-14 Sony Corp ヘッド・マウント・ディスプレイ及び表示制御方法
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
JP6021328B2 (ja) 2011-12-22 2016-11-09 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
US8810600B2 (en) 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
JP5776903B2 (ja) 2012-03-02 2015-09-09 カシオ計算機株式会社 画像処理装置及び画像処理方法並びにプログラム
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
JP2013232744A (ja) * 2012-04-27 2013-11-14 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 ディスプレイシステム、ディスプレイ調整システム、ディスプレイ調整方法、およびプログラム
US9177360B2 (en) 2012-09-11 2015-11-03 Apple Inc. Automatic image orientation and straightening through image analysis
WO2014077046A1 (ja) 2012-11-13 2014-05-22 ソニー株式会社 画像表示装置及び画像表示方法、移動体装置、画像表示システム、並びにコンピューター・プログラム
US9215368B2 (en) 2012-12-02 2015-12-15 Bachir Babale Virtual decals for precision alignment and stabilization of motion graphics on mobile video
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
WO2014179745A1 (en) 2013-05-02 2014-11-06 Qualcomm Incorporated Methods for facilitating computer vision application initialization
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
JP6175945B2 (ja) 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
JP6468741B2 (ja) 2013-07-22 2019-02-13 キヤノン株式会社 ロボットシステム及びロボットシステムの校正方法
US10354359B2 (en) 2013-08-21 2019-07-16 Interdigital Ce Patent Holdings Video display with pan function controlled by viewing direction
JP6202980B2 (ja) 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2017511615A (ja) 2013-11-27 2017-04-20 ウルトラデント プロダクツ インク． 物理的場所間のビデオ対話
JP2015115046A (ja) 2013-12-16 2015-06-22 ソニー株式会社 情報処理装置、プログラム、情報処理方法及び情報処理システム
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
KR101669926B1 (ko) 2014-02-03 2016-11-09 (주)에프엑스기어 사용자 시점 연동형 영상 처리 장치 및 그 방법
JP6323040B2 (ja) 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN103905730B (zh) 2014-03-24 2015-11-25 努比亚技术有限公司 移动终端的拍摄方法和移动终端
US20170054970A1 (en) 2014-04-30 2017-02-23 Visteon Global Technologies, Inc. System and method for calibrating alignment of a three-dimensional display within a vehicle
JP6642432B2 (ja) 2014-07-31 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US10057968B2 (en) 2014-11-18 2018-08-21 Meta Company Wide field of view head mounted display apparatuses, methods and systems
CN105872526B (zh) 2015-01-21 2017-10-31 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
US20160247322A1 (en) 2015-02-23 2016-08-25 Kabushiki Kaisha Toshiba Electronic apparatus, method and storage medium
US10116884B2 (en) 2015-04-05 2018-10-30 Hema Imaging Llc Systems and approaches for thermal imaging
CN104822061A (zh) 2015-04-30 2015-08-05 小鸟科技有限公司 头戴式3d显示器的瞳距调节方法、***、以及模块
US9746675B2 (en) 2015-05-28 2017-08-29 Microsoft Technology Licensing, Llc Alignment based view matrix tuning
KR102415501B1 (ko) 2015-08-07 2022-07-01 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
CN105303557B (zh) 2015-09-21 2018-05-22 深圳先进技术研究院 一种可透视型智能眼镜及其透视方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI675686B (zh) * 2016-03-30 2019-11-01 索尼互動娛樂股份有限公司 可重組態多模式攝像機
US10616563B2 (en) 2016-03-30 2020-04-07 Sony Interactive Entertainment Inc. Reconfigurable multi-mode camera
TWI602154B (zh) * 2017-04-26 2017-10-11 偉詮電子股份有限公司 環景影像的拼接方法及其系統
US10321054B2 (en) 2017-04-26 2019-06-11 Weltrend Semiconductor Inc. Panoramic image stitching method for reducing geometric distortion by using an image registration process and system thereof

Also Published As

Publication number Publication date
US10198865B2 (en) 2019-02-05
CN105320271B (zh) 2018-09-14
EP2966863B1 (en) 2018-09-12
CN109040738A (zh) 2018-12-18
EP2966863A1 (en) 2016-01-13
KR20160007423A (ko) 2016-01-20
KR101761751B1 (ko) 2017-07-26
CN105320271A (zh) 2016-02-10
TWI591378B (zh) 2017-07-11
CN109040738B (zh) 2020-08-25
KR20160121798A (ko) 2016-10-20
US20160012643A1 (en) 2016-01-14
JP2016018213A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
TWI591378B (zh) 擴增實境系統之光學透視頭戴式顯示器之校準方法及非暫態電腦可讀媒體
CN109313346B (zh) 双目视图和单目视图之间的转换
US20190019341A1 (en) Head-mounted display device and computer program
US20230269358A1 (en) Methods and systems for multiple access to a single hardware data stream
US9699438B2 (en) 3D graphic insertion for live action stereoscopic video
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
JP6852355B2 (ja) プログラム、頭部装着型表示装置
US9848184B2 (en) Stereoscopic display system using light field type data
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
WO2013179427A1 (ja) 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
CN111512574A (zh) 用于校准增强现实设备的方法
JP2006072903A (ja) 画像合成方法及び装置
Itoh et al. Light-field correction for spatial calibration of optical see-through head-mounted displays
JP2007233971A (ja) 画像合成方法及び装置
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017102696A (ja) 頭部装着型表示装置およびコンピュータープログラム
CN108234994B (zh) 一种人眼位置确定方法及装置
Fontana et al. Closed–loop calibration for optical see-through near eye display with infinity focus
US20140285484A1 (en) System of providing stereoscopic image to multiple users and method thereof
KR20170142896A (ko) 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치
US10326976B2 (en) Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
Hua et al. Calibration of an HMPD-based augmented reality system