TWI642903B - 用於頭戴式顯示裝置的定位方法、***以及定位系統 - Google Patents

用於頭戴式顯示裝置的定位方法、***以及定位系統 Download PDF

Info

Publication number
TWI642903B
TWI642903B TW106135189A TW106135189A TWI642903B TW I642903 B TWI642903 B TW I642903B TW 106135189 A TW106135189 A TW 106135189A TW 106135189 A TW106135189 A TW 106135189A TW I642903 B TWI642903 B TW I642903B
Authority
TW
Taiwan
Prior art keywords
image
reference object
mounted display
locator
display device
Prior art date
Application number
TW106135189A
Other languages
English (en)
Other versions
TW201915445A (zh
Inventor
劉偉倫
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW106135189A priority Critical patent/TWI642903B/zh
Priority to CN201711000385.1A priority patent/CN109668545B/zh
Priority to US15/856,073 priority patent/US10380761B2/en
Application granted granted Critical
Publication of TWI642903B publication Critical patent/TWI642903B/zh
Publication of TW201915445A publication Critical patent/TW201915445A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

一種用於頭戴式顯示裝置的定位方法及其***與系統，上述的方法包括下列步驟。提供***以設置於頭戴式顯示裝置上，其中***包括影像擷取裝置以及通訊介面，***透過通訊介面與頭戴式顯示裝置連接。於操作空間中，由***利用影像擷取裝置擷取參考物件的影像，以產生第一參考物件影像。由***根據第一參考物件影像，計算頭戴式顯示裝置與參考物件的相對位置，進而取得頭戴式顯示裝置於操作空間中的定位資訊。由***將定位資訊傳送至頭戴式顯示裝置。

Description

用於頭戴式顯示裝置的定位方法、***以及定位系統
本發明是有關於一種定位方法、***以及定位系統，且特別是有關於一種用於頭戴式顯示裝置的定位方法、***以及定位系統。
頭戴式顯示裝置以往大多使用在軍事用途，但隨著顯示器、陀螺儀、空間感應器等關鍵零組件的科技先進發展、製造成本降低與微型輕量化，使得例如虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）、混合實境（Mixed Reality，MR）等頭戴式顯示裝置開始走進一般消費市場，提供消費者完全不同於一般平面顯示器的視覺感官享受。以虛擬實境而言，透過近眼顯示器提供雙眼具有視差的二張影像，配合陀螺儀及動作感應器，可創造出具有真實影像、聲音以及其它感官上的擬真世界，以在有限空間中複製出真實環境或是虛構場景。藉此，使用者得以融入、探索以及操控虛擬實境環境而感覺仿佛身歷其境。
一般虛擬實境系統中的體感設備的定位方式主要是採用由外向內追蹤技術（outside-in tracking）以及由內向外追蹤技術（inside-out tracking），以在固定空間中透過紅外線LED元件或者是搭配攝影機進行追蹤定位。然而，上述兩種技術皆需要較高的硬體成本，架設的困難度較高且空間定位的程序較複雜。
有鑑於此，本發明提供一種用於頭戴式顯示裝置的定位方法、***以及定位系統，其可在無須於操作空間中架設額外的定位設備的前提下，以成本低廉以及簡易的方式來進行頭戴式顯示裝置的定位。
在本發明的一實施例中，上述的方法包括下列步驟。提供***以設置於頭戴式顯示裝置上，其中***包括影像擷取裝置以及通訊介面，***透過通訊介面與頭戴式顯示裝置連接。於操作空間中，由***利用影像擷取裝置擷取參考物件的影像，以產生第一參考物件影像。由***根據第一參考物件影像，計算頭戴式顯示裝置與參考物件的相對位置，進而取得頭戴式顯示裝置於操作空間中的定位資訊。由***將定位資訊傳送至頭戴式顯示裝置。
在本發明的一實施例中，上述的***包括影像擷取裝置、通訊介面、資料儲存裝置以及處理器，其中處理器耦接影像擷取裝置、通訊介面以及儲存裝置。影像擷取裝置用以於操作空間中擷取參考物件的影像，以產生第一參考物件影像。通訊介面用以與頭戴式顯示裝置建立連線。資料儲存裝置用以儲存資料。處理器用以根據第一參考物件影像，計算頭戴式顯示裝置與參考物件的相對位置，進而取得頭戴式顯示裝置於操作空間中的定位資訊，以及透過通訊介面傳送定位資訊至頭戴式顯示裝置。
在本發明的一實施例中，上述的系統包括參考物件、***以及頭戴式顯示裝置，其中***設置於頭戴式顯示裝置上並且與頭戴式顯示裝置連接。***用以於操作空間中，擷取參考物件的影像，以產生第一參考物件影像，根據第一參考物件影像，計算頭戴式顯示裝置與參考物件的相對位置，進而取得頭戴式顯示裝置於操作空間中的定位資訊，以及傳送定位資訊至頭戴式顯示裝置。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法以及系統的範例。
為利於具體說明，以下說明內容以及圖1至圖6B僅將以頭戴式顯示裝置中之一種虛擬實境裝置為範例做說明，但不用以限制本發明的應用產品領域，例如也可適用在擴增實境或混合實鏡等各種頭戴式顯示裝置上。圖1為根據本發明一實施例所繪示的定位系統的示意圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹定位系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，定位系統100包括參考物件110、***120以及VR頭戴裝置130，其中***120設置於VR頭戴裝置130上。在本實施例中，定位系統100將在操作空間S中針對VR頭戴裝置130進行定位。值得一提的是，本發明所提及的操作空間S較常為室內空間，包括全封閉或不完全封閉的室內空間，但也不排除可以指具有實體或虛擬邊界的戶外空間，只要能設置參考物件110以及可定義出邊界即可滿足本發明所指的操作空間S。
在本實施例中，參考物件110為具有可識別方向性的圖形、圖片、照片等影像。***120至少包括影像擷取裝置、通訊介面、處理器以及資料儲存裝置，其是基於影像分析的方式來達到定位功能，而硬體構件的詳細內容將於後續進行說明。
針對參考物件110，以圖形而言，其可以例如是無對稱軸的圖形或是只有一條對稱軸的線對稱圖形。另一方面，具有兩條以上對稱軸的圖形等較不易於識別其方向性的圖形（例如圓形、矩形等）則將不會被採用。以圖片、照片而言，則是需要一定數量的特徵點以利於***120進行影像辨識。值得一提的是，在***120出廠前，其可例如是內建支援數個圖形於儲存裝置，而此些圖形亦會儲存於例如是雲端伺服器，以便於使用者自行下載以及列印出而成為參考物件110。如此一來，可以確保***120在後續執行定位方法時對每一個圖形的辨識達到優化的效能，且因可掌握所支援的圖形，故***120更可以使用較低階的處理器以降低硬體成本。
在另一實施例中，參考物件110亦可以是操作空間S中所選擇的特定物件，不論是二維或三維物件，最好均滿足如上述的具可識別方向性以及多個特徵點。在***120進行定位之前，將會針對特定物件進行拍攝並且上傳至例如是雲端伺服器以進行特徵點辨識，並且雲端伺服器再將特徵點辨識的結果回傳至***120並且儲存於***120的儲存裝置，亦可在後續執行定位方法時達到優化的效能。
VR頭戴裝置130可以是實作成頭戴顯示器或是眼鏡。VR頭戴裝置130至少包括整合顯示器以及通訊介面。顯示器例如是液晶顯示器（Liquid-Crystal Display，LCD）、發光二極體（Light-Emitting Diode，LED）顯示器（例如OLED顯示器或Micro LED顯示器）或其他類似裝置。VR頭戴裝置130會透過通訊介面自***120取得本身的定位資訊，再透過通訊介面以習知的無線或有線方式再將定位資訊輸出至主機（未繪示），而主機會依據定位資訊將與該定位資訊關聯的VR影像內容傳送給VR頭戴裝置130的顯示器呈現。值得一提的是，上述實施例係VR頭戴裝置130與主機(例如電腦)分離的分離式系統，惟本發明另一實施例中VR頭戴裝置130與主機係整合在一起而為單一整合系統。
圖2為根據本發明之一實施例所繪示的定位方法的流程圖，而圖2的步驟可以是以圖1所繪示的定位系統100來實現。在本實施例中，參考物件110為具有特殊圖樣的影像並且固定於操作空間S中的天花板。在另一實施例中，參考物件110亦可以是固定於操作空間S中垂直平面的牆面並且建議高於***120的水平高度，以達到較佳的影像辨識效果。必須先說明的是，由於***120是設置於VR頭戴裝置130上並且兩者之間僅存在一個已知的距離，因此在以下的描述當中，***120的位置將假設等同於VR頭戴裝置130的位置。
請同時參照圖1以及圖2，首先，***120將擷取參考物件110的影像，以產生第一參考物件影像（步驟S202）。接著，***120將根據第一參考物件影像，計算VR頭戴裝置130與參考物件110的相對位置，進而取得VR頭戴裝置130於操作空間S的定位資訊（步驟S204）。在此的相對位置可以例如是以VR頭戴裝置130與參考物件110之間的距離、相對於水平面的傾斜角度以及平面旋轉角度來表示，而定位資訊可以是以操作空間S的絕對位置來表示。
詳細來說，基於影像的成像，當***120與參考物件110之間的距離越近時，第一參考物件影像中的參考物件將會越大，而當***120與參考物件110之間的距離越遠時，第一參考物件影像中的參考物件將會越小。***120可以利用此關係計算出VR頭戴裝置130與參考物件110之間的距離。另一方面，當***120與參考物件110之間相對於水平方向具有傾斜角度時，第一參考物件影像中的參考物件將會因***120擷取影像的視角不同（angle of view）而產生不同程度的變形。因此，***120可以利用第一參考物件影像中的參考物件的變形程度計算出VR頭戴裝置130與參考物件110之間的傾斜角度。此外，***120可以利用第一參考物件影像中的參考物件的呈現方位計算出***120與參考物件110之間的平面旋轉角度。
***120所計算出的VR頭戴裝置130與參考物件110的相對位置可以是表示成球面座標（spherical coordinate），即 ，其中 、 、 分別為***120與參考物件110之間的徑向距離、傾斜角度以及平面旋轉角度。***120會更進一步地將 轉換成操作空間S的定位資訊，例如表示成直角座標（Cartesian coordinate），即 。之後，***120將傳送定位資訊至VR頭戴裝置130（步驟S206），以用於後續VR頭戴裝置130針對 VR影像內容的顯示。以圖2B根據本發明之一實施例所繪示的球面座標示意圖來說，假設P點的球面座標為 ，則P點的絕對座標可以是以 來表示。
相較於一般用於虛擬實境的定位系統需要較高的硬體成本及其架設的困難度，本實施例中的使用者僅需在操作空間S中設置參考物件110以及簡單的步驟即可完成定位系統100的初始化設定。具體來說，圖3A為根據本發明之一實施例所繪示的定位方法的初始化設定流程圖，圖3B為根據本發明之一實施例所繪示的操作空間的平面示意圖。
請先同時參照圖1、圖3A，在完成參考物件110的設置後，VR頭戴裝置130將與***120連線（步驟S302）。在本實施例中，VR頭戴裝置130可以是對應一個應用程式，其記錄前次連線的***120。當此應用程式啟動時，當VR頭戴裝置130尚未與***120連線時，應用程式將會與***120要求建立連線。假設應用程式並未記錄前次連線的***120或者是需要連線至其它***，則可於應用程式的輸入介面提供使用者來選擇輸入。
接著，***120將自正向於參考物件110的原點位置擷取參考物件110的影像，以產生參考物件影像（步驟S304），並且VR頭戴裝置130將取得VR頭戴裝置130與參考物件110之間的距離，以取得原點位置座標（步驟S306）。假設參考物件110是設置於天花板上，則原點位置可以是在參考物件110的正下方，也就是說使用者將戴著VR頭戴裝置130站在參考物件110的正下方，以讓***120得以正向地擷取到參考物件110的影像。當***120擷取並且辨識出參考物件110的影像時，可由VR頭戴裝置130的應用程式輸入介面將要求使用者手動輸入VR頭戴裝置130與參考物件110之間的距離，或者是藉由參考物件110的影像大小，在參考物件110的實際大小為已知的前提下來判斷出VR頭戴裝置130與參考物件110之間的距離。以圖3B為例，假設O為原點位置，而其座標為 ，其中 為VR頭戴裝置130位於原點位置O時與參考物件110之間的距離。
由於當***120擷取並且辨識出參考物件110的影像之後，***120將鎖定該參考物件110位置並持續且動態地追蹤該參考物件110。接著，當使用者戴著VR頭戴裝置130並依序移動至空間S的多個角落時，***120將自操作空間S的多個角落位置分別擷取參考物件110的影像，以產生分別對應於各個角落位置的角落參考物件影像（步驟S308），並且由VR頭戴裝置130取得各個角落位置座標（步驟S310）。當***120於各個角落位置擷取並且辨識出參考物件110的影像時，可由VR頭戴裝置130的應用程式輸入介面將要求使用者輸入角落位置座標，或者是藉由參考物件110的影像大小，在參考物件110的實際大小為已知的前提下來判斷出角落位置座標。以圖3B為例，假設A、B、C以及D分別為四個角落位置，而其座標則分別為 、 、 以及 。其它位置於操作空間S的座標可以是以習知的內插法（interpolation）等方式來推算而出，於此則不再詳述。
附帶說明的是，VR頭戴裝置130可利用四個角落位置及其座標定義出操作空間S中使用者可活動的邊界，以避免沉浸於虛擬實境世界中的使用者碰撞到牆壁或是實際物體。之後，VR頭戴裝置130將傳送原點座標以及所有角落座標至***（步驟S312），以完成初始化設定。
基於使用者在使用VR頭戴裝置130往往會不斷地移動而導致***120的影像擷取裝置無法即時地擷取到參考物件110的影像，因此在以下的實施例中，將導入偵測VR頭戴裝置130的移動而對應地自動控制***120快速反應與追蹤的機制，以使得定位方法更為精確。
圖4為根據本發明一實施例所繪示的***120的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖4先介紹***120中的所有構件以及配置關係，詳細功能將配合圖5一併揭露。
請參照圖4，***120包括影像擷取裝置410、運動感測器420、時間產生器430、通訊介面440、資料儲存裝置450以及處理器460。
影像擷取裝置410用以擷取其前方的影像並且包括具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線，進而產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。影像擷取裝置410的視野（field of view，FOV）可以是120度，然而本發明不限於此。
運動感測器420可以是由加速度計（accelerometer）、陀螺儀（gyroscope）、磁強計（magnetometer）等組合而成以偵測VR頭戴裝置130或***本身的移動以及旋轉的感測器。但當然，亦不排除只包含加速度計、陀螺儀、磁強計之其一或其二，端視實際規格需求與成本而定。
時間產生器430用以提供時間，其可以例如是實時時鐘（real-time clock，RTC）等可輸出精確時間的電子裝置或積體電路。
通訊介面440用以與VR頭戴裝置130進行資料傳輸，其可以例如是藍牙（Bluetooth）等支援近距離且具有低功耗、低成本特性的無線傳輸通訊介面。在其它實施例中，通訊介面440亦可以是USB等連接介面，以與VR頭戴裝置130進行有線連接。
資料儲存裝置450用以儲存影像、數據、緩衝資料、永久資料以及用來執行處理器460的功能的編譯程式碼，其可以是任意型式的非暫態性、揮發性、非揮發性的記憶體，例如動態隨機存取記憶體（dynamic random access memory，DRAM）、隨機存取記憶體（random access memory，RAM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。
處理器460用以控制***120的整體運作，其可以是場式可程式閘陣列（Field Programmable Array， FPGA）、可程式化邏輯裝置（Programmable Logic Device，PLD）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、中央處理單元（Central Processing Unit，CPU）、應用處理器（Application Processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、圖形處理器（Graphics Processing Unit，GPU）或其他類似裝置、晶片、積體電路及其組合。
附帶說明的是，本領域具通常知識者應明瞭***120更包括用以提供***120所需電源的電池單元。此外，***120更可包括用以承載影像擷取裝置410伺服單元，其是由處理器460所控制。伺服單元可包括用以控制影像擷取裝置410進行X軸方向移動的X軸伺服以及用以控制影像擷取裝置410進行Z軸方向移動的Z軸伺服。
圖5A為根據本發明之一實施例所繪示的定位方法的流程圖。圖5A的步驟可以是以圖1所繪示的定位系統100來實現。
請同時參照圖1、圖4以及圖5A，首先，***120的影像擷取裝置410將擷取前方的影像，以產生目前影像（步驟S502），運動感測器420將偵測***120的移動以及旋轉，以產生目前動作資料（步驟S504），並且時間產生器430將產生目前時間資料（步驟S506）。在此的目前影像為影像擷取裝置410所擷取到包含參考物件110的影像。目前動作資料為同一時點***120相對於水平面的角度差以及***120的加速度。目前時間資料可以是上述時點的時間戳（timestamp）。
***120的處理器460在讀取目前影像、目前動作資料以及目前時間資料後，將根據目前影像計算影像擷取裝置410與參考圖像110的相對座標，以產生目前相對座標（步驟S508），並且根據目前動作資料校正目前相對座標，從而產生VR頭戴裝置130的目前定位資訊（步驟S510）。接著，通訊介面440則會將目前時間資料以及VR頭戴裝置130的目前定位資訊傳送至VR頭戴裝置130（步驟S512）。具體來說，假設影像擷取裝置410與參考圖像110的目前相對座標可以表示成 ，而處理器460將取得***120相對於水平面的角度差為 ，並且例如是透過伺服單元取得影像擷取裝置410所旋轉的角度為 。VR頭戴裝置130的目前相對座標將校正 。處理器460將更進一步地將校正後的目前相對座標轉換成直角座標，即 ，以成為目前定位資訊。
另一方面，為了使影像擷取裝置410與參考物件110保持最佳視野（即，確保參考物件110的影像位於所擷取到的影像的中心點附近），影像擷取裝置410需持續地追蹤參考物件110。因此，當VR頭戴裝置130快速移動時，處理器460可預測並且調整影像擷取裝置410的移動軌跡，以避免失去針對參考物件的追蹤。
詳細來說，***120的處理器460將會計算目前影像中的特定圖像與中心點之間的距離，以產生目前距離（步驟S514）。具體來說，以5B根據本發明之一實施例所繪示的目前影像的示意圖來說，目前影像Img中的參考圖像110’與中心點C之間的目前距離可表示成 。
接著，處理器460將計算目前動作資料與先前動作資料之間的差值，以產生目前差值（步驟S516），並且判斷目前差值是否大於預設差值（步驟S518）。然而，在移動影像擷取裝置410之前，處理器460需要判斷VR頭戴裝置的移動速度來決定移動影像擷取裝置410的距離，因此將會計算目前動作資料與先前動作資料之間的差值 ，以判斷此差值是否大於預設差值S，其中 為目前時間資料。此預設差值為門檻值，其與***120的系統反應時間以及影像擷取裝置410的FOV相關。當***120的系統反應時間越快時，則預設差值越大，反之則越小。當影像擷取裝置410的FOV越大，則預設差值越大，反之則越小。
基此，當目前差值大於預設差值時（即， ），影像擷取裝置410將以目前距離的倍數移動（步驟S520），其中此倍數可以表示成 ，其中 （例如是1.5）。在此情況下代表使用者以較快的速度移動VR頭戴裝置130，因此影像擷取裝置410的移動將加大成為 ，其代表當VR頭戴裝置130的移動速度越快時，影像擷取裝置410的移動距離越大，反之則越小。
當目前差值不大於預設差值時（即， ），影像擷取裝置410將以目前距離移動（步驟S522）。在此情況下代表使用者以較慢的速度移動VR頭戴裝置130，因此影像擷取裝置410的移動則為成為 。
影像擷取裝置410經移動後，所補捉到的視角將會不同，則流程將回到步驟S502，影像擷取裝置410將重新擷取前方的影像。
圖6A～圖6B為根據本發明之一實施例所繪示的定位方法的情境示意圖。
請先參照圖6A，在此的影像擷取裝置410的FOV為40度，因此參考物件110將會在所擷取的影像中呈現較大的尺寸。當使用者的頭向上正對參考圖像110時，影像擷取裝置410所擷取到的影像Img61中的參考物件110’則將位於中心點C。當使用者的頭往左傾例如是30度時，影像擷取裝置410所擷取到的影像Img62中的參考物件110’則將在中心點C的右邊並且距離d2的位置。當使用者的頭往右傾例如是30度時，影像擷取裝置410所擷取到的影像Img63中的參考物件110’則將在中心點C的左邊並且距離d3的位置。
請再參照圖6B，在此的影像擷取裝置410的FOV為120度，因此參考物件110將會在所擷取的影像中呈現較小的尺寸。當使用者的頭正對參考圖像110時，影像擷取裝置410所擷取到的影像Img64中的參考物件110’則將位於中心點C。當使用者的頭往左傾例如是30度時，影像擷取裝置410所擷取到的影像Img65中的參考物件110’則將在中心點C的右邊並且距離d5的位置。當使用者的頭往右傾例如是30度時，影像擷取裝置410所擷取到的影像Img66中的參考物件110’則將在中心點C的左邊並且距離d6的位置。
因此，即使使用者的頭傾斜相同的角度，FOV的不同將使得d2 ＞ d5以及d3 ＞ d6。簡單來說，當FOV越大時，則代表S值越大，反之則越小。假設預設差值為S並且可以設定為影像的1/4距離。當FOV為40度時，d2以及d3皆大於S，因此需要乘上一個大於1的倍數SD（例如是1.5），以確保參考物件110’於影像中可以位於中心點C。以下表1將具體說明針對圖6A～圖6B的情境時影像擷取裝置410所需移動的角度。 <TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> FOV </td><td> 使用者移動頭的加速度為a </td><td> 參考物件110’與影像中心點C的距離 </td><td> 距離＞S? </td><td> SD=1.5時 </td></tr><tr><td> 40度 </td><td> 以加速度a 往左移動30度 </td><td> d2 </td><td> 是 </td><td> 伺服單元下次需移動的角度是以加速度a往右移動(30*1.5)度，以使參考物件110’位於中心點C </td></tr><tr><td> 40度 </td><td> 以加速度a 往右移動30度 </td><td> d3 </td><td> 是 </td><td> 伺服單元下次需移動的角度是以加速度a往左移動(30*1.5) 度，以使參考物件110’位於中心點C </td></tr><tr><td> 120度 </td><td> 以加速度a 往左移動30度 </td><td> d5 </td><td> 否 </td><td> 伺服單元下次需移動的角度是以加速度a往右移動30度以使參考物件110’位於中心點C </td></tr><tr><td> 120度 </td><td> 以加速度a 往右移動30度 </td><td> d6 </td><td> 否 </td><td> 伺服單元下次需移動的角度是以加速度a往左移動30度以使參考物件110’位於中心點C </td></tr></TBODY></TABLE>表1
附帶一提的是，以使用者的頭以加速度a往左移動30度並且參考物件110’與中心點C的距離為d2為例，若***120的系統反應時間快2倍，則參考物件110’與中心點C的距離將會成為d2/2 ＜ S。也就是說***120的系統對於預設距離S的容忍度將會加大。
綜上所述，本發明所提出用於頭戴式顯示裝置的定位方法、***與定位系統，其針對操作空間中的參考物件來進行影像擷取，以利用所擷取到的影像來計算頭戴式顯示裝置與參考物件的相對位置，進而取得頭戴式顯示裝置於操作空間中的定位資訊。如此一來，本發明可在無須於操作空間中架設額外的定位設備，以成本低廉以及簡易的方式來進行頭戴式顯示裝置的定位，以增強本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧定位系統
110‧‧‧參考物件
120‧‧‧***
130‧‧‧虛擬實境頭戴裝置
S‧‧‧操作空間
S202～S206、S302～S312、S502～S522‧‧‧步驟
P‧‧‧點
‧‧‧徑向距離
‧‧‧傾斜角度
‧‧‧平面旋轉角度
O‧‧‧原點位置
A、B、C、D‧‧‧角落位置
410‧‧‧影像擷取裝置
420‧‧‧運動感測器
430‧‧‧時間產生器
440‧‧‧通訊介面
450‧‧‧資料儲存裝置
460‧‧‧處理器
d2、d3、d5、d6‧‧‧距離
C‧‧‧中心點
110’‧‧‧參考物件的影像
Img、Img61~Img66‧‧‧參考物件影像
FOV‧‧‧視野
圖1為根據本發明一實施例所繪示的定位系統的示意圖。 圖2A為根據本發明之一實施例所繪示的定位方法的流程圖。 圖2B為根據本發明之一實施例所繪示的球面座標的示意圖。 圖3A為根據本發明之一實施例所繪示的定位方法的初始化設定流程圖。 圖3B為根據本發明之一實施例所繪示的初始化定位方法的示意圖。 圖4為根據本發明一實施例所繪示的***的方塊圖。 圖5A為根據本發明之一實施例所繪示的定位方法的流程圖。 圖5B為根據本發明之一實施例所繪示的目前影像的示意圖。 圖6A為根據本發明之一實施例所繪示的定位方法的情境示意圖。 圖6B為根據本發明之一實施例所繪示的定位方法的情境示意圖。

Claims (20)

  1. 一種用於頭戴式顯示裝置的定位方法，該方法包括下列步驟：提供***以設置於該頭戴式顯示裝置上，其中該***包括影像擷取裝置以及通訊介面，該***透過該通訊介面與該頭戴式顯示裝置連接；於預定義的操作空間中，由該***利用該影像擷取裝置擷取該操作空間中的參考物件的影像，以產生第一參考物件影像；由該***根據該第一參考物件影像，計算該頭戴式顯示裝置與該參考物件的相對位置，進而取得該頭戴式顯示裝置於該操作空間中的定位資訊；以及由該***傳送該定位資訊至該頭戴式顯示裝置。
  2. 如申請專利範圍第1項所述的方法，其中該參考物件為具有方向性的圖像並且設置於該操作空間中的頂面或是垂直側面。
  3. 如申請專利範圍第1項所述的方法，其中該頭戴式顯示裝置與該參考物件的該相對位置關聯於該頭戴式顯示裝置與該參考物件之間的徑向距離、相對於水平面的傾斜角度以及水平旋轉角度，而該頭戴式顯示裝置的該定位資訊關聯於該頭戴式顯示裝置於該操作空間中的絕對位置。
  4. 如申請專利範圍第1項所述的方法，其中在由該***擷取該參考物件的該影像，以產生該第一參考物件影像的步驟之前，該方法更包括下列步驟：由該***自正向於該參考物件的原點位置擷取該參考物件的影像，以產生對應於該原點位置的原點參考物件影像，並且由該頭戴式顯示裝置取得該***與該參考物件之間的距離，以取得該原點位置的原點座標；由該***自該操作空間的多個角落位置擷取該參考物件的影像，以產生分別對應於各所述角落位置的角落參考物件影像，並且由該頭戴式顯示裝置取得各所述角落位置的角落座標；以及由該頭戴式顯示裝置傳送該原點座標以及所述角落座標至該***。
  5. 如申請專利範圍第4項所述的方法，其中由該頭戴式顯示裝置取得各所述角落位置的該角落座標的步驟之後，該方法更包括：由該頭戴式顯示裝置根據各所述角落位置的該角落座標定義該頭戴式顯示裝置於該操作空間中的活動邊界。
  6. 如申請專利範圍第1項所述的方法，其中該***更包括運動感測器以及時間產生器，而該方法更包括：由該***利用該運動感測器偵測該***的移動以及旋轉，以產生目前動作資料；以及 由該***利用該時間產生器產生對應於該目前動作資料的目前時間資料。
  7. 如申請專利範圍第6項所述的方法，其中由該***根據該第一參考物件影像，計算該頭戴式顯示裝置與該參考物件的該相對位置，進而取得該頭戴式顯示裝置於該操作空間中的該定位資訊的步驟包括：由該***利用該影像擷取裝置擷取目前影像；由該***根據該目前影像計算該頭戴式顯示裝置與該參考物件的目前相對座標；以及由該***根據該目前動作資料校正該目前相對座標，以計算該頭戴式顯示裝置與該參考物件的該相對位置。
  8. 如申請專利範圍第7項所述的方法，其中由該***根據該目前動作資料校正該相對座標，以計算該頭戴式顯示裝置與該參考物件的該相對位置的步驟包括：由該***取得該影像擷取裝置擷取該參考物件影像時的旋轉角度以及相對於水平面的角度差；由該***根據該旋轉角度以及該角度差，校正該相對座標，以設定為該相對位置。
  9. 如申請專利範圍第6項所述的方法，其中由該***傳送該定位資訊至該頭戴式顯示裝置的步驟之後，該方法更包括：由該***計算該第一參考物件影像中的該參考物件與影像中心點之間的距離，以產生目前距離，其中該影像中心點為該參考 物件影像的中心點；由該***計算該目前動作資料與先前動作資料之間的差值，以產生目前差值；以及由該***根據該目前差值以及該目前距離，移動該影像擷取裝置。
  10. 如申請專利範圍第9項所述的方法，其中由該***根據該目前差值以及該目前距離，移動該影像擷取裝置的步驟包括：由該***判斷該目前差值是否大於預設差值；當該目前差值大於預設差值時，以該目前距離的倍數移動該影像擷取裝置，其中該倍數大於1；以及當該目前差值不大於預設差值時，以該目前距離移動該影像擷取裝置。
  11. 如申請專利範圍第10項所述的方法，其中該預設差值關聯於該***的系統反應時間，當該***的該系統反應時間越大時，該預設差值越大。
  12. 如申請專利範圍第10項所述的方法，其中該預設差值關聯於該影像擷取裝置的視野範圍，當該影像擷取裝置的該視野範圍越大時，該預設差值越大。
  13. 一種***，設置於頭戴式顯示裝置上，包括：影像擷取裝置，用以於預定義的操作空間中擷取參考物件的影像，以產生第一參考物件影像；通訊介面，用以與該頭戴式顯示裝置建立連線； 儲存裝置，用以儲存資料；處理器，耦接該影像擷取裝置、該通訊介面以及該儲存裝置，用以根據該第一參考物件影像，計算該頭戴式顯示裝置與該參考物件的相對位置，進而取得該頭戴式顯示裝置於該操作空間中的定位資訊，以及透過該通訊介面傳送該定位資訊至該頭戴式顯示裝置。
  14. 如申請專利範圍第13項所述的***，其中該參考物件為具有方向性的圖像並且設置於該操作空間中的頂面或是垂直側面。
  15. 如申請專利範圍第13項所述的***，更包括：運動感測器，耦接該處理器，用以偵測該***的移動以及旋轉，以產生目前動作資料；以及時間產生器，耦接該處理器，用以產生對應於該目前動作資料的目前時間資料，其中該影像擷取裝置擷取目前影像，而該處理器根據該目前影像計算該頭戴式顯示裝置與該參考物件的目前相對座標，並且根據該目前動作資料校正該目前相對座標，以計算該頭戴式顯示裝置與該參考物件的該相對位置。
  16. 如申請專利範圍第15項所述的***，更包括：伺服單元，其中該處理器更計算該第一參考物件影像中的該參考物件與影像中心點之間的距離，以產生目前距離，計算該目前動作資料與先前動作資料之間的差值，以產生目前差值，以及根據 該目前差值以及該目前距離，控制該伺服單元移動該影像擷取裝置，其中該影像中心點為該參考物件影像的中心點。
  17. 一種定位系統，包括：頭戴式顯示裝置；***，設置於該頭戴式顯示裝置上並且與該頭戴式顯示裝置連接，用以於預定義的操作空間中，擷取參考物件的影像，以產生第一參考物件影像，根據該第一參考物件影像，計算該頭戴式顯示裝置與該參考物件的相對位置，進而取得該頭戴式顯示裝置於該操作空間中的定位資訊，以及傳送該定位資訊至該頭戴式顯示裝置。
  18. 如申請專利範圍第17項所述的定位系統，其中該參考物件為具有方向性的圖像並且設置於該操作空間中的頂面或是垂直側面。
  19. 如申請專利範圍第17項所述的定位系統，其中該***更用以偵測該***的移動以及旋轉，以產生目前動作資料，產生對應於該目前動作資料的目前時間資料，根據所擷取到的目前影像計算該頭戴式顯示裝置與該參考物件的目前相對座標，並且根據該目前動作資料校正該目前相對座標，以計算該頭戴式顯示裝置與該參考物件的該相對位置。
  20. 如申請專利範圍第19項所述的定位系統，其中該***更計算該第一參考物件影像中的該參考物件與影像中心點之間的距離，以產生目前距離，計算該目前動作資料與先前動作資料之 間的差值，以產生目前差值，以及根據該目前差值以及該目前距離，控制擷取該參考物件的影像的角度，其中該影像中心點為該參考物件影像的中心點。
TW106135189A 2017-10-13 2017-10-13 用於頭戴式顯示裝置的定位方法、***以及定位系統 TWI642903B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW106135189A TWI642903B (zh) 2017-10-13 2017-10-13 用於頭戴式顯示裝置的定位方法、***以及定位系統
CN201711000385.1A CN109668545B (zh) 2017-10-13 2017-10-24 用于头戴式显示装置的定位方法、***以及定位***
US15/856,073 US10380761B2 (en) 2017-10-13 2017-12-28 Locating method, locator, and locating system for head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW106135189A TWI642903B (zh) 2017-10-13 2017-10-13 用於頭戴式顯示裝置的定位方法、***以及定位系統

Publications (2)

Publication Number Publication Date
TWI642903B true TWI642903B (zh) 2018-12-01
TW201915445A TW201915445A (zh) 2019-04-16

Family

ID=65431881

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135189A TWI642903B (zh) 2017-10-13 2017-10-13 用於頭戴式顯示裝置的定位方法、***以及定位系統

Country Status (3)

Country Link
US (1) US10380761B2 (zh)
CN (1) CN109668545B (zh)
TW (1) TWI642903B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736857B (zh) * 2019-03-07 2021-08-21 國立臺南藝術大學 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統
US11574447B2 (en) 2020-08-19 2023-02-07 Htc Corporation Method for capturing real-world information into virtual environment and related head-mounted device
TWI796898B (zh) * 2021-07-23 2023-03-21 宏達國際電子股份有限公司 無線位置標定裝置、顯示系統與穿戴裝置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
TWI730482B (zh) * 2019-10-31 2021-06-11 大陸商南京深視光點科技有限公司 平面動態偵測系統及偵測方法
US11783449B2 (en) * 2021-12-09 2023-10-10 Htc Corporation Method for adjusting displayed content based on host posture, host, and computer readable storage medium
US20240005553A1 (en) * 2022-05-26 2024-01-04 Htc Corporation Method for pose correction and host
US20240168289A1 (en) * 2022-11-17 2024-05-23 Htc Corporation Head-mounted display device, tracking system, and tracking method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248791A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for generating virtual rooms
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实***中的空间定位方法、装置及***
WO2017054421A1 (zh) * 2015-09-30 2017-04-06 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN106643699A (zh) * 2016-12-26 2017-05-10 影动（北京）科技有限公司 一种虚拟现实***中的空间定位装置和定位方法
TW201732501A (zh) * 2016-01-22 2017-09-16 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
WO2014128760A1 (ja) * 2013-02-21 2014-08-28 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
TWI608428B (zh) * 2014-03-27 2017-12-11 緯創資通股份有限公司 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
WO2015185110A1 (en) * 2014-06-03 2015-12-10 Metaio Gmbh Method and system for presenting a digital information related to a real object
CN113397472A (zh) * 2015-03-16 2021-09-17 奇跃公司 穿戴式增强现实装置和穿戴式虚拟现实装置
JP6293386B2 (ja) * 2016-03-24 2018-03-14 三菱電機株式会社 データ処理装置、データ処理方法及びデータ処理プログラム
US10705598B2 (en) * 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US10416837B2 (en) * 2017-06-26 2019-09-17 Facebook, Inc. Virtual reality safety bounding box

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150248791A1 (en) * 2013-07-12 2015-09-03 Magic Leap, Inc. Method and system for generating virtual rooms
WO2017054421A1 (zh) * 2015-09-30 2017-04-06 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实***中的空间定位方法、装置及***
TW201732501A (zh) * 2016-01-22 2017-09-16 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
CN106643699A (zh) * 2016-12-26 2017-05-10 影动（北京）科技有限公司 一种虚拟现实***中的空间定位装置和定位方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736857B (zh) * 2019-03-07 2021-08-21 國立臺南藝術大學 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統
US11574447B2 (en) 2020-08-19 2023-02-07 Htc Corporation Method for capturing real-world information into virtual environment and related head-mounted device
TWI827887B (zh) * 2020-08-19 2024-01-01 宏達國際電子股份有限公司 將真實世界資訊擷取入虛擬環境之方法及頭戴式裝置
TWI796898B (zh) * 2021-07-23 2023-03-21 宏達國際電子股份有限公司 無線位置標定裝置、顯示系統與穿戴裝置
US11762465B2 (en) 2021-07-23 2023-09-19 Htc Corporation Wireless position tracking device, display system and wearable device

Also Published As

Publication number Publication date
CN109668545B (zh) 2024-02-09
CN109668545A (zh) 2019-04-23
US10380761B2 (en) 2019-08-13
TW201915445A (zh) 2019-04-16
US20190114803A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
TWI642903B (zh) 用於頭戴式顯示裝置的定位方法、***以及定位系統
JP7506091B2 (ja) 画像ベースの位置特定
WO2019223468A1 (zh) 相机姿态追踪方法、装置、设备及***
JP6643357B2 (ja) 全球状取込方法
US10939068B2 (en) Image capturing device, image capturing system, image processing method, and recording medium
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US11272153B2 (en) Information processing apparatus, method for controlling the same, and recording medium
WO2019080047A1 (zh) 增强现实图像的实现方法、装置、终端设备和存储介质
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
CN113454685A (zh) 基于云的相机标定
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
US11250540B2 (en) Image processing apparatus, image capturing system, image processing method, and recording medium
US11430178B2 (en) Three-dimensional video processing
US11102448B2 (en) Image capturing apparatus, image processing system, image processing method, and recording medium
US11290700B2 (en) Device for displaying content and operation method therefor
TWI436270B (zh) 虛擬望遠方法及其裝置
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
KR101237975B1 (ko) 영상 처리 장치
KR102255181B1 (ko) 다수의 카메라에 의한 증강 현실 영상 생성 방법 및 장치
WO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP2017162014A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
US11700455B2 (en) Image capturing device, image communication system, and method for display control
JP2020204973A (ja) 情報処理装置、プログラム及び情報処理システム