TWI688900B - 實境系統與適用於位於物理環境中的頭戴式裝置的控制方法 - Google Patents

實境系統與適用於位於物理環境中的頭戴式裝置的控制方法 Download PDF

Info

Publication number
TWI688900B
TWI688900B TW107126551A TW107126551A TWI688900B TW I688900 B TWI688900 B TW I688900B TW 107126551 A TW107126551 A TW 107126551A TW 107126551 A TW107126551 A TW 107126551A TW I688900 B TWI688900 B TW I688900B
Authority
TW
Taiwan
Prior art keywords
head
candidate objects
mounted devices
physical environment
reality system
Prior art date
Application number
TW107126551A
Other languages
English (en)
Other versions
TW201931204A (zh
Inventor
李興豪
何家駒
李經豪
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201931204A publication Critical patent/TW201931204A/zh
Application granted granted Critical
Publication of TWI688900B publication Critical patent/TWI688900B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一種適用於位於物理環境中的多個頭戴式裝置的控制方法，包含以下操作。透過所述頭戴式裝置來隨著時間擷取物理環境的多個影像。從所述影像中提取多個候選物體與所述候選物體的多個物體特徵。產生關於每個候選物體是否固定的多個區域判定。在所述頭戴式裝置之間共享所述物體特徵與所述區域判定。根據在所述頭戴式裝置之間所共享的所述區域判定來產生關於每個候選物體是否固定的更新判定。

Description

實境系統與適用於位於物理環境中的頭 戴式裝置的控制方法
本揭露實施例是有關於一種實境系統，且特別是有關於在實境系統中如何識別多個定位點。
開發虛擬實境(virtual reality，VR)、擴增實境(augmented reality，AR)、替代實境(substitutional reality，SR)和/或混合實境(mixed reality，MR)來向使用者提供沉浸式體驗(immersive experience)。當使用者佩戴頭戴式裝置時，頭戴式裝置上所顯示的沉浸式內容將會涵蓋使用者的視野。沉浸式內容展示特定空間的場景。
這些實境系統通常會配備追蹤元件來定位佩戴頭戴式裝置的使用者，以便確認在真實世界中之使用者的位置或移動。在頭戴式裝置上顯示的沉浸式內容將根據使用者的位置或移動而變化，使得使用者可在虛擬實境之場景、擴 增實境之場景、替代實境之場景或混合實境之場景中有更佳的體驗。
本揭露提出一種包含第一頭戴式裝置的實境系統，第一頭戴式裝置位於物理環境中。第一頭戴式裝置包含相機單元、通訊單元與處理器。相機單元用以隨著時間來擷取物理環境的多個影像。通訊單元用以與多個第二頭戴式裝置進行通訊。處理器耦接至相機單元與通訊單元，處理器用以進行以下操作。從相機單元所擷取的所述影像中提取多個第一候選物體與所述第一候選物體的多個第一物體特徵。產生關於每個第一候選物體是否固定的第一區域判定。傳送所述第一物體特徵與第一區域判定至所述第二頭戴式裝置。從所述第二頭戴式裝置接收多個第二候選物體的多個第二物體特徵與關於每個第二候選物體是否固定的多個第二區域判定。根據第一區域判定與所述第二區域判定來產生關於每個第一候選物體是否固定的更新判定。
本揭露還提出一種包含多個頭戴式裝置與伺服裝置的實境系統，所述頭戴式裝置位於物理環境中。每個頭戴式裝置用以提取多個候選物體，提取所述候選物體的多個物體特徵，以及針對每個頭戴式裝置產生關於每個候選物體是否固定的多個區域判定。伺服裝置用以與所述頭戴式裝置進行通訊，伺服裝置用以進行以下操作。從所述頭戴式裝置收集所述候選物體的所述物體特徵與所述區域判定。根據從 所述頭戴式裝置所收集的所述區域判定來產生關於每個候選物體是否固定的更新判定。傳輸更新判定至每個頭戴式裝置。
本揭露還提出一種適用於位於物理環境中的多個頭戴式裝置的控制方法，包含以下操作。透過所述頭戴式裝置來隨著時間擷取物理環境的多個影像。從所述影像中提取多個候選物體與所述候選物體的多個物體特徵。產生關於每個候選物體是否固定的多個區域判定。在所述頭戴式裝置之間共享所述物體特徵與所述區域判定。根據在所述頭戴式裝置之間所共享的所述區域判定來產生關於每個候選物體是否固定的更新判定。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、200‧‧‧實境系統
110、120、130、140、210、220、230‧‧‧頭戴式裝置
112、122、132、212、222、232‧‧‧相機單元
114、124、134、214、224、234、254‧‧‧處理器
116、126、136、216、226、236、256‧‧‧通訊單元
250‧‧‧伺服裝置
300、800‧‧‧控制方法
D1、D2‧‧‧相對距離
IMG1、IMG2、IMG3‧‧‧影像
LD1、LD2、LD3‧‧‧區域判定
OBJ1-OBJ9‧‧‧候選物體
OF1、OF2、OF3‧‧‧物體特徵
PE‧‧‧物理環境
S310-S370、S810-S870、S862‧‧‧操作
UD‧‧‧更新判定
透過閱讀實施例的以下詳細描述，且參考如下所附圖示，可以更完整地理解本揭露。
[圖1]係繪示根據本揭露的實施例之實境系統的示意圖。
[圖2]係繪示根據本揭露的實施例之圖1中的實境系統的功能方塊圖。
[圖3]係繪示適用於圖1與圖2中的頭戴式裝置的控制方法的流程圖。
[圖4A至圖4C]係繪示物理環境中的不同頭戴式裝置的示意圖。
[圖5]係繪示本揭露的一些實施例中新進入物理環境之頭戴式裝置的示意圖。
[圖6]係繪示根據本揭露的其他實施例之實境系統的示意圖。
[圖7]係繪示圖6中的實境系統的功能方塊圖。
[圖8]係繪示適用於圖6中的實境系統的控制方法的流程圖。
以下將詳細參照本揭露的當前實施例，其例示係繪示於所附圖示中。在任何可能的情況下，在圖示與描述中所使用的相同的參照編號來表示相同或相似的部分。
請參照圖1，其繪示根據本揭露的實施例之實境系統100的示意圖。實境系統100包含位於物理環境PE中的至少一頭戴式裝置。在如圖1所示的實施例中，實境系統100包含三個頭戴式裝置110、120與130，其係於物理環境PE中安裝於不同使用者的頭上。然而，本揭露不受限於如圖1中所示的三個頭戴式裝置。實境系統100可包含兩個或更多的頭戴式裝置。這些使用者可能在物理環境PE中位於不同位置且面朝向各個方向。
實境系統100為虛擬實境系統、擴增實境系統、替代實境系統或混合實境系統之其中一者。為了向使用 者提供沉浸式體驗，頭戴式裝置100、120與130用以建構物理環境PE的圖(map)並且感測頭戴式裝置110、120與130在物理環境PE中的相對位置。在一些實施例中，實境系統100利用同步定位與地圖建構(Simultaneous Localization and Mapping，SLAM)技術來建構未知環境(例如物理環境PE)的圖，且同步追蹤未知環境內的頭戴式裝置110、120與130。
如圖1所示，有一些候選物體OBJ1-OBJ9位於物理環境PE中的不同位置。可透過在頭戴式裝置110、120與130上用一些感測器來觀察物理環境PE以建構物理環境PE的圖。換言之，可透過計算物理環境PE中的一個頭戴式裝置與參考點之間的距離來感測頭戴式裝置110、120與130於物理環境PE中的相對位置。在物理環境PE中定位頭戴式裝置110、120與130的同時，重要的是找到有效的參考點。在理想的情況下，要被用來將頭戴式裝置110、120與130定位於定位演算法中的參考點應隨著時間而固定在相同位置。由於參考點固定於物理環境PE中的相同位置，因此可透過測量頭戴式裝置110、120及130與參考點之間的相對距離來產生頭戴式裝置110、120與130的位置。如果參考點因為一些原因而被移動，透過定位演算法所產生的定位結果將被移位且包含誤差。在這樣的情況下，使用者配戴的頭戴式裝置110、120與130所顯示的視野將顯著且不一致地改變。在本揭露的一些實施例中，實境系統100能夠從物理環境PE中的候選物體OBJ1-OBJ9中消除固定的物 體。
進一步參照圖2，其繪示根據本揭露的實施例之圖1中的實境系統100的功能方塊圖。如圖2所示，頭戴式裝置110包含相機單元112、處理器114與通訊單元116。相機單元112用以隨著時間來擷取物理環境PE的影像。在一些實施例中，相機單元112可包含位於頭戴式裝置110的前側的一個相機元件。在一些其他實施例中，相機單元112可包含雙相機(dual camera)模組和/或深度相機(depth camera)。頭戴式裝置110的通訊單元116用以與其他頭戴式裝置120與130進行通訊。在一實施例中，通訊單元116可包含無線網路(WiFi)收發器、WiFi直連(WiFi-Direct)收發器、藍芽收發器、低功耗藍芽(Bluetooth low energy，BLE)收發器、紫蜂(Zigbee)收發器和/或任何等效無線通訊收發器。在其他實施例中，通訊單元116可包含用於通訊之線連接器(wire connector)(例如通用串列匯流排(Universal Serial Bus，USB)連接器、乙太網路(Ethernet)連接器)。處理器114耦接至相機單元112與通訊單元116。處理器114可為中央處理單元、圖像處理單元和/或頭戴式裝置110上的控制整合電路。
相似地，頭戴式裝置120包含相機單元122、處理器124與通訊單元126，且頭戴式裝置130包含相機單元132、處理器134與通訊單元136。頭戴式裝置110、120與130之每一者包含相似的元件且這些元件用以執行相似的功能。為了簡潔起見，以下實施例將示出頭戴式裝置110的 特徵的細節。頭戴式裝置120或130也分別包含特徵的相應細節。
進一步參照圖3與圖4A。圖3係繪示適用於圖1與圖2中的頭戴式裝置110的控制方法300的流程圖。圖4A係繪示物理環境PE中的頭戴式裝置110的示意圖。
如圖2、圖3與圖4A所示，執行控制方法300的操作S310以透過相機單元112來隨著時間擷取物理環境PE的影像IMG1。在一些實施例中，相機單元112用以週期性地(例如每10微秒(microseconds)或每100微秒)擷取物理環境PE的影像IMG1。影像IMG1為連續影像以反應頭戴式裝置110前方的物理環境PE的局部視圖。局部視圖相應於相機單元112的視野(field of view，FOV)。在一些實施例中，相機單元112的視野不能涵蓋物理環境PE的整個場景。在一些實施例中，處理器114利用相機單元112所擷取到的影像IMG1來建構物理環境PE的局部圖且定位頭戴式裝置110。
處理器114執行操作S320來從相機單元112所擷取到的影像IMG1中提取候選物體，且也從影像IMG1中提取候選物體的物體特徵OF1。如圖4A所示，影像IMG1涵蓋候選物體OBJ1-OBJ5。因此，處理器114能夠從影像IMG1提取候選物體OBJ1-OBJ5與候選物體OBJ1-OBJ5的物體特徵OF1。在一些實施例中，物體特徵OF1包含候選物體OBJ1-OBJ5的顏色、尺寸與形狀之至少一者。處理器114執行操作S330來產生關於候選物體OBJ1-OBJ5之每 一者是否固定的區域判定LD1。處理器114所產生的物體特徵OF1與區域判定LD1的例示列出於如下所示的表一。
Figure 107126551-A0101-12-0008-11
處理器114可根據區域資訊(例如相機單元112所擷取之影像IMG1和/或候選物體OBJ1-OBJ5的物體特徵OF1)來產生區域判定LD1。在一實施例中，處理器114基於物體識別演算法來產生區域判定LD1。舉例來說，處理器114基於紅色的顏色與矩形的形狀來將表一的項目1(相應於圖4A中的候選物體OBJ1)識別為消防栓。處理器114可基於棕色的顏色與具有支撐物之水平面的形狀來將表一的項目2(相應於圖4A中的候選物體OBJ4)識別為桌子。相似地，處理器114可進一步基於尺寸與形狀來將表一的項目3(相應於圖4A中的候選物體OBJ2)識別為畫框。處理器114將表一的項目4(相應於圖4A中的候選物體OBJ3)識別為另一畫框。處理器114基於尺寸與形狀來將表一的項目5(相應於圖4A中的候選物體OBJ5)識別為花瓶。基於上述物體識別結果，處理器114可判定表一中的項目是否固定。在實施例中，頭戴式裝置110上的處理器114判定表一中的項目1、 項目3與項目4(即圖4A中所示的候選物體OBJ1、OBJ2與OBJ3)為區域地固定。在某些情況下，固定的項目可被視為用於定位頭戴式裝置110的物理環境PE中的定位點。然而，頭戴式裝置110僅能夠從一個視點觀察物理環境PE的局部圖，使得難以確保區域判定LD1的正確性。
舉例來說，相應於候選物體OBJ5的表一中的項目5為可隨著時間移動的花瓶，這使得候選物體OBJ5不適合被視為用於定位功能的定位點。在這種情況下，基於有限資訊(僅從一個視點觀察候選物體OBJ5達三秒)的區域判定LD1可能錯誤地將候選物體OBJ5判定為固定。
此外，一旦使用者移動至一些其他位置或面朝向不同方向，表一中的項目1、項目3與項目4(例如候選物體OBJ1、OBJ2與OBJ3)可能不會出現於相機單元112的視野中。直到找到新的定位點之前，頭戴式裝置110將不能夠定位其本身。
如圖2與圖3所示，處理器114執行操作S340以透過通訊單元116來傳輸物體特徵OF1與區域判定LD1(即如表一所示者)至其他頭戴式裝置120與130。處理器114執行操作S350以從頭戴式裝置120來接收物體特徵OF2與區域判定LD2，並且從頭戴式裝置130來接收物體特徵OF3與區域判定LD3。
進一步參照圖4B，係繪示物理環境PE中的頭戴式裝置120的示意圖。相似於前述實施例中的操作S310-S330，頭戴式裝置120能夠隨著時間來擷取物理環境 之圖4B中所示的影像IMG2。因為頭戴式裝置120與頭戴式裝置110位於不同位置，所以頭戴式裝置120的相機單元122所擷取的影像IMG2可能不同於影像IMG1。
在圖4B中所示的這個實施例中，影像IMG2涵蓋物理環境PE的其他局部視圖。影像IMG2涵蓋候選物體OBJ1、OBJ5、OBJ6、OBJ7、OBJ8與OBJ9。相似地，處理器124將透過相機單元122來從影像IMG2中提取候選物體，從影像IMG2中提取候選物體OBJ1與OBJ5-OBJ9的物體特徵OF2，且產生關於候選物體OBJ1與OBJ5-OBJ9之每一者是否固定的區域判定LD2。處理器124所產生的物體特徵OF2與區域判定LD2的例示列出於如下所示的表二。
Figure 107126551-A0101-12-0010-13
進一步參照圖4C，係繪示物理環境PE中的頭戴式裝置130的示意圖。在圖4C中所示的這個實施例中，影像IMG3涵蓋物理環境PE的其他局部視圖。影像IMG3涵蓋候選物體OBJ1、OBJ2、OBJ3、OBJ5與OBJ6。相似地，處理器134將從相機單元132所擷取的影像IMG3中提取候選 物體，從影像IMG3中提取候選物體OBJ1-OBJ3與OBJ5-OBJ6的物體特徵OF3，且產生關於候選物體OBJ1與OBJ5-OBJ9之每一者是否固定的區域判定LD3。處理器134所產生的物體特徵OF3與區域判定LD3的例示列出於如下所示的表三。
Figure 107126551-A0101-12-0011-14
在頭戴式裝置110從頭戴式裝置120接收物體特徵OF2與區域判定LD2且從頭戴式裝置130接收物體特徵OF3與區域判定LD3之後，頭戴式裝置110的處理器114執行操作S360以根據區域判定LD1與從其他頭戴式裝置120與130所接收的區域判定LD2與LD3來產生關於每個候選物體是否固定的更新判定。
基於前述之表一、表二與表三，可以藉由比較表一中的物體特徵OF1與表二中及表三中的物體特徵OF2及OF3來產生對於頭戴式裝置110的更新判定，以便映射不同表格中的項目之間的對應關係。在一實施例中，頭戴式裝置110、120與130分別產生表一、表二與表三，且這些表格中的項目不需要按照相同的順序排序。因此，頭戴式裝置 110參照表二與表三中的物體特徵OF2與OF3來將表二與表三的項目對齊至表一中的適當項目。舉例來說，具有紅色的顏色、40*50公分的尺寸與矩形的形狀之表二中的項目6匹配於頭戴式裝置110上的表一中的項目1。在這樣的情況下，頭戴式裝置110將表二中的項目6映射至表一中的項目1，並且將關於表二中的項目6的區域判定LD2合併至頭戴式裝置110上的更新判定中的對應行中。也具有紅色的顏色、40*50公分的尺寸與矩形的形狀之表三中的項目1匹配於頭戴式裝置110上的表一中的項目1。在這樣的情況下，頭戴式裝置110將表三中的項目1映射至表一中的項目1，並且將關於表三中的項目1的區域判定LD3合併至頭戴式裝置110上的更新判定中的對應行中。
相似地，表二與表三中的每個項目可藉由處理器114來映射至表1中的項目。頭戴式裝置110上的更新判定的例示列出於如下所示的表四。
Figure 107126551-A0101-12-0012-15
 表四
在一實施例中，如果表二或表三中的某些項目在表一中的存在項目中找不到匹配者，頭戴式裝置110會將來自表二與表三的不匹配項目合併至表四中的新數據行中。舉例來說，項目6與項目7並非存在於表一中的原始項目。
如表四所示，相應於候選物體OBJ1的項目1是在表一、表二與表三中找到的重疊物體，這使得相關於表四中的候選物體OBJ1的更新判定UD係透過所有的區域判定LD1、LD2與LD3來判定。候選物體OBJ1於兩個區域判定LD1與LD2中被判定為固定，且於一個區域判定LD3中被判定為非固定。在這樣的情況下，更新判定UD將判定候選物體OBJ1為固定，這是因為相對於一個頭戴式裝置130認為候選物體OBJ1為非固定，有兩個頭戴式裝置110與120認為候選物體OBJ1為固定。
如表四所示，相應於候選物體OBJ5的項目5是在表一、表二與表三中找到的重疊物體，這使得相關於表四中的候選物體OBJ5的更新判定UD係透過所有的區域判定LD1、LD2與LD3來判定。候選物體OBJ5於兩個區域判定LD2與LD3中被判定為非固定，且於一個區域判定LD1中被判定為固定。在這樣的情況下，更新判定UD將判定候選物體OBJ5為非固定，這是因為相對於一個頭戴式裝置110認為候選物體OBJ5為固定，有兩個頭戴式裝置120與130認為候選物體OBJ5為非固定。
如表四所示，相應於候選物體OBJ2的項目3是在表一與表三中找到的重疊物體，這使得相關於表四中的候選物體OBJ2的更新判定UD係透過區域判定LD1與LD3來判定。候選物體OBJ2於兩個區域判定LD1與LD3中被判定為固定。在這樣的情況下，更新判定UD將判定候選物體OBJ2為固定。
如表四所示，相應於候選物體OBJ4的項目2是僅在表一中找到的非重疊物體，這使得相關於表四中的候選物體OBJ4的更新判定UD係透過區域判定LD1來判定。如表四所示，相應於候選物體OBJ7的項目7是僅在表二中找到的非重疊物體，這使得相關於表四中的候選物體OBJ7的更新判定UD係透過區域判定LD2來判定。
在前述的實施例中，相應於候選物體OBJ6與OBJ7的表四中的項目6與項目7不在頭戴式裝置110的相機單元112的視野中。根據從其他頭戴式裝置接收的資訊來建立相應於候選物體OBJ6與OBJ7的項目6與項目7。然而，頭戴式裝置110的相機單元112當前對於候選物體OBJ6與OBJ7沒有視覺。如圖4A所示，相機單元112的視野涵蓋候選物體OBJ1-OBJ5。基於更新判定UD，介於候選物體OBJ1-OBJ5中的候選物體OBJ1、OBJ2與OBJ3為固定的。在更新判定UD中被判定為固定的候選物體OBJ1-OBJ3被視為物理環境PE中的定位點。處理器114更用以計算頭戴式裝置110與定位點(即候選物體OBJ1-OBJ3)之每一者之間的相對距離。處理器114執行圖3中的操作S370以根據頭 戴式裝置110與固定的候選物體(即候選物體OBJ1-OBJ3)之間的相對距離來於物理環境PE內定位頭戴式裝置110。
基於前述實施例，可在物理環境PE內的頭戴式裝置110、120與130之間共享由不同頭戴式裝置110、120與130所觀察到的物體特徵OF1-OF3與不同頭戴式裝置所做出的區域判定。在這樣的情況下，頭戴式裝置110、120與130的每一者可以從位於不同位置的其他頭戴式裝置確認觀點(關於一個物體是否為固定)。可根據從不同位置觀察到的所有觀點來產生更新判定，使得更新判定的正確性應高於區域判定LD1、LD2或LD3中的單獨一者。
頭戴式裝置120與130也能執行與圖3中所示的實施例類似的對應操作，以從更新判定UD中受益並且在物理環境PE內定位頭戴式裝置120與130。
此外，佩戴頭戴式裝置110的使用者可旋轉他/她的頭朝向不同方向或移動至不同位置，使得頭戴式裝置110的視野可隨著時間改變。在這樣的情況下，如果佩戴頭戴式裝置110的使用者旋轉他的頭至右側，頭戴式裝置110將會擷取涵蓋候選物體OBJ6與OBJ7的影像。基於表四中所示的更新判定UD，頭戴式裝置110可確認候選物體OBJ6可被用來做為定位點且候選物體OBJ7不適合做為定位點。頭戴式裝置110可將新擷取的影像的物體特徵與表四進行比較。一旦新擷取的影像的物體特徵在表四中找到匹配項目(相應於候選物體OBJ6與OBJ7)，頭戴式裝置110能夠立即判定候選物體OBJ6與OBJ7是否固定。因此，頭戴式裝置 110能夠在使用者旋轉他/她的頭之後，更快地找到新的定位點。
換言之，針對頭戴式裝置110的相機單元112而被視為定位點的候選物體的物體特徵OF1可從頭戴式裝置110傳輸至其他頭戴式裝置120或130。一旦針對頭戴式裝置120或130的相機單元122或132之定位點出現，頭戴式裝置120或130用以識別物理環境PE中的定位點。
在如圖4A所示的實施例中，頭戴式裝置110的處理器114用以測量一對候選物體OBJ1與OBJ2之間的相對距離D1。應注意的是，頭戴式裝置110所測量的相對距離D1可能包含測量誤差。舉例來說，如果候選物體OBJ1與OBJ2在物理環境PE中以50公分的真實距離間隔，頭戴式裝置110上測量的相對距離D1可能因為測量誤差而為48公分。如圖4C中所示，一對候選物體OBJ1與OBJ2也由頭戴式裝置130所擷取的影像IMG3所涵蓋。針對相機單元132，透過頭戴式裝置130來測量一對候選物體OBJ1與OBJ2的相對距離D2。頭戴式裝置130所測量的相對距離D2也可能包含其他測量誤差。
在這樣的情況下，頭戴式裝置110能夠接收針對頭戴式裝置130所測量之一對候選物體OBJ1與OBJ2之間的相對距離D2。頭戴式裝置110根據頭戴式裝置110所測量的相對距離D1與頭戴式裝置130所測量的相對距離D2來計算一對候選物體OBJ1與OBJ2之間的平均相對距離。舉例來說，如果頭戴式裝置130上測量的相對距離D2因為測量 誤差而可能為49公分，平均相對距離將為48.5公分。舉例來說，如果頭戴式裝置130上測量的相對距離D2因為測量誤差而可能為52公分，平均相對距離將為50公分。透過計算不同頭戴式裝置之間測量的相對距離的平均值，可以減少測量誤差。
進一步參照圖5，係繪示本揭露的實施例中新進入物理環境PE之頭戴式裝置140的示意圖。被視為定位點的候選物體OBJ1-OBJ3的物體特徵OF1從頭戴式裝置110傳輸至新進入物理環境PE之頭戴式裝置140。在這種情況下，頭戴式裝置140用以根據被視為定位點的候選物體OBJ1-OBJ3的物體特徵OF1來識別物理環境PE中的定位點。相似地，頭戴式裝置140也可從頭戴式裝置120與130接收被視為定位點的候選物體的物體特徵OF2/OF3。在這樣的情況下，比起透過自身來觀察物理環境PE，新進入物理環境PE之頭戴式裝置140將更容易且請快地識別有效定位點。
在圖1至圖3與圖4A至圖4C的前述實施例中，在頭戴式裝置110-130之間共享物體特徵OF1-OF3與區域判定LD1-LD3，每個頭戴式裝置用以產生更新判定UD。然而，本揭露不限於此。
進一步參照圖6與圖7。圖6係繪示根據本揭露的其他實施例之實境系統200的示意圖。圖7係繪示圖6中的實境系統200的功能方塊圖。在圖6與圖7中的實境系統200包含頭戴式裝置210、220與230與伺服裝置250。頭戴式裝 置210、220與230位於物理環境PE中。如圖7所示，頭戴式裝置210包含相機單元212、處理器214與通訊單元216。頭戴式裝置220包含相機單元222、處理器224與通訊單元226。頭戴式裝置230包含相機單元232、處理器234與通訊單元236。頭戴式裝置210-230的元件相似於圖2中所示之前述實施例中的頭戴式裝置110-130。圖6與圖7中的實境系統200以及圖1與圖2中的實境系統100之間的主要差別在於，實境系統200更包含伺服裝置250。伺服裝置250與頭戴式裝置210、220與230進行通訊。伺服裝置250包含處理器254與通訊單元256。通訊單元256可包含WiFi收發器、WiFi-Direct收發器、藍芽收發器、BLE收發器、Zigbee收發器和/或任何等效無線通訊收發器。處理器254耦接至通訊單元256。處理器254可為中央處理單元、圖像處理單元和/或伺服裝置250上的控制整合電路。
亦參照圖8，係繪示適用於圖6與圖7中的實境系統200的控制方法800的流程圖。
頭戴式裝置210、220或230之每一者用以在圖8所示的操作S810中分別透過相機單元212、222或232來擷取物理環境PE的影像。頭戴式裝置210、220或230之每一者用以在圖8所示的操作S820中提取候選物體、提取候選物體的物體特徵OF1、OF2或OF3。頭戴式裝置210、220或230之每一者用以在圖8所示的操作S830中針對頭戴式裝置210、220或230之每一者來產生關於每個候選物體是否固定的區域判定LD1、LD2或LD3。關於物理環境PE的 擷取影像的特徵(操作S810)，以及如何提取物體特徵OF1、OF2或OF3(操作S820)，以及在頭戴式裝置210、220或230上產生區域判定LD1、LD2或LD3(操作S830)係相似於圖3中所揭露的操作S310、S320與330以及圖1、圖2與圖4A-圖4C所示的先前實施例中的頭戴式裝置110、120或130，在此不再贅述。
於操作S840，頭戴式裝置210、220或230之每一者用以傳輸物體特徵OF1、OF2或OF3與區域判定LD1、LD2或LD3(參照前述實施例中的表一、表二與表三)至伺服裝置250。
伺服裝置250與頭戴式裝置210-230進行通訊。於操作S850，伺服裝置250用以從頭戴式裝置210-230收集候選物體的物體特徵OF1-OF3與區域判定LD1-LD3。於操作S860，伺服裝置250用以根據頭戴式裝置210-230所收集的區域判定LD1-LD3來產生關於每個候選物體是否固定的更新判定UD(參照前述實施例中的表四)。於操作S862，伺服裝置250用以傳輸更新判定UD(參照前述實施例中的表四)至頭戴式裝置210-230之每一者，使得於操作S870，頭戴式裝置210-230能相對於更新判定UD中的固定物體(例如定位點)而在物理環境PE內定位頭戴式裝置210-230的位置。
在一實施例中，伺服裝置250用以透過比較頭戴式裝置210-230的視圖中的候選物體的物體特徵來產生更新判定，以在頭戴式裝置210-230的視圖中映射候選物體 之間的對應關係。伺服裝置250用以根據從頭戴式裝置所收集的區域判定來針對頭戴式裝置產生相應於重疊物體的更新判定UD。伺服裝置250用以根據區域判定LD1-LD3的其中一者來產生相應於非重疊物體的更新判定UD。
物體特徵OF1-OF3包含候選物體的顏色、尺寸與形狀之至少一者。
在一實施例中，在更新判定UD中被判定為固定的候選物體被伺服裝置視為物理環境PE中的定位點。頭戴式裝置210-230之每一者更用以計算頭戴式裝置210-230與每個定位點之間的相對距離。基於相對距離，處理器214、224或234能夠在物理環境PE內定位頭戴式裝置210、220或230。
在一實施例中，被視為定位點的候選物體的物體特徵從伺服裝置250傳輸至新進入物理環境PE的新頭戴式裝置(未示於圖6與圖7之中)。新頭戴式裝置用以根據被視為定位點的候選物體的物體特徵來識別物理環境PE中的定位點。
在一實施例中，被視為定位點的候選物體的物體特徵從伺服裝置250傳輸至所有頭戴式裝置210、220與230。頭戴式裝置210、220與230更用以測量一對候選物體之間的區域相對距離。伺服裝置250用以收集針對頭戴式裝置210-230所測量之一對候選物體之間的所有的區域相對距離。伺服裝置250用以計算所有區域相對距離的平均相對距離。頭戴式裝置210、220與230更用以透過比較區域相 對距離與平均相對距離來取得區域測量誤差。
基於前述實施例，伺服裝置250可收集由不同頭戴式裝置210、220與230所觀察到的物體特徵OF1-OF3與不同頭戴式裝置所做出的區域判定LD1-LD3。伺服裝置250可根據從不同頭戴式裝置210、220與230所收集的前述資訊來產生更新判定UD。可根據不同位置所觀察到的所有觀點來產生更新判定UD，使得更新判定UD的正確性應高於區域判定LD1、LD2或LD3的單獨一者。
雖然本揭露已經參照其特定實施例而非常詳細的描述，其他實施例仍是可能的。因此，後附申請專利範圍的精神和範圍不應受限於本文包含之實施例的描述。
熟習此技藝者顯然可在不脫離本發明的範圍或精神內，對本發明的結構作各種的潤飾和更動。鑑於上述，本發明擬涵蓋所提供之發明的潤飾與更動，而這些潤飾與更動皆落在下述申請專利範圍的範圍之內。
300‧‧‧控制方法
S310-S370‧‧‧操作

Claims (20)

  1. 一種實境系統，包含：一第一頭戴式裝置，位於一物理環境中，該第一頭戴式裝置包含：一相機單元，用以隨著時間來擷取該物理環境的複數個影像；一通訊單元，用以與複數個第二頭戴式裝置進行通訊；以及一處理器，耦接至該相機單元與該通訊單元，該處理器用以：從該相機單元所擷取的該些影像中提取複數個第一候選物體與該些第一候選物體的複數個第一物體特徵，其中該些第一候選物體是對應至該物理環境且並非由該實境系統所投影產生；產生關於每一該些第一候選物體是否固定的一第一區域判定；傳送該些第一物體特徵與該第一區域判定至該些第二頭戴式裝置；從該些第二頭戴式裝置接收複數個第二候選物體的複數個第二物體特徵與關於每一該些第二候選物體是否固定的複數個第二區域判定，其中該些第二候選物體是對應至該物理環境且並非由該實境系統所投影產生；以及 根據該第一區域判定與該些第二區域判定來產生關於每一該些第一候選物體是否固定的一更新判定。
  2. 如申請專利範圍第1項所述之實境系統，其中該處理器用以透過以下步驟來產生該更新判定：比較該些第一物體特徵與該些第二物體特徵來映射介於該些第一候選物體與該些第二候選物體之間的一相應關係；以及根據該第一區域判定與該些第二區域判定來產生在該些第一候選物體與該些第二候選物體中找到的相應於一重疊物體的該更新判定。
  3. 如申請專利範圍第2項所述之實境系統，其中該處理器更用以透過以下步驟來產生該更新判定：根據該第一區域判定或該些第二區域判定來產生在該些第一候選物體之其中一者或該些第二候選物體之其中一者中找到的相應於一非重疊物體的該更新判定。
  4. 如申請專利範圍第2項所述之實境系統，其中該些第一物體特徵包含該些第一候選物體的顏色、尺寸與形狀之至少一者，其中該些第二物體特徵包含該些第二候選物體的顏色、尺寸與形狀之至少一者。
  5. 如申請專利範圍第1項所述之實境系統，其中在該更新判定中被判定為固定的該些第一候選物體被視為該物理環境中的複數個定位點，該處理器更用以計算介於該第一頭戴式裝置與每一該些定位點之間的複數個相對距離，且根據該些相對距離來將該第一頭戴式裝置定位於該物理環境內。
  6. 如申請專利範圍第5項所述之實境系統，其中被視為該些定位點的該些第一候選物體的該些第一物體特徵從該第一頭戴式裝置傳送至新進入到該物理環境的一第三頭戴式裝置，其中該第三頭戴式裝置用以根據被視為該些定位點的該些第一候選物體的該些第一物體特徵來識別該物理環境中的該些定位點。
  7. 如申請專利範圍第5項所述之實境系統，其中針對該第一頭戴式裝置的該相機單元而被視為該些定位點的該些第一候選物體的該些第一物體特徵從該第一頭戴式裝置傳送至該些第二頭戴式裝置，其中一旦針對該些第二頭戴式裝置的複數個相機單元的該些定位點出現時，該些第二頭戴式裝置用以識別該物理環境中的該些定位點。
  8. 如申請專利範圍第1項所述之實境系統，其中該處理器更用以： 測量介於該些第一候選物體之其中一對之間的一第一相對距離；接收針對該些第二頭戴式裝置之其中一者所測量之相應於該些第一候選物體之其中該對的該些第二候選物體之其中一對之間的一第二相對距離；以及根據該第一相對距離與該第二相對距離來計算介於該些第一候選物體之其中該對之間的一平均相對距離。
  9. 如申請專利範圍第8項所述之實境系統，其中該處理器更用以透過比較該第一相對距離與該平均相對距離來取得一測量誤差。
  10. 一種實境系統，包含：複數個頭戴式裝置，位於一物理環境中，其中每一該些頭戴式裝置用以提取複數個候選物體，提取該些候選物體的複數個物體特徵，以及針對每一該些頭戴式裝置來產生關於每一該些候選物體是否固定的複數個區域判定；以及一伺服裝置，用以與該些頭戴式裝置進行通訊，其中該伺服裝置用以：從該些頭戴式裝置收集該些候選物體的該些物體特徵與該些區域判定，其中該些候選物體是對應至該物理環境且並非由該實境系統所投影產生；根據從該些頭戴式裝置所收集的該些區域判定 來產生關於每一該些候選物體是否固定的一更新判定；以及傳輸該更新判定至每一該些頭戴式裝置。
  11. 如申請專利範圍第10項所述之實境系統，其中該伺服裝置用以透過以下步驟來產生該更新判定：比較在該些頭戴式設備的視圖中的該些候選物體的該些物體特徵來映射在該些頭戴式裝置的視圖中的該些候選物體之間的一相應關係；以及根據該些頭戴式裝置所收集的該些區域判定來針對該些頭戴式裝置產生相應於一重疊物體的該更新判定。
  12. 如申請專利範圍第11項所述之實境系統，其中該伺服裝置更用以透過以下步驟來產生該更新判定：根據該些區域判定的其中一者來產生相應於一非重疊物體的該更新判定。
  13. 如申請專利範圍第11項所述之實境系統，其中該些物體特徵包含該些候選物體的顏色、尺寸與形狀之至少一者。
  14. 如申請專利範圍第10項所述之實境系統，其中在該更新判定中被判定為固定的該些候選物體被 該伺服裝置視為該物理環境中的複數個定位點，每一該些頭戴式裝置更用以計算介於該些頭戴式裝置與每一該些定位點之間的複數個相對距離，且根據該些相對距離來將該些頭戴式裝置定位於該物理環境內。
  15. 如申請專利範圍第14項所述之實境系統，其中被視為該些定位點的該些候選物體的該些物體特徵從該伺服裝置傳送至新進入到該物理環境的一新頭戴式裝置，其中該新頭戴式裝置用以根據被視為該些定位點的該些候選物體的該些物體特徵來識別該物理環境中的該些定位點。
  16. 如申請專利範圍第14項所述之實境系統，其中被視為該些定位點的該些候選物體的該些物體特徵從該伺服裝置傳送至所有的該些頭戴式裝置。
  17. 如申請專利範圍第10項所述之實境系統，其中該些頭戴式裝置更用以測量介於該些候選物體之其中一對的複數個區域相對距離，其中該伺服裝置用以：收集針對該些頭戴式裝置所測量之該些候選物體的其中該對之間的所有的該些區域相對距離；以及計算所有的該些區域相對距離的一平均相對距離。
  18. 如申請專利範圍第17項所述之實境系統，其中每一該些頭戴式裝置更用以透過比較該些區域相對距離與該平均相對距離來取得複數個區域測量誤差。
  19. 一種控制方法，適用於位於一物理環境中的複數個頭戴式裝置，該控制方法包含：透過該些頭戴式裝置來隨著時間擷取該物理環境的複數個影像；從該些影像中提取複數個候選物體與該些候選物體的複數個物體特徵，其中該些候選物體是對應至該物理環境且並非由一實境系統所投影產生；產生關於每一該些候選物體是否固定的複數個區域判定；在該些頭戴式裝置之間共享該些物體特徵與該些區域判定；以及根據在該些頭戴式裝置之間所共享的該些區域判定來產生關於每一該些候選物體是否固定的一更新判定。
  20. 如申請專利範圍第19項所述之控制方法，更包含：相對於被判定為固定於該更新判定的該些候選物體，來定位該物理環境內的該些頭戴式裝置的複數個位置。
TW107126551A 2018-01-08 2018-07-31 實境系統與適用於位於物理環境中的頭戴式裝置的控制方法 TWI688900B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/863,994 2018-01-08
US15/863,994 US10600205B2 (en) 2018-01-08 2018-01-08 Anchor recognition in reality system

Publications (2)

Publication Number Publication Date
TW201931204A TW201931204A (zh) 2019-08-01
TWI688900B true TWI688900B (zh) 2020-03-21

Family

ID=67140973

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107126551A TWI688900B (zh) 2018-01-08 2018-07-31 實境系統與適用於位於物理環境中的頭戴式裝置的控制方法

Country Status (3)

Country Link
US (2) US10600205B2 (zh)
CN (1) CN110018734B (zh)
TW (1) TWI688900B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776954B2 (en) 2018-10-08 2020-09-15 Microsoft Technology Licensing, Llc Real-world anchor in a virtual-reality environment
US11309947B2 (en) * 2018-11-19 2022-04-19 Facebook Technologies, Llc Systems and methods for maintaining directional wireless links of motile devices
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境***及记录介质
WO2020214454A1 (en) * 2019-04-18 2020-10-22 Apple Inc. Shared data and collaboration for head-mounted devices
DE112020002268T5 (de) 2019-05-06 2022-02-10 Apple Inc. Vorrichtung, verfahren und computerlesbares medium zur darstellung von dateien computergenerierter realität
US10936351B2 (en) * 2019-07-19 2021-03-02 UiPath, Inc. Multi-anchor based extraction, recognition, and machine learning of user interface (UI)
TWI712993B (zh) * 2019-08-19 2020-12-11 國立雲林科技大學 應用於半特徵視覺式同步定位與建圖方法的半特徵視覺里程計
CN110941341B (zh) * 2019-11-29 2022-02-01 维沃移动通信有限公司 图像控制方法及电子设备
CN113205145B (zh) * 2021-05-18 2022-08-16 广州大学 基于归一化互相关的模板匹配方法、***、装置及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的***
CN104919518A (zh) * 2013-01-24 2015-09-16 索尼公司 图像显示设备、图像显示方法与图像显示***
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
TW201633104A (zh) * 2015-03-06 2016-09-16 新力電腦娛樂股份有限公司 頭戴顯示器之追蹤系統
US20170061694A1 (en) * 2015-09-02 2017-03-02 Riccardo Giraldi Augmented reality control of computing device
CN106997281A (zh) * 2017-04-10 2017-08-01 北京小米移动软件有限公司 共享虚拟对象的方法及智能设备
CN107024995A (zh) * 2017-06-05 2017-08-08 河北玛雅影视有限公司 多人虚拟现实交互***及其控制方法
CN107145223A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR头盔的多点交互控制***和方法
CN206819290U (zh) * 2017-03-24 2017-12-29 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI425445B (zh) * 2009-09-29 2014-02-01 Nat Univ Tsing Hua 用於判斷一移動平台之自我運動量的方法以及偵測系統
SE537553C2 (sv) * 2012-08-03 2015-06-09 Crunchfish Ab Förbättrad identifiering av en gest
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102359359B1 (ko) * 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
CN105491416B (zh) * 2015-11-25 2020-03-03 腾讯科技（深圳）有限公司 增强现实的信息传输方法和装置
KR102649197B1 (ko) * 2016-07-29 2024-03-20 삼성전자주식회사 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10871934B2 (en) * 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor
US10685456B2 (en) * 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103562968A (zh) * 2011-03-29 2014-02-05 高通股份有限公司 用于相对于每个用户的视点来渲染共享数字界面的***
CN104919518A (zh) * 2013-01-24 2015-09-16 索尼公司 图像显示设备、图像显示方法与图像显示***
US20160027215A1 (en) * 2014-07-25 2016-01-28 Aaron Burns Virtual reality environment with real world objects
TW201633104A (zh) * 2015-03-06 2016-09-16 新力電腦娛樂股份有限公司 頭戴顯示器之追蹤系統
US20170061694A1 (en) * 2015-09-02 2017-03-02 Riccardo Giraldi Augmented reality control of computing device
CN206819290U (zh) * 2017-03-24 2017-12-29 苏州创捷传媒展览股份有限公司 一种虚拟现实多人互动的***
CN107145223A (zh) * 2017-04-06 2017-09-08 北京讯腾智慧科技股份有限公司 基于Unity三维引擎和VR头盔的多点交互控制***和方法
CN106997281A (zh) * 2017-04-10 2017-08-01 北京小米移动软件有限公司 共享虚拟对象的方法及智能设备
CN107024995A (zh) * 2017-06-05 2017-08-08 河北玛雅影视有限公司 多人虚拟现实交互***及其控制方法

Also Published As

Publication number Publication date
US20200184679A1 (en) 2020-06-11
TW201931204A (zh) 2019-08-01
US10600205B2 (en) 2020-03-24
US11120573B2 (en) 2021-09-14
CN110018734A (zh) 2019-07-16
US20190213754A1 (en) 2019-07-11
CN110018734B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
TWI688900B (zh) 實境系統與適用於位於物理環境中的頭戴式裝置的控制方法
US9959455B2 (en) System and method for face recognition using three dimensions
JP7059355B2 (ja) シーンの表現を生成するための装置及び方法
WO2020192039A1 (en) Three-dimensional localization using light-depth images
US11282224B2 (en) Information processing apparatus and information processing method
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
CN107273846B (zh) 一种人体体型参数确定方法及装置
JP2002259976A (ja) 特定点検出方法及び装置
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20120219227A1 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
CN113614795A (zh) 移动设备的相对空间定位
US9621747B2 (en) Information processing apparatus and imaging region sharing determination method
US20120219228A1 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN109155055B (zh) 关注区域图像生成装置
JP6632322B2 (ja) 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム
US10587862B2 (en) Head-mounted device
KR102250712B1 (ko) 전자 장치 및 제어 방법
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
Ho et al. Markerless indoor/outdoor augmented reality navigation device based on ORB-visual-odometry positioning estimation and wall-floor-boundary image registration
JP2013120150A (ja) 人間位置検出システム及び人間位置検出方法
JP6487545B2 (ja) 認知度算出装置、認知度算出方法及び認知度算出プログラム
JP2017162192A (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
KR20160022576A (ko) 알지비 센서 및 깊이 센서 기반 3차원 인체 관절 좌표 정합 장치 및 방법
KR20200109799A (ko) 영상내 객체의 깊이정보를 추정하는 장치 및 방법