TW202026861A - 創作裝置、創作方法及儲存媒體 - Google Patents

創作裝置、創作方法及儲存媒體 Download PDF

Info

Publication number
TW202026861A
TW202026861A TW108112464A TW108112464A TW202026861A TW 202026861 A TW202026861 A TW 202026861A TW 108112464 A TW108112464 A TW 108112464A TW 108112464 A TW108112464 A TW 108112464A TW 202026861 A TW202026861 A TW 202026861A
Authority
TW
Taiwan
Prior art keywords
plane
virtual object
arrangement
authoring
reference point
Prior art date
Application number
TW108112464A
Other languages
English (en)
Inventor
白神健瑠
Original Assignee
日商三菱電機股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商三菱電機股份有限公司 filed Critical 日商三菱電機股份有限公司
Publication of TW202026861A publication Critical patent/TW202026861A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

創作裝置（1），包括：使用者介面部（11），接受指定出存在於實際空間的對象物的操作；指定目標特定部（12），特定出關聯到指定目標的對象物之基準平面（Sp ）上的基準點（p），指定目標的對象物是被使用者介面部所指定的對象物；配置位置計算部（13），根據基準平面及基準點，決定出配置於包含有基準點的位置並且能夠配置虛擬物件之第1配置平面（Sq ）；以及複數視點計算部（14），決定出旋轉第1配置平面而得，能夠配置虛擬物件的1個以上的第2配置平面（Sr1 ,…），其中將關聯連結第1配置平面與虛擬物件的資訊、以及關聯連結第2配置平面與虛擬物件的資訊，做為創作資料輸出。

Description

創作裝置、創作方法及儲存媒體
本發明係有關於創作裝置、創作方法、以及儲存創作程式的儲存媒體。
近年來，將虛擬的資訊重疊於現實世界影像而獲得的擴增實境（AR：Augmented Reality）影像提供給使用者的技術受到關注。例如，有一種廣知的技術是，使用者對指定做為現實世界物體的對象物進行操作時，將關聯於被指定的對象物之虛擬的資訊部分，也就是虛擬物件，顯示於被指定的對象物的周邊。
專利文獻1提出一種裝置，係藉由解析相機取得的實際空間的資訊，求出存在於實際空間的物體（例如手）的面，即基準面（例如手掌面），根據基準面來變更顯示於影像顯示部中的虛擬物件。
專利文獻1：日本特開2018-84886號公報（例如段落第0087～0102段，第8～11圖）
然而，上述習知的裝置中，虛擬物件所配置的平面的形狀及傾斜會因應於存在於實際空間的物體的形狀及傾斜變化，所以會有虛擬物件的視覺辨識度下降的情況發生。
本發明的目的是解決上述的問題，而提出一種能夠不讓虛擬物件的視覺辨識度下降地顯示擴增實境影像的創作裝置、創作方法、以及儲存媒體。
本發明的一個態樣的創作裝置，包括：使用者介面部，接受指定出存在於實際空間的對象物的操作；指定目標特定部，特定出關聯到指定目標的對象物之基準平面上的基準點，該指定目標的對象物是被該使用者介面部所指定的該對象物；配置位置計算部，根據該基準平面及該基準點，決定出配置於包含有該基準點的位置並且能夠配置虛擬物件之第1配置平面；以及複數視點計算部，決定出旋轉該第1配置平面而得，能夠配置該虛擬物件的1個以上的第2配置平面，其中將關聯連結該第1配置平面與該虛擬物件的資訊、以及關聯連結該第2配置平面與該虛擬物件的資訊，做為創作資料輸出。
本發明的另一個態樣的創作方法，包括：接受指定出存在於實際空間的對象物的操作；特定出關聯到指定目標的對象物之基準平面上的基準點，該指定目標的對象物是被指定的該對象物；根據該基準平面及該基準點，決定出配置於包含有該基準點的位置並且能夠配置虛擬物件之第1配置平面；決定出旋轉該第1配置平面而得，能夠配置該虛擬物件的1個以上的第2配置平面；以及將關聯連結該第1配置平面與該虛擬物件的資訊、以及關聯連結該第2配置平面與該虛擬物件的資訊，做為創作資料輸出。
根據本發明，能夠不讓虛擬物件的視覺辨識度下降地顯示擴增實境影像。
以下，參照圖式來說明本發明實施型態的創作裝置、創作方法、及創作程式。以下的實施型態只是例子，在本發明的範圍內能夠做各式各樣的變更。 《1》實施型態1 《1-1》架構 《1-1-1》硬體架構
第1圖係顯示本發明實施型態1的創作裝置1的硬體構造的例子。第1圖並沒有顯示執行渲染的架構，渲染是根據包含虛擬物件在內的創作資料來顯示AR影像的處理。然而，創作裝置1也可以具備例如相機或感測器等的取得實際空間的資訊的架構。
如第1圖所示，創作裝置1例如包括做為記憶裝置的記憶體102以及做為計算處理部的處理器101。記憶體102儲存例如做為軟體的程式，也就是實施型態1的創作程式。處理器101執行儲存在記憶體102中的程式。處理器101是CPU（Central Processing Unit）等的資訊處理電路。記憶體102是例如RAM（Random Access Memory）等的揮發性記憶裝置。創作裝置1例如是電腦。實施型態1的創作程式能夠從儲存資訊的儲存媒體透過媒體資訊讀取裝置（未圖示），或者是透過能夠連接到網路等的通信介面（未圖示）而儲存於記憶體102。
又，創作裝置1具備滑鼠、鍵盤、觸控板等的使用者操作部，也就是輸入裝置103。輸入裝置103是接受使用者操作的操作裝置。輸入裝置103包括接受手勢操作的輸入之HMD（Head Mounted Display）、接受視線操作的輸入之裝置等。接受手勢操作的輸入之HMD具備小型相機，會拍攝使用者的身體的一部分，並將該身體的動作（即手勢操作）辨識為對HMD的輸入操作。
又，創作裝置1具備顯示影像的顯示裝置104。顯示裝置104是進行創作時提供給使用者資訊的顯示器。顯示裝置104顯示應用程式。顯示裝置104也可以是HMD的透過型顯示器。
又，創作裝置1也可以具備儲存各種資訊的記憶裝置，亦即儲存器105。儲存器105是HDD（Hard Disk Drive）、SSD（Solid State Drive）等的記憶裝置。儲存器105儲存程式、實行創作時使用的資料、因為創作而產生的資料等。儲存器105也可以是創作裝置1的外部的記憶裝置。儲存器105可以是例如能夠透過通信介面（未圖示）連接的雲端上的記憶裝置。
創作裝置1能夠藉由執行儲存於記憶體102的程式之處理器101來實現。又，創作裝置1的一部分也可以透過執行儲存於記憶體102的程式之處理器101來實現。 《1-1-2》創作裝置1
第2圖係概略顯示實施型態1的創作裝置1的架構的機能方塊圖。創作裝置1是能夠實行實施型態1的創作方法的裝置。創作裝置1進行考量到虛擬物件的深度的創作。
創作裝置1會進行以下動作：（1）接收指定存在於實際空間的對象物的使用者操作；（2）特定出與被指定的對象物（指定目標的對象物）關聯的基準平面上的基準點（這個處理顯示於後述的第9圖（A）至（C））；（3）根據基準平面與基準點，決定出配置於包含基準點的位置，且能夠配置虛擬物件的第1配置平面（這個處理，顯示於後述的第10圖（A）至（C））；（4）決定出旋轉第1配置平面而獲得的，能夠配置虛擬物件的1個以上的第2配置平面（這個處理，顯示於後述的第14圖至第16圖）；（5）將關聯第1配置平面與虛擬物件的資訊、關聯第2配置平面與虛擬物件的資訊，做為創作資料輸出至例如儲存器105。
如第2圖所示，創作裝置1具備創作部10、資料取得部20、辨識部30。創作部10因應於使用者進行的輸入操作（即使用者操作）來執行創作。資料取得部20從儲存器105（這顯示於第1圖）取得創作執行時所使用的資料。辨識部30會進行創作部10執行創作的過程中所必要的例如影像辨識等的處理。實施型態1的儲存器105顯示於第1圖，但儲存器105的全體或一部分也可以是創作裝置1的外部的記憶裝置。 《1-1-3》資料取得部20
第3圖（A）至（D）係顯示實施型態1的創作裝置1的資料取得部20所處理的資料以及顯示拍攝實際空間的相機的位置及姿勢的參數。關於相機，將在實施型態2說明。資料取得部20取得創作部10進行創作時所使用的資料。創作執行時使用的資料能夠包括顯示3維模型的3維模型資料、顯示虛擬物件的虛擬物件資料、以及從感測器輸出的感測器資料。這些資料也可以預先儲存於儲存器105。 ＜3維模型資料＞
3維模型資料是將顯示AR影像的實際空間的資訊以3維表示的資料。3維模型資料能夠包含第3圖（A）至（C）的資料。3維模型資料能夠使用例如SLAM（Simultaneous Localization and Mapping）技術來取得。SLAM技術中，藉由使用能取得實際空間的彩色影像（也就是RGB影像）及深度影像（也就是Depth影像）的相機（以下也稱為「RGBD相機」）拍攝實際空間，取得3維模型資料。
第3圖（A）顯示3維點群的例子。3維點群表示存在於實際空間的物體，即對象物。存在於實際空間的對象物例如地板、牆壁、門、天花板、放置於地板的物品、從天花板懸掛下來的物品、安裝於牆壁的物品等。
第3圖（B）係顯示3維模型資料的生成過程中取得的平面的例子。這個平面是從第3圖（A）所示的3維點群中取得。
第3圖（C）顯示從複數的視點的拍攝以及複數的角度的拍攝中獲得的影像的例子。SLAM技術中，使用RGBD相機等，從複數的視點及複數的角度拍攝實際空間，藉此生成3維模型資料。這個時候拍攝獲得的第3圖（C）所示的影像（也就是影像資料）會與第3圖（A）所示的3維點群、第3圖（B）所示的平面、或者是與這兩者一起儲存於儲存器105。
第3圖（D）所示的資訊是顯示各個影像的相機的位置及姿勢的資訊。k=1, 2, …, N（N是正整數）的情況下，pk 表示第k個相機的位置，rk 表示第k個相機的姿勢，也就是表示相機的拍攝方向。
第4圖係顯示存在於實際空間的對象物以及其被付予的物體ID（Identification）的例子。第4圖中，物體ID的例子記載了「A1」、「A2」、「A3」及「A4」。3維模型資料會在決定出虛擬物件的3維配置位置的處理、導出影像上的對象物的位置、姿勢或兩者一起的處理等當中使用。3維模型資料是創作部10的輸入資料的一者。
3維模型資料除了是第3圖（A）至（D）所示的資訊以外，也可以包括其他的資訊。3維模型資料也可以包括存在於實際空間的對象物的各個資料。例如，如第4圖所示，3維模型資料也可以包括被付予至各個對象物的物體ID、每個被付予物體ID的對象物的部分的3維模型資料。
第4圖所示的情況下，每個對象物的部分的3維模型資料能夠使用例如語義分割（Semantic Segmentation）技術取得。例如，將第3圖（A）所示的3維點群的資料、第3圖（B）所示的平面的資料、或者是這兩種資料，根據各對象物所具有的領域去分割，能夠取得每個對象物的部分的3維模型資料。又，非專利文獻1說明了從點群資料檢測出包含於點群資料的對象物的領域的技術。
非專利文獻1：Florian Walch, “Deep Learning for Image-Based Localization”, Department of Informatics, Technical University of Munich (TUM), 2016年10月15日 ＜虛擬物件資料＞
第5圖係顯示平面狀的虛擬物件的例子。第6圖係顯示立體狀的虛擬物件的例子。虛擬物件資料儲存有顯示出以AR影像表示的虛擬物件的資訊。在此會用到的虛擬物件有2個種類的屬性。
第5圖所示的虛擬物件V1以平面表示。虛擬物件V1相當於影像及影片。虛擬物件V1的重心座標以Zv1表示。重心座標Zv1是做為本地座標系統的座標而儲存於儲存器105。
第6圖所示的虛擬物件V2以立體表示。虛擬物件V2相當於以3維模型工具等製作的資料。虛擬物件V2的重心座標以Zv2表示。重心座標Zv2是做為本地座標系統的座標而儲存於儲存器105。 ＜感測器資料＞
感測器資料是用來支援拍攝影像資料時的相機的位置及姿勢的推定處理之資料。感測器資料能夠例如包括從測量用以拍攝實際空間的相機的傾斜之陀螺儀感測器輸出的傾斜資料、從測量這個相機的加速度的加速度感測器輸出的加速度資料等。感測器資料不限於附隨於相機的資訊，也可以是由例如位置資訊測量系統之GPS（Global Positioning System）所量測的位置資料。 《1-1-4》辨識部30
辨識部30使用資料取得部20所取得的3維模型資料，辨識出存在於影像上的特定部位之平面或對象物。辨識部30會依據針孔相機型號將影像上的2維位置轉換為實際空間中的3維位置，將這個3維位置與3維模型資料比對，辨識出存在於影像的特定部位之平面或對象物。另外，影像上的2維位置會以畫素座標表示。
又，辨識部30將影像當作是輸入加以接收，並根據接收的影像，辨識出拍攝這個影像的相機的位置及姿勢。從影像中推定出拍攝這個影像的相機的一組的位置及姿勢之方法，有一種利用被稱為PoseNet的神經網路之方法為人所知。這個方法例如說明於非專利文獻2。
非專利文獻2：Charles R. Qi, 外3名, “PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation”, Stanford University
又，做為從影像中推定出拍攝這個影像的相機的一組的位置及姿勢之其他方法，有一種使用了SLAM技術的方法為人所知。 《1-1-5》創作部10
創作部10使用資料取得部20所取得的3維模型資料、虛擬物件資料、或者是這兩者的資料，實行虛擬物件的創作。創作部10將創作結果當作是創作資料輸出。創作部10執行創作，使得關聯於使用者指定的部位（也就是使用者指定的指定目標的領域）之虛擬物件，具有與指定目標的領域的深度方向的位置一致的深度方向的位置。如第2圖所示，創作部10包括使用者介面部11、指定目標特定部12、配置位置計算部13、複數視點計算部14。 《1-1-6》使用者介面部11
使用者介面部11提供創作用的使用者介面。使用者介面部11例如是第1圖所示的輸入裝置103及顯示裝置104等。使用者介面部11能夠包括GUI（Graphical User Interface）應用程式。具體來說，使用者介面部11將使用於創作的影像或者是3維資料（例如3維點群資料、平面資料等）顯示於顯示裝置104，從輸入裝置103接收創作所必要的使用者操作。在此，3維資料例如3維點群資料、平面資料等。
以下說明使用輸入裝置103進行的使用者的輸入操作。「操作U1」中，使用者指定出使用於創作的影像。例如，「操作U1」中，使用者從第3圖（A）、（B）及（C）所示的影像中選擇出1個影像。「操作U2」中，使用者指定出成為AR影像的基準之指定目標。「操作U3」中，使用者進行用以配置虛擬物件用的操作。「操作U4」中，使用者指定出平面圖樣的數目。平面圖樣的數目是後述的複數視點計算部14所計算取得的平面的數目。
使用者在「操作U1」指定的影像中，在「操作U2」指定出指定目標，藉此指定目標特定部12及配置位置計算部13會求取指定目標的3維位置及關聯於指定目標的虛擬物件配置的平面（配置平面）。
使用者對於求出的平面，在「操作U3」指定出虛擬物件配置的位置，藉此，配置位置計算部13算出虛擬物件的3維位置。又，使用者在「操作U4」指定出平面圖樣的數目G（G是正整數），藉此，複數視點計算部14能夠求出從G個視點（也就是G圖樣的視線方向）觀看指定目標時的虛擬物件的配置位置。 《1-1-7》指定目標特定部12
指定目標特定部12會由使用者透過使用者介面部11所指定的指定目標，求出基準點p及基準平面Sp 。做為指定出指定目標的方法，有第1指定方法及第2指定方法。指定目標特定部12對於每個指定目標的指定方法，會使用不同的方法來做為基準點p及基準平面Sp 的導出方法。 ＜第1指定方法＞
第1指定方法中，使用者對於GUI顯示的影像進行操作，以矩形或多角形等的直線包圍要成為指定目標的領域。被直線包圍的部位成為指定目標的領域。在第1指定方法中指定出指定目標的情況下，基準點p及基準平面Sp 由以下方式求出。
將做為指定目標被指定的n角形的領域的各頂點，以H1 、…、Hn 表示。在此，n為3以上的整數。頂點H1 、…、Hn 會以GUI影像上的畫素座標（u, v）來表示。這些座標會按照針孔相機模型，轉換為3維座標ai =（x, y, z）。在此，i＝1、2、…、n。
從3維座標a1 、…、an 中任意選擇的3個點以b1 、b2 、b3 表示，獲得包含點b1 、b2 、b3 的平面Sm。又，將n角形的領域的頂點H1 、…、Hn 當中沒被選為3個點b1 、b2 、b3 的集合C，如以下方式表記。 C = { c1 , c2 , …, cn-3 }
從3維座標a1 、…、an 中選出3個點的選擇方式如以下的式（1）所示的J。J是正的整數。
[式1]
Figure 02_image001
（1）
因此，從n角形的頂點中的任意3個點求出的平面存在J個。J個平面會以Sm1 、…、SmJ 來表示。
又，從n角形的領域的頂點H1 、…、Hn 中的除去任意3個點的集合C1 、…、CJ ，如以下所示存在J個。
[式2]
Figure 02_image003
另外，例如要素c1,n-3 是集合C1 當中第n-3個要素，也就是表示點。
將平面S與點X以D（S, X）表示的話，基準平面Sp 會由以下的式（2）求出。從n角形的頂點中的3個點求出的複數平面當中，將與其他的點的距離的平均最小者做為基準平面Sp 。在此，「其他的點」是指沒有構成平面的點。
[式3]
Figure 02_image005
 （2）
在此，Ci,j 是集合Ci 當中第j個要素。
又，將n角形的重心座標以AG 表示，從座標AG 拉下垂直線至式（2）所求出的基準平面Sp 時，將基準平面Sp 與垂直線的交點視為基準點p。 ＜第2指定方法＞
第2指定方法中，使用者對於GUI顯示的影像進行操作，指定要成為指定目標的1個點。在第2指定方法中使用者指定出指定目標的點的情況下，基準點p及基準平面Sp 由以下方式求出。
將指定了基準點p的影像上的點假設為M＝（u, v），M能夠按照針孔相機模型轉換為3維座標ai ＝（x, y, z）。第2指定方法中，將3維座標ai 直接當作是基準點p的座標。
辨識部30從3維模型資料的平面資料中檢測出包含基準點p的平面，決定出基準平面Sp 。辨識部30在對應的平面不存在的情況下，也可以利用例如RANSAC（RANdom Sample Consensus），使用基準點p的周邊的點群資料檢測出疑似平面。
第7圖係顯示藉由以直線包圍指定目標的對象物上的領域這樣的使用者操作來指定出指定目標的第1指定方法。第8圖係顯示藉由指定出指定目標的對象物上的點這樣的使用者操作來指定出指定目標的第2指定方法。在第8圖所示的第2指定方法中，只從1個點檢測出平面，因此指定目標的對象物不是平面的情況下，有時會有無法適切地檢測出基準平面Sp 的情況。然而，藉由使用第7圖所示的第1指定方法，即使指定目標的對象物的形狀不是平面，也能夠導出基準平面Sp 。 《1-1-8》配置位置計算部13
配置位置計算部13會進行以下所示的第1處理13a及第2處理13b。
第1處理13a中，配置位置計算部13計算配置了虛擬物件的配置平面Sq 。配置位置計算部13從指定目標特定部12求出的基準點p及基準平面Sp 中，推導出虛擬物件配置的平面，也就是配置平面Sq 。做為配置平面Sq 的導出方法，有第1導出方法及第2導出方法。 ＜第1導出方法＞
第1導出方法中，配置位置計算部13將基準平面Sp 直接當作配置平面Sq 處理。 ＜第2導出方法＞
第2導出方法中，首先配置位置計算部13從3維模型資料中檢測出實際空間中的水平面Sh 。水平面Sh 也可以透過利用使用者介面部11的使用者操作而選擇。又，水平面Sh 也可以使用影像辨識及空間辨識技術而自動地決定。第9圖（A）係顯示被使用者操作所指定的指定目標的領域及基準點p的例子。第9圖（B）係顯示基準點p及基準平面Sp 的例子，第9圖（C）係顯示水平面Sh 的例子。
第10圖（A）、（B）及（C）顯示從基準平面Sp 及水平面Sh 導出配置平面Sq 的處理。此時，第2導出方法中，配置位置計算部13藉由第10圖（A）、（B）及（C）所示的處理，導出配置平面Sq 。
首先，如第10圖（A）所示，將基準平面Sp 及水平面Sh 的交線假設為L。接著，如第10圖（B）所示，將基準平面Sp 以交線L為中心軸旋轉成與水平面Sh 垂直，並假設為與水平面Sh 垂直的平面Sv 。接著，如第10圖（C）所示，將與水平面Sh 垂直的平面Sv 與平行移動到通過基準點p。接著，將通過基準點p的與水平面Sh 垂直的平面Sv 假設為配置平面Sq 。
第1導出方法中，會因為指定目標的領域的傾斜，而會有形成視覺辨識度不佳的配置平面的情況。然而，如第2導出方法，藉由將通過基準點p的與水平面Sh 垂直的平面Sv 假設為配置平面Sq ，能夠不受到指定目標的領域的傾斜的影響，將虛擬物件的深度方向的位置配合到指定目標的領域的深度方向的基準位置（基準點p）。
第11圖（A）及（B）係顯示要從基準點p及基準平面Sp 導出要配置虛擬物件的配置平面Sq 的第1導出方法及第2導出方法。
第2處理13b中，配置位置計算部13計算虛擬物件的3維的配置位置q。配置位置計算部13透過第1處理13a導出虛擬物件配置的配置平面Sq 後，使用者透過GUI指定虛擬物件的配置位置。例如，使用者以滑鼠等的輸入裝置103點擊畫面上想要配置虛擬物件的地方，藉此指定出虛擬物件的配置位置。此時，也可以將配置平面Sq 投影到GUI的畫面上，支援使用者的指定配置位置的操作。
將使用者指定而取得的影像上的座標假設為D＝（u, v），從座標D中按照針孔相機模型，獲得3維座標E＝（x, y, z）。從3維模型資料中獲得的相機的3維座標假設為F＝（xc , yc , zc ）時，將座標E及座標F這兩點形成的向量以及配置平面Sq 的交點，當作是配置位置q。又，對於1個指定目標，也能夠配置複數的虛擬物件。配置t個（t是正整數）虛擬物件的情況下，會以相同的步驟導出配置位置q1 、q2 、…、qt 。
又，也可以在決定配置位置後，使用者透過拖放虛擬物件的尺寸等這樣的操作來變更。在這個情況下，使用者操作時，在顯示裝置104顯示做為渲染結果所獲得的虛擬物件為佳。
又，此時，使用者也可以藉由拖放等的使用者操作來變更虛擬物件配置的方向（也就是姿勢）。在這個情況下，有關於虛擬物件的旋轉的資訊也會做為創作資料而被儲存於儲存器105。藉由進行以上的處理，求出虛擬物件的3維配置位置、範圍、姿勢。 《1-1-9》複數視點計算部14
到配置位置計算部13為止的處理結果，從某1方向觀看時，指定目標的領域的深度方向的位置與虛擬物件的深度方向的位置對齊。第12圖（A）係顯示從靠自己這邊觀看指定目標的領域的情況下，能夠視覺辨識顯示在配置平面Sq 上的虛擬物件＃1及＃2。第12圖（B）係顯示從上方觀看指定目標的領域的情況下，無法視覺辨識顯示在配置平面Sq 上的虛擬物件＃1及＃2。
第13圖係顯示使用公告板渲染（Billboard Rendering）顯示虛擬物件＃1及＃2的例子。使用公告板渲染，使虛擬物件總是處於垂直於相機的視線向量的姿勢的狀態下進行渲染，在這個情況下，如第13圖所示，能夠視覺辨識虛擬物件。然而，虛擬物件＃1及＃2的深度方向的位置L1 及L2 偏離指定目標的領域的深度方向的位置Lp 。
複數視點計算部14即使在如上述視點大幅變化的時候，為了使虛擬物件的深度方向的位置與指定目標的領域的深度方向的位置一致，對1個指定目標會準備複數的配置平面，計算在各個配置平面上的虛擬物件的配置位置。複數視點計算部14將以下的第1視點計算處理14a及第2視點計算處理14b重複數次，重複的次數等於追加的配置平面的數目。
第1視點計算處理14a中，複數視點計算部14求出將配置位置計算部13所求出的配置平面Sq 以通過基準點p的軸為中心旋轉得到平面Sr 。
第2視點計算處理14b中，複數視點計算部14求出配置位置計算部13所求出的要配置的虛擬物件v1 、v2 、…、vt 的平面Sr 上的配置位置qr1 、qr2 、…、qrt 。
關於第1視點計算處理14a，也可以讓使用者本身透過拖放等的操作來設定平面Sr 。又，複數視點計算部14也可以具備自動求出平面Sr 的功能。自動求出方法的例子將在後述。
關於第2視點計算處理14b，複數視點計算部14能夠利用配置位置計算部13求出的虛擬物件v1 、v2 、…、vt 的配置位置q1 、q2 、…、qt 與基準點p在配置平面Sq 上的相對的位置關係，求出在平面Sr 上的配置位置qr1 、qr2 、…、qrt 。
又，上述的方法中，也可以求出暫時的配置位置後，再提供使用者介面讓使用者調整配置位置。又，複數視點計算部14也可以求出暫時的配置位置後，利用3維模型資料的點群資料、3維模型資料的平面資料、或者是這兩者的資料，做虛擬物件與實際空間中的對象物的衝突判定，並調整虛擬物件的配置位置。
第1視點計算處理14a中，說明自動求出平面Sr 的方法的例子。在此，說明平面Sr的數目為3的例子。平面的數目為3的情況下，複數視點計算部14中，會導出配置平面Sr1 、Sr2 、Sr3 以做為平面Sr 。第14圖係顯示複數視點計算部14導出的配置平面Sr1 。第15圖係顯示複數視點計算部14導出的配置平面Sr2 的例子。第16圖係顯示複數視點計算部14導出的配置平面Sr3 的例子。從第14圖至第16圖的例子顯示出考量從前後、上下、左右觀看指定目標的配置平面Sr1 、Sr2 、Sr3 。這個例子的情況下，配置平面Sr1 、Sr2 、Sr3 在無使用者操作下能夠由以下的方式求出。
第14圖所示的例子是將配置位置計算部13所導出的配置平面Sq 就這樣當作配置平面Sr1 處理的例子。
第15圖所示的配置平面Sr2 是將配置平面Sq ，以通過基準點p的水平軸為中心，旋轉到與配置位置計算部13所檢測出的水平面Sh 平行而得的平面。
第16圖所示的配置平面Sr3 是將配置平面Sq ，變更為垂直於配置平面Sr1 及配置平面Sr2 兩者且通過基準點p的平面。
如以上所述，配置位置計算部13計算複數的配置平面及配置位置，將計算結果做為創作資料輸出。實行渲染時，因應於相機的角度來切換要渲染的平面，藉此即使從複數的視點觀看，也能夠使有關於指定目標的複數的虛擬物件的深度方向的位置，與指定目標的深度方向的位置一致。 《1-1-10》創作資料
創作資料是創作部10所執行的創作的結果儲存到床存器105中的資料。創作資料包含例如以下的第1至第6的資訊I1～I6。
第1資訊I1是有關於指定目標的資訊，包括基準點p及基準平面Sp 的資訊。第2資訊I2是有關於配置平面的資訊，包括配置平面Sq 及平面Sr 的資訊。第3資訊I3是有關於虛擬物件的資訊，包括虛擬物件v1 、v2 、…的資訊。第4資訊I4是顯示虛擬物件的配置位置的資訊。第5資訊I5是顯示虛擬物件的配置範圍的資訊。第6資訊I6是顯示虛擬物件的姿勢的資訊。顯示姿勢的資訊也稱為顯示虛擬物件的面向方向的資訊。
創作部10所求出的虛擬物件的3維的配置位置會被關聯於配置平面、指定目標又或者是這兩者而被管理。 《1-2》動作
第17圖係顯示實施型態1的創作裝置的動作的流程圖。首先，在步驟S11，創作裝置1根據使用者的指示，啟動搭載了創作部10的功能的創作應用程式。
在步驟S12，創作裝置1取得被使用者以創作部10的使用者介面部11所指定的用於創作的影像、或者是3維資料（3維點群或平面），將取得的影像或3維資料顯示於顯示裝置104。使用者的指定可以透過使用者介面部11之滑鼠或觸控板等進行。
在步驟S13，創作裝置1特定出使用者以使用者介面部11所指定的影像或3維資料的指定目標。創作裝置1從使用者所指定的指定目標求出基準點p及基準平面Sp 。
在步驟S14，創作裝置1決定出要配置虛擬物件的配置平面Sq 。
在步驟S15，創作裝置1會接受使用者操作所輸入的虛擬物件的配置位置、尺寸、旋轉等的資訊。創作裝置1根據接收的資訊，計算出虛擬物件的3維的配置位置及姿勢等的資訊。
在步驟S16，創作裝置1為了對應複數視點的渲染，會多次（次數等於追加的平面數目）求出配置平面及置放於該配置平面的虛擬物件的配置位置等。此時，要追加的配置平面會有由使用者操作而在GUI上指定的情況以及非使用者操作而自動決定的情況。
在步驟S17，創作裝置1求出在複數平面的虛擬物件的創作資訊之後，將目前為止的處理所得到的有關創作的資訊，做為創作資料輸出，儲存於儲存器105。 《1-3》效果
如以上說明，實施型態1中，根據實際空間中的指定目標的對象物、以及關聯於該指定目標的對象物之虛擬物件來進行創作時，會透過指定目標特定部12從使用者的指定目標中求出基準點p及基準平面Sp 。因此，不受到指定目標的形狀及傾斜的影響，能夠使虛擬物件的深度方向的位置與指定目標的深度方向的位置一致。
又，透過複數視點計算部14，求出複數的虛擬物件的配置平面。因此，即使變更相機的方向或姿勢，也能夠使虛擬物件的深度方向的位置與指定目標的深度方向的位置一致。
又，即使在對於1個指定目標登錄複數的內容的情況下，即使變更相機的方向或姿勢，也能夠使虛擬物件的深度方向的位置與指定目標的深度方向的位置一致。 《2》實施型態2 《2-1》架構 《2-1-1》硬體架構
實施型態1的創作裝置1是生成輸出創作資料的裝置，但創作裝置也可以具備用以執行渲染的的架構。
第18圖係顯示本發明實施型態2的創作裝置2的硬體架構的例子。在第18圖中，與第1圖所示的構成要素相同或對應的構成要素會標示與第1圖所示的符號相同的符號。實施型態2的創作裝置2在具備感測器106及相機107這點與實施型態1的創作裝置1不同。
感測器106是IMU（Inertial Measurement Unit）、紅外線感測器、或者是LiDAR（Light Detection and Ranging）等。IMU是統合了加速度感測器、地磁感測器、陀螺儀感測器等的各種感測器之檢測裝置。相機107是拍攝裝置，例如單眼相機、立體相機、或者是RGBD相機等。
創作裝置2根據拍攝實際空間的相機107所輸出的影像資料推定出相機107的位置及姿勢，根據推定的相機107的位置及姿勢及創作資料，從第1配置平面及1個以上的第2配置平面之中選擇出要配置虛擬物件的顯示平面，再將根據影像資料及配置於顯示平面上的虛擬物件之顯示影像輸出。
創作裝置2將第1配置平面以及1個以上的第2配置平面之中，由相機107的位置與基準點p所決定的向量和第1配置平面所夾的角度、以及該向量與1個以上的第2配置平面所夾的角度之中最接近90°的配置平面，選擇為要配置虛擬物件的顯示平面。 《2-1-2》創作裝置2
第19圖係概略顯示實施型態2的創作裝置2的架構的機能方塊圖。在第19圖中，與第2圖所示的構成要素相同或對應的構成要素會標示與第2圖所示的符號相同的符號。實施型態2的創作裝置2在具備影像取得部40、將影像資料輸出至顯示裝置104的AR顯示部50這點與實施型態1的創作裝置1不同。
影像取得部40取得相機107輸出的影像資料。影像取得部40所取得的影像資料會輸入創作部10、辨識部30及AR顯示部50。使用從相機107輸出的影像資料來實行創作的情況下，從相機輸出的影像資料會輸入到創作部10。除此之外的情況下，從相機107輸出的影像資料會輸入到AR顯示部50。 《2-1-3》AR顯示部50
AR顯示部50會使用創作部10輸出的或者是儲存於儲存器105的創作資料來執行渲染，用以產生顯示出虛擬物件的影像資料於顯示裝置104。如第19圖所示，AR顯示部50具備位置姿勢推定部51、顯示表面特定部52、渲染部53。 ＜位置姿勢推定部51＞
位置姿勢推定部51推定連結到創作裝置2的相機107的位置及姿勢。藉由影像取得部40從相機107取得的拍攝影像的影像資料會給予辨識部30。辨識部30將影像資料做為輸入加以接收，根據接收的影像資料，辨識拍攝這個影像的相機的位置及姿勢。位置姿勢推定部51根據辨識部30的辨識結果，推定連接到創作裝置2的相機107的位置及姿勢。 ＜顯示平面特定部52＞
實施型態2中的創作資料有些情況下會因為複數視點計算部14而對於使用者指定的1個指定目標存在複數的配置平面。複數的配置平面例如第14圖至第16圖所示的配置平面Sr1 、Sr2 、Sr3 。顯示平面特地52會利用現在的相機107的位置及姿勢資訊，從複數的配置平面中決定出要成為渲染的對象的平面。將對應某個指定目標的基準點假設為p，將t個（t為正整數）顯示平面假設為S1 、S2 、…、St 。又，將相機107的3維位置及基準點p所決定出的向量、以及顯示平面S1 、S2 、…、St 之間夾的角度[°]分別假設為θ1 、θ2 、…、θt ，i假設為1以上t以下的整數，則要成為渲染的對象之平面SR 在0°＜θi ≦90°時，例如以下的式子（3）求出。相機107的3維位置及基準點p所決定的向量例如是連結相機107的光軸的位置與基準點p的方向的向量。
[式4]
Figure 02_image007
 （3）
其中90°＜θi ≦180°時，則要成為渲染的對象之平面SR 例如以下的式子（4）求出。
[式5]
Figure 02_image009
 （4）
求出平面SR 後，從創作資料取得包含於平面SR 的虛擬物件的配置位置等，輸出至渲染部53。也就是說，相機107的3維位置及基準點p所決定的向量、與顯示平面所夾的角度最接近90°的顯示平面會被選擇為平面SR 。 ＜渲染部53＞
渲染部53會根據由位置姿勢推定部51所取得的相機107的位置及姿勢、以及顯示平面特定部52所取得的虛擬物件的配置平面、配置位置的資訊，將虛擬物件的3維座標轉換成顯示裝置104的顯示器上的2維座標，在顯示裝置104的顯示器上將虛擬物件重疊顯示於轉換而得的2維座標上。 《2-1-4》顯示裝置104
顯示裝置104是用來渲染AR影像用的裝置。顯示裝置104例如PC（Personal Computer）的顯示器、智慧型手機的顯示器、平板電腦的顯示器、或頭戴式顯示器等。 《2-2》動作
第20圖係顯示實施型態2的創作裝置2的動作的流程圖。實施型態2的創作裝置2所進行的創作與實施型態1相同。
在步驟S21，創作裝置2啟動AR應用程式。
在步驟S22，創作資料啟動後，在步驟S23，創作裝置2取得做為顯示資料的創作資料。
在步驟S24，創作裝置2取得從連接到創作裝置2的相機107所輸出的拍攝影像的影像資料。
在步驟S25，創作裝置2推定相機107的位置及姿勢。
在步驟S26，創作裝置2從創作資料中取得有關於求出的指定目標的資訊，針對1個指定目標、或者是複數的指定目標分別進行步驟S27的處理。
在步驟S26，創作裝置2從對應到指定目標的複數的配置平面當中，特定出1個要顯示虛擬物件的配置平面。接著，創作裝置2從創作資料中取得配置在決定的配置平面上的虛擬物件的配置位置、尺寸、位置及姿勢等的資訊。接著，創作裝置2執行虛擬物件的渲染。
在步驟S27，創作裝置2繼續進行AR顯示處理，或者是判斷登錄的全部的指定目標是否處理結束。繼續的情況下，重複步驟S24至S27的處理。 《2-3》效果
如以上所述，實施型態2中，將成為虛擬物件的對象之指定目標、以及與其相關連的虛擬物件進行渲染時，會根據創作部10所輸出的創作資料來進行渲染。因此，渲染能夠不受到指定目標的形狀或傾斜的影響，使虛擬物件的深度方向的位置與指定目標的深度方向的位置一致。
又，藉由顯示平面特定部52，從複數視點計算部14求出的複數的內容配置平面中，決定出因應於相機107的位置、姿勢、或者是這兩者而渲染的平面。因此，即使相機107的位置、姿勢、或者是這兩者發生變化的情況下，也能夠使虛擬物件的深度方向的位置與指定目標的深度方向的位置一致。
1、2:創作裝置 10:創作部 11:使用者介面部 12:指定目標特定部 13:配置位置計算部 14:複數視點計算部 20:資料取得部 30:辨識部 40:影像取得部 50:AR顯示部 51:位置姿勢推定部 52:顯示平面特定部 53:渲染部 101:處理器 102:記憶體 103:輸入裝置 104:顯示裝置 105:儲存器 106:感測器 107:相機 p:基準點 Sp:基準平面 Sh:水平面 Sq:配置平面 Sr1、Sr2、Sr3:配置平面
第1圖係顯示本發明實施型態1的創作裝置的硬體架構的例子。 第2圖係概略顯示實施型態1的創作裝置的架構的機能方塊圖。 第3圖（A）至（D）係顯示實施型態1的創作裝置的資料取得部所處理的資料以及顯示拍攝實際空間的相機的位置及姿勢的參數。 第4圖係顯示存在於實際空間的對象物及其被付予的物體ID的例子 第5圖係顯示平面狀的虛擬物件的例子。 第6圖係顯示立體狀的虛擬物件的例子。 第7圖係顯示藉由以直線包圍指定目標的對象物上的領域這樣的使用者操作來指定出指定目標的第1指定方法。 第8圖係顯示藉由指定出指定目標的對象物上的點這樣的使用者操作來指定出指定目標的第2指定方法。 第9圖（A）係顯示被使用者操作所指定的指定目標的領域及基準點的例子，（B）係顯示基準點及基準平面的例子，（C）係顯示水平面的例子。 第10圖（A）、（B）、（C）顯示從基準平面及水平面導出配置平面的處理。 第11圖（A）及（B）係顯示要從基準點及基準平面導出要配置虛擬物件的配置平面的第1導出方法及第2導出方法。 第12圖（A）係顯示從靠自己這邊觀看指定目標的領域的情況下，能夠視覺辨識顯示在配置平面上的虛擬物件，（B）係顯示從上方觀看指定目標的領域的情況下，無法視覺辨識顯示在配置平面上的虛擬物件。 第13圖係顯示在第12圖（B）的狀態時，使用公告板渲染（Billboard Rendering）顯示虛擬物件的例子。 第14圖係顯示複數視點計算部導出的配置平面。 第15圖係顯示複數視點計算部導出的配置平面。 第16圖係顯示複數視點計算部導出的配置平面。 第17圖係顯示實施型態1的創作裝置的動作的流程圖。 第18圖係顯示本發明實施型態2的創作裝置的硬體架構的例子。 第19圖係概略顯示實施型態2的創作裝置的架構的機能方塊圖。 第20圖係顯示實施型態2的創作裝置的動作的流程圖。
1:創作裝置
10:創作部
11:使用者介面部
12:指定目標特定部
13:配置位置計算部
14:複數視點計算部
20:資料取得部
30:辨識部

Claims (8)

  1. 一種創作裝置，包括： 使用者介面部，接受指定出存在於實際空間的對象物的操作； 指定目標特定部，特定出關聯到指定目標的對象物之基準平面上的基準點，該指定目標的對象物是被該使用者介面部所指定的該對象物； 配置位置計算部，根據該基準平面及該基準點，決定出配置於包含有該基準點的位置並且能夠配置虛擬物件之第1配置平面；以及 複數視點計算部，決定出旋轉該第1配置平面而得，能夠配置該虛擬物件的1個以上的第2配置平面， 其中將關聯連結該第1配置平面與該虛擬物件的資訊、以及關聯連結該第2配置平面與該虛擬物件的資訊，做為創作資料輸出。
  2. 如申請專利範圍第1項所述之創作裝置，其中該使用者介面部所進行的該操作，在n為3以上的整數的情況下，是以n角形包圍住顯示該指定目標的對象物的領域之操作。
  3. 如申請專利範圍第2項所述之創作裝置，其中該指定目標特定部將包含有該n角形中的3個頂點的平面當中之一者做為該基準平面，根據該n角形的重心位置及該基準平面來決定出該基準點。
  4. 如申請專利範圍第1至3項任一項所述之創作裝置，其中該複數視點計算部藉由以包含該基準點的軸線為中心來旋轉該第1配置平面，決定出該1個以上的第2配置平面。
  5. 如申請專利範圍第1至3項任一項所述之創作裝置，更包括： 位置姿勢推定部，根據拍攝實際空間的相機所輸出的影像資料，推定該相機的位置及姿勢； 平面特定部，根據推定的該相機的該位置及該姿勢以及該創作資料，從該第1配置平面及該1個以上的第2配置平面當中，選擇出要配置該虛擬物件的顯示平面；以及 渲染部，輸出根據該影像資料及配置於該顯示平面上的該虛擬物件之顯示影像資料。
  6. 如申請專利範圍第5項所述之創作裝置，其中該顯示平面特定部會將該第1配置平面及該1個以上的第2配置平面當中，由該相機的位置及該基準點所決定的向量與該第1配置平面所夾的角度、該向量與該1個以上的第2配置平面所夾的角度最接近90°的配置平面，選擇為要顯示該虛擬物件的顯示平面。
  7. 一種創作方法，包括： 接受指定出存在於實際空間的對象物的操作； 特定出關聯到指定目標的對象物之基準平面上的基準點，該指定目標的對象物是被指定的該對象物； 根據該基準平面及該基準點，決定出配置於包含有該基準點的位置並且能夠配置虛擬物件之第1配置平面； 決定出旋轉該第1配置平面而得，能夠配置該虛擬物件的1個以上的第2配置平面；以及 將關聯連結該第1配置平面與該虛擬物件的資訊、以及關聯連結該第2配置平面與該虛擬物件的資訊，做為創作資料輸出。
  8. 一種儲存媒體，儲存有創作程式，該創作程式讓電腦執行以下的處理： 接受指定出存在於實際空間的對象物的操作； 特定出關聯到指定目標的對象物之基準平面上的基準點，該指定目標的對象物是被指定的該對象物； 根據該基準平面及該基準點，決定出配置於包含有該基準點的位置並且能夠配置虛擬物件之第1配置平面； 決定出旋轉該第1配置平面而得，能夠配置該虛擬物件的1個以上的第2配置平面；以及 將關聯連結該第1配置平面與該虛擬物件的資訊、以及關聯連結該第2配置平面與該虛擬物件的資訊，做為創作資料輸出。
TW108112464A 2019-01-11 2019-04-10 創作裝置、創作方法及儲存媒體 TW202026861A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/000687 WO2020144848A1 (ja) 2019-01-11 2019-01-11 オーサリング装置、オーサリング方法、及びオーサリングプログラム
WOPCT/JP2019/000687 2019-01-11

Publications (1)

Publication Number Publication Date
TW202026861A true TW202026861A (zh) 2020-07-16

Family

ID=71521116

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112464A TW202026861A (zh) 2019-01-11 2019-04-10 創作裝置、創作方法及儲存媒體

Country Status (6)

Country Link
US (1) US20210327160A1 (zh)
JP (1) JP6818968B2 (zh)
CN (1) CN113228117B (zh)
DE (1) DE112019006107T5 (zh)
TW (1) TW202026861A (zh)
WO (1) WO2020144848A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7361992B2 (ja) * 2021-04-15 2023-10-16 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
US20240005579A1 (en) * 2022-06-30 2024-01-04 Microsoft Technology Licensing, Llc Representing two dimensional representations as three-dimensional avatars

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
JP5674441B2 (ja) * 2010-12-02 2015-02-25 新日鉄住金ソリューションズ株式会社 情報処理システム、その制御方法及びプログラム
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8638986B2 (en) * 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
JP2013008257A (ja) * 2011-06-27 2013-01-10 Celsys:Kk 画像合成プログラム
EP2953099B1 (en) * 2013-02-01 2019-02-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
GB2522855A (en) * 2014-02-05 2015-08-12 Royal College Of Art Three dimensional image generation
US9830700B2 (en) * 2014-02-18 2017-11-28 Judy Yee Enhanced computed-tomography colonography
KR20150133585A (ko) * 2014-05-20 2015-11-30 삼성전자주식회사 3차원 영상의 단면 탐색 시스템 및 방법
US10304248B2 (en) * 2014-06-26 2019-05-28 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
JP2018084886A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
US11000270B2 (en) * 2018-07-16 2021-05-11 Ethicon Llc Surgical visualization platform

Also Published As

Publication number Publication date
JP6818968B2 (ja) 2021-01-27
CN113228117A (zh) 2021-08-06
CN113228117B (zh) 2024-07-16
JPWO2020144848A1 (ja) 2021-02-18
US20210327160A1 (en) 2021-10-21
WO2020144848A1 (ja) 2020-07-16
DE112019006107T5 (de) 2021-11-18

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
TWI544447B (zh) 擴增實境的方法及系統
KR102222974B1 (ko) 홀로그램 스냅 그리드
US11842514B1 (en) Determining a pose of an object from rgb-d images
US11645781B2 (en) Automated determination of acquisition locations of acquired building images based on determined surrounding room data
JP6423435B2 (ja) 物理的光景を表すための方法および装置
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
US9691152B1 (en) Minimizing variations in camera height to estimate distance to objects
CN112154486B (zh) 用于多用户增强现实购物的***和方法
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP2014525089A5 (zh)
JP2014525089A (ja) ３次元特徴シミュレーション
GB2553363B (en) Method and system for recording spatial information
JP7420135B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9672588B1 (en) Approaches for customizing map views
JP2009278456A (ja) 映像表示装置
CN115039166A (zh) 增强现实地图管理
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN109710054B (zh) 用于头戴式显示设备的虚拟物体呈现方法和装置
JP2011192220A (ja) 同一人判定装置、同一人判定方法および同一人判定プログラム
JP2023136238A (ja) 情報表示システム、情報表示方法、及びプログラム