TWI758869B - 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質 - Google Patents

互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI758869B
TWI758869B TW109132226A TW109132226A TWI758869B TW I758869 B TWI758869 B TW I758869B TW 109132226 A TW109132226 A TW 109132226A TW 109132226 A TW109132226 A TW 109132226A TW I758869 B TWI758869 B TW I758869B
Authority
TW
Taiwan
Prior art keywords
interactive object
image
virtual space
driving
target
Prior art date
Application number
TW109132226A
Other languages
English (en)
Other versions
TW202121155A (zh
Inventor
孫林
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202121155A publication Critical patent/TW202121155A/zh
Application granted granted Critical
Publication of TWI758869B publication Critical patent/TWI758869B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公開涉及一種互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質。所述方法包括：獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間；獲取目標對象在所述第一圖像中的第一位置；以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。

Description

互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質
本公開涉及電腦技術領域，具體涉及一種互動對象的驅動方法、裝置、設備以及儲存介質。
人機互動大多基於按鍵、觸控、語音進行輸入，透過在顯示螢幕上呈現圖像、文本或虛擬人物來對該輸入進行回應。目前虛擬人物多是在語音助理的基礎上改進得到的，只是輸出語音，用戶與虛擬人物的互動還停留表面上。
本公開實施例提供一種互動對象的驅動方案。
根據本公開的一方面，提供一種互動對象的驅動方法。所述方法包括：獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間；獲取目標對象在所述第一圖像中的第一位置；以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
結合本公開提供的任一實施方式，所述根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作，包括：根據所述映射關係，將所述第一位置映射到所述虛擬空間中，得到目標對象在所述虛擬空間中對應的第二位置；根據所述第二位置，驅動所述互動對象執行動作。
結合本公開提供的任一實施方式，所述根據所述第二位置，驅動所述互動對象執行動作，包括：根據所述第二位置，確定映射到虛擬空間中的目標對象和所述互動對象之間的第一相對角度；確定所述互動對象的一個或多個身體部位執行動作的權重；按照所述第一相對角度以及所述權重，驅動所述互動對象的各個身體部位轉動對應的偏轉角度，以使所述互動對象朝向所述映射到虛擬空間中的目標對象。
結合本公開提供的任一實施方式，所述虛擬空間的圖像資料和所述互動對象的圖像資料是由虛擬攝像設備獲取。
結合本公開提供的任一實施方式，所述根據所述第二位置，驅動所述互動對象執行動作，包括：將所述虛擬攝像設備在虛擬空間中的位置移動至所述第二位置處；將所述互動對象的視線設置為對準所述虛擬攝像設備。
結合本公開提供的任一實施方式，所述根據所述第二位置，驅動所述互動對象執行動作，包括：驅動所述互動對象執行將視線移動至所述第二位置處的動作。
結合本公開提供的任一實施方式，所述根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作，包括：根據所述映射關係，將所述第一圖像映射至所述虛擬空間中，得到第二圖像；將所述第一圖像劃分為多個第一子區域，並將所述第二圖像劃分為與所述多個第一子區域分別對應的多個第二子區域；在所述第一圖像的所述多個第一子區域中確定所述目標對象所在的目標第一子區域，根據所述目標第一子區域確定所述第二圖像的所述多個第二子區域中的目標第二子區域；根據所述目標第二子區域，驅動所述互動對象執行動作。
結合本公開提供的任一實施方式，所述根據所述目標第二子區域，驅動所述互動對象執行動作，包括：確定所述互動對象與所述目標第二子區域之間的第二相對角度；驅動所述互動對象轉動所述第二相對角度，以使所述互動對象朝向所述目標第二子區域。
結合本公開提供的任一實施方式，所述以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係，包括：確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係；確定所述第一圖像的像素平面在所述虛擬空間中對應的映射平面，所述映射平面為將所述第一圖像的像素平面投影到所述虛擬空間中得到的；確定所述互動對象與所述映射平面之間的軸向距離。
結合本公開提供的任一實施方式，所述確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係，包括：確定所述第一圖像的單位像素距離與真實空間單位距離的第一比例關係；確定真實空間單位距離與虛擬空間單位距離的第二比例關係；根據所述第一比例關係和所述第二比例關係，確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係。
結合本公開提供的任一實施方式，所述目標對象在所述第一圖像中的第一位置包括目標對象的臉部的位置及/或目標對象的身體的位置。
根據本公開的一方面，提供一種互動對象的驅動裝置。所述裝置包括：第一獲取單元，用以獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間；第二獲取單元，用以獲取目標對象在所述第一圖像中的第一位置；確定單元，用以以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；驅動單元，用以根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
根據本公開的一方面，提出一種顯示設備，所述顯示設備配置有透明顯示螢幕，所述透明顯示螢幕用以顯示互動對象，所述顯示設備執行如本公開提供的任一實施方式所述的方法，以驅動所述透明顯示螢幕中顯示的互動對象執行動作。
根據本公開的一方面，提供一種電子設備，所述設備包括儲存介質、處理器，所述儲存介質用以儲存可在處理器上運行的電腦指令，所述處理器用以在執行所述電腦指令時實現本公開提供的任一實施方式所述的互動對象的驅動方法。
根據本公開的一方面，提供一種電腦可讀儲存介質，其上儲存有電腦程式，所述程式被處理器執行時實現本公開提供的任一實施方式所述的互動對象的驅動方法。
本公開一個或多個實施例的互動對象的驅動方法、裝置、設備及電腦可讀儲存介質，透過獲取顯示設備周邊的第一圖像，並獲得與互動對象進行互動的目標對象在所述第一圖像中的第一位置，以及所述第一圖像與顯示設備所顯示的虛擬空間的映射關係，透過該第一位置以及該映射關係來驅動互動對象執行動作，使所述互動對象能夠保持與目標對象面對面，從而使目標對象與互動對象之間的互動更加逼真，提升了目標對象的互動體驗。
這裡將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本公開相一致的所有實施方式。相反，它們僅是與如所附發明申請專利範圍中所詳述的、本公開的一些方面相一致的裝置和方法的例子。
本文中術語「及/或」，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A及/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語「至少一種」表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
本公開至少一個實施例提供了一種互動對象的驅動方法，所述驅動方法可以由終端設備或服務器等電子設備執行。所述終端設備可以是固定終端或移動終端，例如手機、平板電腦、遊戲機、台式機、廣告機、一體機、車載終端等等。所述方法還可以透過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
在本公開實施例中，互動對象可以是任意一種能夠與目標對象進行互動的互動對象，其可以是虛擬人物，還可以是虛擬動物、虛擬物品、卡通形象等等其他能夠實現互動功能的虛擬對象。所述目標對象可以是用戶，也可以是機器人，還可以是其他智能設備。所述目標對象和所述互動對象之間的互動方式可以是主動互動方式，也可以是被動互動方式。一示例中，目標對象可以透過做出手勢或者肢體動作來發出需求，透過主動互動的方式來觸發互動對象與其互動。另一示例中，互動對象可以透過主動打招呼、提示目標對象做出動作等方式，使得目標對象採用被動方式與互動對象進行互動。
所述互動對象可以透過顯示設備進行展示，所述顯示設備可以是帶有顯示功能的電子設備，例如帶有顯示螢幕的一體機、投影儀、虛擬實境（Virtual Reality，VR）設備、擴增實境（Augmented Reality，AR）設備，也可以是具有特殊顯示效果的顯示設備。
圖1示出本公開至少一個實施例提出的顯示設備。如圖1所示，該顯示設備可以在顯示螢幕上顯示立體畫面，以呈現出具有立體效果的虛擬場景以及互動對象。圖1中顯示螢幕顯示的互動對象例如有虛擬卡通人物。該顯示螢幕也可以為透明顯示螢幕。在一些實施例中，本公開中所述的終端設備也可以為上述具有顯示螢幕的顯示設備，顯示設備中配置有記憶體和處理器，記憶體用以儲存可在處理器上運行的電腦指令，所述處理器用以在執行所述電腦指令時實現本公開提供的互動對象的驅動方法，以驅動顯示螢幕中顯示的互動對象執行動作。
在一些實施例中，響應於顯示設備接收到用以驅動互動對象進行動作、呈現表情或輸出語音的驅動資料，互動對象可以面向目標對象做出指定的動作、表情或發出指定的語音。可以根據位於顯示設備周邊的目標對象的動作、表情、身份、偏好等，生成驅動資料，以驅動互動對象進行回應，以為目標對象提供擬人化的服務。在互動對象與目標對象的互動過程中，互動對象可能無法準確獲知所述目標對象的位置，從而無法保持與所述目標對象面對面交流，導致互動對象與目標對象之間的互動生硬、不自然。基於此，本公開至少一個實施例提出一種互動對象的驅動方法，以提升目標對象與互動對象進行互動的體驗。
圖2示出根據本公開至少一個實施例的互動對象的驅動方法的流程圖，如圖2所示，所述方法包括步驟S201~步驟S204。
在步驟S201中，獲取顯示設備周邊（surroundings）的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間。
所述顯示設備周邊，包括所述顯示設備在任意方向上的設定範圍，任意方向例如可以包括所述顯示設備的前向、側向、後方、上方中的一個或多個方向。
可以利用圖像採集設備來採集第一圖像，所述圖像採集設備可以是顯示設備內置的攝像頭，也可以是獨立於顯示設備之外的攝像頭。所述圖像採集設備的數量可以為一個或多個。
可選的，第一圖像可以是視訊流中的一幀，也可以是即時獲取的圖像。
在本公開實施例中，所述虛擬空間可以是在顯示設備的螢幕上所呈現的虛擬場景；所述互動對象，可以是呈現在該虛擬場景中的虛擬人物、虛擬物品、卡通形象等等能夠與目標對象互動的虛擬對象。
在步驟S202中，獲取目標對象在所述第一圖像中的第一位置。
在本公開實施例中，可以透過將所述第一圖像輸入至預先訓練的神經網路模型，對所述第一圖像進行人臉及/或人體檢測，以檢測所述第一圖像中是否包含目標對象。其中，所述目標對象是指與所述互動對象進行互動的用戶對象，例如人、動物或者可以執行動作、指令的物體等等，本公開無意對目標對象的類型進行限制。
響應於所述第一圖像的檢測結果中包含人臉及/或人體（例如，人臉檢測框及/或人體檢測框的形式），透過獲知人臉及/或人體在第一圖像中的位置而確定所述目標對象在第一圖像中的第一位置。本領域技術人員應當理解，也可以透過其他方式獲得目標對象在第一圖像中的第一位置，本公開對此不進行限制。
在步驟S203中，以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係。
第一圖像與虛擬空間之間的映射關係，是指將第一圖像映射到虛擬空間時，所述第一圖像相對於所述虛擬空間所呈現的大小和所在的位置。以所述互動對象在所述虛擬空間中的位置為參考點來確定該映射關係，是指以所述互動對象的視角，映射到虛擬空間中的第一圖像所呈現的大小和所在的位置。
在步驟S204中，根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
根據目標對象在所述第一圖像中的第一位置，以及所述第一圖像與虛擬空間之間的映射關係，可以確定以互動對象的視角，映射在虛擬空間中的目標對象與互動對象之間的相對位置。根據該相對位置來驅動所述互動對象執行動作，例如驅動所述互動對象轉身、側身、轉頭等等，可以使所述互動對象保持與目標對象面對面，從而使目標對象與互動對象之間的互動更加真實，提升了目標對象的互動體驗。
本公開實施例中，可以獲取顯示設備周邊的第一圖像，並獲得與互動對象進行互動的目標對象在所述第一圖像中的第一位置，以及所述第一圖像與顯示設備所顯示的虛擬空間的映射關係；透過該第一位置以及該映射關係來驅動互動對象執行動作，使所述互動對象能夠保持與目標對象面對面，從而使目標對象與互動對象之間的互動更加逼真，提升了目標對象的互動體驗。
在本公開實施例中，所述虛擬空間和所述互動對象是將虛擬攝像設備獲取的圖像資料在所述顯示設備的螢幕上進行顯示而得到的。所述虛擬空間的圖像資料和所述互動對象的圖像資料可以是透過虛擬攝像設備獲取的，也可以是虛擬攝像設備調用的。虛擬攝像設備是應用於3D軟體、用以在螢幕中呈現3D圖像的相機應用或相機組件，虛擬空間是透過將所述虛擬攝像設備獲取的3D圖像顯示在螢幕上而得到的。因此目標對象的視角可以理解為3D軟體中虛擬攝像設備的視角。
目標對象與圖像採集設備所在的空間可以被理解成為真實空間，包含目標對象的第一圖像可以被理解為對應於像素空間；互動對象、虛擬攝像設備所對應的是虛擬空間。像素空間與真實空間的對應關係，可以根據目標對象與圖像採集設備的距離以及圖像採集設備的參數確定；而真實空間與虛擬空間的對應關係，可以透過顯示設備的參數以及虛擬攝像設備的參數來確定。在確定了像素空間與真實空間的對應關係以及真實空間與虛擬空間的對應關係後，可以確定像素空間與虛擬空間的對應關係，也即可以確定第一圖像與所述虛擬空間之間的映射關係。
在一些實施例中，可以以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係。
首先，確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係n。
其中，單位像素距離是指每個像素所對應的尺寸或者長度；虛擬空間單位距離是指虛擬空間中的單位尺寸或者單位長度。
在一個示例中，可以透過確定第一圖像的單位像素距離與真實空間單位距離之間的第一比例關係n1 ，以及真實空間單位距離與虛擬空間單位距離之間的第二比例關係n2 來確定比例關係n。其中，真實空間單位距離是指真實空間中的單位尺寸或者單位長度。在此，單位像素距離、虛擬空間單位距離、真實空間單位距離的大小可以預先設置，並且可以修改。
可以透過公式（1）計算得到第一比例關係n1 ：
Figure 02_image001
（1） 其中，d表示目標對象與圖像採集設備之間的距離，示例性的，可以取目標對象的臉部與圖像採集設備之間的距離，a表示第一圖像的寬度，b表示第一圖像的高度，
Figure 02_image005
，其中，FOV1 表示圖像採集設備在垂直方向的視場角度，con為角度到弧度轉變的常量值。
可以透過公式（2）計算得到第二比例關係n2 ：
Figure 02_image007
（2） 其中，
Figure 02_image009
表示顯示設備的螢幕高度，
Figure 02_image011
表示虛擬攝像設備高度，hv =tan((FOV2 /2)*con*dz *2)，其中，FOV2 表示虛擬攝像設備在垂直方向的視場角度，con為角度到弧度轉變的常量值，dz 表示互動對象與虛擬攝像設備之間的軸向距離。
所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係n可以透過公式（3）計算得到： n=n1 /n2 （3）
接下來，確定所述第一圖像的像素平面在所述虛擬空間中對應的映射平面，以及所述互動對象與所述映射平面之間的軸向距離fz 。
可以透過公式（4）計算得到所述映射平面與所述互動對象之間的軸向距離fz ：
Figure 02_image013
（4）
在確定了所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係n，以及在虛擬空間中映射平面與互動對象之間的軸向距離
Figure 02_image015
的情況下，即可以確定第一圖像與虛擬空間之間的映射關係。
在一些實施例中，可以根據所述映射關係，將所述第一位置映射到所述虛擬空間中，得到目標對象在所述虛擬空間中對應的第二位置，根據所述第二位置，驅動所述互動對象執行動作。
所述第二位置在虛擬空間中的坐標（fx、fy、fz）可以透過以下公式計算：
Figure 02_image017
Figure 02_image019
（5）
Figure 02_image021
其中，
Figure 02_image023
、
Figure 02_image025
為目標對象在第一圖像中的第一位置在x方向和y方向的坐標。
透過將目標對象在第一圖像中的第一位置映射到虛擬空間中，得到目標對象在虛擬空間中對應的第二位置，可以確定在虛擬空間中，目標對象與互動對象之間的相對位置關係。透過該相對位置關係驅動互動對象執行動作，可以使所述互動對象對於目標對象的位置變換產生動作反饋，從而提升了目標對象的互動體驗。
在一個示例中，可以透過以下方式來驅動互動對象執行動作，如圖4所示。
首先，在步驟S401，根據所述第二位置，確定映射到虛擬空間中的目標對象和所述互動對象之間的第一相對角度。所述第一相對角度指的是互動對象的正面朝向（人體矢狀剖面對應的方向）與第二位置之間的角度。如圖3所示，符號310表示互動對象，其正面朝向如圖3中的虛線所示；符號320表示第二位置所對應的坐標點（第二位置點）。第二位置點320與互動對象310所在位置點（例如可以將互動對象的橫向剖面上的重心確定為互動對象所在的位置點）之間的連線與互動對象的正面朝向之間的角度θ1即為第一相對角度。
接下來，在步驟S402中，確定所述互動對象的一個或多個身體部位各自執行動作的權重。互動對象的一個或多個身體部位是指執行動作所涉及的身體部位。互動對象完成一個動作，例如轉身90度以面對某一對象時，可以由下半身、上半身、頭部共同完成。例如，下半身偏轉30度，上半身偏轉60度，頭部偏轉90度，即可以實現互動對象轉身90度。其中，各個身體部位所偏轉的幅度比例，即為執行動作的權重。可以根據需要，將其中一個身體部位執行動作的權重設置的較高，則在執行動作時該身體部位的運動幅度較大，而其他身體部位的運動幅度較小，共同完成執行照定的動作。本領域技術人員應當理解，該步驟所包含的身體部位，以及各個身體部位所對應的權重，可以根據所執行的動作，以及對動作效果的要求具體設置，或者可以是渲染器(renderer)或者軟體內部自動設定的。
最後，在步驟S403中，按照所述第一相對角度以及所述互動對象的各個部位分別對應的權重，驅動所述互動對象的各個部位轉動對應的偏轉角度，以使所述互動對象朝向所述映射到虛擬空間中的目標對象。
在本公開實施例中，根據映射到虛擬空間中的目標對象與互動對象之間的相對角度，以及互動對象的各個身體部位執行動作的權重，驅動互動對象的各個身體部位轉動對應的偏轉角度。由此，互動對象透過不同身體部位進行不同幅度的運動，實現互動對象的身體自然、生動地朝向追蹤目標對象的效果，提高了目標對象的互動體驗。
在一些實施例中，可以將互動對象的視線設置為對準虛擬攝像設備。在確定了目標對象在虛擬空間中對應的第二位置後，將所述虛擬攝像設備在虛擬空間中的位置移動至所述第二位置處，由於互動對象的視線被設置為始終對準虛擬攝像設備，對於目標對象來說，會產生互動對象的視線始終跟隨著自己的感覺，從而可以提升目標對象的互動體驗。
在一些實施例中，可以驅動互動對象執行將視線移動至所述第二位置處的動作，使互動對象的視線追蹤目標對象，從而提升目標對象的互動感受。
在本公開實施例中，還可以透過以下方式驅動所述互動對象執行動作，如圖5所示。
首先，在步驟S501中，根據所述第一圖像與虛擬空間之間的映射關係，將所述第一圖像映射至所述虛擬空間中，得到第二圖像。由於上述映射關係是以互動對象在所述虛擬空間中的位置為參考點的，也即是以互動對象的視角出發的，因此可以將所述第一圖像映射至所述虛擬空間後得到的第二圖像的範圍作為互動對象的視野範圍。
接下來，在步驟S502中，將所述第一圖像劃分為多個第一子區域，並將所述第二圖像劃分為與所述多個第一子區域對應的多個第二子區域。此處的對應是指，所述第一子區域的數目與所述第二子區域的數目是相等的，各個第一子區域與各個第二子區域的大小呈相同的比例關係，並且每個第一子區域在第二圖像中都有對應的第二子區域。
由於映射至虛擬空間中的第二圖像的範圍作為互動對象的視野範圍，因此對於第二圖像的劃分，相當於對互動對象的視野範圍進行劃分。互動對象的視線可以對準視野範圍中的各個第二子區域。
然後，在步驟S503中，在所述第一圖像的所述多個第一子區域中確定所述目標對象所在的目標第一子區域，根據所述目標第一子區域確定所述第二圖像的所述多個第二子區域中的目標第二子區域。可以將所述目標對象的人臉所在的第一子區域作為目標第一子區域，也可以將目標對象的身體所在的第一子區域作為目標第一子區域，還可以將目標對象的人臉和身體所在的第一子區域共同作為目標第一子區域。所述目標第一子區域中可以包含多個第一子區域。
接著，在步驟S504中，在確定了目標第二子區域後，可以根據目標第二子區域所在的位置驅動互動對象執行動作。
在本公開實施例中，透過對互動對象的視野範圍進行分割，透過目標對象在第一圖像中的位置確定該目標對象在互動對象的視野範圍中的相應位置區域，能夠快速、有效地驅動互動對象執行動作。
如圖6所示，除了包括圖5的步驟S501到S504，還包括步驟S505。在步驟S505中，在確定了目標第二子區域的情況下，可以確定互動對象與所述目標第二子區域之間的第二相對角度，透過驅動互動對象轉動該第二相對角度，使互動對象朝向目標第二子區域。透過這種方式，實現互動對象隨著目標對象的移動而始終與目標對象保持面對面的效果。該第二相對角度的確定方式類似於第一相對角度的確定方式。例如，將目標第二子區域的中心與互動對象所在位置點之間的連線，與互動對象的正面朝向之間的角度，確定為第二相對角度。該第二相對角度的確定方式並不限於此。
在一個示例中，可以驅動互動對象整體轉動該第二相對角度，以使所述互動對象朝向目標第二子區域；也可以根據以上所述，按照所述第二相對角度以及所述互動對象的各個部位對應的權重，驅動所述互動對象的各個部位轉動對應的偏轉角度，以使所述互動對象朝向所述目標第二子區域。
在一些實施例中，所述顯示設備可以是透明的顯示螢幕，其上所顯示的互動對象包括具有立體效果的虛擬形象。在目標對象出現在顯示設備的後面，也即在互動對象的背後時，目標對象在第一圖像中的第一位置映射在虛擬空間中的第二位置，處於互動對象的後方，透過互動對象的正面朝向與映射的第二位置之間的第一相對角度驅動所述互動對象進行動作，可以使互動對象轉身面對所述目標對象。
圖7示出根據本公開至少一個實施例的互動對象的驅動裝置的結構示意圖，如圖7所示，該裝置可以包括：第一獲取單元701、第二獲取單元702、確定單元703和驅動單元704。
其中，第一獲取單元701，用以獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間；第二獲取單元702，用以獲取目標對象在所述第一圖像中的第一位置；確定單元703，用以以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；驅動單元704，用以根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
在一些實施例中，驅動單元704具體用以：根據所述映射關係，將所述第一位置映射到所述虛擬空間中，得到目標對象在所述虛擬空間中對應的第二位置；根據所述第二位置，驅動所述互動對象執行動作。
在一些實施例中，驅動單元704在用以根據所述第二位置，驅動所述互動對象執行動作時，具體用以：根據所述第二位置，確定映射到虛擬空間中的目標對象和所述互動對象之間的第一相對角度；確定所述互動對象的一個或多個身體部位執行動作的權重；按照所述第一相對角度以及所述權重，驅動所述互動對象的各個身體部位轉動對應的偏轉角度，以使所述互動對象朝向所述映射到虛擬空間中的目標對象。
在一些實施例中，所述虛擬空間的圖像資料和所述互動對象的圖像資料是由虛擬攝像設備獲取。
在一些實施例中，驅動單元704在用以根據所述第二位置，驅動所述互動對象執行動作時，具體用以：將所述虛擬攝像設備在虛擬空間中的位置移動至所述第二位置處；將所述互動對象的視線設置為對準所述虛擬攝像設備。
在一些實施例中，驅動單元704在用以根據所述第二位置，驅動所述互動對象執行動作時，具體用以：驅動所述互動對象執行將視線移動至所述第二位置處的動作。
在一些實施例中，驅動單元704具體用以：根據所述映射關係，將所述第一圖像映射至所述虛擬空間中，得到第二圖像；將所述第一圖像劃分為多個第一子區域，並將所述第二圖像劃分為與所述多個第一子區域分別對應的多個第二子區域；在所述第一圖像中確定所述目標對象所在的目標第一子區域，根據所述目標第一子區域確定對應的目標第二子區域；根據所述目標第二子區域，驅動所述互動對象執行動作。
在一些實施例中，驅動單元704在用以根據所述目標第二子區域，驅動所述互動對象執行動作時，具體用以：確定所述互動對象與所述目標第二子區域之間的第二相對角度；驅動所述互動對象轉動所述第二相對角度，以使所述互動對象朝向所述目標第二子區域。
在一些實施例中，確定單元703具體用以：確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係；確定所述第一圖像的像素平面在所述虛擬空間中對應的映射平面，所述映射平面為將所述第一圖像的像素平面投影到所述虛擬空間中得到的；確定所述互動對象與所述映射平面之間的軸向距離。
在一些實施例中，確定單元703在用以確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係時，具體用以：確定所述第一圖像的單位像素距離與真實空間單位距離的第一比例關係；確定真實空間單位距離與虛擬空間單位距離的第二比例關係；根據所述第一比例關係和所述第二比例關係，確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係。
在一些實施例中，所述目標對象在所述第一圖像中的第一位置包括目標對象的臉部的位置及/或目標對象的身體的位置。
本說明書至少一個實施例還提供了一種電子設備，如圖8所示，所述設備包括儲存介質801、處理器802、網路介面803，儲存介質801用以儲存可在處理器上運行的電腦指令，處理器用以在執行所述電腦指令時實現本公開任一實施例所述的互動對象的驅動方法。本說明書至少一個實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，所述程式被處理器執行時實現本公開任一實施例所述的互動對象的驅動方法。
本領域技術人員應明白，本說明書一個或多個實施例可提供為方法、系統或電腦程式產品。因此，本說明書一個或多個實施例可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本說明書一個或多個實施例可採用在一個或多個其中包含有電腦可用程式代碼的電腦可用儲存介質（包括但不限於磁碟磁碟記憶體、CD-ROM、光學記憶體等）上實施的電腦程式產品的形式。
本說明書中的各個實施例均採用漸進的方式描述，各個實施例之間相同相似的部分互相參見即可，每個實施例重點說明的都是與其他實施例的不同之處。尤其，對於資料處理設備實施例而言，由於其基本相似於方法實施例，因此描述地較為簡單，相關之處參見方法實施例的部分說明即可。
上述對本說明書特定實施例進行了描述。其它實施例在所附發明申請專利範圍的範圍內。在一些情況下，在發明申請專利範圍中記載的行為或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外，在附圖中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中，多任務處理和並行處理也是可以的或者可能是有利的。
本說明書中描述的主題及功能操作的實施例可以在以下中實現：數位電子電路、有形體現的電腦軟體或韌體、包括本說明書中公開的結構及其結構性等同物的電腦硬體、或者它們中的一個或多個的組合。本說明書中描述的主題的實施例可以實現為一個或多個電腦程式，即編碼在有形非暫時性程式載體上以被資料處理裝置執行或控制資料處理裝置的操作的電腦程式指令中的一個或多個模組。可替代地或附加地，程式指令可以被編碼在人工生成的傳播訊號上，例如機器生成的電、光或電磁訊號，該訊號被生成以將資訊編碼並傳輸到合適的接收機裝置以由資料處理裝置執行。電腦儲存介質可以是機器可讀儲存設備、機器可讀儲存基板、隨機或串行存取記憶體設備、或它們中的一個或多個的組合。
本說明書中描述的處理及邏輯流程可以由執行一個或多個電腦程式的一個或多個可編程電腦執行，以透過根據輸入資料進行操作並生成輸出來執行相應的功能。所述處理及邏輯流程還可以由專用邏輯電路—例如FPGA（場可程式邏輯閘陣列  ）或ASIC（特殊應用積體電路）來執行，並且裝置也可以實現為專用邏輯電路。
適合用以執行電腦程式的電腦包括，例如通用及/或專用微處理器，或任何其他類型的中央處理單元。通常，中央處理單元將從唯讀記憶體及/或隨機存取記憶體接收指令和資料。電腦的基本組件包括用以實施或執行指令的中央處理單元以及用以儲存指令和資料的一個或多個記憶體設備。通常，電腦還將包括用以儲存資料的一個或多個大容量儲存設備，例如磁碟、磁光碟或光碟等，或者電腦將可操作地與此大容量儲存設備耦接以從其接收資料或向其傳送資料，亦或兩種情況兼而有之。然而，電腦不是必須具有這樣的設備。此外，電腦可以嵌入在另一設備中，例如移動電話、個人數位助理（PDA）、移動音頻或視訊播放器、遊戲操縱臺、全球定位系統（GPS）接收機、或例如通用串列匯流排（USB）閃存驅動器的便攜式儲存設備，僅舉幾例。
適合於儲存電腦程式指令和資料的電腦可讀介質包括所有形式的非易失性記憶體、媒介和記憶體設備，例如包括半導體記憶體設備（例如EPROM、EEPROM和閃存設備）、磁碟（例如內部硬盤或可移動盤）、磁光碟以及CD ROM和DVD-ROM盤。處理器和記憶體可由專用邏輯電路補充或併入專用邏輯電路中。
雖然本說明書包含許多具體實施細節，但是這些不應被解釋為限制任何發明的範圍或所要求保護的範圍，而是主要用以描述特定發明的具體實施例的特徵。本說明書內在多個實施例中描述的某些特徵也可以在單個實施例中被組合實施。另一方面，在單個實施例中描述的各種特徵也可以在多個實施例中分開實施或以任何合適的子組合來實施。此外，雖然特徵可以如上所述在某些組合中起作用並且甚至最初如此要求保護，但是來自所要求保護的組合中的一個或多個特徵在一些情況下可以從該組合中去除，並且所要求保護的組合可以指向子組合或子組合的變型。
類似地，雖然在附圖中以特定順序描繪了操作，但是這不應被理解為要求這些操作以所示的特定順序執行或順次執行、或者要求所有例示的操作被執行，以實現期望的結果。在某些情況下，多任務和並行處理可能是有利的。此外，上述實施例中的各種系統模組和組件的分離不應被理解為在所有實施例中均需要這樣的分離，並且應當理解，所描述的程式組件和系統通常可以一起集成在單個軟體產品中，或者封裝成多個軟體產品。
由此，主題的特定實施例已被描述。其他實施例在所附發明申請專利範圍的範圍以內。在某些情況下，發明申請專利範圍中記載的動作可以以不同的順序執行並且仍實現期望的結果。此外，附圖中描繪的處理並非必需所示的特定順序或順次順序，以實現期望的結果。在某些實現中，多任務和並行處理可能是有利的。
以上所述僅為本說明書一個或多個實施例的較佳實施例而已，並不用以限制本說明書一個或多個實施例，凡在本說明書一個或多個實施例的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書一個或多個實施例保護的範圍之內。
S201~S204、S401~S403、S501~S505:步驟 310:互動對象 320:第二位置點 701:第一獲取單元 702:第二獲取單元 703:確定單元 704:驅動單元 801:儲存介質 802:處理器 803:網路介面
為了更清楚地說明本說明書一個或多個實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本說明書一個或多個實施例中記載的一些實施例，對於本領域普通技術人員來講，在不付出進步性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。 圖1示出根據本公開至少一個實施例的互動對象的驅動方法中顯示設備的示意圖。 圖2示出根據本公開至少一個實施例的互動對象的驅動方法的流程圖。 圖3示出根據本公開至少一個實施例的第二位置與互動對象的相對位置示意圖。 圖4示出根據本公開至少一個實施例的互動對象的驅動方法的流程圖。 圖5示出根據本公開至少一個實施例的互動對象的驅動方法的流程圖。 圖6示出根據本公開至少一個實施例的互動對象的驅動方法的流程圖。 圖7示出根據本公開至少一個實施例的互動對象的驅動裝置的結構示意圖。 圖8示出根據本公開至少一個實施例的電子設備的結構示意圖。
S201~S204:步驟

Claims (20)

  1. 一種互動對象的驅動方法，包括：獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間，其中，所述互動對象為能夠以主動方式或被動方式與目標對象進行互動的虛擬對象；獲取所述目標對象在所述第一圖像中的第一位置；以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；以及根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
  2. 如請求項1所述的互動對象的驅動方法，其中所述根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作，包括：根據所述映射關係，將所述第一位置映射到所述虛擬空間中，得到目標對象在所述虛擬空間中對應的第二位置；以及根據所述第二位置，驅動所述互動對象執行動作。
  3. 如請求項2所述的互動對象的驅動方法，其中所述根據所述第二位置，驅動所述互動對象執行動作，包括：根據所述第二位置，確定映射到虛擬空間中的目標對象和所述互動對象之間的第一相對角度；確定所述互動對象的一個或多個身體部位執行動作的權重；以及 按照所述第一相對角度以及所述權重，驅動所述互動對象的各個身體部位轉動對應的偏轉角度，以使所述互動對象朝向所述映射到虛擬空間中的目標對象。
  4. 如請求項2所述的互動對象的驅動方法，其中所述虛擬空間的圖像資料和所述互動對象的圖像資料是由虛擬攝像設備獲取，其中所述根據所述第二位置，驅動所述互動對象執行動作，包括：將所述虛擬攝像設備在所述虛擬空間中的位置移動至所述第二位置處；以及將所述互動對象的視線設置為對準所述虛擬攝像設備。
  5. 如請求項2所述的互動對象的驅動方法，其中所述根據所述第二位置，驅動所述互動對象執行動作，包括：驅動所述互動對象執行將視線移動至所述第二位置處的動作。
  6. 如請求項1所述的互動對象的驅動方法，其中所述根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作，包括：根據所述映射關係，將所述第一圖像映射至所述虛擬空間中，得到第二圖像；將所述第一圖像劃分為多個第一子區域，並將所述第二圖像劃分為與所述多個第一子區域分別對應的多個第二子區域； 在所述第一圖像的所述多個第一子區域中確定所述目標對象所在的目標第一子區域，根據所述目標第一子區域確定所述第二圖像的所述多個第二子區域中的目標第二子區域；以及根據所述目標第二子區域，驅動所述互動對象執行動作。
  7. 如請求項6所述的互動對象的驅動方法，其中所述根據所述目標第二子區域，驅動所述互動對象執行動作，包括：確定所述互動對象與所述目標第二子區域之間的第二相對角度；以及驅動所述互動對象轉動所述第二相對角度，以使所述互動對象朝向所述目標第二子區域。
  8. 如請求項1至7任一項所述的互動對象的驅動方法，其中所述以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係，包括：確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係；確定所述第一圖像的像素平面在所述虛擬空間中對應的映射平面，所述映射平面為將所述第一圖像的像素平面投影到所述虛擬空間中得到的；以及確定所述互動對象與所述映射平面之間的軸向距離。
  9. 如請求項8所述的互動對象的驅動方法，其中所述確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係，包括： 確定所述第一圖像的單位像素距離與真實空間單位距離的第一比例關係；確定真實空間單位距離與虛擬空間單位距離的第二比例關係；以及根據所述第一比例關係和所述第二比例關係，確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係。
  10. 如請求項1至7任一項所述的互動對象的驅動方法，其中所述目標對象在所述第一圖像中的第一位置包括目標對象的臉部的位置及/或目標對象的身體的位置。
  11. 一種互動對象的驅動裝置，包括：第一獲取單元，用以獲取顯示設備周邊的第一圖像，所述顯示設備用以顯示互動對象和所述互動對象所在的虛擬空間，其中，所述互動對象為能夠以主動方式或被動方式與目標對象進行互動的虛擬對象；第二獲取單元，用以獲取所述目標對象在所述第一圖像中的第一位置；確定單元，用以以所述互動對象在所述虛擬空間中的位置為參考點，確定所述第一圖像與所述虛擬空間之間的映射關係；以及驅動單元，用以根據所述第一位置以及所述映射關係，驅動所述互動對象執行動作。
  12. 如請求項11所述的互動對象的驅動裝置，其中所述驅動單元更用以：根據所述映射關係，將所述第一位置映射到所述虛擬空間中，得到目標對象在所述虛擬空間中對應的第二位置；以及根據所述第二位置，驅動所述互動對象執行動作。
  13. 如請求項12所述的互動對象的驅動裝置，其中所述驅動單元在用以根據所述第二位置，驅動所述互動對象執行動作時，更用以：根據所述第二位置，確定映射到虛擬空間中的目標對象和所述互動對象之間的第一相對角度；確定所述互動對象的一個或多個身體部位執行動作的權重；以及按照所述第一相對角度以及所述權重，驅動所述互動對象的各個身體部位轉動對應的偏轉角度，以使所述互動對象朝向所述映射到虛擬空間中的目標對象。
  14. 如請求項12所述的互動對象的驅動裝置，其中所述虛擬空間的圖像資料和所述互動對象的圖像資料是由虛擬攝像設備獲取；其中所述驅動單元在用以根據所述第二位置，驅動所述互動對象執行動作時，更用以：將所述虛擬攝像設備在所述虛擬空間中的位置移動至所述第二位置處；以及 將所述互動對象的視線設置為對準所述虛擬攝像設備。
  15. 如請求項11所述的互動對象的驅動裝置，其中所述驅動單元更用以：根據所述映射關係，將所述第一圖像映射至所述虛擬空間中，得到第二圖像；將所述第一圖像劃分為多個第一子區域，並將所述第二圖像劃分為與所述多個第一子區域分別對應的多個第二子區域；在所述第一圖像的所述多個第一子區域中確定所述目標對象所在的目標第一子區域，根據所述目標第一子區域確定所述第二圖像的所述多個第二子區域中的目標第二子區域；以及根據所述目標第二子區域，驅動所述互動對象執行動作。
  16. 如請求項15所述的互動對象的驅動裝置，其中所述驅動單元在用以根據所述目標第二子區域，驅動所述互動對象執行動作時，更用以：確定所述互動對象與所述目標第二子區域之間的第二相對角度；以及驅動所述互動對象轉動所述第二相對角度，以使所述互動對象朝向所述目標第二子區域。
  17. 如請求項11至16任一項所述的互動對象的驅動裝置，其中所述確定單元更用以：確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係； 確定所述第一圖像的像素平面在所述虛擬空間中對應的映射平面，所述映射平面為將所述第一圖像的像素平面投影到所述虛擬空間中得到的；以及確定所述互動對象與所述映射平面之間的軸向距離。
  18. 如請求項17所述的互動對象的驅動裝置，其中所述確定單元在用以確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係時，更用以：確定所述第一圖像的單位像素距離與真實空間單位距離的第一比例關係；確定真實空間單位距離與虛擬空間單位距離的第二比例關係；以及根據所述第一比例關係和所述第二比例關係，確定所述第一圖像的單位像素距離與虛擬空間單位距離之間的比例關係。
  19. 一種電子設備，包括儲存介質、處理器，所述儲存介質用以儲存可在處理器上運行的電腦指令，所述處理器用以在執行所述電腦指令時實現請求項1至9任一項所述的方法。
  20. 一種電腦可讀儲存介質，其上儲存有電腦程式，其中所述程式被處理器執行時實現請求項1至9任一所述的方法。
TW109132226A 2019-11-28 2020-09-18 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質 TWI758869B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911193989.1 2019-11-28
CN201911193989.1A CN110968194A (zh) 2019-11-28 2019-11-28 交互对象的驱动方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
TW202121155A TW202121155A (zh) 2021-06-01
TWI758869B true TWI758869B (zh) 2022-03-21

Family

ID=70032085

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109132226A TWI758869B (zh) 2019-11-28 2020-09-18 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質

Country Status (6)

Country Link
US (1) US20220215607A1 (zh)
JP (1) JP2022526512A (zh)
KR (1) KR20210131414A (zh)
CN (1) CN110968194A (zh)
TW (1) TWI758869B (zh)
WO (1) WO2021103613A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互***、电子设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN114385000A (zh) * 2021-11-30 2022-04-22 达闼机器人有限公司 智能设备控制方法、装置、服务器和存储介质
CN114385002B (zh) * 2021-12-07 2023-05-12 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004840A (zh) * 2009-08-28 2011-04-06 深圳泰山在线科技有限公司 一种基于计算机实现虚拟拳击的方法和***
TWM440803U (en) * 2011-11-11 2012-11-11 Yu-Chieh Lin Somatosensory deivice and application system thereof
TWI423114B (zh) * 2011-02-25 2014-01-11 Liao Li Shih 互動式裝置及其運作方法
US20180353869A1 (en) * 2015-12-17 2018-12-13 Lyrebird Interactive Holdings Pty Ltd Apparatus and method for an interactive entertainment media device
US20190196690A1 (en) * 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244322A (ja) * 2009-04-07 2010-10-28 Bitto Design Kk コミュニケーションキャラクター装置、及びそのプログラム
CN101930284B (zh) * 2009-06-23 2014-04-09 腾讯科技（深圳）有限公司 一种实现视频和虚拟网络场景交互的方法、装置和***
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
EP3062219A1 (en) * 2015-02-25 2016-08-31 BAE Systems PLC A mixed reality system and method for displaying data therein
CN105183154B (zh) * 2015-08-28 2017-10-24 上海永为科技有限公司 一种虚拟对象和实景影像的互动展示方法
US10282912B1 (en) * 2017-05-26 2019-05-07 Meta View, Inc. Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning
CN107277599A (zh) * 2017-05-31 2017-10-20 珠海金山网络游戏科技有限公司 一种虚拟现实的直播方法、装置和***
CN107341829A (zh) * 2017-06-27 2017-11-10 歌尔科技有限公司 虚拟现实交互部件的定位方法和装置
JP2018116684A (ja) * 2017-10-23 2018-07-26 株式会社コロプラ 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
WO2019130992A1 (ja) * 2017-12-26 2019-07-04 株式会社Ｎｔｔドコモ 情報処理装置
CN108227931A (zh) * 2018-01-23 2018-06-29 北京市商汤科技开发有限公司 用于控制虚拟人物的方法、设备、***、程序和存储介质
JP7041888B2 (ja) * 2018-02-08 2022-03-25 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム
JP2019197499A (ja) * 2018-05-11 2019-11-14 株式会社スクウェア・エニックス プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法
CN108805989B (zh) * 2018-06-28 2022-11-11 百度在线网络技术（北京）有限公司 场景穿越的方法、装置、存储介质和终端设备
CN109658573A (zh) * 2018-12-24 2019-04-19 上海爱观视觉科技有限公司 一种智能门锁***
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004840A (zh) * 2009-08-28 2011-04-06 深圳泰山在线科技有限公司 一种基于计算机实现虚拟拳击的方法和***
TWI423114B (zh) * 2011-02-25 2014-01-11 Liao Li Shih 互動式裝置及其運作方法
TWM440803U (en) * 2011-11-11 2012-11-11 Yu-Chieh Lin Somatosensory deivice and application system thereof
US20180353869A1 (en) * 2015-12-17 2018-12-13 Lyrebird Interactive Holdings Pty Ltd Apparatus and method for an interactive entertainment media device
US20190196690A1 (en) * 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality

Also Published As

Publication number Publication date
WO2021103613A1 (zh) 2021-06-03
TW202121155A (zh) 2021-06-01
KR20210131414A (ko) 2021-11-02
CN110968194A (zh) 2020-04-07
US20220215607A1 (en) 2022-07-07
JP2022526512A (ja) 2022-05-25

Similar Documents

Publication Publication Date Title
TWI758869B (zh) 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質
US20220091725A1 (en) Method, apparatus and device for view switching of virtual environment, and storage medium
CN107852573B (zh) 混合现实社交交互
US9952820B2 (en) Augmented reality representations across multiple devices
WO2019153836A1 (zh) 虚拟环境中虚拟对象的姿态确定方法、装置及介质
US20160300340A1 (en) Reference coordinate system determination
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
US11335008B2 (en) Training multi-object tracking models using simulation
CN110473293A (zh) 虚拟对象处理方法及装置、存储介质和电子设备
US11302023B2 (en) Planar surface detection
CN106843790B (zh) 一种信息展示***和方法
CN106536004B (zh) 增强的游戏平台
CN109448050A (zh) 一种目标点的位置的确定方法及终端
KR102148103B1 (ko) 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
CN115500083A (zh) 使用神经网络的深度估计
Cheok et al. Combined wireless hardware and real-time computer vision interface for tangible mixed reality
KR101741149B1 (ko) 가상 카메라의 시점 제어 방법 및 장치
Chung Metaverse XR Components
CN117784987A (zh) 虚拟控制方法、显示设备、电子设备及介质
WO2016057997A1 (en) Support based 3d navigation