JP2020129176A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2020129176A JP2020129176A JP2019020428A JP2019020428A JP2020129176A JP 2020129176 A JP2020129176 A JP 2020129176A JP 2019020428 A JP2019020428 A JP 2019020428A JP 2019020428 A JP2019020428 A JP 2019020428A JP 2020129176 A JP2020129176 A JP 2020129176A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- recommended
- information
- avatar
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
この技術は、情報処理装置と情報処理方法とプログラムに関し、仮想空間内での他者の視点情報から有意な観察視点情報を得られるようにする。 This technology enables a significant observation viewpoint information to be obtained from the viewpoint information of another person in the virtual space, regarding the information processing device, the information processing method, and the program.
従来、仮想空間に設けた対象物をユーザ操作に応じて制御することが行われている。例えば特許文献１では、仮想空間にゲームプレイヤーのアバターを設けて、アバターによってキャラクタオブジェクトを操作することで、エンタテイメント性を向上させることが行われている。
Conventionally, an object provided in a virtual space is controlled according to a user operation. For example, in
ところで、仮想空間に観察者のアバターを設けて観察対象を視認する場合、アバターの位置を視点位置として、アバターの位置から観察対象を観察することが可能となる。しかし、アバターの位置が自由に移動できると、いずれの位置から観察対象を観察することが望ましいか容易に判別できない。 By the way, when an observer's avatar is provided in a virtual space to visually recognize an observation target, it is possible to observe the observation target from the position of the avatar with the position of the avatar as the viewpoint position. However, if the position of the avatar can move freely, it cannot be easily determined from which position it is desirable to observe the observation target.
そこで、この技術では、仮想空間における観察対象をいずれの位置から観察することが望ましいか容易に判別できる情報処理装置と情報処理方法とプログラムを提供することを目的とする。 Therefore, it is an object of this technology to provide an information processing apparatus, an information processing method, and a program that can easily determine from which position it is desirable to observe an observation target in a virtual space.
この技術の第１の側面は、
仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と姿勢に基づいて生成した推奨視点情報を含める視点画像生成部
を備える情報処理装置にある。
The first aspect of this technology is
An information processing apparatus includes a viewpoint image generation unit that includes recommended viewpoint information generated based on the position and orientation of another avatar provided in the virtual space in the viewpoint image of the viewpoint of the self-avatar provided in the virtual space. ..
この技術では、ユーザの位置と姿勢が検出部で検出されて、検出結果に基づき判別した自己アバターの視点の視点画像が視点画像生成部で生成される。また、アバターの位置と姿勢に基づいて推奨視点設定部で設定された推奨視点を示す推奨視点情報が推奨視点情報生成部で生成されて、視点画像生成部は生成した視点画像に推奨視点情報を含める。 In this technique, the position and orientation of the user are detected by the detection unit, and the viewpoint image of the viewpoint of the self-avatar determined based on the detection result is generated by the viewpoint image generation unit. Also, recommended viewpoint information indicating the recommended viewpoint set by the recommended viewpoint setting unit based on the position and posture of the avatar is generated by the recommended viewpoint information generation unit, and the viewpoint image generation unit adds the recommended viewpoint information to the generated viewpoint image. include.
推奨視点設定部は、自己アバターの視点である視点画像の再生時における他者アバターの位置と姿勢に基づいて推奨視点を設定する。また、推奨視点設定部は、自己アバターの視点である視点画像の再生時における推奨視点を、過去の再生時における他者アバターの位置と姿勢に基づいて設定してもよく、他者アバターの属性を用いて推奨視点を設定してもよい。また、推奨視点設定部は、推奨視点を複数設定した場合に推奨視点の優先度を設定する。 The recommended viewpoint setting unit sets a recommended viewpoint based on the position and posture of another avatar at the time of reproducing the viewpoint image which is the viewpoint of the self avatar. Also, the recommended viewpoint setting unit may set the recommended viewpoint at the time of reproducing the viewpoint image, which is the viewpoint of the self avatar, based on the position and the posture of the other avatar at the time of the past reproduction. The recommended viewpoint may be set using. Further, the recommended viewpoint setting unit sets the priority of the recommended viewpoint when a plurality of recommended viewpoints are set.
推奨視点情報生成部は、推奨視点の縮小画像を推奨視点情報として生成してもよく、推奨視点の方向を示す視線方向表示を推奨視点情報として生成してもよい。また、推奨視点情報生成部は、過去の再生時における他者アバターの位置と姿勢に基づいて設定された推奨視点を、再生位置と共に示した情報を推奨視点情報として生成してもよい。さらに、推奨視点情報生成部は、過去の再生時に生成されて記憶された推奨視点情報を用いてもよい。 The recommended viewpoint information generation unit may generate a reduced image of the recommended viewpoint as the recommended viewpoint information, or may generate a gaze direction display indicating the direction of the recommended viewpoint as the recommended viewpoint information. Further, the recommended viewpoint information generation unit may generate information indicating the recommended viewpoint set based on the position and posture of the other person's avatar at the time of past reproduction together with the reproduction position, as the recommended viewpoint information. Furthermore, the recommended viewpoint information generation unit may use the recommended viewpoint information generated and stored at the time of past reproduction.
さらに、視点画像生成部は、ユーザ操作に応じて、自己アバターの視点の視点画像を推奨視点設定部で設定された推奨視点の視点画像に切り替えるようにしてもよい。 Further, the viewpoint image generation unit may switch the viewpoint image of the viewpoint of the self avatar to the viewpoint image of the recommended viewpoint set by the recommended viewpoint setting unit according to the user operation.
この技術の第２の側面は、
視点画像生成部によって、仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と視線に基づいて生成した推奨視点情報を含めること
を含む情報処理方法にある。
The second aspect of this technology is
Information processing including inclusion of recommended viewpoint information generated based on the position and line of sight of another avatar provided in the virtual space in the viewpoint image of the viewpoint of the self-avatar provided in the virtual space by the viewpoint image generation unit On the way.
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．システムの構成
２．第１の実施の形態の構成
３．第１の実施の形態の動作
４．第２の実施の形態の構成
５．第２の実施の形態の動作
６．変形例
Hereinafter, modes for carrying out the present technology will be described. The description will be given in the following order.
1.
＜１．システムの構成＞
図１は、本技術の情報処理装置を用いたシステムの構成を例示している。システム１０は、モデル生成装置と情報処理装置と表示装置を有している。なお、図１では、モデル生成装置２０にユーザ毎に設けた情報処理装置３０-0〜３０-nが接続されて、情報処理装置３０-0〜３０-nには表示装置４０-0〜４０-nが接続されている場合を例示している。
<1. System configuration>
FIG. 1 illustrates a configuration of a system using an information processing device of the present technology. The
モデル生成装置２０は、仮想空間に配置する観察対象モデルと情報処理装置３０-0〜３０-nから供給されたユーザの位置や姿勢の検出結果を示す検出情報に基づくユーザ毎のアバターを生成する。モデル生成装置２０は、三次元空間に観察対象モデルとアバターを設けた合成モデルを生成して、合成モデルを示す合成モデル情報を情報処理装置３０-0〜３０-nへ出力する。なお、以下の説明では、情報処理装置３０-0と表示装置４０-0は自己が用いる装置、情報処理装置３０-1〜３０-nと表示装置４０-1〜４０-nは他者が用いる装置とする。また、システム１０は、後述する非リアルタイム再生では、モデル生成装置２０と情報処理装置３０-0と表示装置４０-0で構成されてもよい。
The
図２は合成モデル情報が示す仮想空間を例示している。空間モデルＶＳ内には、観察対象モデルＯＢとアバターＭＡ-0〜ＭＡ-nが設けられている。 FIG. 2 illustrates the virtual space indicated by the synthetic model information. An observation target model OB and avatars MA-0 to MA-n are provided in the space model VS.
情報処理装置３０-0は、合成モデル情報に基づき、観察者の位置や姿勢の検出結果が示す仮想空間内のアバターの視点画像を生成する。また、情報処理装置３０-0は、他者の位置や姿勢を示す仮想空間内のアバター（以下「他者アバターＭＡ-1〜ＭＡ-n」という）の視点に基づいて生成した推奨視点情報を、観察者の位置や姿勢を示す仮想空間内のアバター（以下「自己アバターＭＡ-0」という）の視点で取得された視点画像に含めた画像信号を表示装置４０-0へ出力する。なお、視点画像は動画像に限らず静止画像であってもよい。表示装置４０-0は、情報処理装置３０-0から供給された画像信号に基づき画像表示を行い、推奨視点情報を含む視点画像を表示する。 The information processing device 30-0 generates a viewpoint image of the avatar in the virtual space indicated by the detection result of the position and posture of the observer based on the synthetic model information. Further, the information processing device 30-0 generates the recommended viewpoint information generated based on the viewpoint of the avatar (hereinafter, referred to as “others avatars MA-1 to MA-n”) in the virtual space indicating the position and posture of the other person. , The image signal included in the viewpoint image acquired from the viewpoint of the avatar in the virtual space (hereinafter referred to as “self-avatar MA-0”) indicating the position and posture of the observer is output to the display device 40-0. The viewpoint image is not limited to a moving image and may be a still image. The display device 40-0 displays an image based on the image signal supplied from the information processing device 30-0, and displays a viewpoint image including recommended viewpoint information.
情報処理装置３０-1〜３０-nは、情報処理装置３０-0と同様に構成されており、合成モデル情報に基づき、他者の位置や姿勢の検出結果が示す視点画像を他者毎に生成する。また、情報処理装置３０-1〜３０-nは、仮想空間内の他者アバターの視点に基づく推奨視点情報を、他者の視点で取得された視点画像に含めた画像信号を表示装置４０-1〜４０-nへ出力する。表示装置４０-1〜４０-nは、情報処理装置３０-1〜３０-nから供給された画像信号に基づき画像表示を行い、推奨視点情報を含む視点画像を表示する。 The information processing devices 30-1 to 30-n are configured in the same manner as the information processing device 30-0, and based on the synthetic model information, the viewpoint image indicated by the detection result of the position and posture of the other person is displayed for each other person. To generate. In addition, the information processing devices 30-1 to 30-n display the image signal including the recommended viewpoint information based on the viewpoint of the other person's avatar in the virtual space in the viewpoint image acquired from the other person's viewpoint. Output to 1-40-n. The display devices 40-1 to 40-n display images based on the image signals supplied from the information processing devices 30-1 to 30-n, and display viewpoint images including recommended viewpoint information.
また、合成モデル情報の非リアルタイム再生では、事前に合成モデル情報を再生して検出された他者の位置や姿勢の検出結果を示す検出情報を合成モデル情報と同期させて記憶する。また、合成モデル情報の非リアルタイム再生では、記憶されている検出情報に基づいて推奨視点情報を生成する。このような非リアルタイム再生では、システム１０に情報処理装置３０-1〜３０-nが設けられていなくとも、推奨視点情報を観察者に提示できる。
In the non-real-time reproduction of the synthetic model information, the detection information indicating the detection result of the position and the posture of the other person detected by reproducing the synthetic model information in advance is stored in synchronization with the synthetic model information. In the non-real time reproduction of the synthetic model information, the recommended viewpoint information is generated based on the stored detection information. In such non-real time reproduction, the recommended viewpoint information can be presented to the observer even if the
＜２．第１の実施の形態の構成＞
次に、第１の実施の形態の構成について説明する。第１の実施の形態ではリアルタイム再生を行う場合を示している。
<2. Configuration of First Embodiment>
Next, the configuration of the first embodiment will be described. The first embodiment shows a case where real-time reproduction is performed.
図３は、第１の実施の形態の構成を例示している。モデル生成装置２０-aは、情報記憶部２１とモデル生成部２２およびモデル合成部２５を有している。情報記憶部２１には、仮想空間の設定や仮想空間内で観測対象モデルを生成するための情報が記憶されている。観測対象モデルを生成するための情報としては、仮想空間内での観測対象の動き、例えばスポーツ分野における選手の動きや医療分野における手術動作、工事現場における作業動作、厨房等における調理動作等を示す情報が記憶されている。また、実世界での動作をマルチカメラで撮像して、仮想空間で再生可能とした情報、仮想ゲームにおけるプレイキャラクタの動作を示す情報等が記憶されてもよい。また、観測対象は動きを生じる場合に限らず静止物体等であってもよい。
FIG. 3 illustrates the configuration of the first embodiment. The model generation device 20-a includes an
モデル生成部２２は、情報記憶部２１に記憶されている情報を用いてモデル生成を行う。モデル生成部２２は、例えば三次元の仮想空間を示す空間モデルや観測対象を示す三次元の観測対象モデルを生成する。また、モデル生成部２２は、情報処理装置３０-0〜３０-nから供給された検出情報等に基づきアバターとアバターの視線モデルを生成する。モデル生成部２２は、生成したモデルをモデル合成部２５へ出力する。
The
モデル合成部２５は、モデル合成処理を行い、空間モデル内に観測対象モデルを配置する。また、モデル合成部２５は、情報処理装置３０-0〜３０-nから供給された検出情報等に基づきアバターを空間モデル内に配置する。モデル合成部２５は、観測対象モデルとアバターが空間モデル内に配置された合成モデルを生成して、この合成モデルと視線モデルを示す合成モデル情報を情報処理装置３０-0〜３０-nへ出力する。
The
情報処理装置３０-0は、検出部３１、推奨視点設定部３２、操作部３３、視点制御部３４、推奨視点情報生成部３５および視点画像生成部３６を有している。なお、情報処理装置３０-1〜３０-nは、情報処理装置３０-0と同様に構成されており説明は省略する。
The information processing device 30-0 includes a
検出部３１は、観察者の姿勢と位置を検出する。検出部３１は、例えば３軸ジャイロ・センサーと３軸加速度センサーと３軸地磁気センサーなど複数のセンサー素子を組み合わせて構成して、観察者の姿勢と位置を検出する。また、後述するように表示装置４０-0として観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる場合、複数のセンサー素子をヘッドマウントディスプレイに設けて観察者の位置や頭の向きを示す検出情報を生成する。また、検出部３１は実空間を撮像して得られる画像から観察者の姿勢と位置を検出してもよい。この場合、実空間を撮像する撮像装置をヘッドマウントディスプレイに設ける。検出部３１は、観察者の姿勢と位置を検出して、検出結果を示す検出情報を視点制御部３４へ出力する。
The
推奨視点設定部３２は、自己アバターの視点である視点画像の再生時における他者アバターの位置と姿勢に基づいて推奨視点を設定する。推奨視点設定部３２は、例えばモデル生成装置２０-aから供給された合成モデル情報で示された視線モデル（アバターの位置と視線方向を示すモデル）に基づいて判別した同時刻において他者アバターが最も多く注目している視点としてもよく、注目しているアバターの割合に応じて１または複数の推奨視点を設定してもよい。また、複数の推奨視点を設定する場合には、推奨視点の優先度を注目しているアバターの割合等に応じて設定してもよい。また、推奨視点設定部３２は、時系列の他者のアバターの視点に基づき、合成モデル情報の再生時における推奨時刻と該推奨時刻における推奨視点を設定してもよい。さらに、推奨視点は、他者のアバターに関する属性（例えば他者の性別，他者が教師あるいは生徒のいずれであるか等）に応じて推奨視点を設定してもよい。推奨視点設定部３２は、推奨視点を示す推奨視点情報を視点制御部３４と推奨視点情報生成部３５へ出力する。
The recommended
操作部３３はユーザ操作に応じた操作信号を生成する。例えば操作部３３は、視点を推奨視点に移動するユーザの移動指示操作に応じた操作信号を視点制御部３４へ出力する。また、操作部３３は、推奨視点への移動指示操作の他に、推奨視点以外への空間モデルＶＳ内での任意の位置に自由に視点移動操作も行う。
The
視点制御部３４は、検出部３１からの検出情報に基づき後述する視点画像生成部３６を制御して、観察者に対応する自己アバターの視点で得られる仮想空間内の画像を生成させる。また、視点制御部３４は、操作部３３からの操作信号に応じて、推奨視点設定部３２からの推奨視点情報に基づき、後述する視点画像生成部３６を制御して、推奨視点で得られる仮想空間内の画像を生成させる。さらに視点制御部３４は、検出部３１からの検出情報や操作部３３からの視点操作情報、および自己の視点を推奨視点とするユーザ指示をモデル生成装置２０-aのモデル生成部２２へ出力する。
The
推奨視点情報生成部３５は、推奨視点設定部３２で設定された推奨視点に関する推奨視点情報を生成する。推奨視点情報生成部３５は、例えば推奨視点で得られる仮想空間内の縮小画像あるいは視点が推奨視点に最も近い他者アバターで得られる画像の縮小画像等を推奨視点情報とする。また、推奨視点情報生成部３５は、推奨視点の方向を示す視線方向表示である推奨視線ベクトル表示等を推奨視点情報としてもよい。推奨視点情報生成部３５は、生成した推奨視点情報を視点画像生成部３６へ出力する。
The recommended viewpoint
視点画像生成部３６は、視点制御部３４からの制御信号に基づき、観察者に対応する自己アバターの視点で得られる仮想空間内の視点画像を生成する。また、視点画像生成部３６は、生成した視点画像に推奨視点情報生成部３５で生成された推奨視点情報を重畳させた画像信号を表示装置４０-0へ出力する。
The viewpoint
表示装置４０-0としては、例えば観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる。表示装置４０-0は、情報処理装置３０-0で生成された画像信号に基づき、仮想空間内の自己アバターの視点画像を表示する。また、視点画像に推奨視点情報が重畳されており、推奨視点情報によって推奨視点を観察者が判別できるようにする。 As the display device 40-0, for example, a head mounted display used while being attached to the observer's head is used. The display device 40-0 displays the viewpoint image of the self avatar in the virtual space based on the image signal generated by the information processing device 30-0. In addition, recommended viewpoint information is superimposed on the viewpoint image so that the observer can distinguish the recommended viewpoint from the recommended viewpoint information.
＜３．第１の実施の形態の動作＞
次に第１の実施の形態の動作について説明する。図４は、第１の実施の形態の動作を例示したフローチャートである。システム１０はステップＳＴ１で表示画像の生成処理のループを開始する。
<3. Operation of First Embodiment>
Next, the operation of the first embodiment will be described. FIG. 4 is a flowchart illustrating the operation of the first embodiment. The
ステップＳＴ２ａでシステム１０は観察者の位置と姿勢を検出する。システム１０の情報処理装置３０-0は、観察者の位置と姿勢を検出してステップＳＴ３ａに進む。
In step ST2a, the
ステップＳＴ３ａでシステム１０はアバターを生成する。システム１０のモデル生成装置２０-aは、仮想空間における観察者を示す自己アバターを生成してステップＳＴ４ａに進む。
In step ST3a, the
ステップＳＴ４ａでシステム１０は視線モデルを生成する。システム１０のモデル生成装置２０-aは、観察者の位置と姿勢に基づき、自己アバターの視線を示す視線モデルを生成してステップＳＴ６に進む。なお、第２の実施の形態で説明するように、非リアルタイム再生を行う場合に観察者の検出情報を利用する場合は、ステップＳＴ４ａからステップＳＴ５ａに進み、観察者の位置と姿勢の検出結果を示す検出情報を記憶してからステップＳＴ６に進むようにしてもよい。
In step ST4a, the
ステップＳＴ２ｂでシステム１０は他者の位置と姿勢を検出する。システム１０の情報処理装置３０-1〜３０-nは、他者毎の位置と姿勢を検出してステップＳＴ３ｂに進む。
In step ST2b, the
ステップＳＴ３ｂでシステム１０はアバターを生成する。システム１０のモデル生成装置２０-aは、仮想空間における他者を示す他者アバターを生成してステップＳＴ４ｂに進む。
In step ST3b, the
ステップＳＴ４ｂでシステム１０は視線モデルを生成する。システム１０のモデル生成装置２０-aは、他者の位置と姿勢に基づき、他者アバターの視線を示す視線モデルを生成してステップＳＴ６に進む。なお、第２の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップＳＴ４ｂからステップＳＴ５ｂに進み、他者の位置と姿勢の検出結果を示す検出情報を記憶してからステップＳＴ６に進むようにしてもよい。
In step ST4b, the
ステップＳＴ２ｃでシステム１０は観察対象モデルを生成する。システム１０のモデル生成装置２０-aは、観察者や他者によって観察される三次元の観察対象モデルを生成してステップＳＴ３ｃに進む。
In step ST2c, the
ステップＳＴ３ｃでシステム１０は空間モデルを生成する。システム１０のモデル生成装置２０-aは、観察対象モデルおよび自己アバターと他者アバターを配置する仮想空間を示す空間モデルを生成してステップＳＴ６に進む。
In step ST3c, the
ステップＳＴ６でシステム１０はモデル合成処理を行う。システム１０のモデル生成装置２０-aは、仮想空間を示す空間モデル内に観察対象モデルと観察者および他者の位置に応じて自己アバターと他者アバターを配置する。さらに、モデル生成装置２０-aは、観察者および他者の姿勢に応じて自己アバターと他者アバターの姿勢を設定して合成モデル情報を生成してステップＳＴ７に進む。
In step ST6, the
ステップＳＴ７でシステム１０は視点画像を生成する。システム１０の情報処理装置３０-0は、ステップＳＴ５６生成された合成モデル情報と観察者の位置と姿勢に基づき、自己アバターの視点である視点画像（観察者視点画像ともいう）を生成する。さらに、情報処理装置３０-0は、他者の視線モデルに基づき推奨視点を設定して、推奨視点に関する推奨視点情報を観察者視点画像に重畳した表示画像の画像信号を生成してステップＳＴ８に進み、表示画像の生成処理のループを終了する。また、ステップＳＴ１〜ステップＳＴ８の処理を繰り返し行うことで、リアルタイム再生を行う。
In step ST7, the
次に、モデル生成装置と情報処理装置の動作について個々に説明する。図５は、モデル生成装置の動作を例示したフローチャートであり、位置や姿勢の変化により検出情報が変更された場合にアバターを更新する場合を例示している。 Next, the operations of the model generation device and the information processing device will be individually described. FIG. 5 is a flowchart illustrating the operation of the model generation device, and illustrates the case where the avatar is updated when the detection information is changed due to a change in position or posture.
ステップＳＴ１１でモデル生成装置２０-aは観察対象モデルと空間モデルを生成する。モデル生成装置２０-aは、観察者と他者が観察する観察対象モデルと、対象物体モデルが配置される三次元の仮想空間を示す空間モデルを生成してステップＳＴ１２に進む。 In step ST11, the model generation device 20-a generates an observation target model and a space model. The model generation device 20-a generates an observation target model observed by an observer and another person, and a spatial model indicating a three-dimensional virtual space in which the target object model is arranged, and proceeds to step ST12.
ステップＳＴ１２でモデル生成装置２０-aは検出情報の取得を開始する。モデル生成装置２０-aは情報処理装置３０-0〜３０-nから供給される検出情報の取得を開始してステップＳＴ１３に進む。 In step ST12, the model generation device 20-a starts acquisition of detection information. The model generation device 20-a starts acquisition of the detection information supplied from the information processing devices 30-0 to 30-n and proceeds to step ST13.
ステップＳＴ１３でモデル生成装置２０-aはアバター生成処理を行う。モデル生成装置２０-aは、情報処理装置３０-0を利用する観察者や情報処理装置３０-1〜３０-nを利用する他者毎にアバターとアバターの視線を示す視線モデルを生成してステップＳＴ１５に進む。なお、第２の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップＳＴ１３からステップＳＴ１４に進み、検出情報を記憶してからステップＳＴ１５に進むようにしてもよい。 In step ST13, the model generation device 20-a performs an avatar generation process. The model generation apparatus 20-a generates an avatar and a line-of-sight model showing the line of sight of the avatar for each observer who uses the information processing apparatus 30-0 and each other who uses the information processing apparatuses 30-1 to 30-n. It proceeds to step ST15. As described in the second embodiment, when performing non-real time reproduction, the process may proceed from step ST13 to step ST14, store the detection information, and then proceed to step ST15.
ステップＳＴ１５でモデル生成装置２０-aは、検出情報が変更されたか判別する。モデル生成装置２０-aは、観察者あるいは他者の位置や姿勢が変化して検出情報が変更された場合にステップＳＴ１６に進み、検出情報が変更されていない場合はステップＳＴ１８に進む。 In step ST15, the model generation device 20-a determines whether the detection information has been changed. The model generation device 20-a proceeds to step ST16 when the detection information is changed due to a change in the position or posture of the observer or another person, and proceeds to step ST18 when the detection information is not changed.
ステップＳＴ１６でモデル生成装置２０-aはアバター更新処理を行う。モデル生成装置２０-aは、変更後の検出情報に基づき対応するアバターの位置や姿勢を調整する。また、アバターの位置や姿勢の調整に応じて視線モデルを更新してステップＳＴ１８に進む。なお、第２の実施の形態で説明するように、非リアルタイム再生を行う場合にはステップＳＴ１６からステップＳＴ１７に進み、変更後の検出情報を記憶してからステップＳＴ１８に進むようにしてもよい。 In step ST16, the model generation device 20-a performs an avatar update process. The model generation device 20-a adjusts the position and posture of the corresponding avatar based on the changed detection information. In addition, the line-of-sight model is updated according to the adjustment of the position and posture of the avatar, and the process proceeds to step ST18. As described in the second embodiment, when performing non-real time reproduction, the process may proceed from step ST16 to step ST17, store the changed detection information, and then proceed to step ST18.
ステップＳＴ１８でモデル生成装置２０-aはモデル合成処理を行う。モデル生成装置２０-aは,ステップＳＴ１１で生成した空間モデルに観察対象モデルを配置する。さらにモデル生成装置２０-aは、ステップＳＴ１３で生成したアバターやステップＳＴ１６で位置や姿勢を更新したアバターを、検出情報に基づいた位置や姿勢で空間モデルに配置して合成モデルを生成してステップＳＴ１９に進む。 In step ST18, the model generation device 20-a performs model synthesis processing. The model generation device 20-a arranges the observation target model in the spatial model generated in step ST11. Further, the model generation device 20-a arranges the avatar generated in step ST13 and the avatar whose position and posture are updated in step ST16 in the spatial model at the position and posture based on the detection information to generate a synthetic model, and Go to ST19.
ステップＳＴ１９でモデル生成装置２０-aは合成モデル情報を出力する。モデル生成装置２０-aはステップＳＴ１８で生成した合成モデルと視線モデルを示す合成モデル情報を情報処理装置３０-0〜３０-nに出力する。 In step ST19, the model generation device 20-a outputs synthetic model information. The model generation device 20-a outputs the synthetic model information indicating the synthetic model and the line-of-sight model generated in step ST18 to the information processing devices 30-0 to 30-n.
図６は、情報処理装置の動作を例示したフローチャートである。なお、図６では、例えば情報処理装置３０-0の動作を示している。 FIG. 6 is a flowchart illustrating the operation of the information processing device. Note that FIG. 6 illustrates the operation of the information processing device 30-0, for example.
ステップＳＴ２１で情報処理装置３０-0は検出情報を出力する。情報処理装置３０-0は、検出部３１で検出した位置や姿勢の検出結果を示す検出情報を生成してモデル生成装置２０-aへ出力してステップＳＴ２２に進む。
In step ST21, the information processing device 30-0 outputs the detection information. The information processing device 30-0 generates detection information indicating the detection result of the position and orientation detected by the
ステップＳＴ２２で情報処理装置３０-0は合成モデル情報を取得する。情報処理装置３０-0は、仮想空間を示す空間モデル内に観察対象モデルと自己および他者のアバターが配置された合成モデルおよび視線モデルを示す合成モデル情報をモデル生成装置２０-aから取得してステップＳＴ２３に進む。 In step ST22, the information processing device 30-0 acquires the synthetic model information. The information processing device 30-0 acquires, from the model generation device 20-a, synthetic model information indicating the line-of-sight model and the synthetic model in which the observation target model, the avatars of the self and another are arranged in the spatial model indicating the virtual space. And proceeds to step ST23.
ステップＳＴ２３で情報処理装置３０-0は視線画像を生成する。情報処理装置３０-0は、合成モデル情報から自己アバターの視線の画像である視点画像を生成してステップＳＴ２４に進む。 In step ST23, the information processing device 30-0 generates a line-of-sight image. The information processing device 30-0 generates a viewpoint image which is an image of the line of sight of the self avatar from the synthetic model information, and proceeds to step ST24.
ステップＳＴ２４で情報処理装置３０-0は推奨視点情報を生成する。情報処理装置３０-0は、アバター毎の視線モデルに基づき推奨視点を設定して、推奨視点を観察者が判別可能とするための推奨視点情報を生成してステップＳＴ２５に進む。 In step ST24, the information processing device 30-0 generates recommended viewpoint information. The information processing device 30-0 sets the recommended viewpoint based on the line-of-sight model of each avatar, generates recommended viewpoint information for allowing the observer to distinguish the recommended viewpoint, and proceeds to step ST25.
ステップＳＴ２５で情報処理装置３０-0は表示画像を生成する。情報処理装置３０-0は、ステップＳＴ２３で生成した視点画像に、ステップＳＴ２４で生成した推奨視点情報を重畳させて表示画像を生成する。さらに、情報処理装置３０-0は、生成した表示画像を示す画像信号を表示装置４０-0へ出力してステップＳＴ２６に進む。 In step ST25, the information processing device 30-0 generates a display image. The information processing device 30-0 generates a display image by superimposing the recommended viewpoint information generated in step ST24 on the viewpoint image generated in step ST23. Further, the information processing device 30-0 outputs an image signal indicating the generated display image to the display device 40-0 and proceeds to step ST26.
ステップＳＴ２６で情報処理装置３０-0は推奨視点へ移動するか判別する。情報処理装置３０-0は、推奨視点への移動操作が観察者によって行われた場合にステップＳＴ２７に進み、移動操作が行われていない場合はステップＳＴ２８に進む。 In step ST26, the information processing device 30-0 determines whether to move to the recommended viewpoint. The information processing device 30-0 proceeds to step ST27 when the observer performs the movement operation to the recommended viewpoint, and proceeds to step ST28 when the movement operation is not performed.
ステップＳＴ２７で情報処理装置３０-0は移動処理を行う。情報処理装置３０-0は、自己アバターの視点が推奨視点となるように自己アバターの位置と姿勢を変更する。また、変更後のアバターに対応する検出情報をモデル生成装置２０-aへ出力してステップＳＴ２２に戻る。 In step ST27, the information processing device 30-0 performs a moving process. The information processing device 30-0 changes the position and posture of the self avatar so that the viewpoint of the self avatar becomes the recommended viewpoint. Further, the detection information corresponding to the changed avatar is output to the model generation device 20-a, and the process returns to step ST22.
ステップＳＴ２８で情報処理装置３０-0は位置姿勢の変更があったか判別する。情報処理装置３０-0は、観察者の位置や姿勢の変更がない場合はステップＳＴ２２に戻り、変更を生じた場合にはステップＳＴ２９に進む。 In step ST28, the information processing device 30-0 determines whether the position and orientation have been changed. The information processing device 30-0 returns to step ST22 when the observer's position or posture is not changed, and proceeds to step ST29 when the observer's position or posture is changed.
ステップＳＴ２９で情報処理装置３０-0は新たな位置検出情報を出力する。情報処理装置３０-0は、観察者の変更後の位置や姿勢を示す検出情報を生成してモデル生成装置２０-aへ出力してステップＳＴ２２に戻る。 In step ST29, the information processing device 30-0 outputs new position detection information. The information processing device 30-0 generates detection information indicating the changed position and orientation of the observer, outputs the detection information to the model generation device 20-a, and returns to step ST22.
図７は、システムの動作例を示している。仮想空間を示す空間モデルＶＳでは、図７の（ａ）に示すように、観察対象モデルＯＢと自己アバターＭＡ-0と他者アバターＭＡ-1,ＭＡ-2が、自己および他者の位置や姿勢に応じて設けられている。情報処理装置３０-0は、自己アバターＭＡ-0の視点である図７の（ｂ）に示す視点画像Ｐ0を生成する。また、他者アバターＭＡ-1,ＭＡ-2の視点が例えば同一であり図７の（ｃ）に示す視点画像Ｐaとなる場合、視点画像Ｐaを縮小して推奨視点情報ＰＲaとして視点画像Ｐ0に重畳させて、図７の（ｄ）に示す表示画像を観察者に提示する。 FIG. 7 shows an operation example of the system. In the space model VS indicating the virtual space, as shown in (a) of FIG. 7, the observation target model OB, the self avatar MA-0, and the other person's avatars MA-1, MA-2 are located at the positions of the self and the other person. It is provided according to the posture. The information processing device 30-0 generates the viewpoint image P0 shown in FIG. 7B which is the viewpoint of the self avatar MA-0. Further, when the viewpoints of the other avatars MA-1 and MA-2 are, for example, the same and the viewpoint image Pa shown in FIG. 7C is obtained, the viewpoint image Pa is reduced to the viewpoint image P0 as the recommended viewpoint information PRa. The display image shown in (d) of FIG. 7 is superimposed and presented to the observer.
また、操作部３３で推奨視点への移動操作が行われた場合、自己アバターＭＡ-0を推奨視点となる位置に移動する。したがって、表示装置４０-0に表示される視点画像Ｐ0は、図７の（ｃ）に示す視点画像Ｐaとなる。
Further, when the
このように、観察者が視認する表示画像では、自己アバターＭＡ-0の視点からの観察対象と推奨視点情報が示されるので、観察対象を容易に望ましい位置や方向から観察できるようになる。また、推奨視点情報は推奨視点からの縮小画像に限らず図８に示すように推奨の方向を示す推奨視線ベクトルＰＶaを表示してもよい。 In this way, in the display image visually recognized by the observer, the observation target from the viewpoint of the self-avatar MA-0 and the recommended viewpoint information are shown, so that the observation target can be easily observed from the desired position or direction. Further, the recommended viewpoint information is not limited to the reduced image from the recommended viewpoint, and the recommended line-of-sight vector PVa indicating the recommended direction may be displayed as shown in FIG.
また、推奨視点が複数設定された場合は、推奨視点毎に推奨視点情報を生成してもよい。図９は、推奨視点が複数設定された場合を例示している。仮想空間を示す空間モデルＶＳでは、図９の（ａ）に示すように、観察対象モデルＯＢと自己アバターＭＡ-0と他者アバターＭＡ-1,ＭＡ-2が、自己および他者の位置や姿勢に応じて設けられている。情報処理装置３０-0は、自己アバターＭＡ-0の視点である図９の（ｂ）に示す視点画像Ｐ0を生成する。また、他者アバターＭＡ-1と他者アバターＭＡ-2の視点が異なり、それぞれの視点を推奨視点とする場合、図９の（ｃ）に示す他者アバターＭＡ-1の視点画像Ｐ1と図９の（ｄ）に示す他者アバターＭＡ-2の視点画像Ｐ2を縮小して推奨視点情報ＰＲ1，ＰＲ2として視点画像Ｐ0に重畳させて、図９の（ｅ）に示す表示画像を観察者に提示する。 When a plurality of recommended viewpoints are set, recommended viewpoint information may be generated for each recommended viewpoint. FIG. 9 illustrates a case where a plurality of recommended viewpoints are set. In the space model VS indicating the virtual space, as shown in FIG. 9A, the observation target model OB, the self avatar MA-0, and the other person's avatars MA-1 and MA-2 are the positions of the self and the other person. It is provided according to the posture. The information processing device 30-0 generates the viewpoint image P0 shown in FIG. 9B which is the viewpoint of the self-avatar MA-0. Further, when the viewpoints of the other person's avatar MA-1 and the other person's avatar MA-2 are different and the respective viewpoints are set as the recommended viewpoints, the viewpoint image P1 of the other person's avatar MA-1 shown in FIG. 9(d), the viewpoint image P2 of the other person's avatar MA-2 is reduced and superposed on the viewpoint image P0 as recommended viewpoint information PR1, PR2, and the display image shown in FIG. 9(e) is displayed to the observer. Present.
また、推奨視点情報は推奨視点からの視点画像に限らず、推奨視点ベクトルを表示してもよい。図１０は、推奨視点が複数設定された場合の他の動作を例示している。情報処理装置３０-0は、推奨視点が他者アバターＭＡ-1，ＭＡ-2である場合、他者アバターＭＡ-1の視線方向を示す推奨視線ベクトルＰＶ1と、他者アバターＭＡ-2の視線方向を示す推奨視線ベクトルＰＶ2を表示する。 The recommended viewpoint information is not limited to the viewpoint image from the recommended viewpoint, and the recommended viewpoint vector may be displayed. FIG. 10 illustrates another operation when a plurality of recommended viewpoints are set. When the recommended viewpoints are the other person's avatars MA-1 and MA-2, the information processing apparatus 30-0 and the other person's avatar MA-2's recommended line-of-sight vector PV1 indicating the line-of-sight direction of the other person's avatar MA-1. The recommended line-of-sight vector PV2 indicating the direction is displayed.
さらに、推奨視点を複数設ける場合、複数の推奨視点について優先度を設定して、有線順位に応じて推奨視点情報の属性を調整してもよい。例えば、優先度が低くなるに伴い推奨視点画像や推奨視線ベクトルの表示サイズを小さくしたり、優先度に応じて推奨視点の縮小画像の画枠や推奨視線ベクトルの表示色を設定してもよい。 Furthermore, when a plurality of recommended viewpoints are provided, priority may be set for the plurality of recommended viewpoints and the attributes of the recommended viewpoint information may be adjusted according to the wired rank. For example, the display size of the recommended viewpoint image and the recommended line-of-sight vector may be reduced as the priority decreases, or the image frame of the reduced image of the recommended viewpoint and the display color of the recommended line-of-sight vector may be set according to the priority. ..
このように、第１の実施の形態によれば、推奨視点情報が観察者に対して提示されるので、仮想空間における観察対象をいずれの位置から観察することが望ましいか容易に判別できるようになる。例えば選手の動きや手術動作、工事作業動作、調理動作等を三次元で再生する際に、いずれの視点で観察すれば動作を正しく理解できるか観察者に提示できるので、学習効果等を高めることができる。また、仮想ゲーム等に利用すれば攻略方法等を容易に学習できるようになる。 In this way, according to the first embodiment, the recommended viewpoint information is presented to the observer, so that it is possible to easily determine from which position it is desirable to observe the observation target in the virtual space. Become. For example, when reproducing a player's movements, surgical movements, construction work movements, cooking movements, etc. in three dimensions, it is possible to present to the observer which viewpoint from which to correctly understand the movements. You can In addition, if it is used for a virtual game or the like, it becomes possible to easily learn a strategy or the like.
＜４．第２の実施の形態の構成＞
次に、第２の実施の形態の構成について説明する。第２の実施の形態では非リアルタイム再生を行う場合を示している。
<4. Configuration of the second embodiment>
Next, the configuration of the second embodiment will be described. The second embodiment shows a case where non-real time reproduction is performed.
図１１は、第２の実施の形態の構成を例示している。モデル生成装置２０-bは、情報記憶部２３とモデル生成部２４およびモデル合成部２５を有している。情報記憶部２３には、第１の実施の形態と同様に、仮想空間の設定や仮想空間内で観測対象モデルを生成するための情報が記憶されている。また、情報記憶部２３には、モデル合成部２５で生成した合成モデルを過去に再生したときに、情報処理装置から供給された検出情報が合成モデルの再生位置に同期して記憶される。また、情報記憶部２３には、モデル合成部２５で生成された合成モデルを過去に再生したときに生成された推奨視点情報を合成モデルの再生位置に同期して記憶してもよい。
FIG. 11 illustrates the configuration of the second embodiment. The model generation device 20-b includes an
モデル生成部２４は、情報記憶部２３に記憶されている情報を用いてモデル生成を行う。モデル生成部２４は、例えば三次元の仮想空間を示す空間モデルや観測対象を示す三次元の観測対象モデルを生成する。モデル生成部２４は、生成したモデルをモデル合成部２５へ出力する。また、モデル生成部２４は、情報記憶部２３から再生時間に同期した検出情報を取得して、取得した検出情報に基づき他者アバターと視点モデルを生成する。さらにモデル生成部２４は、情報処理装置３０-0から供給された検出情報に基づき自己アバターを生成する。なお、検出情報には他者の検出情報だけでなく、過去に他者の検出情報と共に情報処理装置３０-0で生成した検出情報が含まれていてもよい。
The
モデル合成部２５は、モデル合成処理を行い、空間モデル内に観測対象モデルを配置する。また、モデル合成部２５は、自己アバターと他者アバターを空間モデル内に配置する。モデル合成部２５は、観測対象モデルとアバターが空間モデル内に配置された合成モデルおよび視線モデルを示す合成モデル情報を情報処理装置３０-0へ出力する。
The
情報処理装置３０-0は、第１の実施の形態と同様に、検出部３１、推奨視点設定部３２、操作部３３、視点制御部３４、推奨視点情報生成部３５および視点画像生成部３６を有している。
The information processing apparatus 30-0 includes the
検出部３１は、観察者の姿勢と位置を検出して、検出結果を示す検出情報を視点制御部３４へ出力する。
The
推奨視点設定部３２は、自己アバターの視点である視点画像の再生時における推奨視点を、過去の再生時における他者アバターの位置と姿勢に基づいて設定する。推奨視点設定部３２は、モデル生成装置２０-bから供給された合成モデル情報で示された視線モデル、すなわち合成モデルを過去に再生したときの他者アバターの位置と姿勢の検出情報に基づいて生成された視点モデルに基づき、推奨視点を第１の実施の形態と同様にして設定する。推奨視点設定部３２は、推奨視点を示す推奨視点情報を視点制御部３４と推奨視点情報生成部３５へ出力する。
The recommended
操作部３３はユーザ操作に応じた操作信号を生成する。例えば操作部３３は、視点を推奨視点に移動するユーザ操作に応じた操作信号を視点制御部３４へ出力する。
The
視点制御部３４は、検出部３１からの検出情報に基づき後述する視点画像生成部３６を制御して、観察者に対応する自己アバターの視点で得られる仮想空間内の画像を生成させる。また、視点制御部３４は、操作部３３からの操作信号に応じて、推奨視点設定部３２からの推奨視点情報に基づき後述する視点画像生成部３６を制御して、推奨視点で得られる仮想空間内の画像を生成させる。さらに視点制御部３４は、検出部３１からの検出情報や視点を推奨視点とするユーザ指示をモデル生成装置２０-bへ出力する。
The
推奨視点情報生成部３５は、推奨視点設定部３２で設定された推奨視点に関する推奨視点情報を生成する。推奨視点情報生成部３５は、推奨視点設定部３２で設定された推奨視点を示す推奨視点情報を生成して視点画像生成部３６へ出力する。また、推奨視点情報生成部３５は、情報記憶部２３に記憶されている推奨視点情報、すなわち合成モデルを過去に再生したときに他者アバターの位置と姿勢に基づいて設定された推奨視点を示す推奨視点情報を、合成モデルの再生と同期して用いてもよい。
The recommended viewpoint
視点画像生成部３６は、視点制御部３４からの制御信号に基づき、観察者に対応する自己アバターの視点で得られる仮想空間内の視点画像を生成する。また、視点画像生成部３６は、生成した視点画像に推奨視点情報生成部３５で生成された推奨視点情報を重畳させた画像信号を表示装置４０-0へ出力する。
The viewpoint
表示装置４０-0としては、例えば観察者の頭部に装着された状態で利用されるヘッドマウントディスプレイが用いられる。表示装置４０-0は、情報処理装置３０-0で生成された画像信号に基づき、仮想空間内の自己アバターの視点画像を表示する。また、視点画像に推奨視点情報が重畳されており、推奨視点情報によって推奨視点を観察者が判別できるようにする。 As the display device 40-0, for example, a head mounted display used while being attached to the observer's head is used. The display device 40-0 displays the viewpoint image of the self avatar in the virtual space based on the image signal generated by the information processing device 30-0. In addition, recommended viewpoint information is superimposed on the viewpoint image so that the observer can distinguish the recommended viewpoint from the recommended viewpoint information.
＜５．第２の実施の形態の動作＞
次に第２の実施の形態の動作について説明する。図１２は、第２の実施の形態の動作を例示したフローチャートである。システム１０はステップＳＴ３１で表示画像の生成処理のループを開始する。
<5. Operation of Second Embodiment>
Next, the operation of the second embodiment will be described. FIG. 12 is a flowchart illustrating the operation of the second embodiment. The
ステップＳＴ３２ａでシステム１０は観察者の位置と姿勢を検出する。システム１０の情報処理装置３０-0は、観察者の位置と姿勢を検出してステップＳＴ３３ａに進む。
In step ST32a, the
ステップＳＴ３３ａでシステム１０はアバターを生成する。システム１０のモデル生成装置２０-bは、仮想空間における観察者を示す自己アバターを生成してステップＳＴ３４ａに進む。
In step ST33a, the
ステップＳＴ３４ａでシステム１０は視線モデルを生成する。システム１０のモデル生成装置２０-bは、観察者の位置と姿勢に基づき、自己アバターの視線を示す視線モデルを生成してステップＳＴ３５に進む。
In step ST34a, the
ステップＳＴ３２ｂでシステム１０は記憶されている検出情報を取得する。システム１０のモデル生成装置２０-bは、過去に合成モデルを再生したときに検出されて記憶された検出情報であって、後述するステップＳＴ３５で生成する合成モデルに同期した検出情報を取得してステップＳＴ３３ｂに進む。
In step ST32b, the
ステップＳＴ３３ｂでシステム１０はアバターを生成する。システム１０のモデル生成装置２０-bは、仮想空間における他者を示す他者アバターを生成してステップＳＴ３４ｂに進む。
In step ST33b, the
ステップＳＴ３４ｂでシステム１０は視線モデルを生成する。システム１０のモデル生成装置２０-bは、他者の位置と姿勢に基づき、他者アバターの視線を示す視線モデルを生成してステップＳＴ３５に進む。
In step ST34b, the
ステップＳＴ３２ｃでシステム１０は観察対象モデルを生成する。システム１０のモデル生成装置２０-bは、観察者や他者によって観察される三次元の観察対象モデルを生成してステップＳＴ３３ｃに進む。
In step ST32c, the
ステップＳＴ３３ｃでシステム１０は空間モデルを生成する。システム１０のモデル生成装置２０-bは、観察対象モデルおよび自己アバターと他者アバターを配置する仮想空間を示す空間モデルを生成してステップＳＴ３５に進む。
In step ST33c, the
ステップＳＴ３５でシステム１０はモデル合成処理を行う。システム１０のモデル生成装置２０-bは、仮想空間を示す空間モデル内に観察対象モデルと観察者および他者の位置に応じて自己アバターと他者アバターを配置する。さらに、モデル生成装置２０-bは、観察者および他者の姿勢に応じて自己アバターと他者アバターの姿勢を設定して合成モデルを生成してステップＳＴ３６に進む。
In step ST35, the
ステップＳＴ３６でシステム１０は視点画像を生成する。システム１０の情報処理装置３０-0は、ステップＳＴ３５で生成された合成モデルと観察者の位置と姿勢に基づき、自己アバターの視点である視点画像（観察者視点画像）を生成する。さらに、情報処理装置３０-0は、他者の視線モデルに基づき推奨視点を設定して、推奨視点に関する推奨視点情報を視点画像に重畳した表示画像の画像信号を生成してステップＳＴ３７に進み、表示画像の生成処理のループを終了する。また、ステップＳＴ３１〜ステップＳＴ３７の処理を繰り返し行うことで、非リアルタイム再生を行う。
In step ST36, the
次に、モデル生成装置の動作について説明する。図１３は、モデル生成装置の動作を例示したフローチャートであり、位置や姿勢の変化により検出情報が変更された場合にアバターを更新する場合を例示している。 Next, the operation of the model generation device will be described. FIG. 13 is a flowchart exemplifying the operation of the model generation device, and illustrates the case where the avatar is updated when the detection information is changed due to a change in position or posture.
ステップＳＴ４１でモデル生成装置２０-bは観察対象モデルと空間モデルを生成する。モデル生成装置２０-bは、観察者と他者が観察する観察対象モデルと、対象物体モデルが配置される三次元の仮想空間を示す空間モデルを生成してステップＳＴ４２に進む。 In step ST41, the model generation device 20-b generates an observation target model and a spatial model. The model generation device 20-b generates an observation target model observed by an observer and another person, and a spatial model indicating a three-dimensional virtual space in which the target object model is arranged, and proceeds to step ST42.
ステップＳＴ４２でモデル生成装置２０-bは観察者の検出情報の取得を開始する。モデル生成装置２０-bは情報処理装置３０-0から供給される観察者の検出情報の取得を開始してステップＳＴ４３に進む。 In step ST42, the model generation device 20-b starts to acquire the detection information of the observer. The model generation device 20-b starts acquisition of the observer detection information supplied from the information processing device 30-0, and proceeds to step ST43.
ステップＳＴ４３でモデル生成装置２０-bは自己アバター生成処理を行う。モデル生成装置２０-bは、情報処理装置３０-0を利用する観察者に対応した自己アバターと自己アバターの視線を示す視線モデルを生成してステップＳＴ４４に進む。 In step ST43, the model generation device 20-b performs a self-avatar generation process. The model generation device 20-b generates a self-avatar corresponding to an observer who uses the information processing device 30-0 and a line-of-sight model indicating the line-of-sight of the self-avatar, and proceeds to step ST44.
ステップＳＴ４４でモデル生成装置２０-bは記憶されている検出情報を取得してステップＳＴ４５に進む。 In step ST44, the model generation device 20-b acquires the stored detection information and proceeds to step ST45.
ステップＳＴ４５でモデル生成装置２０-bは他者アバター生成処理を行う。モデル生成装置２０-bは、後述するステップＳＴ４８で生成する合成モデルに同期した検出情報に基づき、他者アバターと視点モデルを生成してステップＳＴ４６に進む。 In step ST45, the model generation device 20-b performs another person's avatar generation process. The model generation device 20-b generates another person's avatar and viewpoint model based on the detection information synchronized with the synthetic model generated in step ST48 described later, and proceeds to step ST46.
ステップＳＴ４６でモデル生成装置２０-bは観察者の検出情報が変更されたか判別する。モデル生成装置２０-bは、観察者の位置や姿勢が変化して新たな検出情報を取得した場合にステップＳＴ４７に進み、検出情報が変更されていない場合はステップＳＴ４８に進む。 In step ST46, the model generation device 20-b determines whether the detection information of the observer has been changed. The model generation device 20-b proceeds to step ST47 when the observer's position or posture is changed and acquires new detection information, and proceeds to step ST48 if the detection information is not changed.
ステップＳＴ４７でモデル生成装置２０-bはアバター更新処理を行う。モデル生成装置２０-bは、変更後の検出情報に基づき自己アバターの位置や姿勢を調整してステップＳＴ４８に進む。 In step ST47, the model generation device 20-b performs an avatar update process. The model generation device 20-b adjusts the position and posture of the self-avatar based on the changed detection information, and proceeds to step ST48.
ステップＳＴ４８でモデル生成装置２０-bはモデル合成処理を行う。モデル生成装置２０-bは、ステップＳＴ４１で生成した空間モデルに観察対象モデルを配置する。また、モデル生成装置２０-bは、ステップＳＴ４５で生成した他者アバターをステップＳＴ４４で取得した検出情報に基づく位置や姿勢で配置する。さらに、モデル生成装置２０-bは、ステップＳＴ４３で生成した自己アバターをステップＳＴ４２で取得された検出情報に基づく位置や姿勢で配置する。モデル生成装置２０-bは、空間モデルに観測対象モデルと自己アバターと他者アバターが配置された合成モデルを生成してステップＳＴ４９に進む。 In step ST48, the model generation device 20-b performs model synthesis processing. The model generation device 20-b arranges the observation target model in the spatial model generated in step ST41. In addition, the model generation device 20-b arranges the other person's avatar generated in step ST45 at the position and posture based on the detection information acquired in step ST44. Further, the model generation device 20-b arranges the self avatar generated in step ST43 in the position and posture based on the detection information acquired in step ST42. The model generation device 20-b generates a synthetic model in which the observation target model, the self avatar, and the avatar of another person are arranged in the spatial model, and proceeds to step ST49.
ステップＳＴ４９でモデル生成装置２０-bは合成モデル情報を出力する。モデル生成装置２０-bはステップＳＴ１８で生成した合成モデルと他者の視線モデルを示す合成モデル情報を情報処理装置３０-0に出力する。 In step ST49, the model generation device 20-b outputs the synthetic model information. The model generation device 20-b outputs the synthetic model generated in step ST18 and the synthetic model information indicating the line-of-sight model of another person to the information processing device 30-0.
情報処理装置３０-0は、第１の実施の形態と同様に図６に例示したフローチャートの処理を行い、自己アバターの視点の視点画像と推奨視点情報を含む表示画像の画像信号を生成して表示装置４０-0へ出力する。また、情報処理装置３０-0は、推奨視点への移動操作が行われた場合、推奨視点に対応する検出情報を生成してモデル生成装置２０-bへ出力する。また、情報記憶部２３に合成モデルを過去に再生したときの推奨視点情報が記憶されている場合、合成モデルの再生位置に同期した推奨視点情報を含めて合成モデル情報をモデル生成装置２０-bから情報処理装置３０-0に供給すれば、情報処理装置３０-0は、推奨視点情報を生成する必要がなく、情報処理装置３０-0の負荷を軽減できる。
The information processing device 30-0 performs the process of the flowchart illustrated in FIG. 6 as in the first embodiment to generate the image signal of the display image including the viewpoint image of the viewpoint of the self avatar and the recommended viewpoint information. Output to the display device 40-0. When the moving operation to the recommended viewpoint is performed, the information processing device 30-0 generates detection information corresponding to the recommended viewpoint and outputs the detection information to the model generation device 20-b. If the
このように、第２の実施の形態によれば、過去に合成モデルが再生されたときの検出情報を用いることで、その後、合成モデルを非リアルタイム再生するときに他者が含まれていなくとも、推奨視点情報が観察者に対して提示されるので、他者がいない場合でも第１の実施の形態と同様な効果を得ることができる。 As described above, according to the second embodiment, by using the detection information when the synthetic model is reproduced in the past, even if the other person is not included when the synthetic model is subsequently reproduced in non-real time. Since the recommended viewpoint information is presented to the observer, the same effect as that of the first embodiment can be obtained even when there is no other person.
＜６．変形例＞
ところで、モデル生成装置２０や情報処理装置３０は、図３や図１１に示す構成に限られない。例えば、モデル生成装置の構成あるいは一部の構成を情報処理装置に設けてもよく、情報処理装置の構成の一部をモデル生成装置に設けてもよい。
<6. Modification>
By the way, the
例えば、推奨視点設定部３２をモデル生成装置２０-a（２０-b）に設けて、推奨視点を示す情報を合成モデル情報に含めるようにすれば、情報処理装置の処理を軽減できるだけでなく、情報処理装置毎に推奨視点設定部を設ける必要がない。
For example, if the recommended
また、情報処理装置はユーザ毎に（自己と他者で個々に）設けられていなくともよい。例えば検出部３１は、ユーザ毎の位置や姿勢を検出して、視点制御部３４は、ユーザ毎の視点画像等を示す表示画像の画像信号を視点画像生成部３６で生成するように制御する。さらに、視点画像生成部３６は、生成したユーザ毎の画像信号を、ユーザ毎に設けられた表示装置に出力する。このような構成とすれば、システム１０の構成を簡易にできる。
Further, the information processing device does not have to be provided for each user (individually and individually for each user). For example, the
モデル生成装置２０-bの情報記憶部２３には、検出情報だけでなく推奨視点情報を時間情報と共に記憶すれば、合成モデル情報の非リアルタイム再生時に、情報処理装置３０-0の推奨視点情報生成部３５は、過去の再生時における他者アバターの位置と姿勢に基づいて設定された推奨視点を再生位置と共に示す情報を推奨視点情報として生成できる。したがって、再生位置と推奨視点の関係を観察者に提示できるようになる。
If not only the detection information but also the recommended viewpoint information is stored in the
図１４は、再生位置と推奨視点の関係を観察者に提示する場合の動作例を示している。仮想空間を示す空間モデルＶＳでは、図１４の（ａ）に示すように、観察対象モデルＯＢと自己アバターＭＡ-0が、観察者の位置や姿勢に応じて設けられている。情報処理装置３０-0は、自己アバターＭＡ-0の視点である図１４の（ｂ）に示す視点画像Ｐ0を生成する。また、情報処理装置３０-0は、異なる時刻に設定された推奨視点を判別できるように推奨視点情報を設ける。例えば、合成モデルの再生が時点Ｔsから時点Ｔeまで行われる場合、情報処理装置３０-0は、図１４の（ｂ）に示すように、時点Ｔsから時点Ｔeまでの期間を示すスライダー表示ＳＬを設ける。また、合成モデルの再生が過去に行われて、時点Ｔ1のときに他者アバターＭＡ-1の視点が推奨視点に設定されており、時点Ｔ2のときに他者アバターＭＡ-2の視点が推奨視点に設定されている場合、情報処理装置３０-0は、スライダー表示ＳＬにおける時点Ｔ1の位置に他者アバターＭＡ-1の視点画像ＰＬ1を推奨視点情報として設ける。また、情報処理装置３０-0は、時点Ｔ2の位置に他者アバターＭＡ-2の視点画像ＰＬ2を推奨視点情報として設ける。なお、時点Ｔgは、現在の再生位置を示している。このように、推奨視点情報を時間情報と共に記憶すれば、合成モデルの非リアルタイム再生時に、再生位置と推奨視点情報の関係を観察者に提示できるようになる。 FIG. 14 shows an operation example when presenting the relationship between the reproduction position and the recommended viewpoint to the observer. In the space model VS showing the virtual space, as shown in FIG. 14A, an observation target model OB and a self avatar MA-0 are provided according to the position and posture of the observer. The information processing device 30-0 generates the viewpoint image P0 shown in (b) of FIG. 14 which is the viewpoint of the self-avatar MA-0. The information processing device 30-0 also provides recommended viewpoint information so that the recommended viewpoints set at different times can be discriminated. For example, when the reproduction of the combined model is performed from the time Ts to the time Te, the information processing device 30-0 displays the slider display SL indicating the period from the time Ts to the time Te, as shown in (b) of FIG. Set up. In addition, since the reproduction of the composite model has been performed in the past, the viewpoint of the other person's avatar MA-1 is set to the recommended viewpoint at the time point T1, and the viewpoint of the other person's avatar MA-2 is recommended at the time point T2. When the viewpoint is set, the information processing device 30-0 provides the viewpoint image PL1 of the other person's avatar MA-1 at the position of the time point T1 on the slider display SL as recommended viewpoint information. Further, the information processing device 30-0 provides the viewpoint image PL2 of the other person's avatar MA-2 at the position of time T2 as recommended viewpoint information. The time point Tg indicates the current reproduction position. As described above, if the recommended viewpoint information is stored together with the time information, it becomes possible to present the relationship between the reproduction position and the recommended viewpoint information to the observer during the non-real time reproduction of the synthetic model.
また、本技術の動作は、図４，図５，図６，図１２，図１３に示すフローチャートの処理順序に限られるものではない。例えば観測対象モデルと空間モデルの生成はアバターの生成後であってもよい。さらに、上述の図４や図１２に示すフローチャートにおける並列処理は、時間順に行うようにしてもよい。 Further, the operation of the present technology is not limited to the processing order of the flowcharts shown in FIGS. 4, 5, 6, 12, and 13. For example, the observation target model and the spatial model may be generated after the avatar is generated. Further, the parallel processing in the flowcharts shown in FIGS. 4 and 12 may be performed in time order.
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。 The series of processes described in the specification can be executed by hardware, software, or a combined configuration of both. When executing processing by software, a program recording a processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed. Alternatively, the program can be installed and executed in a general-purpose computer that can execute various processes.
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。 For example, the program can be recorded in advance in a hard disk, SSD (Solid State Drive), or ROM (Read Only Memory) as a recording medium. Alternatively, the program is a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto optical) disc, a DVD (Digital Versatile Disc), a BD (Blu-Ray Disc (registered trademark)), a magnetic disc, a semiconductor memory card. It can be temporarily or permanently stored (recorded) in a removable recording medium such as. Such a removable recording medium can be provided as so-called package software.
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。 In addition to installing the program from the removable recording medium to the computer, the program may be wirelessly or wired transferred from the download site to the computer via a network such as a LAN (Local Area Network) or the Internet. In the computer, the program thus transferred can be received and installed in a recording medium such as a built-in hard disk.
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。 It should be noted that the effects described in the present specification are merely examples and are not limited, and there may be additional effects not described. In addition, the present technology should not be construed as being limited to the above-described embodiments of the technology. The embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that a person skilled in the art can modify or substitute the embodiments without departing from the gist of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
また、本技術の情報処理装置は以下のような構成も取ることができる。
（１） 仮想空間に設けられた自己アバターの視点の視点画像に、前記仮想空間に設けられた他者アバターの位置と姿勢に基づいて生成した推奨視点情報を含める視点画像生成部
を備える情報処理装置。
（２） 他者アバターの位置と姿勢に基づいて推奨視点を設定する推奨視点設定部と、
前記推奨視点設定部で設定された推奨視点を示す前記推奨視点情報を生成する推奨視点情報生成部を備える（１）に記載の情報処理装置。
（３） 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記他者アバターの位置と姿勢に基づいて前記推奨視点を設定する（２）に記載の情報処理装置。
（４） 前記推奨視点設定部は、前記自己アバターの視点である視点画像の再生時における前記推奨視点を、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定する（２）または（３）に記載の情報処理装置。
（５） 前記推奨視点設定部は、前記推奨視点を複数設定した場合に前記推奨視点の優先度を設定する（２）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記推奨視点設定部は、前記他者アバターの属性を用いて前記推奨視点を設定する（２）乃至（５）のいずれかに記載の情報処理装置。
（７） 前記推奨視点情報生成部は、前記推奨視点の縮小画像を前記推奨視点情報として生成する（２）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記推奨視点情報生成部は、前記推奨視点の方向を示す視線方向表示を前記推奨視点情報として生成する（２）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記推奨視点情報生成部は、過去の再生時における前記他者アバターの位置と姿勢に基づいて設定された推奨視点を再生位置と共に示す情報を前記推奨視点情報として生成する（２）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記推奨視点情報生成部は、前記過去の再生時に生成されて記憶されている前記推奨視点情報を用いる（２）乃至（８）のいずれかに記載の情報処理装置。
（１１） ユーザ操作を受け付ける操作部をさらに備え、
前記ユーザ操作に応じて前記自己アバターの視点の視点画像を、前記推奨視点設定部で設定された推奨視点の視点画像に切り替える（２）乃至（１０）のいずれかに記載の情報処理装置。
（１２） ユーザの位置と姿勢を検出する検出部をさらに備え、
前記自己アバターの視点は、前記検出部の検出結果に基づいて判別する（１）乃至（１１）のいずれかに記載の情報処理装置。
Further, the information processing device of the present technology can also have the following configurations.
(1) Information processing including a viewpoint image generation unit that includes recommended viewpoint information generated based on the position and orientation of another avatar provided in the virtual space in the viewpoint image of the viewpoint of the self-avatar provided in the virtual space apparatus.
(2) A recommended viewpoint setting unit that sets a recommended viewpoint based on the position and posture of the avatar of another person,
The information processing apparatus according to (1), further including a recommended viewpoint information generation unit that generates the recommended viewpoint information indicating the recommended viewpoint set by the recommended viewpoint setting unit.
(3) The information processing device according to (2), wherein the recommended viewpoint setting unit sets the recommended viewpoint based on a position and a posture of the other person's avatar at the time of reproducing a viewpoint image which is the viewpoint of the self avatar.
(4) The recommended viewpoint setting unit sets the recommended viewpoint at the time of reproducing the viewpoint image which is the viewpoint of the self avatar, based on the position and posture of the other avatar at the time of past reproduction (2) or The information processing device according to (3).
(5) The information processing device according to any one of (2) to (4), wherein the recommended viewpoint setting unit sets the priority of the recommended viewpoint when a plurality of recommended viewpoints are set.
(6) The information processing device according to any one of (2) to (5), wherein the recommended viewpoint setting unit sets the recommended viewpoint using the attribute of the other person's avatar.
(7) The information processing device according to any one of (2) to (6), wherein the recommended viewpoint information generation unit generates a reduced image of the recommended viewpoint as the recommended viewpoint information.
(8) The information processing device according to any one of (2) to (7), wherein the recommended viewpoint information generation unit generates a line-of-sight direction display indicating a direction of the recommended viewpoint as the recommended viewpoint information.
(9) The recommended viewpoint information generation unit generates, as the recommended viewpoint information, information indicating, together with a reproduction position, a recommended viewpoint set based on the position and posture of the avatar of the other person at the time of past reproduction. The information processing device according to any one of (8).
(10) The information processing apparatus according to any one of (2) to (8), wherein the recommended viewpoint information generation unit uses the recommended viewpoint information generated and stored during the past reproduction.
(11) An operation unit for receiving a user operation is further provided,
The information processing apparatus according to any one of (2) to (10), wherein the viewpoint image of the viewpoint of the self-avatar is switched to the viewpoint image of the recommended viewpoint set by the recommended viewpoint setting unit according to the user operation.
(12) A detection unit for detecting the position and orientation of the user is further provided,
The information processing apparatus according to any one of (1) to (11), wherein the viewpoint of the self-avatar is determined based on the detection result of the detection unit.
１０・・・システム
２０，２０-a，２０-b・・・モデル生成装置
２１，２３・・・情報記憶部
２２，２４・・・モデル生成部
２５・・・モデル合成部
３０，３０-0〜３０-n・・・情報処理装置
３１・・・検出部
３２・・・推奨視点設定部
３３・・・操作部
３４・・・視点制御部
３５・・・推奨視点情報生成部
３６・・・視点画像生成部
４０-0〜４０-n・・・表示装置
10...
Claims (13)
を備える情報処理装置。 An information processing apparatus comprising: a viewpoint image generation unit that includes recommended viewpoint information generated based on a position and a posture of another avatar provided in the virtual space in a viewpoint image of a viewpoint of a self-avatar provided in the virtual space.
前記推奨視点設定部で設定された推奨視点を示す前記推奨視点情報を生成する推奨視点情報生成部を備える
請求項１に記載の情報処理装置。 A recommended viewpoint setting unit that sets a recommended viewpoint based on the position and posture of the avatar of another person,
The information processing apparatus according to claim 1, further comprising: a recommended viewpoint information generation unit that generates the recommended viewpoint information indicating the recommended viewpoint set by the recommended viewpoint setting unit.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint setting unit sets the recommended viewpoint based on a position and a posture of the other person's avatar when the viewpoint image which is the viewpoint of the self avatar is reproduced.
請求項２に記載の情報処理装置。 The information according to claim 2, wherein the recommended viewpoint setting unit sets the recommended viewpoint at the time of reproducing the viewpoint image which is the viewpoint of the self-avatar based on the position and the posture of the other avatar at the time of past reproduction. Processing equipment.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint setting unit sets the priority of the recommended viewpoint when a plurality of recommended viewpoints are set.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint setting unit sets the recommended viewpoint using an attribute of the other person's avatar.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint information generation unit generates a reduced image of the recommended viewpoint as the recommended viewpoint information.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint information generation unit generates a line-of-sight direction display indicating a direction of the recommended viewpoint as the recommended viewpoint information.
請求項２に記載の情報処理装置。 The information according to claim 2, wherein the recommended viewpoint information generation unit generates, as the recommended viewpoint information, information indicating, together with a reproduction position, a recommended viewpoint set based on a position and a posture of the other person's avatar at the time of past reproduction. Processing equipment.
請求項２に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the recommended viewpoint information generation unit uses the recommended viewpoint information generated and stored at the time of past reproduction.
前記ユーザ操作に応じて前記自己アバターの視点の視点画像を、前記推奨視点設定部で設定された推奨視点の視点画像に切り替える
請求項２に記載の情報処理装置。 An operation unit for accepting a user operation is further provided,
The information processing apparatus according to claim 2, wherein the viewpoint image of the viewpoint of the self-avatar is switched to the viewpoint image of the recommended viewpoint set by the recommended viewpoint setting unit according to the user operation.
前記自己アバターの視点は、前記検出部の検出結果に基づいて判別する
請求項１に記載の情報処理装置。 Further comprising a detection unit for detecting the position and orientation of the user,
The information processing apparatus according to claim 1, wherein the viewpoint of the self-avatar is determined based on the detection result of the detection unit.
を含む情報処理方法。 Information processing including inclusion of recommended viewpoint information generated based on the position and line of sight of another avatar provided in the virtual space in the viewpoint image of the viewpoint of the self-avatar provided in the virtual space by the viewpoint image generation unit Method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019020428A JP2020129176A (en) | 2019-02-07 | 2019-02-07 | Information processing apparatus, information processing method, and program |
| PCT/JP2019/043871 WO2020161975A1 (en) | 2019-02-07 | 2019-11-08 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019020428A JP2020129176A (en) | 2019-02-07 | 2019-02-07 | Information processing apparatus, information processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020129176A true JP2020129176A (en) | 2020-08-27 |
Family
ID=71947973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019020428A Pending JP2020129176A (en) | 2019-02-07 | 2019-02-07 | Information processing apparatus, information processing method, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020129176A (en) |
| WO (1) | WO2020161975A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010749A (en) * | 2020-10-01 | 2021-02-04 | 株式会社大一商会 | Game machine |
| WO2024101590A1 (en) * | 2022-11-10 | 2024-05-16 | 삼성전자주식회사 | Electronic device for acquiring location of virtual object and method thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016071900A (en) * | 2014-09-30 | 2016-05-09 | キヤノンマーケティングジャパン株式会社 | Information processing system and control method of the same, and program |
| JP6615732B2 (en) * | 2016-10-31 | 2019-12-04 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and image generation method |
-
2019
- 2019-02-07 JP JP2019020428A patent/JP2020129176A/en active Pending
- 2019-11-08 WO PCT/JP2019/043871 patent/WO2020161975A1/en active Application Filing
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021010749A (en) * | 2020-10-01 | 2021-02-04 | 株式会社大一商会 | Game machine |
| WO2024101590A1 (en) * | 2022-11-10 | 2024-05-16 | 삼성전자주식회사 | Electronic device for acquiring location of virtual object and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020161975A1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8624924B2 (en) | Portable immersive environment using motion capture and head mounted display | |
| US8615383B2 (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
| CN103249461B (en) | Be provided for the system that handheld device can catch the video of interactive application | |
| US7773098B2 (en) | Virtual reality presentation apparatus and method | |
| NL2002841C2 (en) | Immersive collaborative environment using motion capture, head mounted display, and cave. | |
| US20030227453A1 (en) | Method, system and computer program product for automatically creating an animated 3-D scenario from human position and path data | |
| WO2020161975A1 (en) | Information processing device, information processing method, and program | |
| KR20150014988A (en) | Capturing views and movements of actors performing within generated scenes | |
| JP2019012965A (en) | Video control method, video control device, and video control program | |
| US20140188669A1 (en) | Augmented reality system and method | |
| US12032169B2 (en) | Spectator view of virtual and physical objects | |
| EP3113074A1 (en) | Apparatus, method and computer program | |
| EP3113483A2 (en) | Apparatus, method and computer program | |
| US11778283B2 (en) | Video distribution system for live distributing video containing animation of character object generated based on motion of actors | |
| JP2010240185A (en) | Apparatus for supporting motion learning | |
| US20220277520A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN109155836A (en) | Transcriber, reproducting method, information generation device and information generating method | |
| GB2546589A (en) | Virtual training system | |
| JP2020013035A (en) | Training device, training system, training method and program | |
| TWI478099B (en) | Learning-based visual attention prediction system and mathod thereof | |
| JP4371863B2 (en) | Playback apparatus and method | |
| JP6398938B2 (en) | Projection control apparatus and program | |
| JP2016158702A (en) | Three-dimensional image processing system, three-dimensional image processing device, and three-dimensional image processing method | |
| JP5928279B2 (en) | Exercise support apparatus and program | |
| WO2021192931A1 (en) | Information processing device, information processing method, and information processing program |