JP7338626B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7338626B2 JP7338626B2 JP2020531203A JP2020531203A JP7338626B2 JP 7338626 B2 JP7338626 B2 JP 7338626B2 JP 2020531203 A JP2020531203 A JP 2020531203A JP 2020531203 A JP2020531203 A JP 2020531203A JP 7338626 B2 JP7338626 B2 JP 7338626B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- subject
- captured image
- virtual space
- dimensional position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
1.システム構成例
2.第1の実施形態
2.1.概要
2.2.記録装置側の技術的特徴
2.2.1.記録装置の機能構成例
2.2.2.コンテンツ構成情報のフォーマット
2.2.3.記録処理の流れ
2.3.再生装置側の技術的特徴
2.3.1.再生装置の機能構成例
2.3.2.空間インタラクション
2.3.3.視点切り替え
3.第2の実施形態
3.1.概要
3.2.記録装置側の技術的特徴
3.2.1.記録装置の機能構成例
3.2.2.コンテンツ構成情報のフォーマット
3.2.3.記録処理の流れ
3.3.再生装置側の技術的特徴
3.3.1.再生装置の機能構成例
3.3.2.空間インタラクション
4.補足
5.ハードウェア構成例
6.まとめ
図1は、本開示の一実施形態に係るコンテンツ配信システム1の構成の一例を示す図である。図1に示すように、コンテンツ配信システム1は、記録装置10及び再生装置20を含み、記録装置10と再生装置20とはネットワーク30を介して接続される。
第1の実施形態は、仮想空間内に配置された撮像画像内の実オブジェクトに、当該実オブジェクトの表面の三次元位置情報を対応付けることで、仮想空間における当該実オブジェクトの表面と仮想オブジェクトとの三次元的な空間インタラクションを実現する形態である。
(1)記録装置の概要
図2は、本実施形態に係る記録装置10の記録装置の概要を説明するための図である。図2では、記録装置10による情報の記録対象となる空間の一例が示されている。図2に示すように、本空間では、観客席17にいる大勢の観客の前で、ステージ16上で演者18がパフォーマンスしている。本空間には、記録装置10による記録に関与する装置として、第1のセンサ装置11、及び第2のセンサ装置12(12A及び12B)が設置されている。また、本空間には、モニタ15も配置されている。
第1のセンサ装置11は、VRコンテンツにおいて空間インタラクションの対象となる実オブジェクトを含む、実空間をセンシングする装置である。実オブジェクトとは、実空間に存在する物体である。第1のセンサ装置11は、撮像装置及びデプスセンサを備える。撮像装置は、実空間の実オブジェクト(即ち、被写体)を撮像し、撮像画像を取得する装置である。撮像装置は、例えば単眼カメラ、ステレオカメラ又は赤外線カメラ等により実現される。撮像される画像は、2次元画像、全天球(360度)画像、半天球(180度)画像又はその他の任意の撮像範囲を有する画像である。以下では、撮像装置はステレオカメラにより実現され、立体視することが可能なステレオ全天球画像が撮像されるものとする。また、以下では撮像装置をVRカメラとも称する。デプスセンサは、実空間の実オブジェクトの深度情報を検出する装置である。深度情報とは、センサの光軸方向(奥行き)の測定値である。デプスセンサとしては、例えば、Light Coding、Time of Flight、又はInfrared Depth等の任意の方式のセンサが採用され得る。
第2のセンサ装置12は、実空間をセンシングする装置である。第2のセンサ装置12は、撮像装置を備える。撮像装置については、第1のセンサ装置11に関し上記説明した通りである。第2のセンサ装置12は、観客席に設置されて、比較的遠距離から演者18を含むステージ16上をセンシングする。
モニタ15は、再生装置20によるVRコンテンツの提供を受けているユーザの様子を表示する表示装置である。このため、演者18は、実際に目の前にいる観客とネットワーク30越しに自身を鑑賞している観客とを視認しながら、パフォーマンスすることができる。
図3は、本実施形態に係る再生装置20の概要を説明するための図である。図3では、再生装置20によるVRコンテンツの再生に関与する装置として、HMD(Head Mounted Display)21及びコントローラ22が図示されている。
<2.2.1.記録装置の機能構成例>
図4は、本実施形態に係る記録装置10の機能構成の一例を示すブロック図である。図4に示すように、記録装置10は、画像取得部110、ストリーミング処理部120、深度情報取得部130、表面モデル取得部140、コンテンツ構成情報生成部150及び送信部160を含む。
VRカメラ101及びデプスセンサ102に関しては、図2を参照しながら上記説明した通りであるので、説明を省略する。
VRカメラ101に関しては、図2を参照しながら上記説明した通りであるので、説明を省略する。
(画像取得部110)
画像取得部110は、第1のセンサ装置11又は第2のセンサ装置12に含まれるVRカメラ101から、実空間の実オブジェクトを含む撮像画像を取得する機能を有する。ここで、撮像画像を取得するとは、撮像画像のデータを受信すること、又はメモリ等の所定の記録媒体に記録された撮像画像データを読み出すこと等を指す。VRカメラ101がステレオカメラである場合、画像取得部110は、左右2枚の撮像画像(左側の撮像画像であるL画像及び右側の撮像画像であるR画像)から成るステレオ画像(ステレオの全天球画像)を、撮像画像として取得する。画像取得部110は、取得した撮像画像をストリーミング処理部120に出力する。
ストリーミング処理部120は、画像取得部110により取得された撮像画像のストリーミング処理を行う機能を有する。例えば、ストリーミング処理部120は、撮像時刻時順に撮像画像をコンテンツ構成情報生成部150に出力する。
深度情報取得部130は、第1のセンサ装置11に含まれるデプスセンサ102から、実空間の実オブジェクトの深度情報を取得する機能を有する。ここでの深度情報とは、例えばデプス画像である。深度情報取得部130は、取得した深度情報を表面モデル取得部140に出力する。
表面モデル取得部140は、深度情報取得部130により取得された深度情報に基づいて、実オブジェクトの表面モデルを取得する機能を有する。実オブジェクトの表面モデルとは、実オブジェクトの表面の点であって、三次元位置情報が対応付けられた点を、複数含む点群の情報を含む三次元モデルデータである。ここでの三次元位置情報とは、デプスセンサ102の位置に基づき設定される原点とデプスセンサ102の姿勢に基づき設定される座標軸とにより定義される、デプスセンサ102の座標系における位置を示す情報である。表面モデルは、実オブジェクトの表面の点群の三次元位置情報(被写体三次元位置情報に相当)であるとも捉えることができる。ここでの点群とは、例えば、深度情報取得部130により取得されたデプス画像における画素を複数含む画素群である。なお、点群の解像度は任意である。撮像画像内の実オブジェクトの解像度よりも、当該実オブジェクトに対応する点群の解像度が低くてもよい。その場合、撮像画像全体を点群で構成する(即ち、撮像画像をポイントクラウドで表現する)場合よりも、伝送データ量を削減することが可能になると共に、ユーザが視認する実オブジェクトの解像度を高くすることが可能となる。もちろん、本技術において、撮像画像がポイントクラウドとして表現されてもよい。
コンテンツ構成情報生成部150は、ストリーミング処理部120及び表面モデル取得部140からの出力に基づいて、コンテンツ構成情報を生成する機能を有する。コンテンツ構成情報生成部150は、生成したコンテンツ構成情報を送信部160に出力する。
送信部160は、他の装置に情報を送信する機能を有する。具体的には、送信部160は、コンテンツ構成情報生成部150により生成されたコンテンツ構成情報を、再生装置20に送信する。
図5は、本実施形態に係るコンテンツ構成情報のフォーマットの一例を示す図である。図5に示すように、コンテンツ構成情報は、VR用画像情報及び空間インタラクション構成情報を含む。図5では、フレーム番号が1からnのフレームの画像及び表面モデルをコンテナ化した、コンテンツ構成情報のフォーマットが示されている。以下、フォーマットについて詳しく説明する。
VR用画像情報は、ストリーミング処理部120から出力される画像とそれに関連する情報とを含む。
空間インタラクション構成情報は、フレームごとの表面モデル、表面モデルの属性情報及びフレーム番号を含む。フレームごとの表面モデルとは、フレームごとの画像に含まれる実オブジェクトの表面モデルである。即ち、空間インタラクション構成情報は、フレームごとの画像に含まれる実オブジェクトの表面の複数の点の三次元位置情報を含む。属性情報とは、反発係数、摩擦係数及び法線方向等の、フレームごとの画像に含まれる実オブジェクトの物理係数を示す情報である。属性情報は、表面モデルに含まれる点ごとに設定され得る。フレーム番号は、表面モデルの検出時刻(即ち、深度情報の検出時刻)に対応する情報であり、仮想空間関連付け情報に相当する。ある時刻に撮像された撮像画像のフレーム番号と同一時刻に検出された表面モデルのフレーム番号とは、一致することが望ましい。これにより、撮像画像と表面モデルとの時系列的な同期(以下、タイミング同期とも称する)を確立することが容易になる。
図6は、本実施形態に係る記録装置10により実行される記録処理の流れの一例を示すフローチャートである。図6に示すように、まず、画像取得部110は実空間の撮像画像を取得し、深度情報取得部130は深度情報を取得する(ステップS102)。
<2.3.1.再生装置の機能構成例>
図7は、本実施形態に係る再生装置20の機能構成の一例を示すブロック図である。図7に示すように、再生装置20は、受信部210、コンテンツ構成情報解析部220、タイミング同期部230、座標変換部240、仮想オブジェクト制御部250、出力制御部260、及び選択部270を含む。
(表示部201)
表示部201は、VRコンテンツを表示する機能を有する。表示部201は、出力制御部260による制御に基づき、VRコンテンツを表示する。例えば、表示部201は、LCD(Liquid Crystal Display)またはOLED(Organic Light-Emitting Diode)等により実現され得る。
位置姿勢検出部202は、HMD21(即ち、HMD21を装着したユーザの頭部)の位置及び姿勢を検出する機能を有する。例えば、位置姿勢検出部202は、ジャイロセンサ及び加速度センサを含み、角速度に基づいて姿勢を検出し、角速度及び加速度を用いたINS(inertial navigation system)演算により位置を検出する。位置姿勢検出部202は、検出したHMD21の位置及び姿勢を示す情報を、再生装置20の出力制御部260に出力する。
音声出力部203は、VRコンテンツに関する音声を出力する機能を有する。例えば、音声出力部203は、スピーカ又はイヤホン、アンプ及びDAC(Digital Analog Converter)等を含む。音声出力部203は、出力制御部260による制御に基づいて4音声を再生する。
音声入力部204は、ユーザの音声を入力する機能を有する。例えば、音声入力部204は、マイク、マイクアンプ及びADC(Analog Digital Converter)等を含み、ユーザの音声を示すデジタル信号を生成する。音声入力部204は、入力されたユーザの音声を示す情報を、仮想オブジェクト制御部250に出力する。
(位置姿勢検出部205)
位置姿勢検出部205は、コントローラ22の位置及び姿勢を検出する機能を有する。例えば、位置姿勢検出部205は、ジャイロセンサ及び加速度センサを含み、角速度に基づいて姿勢を検出し、角速度及び加速度を用いたINS(inertial navigation system)演算により位置を検出する。位置姿勢検出部205は、検出したコントローラ22の位置及び姿勢を示す情報を、仮想オブジェクト制御部250に出力する。
振動出力部206は、振動を出力する機能を有する。振動出力部206は、出力制御部260による制御に基づいて振動を出力する。例えば、振動出力部206は、偏心モータ、LRA(Linear Resonant Actuator)又はVCM(Voice Coil Motor)等により実現され得る。
(受信部210)
受信部210は、他の装置から情報を受信する機能を有する。より詳しくは、受信部210は、記録装置10から、コンテンツ構成情報を取得する取得部として機能する。受信部210は、選択中の視点に対応するコンテンツ構成情報、即ち選択中の視点に対応する第1のセンサ装置11又は第2のセンサ装置12によるセンシング結果に基づいて生成されたコンテンツ構成情報を受信する。受信部210は、受信したコンテンツ構成情報を、コンテンツ構成情報解析部220に出力する。
コンテンツ構成情報解析部220は、コンテンツ構成情報から各種情報を抽出する機能を有する。例えば、コンテンツ構成情報解析部220は、コンテンツ構成情報からVR用画像情報及び空間インタラクション構成情報を分離及び抽出して、それぞれ出力する。
タイミング同期部230は、VR用画像情報に含まれる撮像画像と空間インタラクション構成情報に含まれる表面モデルとのタイミング同期を確立する機能を有する。詳しくは、タイミング同期部230は、撮像画像と、当該撮像画像の撮像時刻と同一時刻を検出時刻とする表面モデルと、を対応付けることで、撮像画像と表面モデルとのタイミング同期を確立する。その際、タイミング同期部230は、撮像画像のフレーム番号と表面モデルのフレーム番号に基づいて、撮像画像と表面モデルとのタイミング同期を確立する。タイミング同期部230は、タイミング同期が確立された撮像画像と表面モデルとを、即ち撮像画像と当該撮像画像の撮像時刻と同一時刻を検出時刻とする表面モデルとを、座標変換部240に出力する。
座標変換部240は、VR用画像情報に含まれる撮像画像と空間インタラクション構成情報に含まれる表面モデルとの座標系の同期を確立する機能を有する。座標変換部240は、表面モデルに対し、センサ装置位置姿勢情報が示すVRカメラ101の座標系とデプスセンサ102の座標系とのずれを補正するための、座標変換処理を適用する。具体的には、座標変換部240は、表面モデルを形成する点群の三次元位置を、VRカメラ101の位置に基づき設定される原点とVRカメラ101の姿勢に基づき設定される座標軸とにより定義される、VRカメラ101の座標系における三次元位置に変換する。これにより、仮想空間内に配置された撮像画像内の実オブジェクトと当該実オブジェクトの表面モデルとの三次元位置を合わせることが可能となる。座標変換部240は、タイミング同期及び座標系の同期が確立された撮像画像と表面モデルとを、出力制御部260及び仮想オブジェクト制御部250に出力する。
仮想オブジェクト制御部250は、仮想オブジェクトに関する各種制御を行う機能を有する。
仮想オブジェクト制御部250は、仮想オブジェクトの位置及び姿勢を制御する。詳しくは、仮想オブジェクト制御部250は、仮想オブジェクトの位置及び姿勢を演算する。操作体41に関しては、仮想オブジェクト制御部250は、位置姿勢検出部205から出力されたコントローラ22の位置及び姿勢を示す情報に基づいて、操作体41の位置及び姿勢を演算する。
仮想オブジェクト制御部250は、仮想オブジェクトにコライダーを対応付ける。とりわけ、仮想オブジェクト制御部250は、仮想空間内に配置された撮像画像内の実オブジェクトにコライダーを対応付ける。これにより、仮想空間内に配置された撮像画像内の実オブジェクトと他の仮想オブジェクトとの衝突の検出が可能となる。以下、コライダーの対応付けについて詳しく説明する。
仮想オブジェクト制御部250は、仮想オブジェクト同士の衝突を検出する衝突検出部としての機能も有する。例えば、仮想オブジェクト制御部250は、仮想オブジェクトに対応付けられたコライダー同士の衝突判定により、仮想オブジェクト同士の衝突を検出する。
仮想オブジェクト制御部250は、音声入力部204に入力されたユーザの音声指示に基づいて、仮想オブジェクトを制御してもよい。例えば、仮想オブジェクト制御部250は、ユーザの音声を示すテキスト情報から成る仮想オブジェクトを生成して仮想空間内で移動させたり、ユーザに対応するアバターの仮想オブジェクトの口を動かしたりする。
出力制御部260は、コンテンツ構成情報に基づき、仮想空間内に撮像画像を表示する機能を有する。例えば、出力制御部260は、仮想空間内に撮像画像を配置することで、仮想空間内に撮像画像を表示する。
出力制御部260は、仮想オブジェクト同士の衝突が検出された場合、表示部201に視覚的なフィードバックを出力させてもよい。例えば、出力制御部260は、仮想空間内に配置された撮像画像内の実オブジェクトに操作体41が衝突した場合に、衝突したことを示す情報を表示部201により出力させる。出力制御部260は、表示部201に出力させる情報を、衝突状況に関する情報に基づいて制御してもよい。衝突した仮想オブジェクトの一方が、仮想空間内に配置された撮像画像内の実オブジェクトである場合、表示部201に出力させる情報は、表面モデルに対応付けられた物理係数及び/又は視覚フィードバック設定情報に基づいて決定される。
出力制御部260は、仮想オブジェクト同士の衝突が検出された場合、振動出力部206に触覚フィードバックを出力させてもよい。例えば、出力制御部260は、仮想空間内に配置された撮像画像内の実オブジェクトに操作体41が衝突した場合に、衝突したことを示す振動を振動出力部206により出力させる。出力制御部260は、振動出力部206に出力させる振動に関するパラメータを、衝突状況に関する情報に基づいて指定してもよい。振動に関するパラメータとしては、出力させる振動の周波数、振幅及び振動時間等が挙げられる。衝突した仮想オブジェクトの一方が、仮想空間内に配置された撮像画像内の実オブジェクトである場合、振動パラメータは、表面モデルに対応付けられた物理係数及び/又は触覚フィードバック設定情報に基づいて決定される。
出力制御部260は、仮想オブジェクト同士の衝突が検出された場合、音声出力部203に聴覚フィードバックを出力させてもよい。例えば、出力制御部260は、仮想空間内に配置された撮像画像内の実オブジェクトに操作体41が衝突した場合に、衝突したことを示す音声を音声出力部203により出力させる。出力制御部260は、音声出力部203に出力させる音声に関するパラメータを、衝突状況に関する情報に基づいて指定してもよい。音声に関するパラメータとしては、再生させる音声の種類、及び音量等が挙げられる。衝突した仮想オブジェクトの一方が、仮想空間内に配置された撮像画像内の実オブジェクトである場合、音声に関するパラメータは、表面モデルに対応付けられた物理係数及び/又は聴覚フィードバック設定情報に基づいて決定される。
出力制御部260は、仮想オブジェクト同士の衝突が検出された場合、図示しない嗅覚出力デバイスに嗅覚フィードバックを出力させてもよい。例えば、出力制御部260は、仮想空間内に配置された撮像画像内の実オブジェクトに操作体41が衝突した場合に、衝突したことを示す匂いを嗅覚出力デバイスにより出力させる。出力制御部260は、嗅覚出力デバイスに出力させる匂いに関するパラメータを、衝突状況に関する情報に基づいて指定してもよい。匂いに関するパラメータとしては、匂いの種類、及び匂いの強さ等が挙げられる。衝突した仮想オブジェクトの一方が、仮想空間内に配置された撮像画像内の実オブジェクトである場合、匂いに関するパラメータは、表面モデルに対応付けられた物理係数及び/又は嗅覚フィードバック設定情報に基づいて決定される。
出力制御部260は、仮想オブジェクト同士の衝突が検出された後、所定の停止条件が成立するまでの間、視覚/触覚/聴覚/嗅覚フィードバックを出力させてもよい。所定の停止条件とは、例えば、衝突発生後に所定時間が経過すること、又は仮想オブジェクト同士の距離が所定距離を超えること等である。これにより、衝突の余韻をユーザに与えることが可能となる。
選択部270は、視点を選択する(即ち、再生されるVRコンテンツを切り替える)機能を有する。より詳しくは、選択部270は、再生されるVRコンテンツの元となるコンテンツ構成情報を、どのセンサ装置によるセンシング結果に基づいて生成されたコンテンツ構成情報にするかを選択する。視点の選択は、例えばコンテンツIDの選択により行われる。選択部270は、選択結果を示す情報(例えば、コンテンツID)を記録装置10に送信し、受信するコンテンツ構成情報を切り替えてもよい。
(1)第1の空間インタラクション
第1の空間インタラクションは、仮想空間内に配置された撮像画像内の実オブジェクトとユーザとのインタラクションに関する。本インタラクションについては、図3を参照して上記説明した通りである。詳しくは、再生装置20は、仮想空間内に配置された撮像画像内の実オブジェクト(ステージ16又は演者18)とユーザが操作する操作体41とが衝突した場合に、衝突に対応する触覚フィードバックをコントローラ22により出力させる。このようなインタラクションに関する処理の流れを、図8を参照して説明する。
第2の空間インタラクションは、仮想空間内に配置された撮像画像内の実オブジェクトと操作体41以外の仮想オブジェクトとのインタラクションに関する。本インタラクションに関して、図9を参照して詳しく説明する。
選択部270は、仮想空間におけるユーザ位置に対応するコンテンツ構成情報を、受信部210が取得すべきコンテンツ構成情報として選択する。つまり、選択部270は、仮想空間におけるユーザ位置に応じて、再生されるVRコンテンツを切り替える。選択部270は、視点切り替えオブジェクトに基づいて視点切り替えを実施する。以下、この点について詳しく説明する。
以下、視点の切り替えの具体例について図12~図15を参照して具体的に説明する。
図14は、本実施形態に係るユーザ位置の移動及び視点の切り替えの一例を説明するための図である。図14では、再生装置20により実行されるユーザ位置の移動軌跡及び視点の切り替えの様子並びにユーザの視線を、記録対象の空間にマッピングした様子が図示されている。図14に示すように、演者18がステージ16上にいて、観客席17に第2のセンサ装置12A~12Dが配置されている。
続いて、図16を参照して、視点切り替え処理の流れの一例を説明する。
第2の実施形態は、仮想空間内に配置された撮像画像内のトラッキング対象物に当該トラッキング対象物の三次元位置情報を対応付けることで、仮想空間内に配置された撮像画像内のトラッキング対象物が関与する空間インタラクションを実現する形態である。第1の実施形態では、実オブジェクトの表面全体に対し三次元位置情報が対応付けられていたのに対し、第2の実施形態では、実オブジェクトのうちトラッキング対象物の三次元位置に対応する1点に三次元位置情報が対応付けられる。例えば、実オブジェクトのうちトラッキング対象物の三次元位置に対応する1点に対応付けられる三次元位置情報は、トラッカーに対応する実オブジェクトの三次元位置に対応する所定の座標系の特定の座標である。
(1)記録装置の概要
図17は、本実施形態に係る記録装置10の記録装置の概要を説明するための図である。図17では、記録装置10による情報の記録対象となる空間の一例が示されている。図17に示すように、本空間では、観客席17にいる大勢の観客の前で、ステージ16上でトラッカー14を装着した演者18が歌っている。本空間には、記録装置10による記録に関与する装置として、第3のセンサ装置13が設置されている。また、本空間には、モニタ15も配置されている。
第3のセンサ装置13は、実空間をセンシングする装置である。第3のセンサ装置13は、撮像装置を備える。撮像装置については、第1のセンサ装置11に関し上記説明した通りである。
モニタ15については、第1の実施形態において上記説明した通りである。
図18は、本実施形態に係る再生装置20の概要を説明するための図である。図18では、再生装置20によるVRコンテンツの再生に関与する装置として、HMD21及びコントローラ22が図示されている。HMD21及びコントローラ22については、第1の実施形態において上記説明した通りである。
<3.2.1.記録装置の機能構成例>
図19は、本実施形態に係る記録装置10の機能構成の一例を示すブロック図である。図19に示すように、記録装置10は、画像取得部110、ストリーミング処理部120、トラッカー位置取得部170、コンテンツ構成情報生成部150及び送信部160を含む。
VRカメラ101については第1の実施形態において、トラッカーセンサ103については図17を参照しながら、上記説明した通りである。
(画像取得部110)
画像取得部110については、第1の実施形態において上記説明した通りである。
ストリーミング処理部120については、第1の実施形態において上記説明した通りである。
トラッカー位置取得部170は、第3のセンサ装置13に含まれるトラッカーセンサ103から、実空間のトラッカー14の位置を示す三次元位置情報を取得する機能を有する。ここでの三次元位置情報とは、トラッカーセンサ103の位置に基づき設定される原点とトラッカーセンサ103の姿勢に基づき設定される座標軸とにより定義される、トラッカーセンサ103の座標系における位置を示す情報である。トラッカー14の三次元位置情報は、トラッカー14の1点の三次元位置情報(被写体三次元位置情報に相当)である。トラッカー位置取得部170は、取得したトラッカー14の三次元位置情報をコンテンツ構成情報生成部150に出力する。
コンテンツ構成情報生成部150については、第1の実施形態においてした上記説明の、表面モデルをトラッカー14の三次元位置情報に読み替えればよい。
送信部160については、第1の実施形態において上記説明した通りである。
図20は、本実施形態に係るコンテンツ構成情報のフォーマットの一例を示す図である。図20に示すように、コンテンツ構成情報は、VR用画像情報及び空間インタラクション構成情報を含む。図20では、フレーム番号が1からnのフレームの画像及びトラッカー14の三次元位置情報をコンテナ化した、コンテンツ構成情報のフォーマットが示されている。
VR用画像情報については、第1の実施形態において上記説明した通りである。
空間インタラクション構成情報は、フレームごとのトラッカー14の三次元位置情報、トラッカー14の位置姿勢情報の属性情報及びフレーム番号を含む。フレームごとのトラッカー14の三次元位置情報は、フレームごとの画像におけるトラッカー14の位置を示す情報である。属性情報とは、反発係数、摩擦係数及び法線方向等の、空間インタラクションのための物理係数を含む情報である。フレーム番号は、トラッカー14の三次元位置情報の検出時刻に対応する情報であり、仮想空間関連付け情報に相当する。ある時刻に撮像された撮像画像のフレーム番号と同一時刻に検出されたトラッカー14の三次元位置情報のフレーム番号とは、一致することが望ましい。これにより、撮像画像とトラッカー14の三次元位置情報とのタイミング同期を確立することが容易になる。
図21は、本実施形態に係る記録装置10により実行される記録処理の流れの一例を示すフローチャートである。図21に示すように、まず、画像取得部110は実空間の撮像画像を取得し、トラッカー位置取得部170はトラッカー14の三次元位置情報を取得する(ステップS502)。次いで、コンテンツ構成情報生成部150は、撮像画像とトラッカー14の三次元位置情報とに基づいてコンテンツ構成情報を生成する(ステップS504)。その後、送信部160は、コンテンツ構成情報を再生装置20へ送信する(ステップS506)。
<3.3.1.再生装置の機能構成例>
本実施形態に係る再生装置20は、図7に示した構成要素を同様に有する。各構成要素については、第1の実施形態においてした上記説明の、第1のセンサ装置11及び第2のセンサ装置12を第3のセンサ装置13に、デプスセンサ102をトラッカーセンサ103に、表面モデルをトラッカー14の三次元位置情報に、実オブジェクトをトラッカー14に、それぞれ読み替えればよい。その他、本実施形態に特徴的な点について以下に説明する。
出力制御部260は、トラッカー14の三次元位置情報に基づいて、仮想空間内に表示される撮像画像内のトラッカー14に仮想オブジェクトを重畳して表示する。これにより、演者18が動いてトラッカー14が動いたとしても、トラッカー14の動きに仮想オブジェクトを付随させることが可能となる。
選択部270は、選択候補の視点として、第3のセンサ装置13を選択し得る。即ち、選択部270は、再生されるVRコンテンツの元となるコンテンツ構成情報として、第3のセンサ装置13によるセンシング結果に基づいて生成されたコンテンツ構成情報を選択し得る。
(1)第1の空間インタラクション
第1の空間インタラクションは、仮想空間内に配置された撮像画像内のトラッカー14とユーザとのインタラクションに関する。本インタラクションについては、図18を参照して上記説明した通りである。詳しくは、再生装置20は、仮想空間内に配置された撮像画像内のトラッカー14とユーザが操作する操作体41とが衝突した場合に、衝突に対応する触覚フィードバックをコントローラ22により出力させる。このようなインタラクションに関する処理の流れを、図22を参照して説明する。
第2の空間インタラクションは、仮想空間内に配置された撮像画像内のトラッカー14に対応付けられた実オブジェクトとユーザとのインタラクションに関する。本インタラクションに関して、図23を参照して詳しく説明する。
(1)記録側
記録装置10は、第1のセンサ装置11又は第2のセンサ装置12がセンシングに失敗した場合、又はセンシングが途切れる場合には、センシング結果を予測したり、直前のセンシング結果を用いて補間したりしてもよい。また、記録装置10は、デプスセンサ102とトラッカーセンサ103とを組み合わせてコンテンツ構成情報を生成してもよい。即ち、第1の実施形態と第2の実施形態とは、組み合わされてもよい。例えば、記録装置10が生成するコンテンツ構成情報は、表面モデルデータとトラッカーの三次元位置情報の両方を含んでも良い。
再生装置20は、操作体41による操作量を、ユーザに合わせて調整してもよい。例えば、再生装置20は、実空間におけるコントローラ22の位置の変化量と仮想空間における操作体41の位置の変化量との関係を、ユーザの手の長さに応じて調整する。詳しくは、再生装置20は、手の短いユーザについては、少しのコントローラ22の移動で操作体41を大きく移動させる。他にも、再生装置20は、操作体41が勝手に操作対象に近づくようにしてもよい。
上記第2の実施形態において説明したように、トラッカー14に対応する実オブジェクトが空間インタラクションの対象となる場合、位置オフセット情報を用いてトラッカー14に対応する実オブジェクトの三次元位置情報が取得される。かかる処理を、オフセット処理とも称する。
最後に、図25を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図25は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図25に示す情報処理装置900は、例えば、図4、図7及び図19にそれぞれ示した記録装置10又は再生装置20を実現し得る。本実施形態に係る記録装置10又は再生装置20による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
<<6.まとめ>>
以上、図1~図25を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る記録装置10は、実オブジェクトを含む撮像画像と、実オブジェクトの三次元位置情報を取得する。そして、記録装置10は、撮像画像、実オブジェクトの三次元位置情報、及び仮想空間内に表示される撮像画像内の実オブジェクトが関与するインタラクションに用いられる情報であって、撮像画像内の実オブジェクトと当該実オブジェクトの三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成する。これにより、再生装置20側で、仮想空間内に撮像画像を配置しつつ、当該撮像画像内の実オブジェクトに三次元位置情報を対応付けることができる。再生装置20は、かかる三次元位置情報を参照することで、仮想空間内に表示された撮像画像内の実オブジェクトと他の仮想オブジェクトとの空間インタラクションを実現することが可能となる。詳しくは、再生装置20は、仮想空間内に表示された撮像画像内の実オブジェクトの三次元位置情報と、他の仮想オブジェクトの三次元位置情報とに基づいて、これらの衝突を検出し、衝突に伴うフィードバックを出力することが可能となる。このようにして、実写VRコンテンツにおける空間インタラクションをより適切に実現することが可能となる。
(1)
被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得する取得部と、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成するコンテンツ構成情報生成部と、
を備える情報処理装置。
(2)
前記仮想空間関連付け情報は、前記撮像画像と前記被写体三次元位置情報とを関連付ける識別情報を含む、前記(1)に記載の情報処理装置。
(3)
前記仮想空間関連付け情報は、前記撮像画像を撮像した撮像装置の座標系及び前記被写体三次元位置情報を検出したセンサの座標系に関する情報を含む、前記(1)又は(2)に記載の情報処理装置。
(4)
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、前記(1)~(3)のいずれか一項に記載の情報処理装置。
(5)
前記コンテンツ構成情報は、前記仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションが行われる場合のフィードバック内容を設定するフィードバック設定情報をさらに含む、前記(1)~(4)のいずれか一項に記載の情報処理装置。
(6)
前記フィードバック設定情報は、視覚的、触覚的、聴覚的又は嗅覚的にフィードバックされる内容を設定する情報を含む、前記(5)に記載の情報処理装置。
(7)
前記フィードバック設定情報は、前記仮想空間内における視点移動の際にフィードバックされる内容を設定する情報を含む、前記(5)又は(6)に記載の情報処理装置。
(8)
前記コンテンツ構成情報は、前記被写体の物理係数を示す情報を含む、前記(1)~(7)のいずれか一項に記載の情報処理装置。
(9)
前記被写体三次元位置情報は、前記被写体の表面の複数の点の三次元位置情報である、前記(1)~(8)のいずれか一項に記載の情報処理装置。
(10)
前記被写体三次元位置情報は、所定の条件を満たす前記被写体の、表面の複数の点の三次元位置情報である、前記(9)に記載の情報処理装置。
(11)
前記被写体三次元位置情報は、前記コンテンツ構成情報の伝送速度に応じた数の点の三次元位置情報である、前記(9)又は(10)に記載の情報処理装置。
(12)
前記被写体三次元位置情報は、トラッキング対象物の1点の三次元位置情報である、前記(1)~(11)のいずれか一項に記載の情報処理装置。
(13)
被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得する取得部と、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御する出力制御部と、
を備える情報処理装置。
(14)
前記仮想空間関連付け情報は、前記撮像画像と前記被写体三次元位置情報とを関連付ける識別情報を含む、前記(13)に記載の情報処理装置。
(15)
前記仮想空間関連付け情報は、前記撮像画像を撮像した撮像装置の座標系及び前記被写体三次元位置情報を検出したセンサの座標系に関する情報を含む、前記(13)又は(14)に記載の情報処理装置。
(16)
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、前記(13)~(15)のいずれか一項に記載の情報処理装置。
(17)
前記コンテンツ構成情報は、前記仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションが行われる場合のフィードバック内容を設定するフィードバック設定情報をさらに含む、前記(13)~(16)のいずれか一項に記載の情報処理装置。
(18)
前記コンテンツ構成情報は、前記被写体の物理係数を示す情報を含む、前記(13)~(17)のいずれか一項に記載の情報処理装置。
(19)
前記情報処理装置は、
前記被写体三次元位置情報に対し、前記撮像画像を撮像した撮像装置の座標系と前記被写体三次元位置情報を検出したセンサの座標系とのずれを補正するための座標変換処理を適用する座標変換部をさらに備える、前記(13)~(18)のいずれか一項に記載の情報処理装置。
(20)
前記情報処理装置は、
前記撮像画像と前記被写体三次元位置情報とのタイミング同期を確立するタイミング同期部をさらに備える、前記(13)~(19)のいずれか一項に記載の情報処理装置。
(21)
前記出力制御部は、前記仮想空間内に表示された前記撮像画像内の前記被写体と他の仮想オブジェクトとの衝突に対応するフィードバックの出力を制御する、前記(13)~(20)のいずれか一項に記載の情報処理装置。
(22)
前記出力制御部は、前記仮想空間内に表示された前記撮像画像内の前記被写体と前記仮想空間におけるユーザの操作位置を示す仮想オブジェクトとが衝突した場合に、衝突したことを示す触覚フィードバックの出力を制御する、前記(21)に記載の情報処理装置。
(23)
前記情報処理装置は、前記被写体三次元位置情報と前記他の仮想オブジェクトの三次元位置情報とに基づいて、前記仮想空間内に表示された前記撮像画像内の前記被写体と前記他の仮想オブジェクトとの衝突を検出する衝突検出部をさらに備える、前記(21)又は(22)に記載の情報処理装置。
(24)
前記出力制御部は、前記被写体三次元位置情報に基づいて、前記仮想空間内に表示される前記撮像画像内の前記被写体に仮想オブジェクトを重畳する、前記(13)~(23)のいずれか一項に記載の情報処理装置。
(25)
前記出力制御部は、前記被写体三次元位置情報の精度に基づいて、前記被写体に重畳させる仮想オブジェクトの大きさ及び/又は鮮明度を制御する、前記(24)に記載の情報処理装置。
(26)
前記情報処理装置は、前記仮想空間におけるユーザ位置に対応する前記コンテンツ構成情報を、前記取得部が取得すべき前記コンテンツ構成情報として選択する選択部をさらに備える、前記(13)~(25)のいずれか一項に記載の情報処理装置。
(27)
前記選択部は、前記仮想空間におけるユーザ位置が所定の位置に到達したことをトリガとして、選択する前記コンテンツ構成情報を切り替える、前記(26)に記載の情報処理装置。
(28)
前記所定の位置は、切り替え先の前記コンテンツ構成情報の元となる前記撮像画像を撮像した撮像装置の位置に相当する前記仮想空間内の位置である、前記(27)に記載の情報処理装置。
(29)
前記所定の位置は、前記仮想空間内に表示された前記撮像画像内の所定の実オブジェクトまでの距離が、切り替え先の前記コンテンツ構成情報の元となる前記撮像画像を撮像した撮像装置の位置に相当する前記仮想空間内の位置と同等である、前記(27)に記載の情報処理装置。
(30)
前記出力制御部は、前記選択部による切り替え後、前記仮想空間内に表示された前記撮像画像内の所定の実オブジェクトがユーザの視線と衝突するように、前記仮想空間に前記撮像画像を配置する、前記(27)又は(29)に記載の情報処理装置。
(31)
前記出力制御部は、前記仮想空間におけるユーザの視線が所定の仮想オブジェクトに衝突した場合に、前記ユーザ位置を移動させる、前記(27)~(30)のいずれか一項に記載の情報処理装置。
(32)
被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得することと、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成することと、
を備える、プロセッサにより実行される情報処理方法。
(33)
被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得することと、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御することと、
を備える、プロセッサにより実行される情報処理方法。
(34)
コンピュータを、
被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得する取得部と、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成するコンテンツ構成情報生成部、
として機能させるためのプログラム。
(35)
コンピュータを、
被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得する取得部と、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御する出力制御部と、
として機能させるためのプログラム。
10 記録装置
110 画像取得部
120 ストリーミング処理部
130 深度情報取得部
140 表面モデル取得部
150 コンテンツ構成情報生成部
160 送信部
170 トラッカー位置取得部
11 第1のセンサ装置
12 第2のセンサ装置
13 第3のセンサ装置
101 VRカメラ
102 デプスセンサ
103 トラッカーセンサ
14 トラッカー
15 モニタ
16 ステージ
17 観客席
18 演者
19 視点切り替え位置
20 再生装置
210 受信部
220 コンテンツ構成情報解析部
230 タイミング同期部
240 座標変換部
250 仮想オブジェクト制御部
260 出力制御部
270 選択部
22 コントローラ
201 表示部
202 位置姿勢検出部
203 音声出力部
204 音声入力部
205 位置姿勢検出部
206 振動出力部
Claims (33)
- 被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得する取得部と、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成するコンテンツ構成情報生成部と、
を備え、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
情報処理装置。 - 前記仮想空間関連付け情報は、前記撮像画像と前記被写体三次元位置情報とを関連付ける識別情報を含む、請求項1に記載の情報処理装置。
- 前記仮想空間関連付け情報は、前記撮像画像を撮像した撮像装置の座標系及び前記被写体三次元位置情報を検出したセンサの座標系に関する情報を含む、請求項1又は2に記載の情報処理装置。
- 前記コンテンツ構成情報は、前記仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションが行われる場合のフィードバック内容を設定するフィードバック設定情報をさらに含む、請求項1~3のいずれか1項に記載の情報処理装置。
- 前記フィードバック設定情報は、視覚的、触覚的、聴覚的又は嗅覚的にフィードバックされる内容を設定する情報を含む、請求項4に記載の情報処理装置。
- 前記フィードバック設定情報は、前記仮想空間内における視点移動の際にフィードバックされる内容を設定する情報を含む、請求項4又は5に記載の情報処理装置。
- 前記コンテンツ構成情報は、前記被写体の物理係数を示す情報を含む、請求項1~6のいずれか1項に記載の情報処理装置。
- 前記被写体三次元位置情報は、前記被写体の表面の複数の点の三次元位置情報である、請求項1~7のいずれか1項に記載の情報処理装置。
- 前記被写体三次元位置情報は、所定の条件を満たす前記被写体の、表面の複数の点の三次元位置情報である、請求項8に記載の情報処理装置。
- 前記被写体三次元位置情報は、前記コンテンツ構成情報の伝送速度に応じた数の点の三次元位置情報である、請求項8又は9に記載の情報処理装置。
- 前記被写体三次元位置情報は、トラッキング対象物の1点の三次元位置情報である、請求項1~10のいずれか1項に記載の情報処理装置。
- 被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得する取得部と、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御する出力制御部と、
を備え、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
情報処理装置。 - 前記仮想空間関連付け情報は、前記撮像画像と前記被写体三次元位置情報とを関連付ける識別情報を含む、請求項12に記載の情報処理装置。
- 前記仮想空間関連付け情報は、前記撮像画像を撮像した撮像装置の座標系及び前記被写体三次元位置情報を検出したセンサの座標系に関する情報を含む、請求項12又は13に記載の情報処理装置。
- 前記コンテンツ構成情報は、前記仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションが行われる場合のフィードバック内容を設定するフィードバック設定情報をさらに含む、請求項12~14のいずれか1項に記載の情報処理装置。
- 前記コンテンツ構成情報は、前記被写体の物理係数を示す情報を含む、請求項12~15のいずれか1項に記載の情報処理装置。
- 前記情報処理装置は、
前記被写体三次元位置情報に対し、前記撮像画像を撮像した撮像装置の座標系と前記被写体三次元位置情報を検出したセンサの座標系とのずれを補正するための座標変換処理を適用する座標変換部をさらに備える、請求項12~16のいずれか1項に記載の情報処理装置。 - 前記情報処理装置は、
前記撮像画像と前記被写体三次元位置情報とのタイミング同期を確立するタイミング同期部をさらに備える、請求項12~17のいずれか1項に記載の情報処理装置。 - 前記出力制御部は、前記仮想空間内に表示された前記撮像画像内の前記被写体と他の仮想オブジェクトとの衝突に対応するフィードバックの出力を制御する、請求項12~18のいずれか1項に記載の情報処理装置。
- 前記出力制御部は、前記仮想空間内に表示された前記撮像画像内の前記被写体と前記仮想空間におけるユーザの操作位置を示す仮想オブジェクトとが衝突した場合に、衝突したことを示す触覚フィードバックの出力を制御する、請求項19に記載の情報処理装置。
- 前記情報処理装置は、前記被写体三次元位置情報と前記他の仮想オブジェクトの三次元位置情報とに基づいて、前記仮想空間内に表示された前記撮像画像内の前記被写体と前記他の仮想オブジェクトとの衝突を検出する衝突検出部をさらに備える、請求項19又は20に記載の情報処理装置。
- 前記出力制御部は、前記被写体三次元位置情報に基づいて、前記仮想空間内に表示される前記撮像画像内の前記被写体に仮想オブジェクトを重畳する、請求項12~21のいずれか1項に記載の情報処理装置。
- 前記出力制御部は、前記被写体三次元位置情報の精度に基づいて、前記被写体に重畳させる仮想オブジェクトの大きさ及び/又は鮮明度を制御する、請求項22に記載の情報処理装置。
- 前記情報処理装置は、前記仮想空間におけるユーザ位置に対応する前記コンテンツ構成情報を、前記取得部が取得すべき前記コンテンツ構成情報として選択する選択部をさらに備える、請求項12~23のいずれか1項に記載の情報処理装置。
- 前記選択部は、前記仮想空間におけるユーザ位置が所定の位置に到達したことをトリガとして、選択する前記コンテンツ構成情報を切り替える、請求項24に記載の情報処理装置。
- 前記所定の位置は、切り替え先の前記コンテンツ構成情報の元となる前記撮像画像を撮像した撮像装置の位置に相当する前記仮想空間内の位置である、請求項25に記載の情報処理装置。
- 前記所定の位置は、前記仮想空間内に表示された前記撮像画像内の所定の実オブジェクトまでの距離が、切り替え先の前記コンテンツ構成情報の元となる前記撮像画像を撮像した撮像装置の位置に相当する前記仮想空間内の位置と同等である、請求項25に記載の情報処理装置。
- 前記出力制御部は、前記選択部による切り替え後、前記仮想空間内に表示された前記撮像画像内の所定の実オブジェクトがユーザの視線と衝突するように、前記仮想空間に前記撮像画像を配置する、請求項25又は27に記載の情報処理装置。
- 前記出力制御部は、前記仮想空間におけるユーザの視線が所定の仮想オブジェクトに衝突した場合に、前記ユーザ位置を移動させる、請求項25~28のいずれか1項に記載の情報処理装置。
- 被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得することと、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成することと、
を備える、プロセッサにより実行される情報処理方法であって、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
情報処理方法。 - 被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得することと、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御することと、
を備える、プロセッサにより実行される情報処理方法であって、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
情報処理方法。 - コンピュータを、
被写体を含む撮像画像と、前記被写体の三次元位置を示す被写体三次元位置情報を取得する取得部と、
前記撮像画像、前記被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を生成するコンテンツ構成情報生成部、
として機能させるためのプログラムであって、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
プログラム。 - コンピュータを、
被写体を含む撮像画像、前記被写体の三次元位置を示す被写体三次元位置情報、及び仮想空間内に表示される前記撮像画像内の前記被写体が関与するインタラクションに用いられる情報であって、前記撮像画像内の前記被写体と前記被写体三次元位置情報とを関連付ける仮想空間関連付け情報、を含むコンテンツ構成情報を取得する取得部と、
前記コンテンツ構成情報に基づき、前記仮想空間内に前記撮像画像を表示し、前記仮想空間内に表示された前記撮像画像内の前記被写体が関与するインタラクションに対応するフィードバックの出力を制御する出力制御部と、
として機能させるためのプログラムであって、
前記仮想空間関連付け情報は、前記撮像画像の撮像時刻に対応する情報及び前記被写体三次元位置情報の検出時刻に対応する情報を含む、
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136547 | 2018-07-20 | ||
JP2018136547 | 2018-07-20 | ||
PCT/JP2019/025255 WO2020017261A1 (ja) | 2018-07-20 | 2019-06-25 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020017261A1 JPWO2020017261A1 (ja) | 2021-08-26 |
JP7338626B2 true JP7338626B2 (ja) | 2023-09-05 |
Family
ID=69164014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020531203A Active JP7338626B2 (ja) | 2018-07-20 | 2019-06-25 | 情報処理装置、情報処理方法及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11250636B2 (ja) |
EP (1) | EP3825817A4 (ja) |
JP (1) | JP7338626B2 (ja) |
KR (1) | KR20210031894A (ja) |
CN (1) | CN112424728B (ja) |
WO (1) | WO2020017261A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021162993A (ja) * | 2020-03-31 | 2021-10-11 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP7522576B2 (ja) | 2020-04-08 | 2024-07-25 | 株式会社Nttドコモ | 制御装置及びプログラム |
JPWO2022118747A1 (ja) * | 2020-12-04 | 2022-06-09 | ||
WO2022145414A1 (ja) * | 2020-12-28 | 2022-07-07 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
JP6959682B1 (ja) * | 2020-12-28 | 2021-11-05 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
JP7044426B1 (ja) | 2021-10-14 | 2022-03-30 | 株式会社計数技研 | 画像合成装置、画像合成方法、及びプログラム |
WO2023276252A1 (ja) * | 2021-06-30 | 2023-01-05 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2024048195A1 (ja) * | 2022-09-02 | 2024-03-07 | 株式会社Nttドコモ | 表示制御装置 |
US12002154B1 (en) * | 2024-01-22 | 2024-06-04 | Illuscio, Inc. | Systems and methods for automatic and dynamic generation of shape-conforming and computationally efficient colliders for point clouds |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293605A (ja) | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
JP2018014090A (ja) | 2016-06-15 | 2018-01-25 | イマージョン コーポレーションImmersion Corporation | ケースを介して触覚フィードバックを提供するためのシステム及び方法 |
JP2018112894A (ja) | 2017-01-11 | 2018-07-19 | キヤノン株式会社 | システムおよび制御方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1686554A3 (en) | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
JP2009145883A (ja) | 2007-11-20 | 2009-07-02 | Rissho Univ | 学習システム、記憶媒体及び学習方法 |
JP5799521B2 (ja) * | 2011-02-15 | 2015-10-28 | ソニー株式会社 | 情報処理装置、オーサリング方法及びプログラム |
JP2014149712A (ja) * | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
WO2014156033A1 (en) * | 2013-03-26 | 2014-10-02 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
US9754167B1 (en) * | 2014-04-17 | 2017-09-05 | Leap Motion, Inc. | Safety for wearable virtual reality devices via object detection and tracking |
US9746984B2 (en) * | 2014-08-19 | 2017-08-29 | Sony Interactive Entertainment Inc. | Systems and methods for providing feedback to a user while interacting with content |
CN105094335B (zh) * | 2015-08-04 | 2019-05-10 | 天津锋时互动科技有限公司 | 场景提取方法、物体定位方法及其*** |
US10212428B2 (en) * | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
CN107015655A (zh) * | 2017-04-11 | 2017-08-04 | 苏州和云观博数字科技有限公司 | 博物馆虚拟场景ar体验眼镜装置及其实现方法 |
JP6298557B1 (ja) * | 2017-04-14 | 2018-03-20 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US20190066385A1 (en) * | 2017-08-31 | 2019-02-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
-
2019
- 2019-06-25 CN CN201980046227.0A patent/CN112424728B/zh active Active
- 2019-06-25 EP EP19837662.6A patent/EP3825817A4/en active Pending
- 2019-06-25 KR KR1020217000351A patent/KR20210031894A/ko unknown
- 2019-06-25 US US17/254,305 patent/US11250636B2/en active Active
- 2019-06-25 JP JP2020531203A patent/JP7338626B2/ja active Active
- 2019-06-25 WO PCT/JP2019/025255 patent/WO2020017261A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293605A (ja) | 2005-04-08 | 2006-10-26 | Canon Inc | 情報処理方法およびシステム |
JP2018014090A (ja) | 2016-06-15 | 2018-01-25 | イマージョン コーポレーションImmersion Corporation | ケースを介して触覚フィードバックを提供するためのシステム及び方法 |
JP2018112894A (ja) | 2017-01-11 | 2018-07-19 | キヤノン株式会社 | システムおよび制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US11250636B2 (en) | 2022-02-15 |
JPWO2020017261A1 (ja) | 2021-08-26 |
EP3825817A4 (en) | 2021-09-08 |
EP3825817A1 (en) | 2021-05-26 |
KR20210031894A (ko) | 2021-03-23 |
WO2020017261A1 (ja) | 2020-01-23 |
CN112424728A (zh) | 2021-02-26 |
CN112424728B (zh) | 2024-06-18 |
US20210217248A1 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7338626B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7095602B2 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP6344380B2 (ja) | 画像処理装置および方法、並びにプログラム | |
EP2840463A1 (en) | Haptically enabled viewing of sporting events | |
CN111045511B (zh) | 基于手势的操控方法及终端设备 | |
CN110637274B (zh) | 信息处理设备、信息处理方法以及程序 | |
KR20180094799A (ko) | 자동 국부적 햅틱 생성 시스템 | |
WO2019187862A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
US20210191504A1 (en) | Information processing device, information processing method, and program | |
US20230179756A1 (en) | Information processing device, information processing method, and program | |
EP3486749A1 (en) | Provision of virtual reality content | |
US20230154106A1 (en) | Information processing apparatus, information processing method, and display apparatus | |
KR20180017736A (ko) | Hmd 및 그 hmd의 제어 방법 | |
US20190287313A1 (en) | Head-mountable apparatus and methods | |
EP4306192A1 (en) | Information processing device, information processing terminal, information processing method, and program | |
CN107148614A (zh) | 信息处理设备、信息处理方法和程序 | |
CN109791436B (zh) | 用于提供虚拟场景的装置及方法 | |
WO2022075152A1 (ja) | 情報処理装置、情報処理方法及び情報配信システム | |
CN110431513B (zh) | 媒体内容发送方法、装置及存储介质 | |
JP6921204B2 (ja) | 情報処理装置および画像出力方法 | |
WO2018216327A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021153413A1 (ja) | 情報処理装置、情報処理システム及び情報処理方法 | |
WO2022220306A1 (ja) | 映像表示システム、情報処理装置、情報処理方法、及び、プログラム | |
EP4037340A1 (en) | Processing of audio data | |
WO2022209129A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230807 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7338626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |