JP7355006B2 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP7355006B2
JP7355006B2 JP2020510455A JP2020510455A JP7355006B2 JP 7355006 B2 JP7355006 B2 JP 7355006B2 JP 2020510455 A JP2020510455 A JP 2020510455A JP 2020510455 A JP2020510455 A JP 2020510455A JP 7355006 B2 JP7355006 B2 JP 7355006B2
Authority
JP
Japan
Prior art keywords
user
virtual space
information processing
viewpoint
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020510455A
Other languages
English (en)
Other versions
JPWO2019187862A1 (ja
Inventor
慧 高橋
毅 石川
亮平 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019187862A1 publication Critical patent/JPWO2019187862A1/ja
Application granted granted Critical
Publication of JP7355006B2 publication Critical patent/JP7355006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
近年、ユーザの頭部や顔に装着される表示装置、いわゆるヘッドマウントディスプレイ(HMD)を用いて、仮想現実空間の映像と音声をユーザに提示するVR(Virtual Reality)技術が提案されている。HMDを頭部に装着した際に外界を遮る構成にすることで、視聴時の仮想現実感が増す。
また、VR技術では、広角画像の一部を切り出した画像を、ユーザの頭部の動きに追従して提示することができる。例えば下記特許文献1にも記載されているように、ユーザの頭部の動きをジャイロセンサ等から取得し、ユーザの頭部の動きに追従させた全周囲360度の映像を実感させることが可能である。ジャイロセンサが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、自由視点視聴および視点移動環境を実現することができる。
また、HMDの位置を認識するポジショントラッキング技術を用いることで、ユーザが実際の空間で前後左右に移動した際に仮想空間でも同じ移動量で前後左右に移動することができ、さらに没入感の高いVR体験を楽しむことができる。
国際公開第2016/002318号
しかしながら、仮想空間として提示されるコンテンツによっては、指定された範囲内にしかコンテンツが存在しない場合や、壁などで指定された範囲内でしか移動できない場合がある。このような場合にユーザが壁や指定範囲を越える移動を行うと、ユーザに提示できるコンテンツが無いため、画面を真っ暗にしたり、本来のコンテンツではないCGを描画したりすることになる。このため、本来のコンテンツの世界観が損なわれ、ユーザ体験を損なってしまう。
そこで、本開示では、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
本開示によれば、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行うこと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部として機能させるためのプログラムが記録された、記録媒体を提案する。
以上説明したように本開示によれば、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 仮想空間の境界について説明する図である。 実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 壁などの仮想空間の境界を越える移動をユーザが行った際に、境界を突き抜ける表現を提示する場合について説明する図である。 図4に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 壁などの仮想空間の境界を越える移動をユーザが行った際に、ユーザの視点が境界より先に進むことができない表現を提示する場合について説明する図である。 図6に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。 本実施形態による情報処理システムに含まれる各装置の構成の一例について説明するブロック図である。 本実施形態の第1の実施例においてユーザが境界に近付いた場合に画面を暗くする表示制御について説明する図である。 本実施形態の第2の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。 図10に示す表現方法を、ユーザの移動入力方向に仮想空間の原点を移動させて実現する場合について説明する図である。 図10に示す表現方法を、ユーザの移動入力方向と逆方向にユーザの視点を移動させて実現する場合について説明する図である。 図10に示す例における実空間のユーザ位置と仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。 本実施形態の第3の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。 図14に示す例における実空間のユーザ位置と仮想空間のユーザおよび各物体の位置の関係を示すグラフである。 本実施形態によるシステムの動作処理における境界領域にユーザが近付いた際の表示制御の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成例
3.境界領域の表示制御
3-1.第1の実施例
3-2.第2の実施例
3-3.第3の実施例
3-4.補足
4.動作処理
5.ハードウェア構成例
6.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態によるシステム1は、仮想空間の画像をユーザに提示する表示装置10と、ユーザの動きを追従するセンサ装置20と、表示装置10に表示する仮想空間の画像の生成および表示装置10への当該画像の表示制御を行う情報処理装置30と、仮想空間のコンテンツ情報を格納するコンテンツサーバ40とを含む。
表示装置10は、例えばユーザの頭部に装着されるHMDにより実現される。HMDは、例えば左右の眼毎の画像表示部を有すると共に、ヘッドフォンを併用し、視覚および聴覚を制御できるよう構成される。また、HMDは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示することで3D画像を提示することも可能である。また、表示装置10は、テレビ装置やスマートフォン、またはタブレット端末等の、非装着型のディスプレイであってもよい。
センサ装置20は、ユーザの位置および姿勢を認識するために実空間をセンシングする装置である。例えばセンサ装置20は、撮像部および集音部を有する。
情報処理装置30は、コンテンツサーバ40から仮想空間のコンテンツを取得すると共に、当該コンテンツから、ユーザの動きに応じて自由視点画像を生成し、表示装置10に提供する。ユーザの動きとは、ユーザの位置および姿勢を含み、情報処理装置30は、ユーザをセンシングした各種センシングデータに基づいて、ユーザの位置および姿勢を追従する。例えば、情報処理装置30は、センサ装置20から取得したセンシングデータに基づいてポジショントラッキングを行い、表示装置10から取得したセンシングデータに基づいてヘッドトラッキングおよびアイトラッキングを行い得る。本実施形態ではトラッキング処理を情報処理装置30で行う手法を説明するが、本開示はこの手法に限定されない。例えば、センサ装置20がポジショントラッキング機能を有する追従装置であってもよいし、表示装置10がヘッドトラッキングおよびアイトラッキングを行う追従装置を兼ねた構成であってもよい。
ユーザに提供される仮想空間のコンテンツは、全天球コンテンツ、自由視点コンテンツ、またはゲームコンテンツ等である。自由視点コンテンツとは、複数のカメラを用いて撮像した映像を用いて、任意の位置に仮想カメラを置いた際の映像を生成し、あらゆる視点からの映像視聴を可能としたものである。例えば複数のカメラから取得した人物や物体を3Dモデル化して合成、補完することで、カメラが存在しないアングルを含む任意の視点からの鑑賞を可能とする。コンテンツは録画されたものと、リアルタイムのものがある。
本明細書で使用する「仮想空間」(または「VR空間」)との用語は、実際のユーザが、1つ以上の表示装置を介して認識し得る空間を指す。仮想空間では、ユーザは1つ以上のユーザインタフェースを介して仮想空間内のオブジェクトに影響を及ぼしうる。仮想空間は、1つ以上のプロセッサによってシミュレートされ、実空間に対応した物理法則を含む相互作用のルールを有しうる。仮想空間は、現実の環境と置換される仮想の作業環境の表現の一種と見做されてもよい。本明細書で使用する「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す。仮想空間内では、ユーザがアバターによって表現されてもよいし、ディスプレイにアバターを表示せずに、アバターの視点から仮想空間の世界を表示してもよい。本明細書において、仮想空間におけるユーザの(またはアバターの)視点とは、仮想カメラの視界とみなすことができる。本明細書で使用する「仮想カメラ」とは、仮想空間内の視点を指し、三次元の仮想空間を二次元画像としてディスプレイ(表示装置)に描画するための計算に使用される。
システム1は、さらに、ユーザの意図をシステムに伝えるためのリモートコントローラやゲームコントローラを含んでもよい。
ユーザは、仮想空間をポジショントラッキングやリモートコントローラにより移動できるものとする。ポジショントラッキングでは、ユーザは実際の空間で前後左右に移動すると仮想空間でも同じ移動量で前後左右に移動でき、没入感の高いVR体験を楽しむことができる。
(背景)
ここで、ユーザが視聴するコンテンツは、表示領域に制限がある、またはユーザが移動できる範囲に制約があるものを想定する。例えば実写の自由視点コンテンツで表示領域外のデータが無い場合(自由視点コンテンツの移動可能領域は一般に狭い範囲に限られる場合がある)が相当する。また、CGコンテンツであっても、部屋の中のようなコンテンツであって、部屋の外に出ることが適切ではない場合も相当する。
このような表示領域の端、すなわち仮想空間で特定の位置に固定された仮想空間の終端を、「境界領域」または単に「境界」と称する。図2に、仮想空間の境界について説明する図を示す。図2に示すように、仮想空間には、ユーザが移動可能な領域E1と移動できない領域E2があり、その境目が境界Sとなる。このとき、実空間でのユーザの位置は、センサ装置20を用いてトラッキングされ、実空間でのユーザの移動量が仮想空間の移動量に反映される。図3は、実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図3に示すように、仮想空間内でのユーザ位置は、実空間でのユーザ位置の移動に比例する。
従って、壁などの仮想空間の境界を越えてユーザの視点が移動することも可能となってしまう。ユーザが仮想空間の壁に衝突した場合の表現方法としては、従来2つのアプローチがあった。第1の例は、図4に示すように、ユーザの視点が仮想空間で壁41に衝突した場合、ユーザの視点が壁41を突き抜ける表現方法である。この方法では、ユーザが壁より先に移動しようとした際に、ユーザの視点が壁より先に移動して仮想空間が黒色や壁の内側を表すCGで描画される。仮想空間における壁41や仮想物体42の位置は変化しない。図5は、図4に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図5に示すように、ユーザが壁などの境界を突き抜けて移動すると、仮想空間が黒色やCGで描画され、壁より先の世界が見えることとなる。この方法では、境界の存在をユーザに強く意識させることができず、また、本来境界の手前のコンテンツが持っている世界観を維持することができないといった問題がある。
また、他の表現方法としては、図6に示すように、ユーザが仮想空間で壁41に衝突した場合、ユーザの視点が壁41より先に進むことができない表現方法がある。この方法では、実空間においてユーザが移動していても、仮想空間ではユーザの視点を壁より先には移動させない。また、仮想空間における壁41や仮想物体42の位置は変化しない。図7は、図6に示す例における実空間におけるユーザの移動量と仮想空間でのユーザの移動量との関係を示すグラフである。図6に示すように、ユーザが壁などの境界に到達し、実空間でユーザがさらに移動を続けても、表示されるユーザの位置は壁の位置から何ら変化しない。この方法では、衝突後のユーザの移動がユーザの視界にフィードバックされないため、ユーザはシステムが正しく動いていないと認識する可能性があった。また、この方法ではユーザがトラッキング範囲外に移動した場合と同じ表現となる。したがって、ユーザが仮想空間の移動領域の端に到達した場合であっても、システムが正しく動いている間は実空間におけるユーザの移動量に応じたフィードバックをユーザに通知することが望ましい。
このように、従来の表現方法では、本来のコンテンツの世界観から外れるため、大きく世界観を壊して没入感を損なってしまう。
そこで、本実施形態では、このような制約のあるコンテンツでユーザが境界領域に近付いて境界に衝突しそうになったとき、仮想空間内におけるユーザの視点と境界領域との間の距離を増加させるなどの特定の表現を行う。これにより、仮想空間の世界観を壊すことなく、ユーザに境界を認識させることを可能とする。
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
<<2.構成例>>
図8は、本実施形態による情報処理システムに含まれる各装置の構成の一例について説明するブロック図である。
(表示装置10)
図8に示すように表示装置10は、制御部11、発光部12、表示部13、スピーカ14、センサ部15、および通信部16を有する。表示装置10は、例えば表示する画像を観察するユーザの頭部に装着して用いられ、所定の周期でセンサ部15によりセンシングした情報を情報処理装置30に送信する。
制御部11は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置10の動作全般を制御する。制御部11は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部11は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
発光部12は、例えば1以上のLEDライトまたは赤外線発光部等であって、外部カメラにより表示装置10の位置を認識するアウトサイド・イン方式のポジショントラッキングを行う際に用いられる。
表示部13は、表示装置10がHMDとして構成される場合、ユーザの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像および右眼用画像を表示する。表示部13の画面は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイなどの表示パネル、または、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部13は、表示画面を拡大投影して、ユーザの瞳に所定の画角からなる拡大虚像を結像する結像光学系を備える。
スピーカ14は、表示装置10がHMDとして構成される場合、ユーザの頭部に装着されるヘッドフォンとして構成され、音声信号を再生する。なおスピーカ14は、ヘッドフォン型に限定されず、イヤフォン、若しくは骨伝導スピーカとして構成されてもよい。
センサ部15は、例えば、ジャイロセンサ、加速度センサ、および地磁気センサなど複数のセンサを組み合わせて構成されたモーションセンサを含む。センサ部15は、例えば3軸ジャイロセンサ、3軸加速度センサ、および3軸地磁気センサの合計9軸を検出可能なセンサとしてもよい。若しくは、センサ部15は、ジャイロセンサ、加速度センサ、または地磁気センサの少なくともいずれかのセンサであってもよい。センサ部15によりセンシングされたデータは、制御部11により、定期的に通信部16から情報処理装置30に送信され、表示装置10を装着したユーザの頭部姿勢算出の際に用いられる。
また、センサ部15は、表示装置10を装着したユーザの視線を検出する視線検出センサを含んでもよい。例えば、視線検出センサは、ユーザの眼前に位置する表示部13の周辺に設けられた赤外線センサ(赤外線発光部および赤外線カメラ)等の内向きカメラであってもよいし、ユーザの眼の周辺の筋肉の動きを検知する筋電センサ、若しくは脳波センサ等であってもよい。
通信部16は、有線または無線により情報処理装置30と接続し、データの送受信を行う。通信部16は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)等により情報処理装置30と通信接続する。
以上、表示装置10の構成について具体的に説明したが、本開示による表示装置10の構成は図8に示す例に限定されない。例えば、表示装置10がHMDとして構成される場合、ユーザの音声を取得するマイロフォンがさらに設けられていてもよい。また、表示装置10がHMDとして構成される場合、インサイド・アウト方式のポジショントラッキングを行う際に用いられる外向きカメラがさらに設けられていてもよい。
(センサ装置20)
センサ装置20は、制御部21、撮像部22、集音部23、および通信部24を有する。センサ装置20は、ユーザの周辺に設置される外部センサであって、複数あってもよい。
制御部21は、演算処理装置および制御装置として機能し、各種プログラムに従ってセンサ装置20の動作全般を制御する。制御部21は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部21は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
撮像部22は、ユーザが装着した表示装置10(HMD)に設けられたLEDライトや赤外線発光部の光を撮像するカメラである。撮像部22により取得された撮像画像は定期的に情報処理装置30に送信され、ユーザの位置および視線の算出(アウトサイド・イン方式のポジショントラッキング)に用いられる。撮像部22は、複数設けられていてもよい。
集音部23は、ユーザの音声や周囲の環境音を収音し、音声信号を制御部21に出力する。制御部21は、集音された音声を解析して所定のコマンドを抽出し、センサ装置20の電源ON/OFFなどの制御を行ってもよい。また、集音された音声は、情報処理装置30に送信され、情報処理装置30において音声解析が行われ、所定のコマンドが抽出され実行されてもよいし、仮想空間を介したコミュニケーション相手に送信されてもよい。集音部23は、複数設けられていてもよい。
通信部24は、有線または無線により情報処理装置30と接続し、データの送受信を行う。通信部24は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)等により情報処理装置30と通信接続する。
以上、センサ装置20の構成について具体的に説明したが、本開示によるセンサ装置20の構成は図8に示す例に限定されない。例えば、センサ装置20は、集音部23を有さない構成であってもよいし、複数の装置により構成されていてもよい。
(情報処理装置30)
情報処理装置30は、制御部31、通信部32、および記憶部33を有する。情報処理装置30は、表示装置10に出力する仮想空間の画像を生成する描画処理機能を有する。また、情報処理装置30は、表示装置10がHMDにより構成されている場合、表示装置10を装着しているユーザの位置および姿勢に応じて、ユーザが見ている仮想空間の画像を変化させる描画処理を行う。
制御部31は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置30の動作全般を制御する。制御部31は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部31は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、制御部31は、トラッキング部311および描画処理部312としても機能する。トラッキング部311は、ユーザの頭部の追従(ヘッドトラッキング)、視線の追従(アイトラッキング)、および位置や姿勢の追従(ポジショントラッキング)といった、ユーザの動きに関するトラッキングを行い得る。
例えばトラッキング部311は、表示装置10のセンサ部15により検出された9軸の検出結果に基づいて、ユーザの頭部など、表示装置10が取り付けられた部位の姿勢情報を算出する、いわゆるヘッドトラッキングを行うことが可能である。
また、トラッキング部311は、表示装置10のセンサ部15により検出されたユーザの眼の撮像画像(例えば赤外線を眼に発光してその反射を撮像した赤外線画像)に基づいて、ユーザの視線(視線方向および注視点)を算出する、いわゆるアイトラッキングを行うことが可能である。
また、トラッキング部311は、表示装置10がHMDにより構成されている場合に表示装置10を装着したユーザの位置および姿勢を検出する、いわゆるポジショントラッキングを行うことが可能である。ポジショントラッキングには、外部に設置したセンサを利用するアウトサイド・イン方式と、計測したいもの自体(HMD)に搭載したセンサを利用するインサイド・アウト方式と、これらの組み合わせであるハイブリッド方式とがある。
アウトサイド・イン方式では、例えばHMDに設けた複数のLEDライト(マーカー)の位置を外部に設置したカメラ(センサ装置20)により撮像して取得し、取得したLEDライトの位置情報の変化に基づいて位置および姿勢を算出する。なお、トラッキング部311は、LEDライトの位置情報の変化と、HMDに設けたモーションセンサデータとに基づいて、ユーザの頭部姿勢を含むユーザ姿勢の算出を行うことも可能である。
インサイド・アウト方式では、HMDに設けられたモーションセンサ、深度センサ、および外向きカメラにより取得した情報に基づいて、ユーザの位置および姿勢を算出する。例えば、HMDに設けられた外向きカメラにより外界を撮像し、予めSLAM(Simultaneous Localization and Mapping)技術により生成した空間マップと比較してユーザの位置情報を取得したり、モーションセンサや深度センサの情報と併せてユーザの姿勢を算出したりすることが可能である。この場合、外部センサが不要となるため、センサ装置20は設置されていなくともよい。
描画処理部312は、トラッキング部311によるトラッキング結果に基づいて、ユーザの動き(位置および姿勢)に対応する仮想空間の自由視点画像を生成し、通信部32から表示装置10に送信する。これにより、ユーザの位置移動や顔の向き、傾き等に追従してリアルタイムに変化する仮想空間の自由視点画像がユーザに提示され、ユーザは仮想空間の中で自由に移動したり、360度見回したりすることが可能となる。
また、本実施形態による描画処理部312は、ユーザが仮想空間の境界領域に近付いた場合には、仮想空間内におけるユーザの視点と境界領域との間の距離を増加させるといった距離制御を反映した所定の表示制御により、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させる。仮想空間の境界に近付いた場合の所定の表示制御の詳細については、図9~図15を参照して後述する。
通信部32は、有線または無線により表示装置10およびセンサ装置20と接続し、データの送受信を行う。通信部32は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)等により表示装置10およびセンサ装置20と通信接続する。
記憶部33は、制御部31の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。また、記憶部33には、図1に示すコンテンツサーバ40から取得した仮想空間のコンテンツが蓄積されていてもよい。
以上、情報処理装置30の構成について具体的に説明したが、本開示による情報処理装置30の構成は図8に示す例に限定されない。例えば、情報処理装置30は、表示装置10と一体化した構成であってもよいし、センサ装置20を含む構成であってもよい。または、情報処理装置30は、複数の装置により構成されていてもよい。例えば、トラッキング処理を別の装置で行ってもよい。具体的には、センサ装置20にてポジショントラッキングを行ってもよいし、表示装置10でヘッドトラッキング、アイトラッキング、およびポジショントラッキングを行ってもよい。
また、情報処理装置30は、ネットワーク上に設けられたサーバにより構成されてもよいし、ユーザと同一空間に配置された専用端末により構成されてもよい。若しくは、情報処理装置30は、スマートフォン、タブレット端末、またはPC等により構成されてもよい。
以上、本実施形態によるシステム1の構成について具体的に説明した。なお図8に示すシステム1の構成は一例であって、本実施形態はこれに限定されない。例えば、センサ装置20を有さない構成であってもよい。
<<3.境界領域の表示制御>>
続いて、本実施形態による境界領域の表示制御について、図9~図15を参照して具体的に説明する。
<3-1.第1の実施例>
図9は、第1の実施例においてユーザが境界に近付いた場合に画面を暗くする表示制御について説明する図である。図9に示すように、仮想空間においてユーザが境界領域である壁41に近付いた場合、情報処理装置30は、画面を暗くしたりぼかしたりといった、本来見えるはずの画面を見え難くする(視認性を下げる)エフェクトをかける。これにより、ユーザは、自分が近付いた方向が仮想空間の終端であって、進むべきでない方向であることを違和感無く認識することができる。なお、本明細書において、「境界(または境界領域の一例である壁41)に近付く」とは、境界と仮想空間におけるユーザ位置(ユーザ視点)とが一定の距離内になったことを意味する。
なお、画面を暗くするエフェクトは、画面一様に適用させるのではなく、壁41からの距離に応じて適宜適用させてもよい。すなわち、壁41に近付くほど暗くし、最終的には真っ暗にしてもよい。また、ユーザの位置によって一様に適用するものではなく、ユーザの向きや進む方向も加味して適用させてもよい。例えば、ユーザが境界の近くに居ても、ユーザの顔の向きが境界と反対方向である場合は、画面を暗くするエフェクトを適用しないようにする。あるいは、ユーザの顔の向きが境界と並行の場合は、ユーザの境界に近い方の視界により強くエフェクトをかけ、境界から最も遠い側にはエフェクトを適用しないようにしてもよい。また、ユーザが境界に対面している場合には、ユーザの視界全体にエフェクトをかけるようにする。また、ユーザが動いている場合には、ユーザの境界との距離や方角によって動的にエフェクトのかかり具合を変えてもよい。ユーザが一定距離境界から離れた場合は、ユーザがどのような向きを向いてもエフェクトはかからない。
以上説明した第1の実施例は、図6を参照して説明した従来の表現方法と組み合わせてもよい。すなわち、ユーザが境界で行き止まった後も境界に向かって移動を続けた場合、ユーザの仮想空間での位置は変わらないが、ユーザの移動速度に応じて画面を暗くするエフェクトを提示するようにしてもよい。それにより、システムがユーザの移動を理解していることをユーザにフィードバックすることが可能となる。
<3-2.第2の実施例>
図10は、第2の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。図10左に示すように、例えばユーザが境界の壁41に近付き、一定の距離内に入った場合、情報処理装置30は、図10中央に示すように、壁41をユーザから遠ざける、すなわちユーザの視点と境界領域との間の距離を増加させる表示制御を行う。
ユーザが境界に向かって移動する限り、かかる表示制御を継続し、図10右に示すように、ユーザがさらに壁41に向かって進んでも、壁41がさらに遠ざかるため、ユーザは壁41を通り抜けることができない。このように、ユーザが壁41に近付いても壁41を遠ざけて近付けないようにすることで、壁41が仮想空間の境界であって、進むべき方向ではないことを、仮想空間の世界観を損なうことなくユーザに認識させることができる。
なお、仮想世界における原点に対する境界の壁41や仮想物体42の相対位置は固定されていると見做すため、情報処理装置30は、例えば図11に示すように、ユーザの壁41に近付く方向の移動入力方向に応じて、仮想空間全体をユーザの移動入力方向と同じ方向に移動させることで、図10に示す表現方法(壁41を遠ざける表示制御)を達成することが可能である。
若しくは、図12に示すように、ユーザの壁41に近付く方向の移動入力方向とは逆方向にユーザの視点を移動させることで、仮想世界における原点に対する境界の壁41や仮想物体42の相対位置は固定された状態で、図10に示す表現方法(壁41を遠ざける表示制御)を達成することも可能である。
また、情報処理装置30は、ユーザが壁41に近付いた際、ユーザの視点と壁41との間の距離を増加させる距離制御を行いつつ、ユーザと壁41との相対距離を遠ざけたり近付けたりを繰り返すバウンスエフェクトをかけることで、より効果的に、仮想空間の境界をユーザに認識させることも可能である。すなわち、情報処理装置30は、ユーザの視界に表示する仮想空間の自由視点画像の移動量(ユーザの視点の移動量)を、実空間におけるユーザの実際の移動量に比例するように変化させず、図13に示すような特定のカーブで変化させる。この表示制御において、情報処理装置30は、ユーザが移動していることのフィードバックを残しつつ、壁41を遠ざけることができる。具体例として、例えばユーザが一定速度で境界に近付いたケースについて図13を参照して説明する。
図13は、本実施例における実空間のユーザ位置と、仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。図13に示すように、例えばユーザが境界の壁41に一定速度で近付いた場合、始めは実際の移動量と同じ速さで、仮想空間内でユーザの位置(視点)が移動しているように見えるよう、壁41や仮想物体42の位置は変更しない。次いで、ユーザの位置が境界に一定距離近付くと、壁41の位置をユーザから一度遠ざける(例えば仮想空間内で実際の動きと反対の向きにユーザの視点を少し移動させる)。そして、さらに実際の空間においてユーザが一定速度で境界方向への移動を続けた場合、情報処理装置30は、ユーザの視界において壁41の位置がユーザから遠ざかる動きと近付く動きとを繰り返す(バウンスエフェクト)。この際、壁41や仮想物体42の仮想空間における原点に対する相対的な距離は固定されているため、仮想物体42等の他の物体の位置も壁41と同様に移動させる。また、境界が遠ざかる動きは近づく動きに比べて十分短く(速く)してもよい。また、境界のバウンスエフェクトは、ユーザの静止と同時に停止してもよい。あるいは、ユーザが静止した後、所定時間の間、バウンスエフェクトを継続した後、壁41を元の状態(元の位置)に戻すことで、実空間における弾性体の物理的な動作を再現してもよい。この場合、ユーザがどのような動作を行ったとしても、時間の経過に応じて壁41はバウンスエフェクトを行う前の状態に復帰することになる。
これにより、ユーザは境界に近付くとあたかも斥力が働いて境界に近付けないような感覚を受ける。逆に境界から離れる場合には実際の移動量と仮想空間内での移動量を同じにする。これにより、ユーザにシステムがユーザの移動を正しく認識していることのフィードバックを与えつつ、世界観を損なわずに仮想空間の境界を認識させ、ユーザに範囲内のコンテンツのみを提示することができる。なお、情報処理装置30は、ユーザが壁41(境界)に接近する速度が速い程遠い距離から、本実施例によるバウンス効果を(強めに)提示するようにしてもよい。また、情報処理装置30は、壁41に接近する速度に応じてバウンス効果のかかり具合を変えるようにしてもよい(例えばバウンスの深度の深さなど)。また、情報処理装置30は、壁41の壁の素材によってバウンスの度合いを変えるようにしてもよい。
<3-3.第3の実施例>
図14は、第3の実施例においてユーザが境界に近付いた場合に境界を遠ざける表示制御について説明する図である。図14左に示すように、例えばユーザが境界の壁41に近付き、一定の距離内に入った場合、情報処理装置30は、図14中央に示すように、壁41をユーザから遠ざける、すなわちユーザの視点と境界領域との間の距離を増加させる距離制御を行いつつ、空間を変形させるエフェクトを加える表示制御を行う。ユーザが境界に向かって移動する限り、かかる表示制御を継続し、図14右に示すように、ユーザがさらに壁41に向かって進んでも、壁41がさらに遠ざかるため、ユーザは壁41を通り抜けることができない。かかる壁41を遠ざける表示制御は、第2の実施例と同様であるが、本実施例では、ユーザが壁41に近付いた際、空間を変形させるエフェクトを付与することで、ユーザに移動のフィードバックを与えつつ、範囲内のコンテンツのみを提示することができる。
例えば、情報処理装置30は、壁41の周辺が伸びたり吸収されたり(元に戻ったり)といった空間を伸縮するエフェクトをかけてもよい。ユーザの視界としては、ユーザが壁41に近付くと、画面が一瞬横に伸びたのち、元に戻ると共に壁41が遠ざかっている表示制御が繰り返され、壁41に移動し続けても壁41を通り抜けることができない。なお、周辺に仮想物体42等の他の物体がある場合、壁41と同様に変形させてもよいし、あるいは仮想物体が人や文字、メッセージ、UIなど誘目性の高いものであれば、仮想物体は変形させずに元の縦横比を維持してもよい。
図15は、本実施例における実空間のユーザ位置と、仮想空間のユーザ、壁、および仮想物体との位置の関係を示すグラフである。図15に示すように、例えばユーザが壁41に対して一定速度で近付いている場合、情報処理装置30は、始めは実際の移動量と同じ速さで、仮想空間内でユーザの位置(視点)が移動しているように見えるよう、壁41や仮想物体42の位置を変更しない。次いで、情報処理装置30は、ユーザの位置が境界に一定距離近付くと、壁41の位置をユーザから一度遠ざける。情報処理装置30は、実際の空間においてユーザが一定速度で境界方向への移動を続けた場合、ユーザの視界において壁41の位置がユーザから遠ざかる動きと近付く動きとを繰り返す(第2の実施例と同様)。この際、本実施例では、情報処理装置30は、壁41が伸びて戻る等、空間を一時的に変形させるエフェクトをかける。また、仮想空間における原点に対する壁41と仮想物体42の相対距離は固定されているものと見做すため、情報処理装置30は、図15に示すように、壁41を遠ざけると共に、仮想物体42の位置も移動させる。
<3-4.補足>
以上、第1~第3の実施例について説明したが、これらは適宜組み合わされてもよい。例えば、ユーザが壁41に近付いた際に、壁41をユーザから遠ざける動きと近付ける動きを繰り返すと共に、画面を少し暗くして見え難くしたりしてもよい。また、本実施形態では、仮想空間の境界の表現として壁41を用いたが、本開示はこれに限定されず、他の仮想オブジェクト、例えば森、波打ち際、崖、建物、柵等であってもよい。
また、上述した第1~第3の実施例では、主にポジショントラッキングによりユーザが実空間で実際に移動している例を用いたが、本実施形態はこれに限定されず、ユーザがリモートコントローラを用いて仮想空間を移動する場合も同様の表現を行うことが可能である。また、ポジショントラッキングによる移動において、実際の移動量と仮想空間での移動量が一定の比率をもって対応する場合もある。例えば、実世界で30cm動いたとき、仮想空間では倍の60cm動くような対応も想定される。この場合も、上述した第1~第3の実施例の効果は一定の倍率を掛けた上で同様に適用することができる。
また、情報処理装置30は、ユーザが境界に近付いた際に、何らかの効果音(衝突音など)や振動を出力してもよい。また、情報処理装置30は、ユーザのどちら側が衝突したかを、3D audioによる衝突音で提示するようにしてもよい。これにより、例えば背面などユーザの死角部分が壁41等にぶつかった場合にもユーザに衝突を認識させることができる。また、情報処理装置30は、ユーザが壁(境界)にゆっくり接近したときには衝突音を鳴らさず、バウンスに相当する効果音を提示するようにしてもよい。
また、本実施形態を適用する具体的なサービスとしては、まずRPG(Role Playing Game)のような仮想空間をコントローラーやポジショントラッキングで移動するゲームが考えられる。このようなゲームでは、ユーザが移動できる範囲は壁などで制限されていることが多く、ユーザは常に境界を意識しながら移動する必要があるが、本実施形態により境界外の映像を提示することなく(世界観を損なわず)、境界を意識させることができる。
また、本実施形態は、実写の自由視点画像によるスポーツ観戦や街歩き、不動産内覧のようなコンテンツにも適用し得る。これらのコンテンツでは、境界を越えた際の映像は実写で撮像していないため原理的に作ることが出来ず、その部分をCGで描画してしまうと臨場感や世界観を壊すことになってしまうが、本実施形態を適用することで回避することが可能となる。あるいは、アミューズメント施設などでVRヘッドセットを装着して楽しむゲームやコンテンツにおいても、境界への接近をユーザに警告する必要から、本実施形態の適用が可能であり、特に第1の実施形態によるエフェクトが適する。
さらに境界に限らず、他のユーザをアバターとして仮想空間に表示してコミュニケーションする場合、お互いのパーソナルスペースを侵犯するような動きに対して、本実施形態を適用することもできる。この場合、例えばユーザAがユーザBに近付き過ぎると(ユーザBの周囲所定範囲内に侵入した場合)、ユーザAはユーザBから跳ね返されて実際の移動量より少ない移動量しか仮想空間では移動できないことになる。これにより、空間内での表現に矛盾を生じさせずに、お互いのパーソナルスペースを保って快適なコミュニケーションを楽しむことができる。
また、以上説明した実施形態では、仮想空間における境界をユーザに認識させる手法について説明したが、これをAR(Augmented Reality)に応用してもよい。具体的には、情報処理装置30は、実空間において、障害物や危険な方向をユーザに認識させる表示制御を行ってもよい。例えば実物体と衝突しそうなときには(実物体に近付いた場合に)、特定のエフェクトを明示的に表現したり、危険な方向をAR表示で提示してもよい。このAR表示を提供する装置構成として、光学シースルー型のHMDや、ビデオシースルー型のAR表示を行うことが可能なスマートフォン等、種々の端末(携帯端末)が適宜用いられてよい。
<<4.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図16を用いて具体的に説明する。図16は、本実施形態によるシステムの動作処理における境界領域にユーザが近付いた際の表示制御の流れの一例を示すフローチャートである。
図16に示すように、まず、ユーザが境界(壁)と一定距離に接近すると(ステップS103)、情報処理装置30は、ユーザにエフェクトを提示する(ステップS106)。エフェクトとは、上述した第1~第3の実施例による映像効果であって、より具体的には、暗くする、ぼかす、バウンス、または空間変形等である。エフェクトを発生させるトリガは、仮想空間におけるユーザの位置(視点)が境界から一定距離内に近付いた場合を例に挙げて説明したが、本実施形態はこれに限定されない。例えばユーザが境界に向かって移動している場合に、現在の速度で移動していた場合に一定時間内に境界に到達することが予測できた場合や、所定値以上の速度で境界に近付いている場合に、エフェクトを提示してもよい。一方で、境界内にも通常の移動を可能にするドアや通路のような領域が設けられている場合もあり、そちらに近付いている場合はエフェクトを適用しないこともできる。
次いで、ユーザが壁(境界)に向かう移動を中止(例えば停止、方向転換、壁から所定距離離れる移動を行った場合等)した場合(ステップS109/Yes)、情報処理装置30は、エフェクト提示を終了する(ステップS112)。すなわち、情報処理装置30は、例えばユーザと壁との間の距離を増加させる制御を停止する。
一方、ユーザが壁(境界)に向かう移動を中止しない場合(ステップS109/No)、情報処理装置30は、エフェクト提示を継続する(ステップS115)。
以上、本実施形態による動作処理の一例を説明した。なお図16に示す動作処理は一例であって、本開示は図16に示す例に限定されない。例えば、本開示は、図16に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図16に示す全ての処理が必ずしも実行されてなくともよいし、図16に示す全ての処理が必ずしも単一の装置で行われなくともよい。
例えば、ユーザが境界に一定距離に接近した場合に、第2または第3の実施例によるエフェクトを提示し、ユーザがさらに境界に接近した場合には第1の実施例によるエフェクトを追加する等、ユーザの移動に応じて適宜エフェクトを提示する処理を行ってもよい。
<5.ハードウェア構成例>
最後に、図17を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図17は、本実施形態に係る情報処理装置30のハードウェア構成の一例を示すブロック図である。なお、図17に示す情報処理装置800は、例えば、図8に示した情報処理装置30を実現し得る。本実施形態に係る情報処理装置30による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図17に示すように、情報処理装置800は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
具体的には、CPU871は、情報処理装置30内の制御部31の動作を実現する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。若しくは、外部接続機器902は、図8に示す表示装置10およびセンサ装置20であってもよい。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。通信装置883により、図8に示す表示装置10およびセンサ装置20と接続してもよい。
<<6.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、仮想空間の世界観を壊すことなく仮想空間の境界をユーザに認識させることが可能となる。
具体的には、本実施形態によれば、仮想空間でユーザが仮想空間の境界外に移動しようとした場合、画面を暗くしたりぼかしたりする表現により、ユーザに境界の存在を意識させて境界を越えるような動作を思いとどまらせることができる。
また、本実施形態によれば、ユーザが境界を越えて移動しようとした場合でも、境界でバウンドさせたり空間を伸ばして戻したりして、ユーザの動きをシステムが受け取っていることを認識させつつ境界外の映像を見せないことで、世界観を壊さずに境界の存在をユーザに認識させることができる。
また、本実施形態によれば、他のユーザのアバターが表示されるシステムにおいての衝突にも同様な効果を適用することにより、各人が保ちたい距離を維持したまま快適にコミュニケーションを行うことができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した表示装置10、センサ装置20、および情報処理装置30に内蔵されるCPU、ROM、およびRAM等のハードウェアに、表示装置10、センサ装置20、および情報処理装置30の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部を備える、情報処理装置。
(2)
前記制御部は、前記境界領域に向かって近付く操作入力が終了した場合、前記増加させる制御を停止する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、前記増加させる制御を開始する、前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記制御部は、前記距離制御を行いつつ、空間変形エフェクトを加えて前記画像を生成する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、前記距離制御において、前記ユーザの移動方向と同じ方向に前記仮想空間内の原点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、前記ユーザの移動方向と逆方向に前記ユーザの視点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、前記(4)または(5)に記載の情報処理装置。
(8)
前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、視認性を下げるエフェクトを加えて前記画像を生成する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記ユーザの動きとして、前記ユーザの位置および姿勢を認識し、
前記仮想空間の画像として、前記ユーザの位置および姿勢に基づいた自由視点画像を生成する、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
プロセッサが、
ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行うこと、
を含む、情報処理方法。
(11)
コンピュータを、
ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行う制御部として機能させるためのプログラムが記録された、記録媒体。
1 システム
10 表示装置
11 制御部
12 発光部
13 表示部
14 スピーカ
15 センサ部
16 通信部
20 センサ装置
21 制御部
22 撮像部
23 集音部
24 通信部
30 情報処理装置
31 制御部
311 トラッキング部
312 描画処理部
32 通信部
33 記憶部
40 コンテンツサーバ
41 壁
42 仮想物体

Claims (9)

  1. ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行い、
    前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成する制御部を備える、情報処理装置。
  2. 前記制御部は、前記境界領域に向かって近付く操作入力が終了した場合、前記増加させる制御を停止する、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、前記増加させる制御を開始する、請求項1に記載の情報処理装置。
  4. 前記制御部は、前記距離制御において、前記ユーザの移動方向と同じ方向に前記仮想空間内の原点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、請求項に記載の情報処理装置。
  5. 前記制御部は、前記ユーザの移動方向と逆方向に前記ユーザの視点を移動させることで、前記ユーザの視点と前記境界領域との間の距離を増加させる、請求項に記載の情報処理装置。
  6. 前記制御部は、前記ユーザの視点が前記境界領域から一定の距離内に入った場合、視認性を下げるエフェクトを加えて前記画像を生成する、請求項1に記載の情報処理装置。
  7. 前記制御部は、
    前記ユーザの動きとして、前記ユーザの位置および姿勢を認識し、
    前記仮想空間の画像として、前記ユーザの位置および姿勢に基づいた自由視点画像を生成する、請求項1に記載の情報処理装置。
  8. プロセッサが、
    ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行い、
    前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成すること、
    を含む、情報処理方法。
  9. コンピュータを、
    ユーザの動きをトラッキングして前記ユーザに仮想空間の画像を提示し、
    前記仮想空間で特定の位置に固定された境界領域に向かって前記ユーザが近付く操作入力が行われている間、前記仮想空間内における前記ユーザの視点と前記境界領域との間の距離を増加させる距離制御を行い、
    前記距離制御を行いつつ、バウンスエフェクトを加えて前記画像を生成する制御部として機能させるためのプログラムが記録された、記録媒体。
JP2020510455A 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体 Active JP7355006B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018067460 2018-03-30
JP2018067460 2018-03-30
PCT/JP2019/006916 WO2019187862A1 (ja) 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019187862A1 JPWO2019187862A1 (ja) 2021-05-20
JP7355006B2 true JP7355006B2 (ja) 2023-10-03

Family

ID=68061331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020510455A Active JP7355006B2 (ja) 2018-03-30 2019-02-22 情報処理装置、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11695908B2 (ja)
JP (1) JP7355006B2 (ja)
CN (1) CN111937045A (ja)
WO (1) WO2019187862A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726626B2 (en) * 2017-11-22 2020-07-28 Google Llc Interaction between a viewer and an object in an augmented reality environment
JP6707111B2 (ja) * 2018-07-25 2020-06-10 株式会社バーチャルキャスト 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム
US20230118515A1 (en) * 2020-03-30 2023-04-20 Sony Group Corporation Method for changing viewpoint in virtual space
JP7478902B2 (ja) 2021-03-25 2024-05-07 京セラ株式会社 ウェアラブル端末装置、プログラムおよび表示方法
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム
JP6968326B1 (ja) * 2021-04-16 2021-11-17 ティフォン株式会社 表示装置、表示方法及びその表示プログラム
JP2023003664A (ja) * 2021-06-24 2023-01-17 株式会社Jvcケンウッド 仮想空間制御システム、仮想空間制御方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2017119031A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
CN106415447B (zh) 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理***
KR20170004608A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015226580A1 (de) * 2015-12-22 2017-06-22 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
CN105807936B (zh) * 2016-03-31 2021-02-19 联想(北京)有限公司 信息处理方法及电子设备
CN105913497B (zh) * 2016-05-27 2018-09-07 杭州映墨科技有限公司 用于虚拟看房的虚拟现实空间移动定位***及方法
JP6373920B2 (ja) * 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
WO2019118679A1 (en) * 2017-12-13 2019-06-20 Aurelius, Inc. Systems, devices, and methods for augmented reality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341572A (ja) 2003-05-12 2004-12-02 Namco Ltd 画像生成システム、プログラム及び情報記憶媒体
JP2017119031A (ja) 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム

Also Published As

Publication number Publication date
WO2019187862A1 (ja) 2019-10-03
JPWO2019187862A1 (ja) 2021-05-20
CN111937045A (zh) 2020-11-13
US11695908B2 (en) 2023-07-04
US20210014468A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
JP7355006B2 (ja) 情報処理装置、情報処理方法、および記録媒体
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
EP3427103B1 (en) Virtual reality
US9910509B2 (en) Method to control perspective for a camera-controlled computer
JP2022140621A (ja) 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
EP4196866A2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN111656406A (zh) 基于上下文的虚拟化身渲染
CN115769174A (zh) 用于最佳注视辨别的化身定制
US20160041391A1 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
JP2023542847A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
TWI648655B (zh) 虛擬實境系統中顯示使用者移動的方法及相關裝置
JP6298130B2 (ja) シミュレーションシステム及びプログラム
JP2010253277A (ja) ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
JP2019175323A (ja) シミュレーションシステム及びプログラム
KR20140009900A (ko) 로봇 제어 시스템 및 그 동작 방법
JP2023095862A (ja) プログラム及び情報処理方法
JP7104539B2 (ja) シミュレーションシステム及びプログラム
WO2023228600A1 (ja) 情報処理装置、情報処理方法および記憶媒体
WO2024060959A1 (zh) 虚拟环境中的观影画面调整方法、装置、存储介质及设备

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7355006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151