JP2019181074A - VR game display device, VR game display method, and program - Google Patents
VR game display device, VR game display method, and program Download PDFInfo
- Publication number
- JP2019181074A JP2019181074A JP2018079329A JP2018079329A JP2019181074A JP 2019181074 A JP2019181074 A JP 2019181074A JP 2018079329 A JP2018079329 A JP 2018079329A JP 2018079329 A JP2018079329 A JP 2018079329A JP 2019181074 A JP2019181074 A JP 2019181074A
- Authority
- JP
- Japan
- Prior art keywords
- game
- hmd
- camera
- orientation
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、ＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムに関する。 The present invention relates to a VR game display device, a VR game display method, and a program.
従来、ＶＲゲームの表示技術としては、ＶＲゲームを実行するコンピューターに接続されたヘッドマウントディスプレイ（ＨＭＤ）装置内の立体視ディスプレイにユーザー視点から見える動画を表示させ、また共通する動画を当該コンピューターに接続された外部の固定ディスプレイに表示させる技術は知られている（特許文献１、特許文献２）。 Conventionally, as a VR game display technology, a moving image that can be seen from a user's viewpoint is displayed on a stereoscopic display in a head mounted display (HMD) device connected to a computer that executes the VR game, and a common moving image is displayed on the computer. A technique for displaying on a connected external fixed display is known (Patent Document 1, Patent Document 2).
しかしながら、従来のＶＲゲーム表示技術の場合、ＨＭＤ装置を装着しているユーザーが見ている視線方向、視野角で立体視ディスプレイにＶＲ動画を表示させ、この立体視ディスプレイに表示されている動画と同じものを外部のディスプレイでも表示させることができるが、特にゲームセンターなどに設置されているＶＲゲーム機の場合には、ＨＭＤ装置を装着しているユーザーが見ているユーザー視点の動画ではなく、そのＶＲゲームがどのような展開をしているのか外部のディスプレイに観客目線の動画としてリアルタイムに表示させる技術は知られていない。 However, in the case of the conventional VR game display technology, a VR video is displayed on the stereoscopic display with the line-of-sight direction and the viewing angle viewed by the user wearing the HMD device, and the video displayed on the stereoscopic display is displayed. The same can be displayed on an external display, but in the case of VR game machines installed in game centers and the like, it is not a video from the user's viewpoint that the user wearing the HMD device is viewing, There is no known technique for displaying the VR game in real time on an external display as a moving image of the audience.
本発明はこのような従来の技術的課題に鑑みてなされたもので、プレーヤーの頭の位置に仮想的に置かれたＨＭＤ用カメラで撮った画像をＨＭＤ装置内の立体視ディスプレイに立体視できる態様で表示させ、同時に同じVＲゲーム空間内の別の場所に仮想的に設置された観客用カメラで撮った画像を外部ディスプレイに表示させ、ユーザー本人がプレーヤーとしてＶＲゲームを楽しめると同時にユーザー以外の第三者が観客として外部ディスプレイに映る画像を見てＶＲゲームの展開をリアルタイムに見ることができるようにするＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムを提供することを目的とする。 The present invention has been made in view of such a conventional technical problem, and an image taken by an HMD camera virtually placed at the position of the player's head can be stereoscopically viewed on a stereoscopic display in the HMD device. In this mode, images taken with a spectator camera virtually installed in another place in the same VR game space are displayed on an external display, so that the user can enjoy the VR game as a player and It is an object of the present invention to provide a VR game display device, a VR game display method, and a program that allow a third party to see an image displayed on an external display as a spectator and see the development of the VR game in real time.
本発明の１つの特徴は、立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置であって、前記コンピューターは、演算処理機能として、前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成部と、前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング部と、前記ＶＲゲーム空間を前記ＶＲゲーム内のプレーヤーの視野にて撮影するように仮想的に設置されたＨＭＤ用カメラと、前記ＶＲゲーム空間内の特定の複数の視野それぞれを撮影するように仮想的に設置された複数の観客用カメラと、前記プレーヤー位置姿勢トラッキング部の演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算部と、前記ＨＭＤ用カメラ位置計算部が算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理部と、前記ＨＭＤ用カメラ画像作成処理部の演算した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理部と、前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択部と、前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択部の選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成部と、前記観客用カメラ画像作成部の作成した画像を前記接続ポートからそれに接続される外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理部とを備えたＶＲゲーム表示装置にある。 One feature of the present invention is that a head mounted display (HMD) device incorporating a stereoscopic display, a game controller that detects a user's hand movement or button operation and outputs a corresponding operation signal, the HMD device, A connection port connected to each of the game controller and the external display is provided, an operation signal of the game controller is input from the connection port, a VR game held therein is advanced, and the HMD device is connected from the connection port. A VR game display device comprising: a computer that outputs an image signal and also outputs the image signal from the connection port to the external display; A VR game space creation unit for creating a VR game space; While the VR game is in progress, a player position / orientation tracking unit that calculates the presence position, orientation, and attitude of the player in the VR game space, and shooting the VR game space in the field of view of the player in the VR game An HMD camera virtually installed as described above, a plurality of audience cameras virtually installed so as to photograph each of a plurality of specific fields of view in the VR game space, and the player position and orientation tracking unit Based on the calculation result, the HMD camera position calculation unit for calculating the position, orientation, and orientation of the HMD camera in the VR game space, and the corresponding existence of the VR game space calculated by the HMD camera position calculation unit An HMD camera that calculates the state of the VR game space that is virtually captured by the HMD camera in position, orientation, and orientation An image creation processing unit, an HMD camera image display processing unit that outputs an image captured by the HMD camera calculated by the HMD camera image creation processing unit to the HMD device and displays the image on the stereoscopic display; and the VR The spatial position, orientation, and viewing angle of each of the plurality of spectator cameras in the game space are stored, and the spectator camera having the optimum position and viewing angle is selected with predetermined logic according to the development of the VR game. A spectator camera selection unit, and a spectator camera image creation unit that calculates the state of the VR game space captured by the spectator camera selected by the spectator camera selection unit during the progress of the VR game in the VR game space; An external display for displaying an image created by the spectator camera image creation unit from the connection port on an external display connected thereto. The VR game display device includes a ray image creation processing unit.
上記のＶＲゲーム表示装置では、前記観客用カメラ画像作成処理部は、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング部の算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力するものとすることができる。 In the VR game display device, the spectator camera image creation processing unit has the calculated orientation, the calculated attitude, and the calculated size at the calculated position of the player position and orientation tracking unit in the VR game space. An image in which a CG character corresponding to the player is superimposed can be generated and output.
また上記のＶＲゲーム表示装置では、前記ＨＭＤ装置は、モーショントラッキングセンサーを内蔵し、当該ＨＭＤ装置を装着しているユーザーの頭の位置、姿勢、向きをセンシングして前記コンピューターに対して出力するものとすることができる。 In the above VR game display device, the HMD device has a built-in motion tracking sensor and senses the position, posture, and orientation of the head of the user wearing the HMD device and outputs the result to the computer. It can be.
さらに上記のＶＲゲーム表示装置では、前記プレーヤー位置姿勢トラッキング部は、前記ＶＲゲームの進行中の前記ＶＲゲーム空間における前記ＨＭＤ用カメラの現在位置、姿勢、向きを推測演算して求めるものとすることができる。 Furthermore, in the above VR game display device, the player position / posture tracking unit obtains the current position, posture, and orientation of the HMD camera in the VR game space in progress of the VR game by estimating and calculating. Can do.
また本発明の別の特徴は、立体視ディスプレイを内蔵するヘッドマウントディスプレイ（ＨＭＤ）装置と、ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置において、前記コンピューターが実行するＶＲゲーム表示方法であって、前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成処理ステップと、前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング処理ステップと、前記プレーヤー位置姿勢トラッキング処理ステップでの演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算ステップと、前記ＨＭＤ用カメラ位置計算ステップで算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理ステップと、前記ＨＭＤ用カメラ画像作成処理ステップで算出した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理ステップと、前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択ステップと、前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択ステップで選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成処理ステップと、前記観客用カメラ画像作成処理ステップで作成した画像を前記外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理ステップとを実行するＶＲゲーム表示方法にある。 Another feature of the present invention is a head mounted display (HMD) device incorporating a stereoscopic display, a game controller that detects a user's hand movement or button operation and outputs a corresponding operation signal, and the HMD device. A connection port connected to each of the game controller and the external display; an operation signal of the game controller is input from the connection port to advance a VR game held therein; and the HMD device is connected from the connection port. A VR game display device comprising: a computer that outputs an image signal to the external display and also outputs the image signal to the external display from the connection port. VR game creating VR game space in progress A space creation processing step, a player position / posture tracking processing step for calculating the position, orientation, and posture of the player in the VR game space during the progress of the VR game, and a calculation in the player position / posture tracking processing step Based on the result, the HMD camera position calculation step for calculating the existence position, orientation, and orientation of the HMD camera in the VR game space, and the corresponding existence position in the VR game space calculated in the HMD camera position calculation step The HMD camera image creation processing step that calculates the state of the VR game space that is virtually captured by the HMD camera in the orientation and orientation, and the HMD camera that is calculated in the HMD camera image creation processing step. Output stereoscopic image to the HMD device and the stereoscopic display The HMD camera image display processing step to be displayed, and the spatial position, orientation, and viewing angle of each of the plurality of spectator cameras in the VR game space are stored, and in a predetermined logic according to the development of the VR game A spectator camera selection step of selecting a spectator camera having an optimal position and viewing angle, and the VR game space captured by the spectator camera selected in the spectator camera selection step during the progress of the VR game in the VR game space. VR game display for executing a spectator camera image creation processing step for calculating the state of the image and an external display image creation processing step for outputting and displaying the image created in the spectator camera image creation processing step on the external display Is in the way.
上記のＶＲゲーム表示方法では、前記観客用カメラ画像作成処理ステップにおいて、前記ＶＲゲーム空間内の前記プレーヤー位置姿勢トラッキング処理ステップにて算出した位置に、算出した向き、算出した姿勢、算出したサイズにて前記プレーヤーに対応するＣＧキャラクターを重畳した画像を生成して出力するものとすることができる。 In the above VR game display method, in the spectator camera image creation processing step, the calculated orientation, the calculated orientation, and the calculated size are set at the position calculated in the player position and orientation tracking processing step in the VR game space. Thus, an image in which a CG character corresponding to the player is superimposed can be generated and output.
さらに本発明の別の特徴は、上記ＶＲゲーム表示方法をコンピューターにて実行させるＶＲ画像表示プログラムにある。 Still another feature of the present invention resides in a VR image display program that causes a computer to execute the VR game display method.
本発明のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムによれば、ＨＭＤ装置を装着したユーザー本人にＶＲゲーム内のプレーヤーとしてＶＲゲームの進行を立体的に見せ、同時に、外部ディスプレイに同じＶＲゲームの進行をユーザー目線とは異なる第三者目線で見た動画として表示させてユーザーの傍にいる友達や観客にも同じＶＲゲームの進行を見せることができる。 According to the VR game display device, VR game display method and program of the present invention, the progress of the VR game is shown as a three-dimensional player as a player in the VR game to the user wearing the HMD device, and at the same time, the same VR game is displayed on the external display. Can be displayed as a moving image viewed from a third party's perspective different from the user's perspective, and the same VR game progress can be shown to friends and spectators near the user.
以下、本発明の実施の形態を図に基づいて詳説する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施の形態］
図１〜図５を参照して、本発明の第１の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びＶＲゲーム表示プログラム(本明細書では、これらを「ＶＲゲーム表示技術」と総称する。)を説明する。第１の実施の形態のＶＲゲーム表示装置のハードウェアは、基本的には、ＨＭＤ装置１、ゲーム処理、動画表示処理を行うコンピューター２、このコンピューター２のＨＤＭＩ（ＨＤＭＩは登録商標です。登録第２６６４０３２号他）ポートのような画像出力ポートに接続される観客用の外部ディスプレイ３、ユーザーによって操作されるコントローラー４ａ，４ｂ、これらのコントローラー４ａ，４ｂの操作信号を受信するコントローラー信号受信器５ａ，５ｂにて構成される。
[First Embodiment]
1 to 5, the VR game display device, VR game display method, and VR game display program according to the first embodiment of the present invention (in the present specification, these are collectively referred to as “VR game display technology”). ). The hardware of the VR game display device according to the first embodiment basically includes an HMD device 1, a computer 2 that performs game processing and video display processing, and HDMI of the computer 2 (HDMI is a registered trademark. No. 2664032 etc.) External display 3 for spectators connected to an image output port such as a port, controllers 4a and 4b operated by a user, controller signal receiver 5a for receiving operation signals of these controllers 4a and 4b, 5b.
ＨＭＤ装置１は、市販されているモーショントラッキング機能を備えたものを採用する。このＨＭＤ装置１は、ユーザーの頭部に装着され、動作中に仮想空間（ＶＲ）内の様子をユーザーに見せるために、右目用の画像および左目用の画像をＨＭＤ装置１内の立体視ディスプレイ１０１に表示し、ユーザーには両目の視差に基づき当該画像を立体（３Ｄ）画像として認識させる。 The HMD device 1 employs a commercially available motion tracking function. The HMD device 1 is mounted on a user's head, and displays a right-eye image and a left-eye image in the HMD device 1 in order to show the user a state in a virtual space (VR) during operation. 101, the user is made to recognize the image as a stereoscopic (3D) image based on the parallax of both eyes.
またＨＭＤ装置１はこれを装着しているユーザーの視線の方向を検出したりユーザーの頭部の高さ、向き、傾きを検出したりする内蔵のモーショントラッキングセンサー１０２を備え、６ＤＯＦ（前後、左右、上下、ピッチ、ヨー、ロール）の動きを検知してコンピューター２に出力する。 The HMD device 1 also includes a built-in motion tracking sensor 102 that detects the direction of the line of sight of the user wearing the device and detects the height, orientation, and tilt of the user's head, and includes 6 DOF (front and rear, left and right). , Up and down, pitch, yaw, roll) are detected and output to the computer 2.
後述するように、ゲーム仲間やその他の第三者のような観客にゲーム展開を見せるための外部ディスプレイ３は、コンピューター２からの画像信号を入力して表示する。この外部ディスプレイ３が表示する動画は、ユーザーがＨＭＤ装置１を装着して３ＤＣＧのＶＲゲームを楽しんでいるときにその３ＤＣＧのＶＲゲーム空間で起きている様子を当該ＶＲゲーム空間内に配置されている仮想カメラで別の角度から撮った映像であり、ＶＲゲーム展開の様子を観客目線でリアルタイムに見せるものである。 As will be described later, the external display 3 for showing the game development to an audience such as game friends or other third parties inputs and displays an image signal from the computer 2. The moving image displayed on the external display 3 is arranged in the VR game space so that when the user wears the HMD device 1 and enjoys the 3DCG VR game, the state that is occurring in the 3DCG VR game space is arranged. This video is taken from a different angle with a virtual camera, and shows the VR game development in real time from the audience's perspective.
コントローラー４ａ，４ｂはユーザーがそれぞれ左右の手で握り操作する。このコントローラー４ａ，４ｂはコントローラー信号受信器５ａ，５ｂと通信して自コントローラーの位置、傾き、向き信号を送信し、また例えば前後進やシューティング、ハンドル操作などの操作信号を送信する。 The controllers 4a and 4b are operated by the user with the left and right hands respectively. The controllers 4a and 4b communicate with the controller signal receivers 5a and 5b to transmit their own controller position, tilt, and orientation signals, and also transmit operation signals such as forward and backward movement, shooting, and steering operation.
コントローラー信号受信器５ａ，５ｂはコントローラー４ａ，４ｂからの信号を受信するために当該システムの設置されている実空間の適切な場所に設置され、コントローラー４ａ，４ｂからの信号を受信してコンピューター２に受信信号を送信する。 The controller signal receivers 5a and 5b are installed at appropriate locations in the real space where the system is installed in order to receive signals from the controllers 4a and 4b, and receive signals from the controllers 4a and 4b to receive the computer 2 Send the received signal to.
コンピューター２は３ＤＣＧのＶＲゲームを実行する。このコンピューター２は通常のパーソナルコンピューター、ゲーム専用のコンピューター等、特に仕様は限定されない。このコンピューター２の演算処理機能を主立った処理ごとに分けて説明する。ゲーム実行部２０１はゲームカードやメモリカード、またコンピューター２内の記憶装置などの記憶手段に登録されている３ＤＣＧのＶＲゲームプログラムを読み出して実行する。ＶＲゲームの進行のためには、コントローラー信号受信処理部２１０にてコントローラー信号受信器５ａ，５ｂからコントローラー信号を入力し、またＨＭＤセンサー信号受信処理部２１１にてＨＭＤモーショントラッキングセンサー１０２からＨＭＤモーショントラッキング信号を入力する。 The computer 2 executes a 3DCG VR game. The computer 2 is not particularly limited in specifications, such as an ordinary personal computer or a computer dedicated to games. The calculation processing function of the computer 2 will be described separately for each main process. The game execution unit 201 reads and executes a 3DCG VR game program registered in a storage unit such as a game card, a memory card, or a storage device in the computer 2. For the progress of the VR game, the controller signal receiving processor 210 inputs controller signals from the controller signal receivers 5a and 5b, and the HMD sensor signal receiving processor 211 receives HMD motion tracking from the HMD motion tracking sensor 102. Input the signal.
ＶＲゲーム空間作成部２０２はＶＲゲーム空間に関連する前回出力までの情報を保持しており、ゲーム実行部２０１の処理結果に基づいてＶＲゲーム空間内のキャラクターやオブジェクトの位置や姿勢、向きを変化させて再配置し、また操作結果を作画して現在のＶＲゲーム空間の該当する位置に重畳する。 The VR game space creation unit 202 holds information up to the previous output related to the VR game space, and changes the position, posture, and orientation of characters and objects in the VR game space based on the processing result of the game execution unit 201. The operation result is drawn and superimposed on the corresponding position in the current VR game space.
ＨＭＤ用カメラ位置計算部２０３はＨＭＤセンサー１０２からの位置、姿勢、向きの変化に対応してユーザーの現在の視野を計算し、その視野内に見えるキャラクターやオブジェクトをＨＭＤ用カメラが捕らえた映像として出力する。ＨＭＤ用画像作成処理部２０４はこのＨＭＤ用カメラ位置計算部２０３からの現在のＨＭＤ用カメラの視野を受信し、ＶＲゲーム空間におけるＨＭＤ用カメラの現在位置、向き、姿勢、視野角で見たＶＲゲーム空間の見え方をＨＭＤ用画像として作成し、ＨＭＤ装置１内の立体視ディスプレイ１０１に出力して表示させる。このＨＭＤ装置１の立体視ディスプレイ１０１は受信したＶＲゲーム空間の現在時点のＨＭＤ用カメラ位置から見た画像を３ＤＣＧにして表示し、当該ＨＭＤ装置１を装着しているユーザーに立体視させる。 The HMD camera position calculation unit 203 calculates the current field of view of the user in response to changes in the position, orientation, and orientation from the HMD sensor 102, and displays the characters and objects that are visible within the field of view as images captured by the HMD camera. Output. The HMD image creation processing unit 204 receives the current field of view of the HMD camera from the HMD camera position calculation unit 203, and the VR viewed from the current position, orientation, posture, and viewing angle of the HMD camera in the VR game space. The appearance of the game space is created as an image for HMD, and is output and displayed on the stereoscopic display 101 in the HMD device 1. The stereoscopic display 101 of the HMD device 1 displays the received image viewed from the current HMD camera position in the VR game space as 3DCG, and allows the user wearing the HMD device 1 to stereoscopically view the image.
同時並行的に、キャラクター重畳処理部２０５はあらかじめ３ＤＣＧのキャラクターを登録しているキャラクター記憶部２０６からプレーヤーやレーシングカー等のキャラクターを読み出し、ＶＲゲーム空間作成部２０２の作成した現在のＶＲゲーム空間内の所定の位置に所定のサイズ、向き、姿勢にて重畳させる。 At the same time, the character superimposition processing unit 205 reads out characters such as players and racing cars from the character storage unit 206 in which 3DCG characters are registered in advance, and the VR game space creation unit 202 creates the current VR game space. Are superimposed at a predetermined size, with a predetermined size, orientation, and posture.
観客用カメラ選択部２０７はＶＲゲーム展開に応じて複数の仮想カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎのうちの最適な位置、視野角、向きにある仮想カメラを選択する。そして観客用カメラ画像作成部２０８は、キャラクター重畳処理部２０５が作成したキャラクター重畳ＶＲゲームに対して、観客用カメラ選択部２０７で選択された仮想カメラ（ＣＡＭｉとする。）の位置、向き、視野角で捕えられる画像を作成する。そして外部ディスプレイ用画像作成処理部２０９は、選択された仮想カメラＣＡＭｉの撮影する画像を外部ディスプレイ用に変換して外部ディスプレイ３に表示させる。 The spectator camera selection unit 207 selects a virtual camera at an optimal position, viewing angle, and orientation among the plurality of virtual cameras CAM1, CAM2,. The spectator camera image creation unit 208 then performs the position, orientation, and field of view of the virtual camera (referred to as CAMi) selected by the spectator camera selection unit 207 for the character superposition VR game created by the character superposition processing unit 205. Create an image that can be caught in the corner. Then, the external display image creation processing unit 209 converts the image captured by the selected virtual camera CAMi for the external display and causes the external display 3 to display the image.
なお、センサー類とコンピューター２との間の通信には有線、無線いずれを採用することもできる。 Note that communication between the sensors and the computer 2 can be either wired or wireless.
次に、上記のハードウェア構成、機能構成のＶＲゲーム表示装置による動作について説明する。図３はゲーム開始前の初期設定の処理、図４はゲーム開始後に所定の周期で繰り返すゲーム進行処理のフローチャートを示している。なお、この動作説明は、同時にＶＲゲーム表示装置のコンピューター２に搭載されているＶＲゲーム表示プログラムが実行する各処理ステップの説明でもある。 Next, the operation of the VR game display device having the above hardware configuration and functional configuration will be described. FIG. 3 shows an initial setting process before the game starts, and FIG. 4 shows a flowchart of a game progress process repeated at a predetermined cycle after the game starts. This operation description is also an explanation of each processing step executed by the VR game display program mounted on the computer 2 of the VR game display device at the same time.
［初期設定］
ＶＲゲームが展開されるＶＲゲーム空間のレイアウトデータを入力する（ステップＳＴ１）。
[Initial setting]
The layout data of the VR game space in which the VR game is developed is input (step ST1).
続いて、例えばゲームが展開される町並みやフィールドの地面、建物、道路などの不動物体（オブジェクト）のゲーム空間内での空間座標、形状、向き、サイズ等の属性データを入力する（ステップＳＴ２）。 Subsequently, for example, attribute data such as spatial coordinates, shape, orientation, size, etc. in the game space of an inanimate body (object) such as a townscape where the game is developed, the ground of the field, buildings, roads, etc. are input (step ST2). .
ゲーム空間のレイアウトと不動物体に関連する属性データの入力の後、ゲーム中に動き得る可動物体の形状、初期位置、向き、姿勢等の属性データを入力する（ステップＳＴ３）。 After the game space layout and the attribute data related to the inanimate object are input, the attribute data such as the shape, initial position, orientation, and posture of the movable object that can move during the game are input (step ST3).
続いて、ＨＭＤ装置１のモーショントラッキングセンサー１０２からの信号に基づき、プレーヤーの位置、姿勢、向きを計算する（ステップＳＴ４）。なお、ここでプレーヤーとはＨＭＤ装置１を装着しているユーザーに変わってＶＲゲーム内で主役となるキャラクターであり、例えばシューティングゲームであればシューティングするキャラクター、レーシングゲームであればドライバーである。そしてそのキャラクターの視点に仮想的に置かれたカメラから捕らえるＶＲゲーム空間の映像をＨＭＤ装置１の立体視ディスプレイ１０１に表示させることになる。 Subsequently, based on the signal from the motion tracking sensor 102 of the HMD device 1, the position, posture and orientation of the player are calculated (step ST4). Here, the player is a character that plays a leading role in the VR game instead of the user wearing the HMD device 1, for example, a shooting character for a shooting game, and a driver for a racing game. Then, the video of the VR game space captured from the camera virtually placed at the viewpoint of the character is displayed on the stereoscopic display 101 of the HMD device 1.
これらのデータ入力処理の後、入力したデータを用いてＶＲゲーム空間の該当箇所に不動物体、可動物体を配置する（ステップＳＴ５）。 After these data input processes, an inanimate object and a movable object are arranged at the corresponding location in the VR game space using the input data (step ST5).
続いて、ＨＭＤ装置１のディスプレイ１０１にＶＲゲーム空間とその空間内に存在する不動物体、可動物体をＶＲ表示させるために、ＨＭＤ装置１のＨＭＤ用カメラの位置、光軸の向き、視野角を入力し、当該ＨＭＤ用カメラから捕らえられるＶＲゲーム空間の様子を立体視画像にしてＨＭＤ装置１内の立体視ディスプレイ１０１に出力し表示させる（ステップＳＴ６，ＳＴ７）。 Subsequently, in order to display VR game space, inanimate objects and movable objects existing in the VR display on the display 101 of the HMD device 1, the position of the HMD camera of the HMD device 1, the direction of the optical axis, and the viewing angle are set. The state of the VR game space captured by the HMD camera is input as a stereoscopic image, and is output and displayed on the stereoscopic display 101 in the HMD device 1 (steps ST6 and ST7).
本実施の形態のＶＲゲーム表示技術の特徴として、このＨＭＤ装置１内の立体視ディスプレイ１０１に対する表示と並行して、当該ＶＲゲームのゲーム展開の様子を傍にいるゲーム友達や第三者のような観客に見せるために外部ディスプレイ３には観客目線で見た動画を表示させる。そのために、ＨＭＤ用カメラとは異なる視野で同じゲームを撮影する観客用カメラからの画像を作成する必要があり、上記ステップＳＴ５で作成した不動物体、可動物体の配置されたＶＲゲーム空間の様子を複数の観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎそれぞれで捕らえた画像を作成し、同時にプレーヤーのキャラクターをそのカメラ画像に重畳処理する必要がある。 As a feature of the VR game display technology of the present embodiment, in parallel with the display on the stereoscopic display 101 in the HMD device 1, like a game friend or a third party who is side by side of the game development of the VR game. In order to show it to a spectator, the external display 3 displays a moving image viewed from the spectator's perspective. Therefore, it is necessary to create an image from a spectator camera that shoots the same game with a different field of view from the HMD camera, and the state of the VR game space in which the inanimate object and the movable object created in step ST5 are arranged. It is necessary to create an image captured by each of the plurality of spectator cameras CAM1, CAM2,... CAMn and simultaneously superimpose the player character on the camera image.
そこで、あらかじめ作成してあるキャラクター群からゲーム内のプレーヤーに対応するキャラクターの属性（３Ｄフィギュアのデータ）を入力し（ステップＳＴ８）、初期ゲーム空間内においてＨＭＤ装置１の初期位置に対応するプレーヤーの初期位置に、初期姿勢、サイズ、向きにて配置する（ステップＳＴ９）。 Therefore, a character attribute (3D figure data) corresponding to the player in the game is input from the character group created in advance (step ST8), and the player corresponding to the initial position of the HMD device 1 in the initial game space is input. The initial position, the size, and the orientation are arranged at the initial position (step ST9).
続いて、ＶＲゲーム空間における観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎそれぞれの位置、向き、視野角を入力し、ＶＲゲーム空間において各観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎの空間位置、向き、視野角では当該ＶＲゲーム空間のどの部分がどのように写るかを演算する（ステップＳＴ１０）。そして初期状態において、位置、向き、視野角が最適な観客用カメラＣＡＭｉを選択してその観客用カメラＣＡＭｉの捕らえる２Ｄ画像を外部ディスプレイ３に出力して表示させる（ステップＳＴ１１）。 Subsequently, the positions, orientations, and viewing angles of the audience cameras CAM1, CAM2,..., CAMn in the VR game space are input, and the spatial positions, orientations, and directions of the spectator cameras CAM1, CAM2,. In the viewing angle, it is calculated which part of the VR game space is captured and how (step ST10). In the initial state, a spectator camera CAMi having the optimum position, orientation, and viewing angle is selected, and a 2D image captured by the spectator camera CAMi is output and displayed on the external display 3 (step ST11).
以上の初期処理の後、ゲーム開始となる。ＶＲゲーム開始後は、図４のフローチャートのステップＳＴ１０１〜ＳＴ１０９の描画処理をコンピューター２の動画処理能力に応じて高速で繰り返し実行する。すなわち、コントローラー信号受信器５ａ，５ｂからの信号、ＨＭＤモーショントラッキングセンサー１０２からのモーショントラッキング信号を受信して、ＶＲゲーム空間内での可動物体の位置、向き、姿勢を繰り返し演算し、またプレーヤーの位置、向き、姿勢を繰り返し演算し、それら各々をＶＲゲーム空間内の該当する位置に算出された向き、姿勢、サイズで配置する（ステップＳＴ１０１〜ＳＴ１０３）。 After the above initial processing, the game starts. After the start of the VR game, the drawing processing of steps ST101 to ST109 in the flowchart of FIG. 4 is repeatedly executed at high speed according to the moving image processing capability of the computer 2. That is, it receives signals from the controller signal receivers 5a and 5b and a motion tracking signal from the HMD motion tracking sensor 102, and repeatedly calculates the position, orientation, and posture of the movable object in the VR game space. The position, orientation, and orientation are repeatedly calculated, and each of them is arranged with the calculated orientation, orientation, and size at the corresponding position in the VR game space (steps ST101 to ST103).
続いてプレーヤーの移動や姿勢の変化によって、またＶＲゲーム空間内の可動物体の移動や姿勢の変化によって変化するプレーヤーから見た情景を表示するためにＨＭＤ用カメラの位置、向き、視野角の変化をＨＭＤモーショントラッキング信号に基づいて演算し（ステップＳＴ１０４）、カメラ視野に写る画像を立体視画像に変換し、ＨＭＤ装置内の立体視ディスプレイ１０１に出力して表示させる（ステップＳＴ１０５）。 Next, changes in the position, orientation, and viewing angle of the HMD camera in order to display the scene as seen by the player, which changes as the player moves and changes its posture, and as the moving object moves and changes its posture in the VR game space. Is calculated on the basis of the HMD motion tracking signal (step ST104), the image captured in the camera field of view is converted into a stereoscopic image, and is output and displayed on the stereoscopic display 101 in the HMD device (step ST105).
これと並行して、観客にゲーム展開を見せるために外部ディスプレイ３用の画像を作成する。すなわち、ステップＳＴ１０３においてＶＲゲーム空間内での可動物体の位置、向き、姿勢、サイズを演算し、またプレーヤーの位置、向き、姿勢を演算し、ＶＲゲーム空間内の該当する位置に算出された向き、姿勢、サイズで再配置した後、ＶＲゲーム空間内のプレーヤーの位置に該当姿勢、向き、サイズでプレーヤーのキャラクターを配置する（ステップＳＴ１０６）。そして観客用カメラＣＡＭ１，ＣＡＭ２，…，ＣＡＭｎ各々の位置、向き、視野角の情報に基づいて現在のタイミングにて最適な位置、視野角の観客用カメラを選択し（ステップＳＴ１０７，ＳＴ１０８）、選択した観客用カメラ(ここではＣＡＭｉとする。）に写るＶＲゲーム空間の画像を計算してその撮影画像を外部ディスプレイ３に表示させる（ステップＳＴ１０９）。 In parallel with this, an image for the external display 3 is created to show the game development to the audience. That is, in step ST103, the position, orientation, orientation, and size of the movable object in the VR game space are calculated, and the position, orientation, orientation of the player are calculated, and the orientation calculated at the corresponding position in the VR game space. After rearranging with the posture and size, the player character is placed with the corresponding posture, orientation and size at the position of the player in the VR game space (step ST106). Then, based on information on the position, orientation, and viewing angle of each of the spectator cameras CAM1, CAM2,..., CAMn, the spectator camera having the optimum position and viewing angle is selected at the current timing (steps ST107 and ST108). The VR game space image captured by the spectator camera (here, CAMi) is calculated and the captured image is displayed on the external display 3 (step ST109).
そしてこのステップＳＴ１０１〜ＳＴ１０９の処理をコンピューター２の処理速度またグラフィックボードの処理能力に応じ高速に繰り返す。 The processes in steps ST101 to ST109 are repeated at a high speed according to the processing speed of the computer 2 or the processing capacity of the graphic board.
なお、ステップＳＴ１０８で、観客用カメラ選択部２０7においてＶＲゲームの展開中に最適な位置や視野角の観客用カメラＣＡＭｉを選択するロジックについては、ＶＲゲーム空間内のプレーヤーの位置の移動に応じてあらかじめその位置に対応して選択するように定めた観客用カメラを選択するロジック、そのプレーヤーを最もよく見える位置の観客用カメラを選択するロジック、複数のプレーヤーすべてを捕らえている観客用カメラの画像を選択するロジック等、ＶＲゲーム展開やＶＲゲームの種類に応じて適切な選択ロジックを採用する。 In step ST108, the logic for selecting the spectator camera CAMi having the optimum position or viewing angle during the development of the VR game in the spectator camera selection unit 207 according to the movement of the position of the player in the VR game space. Logic to select a spectator camera that has been determined to be selected according to the position in advance, logic to select the spectator camera at the position where the player can best see the player, and image of the spectator camera that captures all of the players Appropriate selection logic is adopted in accordance with the VR game development and the type of VR game, such as a logic for selecting.
例示すると次のようなロジックを基本にして最適な観客用カメラＣＡＭｉを選択し、選択した観客用カメラＣＡＭｉの撮影する画像を作成して外部ディスプレイ3に表示させるのである。 For example, an optimal audience camera CAMi is selected on the basis of the following logic, and an image captured by the selected audience camera CAMi is created and displayed on the external display 3.
（１）ゲーム内のプレイしている人が目の前にいる場合、その人をフォーカスしている観客用カメラを選択する。この場合、基本的にＨＭＤ用カメラも観客用カメラもゲーム内の任意の人にカメラを合わせる（この場合、目の前のプレーヤー）。 (1) When the person who is playing in the game is in front of the user, the camera for the audience that focuses on the person is selected. In this case, the HMD camera and the spectator camera are basically matched with an arbitrary person in the game (in this case, the player in front of you).
（２）場所を判定するロジックに基づく選択。 (2) Selection based on logic for determining location.
ユーザーに対応するゲーム内のプレーヤーがどこにいるか判定し、そのプレーヤーの存在する場所に対応する観客用カメラを選択する。この場合、ＶＲゲーム空間を大きくて透明な箱のような小空間に区分けし、プレーヤーがどの箱の中にいるか判定し、該当する小空間を撮影する観客用カメラを最適なカメラに選定する。なお、複数の観客用カメラの中にはパン機能の付いたカメラも含めてあり、そのパン機能の付いたカメラの受け持っている担当エリアにプレーヤーが入った時にはそのパン機能の付いたカメラを選択して撮影画像を作成して出力する。 It is determined where the player in the game corresponding to the user is, and the spectator camera corresponding to the place where the player exists is selected. In this case, the VR game space is divided into small spaces such as a large and transparent box, the player is determined in which box, and the spectator camera for photographing the corresponding small space is selected as the optimal camera. In addition, some cameras for spectators include cameras with pan function, and when the player enters the area in charge of the camera with pan function, select the camera with pan function To create and output a shot image.
（３）行動を判定するロジック。 (3) Logic for determining behavior.
プレーヤーが立っているだけだったらそのプレーヤーを撮影できる視野の観客用カメラを選択し、そのカメラの撮影画像を出力する。他方、ＶＲゲーム空間内でプレーヤーが相手に攻撃したら、攻撃している相手が視野内に収まる位置、視野の観客用カメラを選択し、その撮影画像を出力する。 If the player is only standing, select a spectator camera with a field of view that can shoot the player and output the image taken by that camera. On the other hand, when the player attacks the opponent in the VR game space, the position where the attacking opponent falls within the field of view and the spectator camera for the field of view are selected and the captured image is output.
（４）任意のプレーヤーにカメラを合わせる。 (4) Align the camera with any player.
複数のプレーヤーが同時にゲームに参加している場合、どこのボックスがゲーム内で盛り上がっているかを検索する。例えば、ＨＰ（Ｈｉｔ Ｐｏｉｎｔ）の減り方、連続したキルを重ねているプレーヤーの有無を計算して決定する。そして選択した観客用カメラの撮影画像を出力する。 If multiple players are participating in the game at the same time, find out which box is exciting in the game. For example, it is determined by calculating how to reduce HP (Hit Point) and the presence / absence of a player who has repeated consecutive kills. The photographed image of the selected spectator camera is output.
他方、どのボックスの盛り上がりも同程度である場合、各プレーヤーの存在するボックスを順番に移動してそれぞれのカメラの撮影画像を順次出力する。 On the other hand, if the rise of any box is similar, the boxes in which each player exists are moved in order and the images taken by the respective cameras are sequentially output.
また別例として、例えば赤チームと青チームで同時にゲーム進行している場合、それぞれのチームを撮影する観客用カメラを交互に選択してそれぞれの撮影画像を交互に表示させる。この場合、それぞれを表示する時間はプレーヤーがどれだけキルを重ねているかで増減させる。 As another example, for example, when the game is progressing simultaneously with the red team and the blue team, the spectator cameras that shoot the respective teams are alternately selected to display the captured images alternately. In this case, the time to display each is increased or decreased according to how many kills the player has accumulated.
これにより、本実施の形態のＶＲゲーム表示技術によれば、ＶＲゲーム空間内でユーザーがコントローラーを用いてシューティングのような操作を行い、また体を移動させたり回転させたりしてＨＭＤ装置１の位置や傾き、向きを変化させることにより、ＶＲゲーム空間内のプレーヤーの位置、傾き、向きを変化させたり、シューティングにより敵のキャラクターを倒したり障害物を移動させたりすることができ、かつ、その様子をＨＭＤ装置1内の立体視ディスプレイ１０１によってユーザーに見せると同時に、同じＶＲゲームの変化の様子をＨＭＤ装置１を装着していない第三者に観客目線で見せることができ、ＶＲゲーム展開の様子をユーザーと共に第三者にも迫力のある動画にして楽しませることができる。図５は外部ディスプレイ３の画面上に観客用画像２１とＨＤＭ画像２２を同時に表示させた説明図である。ＨＭＤ画像２２についてはＨＭＤ装置内の立体視ディスプレイ１０１に立体視画像として表示されるものであるが、説明のために外部ディスプレイ３の画面上のスモールウィンドウに同時に表示させている。この図５のように、ＨＭＤ画像２２はユーザーから見たＨＭＤ用カメラのカメラ視野に写る画像であり、ユーザー自身がＶＲゲームの主役のプレーヤーであるためにプレーヤーのキャラクターは表示されない。ユーザーの手に持つコントローラー５ａ，５ｂに対応する武器２３，２４が表示されるだけである。一方、観客用画像２１にはプレーヤーのキャラクター２５がＶＲゲーム空間２６内のモーショントラッキングセンサーにて検出された位置に検出された姿勢、向き、サイズで表示されている。そして武器も持って表示されている。こうしてユーザーと共に観客が同じＶＲゲームの進行をプレーヤー視野の動画と観客視野の動画にして個別に見せて楽しませることができるのである。 Thereby, according to the VR game display technology of the present embodiment, the user performs operations such as shooting using the controller in the VR game space, and moves or rotates the body to rotate the HMD device 1. By changing the position, tilt, and orientation, you can change the position, tilt, and orientation of the player in the VR game space, and you can defeat enemy characters and move obstacles by shooting. The situation can be shown to the user by the stereoscopic display 101 in the HMD device 1 and the change of the same VR game can be shown to the third party who is not wearing the HMD device 1 from the audience. The movie can be enjoyed by a powerful third party with the user. FIG. 5 is an explanatory diagram in which the audience image 21 and the HDM image 22 are simultaneously displayed on the screen of the external display 3. The HMD image 22 is displayed as a stereoscopic image on the stereoscopic display 101 in the HMD device, but is simultaneously displayed in a small window on the screen of the external display 3 for the sake of explanation. As shown in FIG. 5, the HMD image 22 is an image that appears in the camera field of view of the HMD camera viewed from the user, and the player's character is not displayed because the user is the main player of the VR game. Only the weapons 23 and 24 corresponding to the controllers 5a and 5b in the user's hand are displayed. On the other hand, in the audience image 21, the player character 25 is displayed in the posture, orientation, and size detected at the position detected by the motion tracking sensor in the VR game space 26. And it is displayed with weapons. In this way, the audience and the audience can enjoy the progress of the same VR game individually as a player-viewed movie and a viewer-viewed movie.
同じようにドライブゲームであれば、ユーザーがドライバーとして運転している自動車から見えるレースの様子をＨＭＤ装置１内の立体視ディスプレイ１０１にてＨＭＤ装置１を装着しているユーザーに見せ、同時に外部ディスプレイ３には多数台の自動車のデッドヒートの様子を観客用カメラで捕らえて表示し、観客に見せて楽しませることができる。 Similarly, in the case of a drive game, the user sees the race seen from the car that the user is driving as a driver to the user wearing the HMD device 1 on the stereoscopic display 101 in the HMD device 1 and at the same time an external display In 3 you can capture and display the dead heat of many cars with the camera for the audience and show them to the audience.
また本実施の形態によれば、ＶＲゲーム空間が広く、ある仮想位置に固定した仮想の観客用カメラ（例えば、カメラＣＡＭ１）からでは移動するプレーヤーが小さく見えすぎるような状況でも、別の最適な仮想位置に設置した仮想の観客用カメラ（例えば、カメラＣＡＭｉ）に切り替えてその観客用カメラで捕らえた画像を表示することができ、観客に臨場感あふれるゲーム展開を見せることができる。特にシューティングゲームであれば激しく動きながら移動するプレーヤーを常に大きなサイズで捕らえながら観客用ディスプレイ３に表示できる。 Further, according to the present embodiment, even in a situation where the VR game space is wide and the moving player looks too small from a virtual audience camera (for example, the camera CAM1) fixed at a certain virtual position, An image captured by the spectator camera can be displayed by switching to a virtual spectator camera (for example, camera CAMi) installed at the virtual position, and the game development full of realism can be shown to the audience. In particular, in the case of a shooting game, a player who moves while moving violently can be displayed on the spectator display 3 while always catching a large size.
一方、レーシングゲームである場合にはＶＲゲーム空間内の直線コース、コーナー、ピット等々に観客用カメラを仮想的に設置しておき、プレーヤーの自動車の走行位置に対応して観客用カメラを切り替えてそれぞれの観客用カメラで捕らえた画像を表示するといった表示方法を採用することができる。 On the other hand, in the case of a racing game, a spectator camera is virtually installed in a straight course, corner, pit, etc. in the VR game space, and the spectator camera is switched according to the driving position of the player's car. A display method of displaying an image captured by each audience camera can be adopted.
さらに、上記実施の形態において、ＨＭＤ装置１にゲームスコアなど、ゲームの進展を示すパーツ２６，２７，２８を表示させ、同時に外部ディスプレイ3にも表示させるようにすることができる。またキャラクター２５は複数種用意しておいて、ユーザーに選択させることもできる。複数のユーザーそれぞれが個別にＨＭＤ装置１を装着し、ゲームコントローラー４ａ，４ｂを持って同時に参加することが可能なＶＲゲームの場合、複数のプレーヤーの動きを外部ディスプレイ３では１つのＶＲゲーム空間内のプレーヤーそれぞれの位置に配置して同時に表示させ、ゲーム展開を観客に見せることもできる。 Furthermore, in the above embodiment, the parts 26, 27, and 28 indicating the progress of the game such as the game score can be displayed on the HMD device 1 and can also be displayed on the external display 3 at the same time. Also, a plurality of types of characters 25 can be prepared and the user can select them. In the case of a VR game in which a plurality of users can individually wear the HMD device 1 and can participate at the same time with the game controllers 4a and 4b, the movements of the plurality of players are displayed in one VR game space on the external display 3. It is also possible to show the development of the game to the audience by placing it at each player's position and displaying it simultaneously.
［第２の実施の形態］
第２の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムは、ＨＭＤ装置１のモーショントラッキングを当該装置の置かれている部屋に設置されている実カメラ側で行う構成を特徴とする。ハードウェア構成は図６に示し、コンピューター２内の演算処理機能構成は図７に示す。すなわち、ＨＭＤ装置１には実カメラで認識できるマーカー（ランプ）３１を取り付けておき、このＨＭＤ装置１を撮影する実カメラ３２ａ，３２ｂを適切な位置に設置し、その実カメラ３２ａ，３２ｂの撮影する画像をコンピューター２に入力するようにし、コンピューター２側にてＨＭＤ装置１の位置、傾き、向きを割り出すようにしている。またこの実施の形態ではコントローラー４は右手左手の操作ボタンを一つの筐体の左右に配置した一体型のものを採用している。
[Second Embodiment]
The VR game display device, VR game display method, and program according to the second embodiment are characterized in that the motion tracking of the HMD device 1 is performed on the real camera side installed in the room where the device is placed. . The hardware configuration is shown in FIG. 6, and the arithmetic processing function configuration in the computer 2 is shown in FIG. That is, a marker (lamp) 31 that can be recognized by a real camera is attached to the HMD device 1, real cameras 32 a and 32 b that photograph the HMD device 1 are installed at appropriate positions, and the real cameras 32 a and 32 b are photographed. An image is input to the computer 2, and the position, inclination, and orientation of the HMD device 1 are determined on the computer 2 side. In this embodiment, the controller 4 employs an integrated type in which operation buttons on the right hand and left hand are arranged on the left and right of one housing.
図７に示す機能ブロック図のように、本実施の形態のＶＲゲーム表示装置においては、実カメラ３２ａ，３２ｂの撮影像をＨＭＤ位置姿勢演算部２２１に入力し、ここでＨＭＤ装置１の位置、傾き、向きを割り出し、ゲーム実行部２０１に入力する以外は第１の実施の形態と同様である。またＶＲゲーム表示処理も図３、図４のフローチャートに示した第１の実施の形態のものと共通する。 As shown in the functional block diagram of FIG. 7, in the VR game display device of the present embodiment, the captured images of the real cameras 32 a and 32 b are input to the HMD position / orientation calculation unit 221, where the position of the HMD device 1, The process is the same as that of the first embodiment except that the inclination and direction are calculated and input to the game execution unit 201. The VR game display process is also common to that of the first embodiment shown in the flowcharts of FIGS.
［第３の実施の形態］
図８に示す第３の実施の形態のＶＲゲーム表示装置、ＶＲゲーム表示方法及びプログラムは、ＨＭＤ装置１の位置、姿勢、傾きを第１、第２の実施の形態のようにセンサー群にて検出するのではなく、コントローラー４の操作信号をコンピューター２に入力し、コンピューター２でのソフトウェア処理によってＶＲゲーム内のプレーヤーを移動させたり、シューティングさせたり、運転させたりする操作を行い、そのプレーヤーのＶＲゲーム空間での位置、姿勢、向き、サイズ等をコンピューター２側で割り出して表示させることを特徴とする。
[Third Embodiment]
The VR game display device, VR game display method, and program according to the third embodiment shown in FIG. 8 are configured so that the position, posture, and inclination of the HMD device 1 are detected by a sensor group as in the first and second embodiments. Instead of detecting, the operation signal of the controller 4 is input to the computer 2, and the player in the VR game is moved, shot, or driven by software processing in the computer 2, and the player's The position, orientation, orientation, size, etc. in the VR game space are calculated and displayed on the computer 2 side.
このような場合にもＨＭＤ装置１の立体視ディスプレイ１０１にてプレーヤー視点でＶＲゲームの進行を立体視させ、また外部ディスプレイ３にてＶＲゲームの進行状況を観客目線の画像として表示させて観客に見せることができる。 Even in such a case, the progress of the VR game is stereoscopically viewed from the player's viewpoint on the stereoscopic display 101 of the HMD device 1, and the progress of the VR game is displayed on the external display 3 as an image of the audience's eyes. Can show.
１ ヘッドマウントディスプレイ（ＨＭＤ）装置
２ コンピューター
３ 外部ディスプレイ
４，４ａ，４ｂ コントローラー
５ａ，５ｂ コントローラー信号受信器
２１ 観客用表示画像
２２ ＨＭＤ立体視画像
２３，２４ 武器
２５ プレーヤーのキャラクター
３１ マーカー
３２ａ，３２ｂ ＨＭＤトラッキング用実カメラ
１０１ 立体視ディスプレイ
１０２ ＨＭＤモーショントラッキングセンサー
２０１ ゲーム実行部
２０２ ＶＲゲーム空間作成部
２０３ ＨＭＤ用カメラ位置計算部
２０４ ＨＭＤ用画像作成処理部
２０５ キャラクター重畳処理部
２０６ キャラクター記憶部
２０７ 観客用カメラ選択部
２０８ 観客用カメラ画像作成部
２０９ 外部ディスプレイ用画像作成処理部
２１０ コントローラー信号受信処理部
２１１ ＨＭＤセンサー信号受信処理部
２２１ ＨＭＤ位置姿勢演算部
DESCRIPTION OF SYMBOLS 1 Head mounted display (HMD) apparatus 2 Computer 3 External display 4, 4a, 4b Controller 5a, 5b Controller signal receiver 21 Audience display image 22 HMD stereoscopic image 23, 24 Weapon 25 Player character 31 Marker 32a, 32b HMD Real camera for tracking 101 Stereoscopic display 102 HMD motion tracking sensor 201 Game execution unit 202 VR game space creation unit 203 HMD camera position calculation unit 204 HMD image creation processing unit 205 Character superimposition processing unit 206 Character storage unit 207 Audience camera Selection unit 208 Audience camera image creation unit 209 External display image creation processing unit 210 Controller signal reception processing unit 211 HMD sensor Signal reception processing unit 221 HMD position and orientation calculation unit
Claims (7)
ユーザーの手の動き又はボタン操作を検知して該当する操作信号を出力するゲームコントローラーと、
前記ＨＭＤ装置、ゲームコントローラー及び外部ディスプレイとのそれぞれに接続する接続ポートを備え、前記接続ポートから前記ゲームコントローラーの操作信号を入力し、内部に保持しているＶＲゲームを進行させ、前記接続ポートから前記ＨＭＤ装置に画像信号を出力し、かつ前記接続ポートから前記外部ディスプレイにも画像信号を出力するコンピューターとを備えたＶＲゲーム表示装置であって、
前記コンピューターは、演算処理機能として、
前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成部と、
前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング部と、
前記ＶＲゲーム空間を前記ＶＲゲーム内のプレーヤーの視野にて撮影するように仮想的に設置されたＨＭＤ用カメラと、
前記ＶＲゲーム空間内の特定の複数の視野それぞれを撮影するように仮想的に設置された複数の観客用カメラと、
前記プレーヤー位置姿勢トラッキング部の演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算部と、
前記ＨＭＤ用カメラ位置計算部が算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理部と、
前記ＨＭＤ用カメラ画像作成処理部の演算した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理部と、
前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択部と、
前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択部の選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成部と、
前記観客用カメラ画像作成部の作成した画像を前記接続ポートからそれに接続される外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理部とを備えていることを特徴とするＶＲゲーム表示装置。 A head mounted display (HMD) device incorporating a stereoscopic display;
A game controller that detects a user's hand movement or button operation and outputs a corresponding operation signal;
A connection port connected to each of the HMD device, the game controller, and an external display; an operation signal of the game controller is input from the connection port, and a VR game held therein is advanced; A VR game display device comprising: a computer that outputs an image signal to the HMD device and outputs an image signal to the external display from the connection port;
The computer has an arithmetic processing function as follows:
A VR game space creation unit for creating a VR game space in progress of the VR game;
A player position / posture tracking unit for calculating the presence position, orientation, and posture of the player in the VR game space during the progress of the VR game;
An HMD camera virtually installed so as to photograph the VR game space in the field of view of the player in the VR game;
A plurality of spectator cameras virtually installed to shoot each of a plurality of specific fields of view in the VR game space;
An HMD camera position calculation unit for calculating the presence position, orientation, and posture of the HMD camera in the VR game space based on the calculation result of the player position and posture tracking unit;
An HMD camera image creation processing unit that calculates the state of the VR game space that is virtually captured by the HMD camera based on the corresponding existence position, orientation, and orientation of the VR game space calculated by the HMD camera position calculation unit; ,
An HMD camera image display processing unit that outputs the image captured by the HMD camera calculated by the HMD camera image creation processing unit to the HMD device and displays the image on the stereoscopic display;
The spatial position, orientation, and viewing angle of each of the plurality of spectator cameras in the VR game space are stored, and a spectator camera having an optimal position and viewing angle is determined by a predetermined logic according to the development of the VR game. An audience camera selection section to select;
A spectator camera image creation unit that calculates the state of the VR game space captured by the spectator camera selected by the spectator camera selection unit during the progress of the VR game in the VR game space;
An VR game display device comprising: an external display image creation processing unit that outputs and displays an image created by the spectator camera image creation unit from the connection port to an external display connected thereto.
前記ＶＲゲームの進行中のＶＲゲーム空間を作成するＶＲゲーム空間作成処理ステップと、
前記ＶＲゲームの進行中に前記ＶＲゲーム空間内での前記プレーヤーの存在位置、向き、姿勢を演算するプレーヤー位置姿勢トラッキング処理ステップと、
前記プレーヤー位置姿勢トラッキング処理ステップでの演算結果に基づき前記ＨＭＤ用カメラの前記ＶＲゲーム空間内の存在位置、向き、姿勢を演算するＨＭＤ用カメラ位置計算ステップと、
前記ＨＭＤ用カメラ位置計算ステップで算出した前記ＶＲゲーム空間の該当する存在位置、向き、姿勢で前記ＨＭＤ用カメラが仮想的に捕らえる当該ＶＲゲーム空間の様子を演算するＨＭＤ用カメラ画像作成処理ステップと、
前記ＨＭＤ用カメラ画像作成処理ステップで算出した前記ＨＭＤ用カメラの捕らえた画像を前記ＨＭＤ装置に出力し前記立体視ディスプレイに表示させるＨＭＤ用カメラ画像表示処理ステップと、
前記ＶＲゲーム空間内での前記複数の観客用カメラそれぞれの空間位置、向き、視野角を記憶し、前記ＶＲゲームの展開に応じて所定のロジックにて最適な位置、視野角の観客用カメラを選択する観客用カメラ選択ステップと、
前記ＶＲゲーム空間において前記ＶＲゲームの進行中に前記観客用カメラ選択ステップで選択した観客用カメラの捕らえる前記ＶＲゲーム空間の様子を演算する観客用カメラ画像作成処理ステップと、
前記観客用カメラ画像作成処理ステップで作成した画像を前記外部ディスプレイに出力して表示させる外部ディスプレイ用画像作成処理ステップとを実行することを特徴とするＶＲゲーム表示方法。 Each of a head mounted display (HMD) device incorporating a stereoscopic display, a game controller that detects a user's hand movement or button operation and outputs a corresponding operation signal, and the HMD device, game controller, and external display A connection port connected to the connection port, input an operation signal of the game controller from the connection port, proceed with a VR game held therein, output an image signal from the connection port to the HMD device, and In a VR game display device comprising a computer that outputs an image signal from a connection port to the external display as well, a VR game display method executed by the computer,
A VR game space creation processing step of creating a VR game space in progress of the VR game;
A player position / posture tracking processing step of calculating the presence position, orientation, and posture of the player in the VR game space during the progress of the VR game;
An HMD camera position calculation step for calculating the presence position, orientation, and attitude of the HMD camera in the VR game space based on the calculation result in the player position / orientation tracking processing step;
An HMD camera image creation processing step for calculating a state of the VR game space that is virtually captured by the HMD camera based on the corresponding existence position, orientation, and orientation of the VR game space calculated in the HMD camera position calculation step; ,
An HMD camera image display processing step for outputting an image captured by the HMD camera calculated in the HMD camera image creation processing step to the HMD device and displaying the image on the stereoscopic display;
The spatial position, orientation, and viewing angle of each of the plurality of spectator cameras in the VR game space are stored, and a spectator camera having an optimal position and viewing angle is determined by a predetermined logic according to the development of the VR game. A spectator camera selection step to select,
A spectator camera image creation processing step of calculating the state of the VR game space captured by the spectator camera selected in the spectator camera selection step during the progress of the VR game in the VR game space;
A VR game display method comprising: executing an external display image creation processing step of outputting and displaying the image created in the audience camera image creation processing step on the external display.
A VR image display program for causing a VR game display method according to claim 5 or 6 to be executed by a computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018079329A JP2019181074A (en) | 2018-04-17 | 2018-04-17 | VR game display device, VR game display method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018079329A JP2019181074A (en) | 2018-04-17 | 2018-04-17 | VR game display device, VR game display method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019181074A true JP2019181074A (en) | 2019-10-24 |
Family
ID=68338526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018079329A Pending JP2019181074A (en) | 2018-04-17 | 2018-04-17 | VR game display device, VR game display method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019181074A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112516580A (en) * | 2020-11-23 | 2021-03-19 | 广西电力职业技术学院 | Psychological coaching device and method based on VR technology |
| JP2021074354A (en) * | 2019-11-11 | 2021-05-20 | 株式会社ｍｅｌｅａｐ | Information processing device, information processing method, and program |
| WO2023157241A1 (en) * | 2022-02-18 | 2023-08-24 | 任天堂株式会社 | System, portable electronic device, processing method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002247602A (en) * | 2001-02-15 | 2002-08-30 | Mixed Reality Systems Laboratory Inc | Image generator and control method therefor, and its computer program |
| JP2017143978A (en) * | 2016-02-16 | 2017-08-24 | 株式会社バンダイナムコエンターテインメント | Game device |
| WO2017161281A1 (en) * | 2016-03-17 | 2017-09-21 | Sony Interactive Enteratainment Inc. | Spectating virtual reality (vr) environments associated with vr user interactivity |
-
2018
- 2018-04-17 JP JP2018079329A patent/JP2019181074A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002247602A (en) * | 2001-02-15 | 2002-08-30 | Mixed Reality Systems Laboratory Inc | Image generator and control method therefor, and its computer program |
| JP2017143978A (en) * | 2016-02-16 | 2017-08-24 | 株式会社バンダイナムコエンターテインメント | Game device |
| WO2017161281A1 (en) * | 2016-03-17 | 2017-09-21 | Sony Interactive Enteratainment Inc. | Spectating virtual reality (vr) environments associated with vr user interactivity |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021074354A (en) * | 2019-11-11 | 2021-05-20 | 株式会社ｍｅｌｅａｐ | Information processing device, information processing method, and program |
| WO2021095576A1 (en) * | 2019-11-11 | 2021-05-20 | 株式会社ｍｅｌｅａｐ | Information processing device, information processing method, and program |
| JP7185814B2 (en) | 2019-11-11 | 2022-12-08 | 株式会社meleap | Information processing device, information processing method and program |
| CN112516580A (en) * | 2020-11-23 | 2021-03-19 | 广西电力职业技术学院 | Psychological coaching device and method based on VR technology |
| CN112516580B (en) * | 2020-11-23 | 2023-07-04 | 广西电力职业技术学院 | Psychological coaching equipment and method based on VR technology |
| WO2023157241A1 (en) * | 2022-02-18 | 2023-08-24 | 任天堂株式会社 | System, portable electronic device, processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5227910B2 (en) | Video game apparatus, game image display method, and game image display program | |
| US8556695B2 (en) | Information storage medium, image generation device, and image generation method | |
| JP6362631B2 (en) | Image display system, image display system control method, image distribution system, and head-mounted display | |
| JP5614956B2 (en) | Program, image generation system | |
| JP3611807B2 (en) | Video game apparatus, pseudo camera viewpoint movement control method and program in video game | |
| US8535154B2 (en) | Information storage medium and image generation device | |
| JP5390115B2 (en) | Program, game system | |
| US20220219076A1 (en) | Game processing program, game processing method, and game processing device | |
| JP5438412B2 (en) | Video game device, game information display control method, and game information display control program | |
| US9345972B2 (en) | Information storage medium, image generation system, and image generation method | |
| US20110018868A1 (en) | Video game machine, gaming image display control method and display mode switching control method | |
| US20110244956A1 (en) | Image generation system, image generation method, and information storage medium | |
| US8884987B2 (en) | Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image | |
| JP2011108256A (en) | Information processing program, information processing method, information processing apparatus, and information processing system | |
| JP2012212237A (en) | Image generation system, server system, program, and information storage medium | |
| JP2019181074A (en) | VR game display device, VR game display method, and program | |
| JP2011215886A (en) | Program, information storage medium, and image generation device | |
| JP5698028B2 (en) | Program and stereoscopic image generation apparatus | |
| JP5356139B2 (en) | Video game apparatus and display mode switching control method | |
| JP5597869B2 (en) | Program, information storage medium, and image generation apparatus | |
| JP2011024635A (en) | Video game device and game image display control method | |
| JP5303386B2 (en) | Video game apparatus and game image display control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180516 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210329 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210331 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210719 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220131 |