JP2021152665A - Display control device and display control method - Google Patents

Display control device and display control method Download PDF

Info

Publication number
JP2021152665A
JP2021152665A JP2021088448A JP2021088448A JP2021152665A JP 2021152665 A JP2021152665 A JP 2021152665A JP 2021088448 A JP2021088448 A JP 2021088448A JP 2021088448 A JP2021088448 A JP 2021088448A JP 2021152665 A JP2021152665 A JP 2021152665A
Authority
JP
Japan
Prior art keywords
head
display
image
mounted display
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021088448A
Other languages
Japanese (ja)
Other versions
JP7462591B2 (en
Inventor
智一 掛
Tomokazu Kake
智一 掛
隆行 石田
Takayuki Ishida
隆行 石田
章 鈴木
Akira Suzuki
章 鈴木
靖展 亘理
Yasuhiro Watari
靖展 亘理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020055471A external-priority patent/JP6891319B2/en
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to JP2021088448A priority Critical patent/JP7462591B2/en
Publication of JP2021152665A publication Critical patent/JP2021152665A/en
Priority to JP2022183135A priority patent/JP2023027077A/en
Application granted granted Critical
Publication of JP7462591B2 publication Critical patent/JP7462591B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To improve user convenience of head-mounted display.SOLUTION: The display control device includes a display control unit that sets a viewpoint position and a line-of-sight direction, generates an image of a virtual space, and displays it on a head-mounted display 100. The display control unit can change the viewpoint position from a plurality of positions set in the virtual space to a position determined according to the user's operation. The display control unit causes the head-mounted display and a display device other than the head-mounted display to display an image based on the same virtual three-dimensional space.SELECTED DRAWING: Figure 1

Description

本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。 The present invention relates to a display control technique, and more particularly to a display control device and a display control method for controlling a display on a head-mounted display.

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。 A head-mounted display connected to a game machine is attached to the head, and the game is played by operating a controller or the like while looking at the screen displayed on the head-mounted display. With a normal stationary display connected to a game console, the user's field of view extends beyond the display screen, making it difficult to concentrate on the display screen or lacking a sense of immersion in the game. There is. On the other hand, when the head-mounted display is attached, the user does not see anything other than the image displayed on the head-mounted display, which increases the immersive feeling in the image world and has the effect of further enhancing the entertainment of the game.

本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。 The present inventor has recognized that a more convenient display control technology is required in order to enable a larger number of users to enjoy games using a head-mounted display.

上記課題を解決するために、本発明のある態様の表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。 In order to solve the above problems, the display control device of a certain aspect of the present invention includes a display control unit that sets a viewpoint position and a line-of-sight direction to generate an image of a virtual space and displays it on a head-mounted display. The display control unit can change the viewpoint position from a plurality of positions set in the virtual space to a position determined according to the user's operation, and the display control unit is other than the head-mounted display and the head-mounted display. Display an image based on the same virtual three-dimensional space on the display device.

本発明の別の態様は、表示制御方法である。この方法は、表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。 Another aspect of the present invention is a display control method. This method includes a step in which the display control unit sets the viewpoint position and the line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display. The display control unit can change the viewpoint position from a plurality of positions set in the virtual space to a position determined according to the user's operation, and the display control unit is other than the head-mounted display and the head-mounted display. Display an image based on the same virtual three-dimensional space on the display device.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present invention between methods, devices, systems, programs and the like are also effective as aspects of the present invention.

本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。 According to the present invention, the convenience of the user of the head-mounted display can be improved.

実施の形態に係るゲームシステムの使用環境を示す図である。It is a figure which shows the use environment of the game system which concerns on embodiment. 実施の形態に係るヘッドマウントディスプレイの外観図である。It is an external view of the head-mounted display which concerns on embodiment. ヘッドマウントディスプレイの機能構成図である。It is a functional block diagram of a head-mounted display. 入力装置の外観構成を示す図である。It is a figure which shows the appearance structure of an input device. 入力装置の内部構成を示す図である。It is a figure which shows the internal structure of an input device. ゲーム装置の構成を示す図である。It is a figure which shows the structure of the game apparatus. ゲーム装置の機能構成図である。It is a functional block diagram of a game device. 図８（ａ）〜（ｃ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。8 (a) to 8 (c) are diagrams showing an example of an image displayed on the head-mounted display. 視点位置及び視線方向の設定方法を説明するための模式図である。It is a schematic diagram for demonstrating the setting method of a viewpoint position and a line-of-sight direction. 図１０（ａ）（ｂ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。10 (a) and 10 (b) are diagrams showing an example of an image displayed on the head-mounted display. ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。It is a schematic diagram for demonstrating the content of another game provided by a game control unit. 図１２（ａ）〜（ｃ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。12 (a) to 12 (c) are diagrams showing an example of an image displayed on the head-mounted display. 実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。It is a schematic diagram for demonstrating the moving method of the viewpoint position in the game which concerns on embodiment.

本実施の形態では、ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。 In this embodiment, a display technique using a head-mounted display (HMD) will be described. The head-mounted display is a display device that is worn on the user's head so as to cover both eyes of the user and for viewing a still image, a moving image, or the like displayed on a display screen provided in front of the user's eyes. The target displayed on the head-mounted display may be content such as a movie or a TV program, but in the present embodiment, an example in which the head-mounted display is used as a display device for displaying an image of a game will be described. do.

図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力装置２０と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成される第１ゲーム画像を表示するヘッドマウントディスプレイ１００と、ゲーム装置１０により生成される第２ゲーム画像を表示する表示装置１２とを備える。 FIG. 1 shows a usage environment of the game system 1 according to the embodiment. The game system 1 is composed of a game device 10 for executing a game program, an input device 20 for inputting a user's instruction to the game device 10, an imaging device 14 for imaging the real space around the user, and a game device 10. It includes a head mount display 100 for displaying the generated first game image, and a display device 12 for displaying the second game image generated by the game device 10.

ゲーム装置１０は、入力装置２０又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいてゲームプログラムを実行し、第１ゲーム画像を生成してヘッドマウントディスプレイ１００に伝送し、第２ゲーム画像を生成して表示装置１２に伝送する。 The game device 10 executes a game program based on an instruction input input by the input device 20 or the head-mounted display 100, a position or orientation of the input device 20 or the head-mounted display 100, and generates a first game image. The second game image is generated and transmitted to the display device 12.

ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された第１ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。 The head-mounted display 100 displays a first game image generated by the game device 10. In addition, information regarding the user's input to the input device provided on the head-mounted display 100 is transmitted to the game device 10. The head-mounted display 100 may be connected to the game device 10 with a wired cable, or may be wirelessly connected to the game device 10 by a wireless LAN or the like.

表示装置１２は、ゲーム装置１０において生成された第２ゲーム画像を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。 The display device 12 displays the second game image generated by the game device 10. The display device 12 may be a television having a display and speakers, a computer display, or the like.

入力装置２０は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施の形態ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置２０とゲーム装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。 The input device 20 has a function of transmitting an instruction input by the user to the game device 10, and is configured as a wireless controller capable of wireless communication with the game device 10 in the present embodiment. The input device 20 and the game device 10 may establish a wireless connection using the Bluetooth® protocol. The input device 20 is not limited to the wireless controller, and may be a wired controller connected to the game device 10 via a cable.

入力装置２０はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置２０のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置１０に送信される。 The input device 20 is battery-powered and includes a plurality of buttons for inputting instructions to advance the game. When the user operates the button of the input device 20, the instruction input by the operation is transmitted to the game device 10 by wireless communication.

撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力装置２０及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置２０又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。 The image pickup device 14 is a video camera composed of a CCD image pickup device, a CMOS image pickup device, or the like, and images the real space at a predetermined cycle to generate a frame image for each cycle. The image pickup device 14 is connected to the game device 10 via USB (Universal Serial Bus) or other interface. The image captured by the image pickup device 14 is used in the game device 10 to derive the positions and orientations of the input device 20 and the head-mounted display 100. The image pickup apparatus 14 may be a distance measuring camera or a stereo camera capable of acquiring a distance. In this case, the image pickup device 14 can acquire the distance between the image pickup device 14 and the input device 20, the head-mounted display 100, or the like.

本実施例のゲームシステム１において、入力装置２０及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。 In the game system 1 of this embodiment, the input device 20 and the head-mounted display 100 have a light emitting unit configured to be capable of emitting light in a plurality of colors. During the game, the light emitting unit emits light in the color instructed by the game device 10, and is imaged by the image pickup device 14. The image pickup device 14 takes an image of the input device 20, generates a frame image, and supplies the frame image to the game device 10. The game device 10 acquires a frame image and derives position information of the light emitting portion in the real space from the position and size of the image of the light emitting portion in the frame image. The game device 10 handles the position information as an operation instruction of the game, controls the operation of the player's character, and reflects it in the processing of the game.

また、入力装置２０及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力装置２０及びヘッドマウントディスプレイ１００の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。 Further, the input device 20 and the head-mounted display 100 have an acceleration sensor and a gyro sensor. The detected value of the sensor is transmitted to the game device 10 at a predetermined cycle, and the game device 10 acquires the detected value of the sensor to acquire the posture information of the input device 20 and the head-mounted display 100 in the real space. The game device 10 handles the posture information as an operation instruction of the game and reflects it in the processing of the game.

図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。 FIG. 2 is an external view of the head-mounted display 100 according to the embodiment. The head-mounted display 100 includes a main body 110, a head contact 112, and a light emitting unit 114.

本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、ゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。 The main body 110 is provided with a display, a GPS unit for acquiring position information, an attitude sensor, a communication device, and the like. The head contact portion 112 may be provided with a biometric information acquisition sensor capable of measuring biometric information such as a user's body temperature, pulse, blood component, sweating, electroencephalogram, and cerebral blood flow. As described above, the light emitting unit 114 emits light in the color instructed by the game device 10, and functions as a reference for calculating the position of the head-mounted display 100 in the image captured by the image pickup device 14.

ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。 The head-mounted display 100 may also be provided with a camera that captures the user's eyes. The camera mounted on the head-mounted display 100 can detect the user's line of sight, pupil movement, blinking, and the like.

本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。 In the present embodiment, the head-mounted display 100 will be described, but the display control technology of the present embodiment is not limited to the head-mounted display 100 in a narrow sense, and is limited to glasses, a glasses-type display, a glasses-type camera, headphones, and a headset. It can also be applied when wearing (headphones with a microphone), earphones, earphones, ear-hook camera, hat, hat with camera, hair band, etc.

図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置１９０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。 FIG. 3 is a functional configuration diagram of the head-mounted display 100. The head mount display 100 includes an input interface 122, an output interface 130, a backlight 132, a communication control unit 140, a network adapter 142, an antenna 144, a storage unit 150, a GPS unit 161, a wireless unit 162, an attitude sensor 164, and an external input / output terminal. It includes an interface 170, an external memory 172, a clock unit 180, a display device 190, and a control unit 160. These functional blocks can also be realized in various ways by hardware only, software only, or a combination thereof.

制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置１９０に表示させる。バックライト１３２は、表示装置１９０を構成する液晶ディスプレイにバックライトを供給する。 The control unit 160 is a main processor that processes and outputs signals such as image signals and sensor signals, as well as instructions and data. The input interface 122 receives an operation signal or a setting signal from an input button or the like and supplies the operation signal to the control unit 160. The output interface 130 receives an image signal from the control unit 160 and displays it on the display device 190. The backlight 132 supplies a backlight to the liquid crystal display constituting the display device 190.

通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。 The communication control unit 140 transmits the data input from the control unit 160 to the outside via the network adapter 142 or the antenna 144 by wired or wireless communication. The communication control unit 140 also receives data from the outside via wired or wireless communication via the network adapter 142 or the antenna 144, and outputs the data to the control unit 160.

記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。 The storage unit 150 temporarily stores data, parameters, operation signals, and the like processed by the control unit 160.

ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。 The GPS unit 161 receives position information from GPS satellites and supplies it to the control unit 160 according to an operation signal from the control unit 160. The radio unit 162 receives the position information from the radio base station and supplies the position information to the control unit 160 according to the operation signal from the control unit 160.

姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。 The posture sensor 164 detects posture information such as the orientation and tilt of the main body 110 of the head-mounted display 100. The attitude sensor 164 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.

外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。 The external input / output terminal interface 170 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller. The external memory 172 is an external memory such as a flash memory.

時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。 The clock unit 180 sets the time information by the setting signal from the control unit 160, and supplies the time data to the control unit 160.

図４は、入力装置２０の外観構成を示す。図４（ａ）は、入力装置２０の上面構成を示し、図４（ｂ）は、入力装置２０の下面構成を示す。入力装置２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。 FIG. 4 shows the external configuration of the input device 20. FIG. 4A shows the upper surface configuration of the input device 20, and FIG. 4B shows the lower surface configuration of the input device 20. The input device 20 has a light emitter 22 and a handle 24. The light emitting body 22 is formed in a spherical shape with a light-transmitting resin on the outside thereof, and has a light emitting element such as a light emitting diode or a light bulb inside. When the inner light emitting element emits light, the entire outer sphere glows. Operation buttons 30, 32, 34, 36, 38 are provided on the upper surface of the handle 24, and operation buttons 40 are provided on the lower surface. The user operates the operation buttons 30, 32, 34, 36, and 38 with the thumb and the operation button 40 with the index finger while holding the end of the handle 24 by hand. The operation buttons 30, 32, 34, 36, and 38 are configured to be pressed, and the user operates them by pressing them. The operation button 40 may be capable of inputting an analog amount.

ユーザは表示装置１２に表示されるゲーム画面を見ながらゲームを行う。撮像装置１４は、ゲームアプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面でゲームをプレイすることが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力装置２０を撮像できる。 The user plays a game while looking at the game screen displayed on the display device 12. Since the image pickup device 14 needs to image the light emitting body 22 during the execution of the game application, it is preferable that the image pickup device 14 is arranged so that the image pickup range faces the same direction as the display device 12. Since a user generally plays a game in front of the display device 12, the image pickup device 14 is arranged so that the direction of its optical axis coincides with the front direction of the display device 12. Specifically, it is preferable that the image pickup device 14 is arranged in the vicinity of the display device 12 so that the position where the display screen of the display device 12 can be visually recognized by the user is included in the image pickup range. As a result, the image pickup device 14 can image the input device 20.

図５は、入力装置２０の内部構成を示す。入力装置２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、ゲーム装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力装置２０における所期の処理を実行する。 FIG. 5 shows the internal configuration of the input device 20. The input device 20 includes a wireless communication module 48, a processing unit 50, a light emitting unit 62, and operation buttons 30, 32, 34, 36, 38, 40. The wireless communication module 48 has a function of transmitting and receiving data to and from the wireless communication module of the game device 10. The processing unit 50 executes the desired processing in the input device 20.

処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。 The processing unit 50 includes a main control unit 52, an input reception unit 54, a 3-axis acceleration sensor 56, a 3-axis gyro sensor 58, and a light emission control unit 60. The main control unit 52 sends and receives necessary data to and from the wireless communication module 48.

入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力装置２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力装置２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期でゲーム装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。 The input receiving unit 54 receives the input information from the operation buttons 30, 32, 34, 36, 38, and 40 and sends it to the main control unit 52. The 3-axis acceleration sensor 56 detects the acceleration component in the 3-axis direction of XYZ. The 3-axis gyro sensor 58 detects the angular velocity in the XZ plane, the ZY plane, and the YX plane. Here, the width direction of the input device 20 is set as the X-axis, the height direction is set as the Y-axis, and the longitudinal direction is set as the Z-axis. It is preferable that the 3-axis acceleration sensor 56 and the 3-axis gyro sensor 58 are arranged in the handle 24 of the input device 20 and are arranged in the vicinity of the center in the handle 24. The wireless communication module 48 transmits the detected value information by the 3-axis acceleration sensor 56 and the detected value information by the 3-axis gyro sensor 58 to the wireless communication module of the game device 10 at a predetermined cycle together with the input information from the operation buttons. .. This transmission cycle is set to, for example, 11.25 ms.

発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。 The light emitting control unit 60 controls the light emission of the light emitting unit 62. The light emitting unit 62 has a red LED 64a, a green LED 64b, and a blue LED 64c, and can emit light of a plurality of colors. The light emission control unit 60 adjusts the light emission of the red LED 64a, the green LED 64b, and the blue LED 64c to cause the light emitting unit 62 to emit light in a desired color.

無線通信モジュール４８はゲーム装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。 When the wireless communication module 48 receives the light emission instruction from the game device 10, it supplies the light emission instruction to the main control unit 52, and the main control unit 52 supplies the light emission instruction to the light emission control unit 60. The light emission control unit 60 controls the light emission of the red LED 64a, the green LED 64b, and the blue LED 64c so that the light emitting unit 62 emits light in the color specified by the light emission instruction. For example, the light emission control unit 60 may control each LED by PWM (pulse width modulation) control.

図６は、ゲーム装置１０の構成を示す。ゲーム装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０およびアプリケーション処理部３００を備える。本実施例におけるゲーム装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置１０は複数のＣＰＵを有してもよい。 FIG. 6 shows the configuration of the game device 10. The game device 10 includes a frame image acquisition unit 80, an image processing unit 82, a device information derivation unit 84, a wireless communication module 86, an input reception unit 88, an output unit 90, and an application processing unit 300. The processing function of the game device 10 in this embodiment is realized by a CPU, a memory, a program loaded in the memory, and the like, and here, a configuration realized by their cooperation is drawn. The program may be built in the game device 10 or may be supplied from the outside in a form stored in a recording medium. Therefore, it will be understood by those skilled in the art that these functional blocks can be realized in various ways by hardware only, software only, or a combination thereof. Due to the hardware configuration, the game device 10 may have a plurality of CPUs.

無線通信モジュール８６は、入力装置２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力装置２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、ゲーム装置１０に所定の周期で送信できるようになる。 The wireless communication module 86 establishes wireless communication with the wireless communication module 48 of the input device 20. As a result, the input device 20 can transmit the state information of the operation buttons and the detection value information of the 3-axis acceleration sensor 56 and the 3-axis gyro sensor 58 to the game device 10 at a predetermined cycle.

無線通信モジュール８６は、入力装置２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部３００は、センサ検出値情報を、入力装置２０の姿勢情報として取り扱う。 The wireless communication module 86 receives the state information of the operation buttons and the sensor detection value information transmitted from the input device 20 and supplies the information to the input reception unit 88. The input receiving unit 88 separates the button state information and the sensor detection value information and hands them over to the application processing unit 300. The application processing unit 300 receives the button state information and the sensor detection value information as game operation instructions. The application processing unit 300 handles the sensor detection value information as the posture information of the input device 20.

フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。 The frame image acquisition unit 80 is configured as a USB interface, and acquires a frame image from the image pickup device 14 at a predetermined imaging speed (for example, 30 frames / second). The image processing unit 82 extracts the illuminant image from the frame image. The image processing unit 82 specifies the position and size of the illuminant image in the frame image. By lighting the light emitter 22 of the input device 20 in a color that is unlikely to be used in the user environment, for example, the image processing unit 82 can extract the light emitter image from the frame image with high accuracy. The image processing unit 82 may binarize the frame image data using a predetermined threshold value to generate a binarized image. By this binarization process, the pixel value of the pixel having the brightness greater than the predetermined threshold value is encoded to "1", and the pixel value of the pixel having the brightness equal to or less than the predetermined threshold value is encoded to "0". NS. By lighting the illuminant 22 with a brightness exceeding the predetermined threshold value, the image processing unit 82 can specify the position and size of the illuminant image from the binarized image. For example, the image processing unit 82 specifies the coordinates of the center of gravity of the illuminant image in the frame image and the radius of the illuminant image.

デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を、ゲームの操作指示として受け取る。 The device information derivation unit 84 derives the position information of the input device 20 and the head-mounted display 100 as seen from the image pickup device 14 from the position and size of the illuminant image specified by the image processing unit 82. The device information derivation unit 84 derives the position coordinates in the camera coordinates from the coordinates of the center of gravity of the illuminant image, and derives the distance information from the image pickup device 14 from the radius of the illuminant image. The position coordinates and the distance information constitute the position information of the input device 20 and the head-mounted display 100. The device information derivation unit 84 derives the position information of the input device 20 and the head-mounted display 100 for each frame image and hands it over to the application processing unit 300. The application processing unit 300 receives the position information of the input device 20 and the head-mounted display 100 as an operation instruction of the game.

アプリケーション処理部３００は、入力装置２０の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。 The application processing unit 300 advances the game from the position information and the posture information of the input device 20 and the button state information, and generates an image signal indicating the processing result of the game application. The image signal is sent from the output unit 90 to the display device 12, and is output as a display image.

図７は、ゲーム装置１０の機能構成図である。ゲーム装置１０のアプリケーション処理部３００は、制御部３１０及びデータ保持部３６０を備える。制御部３１０は、ゲーム制御部３１１、指示入力取得部３１２、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、第１画像生成部３１６、及び第２画像生成部３１７を備える。 FIG. 7 is a functional configuration diagram of the game device 10. The application processing unit 300 of the game device 10 includes a control unit 310 and a data holding unit 360. The control unit 310 includes a game control unit 311, an instruction input acquisition unit 312, an HMD information acquisition unit 314, an input device information acquisition unit 315, a first image generation unit 316, and a second image generation unit 317.

データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。 The data holding unit 360 holds program data of the game executed by the game device 10, various data used by the game program, and the like.

指示入力取得部３１２は、入力装置２０又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置２０又はヘッドマウントディスプレイ１００から取得する。 The instruction input acquisition unit 312 acquires information regarding instruction input by the user received by the input device 20 or the head-mounted display 100 from the input device 20 or the head-mounted display 100.

ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、デバイス情報導出部８４から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、デバイス情報導出部８４がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。 The HMD information acquisition unit 314 acquires information regarding the posture of the head-mounted display from the head-mounted display 100. Further, the HMD information acquisition unit 314 acquires information regarding the position of the head-mounted display 100 from the device information derivation unit 84. This information is transmitted to the game control unit 311. Information regarding the posture of the head-mounted display 100 may be acquired by the device information derivation unit 84 analyzing the captured image of the head-mounted display 100.

入力装置情報取得部３１５は、入力装置２０から、入力装置２０の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、デバイス情報導出部８４から、入力装置２０の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。入力装置２０の姿勢に関する情報は、デバイス情報導出部８４が入力装置２０の撮像画像を解析することにより取得されてもよい。 The input device information acquisition unit 315 acquires information regarding the posture of the input device 20 from the input device 20. Further, the input device information acquisition unit 315 acquires information regarding the position of the input device 20 from the device information derivation unit 84. This information is transmitted to the game control unit 311. The information regarding the posture of the input device 20 may be acquired by the device information derivation unit 84 analyzing the captured image of the input device 20.

入力装置２０が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置２０の位置と、その時点以降に取得された入力装置２０の姿勢に関する情報に基づいて、入力装置２０の位置を算出する。例えば、入力装置２０の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置２０の位置からのずれを算出することにより、現在の入力装置２０の位置を算出してもよい。入力装置２０が撮像装置１４により撮像されない間は、同様にして入力装置２０の位置を逐次算出する。入力装置２０が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置２０の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部８４により新たに算出された入力装置２０の位置を現在の入力装置２０の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。 When the input device 20 is out of the image pickup range of the image pickup device 14 or is hidden by the user's body or obstacles and is not imaged by the image pickup device 14, the input device information acquisition unit 315 was acquired last time. The position of the input device 20 is calculated based on the position of the input device 20 and the information regarding the posture of the input device 20 acquired after that time. For example, even if the current position of the input device 20 is calculated by calculating the deviation from the position of the input device 20 acquired last time based on the translational acceleration data acquired from the acceleration sensor of the input device 20. good. While the input device 20 is not imaged by the image pickup device 14, the position of the input device 20 is sequentially calculated in the same manner. When the input device 20 is imaged again by the image pickup device 14, the position of the input device 20 sequentially calculated from the acceleration data may not indicate an accurate position due to the accumulation of drift errors. The position of the input device 20 newly calculated by 84 may be used as the current position of the input device 20. The same applies to the head-mounted display 100.

ゲーム制御部３１１は、ゲームプログラムを実行し、指示入力取得部３１２が取得したユーザによる指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部３１１は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置２０の方向キーやアナログスティックなどによる入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。 The game control unit 311 executes a game program, and advances the game based on the instruction input by the user acquired by the instruction input acquisition unit 312 and the information regarding the position or posture of the input device 20 or the head-mounted display 100. The game control unit 311 is based on an input by the direction key of the input device 20 or an analog stick, a change in the position of the input device 20 or the head-mounted display 100, or the like in a game field composed of a virtual three-dimensional space. , Change the position of the player's character that is the operation target.

第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき画像を生成する。第１画像生成部３１６は、ゲーム制御部３１１により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第１画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第１画像生成部３１６は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、第１画像を生成する。第１画像生成部３１６により生成された第１画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ１００に送信される。 The first image generation unit 316 generates an image to be displayed on the head-mounted display 100. The first image generation unit 316 sets the viewpoint position based on the position of the operation target controlled by the game control unit 311 and sets the line-of-sight direction based on the posture of the head mount display 100 to create a virtual three-dimensional space. Generate an image of the game field by rendering. The first image generation unit 316 associates the posture of the head-mounted display 100 with the line-of-sight direction in the game field at a predetermined timing, and thereafter changes the line-of-sight direction as the posture of the head-mounted display 100 changes. As a result, the user can look around the game field by actually moving his / her head, and can experience as if he / she actually exists in the game field. The first image generation unit 316 generates the first image by adding information about the game, an image to be displayed on the head-mounted display 100, and the like to the generated image of the game field. The first image generated by the first image generation unit 316 is transmitted to the head-mounted display 100 via the wireless communication module or the wired communication module.

第２画像生成部３１７は、表示装置１２に表示すべき画像を生成する。ヘッドマウントディスプレイ１００に表示される画像と同じ画像を表示装置１２に表示する場合は、第１画像生成部３１６により生成された第１画像が表示装置１２にも送信される。ヘッドマウントディスプレイ１００に表示される画像とは異なる画像を表示装置１２に表示する場合、例えば、ヘッドマウントディスプレイ１００を装着したユーザと、表示装置１２を視聴しているユーザとが、対戦ゲームを実行する場合などは、第２画像生成部３１７は、第１画像生成部３１６とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第２画像生成部３１７は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置１２に表示すべき画像などを追加して、第２画像を生成する。第２画像生成部３１７により生成された第２画像は、無線通信モジュール又は有線通信モジュールを介して表示装置１２に送信される。 The second image generation unit 317 generates an image to be displayed on the display device 12. When the same image as the image displayed on the head-mounted display 100 is displayed on the display device 12, the first image generated by the first image generation unit 316 is also transmitted to the display device 12. When displaying an image different from the image displayed on the head-mounted display 100 on the display device 12, for example, a user wearing the head-mounted display 100 and a user viewing the display device 12 execute a battle game. In such a case, the second image generation unit 317 generates an image of the game field by setting a viewpoint position and a line-of-sight direction different from those of the first image generation unit 316 and rendering a virtual three-dimensional space. The second image generation unit 317 generates a second image by adding information about the game, an image to be displayed on the display device 12, and the like to the generated image of the game field. The second image generated by the second image generation unit 317 is transmitted to the display device 12 via the wireless communication module or the wired communication module.

図８は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部３１１は、ゲームフィールドに設定された複数の位置の間で視点位置を変更する機能を提供する。図８（ａ）に示す表示画面においては、ゲームフィールドに設定された複数の位置のうちの一つを視点位置として生成されたゲームフィールドの画像が表示される。表示画面には、ゲームフィールドに視点位置として設定された位置を示すマーカー５００及び５０２が更に表示されている。ユーザが首を上下左右に振ってヘッドマウントディスプレイ１００の姿勢を変更すると、第１画像生成部３１６は、ヘッドマウントディスプレイ１００の姿勢に応じて視線方向を変更する。ヘッドマウントディスプレイ１００の内側にユーザの眼球を撮影するためのカメラを設け、ユーザの視線方向を検出することを可能とする場合は、ユーザの視線を更に加味して視線方向を変更してもよい。ユーザの視線は、既知の任意の視線追跡技術を用いて検出してもよい。 FIG. 8 shows an example of an image displayed on the head-mounted display. The game control unit 311 provides a function of changing the viewpoint position among a plurality of positions set in the game field. On the display screen shown in FIG. 8A, an image of the game field generated with one of the plurality of positions set in the game field as the viewpoint position is displayed. Markers 500 and 502 indicating positions set as viewpoint positions in the game field are further displayed on the display screen. When the user shakes his / her head up / down / left / right to change the posture of the head-mounted display 100, the first image generation unit 316 changes the line-of-sight direction according to the posture of the head-mounted display 100. If a camera for photographing the user's eyeball is provided inside the head-mounted display 100 and it is possible to detect the user's line-of-sight direction, the line-of-sight direction may be changed in consideration of the user's line-of-sight. .. The user's line of sight may be detected using any known line-of-sight tracking technique.

ユーザが、マーカーの方向に顔又は視線を向けることにより、マーカーが表示画面の中央付近に設定された所定の範囲内に入ると、図８（ｂ）に示すように、ゲーム制御部３１１は、第１画像生成部３１６にマーカー５００の表示態様を変更させ、マーカー５００により示される位置が視点位置の設定候補として選択されたことを示す。視点位置の設定候補が選択された状態で、ユーザが所定のボタンを入力したり、所定のジェスチャーを実行したりするなどして、視点位置を変更するよう指示すると、ゲーム制御部３１１は、選択されているマーカー５００により示される位置に視点位置を変更するよう第１画像生成部３１６に指示する。第１画像生成部３１６は、図８（ｃ）に示すように、マーカー５００の位置を視点位置とするゲームフィールドの画像を生成して表示する。図８（ｃ）に示す表示画面には、図８（ａ）に示す表示画面において視点位置に設定されていた位置を示すマーカー５０４が表示される。 When the user turns his face or line of sight in the direction of the marker and the marker enters a predetermined range set near the center of the display screen, the game control unit 311 sets the game control unit 311 as shown in FIG. 8 (b). The first image generation unit 316 is made to change the display mode of the marker 500, and indicates that the position indicated by the marker 500 has been selected as a setting candidate for the viewpoint position. When the user instructs to change the viewpoint position by inputting a predetermined button or executing a predetermined gesture while the viewpoint position setting candidate is selected, the game control unit 311 selects the viewpoint position. The first image generation unit 316 is instructed to change the viewpoint position to the position indicated by the marker 500. As shown in FIG. 8C, the first image generation unit 316 generates and displays an image of the game field with the position of the marker 500 as the viewpoint position. On the display screen shown in FIG. 8 (c), a marker 504 indicating the position set as the viewpoint position on the display screen shown in FIG. 8 (a) is displayed.

図９は、視点位置及び視線方向の設定方法を説明するための模式図である。本実施の形態では、ゲームフィールドの中央付近を中心とする球面上に視点位置が設定され、視点位置からゲームフィールドの中央付近の第１の位置を見る方向にデフォルトの視線方向が設定される。これにより、視点位置がどこに設定されても、ゲームフィールドを見渡すことが可能な画像を表示することができる。第１画像生成部３１６は、視点位置を変更するとき、視点位置を球面に沿って滑らかに移動させ、視点位置の移動中も、視点位置からゲームフィールドの第１の位置を見る方向に視線方向を設定してゲームフィールドの画像を生成する。これにより、視点位置の変更する間も、ゲームフィールドを見渡すことが可能な画像を表示することができるので、視点位置が大きく移動されるような場合であっても、視点位置がどこに移動されるのかをユーザに分かりやすく示すことができる。なお、視点位置は、ゲームフィールドの任意の点を中心とする球面又は回転楕円体面に設けられてもよいし、それら以外の任意の曲面上に設けられてもよい。また、視点位置を変更するときに、変更前の視点位置から変更後の視点位置まで視点位置を直線状又は曲線状に連続的に変化させてもよい。図８に示した例では、下側の半球面は地中になるので、上側の半球面にのみ視点位置を設定可能であるが、宇宙空間などをゲームフィールドとする場合は、下側の半球面にも視点位置を設定可能としてもよい。 FIG. 9 is a schematic diagram for explaining a method of setting the viewpoint position and the line-of-sight direction. In the present embodiment, the viewpoint position is set on a spherical surface centered near the center of the game field, and the default line-of-sight direction is set in the direction of viewing the first position near the center of the game field from the viewpoint position. As a result, it is possible to display an image overlooking the game field regardless of where the viewpoint position is set. When changing the viewpoint position, the first image generation unit 316 smoothly moves the viewpoint position along the spherical surface, and even while the viewpoint position is moving, the line-of-sight direction is in the direction of viewing the first position of the game field from the viewpoint position. To generate an image of the game field. As a result, an image that can overlook the game field can be displayed even while the viewpoint position is changed, so that the viewpoint position is moved to where even if the viewpoint position is moved significantly. Can be shown to the user in an easy-to-understand manner. The viewpoint position may be provided on a spherical surface or a rotating elliptical surface centered on an arbitrary point in the game field, or may be provided on an arbitrary curved surface other than those. Further, when the viewpoint position is changed, the viewpoint position may be continuously changed in a linear or curved shape from the viewpoint position before the change to the viewpoint position after the change. In the example shown in FIG. 8, since the lower hemisphere is underground, the viewpoint position can be set only on the upper hemisphere, but when outer space or the like is used as the game field, the lower hemisphere is used. The viewpoint position may be set on the surface as well.

図１０は、ヘッドマウントディスプレイに表示される画像の例を示す。図１０（ａ）に示すように、ある視点位置から見たゲームフィールドの画像が表示されているときに、ユーザが頭を前方に移動させることにより、ヘッドマウントディスプレイ１００を前方に移動させると、ゲーム制御部３１１は、第１画像生成部３１６に、視点位置をゲームフィールドの中央付近の第２の位置に移動させる。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が所定の距離以上前方に移動されたときに視点位置を移動させてもよいし、ヘッドマウントディスプレイ１００の移動速度が所定値以上であったときに視点位置を移動させてもよい。これにより、図１０（ｂ）に示すように、視点位置を観客席からゲームフィールドの中央付近に移動させることができるので、観客の視点でサッカーなどのゲームを見ていたユーザが、競技中のフィールド内に入り込むような体験を提供することができる。また、ヘッドマウントディスプレイ１００を用いた分かりやすい視点移動方法を提供することができる。 FIG. 10 shows an example of an image displayed on the head-mounted display. As shown in FIG. 10A, when an image of the game field viewed from a certain viewpoint position is displayed, when the user moves the head forward to move the head-mounted display 100 forward, The game control unit 311 causes the first image generation unit 316 to move the viewpoint position to a second position near the center of the game field. The game control unit 311 may move the viewpoint position when the head-mounted display 100 is moved forward by a predetermined distance or more, or the viewpoint position when the moving speed of the head-mounted display 100 is equal to or more than a predetermined value. May be moved. As a result, as shown in FIG. 10B, the viewpoint position can be moved from the spectator seat to the vicinity of the center of the game field, so that a user who is watching a game such as soccer from the spectator's viewpoint is in the competition. It can provide an experience that makes you feel like you are in the field. Further, it is possible to provide an easy-to-understand viewpoint moving method using the head-mounted display 100.

図１１は、ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。本図に示すゲームにおいて、ユーザは穴５１２の開いた箱５１０の中に隠れ、ハンマー５１４で叩かれないようにしながら穴５１２から顔を出して、プレート５１６に書かれた文字を読み取る。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の位置に基づいて視点位置を変更させる。ゲーム制御部３１１は、所定のタイミングでハンマー５１４が叩く穴５１２を決定し、決定された穴５１２の上にハンマー５１４を振り下ろす。ユーザの視点位置が穴５１２よりも上に出ているときに、その穴５１２にハンマー５１４が振り下ろされると、ユーザがハンマー５１４で叩かれたものとする。ユーザが所定回数以上ハンマー５１４で叩かれると、ゲームオーバーとする。 FIG. 11 is a schematic diagram for explaining the content of another game provided by the game control unit. In the game shown in this figure, the user hides in a box 510 with a hole 512, emerges from the hole 512 while preventing being hit by a hammer 514, and reads the characters written on the plate 516. The game control unit 311 changes the viewpoint position based on the position of the head-mounted display 100. The game control unit 311 determines the hole 512 to be hit by the hammer 514 at a predetermined timing, and swings the hammer 514 down on the determined hole 512. If the hammer 514 is swung down into the hole 512 when the user's viewpoint position is above the hole 512, it is assumed that the user is hit by the hammer 514. When the user is hit with the hammer 514 more than a predetermined number of times, the game is over.

図１２は、ヘッドマウントディスプレイに表示される画像の例を示す。図１２（ａ）は、ユーザが真ん中の穴から上を見上げたときのゲーム画面を示す。真ん中の穴にハンマーが振り下ろされようとしている。図１２（ｂ）は、ユーザがヘッドマウントディスプレイ１００を右に移動させて、視点位置を右側の穴の下に移動させたときのゲーム画面を示す。ハンマーは真ん中の穴に振り下ろされようとしているので、しばらくの間は右側の穴にハンマーが振り下ろされることはない。このとき、ユーザがヘッドマウントディスプレイ１００を上に移動させて、視点位置を右側の穴から上に移動させると、図１２（ｃ）に示すように、箱の外側に配置されたプレートに書かれた文字を視認することができる。 FIG. 12 shows an example of an image displayed on the head-mounted display. FIG. 12A shows a game screen when the user looks up from the hole in the middle. A hammer is about to be swung down into the hole in the middle. FIG. 12B shows a game screen when the user moves the head-mounted display 100 to the right and the viewpoint position is moved below the hole on the right side. The hammer is about to be swung down into the middle hole, so it won't be swung down into the right hole for a while. At this time, when the user moves the head-mounted display 100 upward and the viewpoint position is moved upward from the hole on the right side, it is written on the plate arranged on the outside of the box as shown in FIG. 12 (c). You can see the characters.

図１３は、実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。ユーザが椅子などに座った状態でゲームを行う場合、腰の位置は固定されているので、頭を円弧状に移動させることになるが、ゲームを行う際に支障なく移動可能な範囲はせいぜい１００〜１２０°程度である。したがって、ヘッドマウントディスプレイ１００の移動可能範囲を有効に利用するために、ゲーム制御部３１１は、ヘッドマウントディスプレイ１００が水平方向に移動された場合に、垂直方向に移動された場合よりも大きく視点位置を移動させる。また、ヘッドマウントディスプレイ１００が左右に移動された場合に、真ん中の穴の幅に対応する移動量を超えると、真ん中の穴と左右の穴との間の領域を飛ばして、左右の穴の下に視点位置を移動させる。具体的には、真ん中の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ１００を右に移動させたとき、ヘッドマウントディスプレイ１００が位置５２０に達すると、視点位置を真ん中の穴の右端の位置から右側の穴の左端の位置にジャンプさせる。また、右側の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ１００を左に移動させたとき、ヘッドマウントディスプレイ１００が位置５２２に達すると、視点位置を右側の穴の左端の位置から真ん中の穴の右端の位置に移動させる。これにより、ゲームにおいて視点位置を移動させる必要性がない又は少ない領域には視点位置を移動させず、視点位置を移動させる必要性がある又は多い所定の領域にのみ視点位置を移動可能とするので、ヘッドマウントディスプレイ１００の移動可能範囲を有効に利用して、視点位置を移動させることができる。また、入力装置２０などを使用しなくてもヘッドマウントディスプレイ１００の移動により容易に視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。また、右へ移動させる場合に視点位置をジャンプさせる位置５２０と、左へ移動させる場合に視点位置をジャンプさせる位置５２２とを異ならせてヒステリシスを設けるので、ヘッドマウントディスプレイ１００の角度が閾値付近の位置に対応する角度になっているときに、視点位置が頻繁に左右にジャンプしてしまう事態を低減させることができる。 FIG. 13 is a schematic diagram for explaining a method of moving the viewpoint position in the game according to the embodiment. When the user plays a game while sitting on a chair or the like, the position of the waist is fixed, so the head is moved in an arc shape, but the range in which the user can move without hindrance when playing the game is at most 100. It is about ~ 120 °. Therefore, in order to effectively utilize the movable range of the head-mounted display 100, the game control unit 311 has a viewpoint position larger when the head-mounted display 100 is moved in the horizontal direction than when it is moved in the vertical direction. To move. Further, when the head-mounted display 100 is moved to the left or right, if the amount of movement corresponding to the width of the center hole is exceeded, the area between the center hole and the left and right holes is skipped, and the area under the left and right holes is skipped. Move the viewpoint position to. Specifically, when the viewpoint position is below the center hole, when the head-mounted display 100 is moved to the right and the head-mounted display 100 reaches the position 520, the viewpoint position is moved to the right end of the center hole. Jump from the position to the leftmost position of the hole on the right side. Also, when the viewpoint position is below the hole on the right side and the head-mounted display 100 is moved to the left, when the head-mounted display 100 reaches the position 522, the viewpoint position is moved from the position at the left end of the hole on the right side to the center. Move to the rightmost position of the hole. As a result, the viewpoint position is not moved to an area where there is no need to move the viewpoint position or is small in the game, and the viewpoint position can be moved only to a predetermined area where it is necessary or large to move the viewpoint position. , The viewpoint position can be moved by effectively utilizing the movable range of the head-mounted display 100. Further, since it is possible to provide a user interface capable of easily moving the viewpoint position by moving the head-mounted display 100 without using the input device 20 or the like, it is possible to improve the convenience of the user. .. Further, since the hysteresis is provided by differentiating the position 520 for jumping the viewpoint position when moving to the right and the position 522 for jumping the viewpoint position when moving to the left, the angle of the head-mounted display 100 is near the threshold value. It is possible to reduce the situation where the viewpoint position frequently jumps to the left or right when the angle corresponds to the position.

左右の穴の上に視点位置を移動させようとすると、ヘッドマウントディスプレイ１００を左右に傾けた状態でヘッドマウントディスプレイ１００を上方に移動させる必要があるが、ユーザが体を左右に傾けた状態で頭を真上に移動させるのは容易ではない。したがって、本実施の形態では、ヘッドマウントディスプレイ１００が左右に傾いた状態で上下に移動された場合に、移動方向が斜めに傾いていたとしても、ゲーム制御部３１１は、視点位置を鉛直方向に移動させ、水平方向には移動させない。ゲーム制御部３１１は、ヘッドマウントディスプレイ１００の移動ベクトルの鉛直方向の成分に対応する移動量で視点位置を鉛直方向に移動させ、水平方向の成分を無視してもよいし、ヘッドマウントディスプレイ１００の移動ベクトルの大きさに対応する移動量で視点位置を鉛直方向に移動させてもよい。このように、ヘッドマウントディスプレイ１００の移動に応じて視点位置を変更する場合に、ヘッドマウントディスプレイ１００の移動ベクトルを所定の方向のベクトルに変換することにより、視点位置の移動方向を所定の方向に限定し、不要な方向へ視点位置が移動してしまうのを防ぐことができる。また、必要な方向にのみ視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。 When trying to move the viewpoint position over the left and right holes, it is necessary to move the head-mounted display 100 upward with the head-mounted display 100 tilted left and right, but with the user tilting the body left and right. It is not easy to move the head straight up. Therefore, in the present embodiment, when the head-mounted display 100 is moved up and down in a state of being tilted to the left and right, the game control unit 311 sets the viewpoint position in the vertical direction even if the moving direction is tilted. Move it, not horizontally. The game control unit 311 may move the viewpoint position in the vertical direction by the amount of movement corresponding to the vertical component of the movement vector of the head-mounted display 100, and may ignore the horizontal component, or the head-mounted display 100 may have the head-mounted display 100. The viewpoint position may be moved in the vertical direction by a movement amount corresponding to the magnitude of the movement vector. In this way, when the viewpoint position is changed according to the movement of the head-mounted display 100, the movement vector of the head-mounted display 100 is converted into a vector in a predetermined direction, so that the movement direction of the viewpoint position is changed to a predetermined direction. By limiting it, it is possible to prevent the viewpoint position from moving in an unnecessary direction. Further, since it is possible to provide a user interface capable of moving the viewpoint position only in a necessary direction, it is possible to improve the convenience of the user.

このような技術は、例えば、プレイヤーズキャラクタが壁などの障害物に隠れ、飛んでくる弾丸などをよけるようなゲームなどにも適用可能である。 Such a technique can be applied to, for example, a game in which a player's character hides in an obstacle such as a wall and avoids flying bullets.

以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on examples. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are also within the scope of the present invention.

上記の例では、ヘッドマウントディスプレイ１００の表示装置１９０に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。 In the above example, the image for binocular stereoscopic vision is displayed on the display device 190 of the head-mounted display 100, but in another example, the image for monocular stereoscopic vision may be displayed.

上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。 In the above example, the head-mounted display 100 is used in the game system, but the technique described in the embodiment can also be used when displaying contents other than the game.

１０ ゲーム装置、２０ 入力装置、１００ ヘッドマウントディスプレイ、１９０ 表示装置、３１１ ゲーム制御部、３１２ 指示入力取得部、３１４ ＨＭＤ情報取得部、３１５ 入力装置情報取得部、３１６ 第１画像生成部、３１７ 第２画像生成部。 10 game device, 20 input device, 100 head-mounted display, 190 display device, 311 game control unit, 312 instruction input acquisition unit, 314 HMD information acquisition unit, 315 input device information acquisition unit, 316 first image generation unit, 317th 2 Image generator.

Claims (7)

視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備え、
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御装置。 It is equipped with a display control unit that sets the viewpoint position and line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a display control device that displays an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display. 前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ視点位置の画像を表示させることを特徴とする請求項１に記載の表示制御装置。 The display control device according to claim 1, wherein the display control unit displays an image at the same viewpoint position on a display device other than the head-mounted display and the head-mounted display. 前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に異なる視点位置の画像を表示させることを特徴とする請求項１に記載の表示制御装置。 The display control device according to claim 1, wherein the display control unit displays images at different viewpoint positions on a display device other than the head-mounted display and the head-mounted display. 複数の前記視点位置は、前記仮想空間内に離散的に設定されていることを特徴とする請求項１から３のいずれかに記載の表示制御装置。 The display control device according to any one of claims 1 to 3, wherein the plurality of viewpoint positions are set discretely in the virtual space. 複数の前記視点位置は、前記仮想空間内に静的に設定されていることを特徴とする請求項１から４のいずれかに記載の表示制御装置。 The display control device according to any one of claims 1 to 4, wherein the plurality of viewpoint positions are statically set in the virtual space. 表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備え、
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御方法。 The display control unit includes a step of setting the viewpoint position and the line-of-sight direction, generating an image of the virtual space, and displaying it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a display control method comprising displaying an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display. コンピュータを、
視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部として機能させ、
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。 Computer,
It functions as a display control unit that sets the viewpoint position and line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a computer-readable recording medium on which a display control program recording a display control program, which comprises displaying an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display.
JP2021088448A 2020-03-26 2021-05-26 Display control device and display control method Active JP7462591B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021088448A JP7462591B2 (en) 2020-03-26 2021-05-26 Display control device and display control method
JP2022183135A JP2023027077A (en) 2020-03-26 2022-11-16 Display control device and display control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020055471A JP6891319B2 (en) 2019-05-21 2020-03-26 Display control device and display control method
JP2021088448A JP7462591B2 (en) 2020-03-26 2021-05-26 Display control device and display control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020055471A Division JP6891319B2 (en) 2019-05-21 2020-03-26 Display control device and display control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022183135A Division JP2023027077A (en) 2020-03-26 2022-11-16 Display control device and display control method

Publications (2)

Publication Number Publication Date
JP2021152665A true JP2021152665A (en) 2021-09-30
JP7462591B2 JP7462591B2 (en) 2024-04-05

Family

ID=77886545

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021088448A Active JP7462591B2 (en) 2020-03-26 2021-05-26 Display control device and display control method
JP2022183135A Pending JP2023027077A (en) 2020-03-26 2022-11-16 Display control device and display control method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022183135A Pending JP2023027077A (en) 2020-03-26 2022-11-16 Display control device and display control method

Country Status (1)

Country Link
JP (2) JP7462591B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170132A (en) * 2000-12-04 2002-06-14 Mixed Reality Systems Laboratory Inc Information presenting device and method and storage medium
JP2005174021A (en) * 2003-12-11 2005-06-30 Canon Inc Method and device for presenting information
JP2007299326A (en) * 2006-05-02 2007-11-15 Canon Inc Information processor, its control method, image processor, program and storage medium
JP2007312930A (en) * 2006-05-24 2007-12-06 Sony Computer Entertainment Inc Game apparatus and game control method
JP2015187797A (en) * 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002263371A (en) 2001-03-07 2002-09-17 Enix Corp Network game system, recording medium, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002170132A (en) * 2000-12-04 2002-06-14 Mixed Reality Systems Laboratory Inc Information presenting device and method and storage medium
JP2005174021A (en) * 2003-12-11 2005-06-30 Canon Inc Method and device for presenting information
JP2007299326A (en) * 2006-05-02 2007-11-15 Canon Inc Information processor, its control method, image processor, program and storage medium
JP2007312930A (en) * 2006-05-24 2007-12-06 Sony Computer Entertainment Inc Game apparatus and game control method
JP2015187797A (en) * 2014-03-27 2015-10-29 シャープ株式会社 Image data generation device and image data reproduction device

Also Published As

Publication number Publication date
JP2023027077A (en) 2023-03-01
JP7462591B2 (en) 2024-04-05

Similar Documents

Publication Publication Date Title
JP6532393B2 (en) Display control apparatus and display control method
US10365784B2 (en) Information processing method and apparatus for executing the information processing method
WO2017094608A1 (en) Display control device and display control method
JP6518578B2 (en) Display control apparatus and display control method
US20160252729A1 (en) Display control apparatus, display control method, and recording medium
JP2016158795A (en) Display control program, display control apparatus, and display control method
US10515481B2 (en) Method for assisting movement in virtual space and system executing the method
US11567330B2 (en) Display control apparatus, display control method, and display control program
US10319346B2 (en) Method for communicating via virtual space and system for executing the method
JP6891319B2 (en) Display control device and display control method
JP7462591B2 (en) Display control device and display control method
JP6683862B2 (en) Display control device and display control method
JP6705929B2 (en) Display control device and display control method
JP6711891B2 (en) Display control program, display control device, and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220606

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221028

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221109

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221115

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20221223

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20221227

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462591

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150