JP2021152665A - Display control device and display control method - Google Patents
Display control device and display control method Download PDFInfo
- Publication number
- JP2021152665A JP2021152665A JP2021088448A JP2021088448A JP2021152665A JP 2021152665 A JP2021152665 A JP 2021152665A JP 2021088448 A JP2021088448 A JP 2021088448A JP 2021088448 A JP2021088448 A JP 2021088448A JP 2021152665 A JP2021152665 A JP 2021152665A
- Authority
- JP
- Japan
- Prior art keywords
- head
- display
- image
- mounted display
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 19
- 230000006870 function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 12
- 210000003128 head Anatomy 0.000 description 12
- 238000009795 derivation Methods 0.000 description 8
- 239000003550 marker Substances 0.000 description 7
- 239000000306 component Substances 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000012503 blood component Substances 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003727 cerebral blood flow Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。 The present invention relates to a display control technique, and more particularly to a display control device and a display control method for controlling a display on a head-mounted display.
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。 A head-mounted display connected to a game machine is attached to the head, and the game is played by operating a controller or the like while looking at the screen displayed on the head-mounted display. With a normal stationary display connected to a game console, the user's field of view extends beyond the display screen, making it difficult to concentrate on the display screen or lacking a sense of immersion in the game. There is. On the other hand, when the head-mounted display is attached, the user does not see anything other than the image displayed on the head-mounted display, which increases the immersive feeling in the image world and has the effect of further enhancing the entertainment of the game.
本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。 The present inventor has recognized that a more convenient display control technology is required in order to enable a larger number of users to enjoy games using a head-mounted display.
上記課題を解決するために、本発明のある態様の表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部を備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。 In order to solve the above problems, the display control device of a certain aspect of the present invention includes a display control unit that sets a viewpoint position and a line-of-sight direction to generate an image of a virtual space and displays it on a head-mounted display. The display control unit can change the viewpoint position from a plurality of positions set in the virtual space to a position determined according to the user's operation, and the display control unit is other than the head-mounted display and the head-mounted display. Display an image based on the same virtual three-dimensional space on the display device.
本発明の別の態様は、表示制御方法である。この方法は、表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップを備える。表示制御部は、仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に視点位置を変更可能とし、表示制御部は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる。 Another aspect of the present invention is a display control method. This method includes a step in which the display control unit sets the viewpoint position and the line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display. The display control unit can change the viewpoint position from a plurality of positions set in the virtual space to a position determined according to the user's operation, and the display control unit is other than the head-mounted display and the head-mounted display. Display an image based on the same virtual three-dimensional space on the display device.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present invention between methods, devices, systems, programs and the like are also effective as aspects of the present invention.
本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。 According to the present invention, the convenience of the user of the head-mounted display can be improved.
本実施の形態では、ヘッドマウントディスプレイ(HMD)を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。 In this embodiment, a display technique using a head-mounted display (HMD) will be described. The head-mounted display is a display device that is worn on the user's head so as to cover both eyes of the user and for viewing a still image, a moving image, or the like displayed on a display screen provided in front of the user's eyes. The target displayed on the head-mounted display may be content such as a movie or a TV program, but in the present embodiment, an example in which the head-mounted display is used as a display device for displaying an image of a game will be described. do.
図1は、実施の形態に係るゲームシステム1の使用環境を示す。ゲームシステム1は、ゲームプログラムを実行するゲーム装置10と、ユーザの指示をゲーム装置10に入力するための入力装置20と、ユーザの周囲の実空間を撮像する撮像装置14と、ゲーム装置10により生成される第1ゲーム画像を表示するヘッドマウントディスプレイ100と、ゲーム装置10により生成される第2ゲーム画像を表示する表示装置12とを備える。
FIG. 1 shows a usage environment of the
ゲーム装置10は、入力装置20又はヘッドマウントディスプレイ100により入力される指示入力や、入力装置20又はヘッドマウントディスプレイ100の位置又は姿勢などに基づいてゲームプログラムを実行し、第1ゲーム画像を生成してヘッドマウントディスプレイ100に伝送し、第2ゲーム画像を生成して表示装置12に伝送する。
The
ヘッドマウントディスプレイ100は、ゲーム装置10において生成された第1ゲーム画像を表示する。また、ヘッドマウントディスプレイ100に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置10へ伝送する。ヘッドマウントディスプレイ100は、ゲーム装置10に有線ケーブルで接続されてもよく、また無線LANなどにより無線接続されてもよい。
The head-mounted
表示装置12は、ゲーム装置10において生成された第2ゲーム画像を表示する。表示装置12は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
The
入力装置20は、ユーザによる指示入力をゲーム装置10に伝送する機能をもち、本実施の形態ではゲーム装置10との間で無線通信可能な無線コントローラとして構成される。入力装置20とゲーム装置10は、Bluetooth(登録商標)プロトコルを用いて無線接続を確立してもよい。なお入力装置20は、無線コントローラに限らず、ゲーム装置10とケーブルを介して接続される有線コントローラであってもよい。
The
入力装置20はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置20のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置10に送信される。
The
撮像装置14は、CCD撮像素子またはCMOS撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置14は、USB(Universal Serial Bus)あるいはその他のインタフェースを介してゲーム装置10と接続する。撮像装置14により撮像された画像は、ゲーム装置10において、入力装置20及びヘッドマウントディスプレイ100の位置及び姿勢を導出するために用いられる。撮像装置14は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置14により、撮像装置14と入力装置20又はヘッドマウントディスプレイ100などとの間の距離を取得することができる。
The
本実施例のゲームシステム1において、入力装置20及びヘッドマウントディスプレイ100は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置10から指示された色で発光し、撮像装置14により撮像される。撮像装置14は入力装置20を撮像し、フレーム画像を生成してゲーム装置10に供給する。ゲーム装置10はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置10は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。
In the
また、入力装置20及びヘッドマウントディスプレイ100は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置10に送信され、ゲーム装置10は、センサの検出値を取得して、実空間における入力装置20及びヘッドマウントディスプレイ100の姿勢情報を取得する。ゲーム装置10は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
Further, the
図2は、実施の形態に係るヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、頭部接触部112、及び発光部114を備える。
FIG. 2 is an external view of the head-mounted
本体部110には、ディスプレイ、位置情報を取得するためのGPSユニット、姿勢センサ、通信装置などが備えられる。頭部接触部112には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部114は、上述したように、ゲーム装置10から指示された色で発光し、撮像装置14により撮像される画像においてヘッドマウントディスプレイ100の位置を算出するための基準として機能する。
The
ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
The head-mounted
本実施の形態においては、ヘッドマウントディスプレイ100について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
In the present embodiment, the head-mounted
図3は、ヘッドマウントディスプレイ100の機能構成図である。ヘッドマウントディスプレイ100は、入力インタフェース122、出力インタフェース130、バックライト132、通信制御部140、ネットワークアダプタ142、アンテナ144、記憶部150、GPSユニット161、無線ユニット162、姿勢センサ164、外部入出力端子インタフェース170、外部メモリ172、時計部180、表示装置190、及び制御部160を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
FIG. 3 is a functional configuration diagram of the head-mounted
制御部160は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース122は、入力ボタンなどから操作信号や設定信号を受け付け、制御部160に供給する。出力インタフェース130は、制御部160から画像信号を受け取り、表示装置190に表示させる。バックライト132は、表示装置190を構成する液晶ディスプレイにバックライトを供給する。
The
通信制御部140は、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、制御部160から入力されるデータを外部に送信する。通信制御部140は、また、ネットワークアダプタ142またはアンテナ144を介して、有線または無線通信により、外部からデータを受信し、制御部160に出力する。
The
記憶部150は、制御部160が処理するデータやパラメータ、操作信号などを一時的に記憶する。
The
GPSユニット161は、制御部160からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部160に供給する。無線ユニット162は、制御部160からの操作信号にしたがって、無線基地局から位置情報を受信して制御部160に供給する。
The
姿勢センサ164は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ164は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
The
外部入出力端子インタフェース170は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ172は、フラッシュメモリなどの外部メモリである。
The external input /
時計部180は、制御部160からの設定信号によって時間情報を設定し、時間データを制御部160に供給する。
The
図4は、入力装置20の外観構成を示す。図4(a)は、入力装置20の上面構成を示し、図4(b)は、入力装置20の下面構成を示す。入力装置20は、発光体22およびハンドル24を有する。発光体22は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル24の上面には、操作ボタン30、32、34、36、38が設けられ、下面には操作ボタン40が設けられる。ユーザはハンドル24の端部を手で把持した状態で、操作ボタン30、32、34、36、38を親指で操作し、操作ボタン40を人差し指で操作する。操作ボタン30、32、34、36、38は、押下式に構成され、ユーザは押下することで操作する。操作ボタン40は、アナログ量を入力できるものであってよい。
FIG. 4 shows the external configuration of the
ユーザは表示装置12に表示されるゲーム画面を見ながらゲームを行う。撮像装置14は、ゲームアプリケーションの実行中に発光体22を撮像する必要があるため、その撮像範囲が表示装置12と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置12の正面でゲームをプレイすることが多いため、撮像装置14は、その光軸の方向が表示装置12の正面方向と一致するように配置される。具体的に、撮像装置14は、表示装置12の近傍において、表示装置12の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置14は、入力装置20を撮像できる。
The user plays a game while looking at the game screen displayed on the
図5は、入力装置20の内部構成を示す。入力装置20は、無線通信モジュール48、処理部50、発光部62および操作ボタン30、32、34、36、38、40を備える。無線通信モジュール48は、ゲーム装置10の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部50は、入力装置20における所期の処理を実行する。
FIG. 5 shows the internal configuration of the
処理部50は、メイン制御部52、入力受付部54、3軸加速度センサ56、3軸ジャイロセンサ58および発光制御部60を有する。メイン制御部52は、無線通信モジュール48との間で必要なデータの送受を行う。
The
入力受付部54は、操作ボタン30、32、34、36、38、40からの入力情報を受け付け、メイン制御部52に送る。3軸加速度センサ56は、XYZの3軸方向の加速度成分を検出する。3軸ジャイロセンサ58は、XZ平面、ZY平面、YX平面における角速度を検出する。なお、ここでは、入力装置20の幅方向をX軸、高さ方向をY軸、長手方向をZ軸と設定する。3軸加速度センサ56および3軸ジャイロセンサ58は、入力装置20のハンドル24内に配置され、ハンドル24内の中心近傍に配置されることが好ましい。無線通信モジュール48は、操作ボタンからの入力情報とともに、3軸加速度センサ56による検出値情報、および3軸ジャイロセンサ58による検出値情報を、所定の周期でゲーム装置10の無線通信モジュールに送信する。この送信周期は、たとえば11.25m秒に設定される。
The
発光制御部60は、発光部62の発光を制御する。発光部62は、赤色LED64a、緑色LED64b、青色LED64cを有し、複数色の発光を可能とする。発光制御部60は、赤色LED64a、緑色LED64b、青色LED64cの発光を調整して、発光部62を所望の色に発光させる。
The light emitting
無線通信モジュール48はゲーム装置10から発光指示を受け取ると、メイン制御部52に供給し、メイン制御部52は、発光制御部60に発光指示を供給する。発光制御部60は、発光部62が発光指示により指定された色で発光するように、赤色LED64a、緑色LED64b、青色LED64cの発光を制御する。たとえば発光制御部60は、各LEDをPWM(パルス幅変調)制御で点灯制御してもよい。
When the
図6は、ゲーム装置10の構成を示す。ゲーム装置10は、フレーム画像取得部80、画像処理部82、デバイス情報導出部84、無線通信モジュール86、入力受付部88、出力部90およびアプリケーション処理部300を備える。本実施例におけるゲーム装置10の処理機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置10に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置10は複数のCPUを有してもよい。
FIG. 6 shows the configuration of the
無線通信モジュール86は、入力装置20の無線通信モジュール48との間で無線通信を確立する。これにより入力装置20は、操作ボタンの状態情報、3軸加速度センサ56および3軸ジャイロセンサ58の検出値情報を、ゲーム装置10に所定の周期で送信できるようになる。
The
無線通信モジュール86は、入力装置20から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部88に供給する。入力受付部88は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部300に引き渡す。アプリケーション処理部300は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部300は、センサ検出値情報を、入力装置20の姿勢情報として取り扱う。
The
フレーム画像取得部80はUSBインタフェースとして構成され、撮像装置14から所定の撮像速度(たとえば30フレーム/秒)でフレーム画像を取得する。画像処理部82は、フレーム画像から発光体画像を抽出する。画像処理部82は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置20の発光体22が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部82は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部82は、フレーム画像データを所定の閾値を用いて2値化処理し、2値化された画像を生成してもよい。この2値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“1”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“0”に符号化される。この所定の閾値を超える輝度で発光体22を点灯させることで、画像処理部82は、2値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部82は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。
The frame
デバイス情報導出部84は、画像処理部82で特定された発光体画像の位置および大きさから、撮像装置14からみた入力装置20およびヘッドマウントディスプレイ100の位置情報を導出する。デバイス情報導出部84は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置14からの距離情報を導出する。この位置座標および距離情報は、入力装置20およびヘッドマウントディスプレイ100の位置情報を構成する。デバイス情報導出部84は、フレーム画像ごとに入力装置20およびヘッドマウントディスプレイ100の位置情報を導出し、アプリケーション処理部300に引き渡す。アプリケーション処理部300は、入力装置20およびヘッドマウントディスプレイ100の位置情報を、ゲームの操作指示として受け取る。
The device
アプリケーション処理部300は、入力装置20の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部90から表示装置12に送られ、表示画像として出力される。
The
図7は、ゲーム装置10の機能構成図である。ゲーム装置10のアプリケーション処理部300は、制御部310及びデータ保持部360を備える。制御部310は、ゲーム制御部311、指示入力取得部312、HMD情報取得部314、入力装置情報取得部315、第1画像生成部316、及び第2画像生成部317を備える。
FIG. 7 is a functional configuration diagram of the
データ保持部360は、ゲーム装置10において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
The
指示入力取得部312は、入力装置20又はヘッドマウントディスプレイ100が受け付けたユーザによる指示入力に関する情報を入力装置20又はヘッドマウントディスプレイ100から取得する。
The instruction
HMD情報取得部314は、ヘッドマウントディスプレイ100から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、HMD情報取得部314は、デバイス情報導出部84から、ヘッドマウントディスプレイ100の位置に関する情報を取得する。これらの情報は、ゲーム制御部311へ伝達される。ヘッドマウントディスプレイ100の姿勢に関する情報は、デバイス情報導出部84がヘッドマウントディスプレイ100の撮像画像を解析することにより取得されてもよい。
The HMD
入力装置情報取得部315は、入力装置20から、入力装置20の姿勢に関する情報を取得する。また、入力装置情報取得部315は、デバイス情報導出部84から、入力装置20の位置に関する情報を取得する。これらの情報は、ゲーム制御部311へ伝達される。入力装置20の姿勢に関する情報は、デバイス情報導出部84が入力装置20の撮像画像を解析することにより取得されてもよい。
The input device
入力装置20が撮像装置14の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置14により撮像されなかった場合、入力装置情報取得部315は、前回取得された入力装置20の位置と、その時点以降に取得された入力装置20の姿勢に関する情報に基づいて、入力装置20の位置を算出する。例えば、入力装置20の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置20の位置からのずれを算出することにより、現在の入力装置20の位置を算出してもよい。入力装置20が撮像装置14により撮像されない間は、同様にして入力装置20の位置を逐次算出する。入力装置20が撮像装置14により再度撮像された場合、加速度データにより逐次算出された入力装置20の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部84により新たに算出された入力装置20の位置を現在の入力装置20の位置としてもよい。ヘッドマウントディスプレイ100についても同様である。
When the
ゲーム制御部311は、ゲームプログラムを実行し、指示入力取得部312が取得したユーザによる指示入力や、入力装置20又はヘッドマウントディスプレイ100の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部311は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置20の方向キーやアナログスティックなどによる入力や、入力装置20又はヘッドマウントディスプレイ100の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。
The
第1画像生成部316は、ヘッドマウントディスプレイ100に表示すべき画像を生成する。第1画像生成部316は、ゲーム制御部311により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ100の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第1画像生成部316は、所定のタイミングでヘッドマウントディスプレイ100の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ100の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第1画像生成部316は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ100に表示すべき画像などを追加して、第1画像を生成する。第1画像生成部316により生成された第1画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ100に送信される。
The first
第2画像生成部317は、表示装置12に表示すべき画像を生成する。ヘッドマウントディスプレイ100に表示される画像と同じ画像を表示装置12に表示する場合は、第1画像生成部316により生成された第1画像が表示装置12にも送信される。ヘッドマウントディスプレイ100に表示される画像とは異なる画像を表示装置12に表示する場合、例えば、ヘッドマウントディスプレイ100を装着したユーザと、表示装置12を視聴しているユーザとが、対戦ゲームを実行する場合などは、第2画像生成部317は、第1画像生成部316とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第2画像生成部317は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置12に表示すべき画像などを追加して、第2画像を生成する。第2画像生成部317により生成された第2画像は、無線通信モジュール又は有線通信モジュールを介して表示装置12に送信される。
The second
図8は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部311は、ゲームフィールドに設定された複数の位置の間で視点位置を変更する機能を提供する。図8(a)に示す表示画面においては、ゲームフィールドに設定された複数の位置のうちの一つを視点位置として生成されたゲームフィールドの画像が表示される。表示画面には、ゲームフィールドに視点位置として設定された位置を示すマーカー500及び502が更に表示されている。ユーザが首を上下左右に振ってヘッドマウントディスプレイ100の姿勢を変更すると、第1画像生成部316は、ヘッドマウントディスプレイ100の姿勢に応じて視線方向を変更する。ヘッドマウントディスプレイ100の内側にユーザの眼球を撮影するためのカメラを設け、ユーザの視線方向を検出することを可能とする場合は、ユーザの視線を更に加味して視線方向を変更してもよい。ユーザの視線は、既知の任意の視線追跡技術を用いて検出してもよい。
FIG. 8 shows an example of an image displayed on the head-mounted display. The
ユーザが、マーカーの方向に顔又は視線を向けることにより、マーカーが表示画面の中央付近に設定された所定の範囲内に入ると、図8(b)に示すように、ゲーム制御部311は、第1画像生成部316にマーカー500の表示態様を変更させ、マーカー500により示される位置が視点位置の設定候補として選択されたことを示す。視点位置の設定候補が選択された状態で、ユーザが所定のボタンを入力したり、所定のジェスチャーを実行したりするなどして、視点位置を変更するよう指示すると、ゲーム制御部311は、選択されているマーカー500により示される位置に視点位置を変更するよう第1画像生成部316に指示する。第1画像生成部316は、図8(c)に示すように、マーカー500の位置を視点位置とするゲームフィールドの画像を生成して表示する。図8(c)に示す表示画面には、図8(a)に示す表示画面において視点位置に設定されていた位置を示すマーカー504が表示される。
When the user turns his face or line of sight in the direction of the marker and the marker enters a predetermined range set near the center of the display screen, the
図9は、視点位置及び視線方向の設定方法を説明するための模式図である。本実施の形態では、ゲームフィールドの中央付近を中心とする球面上に視点位置が設定され、視点位置からゲームフィールドの中央付近の第1の位置を見る方向にデフォルトの視線方向が設定される。これにより、視点位置がどこに設定されても、ゲームフィールドを見渡すことが可能な画像を表示することができる。第1画像生成部316は、視点位置を変更するとき、視点位置を球面に沿って滑らかに移動させ、視点位置の移動中も、視点位置からゲームフィールドの第1の位置を見る方向に視線方向を設定してゲームフィールドの画像を生成する。これにより、視点位置の変更する間も、ゲームフィールドを見渡すことが可能な画像を表示することができるので、視点位置が大きく移動されるような場合であっても、視点位置がどこに移動されるのかをユーザに分かりやすく示すことができる。なお、視点位置は、ゲームフィールドの任意の点を中心とする球面又は回転楕円体面に設けられてもよいし、それら以外の任意の曲面上に設けられてもよい。また、視点位置を変更するときに、変更前の視点位置から変更後の視点位置まで視点位置を直線状又は曲線状に連続的に変化させてもよい。図8に示した例では、下側の半球面は地中になるので、上側の半球面にのみ視点位置を設定可能であるが、宇宙空間などをゲームフィールドとする場合は、下側の半球面にも視点位置を設定可能としてもよい。
FIG. 9 is a schematic diagram for explaining a method of setting the viewpoint position and the line-of-sight direction. In the present embodiment, the viewpoint position is set on a spherical surface centered near the center of the game field, and the default line-of-sight direction is set in the direction of viewing the first position near the center of the game field from the viewpoint position. As a result, it is possible to display an image overlooking the game field regardless of where the viewpoint position is set. When changing the viewpoint position, the first
図10は、ヘッドマウントディスプレイに表示される画像の例を示す。図10(a)に示すように、ある視点位置から見たゲームフィールドの画像が表示されているときに、ユーザが頭を前方に移動させることにより、ヘッドマウントディスプレイ100を前方に移動させると、ゲーム制御部311は、第1画像生成部316に、視点位置をゲームフィールドの中央付近の第2の位置に移動させる。ゲーム制御部311は、ヘッドマウントディスプレイ100が所定の距離以上前方に移動されたときに視点位置を移動させてもよいし、ヘッドマウントディスプレイ100の移動速度が所定値以上であったときに視点位置を移動させてもよい。これにより、図10(b)に示すように、視点位置を観客席からゲームフィールドの中央付近に移動させることができるので、観客の視点でサッカーなどのゲームを見ていたユーザが、競技中のフィールド内に入り込むような体験を提供することができる。また、ヘッドマウントディスプレイ100を用いた分かりやすい視点移動方法を提供することができる。
FIG. 10 shows an example of an image displayed on the head-mounted display. As shown in FIG. 10A, when an image of the game field viewed from a certain viewpoint position is displayed, when the user moves the head forward to move the head-mounted
図11は、ゲーム制御部により提供される別のゲームの内容を説明するための模式図である。本図に示すゲームにおいて、ユーザは穴512の開いた箱510の中に隠れ、ハンマー514で叩かれないようにしながら穴512から顔を出して、プレート516に書かれた文字を読み取る。ゲーム制御部311は、ヘッドマウントディスプレイ100の位置に基づいて視点位置を変更させる。ゲーム制御部311は、所定のタイミングでハンマー514が叩く穴512を決定し、決定された穴512の上にハンマー514を振り下ろす。ユーザの視点位置が穴512よりも上に出ているときに、その穴512にハンマー514が振り下ろされると、ユーザがハンマー514で叩かれたものとする。ユーザが所定回数以上ハンマー514で叩かれると、ゲームオーバーとする。
FIG. 11 is a schematic diagram for explaining the content of another game provided by the game control unit. In the game shown in this figure, the user hides in a
図12は、ヘッドマウントディスプレイに表示される画像の例を示す。図12(a)は、ユーザが真ん中の穴から上を見上げたときのゲーム画面を示す。真ん中の穴にハンマーが振り下ろされようとしている。図12(b)は、ユーザがヘッドマウントディスプレイ100を右に移動させて、視点位置を右側の穴の下に移動させたときのゲーム画面を示す。ハンマーは真ん中の穴に振り下ろされようとしているので、しばらくの間は右側の穴にハンマーが振り下ろされることはない。このとき、ユーザがヘッドマウントディスプレイ100を上に移動させて、視点位置を右側の穴から上に移動させると、図12(c)に示すように、箱の外側に配置されたプレートに書かれた文字を視認することができる。
FIG. 12 shows an example of an image displayed on the head-mounted display. FIG. 12A shows a game screen when the user looks up from the hole in the middle. A hammer is about to be swung down into the hole in the middle. FIG. 12B shows a game screen when the user moves the head-mounted
図13は、実施の形態に係るゲームにおける視点位置の移動方法を説明するための模式図である。ユーザが椅子などに座った状態でゲームを行う場合、腰の位置は固定されているので、頭を円弧状に移動させることになるが、ゲームを行う際に支障なく移動可能な範囲はせいぜい100〜120°程度である。したがって、ヘッドマウントディスプレイ100の移動可能範囲を有効に利用するために、ゲーム制御部311は、ヘッドマウントディスプレイ100が水平方向に移動された場合に、垂直方向に移動された場合よりも大きく視点位置を移動させる。また、ヘッドマウントディスプレイ100が左右に移動された場合に、真ん中の穴の幅に対応する移動量を超えると、真ん中の穴と左右の穴との間の領域を飛ばして、左右の穴の下に視点位置を移動させる。具体的には、真ん中の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ100を右に移動させたとき、ヘッドマウントディスプレイ100が位置520に達すると、視点位置を真ん中の穴の右端の位置から右側の穴の左端の位置にジャンプさせる。また、右側の穴の下に視点位置がある場合に、ヘッドマウントディスプレイ100を左に移動させたとき、ヘッドマウントディスプレイ100が位置522に達すると、視点位置を右側の穴の左端の位置から真ん中の穴の右端の位置に移動させる。これにより、ゲームにおいて視点位置を移動させる必要性がない又は少ない領域には視点位置を移動させず、視点位置を移動させる必要性がある又は多い所定の領域にのみ視点位置を移動可能とするので、ヘッドマウントディスプレイ100の移動可能範囲を有効に利用して、視点位置を移動させることができる。また、入力装置20などを使用しなくてもヘッドマウントディスプレイ100の移動により容易に視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。また、右へ移動させる場合に視点位置をジャンプさせる位置520と、左へ移動させる場合に視点位置をジャンプさせる位置522とを異ならせてヒステリシスを設けるので、ヘッドマウントディスプレイ100の角度が閾値付近の位置に対応する角度になっているときに、視点位置が頻繁に左右にジャンプしてしまう事態を低減させることができる。
FIG. 13 is a schematic diagram for explaining a method of moving the viewpoint position in the game according to the embodiment. When the user plays a game while sitting on a chair or the like, the position of the waist is fixed, so the head is moved in an arc shape, but the range in which the user can move without hindrance when playing the game is at most 100. It is about ~ 120 °. Therefore, in order to effectively utilize the movable range of the head-mounted
左右の穴の上に視点位置を移動させようとすると、ヘッドマウントディスプレイ100を左右に傾けた状態でヘッドマウントディスプレイ100を上方に移動させる必要があるが、ユーザが体を左右に傾けた状態で頭を真上に移動させるのは容易ではない。したがって、本実施の形態では、ヘッドマウントディスプレイ100が左右に傾いた状態で上下に移動された場合に、移動方向が斜めに傾いていたとしても、ゲーム制御部311は、視点位置を鉛直方向に移動させ、水平方向には移動させない。ゲーム制御部311は、ヘッドマウントディスプレイ100の移動ベクトルの鉛直方向の成分に対応する移動量で視点位置を鉛直方向に移動させ、水平方向の成分を無視してもよいし、ヘッドマウントディスプレイ100の移動ベクトルの大きさに対応する移動量で視点位置を鉛直方向に移動させてもよい。このように、ヘッドマウントディスプレイ100の移動に応じて視点位置を変更する場合に、ヘッドマウントディスプレイ100の移動ベクトルを所定の方向のベクトルに変換することにより、視点位置の移動方向を所定の方向に限定し、不要な方向へ視点位置が移動してしまうのを防ぐことができる。また、必要な方向にのみ視点位置を移動させることが可能なユーザインタフェースを提供することができるので、ユーザの利便性を向上させることができる。
When trying to move the viewpoint position over the left and right holes, it is necessary to move the head-mounted
このような技術は、例えば、プレイヤーズキャラクタが壁などの障害物に隠れ、飛んでくる弾丸などをよけるようなゲームなどにも適用可能である。 Such a technique can be applied to, for example, a game in which a player's character hides in an obstacle such as a wall and avoids flying bullets.
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on examples. This embodiment is an example, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and such modifications are also within the scope of the present invention.
上記の例では、ヘッドマウントディスプレイ100の表示装置190に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。
In the above example, the image for binocular stereoscopic vision is displayed on the
上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ100が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。
In the above example, the head-mounted
10 ゲーム装置、20 入力装置、100 ヘッドマウントディスプレイ、190 表示装置、311 ゲーム制御部、312 指示入力取得部、314 HMD情報取得部、315 入力装置情報取得部、316 第1画像生成部、317 第2画像生成部。 10 game device, 20 input device, 100 head-mounted display, 190 display device, 311 game control unit, 312 instruction input acquisition unit, 314 HMD information acquisition unit, 315 input device information acquisition unit, 316 first image generation unit, 317th 2 Image generator.
Claims (7)
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御装置。 It is equipped with a display control unit that sets the viewpoint position and line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a display control device that displays an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display.
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御方法。 The display control unit includes a step of setting the viewpoint position and the line-of-sight direction, generating an image of the virtual space, and displaying it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a display control method comprising displaying an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display.
視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部として機能させ、
前記表示制御部は、前記仮想空間内に設定された複数の位置の中からユーザの操作に応じて決定される位置に前記視点位置を変更可能とし、
前記表示制御部は、前記ヘッドマウントディスプレイ及び前記ヘッドマウントディスプレイ以外の表示装置に同じ仮想三次元空間に基づく画像を表示させる
ことを特徴とする表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。 Computer,
It functions as a display control unit that sets the viewpoint position and line-of-sight direction, generates an image of the virtual space, and displays it on the head-mounted display.
The display control unit can change the viewpoint position to a position determined according to a user's operation from a plurality of positions set in the virtual space.
The display control unit is a computer-readable recording medium on which a display control program recording a display control program, which comprises displaying an image based on the same virtual three-dimensional space on a display device other than the head-mounted display and the head-mounted display.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021088448A JP7462591B2 (en) | 2020-03-26 | 2021-05-26 | Display control device and display control method |
JP2022183135A JP2023027077A (en) | 2020-03-26 | 2022-11-16 | Display control device and display control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020055471A JP6891319B2 (en) | 2019-05-21 | 2020-03-26 | Display control device and display control method |
JP2021088448A JP7462591B2 (en) | 2020-03-26 | 2021-05-26 | Display control device and display control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020055471A Division JP6891319B2 (en) | 2019-05-21 | 2020-03-26 | Display control device and display control method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022183135A Division JP2023027077A (en) | 2020-03-26 | 2022-11-16 | Display control device and display control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021152665A true JP2021152665A (en) | 2021-09-30 |
JP7462591B2 JP7462591B2 (en) | 2024-04-05 |
Family
ID=77886545
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021088448A Active JP7462591B2 (en) | 2020-03-26 | 2021-05-26 | Display control device and display control method |
JP2022183135A Pending JP2023027077A (en) | 2020-03-26 | 2022-11-16 | Display control device and display control method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022183135A Pending JP2023027077A (en) | 2020-03-26 | 2022-11-16 | Display control device and display control method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7462591B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002170132A (en) * | 2000-12-04 | 2002-06-14 | Mixed Reality Systems Laboratory Inc | Information presenting device and method and storage medium |
JP2005174021A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Method and device for presenting information |
JP2007299326A (en) * | 2006-05-02 | 2007-11-15 | Canon Inc | Information processor, its control method, image processor, program and storage medium |
JP2007312930A (en) * | 2006-05-24 | 2007-12-06 | Sony Computer Entertainment Inc | Game apparatus and game control method |
JP2015187797A (en) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | Image data generation device and image data reproduction device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002263371A (en) | 2001-03-07 | 2002-09-17 | Enix Corp | Network game system, recording medium, and program |
-
2021
- 2021-05-26 JP JP2021088448A patent/JP7462591B2/en active Active
-
2022
- 2022-11-16 JP JP2022183135A patent/JP2023027077A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002170132A (en) * | 2000-12-04 | 2002-06-14 | Mixed Reality Systems Laboratory Inc | Information presenting device and method and storage medium |
JP2005174021A (en) * | 2003-12-11 | 2005-06-30 | Canon Inc | Method and device for presenting information |
JP2007299326A (en) * | 2006-05-02 | 2007-11-15 | Canon Inc | Information processor, its control method, image processor, program and storage medium |
JP2007312930A (en) * | 2006-05-24 | 2007-12-06 | Sony Computer Entertainment Inc | Game apparatus and game control method |
JP2015187797A (en) * | 2014-03-27 | 2015-10-29 | シャープ株式会社 | Image data generation device and image data reproduction device |
Also Published As
Publication number | Publication date |
---|---|
JP2023027077A (en) | 2023-03-01 |
JP7462591B2 (en) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6532393B2 (en) | Display control apparatus and display control method | |
US10365784B2 (en) | Information processing method and apparatus for executing the information processing method | |
WO2017094608A1 (en) | Display control device and display control method | |
JP6518578B2 (en) | Display control apparatus and display control method | |
US20160252729A1 (en) | Display control apparatus, display control method, and recording medium | |
JP2016158795A (en) | Display control program, display control apparatus, and display control method | |
US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
US11567330B2 (en) | Display control apparatus, display control method, and display control program | |
US10319346B2 (en) | Method for communicating via virtual space and system for executing the method | |
JP6891319B2 (en) | Display control device and display control method | |
JP7462591B2 (en) | Display control device and display control method | |
JP6683862B2 (en) | Display control device and display control method | |
JP6705929B2 (en) | Display control device and display control method | |
JP6711891B2 (en) | Display control program, display control device, and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220606 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221028 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221109 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221115 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20221223 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20221227 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |