JP2021114310A - Information processor and warning presentation method - Google Patents
Information processor and warning presentation method Download PDFInfo
- Publication number
- JP2021114310A JP2021114310A JP2021065802A JP2021065802A JP2021114310A JP 2021114310 A JP2021114310 A JP 2021114310A JP 2021065802 A JP2021065802 A JP 2021065802A JP 2021065802 A JP2021065802 A JP 2021065802A JP 2021114310 A JP2021114310 A JP 2021114310A
- Authority
- JP
- Japan
- Prior art keywords
- warning
- information processing
- image
- user
- play area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影画像に基づき情報処理を行う情報処理装置および、それが行う警告提示方法に関する。 The present invention relates to an information processing apparatus that performs information processing based on captured images and a warning presenting method that is performed by the information processing apparatus.
ゲーム機に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ）を頭部に装着して、表示された画面を見ながらゲームプレイすることが行われている（例えば特許文献１参照）。例えばユーザの頭部の位置や姿勢を取得し、顔の向きに応じて視野を変化させるように仮想世界の画像を表示すれば、あたかも仮想世界に入り込んだような状況を演出できる。ユーザの位置や姿勢は一般的に、ユーザを撮影した可視光や赤外線の画像の解析結果や、ＨＭＤに内蔵したモーションセンサの計測値などに基づいて取得される。 A head-mounted display (hereinafter referred to as “HMD”) connected to a game machine is attached to the head, and the game is played while looking at the displayed screen (see, for example, Patent Document 1). For example, if the position and posture of the user's head are acquired and the image of the virtual world is displayed so as to change the field of view according to the orientation of the face, it is possible to produce a situation as if the user has entered the virtual world. The position and posture of the user are generally acquired based on the analysis results of visible light or infrared images taken by the user, the measured values of the motion sensor built in the HMD, and the like.
撮影画像に基づき何らかの情報処理を行う技術は、ユーザなどの対象物がカメラの画角内にいることを前提としている。しかしながらＨＭＤを装着した状態では、ユーザは外界を見ることができないため、方向感覚を失ったり、ゲームに没頭するあまり実空間で思わぬ位置に移動していたりすることがあり得る。これによりカメラの画角から外れると、情報処理が破綻したり精度が悪化したりするうえ、ユーザ自身がその原因に気づかないことも考えられる。カメラとの位置関係など現実世界の事情をユーザに意識させるほど情報処理の精度を保てるが、同時にＨＭＤを利用し構築される仮想空間の世界観を阻害しやすくなる、というジレンマが生じる。 Technology that performs some kind of information processing based on captured images is based on the premise that an object such as a user is within the angle of view of the camera. However, when the HMD is worn, the user cannot see the outside world, so that he / she may lose his / her sense of direction or move to an unexpected position in the real space so much that he / she is absorbed in the game. If the angle of view of the camera deviates from this, the information processing may be disrupted or the accuracy may be deteriorated, and the user may not be aware of the cause. The accuracy of information processing can be maintained so that the user is aware of the situation in the real world such as the positional relationship with the camera, but at the same time, a dilemma arises in which the world view of the virtual space constructed by using the HMD is easily obstructed.
本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤで実現される娯楽性と情報処理の精度のバランスを最適化できる技術を提供することにある。 The present invention has been made in view of these problems, and an object of the present invention is to provide a technique capable of optimizing the balance between entertainment and information processing accuracy realized by an HMD.
本発明のある態様は情報処理装置に関する。この情報処理装置は、実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行う情報処理部と、情報処理の結果として表示すべき画像のデータを生成する画像生成部と、あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、画像生成部に警告画像を重畳させる警告状況判定部と、画像生成部が生成した画像のデータを表示装置に出力する出力部と、を備え、出力部は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、ユーザから前記確認をした旨の入力がなされたあと、警告状況判定部は、前記警告の必要性の判定処理を開始することを特徴とする。 One aspect of the present invention relates to an information processing device. This information processing device has an information processing unit that detects the position of an object in real space and performs information processing based on the object, and an image generation unit that generates image data to be displayed as a result of the information processing. A warning status determination unit that determines the necessity of warning to the user based on a preset play area and superimposes a warning image on the image generation unit, and an image data generated by the image generation unit are output to the display device. The output unit includes an output unit, and the output unit outputs a confirmation screen prompting the user to confirm whether or not there is an obstacle to the display device, and after the user inputs that the confirmation has been made, the warning status determination unit Is characterized in that the determination process of the necessity of the warning is started.
本発明の別の態様も情報処理装置に関する。この情報処理装置は、実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行う情報処理部と、情報処理の結果として表示すべき画像のデータを生成する画像生成部と、あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、画像生成部に警告画像を重畳させる警告状況判定部と、画像生成部が生成した画像のデータを表示装置に出力する出力部と、を備え、出力部は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、ユーザから確認をした旨の入力がなされたあと、情報処理部は、位置の検出処理を開始することを特徴とする。 Another aspect of the present invention also relates to an information processing device. This information processing device has an information processing unit that detects the position of an object in real space and performs information processing based on the object, and an image generation unit that generates image data to be displayed as a result of information processing. A warning status determination unit that determines the necessity of warning to the user based on a preset play area and superimposes a warning image on the image generation unit, and an image data generated by the image generation unit are output to the display device. The information processing unit is provided with an output unit, and the output unit outputs a confirmation screen prompting the user to confirm whether or not there is an obstacle to the display device. It is characterized in that the position detection process is started.
本発明のさらに別の態様は警告提示方法に関する。この警告提示方法は情報処理装置が、実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行うステップと、情報処理の結果として表示すべき画像のデータを生成するステップと、あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定するステップと、判定に応じて表示すべき画像に警告画像を重畳するステップと、生成された画像のデータを表示装置に出力するステップと、を含み、出力するステップは、障害物がないかの確認をユーザに促す確認画面を表示装置に出力し、判定するステップは、ユーザから確認をした旨の入力がなされたあと、警告の必要性の判定処理を開始することを特徴とする。 Yet another aspect of the present invention relates to a warning presentation method. This warning presentation method includes a step in which an information processing device detects the position of an object in real space and performs information processing based on the object, and a step of generating image data to be displayed as a result of the information processing. A step of determining the necessity of warning to the user based on a preset play area, a step of superimposing a warning image on an image to be displayed according to the determination, and outputting the generated image data to a display device. The step of including and the step of outputting outputs a confirmation screen to the display device prompting the user to confirm whether there is an obstacle, and the step of determining is after the user inputs that the confirmation has been made. It is characterized in that the determination process of the necessity of a warning is started.
本発明のさらに別の態様も警告提示方法に関する。この警告提示方法は情報処理装置が、実空間における対象物の位置を検出し、当該対象物に基づき情報処理を行うステップと、情報処理の結果として表示すべき画像のデータを生成するステップと、あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定するステップと、判定に応じて表示すべき画像に警告画像を重畳するステップと、生成された画像のデータを表示装置に出力するステップと、を含み、出力するステップは、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、情報処理を行うステップは、ユーザから確認をした旨の入力がなされたあと、位置の検出処理を開始することを特徴とする。 Yet another aspect of the present invention also relates to a warning presentation method. This warning presentation method includes a step in which an information processing device detects the position of an object in real space and performs information processing based on the object, and a step of generating image data to be displayed as a result of the information processing. A step of determining the necessity of warning to the user based on a preset play area, a step of superimposing a warning image on an image to be displayed according to the determination, and outputting the generated image data to the display device. In the step of including and outputting, a confirmation screen prompting the user to confirm whether or not there is an obstacle is output to the display device, and in the step of performing information processing, the user inputs that the confirmation has been performed. After that, the position detection process is started.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components and the conversion of the expression of the present invention between a method, a device, a system, a computer program, a recording medium on which a computer program is recorded, and the like are also effective as aspects of the present invention. ..
本発明によると、ＨＭＤを装着したユーザが、現実世界での拘束条件をできるだけ意識することなく表現世界を楽しむことができる。 According to the present invention, the user wearing the HMD can enjoy the expression world without being conscious of the constraint conditions in the real world as much as possible.
図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびＨＭＤ１８、ユーザが操作する入力装置１４を含む。
FIG. 1 shows a configuration example of an information processing system to which this embodiment can be applied. The
情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、有線ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、平板型ディスプレイ１６はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち２つ以上の装置を一体的に備えた装置としてもよい。例えば情報処理装置１０、入力装置１４、平板型ディスプレイ１６を、それらを備えた携帯端末などで実現してもよい。
The
撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。
The
あるいは単眼のカメラと、赤外線などの参照光を対象物に照射しその反射光を測定する装置との組み合わせで撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、対象物の位置を３次元の実空間に対し求めることができ、情報処理装置１０による情報処理や表示装置による画像表示をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。
Alternatively, the
以後では主に、撮像装置１２がステレオ画像を撮影する態様について説明するが、上記のとおり本実施の形態をそれに限る主旨ではなく、撮像装置１２には少なくとも一つのカメラが含まれていればよい。情報処理装置１０は、撮像装置１２から送信されたデータを用いて必要な情報処理を行い、画像や音声などの出力データを生成する。ここで情報処理装置１０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜決定してよい。
Hereinafter, a mode in which the
情報処理装置１０は例えば、撮影画像に対し一般的な顔検出や追跡処理を施すことにより、対象物であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。このとき入力装置１４に設けたマーカーを利用して入力装置１４の動きを取得してもよい。またＨＭＤ１８の外面に設けた複数のマーカーを追跡することにより、ＨＭＤ１８を装着したユーザの頭部の位置や姿勢を特定し、それに対応して動く視点から見た仮想世界をＨＭＤ１８に表示させてもよい。情報処理装置１０が生成した出力データは、少なくともＨＭＤ１８に送信される。
For example, the
ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させてもよい。ただし本実施の形態をこれに限る主旨ではなく、表示画面全体に１つの画像を表示させてもよい。ＨＭＤ１８はさらに、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホンを内蔵していてもよい。
The
平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、例えば液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。
The flat-
入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４自体の動きをユーザ操作とすることができる。なお入力装置１４を、発光マーカーとそれを把持する機構のみで構成してもよい。
The
図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。
FIG. 2 shows an example of the external shape of the
出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。そして筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、などを設ける。発光マーカーの数や配置は特に限定されないが、本実施の形態では出力機構部１０２の筐体前面の４隅に設ける。
The
さらに、装着バンド１０６後方の両側面にも発光マーカー１１０ｅ、１１０ｆを設ける。このように発光マーカーを配置することにより、撮像装置１２に対しユーザが横を向いたり後ろを向いたりしても、撮影画像における発光マーカーの像の数や位置に基づきそれらの状況を特定できる。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側、発光マーカー１１０ｅ、１１０ｆは装着バンド１０６の外側にあり、図２の視点からは本来は見えないため、外周を点線で表している。
Further, light emitting
図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、平板型ディスプレイ１６やＨＭＤ１８へデータを出力する出力部３６、撮像装置１２、入力装置１４、およびＨＭＤ１８からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。
FIG. 3 shows the internal circuit configuration of the
ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。
The
図４はＨＭＤ１８の内部回路構成を示している。ＨＭＤ１８は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６を含む。これらの各部はバス５８を介して相互に接続されている。バス５８にはさらに入出力インターフェース６０が接続されている。入出力インターフェース６０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部６２、加速度センサ６４、発光部６６が接続される。
FIG. 4 shows the internal circuit configuration of the
ＣＰＵ５０は、バス５８を介してＨＭＤ１８の各部から取得した情報を処理し、出力データを表示部５４や音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、ＨＭＤ１８では情報処理装置１０から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ５０やメインメモリ５２は、より簡易なデバイスで置き換えることができる。
The
表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ＨＭＤ１８を装着したユーザの眼前に画像を表示する。上述したように左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部５４はさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。
The
音声出力部５６は、ＨＭＤ１８の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。出力される音声のチャンネル数は特に限定されず、モノラル、ステレオ、サラウンドのいずれでもよい。通信部６２は、情報処理装置１０や平板型ディスプレイ１６との間でデータを送受するためのインターフェースであり、例えばBluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。
The
加速度センサ６４は、所定軸方向の重力加速度を計測することによりＨＭＤ１８の傾きを検出する。ＨＭＤ１８にはさらに、ジャイロセンサなどその他の各種センサを設けてよい。センサによる測定値は通信部６２を介して情報処理装置１０に送信される。発光部６６は、所定の色で発光する素子またはその集合であり、図２で示したようにＨＭＤ１８の外面の複数箇所に設ける。これをマーカーとして追跡することによりＨＭＤ１８の位置を取得するほか、撮影画像におけるその像の数や位置関係からＨＭＤ１８の姿勢を取得する。
The
情報処理装置１０は、加速度センサ６４および発光部６６といった複数の手段により得られた情報を統合することにより、より高い精度でユーザの頭の位置や姿勢を取得することができる。一方、本実施の形態では、場合によっては加速度センサ６４を省略することもできる。
The
図５は情報処理装置１０の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図３に示したＣＰＵ、ＧＰＵ、各種メモリ、データバスなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
FIG. 5 shows the configuration of the functional block of the
情報処理装置１０は、入力装置１４およびＨＭＤ１８からの入力情報を取得する入力情報取得部７２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部７４、ゲームなどコンテンツに応じた情報処理を行う情報処理部７６、出力すべきデータを生成する出力データ生成部７８、情報処理や画像の生成に必要なデータを格納したコンテンツデータ記憶部８４を含む。情報処理装置１０はさらに、撮影画像に基づきユーザの位置情報を取得する位置情報取得部８０、ユーザの位置に基づき警告が必要な状況を判定する警告状況判定部８２、判定に必要な実空間上の領域に係る設定情報を格納したエリア設定情報記憶部８５、および、出力すべきデータをＨＭＤ１８に送信する出力データ送信部８６を含む。
The
入力情報取得部７２は、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションやコンテンツの選択、処理の開始／終了、コマンド入力など、一般的な情報処理装置でなされるものでよい。入力情報取得部７２は入力装置１４から取得した情報を、その内容に応じて撮影画像取得部７４または情報処理部７６に供給する。入力情報取得部７２はさらに、ＨＭＤ１８の加速度センサ６４から計測値を受信し、情報処理部７６に供給する。
The input
撮影画像取得部７４は、ステレオ画像など、撮像装置１２が動画撮影して得られる撮影画像のデータを所定のレートで取得する。撮影画像取得部７４はさらに、入力情報取得部７２が取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７６における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。
The captured
位置情報取得部８０は、撮影画像から所定の対象物の像を検出することにより、ユーザの位置情報を所定のレートで取得する。例えばＨＭＤ１８や入力装置１４に設けた発光マーカーの像に基づきユーザの頭部や手の実空間での位置を取得する。あるいはユーザの体の一部を、輪郭線を利用して追跡したり、顔や特定の模様を有する対象物をパターンマッチングにより認識したりする画像解析技術を組み合わせてもよい。また撮像装置１２の構成によっては上述のとおり、赤外線の反射を計測することによりユーザの距離を特定してもよい。
The position
情報処理部７６は、ユーザが指定したゲームなどの電子コンテンツを処理する。この処理には、位置情報取得部８０が取得した、ユーザの位置情報の利用が含まれる。情報処理部７６は必要に応じて、ＨＭＤ１８の加速度センサによる計測結果などを統合することにより、ユーザの姿勢を特定してもよい。なお上述のように、入力装置１４を介したユーザ操作やユーザの動きに応じて、情報処理部７６が行う後段の情報処理の内容は特に限定されない。
The
出力データ生成部７８は、情報処理部７６からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えばユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を左右の視差画像として生成する。この視差画像をＨＭＤ１８において左右の目の前に表示させたり、仮想世界での音声を出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。情報処理部７６における情報処理や出力データ生成部７８におけるデータ生成処理に必要なプログラムや画像・音声のデータはコンテンツデータ記憶部８４に格納しておく。
The output
警告状況判定部８２は、位置情報取得部８０が取得したユーザの位置情報に基づき、警告を与える状況の発生を常時監視し、その発生を判定する。具体的には、実世界の３次元空間に直接的あるいは間接的に設定したプレイエリアに対する内外判定を実施し、ユーザがプレイエリアから出たときに警告が必要であると判定する。本実施の形態では、撮影画像を利用して位置情報を取得するため、ユーザがカメラの画角内にいることを前提として情報処理が進捗する。
The warning
ところが図２に示したようなＨＭＤを装着したユーザには、周囲の状況、ひいては自分が画角内にいるかどうかが認識しづらい。正常な情報処理を継続するためには、そのような実世界に係る情報を何らかの手段により与える必要があるが、コンテンツが表現する世界観を損なうことになりかねない。そのための方策として、画角から出そうなときのみユーザに警告を与えることが考えられる。しかしながらこのタイミングが早すぎれば、少しの移動で頻繁に警告が与えられ、実質的に可動範囲を狭めてしまうことになる。一方で、タイミングが遅いと画角から外れることを免れず、位置情報が得られない期間が発生し得る。 However, it is difficult for the user wearing the HMD as shown in FIG. 2 to recognize the surrounding situation and, by extension, whether or not he / she is within the angle of view. In order to continue normal information processing, it is necessary to provide such information related to the real world by some means, but it may impair the world view expressed by the content. As a measure for that, it is conceivable to give a warning to the user only when the angle of view is likely to come out. However, if this timing is too early, a warning will be given frequently with a small movement, and the movable range will be substantially narrowed. On the other hand, if the timing is late, the angle of view is inevitably deviated, and there may be a period during which position information cannot be obtained.
そこで本実施の形態では上述のとおり、警告を発生させるタイミングを実世界でプレイエリアとして設定した領域に対する内外判定により判断し、さらにプレイエリアと画角との関係を調整することにより、可動範囲と処理精度のバランスを状況に応じて最適化する。プレイエリアの設定情報はあらかじめ、エリア設定情報記憶部８５に格納しておく。具体的な設定内容については後に述べる。警告状況判定部８２は、警告が必要と判定したとき、その旨を出力データ生成部７８に通知する。
Therefore, in the present embodiment, as described above, the timing of generating the warning is determined by determining the inside and outside of the area set as the play area in the real world, and further, the relationship between the play area and the angle of view is adjusted to obtain the movable range. Optimize the balance of processing accuracy according to the situation. The play area setting information is stored in the area setting
このとき出力データ生成部７８は、警告を表す部品画像を表示画像に追加で描画する。警告状況判定部８２はまた、ユーザが正常な位置に戻るなどして、警告の必要がなくなったことを判定し、その旨を出力データ生成部７８に通知する。これに応じて出力データ生成部７８は、警告を表す部品画像を非表示とする。なお警告は画像のみならず、音声を伴っていてもよい。出力データ送信部８６は、出力データ生成部７８が生成した出力データを順次取得し、必要に応じて成形したうえ、ＨＭＤ１８に送信する。
At this time, the output
図６は、本実施の形態において撮影画像から取得できる情報を説明するための図である。同図においてユーザ１２０は、入力装置１４を把持しＨＭＤ１８を装着している。入力装置１４は、操作に適した持ち方で把持したときに撮像装置１２に正対する位置に発光マーカー１２２を備える。ＨＭＤ１８の発光マーカーは図２で示したとおりである。撮像装置１２をステレオカメラとした場合、ステレオ画像における像の視差に基づき、撮像装置１２の撮像面から各発光マーカーまでの距離Ｚが求められる。また、どちらかの撮影画像の画像平面（ＸＹ平面）における発光マーカーの像の位置は、撮像装置１２からの見かけ上の位置を表している。
FIG. 6 is a diagram for explaining information that can be acquired from the captured image in the present embodiment. In the figure, the
これらの情報を統合する、具体的にはＸＹ平面における位置を撮像装置１２からの距離Ｚを用いて逆射影することにより、実世界の３次元空間における各発光マーカーの位置が求められる。さらにＨＭＤ１８の発光マーカーの像の数や位置関係からＨＭＤ１８の実空間における姿勢（ベクトルｖａ）が、入力装置１４の発光マーカー１２２の像の形状から入力装置１４の実空間における姿勢（ベクトルｖｂ）が求められる。
By integrating these information, specifically, by back-projecting the position in the XY plane using the distance Z from the
情報処理装置１０の情報処理部７６は、これらの装置の実空間における位置および姿勢に基づき、ユーザ１２０の顔の向きに応じて視野が変化する仮想世界や、入力装置１４の動きに応じて画像内のオブジェクトが動く様を表現することができる。なおマーカーの見かけ上の大きさによって撮像装置１２からの距離を推定したり、奥行き方向の動きが必要ない情報処理を行ったりする場合は、撮像装置１２はステレオカメラでなくてよい。参照光を利用した距離測定技術を導入する場合も同様である。また必ずしもＨＭＤ１８と入力装置１４の双方を追跡しなくてもよい。
The
このように発光マーカーの像を利用する場合、直接得られるのは、厳密にはＨＭＤ１８や入力装置１４の発光マーカーの位置である。ただしＨＭＤ１８はユーザが頭部に装着しているため、ユーザの頭部の位置と捉えることもできる。発光マーカー以外の被写体を拠り所として位置を特定する場合も、厳密にはそれらの被写体の位置が求められ、ユーザの重心位置などはそれらの情報から必要に応じて推定される。
When the image of the light emitting marker is used in this way, strictly speaking, the position of the light emitting marker of the
以後の説明で「ユーザの位置」とは、ユーザ自身の位置でもよいし、位置取得の拠り所となる被写体の位置でもよい。また入力装置１４がプレイエリア外に出ても、ＨＭＤ１８が出ていなければ警告の必要はないとするなど、被写体の性質や状況に応じて判定基準に係る規則を設けてもよい。
In the following description, the "user's position" may be the position of the user himself / herself or the position of the subject on which the position acquisition is based. Further, even if the
図７は、警告状況判定部８２が警告の必要性を判定するときに参照する、プレイエリアの設定例を模式的に示している。同図は実空間を俯瞰した状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの水平画角θｈによって、点線で示した視野の境界面１８２ａ、１８２ｂが定まる。ステレオカメラの場合、両者の画角の積集合とする。このような視野の垂直方向の境界面を基準として、プレイエリア１８４の境界面を所定の規則で設定する。警告状況判定部８２はユーザがプレイエリア１８４の外に出たとき、警告の必要が発生したと判定する。
FIG. 7 schematically shows a play area setting example that the warning
図示する例では、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲において、視野の境界面１８２ａ、１８２ｂより内側にプレイエリア１８４を設定している。撮像装置１２に近いＺ１≦Ｚ＜Ｚ２の範囲では、カメラの光軸を中心に距離Ｚに比例するように幅を増加させ、Ｚ２≦Ｚ＜Ｚ３の範囲では一定の幅Ｗを有するように設定している。Ｚ１≦Ｚ＜Ｚ２の範囲のプレイエリアの境界を決定づける垂直面１８６ａ、１８６ｂはすなわち、奥行き方向の位置によらず撮影画像上で左右の端より所定量、内側に結像する位置に対応する。したがって少なくとも垂直面１８６ａ、１８６ｂより内側をプレイエリアとすることで、画像上で当該所定量分をマージン領域として、ユーザが画角から外れる前の余裕を見たタイミングで警告を与えることができる。
In the illustrated example, the
撮像装置１２に近くなるほど、視野が狭くなるため可動範囲も狭くなる。そのため撮像装置１２に近い範囲では垂直面１８６ａ、１８６ｂより内側とする条件を最大限活用することで、警告を出さずにすむ範囲を広くとる。一方、撮像装置１２から離れた位置では視野が広がるため、画角から外れたか否かを基準とした場合、垂直面１８６ａ、１８６ｂより内側をプレイエリアとすれば、より広い範囲で警告を出さずにすむ。しかしながら図示する例では、情報処理の適性や周囲の物の存在などを考慮して、それより狭い幅Ｗでプレイエリアを限定している。
The closer to the
このようにプレイエリア１８４は、画角からの逸脱可能性を低める以外に、適正な可動範囲を設定する役割も同時に備えることができる。またプレイエリアをカメラからの距離範囲に応じて異なる規則で設定することにより、視野の狭い領域では可動範囲を優先し、視野の広い領域ではコンテンツの事情などその他の要素を優先させる、といった優先順位の変化に適応できる。
As described above, the
図８は、プレイエリアの設定の別の例を模式的に示している。同図は実空間をユーザの左側面から見た状態を示しており、撮像装置１２に正対するようにユーザ１２０が存在している。撮像装置１２のカメラの垂直画角θｖによって、点線で示した視野の境界面１９２ａ、１９２ｂが定まる。このような視野の水平方向の境界面を基準として、撮像装置１２からの距離ＺがＺ１≦Ｚ＜Ｚ３の範囲にプレイエリアの境界面を設定する。
FIG. 8 schematically shows another example of setting the play area. The figure shows a state in which the real space is viewed from the left side surface of the user, and the
同図の例では、Ｚ１≦Ｚ＜Ｚ３の範囲にわたり、視野の境界面１９２ａ、１９２ｂをプレイエリア１９４の境界面と一致させている。すなわち図７で示したプレイエリアと比較し、視野の境界面との間にマージン領域を設定しない。つまり撮影画像上で上下の端より所定量、内側に結像する水平面１９６ａ、１９６ｂのような余裕分をも設けず、撮影画像の上端から下端に対応する領域をプレイエリアとしている。このようにすると、画角から外れるのと同時に警告が与えられる結果となるため、微小時間であっても位置取得が不能となる可能性が高くなる。一方で、より広い範囲で警告を出さずにすむことになる。
In the example of the figure, the
このような設定は、画角が狭いカメラにおいて有効である。画角が狭い場合、図７に示すようにマージン領域を設定すると、少しの動きで警告が頻繁に出てしまうことがあり得る。そのため多少の情報処理の精度悪化を犠牲にしても、広いプレイエリアを確保することにより快適性を優先できる。例えば水平画角は広く、垂直画角は狭い特性を有するカメラを使用する場合、図７および図８で示したように、実空間での方向に応じて視野の境界面に対するプレイエリアの境界面の位置関係を異ならせれば、情報処理精度と快適な操作環境とのバランスを好適にとることができる。 Such a setting is effective for a camera having a narrow angle of view. When the angle of view is narrow, if the margin area is set as shown in FIG. 7, a warning may be issued frequently with a small amount of movement. Therefore, comfort can be prioritized by securing a wide play area even if the accuracy of information processing is slightly deteriorated. For example, when using a camera having a wide horizontal angle of view and a narrow vertical angle of view, as shown in FIGS. 7 and 8, the boundary surface of the play area with respect to the boundary surface of the field of view depending on the direction in the real space. By making the positional relationship of the above different, it is possible to strike a good balance between information processing accuracy and a comfortable operating environment.
図９は、マージン領域の有無による処理への影響を説明するための図である。同図上段の（ａ）は視野に対しマージン領域を設けてプレイエリアを設定した場合、下段の（ｂ）は視野とプレイエリアを一致させた場合の、ユーザの動きと各処理のタイムチャートである。すなわち右側に模式的に示すように、撮像装置１２に対し白抜きで示したプレイエリアを設定するが、（ａ）は黒色で示す視野外の領域との間に網掛けで示したマージン領域を設けている。タイムチャートにおける「位置」の段の白、網掛け、黒の矩形はそれぞれ、ユーザがプレイエリア、マージン領域、視野外にいる時間を表す。
FIG. 9 is a diagram for explaining the influence of the presence or absence of the margin region on the processing. The upper part (a) of the figure shows the movement of the user and the time chart of each process when the play area is set by providing a margin area for the field of view, and the lower part (b) shows the movement of the user when the field of view and the play area are matched. be. That is, as schematically shown on the right side, a play area shown in white is set for the
比較のため両者の設定において、ユーザが時刻ｔ２で視野外に出るとし、警告を同じ時間だけ表示した結果、ユーザがプレイエリアに戻るとしている。このようなユーザの動きに対し、位置情報取得部８０が位置情報を取得できる期間を「位置取得」の段に、警告表示がなされる期間を「警告」の段に、矩形で表している。（ａ）の場合、視野外へ出る時刻ｔ２より前の時刻ｔ１でプレイエリアから出るため、その時点から時刻ｔ３でプレイエリアへ戻るまでの間、警告が表示される。一方（ｂ）の場合、マージン領域を設定しないため、視野外へ出ている時刻ｔ２から時刻ｔ４までの間に警告が表示される。
For comparison, in both settings, it is assumed that the user goes out of the field of view at time t2, and as a result of displaying the warning for the same time, the user returns to the play area. In response to such a user's movement, the period during which the position
図示するように、（ａ）においては、警告が表示された後も位置情報を取得できるため、当該情報を根拠としてプレイエリア外にいることが保障される。（ｂ）の場合、警告と同時に位置情報も取得できなくなるため、警告を表示している期間においてその妥当性が保障されない。したがって、例えば視野境界においてオクルージョンなどでユーザの像が検出されなかったことを、視野外に出たと誤認し警告を表示させてしまう可能性がある。 As shown in the figure, in (a), since the position information can be acquired even after the warning is displayed, it is guaranteed that the player is out of the play area based on the information. In the case of (b), since the location information cannot be acquired at the same time as the warning, its validity is not guaranteed during the period when the warning is displayed. Therefore, for example, if the image of the user is not detected due to occlusion at the boundary of the visual field, it may be mistaken as having gone out of the visual field and a warning may be displayed.
また（ａ）と（ｂ）で警告が表示されてから同じタイミングでプレイエリアに戻っても、（ｂ）では位置情報を取得できない期間が長くなる。図示する例では、（ａ）においても視野外へ出る期間が発生しているが、マージン領域の幅によっては、ユーザが視野外へ出る前に警告表示に応じて戻る可能性があるため、（ｂ）の場合と比較し位置情報を取得できない期間が発生しにくい。一方で、同じように移動しても（ａ）の場合はより早い時刻ｔ１で警告が表示されるため、ユーザに対する拘束条件が厳しくなる。これらの特性を踏まえ、警告を出さずにすむ領域を極限まで広げたいか、そのようにせずとも領域に余裕があるか、など、状況に応じた優先順位によって最適なプレイエリアを設定することが望ましい。 Further, even if the player returns to the play area at the same timing after the warnings are displayed in (a) and (b), the period in which the position information cannot be acquired in (b) becomes long. In the illustrated example, the period of going out of the field of view also occurs in (a), but depending on the width of the margin area, the user may return in response to the warning display before going out of the field of view. Compared to the case of b), the period during which the position information cannot be acquired is less likely to occur. On the other hand, even if the user moves in the same manner, in the case of (a), a warning is displayed at an earlier time t1, so that the constraint condition for the user becomes strict. Based on these characteristics, it is possible to set the optimum play area according to the priority according to the situation, such as whether you want to expand the area where you do not need to issue a warning to the limit, or whether there is room in the area without doing so. desirable.
なおマージン領域を設けるか否かのみならず、マージン領域の幅やプレイエリアの形状も、想定される状況や実空間での方向に応じて最適化してよい。例えばゲームなどコンテンツの内容や環境によって想定されるユーザの姿勢、具体的には立って遊ぶか座って遊ぶか、机に向かっているかソファに座っているか、といった状況に応じて、同じ画角でもプレイエリアの形状を変化させてよい。 Not only whether or not the margin area is provided, but also the width of the margin area and the shape of the play area may be optimized according to the assumed situation and the direction in the real space. For example, depending on the content of the content such as a game and the user's posture expected depending on the environment, specifically, whether to play standing or sitting, facing a desk or sitting on a sofa, even with the same angle of view. The shape of the play area may be changed.
また図７、図８の設定を同時に適用した場合、設定されるプレイエリアはカメラからの距離Ｚに対し四辺形の断面を有するような形状であったが、本実施の形態をそれに限る主旨ではなく、円筒形など任意の形状でよい。また光軸が水平方向にない場合、カメラからの距離Ｚは床面と水平でなくなる。このときプレイエリアの形状は、光軸方向の距離で定義してもよいし、実空間での水平方向の距離で定義してもよい。カメラの光軸と実空間の水平面とのなす角度を、撮像装置１２に内蔵させた加速度センサなどにより計測すれば、座標変換は容易に実現できる。３次元空間での領域を設定するための具体的なデータ形式については、様々考えられることは当業者には理解されるところである。
Further, when the settings of FIGS. 7 and 8 are applied at the same time, the set play area has a shape having a quadrilateral cross section with respect to the distance Z from the camera. It may be any shape such as a cylindrical shape. If the optical axis is not in the horizontal direction, the distance Z from the camera will not be horizontal to the floor surface. At this time, the shape of the play area may be defined by the distance in the optical axis direction or by the distance in the horizontal direction in the real space. Coordinate transformation can be easily realized by measuring the angle formed by the optical axis of the camera and the horizontal plane in the real space with an acceleration sensor or the like built in the
一方で、プレイエリアに対応する領域を画像平面で規定することにより、プレイエリアを間接的に設定してもよい。図１０は、画像平面におけるプレイエリアの設定手法を説明するための図である。同図は被写空間に対向するカメラの視野、ひいては撮影画像の平面を表しており、上段（ａ）が単眼カメラ、下段（ｂ）がステレオカメラの場合である。単眼カメラの場合、撮影画像３００の平面に対し、所定幅ｘを有する左右両端をマージン領域とし、それを除く領域３０２をプレイエリア対応領域として定義する。
On the other hand, the play area may be indirectly set by defining the area corresponding to the play area on the image plane. FIG. 10 is a diagram for explaining a method of setting a play area on an image plane. The figure shows the field of view of the camera facing the subject space, and thus the plane of the captured image. The upper row (a) is a monocular camera, and the lower row (b) is a stereo camera. In the case of a monocular camera, the left and right ends having a predetermined width x with respect to the plane of the captured
この領域３０２により規定される３次元空間での領域は、奥行き方向の距離Ｚに比例して水平方向の幅が増加する領域３０４である。すなわち水平方向に着目した場合、領域３０２を設定することにより、図８で示した垂直面１８６ａ、１８６ｂの内側をプレイエリアとして設定したことになる。このように画像平面上でプレイエリア対応領域３０２を設定した場合、実空間でのプレイエリアの断面は、距離Ｚに応じたサイズの相似形となるため、実空間に直接設定する場合と比較して設定形状の自由度が少なくなる。
The region in the three-dimensional space defined by the
一方、撮影画像上での像とプレイエリア対応領域３０２との内外判定により直接、警告の必要性を判定できるため、ユーザの位置情報を介するより誤差の生じる余地が少なくなる。図示する例は水平方向にマージン領域を設けた場合であったが、垂直方向にマージン領域を設ける場合も同様である。また上述と同様の理由により、マージン領域を設けるか否か、およびその幅ｘの調整を、方向によって独立に行ってよい。それらの要素をコンテンツの内容や状況に応じて変化させてもよい。
On the other hand, since the necessity of the warning can be directly determined by the inside / outside determination of the image on the captured image and the play
（ｂ）で示したステレオカメラの場合、ユーザがカメラの視野の左端にいるか右端にいるかにより、先に視野から外れるカメラが異なる。例えばユーザがカメラの視野の右端近傍にいる場合、図示するように、右視点のカメラの画像３０６ｂにおける像３０８ｂより、左視点のカメラの画像３０６ａにおける像３０８ａの方が右端に近くなる。したがってこのままユーザが右方向に移動した場合、左視点のカメラの視野から先に外れることになる。ユーザがカメラの視野の左端近傍にいる場合は逆に、右視点のカメラの視野から先に外れる。
In the case of the stereo camera shown in (b), the camera that first deviates from the field of view differs depending on whether the user is at the left end or the right end of the field of view of the camera. For example, when the user is near the right end of the field of view of the camera, as shown in the figure, the
したがってステレオカメラのどちらにも写るような視野内にプレイエリアを設定する場合、左視点のカメラの撮影画像平面における、右端の所定幅ｘのマージン領域を除く領域３１０ａと、右視点のカメラの撮影画像平面における、左端の所定幅ｘのマージン領域を除く領域３１０ｂとを、プレイエリア対応領域として同時に設定する。そしてどちらかの画像において、ユーザの像がプレイエリア対応領域から出たことをもって、警告の必要性を判定する。
Therefore, when setting the play area within the field of view that can be captured by both stereo cameras, the
図１１は、警告状況判定部８２が、警告が必要であると判定した際に生成される表示画面を例示している。表示画面２００は、ゲーム画面などコンテンツの画像に警告を表す警告画像２０２を追加した構成を有する。警告画像２０２は図示する例では、「Out of play area」なる文字情報によりプレイエリアの外に出たことを表している。さらに危険を表すマークも含めることで緊急性を表現している。
FIG. 11 illustrates a display screen generated when the warning
ただし警告画像２０２の形態をこれに限る主旨ではなく、色や形状を工夫することで図形やマークのみで表したり、そのような図形やマークと文字情報を組み合わせたりしてもよい。また警告画像２０２をコンテンツごとに、あるいはその時点での表示の内容に応じて、変化させてもよい。ユーザに気づきを与える性質上、警告画像２０２はコンテンツの画像に重畳表示することを基本とする。一方で、コンテンツの画像が奥行き感を伴う仮想世界であった場合は特に、奥行き感のない部品画像が突然、目前に出現することにより、ユーザが驚いたり不快な気持ちになったりすることが考えられる。
However, the form of the
そこで図示するように警告画像２０２の周縁を、ブラー処理やαブレンディングなどによってぼかす。警告画像２０２全体を半透明としてもよい。これにより前面にありながらも背後に表現されている仮想世界との親和性を高められる。また突然視線を遮られた感覚を与えないよう、視点を避けた位置に警告画像２０２を表示することが望ましい。例えばユーザの視線に合わせて視野を変化させる表示形態では、必然的に視点が画面中央に固定されるため、画面中央から所定距離以上、離れた位置に表示する。
Therefore, as shown in the figure, the peripheral edge of the
また人は目線を上げるより下げる方が楽に行えるため、表示形態によらず、画面の下半分の領域（上下方向の中心線Ｃより下の領域）に警告画像２０２を表示することにより、注視点をコンテンツの画像から無理なく移動させていくことができる。これらのことにより、突然出現した画像に目の焦点が合わず認識するのに時間を要したり、細かい眼球の動きにより酔ってしまったりするのも防止できる。
In addition, since it is easier for a person to lower the line of sight than to raise the line of sight, the
次にこれまで述べた構成によって実現できる、情報処理装置１０の動作について説明する。図１２は、本実施の形態において情報処理装置がユーザの動きに応じた出力データを生成する処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４を介して情報処理装置１０に処理の開始を要求したときなどに開始される。
Next, the operation of the
まず情報処理装置１０の撮影画像取得部７４は、撮像装置１２に撮影の開始を要求し、それに応じて撮像装置１２が撮影し出力した撮影画像のデータの取得を開始する（Ｓ１０）。一方、警告状況判定部８２は、エリア設定情報記憶部８５からプレイエリアに係る設定情報を読み出す（Ｓ１２）。このとき、ユーザが選択するなどした実施すべきコンテンツに対応づけられた設定情報を選択してもよい。また撮影画像を解析するなどしてユーザが着座しているか否かや、周囲の状況などを特定し、それらの情報によって設定情報を選択してもよい。
First, the captured
次に情報処理部７６は、撮影画像取得部７４が取得したリアルタイムの撮影画像をＨＭＤ１８に出力するように、出力データ生成部７８に要求する。撮影画像をＨＭＤ１８に表示させることにより、周囲に障害物がないかの確認をユーザに促す（Ｓ１４、Ｓ１６）。このとき出力データ生成部７８は、「危ない物はありませんか？」といった文字情報と、ユーザが確認した旨を入力するためのＧＵＩ（Graphical User Interface）を撮影画像に重畳表示する。これによりユーザは事前にカメラの画角を認識できるため、プレイエリアと同等の領域を念頭に置いた動きができる。
Next, the
プレイエリアを知ることで自分の可動範囲が明確になり、周囲に存在する物が障害物となり得るかの判断も可能になる。ユーザが必要に応じて物を退かせたうえで、確認した旨の入力を行うことを条件に以後の処理を行うようにすれば、カメラの視野外への逸脱監視と同時に、障害物への衝突監視も行っていることになる。ユーザから確認の入力がない間は撮影画像を表示し続ける（Ｓ１６のＮ、Ｓ１４）。 By knowing the play area, your range of movement becomes clear, and you can also judge whether objects around you can be obstacles. If the user retracts the object as necessary and then performs the subsequent processing on the condition that the confirmation is input, the deviation from the camera's field of view can be monitored and the obstacle can be detected at the same time. Collision monitoring is also being carried out. While there is no confirmation input from the user, the captured image is continuously displayed (N, S14 in S16).
ユーザから確認の入力がなされたら（Ｓ１６のＹ）、位置情報取得部８０は、撮影画像に基づきユーザの位置情報の取得を開始する（Ｓ１８）。そして当該情報を用いて情報処理部７６が情報処理を行い、出力データ生成部７８がその結果としてコンテンツの表示画像を描画する（Ｓ２０）。一方、警告状況判定部８２は、ユーザがプレイエリアを出たか否かを監視する（Ｓ２２）。ユーザがプレイエリアから出たとする判定は、厳密にはユーザが装着しているＨＭＤ１８、あるいはユーザが把持する入力装置１４に設けたマーカーがプレイエリアから出たときに行う。
When the confirmation is input from the user (Y in S16), the position
ただし当該判定の基準は、ユーザの位置情報取得手段によって様々であってよい。例えばステレオ画像におけるユーザの像自体からデプスマップを作成するなどして位置情報とする場合は、ユーザの重心がプレイエリアから出たときとしてもよい。輪郭線を追跡している場合も同様である。また顔検出処理などのパターンマッチングにより追跡している場合は、プレイエリア内で顔が認識されなくなったときなどでもよい。 However, the criteria for the determination may vary depending on the user's location information acquisition means. For example, when the depth map is created from the user's image itself in the stereo image to be used as the position information, the center of gravity of the user may be out of the play area. The same applies when tracking the contour line. Further, when tracking is performed by pattern matching such as face detection processing, it may be when the face is no longer recognized in the play area.
ユーザがプレイエリアから出ていなければ（Ｓ２２のＮ）、出力データ送信部８６は、Ｓ２０で描画されたコンテンツの画像をそのままＨＭＤ１８に出力する（Ｓ２６）。ユーザがプレイエリアから出た場合（Ｓ２２のＹ）、警告状況判定部８２が出力データ生成部７８にその旨を通知することにより、出力データ生成部７８がコンテンツの画像に警告画像を重畳させる（Ｓ２４）。そして出力データ送信部８６は、警告画像が重畳された画像をＨＭＤ１８に出力する（Ｓ２６）。なおＳ２６の処理では、同時に音声のデータも出力してよい。
If the user is not out of the play area (N in S22), the output
ユーザにより処理の停止要求があるなど処理を終了させる必要が生じない期間、位置情報に基づきコンテンツの画像を描画し、必要に応じて警告画像を重畳させてＨＭＤ１８に出力する処理を、所定のレートで繰り返す（Ｓ２８のＮ、Ｓ２０〜Ｓ２６）。そして処理を終了させる必要が生じたら、全ての処理を終了させる（Ｓ２８のＹ）。
During the period when it is not necessary to end the process such as when the user requests to stop the process, the process of drawing the image of the content based on the position information, superimposing the warning image as necessary, and outputting it to the
なお同図のフローチャートでは、ユーザがプレイエリア外にいる期間と、警告画像を重畳させている期間が一致している。すなわちユーザがプレイエリア内に戻ったことをきっかけに警告画像が非表示となる。一方、警告画像を非表示とする条件を、表示する条件と独立に設けてもよい。図１３は、警告画像の表示／非表示の状態遷移を模式的に示している。まず警告画像が表示されていない状態から表示された状態とするときの判定基準はこれまで述べたように、ユーザがプレイエリアから出たこととする（右方向矢印）。 In the flowchart of the figure, the period during which the user is outside the play area and the period during which the warning image is superimposed are the same. That is, the warning image is hidden when the user returns to the play area. On the other hand, the condition for hiding the warning image may be provided independently of the condition for displaying the warning image. FIG. 13 schematically shows a state transition in which a warning image is displayed / hidden. First, as described above, the criterion for changing from the state where the warning image is not displayed to the state where the warning image is displayed is that the user has left the play area (arrow to the right).
一方、警告画像が表示されている状態から表示されない状態とするときの判定基準は、プレイエリアに入ったことではなく、別途設定した条件を満たしたときとする（左方向矢印）。例えば、プレイエリアより狭い範囲として警告非表示エリアを設定しておき、当該エリアに入ったときに警告画像を非表示とする。あるいはプレイエリアに入ってから所定時間経過したときとする。このようにすることで、一旦、表示された警告は非表示とされにくくなる。結果として、ユーザがプレイエリアの境界近傍にいるときなどに、僅かな動きでプレイエリアに対する内外判定結果が切り替わり、警告が表示されたり消えたりを繰り消すチャタリングを防止できる。 On the other hand, the criterion for changing from the state in which the warning image is displayed to the state in which the warning image is not displayed is not that the player has entered the play area but that the condition that has been set separately is satisfied (arrow to the left). For example, a warning non-display area is set as a range narrower than the play area, and the warning image is hidden when entering the area. Alternatively, it is assumed that a predetermined time has passed since entering the play area. By doing so, the warning once displayed is less likely to be hidden. As a result, when the user is near the boundary of the play area, the inside / outside determination result for the play area is switched with a slight movement, and chattering in which the warning is displayed and disappears can be prevented.
以上述べた本実施の形態によれば、撮影画像における像に基づきユーザの位置情報を取得し、その結果を利用して情報処理を行うシステムにおいて、実世界の３次元空間にプレイエリアを設定し、ユーザが当該プレイエリアから出たときにその旨の警告を表示などでユーザに提示する。これによりユーザがＨＭＤを装着して外界が見えなかったり、表示されている仮想世界に没頭したりして、いつの間にかカメラの視野から外れ、情報処理に破綻を来すことを防止できる。 According to the present embodiment described above, in a system that acquires user's position information based on an image in a captured image and processes information using the result, a play area is set in a three-dimensional space in the real world. , When the user leaves the play area, a warning to that effect is displayed to the user. As a result, it is possible to prevent the user from wearing the HMD and not being able to see the outside world or being immersed in the displayed virtual world, which unknowingly goes out of the field of view of the camera and causes a failure in information processing.
ここでプレイエリアは、カメラの視野を基準として設定する。このときプレイエリアを、視野に対しマージン領域を見込んで内側に設定するか、視野と同一とするか、またマージン領域を見込む場合はその幅、といった要素を最適化する。このようにマージン領域を調整することは、警告なしに移動できる範囲を規定していると同時に、ユーザが視野外に出てしまい位置情報が取得できなくなる頻度、ひいては位置情報取得精度を調整していることに他ならない。そのため、多少の位置情報取得精度の悪化を犠牲にしても極力広い範囲の移動を許容するか、範囲を限定的としても位置情報取得精度を維持するか、といった優先順位と合致した設定が可能となる。 Here, the play area is set with reference to the field of view of the camera. At this time, the elements such as whether the play area is set inside the field of view in anticipation of the margin area, the same as the field of view, and the width of the margin area when the margin area is expected are optimized. Adjusting the margin area in this way defines the range in which the user can move without warning, and at the same time, adjusts the frequency with which the user goes out of the field of view and cannot acquire the position information, and by extension, the accuracy of the position information acquisition. It is nothing but being. Therefore, it is possible to make settings that match the priority order, such as whether to allow movement in a wide range as much as possible at the expense of some deterioration in position information acquisition accuracy, or to maintain position information acquisition accuracy even if the range is limited. Become.
このような優先順位は、カメラの水平／垂直画角、情報処理の内容、ユーザやその周囲の状況などに依存して変化するため、それぞれに対し設定を最適化することにより、位置情報の取得精度とユーザの快適性を両立させることができる。またプレイエリアの形状は特に限定されないため、形状やサイズを適切に設定すれば、カメラの視野からの逸脱防止以外に、ゲームなどのコンテンツから想定される移動量の適正値の遵守や、周囲の障害物への衝突回避など役割を同時に果たすことができる。 Since such priority changes depending on the horizontal / vertical angle of view of the camera, the content of information processing, the user and the surrounding conditions, etc., the position information can be acquired by optimizing the settings for each. It is possible to achieve both accuracy and user comfort. In addition, the shape of the play area is not particularly limited, so if the shape and size are set appropriately, in addition to preventing deviation from the field of view of the camera, observing the appropriate value of the amount of movement expected from content such as games and surroundings It can play a role at the same time, such as avoiding collisions with obstacles.
警告を表示する際は、ゲーム画面など本来の表示画像上に、警告を表す部品画像を重畳表示する。このとき、周縁をぼかしたり半透明にしたりすることで、本来の表示画像との親和性を高め、突然、関連性のない画像が出現することによる違和感を少なくする。また、視点から所定の距離を設けたり画面の下半分の位置に表示させたりすることにより、視線が遮られることによる不快感や酔いの発生が抑制され、負担なく視線を合わせ、状況を認識させることができる。 When displaying a warning, a component image representing the warning is superimposed and displayed on the original display image such as a game screen. At this time, by blurring the periphery or making it translucent, the affinity with the original display image is enhanced, and the discomfort caused by the sudden appearance of an unrelated image is reduced. In addition, by setting a predetermined distance from the viewpoint or displaying it at the position of the lower half of the screen, the occurrence of discomfort and sickness due to the line of sight being blocked is suppressed, and the line of sight is aligned without burden to recognize the situation. be able to.
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. The above-described embodiment is an example, and it is understood by those skilled in the art that various modifications are possible for each of these components and combinations of each processing process, and that such modifications are also within the scope of the present invention. be.
８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ２２ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ７２ 入力情報取得部、 ７４ 撮影画像取得部、 ７６ 情報処理部、 ７８ 出力データ生成部、 ８０ 位置情報取得部、 ８２ 警告状況判定部、 ８５ エリア設定情報記憶部、 ８６ 出力データ送信部。 8 Information processing system, 10 Information processing device, 12 Imaging device, 14 Input device, 16 Flat plate display, 18 HMD, 22 CPU, 24 GPU, 26 Main memory, 72 Input information acquisition unit, 74 Captured image acquisition unit, 76 Information Processing unit, 78 output data generation unit, 80 position information acquisition unit, 82 warning status determination unit, 85 area setting information storage unit, 86 output data transmission unit.
Claims (16)
前記情報処理の結果として表示すべき画像のデータを生成する画像生成部と、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像生成部に警告画像を重畳させる警告状況判定部と、
前記画像生成部が生成した画像のデータを表示装置に出力する出力部と、
を備え、
前記出力部は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
ユーザから前記確認をした旨の入力がなされたあと、前記警告状況判定部は、前記警告の必要性の判定処理を開始することを特徴とする情報処理装置。 An information processing unit that detects the position of an object in real space and processes information based on the object.
An image generation unit that generates image data to be displayed as a result of the information processing,
A warning status determination unit that determines the necessity of warning to the user based on a preset play area and superimposes a warning image on the image generation unit.
An output unit that outputs image data generated by the image generation unit to a display device, and an output unit.
With
The output unit outputs a confirmation screen prompting the user to confirm that there are no obstacles to the display device.
An information processing device characterized in that the warning status determination unit starts a determination process of the necessity of the warning after the user inputs that the confirmation has been made.
前記情報処理の結果として表示すべき画像のデータを生成する画像生成部と、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像生成部に警告画像を重畳させる警告状況判定部と、
前記画像生成部が生成した画像のデータを表示装置に出力する出力部と、
を備え、
前記出力部は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
ユーザから前記確認をした旨の入力がなされたあと、前記情報処理部は、前記位置の検出処理を開始することを特徴とする情報処理装置。 An information processing unit that detects the position of an object in real space and processes information based on the object.
An image generation unit that generates image data to be displayed as a result of the information processing,
A warning status determination unit that determines the necessity of warning to the user based on a preset play area and superimposes a warning image on the image generation unit.
An output unit that outputs image data generated by the image generation unit to a display device, and an output unit.
With
The output unit outputs a confirmation screen prompting the user to confirm that there are no obstacles to the display device.
An information processing device characterized in that the information processing unit starts a position detection process after an input to the effect that the confirmation has been made is made by the user.
前記情報処理の結果として表示すべき画像のデータを生成するステップと、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定するステップと、
前記判定に応じて前記表示すべき画像に警告画像を重畳するステップと、
生成された画像のデータを表示装置に出力するステップと、
を含み、
前記出力するステップは、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
前記判定するステップは、ユーザから前記確認をした旨の入力がなされたあと、前記警告の必要性の判定処理を開始することを特徴とする、情報処理装置による警告提示方法。 Steps to detect the position of an object in real space and perform information processing based on the object,
The step of generating image data to be displayed as a result of the information processing, and
Steps to determine the need for warning to the user based on a preset play area,
A step of superimposing a warning image on the image to be displayed according to the determination,
Steps to output the generated image data to the display device,
Including
In the output step, a confirmation screen prompting the user to confirm whether there is an obstacle is output to the display device.
The determination step is a method of presenting a warning by an information processing device, which comprises starting a determination process of the necessity of the warning after the user inputs that the confirmation has been made.
前記情報処理の結果として表示すべき画像のデータを生成するステップと、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定するステップと、
前記判定に応じて前記表示すべき画像に警告画像を重畳するステップと、
生成された画像のデータを表示装置に出力するステップと、
を含み、
前記出力するステップは、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
前記情報処理を行うステップは、ユーザから前記確認をした旨の入力がなされたあと、前記位置の検出処理を開始することを特徴とする、情報処理装置による警告提示方法。 Steps to detect the position of an object in real space and perform information processing based on the object,
The step of generating image data to be displayed as a result of the information processing, and
Steps to determine the need for warning to the user based on a preset play area,
A step of superimposing a warning image on the image to be displayed according to the determination,
Steps to output the generated image data to the display device,
Including
In the output step, a confirmation screen prompting the user to confirm whether there is an obstacle is output to the display device.
The step of performing information processing is a method of presenting a warning by an information processing apparatus, which comprises starting a detection process of the position after an input to the effect that the confirmation has been made is made by the user.
前記情報処理の結果として表示すべき画像のデータを生成する機能と、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像のデータを生成する機能にその旨を通知することにより警告画像を重畳させる機能と、
生成された画像のデータを表示装置に出力する機能と、
をコンピュータに実現させ、
前記出力する機能は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
前記警告画像を重畳させる機能は、ユーザから前記確認をした旨の入力がなされたあと、前記警告の必要性の判定処理を開始することを特徴とするコンピュータプログラム。 A function that detects the position of an object in real space and processes information based on the object,
A function to generate image data to be displayed as a result of the information processing, and
A function of determining the necessity of a warning to the user based on a preset play area and notifying the function of generating the image data to that effect, and a function of superimposing the warning image.
A function to output the generated image data to the display device,
To the computer,
The output function outputs a confirmation screen prompting the user to confirm that there are no obstacles to the display device.
The function of superimposing the warning image is a computer program characterized in that the process of determining the necessity of the warning is started after the user inputs that the confirmation has been made.
前記情報処理の結果として表示すべき画像のデータを生成する機能と、
あらかじめ設定されたプレイエリアに基づいてユーザへの警告の必要性を判定し、前記画像のデータを生成する機能にその旨を通知することにより警告画像を重畳させる機能と、
生成された画像のデータを表示装置に出力する機能と、
をコンピュータに実現させ、
前記出力する機能は、障害物がないかの確認をユーザに促す確認画面を前記表示装置に出力し、
前記情報処理を行う機能は、ユーザから前記確認をした旨の入力がなされたあと、前記位置の検出処理を開始することを特徴とするコンピュータプログラム。 A function that detects the position of an object in real space and processes information based on the object,
A function to generate image data to be displayed as a result of the information processing, and
A function of determining the necessity of a warning to the user based on a preset play area and notifying the function of generating the image data to that effect, and a function of superimposing the warning image.
A function to output the generated image data to the display device,
To the computer,
The output function outputs a confirmation screen prompting the user to confirm that there are no obstacles to the display device.
The function of performing information processing is a computer program characterized in that the position detection process is started after the user inputs that the confirmation has been made.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021065802A JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
| JP2022084313A JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
| JP2024033525A JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processing device and warning presentation method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019214957A JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
| JP2021065802A JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Division JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022084313A Division JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021114310A true JP2021114310A (en) | 2021-08-05 |
| JP7080373B2 JP7080373B2 (en) | 2022-06-03 |
Family
ID=70107459
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Active JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
| JP2021065802A Active JP7080373B2 (en) | 2019-11-28 | 2021-04-08 | Information processing device and warning presentation method |
| JP2022084313A Active JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
| JP2024033525A Pending JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processing device and warning presentation method |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019214957A Active JP6867464B2 (en) | 2019-11-28 | 2019-11-28 | Information processing device and warning presentation method |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022084313A Active JP7481395B2 (en) | 2019-11-28 | 2022-05-24 | Information processing device and warning presentation method |
| JP2024033525A Pending JP2024061769A (en) | 2019-11-28 | 2024-03-06 | Information processing device and warning presentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (4) | JP6867464B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023149126A1 (en) * | 2022-02-04 | 2023-08-10 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and information processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
| JP2013164737A (en) * | 2012-02-10 | 2013-08-22 | Nec Corp | Obstacle alarm display system, information processor, obstacle alarm display method, and obstacle alarm display program |
| JP2014157433A (en) * | 2013-02-15 | 2014-08-28 | Ricoh Co Ltd | Parallax detection device and parallax detection method |
| US20150094142A1 (en) * | 2013-09-30 | 2015-04-02 | Sony Computer Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007156561A (en) * | 2005-11-30 | 2007-06-21 | Canon Inc | Augmented reality presenting method and system |
| JP6237000B2 (en) * | 2013-08-29 | 2017-11-29 | セイコーエプソン株式会社 | Head-mounted display device |
| JP2015116336A (en) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | Mixed-reality arena |
| JP6039594B2 (en) * | 2014-02-20 | 2016-12-07 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing apparatus and information processing method |
-
2019
- 2019-11-28 JP JP2019214957A patent/JP6867464B2/en active Active
-
2021
- 2021-04-08 JP JP2021065802A patent/JP7080373B2/en active Active
-
2022
- 2022-05-24 JP JP2022084313A patent/JP7481395B2/en active Active
-
2024
- 2024-03-06 JP JP2024033525A patent/JP2024061769A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
| JP2013164737A (en) * | 2012-02-10 | 2013-08-22 | Nec Corp | Obstacle alarm display system, information processor, obstacle alarm display method, and obstacle alarm display program |
| JP2014157433A (en) * | 2013-02-15 | 2014-08-28 | Ricoh Co Ltd | Parallax detection device and parallax detection method |
| US20150094142A1 (en) * | 2013-09-30 | 2015-04-02 | Sony Computer Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
Non-Patent Citations (1)
| Title |
|---|
| WAPA2: "「ひと味違う体験が可能「WiiSportsの裏技集」」", [ONILNE], HATENA BLOG, JPN6022004717, 10 December 2006 (2006-12-10), JP, ISSN: 0004702553 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023149126A1 (en) * | 2022-02-04 | 2023-08-10 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7481395B2 (en) | 2024-05-10 |
| JP7080373B2 (en) | 2022-06-03 |
| JP2020057400A (en) | 2020-04-09 |
| JP2024061769A (en) | 2024-05-08 |
| JP2022111143A (en) | 2022-07-29 |
| JP6867464B2 (en) | 2021-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6363587B2 (en) | Information processing apparatus and warning presenting method | |
| WO2017077918A1 (en) | Information processing apparatus, information processing system, and information processing method | |
| US11865448B2 (en) | Information processing apparatus and user guide presentation method | |
| JP6465672B2 (en) | Information processing apparatus and information processing method | |
| US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
| JP2017174125A (en) | Information processing apparatus, information processing system, and information processing method | |
| KR102642775B1 (en) | Information processing devices, information processing methods, and programs | |
| JP6975309B2 (en) | Image processing device and image processing method | |
| JP2024050696A (en) | Information processing device, user guide presentation method, and head-mounted display | |
| JP2024061769A (en) | Information processing device and warning presentation method | |
| JP6634654B2 (en) | Information processing apparatus and warning presentation method | |
| JP7349256B2 (en) | Image generation device and information presentation method | |
| JP6530453B2 (en) | Game program and game system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220524 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7080373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |