JP2016207042A - Program and storage medium - Google Patents
Program and storage medium Download PDFInfo
- Publication number
- JP2016207042A JP2016207042A JP2015089870A JP2015089870A JP2016207042A JP 2016207042 A JP2016207042 A JP 2016207042A JP 2015089870 A JP2015089870 A JP 2015089870A JP 2015089870 A JP2015089870 A JP 2015089870A JP 2016207042 A JP2016207042 A JP 2016207042A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- line
- user
- display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、視線検出機能を備えたヘッドマウントディスプレイに関わるプログラム及びこのプログラムが記録された記録媒体に関する。 The present invention relates to a program related to a head mounted display having a line-of-sight detection function and a recording medium on which the program is recorded.
従来、ユーザの視線を検出する視線検出部を備えた、頭部又は顔部に装着して用いられる画像表示装置が知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, there has been known an image display device that is mounted on a head or a face and includes a line-of-sight detection unit that detects a user's line of sight (see, for example, Patent Document 1).
ユーザの目の位置、大きさ、形状等には個人差がある。また、画像表示装置の装着の仕方も、例えば傾いた状態で装着されたり、頭部に対する被りの深さが異なる等、ユーザによって異なる可能性がある。このため、ユーザの視線を正確に検出できるとは限らなかった。 There are individual differences in the position, size, shape, etc. of the user's eyes. In addition, the manner in which the image display device is mounted may differ depending on the user, for example, the device may be mounted in an inclined state or the depth of the cover on the head may be different. For this reason, it was not always possible to accurately detect the user's line of sight.
本発明はこのような問題点に鑑みてなされたものであり、視線検出機能を備えたヘッドマウントディスプレイにおいて、ユーザの視線をより正確に検出することを可能とするプログラム及びこのプログラムが記録された記録媒体を提供することを目的とする。 The present invention has been made in view of such problems, and in a head mounted display having a line-of-sight detection function, a program capable of more accurately detecting a user's line of sight and the program are recorded. An object is to provide a recording medium.
上記目的を達成するために、本発明のプログラムは、画像を表示する表示装置及びユーザの視線を検出する視線検出装置を備えたヘッドマウントディスプレイと通信可能に接続された情報処理装置を、前記ユーザの視線を誘導するマーカを前記表示装置に表示させる表示制御部、前記マーカにより誘導され前記視線検出装置により検出された前記ユーザの視線情報と前記マーカの表示位置との相関情報を生成する生成部、前記相関情報を用いて、前記視線情報に基づく前記ユーザの注視位置を特定する特定部、として機能させることを特徴とする。 In order to achieve the above object, a program according to the present invention provides an information processing apparatus communicably connected to a head mounted display including a display device that displays an image and a visual line detection device that detects a visual line of the user. A display control unit that causes the display device to display a marker that guides the user's line of sight, and a generation unit that generates correlation information between the user's line-of-sight information detected by the marker and detected by the line-of-sight detection device and the display position of the marker The correlation information is used as a specifying unit that specifies the gaze position of the user based on the line-of-sight information.
視線検出装置を備えたヘッドマウントディスプレイを使用する場合、ユーザの目の位置、大きさ、形状等には個人差があり、またヘッドマウントディスプレイの装着の仕方も、例えば傾いた状態で装着されたり、頭部に対する被りの深さが異なる等、ユーザによって異なる場合があることから、ユーザの視線を正確に検出できない可能性がある。 When using a head-mounted display equipped with a line-of-sight detection device, there are individual differences in the position, size, shape, etc. of the user's eyes, and the mounting method of the head-mounted display is, for example, tilted. Since there are cases where the depth of the head covering differs depending on the user, there is a possibility that the user's line of sight cannot be accurately detected.
本発明のプログラムは、ヘッドマウントディスプレイと通信可能に接続された情報処理装置を表示制御部、生成部及び特定部として機能させる。表示制御部は、ユーザの視線を誘導するマーカをヘッドマウントディスプレイの表示装置に表示させる。このマーカにより誘導されたユーザの視線情報は視線検出装置により検出され、生成部はこの視線情報と対応するマーカの表示位置との相関情報を生成する。特定部はこの相関情報を参照して、視線検出装置により検出された視線情報に基づくユーザの注視位置を特定する。 The program of the present invention causes an information processing apparatus connected to a head-mounted display to function as a display control unit, a generation unit, and a specification unit. The display control unit displays a marker for guiding the user's line of sight on the display device of the head mounted display. The user's line-of-sight information guided by the marker is detected by the line-of-sight detection device, and the generation unit generates correlation information between the line-of-sight information and the display position of the corresponding marker. The specifying unit refers to the correlation information and specifies the user's gaze position based on the line-of-sight information detected by the line-of-sight detection device.
このようにしてユーザの注視位置を特定することで、視線情報に含まれる検出誤差を低減することが可能となり、ユーザの視線をより正確に検出できる。これにより、精度の良い視線入力が可能となり、視線入力を用いる様々な用途(例えばゲーム内の演出等)に活用することができる。 By specifying the user's gaze position in this way, it is possible to reduce detection errors included in the line-of-sight information, and the user's line of sight can be detected more accurately. As a result, accurate line-of-sight input is possible, and it can be used for various purposes using the line-of-sight input (for example, in-game effects).
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記ユーザの頭部の動作及び位置に関わらず、前記マーカが前記表示装置の視野内の予め設定された位置で静止されるように、又は前記マーカが前記視野内の予め設定された経路を移動するように、前記マーカを表示する。 In the program of the present invention, it is preferable that the display control unit stops the marker at a preset position in the field of view of the display device regardless of the movement and position of the user's head. Alternatively, the marker is displayed so that the marker moves along a preset route in the field of view.
一般に、ヘッドマウントディスプレイには加速度センサやジャイロセンサ等が内蔵されており、ユーザの頭部の動作や位置に応じて表示装置に表示された画像が変化し、よりリアルな仮想現実を実現する。しかしながら、視線検出の調整の際に表示されるマーカがユーザの頭部の動作等の影響を受けると、マーカの表示位置及びユーザの視線情報が変動するので、生成部が正しい相関情報を生成することができず、適正な調整を行うことができなくなる可能性がある。 In general, an accelerometer, a gyro sensor, and the like are built in a head-mounted display, and an image displayed on a display device changes according to the movement and position of the user's head, thereby realizing a more realistic virtual reality. However, if the marker displayed at the time of gaze detection adjustment is affected by the movement of the user's head, the display position of the marker and the user's gaze information fluctuate, and the generation unit generates correct correlation information. May not be able to be adjusted properly.
本発明では、表示制御部は、ユーザの頭部の動作及び位置に関わらず、マーカが表示装置の視野内の予め設定された位置で静止されるように、又はマーカが視野内の予め設定された経路を移動するように、マーカを表示する。これにより、視線検出の調整中にユーザが頭部を動かした場合でも、生成部は正しい相関情報を生成することが可能となり、適正な視線検出の調整を行うことができる。 In the present invention, the display control unit is configured so that the marker is stopped at a preset position in the field of view of the display device or the marker is preset in the field of view regardless of the movement and position of the user's head. Marker is displayed to move the route. As a result, even when the user moves the head during the adjustment of the line-of-sight detection, the generation unit can generate correct correlation information, and the appropriate line-of-sight detection can be adjusted.
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記マーカを、略四角形状の前記視野の少なくとも対角線上の2つの角部の近傍に順次静止した状態で表示する。 In the program according to the present invention, it is preferable that the display control unit displays the marker in a stationary state in the vicinity of at least two corners on the diagonal line of the substantially rectangular visual field.
視線検出の調整には、表示装置の視野全体における相関情報を生成するのが好ましい。そこで、略四角形状の視野である場合、当該視野の中心位置及び4つの角部(四隅)の5箇所における視線情報を取得するのが好ましい。但し、対角線上の2つの角部における視線情報を取得することで、反対の対角線上の2つの角部については視線情報を推定可能であり、また視野の中心位置(対角線の中点位置)における視線情報についても、例えば2つの角部の平均を取る等により推定することが可能である。したがって、最低限対角線上の2つの角部における視線情報を取得すれば、視野全体の相関情報を生成して視線検出の調整を行うことが可能である。 In order to adjust the line-of-sight detection, it is preferable to generate correlation information in the entire visual field of the display device. Therefore, in the case of a substantially quadrangular field of view, it is preferable to obtain line-of-sight information at the five positions of the center position and four corners (four corners) of the field of view. However, by obtaining the line-of-sight information at two corners on the diagonal line, the line-of-sight information can be estimated for the two corners on the opposite diagonal line, and at the center position of the visual field (the midpoint position of the diagonal line) The line-of-sight information can also be estimated by taking an average of two corners, for example. Therefore, if line-of-sight information at two corners on a diagonal line is acquired, correlation information for the entire visual field can be generated to adjust the line-of-sight detection.
本発明では、表示制御部は、マーカを略四角形状の視野の少なくとも対角線上の2つの角部の近傍に順次静止した状態で表示するので、マーカの表示位置を視線検出の調整が可能となる最低限の2箇所とすることができる。これにより、視線検出の調整に必要な時間を大幅に短縮することが可能である。 In the present invention, the display control unit displays the marker in a stationary state in the vicinity of at least two corners on the diagonal line of the substantially quadrangular field of view, so that the display position of the marker can be adjusted for line-of-sight detection. There can be a minimum of two locations. As a result, it is possible to significantly reduce the time required for adjusting the line-of-sight detection.
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記マーカを、少なくとも前記視野の中心位置と前記対角線上の2つの角部の近傍に順次静止した状態で表示する。 In the program according to the present invention, it is preferable that the display control unit displays the marker in a stationary state in the vicinity of at least the central position of the visual field and the two corners on the diagonal line.
本発明では、表示制御部は視野の対角線上の2つの角部の近傍に加えて、視野の中心位置にマーカを表示する。中心位置での視線情報を取得することで、(対角線上の2つの角部のみの場合よりも)視野全体の相関情報をより正確に把握することができる。したがって、注視位置をより正確に特定することができる。 In the present invention, the display control unit displays a marker at the center position of the visual field in addition to the vicinity of the two corners on the diagonal line of the visual field. By acquiring the line-of-sight information at the center position, it is possible to grasp the correlation information of the entire visual field more accurately (than the case of only two corners on the diagonal line). Therefore, the gaze position can be specified more accurately.
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記マーカを、前記視野の前記中心位置と4つの角部の近傍に順次静止した状態で表示する。 In the program according to the present invention, it is preferable that the display control unit displays the marker in a stationary state in the vicinity of the center position and four corners of the visual field.
本発明では、表示制御部は視野の中心位置と4つの角部近傍の5箇所にマーカを表示する。これにより、視野全体の相関情報をさらに正確に把握することができ、注視位置をさらに正確に特定することができる。 In the present invention, the display control unit displays markers at five positions near the center position of the visual field and the four corners. Thereby, the correlation information of the entire visual field can be grasped more accurately, and the gaze position can be identified more accurately.
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記マーカを、少なくとも前記対角線上の2つの角部の近傍を含む経路を連続的に移動するように表示する。 In the program according to the present invention, preferably, the display control unit displays the marker so as to continuously move along a path including at least the vicinity of two corners on the diagonal line.
本発明では、表示制御部は、マーカを少なくとも対角線上の2つの角部の近傍を含む経路を連続的に移動するように表示する。つまり、マーカを静止状態でなく連続的に移動させながら表示する。これにより、基準位置における固定的な相関情報だけでなく、例えばユーザの視線の追従速度や視線の移動経路の癖等の動作的な相関情報をも生成することが可能となる。その結果、このような動作的な相関情報をも考慮したより緻密で正確な注視位置の特定が可能となる。 In the present invention, the display control unit displays the marker so as to continuously move along a path including at least the vicinity of two corners on the diagonal line. That is, the marker is displayed while being moved continuously, not in a stationary state. This makes it possible to generate not only fixed correlation information at the reference position but also operational correlation information such as the tracking speed of the user's line of sight and wandering of the movement path of the line of sight. As a result, a more precise and accurate gaze position can be specified in consideration of such operational correlation information.
また、本発明のプログラムは、好ましくは、前記表示制御部は、前記マーカが表示される領域を囲む枠と共に前記マーカを表示する。 In the program according to the present invention, preferably, the display control unit displays the marker together with a frame surrounding an area where the marker is displayed.
本発明では、表示制御部が、マーカが表示される領域を囲む枠と共にマーカを表示する。これにより、ユーザは枠を基準としてマーカを注視し易くなると共に、マーカの次の表示箇所をある程度予測することが可能となるので、ユーザの身体的、心理的負担を軽減できる。 In this invention, a display control part displays a marker with the frame surrounding the area | region where a marker is displayed. This makes it easier for the user to gaze at the marker with the frame as a reference and predicts the next display location of the marker to some extent, thereby reducing the physical and psychological burden on the user.
また、本発明のプログラムは、好ましくは、前記情報処理装置を、前記相関情報の記録装置への書き込み及び読み出しを行う記録制御部、前記ヘッドマウントディスプレイを使用する前記ユーザが前記相関情報を記録されたユーザであるか否かを判定する判定部、としてさらに機能させ、前記特定部は、前記ユーザが前記相関情報を記録されたユーザであると判定された場合に、前記記録装置から読み出された前記相関情報を用いて、前記視線情報に基づく前記ユーザの注視位置を特定する。 The program according to the present invention is preferably configured such that the information processing apparatus has a recording control unit that writes and reads the correlation information to and from the recording apparatus, and the user who uses the head mounted display records the correlation information. A determination unit that determines whether or not the user is a user, and the specifying unit is read from the recording device when the user is determined to be a user who has recorded the correlation information. Further, the user's gaze position based on the line-of-sight information is specified using the correlation information.
本発明のプログラムは、情報処理装置を記録制御部及び判定部としてさらに機能させる。記録制御部は、視線検出の調整の際に生成した相関情報の記録装置への書き込み及び読み出しを行い、判定部は、ヘッドマウントディスプレイを使用するユーザが相関情報を記録されたユーザであるか否かを判定する。判定部によりユーザが相関情報を記録されたユーザであると判定された場合、記録制御部が記録装置から相関情報を読み出し、特定部が読み出された相関情報を用いて視線情報に基づくユーザの注視位置を特定する。このようにすることで、一度視線検出の調整を行ったユーザが再度ヘッドマウントディスプレイを使用する際に相関情報を再利用できるので、新たな視線検出の調整が不要となる。したがって、ユーザの利便性を向上できる。 The program of the present invention causes the information processing apparatus to further function as a recording control unit and a determination unit. The recording control unit writes and reads the correlation information generated at the time of gaze detection adjustment to and from the recording device, and the determination unit determines whether the user who uses the head mounted display is a user who has recorded the correlation information. Determine whether. When the determination unit determines that the user is a user who has recorded the correlation information, the recording control unit reads the correlation information from the recording device, and the specifying unit uses the correlation information that has been read to determine the user's Specify the gaze position. By doing so, since the correlation information can be reused when the user who has once adjusted the line-of-sight detection uses the head mounted display again, a new line-of-sight detection adjustment becomes unnecessary. Therefore, user convenience can be improved.
上記目的を達成するために、本発明の記録媒体は、上記プログラムを記録した、情報処理装置が読み取り可能な記録媒体であることを特徴とする。 In order to achieve the above object, a recording medium of the present invention is a recording medium that records the above program and is readable by an information processing apparatus.
本発明のプログラム及び記録媒体によれば、視線検出機能を備えたヘッドマウントディスプレイにおいて、ユーザの視線をより正確に検出することができる。 According to the program and the recording medium of the present invention, a user's line of sight can be detected more accurately in a head-mounted display having a line-of-sight detection function.
以下、本発明の一実施の形態について図面を参照しつつ説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
<1.システムの全体構成>
まず、図1を用いて、本実施形態に係るヘッドマウントディスプレイシステム1の全体構成の一例について説明する。図1に示すように、ヘッドマウントディスプレイシステム1は、情報処理装置3と、ヘッドマウントディスプレイ5を有する。情報処理装置3とヘッドマウントディスプレイ5は、通信可能に接続されている。なお、図1には有線により接続された場合を図示しているが、無線により接続されてもよい。
<1. Overall system configuration>
First, an example of the overall configuration of the head mounted display system 1 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the head mounted display system 1 includes an
情報処理装置3は、いわゆるコンピュータである。ここでいうコンピュータには、サーバコンピュータ、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ等のように、コンピュータとして製造、販売等されているものの他、携帯電話、スマートフォン、ファブレット等のように、電話機として製造、販売等されているものや、携帯ゲーム端末、据え置き型ゲーム機、エンターテインメント装置等のように、ゲーム機やマルチメディア端末として製造、販売等されているものも含まれる。
The
ヘッドマウントディスプレイ5は、ユーザの頭部又は顔部に装着可能な表示装置である。ヘッドマウントディスプレイ5は、情報処理装置3により生成された画像(静止画、動画を含む)を表示する。なお、図1では、ゴーグル型のヘッドマウントディスプレイを一例として図示しているが、この形状に限定されるものではない。また、ヘッドマウントディスプレイ5は、透過型又は非透過型のいずれでもよい。
The head mounted
<2.ヘッドマウントディスプレイの概略構成>
次に、図2を用いて、ヘッドマウントディスプレイ5の概略構成の一例について説明する。図2に示すように、ヘッドマウントディスプレイ5は、画像を表示する表示装置7と、ユーザの視線を検出する視線検出装置9と、各種センサ11を有する。表示装置7は、例えば液晶ディスプレイや有機ELディスプレイ等で構成される。表示装置7は、左目表示用の表示装置7Lと右目表示用の表示装置7Rを有しており、ユーザの左右の目に対して独立した画像を表示することで、3D画像の表示に対応可能である。なお、表示装置7は必ずしも2つである必要はなく、例えば左右の目に共通の単一の表示装置としてもよいし、片目のみに対応した単一の表示装置としてもよい。
<2. Schematic configuration of head mounted display>
Next, an example of a schematic configuration of the head mounted
視線検出装置9は、例えば可視光カメラと、図示しない視線情報算出部等により構成される。可視光カメラにより撮影されたユーザの目の画像は視線情報算出部に送られる。視線情報算出部は、上記画像に基づいて、例えば基準点を目頭とし、動点を虹彩(いわゆる黒目)として、目頭に対する虹彩の位置に基づいてユーザの視線情報を算出する。視線情報は、ユーザの視線の方向を表す情報であり、例えば視線のベクトル情報である。なお、本実施形態では視線情報算出部がヘッドマウントディスプレイ5に実装される場合について説明するが、情報処理装置3に実装されてもよい。視線情報算出部がヘッドマウントディスプレイ5に実装される場合には、視線情報算出部により算出された(言い換えれば、視線検出装置9により検出された)視線情報がヘッドマウントディスプレイ5から情報処理装置3に送信される。視線情報算出部が情報処理装置3に実装される場合には、可視光カメラにより撮影された画像が情報処理装置3に送信され、情報処理装置3において視線情報が算出される。
The line-of-
視線検出装置9は、左目撮影用の視線検出装置9Lと右目撮影用の視線検出装置9Rを有しており、ユーザの左右の目の視線情報を独立して検出可能である。なお、視線検出装置9は必ずしも2つ搭載する必要はなく、単一の視線検出装置9で片目のみ撮影してもよい。
The line-of-
なお、本実施形態における視線検出手法は上記に限定されるものではなく、その他種々の検出手法を採用することが可能である。例えば、視線検出装置9を赤外線LEDと赤外線カメラ等で構成してもよい。この場合、赤外線カメラで赤外線LEDを照射した目を撮影し、上記視線情報算出部が、撮影された画像に基づいて、例えば基準点を赤外線LEDの照射によりできた反射光(角膜反射)の角膜上の位置とし、動点を瞳孔として、角膜反射の位置に対する瞳孔の位置に基づいてユーザの視線情報(視線ベクトル)を算出する。また、ユーザの顔の表面筋電位や眼球を動かす際に発生する微弱な筋電位(眼電位)の変化を検出する等の手法を用いてもよい。
The line-of-sight detection method in the present embodiment is not limited to the above, and various other detection methods can be employed. For example, the line-of-
本実施形態のように可視光カメラを用いる手法の場合、上記赤外線カメラを用いる場合よりもコストを低減することが可能であるが、検出精度が低下するという課題がある。したがって、後述する視線検出の調整を行って検出精度を向上することが非常に有効である。 In the case of using the visible light camera as in the present embodiment, the cost can be reduced as compared with the case of using the infrared camera, but there is a problem that the detection accuracy is lowered. Therefore, it is very effective to improve the detection accuracy by adjusting the gaze detection described later.
各種センサ11には、例えば加速度センサやジャイロセンサ等が含まれる。これらのセンサによりユーザの頭部の動作や位置が検出される。情報処理装置3は、各種センサ11の検出結果に基づいて表示装置7に表示する画像をユーザの頭部の動作や位置に応じて変化させ、リアルな仮想現実を実現する。
The
通信制御部13は、情報処理装置3との間で行われる通信を制御する。例えば、表示装置7で表示する画像を情報処理装置3から受信したり、視線検出装置9で検出された視線情報や、各種センサ11で検出された検出情報を情報処理装置3に送信する。通信制御部13は、ヘッドマウントディスプレイ5に搭載された図示しないCPUが実行するプログラムにより実装されてもよいし、その一部又は全部がASICやFPGA、その他の電気回路等の実際の装置により実装されてもよい。
The
なお、ヘッドマウントディスプレイ5の構成態様は、上記に限定されるものではない。例えば、上記では説明を省略したが、ヘッドマウントディスプレイ5がイヤホンやヘッドフォンを搭載してもよい。
The configuration mode of the head mounted
<3.情報処理装置の機能的構成>
次に、図2を用いて、情報処理装置3の機能的構成の一例について説明する。なお、ここでは情報処理装置3による視線検出の調整機能及び視線に基づく描画制御機能に関わる機能的構成ついて説明し、それ以外の情報処理装置3による通常機能(例えばコンテンツの表示、再生やゲームの起動等)に関わる機能的構成ついては説明を省略する。なお、図2中に示す矢印は信号の流れの一例を示すものであり、信号の流れ方向を限定するものではない。
<3. Functional configuration of information processing apparatus>
Next, an example of a functional configuration of the
図2に示すように、情報処理装置3は、表示制御部15と、生成部17と、特定部19と、記録制御部21と、判定部23と、描画制御部25と、格納部27と、通信制御部29を有する。
As illustrated in FIG. 2, the
表示制御部15は、ユーザの視線を誘導するマーカ31(後述の図4〜図8参照)をヘッドマウントディスプレイ5の表示装置7に表示させる。詳細は後述するが、マーカ31の表示位置は複数箇所(少なくとも2箇所)であり、表示装置7の視野33(後述の図4〜図8参照)における二次元座標系において予め所定の位置に設定されている。表示制御部15は、当該所定の位置にマーカ31を表示することで、ユーザの視線を当該所定の位置に誘導し注視させる。
The
このとき、表示制御部15は、ユーザの頭部の動作及び位置に関わらず、マーカ31が表示装置7の視野33内の予め設定された位置で静止されるように、あるいは、マーカ31が視野33内の予め設定された経路を移動するように、マーカ31を表示する。
At this time, the
生成部17は、マーカ31により誘導されたユーザの視線情報とマーカ31の表示位置との相関情報を生成する。具体的には、ユーザが表示装置7に表示されたマーカ31を注視すると、そのときの視線情報が視線検出装置9により検出され、情報処理装置3に送信される。ここで、上述のようにマーカ31の表示位置は予め設定されており、当該表示位置情報(例えば、視野33の二次元座標系における座標)は例えば情報処理装置3の記録装置117(後述の図14参照)等に記録されている。生成部17は、マーカ31により誘導され視線検出装置9により検出されたユーザの視線情報を取得すると共に、そのときのマーカ31の表示位置情報を記録装置117等から読み出す。これをマーカ31が表示される複数箇所について行い、視線情報と表示位置との相関情報を生成する。
The
相関情報の形式は特に限定されるものではないが、例えば、視野33の各座標と視線情報を対応づけたテーブルとしてもよいし、例えば視線情報を対応する座標に補正するための演算式等としてもよい。なお、視線検出装置9がユーザの左右の目の視線情報を各々独立して検出する場合には、一方の目の視線情報と各座標及び他方の目の視線情報と各座標とを対応づけた2つのテーブル、又は各々の視線情報を対応する座標に補正するための複数の演算式としてもよい。あるいは、所定の演算等により左右の目の視線情報を1つの視線情報に統合し、その上で相関情報を生成してもよい。生成された相関情報は、記録制御部21により例えばハードディスク等で構成される記録装置117に書き込まれて記録される。
Although the format of the correlation information is not particularly limited, for example, it may be a table in which each coordinate of the
特定部19は、上記相関情報を用いて、視線情報に基づくユーザの注視位置(注視点ともいう。)を特定する。具体的には、上述した視線検出の調整(マーカ31の表示から相関情報の記録まで)が完了した後、例えばコンテンツの表示、再生やゲームが起動されている場合において、ユーザが表示装置7の視野33における所定の位置を注視すると、そのときの視線情報が視線検出装置9により検出され、情報処理装置3に送信される。特定部19は、記録装置117から読み出された相関情報を参照し、取得した視線情報に対応する位置(座標)、すなわちユーザの注視位置を特定する。
The identifying
記録制御部21は、記録装置117への各種情報の書き込み及び読み出しを行う。例えば、記録制御部21は、生成部17により生成された相関情報を、当該相関情報の対象となるユーザの識別情報と対応づけて、当該識別情報と共に記録装置117にユーザごとに書き込んで記録する。
The
判定部23は、ヘッドマウントディスプレイ5を使用するユーザが相関情報を記録されたユーザであるか否かを判定する。具体的には、ユーザがヘッドマウントディスプレイ5を使用する際に、情報処理装置3の入力装置113(後述の図14参照)等を用いて識別情報(ログインID等)を入力すると、判定部23が当該入力された識別情報に対応する相関情報が記録装置117に記録されているか否かを判定する。入力された識別情報に対応する相関情報が記録装置117に記録されていた場合には、判定部23はユーザが相関情報を記録されたユーザであると判定する。この場合、記録制御部21は該当する相関情報を記録装置117から読み出し、特定部19は読み出された相関情報を用いて視線情報に基づくユーザの注視位置を特定する。
The
描画制御部25は、視線検出装置9により検出されたユーザの視線情報に基づいて、ユーザの注視点39(後述の図10、図12参照)の周辺領域の描画が注視点39の近傍領域の描画よりも簡素となるように、表示装置7で表示される画像の描画を制御する。具体的には、格納部27に、モデルM(後述の図11、図13参照)ごとに、段階的に異なる画質で描画された複数種類のモデルが格納されており、描画制御部25は、表示装置7の視野33において、注視点39の周辺領域に位置するモデルMを、近傍領域に位置するモデルMよりも画質が低いモデルに切り替える。また、描画制御部25は、注視点39の近傍領域に位置するモデルMを、格納部27に格納された対応するモデルMの中で最も画質が高いモデルに切り替える。
The
なお、上記モデルMは、例えばゲームの実行中に表示装置7により視野33内に表示される人物モデル、キャラクターモデル、背景モデル等であるが、例えばコンテンツの表示、再生中にメニュー画面等に表示されるアイコン等を含んでもよい。また、本実施形態では、描画制御部25がモデルMを切り替えることでモデル単位で描画を制御する場合について説明するが、例えば背景画像やモーション画像、エフェクト画像等の、モデル以外の画像部分についても描画を制御してもよい。
The model M is, for example, a person model, a character model, a background model, or the like displayed in the field of
詳細は後述するが、格納部27には、上述のように、モデルMごとに、段階的に異なる画質で描画された複数種類のモデルが格納されている。段階的に異なる画質で描画されたモデルとは、例えば、ポリゴン数が段階的に異なるモデル、テクスチャの解像度が段階的に異なるモデル、シェーダの効果の度合いが段階的に異なるモデル等である。これらの画質に関わる要素は、それぞれ単独で段階的に変化されて描画されてもよいし、2以上の要素が複合的に段階的に変化されて描画されてもよい。なお、画質に関わる要素は上記に限定されるものではなく、その他の要素を含んでもよい。
As will be described in detail later, the
通信制御部29は、ヘッドマウントディスプレイ5との間で行われる通信を制御する。通信制御部13,29間で行われる通信方式は特に限定されるものではなく、情報の送受信が可能であればよい。また、前述のように有線通信あるいは無線通信のいずれでもよい。
The
なお、以上説明した各処理部における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部(例えば1つの処理部)で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、上述した各処理部の機能は、後述するCPU101(図14参照)が実行するプログラムにより実装されるものであるが、例えばその一部がASICやFPGA、その他の電気回路等の実際の装置により実装されてもよい。 Note that the processing in each processing unit described above is not limited to the example of sharing of these processing, and may be processed by, for example, a smaller number of processing units (for example, one processing unit), Further, it may be processed by a further subdivided processing unit. The functions of each processing unit described above are implemented by a program executed by a CPU 101 (see FIG. 14) described later. For example, a part of the functions is an actual device such as an ASIC, FPGA, or other electric circuit. May be implemented.
<4.視線検出の調整に関わる処理手順>
次に、図3を用いて、情報処理装置3のCPU101によって実行される視線検出の調整に関わる処理手順の一例について説明する。
<4. Procedures for adjusting eye-gaze detection>
Next, with reference to FIG. 3, an example of a processing procedure related to the gaze detection adjustment executed by the
ステップS5では、情報処理装置3は、判定部2によりヘッドマウントディスプレイ5を使用するユーザの相関情報が記録装置117に記録されているか否かを判定する。すなわち、判定部2はユーザが入力装置113等を用いて入力した識別情報(ログインID等)を利用して、対応する相関情報が記録装置117に記録されているか否かを判定する。相関情報が記録装置117に記録されている場合には(ステップS5:NO)、ステップS10に移る。
In step S <b> 5, the
ステップS10では、情報処理装置3は、記録制御部21により上記入力された識別情報に対応する相関情報を記録装置117から読み出す。その後、後述のステップS40に移る。
In step S <b> 10, the
一方、上記ステップS5において、相関情報が記録装置117に記録されていない場合には(ステップS5:YES)、ステップS15に移る。
On the other hand, if the correlation information is not recorded in the
ステップS15では、情報処理装置3は、表示制御部15によりユーザの視線を誘導するマーカ31をヘッドマウントディスプレイ5の表示装置7に表示する。このときのマーカ31の表示態様については、後述する(図4〜図8)。
In step S <b> 15, the
ステップS20では、情報処理装置3は、生成部17によりマーカ31により誘導され視線検出装置9により検出されたユーザの視線情報を取得する。
In step S <b> 20, the
ステップS25では、情報処理装置3は、マーカ31の表示が完了したか否かを判定する。詳細は後述するが、マーカ31は表示装置7の視野33において予め定められた複数箇所に予め定められた順番で静止した状態で、あるいは、それら複数箇所を経路として連続的に移動しながら表示される。この一連のマーカ31の表示が最後まで完了していない場合には(ステップS25;NO)、先のステップS15に戻り、マーカ31の表示と視線情報の取得を繰り返す。マーカ31の表示が完了した場合には(ステップS25:YES)、ステップS30に移る。
In step S25, the
ステップS30では、情報処理装置3は、生成部17により相関情報を生成する。すなわち、生成部17は、上記ステップS20において取得された複数の視線情報の各々に対応するマーカ31の表示位置情報を記録装置117等から読み出し、視線情報と表示位置との相関情報を生成する。相関情報は、前述のように例えば相関テーブルや補正演算式等である。
In step S <b> 30, the
ステップS35では、情報処理装置3は、記録制御部21により上記ステップS30で生成された相関情報を記録装置117に書き込んで記録する。
In step S35, the
上記ステップS15からステップS35までの処理手順により、視線検出の調整が完了する。ステップS40以降は、視線検出の調整の完了後、情報処理装置3が例えばコンテンツの表示、再生やゲームの起動等を実行中の処理となる。
The line-of-sight detection adjustment is completed by the processing procedure from step S15 to step S35. After step S40, after the completion of the gaze detection adjustment, the
ステップS40では、情報処理装置3は、視線検出装置9により検出されたユーザの視線情報を取得する。
In step S <b> 40, the
ステップS45では、情報処理装置3は、特定部19により、記録装置117から読み出された相関情報を参照し、上記ステップS40において取得した視線情報に対応するユーザの注視位置を特定する。この特定された注視位置は、視線入力を用いる様々な用途(例えばゲーム内の演出等)に活用される。
In step S45, the
ステップS50では、情報処理装置3は、ユーザが入力装置113等を用いて終了指示(例えばコンテンツの表示、再生の終了指示やゲームの終了指示等)を入力したか否かを判定する。終了指示が入力されていない場合には(ステップS50:NO)、先のステップS40に戻り、視線情報の取得及び注視位置の特定等を繰り返す。終了指示が入力された場合には(ステップS50:YES)、本フローを終了する。
In step S50, the
なお、上述した処理手順は一例であって、上記手順の少なくとも一部を削除・変更してもよいし、上記以外の手順を追加してもよい。例えば、生成した相関情報の記録及び再利用をせずに、ヘッドマウントディスプレイ5を使用する度に毎回視線検出の調整を行うようにしてもよい。この場合、上記ステップS5及びステップS10が不要となる。また例えば、情報処理装置3は、ステップS30で生成した相関情報を、例えばRAM105(図14参照)等への一時的な保持のみを行うことにより、記録装置117への記録をせずに使用してもよい。この場合、上記ステップS35が不要となる。
Note that the above-described processing procedure is an example, and at least a part of the above procedure may be deleted or changed, or a procedure other than the above may be added. For example, the line-of-sight detection may be adjusted every time the head mounted
<5.マーカの表示態様>
次に、図4〜図8を用いて、マーカ31の表示態様の例について説明する。
<5. Marker display mode>
Next, an example of the display mode of the
(5−1.中心及び4つの角部の5箇所に静止表示)
図4に示すように、表示装置7におけるユーザの視野33には、マーカ31が表示される。図4等に示す例では視野33の形状は略長方形となっているが、これに限定されるものではなく、例えば楕円形や長方形以外の多角形状等としてもよい。前述のように、マーカ31の表示位置は複数箇所であり、視野33における二次元座標系(図4に示すX−Y座標系)において予め所定の座標位置に設定されている。
(5-1. Static display at the center and 5 corners)
As shown in FIG. 4, the
図4に示す例では、マーカ31の表示位置は、視野33の中心位置と4つの角部の近傍の5箇所に設定されている。中心位置は、例えば長方形の2つの対角線が交わる交点の位置である。ここで、説明の便宜上、図4に示すX−Y座標系においてX軸正側を右、X軸負側を左、Y軸正側を上、Y軸負側を下とすると、図4に示す例では、マーカ31は、中心位置、左上の角部の近傍位置、左下の角部の近傍位置、右上の角部の近傍位置、右下の角部の近傍位置の順番で、順次静止した状態で表示される。なお、マーカ31の表示の順番は上記に限定されるものではなく、例えば中心位置を最後としたり、右上の角部を最初にしたり等、順番を変更してもよい。
In the example shown in FIG. 4, the display positions of the
マーカ31は、各位置において一定時間(例えば1秒程度等)静止した状態で表示される。ユーザがその一定時間の間マーカ31を注視している間に、視線検出装置9が視線情報を検出する。このとき、視線検出装置9は、例えば上記一定時間の間に複数回視線情報を検出し、その平均をとる等によって当該マーカ31の表示位置に対応する視線情報としてもよい。あるいは、例えば一定時間の間の特定のタイミングにおいて検出した視線情報を当該マーカ31の表示位置に対応する視線情報としてもよい。
The
マーカ31は、この例では黒丸形状の図形として描画されている。但し、マーカ31の描画態様はこれに限定されるものではなく、例えば多角形や楕円形等、他の形状の図形としてもよいし、文字や記号としてもよいし、キャラクタ等のアイコンとしてもよい。また、模様や色彩等を付してもよい。すなわち、マーカ31はユーザが注視し易いものであればよく、その描画態様は特に限定されない。
In this example, the
表示制御部15は、ユーザの頭部の動作及び位置に関わらず、マーカ31が上記視野33の中心位置と4つの角部の近傍の5箇所で静止されるように、マーカ31を表示する。これにより、視線検出の調整中にユーザが頭部を動かした場合でも、マーカ31はその動きの影響を受けることなく上記設定された位置に表示され、適正な視線検出の調整を行うことができる。
The
(5−2.中心及び2つの角部の3箇所に静止表示)
図5に示す例では、マーカ31の表示位置は、視野33の中心位置と、一方の対角線上の2つの角部の近傍の3箇所に設定されている。この例では、マーカ31は、中心位置、左上の角部の近傍位置、右下の角部の近傍位置の順番で、順次静止した状態で表示される。なお、上記2つの角部の代わりに、他方の対角線上の2つの角部、すなわち右上の角部と左下の角部の近傍位置にマーカ31を表示してもよい。また、マーカ31の表示の順番は上記に限定されるものではなく変更してもよい。
(5-2. Static display at the center and two corners)
In the example shown in FIG. 5, the display positions of the
このように、視野33の一方の対角線上の2つの角部における視線情報を取得することで、他方の対角線上の2つの角部における視線情報については推定することが可能である。したがって、本例では視野33の中心位置に加えて、4つの角部のうちの対角線上の2つの角部についてマーカ31を表示することで、マーカ31の表示箇所を減らし、調整時間を短縮することが可能である。
Thus, by obtaining the line-of-sight information at two corners on one diagonal of the
(5−3.2つの角部の2箇所に静止表示)
図6に示す例では、マーカ31の表示位置は、視野33の一方の対角線上の2つの角部の近傍のみの2箇所に設定されている。この例では、マーカ31は、左上の角部の近傍位置、右下の角部の近傍位置の順番で、順次静止した状態で表示される。なお、上記2つの角部の代わりに、他方の対角線上の2つの角部、すなわち右上の角部と左下の角部の近傍位置にマーカ31を表示してもよい。また、マーカ31の表示の順番は上記と反対としてもよい。
(5-3. Static display in two places at two corners)
In the example shown in FIG. 6, the display positions of the
このように、視野33の一方の対角線上の2つの角部における視線情報を取得することで、上述のように他方の対角線上の2つの角部における視線情報について推定することが可能であるだけでなく、視野33の中心位置における視線情報についても、中心位置は対角線上の2つの角部の略中点であることから、例えば2つの角部における視線情報の平均を取る等により推定することが可能である。したがって、本例では一方の対角線上の2つの角部についてのみマーカ31を表示することで、マーカ31の表示箇所を最低限とし、調整時間をさらに短縮することが可能である。
Thus, by obtaining the line-of-sight information at two corners on one diagonal of the
(5−4.マーカを移動させながら表示)
図7に示す例では、マーカ31は、上記図4〜図6のように静止した状態で表示されるのではなく、予め設定された経路を連続的に移動するように表示される。この例では、マーカ31は、図4に示す表示箇所、すなわち視野33の中心位置と4つの角部近傍の5箇所を含む経路35を、中心位置、左上の角部の近傍位置、左下の角部の近傍位置、右上の角部の近傍位置、右下の角部の近傍位置の順番で連続的に移動しながら表示される。
(5-4. Display while moving the marker)
In the example illustrated in FIG. 7, the
ユーザは、移動するマーカ31に視線を追従させながら注視する。視線検出装置9は、少なくともマーカ31が基準となる位置を通過する際、すなわちこの例では少なくとも中心位置と4つの角部の5箇所を通過する際に、視線情報を検出する。なお、これら5箇所に加えて、その中間地点においても視線情報を検出してもよい。
The user gazes at the moving
なお、マーカ31の移動経路は上記に限定されるものではなく、少なくとも対角線上の2つの角部を含む経路であればよい。また、マーカ31の移動の順番は上記に限定されるものではなく、変更してもよい。
In addition, the movement path | route of the
(5−5.マーカの表示領域を囲む枠を表示)
図8に示す例では、視野33内に、マーカ31と共にマーカ31が表示される領域を囲む枠37が表示される。この例では、マーカ31は、図4に示す表示箇所、すなわち視野33の中心位置と4つの角部近傍の5箇所に表示されるので、これら5箇所の表示位置を囲むように略長方形状の枠37が表示される。但し、枠37の形状はこれに限定されるものではなく、マーカ31の表示位置に応じて例えば楕円形や長方形以外の多角形状等としてもよい。表示制御部15は、マーカ31と同様に、ユーザの頭部の動作及び位置に関わらず、枠37が視野33内の予め設定された位置で静止されるように表示する。これにより、視線検出の調整中にユーザが頭部を動かした場合でも、枠37はマーカ31と共にその動きの影響を受けることなく上記設定された位置に表示され、適正な視線検出の調整を行うことができる。
(5-5. Display a frame surrounding the marker display area)
In the example shown in FIG. 8, a
<6.視線に基づく描画制御に関わる処理手順>
次に、図9を用いて、情報処理装置3のCPU101によって実行される視線に基づく描画制御に関わる処理手順の一例について説明する。図9に示す処理は、前述した視線検出の調整の完了後に、情報処理装置3が例えばコンテンツの表示、再生やゲームの起動等を実行中に行われる。
<6. Processing procedure for drawing control based on line of sight>
Next, an example of a processing procedure related to drawing control based on the line of sight executed by the
ステップS105では、情報処理装置3は、視線検出装置9により検出されたユーザの視線情報を取得する。
In step S <b> 105, the
ステップS110では、情報処理装置3は、上記ステップS105において取得した視線情報に基づき、特定部19により注視点を特定する。注視点の特定手法は前述の通りであり、特定部19は記録装置117から読み出された相関情報を参照し、上記ステップS105において取得した視線情報に対応するユーザの注視点を特定する。
In step S <b> 110, the
ステップS115では、情報処理装置3は、描画制御部25により上記ステップS110で特定した注視点に基づき、注視点の近傍領域に位置するモデルを、格納部27に格納された対応するモデルの中で最も画質が高いモデル(後述するハイモデル)に切り替える。
In step S115, the
ステップS120では、情報処理装置3は、描画制御部25により上記ステップS110で特定した注視点に基づき、注視点の周辺領域に位置するモデルを、近傍領域に位置するモデルよりも画質が低いモデル(後述するローモデルあるいはミドルモデル)に切り替える。
In step S120, the
ステップS125では、情報処理装置3は、ユーザが入力装置113等を用いて終了指示(例えばコンテンツの表示、再生の終了指示やゲームの終了指示等)を入力したか否かを判定する。終了指示が入力されていない場合には(ステップS125:NO)、先のステップS105に戻り、視線情報の取得、注視位置の特定及びモデルの切り替え等を繰り返す。終了指示が入力された場合には(ステップS125:YES)、本フローを終了する。
In step S125, the
なお、上述した処理手順は一例であって、上記手順の少なくとも一部を削除・変更してもよいし、上記以外の手順を追加してもよい。例えば、上記ステップS115とステップS120の順番を反対としてもよい。 Note that the above-described processing procedure is an example, and at least a part of the above procedure may be deleted or changed, or a procedure other than the above may be added. For example, the order of step S115 and step S120 may be reversed.
<7.視線に基づく描画制御の態様>
次に、図10〜図13を用いて、上述した視線に基づく描画制御の態様の例について説明する。
<7. Aspect of drawing control based on line of sight>
Next, an example of a drawing control mode based on the above-described line of sight will be described with reference to FIGS.
(7−1.2種類のモデルの切り替え)
図10及び図11に示す例は、段階的に異なる画質で描画された2種類のモデルを切り替える場合である。図10に示すように、この例では視野33に5人の人物モデルM1〜M5が表示されている。なお、モデルの種類、数、位置等はこれに限定されるものではない。また、モデル以外の画像(背景等)については図示を省略する。
(7-1.2 Model switching)
The example shown in FIGS. 10 and 11 is a case where two types of models drawn with different image quality in stages are switched. As shown in FIG. 10, in this example, five person models M <b> 1 to M <b> 5 are displayed in the
図11に示すように、格納部27には、モデルM1〜M5の各々について、比較的画質の高いハイモデルと比較的画質の低いローモデルが格納されている。この例では、ハイモデルはポリゴン数が比較的多く、テクスチャ解像度が比較的高く、シェーダによる効果の度合いが比較的大きくなるように設定されている。またローモデルはポリゴン数が比較的少なく、テクスチャ解像度が比較的低く、シェーダによる効果の度合いが比較的小さくなるように設定されている。
As shown in FIG. 11, the
ポリゴンは、主に3次元コンピュータグラフィックスにおいて立体の形状を表現する際に使用される多角形の要素であり、ポリゴン数が多いほどより精細で緻密な描画が可能となる。テクスチャは、主に3次元コンピュータグラフィックスにおいて物体の表面の質感(例えば光沢や凹凸等)を表現するために貼り付けられる画像のことであり、テクスチャの解像度が高いほどより精細で緻密な描画が可能となる。シェーダは、主に3次元コンピュータグラフィックスにおいて陰影処理等を行う機能であり、シェーダの効果の度合いが大きいほどより精細で緻密な描画が可能となる。なお、シェーダ機能はハードウェアにより実装されてもよいし、ソフトウェア(いわゆるプログラマブルシェーダ)により実装されてもよい。 A polygon is a polygonal element that is mainly used to represent a three-dimensional shape in three-dimensional computer graphics. As the number of polygons increases, finer and more precise drawing becomes possible. Texture is an image that is pasted mainly to express the surface texture of an object (such as gloss or unevenness) in 3D computer graphics. The higher the resolution of the texture, the more detailed and detailed the drawing is. It becomes possible. The shader is a function that mainly performs shading processing or the like in three-dimensional computer graphics. The greater the shader effect, the more detailed and precise drawing it becomes possible. The shader function may be implemented by hardware or software (so-called programmable shader).
図11に示す例では、これらの画質に関わる要素が複合的に段階的に変化されたモデルとしているが、各要素がそれぞれ単独で段階的に変化されたモデルをそれぞれ用意してもよい。また、画質に関わる要素は上記に限定されるものではなく、例えばLOD(Level Of Detail)等のその他の要素を含んでもよい。 In the example shown in FIG. 11, these elements related to the image quality are combined and changed in a stepwise manner, but a model in which each element is changed in a stepwise manner may be prepared. In addition, elements related to image quality are not limited to the above, and may include other elements such as LOD (Level Of Detail).
図10に示すように、ユーザの注視点39の近傍には近傍領域41が設定されている。この例では、近傍領域41は視野33における二次元座標系において注視点39を中心とする所定の半径の円形状の領域に設定されている。一般に、ユーザの目の光学的な特性は網膜の中心位置からの距離と共に低下することから、視野33において注視点39から距離が離れた領域ほど、画質の変化がユーザに認識されにくくなる。上記近傍領域41の半径はこれを考慮して設定されており、近傍領域41の内側では画質の変化がユーザに認識されやすく、近傍領域41の外側の領域、つまり注視点39の周辺である周辺領域43では、画質の変化がユーザに認識されにくくなっている。
As shown in FIG. 10, a
図10は、ユーザの注視点39が視野33における略中心位置から略左下方向に移動する例を示している。図10上部に示すように、注視点39が略中心位置にある際には、その近傍領域41に位置するモデルM1が、格納部27に格納された対応するモデルM1の中で最も画質が高いモデルであるハイモデルで表示されている。また、周辺領域43に位置するモデルM2〜M5については、近傍領域41に位置するモデルM1よりも画質が低いローモデルで表示されている。その結果、周辺領域43の描画は近傍領域41の描画よりも簡素となっている。
FIG. 10 shows an example in which the user's
そして、図10下部に示すように、注視点39が移動した際には、その近傍領域41に位置することとなったモデルM3が、格納部27に格納された対応するモデルM3の中で最も画質が高いモデルであるハイモデルに切り替えて表示され、周辺領域43に位置することとなったモデルM1は、近傍領域41に位置するモデルM3よりも画質が低いローモデルに切り替えて表示される。なお、注視点39の移動前後において領域が変わらず周辺領域43に位置するモデルM2,M4,M5については、ローモデルの表示のまま維持される。その結果、注視点39の周辺領域43の描画は近傍領域41の描画よりも簡素となっている。
Then, as shown in the lower part of FIG. 10, when the
なお、上記において描画が簡素になっても、モデルがぼかして表示されるわけではない。ポリゴン数が減り、物体表面の質感や陰影処理の精度が落ちることにより、例えばモデルの輪郭等の外形線はシャープなままで、より大雑把に描画されることになる。 Note that even if the drawing is simplified in the above, the model is not displayed in a blurred manner. As the number of polygons is reduced and the texture of the object surface and the accuracy of shading processing are reduced, for example, outlines such as model outlines remain sharp and are drawn more roughly.
なお、上記において近傍領域41に位置するモデルは、その全部が近傍領域41内に位置するモデルに限定してもよいし、その一部が近傍領域41内に位置するものを含んでもよい。その場合、例えば半分以上が近傍領域41内に位置するもの等、その割合で設定してもよい。
Note that the model located in the
(7−2.3種類以上のモデルの切り替え)
上記では画質の異なる2種類のモデルを切り替える場合について説明したが、3種類以上のモデルを切り替えるようにしてもよい。図12及び図13に示す例は、段階的に異なる画質で描画された3種類のモデルを切り替える場合である。図12に示すように、この例では視野33に5人の人物モデルM1〜M5が表示されている。
(7-2. Switching between 3 or more models)
Although the case where two types of models having different image quality are switched has been described above, three or more types of models may be switched. The example shown in FIGS. 12 and 13 is a case where three types of models drawn with different image quality in stages are switched. As shown in FIG. 12, in this example, five person models M1 to M5 are displayed in the
図13に示すように、格納部27には、モデルM1〜M5の各々について、最も画質の高いハイモデルと最も画質の低いローモデル、さらにその中間の画質であるミドルモデルが格納されている。ミドルモデルは、ポリゴン数、テクスチャ解像度及びシェーダ効果の各要素について、ハイモデルとローモデルの中間のレベルに設定されている。
As shown in FIG. 13, the
図12に示すように、ユーザの注視点39の近傍には近傍領域41が設定されている。また、この例では、近傍領域41の外側の領域である周辺領域が、注視点39に比較的近い第1周辺領域45と、この第1周辺領域45よりも注視点39から離れた第2周辺領域47に分かれて設定されている。前述のように、目の光学的な特性により注視点39から距離が離れた領域ほど画質の変化がユーザに認識されにくくなることから、第2周辺領域47では第1周辺領域45よりもさらに画質の変化がユーザに認識されにくくなっている。
As shown in FIG. 12, a
図12は、ユーザの注視点39が視野33における略中心位置から略左下方向に移動する例を示している。図12上部に示すように、注視点39が略中心位置にある際には、その近傍領域41に位置するモデルM1が、格納部27に格納された対応するモデルM1の中で最も画質が高いモデルであるハイモデルで表示されている。また、第1周辺領域45に位置するモデルM3,M5については、近傍領域41に位置するモデルM1よりも画質が低いミドルモデルで表示されている。また、第2周辺領域47に位置するモデルM2,M4については、第1周辺領域45に位置するモデルM3,M5よりもさらに画質が低いローモデルで表示されている。
FIG. 12 shows an example in which the user's
そして、図12下部に示すように、注視点39が移動した際には、その近傍領域41に位置することとなったモデルM3が、格納部27に格納された対応するモデルM3の中で最も画質が高いモデルであるハイモデルに切り替えて表示される。また、第1周辺領域45に位置することとなったモデルM1は、近傍領域41に位置するモデルM3よりも画質が低いミドルモデルに切り替えて表示される。さらに、第2周辺領域47から第1周辺領域45に移動したモデルM2については、ローモデルからミドルモデルに切り替えて表示され、第1周辺領域45から第2周辺領域47に移動したモデルM5については、ミドルモデルからローモデルに切り替えて表示される。なお、注視点39の移動前後において領域が変わらず第2周辺領域47に位置するモデルM4については、ローモデルの表示のまま維持される。
Then, as shown in the lower part of FIG. 12, when the
以上のように、本例では周辺領域を注視点39からの距離に応じてさらに2分化すると共に、各モデルについて領域数に応じてさらに段階的に画質を異ならせたモデルを用意することで、より細かな描画制御が可能となっている。なお、上記では周辺領域を2分化した場合を説明したが、さらに細分化してもよく、各モデルについてもさらに多数の段階に画質を異ならせたモデルを用意してもよい。
As described above, in this example, the peripheral area is further divided into two parts according to the distance from the
<8.情報処理装置のハードウェア構成>
次に、図14を用いて、上記で説明したCPU101が実行するプログラムにより実装された各処理部を実現する情報処理装置3のハードウェア構成の一例について説明する。
<8. Hardware configuration of information processing apparatus>
Next, an example of the hardware configuration of the
図14に示すように、情報処理装置3は、例えば、CPU101と、ROM103、RAM105と、ASIC又はFPGA等の特定の用途向けに構築された専用集積回路107と、入力装置113と、出力装置115と、記録装置117と、ドライブ119と、接続ポート121と、通信装置123とを有する。これらの構成は、バス109や入出力インターフェース111等を介し相互に信号を伝達可能に接続されている。
As illustrated in FIG. 14, the
プログラムは、例えば、ROM103やRAM105、記録装置117等の記録装置に記録しておくことができる。
The program can be recorded in a recording device such as the
また、プログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のCD・MOディスク・DVD等の光ディスク、半導体メモリ等のリムーバブル記録媒体125に、一時的又は永続的に記録しておくこともできる。このようなリムーバブル記録媒体125は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらのリムーバブル記録媒体125に記録されたプログラムは、ドライブ119により読み出されて、入出力インターフェース111やバス109等を介し上記記録装置117に記録されてもよい。
The program can also be recorded temporarily or permanently on a magnetic disk such as a flexible disk, an optical disk such as various CD / MO disks / DVDs, or a
また、プログラムは、例えば、ダウンロードサイト・他のコンピュータ・他の記録装置等(図示せず)に記録しておくこともできる。この場合、プログラムは、LANやインターネット等のネットワークNWを介し転送され、通信装置123がこのプログラムを受信する。そして、通信装置123が受信したプログラムは、入出力インターフェース111やバス109等を介し上記記録装置117に記録されてもよい。
The program can also be recorded on, for example, a download site, another computer, another recording device, etc. (not shown). In this case, the program is transferred via a network NW such as a LAN or the Internet, and the
また、プログラムは、例えば、適宜の外部接続機器127に記録しておくこともできる。この場合、プログラムは、適宜の接続ポート121を介し転送され、入出力インターフェース111やバス109等を介し上記記録装置117に記録されてもよい。
The program can also be recorded in an appropriate
そして、CPU101が、上記記録装置117に記録されたプログラムに従い各種の処理を実行することにより、前述の表示制御部15や描画制御部25等による処理が実現される。この際、CPU101は、例えば、上記記録装置117からプログラムを、直接読み出して実行してもよく、RAM105に一旦ロードした上で実行してもよい。更にCPU101は、例えば、プログラムを通信装置123やドライブ119、接続ポート121を介し受信する場合、受信したプログラムを記録装置117に記録せずに直接実行してもよい。
Then, the
また、CPU101は、必要に応じて、例えばマウス・キーボード・マイク・ゲームコントローラ等(図示せず)の入力装置113から入力する信号や情報に基づいて各種の処理を行ってもよい。
Further, the
そして、CPU101は、上記の処理を実行した結果を、例えば表示装置や音声出力装置等の出力装置115から出力してもよく、さらにCPU101は、必要に応じてこの処理結果を通信装置123や接続ポート121を介し送信してもよく、上記記録装置117やリムーバブル記録媒体125に記録させてもよい。
Then, the
<9.実施形態の効果>
以上説明したように、本実施形態のプログラムは、ヘッドマウントディスプレイ5と通信可能に接続された情報処理装置3を表示制御部15、生成部17及び特定部19として機能させる。表示制御部15は、ユーザの視線を誘導するマーカ31をヘッドマウントディスプレイ5の表示装置7に表示させる。このマーカ31により誘導されたユーザの視線情報は視線検出装置9により検出され、生成部17はこの視線情報と対応するマーカ31の表示位置との相関情報を生成する。特定部19はこの相関情報を参照して、視線検出装置9により検出された視線情報に基づくユーザの注視位置を特定する。
<9. Effects of the embodiment>
As described above, the program according to the present embodiment causes the
ここで、本実施形態のように視線検出装置9を備えたヘッドマウントディスプレイ5を使用する場合、ユーザの目の位置、大きさ、形状等には個人差があり、またヘッドマウントディスプレイ5の装着の仕方も、例えば傾いた状態で装着されたり、頭部に対する被りの深さが異なる等、ユーザによって異なる場合があることから、ユーザの視線を正確に検出できない可能性がある。
Here, when using the head mounted
本実施形態では、上記のようにしてユーザの注視位置を特定することで、視線情報に含まれる検出誤差を低減することが可能となり、ユーザの視線をより正確に検出できる。これにより、精度の良い視線入力が可能となり、視線入力を用いる様々な用途(例えばゲーム内の演出等)に活用することができる。 In the present embodiment, by specifying the user's gaze position as described above, it is possible to reduce the detection error included in the line-of-sight information, and the user's line of sight can be detected more accurately. As a result, accurate line-of-sight input is possible, and it can be used for various purposes using the line-of-sight input (for example, in-game effects).
また、本実施形態によれば、次のような効果も得ることができる。一般に、ヘッドマウントディスプレイ5には加速度センサやジャイロセンサ等が内蔵されており、ユーザの頭部の動作や位置に応じて表示装置7に表示された画像が変化し、よりリアルな仮想現実を実現する。しかしながら、視線検出の調整の際に表示されるマーカ31がユーザの頭部の動作等の影響を受けると、マーカ31の表示位置及びユーザの視線情報が変動するので、生成部17が正しい相関情報を生成することができず、適正な調整を行うことができなくなる可能性がある。
Moreover, according to this embodiment, the following effects can also be acquired. In general, the head-mounted
本実施形態では、表示制御部15は、ユーザの頭部の動作及び位置に関わらず、マーカ31が表示装置7の視野33内の予め設定された位置で静止されるように、又はマーカ31が視野33内の予め設定された経路35を移動するように、マーカ31を表示する。これにより、視線検出の調整中にユーザが頭部を動かした場合でも、生成部17は正しい相関情報を生成することが可能となり、適正な視線検出の調整を行うことができる。
In the present embodiment, the
また、本実施形態によれば、次のような効果も得ることができる。すなわち、視線検出の調整には、表示装置7の視野全体における相関情報を生成するのが好ましい。そこで、略四角形状の視野33である場合、当該視野33の中心位置及び4つの角部(四隅)の5箇所における視線情報を取得するのが好ましい。但し、対角線上の2つの角部における視線情報を取得することで、反対の対角線上の2つの角部については視線情報を推定可能であり、また視野33の中心位置(対角線の中点位置)における視線情報についても、例えば2つの角部の平均を取る等により推定することが可能である。したがって、最低限対角線上の2つの角部における視線情報を取得すれば、視野全体の相関情報を生成して視線検出の調整を行うことが可能である。
Moreover, according to this embodiment, the following effects can also be acquired. That is, it is preferable to generate correlation information in the entire visual field of the
したがって、前述の図6に示すように、マーカ31を略四角形状の視野33の対角線上の2つの角部の近傍にのみ表示する場合には、マーカ31の表示位置を視線検出の調整が可能となる最低限の2箇所とすることができる。これにより、視線検出の調整に必要な時間を大幅に短縮することが可能である。
Therefore, as shown in FIG. 6 described above, when the
また、前述の図5に示すように、視野33の対角線上の2つの角部の近傍に加えて、視野33の中心位置にマーカを表示する場合には、中心位置での視線情報を取得することで、対角線上の2つの角部のみの場合よりも視野全体の相関情報をより正確に把握することができる。したがって、注視位置をより正確に特定することができる。
Further, as shown in FIG. 5 described above, when displaying a marker at the center position of the
また、前述の図4に示すように、視野33の中心位置と4つの角部近傍の5箇所にマーカ31を表示する場合には、視野全体の相関情報をさらに正確に把握することができ、注視位置をさらに正確に特定することができる。
In addition, as shown in FIG. 4 described above, when the
また、前述の図7に示すように、マーカ31を少なくとも対角線上の2つの角部の近傍を含む経路35を連続的に移動するように表示する場合には、基準位置における固定的な相関情報だけでなく、例えばユーザの視線の追従速度や視線の移動経路の癖等の動作的な相関情報をも生成することが可能となる。その結果、このような動作的な相関情報をも考慮したより緻密で正確な注視位置の特定が可能となる。
Further, as shown in FIG. 7 described above, when the
また、前述の図8に示すように、マーカ31が表示される領域を囲む枠37と共にマーカ31を表示する場合には、ユーザは枠37を基準としてマーカ31を注視し易くなると共に、マーカ31の次の表示箇所をある程度予測することが可能となるので、ユーザの身体的、心理的負担を軽減できる。
In addition, as shown in FIG. 8 described above, when the
また、本実施形態のプログラムは、情報処理装置3を記録制御部21及び判定部23としてさらに機能させる。記録制御部21は、視線検出の調整の際に生成した相関情報の記録装置117への書き込み及び読み出しを行い、判定部23は、ヘッドマウントディスプレイ5を使用するユーザが相関情報を記録されたユーザであるか否かを判定する。判定部23によりユーザが相関情報を記録されたユーザであると判定された場合、記録制御部21が記録装置117から相関情報を読み出し、特定部19が読み出された相関情報を用いて視線情報に基づくユーザの注視位置を特定する。このようにすることで、一度視線検出の調整を行ったユーザが再度ヘッドマウントディスプレイ5を使用する際に相関情報を再利用できるので、新たな視線検出の調整が不要となる。したがって、ユーザの利便性を向上できる。
The program according to the present embodiment further causes the
なお、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。 In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.
その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。 In addition, although not illustrated one by one, the above-mentioned embodiment and each modification are implemented with various modifications within a range not departing from the gist thereof.
3 情報処理装置
5 ヘッドマウントディスプレイ
7 表示装置
9 視線検出装置
15 表示制御部
17 生成部
19 特定部
21 記録制御部
23 判定部
31 マーカ
33 視野
35 経路
37 枠
117 記録装置
125 記録媒体
DESCRIPTION OF
Claims (9)
前記ユーザの視線を誘導するマーカを前記表示装置に表示させる表示制御部、
前記マーカにより誘導され前記視線検出装置により検出された前記ユーザの視線情報と前記マーカの表示位置との相関情報を生成する生成部、
前記相関情報を用いて、前記視線情報に基づく前記ユーザの注視位置を特定する特定部、
として機能させることを特徴とするプログラム。 An information processing apparatus communicably connected to a head mounted display including a display device for displaying an image and a gaze detection device for detecting a gaze of a user,
A display control unit for displaying on the display device a marker for guiding the user's line of sight;
A generating unit that generates correlation information between the user's line-of-sight information detected by the marker and detected by the line-of-sight detection device, and the display position of the marker;
A specifying unit that specifies the gaze position of the user based on the line-of-sight information using the correlation information;
A program characterized by functioning as
前記ユーザの頭部の動作及び位置に関わらず、前記マーカが前記表示装置の視野内の予め設定された位置で静止されるように、又は前記マーカが前記視野内の予め設定された経路を移動するように、前記マーカを表示する
ことを特徴とする請求項1に記載のプログラム。 The display control unit
Regardless of the movement and position of the user's head, the marker remains stationary at a preset position within the field of view of the display device, or the marker moves along a preset path within the field of view. The program according to claim 1, wherein the marker is displayed.
前記マーカを、略四角形状の前記視野の少なくとも対角線上の2つの角部の近傍に順次静止した状態で表示する
ことを特徴とする請求項2に記載のプログラム。 The display control unit
The program according to claim 2, wherein the marker is displayed in a stationary state in the vicinity of at least two corners on a diagonal line of the substantially rectangular visual field.
前記マーカを、少なくとも前記視野の中心位置と前記対角線上の2つの角部の近傍に順次静止した状態で表示する
ことを特徴とする請求項3に記載のプログラム。 The display control unit
4. The program according to claim 3, wherein the marker is displayed in a stationary state at least in the vicinity of at least the center position of the visual field and the two corners on the diagonal line.
前記マーカを、前記視野の前記中心位置と4つの角部の近傍に順次静止した状態で表示する
ことを特徴とする請求項4に記載のプログラム。 The display control unit
The program according to claim 4, wherein the marker is displayed in a stationary state in the vicinity of the central position of the visual field and four corners.
前記マーカを、少なくとも前記対角線上の2つの角部の近傍を含む経路を連続的に移動するように表示する
ことを特徴とする請求項3乃至5のいずれか1項に記載のプログラム。 The display control unit
The program according to any one of claims 3 to 5, wherein the marker is displayed so as to continuously move along a path including at least the vicinity of two corners on the diagonal line.
前記マーカが表示される領域を囲む枠と共に前記マーカを表示する
ことを特徴とする請求項2乃至6おいずれか1項に記載のプログラム。 The display control unit
The program according to any one of claims 2 to 6, wherein the marker is displayed together with a frame surrounding an area where the marker is displayed.
前記相関情報の記録装置への書き込み及び読み出しを行う記録制御部、
前記ヘッドマウントディスプレイを使用する前記ユーザが前記相関情報を記録されたユーザであるか否かを判定する判定部、
としてさらに機能させ、
前記特定部は、
前記ユーザが前記相関情報を記録されたユーザであると判定された場合に、前記記録装置から読み出された前記相関情報を用いて、前記視線情報に基づく前記ユーザの注視位置を特定する
ことを特徴とする請求項1乃至7のいずれか1項に記載のプログラム。 The information processing apparatus;
A recording control unit for writing and reading the correlation information to and from the recording device;
A determination unit that determines whether the user using the head-mounted display is a user who has recorded the correlation information;
To further function as
The specific part is:
When it is determined that the user is a user who has recorded the correlation information, the user's gaze position based on the line-of-sight information is specified using the correlation information read from the recording device. The program according to any one of claims 1 to 7, characterized in that:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015089870A JP2016207042A (en) | 2015-04-24 | 2015-04-24 | Program and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015089870A JP2016207042A (en) | 2015-04-24 | 2015-04-24 | Program and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016207042A true JP2016207042A (en) | 2016-12-08 |
Family
ID=57489865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015089870A Pending JP2016207042A (en) | 2015-04-24 | 2015-04-24 | Program and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016207042A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019054385A (en) * | 2017-09-14 | 2019-04-04 | カシオ計算機株式会社 | Sound collecting device, hearing aid, and sound collecting device set |
WO2019244270A1 (en) * | 2018-06-20 | 2019-12-26 | 三菱電機株式会社 | Three-dimensional eye coordinate acquisition device and gesture operation device |
WO2020026574A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社Jvcケンウッド | Device, method, and program for detecting line of sight |
JP2022510793A (en) * | 2018-12-14 | 2022-01-28 | バルブ コーポレーション | Player biofeedback for dynamic control of video game state |
JP7516371B2 (en) | 2018-12-14 | 2024-07-16 | バルブ コーポレーション | Video Game Devices |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099253A (en) * | 1995-06-19 | 1997-01-10 | Toshiba Corp | Picture compression communication equipment |
JPH0956679A (en) * | 1995-08-18 | 1997-03-04 | Canon Inc | Image processing device and optical device |
JP2001134371A (en) * | 1999-11-05 | 2001-05-18 | Shimadzu Corp | Visual line detector |
JP2004056335A (en) * | 2002-07-18 | 2004-02-19 | Sony Corp | Information processing apparatus and method, display apparatus and method, and program |
JP2004341112A (en) * | 2003-05-14 | 2004-12-02 | Sony Corp | Imaging unit |
JP2010199789A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
JP2012216123A (en) * | 2011-04-01 | 2012-11-08 | Brother Ind Ltd | Head-mounted display and program used therefor |
WO2014197226A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
-
2015
- 2015-04-24 JP JP2015089870A patent/JP2016207042A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH099253A (en) * | 1995-06-19 | 1997-01-10 | Toshiba Corp | Picture compression communication equipment |
JPH0956679A (en) * | 1995-08-18 | 1997-03-04 | Canon Inc | Image processing device and optical device |
JP2001134371A (en) * | 1999-11-05 | 2001-05-18 | Shimadzu Corp | Visual line detector |
JP2004056335A (en) * | 2002-07-18 | 2004-02-19 | Sony Corp | Information processing apparatus and method, display apparatus and method, and program |
JP2004341112A (en) * | 2003-05-14 | 2004-12-02 | Sony Corp | Imaging unit |
JP2010199789A (en) * | 2009-02-24 | 2010-09-09 | Brother Ind Ltd | Head-mounted display |
JP2012216123A (en) * | 2011-04-01 | 2012-11-08 | Brother Ind Ltd | Head-mounted display and program used therefor |
WO2014197226A1 (en) * | 2013-06-07 | 2014-12-11 | Sony Computer Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019054385A (en) * | 2017-09-14 | 2019-04-04 | カシオ計算機株式会社 | Sound collecting device, hearing aid, and sound collecting device set |
WO2019244270A1 (en) * | 2018-06-20 | 2019-12-26 | 三菱電機株式会社 | Three-dimensional eye coordinate acquisition device and gesture operation device |
JPWO2019244270A1 (en) * | 2018-06-20 | 2021-03-11 | 三菱電機株式会社 | Eye 3D coordinate acquisition device and gesture operation device |
WO2020026574A1 (en) * | 2018-07-31 | 2020-02-06 | 株式会社Jvcケンウッド | Device, method, and program for detecting line of sight |
JP2020018470A (en) * | 2018-07-31 | 2020-02-06 | 株式会社Jvcケンウッド | Visual line detection device, visual line detection method, and visual line detection program |
JP2022510793A (en) * | 2018-12-14 | 2022-01-28 | バルブ コーポレーション | Player biofeedback for dynamic control of video game state |
JP7516371B2 (en) | 2018-12-14 | 2024-07-16 | バルブ コーポレーション | Video Game Devices |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9978342B2 (en) | Image processing method controlling image display based on gaze point and recording medium therefor | |
JP7283506B2 (en) | Information processing device, information processing method, and information processing program | |
US10936146B2 (en) | Ergonomic mixed reality step-by-step instructions tethered to 3D holograms in real-world locations | |
EP3353632B1 (en) | Eye-tracking enabled wearable devices | |
CN116719452A (en) | Method for interacting with virtual controls and/or affordances for moving virtual objects in a virtual environment | |
JP6766824B2 (en) | Information processing equipment, information processing methods, and programs | |
US11481025B2 (en) | Display control apparatus, display apparatus, and display control method | |
US11194392B2 (en) | Method of calibrating eye-tracking application and related optical system | |
JP2023507867A (en) | Artificial reality system with variable focus display for artificial reality content | |
US20240077937A1 (en) | Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments | |
JP2016207042A (en) | Program and storage medium | |
KR20230037054A (en) | Systems, methods, and graphical user interfaces for updating a display of a device relative to a user's body | |
US20240144533A1 (en) | Multi-modal tracking of an input device | |
JP2018061667A (en) | Game program and game device | |
US20240020371A1 (en) | Devices, methods, and graphical user interfaces for user authentication and device management | |
JP6456003B2 (en) | Gaze control device and method, and medical device | |
US20210089121A1 (en) | Using spatial information for dynamic dominant eye shifts | |
JP6592313B2 (en) | Information processing apparatus, display control method, and display control program | |
JP2018195172A (en) | Information processing method, information processing program, and information processing device | |
US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
US20240103636A1 (en) | Methods for manipulating a virtual object | |
US20240118746A1 (en) | User interfaces for gaze tracking enrollment | |
US20240103617A1 (en) | User interfaces for gaze tracking enrollment | |
US20240212272A1 (en) | Interactions based on mirror detection and context awareness | |
JP2018102587A (en) | Game program, record medium and game processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190319 |