JP6598575B2 - Method and program for controlling head mounted display system - Google Patents
Method and program for controlling head mounted display system Download PDFInfo
- Publication number
- JP6598575B2 JP6598575B2 JP2015160452A JP2015160452A JP6598575B2 JP 6598575 B2 JP6598575 B2 JP 6598575B2 JP 2015160452 A JP2015160452 A JP 2015160452A JP 2015160452 A JP2015160452 A JP 2015160452A JP 6598575 B2 JP6598575 B2 JP 6598575B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- gaze
- virtual space
- target object
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、ユーザがヘッドマウントディスプレイ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）を用いて没入する仮想空間を、コンピュータに提供させる方法、および、プログラムに関するものである。 The present invention relates to a method and a program for causing a computer to provide a virtual space in which a user immerses using a head-mounted display (HMD).
特許文献１には、仮想空間内の各場所にユーザ毎の地価を設定し、当該場所に対する各ユーザ間の地価を平均化することによって、その場所に広告を表示する場合の広告料を設定する手法が開示されている。地価は、各ユーザの移動操作履歴に基づいて設定される。また、特許文献２には、ユーザの行動状況に基づいて、表示アイテムの優先度を設定する技術が開示されている。 In Patent Document 1, a land price for each user is set in each place in the virtual space, and an advertisement charge for displaying an advertisement in that place is set by averaging the land prices between the users for the place. A technique is disclosed. The land price is set based on the movement operation history of each user. Patent Document 2 discloses a technique for setting the priority of a display item based on a user's action situation.
特許文献１，２に記載された技術においては、一つのコンテンツ内におけるユーザの行動に基づいてユーザに広告を提供するものであるため、複数のコンテンツにおけるユーザの行動に基づいて適切な広告を提案する上で、改善の余地がある。 In the techniques described in Patent Documents 1 and 2, since the advertisement is provided to the user based on the user's action in one content, an appropriate advertisement is proposed based on the user's action in a plurality of contents. There is room for improvement.
本発明によれば、ユーザが没入する仮想空間を提供する方法であって、コンピュータに、前記ユーザが没入する第１仮想空間および第２仮想空間を生成するステップと、前記第１仮想空間に、第１対象オブジェクトを生成するステップと、前記第２仮想空間に、前記第１対象オブジェクトと関連する第２対象オブジェクトを生成するステップと、前記ユーザが前記第１対象オブジェクトおよび前記第２対象オブジェクトを注視した時間を合算した注視時間を特定するステップと、前記注視時間に基づいて、前記ユーザに所定のコンテンツを提供するステップと、
を実行させる方法、が得られる。
According to the present invention, there is provided a method for providing a virtual space into which a user is immersed, the step of generating a first virtual space and a second virtual space in which the user is immersed in a computer, Generating a first target object; generating a second target object associated with the first target object in the second virtual space; and wherein the user sets the first target object and the second target object. Identifying a gaze time that is a sum of gaze times; providing predetermined content to the user based on the gaze time;
Is obtained.
本発明によれば、複数のコンテンツにおけるユーザの行動に基づいて適切な広告を提案し得る。 ADVANTAGE OF THE INVENTION According to this invention, an appropriate advertisement can be proposed based on the user's action in several content.
［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるヘッドマウントディスプレイシステムを制御する方法、および、プログラムは、以下のような構成を備える。
（項目１）
ユーザが没入する仮想空間を提供する方法であって、コンピュータに、
前記ユーザが没入する第１仮想空間および第２仮想空間を生成するステップと、
前記第１仮想空間に、第１対象オブジェクトを生成するステップと、
前記第２仮想空間に、前記第１対象オブジェクトと関連する第２対象オブジェクトを生成するステップと、
前記ユーザが前記第１対象オブジェクトおよび前記第２対象オブジェクトを注視した時間を合算した注視時間を特定するステップと、
前記注視時間に基づいて、前記ユーザに所定のコンテンツを提供するステップと、を実行させる方法。
本項目の方法によれば、複数のコンテンツにおけるユーザの視線履歴に関する行動を合算することで、より適切な広告をユーザ提案し得る。
（項目２）
前記仮想空間を、ヘッドマウントディスプレイに出力することにより前記ユーザに提供し、
前記ユーザが前記第１対象オブジェクトを注視した時間を特定した後に、
前記ヘッドマウントディスプレイが前記ユーザから非装着とされた場合には、
前記第２対象オブジェクトを注視した時間を、第１対象オブジェクトを注視した時間に合算せず、前記第１対象オブジェクトを注視した時間を前記注視時間として特定する、項目１の方法。
本項目の方法によれば、ＨＭＤが一度非装着とされた場合には注視時間の計測をリセットすることで、ユーザの関心を一定の長期間にわたって平均化することなく、一時的なユーザの関心の高まりに対しても適時アプローチすることが可能なコンテンツ提供手段を提供し得る。
（項目３）
前記注視時間に基づいて、前記ユーザに提供される前記コンテンツの優先度を設定し、
前記優先度に基づいて、前記コンテンツに関連する拡張コンテンツを特定し、
前記ヘッドマウントディスプレイが前記ユーザに装着されていない場合に、前記拡張コンテンツをダウンロードするためのダウンロード要求を出力する、項目１または２の方法。
本項目の方法によれば、広告に関連する拡張コンテンツ（例えば、ゲームの体験版。）を、ヘッドマウントディスプレイを使用していない時にダウンロードしておくことができる。これにより、ヘッドマウントディスプレイ使用中のユーザに通信状況が悪化する等の違和感を与えること無く、拡張コンテンツを提供することができる。
（項目４）
ランチャー空間を生成するステップをさらに備え、
前記ランチャー空間は、前記第１仮想空間および前記第２仮想空間に関連付けられる、項目１〜３のいずれかの方法。
本項目の方法によれば、ある仮想空間におけるユーザの関心を反映させた広告等のオブジェクトをランチャー空間に一覧として表示させることにより、ユーザの仮想空間に対する没入間を損なうことを防止することができる。
（項目５）
前記注視時間に基づいて、前記ユーザに提供される前記コンテンツの優先度を設定し、
前記ランチャー空間には、前記コンテンツが前記優先度に応じて表示される、項目４の方法。
本項目の方法によれば、ある仮想空間におけるユーザの関心を反映させた広告等のオブジェクトをランチャー空間に一覧として表示させることにより、ユーザの仮想空間に対する没入間を損なうことを防止することができる。
（項目６）
前記ユーザの前記視線方向に基づいて、前記ユーザの視界領域を定義するステップと、
前記視界領域に含まれる複数の前記第１対象オブジェクトである第１オブジェクトと第２オブジェクトを特定するステップと、
前記第１オブジェクトに対する前記ユーザの前記注視時間が所定の閾値を超過した場合には、前記第２オブジェクトの表示を、前記第１オブジェクトと関連するように変化させるステップと、をさらに含む、項目１〜５のいずれかの方法。
本項目の方法によれば、ユーザが所定の対象を注視した場合に、ユーザの視野内にある他のオブジェクトを、注視したオブジェクトに関連するように変化させる。これにより、ユーザの関心に対して適時アプローチすることが可能なコンテンツ提供手段を提供し得る。
（項目７）
前記第１仮想空間における第１基準位置、および、前記第１対象オブジェクトが配置された第１対象オブジェクト位置を定義するステップと、
前記第１基準位置に対する前記ユーザの視線方向である第１基準方向を定義するステップと、
前記第１対象オブジェクトに対する前記ユーザの視線方向である第１注視方向を特定するステップと、
前記ユーザが前記第１対象オブジェクトを注視した第１注視時間を特定するステップと、
前記第１注視時間と、前記第１注視方向と、前記第１基準方向に基づいて、第１調整済注視時間を特定するステップと、
前記第２仮想空間における第２基準位置、および、前記第２対象オブジェクトが配置された第２対象オブジェクト位置を定義するステップと、
前記第２基準位置に対する前記ユーザの視線方向である第２基準方向を定義するステップと、
前記第２対象オブジェクトに対する前記ユーザの視線方向である第２注視方向を特定するステップと、
前記ユーザが前記第２対象オブジェクトを注視した第２注視時間を特定するステップと、
前記第２注視時間と、前記第２注視方向と、前記第２基準方向に基づいて、第２調整済注視時間を特定するステップと、をさらに含み、
前記注視時間は、前記第１調整済注視時間と第２調整済注視時間を合算することによって特定される、請求項１〜６のいずれかの方法。
本項目の方法によれば、ユーザが広告等の対象オブジェクトを注視した時間に基づいて、当該ユーザに広告に関連するコンテンツを提供する。その際、ユーザの注視方向と、仮想空間内に設定された基準方向との関係によって、注視した時間を調整することとしている。これにより、ユーザが関心を示した対象を容易に判別し、適時アプローチすることが可能なコンテンツ提供手段を提供し得る。
（項目８）
項目１〜７のいずれかの方法を前記コンピュータに実行させるプログラム。
[Description of Embodiment of the Present Invention]
First, the contents of the embodiment of the present invention will be listed and described. A method and a program for controlling a head mounted display system according to an embodiment of the present invention have the following configuration.
(Item 1)
A method for providing an immersive virtual space for a computer,
Generating a first virtual space and a second virtual space into which the user is immersed;
Generating a first target object in the first virtual space;
Generating a second target object associated with the first target object in the second virtual space;
Identifying a gaze time that is a sum of times when the user gazes at the first target object and the second target object;
Providing a predetermined content to the user based on the gaze time.
According to the method of this item, a user can propose a more appropriate advertisement by adding up the actions related to the user's line-of-sight history in a plurality of contents.
(Item 2)
Providing the virtual space to the user by outputting to a head mounted display;
After identifying the time when the user gazes at the first target object,
When the head mounted display is not worn by the user,
The method according to item 1, wherein the time when the second target object is watched is not added to the time when the first target object is watched, and the time when the first target object is watched is specified as the watch time.
According to the method of this item, when the HMD is not worn once, the gaze time measurement is reset, so that the user's interest is temporarily averaged without averaging the user's interest over a certain long period of time. It is possible to provide a content providing means capable of timely approaching the increase in the number of times.
(Item 3)
Based on the gaze time, set the priority of the content provided to the user,
Based on the priority, identify extended content related to the content,
3. The method according to item 1 or 2, wherein when the head mounted display is not attached to the user, a download request for downloading the extended content is output.
According to the method of this item, the extended content (for example, a trial version of a game) related to the advertisement can be downloaded when the head mounted display is not used. As a result, the extended content can be provided without giving the user who is using the head-mounted display a sense of incongruity such as deterioration of the communication status.
(Item 4)
And further comprising the step of generating a launcher space,
The method according to any one of items 1 to 3, wherein the launcher space is associated with the first virtual space and the second virtual space.
According to the method of this item, by displaying objects such as advertisements reflecting the user's interest in a certain virtual space as a list in the launcher space, it is possible to prevent a loss of immersion in the user's virtual space. .
(Item 5)
Based on the gaze time, set the priority of the content provided to the user,
The method of item 4, wherein the content is displayed in the launcher space according to the priority.
According to the method of this item, by displaying objects such as advertisements reflecting the user's interest in a certain virtual space as a list in the launcher space, it is possible to prevent a loss of immersion in the user's virtual space. .
(Item 6)
Defining a field of view of the user based on the line of sight of the user;
Identifying a first object and a second object that are a plurality of the first target objects included in the field of view;
Further comprising: changing the display of the second object to be associated with the first object when the gaze time of the user for the first object exceeds a predetermined threshold. The method in any one of -5.
According to the method of this item, when the user gazes at a predetermined target, other objects in the user's field of view are changed so as to relate to the gazed object. Accordingly, it is possible to provide a content providing unit that can approach the user's interest in a timely manner.
(Item 7)
Defining a first reference position in the first virtual space and a first target object position where the first target object is disposed;
Defining a first reference direction that is the user's line-of-sight direction with respect to the first reference position;
Identifying a first gaze direction that is the user's gaze direction with respect to the first target object;
Identifying a first gaze time when the user gazes at the first target object;
Identifying a first adjusted gaze time based on the first gaze time, the first gaze direction, and the first reference direction;
Defining a second reference position in the second virtual space and a second target object position where the second target object is arranged;
Defining a second reference direction that is the user's line-of-sight direction with respect to the second reference position;
Identifying a second gaze direction that is the user's gaze direction with respect to the second target object;
Identifying a second gaze time when the user gazes at the second target object;
Further comprising identifying a second adjusted gaze time based on the second gaze time, the second gaze direction, and the second reference direction,
The method according to claim 1, wherein the gaze time is specified by adding the first adjusted gaze time and the second adjusted gaze time.
According to the method of this item, the content related to the advertisement is provided to the user based on the time when the user gazes at the target object such as the advertisement. At that time, the gaze time is adjusted according to the relationship between the gaze direction of the user and the reference direction set in the virtual space. Accordingly, it is possible to provide a content providing unit that can easily determine an object that the user has shown interest in and can approach in a timely manner.
(Item 8)
A program for causing a computer to execute any one of items 1 to 7.
［本発明の実施形態の詳細］
本発明の実施形態に係る方法、および、プログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
[Details of the embodiment of the present invention]
A specific example of a method and a program according to an embodiment of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to these illustrations, is shown by the claim, and intends that all the changes within the meaning and range equivalent to the claim are included. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and redundant descriptions are omitted.
図１は、本実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部に装着されるＨＭＤ１１０と、制御回路部１２０と、動きセンサ１３０と、注視センサ１４０を備える。 FIG. 1 shows an HMD system 100 including an HMD 110 according to the present embodiment. The HMD system 100 includes an HMD 110 that is worn on the user's head, a control circuit unit 120, a motion sensor 130, and a gaze sensor 140.
ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０を含む。制御回路部１２０は、ディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、背景やユーザが操作可能な各種オブジェクト、メニュー画像等を含む。 The HMD 110 includes a display 112 that is a non-transmissive display device, a sensor unit 114, and a gaze sensor 140. The control circuit unit 120 displays a right-eye image and a left-eye image on the display 112, thereby providing a three-dimensional image using parallax between both eyes as a virtual space. By arranging the display 112 in front of the user's eyes, the user can be immersed in the virtual space. The virtual space includes a background, various objects that can be operated by the user, menu images, and the like.
ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。 The display 112 may include a right-eye sub-display that provides a right-eye image and a left-eye sub-display that provides a left-eye image. Moreover, as long as the image for right eyes and the image for left eyes can be provided, you may be comprised by one display apparatus. For example, the right-eye image and the left-eye image can be provided independently by switching the shutter so that the display image can be recognized by only one eye at high speed.
制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータであり、格納された所定のアプリケーションを実行することにより、ディスプレイ１１２に仮想空間を提示する。また、制御回路部１２０は、当該仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御するように処理を実行する。制御回路部１２０は、そのような動作の実行を制御するプログラムを格納する。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。 The control circuit unit 120 is a computer connected to the HMD 110 and presents a virtual space on the display 112 by executing a stored predetermined application. In addition, the control circuit unit 120 performs processing so as to operate various objects displayed in the virtual space and to display and control various menu images and the like. The control circuit unit 120 stores a program for controlling execution of such operations. The control circuit unit 120 may not be mounted on the HMD 110 and may be configured as another hardware (for example, a known personal computer or a server computer via a network). In addition, the control circuit unit 120 may implement only a part of functions in the HMD 110 and implement the remaining functions in different hardware.
動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検出する。動きセンサ１３０は、センサ部１１４と、検知部１３２を含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検出する。そして、検知部１３２により検出された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。 The motion sensor 130 detects information related to the position and inclination of the HMD 110. The motion sensor 130 includes a sensor unit 114 and a detection unit 132. The sensor unit 114 may include a plurality of light sources. The light source is, for example, an LED that emits infrared rays. The detection unit 132 is, for example, an infrared sensor, and detects information about the position and angle of the HMD 110 in the real space according to the user's movement by detecting infrared rays from the light source as detection points of the HMD 110 over time. Then, it is possible to determine time-dependent changes in the position and angle of the HMD 110 based on changes over time in the information detected by the detection unit 132 and detect information related to the movement of the HMD 110.
動きセンサ１３０によって取得される位置や傾きに関する情報を、図２を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部を中心として、ＸＹＺ軸を規定する。ユーザが直立する垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をＺ軸とし、Ｙ軸およびＺ軸と直交する横方向をＸ軸とする。これにより、ユーザのＸＹＺ軸方向における位置の経時変化が取得される。また、各軸周りのＨＭＤ１１０の傾き角度θｘ（いわゆるピッチ角），θｙ（いわゆるヨー角），θｚ（いわゆるロール角）が取得される。 Information regarding the position and tilt acquired by the motion sensor 130 will be described with reference to FIG. The XYZ axes are defined around the head of the user wearing the HMD 110. The vertical direction in which the user stands upright is the Y axis, the front-rear direction orthogonal to the Y axis and connecting the center of the display 112 and the user is the Z axis, and the horizontal direction orthogonal to the Y axis and the Z axis is the X axis. Thereby, the temporal change of the position in the XYZ axis direction of the user is acquired. Further, the inclination angle θx (so-called pitch angle), θy (so-called yaw angle), and θz (so-called roll angle) of the HMD 110 around each axis are acquired.
動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と、検知部１３２の、一方のみから構成されてもよい。センサ部１１４が、地磁気センサ、加速度センサ、角速度（ジャイロ）センサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置および傾きを検出する。これにより、ＨＭＤ１１０の動きに関する情報を検出することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検出し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検出することができ、センサ部１１４は不要である。 The motion sensor 130 may be configured by only one of the sensor unit 114 fixed near the display 112 and the detection unit 132. The sensor unit 114 may be a geomagnetic sensor, an acceleration sensor, or an angular velocity (gyro) sensor, and the position and inclination of the HMD 110 (particularly, the display 112) mounted on the user's head using at least one of them. Is detected. Thereby, the information regarding the motion of the HMD 110 can be detected. For example, the angular velocity sensor can detect the angular velocities around the three axes of the HMD 110 over time according to the movement of the HMD 110 and determine temporal changes in the angles around the respective axes. In this case, the detection unit 132 is not necessary. The detection unit 132 may include an optical camera. In this case, information related to the movement of the HMD 110 can be detected based on the image information, and the sensor unit 114 is unnecessary.
動きセンサ１３０を用いてＨＭＤ１１０の位置や傾きに関する情報を検出する機能をポジション・トラッキングと称する。動きセンサ１３０によるポジション・トラッキングと、仮想空間２内に配置される仮想カメラ１との関係を、図３を参照して説明する。仮想カメラ１と動きセンサ１３０の位置関係を説明するために、以下では動きセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。仮想空間２の内部に仮想カメラ１が配置され、および仮想空間２の外部（現実空間）に動きセンサ１３０が仮想的に配置される。 The function of detecting information related to the position and tilt of the HMD 110 using the motion sensor 130 is referred to as position tracking. The relationship between the position tracking by the motion sensor 130 and the virtual camera 1 arranged in the virtual space 2 will be described with reference to FIG. In order to explain the positional relationship between the virtual camera 1 and the motion sensor 130, the position of the motion sensor 130 is the position of the detection unit 132 when the detection unit 132 is provided, and is the sensor when the detection unit 132 is not provided. The position of the portion 114 is assumed. The virtual camera 1 is disposed inside the virtual space 2, and the motion sensor 130 is virtually disposed outside the virtual space 2 (real space).
仮想空間２は、略正方形または略長方形の複数のメッシュを有する天球状に形成される。各メッシュは仮想空間２の空間情報が関連付けられており、この空間情報に基づいて視界領域２３が定義される。本実施形態では、ＸＺ面において、天球の中心点２１が仮想カメラ１とセンサ１３０を結ぶ線上に常に配置されるように調整することが好ましい。例えば、ＨＭＤを装着したユーザが移動して仮想カメラ１の位置がＸ方向に移動した場合には、中心２１が仮想カメラ１と動きセンサ１３０の線分上に位置するように、仮想空間２の領域が変更される。この場合には、仮想空間２における仮想カメラ１の位置は固定され、傾きのみが変化する。一方、動きセンサ１３０のＸＹＺ方向への移動に連動して仮想カメラ１の位置を移動させるようにすれば、仮想空間２における仮想カメラ１の位置は可変に設定される。 The virtual space 2 is formed in a celestial sphere having a plurality of substantially square or substantially rectangular meshes. Each mesh is associated with the spatial information of the virtual space 2, and the visual field region 23 is defined based on this spatial information. In the present embodiment, it is preferable to adjust so that the center point 21 of the celestial sphere is always arranged on the line connecting the virtual camera 1 and the sensor 130 in the XZ plane. For example, when the user wearing the HMD moves and the position of the virtual camera 1 moves in the X direction, the center 21 is positioned on the line segment between the virtual camera 1 and the motion sensor 130. The area is changed. In this case, the position of the virtual camera 1 in the virtual space 2 is fixed, and only the tilt changes. On the other hand, if the position of the virtual camera 1 is moved in conjunction with the movement of the motion sensor 130 in the XYZ directions, the position of the virtual camera 1 in the virtual space 2 is variably set.
注視センサ１４０は、ユーザの右目および左目の視線が向けられる方向を検出するアイトラッキング機能を有する。注視センサ１４０は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検出することにより、ユーザが注視する視線方向を検知する。注視センサ１４０はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めることとしても良い。 The gaze sensor 140 has an eye tracking function that detects the direction in which the user's right eye and left eye gaze are directed. The gaze sensor 140 preferably includes a right eye sensor and a left eye sensor, and detects the gaze direction in which the user gazes by detecting the direction in which the gaze of the right eye and the left eye is directed respectively. A known sensor having an eye tracking function can be adopted as the gaze sensor 140. For example, the right eye and the left eye are irradiated with infrared light, and the reflected light from the cornea and the iris is acquired, whereby the rotation angle of the eyeball is adjusted. It may be asking.
図４に示すように、注視センサ１４０はユーザＵの右目および左目の視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１およびＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１およびＬ１よりＺ方向とのなす角が小さい視線Ｒ２およびＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線が向けられている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒおよび左目Ｌの中心と中心点Ｎ１が通る直線の伸びる方向として定義される。 As shown in FIG. 4, the gaze sensor 140 detects the gaze direction of the right eye and the left eye of the user U. When the user U is looking near, the lines of sight R1 and L1 are detected, and the gazing point N1 that is the intersection of the two is specified. Further, when the user is looking far away, the lines of sight R2 and L2 whose angles to the Z direction are smaller than the lines of sight R1 and L1 are specified. When the gazing point N1 is specified, the line-of-sight direction N0 of the user U is specified. The line-of-sight direction N0 is a direction in which the user U is actually directed by his eyes. The line-of-sight direction N0 is defined as a direction in which a straight line passes through the center of the right eye R and the left eye L of the user U and the center point N1, for example.
ＨＭＤシステム１００はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクトに、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、ＨＭＤシステム１００はいずれかの要素にテレビジョン受像機を含んでいても良い。また、ユーザが取得した電子メール等を表示させるための、通信機能等を含んでいても良い。また、ユーザの各種指令を入力するための外部コントローラを含んでいても良い。 The HMD system 100 may include headphones including a microphone as any element. Thereby, the user can give a voice instruction to a predetermined object in the virtual space. Further, in order to receive a broadcast of a television program on a virtual television in a virtual space, the HMD system 100 may include a television receiver in any element. Moreover, a communication function or the like for displaying an electronic mail or the like acquired by the user may be included. Further, an external controller for inputting various user commands may be included.
図５は、ＨＭＤシステム１００における仮想空間２の表示処理や、当該仮想空間２内に表示される各種メニュー表示やオブジェクトの操作を実現するための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０および注視センサ１４０からの入力に基づいて、ディスプレイ１１２への出力画像を制御する。 FIG. 5 is a block diagram illustrating functions of the control circuit unit 120 for realizing display processing of the virtual space 2 in the HMD system 100 and various menu displays and object operations displayed in the virtual space 2. . The control circuit unit 120 controls an output image to the display 112 based mainly on inputs from the motion sensor 130 and the gaze sensor 140.
制御回路部１２０は、表示制御部２００と、オブジェクト制御部３００と、通信制御部と、を備える。表示制御部２００は、仮想空間画像生成部２１０と、ＨＭＤ動作検知部２２０と、視線検知部２３０と、視界方向特定部２４０と、視界領域決定部２５０と、視界画像生成部２６０と、空間情報格納部２７０とを含む。オブジェクト制御部３００は、広告特定部３１０と、注視時間計測部３２０と、調整部３３０と、判定部３４０と、描画部３５０と、オブジェクト情報格納部３６０と、仮想カメラ情報格納部３７０と、ユーザ行動記憶部と、を含む。 The control circuit unit 120 includes a display control unit 200, an object control unit 300, and a communication control unit. The display control unit 200 includes a virtual space image generation unit 210, an HMD motion detection unit 220, a line-of-sight detection unit 230, a visual field direction identification unit 240, a visual field region determination unit 250, a visual field image generation unit 260, and spatial information. Storage unit 270. The object control unit 300 includes an advertisement specifying unit 310, a gaze time measurement unit 320, an adjustment unit 330, a determination unit 340, a drawing unit 350, an object information storage unit 360, a virtual camera information storage unit 370, a user An action storage unit.
動きセンサ１３０および注視センサ１４０は、表示制御部２００およびオブジェクト制御部３００と互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。表示制御部２００、オブジェクト制御部３００、通信制御部４００は、ＨＭＤ１１０（ディスプレイ１１２）と通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。通信制御部４００は、ネットワーク１５０を介して外部サーバ１６０と通信可能である。空間情報格納部２７０、オブジェクト情報格納部３６０、仮想カメラ情報格納部３７０、ユーザ行動記憶部３８０は、動きセンサ１３０や注視センサ１４０からの入力に対応した出力情報をディスプレイ１１２へ提供するための各種データを含む。 The motion sensor 130 and the gaze sensor 140 are communicably connected to the display control unit 200 and the object control unit 300, and can be connected via a wired or wireless communication interface. The display control unit 200, the object control unit 300, and the communication control unit 400 are communicably connected to the HMD 110 (display 112), and can be connected via a wired or wireless communication interface. The communication control unit 400 can communicate with the external server 160 via the network 150. The spatial information storage unit 270, the object information storage unit 360, the virtual camera information storage unit 370, and the user behavior storage unit 380 are various types for providing output information corresponding to inputs from the motion sensor 130 and the gaze sensor 140 to the display 112. Contains data.
図５，図６を参照して、仮想空間２を提供するためのＨＭＤシステム１００の処理フローを説明する。仮想空間２は、ＨＭＤ１１０（注視センサ１４０、動きセンサ１３０）および制御回路部１２０の相互作用によって提供され得る。 A processing flow of the HMD system 100 for providing the virtual space 2 will be described with reference to FIGS. The virtual space 2 can be provided by the interaction of the HMD 110 (the gaze sensor 140 and the motion sensor 130) and the control circuit unit 120.
まず、制御回路部１２０（仮想空間画像生成部２１０）はユーザが没入する仮想空間２を構成する天球状の仮想空間画像２２を生成する（Ｓ１２０−１）。ユーザからＨＭＤ１１０に移動や傾きといった動作が入力されると（Ｓ１１０−１）、動きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される（Ｓ１３０−１）。動きセンサ１３０の検知情報は制御回路部１２０に送信され、ＨＭＤ動作検出部２２０により、ＨＭＤ１１０の位置情報や傾き情報が受け付けられる。これにより、ＨＭＤ１１０の位置情報や傾き情報に基づく視界方向が決定される（Ｓ１２０−２）。 First, the control circuit unit 120 (virtual space image generation unit 210) generates the celestial spherical virtual space image 22 constituting the virtual space 2 in which the user is immersed (S120-1). When an operation such as movement or tilt is input from the user to the HMD 110 (S110-1), the position and tilt of the HMD 110 are detected by the motion sensor 130 (S130-1). Detection information of the motion sensor 130 is transmitted to the control circuit unit 120, and position information and tilt information of the HMD 110 are received by the HMD motion detection unit 220. Thereby, the visual field direction based on the positional information and inclination information of the HMD 110 is determined (S120-2).
注視センサ１４０がユーザの左右の目の眼球の動きを検出すると（Ｓ１４０−１）、当該情報が制御回路部１２０に送信される。視線検知部２３０は、右目および左目の視線が向けられる方向を特定し、視線方向Ｎ０が特定される（Ｓ１２０−３）。基準視線特定部２４０は、ＨＭＤ１１０の傾きにより特定された視界方向、または、ユーザの視線方向Ｎ０を基準視線５として特定する（Ｓ１２０−４）。 When the gaze sensor 140 detects the movement of the eyeballs of the left and right eyes of the user (S140-1), the information is transmitted to the control circuit unit 120. The line-of-sight detection unit 230 identifies the direction in which the line of sight of the right eye and the left eye is directed, and the line-of-sight direction N0 is identified (S120-3). The reference line-of-sight specifying unit 240 specifies the field-of-view direction specified by the inclination of the HMD 110 or the user's line-of-sight direction N0 as the reference line of sight 5 (S120-4).
視界領域決定部２５０は、仮想空間２における仮想カメラ１の視界領域２３を決定する（Ｓ１２０−５）。図３に示すように、視界領域２３は仮想空間画像２２のうちユーザの視界を構成する部分である。視界領域２３は基準視線５に基づいて定められ、基準視線５は仮想カメラ１の位置および傾きに基づいて定められる。図７Ａは視界領域２３をＸ方向から見たＹＺ面図であり、図７Ｂは視界領域２３をＹ方向から見たＸＺ面図である。 The visual field area determination unit 250 determines the visual field area 23 of the virtual camera 1 in the virtual space 2 (S120-5). As shown in FIG. 3, the visual field region 23 is a part of the virtual space image 22 that constitutes the user's visual field. The visual field area 23 is determined based on the reference line of sight 5, and the reference line of sight 5 is determined based on the position and tilt of the virtual camera 1. 7A is a YZ plane view of the visual field area 23 as viewed from the X direction, and FIG. 7B is an XZ plane view of the visual field area 23 as viewed from the Y direction.
視界領域２３は、基準視線５と仮想空間画像２２のＹＺ断面によって定義される範囲である第１領域２４（図７Ａ参照）と、基準視線５と仮想空間画像２２のＸＺ断面によって定義される範囲である第２領域２５（図７Ｂ参照）とを有する。第１領域２４は、基準視線５を中心として極角αを含む範囲として設定される。第２領域２５は、基準視線５を中心として方位角βを含む範囲として設定される。 The visual field region 23 is a first region 24 (see FIG. 7A) that is a range defined by the reference line of sight 5 and the YZ cross section of the virtual space image 22, and a range defined by the reference line of sight 5 and the XZ cross section of the virtual space image 22. And a second region 25 (see FIG. 7B). The first region 24 is set as a range including the polar angle α with the reference line of sight 5 as the center. The second region 25 is set as a range including the azimuth angle β with the reference line of sight 5 as the center.
視界画像生成部２６０は、視界領域２３に基づいて視界画像２６を生成する（Ｓ１２０−６）。視界画像は左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間２がユーザに提供されるものである。ＨＭＤ１１０は、視界画像２６に関する情報を制御回路部１２０から受信して、ディスプレイ１１２に視界画像２６を表示させる（Ｓ１１０−２）。 The view image generation unit 260 generates the view image 26 based on the view region 23 (S120-6). The field-of-view image includes two two-dimensional images for the left eye and the right eye, and these are superimposed on the display 112, whereby the virtual space 2 as a three-dimensional image is provided to the user. The HMD 110 receives information about the view image 26 from the control circuit unit 120 and displays the view image 26 on the display 112 (S110-2).
図５、および、図８以降を参照して、ユーザに提供される仮想空間の具体例、および、当該仮想空間をユーザに提供するためのＨＭＤシステム１００の処理フローを説明する。図８，図９に示すように、本実施形態における仮想空間は、ランチャー空間ＬＡＵと、ランチャー空間ＬＡＵに関連付けられた第１仮想空間ＶＲ１および第２仮想空間ＶＲ２を含む。ＨＭＤシステム１００を起動してＨＭＤ１１０を装着したユーザには、まずランチャー空間ＬＡＵが提供される。ランチャー空間ＬＡＵは、仮想空間画像生成部２１０、視界画像生成部２６０によって生成され、ＨＭＤ１１０に出力される（Ｓ１２０−７）。 A specific example of a virtual space provided to the user and a processing flow of the HMD system 100 for providing the virtual space to the user will be described with reference to FIG. 5 and FIG. As shown in FIGS. 8 and 9, the virtual space in the present embodiment includes a launcher space LAU, and a first virtual space VR1 and a second virtual space VR2 associated with the launcher space LAU. A launcher space LAU is first provided to a user who activates the HMD system 100 and wears the HMD 110. The launcher space LAU is generated by the virtual space image generation unit 210 and the visual field image generation unit 260 and is output to the HMD 110 (S120-7).
ランチャー空間ＬＡＵには、第１仮想空間ＶＲ１を提供するためのアプリケーションＡＰ１と、第２仮想空間ＶＲ２を提供するためのアプリケーションＡＰ２が表示されている。ユーザはアプリケーションＡＰ１，ＡＰ２に所定の操作（一定時間視線を送る、コントローラを操作する、など）を入力することにより、選択した仮想空間に移行することができる（Ｓ１１０−３）。ランチャー空間ＬＡＵには、後述する広告を表示する広告スペースＡＤや、ダウンロード済の体験版コンテンツを表示するための体験版スペースＴＲ１，ＴＲ２も表示されている。 In the launcher space LAU, an application AP1 for providing the first virtual space VR1 and an application AP2 for providing the second virtual space VR2 are displayed. The user can move to the selected virtual space by inputting a predetermined operation (such as sending a line of sight for a certain period of time or operating a controller) to the applications AP1 and AP2 (S110-3). In the launcher space LAU, an advertisement space AD for displaying advertisements to be described later and trial version spaces TR1 and TR2 for displaying downloaded trial version contents are also displayed.
第１仮想空間ＶＲ１の一例を図１０に示す。アプリケーションＡＰ１が選択されると、仮想空間画像生成部２１０は第１仮想空間ＶＲ１を構成する仮想空間画像２２を生成する。また、オブジェクト制御部３００の描画部３５０が、オブジェクト情報格納部３６０を参照して各種オブジェクトを生成し、第１仮想空間ＶＲ１内に描画して配置する（Ｓ１２０−８）。第１仮想空間ＶＲ１は、例えばライブステージといった興行を提供するコンテンツであり、第１仮想空間ＶＲ１内にステージＳ、ステージＳ上でパフォーマンスを提供するキャラクターＣ、各種広告ＯＢ１，ＯＢ２が配置されている。 An example of the first virtual space VR1 is shown in FIG. When the application AP1 is selected, the virtual space image generation unit 210 generates the virtual space image 22 constituting the first virtual space VR1. In addition, the drawing unit 350 of the object control unit 300 generates various objects with reference to the object information storage unit 360, and draws and arranges them in the first virtual space VR1 (S120-8). The first virtual space VR1 is a content providing entertainment such as a live stage, for example, and the stage S, the character C providing performance on the stage S, and various advertisements OB1 and OB2 are arranged in the first virtual space VR1. .
オブジェクト制御部３００は、仮想空間における基準位置ＢＰと、後述するようにユーザの注視時間が計測される対象となる対象オブジェクトとしての広告ＯＢ１，ＯＢ２が配置された位置（対象オブジェクト位置）を特定する（Ｓ１２０−９）。ユーザに第１仮想空間ＶＲ１が提供された直後の状態では、ユーザは第１仮想空間ＶＲ１の天球の中心に位置し、ユーザの視線方向である基準視線５が基準位置ＢＰに向けられた状態（後述する基準方向ＢＤ）とされている。本実施形態では、基準方向ＢＤに基づいて生成された視界画像２６は、ステージＳと、キャラクターＣと、複数の第１広告（第１対象オブジェクト）を含むようにされている。以下では、視界画像２６に含まれる広告を第１広告（第１オブジェクト）ＯＢ１と、視界画像２６に含まれない広告を第２広告（第２オブジェクト）ＯＢ２と称することがある。 The object control unit 300 specifies a reference position BP in the virtual space and a position (target object position) where the advertisements OB1 and OB2 as target objects to be measured are measured as described later. (S120-9). In a state immediately after the first virtual space VR1 is provided to the user, the user is located at the center of the celestial sphere of the first virtual space VR1, and the reference visual line 5 that is the user's visual line direction is directed to the reference position BP ( Reference direction BD described later). In the present embodiment, the view image 26 generated based on the reference direction BD includes a stage S, a character C, and a plurality of first advertisements (first target objects). Hereinafter, the advertisement included in the view image 26 may be referred to as a first advertisement (first object) OB1, and the advertisement not included in the view image 26 may be referred to as a second advertisement (second object) OB2.
なお、第２仮想空間ＶＲ２も図１０と同様のものであるため、以下ではその説明を省略する。概略的には、アプリケーションＡＰ２が選択されると、仮想空間画像生成部２１０は第２仮想空間ＶＲ２を構成する仮想空間画像２２を生成する。また、オブジェクト制御部３００の描画部３５０が、オブジェクト情報格納部３６０を参照して各種オブジェクトを生成し、第２仮想空間ＶＲ２内に描画して配置する（Ｓ１２０−８）。第２仮想空間ＶＲ２内にも、ステージＳ、キャラクターＣ、複数の第２広告（第２対象オブジェクト）、視界画像２６に含まれる第１広告（第１オブジェクト）ＯＢ１、視界画像２６に含まれない第２広告（第２オブジェクト）ＯＢ２が配置されている。 The second virtual space VR2 is also the same as that in FIG. Schematically, when the application AP2 is selected, the virtual space image generation unit 210 generates the virtual space image 22 constituting the second virtual space VR2. In addition, the drawing unit 350 of the object control unit 300 generates various objects with reference to the object information storage unit 360, and draws and arranges them in the second virtual space VR2 (S120-8). Also in the second virtual space VR2, the stage S, the character C, the plurality of second advertisements (second target objects), the first advertisement (first object) OB1 included in the view image 26, and the view image 26 are not included. A second advertisement (second object) OB2 is arranged.
ユーザはＨＭＤ１１０に位置や傾きの変動といった各種動きを入力することにより、第１仮想空間ＶＲ１内で自由に行動することができる（Ｓ１１０−４）。動きセンサ１３０がユーザの動きを検知すると、ＨＭＤ動作検知部２２０はこれを受け付けて、ユーザの仮想空間における位置を特定する（Ｓ１２０−１０）。動きセンサ１３０または注視センサ１４０がユーザの基準視線５の変動を検知すると、基準視線特定部２４０はこれを受け付けて、ユーザの仮想空間における視線方向を特定する（Ｓ１２０−１１）。オブジェクト制御部３００は、ユーザの仮想空間における位置と、基準視線特定部２４０からのユーザの基準視線５に基づいて、ユーザの浸染方向を特定する。そして、広告特定部３１０は、各種広告ＯＢ１，ＯＢ２の配置位置に関する情報に基づいて、視線方向がいずれかの広告ＯＢ１，ＯＢ２に向けられているか否かを判定する（Ｓ１２０−１２）。広告特定部３１０は、いずれかの広告ＯＢ１，ＯＢ２に向けられたユーザの視線方向を注視方向ＧＤとして特定する。そして、注視時間計測部３２０が、当該広告に基準視線を送っている時間である注視時間の計測を開始する（Ｓ１２０−１３）。注視時間計測部３２０は、ユーザの視線方向が所定の広告を含む一定の範囲（当該広告を中心に含む円形や楕円形、多角形など）に向けられている場合には、ユーザが当該広告を注視しているものと見なして、注視時間を計測する。 The user can act freely in the first virtual space VR1 by inputting various movements such as a change in position and inclination to the HMD 110 (S110-4). When the motion sensor 130 detects the movement of the user, the HMD motion detection unit 220 receives this and specifies the position of the user in the virtual space (S120-10). When the motion sensor 130 or the gaze sensor 140 detects a change in the user's reference line of sight 5, the reference line-of-sight specifying unit 240 receives this and specifies the line-of-sight direction in the user's virtual space (S120-11). The object control unit 300 specifies the user's dyeing direction based on the position of the user in the virtual space and the user's reference line of sight 5 from the reference line-of-sight specifying unit 240. Then, the advertisement specifying unit 310 determines whether the line-of-sight direction is directed to any one of the advertisements OB1 and OB2 based on the information regarding the arrangement positions of the various advertisements OB1 and OB2 (S120-12). The advertisement specifying unit 310 specifies the user's line-of-sight direction directed to one of the advertisements OB1 and OB2 as the gaze direction GD. Then, the gaze time measuring unit 320 starts measuring the gaze time, which is the time during which the reference line of sight is sent to the advertisement (S120-13). When the user's gaze direction is directed to a certain range including a predetermined advertisement (a circle, an ellipse, a polygon, etc. including the advertisement), the gaze time measuring unit 320 displays the advertisement. The gaze time is measured assuming that the user is gazing.
上記のようなユーザ行動の履歴のうち、ユーザが所定の広告を注視した行動が、ユーザ行動記憶部３７０に記憶される。ユーザ行動記憶部３７０は、例えば図１４に示すユーザ行動管理テーブルＴ１を含む。ユーザ行動管理テーブルＴ１は、ユーザがいずれのアプリケーション（仮想空間）において、いつ、いずれのオブジェクトを、仮想空間内におけるどの位置から注視したかといった情報の他、当該オブジェクトを注視した時間が記憶される。 Of the user behavior history as described above, the behavior in which the user gazes at a predetermined advertisement is stored in the user behavior storage unit 370. The user behavior storage unit 370 includes, for example, a user behavior management table T1 illustrated in FIG. The user behavior management table T1 stores information on when and in what application (virtual space) the user gazes at which object and from which position in the virtual space, and the time when the user gazes at the object. .
ここで、ユーザが所定の広告を注視した注視時間は、図１１に示す処理フローに基づいて、調整済注視時間として記憶されても良い。図１２Ａは、ユーザから見た垂直面（ＹＺ面）内における基準方向ＢＤ−Ｖおよび注視方向ＧＤ−Ｖを示す図である。図１２Ｂは、ユーザから見た水平面（ＸＺ面）内における基準方向ＢＤ−Ｈおよび注視方向ＧＤ−Ｈを示す図である。まず、上述したように、第１仮想空間ＶＲ１における基準位置ＢＰとユーザの位置（仮想カメラ１の位置）に基づいて、基準方向ＢＤを特定する（Ｓ１２０−１４）。このとき、基準方向ＢＤは、垂直面（ＹＺ面）内における基準方向ＢＤ−Ｖと、水平面（ＸＺ面）内における基準方向ＢＤ−Ｈが特定される。本実施形態では、コンテンツの主役となるキャラクターＣがステージＳ上に配置されるため、ユーザの基準視線ＢＤ−Ｖはやや情報を向くように設定されている。また、第１仮想空間ＶＲ１における広告位置ＯＢ１とユーザの位置に基づいて、注視方向ＧＤを特定する（Ｓ１２０−１５）。このとき、注視方向ＧＤは、垂直面（ＹＺ面）内における注視方向ＧＤ−Ｖと、水平面（ＸＺ面）内における注視方向ＧＤ−Ｈが特定される。 Here, the gaze time when the user gazes at the predetermined advertisement may be stored as the adjusted gaze time based on the processing flow shown in FIG. FIG. 12A is a diagram illustrating a reference direction BD-V and a gaze direction GD-V in a vertical plane (YZ plane) viewed from the user. FIG. 12B is a diagram illustrating a reference direction BD-H and a gaze direction GD-H in a horizontal plane (XZ plane) viewed from the user. First, as described above, the reference direction BD is specified based on the reference position BP in the first virtual space VR1 and the position of the user (the position of the virtual camera 1) (S120-14). At this time, the reference direction BD specifies the reference direction BD-V in the vertical plane (YZ plane) and the reference direction BD-H in the horizontal plane (XZ plane). In the present embodiment, since the character C as the leading role of the content is arranged on the stage S, the user's reference line of sight BD-V is set to face a little information. Further, the gaze direction GD is specified based on the advertisement position OB1 and the user position in the first virtual space VR1 (S120-15). At this time, the gaze direction GD specifies the gaze direction GD-V in the vertical plane (YZ plane) and the gaze direction GD-H in the horizontal plane (XZ plane).
次に、オブジェクト制御部３００は、注視方向ＧＤと基準方向ＢＤのずれ量を求める（Ｓ１２０−１６）。本実施形態では、垂直面内における注視方向ＧＤ−Ｖの基準方向ＢＤ−Ｖに対するずれ量（角度の差分）である第１ずれ量ＤＶ１と（Ｓ１２０−１７）、水平面内における注視方向ＧＤ−Ｈの基準方向ＢＤ−Ｈに対するずれ量（角度の差分）である第２ずれ量ＤＶ２を求める（Ｓ１２０−１８）。 Next, the object control unit 300 obtains a deviation amount between the gaze direction GD and the reference direction BD (S120-16). In the present embodiment, first shift amounts DV1 and (S120-17), which are shift amounts (angle differences) of the gaze direction GD-V with respect to the reference direction BD-V in the vertical plane, and the gaze direction GD-H in the horizontal plane. The second displacement amount DV2 that is the displacement amount (angle difference) with respect to the reference direction BD-H is obtained (S120-18).
そして、調整部３３０は、注視時間に第１ずれ量ＤＶ１（角度：ラジアン）および第２ずれ量ＤＶ２（角度：ラジアン）を加味して、調整済注視時間を算出する（Ｓ１２０−２０）。 Then, the adjustment unit 330 calculates the adjusted gaze time by adding the first deviation amount DV1 (angle: radians) and the second deviation amount DV2 (angle: radians) to the gaze time (S120-20).
β１は第１ずれ量ＤＶ１を重みづけするための係数である。β２は第２ずれ量ＤＶ２を重みづけするための係数である。調整部３３０は、予めβ１およびβ２を所定値に設定する（Ｓ１２０−１９）ことによって、よりユーザが自発的にしにくい行動をとってまである広告を注視したという行動履歴を重視して、注視時間を調整することができる。 β1 is a coefficient for weighting the first deviation amount DV1. β2 is a coefficient for weighting the second deviation amount DV2. The adjustment unit 330 sets β1 and β2 to predetermined values in advance (S120-19), thereby placing an emphasis on the action history that the user has watched an advertisement that has taken actions that are less likely to be spontaneous. Can be adjusted.
本実施形態では、第１ずれ量ＤＶ１に対する重みづけ係数β１が、第２ずれ量ＤＶ２に対する重みづけ係数β２より大きいことが好ましい。ユーザは、水平方向における頭部の動きより、垂直方向における頭部の動きに対して、よりストレスを感じることが推測される。このように、よりユーザが自発的にしにくい行動である、ユーザが垂直面内に視線を動かす行動を重視することにより、ユーザの関心に対して適時アプローチすることが可能となる。 In the present embodiment, it is preferable that the weighting coefficient β1 for the first deviation amount DV1 is larger than the weighting coefficient β2 for the second deviation amount DV2. It is estimated that the user feels more stress on the head movement in the vertical direction than the head movement in the horizontal direction. In this way, it is possible to approach the user's interests in a timely manner by placing importance on the behavior of the user moving his / her line of sight in the vertical plane, which is a behavior that is more difficult for the user to voluntarily.
ＤＶ１およびＤＶ２は、−π以上π以下の値である。また、ＤＶ１およびＤＶ２は累乗（２乗またはそれ以上の累乗）されて調整済注視時間の算出に適用される。これにより、ユーザが基準方向から遠くに視線を逸らしてまで広告を注視した行動をより重視して調整済注視時間を算出できる。調整済注視時間は、ユーザ行動記憶部３７０のユーザ行動管理テーブルＴ１に記憶される。 DV1 and DV2 are values of −π or more and π or less. Further, DV1 and DV2 are raised to the power (square or higher) and applied to the calculation of the adjusted gaze time. As a result, the adjusted gaze time can be calculated with a greater emphasis on the action of the user gazing at the advertisement until the user turns away from the reference direction. The adjusted gaze time is stored in the user behavior management table T1 of the user behavior storage unit 370.
判定部３４０は、調整済注視時間が所定の閾値を超えたか否かを判定する（Ｓ１２０−２１）。本実施形態では、調整済注視時間が５秒以上である場合にユーザが当該広告に関心を示したものと解釈することとし、閾値を５秒と設定する。調整済注視時間が所定の閾値を超えた場合には、ユーザが当該広告を注視したものとして受け付ける（Ｓ１２０−２２）。 The determination unit 340 determines whether or not the adjusted gaze time has exceeded a predetermined threshold (S120-21). In this embodiment, when the adjusted gaze time is 5 seconds or more, the user interprets that the user has shown interest in the advertisement, and the threshold is set to 5 seconds. If the adjusted gaze time exceeds a predetermined threshold, it is accepted that the user gazes at the advertisement (S120-22).
図１３Ａ，図１３Ｂは、ユーザが広告を注視したものとして受け付けられた場合の処理の一例を示す。図１３Ａは、受け付けられる前の状態を示す。図１３Ｂは、受け付けられた後の状態を示す。受け付けられる前の状態では、視界領域２３内の広告ＯＢ１には、３種類の広告Ａ，Ｂ，Ｃが表示されている。ユーザの広告Ａが表示された広告ＯＢ１に対する注視が受け付けられると、描画部３５０は、広告Ｂが表示された広告ＯＢ１の表示を、広告Ａに関連する広告Ａ−１に変化させるとともに、広告Ｃが表示された広告ＯＢ１の表示を、広告Ａに関連する広告Ａ−２に変化させる。これにより、ユーザが所定のオブジェクトを注視した場合に、ユーザの視野内にある他のオブジェクトを、注視したオブジェクトに関連するように変化させる。これにより、ユーザの関心に対して適時アプローチすることが可能となる。 FIG. 13A and FIG. 13B show an example of processing when the user is accepted as having watched the advertisement. FIG. 13A shows a state before being accepted. FIG. 13B shows the state after being accepted. In a state before being accepted, three types of advertisements A, B, and C are displayed in the advertisement OB1 in the view field area 23. When the user's gaze on the advertisement OB1 on which the advertisement A is displayed is received, the drawing unit 350 changes the display of the advertisement OB1 on which the advertisement B is displayed to the advertisement A-1 related to the advertisement A and the advertisement C The display of the advertisement OB1 on which is displayed is changed to the advertisement A-2 related to the advertisement A. Thereby, when a user gazes at a predetermined object, other objects in the user's field of view are changed so as to relate to the gaze object. This makes it possible to approach the user's interest in a timely manner.
このように第１仮想空間ＶＲ１において所定の広告に対する調整済注視時間が特定された状態で（Ｓ１２０−２３）、ユーザからＨＭＤ１１０に対し、第１仮想空間ＶＲ１を終了する指示が入力された場合（Ｓ１１０−５）を図１５に示す。この場合、判定部３４０がユーザ行動記憶部３７０を参照し、各広告の優先度を特定する（Ｓ１２０−２４）。広告の優先度は調整済注視時間の合計値によって特定され、図１４に示すように、第１仮想空間ＶＲ１を終了した時点における広告の優先度は、Ａ−２＞Ａ＞Ａ−１と特定される。 As described above, when the adjusted gaze time for the predetermined advertisement is specified in the first virtual space VR1 (S120-23), an instruction to end the first virtual space VR1 is input from the user to the HMD 110 ( S110-5) is shown in FIG. In this case, the determination unit 340 refers to the user behavior storage unit 370 and specifies the priority of each advertisement (S120-24). The priority of the advertisement is specified by the total value of the adjusted gaze time. As shown in FIG. 14, the priority of the advertisement at the time when the first virtual space VR1 is finished is specified as A-2> A> A-1. Is done.
判定部３４０は広告の優先度に関する情報を視界画像生成部２６０に送信する。視界画像生成部２６０は、当該情報に基づいて、図１６に示すようなランチャー空間ＬＡＵを生成し、ＨＭＤ１１０に出力する（Ｓ１２０−２５）。ランチャー空間ＬＡＵの広告スペースＡＤには、複数の広告が優先度に応じて配置される。最も優先度が高いと判定された広告Ａ−２は、大きく表示されたり、何らかの強調が施されて表示されても良い。 The determination unit 340 transmits information regarding the priority of the advertisement to the view image generation unit 260. The field-of-view image generation unit 260 generates a launcher space LAU as shown in FIG. 16 based on the information and outputs it to the HMD 110 (S120-25). In the advertisement space AD of the launcher space LAU, a plurality of advertisements are arranged according to priority. The advertisement A-2 determined to have the highest priority may be displayed in a large size or displayed with some emphasis.
続いて、ユーザが第２仮想空間ＶＲ２を起動させるアプリケーションＡＰ２を選択すると、ＨＭＤ１１０には第２仮想空間ＶＲ２が提供される（Ｓ１１０−６）。第２仮想空間ＶＲ２においても、第１仮想空間ＶＲ１と同様の処理フローによって、広告に対するユーザの注視時間（調整済注視時間）が特定される（Ｓ１２０−２６）。 Subsequently, when the user selects the application AP2 that activates the second virtual space VR2, the second virtual space VR2 is provided to the HMD 110 (S110-6). Also in the second virtual space VR2, the user's gaze time (adjusted gaze time) for the advertisement is specified by the same processing flow as in the first virtual space VR1 (S120-26).
ユーザがＨＭＤ１１０の使用を終了すると（Ｓ１１０−７）、判定部３４０は、合計注視時間としての合計調整済注視時間を特定する（Ｓ１２０−２７）。合計調整済注視時間は、図１７に示す優先度管理テーブルＴ２に管理されている。優先度管理テーブルＴ２は、ユーザ行動記憶部３７０に記憶されている。 When the user finishes using the HMD 110 (S110-7), the determination unit 340 specifies the total adjusted gaze time as the total gaze time (S120-27). The total adjusted gaze time is managed in the priority management table T2 shown in FIG. The priority management table T2 is stored in the user behavior storage unit 370.
優先度管理テーブルＴ２は、ユーザ行動管理テーブルＴ１に基づいて、広告毎の調整済注視時間の合計値を算出する。本実施形態では、ユーザ行動管理テーブルＴ１に示すように、ユーザは第１仮想空間ＶＲ１および第２仮想空間ＶＲ２において、広告Ａ−２を注視している。その際、ユーザは異なるユーザ位置から広告Ａ−２を注視していることから、ユーザの視線方向を加味した調整済注視時間を合計することによって、ＨＭＤ装着中におけるユーザの関心をより正確に求めることができる。従って、優先度管理テーブルＴ２においては、調整済注視時間の合計値が管理されている。 The priority management table T2 calculates the total value of adjusted gaze times for each advertisement based on the user behavior management table T1. In the present embodiment, as shown in the user behavior management table T1, the user is watching the advertisement A-2 in the first virtual space VR1 and the second virtual space VR2. At that time, since the user is gazing at the advertisement A-2 from different user positions, the user's interest during wearing of the HMD is obtained more accurately by adding the adjusted gazing time taking into account the user's line-of-sight direction. be able to. Therefore, in the priority management table T2, the total value of the adjusted gaze time is managed.
判定部３４０は、合計調整済注視時間に基づいて、各広告の優先度を設定する。即ち、合計調整済注視時間が長い順に、高い優先度が付与される。このとき、閾値である５秒を超過していない広告Ａ−１は、優先度の設定対象から除外される。 The determination unit 340 sets the priority of each advertisement based on the total adjusted gaze time. That is, the higher priority is given in the order of the longer the total adjusted gaze time. At this time, the advertisement A-1 that does not exceed the threshold value of 5 seconds is excluded from the priority setting targets.
また、判定部３４０は、優先度が設定された各広告に関連する拡張コンテンツとしての体験版コンテンツの有無を判定する。本実施形態では、ランチャー空間ＬＡＵに２つの体験版スペースＴＲ１，ＴＲ２が設定されているから、体験版コンテンツを有する広告のうち、上位２つの広告が特定される（広告Ｂ，Ｂ−１）。体験版コンテンツが特定されると、判定部３４０は通信制御部４００に対して、当該体験版コンテンツをダウンロードするためのダウンロード要求を出力するよう指示する。通信制御部４１０は、当該指示と、ＨＭＤ１１０からユーザがＨＭＤの使用を終了したことを通知する情報を受信すると、通信処理部４２０に対してダウンロード要求を出力するよう指示する。通信処理部４２０はネットワーク１５０を介して外部サーバ１６０に接続し、体験版コンテンツのダウンロード要求を送信する。外部サーバ１６０は当該ダウンロード要求に基づいて、体験版コンテンツをネットワーク１５０を介して通信処理部４２０に送信する。 In addition, the determination unit 340 determines whether or not there is a trial version content as extended content related to each advertisement for which priority is set. In the present embodiment, since the two trial version spaces TR1 and TR2 are set in the launcher space LAU, the top two advertisements among the advertisements having the trial version contents are specified (ads B and B-1). When the trial version content is specified, the determination unit 340 instructs the communication control unit 400 to output a download request for downloading the trial version content. When receiving the instruction and information notifying that the user has finished using the HMD from the HMD 110, the communication control unit 410 instructs the communication processing unit 420 to output a download request. The communication processing unit 420 connects to the external server 160 via the network 150 and transmits a trial content download request. The external server 160 transmits the trial version content to the communication processing unit 420 via the network 150 based on the download request.
このように、本実施形態では広告に関連する拡張コンテンツ（例えば、ゲームの体験版。）を、ユーザがＨＭＤ１１０を使用していない時にダウンロードしておくことができる。これにより、ＨＭＤ１１０使用中のユーザに通信状況が悪化する等の違和感を与えること無く、拡張コンテンツを提供することができる。 As described above, in this embodiment, the extended content related to the advertisement (for example, a trial version of the game) can be downloaded when the user is not using the HMD 110. As a result, the extended content can be provided without giving the user who is using the HMD 110 a sense of incongruity such as deterioration of the communication status.
ユーザがＨＭＤ１１０の使用を再開すると、制御回路部１２０はダウンロード済の体験版コンテンツを特定する（Ｓ１２０−３０）。本実施形態では、広告Ｂおよび広告Ｂ−１に関する体験版コンテンツのダウンロードが完了しているか否かを判定し、完了している場合にはダウンロード済の体験版コンテンツとして特定する。そして、前述と同様に優先度管理テーブルＴ２を参照して、ユーザの前回のＨＭＤ１１０使用時に設定された各広告の優先度を特定する（Ｓ１２０−３１）。その後、視界画像生成部２６０は、図１８に示すランチャー空間ＬＡＵを生成して、ＨＭＤ１１０に出力する（Ｓ１２０−３２）。ランチャー空間ＬＡＵの広告スペースＡＤには優先度５までの広告が、上から順に配置されている。また、最も優先度の高い広告Ｂが大きく強調表示されている。また、体験版スペースＴＲ１，ＴＲ２には、広告Ｂおよび広告Ｂ−１に関連する体験版コンテンツが配置される。 When the user resumes using the HMD 110, the control circuit unit 120 specifies the downloaded trial version content (S120-30). In the present embodiment, it is determined whether or not the download of the trial version content regarding the advertisement B and the advertisement B-1 is completed, and when the download is completed, the trial version content is specified. Then, similarly to the above, the priority management table T2 is referred to, and the priority of each advertisement set when the user uses the previous HMD 110 is specified (S120-31). Thereafter, the field-of-view image generation unit 260 generates the launcher space LAU shown in FIG. 18 and outputs it to the HMD 110 (S120-32). In the advertisement space AD of the launcher space LAU, advertisements up to priority 5 are arranged in order from the top. Further, the advertisement B having the highest priority is greatly highlighted. In addition, the trial version contents related to the advertisement B and the advertisement B-1 are arranged in the trial version spaces TR1 and TR2.
ユーザは、第１仮想空間ＶＲ１，第２体験版コンテンツＶＲ２、体験版スペースＴＲ１，ＴＲ２に配置された体験版コンテンツのいずれかを選択肢、対応する仮想空間を楽しむことができる。また、広告を選択することにより、それに関する情報を他の情報端末（パソコン、スマートフォン等）に送信するように、指示することもできる。 The user can select any one of the first virtual space VR1, the second trial version content VR2, and the trial version content arranged in the trial version spaces TR1 and TR2 and enjoy the corresponding virtual space. Moreover, it can also instruct | indicate so that the information regarding it may be transmitted to other information terminals (a personal computer, a smart phone, etc.) by selecting an advertisement.
なお、一度ＨＭＤ１１０を非装着とした場合には、その後に没入した仮想空間において広告を注視したとしても、前回ＨＭＤ１１０を装着した際に広告を注視した時間に合算しないことが好ましい。即ち、広告を注視した時間を合算する処理は、一度のＨＭＤ１１０装着時間内に限って行われることが好ましい。これにより、ユーザの関心を一定の長期間にわたって平均化することなく、一時的なユーザの関心の高まりに対しても適時アプローチすることが可能なコンテンツ提供手段を提供し得る。 Note that once the HMD 110 is not attached, it is preferable not to add up to the time when the advertisement was watched when the HMD 110 was attached last time, even if the advertisement is watched in a virtual space that has been immersed thereafter. That is, it is preferable that the process of adding the time when the advertisement is watched is performed only within one HMD 110 wearing time. Accordingly, it is possible to provide a content providing means capable of approaching the user's interest in a timely manner without averaging the user's interest over a certain long period of time.
以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.
例えば、上述の実施形態においては、調整済注視時間に基づいてコンテンツの優先度を判定したが、調整前の注視時間に基づいて優先度を判定しても良い。 For example, in the above-described embodiment, the priority of the content is determined based on the adjusted gaze time. However, the priority may be determined based on the gaze time before adjustment.
また、上述の実施形態においては、互いに関連するコンテンツである広告Ａ，Ａ−１，Ａ−２を、注視時間または合計調整済注視時間を算定するに当たっては関連しないものとして取り扱ったが、これらを関連するものとして取り扱っても良い。例えば、広告Ａ，Ａ−１，Ａ−２の注視時間または調整済注視時間を合計して、広告Ａ，Ａ−１，Ａ−２を一体として優先度を判定してもよい。この場合、広告Ａ，Ａ−１，Ａ−２の優先度が高いと判定された場合には、広告Ａ，Ａ−１，Ａ−２に関連する全ての広告、および、拡張コンテンツを、ランチャー空間ＬＡＵに表示することとしてもよい。 In the above-described embodiment, the advertisements A, A-1, and A-2, which are contents related to each other, are treated as not relevant in calculating the gaze time or the total adjusted gaze time. It may be handled as related. For example, the gaze time or adjusted gaze time of the advertisements A, A-1, and A-2 may be summed, and the priority may be determined by integrating the advertisements A, A-1, and A-2. In this case, when it is determined that the priority of the advertisements A, A-1, and A-2 is high, all the advertisements related to the advertisements A, A-1, and A-2 and the extended content are displayed as launchers. It is good also as displaying on space LAU.
１００…ヘッドマウントディスプレイ（ＨＭＤ）システム、１１０…ＨＭＤ、１１２…ディスプレイ、１１４…センサ部、１２０…制御回路部、１３０…動きセンサ、１３２…検知部、１４０…注視センサ、２００…表示制御部、３００…オブジェクト制御部、４００・・・通信制御部、１…仮想カメラ、２…仮想空間、５…基準視線、２２…仮想空間画像、２３…視界領域、２６…視界画像、ＢＰ…基準点、ＢＤ…基準方向、ＧＤ…注視方向。 DESCRIPTION OF SYMBOLS 100 ... Head mounted display (HMD) system, 110 ... HMD, 112 ... Display, 114 ... Sensor part, 120 ... Control circuit part, 130 ... Motion sensor, 132 ... Detection part, 140 ... Gaze sensor, 200 ... Display control part, DESCRIPTION OF SYMBOLS 300 ... Object control part, 400 ... Communication control part, 1 ... Virtual camera, 2 ... Virtual space, 5 ... Reference line of sight, 22 ... Virtual space image, 23 ... View field area, 26 ... View field image, BP ... Reference point, BD ... reference direction, GD ... gaze direction.
Claims (8)
前記ユーザが没入する第１仮想空間および第２仮想空間を生成するステップと、
前記第１仮想空間に、第１対象オブジェクトを生成するステップと、
前記第２仮想空間に、前記第１対象オブジェクトと関連する第２対象オブジェクトを生成するステップと、
前記ユーザが前記第１対象オブジェクトおよび前記第２対象オブジェクトを注視した時間に基づく注視時間を特定するステップと、
前記注視時間に基づいて、前記ユーザに所定のコンテンツを提供するステップと、
を実行させる方法。 A method for providing an immersive virtual space for a computer,
Generating a first virtual space and a second virtual space into which the user is immersed;
Generating a first target object in the first virtual space;
Generating a second target object associated with the first target object in the second virtual space;
Identifying a gaze time based on a time when the user gazes at the first target object and the second target object;
Providing predetermined content to the user based on the gaze time;
How to run.
前記ユーザが前記第１対象オブジェクトを注視した時間を特定した後に、
前記ヘッドマウントディスプレイが前記ユーザから非装着とされた場合には、
前記第２対象オブジェクトを注視した時間を、第１対象オブジェクトを注視した時間に合算せず、前記第１対象オブジェクトを注視した時間を前記注視時間として特定する、
請求項１の方法。 Providing the virtual space to the user by outputting to a head mounted display;
After identifying the time when the user gazes at the first target object,
When the head mounted display is not worn by the user,
The time when the second target object is watched is not added to the time when the first target object is watched, and the time when the first target object is watched is specified as the watch time.
The method of claim 1.
前記優先度に基づいて、前記コンテンツに関連する拡張コンテンツを特定し、
前記ヘッドマウントディスプレイが前記ユーザに装着されていない場合に、前記拡張コンテンツをダウンロードするためのダウンロード要求を出力する、
請求項２の方法。 Based on the gaze time, set the priority of the content provided to the user,
Based on the priority, identify extended content related to the content,
When the head mounted display is not attached to the user, a download request for downloading the extended content is output.
The method of claim 2 .
前記ランチャー空間は、前記第１仮想空間および前記第２仮想空間に関連付けられる、
請求項１〜３のいずれかの方法。 And further comprising the step of generating a launcher space,
The launcher space is associated with the first virtual space and the second virtual space.
The method according to claim 1.
前記ランチャー空間には、前記コンテンツが前記優先度に応じて表示される、請求項４の方法。 Based on the gaze time, set the priority of the content provided to the user,
The method of claim 4, wherein the content is displayed in the launcher space according to the priority.
前記視界領域に含まれる複数の前記第１対象オブジェクトである第１オブジェクトと第２オブジェクトを特定するステップと、
前記第１オブジェクトに対する前記ユーザの前記注視時間が所定の閾値を超過した場合には、前記第２オブジェクトの表示を、前記第１オブジェクトと関連するように変化させるステップと、
をさらに含む、請求項１〜５のいずれかの方法。 A step of, based on the visual line direction of the user, to define the viewing area of the user,
Identifying a first object and a second object that are a plurality of the first target objects included in the field of view;
Changing the display of the second object to be associated with the first object when the gaze time of the user with respect to the first object exceeds a predetermined threshold;
The method according to claim 1, further comprising:
前記第１基準位置に対する前記ユーザの視線方向である第１基準方向を定義するステップと、
前記第１対象オブジェクトに対する前記ユーザの視線方向である第１注視方向を特定するステップと、
前記ユーザが前記第１対象オブジェクトを注視した第１注視時間を特定するステップと、
前記第１注視時間と、前記第１注視方向と、前記第１基準方向に基づいて、第１調整済注視時間を特定するステップと、
前記第２仮想空間における第２基準位置、および、前記第２対象オブジェクトが配置された第２対象オブジェクト位置を定義するステップと、
前記第２基準位置に対する前記ユーザの視線方向である第２基準方向を定義するステップと、
前記第２対象オブジェクトに対する前記ユーザの視線方向である第２注視方向を特定するステップと、
前記ユーザが前記第２対象オブジェクトを注視した第２注視時間を特定するステップと、
前記第２注視時間と、前記第２注視方向と、前記第２基準方向に基づいて、第２調整済注視時間を特定するステップと、をさらに含み、
前記注視時間は、前記第１調整済注視時間と第２調整済注視時間を合算することによって特定される、請求項１〜６のいずれかの方法。 Defining a first reference position in the first virtual space and a first target object position where the first target object is disposed;
Defining a first reference direction that is the user's line-of-sight direction with respect to the first reference position;
Identifying a first gaze direction that is the user's gaze direction with respect to the first target object;
Identifying a first gaze time when the user gazes at the first target object;
Identifying a first adjusted gaze time based on the first gaze time, the first gaze direction, and the first reference direction;
Defining a second reference position in the second virtual space and a second target object position where the second target object is arranged;
Defining a second reference direction that is the user's line-of-sight direction with respect to the second reference position;
Identifying a second gaze direction that is the user's gaze direction with respect to the second target object;
Identifying a second gaze time when the user gazes at the second target object;
Further comprising identifying a second adjusted gaze time based on the second gaze time, the second gaze direction, and the second reference direction,
The method according to claim 1, wherein the gaze time is specified by adding the first adjusted gaze time and the second adjusted gaze time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015160452A JP6598575B2 (en) | 2015-08-17 | 2015-08-17 | Method and program for controlling head mounted display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015160452A JP6598575B2 (en) | 2015-08-17 | 2015-08-17 | Method and program for controlling head mounted display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017040971A JP2017040971A (en) | 2017-02-23 |
| JP6598575B2 true JP6598575B2 (en) | 2019-10-30 |
Family
ID=58206432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015160452A Active JP6598575B2 (en) | 2015-08-17 | 2015-08-17 | Method and program for controlling head mounted display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6598575B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2019216249A1 (en) * | 2018-05-07 | 2021-06-24 | 株式会社エクシヴィ | How to provide a virtual space with given content |
| JP7247480B2 (en) * | 2018-07-05 | 2023-03-29 | 富士通株式会社 | Log information collection program, log information collection method, and information processing device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000285064A (en) * | 1999-03-31 | 2000-10-13 | Fujitsu Ltd | Virtual space sharing system |
| JP3633452B2 (en) * | 2000-07-14 | 2005-03-30 | 日本電気株式会社 | 3D advertising system and method with motion in 3D virtual space and recording medium |
| JP2005038008A (en) * | 2003-07-15 | 2005-02-10 | Canon Inc | Image processing method, image processor |
| JP4932161B2 (en) * | 2005-01-14 | 2012-05-16 | 三菱電機株式会社 | Viewer information measuring device |
| JP5935640B2 (en) * | 2012-10-01 | 2016-06-15 | ソニー株式会社 | Information processing apparatus, display control method, and program |
-
2015
- 2015-08-17 JP JP2015160452A patent/JP6598575B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017040971A (en) | 2017-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5961736B1 (en) | Method and program for controlling head mounted display system | |
| JP6058184B1 (en) | Method and program for controlling head mounted display system | |
| JP6002286B1 (en) | Head mounted display control method and head mounted display control program | |
| JP5996814B1 (en) | Method and program for providing image of virtual space to head mounted display | |
| US10394319B2 (en) | Method of displaying an image, and system therefor | |
| JP6342038B1 (en) | Program for providing virtual space, information processing apparatus for executing the program, and method for providing virtual space | |
| JP2019519020A (en) | Visual backlighting around the visual field | |
| WO2016118388A1 (en) | Augmented reality field of view object follower | |
| US10438418B2 (en) | Information processing method for displaying a virtual screen and system for executing the information processing method | |
| JP6433862B2 (en) | Head mounted display system control program, computer and method | |
| JP2017021824A (en) | Head-mounted display control method and head-mounted display control program | |
| JP2019125215A (en) | Information processing apparatus, information processing method, and recording medium | |
| JP6598575B2 (en) | Method and program for controlling head mounted display system | |
| JP2023095862A (en) | Program and information processing method | |
| JP2019021347A (en) | Head-mounted display system control program | |
| JP6999538B2 (en) | Information processing methods, information processing programs, information processing systems, and information processing equipment | |
| JP2017041229A (en) | Method and program for controlling head-mounted display system | |
| JP2017033465A (en) | Method and program | |
| JP2017162443A (en) | Method and program for controlling head-mounted display system | |
| JP2017097918A (en) | Image display method and program | |
| JP2017142769A (en) | Method and program for providing head-mounted display with virtual space image | |
| JP6448478B2 (en) | A program that controls the head-mounted display. | |
| WO2024064909A2 (en) | Methods, systems, and computer program products for alignment of a wearable device | |
| JP2018200688A (en) | Program to provide virtual space, information processing device to execute the same and method for providing virtual space | |
| JP2018120587A (en) | Communication method through virtual space, program causing computer to execute method, and information processing device to execute program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180524 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191001 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6598575 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |