JP2017107511A - Information processing system, information processing method, and information processing program - Google Patents
Information processing system, information processing method, and information processing program Download PDFInfo
- Publication number
- JP2017107511A JP2017107511A JP2015242657A JP2015242657A JP2017107511A JP 2017107511 A JP2017107511 A JP 2017107511A JP 2015242657 A JP2015242657 A JP 2015242657A JP 2015242657 A JP2015242657 A JP 2015242657A JP 2017107511 A JP2017107511 A JP 2017107511A
- Authority
- JP
- Japan
- Prior art keywords
- display
- gaze position
- image
- observer
- display image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 190
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 204
- 238000012937 correction Methods 0.000 claims abstract description 100
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 149
- 238000006243 chemical reaction Methods 0.000 description 49
- 238000001514 detection method Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 238000001028 reflection method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 101100244967 Mus musculus Prkx gene Proteins 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing system, an information processing method, and an information processing program.
コンピュータ等の情報処理装置における情報の入力方法の１つとして、利用者（オペレータ）の視線を利用した入力方法が知られている。この種の入力方法では、利用者が表示装置の表示面内における所定の位置を注視することにより、その位置と対応付けられた情報が情報処理装置に入力される。利用者が注視している位置は、撮像装置で撮像した利用者の眼球の画像から検出した利用者の視線に基づいて算出する。 As one of information input methods in an information processing apparatus such as a computer, an input method using a user's (operator) line of sight is known. In this type of input method, when a user gazes at a predetermined position in the display surface of the display device, information associated with the position is input to the information processing device. The position where the user is gazing is calculated based on the line of sight of the user detected from the image of the user's eyeball imaged by the imaging device.
利用者の視線の検出方法の１つに、瞳孔−角膜反射法と呼ばれる方法がある。瞳孔−角膜反射法では、利用者の眼球の画像における所定の光源からの光に対する角膜反射の位置と、瞳孔の中心位置との位置関係に基づいて、利用者の視線を検出する。 One method of detecting the user's line of sight is a method called pupil-corneal reflection method. In the pupil-cornea reflection method, the user's line of sight is detected based on the positional relationship between the position of corneal reflection with respect to light from a predetermined light source in the image of the user's eyeball and the center position of the pupil.
ところが、角膜の曲率半径、瞳孔間距離等は利用者毎に個人差がある。そのため、瞳孔−角膜反射法で検出した利用者の視線に基づいて利用者が注視している位置を算出した場合、利用者が実際に注視している位置と、情報処理装置が算出した注視位置とにずれが生じることがある。利用者が実際に注視している位置と、情報処理装置が算出した注視位置とにずれが生じている場合、情報処理装置に正しい情報を入力することが難しくなる。したがって、視線を利用した入力方法では、事前に、利用者が実際に注視している位置と、情報処理装置が算出した注視位置とのずれを解消するための注視位置の較正を行う。 However, the radius of curvature of the cornea, the interpupillary distance, and the like vary among individuals. Therefore, when the position where the user is gazing based on the user's line of sight detected by the pupil-corneal reflection method is calculated, the position where the user is actually gazing and the gazing position calculated by the information processing device Deviation may occur. If there is a difference between the position where the user is actually gazing and the gazing position calculated by the information processing apparatus, it is difficult to input correct information to the information processing apparatus. Therefore, in the input method using the line of sight, the gaze position is calibrated in advance in order to eliminate the deviation between the position where the user is actually gazing and the gaze position calculated by the information processing apparatus.
注視位置の較正方法の１つとして、視線を利用した入力方法と、マウス装置等の入力装置を利用した入力方法とを併用して行う較正方法が知られている。この種の較正方法では、利用者が入力装置を操作して表示装置に表示された像（オブジェクト）を選択した際の表示面内における操作位置と、利用者の視線に基づいて算出した注視位置とに基づいて注視位置のずれを補正する（例えば、特許文献１を参照）。 As one method for calibrating the gaze position, a calibration method is known in which an input method using a line of sight and an input method using an input device such as a mouse device are used in combination. In this type of calibration method, the gaze position calculated based on the operation position on the display surface when the user selects the image (object) displayed on the display device by operating the input device, and the user's line of sight Based on the above, the gaze position shift is corrected (see, for example, Patent Document 1).
また、注視位置の較正方法として、利用者がテスト画像を観察する際の眼球運動と、利用者の視野データとに基づいて眼球運動データを較正し、注視位置を較正する方法が知られている（例えば、特許文献２を参照）。 Further, as a method for calibrating the gaze position, a method for calibrating the gaze position by calibrating the eye movement data based on the eye movement when the user observes the test image and the visual field data of the user is known. (For example, see Patent Document 2).
更に、注視位置の較正方法として、利用者の眼球の画像における眼球の位置から表示装置の表示面内の注視位置に向かうベクトルと、画像から算出した視線のベクトルとに基づいて較正する方法が知られている（例えば、特許文献３を参照）。 Further, as a method for calibrating the gaze position, a method is known in which calibration is performed based on a vector from the position of the eyeball in the image of the user's eyeball to the gaze position in the display surface of the display device and a gaze vector calculated from the image. (For example, see Patent Document 3).
しかしながら、視線を利用した入力方法と、マウス装置等の入力装置を利用した入力方法とを併用して行う注視位置の較正方法では、注視位置を構成する際に利用者が視線による入力操作と入力装置による入力操作をしなければならない。そのため、注視位置の較正に手間がかかる。更に、入力方法が視線を利用した入力方法のみである場合、入力装置を用いた注視位置の較正方法は適用対象外となる。 However, in the gaze position calibration method that uses both the gaze-based input method and the input method that uses an input device such as a mouse device, when the gaze position is configured, the user performs the gaze input operation and input. The input operation must be performed by the device. Therefore, it takes time to calibrate the gaze position. Furthermore, when the input method is only the input method using the line of sight, the gaze position calibration method using the input device is not applicable.
また、テスト画像等を用いた注視位置の較正方法では、利用者に注視させるための特徴的な部分を含む画像を用意する必要があり、かつその特徴的な部分を利用者に注視させる必要がある。そのため、利用者が実際に注視した部分と、利用者に注視させたい部分とが一致していない場合には注視位置を適正に較正することが難しくなり、注視位置の較正をやり直さなければならないことがある。 In addition, in the method for calibrating the gaze position using the test image or the like, it is necessary to prepare an image including a characteristic part for letting the user gaze, and it is necessary to make the user gaze at the characteristic part. is there. Therefore, it is difficult to properly calibrate the gaze position when the part that the user actually gazes and the part that the user wants to gaze are not matched, and the gaze position must be calibrated again There is.
１つの側面において、本発明は、視線を利用した情報の入力が可能な情報処理システムにおける利用者の注視位置を補正する際の利用者の手間を軽減することを目的とする。 In one aspect, an object of the present invention is to reduce a user's trouble when correcting a gaze position of a user in an information processing system capable of inputting information using a line of sight.
１つの態様の情報処理システムは、注視位置算出部と、表示画像生成部と、補正量算出部と、を備える。注視位置算出部は、撮像装置により撮像された表示装置を観察する観察者の眼球を含む画像を用いて、表示装置の表示面内における観察者の注視位置を算出する。表示画像生成部は、第１の表示画像を表示装置に表示させているときに、観察者について注視位置算出部で算出した第１の注視位置に基づいて第１の表示画像を変化させた第２の表示画像を生成する。補正量算出部は、第２の表示画像を表示装置に表示させているときに観察者について注視位置算出部で算出した第２の注視位置と、第１の表示画像に対する第２の表示画像の変化量と、第１の注視位置とに基づいて、観察者についての注視位置に対する補正量を算出する。 An information processing system according to one aspect includes a gaze position calculation unit, a display image generation unit, and a correction amount calculation unit. The gaze position calculation unit calculates the gaze position of the observer within the display surface of the display device using an image including the eyeball of the observer who observes the display device imaged by the imaging device. The display image generation unit changes the first display image based on the first gaze position calculated by the gaze position calculation unit for the observer while the first display image is displayed on the display device. 2 display images are generated. The correction amount calculation unit calculates the second gaze position calculated by the gaze position calculation unit for the observer while the second display image is displayed on the display device, and the second display image with respect to the first display image. Based on the change amount and the first gaze position, a correction amount for the gaze position for the observer is calculated.
上述の態様によれば、視線を利用した情報の入力が可能な情報処理システムにおける利用者の注視位置を補正する際の利用者の手間を軽減することができる。 According to the above-described aspect, it is possible to reduce the labor of the user when correcting the gaze position of the user in the information processing system capable of inputting information using the line of sight.
［第１の実施形態］
図１は、第１の実施形態に係る情報処理システムの構成を示す図である。
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration of an information processing system according to the first embodiment.
図１に示すように、情報処理システム１は、情報処理装置２と、表示装置３と、光源４と、撮像装置５と、を備える。
As illustrated in FIG. 1, the
情報処理装置２は、表示装置３に表示させる表示画像の生成処理を含む各種の情報処理を行う。表示装置３は、情報処理装置２が生成した表示画像を表示する。
The
光源４及び撮像装置５は、観察者の視線の検出に用いる画像を撮像するためのものである。観察者の視線の検出は、情報処理装置２が行う。ここで、観察者は、表示装置３の表示面３０１を観察する者である。また、観察者の視線は、表示装置３の表示面３０１内における観察者が見ている位置を表す。以下の説明では、視線のことを視線位置ともいう。
The
光源４及び撮像装置５は、例えば、図１に示したように、表示装置３における表示面３０１の下方、かつ表示面３０１における水平方向の中心となる位置に近接させて配置してある。なお、光源４は観察者の顔に光が照射される向きで配置してあり、撮像装置５は観察者の顔を撮像する向きで配置してある。
For example, as illustrated in FIG. 1, the
本実施形態の情報処理装置２は、瞳孔−角膜反射法により観察者の視線を検出する。瞳孔−角膜反射法は、光源４からの光を観察者の顔に照射した状態で撮像した観察者の眼球の画像における角膜反射の位置と瞳孔の中心位置とに基づいて、観察者の視線を検出する方法である。瞳孔−角膜反射法では、光源４として赤外線発光ダイオード（ＩＲ ＬＥＤ）等の赤外線光源を用い、撮像装置５として赤外線カメラを用いる。
The
図２は、観察者の視線の検出方法を説明する図である。
図２の（ａ）に示すように、表示装置３の表示面３０１と向かい合う位置に観察者６がいる場合、光源４が発した光の一部は観察者６の眼球６０１で反射する。そのため、図２の（ｂ）に示すように、撮像装置５で撮像した画像７における観察者の眼球６０１の部分には、光源４からの光による角膜反射６０２が見られる。瞳孔−角膜反射法では、画像７内における、角膜反射６０２の位置（PrkX，PrkY）に対する瞳孔６０３の中心位置（PupX，PupY）に基づいて観察者６の視線を検出する。観察者６が表示装置３の表示面３０１を観察している場合、観察者６の視線位置（X，Y）は、例えば、下記式（１−１）及び（１−２）で与えられる。
X＝A・(PupX−PrkX)＋(DPX/2) ・・・（１−１）
Y＝DPY＋B・(PupY-PrkY) ・・・（１−２）
FIG. 2 is a diagram for explaining a method for detecting an observer's line of sight.
As shown in FIG. 2A, when the observer 6 is at a position facing the
X = A · (PupX−PrkX) + (DPX / 2) (1-1)
Y = DPY + B ・ (PupY-PrkY) (1-2)
式（１−１）のDPXは、表示面３０１のｘ方向（水平方向）の解像度（表示画素数）である。式（１−２）のDPYは、表示面３０１のｙ方向（垂直方向）の解像度である。また、式（１−１）のA及び式（１−２）のBは、それぞれｘ方向の換算係数及びｙ方向の換算係数である。換算係数は、例えば、撮像装置５から観察者６までの距離、眼球６０１のサイズ、角膜曲率半径、角膜反射位置と瞳孔中心位置との差等を用いた統計処理の結果に基づいて設定される値である。
DPX in Expression (1-1) is the resolution (the number of display pixels) in the x direction (horizontal direction) of the
本実施形態の情報処理装置２は、一定期間内に撮像された複数の画像から検出した視線位置（X，Y）の分布が所定の範囲内である場合、視線位置の分布に基づいて観察者６が注視している位置を算出する。そして、観察者６が注視している位置が表示装置３の表示面３０１内における所定の位置である場合、情報処理装置２は、当該所定の位置と対応付けられた情報の入力を受け付ける。例えば、表示装置３に地図を表示している状態で観察者６が地図内のある箇所を注視している場合、情報処理装置２は「観察者が注視している位置を中心として地図（表示画像）を拡大表示する」という情報の入力を受け付ける。以下の説明では、観察者が注視している位置を観察者の注視位置ともいう。
In the
図３は、注視位置のずれを説明する図である。
本実施形態に係る情報処理システム１においては、画像７から算出した観察者６の注視位置と、観察者６が実際に注視している位置とに、個人差によるずれが生じることがある。例えば、図３に示すように、画像７から抽出した視線位置８０１が所定の範囲８０２内に分布している場合、注視位置８１１の座標（X1，Y1）は各視線位置８０１の座標の平均を取ることで求められる。ところが、視線位置８０１の算出式における換算係数A，Bは統計処理の結果に基づいて設定される値であり、観察者６に対する換算係数として最適な値ではない可能性が高い。そのため、図３に示したように、算出した注視位置８１１の座標（X1，Y1）と、観察者６の実際の注視位置８０３を示す座標（XR，YR）とにはずれが生じる。このように算出した注視位置と観察者の実際の注視位置とにずれが生じている場合、情報処理装置２は、観察者の意図している処理とは異なる処理を行ってしまう可能性がある。例えば、表示装置３に表示された画像に含まれる入力釦の像の近傍を観察者が注視している場合、実際の注視位置８０３が入力釦の像の表示領域の外側であっても、算出した注視位置８１１が入力釦の像の表示領域内になることがある。この場合、情報処理装置２には、観察者が意図しない、入力釦と対応した情報が入力される。したがって、この種の情報処理システム１における情報処理装置２は、算出した注視位置と、観察者の実際の注視位置とのずれを解消する補正（キャリブレーション）を行う。本実施形態では、算出した注視位置を補正する代わりに、視線位置（X，Y）の算出式に対する補正を行う。すなわち、本実施形態では、ズーム、スクロールといったような画像変化前後でユーザーは表示面内で同じ対象物に追従、注視し続けることに着目し、画像変化前後での注視位置の変化量と情報処理装置側の画像変化量とをもとに、注視位置の較正（補正）を実施する。以下の説明では、画像から算出した注視位置を算出注視位置ともいう。
FIG. 3 is a diagram for explaining the shift of the gaze position.
In the
図４は、第１の実施形態に係る情報処理装置の機能的構成を示す図である。
図４に示すように、情報処理装置２は、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。
FIG. 4 is a diagram illustrating a functional configuration of the information processing apparatus according to the first embodiment.
As illustrated in FIG. 4, the
画像取得部２０１は、撮像装置５から画像データを取得する。以下の説明では、画像データのことを単に画像ともいう。
The
表示制御部２０２は、取得した画像から観察者６の視線位置（X，Y）を検出する処理を行い、検出処理の結果に基づいて表示画像生成部２０３における表示画像の生成処理を制御する。情報処理システム１を起動させた直後等、画像から観察者６の視線位置（X，Y）が検出されない場合、表示制御部２０２は、表示画像生成部２０３に対し初期画面の表示画像を生成する制御信号を出力する。また、画像から観察者６の視線位置（X，Y）が検出された場合、表示制御部２０２は、観察者６が表示装置３の表示面３０１を注視しているか否かを判定する。観察者６が表示面３０１を注視している場合、表示制御部２０２は、表示画像生成部２０３に対し、観察者６の注視位置（算出注視位置）を中心として表示面３０１に表示された像（表示像）を拡大又は縮小させた表示画像を生成する制御信号を出力する。更に、表示制御部２０２は、表示装置３の表示面３０１に表示された像を、算出注視位置を中心として拡大表示させたときに、観察者６の視線位置の算出式を補正する処理を行う。この表示制御部２０２は、視線検出部２０２ａと、注視位置算出部２０２ｂと、補正量算出部２０２ｃと、を含む。視線検出部２０２ａは、取得した画像から観察者６の視線位置（X，Y）を検出する処理を行う。注視位置算出部２０２ｂは、一定期間内における観察者６の視線位置（X，Y）の分布に基づいて観察者６の注視位置を算出する。補正量算出部２０２ｃは、表示面３０１の像を拡大する前の注視位置と拡大した後の注視位置とに基づいて、視線位置（X，Y）の算出式における換算係数A，Bの補正値を算出する。
The
表示画像生成部２０３は、表示制御部２０２からの制御信号に基づいて、表示装置３に表示させる表示画像を生成する。表示画像生成部２０３は、表示面３０１に表示させる画像のデータを記憶部２０５の表示用データ２０５ａを読み出して表示画像を生成する。
The display
表示画像出力部２０４は、表示画像生成部２０３が生成した表示画像を表示装置３に出力する。
The display
記憶部２０５には、表示用データ２０５ａに加え、表示制御部２０２が参照する各種のデータを記憶させる。記憶部２０５に記憶させる各種のデータには、係数初期値２０５ｂと、前注視位置２０５ｃと、係数補正値２０５ｄと、が含まれる。係数初期値２０５ｂは、視線位置の算出式（１−１）及び式（１−２）における換算係数A，Bの初期値である。前注視位置２０５ｃは、注視位置算出部２０２ｂが算出した過去の注視位置である。係数補正値２０５ｄは、補正量算出部２０２ｃが算出した換算係数A，Bの補正値である。
The
なお、図４においては、画像取得部２０１、表示制御部２０２、表示画像生成部２０３、表示画像出力部２０４、記憶部２０５が1台の情報処理装置２に搭載されている例を示しているが、実装のされ方はこれに限る必要はない。例えば、ネットワークを介して接続された複数のコンピュータ上に、各処理部が分散されて配置されても構わない。すなわち、情報処理装置２はコンピュータシステムとして実現されてもよい。
4 illustrates an example in which the
本実施形態の情報処理システム１を稼動させると、情報処理装置２は、まず初期画面の表示画像を生成して表示装置３に表示させる。初期画面の表示画像は、表示画像生成部２０３が生成する。表示画像生成部２０３が生成した初期画面の表示画像は、表示画像出力部２０４を介して表示装置３に出力される。その後、情報処理装置２は、図５Ａ及び図５Ｂに示したような処理を行う。
When the
図５Ａは、第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図５Ｂは、第１の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。 FIG. 5A is a flowchart (No. 1) for explaining a method of correcting a gaze position calculation formula according to the first embodiment. FIG. 5B is a flowchart (part 2) for explaining the correction method for the gaze position calculation formula according to the first embodiment.
情報処理装置２は、図５Ａに示すように、まず、撮像装置５から画像を取得して視線を検出する処理（ステップＳ１）を行う。ステップＳ１の処理は、画像取得部２０１と、表示制御部２０２の視線検出部２０２ａとが行う。画像取得部２０１は、撮像装置５から画像を取得して視線検出部２０２ａに転送する。視線検出部２０２ａは、取得した画像に含まれる観察者の眼球の部分から角膜反射の位置（PrkX，PrkY）及び瞳孔の中心位置（PupX，PupY）を検出し、式（１−１）及び式（１−２）を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、N秒分（例えば１秒分）の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
As illustrated in FIG. 5A, the
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ２）。ステップＳ２の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ２；Ｎｏ）、情報処理装置２が行う処理はステップＳ１に戻る。なお、ステップＳ２の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ２の判定結果は「Ｎｏ」となる。
Next, the
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ２；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３）。ステップＳ３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
On the other hand, when it is determined that the observer 6 is gazing at the display surface 301 (step S2; Yes), the
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、注視位置を中心として表示像を拡大表示させる（ステップＳ４）。ステップＳ４の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３で観察者６の注視位置（X1，Y1）を算出した後、注視位置（X1，Y1）を中心として表示像を拡大させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置３に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、注視位置を中心として所定の拡大率で拡大した表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
When the gaze position (X1, Y1) of the observer 6 is calculated, the
なお、ステップＳ４において表示画像を拡大させる場合、拡大前の表示画像における像が所定の拡大率まで段階的（連続的）に拡大されるよう表示画像を変化させることが好ましい。 In addition, when enlarging a display image in step S4, it is preferable to change a display image so that the image in the display image before expansion is expanded stepwise (continuously) to a predetermined magnification.
ステップＳ４の後、情報処理装置２は、表示像を拡大する前の注視位置がシフト量算出領域内であるか否かを判定する（ステップＳ５）。ステップＳ５の判定は、例えば、注視位置算出部２０２ｂが行う。シフト量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。拡大する前の注視位置がシフト量算出領域の外側である場合（ステップＳ５；Ｎｏ）、情報処理装置２は、図５Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
After step S4, the
一方、拡大する前の注視位置がシフト量算出領域内である場合（ステップＳ５；Ｙｅｓ）、情報処理装置２は、次に、拡大する前の注視位置を保持する（ステップＳ６）。ステップＳ６の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
On the other hand, when the gaze position before enlargement is within the shift amount calculation region (step S5; Yes), the
ステップＳ６の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ７）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ８）。ステップＳ７の処理は、ステップＳ２の処理と同様、画像取得部２０１と視線検出部２０２ａが行う。また、ステップＳ８の判定は、ステップＳ２の判定と同様、視線検出部２０２ａが行う。
After step S6, the
表示像を拡大した後、観察者６が表示面３０１を注視していない場合（ステップＳ８；Ｎｏ）、情報処理装置２は、図５Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
After the display image is enlarged, when the observer 6 is not gazing at the display surface 301 (step S8; No), the
一方、表示像を拡大した後も観察者６が表示面３０１を注視している場合（ステップＳ８；Ｙｅｓ）、情報処理装置２は、次に、拡大後の注視位置（X2，Y2）を算出する（ステップＳ９）。ステップＳ９の処理は、ステップＳ３の処理と同様、注視位置算出部２０２ｂが行う。
On the other hand, when the observer 6 is gazing at the
表示像を拡大した後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、図５Ｂに示すように、算出した注視位置（X1，Y1）と観察者６の実際の注視位置とのずれ量（シフト量）を算出する（ステップＳ１０）。ステップＳ１０の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、表示画像を拡大する前に算出した第１の注視位置（X1，Y1）と、拡大した後に算出した第２の注視位置と、拡大率とに基づいて、ｘ方向のシフト量diffX及びｙ方向のシフト量diffYを算出する。
When the gaze position (X2, Y2) after enlarging the display image is calculated, the
シフト量diffX，diffYを算出すると、情報処理装置２は、次に、算出したシフト量が閾値以上であるか否かを判定する（ステップＳ１１）。シフト量が閾値よりも小さい場合（ステップＳ１１；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
After calculating the shift amounts diffX and diffY, the
一方、シフト量が閾値以上である場合（ステップＳ１１；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数A，Bを補正する（ステップＳ１２）。ステップＳ１２の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、拡大前の注視位置（X1，Y1）と、表示像の拡大率と、算出したシフト量diffX，diffYとを用いて、式（１−１）の換算係数A及び式（１−２）の換算係数Bを補正する。
On the other hand, when the shift amount is equal to or greater than the threshold (step S11; Yes), the
補正量算出部２０２ｃは、換算係数の補正値Ａ’，Ｂ’を係数補正値２０５ｄとして記憶部２０５に記憶させる。これにより、表示像を拡大する処理と連動した視線位置算出式の係数を補正する処理が終了する。
The correction
図６は、拡大表示の例を示す図である。
本実施形態の情報処理システム１は、例えば、地図を表示するサイネージ等に適用可能である。この種のサイネージにおいては、例えば、図６の（ａ）に示すように、表示装置３の表示面３０１に近隣の地図が表示されている。そして、表示面３０１と向かい合う位置にいる観察者６が表示面３０１に表示された地図上のある点８１１を注視すると、図示しない情報処理装置２は注視位置８１１の座標（X1，Y1）を算出する。その後、情報処理装置２は、注視位置８１１の座標（X1，Y1）を中心として地図を拡大表示させる処理（ステップＳ４）を行う。このとき、情報処理装置２は、図６の（ａ）に示した領域８２１内の像が注視位置８１１を中心としてズームアップされるよう段階的に拡大させた複数の表示画像を生成して表示装置３に順次表示させる。すなわち、観察者６が表示面３０１に表示された地図上のある点８１１を注視した場合、表示装置３の表示面３０１に表示される像は、図６の（ｂ）に示すように、注視位置８１１及びその周囲を拡大した像に段階的に変化する。なお、注視位置８１１を中心として地図を拡大させる場合、領域８２１のｘ方向の寸法及びｙ方向の寸法は、それぞれ、表示面３０１の寸法と拡大率の逆数とから算出する。また、領域８２１の左上の角部の位置（X5，Y5）は、注視位置８１１から表示面の左上の角部までの距離及び方向と、拡大率の逆数とから算出する。
FIG. 6 is a diagram illustrating an example of enlarged display.
The
このように、観察者６の注視位置８１１を中心として地図を拡大することにより、拡大の前後において表示面３０１内の注視位置８１１が変わらないため、拡大後に観察者６が注視していた位置を見失う可能性が低くなる。
In this way, by enlarging the map around the
ところが、情報処理装置２が算出した注視位置と、観察者６の実際の注視位置とには、上記のように角膜反射の個人差によるずれが生じる。そのため、情報処理装置２は、注視位置に対する補正量を算出する処理を行う。本実施形態では、補正量を算出する処理として、算出した注視位置と、観察者の実際の注視位置とのずれ量（シフト量）を求め、当該シフト量に基づいて視線位置算出式の換算係数A，Bを観察者６に適した値に補正する処理を行う。
However, as described above, a shift due to individual differences in corneal reflection occurs between the gaze position calculated by the
図７Ａは、シフト量の算出方法を説明する図（その１）である。図７Ｂは、シフト量の算出方法を説明する図（その２）である。 FIG. 7A is a diagram (part 1) illustrating a method for calculating a shift amount. FIG. 7B is a diagram (part 2) for explaining the shift amount calculation method.
上記のように、情報処理装置２は、まず、換算係数A，Bの初期値（係数初期値）を用いた視線位置算出式により、観察者６の注視位置８１１の座標（X1，Y1）を算出する。ここで、図７Ａの（ａ）に示すように、算出した注視位置８１１と観察者６の実際の注視位置８１３とにずれが生じているとする。この場合、観察者６の実際の注視位置８１３が座標（XR，YR）であるとすると、シフト量diffX及びdiffYは、下記式（２−１）及び式（２−２）で与えられる。
diffX＝XR−X1 ・・・（２−１）
diffY＝YR−Y1 ・・・（２−２）
As described above, the
diffX = XR−X1 (2-1)
diffY = YR−Y1 (2-2)
しかしながら、観察者６の実際の注視位置８１３の座標（XR，YR）は未知であるため、下記式（２−１）及び式（２−２）からシフト量diffX及びdiffYを算出することはできない。そのため、情報処理装置２は、注視位置８１１を中心として表示像を拡大するときの拡大率zoomと、拡大する前後における算出注視位置の移動量とに基づいて、シフト量diffX及びdiffYを算出する。
However, since the coordinates (XR, YR) of the
拡大前の算出注視位置８１１を中心として表示像を拡大すると、図７の（ｂ）に示したように、拡大前に注視位置８１３に表示されていた像８１５の表示位置（X0，Y0）は、算出注視位置８１１及び拡大前の注視位置８１３を通る直線上に位置する。そのため、図７Ａの（ｂ）に示すように、拡大前の算出注視位置８１１と実際の注視位置８１３との距離をＬとすると、算出注視位置８１１と像８１５の表示位置との距離はzoom・Ｌとなる。このように、算出注視位置８１１を中心として表示像を拡大したことにより、観察者６が実際に注視している像の表示位置がずれる。そのため、観察者６は、注視位置（視線位置）を座標（XR，YR）から座標（X0，Y0）に移動させる。この注視位置の移動の前後において、シフト量diffX及びdiffYは略同一である。したがって、図７Ｂの（ｃ）に示すように、観察者６が座標（X0，Y0）を注視しているときの算出注視位置８１６の座標は、実際の注視位置から距離Ｌの座標（X2，Y2）となる。
When the display image is enlarged around the calculated
上記のように、拡大前に注視位置８１３に表示されていた像８１５の表示位置（X0，Y0）は、算出注視位置８１１及び拡大前の注視位置８１３を通る直線上に位置する。そのため、像８１５の表示位置（X0，Y0）と、拡大前の算出注視位置８１１の座標（X1，Y1）と、拡大後の算出注視位置８１６の座標（X2，Y2）とは、同一直線上の点とみなすことができる。したがって、これら３点の座標を用いることにより、シフト量diffX及びdiffYは、下記式（３−１）及び式（３−２）で表すことができる。
diffX＝（X2−X1）／（zoom−1） ・・・（３−１）
diffY＝（Y2−Y1）／（zoom−1） ・・・（３−２）
As described above, the display position (X0, Y0) of the
diffX = (X2-X1) / (zoom-1) (3-1)
diffY = (Y2−Y1) / (zoom−1) (3-2)
情報処理装置２は、式（３−１）により算出したシフト量diffXが閾値以上である場合、式（１−１）の視線位置計算式における換算係数Aを補正する。視線位置のｘ方向の座標値を算出する式（１−１）は、下記式（４−１）を満たす式に補正する。
XR＝X1＋diffX
＝A'・(PupX1−PrkX1）＋DPX／2 ・・・（４−１）
The
XR = X1 + diffX
= A '· (PupX1−PrkX1) + DPX / 2 (4-1)
式（４−１）の換算係数A'は、下記式（５−１）及び式（６−１）により算出する。
A'・(PupX1−PrkX1)＝A・(PupX1−PrkX1)＋diffX ・・・（５−１）
A'＝{A・(PupX1−PrkX1)＋diffX}／(PupX1−PrkX1) ・・・（６−１）
The conversion coefficient A ′ in the formula (4-1) is calculated by the following formula (5-1) and formula (6-1).
A ′ · (PupX1−PrkX1) = A · (PupX1−PrkX1) + diffX (5-1)
A ′ = {A · (PupX1−PrkX1) + diffX} / (PupX1−PrkX1) (6-1)
また、情報処理装置２は、式（３−２）により算出したシフト量diffYが閾値以上である場合、式（１−２）の視線位置計算式における換算係数Bを補正する。視線位置のｙ方向の座標値を算出する式（１−２）は、下記式（４−２）を満たす式に補正する。
YR＝Y1＋diffY
＝DPY＋B'・(PupY1−PrkY1) ・・・（４−２）
Further, when the shift amount diffY calculated by the equation (3-2) is equal to or larger than the threshold value, the
YR = Y1 + diffY
= DPY + B '・ (PupY1-PrkY1) (4-2)
式（４−２）の換算係数B'は、下記式（５−２）及び式（６−２）により算出する。
B'・(PupY1−PrkY1)＝B・(PupY1−PrkY1)＋diffY ・・・（５−２）
B'＝{B・(PupY1−PrkY1)＋diffY}／(PupY1−PrkY1） ・・・（６−２）
The conversion coefficient B ′ in the formula (4-2) is calculated by the following formula (5-2) and formula (6-2).
B ′ · (PupY1−PrkY1) = B · (PupY1−PrkY1) + diffY (5-2)
B ′ = {B · (PupY1−PrkY1) + diffY} / (PupY1−PrkY1) (6-2)
すなわち、情報処理装置２は、式（４−１）及び式（６−１）を用いて算出した換算係数A’と、式（４−２）及び式（６−２）を用いて算出した換算係数B’とを、係数補正値２０５ｅとして記憶部２０５に記憶させる。以後、情報処理装置２は、観察者６の注視位置が算出されなくなるか、又は観察者６の注視位置を中心として表示像を拡大し視線位置算出式が再度補正されるまで、補正後の換算係数A’，B’（係数補正値）を用いて観察者６の視線位置を算出する。
That is, the
なお、上記のような方法でシフト量を算出し視線位置算出式の換算係数を正確に補正することができるのは、拡大前に観察者６が実際に注視している位置８１３に表示されている像が拡大後も表示面３０１に表示されている場合に限られる。そのため、本実施形態の視線位置算出式の補正方法では、上記のように表示面３０１内にシフト量算出領域を設定し、拡大前の注視位置がシフト量算出領域内である場合にのみ、シフト量を算出して視線位置算出式の換算係数を補正する。
Note that the shift amount can be calculated by the method as described above, and the conversion coefficient of the gaze position calculation formula can be accurately corrected, which is displayed at the
図８は、シフト量算出領域を説明する図である。
算出注視位置８１１を中心として表示像を拡大させる場合、観察者の実際の注視位置８１３が、注視位置８１１と、表示面３０１における注視位置８１１から最も近い辺との間に位置していると、拡大前の注視位置の像が拡大後に表示されない可能性が高い。特に、算出した注視位置８１１から表示面３０１の辺までの距離が短い場合に、拡大前の注視位置の像が拡大後に表示されない可能性が高い。拡大前の注視位置の像が拡大後に表示されない場合、拡大後も観察者６が表示面３０１を注視していたとしても、拡大の前後において観察者６が注視している像が異なる。よって、正確なシフト量diffX，diffYを算出することができず、視線位置算出式の換算係数A，Bに対し誤った補正を行ってしまう可能性がある。
FIG. 8 is a diagram for explaining the shift amount calculation region.
When enlarging the display image around the calculated
そこで、本実施形態に係る視線位置の算出式の補正方法では、図８に示すように、表示装置３の表示面３０１内にシフト量算出領域３０１ａを設定する。シフト量算出領域３０１ａを設定する際には、上記のような理由から、表示面３０１における正確なシフト量を算出することができない可能性の高い領域（言い換えるとシフト量を算出しない領域）を基準に設定する。例えば、図８に示したように、表示面３０１のｘ方向（水平方向）の各辺からそれぞれ距離CEXの範囲と、表示面３０１の上辺から距離CEYの範囲とをシフト量を算出しない領域に設定することにより、シフト量算出領域３０１ａが定まる。シフト量を算出しない領域の範囲を表す距離CEX，CEYは、それぞれ、拡大率zoomと、補正対象とするシフト量の値とに基づいて設定する。例えば、拡大率が１．５倍であり、補正後の換算係数A'，B'が初期値A，Bの０．８倍程度となるシフト量を補正対象とした場合、距離CEX及びCEYは、それぞれ、下記式（７−１）及び式（７−２）に基づいて算出する。
CEX＝{DPX・(1-0.8)・1.5}／2 ・・・（７−１）
CEY＝DPY・(1-0.8)・1.5 ・・・（７−２）
Therefore, in the method for correcting the gaze position calculation formula according to the present embodiment, a shift
CEX = {DPX ・ (1-0.8) ・ 1.5} / 2 (7-1)
CEY = DPY ・ (1-0.8) ・ 1.5 (7-2)
例えば、表示装置３の表示面３０１の解像度が１９２０×１０８０画素である場合、式（７−１）からCEX＝２８８となり、式（７−２）からCEY＝３２４となる。そのため、表示面３０１の左端及び右端から幅２８８画素の範囲、並びに表示面３０１の上端から幅３２４画素の範囲を、シフト量を算出しない領域に設定する。
For example, when the resolution of the
なお、シフト量算出範囲３０１ａは、図８に示した領域に限らず、表示面３０１内の任意の位置に任意の寸法で設定することが可能である。例えば、表示面３０１の上下方向についても、左右方向と同様、シフト量算出範囲３０１ａの上方及び下方にシフト量を算出しない範囲を設定してもよい。また、拡大表示の対象となる像を表示する領域が表示面３０１内の一部の領域に限定されている場合、拡大表示の対象となる像を表示する領域の位置及び寸法に合わせてシフト量算出範囲３０１ａを設定してもよい。例えば、表示面３０１を左右に２分割して左半分の領域のみに拡大表示の対象となる像を表示させる場合、表示面３０１の左半分の領域内のみにシフト量算出範囲を設定してもよい。
Note that the shift
以上のように、本実施形態に係る情報処理装置２は、観察者６が表示面３０１を注視した際の拡大表示と連動して視線位置の算出式を補正する。この際、視線位置の算出式は拡大前後の注視位置と拡大率とに基づいて補正するので、観察者６に補正のための装置を操作させることなく視線位置の算出式を補正することができる。また、本実施形態に係る情報処理装置２では、拡大前後の注視位置と拡大率とに基づいて視線位置の算出式を補正するので、補正用のテスト画像に限らず、任意の画像を表示装置に表示させた状態で補正することが可能となる。例えば、地図等のコンテンツを観察者６に提供する情報処理システム１の場合、上記のように、表示装置３に表示させた地図を拡大表示する際に視線位置の算出式を補正することができる。そのため、表示装置３に表示させたテスト画面内の特徴点を所定の順序で注視する等の動作を観察者に行わせることなく、視線位置の算出式を補正することができる。したがって、本実施形態の情報処理システム１によれば、観察者６が視線位置の算出式を補正するための処理を行う手間を省くことができる。
As described above, the
なお、視線位置の算出式を補正するタイミングは、表示画像を拡大するときに限らず、例えば、観察者６の注視位置を中心として表示画像を縮小するときであってもよい。また、拡大又は縮小する表示画像は、観察者６に提供するコンテンツの像に限らず、補正用の画像であってもよい。補正用画像は、例えば、観察者に注視させる位置が一点だけ示された画像でよい。また、観察者６は、補正用画像内の指定位置を注視するだけでよい。そのため、観察者６が行う動作は、画像内の複数の特徴点を所定の順序で注視するような動作と比べて非常に少なくなる。よって、補正用の画像を用いて視線位置の算出式を補正する際の処理が軽減される。 The timing for correcting the gaze position calculation formula is not limited to when the display image is enlarged, but may be, for example, when the display image is reduced around the gaze position of the observer 6. The display image to be enlarged or reduced is not limited to the content image provided to the viewer 6 but may be a correction image. The correction image may be, for example, an image in which only one position indicated by the observer is shown. Further, the observer 6 only needs to gaze at the designated position in the correction image. Therefore, the operation performed by the observer 6 is extremely less than an operation in which a plurality of feature points in the image are watched in a predetermined order. Therefore, the processing for correcting the gaze position calculation formula using the correction image is reduced.
また、観察者６の視線の検出方法は、本実施形態で挙げた瞳孔−角膜反射法に限らず、他の方法（例えば画像内の目頭の位置と虹彩の中心位置とに基づいて検出する方法）であってもよい。 Further, the method of detecting the line of sight of the observer 6 is not limited to the pupil-corneal reflection method described in the present embodiment, and other methods (for example, a method of detecting based on the position of the eye head in the image and the center position of the iris). ).
更に、図１及び図４に示した情報処理装置２は、観察者６の視線位置に基づいて情報の入力を受け付けるだけでなく、キーボード装置、マウス装置、及びタッチパネル装置等の入力装置からの情報の入力も受け付けるものであってもよい。これらの入力装置は、本実施形態の情報処理システム１に必須の構成ではない。しかしながら、これらの入力装置を併用することでより多くの種類の情報を入力可能となり、観察者の利便性を向上させることが可能となる。
Further, the
［実施形態２］
本実施形態に係る情報処理システム１では、情報処理装置２が行う表示画像のスクロールと連動して視線位置の算出式を補正する。本実施形態に係る情報処理システム１は、図１に示したような構成であり、情報処理装置２と、表示装置３と、光源４と、撮像装置５と、を備える。また、情報処理装置２の機能的構成は、図４に示したような構成であり、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。なお、情報処理装置２の表示制御部２０２は、観察者６が表示面３０１内の所定位置を注視した場合に、表示している像が所定の方向に所定の移動量だけ並進移動した表示画像を生成する制御信号を表示画像生成部２０３に転送する。
[Embodiment 2]
In the
図９Ａは、第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図９Ｂは、第２の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。 FIG. 9A is a flowchart (No. 1) for explaining a method of correcting a gaze position calculation formula according to the second embodiment. FIG. 9B is a flowchart (No. 2) for explaining the correction method of the gaze position calculation formula according to the second embodiment.
本実施形態の情報処理装置２は、図９Ａに示すように、まず、撮像装置５から画像を取得して視線を検出する処理（ステップＳ１）を行う。ステップＳ１の処理は、画像取得部２０１と、表示制御部２０２の視線検出部２０２ａとが行う。画像取得部２０１は、撮像装置５から画像を取得して視線検出部２０２ａに転送する。視線検出部２０２ａは、取得した画像に含まれる観察者の眼球の部分から角膜反射の位置（PrkX，PrkY）及び瞳孔の中心位置（PupX，PupY）を検出し、式（１−１）及び式（１−２）を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、N秒分（例えば１秒分）の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
As illustrated in FIG. 9A, the
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ２）。ステップＳ２の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、例えば、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ２；Ｎｏ）、情報処理装置２が行う処理はステップＳ１に戻る。なお、ステップＳ２の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ２の判定結果は「Ｎｏ」となる。
Next, the
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ２；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３）。ステップＳ３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
On the other hand, when it is determined that the observer 6 is gazing at the display surface 301 (step S2; Yes), the
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、表示像をスクロールさせる（ステップＳ２１）。ステップＳ２１の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３で観察者６の注視位置（X1，Y1）を算出した後、表示像を所定方向に所定の移動量だけ並進移動（スクロール）させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置３に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、並進移動させた表示画像を生成する。なお、表示画像生成部２０３は、表示像をスクロールさせることにより生じた空白領域に表示像と連続する像、或いは表示像と重なって非表示になっていた像が表示された表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
When the gaze position (X1, Y1) of the observer 6 is calculated, the
なお、ステップＳ２１において表示画像をスクロールする場合、スクロール前の表示画像における像が所定の移動量だけ移動するまで段階的（連続的）に表示位置が移動するよう表示画像を変化させることが好ましい。 When the display image is scrolled in step S21, it is preferable to change the display image so that the display position moves stepwise (continuously) until the image in the display image before scrolling moves by a predetermined movement amount.
ステップＳ２１の後、情報処理装置２は、スクロールする前の注視位置が変動量算出領域内であるか否かを判定する（ステップＳ２２）。ステップＳ２２の判定は、例えば、注視位置算出部２０２ｂが行う。変動量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。スクロールする前の注視位置が変動量算出領域の外側である場合（ステップＳ２２；Ｎｏ）、情報処理装置２は、図９Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
After step S21, the
一方、スクロールする前の注視位置が変動量算出領域内である場合（ステップＳ２２；Ｙｅｓ）、情報処理装置２は、次に、スクロールする前の注視位置を保持する（ステップＳ２３）。ステップＳ２３の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
On the other hand, when the gaze position before scrolling is within the fluctuation amount calculation region (step S22; Yes), the
ステップＳ２３の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ７）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ８）。ステップＳ７の処理は、ステップＳ２の処理と同様、画像取得部２０１と視線検出部２０２ａが行う。また、ステップＳ８の判定は、ステップＳ３の判定と同様、視線検出部２０２ａが行う。
After step S23, the
表示像をスクロールした後、観察者６が表示面３０１を注視していない場合（ステップＳ８；Ｎｏ）、情報処理装置２は、図９Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。
After the display image is scrolled, when the observer 6 is not gazing at the display surface 301 (step S8; No), the
一方、表示像をスクロールした後も観察者６が表示面３０１を注視している場合（ステップＳ８；Ｙｅｓ）、情報処理装置２は、次に、注視位置を算出する（ステップＳ９）。ステップＳ９の処理は、ステップＳ３の処理と同様、注視位置算出部２０２ｂが行う。
On the other hand, if the observer 6 is still gazing at the
表示像をスクロールした後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、図９Ｂに示すように、スクロールの前後で生じるシフト量の変動量を算出する（ステップＳ２４）。ステップＳ２４の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、スクロール前の注視位置（X1，Y1）と、スクロール後の注視位置（X2，Y2）と、スクロール時の表示像の移動量とに基づいて、シフト量の変動率を算出する。シフト量の変動率は、スクロール前の注視位置のシフト量に対するスクロール後の注視位置のシフト量の変化率である。シフト量の変動率を算出すると、情報処理装置２は、次に、算出した変動率が閾値以上であるか否かを判定する（ステップＳ２５）。変動率が閾値よりも小さい場合（ステップＳ２５；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
When the gaze position (X2, Y2) after scrolling the display image is calculated, the
一方、変動率が閾値以上である場合（ステップＳ２５；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数を補正する（ステップＳ２６）。ステップＳ２６の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、スクロール時の表示像の移動方向と、シフト量の変動率とに基づいて、視線位置算出式における換算係数A，Bを補正する。スクロール時の表示像の移動方向がｙ方向（垂直方向）の場合、補正量算出部２０２ｃは、換算係数Bのみを補正する。スクロール時の表示像の移動方向がｘ方向（水平方向）の場合、補正量算出部２０２ｃは、換算係数Aのみを補正する。スクロール時の表示像の移動方向がｘ方向成分とｙ方向成分とを含む場合、補正量算出部２０２ｃは、換算係数A，Bを補正する。
On the other hand, when the variation rate is equal to or greater than the threshold (step S25; Yes), the
補正量算出部２０２ｃは、換算係数の補正値を係数補正値２０５ｄとして記憶部２０５に記憶させる。これにより、表示画像をスクロールさせる処理と連動した視線位置算出式の補正処理が終了する。
The correction
図１０は、スクロールの例を示す図である。
図１０には、表示画像をスクロールする画面表示の例として、表示面３０１全体にｗｅｂページが表示された表示装置３を示している。スクロールする前の表示面３０１には、図１０の（ａ）に示すように、画像３０１ｄやテキスト３０１ｅを含むｗｅｂページが表示されている。このような表示状態であるときに、例えば、観察者６が表示面３０１の垂直方向の中心よりも下方となる座標（X1，Y1）の付近を注視すると、情報処理装置２は、注視位置８１１の座標（X1，Y1）を算出する処理（ステップＳ３）を行う。その後、情報処理装置２は、図１０の（ｂ）に示すように、表示面３０１に表示させている画像３０１ｄやテキスト３０１ｅを含むｗｅｂページの像を画面上方にΔＹだけスクロール（並進移動）させる処理（ステップＳ２１）を行う。この際、表示面３０１における下端側の高さΔＹの領域には、ｗｅｂページの続きの部分に含まれる画像３０１ｆ等が表示される。このように、ｗｅｂページを画面上方にスクロール量ΔＹだけスクロールさせた場合、観察者６の注視位置８１１も、画面上方に移動する。このとき観察者６の注視位置の移動量は、スクロール量ΔＹと同一の移動量になると考えられる。ところが、実際には、角膜反射の個人差によりスクロールの前後におけるシフト量が変動し、観察者６の注視位置の移動量がスクロール量とは異なる値になることがある。
FIG. 10 is a diagram illustrating an example of scrolling.
FIG. 10 shows a
図１１は、スクロールの前後で生じるシフト量の変動を説明する図である。
図１１に示すように、表示画像をスクロールする前における算出注視位置８１１と観察者６の実際の注視位置８１３との間には、シフト量diffYのずれが生じる。また、表示面３０１の表示画像を画面上方にスクロール量ΔＹだけスクロールさせると、観察者６の実際の注視位置８１３に表示されていた像はΔＹだけ上方の座標（X0，Y0）の位置８１５に移動する。そのため、スクロール後の観察者６の実際の注視位置は座標（X0，Y0）の位置８１５に移動する。ここで、観察者６が注視位置８１５を注視しているときのシフト量と、注視位置８１３を注視していたときのシフト量diffYとが同じであれば、スクロール後に情報処理装置２が算出する注視位置は、座標（X1，Y1−ΔY）の位置８１６となる。
FIG. 11 is a diagram for explaining the variation of the shift amount occurring before and after scrolling.
As shown in FIG. 11, there is a shift of the shift amount diffY between the
ところが、スクロールにより観察者６の視線（注視する方向）が変化した場合、角膜反射の個人差等によりスクロールの前後でシフト量が変動し、図１１に示したように、算出する注視位置８１７が位置８１６とは異なる位置になることがある。すなわち、表示面３０１の表示像を画面上方にスクロール量ΔＹだけスクロールさせたときに、スクロール後の注視位置８１７とスクロール前の注視位置８１１とのｙ方向の距離Y2−Y1がスクロール量Δｙとは異なる値になることがある。そのため、本実施形態の視線位置の算出式の補正方法では、スクロールの前後で生じるシフト量の変動率に応じて視線位置の算出式の換算係数A，Bを補正する。ｙ方向のスクロールにより生じるシフト量の変動率diffY0はdiffY0＝（Y2−Y1）／ΔYと表せる。ここで、角膜反射に個人差がなければdiffY0＝１でありY2−Y1＝ΔYとなるが、実際には、diffY0≠１であるため、スクロールの前後による注視位置の移動量は（Y2−Y1）＝diffY0・ΔYとなる。よって、視線位置の算出式（１−２）における換算係数Bを、下記式（８）を満たす換算係数B'に補正する。
diffY0・ΔY＝B'・(PupY2−PrkY2)−B'・(PupY1−PrkY1) ・・・（８）
However, when the line of sight of the viewer 6 (the direction of gaze) changes due to scrolling, the shift amount fluctuates before and after scrolling due to individual differences in corneal reflection, and the
diffY0 · ΔY = B '· (PupY2-PrkY2)-B' · (PupY1-PrkY1) (8)
すなわち、情報処理装置２は、式（８）を用いて算出した換算係数B'を、係数補正値２０５ｅとして記憶部２０５に記憶させる。以後、情報処理装置２は、観察者の注視位置が検出されなくなるか、又は表示像をスクロールし視線位置算出式が再度補正されるまで、換算係数A，B'を用いて観察者６の視線位置を算出する。
That is, the
図１２は、変動率算出領域を説明する図である。
本実施形態の視線位置算出式の補正方法においても、スクロールする前に観察者６の実際の注視位置に表示されていた像がスクロール後にも表示されていないと、スクロールの前後で観察者6の注視している像が異なるため、視線位置算出式の換算係数に対し誤った補正を行ってしまうこととなる。
FIG. 12 is a diagram illustrating the variation rate calculation area.
Also in the correction method of the gaze position calculation formula of the present embodiment, if the image displayed at the actual gaze position of the observer 6 before scrolling is not displayed even after scrolling, the observer's 6 before and after scrolling. Since the gaze image is different, an incorrect correction is made to the conversion coefficient of the gaze position calculation formula.
そこで、本実施形態に係る視線位置の算出方法では、図１２に示すように、表示面３０１の上辺から距離CEYの範囲をシフト量の変動率を算出しない領域とすることで、変動率算出領域３０１ｂを設定する。シフト量の変動率を算出しない領域の幅CEYは、スクロール量ΔYと、補正対象とする変動率の値とに基づいて設定する。例えば、スクロール量ΔYが２１６画素であり、補正後の換算係数B’が初期値Bの０．８倍程度となる変動率を補正対象とした場合、CEY＝２７０（＝２１６／０．８）とする。
Therefore, in the method of calculating the line-of-sight position according to the present embodiment, as shown in FIG. 12, the range of the distance CEY from the upper side of the
なお、変動量算出領域３０１ｂは、図１２に示した領域に限らず、表示面３０１内の任意の位置に任意の寸法で設定することが可能である。例えば、表示面３０１の下方側にスクロールした場合にも視線位置算出式の換算係数を補正する場合、表示面の下辺側にも幅CEYのシフト量の変動率を算出しない領域が存在するよう変動量算出領域３０１ｂを設定してもよい。また、表示面３０１の水平方向（左右方向）にもスクロール可能な場合、表示面の右辺側及び左辺側にもシフト量の変動率を算出しない領域が存在するよう変動量算出領域３０１ｂを設定してもよい。
Note that the fluctuation
以上のように、本実施形態に係る情報処理装置２は、観察者６が表示面３０１を注視した際のスクロールと連動して視線位置の算出式を補正する。この際、視線位置の算出式はスクロールの前後の注視位置とスクロール量とに基づいて補正するので、観察者に補正のための装置を操作させることなく視線位置の算出式を補正することができる。また、本実施形態に係る情報処理装置２では、スクロールの前後の注視位置とスクロール量とに基づいて視線位置の算出式を補正するので、補正用のテスト画像に限らず、任意の画像を表示装置に表示させた状態で補正することが可能となる。そのため、表示装置に表示させたテスト画像内の特徴点を所定の順序で注視する等の動作を観察者に行わせることなく、視線位置の算出式を補正することができる。したがって、本実施形態の情報処理システム１によれば、観察者が視線位置の算出式を補正するための処理を行う手間を省くことができる。
As described above, the
なお、本実施形態では、表示画像をスクロールするとき、すなわち表示されている像を所定の方向に並進移動させるときに視線位置の算出式を補正しているが、これに限らず、表示画像を拡大又は縮小するときにも視線位置の算出式を補正してもよい。更に、例えば、表示画像の拡大と所定の方向への並進移動（スクロール）とを続けて行った場合に視線位置の算出式の補正を行うようにしてもよい。 In the present embodiment, when the display image is scrolled, that is, when the displayed image is translated in a predetermined direction, the gaze position calculation formula is corrected. The calculation formula of the line-of-sight position may be corrected when enlarging or reducing. Further, for example, when the enlargement of the display image and the translational movement (scrolling) in a predetermined direction are continuously performed, the gaze position calculation formula may be corrected.
［第３の実施形態］
図１３は、第３の実施形態に係る情報処理装置の機能的構成を示す図である。
[Third Embodiment]
FIG. 13 is a diagram illustrating a functional configuration of the information processing apparatus according to the third embodiment.
図１３に示すように、本実施形態の情報処理装置２は、画像取得部２０１と、表示制御部２０２と、表示画像生成部２０３と、表示画像出力部２０４と、記憶部２０５と、を備える。情報処理装置２は、第１の実施形態で説明した情報処理システム１（図１を参照）の構成要素の１つであり、表示画像生成部２０３で生成した表示画像を表示装置３に表示させる。また、情報処理装置２は、撮像装置５で撮像した観察者６の眼球を含む画像を取得し、観察者の注視位置に基づいて表示画像の拡大等の処理を行う。
As illustrated in FIG. 13, the
本実施形態の情報処理装置２は、第１の実施形態の情報処理装置２と同様、表示装置３の表示面３０１の表示像を拡大するときに、観察者の注視位置のシフト量に基づいて視線位置の算出式を補正する。そのため、本実施形態の情報処理装置２における表示制御部２０２は、視線検出部２０２ａと、注視位置算出部２０２ｂと、補正量算出部２０２ｃと、を含む。また、本実施形態の情報処理装置２における記憶部２０５には、表示用データ２０５ａとともに、係数初期値２０５ｂと、前注視位置２０５ｃと、係数補正値２０５ｄとが記憶される。
Similar to the
更に、本実施形態の情報処理装置２は、表示画像を拡大する処理を繰り返し行う際に、現在の観察者が直前の処理を行った際の観察者と同一人物であるか否かを判定する。そして、同一人物である場合には、表示画像を拡大する処理と連動した視線位置の算出式を補正する処理を省略する。このため、本実施形態の情報処理装置２における表示制御部２０２は、人物情報抽出部２０２ｄを更に含む。また、本実施形態の情報処理装置２における記憶部２０５には、人物情報２０５ｅが記憶される。
Furthermore, when the
人物情報抽出部２０２ｄは、例えば、撮像装置５から取得した画像における人物（観察者６）についての所定の特徴量を抽出し、抽出した特徴量を人物情報２０５ｅとして記憶部２０５に記憶させる。また、人物情報抽出部２０２ｄは、視線位置の算出式を補正した際には補正後の換算係数A’，B’（係数補正値）と、補正時の人物情報とを対応付ける。更に、人物情報抽出部２０２ｄは、表示画像を拡大する際に、抽出した特徴量と記憶部２０５の人物情報２０５ｅとを照合し視線位置の算出式を補正するか否かを判定する。
For example, the person
なお、図１３においては、画像取得部２０１、表示制御部２０２、表示画像生成部２０３、表示画像出力部２０４、記憶部２０５が1台の情報処理装置２に搭載されている例を示しているが、実装のされ方はこれに限る必要はない。例えば、ネットワークを介して接続された複数のコンピュータ上に、各処理部が分散されて配置されても構わない。すなわち、情報処理装置２はコンピュータシステムとして実現されてもよい。
FIG. 13 shows an example in which the
図１４Ａは、第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その１）である。図１４Ｂは、第３の実施形態に係る視線位置の算出式の補正方法を説明するフローチャート（その２）である。 FIG. 14A is a flowchart (No. 1) for explaining a method of correcting a gaze position calculation formula according to the third embodiment. FIG. 14B is a flowchart (No. 2) for explaining the correction method of the gaze position calculation formula according to the third embodiment.
本実施形態の情報処理装置２は、図１４Ａに示すように、まず、撮像装置５から画像を取得して人物情報を抽出する処理（ステップＳ３１）を行う。ステップＳ３１の処理は、画像取得部２０１と、表示制御部２０２の人物情報抽出部２０２ｄとが行う。画像取得部２０１は、撮像装置５から取得した画像を表示制御部２０２に転送する。人物情報検出部２０２ｄは、人物情報として、例えば、取得した画像における観察者の目頭等についての特徴量を抽出する。
As illustrated in FIG. 14A, the
次に、情報処理装置２は、人物情報の抽出結果に応じた視線位置の算出式で観察者の視線を検出する（ステップＳ３２）。ステップＳ３２の処理は、表示制御部２０２の視線検出部２０２ａが行う。視線検出部２０２ａは、ステップＳ３１の人物情報の抽出結果を取得し、記憶部２０５の人物情報２０５ｅと合致するか否かを判定する。人物情報の抽出結果と記憶部２０５の人物情報２０５ｅとが合致する場合、視線検出部２０２ｅは、記憶部２０５の係数補正値２０５ｄを換算係数とする視線位置の算出式を用いて観察者の視線位置（X，Y）を算出する。人物情報の抽出結果と記憶部２０５の人物情報２０５ｅとが合致しない場合、視線検出部２０２ｅは、記憶部２０５の係数初期値２０５ｂを換算係数とする視線位置の算出式を用いて観察者の視線位置（X，Y）を算出する。また、１回のステップＳ１の処理において、視線検出部２０２ａは、Ｎ秒分の複数の画像のそれぞれから観察者の視線位置（X，Y）を検出する処理を行う。
Next, the
次に、情報処理装置２は、観察者が表示装置３の表示面３０１を注視しているか否かを判定する（ステップＳ３３）。ステップＳ３３の判定は、例えば、視線検出部２０２ａが行う。視線検出部２０２ａは、例えば、N秒分（例えば１秒分）の複数の画像のそれぞれから検出した視線位置（X，Y）が所定の視野角範囲（例えば３度）の円内に含まれる場合に、観察者６が表示面３０１を注視していると判定する。観察者６が表示面３０１を注視していないと判定した場合（ステップＳ３３；Ｎｏ）、情報処理装置２が行う処理はステップＳ３１に戻る。なお、ステップＳ３３の判定は、観察者６の有無の判定を含む。すなわち、観察者６がおらず取得した画像から視線が検出されなかった場合も、ステップＳ３３の判定結果は「Ｎｏ」となる。
Next, the
一方、観察者６が表示面３０１を注視していると判定した場合（ステップＳ３３；Ｙｅｓ）、情報処理装置２は、次に、観察者６の注視位置を算出する（ステップＳ３４）。ステップＳ３４の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、観察者６の注視位置（X1，Y1）として、N秒分の複数の画像のそれぞれから検出した視線位置（X，Y）の平均値を算出する。
On the other hand, when it is determined that the observer 6 is gazing at the display surface 301 (step S33; Yes), the
観察者６の注視位置（X1，Y1）を算出すると、情報処理装置２は、次に、注視位置を中心として表示している像（表示像）を拡大させる（ステップＳ３５）。ステップＳ３５の処理は、表示画像制御部２０２、表示画像生成部２０３、及び表示画像出力部２０４が行う。表示画像制御部２０２は、ステップＳ３４で観察者６の注視位置（X1，Y1）を算出した後、注視位置（X1，Y1）を中心として表示像を拡大させる制御信号を表示画像生成部２０３に出力する。表示画像生成部２０３は、制御信号に従って、現在表示装置に表示させている像（表示像）についての表示用データを記憶部２０５の表示用データ２０５ａから読み出し、注視位置を中心として所定の拡大率で拡大した表示画像を生成する。表示画像出力部２０５は、表示画像生成部２０４が生成した表示画像を表示装置３に出力する。
When the gaze position (X1, Y1) of the observer 6 is calculated, the
ステップＳ３５の後、情報処理装置２は、現在の処理における観察者６が直前の処理のときと同じ人物であるか否かを判定する（ステップＳ３６）。ステップＳ３６の判定は、例えば、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３１で抽出した人物情報と記憶部の人物情報２０５ｅとが合致する場合、現在の処理における観察者６が直前の処理のときと同じ人物であると判定する。観察者６が直前の処理と同じ人物である場合（ステップＳ３６；Ｙｅｓ）、情報処理装置２は、図１４Ｂに示すように、視線位置算出式の係数を補正せずに処理を終了する。一方、観察者６が直前の処理と同じ人物ではない場合（ステップＳ３６；Ｎｏ）、情報処理装置２は、図１４Ｂに示すように、次に、表示像を拡大する前の注視位置がシフト量算出領域内であるか否かを判定する（ステップＳ３７）。ステップＳ３７の判定は、例えば、注視位置算出部２０２ｂが行う。シフト量算出領域は、視線位置の算出式を補正するか否かの判定基準として表示面３０１内に設定した領域である。拡大する前の注視位置がシフト量算出領域の外側である場合（ステップＳ３７；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
After step S35, the
一方、拡大する前の注視位置がシフト量算出領域内である場合（ステップＳ３７；Ｙｅｓ）、情報処理装置２は、次に、拡大する前の注視位置を保持する（ステップＳ３８）。ステップＳ３８の処理は、注視位置算出部２０２ｂが行う。注視位置算出部２０２ｂは、ステップＳ３４で算出した注視位置（X1，Y1）を、前注視位置２０５ｃとして記憶部２０５に記憶させる。
On the other hand, when the gaze position before enlargement is within the shift amount calculation region (step S37; Yes), the
ステップＳ３８の後、情報処理装置２は、撮像装置５から画像を取得して視線を検出する処理（ステップＳ３９）を行い、観察者６が表示面３０１を注視しているか否かを判定する（ステップＳ４０）。ステップＳ３９の処理は、画像取得部２０１と視線検出部２０２ａが行う。視線検出部２０２ａは、ステップＳ３２の処理を行った際の算出式と同じ算出式を用いて視線位置（X，Y）を算出する。また、ステップＳ４０の判定は、視線検出部２０２ａが行う。表示している像を拡大した後、観察者６が表示面３０１を注視していない場合（ステップＳ４０；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
After step S <b> 38, the
一方、表示している像を拡大した後も観察者６が表示面３０１を注視している場合（ステップＳ４０；Ｙｅｓ）、情報処理装置２は、次に、注視位置（X2，Y2）を算出する（ステップＳ４１）。ステップＳ４１の処理は、ステップＳ３４の処理と同様、注視位置算出部２０２ｂが行う。
On the other hand, when the observer 6 is gazing at the
表示している像を拡大した後の注視位置（X2，Y2）を算出すると、情報処理装置２は、次に、算出した注視位置と観察者６が実際に注視している位置とのずれ量（シフト量）を算出する（ステップＳ４２）。ステップＳ４２の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、第１の実施形態で説明したような方法でｘ方向のシフト量diffX及びｙ方向のシフト量diffYを算出する。
When the gaze position (X2, Y2) after enlarging the displayed image is calculated, the
シフト量diffX，diffYを算出すると、情報処理装置２は、次に、算出したシフト量が閾値以上であるか否かを判定する（ステップＳ４３）。シフト量が閾値よりも小さい場合（ステップＳ４３；Ｎｏ）、情報処理装置２は、視線位置算出式の係数を補正せずに処理を終了する。
After calculating the shift amounts diffX and diffY, the
一方、シフト量が閾値以上である場合（ステップＳ４３；Ｙｅｓ）、情報処理装置２は、次に、視線位置算出式の換算係数A，Bを補正する（ステップＳ４４）。ステップＳ４４の処理は、補正量算出部２０２ｃが行う。補正量算出部２０２ｃは、拡大前の注視位置（X1，Y1）と、表示像の拡大率と、算出したシフト量diffX，diffYとを用いて、視線位置算出式における換算係数A，Bを補正する。補正量算出部２０２ｃは、例えば、下記式（６−１）及び式（６−２）を用いて、換算係数の補正値A'，B'を算出する。
On the other hand, when the shift amount is equal to or larger than the threshold (step S43; Yes), the
換算係数の補正値A'，B'を算出すると、補正量算出部２０２ｃは、算出した換算係数の補正値A'，B'を係数補正値２０５ｄとして記憶部２０５に記憶させる。この際、補正量算出部２０２ｃは、人物情報と視線位置算出式の換算係数との対応付けを更新する（ステップＳ４５）。これにより、表示している像を拡大する処理と連動した視線位置算出式の係数を補正する処理が終了する。
When the correction values A ′ and B ′ of the conversion coefficient are calculated, the correction
このように、本実施形態の視線位置の算出式の補正方法では、画像から抽出した人物情報に基づいて、現在の観察者６が直前の処理を行ったときの観察者と同一人物であるか否かを判定する。そして、現在の観察者６が直前の処理を行ったときの観察者と同一人物である場合、情報処理装置２は、視線位置算出式の換算係数を補正する処理を省略する。現在の観察者が直前の処理を行ったときの観察者と同一人物である場合、当該観察者が表示面３０１を注視したときのシフト量及び視線位置算出式の換算係数を補正する処理は、直前の処理或いは更に前の処理で行われている。そのため、ステップＳ３２及びＳ３４の処理により算出される観察者の注視位置は、観察者６の実際の注視位置と略同一となる。よって、現在の観察者６が直前の処理を行ったときの観察者と同一人物である場合、表示像を拡大した後のステップＳ３７〜Ｓ４５の処理を省略することが可能となる。これにより、同一の観察者６が表示像を拡大する処理を繰り返し行った場合の情報処理装置２の処理負荷を軽減することが可能となる。
As described above, in the method of correcting the gaze position calculation formula according to the present embodiment, based on the person information extracted from the image, is the current observer 6 the same person as the observer when the previous process is performed? Determine whether or not. When the current observer 6 is the same person as the observer when the previous process is performed, the
なお、図１４Ａ及び図１４Ｂの処理は一例に過ぎず、必要に応じて一部の処理の内容を変更してもよいし、他の処理を追加してもよい。例えば、人物情報と視線位置算出式の係数との対応付けは、更新せずに蓄積してもよい。人物情報と視線位置算出式の係数との対応付けを蓄積する場合、例えば、タイムスタンプにより人物情報を抽出した時刻を特定する。また、ステップＳ３２で視線位置算出式の換算係数を決定する際や、ステップＳ３６の判定の際には、タイムスタンプに基づいて直前（最新）の処理を行ったときの人物情報を特定する。このように人物情報と視線位置算出式の係数とを対応付けて蓄積することにより、例えば、視線位置算出式の換算係数の初期値の見直しや学習を行うことが可能となる。 Note that the processes in FIGS. 14A and 14B are merely examples, and the contents of some processes may be changed as necessary, and other processes may be added. For example, the association between the person information and the coefficient of the gaze position calculation formula may be accumulated without being updated. When the association between the person information and the coefficient of the gaze position calculation formula is accumulated, for example, the time at which the person information is extracted is specified by a time stamp. Further, when determining the conversion coefficient of the line-of-sight position calculation formula in step S32 or in the determination in step S36, the person information when the immediately preceding (latest) process is performed is specified based on the time stamp. Thus, by storing the personal information and the coefficient of the gaze position calculation formula in association with each other, for example, it is possible to review and learn the initial value of the conversion coefficient of the gaze position calculation formula.
また、観察者６が直前の処理のときと同一人物であるか否かの判定に用いる人物情報は、撮像装置５で撮像した画像から抽出した特徴量に限らず、他の情報であってもよい。例えば、人感センサを用いて所定の空間内の人物の有無を検知し、その検知結果に基づいて観察者６が直前の処理のときと同一人物であるか否かを判定してもよい。
In addition, the person information used for determining whether or not the observer 6 is the same person as in the previous process is not limited to the feature amount extracted from the image captured by the
第１〜第３の実施形態に係る情報処理システム１では、１個の情報処理装置２において観察者の注視位置の算出、表示画像の生成、及び視線位置の算出式の補正の各処理を行っている。しかしながら、情報処理システム１は、これに限らず、注視位置の算出及び表示画像の生成を行う情報処理装置とは別個に、視線位置の算出式を補正する処理を行う情報処理装置を設けてもよい。また、情報処理システム１は、表示装置３、光源４及び撮像装置５の組が１個の情報処理装置２に複数組接続された構成であってもよい。
In the
また第１〜第３の実施形態に係る情報処理装置２は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される情報処理装置２について、図１５を参照して説明する。
The
図１５は、コンピュータのハードウェア構成を示す図である。
図１５に示すように、コンピュータ１０は、プロセッサ１００１と、主記憶装置１００２と、補助記憶装置１００３と、表示装置１００４と、インタフェース装置１００５と、通信装置１００６と、記憶媒体駆動装置１００７と、を備える。コンピュータ１０におけるこれらの要素１００１〜１００７は、バス１０１０により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
FIG. 15 is a diagram illustrating a hardware configuration of a computer.
As illustrated in FIG. 15, the
プロセッサ１００１は、Central Processing Unit（ＣＰＵ）等の演算処理装置であり、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ１０の全体の動作を制御する。
The
主記憶装置１００２は、図示しないRead Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む。主記憶装置１００２のＲＯＭには、例えばコンピュータ１０の起動時にプロセッサ１００１が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置１００２のＲＡＭ は、プロセッサ１００１が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置１００２のＲＡＭは、例えば、視線位置算出式の換算係数（係数初期値２０５ｂ及び係数補正値２０５ｄ）、注視位置の算出に用いる複数の視線位置、及び前注視位置２０５ｃの記憶に利用可能である。
The
補助記憶装置１００３は、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ）等の主記憶装置１００２に比べて容量の大きい記憶装置である。補助記憶装置１００３には、プロセッサ１００１によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置１００３は、例えば、図５Ａ及び図５Ｂの処理を含むプログラム、図９Ａ及び図９Ｂの処理を含むプログラム、図１４Ａ及び図１４Ｂの処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置１００３は、例えば、表示用データ２０５ａ、視線位置算出式の換算係数（係数初期値２０５ｂ）、注視位置の算出に用いる複数の視線位置、前注視位置２０５ｃ、人物情報２０５ｅ等の記憶に利用可能である。
The
表示装置１００４は、例えば液晶ディスプレイである。表示装置１００４は、プロセッサ１００１等から送信される表示画像のデータに従って各種のテキスト画面、画像等を含む表示画像を表示する。
The
インタフェース装置１００５は、コンピュータ１０と他の電子装置とを接続する装置であり、Universal Serial Bus（ＵＳＢ）規格のコネクタ等を備える。インタフェース装置１００５によりコンピュータ１０と接続可能な電子装置の１つは、撮像装置５である。
The
通信装置１００６は、インターネット等の通信ネットワークを介して他のコンピュータ等の外部装置と各種通信を行う装置である。コンピュータ１０は、例えば、通信装置１００６を介して、他のコンピュータから各種の表示用データ２０５ａを取得することが可能である。
The
記憶媒体駆動装置１００７は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置１００３に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、ＵＳＢ規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk（ＣＤ）、Digital Versatile Disc（ＤＶＤ）、Blu-ray Disc（Blu-rayは登録商標）等の光ディスクも利用可能である。
The storage
コンピュータ１０は、プロセッサ１００１が補助記憶装置１００３等から上記の視線位置算出式の補正処理を含むプログラムを読み出し、撮像装置５から取得した画像を用いた注視位置の算出処理、表示画像を変化させる処理、算出式を補正する処理等を行う。
In the
なお、情報処理装置２として用いるコンピュータ１０は、図１５に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、サイネージ等で通信ネットワークを利用して表示用データをコンピュータ１０（情報処理装置２）に供給する場合、記憶媒体駆動装置１００７を省略することが可能である。
Note that the
また、情報処理装置２として用いるコンピュータ１０は、図示しない入力装置を備えたものであってもよい。ここで、入力装置は、例えばキーボード装置やマウス装置であり、コンピュータ１０のオペレータ（観察者６）により操作されると、その操作内容と対応付けられている入力情報をプロセッサ１００１に送信する。また、入力装置には、例えば、表示装置１００３の表示面に重ねて配置されたタッチパネル装置を利用することも可能である。
Further, the
また、コンピュータ１０は、種々のプログラムを実行することにより複数の機能を実現する汎用型のものに限らず、上記の実施形態で説明した処理に特化した専用の装置でもよい。
The
以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置により撮像された表示装置を観察する観察者の眼球を含む画像を用いて、前記表示装置の表示面内における前記観察者の注視位置を算出する注視位置算出部と、
第１の表示画像を前記表示装置に表示させているときに、観察者について前記注視位置算出部で算出した第１の注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成する表示画像生成部と、
前記第２の表示画像を前記表示装置に表示させているときに前記観察者について前記注視位置算出部で算出した第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、前記第１の注視位置とに基づいて、前記観察者についての注視位置に対する補正量を算出する補正量算出部と、を備える、
ことを特徴とする情報処理システム。
（付記２）
前記表示画像生成部は、前記第１の表示画像において前記第１の注視位置の周囲に存在する像の表示位置を変化させた前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記３）
前記表示画像生成部は、前記第１の表示画像における前記第１の注視位置を中心として前記第１の表示画像を拡大又は縮小して前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記４）
前記表示画像生成部は、前記第１の表示画像に含まれる像の表示位置を所定の距離だけ並進移動させて前記第２の表示画像を生成する、
ことを特徴とする付記１に記載の情報処理システム。
（付記５）
前記表示画像生成部は、前記第２の表示画像を生成して前記表示装置に表示させる前に、前記第１の表示画像及び前記第２の表示画像に含まれる像の表示位置が前記第１の表示画像における表示位置から前記第２の表示画像における表示位置に向かって段階的に変化する複数の表示画像を順次生成して前記表示装置に表示させる、
ことを特徴とする付記１に記載の情報処理システム。
（付記６）
前記注視位置算出部は、所定期間内に前記撮像装置で撮像した複数の前記画像のそれぞれから算出した前記表示装置の表示面内における前記観察者の視線位置の分布に基づいて前記観察者の注視位置を算出し、
前記補正量算出部は、前記第１の注視位置と、前記第２の注視位置と、前記第１の表示画像に対する前記第２の表示画像の変化量とに基づいて、前記視線位置の算出に用いる算出式を補正する、
ことを特徴とする付記１に記載の情報処理システム。
（付記７）
前記情報処理システムは、前記観察者についての人物情報を抽出する人物情報抽出部を、更に備え、
当該情報処理システムは、前記注視位置に対する補正量と前記人物情報とを対応付けて保持し、前記第１の注視位置を算出する際の前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする付記１に記載の情報処理システム。
（付記８）
前記情報処理システムは、前記撮像装置で撮像した画像に含まれる前記観察者の眼球部分における角膜反射の位置と瞳孔の中心位置との位置関係に基づいて前記観察者の視線を検出する視線検出部、を更に備える、
ことを特徴とする付記１に記載の情報処理システム。
（付記９）
前記情報処理システムは、
前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
ことを特徴とする付記１に記載の情報処理システム。
（付記１０）
コンピュータが、
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする情報処理方法。
（付記１１）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像において前記第１の注視位置の周囲に存在する像の表示位置を変化させた前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１２）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像における前記第１の注視位置を中心として前記第１の表示画像を拡大又は縮小して前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１３）
前記第２の表示画像を生成する処理では、前記コンピュータは、前記第１の表示画像に含まれる像の表示位置を所定方向に所定の距離だけ並進移動させて前記第２の表示画像を生成する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１４）
前記コンピュータが、前記第２の表示画像を生成して前記表示装置に表示させる前に、前記第１の表示画像及び前記第２の表示画像に含まれる像の表示位置が第１の表示画像における表示位置から第２の表示画像における表示位置に向かって段階的に変化する複数の表示画像を順次生成して前記表示装置に表示させる、
処理を実行することを特徴とする付記１０に記載の情報処理方法。
（付記１５）
前記第１の注視位置及び前記第２の注視位置を算出する処理では、前記コンピュータは、一定期間内に前記撮像装置で撮像した複数の前記画像のそれぞれから算出した前記表示装置の表示面内における前記観察者の視線位置の分布に基づいて前記注視位置を算出し、
前記注視位置に対する補正量を算出する処理では、前記コンピュータは、前記第１の注視位置と、前記第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量とに基づいて、前記視線位置の算出に用いる算出式を補正する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１６）
前記コンピュータが、前記観察者についての人物情報を抽出する処理、及び抽出した前記人物情報と前記注視位置に対する補正量とを対応付けて保持する処理、を更に実行し、
前記第１の注視位置を算出する処理では、前記コンピュータは、抽出した前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする付記１０に記載の情報処理方法。
（付記１７）
前記コンピュータが、前記撮像装置で撮像した画像に含まれる前記観察者の眼球部分における角膜反射の位置と瞳孔の中心位置との位置関係に基づいて前記観察者の視線を検出し、所定の算出式を用いて前記表示装置の表示面における前記観察者の視線位置を算出する、
処理を更に実行することを特徴とする付記１０に記載の情報処理方法。
（付記１８）
前記コンピュータは、前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする付記１０に記載の情報処理方法。
（付記１９）
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理をコンピュータに実行させる情報処理プログラム。
The following additional notes are further disclosed with respect to the embodiments including the examples described above.
(Appendix 1)
A gaze position calculation unit that calculates the gaze position of the observer in the display surface of the display device, using an image including an eyeball of an observer observing the display device imaged by the imaging device;
The second display in which the first display image is changed based on the first gaze position calculated by the gaze position calculation unit for the observer while the first display image is displayed on the display device. A display image generation unit for generating an image;
The second gaze position calculated by the gaze position calculation unit for the observer while the second display image is displayed on the display device, and the change of the second image with respect to the first display image A correction amount calculation unit that calculates a correction amount for the gaze position of the observer based on the amount and the first gaze position;
An information processing system characterized by this.
(Appendix 2)
The display image generation unit generates the second display image in which a display position of an image existing around the first gaze position in the first display image is changed.
The information processing system according to
(Appendix 3)
The display image generation unit generates the second display image by enlarging or reducing the first display image around the first gaze position in the first display image.
The information processing system according to
(Appendix 4)
The display image generation unit translates a display position of an image included in the first display image by a predetermined distance to generate the second display image;
The information processing system according to
(Appendix 5)
The display image generation unit generates the second display image and displays the first display image and an image included in the second display image on the first display image before displaying the second display image on the display device. Sequentially generating a plurality of display images that gradually change from a display position in the display image toward a display position in the second display image, and displaying the display image on the display device.
The information processing system according to
(Appendix 6)
The gaze position calculation unit gazes the observer based on a distribution of the gaze position of the observer in the display surface of the display device calculated from each of the plurality of images captured by the imaging device within a predetermined period. Calculate the position,
The correction amount calculation unit calculates the line-of-sight position based on the first gaze position, the second gaze position, and a change amount of the second display image with respect to the first display image. Correct the calculation formula used,
The information processing system according to
(Appendix 7)
The information processing system further includes a person information extraction unit that extracts person information about the observer,
The information processing system holds the correction amount for the gaze position and the person information in association with each other, and holds the same person information as the person information of the observer at the time of calculating the first gaze position. The first gaze position is calculated using the correction amount associated with the person information when
The information processing system according to
(Appendix 8)
The information processing system detects a line of sight of the observer based on a positional relationship between a position of corneal reflection in a portion of the eyeball of the observer included in an image captured by the imaging device and a center position of a pupil , Further comprising
The information processing system according to
(Appendix 9)
The information processing system includes:
Only when the first gaze position is within a predetermined range in the display surface of the display device, the second gaze position is calculated and a correction amount for the gaze position is calculated.
The information processing system according to
(Appendix 10)
Computer
An image including an eyeball of an observer observing the display device displaying the first display image is acquired, and a first gaze position of the observer in the display surface of the display device is calculated using the image. ,
Generating a second display image obtained by changing the first display image based on the calculated gaze position and displaying the second display image on the display device;
An image including an eyeball of an observer observing the display device on which the second display image is displayed is acquired, and a second gaze position of the observer in the display surface of the display device is calculated using the image And
A correction amount for the gaze position is calculated based on the first gaze position, the second gaze position, and a change amount of the second image with respect to the first display image.
An information processing method characterized by executing processing.
(Appendix 11)
In the process of generating the second display image, the computer generates the second display image by changing a display position of an image existing around the first gaze position in the first display image. To
The information processing method according to
(Appendix 12)
In the process of generating the second display image, the computer enlarges or reduces the first display image with the first gaze position in the first display image as a center, and the second display image. Generate
The information processing method according to
(Appendix 13)
In the process of generating the second display image, the computer generates the second display image by translating the display position of the image included in the first display image by a predetermined distance in a predetermined direction. ,
The information processing method according to
(Appendix 14)
Before the computer generates the second display image and displays the second display image on the display device, the display positions of the first display image and the image included in the second display image are in the first display image. A plurality of display images that change stepwise from the display position toward the display position in the second display image are sequentially generated and displayed on the display device;
The information processing method according to
(Appendix 15)
In the process of calculating the first gaze position and the second gaze position, the computer is configured to calculate the first gaze position and the second gaze position within the display surface of the display device calculated from each of the plurality of images captured by the imaging device within a predetermined period. Calculating the gaze position based on the gaze position distribution of the observer;
In the process of calculating the correction amount for the gaze position, the computer is based on the first gaze position, the second gaze position, and the amount of change in the second image with respect to the first display image. And correcting the calculation formula used to calculate the line-of-sight position,
The information processing method according to
(Appendix 16)
The computer further executes a process of extracting person information about the observer, and a process of associating and holding the extracted person information and a correction amount for the gaze position,
In the process of calculating the first gaze position, the computer uses the correction amount associated with the person information when the computer holds the same person information as the extracted person information of the observer. Calculating the first gaze position;
The information processing method according to
(Appendix 17)
The computer detects the line of sight of the observer based on the positional relationship between the position of corneal reflection in the eyeball portion of the observer included in the image captured by the imaging device and the center position of the pupil, and a predetermined calculation formula Calculating the line-of-sight position of the observer on the display surface of the display device using
The information processing method according to
(Appendix 18)
The computer calculates the second gaze position and calculates a correction amount for the gaze position only when the first gaze position is within a predetermined range in the display surface of the display device.
The information processing method according to
(Appendix 19)
An image including an eyeball of an observer observing the display device displaying the first display image is acquired, and a first gaze position of the observer in the display surface of the display device is calculated using the image. ,
Generating a second display image obtained by changing the first display image based on the calculated gaze position and displaying the second display image on the display device;
An image including an eyeball of an observer observing the display device on which the second display image is displayed is acquired, and a second gaze position of the observer in the display surface of the display device is calculated using the image And
A correction amount for the gaze position is calculated based on the first gaze position, the second gaze position, and a change amount of the second image with respect to the first display image.
An information processing program that causes a computer to execute processing.
１ 情報処理システム
２ 情報処理装置
２０１ 画像取得部
２０２ 表示制御部
２０２ａ 視線検出部
２０２ｂ 注視位置算出部
２０２ｃ 補正量算出部
２０２ｄ 人物情報抽出部
２０３ 表示画像生成部
２０４ 表示画像出力部
２０５ 記憶部
３，１００４ 表示装置
３０１ 表示面
４ 光源
５ 撮像装置
６ 観察者
６０１ 眼球
６０２ 角膜反射
６０３ 瞳孔
７ 画像
８０１，８１１ 算出した注視位置
８０３，８１３ 実際の注視位置
１０ コンピュータ
１００１ プロセッサ
１００２ 主記憶装置
１００３ 補助記憶装置
１００５ インタフェース装置
１００６ 通信装置
１００７ 記憶媒体駆動装置
DESCRIPTION OF
Claims (9)
第１の表示画像を前記表示装置に表示させているときに、観察者について前記注視位置算出部で算出した第１の注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成する表示画像生成部と、
前記第２の表示画像を前記表示装置に表示させているときに前記観察者について前記注視位置算出部で算出した第２の注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、前記第１の注視位置とに基づいて、前記観察者についての注視位置に対する補正量を算出する補正量算出部と、を備える、
ことを特徴とする情報処理システム。 A gaze position calculation unit that calculates the gaze position of the observer in the display surface of the display device, using an image including an eyeball of an observer observing the display device imaged by the imaging device;
The second display in which the first display image is changed based on the first gaze position calculated by the gaze position calculation unit for the observer while the first display image is displayed on the display device. A display image generation unit for generating an image;
The second gaze position calculated by the gaze position calculation unit for the observer while the second display image is displayed on the display device, and the change of the second image with respect to the first display image A correction amount calculation unit that calculates a correction amount for the gaze position of the observer based on the amount and the first gaze position;
An information processing system characterized by this.
ことを特徴とする請求項１に記載の情報処理システム。 The display image generation unit generates the second display image in which a display position of an image existing around the first gaze position in the first display image is changed.
The information processing system according to claim 1.
ことを特徴とする請求項１に記載の情報処理システム。 The display image generation unit generates the second display image by enlarging or reducing the first display image around the first gaze position in the first display image.
The information processing system according to claim 1.
ことを特徴とする請求項１に記載の情報処理システム。 The display image generation unit translates a display position of an image included in the first display image by a predetermined distance to generate the second display image;
The information processing system according to claim 1.
ことを特徴とする請求項１に記載の情報処理システム。 The display image generation unit generates the second display image and displays the first display image and an image included in the second display image on the first display image before displaying the second display image on the display device. Sequentially generating a plurality of display images that gradually change from a display position in the display image toward a display position in the second display image, and displaying the display image on the display device.
The information processing system according to claim 1.
当該情報処理システムは、前記注視位置に対する補正量と前記人物情報とを対応付けて保持し、前記第１の注視位置を算出する際の前記観察者の人物情報と同一の人物情報を保持している場合に当該人物情報と対応付けられた前記補正量を用いて前記第１の注視位置を算出する、
ことを特徴とする請求項１に記載の情報処理システム。 The information processing system further includes a person information extraction unit that extracts person information about the observer,
The information processing system holds the correction amount for the gaze position and the person information in association with each other, and holds the same person information as the person information of the observer at the time of calculating the first gaze position. The first gaze position is calculated using the correction amount associated with the person information when
The information processing system according to claim 1.
前記第１の注視位置が前記表示装置の表示面内における所定の範囲内である場合にのみ、前記第２の注視位置を算出し前記注視位置に対する補正量を算出する、
ことを特徴とする請求項１に記載の情報処理システム。 The information processing system includes:
Only when the first gaze position is within a predetermined range in the display surface of the display device, the second gaze position is calculated and a correction amount for the gaze position is calculated.
The information processing system according to claim 1.
第１の表示画像を表示させた表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第１の注視位置を算出し、
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理を実行することを特徴とする情報処理方法。 Computer
An image including an eyeball of an observer observing the display device displaying the first display image is acquired, and a first gaze position of the observer in the display surface of the display device is calculated using the image. ,
Generating a second display image obtained by changing the first display image based on the calculated gaze position and displaying the second display image on the display device;
An image including an eyeball of an observer observing the display device on which the second display image is displayed is acquired, and a second gaze position of the observer in the display surface of the display device is calculated using the image And
A correction amount for the gaze position is calculated based on the first gaze position, the second gaze position, and a change amount of the second image with respect to the first display image.
An information processing method characterized by executing processing.
算出した前記注視位置に基づいて前記第１の表示画像を変化させた第２の表示画像を生成して前記表示装置に表示させ、
第２の表示画像を表示させた前記表示装置を観察する観察者の眼球を含む画像を取得し、当該画像を用いて前記表示装置の表示面内における前記観察者の第２の注視位置を算出し、
前記第１の注視位置と、前記第２注視位置と、前記第１の表示画像に対する前記第２の画像の変化量と、に基づいて、前記注視位置に対する補正量を算出する、
処理をコンピュータに実行させる情報処理プログラム。 An image including an eyeball of an observer observing the display device displaying the first display image is acquired, and a first gaze position of the observer in the display surface of the display device is calculated using the image. ,
Generating a second display image obtained by changing the first display image based on the calculated gaze position and displaying the second display image on the display device;
An image including an eyeball of an observer observing the display device on which the second display image is displayed is acquired, and a second gaze position of the observer in the display surface of the display device is calculated using the image And
A correction amount for the gaze position is calculated based on the first gaze position, the second gaze position, and a change amount of the second image with respect to the first display image.
An information processing program that causes a computer to execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015242657A JP6540490B2 (en) | 2015-12-11 | 2015-12-11 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015242657A JP6540490B2 (en) | 2015-12-11 | 2015-12-11 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017107511A true JP2017107511A (en) | 2017-06-15 |
| JP6540490B2 JP6540490B2 (en) | 2019-07-10 |
Family
ID=59059931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015242657A Expired - Fee Related JP6540490B2 (en) | 2015-12-11 | 2015-12-11 | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6540490B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6285068B1 (en) * | 2017-05-31 | 2018-02-28 | キッコーマン株式会社 | Nucleic acid-containing fermented seasoning and method for producing the same |
| JP2019161508A (en) * | 2018-03-14 | 2019-09-19 | カシオ計算機株式会社 | Display device, display processing method, and display processing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1176165A (en) * | 1997-09-02 | 1999-03-23 | Sanyo Electric Co Ltd | Visual axis detection device |
| JP2012065781A (en) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | Line-of-sight detection device, and correction coefficient determination program |
| JP2013255781A (en) * | 2012-05-16 | 2013-12-26 | Taika:Kk | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display |
-
2015
- 2015-12-11 JP JP2015242657A patent/JP6540490B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1176165A (en) * | 1997-09-02 | 1999-03-23 | Sanyo Electric Co Ltd | Visual axis detection device |
| JP2012065781A (en) * | 2010-09-22 | 2012-04-05 | Fujitsu Ltd | Line-of-sight detection device, and correction coefficient determination program |
| JP2013255781A (en) * | 2012-05-16 | 2013-12-26 | Taika:Kk | Method for adjusting point-of-gaze for visual line detection unit and pointing device for display |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6285068B1 (en) * | 2017-05-31 | 2018-02-28 | キッコーマン株式会社 | Nucleic acid-containing fermented seasoning and method for producing the same |
| JP2018201352A (en) * | 2017-05-31 | 2018-12-27 | キッコーマン株式会社 | Nucleic acid-containing fermentation seasoning and manufacturing method therefor |
| JP2019161508A (en) * | 2018-03-14 | 2019-09-19 | カシオ計算機株式会社 | Display device, display processing method, and display processing program |
| JP7077684B2 (en) | 2018-03-14 | 2022-05-31 | カシオ計算機株式会社 | Display device, display processing method, and display processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6540490B2 (en) | 2019-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6480434B2 (en) | System and method for direct pointing detection for interaction with digital devices | |
| EP3367214A1 (en) | Line-of-sight input device, line-of-sight input method, and line-of-sight input program | |
| US10051244B2 (en) | Display image formation device and display image formation method | |
| KR20130108643A (en) | Systems and methods for a gaze and gesture interface | |
| JP2015118531A (en) | Display control device and program | |
| JP6123694B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2014188322A (en) | Visual line detection device, visual line detection method and program | |
| JP2006267604A (en) | Composite information display device | |
| JP2006285715A (en) | Sight line detection system | |
| JP5857082B2 (en) | Display device and electronic device | |
| JP5868128B2 (en) | Information processing apparatus and control method thereof | |
| JP5949389B2 (en) | Detection apparatus, detection program, and detection method | |
| JP6540490B2 (en) | INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
| JP2013101524A (en) | Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information recording medium | |
| JP6500570B2 (en) | Image display apparatus and image display method | |
| JP2019128748A (en) | Line-of-sight calibration data generation device, line-of-sight measurement apparatus, and program thereof | |
| JP2010258603A (en) | Communication terminal and method of adjusting display size | |
| JPH11238124A (en) | Image display method and device | |
| JP6647150B2 (en) | Information display device | |
| KR102118505B1 (en) | System and method for measurement of visual acuity based on the analysis of user eye movements | |
| JP2016076853A (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2015046111A (en) | Viewpoint detection device and viewpoint detection method | |
| KR20110100987A (en) | User interface method using eye-gaze tracking and terminal thereof | |
| JP2013257830A (en) | Information processor | |
| JP2020096703A (en) | Medical image management device and medical image management system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6540490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |