JP2010259605A - Visual line measuring device and visual line measuring program - Google Patents
Visual line measuring device and visual line measuring program Download PDFInfo
- Publication number
- JP2010259605A JP2010259605A JP2009112298A JP2009112298A JP2010259605A JP 2010259605 A JP2010259605 A JP 2010259605A JP 2009112298 A JP2009112298 A JP 2009112298A JP 2009112298 A JP2009112298 A JP 2009112298A JP 2010259605 A JP2010259605 A JP 2010259605A
- Authority
- JP
- Japan
- Prior art keywords
- line
- eyeball
- coordinate system
- right eyes
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、表示装置に表示される映像を視認する利用者の視線を測定するための視線測定装置および視線測定プログラムに関する。 The present invention relates to a line-of-sight measurement device and a line-of-sight measurement program for measuring the line of sight of a user who views a video displayed on a display device.
現在、人の視線を測定して、コンピュータの表示装置に表示されるメニュー、アイコン等を、その視線によって選択、操作するインタフェース（視線インタフェース）に関する技術が種々提案されている。このようなインタフェース技術の前提として、視線を測定するための視線測定装置が必要となる。
この視線測定装置としては、人（利用者）の左右眼のうちいずれか一方の眼球をカメラで拡大撮影して、眼球画像の特徴点（瞳孔の中心点、あるいは、瞳孔の中心点と角膜反射点）の位置から、視線方向を示す視線ベクトルを算出するものがある。
Currently, various techniques relating to an interface (line-of-sight interface) for measuring a person's line of sight and selecting and operating menus, icons, and the like displayed on a display device of a computer by the line of sight have been proposed. As a premise of such interface technology, a line-of-sight measuring device for measuring the line of sight is required.
As this gaze measuring device, either the left or right eye of a person (user) is magnified and photographed with a camera, and a feature point of the eyeball image (the center point of the pupil or the center point of the pupil and the corneal reflection) There is one that calculates a gaze vector indicating the gaze direction from the position of the point.
ここで、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との間には、眼球形状の個人差等に起因する誤差が存在している。そこで、視線測定装置では、その誤差を補正するため、キャリブレーション（校正）処理を行っている。
このキャリブレーション処理は、利用者が予め複数のマーカを順次注視し、利用者が注視した位置と、視線測定装置が眼球等の動きにより測定した位置との位置関係からキャリブレーションデータ（校正データ）を生成しておき、そのキャリブレーションデータによって、利用者の視線を補正する処理である。
Here, there is an error due to individual differences in eyeball shape between the position where the user gazes on the screen of the display device and the position on the screen measured by the eye-gaze measuring device by the movement of the eyeball etc. is doing. Therefore, the line-of-sight measurement apparatus performs a calibration process in order to correct the error.
In this calibration process, calibration data (calibration data) is calculated based on the positional relationship between the position where the user gazes at a plurality of markers in advance and the position measured by the user by the movement of the eyeball or the like. Is generated, and the user's line of sight is corrected based on the calibration data.
このキャリブレーション処理を用いた視線測定装置としては、例えば非特許文献１、２に記載のものが該当する。
非特許文献１に記載の視線測定装置は、眼球の拡大画像から画像処理により、眼球画像の特徴点である瞳孔の中心点と角膜反射点の画像中の座標を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球画像の２つの特徴点（瞳孔の中心点と角膜反射点）の位置関係から注視点の位置を算出するものである。
Examples of the line-of-sight measurement device using this calibration process include those described in
The line-of-sight measurement device described in Non-Patent
非特許文献２に記載の視線測定装置は、カメラの外部パラメータ（三次元位置）、内部パラメータ（焦点距離等）、フォーカスによって算出したカメラ−眼球間の距離を利用して、眼球画像から眼球の三次元位置を検出し、この検出データに、予め行ったキャリブレーション処理によって得た校正データを適用し、校正された眼球の三次元位置から注視点の位置を算出するものである。 The line-of-sight measurement apparatus described in Non-Patent Document 2 uses an external parameter (three-dimensional position) of a camera, an internal parameter (focal length, etc.), and a distance between the camera and the eyeball calculated by focusing, and uses the eyeball image to determine the A three-dimensional position is detected, calibration data obtained by a calibration process performed in advance is applied to the detected data, and the position of the gazing point is calculated from the three-dimensional position of the calibrated eyeball.
ここで、視線測定装置では、利用者の頭部動作により眼球が撮影範囲外に移動してしまうと、視線測定が行えなくなってしまう。このため、利用者の頭部動作に対して頑健性の高い測定手法の確立が望まれていた。 Here, in the line-of-sight measurement device, the line-of-sight measurement cannot be performed if the eyeball moves outside the imaging range by the user's head movement. For this reason, establishment of a measurement method having high robustness to the user's head movement has been desired.
しかし、非特許文献１、２に記載の手法では、片眼のみを拡大撮影しているために、利用者の頭部動作により眼球が撮影範囲外に移動してしまう確率が高く、利用者の頭部動作に対する頑健性が低かった。
この対策として、例えば、撮影画角を広げて眼球周辺のより広い範囲を撮影したり、カメラの雲台を回転（パン、チルト）させる等して眼球を動的に追跡したりすることが考えられる。
However, in the methods described in
As countermeasures, for example, it may be possible to widen the shooting angle of view to capture a wider range around the eyeball, or to dynamically track the eyeball by rotating the camera platform (pan, tilt), etc. It is done.
しかしながら、前者の手法では、撮影画像のうちの眼球領域の面積（画素数）が小さくなるため、その分精度が低下してしまう。また、後者の手法では、眼球領域の面積は変わらないが、眼球位置が撮影範囲を超えて変化し、この変化に対応させるためにカメラを支持する雲台を回転（パン、チルト）させた場合には、カメラの三次元位置が変化したこととなるため、カメラの外部パラメータのキャリブレーション処理およびマーカによるキャリブレーション処理をやり直す必要があり、手数がかかってしまう。 However, in the former method, since the area (number of pixels) of the eyeball region in the photographed image is reduced, the accuracy is reduced accordingly. In the latter method, the area of the eyeball area does not change, but the eyeball position changes beyond the shooting range, and the camera platform that supports the camera is rotated (pan, tilt) to respond to this change. In this case, since the three-dimensional position of the camera has changed, it is necessary to redo the calibration processing of the external parameters of the camera and the calibration processing using the marker, which is troublesome.
また、視線測定装置では、視線測定の精度を向上させるために、撮影画像フレーム内で、利用者が表示装置の画面上を注視した位置と、視線測定装置が眼球等の動きにより測定した画面上の位置との誤差を校正したり、校正時に得られた校正用パラメータを用いて注視点を算出したりする際に、カメラ−眼球間の距離が必要となる。ここで、非特許文献２では、フォーカスにより求めたカメラ−眼球間の距離を用いている。しかしながら、この手法によると、合焦までに時間を要してしまうため、入力された撮影画像に対するカメラ−眼球間の距離の入力に遅れ時間が生じてしまい、校正時や測定時に撮像画像フレーム内での誤差の補正が困難であった。 Further, in the line-of-sight measurement device, in order to improve the accuracy of the line-of-sight measurement, the position where the user gazes on the screen of the display device in the captured image frame and the screen where the line-of-sight measurement device measures the movement of the eyeball or the like The distance between the camera and the eyeball is required when calibrating the error from the position of the lens or calculating the gazing point using the calibration parameters obtained at the time of calibration. Here, in Non-Patent Document 2, the distance between the camera and the eyeball obtained by focusing is used. However, according to this method, since it takes time to focus, a delay time occurs in the input of the distance between the camera and the eyeball with respect to the input photographed image. It was difficult to correct the error.
本発明は、以上のような問題点に鑑みてなされたものであり、簡易な構成で利用者の頭部動作に対する頑健性を向上させ、かつ、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正することが可能な視線測定装置および視線測定プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and improves the robustness of the user with respect to head movement with a simple configuration, and the user actually watches in the captured image frame. An object of the present invention is to provide a line-of-sight measurement device and a line-of-sight measurement program capable of correcting an error between a position on the screen to be measured and a position on the screen obtained by measurement.
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の視線測定装置は、表示装置の画面を視認する利用者の視線を測定する視線測定装置において、眼球位置検出手段と、眼球領域画像切り出し手段と、基準位置特定手段と、カメラ座標系変換手段と、世界座標系変換手段と、角膜曲率中心座標算出手段と、ベクトル算出手段と、視線ベクトル校正手段と、注視点算出手段と、を備える構成とした。
The present invention was devised to achieve the above-mentioned object.First, the line-of-sight measurement apparatus according to
かかる構成において、視線測定装置は、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。これによって、左右の眼球を含んだ眼球周辺画像から、左眼と右眼の眼球位置をそれぞれ検出することができ、左右の眼球領域画像の切り出しに利用することができる。 In such a configuration, the eye-gaze measuring device detects the eyeball positions of the left and right eyes, respectively, from the eyeball peripheral images including the left and right eyeballs of the user irradiated with light, which are photographed by the photographing means by the eyeball position detecting means. To do. Thereby, the eyeball positions of the left eye and the right eye can be detected from the eyeball peripheral image including the left and right eyeballs, respectively, and can be used to cut out the left and right eyeball region images.
また、視線測定装置は、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。これによって、左右眼のそれぞれについて眼球領域画像を取得することができるので、この眼球領域画像を用いて、左右眼のそれぞれについて個別に視線測定処理を行うことが可能となる。
さらに、視線測定装置は、基準位置特定手段によって、前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
In addition, the eye gaze measuring apparatus cuts out the eyeball region images of the left and right eyes based on the eyeball positions of the left and right eyes detected by the eyeball position detecting unit by the eyeball region image cutting out unit. As a result, an eyeball region image can be acquired for each of the left and right eyes, so that the eye-gaze measurement process can be individually performed for each of the left and right eyes using this eyeball region image.
Further, the eye gaze measuring apparatus determines the position of the pupil center and the position of the corneal reflection point of each of the left and right eyes from the eyeball region images of the left and right eyes cut out by the eyeball region image cutout unit by the reference position specifying unit. Identify.
また、視線測定装置は、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
また、視線測定装置は、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定装置は、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定装置は、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
Further, the line-of-sight measurement device is configured so that the left and right eye pupils specified by the reference position specifying unit based on the distance between the left and right eyeballs measured in advance by the camera coordinate system conversion unit and the camera parameters acquired in advance. The center position and the corneal reflection point are converted into the pupil center coordinate and the corneal reflection point coordinate in the camera coordinate system of each of the left and right eyes.
The line-of-sight measurement device further includes a pupil center coordinate in the camera coordinate system of each of the left and right eyes transformed by the world coordinate system conversion unit, and a corneal reflection point in the camera coordinate system of each of the left and right eyes. The coordinates are converted into corneal reflection point coordinates in the world coordinate system of the left and right eyes and pupil center coordinates in the world coordinate system of the left and right eyes, respectively.
The line-of-sight measurement device calculates a corneal curvature center coordinate by the corneal curvature center coordinate calculation unit based on the corneal reflection point coordinate in the world coordinate system converted by the world coordinate system conversion unit and the corneal curvature radius. .
Then, the eye gaze measuring device is calculated by the vector calculation means by the corneal curvature center coordinate calculation means by the pupil center coordinates in the world coordinate system converted by the world coordinate system conversion means, and by the corneal curvature center coordinate calculation means. A straight line passing through the corneal curvature center coordinates is calculated for each of the left and right eyes as a line-of-sight vector indicating the line-of-sight direction.
これによって、左右眼のそれぞれについて視線ベクトルを算出することができる。またこのとき、左右眼からカメラまでのそれぞれの距離を、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータ（眼球周辺画像における中心点座標）とに基づいて算出することができる。つまり、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、フォーカスにより算出する場合のように、撮影画像の入力に対して遅れが生じるのを防止することができる。なお、左右の眼球間の距離は、瞳孔間距離計などによって測定することができる。 Thereby, the line-of-sight vector can be calculated for each of the left and right eyes. At this time, the distance from the left and right eyes to the camera can be calculated based on the distance between the left and right eyeballs measured in advance and the camera parameters (center point coordinates in the eyeball peripheral image) acquired in advance. In other words, since the distance between the camera and the eyeball can be calculated within the captured image frame, it is possible to prevent a delay from occurring with respect to the input of the captured image, as in the case of calculating by focus. The distance between the left and right eyeballs can be measured with an interpupillary distance meter or the like.
またさらに、視線測定装置は、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。ここで、校正データとは、視線ベクトルと利用者が注視している画面上の位置とがどれだけずれているのかを示す指標である。すなわち、視線測定装置は、視線ベクトル校正手段によって、校正データで表されるずれ量分の補正を行うことで、実際に利用者が画面を注視する視線ベクトルを取得することができる。 Furthermore, the eye gaze measuring apparatus calibrates the eye gaze vectors of the left and right eyes calculated by the vector calculation means based on calibration data for calibrating a predetermined eye gaze vector by the eye gaze vector calibration means. Here, the calibration data is an index indicating how much the line-of-sight vector is shifted from the position on the screen where the user is gazing. That is, the line-of-sight measurement apparatus can acquire the line-of-sight vector in which the user actually looks at the screen by correcting the deviation amount represented by the calibration data by the line-of-sight vector calibration means.
そして、視線測定装置は、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置（＝注視点）を算出することが可能となる。
またこのとき、視線測定装置は、注視点算出手段によって、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出する。
このように、利用者の左右眼それぞれの視線ベクトルを算出できた場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルを算出できなかった場合も、もう一方の視線ベクトルを用いて注視点を算出することができるので、利用者の頭部動作に対する頑健性を向上させることができる。
Then, the line-of-sight measurement device is an average position of intersections of the left-eye line-of-sight vector and the right-eye line-of-sight vector, which are calibrated by the line-of-sight vector calibrating unit, with the screen of the display device. Alternatively, an intersection point between the screen of the display device and one of the left-eye gaze vector and the right-eye gaze vector is calculated as a gazing point. This makes it possible to calculate the position on the screen (= gaze point) where the user actually gazes.
Also, at this time, the gaze measurement device, when the gaze point calculation unit cannot calculate the gaze vector of either one of the left and right eyes by the gaze vector calculation unit, the gaze point calculation unit calculates the gaze point with the calculated gaze vector. calculate.
As described above, when the gaze vectors of the left and right eyes of the user can be calculated, the gaze point can be calculated using the gaze vectors of the left and right eyes. In addition, even when the gaze vector of one of the left and right eyes of the user cannot be calculated due to the user's head movement at the time of measurement, the gaze point can be calculated using the other gaze vector. Therefore, the robustness with respect to the user's head movement can be improved.
また、請求項２に記載の視線測定プログラムは、表示装置の画面を視認する利用者の視線を測定するために、コンピュータを、眼球位置検出手段、眼球領域画像切り出し手段、基準位置特定手段、視線ベクトル算出手段、視線ベクトル校正手段、注視点算出手段として機能させるための視線測定プログラムである。 According to a second aspect of the present invention, there is provided a program for measuring a line of sight in order to measure a line of sight of a user who visually recognizes a screen of a display device, an eyeball position detecting unit, an eyeball region image extracting unit, a reference position specifying unit, A gaze measurement program for functioning as a vector calculation unit, a gaze vector calibration unit, and a gaze point calculation unit.
かかる構成において、視線測定プログラムは、眼球位置検出手段によって、撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する。
また、視線測定プログラムは、眼球領域画像切り出し手段によって、前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す。
また、視線測定プログラムは、基準位置特定手段によって、眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する。
In such a configuration, the eye-gaze measurement program detects the eyeball positions of the left and right eyes from the eyeball peripheral images including the left and right eyeballs of the user irradiated with light, which are photographed by the photographing means by the eyeball position detecting means. To do.
Further, the eye gaze measurement program cuts out the eyeball region images of the left and right eyes based on the eyeball positions of the left and right eyes detected by the eyeball position detection unit by the eyeball region image cutout unit.
Further, the eye gaze measurement program specifies the position of the pupil center and the position of the corneal reflection point of each of the left and right eyes from the eyeball region images of the left and right eyes cut out by the eyeball region image cutout unit by the reference position specifying unit. To do.
さらに、視線測定プログラムは、カメラ座標系変換手段によって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。
またさらに、視線測定プログラムは、世界座標系変換手段によって、前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する。
また、視線測定プログラムは、角膜曲率中心座標算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する。
そして、視線測定プログラムは、ベクトル算出手段によって、前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出する。
Further, the line-of-sight measurement program includes a pupil for each of the left and right eyes specified by the reference position specifying unit based on a distance between the left and right eyeballs measured in advance by the camera coordinate system conversion unit and a camera parameter acquired in advance. The center position and the corneal reflection point are converted into the pupil center coordinate and the corneal reflection point coordinate in the camera coordinate system of each of the left and right eyes.
Still further, the line-of-sight measurement program may include a pupil center coordinate in the camera coordinate system of each of the left and right eyes transformed by the world coordinate system conversion unit and a corneal reflection in the camera coordinate system of each of the left and right eyes. The point coordinates are converted into corneal reflection point coordinates in the world coordinate systems of the left and right eyes and pupil center coordinates in the world coordinate systems of the left and right eyes, respectively.
The line-of-sight measurement program calculates a corneal curvature center coordinate by the corneal curvature center coordinate calculation unit based on the corneal reflection point coordinate in the world coordinate system converted by the world coordinate system conversion unit and the corneal curvature radius. .
Then, the line-of-sight measurement program calculates the pupil center coordinates in the world coordinate system converted by the world coordinate system conversion means by the vector calculation means and the corneal curvature center coordinates calculated by the corneal curvature center coordinate calculation means. A straight line passing through is calculated for each of the left and right eyes as a gaze vector indicating a gaze direction.
そして、視線測定プログラムは、視線ベクトル校正手段によって、予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する。
そして、視線測定プログラムは、注視点算出手段によって、前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルの平均値と、前記表示装置の画面との交点を注視点として算出する。これによって、実際に利用者が注視する画面上の位置を測定することが可能となる。
The line-of-sight measurement program calibrates the line-of-sight vectors of the left and right eyes calculated by the vector calculation unit based on calibration data for calibrating a predetermined line-of-sight vector by the line-of-sight vector calibration unit.
The line-of-sight measurement program calculates an intersection of the left eye line vector and the right eye line vector calibrated by the line-of-sight vector correcting unit with the gaze point calculating unit and the screen of the display device. Calculate as viewpoint. This makes it possible to measure the position on the screen where the user is actually gazing.
本発明は、以下に示す優れた効果を奏するものである。
請求項１、２に記載の発明によれば、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離に基づいて、撮影画像フレーム内でカメラ−眼球間の距離を算出することができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じるのを防止することができる。このため、撮影画像フレーム内で、実際に利用者が注視する画面上の位置と、測定により得た画面上の位置との誤差を補正した正確な注視点を算出することができる。
The present invention has the following excellent effects.
According to the first and second aspects of the present invention, when the gaze vectors of the left and right eyes of the user are calculated, the gaze point can be calculated using the gaze vectors of the left and right eyes. Also, even if the gaze vector of either the user's left or right eye cannot be calculated due to the user's head movement at the time of measurement, etc., the gaze point should be calculated using the calculated gaze vector Can do. In this way, even when there is a user's head movement at the time of measurement, the user's line of sight can be reliably measured without redoing the calibration process. Robustness against head movement can be improved.
Further, since the distance between the camera and the eyeball can be calculated in the captured image frame based on the distance between the left and right eyeballs measured in advance, there is a delay in inputting the distance between the left and right eyeballs with respect to the captured image. Can be prevented. For this reason, it is possible to calculate an accurate gazing point in which an error between the position on the screen where the user is actually gazing and the position on the screen obtained by the measurement is corrected in the captured image frame.
［視線測定装置の概要］
最初に、図１を参照して、本発明に係る視線測定装置の概要について説明する。図１に示すように、視線測定装置１は、表示装置Ｄの画面を利用者Ｈが注視したときの利用者Ｈの視線を測定するものである。なお、視線測定装置１は、利用者Ｈの左右両眼を含んだ眼球周辺画像Ｇを取得し、これを左右の眼球領域画像ＧＲ，ＧＬに切り分けて、個別に視線測定を行うことを特徴とする。
[Outline of eye gaze measurement device]
First, with reference to FIG. 1, an outline of a visual line measuring apparatus according to the present invention will be described. As shown in FIG. 1, the line-of-
表示装置Ｄの画面上には、図示しない映像信号出力装置から出力された注視の対象となるマーカＭ（注視対象物）を含んだ映像（コンテンツ）が表示されており、視線測定装置１には、図示しない映像信号出力装置から、表示装置Ｄの画面上に表示しているフレーム画像に関する情報（例えば、タイムコード）が入力されている。そして、視線測定装置１では、眼球周辺画像Ｇをキャプチャした時点での図示しない映像信号出力装置から入力されたフレーム画像情報を、利用者Ｈが注視している画像と対応付けている。
また、視線測定装置１は、眼球撮影用のカメラＣにより撮影された、表示装置Ｄの画面上のマーカＭを注視する利用者Ｈの左右両眼の眼球周辺を含む眼球周辺画像Ｇを取得し、この眼球周辺画像Ｇから左眼と右眼のそれぞれについて個別に眼球領域画像ＧＲ，ＧＬを切り出し、左眼と右眼のそれぞれについて個別に視線ベクトルを算出し、算出した左眼と右眼それぞれの視線ベクトルを、予め取得した校正データによりそれぞれ校正（補正）して、校正後の視線ベクトルから、左眼と右眼のそれぞれについて注視点を算出する。なお、視線測定装置１には、フレーム画像情報と、表示装置Ｄの画面上に表示されているマーカＭの空間座標（世界座標系）との対応を示す設定ファイルが予め与えられており、校正時には、この設定ファイルを用いて校正を行う。
ここで、注視点とは、視線ベクトルと表示装置Ｄの画面との交点をいうものである。なお、ここでは、マーカＭを格子状に９つ配置したが、これに限られるものではない。
On the screen of the display device D, an image (content) including a marker M (gazing target) output from a video signal output device (not shown) is displayed. Information relating to the frame image displayed on the screen of the display device D (for example, a time code) is input from a video signal output device (not shown). In the line-of-
The line-of-
Here, the gazing point means an intersection of the line-of-sight vector and the screen of the display device D. Here, nine markers M are arranged in a grid pattern, but the present invention is not limited to this.
なお、利用者Ｈの視線は、例えば、強膜反射法、角膜反射法、瞳孔−角膜反射法等の一般的な技術により求めることができ、ここでは、視線測定装置１は、瞳孔−角膜反射法によって、発光手段（リング照明）Ｒから発光する赤外線が、利用者Ｈの視線で反射した状態をカメラＣで撮影した画像（眼球領域画像ＧＲ，ＧＬ）から求めることとする。なお、視線は、画面上の注視点、あるいは、利用者Ｈの眼球の瞳孔から画面上の注視点へのベクトル（視線ベクトル）であっても良いが、ここでは、注視点を示すこととする。
以下、視線測定装置１の具体的な構成および動作について説明を行う。
The line of sight of the user H can be obtained by a general technique such as a scleral reflection method, a corneal reflection method, or a pupil-corneal reflection method. Here, the line-of-
Hereinafter, a specific configuration and operation of the line-of-
［視線測定装置の構成］
まず、図２を参照（適宜図１参照）して、視線測定装置の具体的な構成について説明する。
図２に示すように、視線測定装置１は、眼球位置検出手段１１と、眼球領域画像切り出し手段１２と、基準位置特定手段１３と、視線ベクトル算出手段１４と、視線ベクトル校正手段１５と、注視点算出手段１６と、を備えている。また、視線測定装置１には、利用者の左右の眼球領域画像を撮影する撮影手段としての発光手段ＲとカメラＣとが接続されている。
[Configuration of eye gaze measurement device]
First, with reference to FIG. 2 (refer to FIG. 1 as appropriate), a specific configuration of the visual line measuring device will be described.
As shown in FIG. 2, the eye
眼球位置検出手段１１は、カメラＣで撮影された左右眼を含んだ眼球周辺画像を取得し、この眼球周辺画像Ｇ（図１参照）から、左眼と右眼の眼球位置をそれぞれ検出するものである。なお、眼球周辺画像Ｇは、赤外線光を照射する発光手段（リング照明）Ｒによって赤外線光が照射された利用者の眼球を撮影した画像である。 The eyeball position detection means 11 acquires an eyeball peripheral image including the left and right eyes photographed by the camera C, and detects the eyeball positions of the left eye and the right eye from the eyeball peripheral image G (see FIG. 1). It is. The eyeball peripheral image G is an image obtained by photographing the user's eyeball irradiated with infrared light by the light emitting means (ring illumination) R that emits infrared light.
眼球位置検出手段１１は、取得した眼球周辺画像Ｇから、左右眼のそれぞれについて瞳孔および眼球の角膜表面で反射した光として眼球画像上に表れる角膜反射像（プルキニエ像）を眼球位置情報として検出するものである。眼球位置検出手段１１は、例えば２値化処理および粒子解析処理を行うことにより、左右眼それぞれの瞳孔に相当する粒子または左右眼それぞれの角膜反射像に相当する粒子を検出し、眼球位置情報とする。すなわち、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、この閾値を超える部分（明度が高い部分）を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として左右眼のそれぞれについて検出する。または、眼球位置検出手段１１は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として左右眼のそれぞれについて検出する。なお、粒子解析処理に代えて、正規化相関を用いたパターン認識など、その他の瞳孔および角膜反射像を検出可能な方法を用いても良い。
The eyeball position detection means 11 detects, from the acquired eyeball peripheral image G, a cornea reflection image (Purkinje image) that appears on the eyeball image as light reflected from the pupil and the cornea surface of the eyeball for each of the left and right eyes as eyeball position information. Is. The eyeball position detection means 11 detects, for example, particles corresponding to the pupils of the left and right eyes or particles corresponding to the cornea reflection images of the left and right eyes by performing binarization processing and particle analysis processing, for example. To do. That is, the eyeball position detection means 11 detects a portion exceeding this threshold (a portion having a high lightness) based on the lightness threshold value input from the outside, and further specifies the area range of the particle input from the outside and the true value. An area designated by the circularity range designation is detected for each of the left and right eyes using a pupil. Alternatively, the eyeball
眼球位置検出手段１１は、カメラＣから取得した眼球周辺画像および前記したいずれかの方法で検出した左右眼それぞれの眼球位置情報を、眼球領域画像切り出し手段１２に出力する。なお、視線位置検出手段１１は、検出した眼球位置情報を左右眼のそれぞれについて記憶するメモリ（図示せず）を備えており、このメモリ（図示せず）は、新しい眼球位置情報が入力された場合、随時更新して記憶するようになっている。ただし、眼球位置情報を検出できなかった場合、更新を行わないこととする。
眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合、検出できた眼球については、その眼球位置情報を出力し、検出できなかった眼球については、図示しないメモリに記憶されている眼球位置情報を、その眼球の眼球位置情報として出力する。
The eyeball position detection means 11 outputs the eyeball peripheral image acquired from the camera C and the eyeball position information of each of the left and right eyes detected by any of the methods described above to the eyeball area image cutout means 12. The line-of-sight position detection means 11 includes a memory (not shown) that stores the detected eyeball position information for each of the left and right eyes. This memory (not shown) receives new eyeball position information. In this case, it is updated and stored as needed. However, when the eyeball position information cannot be detected, the update is not performed.
The eyeball position detection means 11 outputs the eyeball position information for the detected eyeball when the eyeball position information of either one of the left and right eyes cannot be detected, and the eyeball that could not be detected is not shown in the memory. Is output as the eyeball position information of the eyeball.
眼球領域画像切り出し手段１２は、眼球位置検出手段１１により検出された左右眼それぞれの眼球位置情報に基づき、眼球周辺画像Ｇから、この左右眼それぞれの眼球位置情報を含んだ予め定めた幅および高さの領域を、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）としてそれぞれ切り出すものである。切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬは、基準位置特定手段１３に出力される。
Based on the eyeball position information of the left and right eyes detected by the eyeball position detection means 11, the eyeball region image cutout means 12 from the eyeball peripheral image G includes a predetermined width and height including the eyeball position information of each of the left and right eyes. These regions are cut out as eyeball region images G R and G L (see FIG. 1) for the right and left eyes, respectively. Ocular region image cut out right eye, left eye G R, G L is output to the reference
基準位置特定手段１３は、眼球領域画像切り出し手段１２により切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、瞳孔中心の位置および角膜反射点をそれぞれ特定するものである。 Reference position specifying means 13, in which the eye region image G R of the right eye, left eye cut out by the ocular region image cutting unit 12, the G L, identify the position of the pupil center and corneal reflection point, respectively.
この基準位置特定手段１３は、一般的な画像処理技術により、右眼・左眼の眼球領域画像ＧＲ，ＧＬから画像座標系における瞳孔中心と角膜反射点とを特定する。基準位置特定手段１３は、ここでは、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、角膜反射点を含む他の領域よりも明度の高い領域を２値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの瞳孔を抽出する。
また基準位置特定手段１３は、右眼・左眼の眼球領域画像ＧＲ，ＧＬについて、瞳孔の明度と角膜反射点の明度の間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右眼それぞれの角膜反射点を抽出し、その中心座標（幅、高さの中点や領域の重心座標等）を、左右眼それぞれの角膜反射点の中心とする。特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点は、視線ベクトル算出手段１４に出力される。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行うものとする。
The reference
The reference position specifying means 13, the eye region of the right eye, left eye image G R, the G L, the threshold value is set between the brightness of the brightness and the corneal reflection point of the pupil, explore the region with a high brightness than the threshold value Then, by specifying the area range and roundness range by particle analysis processing, the corneal reflection points of the left and right eyes are extracted, and the center coordinates (width, height midpoint, area center of gravity coordinates, etc.) The center of each corneal reflection point. The specified pupil center and corneal reflection point in the image coordinate system of each of the left and right eyes specified are output to the line-of-sight vector calculation means 14. When the reference
視線ベクトル算出手段１４は、左右眼それぞれの視線方向を示す視線ベクトルを算出するものである。ここで、図３を参照して視線ベクトル算出手段１４の構成を説明する。視線ベクトル算出手段１４は、ここでは、カメラ座標系変換手段１４ａと、世界座標系変換手段１４ｂと、瞳孔中心座標補正手段１４ｃと、角膜曲率中心座標算出手段１４ｄと、ベクトル算出手段１４ｅとを備える構成とした。
The line-of-sight vector calculation means 14 calculates a line-of-sight vector indicating the line-of-sight direction of the left and right eyes. Here, the configuration of the line-of-sight vector calculation means 14 will be described with reference to FIG. Here, the line-of-sight
カメラ座標系変換手段１４ａは、基準位置特定手段１３により特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標は、世界座標系変換手段１４ｂにそれぞれ出力される。
The camera coordinate
世界座標系変換手段１４ｂは、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、カメラ座標系変換手段１４ａにより変換された左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標および角膜反射点座標にそれぞれ変換するものである。変換された左右眼それぞれの世界座標系における瞳孔中心座標は、瞳孔中心座標補正手段１４ｃに出力され、角膜反射点座標は、角膜曲率中心座標算出手段１４ｄに出力される。なお、左右の眼球間の距離は、瞳孔間距離計などによって予め測定され、世界座標系変換手段１４ｂに入力されているものとする。
The world coordinate system conversion means 14b is based on the distance between the left and right eyeballs measured in advance and the camera parameters acquired in advance, and the pupil center coordinates in the camera coordinate system of each of the left and right eyes converted by the camera coordinate system conversion means 14a. And corneal reflection point coordinates are converted into pupil center coordinates and corneal reflection point coordinates in the world coordinate system, respectively. The converted pupil center coordinates in the world coordinate system of the left and right eyes are output to the pupil center coordinate correcting
瞳孔中心座標補正手段１４ｃは、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正するものである。瞳孔中心座標補正手段１４ｃは、角膜表面における屈折率に応じて世界座標系における瞳孔中心座標を補正する。なお、カメラＣから世界座標系における右眼・左眼の瞳孔中心座標へ向かう光の屈折方向を算出し、その屈折方向上に位置し、かつ角膜曲率中心座標算出手段１４ｄで算出される角膜曲率中心から規定の距離のところに位置する輪郭座標を求めることで補正後の右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を得る。
補正後の瞳孔中心座標は、ベクトル算出手段１４ｅに出力される。なお、瞳孔中心座標補正手段１４ｃを省略しても良いが、瞳孔中心座標補正手段１４ｃを設けることで、世界座標系における瞳孔中心座標を実際の瞳孔中心座標に補正することができるので、より正確な視線ベクトルを算出することが可能となる。瞳孔中心座標補正手段１４ｃを設けない場合には、世界座標系変換手段１４ｂからベクトル算出手段１４ｅに、世界座標系における瞳孔中心座標がそのまま出力される。
The pupil center coordinate correction means 14c corrects the pupil center coordinates in the world coordinate system converted by the world coordinate system conversion means 14b to the actual pupil center coordinates. The pupil center coordinate correcting
The corrected pupil center coordinates are output to the vector calculation means 14e. Note that the pupil center coordinate correcting
角膜曲率中心座標算出手段１４ｄは、世界座標系変換手段１４ｂにより変換された世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出するものである。算出された角膜曲率中心座標は、ベクトル算出手段１４ｅに出力される。 The corneal curvature center coordinate calculating means 14d calculates corneal curvature center coordinates based on the corneal reflection point coordinates in the world coordinate system converted by the world coordinate system converting means 14b and the corneal curvature radius. The calculated corneal curvature center coordinates are output to the vector calculation means 14e.
ベクトル算出手段１４ｅは、瞳孔中心座標と、角膜曲率中心座標算出手段１４ｄにより算出された角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして算出するものである。算出された視線ベクトルは、視線ベクトル校正手段１５に出力される。
ここでの瞳孔中心座標とは、世界座標系における瞳孔中心座標を瞳孔中心座標補正手段１４ｃにより補正した補正後の瞳孔中心座標である。ただし、瞳孔中心座標補正手段１４ｃを設けない場合は、世界座標系変換手段１４ｂにより変換された世界座標系における瞳孔中心座標となる。
The
Here, the pupil center coordinates are corrected pupil center coordinates obtained by correcting the pupil center coordinates in the world coordinate system by the pupil center coordinate correcting
以下、視線ベクトル算出手段１４による視線ベクトルの算出方法について、図１から図３に加えて適宜図４を参照しながら詳細に説明する。視線ベクトル算出手段１４は、基準位置特定手段１３によって特定された左右眼それぞれの瞳孔中心および角膜反射点の位置に基づいて、眼球モデル（図４参照）を用いて視線ベクトルの算出を行う。なお、本実施形態では、発光手段Ｒとしてリング照明を用いているため、カメラＣと発光手段Ｒの光軸が略同軸となっており、瞳孔画像が周囲の虹彩に比べて明るくなる明瞳孔となっている。
Hereinafter, a method for calculating the line-of-sight vector by the line-of-sight
視線ベクトル算出手段１４は、カメラ座標系変換手段１４ａによって、基準位置特定手段１３から左右眼それぞれの画像座標系における瞳孔中心および角膜反射点の入力を受け付けると、まず、カメラキャリブレーションによって得られるレンズの焦点距離および撮像素子（センサ）のドットピッチを利用して、左右眼それぞれのカメラ座標系（図１参照）における角膜反射点座標およびカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）をそれぞれ求める。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
When the line-of-sight vector calculating means 14 receives the input of the pupil center and the corneal reflection point in the image coordinate system of each of the left and right eyes from the reference position specifying means 13 by the camera coordinate
Hereinafter, a method for obtaining the corneal reflection point coordinates in the camera coordinate systems of the left and right eyes will be described.
ここで、基準位置特定手段１３により特定された右眼の角膜反射点の座標をＣｉＲ（ＣｉＲｘ，ＣｉＲｙ）とおき、左眼の角膜反射点の座標をＣｉＬ（ＣｉＬｘ，ＣｉＬｙ）とおき、カメラＣで撮影された眼球周辺画像Ｇにおける中心点座標（カメラの光軸とセンサの交点に対する画像上の座標）をＳｉＣ（ＳｉＣｘ，ＳｉＣｙ）とおき、ドットピッチをｄpitchとおき、レンズの焦点距離をｆとおき、カメラ座標系（図１参照）原点から左眼あるいは右眼の角膜反射点までの距離をＺとおくと、カメラ座標系における右眼の角膜反射点座標ＣｃＲ（ＣｃＲｘ，ＣｃＲｙ，ＣｃＲｚ）は、次に示す式（１）によって求めることができる。 Here, the coordinates of the corneal reflection point of the right eye specified by the reference position specifying means 13 are set as C iR (C iRx , C iRy ), and the coordinates of the corneal reflection point of the left eye are set as C iL (C iLx , C iLy). ), And the center point coordinates (coordinates on the image with respect to the intersection of the camera optical axis and sensor) in the eyeball peripheral image G photographed by the camera C are set as S iC (S iCx , S iCy ), and the dot pitch is set as d pitch Distant, the f Distant focal distance of the lens, the camera coordinate system (see Figure 1) and the distance from the origin to corneal reflection point of the left eye or right eye is denoted by Z, the corneal reflection of the right eye in camera coordinate system The point coordinates C cR (C cRx , C cRy , C cRz ) can be obtained by the following equation (1).
同様に、カメラ座標系における左眼の角膜反射点座標ＣｃＬ（ＣｃＬｘ，ＣｃＬｙ，ＣｃＬｚ）は、次に示す式（２）によって求めることができる。 Similarly, the corneal reflection point coordinates C cL (C cLx , C cLy , C cLz ) of the left eye in the camera coordinate system can be obtained by the following equation (2).
このとき、カメラ座標系原点から左眼あるいは右眼の角膜反射点までの距離Ｚは、一般的なＤＦＦ（Depth From Focus）法により、カメラＣのフォーカス値から求めることもできるが、ここでは、両眼間の距離Ｄｅｙｅｓを定数とし、この両眼間の距離Ｄｅｙｅｓを用いて求めることとする。
まず、角膜曲率中心（図４参照）のカメラ座標系における位置をｅとし、角膜曲率半径をＲとすると、右眼の角膜曲率中心の位置ベクトルｅＲは、次に示す式（３）によって求めることができる。
At this time, the distance Z from the origin of the camera coordinate system to the corneal reflection point of the left eye or the right eye can also be obtained from the focus value of the camera C by a general DFF (Depth From Focus) method. The distance D eyes between both eyes is set as a constant, and the distance D eyes between both eyes is used to obtain the distance.
First, assuming that the position of the corneal curvature center (see FIG. 4) in the camera coordinate system is e and the corneal curvature radius is R, the position vector e R of the corneal curvature center of the right eye is obtained by the following equation (3). be able to.
同様に、左眼の角膜曲率中心の位置ベクトルｅＬは、次に示す式（４）によって求めることができる。 Similarly, the position vector e L of the corneal curvature center of the left eye can be obtained by the following equation (4).
そして、両眼間の距離Ｄｅｙｅｓ（定数）と、右眼の角膜曲率中心の位置ベクトルｅＲと、左眼の角膜曲率中心の位置ベクトルｅＬとの間には、次に示す式（５）の関係が成立する。 Between the distance D eyes (constant) between both eyes, the position vector e R of the corneal curvature center of the right eye, and the position vector e L of the corneal curvature center of the left eye, the following expression (5 ) Is established.
この非線形方程式を、例えばニュートン法によって解くことでＺの最適値ｚを求める。そして、この最適値ｚを、前記した式（１）、式（２）にそれぞれ代入することによって、カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）をそれぞれ算出することができる。 The optimal value z of Z is calculated | required by solving this nonlinear equation by Newton method, for example. Then, by substituting the optimum value z into the above-described equations (1) and (2), the corneal reflection point coordinates (= C cR , C cL ) of the right eye and the left eye in the camera coordinate system are respectively obtained. Can be calculated.
次に、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）を、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。また、視線ベクトル算出手段１４は、世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａにより変換されたカメラ座標系における右眼・左眼の瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）を、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）にそれぞれ変換する。これは、一般的な方法により求めることができるが、例えば、非特許文献２の方法を用いることができる。
Next, the line-of-sight vector calculation means 14 uses the corneal reflection point coordinates (= C cR , C cL ) of the right and left eyes in the camera coordinate system converted by the camera coordinate system conversion means 14a by the world coordinate system conversion means 14b. Are converted into corneal reflection point coordinates (= C wR , C wL ) of the right eye and the left eye in the world coordinate system, respectively. Further, the line-of-sight
以下、左右眼それぞれのカメラ座標系における角膜反射点座標を求める方法について説明する。
カメラ座標系における右眼・左眼の角膜反射点座標（＝ＣｃＲ，ＣｃＬ）と、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、予め行ったカメラキャリブレーションにより取得した回転マトリクス（＝Ｒｗｃ）とおき、並進ベクトル（＝Ｔｗｃ）との間には、次に示す式（６）の関係が成立する。
Hereinafter, a method for obtaining the corneal reflection point coordinates in the camera coordinate systems of the left and right eyes will be described.
Performed in advance with the corneal reflection point coordinates (= C cR , C cL ) of the right eye / left eye in the camera coordinate system and the corneal reflection point coordinates (= C wR , C wL ) of the right eye / left eye in the world coordinate system The relationship of the following equation (6) is established between the rotation matrix (= R wc ) acquired by the camera calibration and the translation vector (= T wc ).
そして、式（６）から導かれる式（７）により、世界座標系における右眼の角膜反射点座標ＣｗＲと、左眼の角膜反射点座標ＣｗＬをそれぞれ求めることができる。 Then, the right-eye corneal reflection point coordinate C wR and the left-eye corneal reflection point coordinate C wL in the world coordinate system can be respectively obtained by Expression (7) derived from Expression (6).
以上により、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）とを得ることができる。
次に、視線ベクトル算出手段１４は、瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の右眼の瞳孔中心座標（＝ｐｗＲ）と、右眼の角膜曲率中心座標（＝ｃｗＲ）とを用いて、次に示す式（８）により、右眼の視線ベクトルｖｗＲを求める。
Thus, the right eye / left eye cornea reflection point coordinates (= C wR , C wL ) in the world coordinate system and the right eye / left eye pupil center coordinates (= P wR , P wL ) in the world coordinate system are obtained. Obtainable.
Next, the line-of-sight vector calculation means 14 corrects the right-eye / left-eye pupil center coordinates (= P wR , P wL ) in the world coordinate system according to the refractive index on the corneal surface by the pupil center coordinate correction means 14 c. Then, the corrected pupil center coordinates (= p wR , p wL ) of the right eye and the left eye are obtained.
Further, the line-of-sight vector calculation means 14 uses the corneal curvature center coordinate calculation means 14d based on the corneal reflection point coordinates (= C wR , C wL ) and the corneal curvature radius in the world coordinate system. The corneal curvature center coordinates (= c wR , c wL ) are calculated.
Then, the line-of-sight vector calculation means 14 first uses the corrected right eye pupil center coordinates (= p wR ) and the right eye corneal curvature center coordinates (= c wR ) by the vector calculation means 14 e. The right eye line-of-sight vector v wR is obtained by the following equation (8).
同様に、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、補正後の左眼の瞳孔中心座標（＝ｐｗＬ）と、左眼の角膜曲率中心座標（＝ｃｗＬ）とを用いて、次に示す式（９）により、左眼の視線ベクトルｖｗＲを求める。 Similarly, the line-of-sight vector calculation means 14 uses the corrected left eye pupil center coordinates (= p wL ) and the left eye cornea curvature center coordinates (= c wL ) by the vector calculation means 14 e to The line-of-sight vector v wR of the left eye is obtained by the equation (9) shown in FIG.
このようにして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、右眼・左眼の視線ベクトル（＝ｖｗＲ，ｖｗＬ）をそれぞれ算出することができる。算出された右眼・左眼の視線ベクトルデータは、視線ベクトル校正手段１５に出力される。
In this way, the line-of-sight
なおここでは、予め実施したカメラキャリブレーションによって、カメラＣの光学系の内部パラメータ（例えば、焦点距離、光学歪、光軸座標等）やカメラの空間的位置の外部パラメータ（例えば、カメラ座標系原点の位置、回転角度等）のデータ（キャリブレーションデータ）が求められ、カメラＣから、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａに入力されているものとする。
カメラキャリブレーションの方法は、種々提案されているが、例えば、非特許文献３(R.Y．Tsai：“A Versatile camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”IEEE J.RA-3,4,pp.323-344(1987))に示すＴｓａｉのカメラキャリブレーションの方法を用いることができる。ただし、カメラの内部パラメータおよび外部パラメータが一意に決定される方法であれば、その他の方法を用いても良いことはもちろんである。
It should be noted that here, internal parameters of the optical system of the camera C (for example, focal length, optical distortion, optical axis coordinates, etc.) and external parameters of the spatial position of the camera (for example, the origin of the camera coordinate system) (Position, rotation angle, etc.) data (calibration data) is obtained and input from the camera C to the camera coordinate system conversion means 14a of the line-of-sight vector calculation means 14.
Various camera calibration methods have been proposed. For example, Non-Patent Document 3 (RY. Tsai: “A Versatile camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses” The Tsai camera calibration method shown in IEEE J.RA-3,4, pp.323-344 (1987)) can be used. However, other methods may be used as long as the internal parameters and external parameters of the camera are uniquely determined.
視線ベクトル校正手段１５は、予め取得した視線ベクトルを校正する校正データに基づいて、視線ベクトル算出手段１４によって算出された左右眼の視線ベクトルをそれぞれ校正するものである。
ここで、校正データとは、利用者の眼球形状や眼鏡・コンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正して、眼球領域画像の瞳孔中心座標および角膜反射点座標から視線ベクトルを算出するために行う個人キャリブレーションによって得られたキャリブレーションデータである。具体的には、校正データは、利用者が表示装置Ｄの画面上のマーカの位置を注視していると仮定したときの、本実施形態に係る視線測定装置１の視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータである。
マーカは、空間的な座標が既知であれば良く、例えば、等間隔に配置されたＬＥＤ、あるいは、利用者に表示する映像中の特定の座標の点などを利用することができる。
The line-of-sight vector calibration means 15 calibrates the left-right eye line-of-sight vectors calculated by the line-of-sight vector calculation means 14 based on calibration data for calibrating the line-of-sight vector acquired in advance.
Here, the calibration data refers to a line-of-sight vector based on pupil center coordinates and corneal reflection point coordinates of an eyeball region image by correcting errors caused by individual differences such as the user's eyeball shape and optical distortion caused by glasses / contact lenses. It is the calibration data obtained by the personal calibration performed to calculate. Specifically, the calibration data is calculated by the line-of-sight
The marker only needs to have known spatial coordinates. For example, LEDs arranged at equal intervals, or points of specific coordinates in an image displayed to the user can be used.
図２に戻って、視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータを、予め取得した校正データにより校正するものである。
視線ベクトル校正手段１５は、視線ベクトル算出手段１４のベクトル算出手段１４ｅから視線ベクトルデータの入力を受け付けると、予め取得した校正データを参照し、この視線ベクトルデータに校正データを乗算することにより、視線ベクトルデータを校正する。視線ベクトルデータの校正には、例えば、非特許文献２の方法を用いることができる。以下に説明する。
Returning to FIG. 2, the line-of-sight
When the line-of-sight
まず、視線ベクトル校正手段１５によって、視線ベクトル算出手段１４により算出された視線ベクトルを、式（１０）に示す極座標系における斉次ベクトルに変換する。なお、以下では、左右眼の視線ベクトルを区別せずに表記する。 First, the line-of-sight vector calibration means 15 converts the line-of-sight vector calculated by the line-of-sight vector calculation means 14 into a homogeneous vector in the polar coordinate system shown in Expression (10). In the following, the line-of-sight vectors for the left and right eyes are described without distinction.
次に、キャリブレーション行列を式（１１）に示す４×４の斉次行列Ｗで表す。 Next, the calibration matrix is represented by a 4 × 4 homogeneous matrix W shown in Expression (11).
ここで、未知数は、ｗ1,・・・，ｗ４の４個であり、角膜曲率中心からマーカへのベクトルｖＭを極座標系に変換したものをｖＭθとすると、ｖＭθ＝ＷｖＭθの関係が成立するため、校正時にマーカとして表示装置Ｄの画面上の最低２点の座標を与えることによりｗ1,・・・，ｗ４を決定することができる。これによって、視線ベクトル算出手段１４により算出された視線ベクトルと、実際の視線ベクトル（角膜曲率中心とマーカを通るベクトル）との角度のずれを示すデータを得ることができる。また、３点以上マーカを用いる場合には、誤差二乗和が最小となるＷを求めればよい。この場合、利用者がマーカを注視したときに発生する誤差を軽減することができる。このようにして、斉次行列Ｗを算出することで、式（１２）に示すように、極座標系における校正後の視線ベクトルｖＷ´θが得られる。
Here, unknowns, w 1, ···, is a four w 4, and the thing that has been converted from the cornea center of curvature of the vector v M of the marker in the polar coordinate system and v Mθ, of v Mθ = Wv Mθ Since the relationship is established, w 1 ,..., W 4 can be determined by giving coordinates of at least two points on the screen of the display device D as markers at the time of calibration. As a result, it is possible to obtain data indicating an angle shift between the line-of-sight vector calculated by the line-of-sight
そして、校正後の視線ベクトルｖＷ´θを、直交座標系の視線ベクトルｖＷ´に変換する。
視線ベクトル校正手段１５は、左右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）のそれぞれについて前記したような処理を行う。このようにして校正された視線ベクトルは、注視点算出手段１６に出力される。
Then, the line-of-sight vector v W'shita after calibration, into a line-of-sight vector v W'rectangular coordinate system.
The line-of-sight vector calibration means 15 performs the processing as described above for each of the line-of-sight vectors (= v wR , v wL ) of the left and right eyes. The line-of-sight vector calibrated in this way is output to the gaze point calculation means 16.
注視点算出手段１６は、視線ベクトル校正手段１５により校正された視線ベクトルと、表示装置の画面との交点である注視点を算出するものである。注視点算出手段１６は、視線ベクトル校正手段１５によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する。また、注視点算出手段１６は、視線ベクトル算出手段１４により、左右眼のいずれか一方の視線ベクトルを算出できなかった場合、左右眼のうち算出できた方についてのみ、注視点を算出する。
つまり、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、その双方を用いて注視点を算出しても良いし、いずれか一方のみを用いて注視点を算出しても良い。また、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルを用いて注視点を算出する。このようにして算出された注視点は、外部に出力される。
The gaze
That is, when the gaze vector after calibrating each of the left and right eyes is input from the gaze
以上、視線測定装置１の構成について説明したが、本発明はこの構成に限定されるものではない。
例えば、視線測定装置１は、カメラＣによって撮影された眼球周辺画像Ｇ（図１参照）を一時的に蓄積するメモリ（図示せず）をさらに備えていても良い。また、視線測定装置１は、視線ベクトル算出手段１４によって算出した左右眼の視線ベクトルや、注視点算出手段１６によって算出した左右眼の注視点の位置（空間的な座標や表示装置に表示された映像の画素位置等）を蓄積するメモリ（図示せず）をさらに備えていても良い。この場合、カメラＣによって撮影され、図示しないメモリに記憶された眼球周辺画像は、眼球位置検出手段１１によって適宜読み出される。また、視線ベクトル算出手段１４によって算出され、図示しないメモリに記憶された左右眼の視線ベクトルは、視線ベクトル校正手段１５によって適宜読み出される。また、注視点算出手段１６によって算出され、図示しないメモリに記憶された左右眼の注視点は、外部から適宜読み出される。
The configuration of the line-of-
For example, the line-of-
また例えば、視線測定装置１は、予め生成された校正データを記憶するメモリ（図示せず）を備えていても良い。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、ＦＩＦＯ（First In First Out）バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成しても良い。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段１５によって逐次参照されることとなる。
Further, for example, the line-of-
また、視線測定装置１は、一般的なコンピュータを、前記した各手段として機能させるためのプログラム（視線測定プログラム）で実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
The line-of-
［視線測定装置の動作］
次に、図５を参照して、視線測定装置１の動作について説明する。
まず、視線測定装置１は、眼球位置検出手段１１によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇ（図１参照）を入力し（ステップＳ１）、その眼球周辺画像Ｇから、左眼と右眼の眼球位置をそれぞれ検出する（ステップＳ２）。このとき、眼球位置検出手段１１は、左右眼のいずれか一方の眼球位置情報が検出できなかった場合には、検出できた方については、その眼球位置情報を出力し、検出できなかった方については、図示しないメモリに１フレーム前の状態として記憶されている眼球位置情報を取得して出力する。
[Operation of eye gaze measurement device]
Next, the operation of the visual
First, the line-of-
次に、視線測定装置１は、眼球領域画像切り出し手段１２によって、カメラＣで撮影された両眼を含んだ眼球周辺画像Ｇを入力し、ステップＳ２で検出された左右眼の眼球位置に基づいて、右眼・左眼の眼球領域画像ＧＲ，ＧＬ（図１参照）をそれぞれ切り出す（ステップＳ３）。
また、視線測定装置１は、基準位置特定手段１３によって、ステップＳ３で切り出された右眼・左眼の眼球領域画像ＧＲ，ＧＬから、左右眼それぞれの画像座標系における瞳孔中心および角膜反射点（図４参照）をそれぞれ特定する（ステップＳ４）。なお、基準位置特定手段１３によって、左右眼のいずれか一方について画像座標系における瞳孔中心および角膜反射点が特定できなかった場合、以降の視線ベクトル算出手段１４と視線ベクトル校正手段１５と注視点算出手段１６においては、左右眼のうち特定できた眼球についてのみ処理を行う。
Next, the line-of-
Moreover, line-of-
さらに、視線測定装置１は、視線ベクトル算出手段１４によって、ステップＳ４で特定された画像座標系における瞳孔中心および角膜反射点に基づいて、利用者の視線ベクトルを算出する（ステップＳ５）。
Furthermore, the line-of-
すなわち、視線測定装置１は、視線ベクトル算出手段１４のカメラ座標系変換手段１４ａによって、予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、ステップＳ４で特定された左右眼それぞれの画像座標系における瞳孔中心および角膜反射点を、カメラ座標系における瞳孔中心座標（＝ＰｃＲ，ＰｃＬ）および角膜反射点座標（＝ＣｃＲ，ＣｃＬ）にそれぞれ変換する。また、視線測定装置１は、視線ベクトル算出手段１４の世界座標系変換手段１４ｂによって、カメラ座標系変換手段１４ａによって変換されたカメラ座標系における瞳孔中心座標および角膜反射点座標を、世界座標系における瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）および角膜反射点座標（＝ＣｗＲ，ＣｗＬ）にそれぞれ変換する。
That is, the line-of-
そして、視線測定装置１は、視線ベクトル算出手段１４の瞳孔中心座標補正手段１４ｃによって、世界座標系における右眼・左眼の瞳孔中心座標（＝ＰｗＲ，ＰｗＬ）を、角膜表面における屈折率に応じて補正し、補正後の右眼・左眼の瞳孔中心座標（＝ｐｗＲ，ｐｗＬ）を得る。
The line-of-
また、視線ベクトル算出手段１４は、角膜曲率中心座標算出手段１４ｄによって、世界座標系における右眼・左眼の角膜反射点座標（＝ＣｗＲ，ＣｗＬ）と、角膜曲率半径とに基づいて、角膜曲率中心座標（＝ｃｗＲ，ｃｗＬ）を算出する。 Further, the line-of-sight vector calculation means 14 uses the corneal curvature center coordinate calculation means 14d based on the corneal reflection point coordinates (= C wR , C wL ) and the corneal curvature radius in the world coordinate system. The corneal curvature center coordinates (= c wR , c wL ) are calculated.
そして、視線ベクトル算出手段１４は、ベクトル算出手段１４ｅによって、まず、補正後の左右眼の瞳孔中心座標（＝ｐｗＲ,ｐｗＬ）と、左右眼の角膜曲率中心座標（＝ｃｗＲ,ｃｗＬ）とを用いて、左右眼の右眼の視線ベクトル（＝ｖｗＲ,ｖｗＬ）を求める（ステップＳ５）。
そして、視線測定装置１は、視線ベクトル校正手段１５によって、ステップＳ５で算出された視線ベクトルを、予め取得した校正データに基づいて校正する（ステップＳ６）。
Then, the line-of-sight vector calculation means 14 uses the vector calculation means 14e to first correct the pupil center coordinates (= p wR , p wL ) of the left and right eyes and the corneal curvature center coordinates (= c wR , c wL ) of the left and right eyes. ) To obtain the right eye gaze vector (= v wR , v wL ) of the right and left eyes (step S5).
Then, the line-of-
そして、視線測定装置１は、注視点算出手段１６によって、ステップＳ６で校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置またはいずれか一方の表示装置Ｄの画面との交点を注視点として算出する（ステップＳ７）。
すなわち、注視点算出手段１６は、視線ベクトル校正手段１５から左右眼のそれぞれの校正後の視線ベクトルが入力された場合、左眼の視線ベクトルと右眼の視線ベクトルのそれぞれの表示装置Ｄの画面との交点の平均の位置、もしくは、左眼の視線ベクトルと右眼の視線ベクトルのいずれか一方の表示装置Ｄの画面との交点を注視点として算出し、一方、視線ベクトル校正手段１５から左右眼のいずれか一方のみの校正後の視線ベクトルが入力された場合は、この校正後の視線ベクトルと表示装置Ｄの画面との交点を注視点として算出する。
このように、視線測定装置１は、逐次、利用者の注視点を算出し、出力する（ステップＳ８）。
Then, the line-of-
That is, when the sight line
In this way, the line-of-
以上説明した動作によって、利用者の左右眼それぞれの視線ベクトルが算出された場合には、左右眼のそれぞれの視線ベクトルを用いて注視点を算出することができる。また、測定時の利用者の頭部動作等により、利用者の左右眼のいずれか一方の視線ベクトルが算出できなかった場合も、算出できた方の視線ベクトルを用いて注視点を算出することができる。このように、測定時に利用者の頭部動作等があった場合にも、キャリブレーション処理をやり直すことなく利用者の視線を確実に測定することが可能となるので、簡易な構成で利用者の頭部動作に対する頑健性を向上させることができる。
また、予め測定した左右の眼球間の距離から、撮影画像フレーム内でカメラ−眼球間の距離を求めることができるので、撮影画像に対する左右の眼球間の距離の入力の遅れが生じることがない。このため、撮影画像フレーム内で、実際に利用者が注視する位置との誤差を補正した正確な注視点を算出することができる。
When the line-of-sight vectors for the left and right eyes of the user are calculated by the operation described above, the gaze point can be calculated using the line-of-sight vectors of the left and right eyes. Also, even if the gaze vector of either the user's left or right eye cannot be calculated due to the user's head movement at the time of measurement, etc., the gaze point should be calculated using the calculated gaze vector Can do. In this way, even when there is a user's head movement at the time of measurement, the user's line of sight can be reliably measured without redoing the calibration process. Robustness against head movement can be improved.
Further, since the distance between the camera and the eyeball can be obtained in the captured image frame from the distance between the left and right eyeballs measured in advance, there is no delay in inputting the distance between the left and right eyeballs with respect to the captured image. For this reason, it is possible to calculate an accurate gaze point in which an error from the position where the user actually gazes is corrected in the captured image frame.
１ 視線測定装置
１１ 眼球位置検出手段
１２ 眼球領域画像切り出し手段
１３ 基準位置特定手段
１４ 視線ベクトル算出手段
１４ａ カメラ座標系変換手段
１４ｂ 世界座標系変換手段
１４ｃ 瞳孔中心座標補正手段
１４ｄ 角膜曲率中心座標算出手段
１４ｅ ベクトル算出手段
１５ 視線ベクトル校正手段
１６ 注視点算出手段
DESCRIPTION OF
Claims (2)
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段と、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段と、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの画像座標系における瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段と、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段と、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段と、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段により算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置または前記左眼の視線ベクトルと前記右眼の視線ベクトルのいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段と、を備え、前記注視点算出手段が、前記視線ベクトル算出手段により左右眼のいずれか一方の前記視線ベクトルが算出できなかった場合、算出できた方の視線ベクトルで前記注視点を算出することを特徴とする視線測定装置。
In a line-of-sight measuring device that measures the line of sight of a user viewing the screen of a display device,
Eyeball position detecting means for detecting eyeball positions of the left and right eyes, respectively, from an eyeball peripheral image including the left and right eyeballs of the user irradiated with light, which is photographed by the photographing means;
Eyeball area image cutout means for cutting out the eyeball area images of the left and right eyes based on the eyeball positions of the left and right eyes detected by the eyeball position detection means;
Reference position specifying means for specifying the position of the pupil center and the position of the corneal reflection point in the image coordinate system of each of the left and right eyes, from the eyeball area images of the left and right eyes cut out by the eyeball area image cutout means;
Based on the distance between the left and right eyeballs measured in advance and the camera parameters acquired in advance, the position of the pupil center and the corneal reflection point of each of the left and right eyes specified by the reference position specifying means are determined for each of the left and right eyes. Camera coordinate system conversion means for converting into pupil center coordinates and corneal reflection point coordinates in the camera coordinate system;
The pupil center coordinate in the camera coordinate system of each of the left and right eyes and the corneal reflection point coordinate in the camera coordinate system of each of the left and right eyes converted by the camera coordinate system conversion means in the world coordinate system of each of the left and right eyes World coordinate system conversion means for converting to corneal reflection point coordinates and pupil center coordinates in the world coordinate system of each of the left and right eyes;
Corneal curvature center coordinate calculating means for calculating a corneal curvature center coordinate based on a corneal reflection point coordinate in the world coordinate system converted by the world coordinate system conversion means, and a corneal curvature radius;
A straight line passing through the pupil center coordinates in the world coordinate system converted by the world coordinate system conversion means and the corneal curvature center coordinates calculated by the corneal curvature center coordinate calculation means as a line-of-sight vector indicating a line-of-sight direction, Vector calculation means for calculating each of the left and right eyes;
Line-of-sight vector calibration means for calibrating the line-of-sight vector of each of the left and right eyes calculated by the vector calculation means based on calibration data for calibrating a predetermined line-of-sight vector;
The average position of the intersection of the left eye gaze vector and the right eye gaze vector calibrated by the gaze vector calibration means with the screen of the display device or the left eye gaze vector and the right eye gaze Gazing point calculation means for calculating an intersection point of any one of the vectors with the screen of the display device as a gazing point, and the gazing point calculation means uses the line-of-sight vector calculation means for the left eye or the right eye An eye-gaze measurement apparatus, wherein when the eye-gaze vector cannot be calculated, the gaze point is calculated using the eye-gaze vector that has been calculated.
撮影手段により撮影された、光を照射された前記利用者の左右の眼球を含んだ眼球周辺画像から、左右眼の眼球位置をそれぞれ検出する眼球位置検出手段、
前記眼球位置検出手段により検出された前記左右眼の前記眼球位置に基づいて、前記左右眼それぞれの眼球領域画像を切り出す眼球領域画像切り出し手段、
前記眼球領域画像切り出し手段により切り出された前記左右眼それぞれの前記眼球領域画像から、前記左右眼それぞれの瞳孔中心の位置および角膜反射点の位置を特定する基準位置特定手段、
予め測定した左右の眼球間の距離と、予め取得したカメラパラメータとに基づいて、前記基準位置特定手段により特定された前記左右眼それぞれの瞳孔中心の位置および角膜反射点を、前記左右眼それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換するカメラ座標系変換手段、
前記カメラ座標系変換手段により変換された前記左右眼それぞれのカメラ座標系における瞳孔中心座標と、前記左右眼それぞれのカメラ座標系における角膜反射点座標とを、前記左右眼のそれぞれの世界座標系における角膜反射点座標と、前記左右眼それぞれの世界座標系における瞳孔中心座標とに変換する世界座標系変換手段、
前記世界座標系変換手段により変換された前記世界座標系における角膜反射点座標と、角膜曲率半径とに基づいて角膜曲率中心座標を算出する角膜曲率中心座標算出手段と、
前記世界座標系変換手段により変換された前記世界座標系における瞳孔中心座標と、前記角膜曲率中心座標算出手段によって算出された前記角膜曲率中心座標とを通る直線を、視線方向を示す視線ベクトルとして、前記左右眼のそれぞれについて算出するベクトル算出手段と、
予め定めた視線ベクトルを校正する校正データに基づいて、前記ベクトル算出手段により算出された前記左右眼それぞれの前記視線ベクトルを校正する視線ベクトル校正手段と、
前記視線ベクトル校正手段により校正された前記左眼の視線ベクトルと前記右眼の視線ベクトルのそれぞれの前記表示装置の画面との交点の平均の位置またはいずれか一方の前記表示装置の画面との交点を注視点として算出する注視点算出手段として機能させるための視線測定プログラム。 In order to measure the line of sight of the user viewing the screen of the display device,
Eyeball position detecting means for detecting eyeball positions of the left and right eyes, respectively, from an eyeball peripheral image including the left and right eyeballs of the user irradiated with light, which is photographed by the photographing means;
Eyeball area image cutout means for cutting out the eyeball area images of the left and right eyes based on the eyeball positions of the left and right eyes detected by the eyeball position detection means;
Reference position specifying means for specifying the position of the pupil center and the position of the corneal reflection point of each of the left and right eyes from the eyeball area images of the left and right eyes cut out by the eyeball area image cutout means;
Based on the distance between the left and right eyeballs measured in advance and the camera parameters acquired in advance, the position of the pupil center and the corneal reflection point of each of the left and right eyes specified by the reference position specifying means are determined for each of the left and right eyes. Camera coordinate system conversion means for converting into pupil center coordinates and corneal reflection point coordinates in the camera coordinate system;
The pupil center coordinate in the camera coordinate system of each of the left and right eyes and the corneal reflection point coordinate in the camera coordinate system of each of the left and right eyes converted by the camera coordinate system conversion means in the world coordinate system of each of the left and right eyes World coordinate system conversion means for converting to corneal reflection point coordinates and pupil center coordinates in the world coordinate system of each of the left and right eyes,
Corneal curvature center coordinate calculating means for calculating a corneal curvature center coordinate based on a corneal reflection point coordinate in the world coordinate system converted by the world coordinate system conversion means, and a corneal curvature radius;
A straight line passing through the pupil center coordinates in the world coordinate system converted by the world coordinate system conversion means and the corneal curvature center coordinates calculated by the corneal curvature center coordinate calculation means as a line-of-sight vector indicating a line-of-sight direction, Vector calculation means for calculating each of the left and right eyes;
Line-of-sight vector calibration means for calibrating the line-of-sight vector of each of the left and right eyes calculated by the vector calculation means based on calibration data for calibrating a predetermined line-of-sight vector;
The average position of the intersection of the left-eye gaze vector and the right-eye gaze vector calibrated by the gaze vector calibration means with the screen of the display device or the intersection of one of the display devices with the screen A line-of-sight measurement program for causing a gaze point to be calculated as a gaze point calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009112298A JP2010259605A (en) | 2009-05-01 | 2009-05-01 | Visual line measuring device and visual line measuring program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009112298A JP2010259605A (en) | 2009-05-01 | 2009-05-01 | Visual line measuring device and visual line measuring program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010259605A true JP2010259605A (en) | 2010-11-18 |
Family
ID=43358221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009112298A Pending JP2010259605A (en) | 2009-05-01 | 2009-05-01 | Visual line measuring device and visual line measuring program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010259605A (en) |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011217764A (en) * | 2010-04-02 | 2011-11-04 | Fujitsu Ltd | Correction value computing device, correction value computing method, and correction value computing program |
| JP2012187178A (en) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | Visual line detection device and visual line detection method |
| JP2012210257A (en) * | 2011-03-30 | 2012-11-01 | Fujitsu Ltd | Sight line direction detection device, sight line direction detection method and sight line detection program |
| JP2012217524A (en) * | 2011-04-05 | 2012-11-12 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
| JP2012239550A (en) * | 2011-05-17 | 2012-12-10 | Fujitsu Ltd | Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection |
| JP2013190942A (en) * | 2012-03-13 | 2013-09-26 | Nippon Hoso Kyokai <Nhk> | Visual axis error correcting device, program thereof, and method thereof |
| JP2014039787A (en) * | 2012-07-24 | 2014-03-06 | Jvc Kenwood Corp | Gaze point detecting apparatus, gaze point detection method, diagnosis support apparatus and diagnosis support method |
| JP2014052758A (en) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | Sight line measurement method |
| WO2014046206A1 (en) * | 2012-09-19 | 2014-03-27 | 株式会社ニコン | Line of sight detection device, display method, line of sight detection device calibration method, spectacle lens design method, spectacle lens selection method, spectacle lens manufacturing method, printed matter, spectacle lens sales method, optical device, line of sight information detection method, optical instrument design method, optical instrument, optical instrument selection method, and optical instrument production method |
| WO2014046207A1 (en) * | 2012-09-19 | 2014-03-27 | 株式会社ニコン | Line of sight information correction device, line of sight information correction method, line of sight information detection device, line of sight information detection method, spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection device, spectacle lens selection method, line of sight tracking result evaluation device, visual ability notification method, programme, recording medium, spectacle lens, measuring system and measuring method |
| KR101506525B1 (en) | 2012-07-31 | 2015-03-27 | 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 | Point of gaze detection device, point of gaze detection method, individual parameter computation device, individual parameter computation method, program, and computer-readable recording medium |
| CN105026989A (en) * | 2013-02-28 | 2015-11-04 | Hoya株式会社 | Spectacle lens design system, supply system, design method, and production method |
| JP2016032587A (en) * | 2014-07-31 | 2016-03-10 | 株式会社Ｊｖｃケンウッド | Diagnosis support apparatus and diagnosis support method |
| KR101610496B1 (en) * | 2014-08-26 | 2016-04-07 | 현대자동차주식회사 | Method and apparatus for gaze tracking |
| JP2016057906A (en) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | Measurement method and system of viewpoint position |
| KR20160063040A (en) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | Gaze tracking apparatus and method for measuring tracking accuracy of the same |
| JP2016197780A (en) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | Image data processing method, image data processing device and image data processing program |
| JP2017503570A (en) * | 2013-12-17 | 2017-02-02 | エシロール エンテルナショナル （コンパニ ジェネラル ドプチック） | Calibration method for head-mounted eye tracking device |
| KR101745140B1 (en) * | 2015-09-21 | 2017-06-08 | 현대자동차주식회사 | Gaze tracker and method for tracking graze thereof |
| WO2017179280A1 (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Eye tracking device and eye tracking method |
| WO2017179279A1 (en) * | 2016-04-12 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Eye tracking device and eye tracking method |
| CN108259887A (en) * | 2018-04-13 | 2018-07-06 | 宁夏大学 | Watch point calibration method and device, blinkpunkt scaling method and device attentively |
| JP2019000135A (en) * | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | Visual line measurement device |
| WO2019021601A1 (en) * | 2017-07-27 | 2019-01-31 | ソニー株式会社 | Information processing device, information processing method, and program |
| CN109902630A (en) * | 2019-03-01 | 2019-06-18 | 上海像我信息科技有限公司 | A kind of attention judgment method, device, system, equipment and storage medium |
| CN111399633A (en) * | 2019-01-03 | 2020-07-10 | 见臻科技股份有限公司 | Correction method for eyeball tracking application |
| CN111443804A (en) * | 2019-12-27 | 2020-07-24 | 安徽大学 | Method and system for describing fixation point track based on video analysis |
| CN111638799A (en) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | Sight tracking method, sight tracking device, computer equipment and medium |
| CN112383826A (en) * | 2020-11-09 | 2021-02-19 | 中国第一汽车股份有限公司 | Control method and device of vehicle-mounted entertainment terminal, storage medium, terminal and automobile |
| CN112603336A (en) * | 2020-12-30 | 2021-04-06 | 国科易讯(北京)科技有限公司 | Attention analysis method and system based on brain waves |
| CN113271852A (en) * | 2019-01-21 | 2021-08-17 | 三菱电机株式会社 | Attention determination device, attention determination system, attention determination method, and program |
| CN113918007A (en) * | 2021-04-27 | 2022-01-11 | 广州市保伦电子有限公司 | Video interactive operation method based on eyeball tracking |
| WO2022038815A1 (en) * | 2020-08-20 | 2022-02-24 | 株式会社Ｊｖｃケンウッド | Distance calculation device, distance calculation method, and distance calculation program |
-
2009
- 2009-05-01 JP JP2009112298A patent/JP2010259605A/en active Pending
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011217764A (en) * | 2010-04-02 | 2011-11-04 | Fujitsu Ltd | Correction value computing device, correction value computing method, and correction value computing program |
| JP2012187178A (en) * | 2011-03-09 | 2012-10-04 | Fujitsu Ltd | Visual line detection device and visual line detection method |
| JP2012210257A (en) * | 2011-03-30 | 2012-11-01 | Fujitsu Ltd | Sight line direction detection device, sight line direction detection method and sight line detection program |
| JP2012217524A (en) * | 2011-04-05 | 2012-11-12 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
| JP2012239550A (en) * | 2011-05-17 | 2012-12-10 | Fujitsu Ltd | Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection |
| JP2013190942A (en) * | 2012-03-13 | 2013-09-26 | Nippon Hoso Kyokai <Nhk> | Visual axis error correcting device, program thereof, and method thereof |
| JP2014039787A (en) * | 2012-07-24 | 2014-03-06 | Jvc Kenwood Corp | Gaze point detecting apparatus, gaze point detection method, diagnosis support apparatus and diagnosis support method |
| KR101506525B1 (en) | 2012-07-31 | 2015-03-27 | 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 | Point of gaze detection device, point of gaze detection method, individual parameter computation device, individual parameter computation method, program, and computer-readable recording medium |
| JP2014052758A (en) * | 2012-09-06 | 2014-03-20 | Hiroshima City Univ | Sight line measurement method |
| US9645413B2 (en) | 2012-09-19 | 2017-05-09 | Nikon Corporation | Line of sight detection device, display method, line of sight detection device calibration method, spectacle lens design method, spectacle lens selection method, spectacle lens manufacturing method, printed matter, spectacle lens sales method, optical device, line of sight information detection method, optical instrument design method, optical instrument, optical instrument selection method, and optical instrument production method |
| WO2014046207A1 (en) * | 2012-09-19 | 2014-03-27 | 株式会社ニコン | Line of sight information correction device, line of sight information correction method, line of sight information detection device, line of sight information detection method, spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection device, spectacle lens selection method, line of sight tracking result evaluation device, visual ability notification method, programme, recording medium, spectacle lens, measuring system and measuring method |
| JP2017037329A (en) * | 2012-09-19 | 2017-02-16 | 株式会社ニコン | Line-of-sight detection device, display method, spectacle lens design method, spectacle lens selection method, spectacle lens fabrication method, printed matter and spectacle lens sales method |
| WO2014046206A1 (en) * | 2012-09-19 | 2014-03-27 | 株式会社ニコン | Line of sight detection device, display method, line of sight detection device calibration method, spectacle lens design method, spectacle lens selection method, spectacle lens manufacturing method, printed matter, spectacle lens sales method, optical device, line of sight information detection method, optical instrument design method, optical instrument, optical instrument selection method, and optical instrument production method |
| JP2017037330A (en) * | 2012-09-19 | 2017-02-16 | 株式会社ニコン | Sight line information correction device, sight line information detection device, spectacle lens design method, spectacle lens manufacturing method, spectacle lens selection device, spectacle lens method, and spectacle lens |
| JPWO2014046206A1 (en) * | 2012-09-19 | 2016-08-18 | 株式会社ニコン | Gaze detection apparatus calibration method, gaze detection apparatus, spectacle lens design method, spectacle lens selection method, and spectacle lens manufacturing method |
| CN105026989A (en) * | 2013-02-28 | 2015-11-04 | Hoya株式会社 | Spectacle lens design system, supply system, design method, and production method |
| CN105026989B (en) * | 2013-02-28 | 2017-06-30 | Hoya株式会社 | The design system of eyeglass, feed system, method for designing and manufacture method |
| US9733490B2 (en) | 2013-02-28 | 2017-08-15 | Hoya Corporation | Spectacle lens design system, supply system, design method and manufacturing method |
| US9618772B2 (en) | 2013-02-28 | 2017-04-11 | Hoya Corporation | Spectacle lens design system, supply system, design method and manufacturing method |
| JP2017503570A (en) * | 2013-12-17 | 2017-02-02 | エシロール エンテルナショナル （コンパニ ジェネラル ドプチック） | Calibration method for head-mounted eye tracking device |
| JP2016032587A (en) * | 2014-07-31 | 2016-03-10 | 株式会社Ｊｖｃケンウッド | Diagnosis support apparatus and diagnosis support method |
| KR101610496B1 (en) * | 2014-08-26 | 2016-04-07 | 현대자동차주식회사 | Method and apparatus for gaze tracking |
| US9830512B2 (en) | 2014-08-26 | 2017-11-28 | Hyundai Motor Company | Method and apparatus for tracking gaze |
| JP2016057906A (en) * | 2014-09-10 | 2016-04-21 | 国立研究開発法人産業技術総合研究所 | Measurement method and system of viewpoint position |
| KR101628543B1 (en) | 2014-11-26 | 2016-06-08 | 현대자동차주식회사 | Gaze tracking apparatus and method for measuring tracking accuracy of the same |
| KR20160063040A (en) * | 2014-11-26 | 2016-06-03 | 현대자동차주식회사 | Gaze tracking apparatus and method for measuring tracking accuracy of the same |
| JP2016197780A (en) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | Image data processing method, image data processing device and image data processing program |
| US9813597B2 (en) | 2015-09-21 | 2017-11-07 | Hyundai Motor Company | Gaze tracker and method for tracking gaze thereof |
| KR101745140B1 (en) * | 2015-09-21 | 2017-06-08 | 현대자동차주식회사 | Gaze tracker and method for tracking graze thereof |
| US10496166B2 (en) | 2016-04-12 | 2019-12-03 | Panasonic Intellectual Property Management Co., Ltd. | Eye tracking device and eye tracking method |
| WO2017179279A1 (en) * | 2016-04-12 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Eye tracking device and eye tracking method |
| WO2017179280A1 (en) * | 2016-04-13 | 2017-10-19 | パナソニックＩｐマネジメント株式会社 | Eye tracking device and eye tracking method |
| JPWO2017179280A1 (en) * | 2016-04-13 | 2018-04-19 | パナソニックＩｐマネジメント株式会社 | Gaze measurement apparatus and gaze measurement method |
| JP2019000135A (en) * | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | Visual line measurement device |
| WO2019021601A1 (en) * | 2017-07-27 | 2019-01-31 | ソニー株式会社 | Information processing device, information processing method, and program |
| US11490808B2 (en) | 2017-07-27 | 2022-11-08 | Sony Corporation | Information processing device and information processing method |
| CN108259887B (en) * | 2018-04-13 | 2020-01-31 | 宁夏大学 | Method and device for calibrating fixation point and method and device for calibrating fixation point |
| CN108259887A (en) * | 2018-04-13 | 2018-07-06 | 宁夏大学 | Watch point calibration method and device, blinkpunkt scaling method and device attentively |
| CN111399633A (en) * | 2019-01-03 | 2020-07-10 | 见臻科技股份有限公司 | Correction method for eyeball tracking application |
| CN111399633B (en) * | 2019-01-03 | 2023-03-31 | 见臻科技股份有限公司 | Correction method for eyeball tracking application |
| CN113271852A (en) * | 2019-01-21 | 2021-08-17 | 三菱电机株式会社 | Attention determination device, attention determination system, attention determination method, and program |
| CN109902630A (en) * | 2019-03-01 | 2019-06-18 | 上海像我信息科技有限公司 | A kind of attention judgment method, device, system, equipment and storage medium |
| CN109902630B (en) * | 2019-03-01 | 2022-12-13 | 上海像我信息科技有限公司 | Attention judging method, device, system, equipment and storage medium |
| CN111443804B (en) * | 2019-12-27 | 2022-08-19 | 安徽大学 | Method and system for describing fixation point track based on video analysis |
| CN111443804A (en) * | 2019-12-27 | 2020-07-24 | 安徽大学 | Method and system for describing fixation point track based on video analysis |
| CN111638799A (en) * | 2020-06-09 | 2020-09-08 | 京东方科技集团股份有限公司 | Sight tracking method, sight tracking device, computer equipment and medium |
| CN111638799B (en) * | 2020-06-09 | 2023-10-27 | 京东方科技集团股份有限公司 | Sight tracking method, sight tracking device, computer equipment and medium |
| WO2022038815A1 (en) * | 2020-08-20 | 2022-02-24 | 株式会社Ｊｖｃケンウッド | Distance calculation device, distance calculation method, and distance calculation program |
| CN112383826A (en) * | 2020-11-09 | 2021-02-19 | 中国第一汽车股份有限公司 | Control method and device of vehicle-mounted entertainment terminal, storage medium, terminal and automobile |
| CN112603336A (en) * | 2020-12-30 | 2021-04-06 | 国科易讯(北京)科技有限公司 | Attention analysis method and system based on brain waves |
| CN112603336B (en) * | 2020-12-30 | 2023-05-16 | 国科易讯(北京)科技有限公司 | Attention analysis method and system based on brain waves |
| CN113918007A (en) * | 2021-04-27 | 2022-01-11 | 广州市保伦电子有限公司 | Video interactive operation method based on eyeball tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010259605A (en) | Visual line measuring device and visual line measuring program | |
| JP5858433B2 (en) | Gaze point detection method and gaze point detection device | |
| US9961335B2 (en) | Pickup of objects in three-dimensional display | |
| JP4649319B2 (en) | Gaze detection device, gaze detection method, and gaze detection program | |
| JP2020034919A (en) | Eye tracking using structured light | |
| JP5923603B2 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
| JP6548171B2 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
| EP3339943A1 (en) | Method and system for obtaining optometric parameters for fitting eyeglasses | |
| JP4517049B2 (en) | Gaze detection method and gaze detection apparatus | |
| US20180007350A1 (en) | Binocular See-Through AR Head-Mounted Display Device and Information Display Method Therefor | |
| JP2009297323A (en) | Visual axis measuring apparatus | |
| JP2020079948A (en) | Apparatus and method for determining optical parameter | |
| JP2012239566A (en) | Measuring apparatus for glasses, and three-dimensional measuring apparatus | |
| KR20200006621A (en) | Methods, apparatus, and computer programs for determining near vision points | |
| JP2018099174A (en) | Pupil detector and pupil detection method | |
| JP2019215688A (en) | Visual line measuring device, visual line measurement method and visual line measurement program for performing automatic calibration | |
| JP4536329B2 (en) | Eye point position determination method and eye point measurement system | |
| CN114360043B (en) | Model parameter calibration method, sight tracking method, device, medium and equipment | |
| JP2015169959A (en) | Rotation angle calculation method, gaze point detection method, information input method, rotation angle calculation apparatus, gaze point detection apparatus, information input apparatus, rotation angle calculation program, gaze point detection program, and information input program | |
| JP5590487B2 (en) | Gaze measurement method and gaze measurement device | |
| JP5719216B2 (en) | Gaze measurement apparatus and gaze measurement program | |
| JP3711053B2 (en) | Line-of-sight measurement device and method, line-of-sight measurement program, and recording medium recording the program | |
| US20220125297A1 (en) | Device calibration via a projective transform matrix | |
| JP6496917B2 (en) | Gaze measurement apparatus and gaze measurement method | |
| US20220125294A1 (en) | Systems and methods for visual field testing in head-mounted displays |