JP2011172853A - Device, method and program for measuring visual axis - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device, a method and a program which can accurately measure a user's visual axis. <P>SOLUTION: The device 1 for measuring the visual axis includes an imaging means for imaging a reflected light of light applied to eyeballs of the user from light sources 7 and 7 by cameras 2 and 2, and a means for measuring the visual axis of the user to an object to be gazed by applying the imaged data to an eyeball model. The eyeball model is a non-spherical rotating body model composed of a rotating surface formed by rotating a free curve about an optical axis of the eyeball. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、ユーザの視線を精度よく計測できる視線計測装置、方法及びプログラムに関するものである。   The present invention relates to a line-of-sight measurement apparatus, method, and program that can accurately measure a user's line of sight.

人間の視線は、操作対象や関心、意図などを反映する。両手が使えないような環境等、視線で操作できるインタフェースがあれば、このような環境でも機器を利用することができる。近年、かかるインタフェースの実現を目指したさまざまな研究・開発がなされている。特に、ユーザによるキャリブレーションを簡素化するために、角膜の球面モデルを用いた手法がいくつか研究・開発されている。   The human gaze reflects the operation target, interest, intention, and the like. If there is an interface that can be operated with a line of sight, such as an environment where both hands cannot be used, the device can be used in such an environment. In recent years, various research and development aimed at realizing such an interface have been conducted. In particular, in order to simplify the calibration by the user, several methods using a spherical model of the cornea have been researched and developed.

たとえば特許文献１では、ユーザの眼球に赤外線を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線の反射光と瞳孔との位置から算出される方向データからユーザの推定視線データを検出するが、その際に角膜の球面モデルのみを用いており、２つのカメラと３つの光源とで実装した視線計測装置を記載している。   For example, in Patent Document 1, an eyeball is photographed by irradiating the user's eyeball with infrared rays, and the estimated gaze data of the user is detected from the direction data calculated from the position of the reflected infrared light and the pupil on the cornea surface of the photographed image However, in this case, only a spherical model of the cornea is used, and a line-of-sight measuring device mounted with two cameras and three light sources is described.

非特許文献１では、角膜の球面モデルのみを用いて、光源２つ（カメラと光源とは別の位置）での視線計測手法を初めて示している。当該手法を適用した装置には、２つのカメラと３つの光源とで実装している。非特許文献２では、角膜の球面モデルのみを用いており、かつ光源を取り付けたカメラを２つ使っているが、各カメラの中心点に光源の中心を一致させている。非特許文献３では、角膜の球面モデルのみを用いており、２つのカメラと２つ以上の光源（実装例は４つの光源である。）を用いているが、基本的には上記非特許文献１と同じ手法である。非特許文献４，５では、角膜の球面モデルのみを用いており、かつ光軸を求める手法は上記非特許文献１と同じ手法であるが、視軸を用いる時にリスティングの法則を利用している。   Non-Patent Document 1 shows for the first time a gaze measurement method using two light sources (positions separate from the camera and the light source) using only a spherical model of the cornea. The apparatus to which the method is applied is mounted with two cameras and three light sources. In Non-Patent Document 2, only the spherical model of the cornea is used and two cameras with a light source attached are used, but the center of the light source is made to coincide with the center point of each camera. Non-Patent Document 3 uses only a spherical model of the cornea and uses two cameras and two or more light sources (the mounting example is four light sources). 1 is the same method. In Non-Patent Documents 4 and 5, only the spherical model of the cornea is used, and the method for obtaining the optical axis is the same as that of Non-Patent Document 1 described above, but the listing law is used when using the visual axis. .

図１０は角膜の球面モデルを示す図である。たとえば特許文献１では、注視点（Ｐｏｉｎｔ ｏｆ Ｇａｚｅ：ＰＯＧ）を推定してコンピュータのディスプレイに表示するシステムを提案しているが、これは図１０に示されるような角膜の球面モデルに基づくものであった。他の文献についても同様であった。角膜の球面モデルに基づく手法では、ディスプレイ全体で高い精度を実現するためには、光源を増やす、カメラを増やすなどして多重化することが必要であった。   FIG. 10 shows a spherical model of the cornea. For example, Patent Document 1 proposes a system for estimating a point of gaze (POG) and displaying it on a computer display, which is based on a spherical model of the cornea as shown in FIG. there were. The same applies to other documents. In the method based on the spherical model of the cornea, in order to realize high accuracy in the entire display, it is necessary to multiplex by increasing the number of light sources and the number of cameras.

図１１は角膜の球面モデルに基づく推定手法により、２個のカメラと２つの光源を使用したシステムの被験者３名（ａ，ｂ，ｃ）がコンピュータのディスプレイを見た場合の評価結果を示す図である。図１１に示すように、ディスプレイの下半分を見た場合の評価結果は良好である。ところが、ディスプレイの左上と右上の周りでＰＯＧを推定する精度が低下するものであった。かかる評価結果は、実際の角膜がモデルと異なり球面でない、あるいは、光源（ＬＥＤ）からの光がモデル化されていない強膜（白目）から反射されたことに起因するものであると推察される。   FIG. 11 is a diagram showing an evaluation result when three subjects (a, b, c) of a system using two cameras and two light sources look at a computer display by an estimation method based on a spherical model of the cornea. It is. As shown in FIG. 11, the evaluation result when the lower half of the display is viewed is good. However, the accuracy of estimating the POG around the upper left and upper right of the display is reduced. This evaluation result is presumed to be caused by the fact that the actual cornea is not spherical, unlike the model, or that the light from the light source (LED) is reflected from an unmodeled sclera (white eye). .

本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、ユーザの視線を精度よく計測できる視線計測装置、方法及びプログラムを提供することである。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a line-of-sight measurement device, method, and program capable of accurately measuring a user's line of sight.

本発明（装置）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する撮像手段と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する視線計測手段とを備えた装置であって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。   According to the present invention (apparatus), an imaging unit that captures reflected light of light emitted from a light source toward a user's eyeball with a camera, and a line of sight of the user's gaze target by applying this imaging data to an eyeball model The eyeball model is an aspherical rotator model composed of a rotation surface configured by rotating a free curve around the optical axis of the eyeball. It is a feature.

本発明（方法）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像し、これらの撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する方法であって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。   The present invention (method) measures the line of sight of the user's gaze target by capturing reflected light of light emitted from a light source toward the user's eyeball with a camera and applying the captured image data to an eyeball model. In this method, the eyeball model is an aspherical rotator model composed of a rotating surface formed by rotating a free curve around the optical axis of the eyeball.

本発明（プログラム）は、光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する機能と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する機能とをコンピュータに実現させる視線計測プログラムであって、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とするものである。   The present invention (program) is configured to capture a reflected light of light emitted from a light source toward a user's eyeball with a camera, and to apply the imaging data to an eyeball model so that the line of sight of the user's gaze target is obtained. A gaze measurement program for causing a computer to realize a measurement function, wherein the eyeball model is an aspherical rotator model composed of a rotation surface configured by rotating a free curve around the optical axis of the eyeball It is characterized by.

本発明によれば、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであるので、実際の角膜形状との差異が少なくなる。また、強膜（白目）もモデル化している。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。   According to the present invention, since the eyeball model is an aspherical rotator model composed of a rotating surface formed by rotating a free curve around the optical axis of the eyeball, there is little difference from the actual corneal shape. Become. The sclera (white eye) is also modeled. Therefore, there is almost no reduction in the accuracy of estimating the gazing point around the upper left and upper right of the display as in the conventional example. As a result, the user's line of sight can be accurately measured.

請求項２記載の発明のように、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する光軸決定手段と、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定するパラメータ推定手段と、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する視軸推定手段とを備えることが好ましい。   When the user gazes at an optical axis determining means for determining the optical axis of the eyeball based on the aspheric rotating body model of the eyeball and one point whose spatial coordinates are known, And estimating the visual axis of the eyeball based on the parameter estimation means for estimating a parameter depending on the user based on the imaging data, the determined optical axis, and the estimated parameter, and the estimation It is preferable to include visual axis estimation means for estimating the spatial coordinates of the gaze point based on the visual axis of the eyeball and the three-dimensional model of the gaze target.

また、請求項６記載の発明のように、光軸決定手段は、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定し、パラメータ推定手段は、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定し、視軸推定手段は、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定することが好ましい。   The optical axis determination means determines the optical axis of the eyeball based on the aspherical rotating body model of the eyeball, and the parameter estimation means knows the spatial coordinates. Based on the imaging data when the user gazes at one point, a parameter depending on the user is estimated, and the visual axis estimation means determines the eyeball based on the determined optical axis and the estimated parameter. It is preferable to estimate the spatial coordinate of the gaze point based on the estimated visual axis of the eyeball and the three-dimensional model of the gaze target.

さらに、請求項１０記載の発明のように、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する機能と、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定する機能と、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する機能とをコンピュータに実現させることが好ましい。   Furthermore, as in the invention described in claim 10, when the user gazes at a point where the optical axis of the eyeball is determined based on the aspheric rotating body model of the eyeball and the spatial coordinates are known. Based on the imaging data, the function of estimating the parameter depending on the user, the determined optical axis, and the estimated parameter, the visual axis of the eyeball is estimated, and the estimated eyeball It is preferable that the computer realizes the function of estimating the spatial coordinates of the gazing point based on the visual axis and the three-dimensional model of the gaze target.

請求項２，６，１０記載の発明によれば、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸が決定され、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータが推定され、前記決定された光軸と、前記推定したパラメータとに基づいて、眼球の視軸が推定されるとともに、前記推定された眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標が推定されるので、実際の角膜形状との差異が少なくなる。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。   According to the second, sixth, and tenth aspects of the present invention, when the optical axis of the eyeball is determined based on the aspheric rotating body model of the eyeball and the user gazes at one point whose spatial coordinates are known. Based on the imaging data, a parameter depending on the user is estimated, and based on the determined optical axis and the estimated parameter, the visual axis of the eyeball is estimated, and the estimated eyeball Since the spatial coordinates of the gazing point are estimated based on the visual axis and the three-dimensional model of the gaze target, the difference from the actual corneal shape is reduced. Therefore, there is almost no reduction in the accuracy of estimating the gazing point around the upper left and upper right of the display as in the conventional example. As a result, the user's line of sight can be accurately measured.

ところで、光源を３個以上設けたときには、ユーザの手などで光源からの光線をさえぎってしまうことがあり不具合である。そこで、請求項３記載の発明のように、前記光源は２個、前記カメラは２台で構成できることが好ましい。   By the way, when three or more light sources are provided, the light from the light source may be blocked by the user's hand or the like. Accordingly, it is preferable that two light sources and two cameras can be configured as in the invention described in claim 3.

また、請求項７記載の発明のように、前記光源は２個、前記カメラは２台で構成できる条件下であることが好ましい。   According to a seventh aspect of the present invention, it is preferable that the number of the light sources is two and the number of the cameras is two.

さらに、請求項１１記載の発明のように、前記光源は２個、前記カメラは２台で構成できる条件下であることが好ましい。   Further, as in the invention described in claim 11, it is preferable that the number of the light sources is two and the number of the cameras is two.

請求項３，７，１１記載の発明によれば、前記光源を２個、前記カメラを２台で構成できるので、光源を３個以上設けたときのように、ユーザの手などで光源からの光線をさえぎってしまうおそれが少ない。その結果、ユーザの視線を常に精度よく計測できるようになる。   According to the third, seventh, and eleventh aspects of the invention, since the two light sources and the two cameras can be configured, it is possible to remove the light source from the light source by a user's hand or the like as when three or more light sources are provided. There is little risk of blocking light. As a result, the user's line of sight can always be accurately measured.

請求項４記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置することが好ましい。   Preferably, the light source and the camera are arranged so that the center of the light source coincides with the center point of the camera, or so that the light source is near the center of the camera. .

また、請求項８記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることが好ましい。   Further, as in the invention described in claim 8, the condition for arranging the light source and the camera so that the center of the light source coincides with the center point of the camera or so that the light source is near the center of the camera. Preferably it is below.

さらに、請求項１２記載の発明のように、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることが好ましい。   Furthermore, as in the invention described in claim 12, the condition for disposing the light source and the camera so that the center of the light source coincides with the center point of the camera or so that the light source is near the center of the camera. Preferably it is below.

請求項４，８，１２記載の発明によれば、光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置するので、ユーザの手などで光源からの光線をさえぎってしまうおそれがさらに少なくなる。   According to the fourth, eighth, and twelfth aspects of the present invention, the light source and the camera are arranged so that the center of the light source coincides with the center point of the camera or so that the light source is near the center of the camera. Therefore, the possibility that the light from the light source is blocked by the user's hand or the like is further reduced.

本発明によれば、前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであるので、実際の角膜形状との差異が少なくなる。また、強膜（白目）もモデル化している。したがって、従来例におけるような、ディスプレイの左上と右上の周りで注視点を推定する精度の低下現象がほとんど生じなくなる。その結果、ユーザの視線を精度よく計測できるようになる。   According to the present invention, since the eyeball model is an aspherical rotator model composed of a rotating surface formed by rotating a free curve around the optical axis of the eyeball, there is little difference from the actual corneal shape. Become. The sclera (white eye) is also modeled. Therefore, there is almost no reduction in the accuracy of estimating the gazing point around the upper left and upper right of the display as in the conventional example. As a result, the user's line of sight can be accurately measured.

本発明の一実施形態に係る視線計測装置の全体構成を示すブロック図である。It is a block diagram showing the whole line-of-sight measuring device composition concerning one embodiment of the present invention. 眼球の非球面回転体モデルを示す図である。It is a figure which shows the aspherical rotary body model of an eyeball. ディスプレイ上の注視点を計測している場合に、カメラに取り付けられた光源から赤外線を眼球に照射し、カメラで撮影した画像を示す図であって、（ａ）は中央付近を注視した場合、（ｂ）は左上を注視した場合である。In the case of measuring the point of interest on the display, it is a diagram showing an image shot by irradiating the eyeball with infrared rays from a light source attached to the camera, and (a) is a case where the vicinity of the center is observed, (B) is a case where the upper left is observed. 眼球の部分断面を示す図である。It is a figure which shows the partial cross section of an eyeball. 角膜曲率の中心、２個の光源の位置、２台のカメラの中心位置を含む角膜の断面を示す図である。It is a figure which shows the cross section of the cornea containing the center of a cornea curvature, the position of two light sources, and the center position of two cameras. 角膜での屈折を示す図である。It is a figure which shows the refraction in a cornea. 本装置の動作を示すフローチャートであって、（ａ）はメインフローチャート、（ｂ）はステップＳ２のサブフローチャートである。It is a flowchart which shows operation | movement of this apparatus, Comprising: (a) is a main flowchart, (b) is a subflowchart of step S2. 本装置の動作を示すフローチャートであって、（ａ）はステップＳ３のサブフローチャート、（ｂ）はステップＳ３ａのさらなるサブフローチャートである。It is a flowchart which shows operation | movement of this apparatus, Comprising: (a) is a subflowchart of step S3, (b) is a further subflowchart of step S3a. 本方法とチェンらの方法との比較による評価結果を示す図である。It is a figure which shows the evaluation result by the comparison with this method and the method of Chen et al. 角膜の球面モデルを示す図である。It is a figure which shows the spherical model of a cornea. 従来の球面の角膜モデルを利用して２個のカメラと２つの光源を使用したときの評価結果を示す図である。It is a figure which shows the evaluation result when using two cameras and two light sources using the conventional spherical cornea model.

図１は本発明の一実施形態に係る視線計測装置（以下、本装置という。）１の全体構成を示すブロック図である。本装置１は、図１に示すように、２台の同期しているカメラ（撮像手段に相当する。）２，２と、ディスプレイ（注視対象に相当する。）３と、キーボード４と、マウス５と、コンピュータ（視線測定手段に相当する。）６とからなっている。   FIG. 1 is a block diagram showing the overall configuration of a line-of-sight measurement device (hereinafter referred to as this device) 1 according to an embodiment of the present invention. As shown in FIG. 1, the apparatus 1 includes two synchronized cameras (corresponding to imaging means) 2 and 2, a display (corresponding to a gaze target) 3, a keyboard 4, and a mouse. 5 and a computer 6 (corresponding to line-of-sight measuring means) 6.

各カメラ２，２は、イメージセンサを備えており、その解像度は７５２×４８０ピクセルである。３５ｍｍのレンズとＩＲフィルタとが、各カメラ２，２に取り付けられている。光源（たとえば赤外線ＬＥＤである。）７，７が、カメラの中心点と一致するように、各カメラ２，２に取り付けられている。これらのカメラ２，２はディスプレイ３の下に配置されている。本装置１をセットアップする前に、カメラ２，２の固有パラメータは決定されている。   Each of the cameras 2 and 2 includes an image sensor, and the resolution thereof is 752 × 480 pixels. A 35 mm lens and an IR filter are attached to each camera 2 and 2. Light sources (for example, infrared LEDs) 7 and 7 are attached to the cameras 2 and 2 so as to coincide with the center point of the camera. These cameras 2 and 2 are arranged below the display 3. Prior to setting up the device 1, the intrinsic parameters of the cameras 2 and 2 have been determined.

コンピュータ６は、メモリ６ａと、ハードディスク６ｂと、ＣＰＵ６ｃと、光学式ドライブ６ｄといったハードウエアで構成されている。メモリ６ａは、データを一時的に記憶するものであり、ハードディスク６ｂは、本発明方法を記述したプログラムを含む各種プログラムや各種データを記憶するものである。この本発明方法を記述したプログラムを呼び出して実行することにより、ＣＰＵ６ｃには、光軸決定手段６１と、パラメータ推定手段６２（曲率半径推定手段６３、中心間距離推定手段６４及びオフセット推定手段６５を含む。）と、視軸推定手段６６（曲率中心推定手段６７及びＰＯＧ（注視点）推定手段６８を含む。）とが構築される。なお、光学式ドライブ６ｄは、たとえばＣＤドライブやＤＶＤドライブであって、上記プログラムのバージョンアップ版をインストールするときなどに用いられる。   The computer 6 includes hardware such as a memory 6a, a hard disk 6b, a CPU 6c, and an optical drive 6d. The memory 6a temporarily stores data, and the hard disk 6b stores various programs and various data including a program describing the method of the present invention. By calling and executing the program describing the method of the present invention, the CPU 6c has the optical axis determining means 61 and the parameter estimating means 62 (the curvature radius estimating means 63, the center distance estimating means 64, and the offset estimating means 65). And a visual axis estimating means 66 (including a curvature center estimating means 67 and a POG (gazing point) estimating means 68) are constructed. The optical drive 6d is, for example, a CD drive or a DVD drive, and is used when an upgraded version of the above program is installed.

光軸決定手段６１は、眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定するものである。   The optical axis determination means 61 determines the optical axis of the eyeball based on the aspherical rotating body model of the eyeball.

図２は眼球の非球面回転体モデルを示す図である。図２に示すように、眼球の非球面回転体モデルは眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなるモデルであって、このモデルによりスムーズに角膜と強膜との間の境界を与えることができる。実際の眼球の形状には個人差があるが、光軸まわりの回転面であればどのような曲面でもかまわない。   FIG. 2 is a view showing an aspheric rotating body model of an eyeball. As shown in FIG. 2, the aspherical rotator model of the eyeball is a model composed of a rotating surface formed by rotating a free curve around the optical axis of the eyeball. A boundary between can be given. The actual shape of the eyeball varies from person to person, but any curved surface may be used as long as it is a rotating surface around the optical axis.

光軸決定手段６１は、眼球の非球面回転体モデルに基づく眼球の光軸の決定を行うために、２台のカメラ２，２と、各カメラに取り付けられる光源７，７とを使用する。それぞれの光源の位置は、カメラの中心点と同じであるとする。かかる対応関係を説明するために、以下では、向かって右側のカメラをカメラ０と記述し、向かって左側のカメラをカメラ１と記述し、向かって右側の光源を光源０と記述し、向かって左側の光源を光源１と記述するとともに、各ポイント（位置ベクトル）についても、必要な場合それらの添字を付して記述することとする。０，１どちらにも適用可能な場合は添え字をｊとして記述することとする。   The optical axis determination means 61 uses two cameras 2 and 2 and light sources 7 and 7 attached to each camera in order to determine the optical axis of the eyeball based on the aspheric rotating body model of the eyeball. Assume that the position of each light source is the same as the center point of the camera. In order to explain this correspondence, in the following, the right-hand camera is described as camera 0, the left-hand camera is described as camera 1, the right-hand light source is described as light source 0, and The light source on the left side is described as the light source 1, and each point (position vector) is also described with the suffix attached if necessary. When applicable to both 0 and 1, the subscript is described as j.

図３はカメラｊに取り付けられた光源から赤外線を眼球に照射し、カメラｊで撮影した画像を示す図であって、（ａ）は中央付近を注視した場合、（ｂ）は左上を注視した場合である。図３（ａ）（ｂ）において、周囲の白目部分を強膜、その内側の円環領域を虹彩、さらに内側の楕円領域を瞳孔とし、瞳孔中心から最も近い輝点２つをプルキニエ像と推定する。このうち、カメラｊに取り付けられてある光源ｊによるプルキニエ像は、向かって左側のカメラの場合は右側、向かって右側のカメラの場合は左側である。このプルキニエ像をカメラのイメージセンサ上の３次元位置に変換した点がポイントＰ’_ｊとなる。 FIG. 3 is a diagram showing an image captured by the camera j by irradiating the eyeball with infrared rays from a light source attached to the camera j, where (a) looks at the vicinity of the center and (b) looks at the upper left. Is the case. 3 (a) and 3 (b), the surrounding white eye portion is the sclera, the inner ring region is the iris, the inner ellipse region is the pupil, and the two bright spots closest to the pupil center are estimated as Purkinje images. To do. Among these, the Purkinje image by the light source j attached to the camera j is the right side in the case of the left side camera, and the left side in the case of the right side camera. A point P ′ _j is obtained by converting the Purkinje image into a three-dimensional position on the image sensor of the camera.

図４は、カメラｊの中心と眼球の光軸を通る眼球の部分断面を示す図である。図４において、ポイントＡは光軸の近くの角膜曲率の中心である。ポイントＬ_ｊとポイントＣ_ｊとは、それぞれ光源ｊの位置とカメラｊの中心点とを示している。Ｃ_ｊはＬ_ｊと同じ位置であるとする。Ｃ_ｊ（＝Ｌ_ｊ）の値は、あらかじめカメラｊをキャリブレーションすることによって決定される。瞳孔中心位置のポイントＢからの光線は、ポイントＢ”_ｊで屈折して、Ｃ_ｊを通り抜けて、ポイントＢ’_ｊでイメージセンサと交差する。 FIG. 4 is a diagram showing a partial cross section of the eyeball passing through the center of the camera j and the optical axis of the eyeball. In FIG. 4, point A is the center of corneal curvature near the optical axis. Point L _j and point C _j indicate the position of light source j and the center point of camera j, respectively. _Let C _j be the same position as L _j . The value of C _j (= L _j ) is determined by calibrating camera j in advance. Rays from point B at the center of the pupil are refracted at point B ″ _j , pass through C _j , and intersect the image sensor at point B ′ _j .

Ｌ_ｊからの光線は、角膜表面のポイントＰ_ｊで反射され、元の経路を戻り、この反射された光線は、Ｃ_ｊを通り抜けて、ポイントＰ’_ｊでイメージセンサと交差する。もし、角膜が完全に球面であるならば、光源ｊの位置Ｌ_ｊとポイントＰ_ｊとを接続する線はＡを通るので、Ａは２個のカメラを使用することによって決定できる。しかしながら、角膜の縁付近などの非球面の眼球の表面から反射するとき、正確にＡの位置を推定することができない。この不正確なＡの位置を用いて光軸の推定を行うと視軸（視線）や注視点の推定には大きな誤差が含まれてしまう。 Rays from L _j are reflected at point P _j on the corneal surface and return to the original path, and the reflected rays pass through C _j and intersect the image sensor at point P ′ _j . If the cornea is perfectly spherical, the line connecting the position L _{j of the} light source j and the point P _j passes through A, so A can be determined by using two cameras. However, when reflecting from the surface of an aspheric eyeball such as near the edge of the cornea, the position of A cannot be estimated accurately. If the optical axis is estimated using the inaccurate position A, a large error is included in the estimation of the visual axis (line of sight) and the gaze point.

そこで、眼球の光軸周りの回転面からなる非球面回転体モデルを使用することとする。このモデルによれば、Ｌ_ｊからの光線は、眼球の表面において、眼球の光軸を含む平面内で反射し、カメラｊで撮影される。それゆえ、Ａ，Ｂ，Ｂ’_ｊ，Ｂ”_ｊ，Ｃ_ｊ，Ｌ_ｊ，Ｐ_ｊ，Ｐ’_ｊ，および眼球の光軸とは同一平面上にある（ｃｏｐｌａｎａｒ）。 Therefore, an aspheric rotating body model including a rotating surface around the optical axis of the eyeball is used. According to this model, the light rays from L _j are reflected on the surface of the eyeball within a plane including the optical axis of the eyeball and photographed by the camera j. Therefore, A, B, B ′ _j , B ″ _j , C _j , L _j , P _j , P ′ _j , and the optical axis of the eyeball are coplanar.

眼球の光軸を含んでいる平面の法線ベクトルは、｛（Ｃ_ｊ−Ｂ’_ｊ）×（Ｐ’_ｊ−Ｃ_ｊ）｝であり、その平面は（１）式で表現される。
｛（Ｃ_ｊ−Ｂ’_ｊ）×（Ｐ’_ｊ−Ｃ_ｊ）｝・（Ｘ−Ｃ_ｊ）＝０ ・・・（１）
ここに、Ｘ（＝（ｘ，ｙ，ｚ）^Ｔ）が平面上のポイントである。２個のカメラ（ｊ＝０，１）を使用するときは、２つの平面が得られる。眼球の光軸は２平面の交線から決定できる。 The normal vector of the plane including the optical axis of the eyeball is {(C _j −B ′ _j ) × (P ′ _j −C _j )}, and the plane is expressed by the equation (1).
{(C _j −B ′ _j ) × (P ′ _j −C _j )} · (X−C _j ) = 0 (1)
Here, X (= (x, y, z) ^T ) is a point on the plane. When using two cameras (j = 0, 1), two planes are obtained. The optical axis of the eyeball can be determined from the intersection of two planes.

この眼球の光軸を中心とした回転モデルを用いた計算手法では、任意の回転面で眼球の光軸を計算できるので、眼球の表面で光が反射する場所（角膜表面の中央部の領域、角膜の境界領域、強膜領域など）に関係なく、眼球の光軸は数学的に決定できる。強膜（白目）で反射する場合も反射の位置が特定できれば計算可能である。   In this calculation method using a rotation model centered on the optical axis of the eyeball, the optical axis of the eyeball can be calculated on an arbitrary rotation plane, so the place where the light is reflected on the surface of the eyeball (the area at the center of the cornea surface, The optical axis of the eyeball can be determined mathematically regardless of the boundary region of the cornea, the sclera region, etc. In the case of reflection by the sclera (white eye), calculation is possible if the position of reflection can be specified.

一般に眼球の視軸と光軸とはＡで交差するとされているので、眼球の視軸を決定するためには、Ａを決定することが必要である。眼球の視軸は、ｔをパラメータとして、Ｘ＝Ａ＋ｔｃと記述できる。ここで、ｃは、眼球の視軸の単位方向ベクトルである。   In general, since the visual axis of the eyeball and the optical axis intersect at A, it is necessary to determine A in order to determine the visual axis of the eyeball. The visual axis of the eyeball can be described as X = A + tc with t as a parameter. Here, c is a unit direction vector of the visual axis of the eyeball.

２本の直線（Ｘ＝Ｃ_ｊ＋ｔ_ｊ（Ｃ_ｊ−Ｂ’_ｊ），ｊ＝０，１）の交点は、Ａの近似位置を与えるが、その近似誤差は、約７．８ｍｍ（角膜の半径の平均値）未満である。Ａの推定誤差は、眼球の視軸の平行移動を生じる。したがって、ユーザとその注視対象であるオブジェクトとの間の距離の増大につれて、視野角としてのオブジェクト上のＰＯＧの推定誤差は減少する。オブジェクトが十分遠くにある場合は、この計算で十分な精度が得られる。 The intersection of two straight lines (X = C _j + t _j (C _j −B ′ _j ), j = 0, 1) gives an approximate position of A, but the approximate error is about 7.8 mm (of the cornea) Less than the average radius). The estimation error of A causes the translation of the visual axis of the eyeball. Therefore, as the distance between the user and the object being watched increases, the POG estimation error on the object as the viewing angle decreases. If the object is far enough away, this calculation will provide sufficient accuracy.

しかしながら、ユーザとオブジェクトとの間の距離が近いときに、Ａの推定誤差に起因するＰＯＧの推定誤差は視野角では無視できなくなる場合があると考えられる。この問題を解決するためには、正確なＡの推定方法と眼球の視軸の決定とが必要である。   However, when the distance between the user and the object is short, it is considered that the POG estimation error due to the A estimation error may not be ignored at the viewing angle. In order to solve this problem, an accurate estimation method of A and determination of the visual axis of the eyeball are necessary.

パラメータ推定手段６２は、この正確なＡの推定方法と眼球の視軸の決定のために、ユーザに依存するパラメ−タの推定（ユーザキャリブレーション）を行うものである。ここで、ユーザに依存するパラメ−タとは、眼球の光軸近くの角膜曲率の半径Ｒ、角膜曲率と瞳孔との中心間の距離Ｋ、そして、光軸と視軸との間のオフセットα，βである。   The parameter estimation means 62 performs parameter estimation (user calibration) depending on the user in order to accurately determine A and determine the visual axis of the eyeball. Here, the parameters depending on the user are the radius R of the corneal curvature near the optical axis of the eyeball, the distance K between the corneal curvature and the center of the pupil, and the offset α between the optical axis and the visual axis. , Β.

これらのユーザに依存するパラメ−タを推定するために、ユーザは、位置がわかっている１点（キャリブレーションポイント）を凝視するよう指示される。キャリブレーションポイントの位置は、眼球の光軸付近で球として近似できる角膜表面で、光源からの光線が反射するように選択される。この時、球として近似できる角膜表面を通して瞳孔を観察できる。したがって、角膜表面での屈折は、角膜の球面モデルに基づいて決定される。   To estimate these user-dependent parameters, the user is instructed to stare at one point (calibration point) whose position is known. The position of the calibration point is selected so that light rays from the light source are reflected on the corneal surface that can be approximated as a sphere near the optical axis of the eyeball. At this time, the pupil can be observed through the corneal surface that can be approximated as a sphere. Therefore, refraction at the corneal surface is determined based on a spherical model of the cornea.

曲率半径推定手段６３は、角膜の球面モデルに基づいた角膜曲率の半径の推定を行うものである。上記キャリブレーションプロセスにおいて、ユーザがカメラの近くでキャリブレーションポイントを凝視するとき、光は、それを球面と近似しても問題がない角膜の表面から反射する。この場合には、角膜の球面モデルを使用できる。   The curvature radius estimation means 63 estimates the radius of the corneal curvature based on a spherical model of the cornea. In the above calibration process, when the user stares at the calibration point near the camera, the light reflects from the surface of the cornea, which can be approximated as a spherical surface. In this case, a spherical model of the cornea can be used.

この曲率半径推定手段６３は、角膜曲率の中心の位置Ａを推定する。図５は角膜曲率の中心Ａ、光源１の位置であるポイントＬ_１、光源０の位置であるポイントＬ_０、カメラ１の中心位置であるポイントＣ_１、およびカメラ０の中心位置であるポイントＣ_０を含む角膜の断面を示す図である。Ｃ_１（＝Ｌ_１）と、Ｃ_０（＝Ｌ_０）との各位置はカメラキャリブレーションにより事前に求めてあるものとする。図５に示すように、角膜表面で反射したＬ_１からの光線は、角膜表面で反射してＣ_１へ戻り、それからポイントＰ’_１１に到達するといった経路を辿る。角膜表面は球とみなされるので、この経路の延長線上にＡがある。同様に、Ｃ_０とポイントＰ’_００とを結ぶ直線はＡを含む。したがって、以下の２本の線の交点からＡを推定することができる。
Ｘ＝Ｃ_１＋ｔ_１１（Ｃ_１−Ｐ’_１１） ・・・（２）
Ｘ＝Ｃ_０＋ｔ_００（Ｃ_０−Ｐ’_００） ・・・（３）
ここに、ｔ_１１とｔ_００とはパラメータである。 The curvature radius estimation means 63 estimates the center position A of the corneal curvature. FIG. 5 shows the center A of the corneal curvature, the point L ₁ that is the position of the light source 1, the point L ₀ that is the position of the light source 0, the point C ₁ that is the center position of the camera ₁ , and the point C that is the center position of the camera 0. It is a figure which shows the cross section of the cornea containing ₀ . Assume that the positions of C ₁ (= L ₁ ) and C ₀ (= L ₀ ) are obtained in advance by camera calibration. As shown in FIG. 5, the light beam from L ₁ reflected on the corneal surface is reflected on the corneal surface, returns to C ₁ , and then reaches a point P ′ ₁₁ . Since the corneal surface is considered a sphere, there is an A on the extension of this pathway. Similarly, the straight line connecting C ₀ and the point P ′ ₀₀ includes A. Therefore, A can be estimated from the intersection of the following two lines.
X = C ₁ + t ₁₁ (C ₁ −P ′ ₁₁ ) (2)
X = C ₀ + t ₀₀ (C ₀ −P ′ ₀₀ ) (3)
_Here, the _{t 11} and _{t 00,} which is a parameter.

Ｌ_１からの光線は、角膜表面のポイントＰ_０１で反射され、その反射光線がＣ_０を通り、ポイントＰ’_０１でカメラ０のイメージセンサと交差する。同様に、Ｌ_０からの光線は、角膜表面においてポイントＰ_１０で反射され、その反射光線がＣ_１を通り、ポイントＰ’_１０でカメラ１のイメージセンサと交差する。角膜の半径を推定するために、反射点Ｐ_０１（＝Ｐ_１０）、すなわち、以下の線の交点を推定する。
Ｘ＝Ｃ_１＋ｔ_１０（Ｃ_１−Ｐ’_１０） ・・・（４）
Ｘ＝Ｃ_０＋ｔ_０１（Ｃ_０−Ｐ’_０１） ・・・（５）
ここに、ｔ_１０とｔ_０１とはパラメータである。したがって、角膜曲率の半径Ｒは、Ｒ＝||Ｐ_０１−Ａ||として、決定される。 Rays from L ₁ is reflected at point P ₀₁ of the corneal surface, the reflected light passes through the C _0, intersects the image sensor of the camera 0 at point P _'01. Similarly, the light from L ₀ is reflected at point P _{10 on the} corneal surface, the reflected light passes through C ₁ and intersects the image sensor of camera 1 at point P ′ ₁₀ . In order to estimate the radius of the cornea, the reflection point P ₀₁ (= P ₁₀ ), that is, the intersection of the following lines is estimated.
X = C ₁ + t ₁₀ (C ₁ −P ′ ₁₀ ) (4)
X = C ₀ + t ₀₁ (C ₀ −P ′ ₀₁ ) (5)
_Here, the _{t 10} and _{t 01,} which is a parameter. Therefore, the radius R of the corneal curvature is determined as R = || P ₀₁ -A ||.

中心間距離推定手段６４は、角膜曲率と瞳孔の中心間の距離の推定を行うものである。図６はカメラｊと眼球の光軸とを含む面での屈折を示す図である。図６に示すように、瞳孔中心Ｂからの光は、ポイントＢ”_ｊで屈折し、カメラｊの中心点Ｃ_ｊを通り、ポイントＢ’_ｊでイメージセンサと交差する。Ｂ”_ｊは、以下に与えられた方程式を解くことにより決定できる。
Ｘ＝Ｃ_ｊ＋ｔ_ｊ（Ｃ_ｊ−Ｂ’_ｊ） ・・・（６）
Ｒ＝||Ｘ−Ａ|| ・・・（７）
これらの方程式には、２つの解がありうる。そこで、Ｃ_ｊにより近いものを選択する。 The center distance estimation means 64 estimates the distance between the corneal curvature and the center of the pupil. FIG. 6 is a diagram showing refraction on a plane including the camera j and the optical axis of the eyeball. As shown in FIG. 6, light from pupil center B is refracted at point B ″ _j , passes through center point C _j of camera j, and intersects the image sensor at point B ′ _j. B ″ _j Can be determined by solving the equations given in.
X = C _j + t _j (C _j −B ′ _j ) (6)
R = || X−A || (7)
These equations can have two solutions. Therefore, the one closer to C _j is selected.

以下のスネルの法則を用いて、ベクトルｔ_ｊ（図６において、Ｂ”_ｊで屈折してＢに向かうベクトルである。）の方程式が得られる。
ｔ_ｊ＝（−ρｎ_ｊ・ｖ_ｊ−√（１−ρ^２（１−（ｎ_ｊ・ｖ_ｊ）^２））ｎ_ｊ＋ρｖ_ｊ
・・・（８）
ここで、屈折のポイントにおける入射ベクトルｖ_ｊ＝（Ｃ_ｊ−Ｂ’_ｊ）／||Ｃ_ｊ−Ｂ’||、法線ベクトルｎ_ｊ＝（Ｂ”_ｊ−Ａ）／||Ｂ”_ｊ−Ａ||、そして、ρ＝ｎ１／ｎ２ （ｎ１は空気の屈折率≒１、ｎ２は実効屈折率≒１．３３７５）である。 Using the following Snell's law, an equation of a vector t _j (in FIG. 6, a vector refracted by B ″ _j and directed to B) is obtained.
t _j = (− ρn _j · v _j −√ (1−ρ ² (1− (n _j · v _j ) ² )) n _j + ρv _j
... (8)
Here, the incident vector v _j = (C _j −B ′ _j ) / || C _j −B ′ || and the normal vector n _j = (B ″ _j −A) / || B ″ _{j at} the point of refraction. −A ||, and ρ = n1 / n2 (where n1 is the refractive index of air≈1, and n2 is the effective refractive index≈1.3375).

瞳孔中心Ｂは２台のカメラからの２本の角膜内の光線
Ｘ＝Ｂ”_ｊ＋ｓ_ｊ・ｔ_ｊ （ｊ＝０，１） ・・・（９）
の交点として決定できる。ここに、ｓ_ｊはパラメータである。したがって、角膜曲率と瞳孔の各中心間の距離Ｋは、Ｋ＝||Ｂ−Ａ||として決定される。 Pupil center B is two rays in two corneas from two cameras X = B ″ _j + s _j · t _j (j = 0, 1) (9)
Can be determined as the intersection of Here, s _j is a parameter. Therefore, the distance K between the corneal curvature and the center of the pupil is determined as K = || B−A ||.

オフセット推定手段６５は、光軸と視軸との間のオフセットの推定を行うものである。光軸と視軸との間のオフセットは２つのパラメータによって表現される。たとえば、水平角と垂直角である。光軸と視軸との間のオフセットは、上記光軸決定手段６１で計算された光軸と、空間座標がわかっている１点をユーザが注視することにより求めた視軸との位置関係から計算されるが、たとえば、非特許文献５に記述された方法ではリスティングの法則に基づき計算できる。   The offset estimation unit 65 estimates an offset between the optical axis and the visual axis. The offset between the optical axis and the visual axis is expressed by two parameters. For example, a horizontal angle and a vertical angle. The offset between the optical axis and the visual axis is based on the positional relationship between the optical axis calculated by the optical axis determining means 61 and the visual axis obtained by gazing at one point whose spatial coordinates are known. For example, the method described in Non-Patent Document 5 can be calculated based on the law of listing.

視軸推定手段６６は、ユーザキャリブレーション後の眼球の視軸の推定を行うものである。ユーザキャリブレーション後に、ユーザは自由にその人の眼球を動かす。眼球の光軸については、上記光軸決定手段６１で計算できる。Ｒ，Ｋ、および眼球の光軸と視軸との間のオフセットは、ユーザキャリブレーションからわかっている。角膜曲率の中心の位置Ａ、および眼球の視軸に沿った単位方向ベクトルｃは、眼球の視軸の計算に必要である。   The visual axis estimation means 66 estimates the visual axis of the eyeball after user calibration. After the user calibration, the user freely moves his / her eyeball. The optical axis of the eyeball can be calculated by the optical axis determination means 61. R, K, and the offset between the optical axis of the eyeball and the visual axis are known from user calibration. The center position A of the corneal curvature and the unit direction vector c along the visual axis of the eyeball are necessary for the calculation of the visual axis of the eyeball.

曲率中心推定手段６７は、角膜曲率の中心の推定を行うものである。光源からの光が反射する眼球表面は非球面であるが、瞳孔が観察される角膜表面は球面に近似できるとする。Ａの位置を捜すためのアルゴリズムは以下の通りである。   The curvature center estimation means 67 estimates the center of the corneal curvature. It is assumed that the eyeball surface on which light from the light source is reflected is an aspherical surface, but the corneal surface on which the pupil is observed can approximate a spherical surface. The algorithm for finding the position of A is as follows.

１）光軸の上にＡの位置を設定する。２本の線、Ｘ＝Ｃ_ｊ＋ｔ_ｊ（Ｃ_ｊ−Ｂ’_ｊ） （ｊ＝０，１）の交点に最も近い位置を選択する。
２）方程式（６）、（７）および（８）を用いて、Ｂ”_ｊを計算する。Ｒはユーザキャリブレーションから既にわかっている。
３）方程式（９）を用いて、２本の線の交点から、瞳孔中心の位置Ｂを計算する。
４）ＢとＡとの間の距離を計算し、その計算した距離とユーザキャリブレーションの間に推定されたＫとを比較する。
５）眼球の光軸に沿って、眼球の回転中心の方に向かってＡの位置を移行させ、そして、Ａの正確な位置を決定するために１）〜４）を繰り返す。角膜の平均した半径が約７．８ｍｍであるので、１０ｍｍの長さの間でＡの位置を捜すことで十分である。この探索は、||Ｂ−Ａ||＝Ｋとなったときに終了する。 1) A position is set on the optical axis. The position closest to the intersection of the two lines, X = C _j + t _j (C _j −B ′ _j ) (j = 0, 1) is selected.
2) Calculate B ″ _j using equations (6), (7) and (8). R is already known from user calibration.
3) The position B of the pupil center is calculated from the intersection of the two lines using equation (9).
4) Calculate the distance between B and A, and compare the calculated distance with K estimated during user calibration.
5) Move the position of A along the optical axis of the eyeball toward the center of rotation of the eyeball, and repeat 1) to 4) to determine the exact position of A. Since the average radius of the cornea is about 7.8 mm, it is sufficient to find the position of A between 10 mm lengths. This search ends when || B−A || = K.

ＰＯＧ推定手段６８は、眼球の視軸とＰＯＧとの推定を行うものである。眼球の視軸の単位方向ベクトルｃは、たとえば、リスティングの法則に基づいて、眼球の光軸の単位方向ベクトルｄ、および眼球の光軸と視軸とのオフセットから決定される。これは、非特許文献５に記述された方法によって計算できる。これにより、眼球の視軸（Ｘ＝Ａ＋ｔｃ）とオブジェクトとの交点としてＰＯＧを与えることができる。ここで、リスティングの法則とは、第一眼位と呼ばれる眼球の位置があって、どのような眼球の位置でも第一眼位からのただ一つの回転で達することができ、どの向きへの回転軸も、ある平面（リスティング平面）内にあるというものである。   The POG estimation means 68 estimates the visual axis of the eyeball and POG. The unit direction vector c of the visual axis of the eyeball is determined from the unit direction vector d of the optical axis of the eyeball and the offset between the optical axis of the eyeball and the visual axis based on, for example, the law of listing. This can be calculated by the method described in Non-Patent Document 5. Thereby, POG can be given as the intersection of the visual axis (X = A + tc) of the eyeball and the object. Here, the law of listing is the position of the eyeball called the first eye position, and any eyeball position can be reached with a single rotation from the first eye position, and the rotation in any direction The axis is also in a certain plane (listing plane).

以下、本装置１の動作について説明する。図７および図８は本装置１の動作を示すフローチャートである。かかる動作を通じて本方法の各ステップやプログラムの各機能が具現化される。実験室における評価では、ディスプレイから眼球までの距離を約５００ｍｍとし、ディスプレイに表示されるマーカ２５点を注視して、データを記録した。   Hereinafter, the operation of the apparatus 1 will be described. 7 and 8 are flowcharts showing the operation of the apparatus 1. Through this operation, each step of the present method and each function of the program are realized. In the evaluation in the laboratory, the distance from the display to the eyeball was about 500 mm, and data was recorded by gazing at 25 markers displayed on the display.

本装置１では、図７（ａ）に示すように、光軸決定手段６１は、２台のカメラ２，２と、各カメラに取り付けられる光源７，７とを使用して、角膜の非球面回転体モデルに基づく眼球の光軸の決定を行う（ステップＳ１）。パラメータ推定手段６２は、ユーザに依存するパラメータの推定を行う（ステップＳ２）。ここでは、図７（ｂ）に示すように、曲率半径推定手段６３は、角膜曲率の半径の推定を行う（ステップＳ２１）。中心間距離推定手段６４は、角膜曲率と瞳孔との中心間距離の推定を行う（ステップＳ２２）。オフセット推定手段６５は、光軸と視軸との間のオフセットの推定を行う（ステップＳ２３）。そして、図７（ａ）に戻り、視軸推定手段６６は、ユーザキャリブレーション後の眼球の視軸の推定を行う（ステップＳ３）。ここでは、図８（ａ）に示すように、曲率中心推定手段６７は、角膜曲率の中心の推定を行う（ステップＳ３ａ）。   In this apparatus 1, as shown in FIG. 7 (a), the optical axis determining means 61 uses two cameras 2 and 2 and light sources 7 and 7 attached to the cameras, and the aspherical surface of the cornea. The optical axis of the eyeball is determined based on the rotating body model (step S1). The parameter estimation unit 62 estimates a parameter depending on the user (step S2). Here, as shown in FIG. 7B, the curvature radius estimation means 63 estimates the radius of the corneal curvature (step S21). The center distance estimation means 64 estimates the center distance between the corneal curvature and the pupil (step S22). The offset estimation unit 65 estimates an offset between the optical axis and the visual axis (step S23). Then, returning to FIG. 7A, the visual axis estimation means 66 estimates the visual axis of the eyeball after user calibration (step S3). Here, as shown in FIG. 8A, the curvature center estimation means 67 estimates the center of the corneal curvature (step S3a).

具体的には、図８（ｂ）に示すように、光軸にＡ位置を設定する（ステップＳ３１）。ポイントＢ”_ｊを計算する（ステップＳ３２）。瞳孔中心位置Ｂを計算する（ステップＳ３３）。ＡとＢの距離を計算する（ステップＳ３４）。ＡとＢの距離がＫとなるまで、上記ステップＳ３１〜Ｓ３４を繰り返し、Ａ位置を徐々に移行していく。そして、ＡとＢの距離がＫとなると、図８（ａ）のステップＳ３ａの直後にリターンする。ＰＯＧ推定手段６８は、眼球の視軸とＰＯＧとの推定を行い（ステップＳ３ｂ）、図７（ａ）のステップ３の直後に戻って、すべてのプロセスを終了する。 Specifically, as shown in FIG. 8B, the A position is set on the optical axis (step S31). The point B ″ _j is calculated (step S32). The pupil center position B is calculated (step S33). The distance between A and B is calculated (step S34). The above steps until the distance between A and B becomes K. Steps S31 to S34 are repeated to gradually shift the position A. Then, when the distance between A and B becomes K, the process returns immediately after step S3a in Fig. 8A. The visual axis and POG are estimated (step S3b), and the process returns immediately after step 3 in FIG. 7A to complete all processes.

本装置１の動作で具現化された本方法の有効性を確認するために、非特許文献２のチェンらの方法と比較した。この方法では、角膜の球面モデルに基づき視軸が決定された。図９は、その評価結果を示す図である。図中の×字形は本方法、三角形はチェンの方法でそれぞれ推定されたＰＯＧを示した。本方法によって推定されたＰＯＧは、図９に示すように、ディスプレイの左上と右上とでＰＯＧを決定する場合において、チェンの方法で推定されたＰＯＧより正確なものであった。ＲとＫとは、それぞれ８．０４ｍｍと４．４３ｍｍと推定された。なお、左上を注視した時の様子を図３(ｂ)に示す。眼球が大きく傾くと、プルキニエ像が虹彩と強膜との境に達し、球面モデルでは実際の眼球形状から乖離し、計算に大きなずれが生じるため、誤差が大きくなっている。   In order to confirm the effectiveness of the method embodied by the operation of the apparatus 1, the method was compared with the method of Chen et al. In this method, the visual axis was determined based on a spherical model of the cornea. FIG. 9 is a diagram showing the evaluation results. In the figure, the X shape represents the POG estimated by this method, and the triangle represents the POG estimated by the Chen method. As shown in FIG. 9, the POG estimated by the present method was more accurate than the POG estimated by the Chen method when the POG was determined at the upper left and upper right of the display. R and K were estimated to be 8.04 mm and 4.43 mm, respectively. Note that FIG. 3B shows a state when the upper left is observed. When the eyeball is tilted greatly, the Purkinje image reaches the boundary between the iris and the sclera, and the spherical model deviates from the actual eyeball shape, resulting in a large deviation in the calculation, resulting in a large error.

以上説明したように、本発明は、注視点（ＰＯＧ）を追跡するために眼球の新しい物理的なモデルを提案するものである。このモデルは眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルである。かかるモデルに基づいてＰＯＧを推定するための数式を決定するとともに、本発明に基づいて開発された装置などを評価することによって、コンピュータのディスプレイの全範囲についてＰＯＧを正確に推定できることがわかった。   As described above, the present invention proposes a new physical model of the eyeball for tracking a point of interest (POG). This model is an aspherical rotator model composed of a rotating surface formed by rotating a free curve around the optical axis of the eyeball. It has been found that the POG can be accurately estimated for the entire range of the computer display by determining a mathematical formula for estimating the POG based on such a model and evaluating the device developed based on the present invention.

なお、上記実施形態における装置１は、実験室での評価に用いたプロトタイプ（原型）として位置付けられるものである。したがって、実機においては、ハードウエア及びソフトウエアの両方において、さらなる改良が加えられる。   In addition, the apparatus 1 in the said embodiment is positioned as a prototype (prototype) used for evaluation in a laboratory. Therefore, in the actual machine, further improvements are added in both hardware and software.

１ 視線計測装置（本装置という。）
２ カメラ（撮像手段に相当する。）
３ ディスプレイ（注視対象に相当する。）
４ キーボード
５ マウス
６ コンピュータ（視線計測手段に相当する。）
６１ 光軸決定手段
６２ パラメータ推定手段
６３ 曲率半径推定手段
６４ 中心間距離推定手段
６５ オフセット推定手段
６６ 視軸推定手段
６７ 曲率中心推定手段
６８ ＰＯＧ（注視点）推定手段
７ 赤外線ＬＥＤ（光源） 1 eye gaze measuring device (referred to as this device)
2 Camera (corresponds to imaging means)
3 Display (corresponds to the gaze target)
4 Keyboard 5 Mouse 6 Computer (corresponds to eye gaze measuring means)
61 Optical axis determination means 62 Parameter estimation means 63 Curvature radius estimation means 64 Center distance estimation means 65 Offset estimation means 66 Visual axis estimation means 67 Curvature center estimation means 68 POG (gaze point) estimation means 7 Infrared LED (light source)

特開２００９−２９７３２３号公報JP 2009-297323 A

ＳＨＩＨ，Ｓ．Ｗ．，ＡＮＤ ＬＩＵ，Ｊ．２００４．Ａ Ｎｏｖｅｌ Ａｐｐｒｏａｃｈ ｔｏ ３−Ｄ Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｓｔｅｒｅｏ Ｃａｍｅｒａｓ．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅｍｓ，Ｍａｎ ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，Ｐａｒｔ Ｂ３４，１，２３４−２３５．SHIH, S.M. W. , AND LIU, J. et al. 2004. A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras. IEEE Transactions on Systems, Man and Cybernetics, Part B34, 1,234-235. ＣＨＥＮ，Ｊ．，ＴＯＮＧ，Ｙ．，ＧＲＡＹ，Ｗ．，ＡＮＤ ＪＩ，Ｑ．２００８．Ａ Ｒｏｂｕｓｔ ３Ｄ Ｅｙｅ Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｕｓｉｎｇ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００８ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｒｅｓｅａｒｃｈ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ，１８９−１９６．CHEN, J. et al. , TONG, Y. , GRAY, W .; , AND JI, Q. 2008. A Robust 3D Eye Gaze Tracking System using Noise Reduction. In Proceedings of the 2008 Symposium on Eye Tracking Research & Applications, 189-196. ＧＵＥＳＴＲＩＮ，Ｅ．Ｄ．，ＡＮＤ ＥＩＺＥＮＭＡＮ，Ｍ．２００７．Ｒｅｍｏｔｅ Ｐｏｉｎｔ−ｏｆ−Ｇａｚｅ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｆｒｅｅ Ｈｅａｄ Ｍｏｖｅｍｅｎｔｓ Ｒｅｑｕｉｒｉｎｇ ａ Ｓｉｎｇｌｅ−Ｐｏｉｎｔ Ｃａｌｉｂｒａｔｉｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２９ｔｈ Ａｎｎｕａｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩＥＥＥ ＥＭＢＳ，４５５６−４５６０．GUESTRIN, E.G. D. , AND EIZENMAN, M. 2007. Remote Point-of-Gage Estimate with Free Head Movements Requiring a Single-Point Calibration. In Proceedings of the 29th Annual International Conference of the IEEE EMBS, 4556-4560. ＮＡＧＡＭＡＴＳＵ，Ｔ．，ＫＡＭＡＨＡＲＡ，Ｊ．，ＩＫＯ，Ｔ．，ＴＡＮＡＫＡ，Ｎ．２００８．Ｏｎｅ−ｐｏｉｎｔ Ｃａｌｉｂｒａｔｉｏｎ Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｂａｓｅｄ ｏｎ Ｅｙｅｂａｌｌ Ｋｉｎｅｍａｔｉｃｓ Ｕｓｉｎｇ Ｓｔｅｒｅｏ Ｃａｍｅｒａｓ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００８ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｒｅｓｅａｒｃｈ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ，９５−９８．NAGAMATSU, T.A. , KAMAHARA, J. et al. , IKO, T .; TANAKA, N .; 2008. One-point Calibration Gaze Tracking Based on Eyeball Kinetics USing Stereo Cameras. In Proceedings of the 2008 Symposium on Eye Tracking Research & Applications, 95-98. ＮＡＧＡＭＡＴＳＵ，Ｔ．，ＫＡＭＡＨＡＲＡ，Ｊ．，ＴＡＮＡＫＡ，Ｎ．２００８．３Ｄ Ｇａｚｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｅａｓｙ Ｃａｌｉｂｒａｔｉｏｎ Ｕｓｉｎｇ Ｓｔｅｒｅｏ Ｃａｍｅｒａｓ ｆｏｒ Ｒｏｂｏｔ ａｎｄ Ｈｕｍａｎ Ｃｏｍｍｕｎｉｃａｔｏｎ．Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＲＯ−ＭＡＮ ２００８，５９−６４．NAGAMATSU, T.A. , KAMAHARA, J. et al. TANAKA, N .; 2008. 3D Gaze Tracking with Easy Calibration Using Stereo Cameras for Robot and Human Communicon. In Proceedings of IEEE RO-MAN 2008, 59-64.

Claims (12)

光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する撮像手段と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する視線計測手段とを備えた装置であって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測装置。 An imaging unit that captures, with a camera, reflected light of light emitted from a light source toward the user's eyeball, and a line-of-sight measuring unit that measures the line of sight of the user's gaze target by applying this imaging data to an eyeball model; A device comprising:
The eyeball model is an aspherical surface rotator model comprising a rotating surface configured by rotating a free curve around the optical axis of the eyeball. 前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する光軸決定手段と、
空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定するパラメータ推定手段と、
前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する視軸推定手段とを備えたことを特徴とする請求項１記載の視線計測装置。 An optical axis determining means for determining an optical axis of the eyeball based on the aspherical rotating body model of the eyeball;
Parameter estimation means for estimating a parameter depending on the user based on the imaging data when the user gazes at one point whose spatial coordinates are known;
Based on the determined optical axis and the estimated parameter, the visual axis of the eyeball is estimated, and based on the estimated visual axis of the eyeball and the three-dimensional model of the gaze target, spatial coordinates of the gazing point The visual axis measuring device according to claim 1, further comprising: a visual axis estimating means for estimating the visual axis. 前記光源は２個、前記カメラは２台で構成できることを特徴とする請求項１又は２記載の視線計測装置。   The line-of-sight measurement apparatus according to claim 1, wherein two light sources and two cameras are configured. 光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置することを特徴とする請求項３記載の視線計測装置。   4. The line-of-sight measurement device according to claim 3, wherein the light source and the camera are arranged so that a center of the light source coincides with a center point of the camera or so that the light source is near the center of the camera. . 光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像し、これらの撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する方法であって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測方法。 A method of measuring the line of sight of the user's gaze target by imaging reflected light of light emitted from a light source toward the user's eyeball with a camera and applying these imaging data to an eyeball model,
The eyeball model is a gaze measurement method, characterized in that the eyeball model is an aspherical rotator model composed of a rotation surface formed by rotating a free curve around the optical axis of the eyeball. 光軸決定手段は、前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定し、
パラメータ推定手段は、空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定し、
視軸推定手段は、前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定することを特徴とする請求項５記載の視線計測方法。 The optical axis determination means determines the optical axis of the eyeball based on the aspherical rotating body model of the eyeball,
The parameter estimation means estimates a parameter depending on the user based on the imaging data when the user gazes at one point whose spatial coordinates are known,
The visual axis estimating means estimates the visual axis of the eyeball based on the determined optical axis and the estimated parameter, and based on the estimated visual axis of the eyeball and the three-dimensional model of the gaze target. The gaze measurement method according to claim 5, wherein spatial coordinates of the gazing point are estimated. 前記光源は２個、前記カメラは２台で構成できる条件下であることを特徴とする請求項５又は６記載の視線計測方法。   The line-of-sight measurement method according to claim 5, wherein the number of the light sources is two and the number of the cameras is two. 光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることを特徴とする請求項７記載の視線計測方法。   8. The condition under which the light source and the camera are arranged so that the center of the light source coincides with the center point of the camera or so that the light source is near the center of the camera. Gaze measurement method. 光源からユーザの眼球に向けて照射された光の反射光をカメラで撮像する機能と、この撮像データを眼球モデルに適用することにより、前記ユーザの注視対象に対する視線を計測する機能とをコンピュータに実現させる視線計測プログラムであって、
前記眼球モデルは、眼球の光軸を中心として自由曲線を回転することによって構成される回転面からなる非球面回転体モデルであることを特徴とする視線計測プログラム。 A computer has a function of capturing reflected light of light emitted from a light source toward the user's eyeball with a camera, and a function of measuring the line of sight of the user's gaze target by applying this imaging data to an eyeball model. A gaze measurement program to be realized,
The eyeball model is a gaze measurement program characterized in that it is an aspherical rotator model composed of a rotation surface formed by rotating a free curve around the optical axis of the eyeball. 前記眼球の非球面回転体モデルに基づいて、前記眼球の光軸を決定する機能と、
空間座標がわかっている１点をユーザが注視したときの、前記撮像データに基づいて、当該ユーザに依存するパラメータを推定する機能と、
前記決定した光軸と、前記推定したパラメータとに基づいて、眼球の視軸を推定するとともに、前記推定した眼球の視軸と、注視対象の３次元モデルとに基づいて、注視点の空間座標を推定する機能とをコンピュータにさらに実現させることを特徴とする請求項９記載の視線計測プログラム。 A function of determining the optical axis of the eyeball based on the aspheric rotating body model of the eyeball;
A function for estimating a parameter depending on the user based on the imaging data when the user gazes at one point whose spatial coordinates are known;
Based on the determined optical axis and the estimated parameter, the visual axis of the eyeball is estimated, and based on the estimated visual axis of the eyeball and the three-dimensional model of the gaze target, spatial coordinates of the gazing point The line-of-sight measurement program according to claim 9, further causing a computer to realize a function of estimating the eye movement. 前記光源は２個、前記カメラは２台で構成できる条件下であることを特徴とする請求項９又は１０記載の視線計測プログラム。   The line-of-sight measurement program according to claim 9 or 10, wherein the number of the light sources is two and the number of the cameras is two. 光源の中心をカメラの中心点に一致させるように、あるいは前記光源が前記カメラの中心近傍になるように、前記光源と前記カメラとを配置する条件下であることを特徴とする請求項１１記載の視線計測プログラム。   12. The condition under which the light source and the camera are arranged so that the center of the light source coincides with the center point of the camera or so that the light source is near the center of the camera. Gaze measurement program.

Images