JP2013190942A - Visual axis error correcting device, program thereof, and method thereof - Google Patents
Visual axis error correcting device, program thereof, and method thereof Download PDFInfo
- Publication number
- JP2013190942A JP2013190942A JP2012056073A JP2012056073A JP2013190942A JP 2013190942 A JP2013190942 A JP 2013190942A JP 2012056073 A JP2012056073 A JP 2012056073A JP 2012056073 A JP2012056073 A JP 2012056073A JP 2013190942 A JP2013190942 A JP 2013190942A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- marker
- eyeball model
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、球面眼球モデルによる瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正装置、そのプログラム及びその方法に関する。 The present invention relates to a line-of-sight error correction apparatus that corrects a line-of-sight error measured by a pupil-corneal reflection method using a spherical eyeball model, a program thereof, and a method thereof.
例えば、表示画面に表示される対象物の中から目をひくものを調べたいときに、視線の測定が行われている。また、ＰＣ（パーソナルコンピュータ）では、マウスに代わるポインティングデバイスとして、視線の測定が行われる。このとき、ユーザの頭部を拘束しない自然な状態で正確に視線を測定するため、瞳孔−角膜反射法が広く利用されている（非特許文献１）。 For example, when it is desired to examine an eye-catching object among objects displayed on the display screen, the line of sight is measured. Further, in a PC (personal computer), the line of sight is measured as a pointing device instead of a mouse. At this time, in order to accurately measure the line of sight in a natural state where the user's head is not restrained, the pupil-corneal reflection method is widely used (Non-Patent Document 1).
以下、図１６を参照して、非特許文献１に記載の視線測定装置１０の構成について説明する。
図１６に示すように、視線測定装置１０は、瞳孔−角膜反射法で視線を測定するものであり、瞳孔・プルキニエ像検出手段１１と、視線ベクトル・基準点算出手段１２と、個人キャリブレーション手段１３と、視線座標変換・出力手段１４とを備える。
この視線測定装置１０は、視線を測定するために、後記する赤外線光源９０と、撮影カメラ９１と、表示手段９２とが必要になる。
Hereinafter, the configuration of the line-of-sight measurement device 10 described in Non-Patent
As shown in FIG. 16, the line-of-sight measurement apparatus 10 measures the line of sight by the pupil-corneal reflection method, and includes a pupil / Purkinje
The line-of-sight measurement apparatus 10 requires an
赤外線光源９０は、例えば、ユーザの眼球９００（図１７）に赤外線を照射する赤外線ＬＥＤ（Light Emitting Diode）である。
撮影カメラ９１は、例えば、赤外線光源９０が赤外線を照射した状態で、ユーザの眼球９００を撮影する赤外線ＣＣＤ（Charge Coupled Device）である。
ここで、撮影カメラ９１は、Ｔｓａｉのカメラキャリブレーション（非特許文献２）によって、内部パラメータ（例えば、焦点距離、レンズ歪み、画像の光軸中心位置、ＣＣＤ画素の縦横比）と、外部パラメータ(例えば、位置、回転角)を予め求めておく。
表示手段９２は、例えば、視線測定装置１０が測定した視線の位置を表示画面に表示するディスプレイである。
The
The photographing
Here, the
The
瞳孔・プルキニエ像検出手段１１は、図１７（ａ）に示すように、撮影カメラ９１で眼球９００を撮影した眼球画像９３から、プルキニエ像（角膜反射像）ｕ及び瞳孔９０２を検出するものである。
例えば、瞳孔９０２は、虹彩９０３に比べ、眼球画像９３で暗い像として映る。従って、瞳孔・プルキニエ像検出手段１１は、眼球画像９３を類似輝度の領域別にセグメント化し、セグメント化された各領域の中から瞳孔領域を検出する。そして、瞳孔・プルキニエ像検出手段１１は、図１７（ｂ）に示すように、検出した瞳孔領域に対して、瞳孔輪郭を誤差二乗和による楕円近似を行い、領域中心を瞳孔中心ｅとして求める。さらに、瞳孔・プルキニエ像検出手段１１は、瞳孔中心ｅから一定距離内でプルキニエ像の位置ｕを検出する。このとき、プルキニエ像は、面積を持たない点として検出されることが多い。
なお、図１７（ａ）では、説明を簡易にするため、ユーザの眼球９００のみを図示した。
また、図１７（ｂ）では、眼球画像９３のうち瞳孔９０２の部分のみを図示した。
The pupil / Purkinje image detecting means 11 detects a Purkinje image (corneal reflection image) u and a
For example, the
In FIG. 17A, only the user's
In FIG. 17B, only the
視線ベクトル・基準点算出手段１２は、瞳孔・プルキニエ像検出手段１１が検出したプルキニエ像の位置ｕ及び瞳孔中心ｅを用いて、図１８に示すように、視線（視線ベクトルｖ）を算出するものである。
つまり、視線ベクトル・基準点算出手段１２は、３次元空間上における眼球位置を測定し、この眼球位置に基づいて、基準点（角膜曲率中心ｃ）と、視線を示すベクトルである視線ベクトルｖ＝ｅ−ｃとを算出する。
The line-of-sight vector / reference point calculation means 12 calculates the line of sight (line-of-sight vector v) as shown in FIG. 18 using the position u of the Purkinje image detected by the pupil / Purkinje image detection means 11 and the pupil center e. It is.
That is, the line-of-sight vector / reference point calculation means 12 measures the eyeball position in the three-dimensional space, and based on the eyeball position, the line-of-sight vector v == the vector indicating the line of sight and the reference point (corneal curvature center c). ec is calculated.
ここで、図１８には、角膜曲率中心ｃと、角膜曲率中心ｃから実際の瞳孔輪郭へのベクトルｄと、瞳孔輪郭像ｐにおいて角膜表面に接する平面の法線ベクトルの単位ベクトルｎと、角膜表面における瞳孔輪郭像ｐと、瞳孔輪郭像の位置ベクトルｐ０と、観察された瞳孔輪郭ｑと、補正された瞳孔輪郭ｑ’とを図示した。
なお、図１８では、図面を見やすくするため、瞳孔輪郭像の位置ベクトルｐ０を点として図示した。
また、図１８では、瞳孔輪郭ｑ，ｑ’は、正面視した際に円状となる瞳孔輪郭の断面を示すため、線状になっている。
Here, in FIG. 18, the corneal curvature center c, the vector d from the corneal curvature center c to the actual pupil contour, the unit vector n of the normal vector of the plane in contact with the corneal surface in the pupil contour image p, and the cornea The pupil contour image p on the surface, the position vector p 0 of the pupil contour image, the observed pupil contour q, and the corrected pupil contour q ′ are illustrated.
In FIG. 18, the position vector p 0 of the pupil contour image is shown as a point for easy viewing of the drawing.
In FIG. 18, the pupil contours q and q ′ are linear in order to show a cross section of the pupil contour that is circular when viewed from the front.
また、図１８には、撮影カメラ９１から瞳孔輪郭像の位置ベクトルｐ０までの方向ベクトルの単位ベクトルｒを図示した。ここで、上側の単位ベクトルｒは、瞳孔輪郭像の位置ベクトルｐ０から単位ベクトルｒを求めることを説明するために図示した。また、下側の単位ベクトルｒは、上側の単位ベクトルｒをプルキニエ像の位置ｕを指すように移動させて図示した。
FIG. 18 shows a unit vector r of the direction vector from the photographing
また、図１８には、瞳孔輪郭像ｐにおいて屈折後の撮影カメラ９１からの光線の単位ベクトルｔと、角膜曲率半径Ｃと、角膜曲率中心ｃから瞳孔輪郭までの距離Ｄと、瞳孔輪郭像の位置ベクトルｐ０からプルキニエ像の位置ｕまでの距離Ｍと、瞳孔の半径Ｒとを図示した。これら各項目は、必要に応じて説明を後記する。
FIG. 18 shows a unit vector t of light rays from the
ここで、瞳孔−角膜反射法では、瞳孔中心ｅと、プルキニエ像の位置ｕの位置関係から視線を推定する。このとき、赤外線光源９０と撮影カメラ９１との位置関係は、事前に測定されているため、既知である。従って、眼球９００の位置は、カメラキャリブレーションにより導くことができる。
Here, in the pupil-corneal reflection method, the line of sight is estimated from the positional relationship between the pupil center e and the position u of the Purkinje image. At this time, the positional relationship between the
つまり、カメラ座標系において、プルキニエ像の位置ｕ及び瞳孔中心ｅの２次元座標（ｘ，ｙ）を求めることができる。また、奥行座標ｚは、撮影カメラ９１の焦点距離やステレオ画像の視差により、高い精度で求めることができる。従って、図１８に示すように、世界座標系において、角膜曲率中心ｃ及び瞳孔中心eの位置ベクトルを求めることができる。
That is, the two-dimensional coordinates (x, y) of the position u of the Purkinje image and the pupil center e can be obtained in the camera coordinate system. Further, the depth coordinate z can be obtained with high accuracy from the focal length of the photographing
個人キャリブレーション手段１３は、図１９に示すように、視線ベクトル・基準点算出手段１２が算出した視線ベクトルｖに、個人キャリブレーションによる補正を施すものである。
図１９の距離Ｌ及び角膜曲率半径Ｃは、個人差のある定数である。そこで、個人キャリブレーション手段１３は、角膜曲率中心ｃから瞳孔中心ｅまでの距離Ｌと、角膜曲率半径Ｃとを求める個人キャリブレーションを行う。
なお、図１９では、角膜曲率中心ｃを中心として、角膜曲率半径Ｃを有する円を破線で図示した。
As shown in FIG. 19, the
The distance L and the corneal curvature radius C in FIG. 19 are constants with individual differences. Therefore, the personal calibration means 13 performs personal calibration to obtain the distance L from the corneal curvature center c to the pupil center e and the corneal curvature radius C.
In FIG. 19, a circle having a corneal curvature radius C with the corneal curvature center c as a center is illustrated by a broken line.
ここで、個人キャリブレーションでは、図２０に示すように、ヒトの眼球９００の形状を想定した球面眼球モデル９１０を用いる。この図２０では、図面を見やすくするため、角膜９０１の一部について、角膜９０１の表面を、角膜曲率中心ｃを基準とする極座標系において等角度で分割した球面眼球モデル９１０を図示した。つまり、球面眼球モデル９１０は、角膜９０１の形状を球面状としている。
Here, in the personal calibration, as shown in FIG. 20, a
そして、個人キャリブレーションでは、球面眼球モデル９１０を用いて、距離Ｌ及び角膜曲率半径Ｃを求める。具体的には、個人キャリブレーションでは、表示画面上で基準となるマーカに視線を向けた際の測定データを、２次以上の曲面で表した眼球モデルに対して最小二乗法を適用して近似する。ここで、非特許文献１には、３次以上の近似を行っても誤差が増大すると記載されている。従って、個人キャリブレーションでは、２次の曲面、つまり、球面を組み合わせて、眼球及び角膜からなる球面眼球モデルを作成し、視線ベクトルｖの補正に用いる。
In the personal calibration, the distance L and the corneal curvature radius C are obtained using the
視線座標変換・出力手段１４は、個人キャリブレーション手段１３で補正した視線ベクトルｖを任意の座標系に座標変換して出力するものである。
ここで、瞳孔−角膜反射法では、図２１に示すように、世界座標系（ｘ’，ｙ’，ｚ’）と、カメラ座標系（ｘ，ｙ，ｚ）と、画像座標系（ｘ０，ｙ０）とを用いている。
この世界座標系は、表示手段９２に対して固定された３次元座標系であり、例えば、表示手段９２の表示画面下部を原点とする。
また、カメラ座標系は、例えば、撮影カメラ９１の光学主点を原点とする３次元座標系である。
また、画像座標系は、表示手段９２の表示画面（つまり、眼球画像９３）を指す２次元座標系であり、例えば、世界座標系の奥行位置をゼロとした座標系である。
なお、図２１では、表示手段９２において、眼球９００からの視線ベクトルｖの延長線と表示手段９２の表示画面との交点を点９２ａとして図示した。
The line-of-sight coordinate conversion /
Here, in the pupil-cornea reflection method, as shown in FIG. 21, the world coordinate system (x ′, y ′, z ′), the camera coordinate system (x, y, z), and the image coordinate system (x 0). , Y 0 ).
This world coordinate system is a three-dimensional coordinate system fixed with respect to the display means 92. For example, the lower part of the display screen of the display means 92 is the origin.
The camera coordinate system is, for example, a three-dimensional coordinate system having the optical principal point of the photographing
The image coordinate system is a two-dimensional coordinate system that points to the display screen (that is, the eyeball image 93) of the
In FIG. 21, in the
そして、画像座標系における位置ベクトルｐ０、世界座標系における位置ベクトルｐ’、および、カメラ座標系における位置ベクトルｐは、Ｔｓａｉのカメラキャリブレーションで得られる変換行列Ｒｗ，Ｒｃを用いて、以下の（１）式のように座標変換できる（非特許文献３）。
つまり、視線座標変換・出力手段１４は、この（１）式によって、世界座標系と、カメラ座標系と、画像座標系との間で、自在に座標変換を行うことができる。なお、（１）式では、Ｔが転置行列である。
Then, the position vector p 0 in the image coordinate system, the position vector p ′ in the world coordinate system, and the position vector p in the camera coordinate system are converted into the following using transformation matrices Rw and Rc obtained by camera calibration of Tsai: Coordinate conversion can be performed as in equation (1) (Non-Patent Document 3).
That is, the line-of-sight coordinate conversion /
しかし、非特許文献１に記載の技術では、測定された視線の誤差が大きいという問題がある。
例えば、測定した視線を用いて、ＰＣ上でポインティング操作を行う場合を考える。この場合、視線に１度でも誤差があると、ユーザが表示画面上のアイコンを指定する際、違和感を覚えることになる。つまり、視線によるポインティングでは、少しでも誤差があると、視線の中心でポインタを捉えることが原理的に不可能であり、この誤差の修正が困難である。
また、テレビやＰＣの表示画面は、臨場感及び操作性の高さを追及するため、広視野化が進んでいる。広視野な表示画面において視線測定を行う場合、その周辺部でも誤差を小さく抑える必要がある。
However, the technique described in
For example, consider a case where a pointing operation is performed on a PC using a measured line of sight. In this case, if there is even an error in the line of sight, the user will feel uncomfortable when specifying an icon on the display screen. In other words, in the pointing by the line of sight, if there is even a slight error, it is impossible in principle to capture the pointer at the center of the line of sight, and it is difficult to correct this error.
In addition, display screens of televisions and PCs have been widened in view of realism and high operability. When line-of-sight measurement is performed on a display screen with a wide field of view, it is necessary to reduce the error even in the periphery.
そこで、視線の誤差を小さくするため、従来の瞳孔−角膜反射法は、個人キャリブレーションを何度も行うことが多い。従って、個人キャリブレーションの作業にかかる手間が、視線測定を行う際に大きな負担となる。さらに、一旦、個人キャリブレーションを終了した後、どのくらい正確に視線を測定できているかの判断が極めて困難である。言い換えるなら、測定した視線を後で分析する際、測定前の個人キャリブレーションの結果を、唯一無比な正解データとして信用せざるを得ない。このため、個人キャリブレーション作業は、丁寧に行わねばならず、視線測定の作業負担が大きくなる原因となっている。 Therefore, in order to reduce the line-of-sight error, the conventional pupil-corneal reflection method often performs personal calibration many times. Therefore, the labor required for the personal calibration work becomes a heavy burden when performing the line-of-sight measurement. Furthermore, it is very difficult to determine how accurately the line of sight can be measured once personal calibration is completed. In other words, when the measured line of sight is analyzed later, the result of personal calibration before measurement must be trusted as unique and correct data. For this reason, the personal calibration work has to be performed carefully, which causes a large work load for eye gaze measurement.
ここで、個人キャリブレーションが一度で済まない原因は、角膜を球面とした球面眼球モデルを用いるため、表示画面の中心部及び周辺部の両方で視線の誤差をゼロにできないことと考えられる。図２２（ａ）に示すように、眼球画像９３は、例えば、角膜９０１と、瞳孔９０２と、虹彩９０３とが撮影される。また、図２２（ｂ）に示すように、眼球９００は、角膜９０１と、瞳孔９０２と、虹彩９０３と、強膜９０４と、房水９０５と、水晶体９０６と、網膜９０７と、中心窩９０８とで構成される。そして、この角膜９０１は、その曲率が一様ではなく、周辺になるほど曲率半径が大きくなる人が多い。さらに、角膜９０１は、同じ個人でも曲率変化が一様ではない。このため、個人キャリブレーションが一度で済むような、万人に最適化された眼球モデルは、その生成が極めて困難である。
Here, it is considered that the reason why the personal calibration is not completed once is that the gaze error cannot be made zero at both the central portion and the peripheral portion of the display screen because the spherical eyeball model having the cornea as a spherical surface is used. As shown in FIG. 22A, for example, a
そこで、本発明は、作業負担が少なく、視線の誤差を小さく抑える視線誤差補正装置、そのプログラム及びその方法を提供することを課題とする。 Therefore, an object of the present invention is to provide a gaze error correction apparatus, a program for the gaze error correction apparatus, and a method for reducing the gaze error with a small work load.
本発明者は、前記した個人キャリブレーションにおいて、球面眼球モデルの球面性と、角膜形状の非球面性との相違に起因した誤差が生じ、かつ、この誤差が座標変換を経ても残ることに着目し、座標変換後に視線の誤差を補正するための非球面眼球モデルを生成すれば、前記した課題を解決できることを見出し、本発明を完成させた。 The present inventor noted that in the above-described personal calibration, an error due to the difference between the sphericality of the spherical eyeball model and the asphericity of the corneal shape occurs, and this error remains even after coordinate conversion. The present inventors have found that the above-described problems can be solved by generating an aspheric eyeball model for correcting a line-of-sight error after coordinate conversion.
すなわち、本願第１発明に係る視線誤差補正装置は、球面眼球モデルによる瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正装置であって、表示制御手段と、誤差情報入力手段と、歪ベクトル算出手段と、非球面眼球モデル生成手段と、視線誤差補正手段と、を備えることを特徴とする。 That is, the line-of-sight error correction apparatus according to the first invention of the present application is a line-of-sight error correction apparatus that corrects a line-of-sight error measured by a pupil-corneal reflection method using a spherical eyeball model, including a display control unit and an error information input unit. And a distortion vector calculation means, an aspheric eyeball model generation means, and a line-of-sight error correction means.
かかる構成によれば、視線誤差補正装置は、表示制御手段によって、所定位置にマーカが配置されたマーカ画像と、前記瞳孔−角膜反射法で測定された前記マーカに対するマーカ視線の位置とを表示手段に表示させる。ここで、マーカ視線は、画像座標系において、ユーザがマーカを注視したときの視線が瞳孔−角膜反射法で測定されたものである。 According to this configuration, the line-of-sight error correction device displays, by the display control unit, a marker image in which a marker is arranged at a predetermined position and a position of the marker line of sight with respect to the marker measured by the pupil-corneal reflection method. To display. Here, the marker line of sight is obtained by measuring the line of sight when the user gazes at the marker in the image coordinate system by the pupil-corneal reflection method.
また、視線誤差補正装置は、誤差情報入力手段によって、表示手段に表示されたマーカとマーカ視線との位置ずれを示す誤差情報が入力される。この誤差情報入力手段に入力された誤差情報は、ユーザがマーカを注視したとき、瞳孔−角膜反射法で測定した視線と、実際の視線との位置ずれを示している。 Also, in the line-of-sight error correction device, error information indicating the positional deviation between the marker displayed on the display unit and the marker line of sight is input by the error information input unit. The error information input to the error information input means indicates a positional deviation between the line of sight measured by the pupil-cornea reflection method and the actual line of sight when the user gazes at the marker.
また、視線誤差補正装置は、歪ベクトル算出手段によって、誤差情報入力手段に入力された誤差情報に基づいて、マーカ画像と同一サイズでマーカ視線の位置を示した平面画像から、マーカ視線の位置を前記マーカに一致させるように歪ませた歪み平面を生成し、画像座標系で歪み平面の歪みを示す歪ベクトルを算出する。この歪ベクトル算出手段で算出された歪ベクトルは、平面画像と歪み平面との対応点の位置ずれ量及び位置ずれ方向を示している。 Further, the line-of-sight error correction device calculates the position of the marker line of sight from the planar image showing the position of the marker line of sight with the same size as the marker image based on the error information input to the error information input unit by the distortion vector calculation unit. A distortion plane distorted so as to coincide with the marker is generated, and a distortion vector indicating the distortion of the distortion plane is calculated in the image coordinate system. The distortion vector calculated by the distortion vector calculating means indicates the amount of displacement and the direction of displacement of the corresponding point between the planar image and the distortion plane.
また、視線誤差補正装置は、非球面眼球モデル生成手段によって、歪ベクトルに基づいて、球面な球面眼球モデルに起因する視線の誤差を補正するために、非球面な角膜形状を示す非球面眼球モデルを生成する。そして、視線誤差補正装置は、視線誤差補正手段によって、非球面眼球モデル生成手段で生成された非球面眼球モデルに基づく回転により、瞳孔−角膜反射法で測定された視線の誤差を補正する。このように、視線誤差補正装置は、座標変換後に生成された非球面眼球モデルを用いて、視線の誤差を補正する。 In addition, the gaze error correction device uses the aspheric eyeball model generation means to correct the gaze error caused by the spherical spherical eyeball model based on the distortion vector, so that the aspheric eyeball model showing an aspheric corneal shape is provided. Is generated. Then, the line-of-sight error correction device corrects the line-of-sight error measured by the pupil-corneal reflection method by the rotation based on the aspheric eyeball model generated by the aspheric eyeball model generation unit. Thus, the line-of-sight error correction apparatus corrects the line-of-sight error using the aspheric eyeball model generated after coordinate conversion.
また、本願第２発明に係る視線誤差補正装置は、非球面眼球モデル生成手段が、非球面眼球モデルとして、画像座標系の歪ベクトルを、眼球中心を原点とする眼球中心極座標系に座標変換することで、球面眼球モデルに対する視線の差分角度を示す差分角度眼球モデルを生成する差分角度眼球モデル生成手段、を備え、視線誤差補正手段が、差分角度眼球モデルを参照して、眼球中心極座標系の原点を中心として、瞳孔−角膜反射法で測定された視線を差分角度だけ回転させることで、視線の誤差を補正する差分角度眼球モデル視線誤差補正手段、を備えることを特徴とする。
かかる構成によれば、視線誤差補正装置は、簡易な座標変換で差分角度眼球モデルを生成することができる。
In the gaze error correction device according to the second invention of the present application, the aspheric eyeball model generation means performs coordinate conversion of the distortion vector of the image coordinate system into an eyeball center polar coordinate system with the eyeball center as the origin as an aspheric eyeball model. Thus, a difference angle eyeball model generation unit that generates a difference angle eyeball model indicating a difference angle of the line of sight with respect to the spherical eyeball model, the line of sight error correction unit refers to the difference angle eyeball model, and A difference angle eyeball model line-of-sight error correcting means is provided for correcting a line-of-sight error by rotating the line of sight measured by the pupil-corneal reflection method around the origin by a difference angle.
According to such a configuration, the line-of-sight error correction apparatus can generate a difference angle eyeball model by simple coordinate conversion.
また、本願第３発明に係る視線誤差補正装置は、非球面眼球モデル生成手段が、瞳孔−角膜反射法で測定された視線を測定するための撮影カメラの位置ｌと、眼球の回転角度θと、角膜表面上でプルキニエ像の位置ｕ’θと、瞳孔中心の位置（ｘθ，ｙθ，ｚθ）と、撮影カメラの位置ｌを基点に歪ベクトルが示す撮影カメラの仮想位置ｌ’とし、瞳孔中心を原点とした瞳孔中心極座標系において、以下の（３）式で法線ベクトルｎθが定義された法線ベクトル眼球モデルを非球面眼球モデルとして生成する法線ベクトル眼球モデル生成手段、を備え、視線誤差補正手段が、法線ベクトル眼球モデルを参照して、プルキニエ像の位置にある法線ベクトルが撮影カメラを向く回転角を算出し、算出した回転角だけ法線ベクトル眼球モデルを回転させ、回転後の法線ベクトル眼球モデルにおいて、角膜曲率中心から瞳孔中心を向くベクトルを、誤差が補正された前記視線として出力する法線ベクトル眼球モデル視線誤差補正手段、を備えることを特徴とする。 Further, the gaze error correction device according to the third invention of the present application is such that the aspherical eyeball model generation means has a photographing camera position l for measuring the gaze measured by the pupil-corneal reflection method, and the rotation angle θ of the eyeball. The position of the Purkinje image u ′ θ on the cornea surface, the position of the pupil center (x θ , y θ , z θ ), and the virtual position l ′ of the photographing camera indicated by the distortion vector based on the position l of the photographing camera in pupil center polar coordinate system with the origin of the pupil center, the following (3) normal vectors eyeball model generating unit normal vector n theta generates normal vector eyeball model defined as a non-spherical eye model equation, The line-of-sight error correction means refers to the normal vector eyeball model, calculates a rotation angle at which the normal vector at the position of the Purkinje image faces the photographing camera, and calculates the normal vector eyeball model by the calculated rotation angle. Rotated The normal vector eyeball model after rotation includes a normal vector eyeball model line-of-sight error correction means for outputting a vector directed from the corneal curvature center to the pupil center as the line of sight in which the error is corrected. .
ここで、瞳孔−角膜反射法は、瞳孔中心を基準として視線を測定する。また、法線ベクトル眼球モデルは、瞳孔中心を基準（原点）とした瞳孔中心極座標系である。このように、視線誤差補正装置は、瞳孔−角膜反射法と法線ベクトル眼球モデルとの基準位置を同一にできるため、視線測定時に頭部が動いた場合でも、視線の誤差を補正することができる。 Here, the pupil-corneal reflection method measures the line of sight with reference to the center of the pupil. The normal vector eyeball model is a pupil center polar coordinate system with the pupil center as a reference (origin). In this way, the gaze error correction device can make the reference positions of the pupil-corneal reflection method and the normal vector eyeball model the same, and therefore can correct gaze errors even when the head moves during gaze measurement. it can.
また、本願第４発明に係る視線誤差補正装置は、歪ベクトル算出手段で算出された歪ベクトルを、画像座標系で予め設定されたサイズの領域に対応付けることで、ルックアップテーブルを生成するルックアップテーブル生成手段、を備え、非球面眼球モデル生成手段が、ルックアップテーブル生成手段が生成したルックアップテーブルを参照して、非球面眼球モデルを生成することを特徴とする。
かかる構成によれば、視線誤差補正装置は、ルックアップテーブルを参照することで、補間計算を都度行う必要がなくなる。
The line-of-sight error correction apparatus according to the fourth invention of the present application generates a lookup table by associating the distortion vector calculated by the distortion vector calculation means with a region having a size set in advance in the image coordinate system. A table generation means, wherein the aspheric eyeball model generation means generates an aspheric eyeball model with reference to the lookup table generated by the lookup table generation means.
According to such a configuration, the line-of-sight error correction device does not need to perform interpolation calculation each time by referring to the lookup table.
また、本願第５発明に係る視線誤差補正プログラムは、球面眼球モデルによる瞳孔−角膜反射法で測定された視線の誤差を補正するために、一般的なコンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、表示制御手段、誤差情報入力手段、歪ベクトル算出手段、非球面眼球モデル生成手段、視線誤差補正手段、として機能させることを特徴とする。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。 The line-of-sight error correction program according to the fifth invention of the present application is a hardware such as a CPU, memory, and hard disk provided in a general computer in order to correct the line-of-sight error measured by the pupil-corneal reflection method using a spherical eyeball model. The hardware resource functions as display control means, error information input means, distortion vector calculation means, aspheric eyeball model generation means, and line-of-sight error correction means. This program may be distributed through a communication line, or may be distributed by writing in a recording medium such as a CD-ROM or a flash memory.
また、本願第６発明に係る視線誤差補正方法は、球面眼球モデルによる瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正装置の視線誤差補正方法であって、マーカ表示ステップと、マーカ視線入力ステップと、マーカ視線表示ステップと、誤差情報入力ステップと、歪ベクトル算出ステップと、非球面眼球モデル生成ステップと、視線誤差補正ステップと、を順に実行することを特徴とする。 A line-of-sight error correction method according to the sixth invention of the present application is a line-of-sight error correction method for a line-of-sight error correction apparatus that corrects a line-of-sight error measured by a pupil-corneal reflection method using a spherical eyeball model. A marker line-of-sight input step, a marker line-of-sight display step, an error information input step, a distortion vector calculation step, an aspheric eyeball model generation step, and a line-of-sight error correction step.
本発明によれば、以下のような優れた効果を奏する。
本願第１，５，６発明によれば、座標変換後に生成された非球面眼球モデルにより、瞳孔−角膜反射法で測定された視線の誤差を補正するため、個人キャリブレーションを繰り返し行う必要がなく、作業負担を少なくすることができる。さらに、本願第１，５，６発明によれば、非球面眼球モデルを用いて、球面眼球モデルの球面性と角膜形状の非球面性との相違に起因する誤差も補正できるため、視線の誤差を小さく抑えることができる
According to the present invention, the following excellent effects can be obtained.
According to the first, fifth, and sixth inventions of the present application, it is not necessary to repeatedly perform personal calibration in order to correct the error of the line of sight measured by the pupil-corneal reflection method using the aspheric eyeball model generated after the coordinate conversion. , Work load can be reduced. Furthermore, according to the first, fifth, and sixth inventions of the present application, since an aspheric eyeball model can be used to correct errors caused by the difference between the sphericality of the spherical eyeball model and the asphericity of the corneal shape, Can be kept small
本願第２発明によれば、簡易な座標変換で差分角度眼球モデルを生成することができる。
本願第３発明によれば、瞳孔−角膜反射法と法線ベクトル眼球モデルとの基準位置が同一のため、視線測定時に頭部が動いた場合でも、視線の誤差を補正することができる。
本願第４発明によれば、ルックアップテーブルを参照することで、補間計算を都度行う必要がなくなり、演算処理の高速化を図ることができる。
According to the second invention of the present application, a difference angle eyeball model can be generated by simple coordinate conversion.
According to the third invention of the present application, since the reference positions of the pupil-corneal reflection method and the normal vector eyeball model are the same, even when the head moves during the gaze measurement, the gaze error can be corrected.
According to the fourth invention of the present application, by referring to the lookup table, it is not necessary to perform the interpolation calculation each time, and the calculation process can be speeded up.
（実施形態）
［視線測定・誤差補正装置の構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、同一の機能を有する手段には同一の符号を付し、説明を省略した。
図１を参照して、本発明の実施形態に係る視線測定・誤差補正装置１の構成について、説明する。
図１に示すように、視線測定・誤差補正装置１は、球面眼球モデルによる瞳孔−角膜反射法で視線を測定すると共に、測定した視線の誤差を補正するものであり、視線測定装置１０Ａと、視線誤差補正装置２０とを備える。
(Embodiment)
[Configuration of eye gaze measurement and error correction device]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In addition, the same code | symbol was attached | subjected to the means which has the same function, and description was abbreviate | omitted.
With reference to FIG. 1, the configuration of a line-of-sight measurement /
As shown in FIG. 1, the line-of-sight measurement /
視線測定装置１０Ａは、瞳孔−角膜反射法でユーザ（不図示）の視線（視線ベクトル）を測定するものであり、瞳孔・プルキニエ像検出手段１１と、視線ベクトル・基準点算出手段１２と、視線座標変換・出力手段１４とを備える。
The line-of-sight measurement device 10A measures a line of sight (line-of-sight vector) of a user (not shown) by a pupil-corneal reflection method, and includes a pupil / Purkinje
ここで、視線誤差補正装置２０で非球面眼球モデルを生成するとき（以後、「モデル生成」）、視線測定装置１０Ａは、ユーザがマーカＭｋ（図２）を注視しているときの視線（マーカ視線）を測定する。そして、視線測定装置１０Ａは、このマーカ視線を画像座標系に座標変換して、マーカ視線入力手段２１ａに出力する。 Here, when an aspheric eyeball model is generated by the line-of-sight error correction apparatus 20 (hereinafter referred to as “model generation”), the line-of-sight measurement apparatus 10A uses the line of sight (marker) when the user is gazing at the marker Mk (FIG. 2). Gaze) is measured. Then, the line-of-sight measurement device 10A converts the marker line of sight into the image coordinate system, and outputs it to the marker line-of-sight input means 21a.
一方、非球面眼球モデルを用いて視線誤差補正装置２０で視線の誤差を補正するとき（以後、「視線誤差補正」）、視線測定装置１０Ａは、ユーザが任意のオブジェクト（例えば、表示画面内のアイコン）を注視しているときの視線を測定する。そして、視線測定装置１０Ａは、後記する極座標系に視線を座標変換して、視線誤差補正手段２４に出力する。 On the other hand, when correcting the line-of-sight error by the line-of-sight error correction apparatus 20 using the aspheric eyeball model (hereinafter referred to as “line-of-sight error correction”), the line-of-sight measurement apparatus 10A allows the user to select an arbitrary object (for example, in the display screen). Measure the line of sight while gazing at the icon. Then, the line-of-sight measurement device 10 </ b> A performs coordinate conversion of the line of sight to a polar coordinate system to be described later, and outputs it to the line-of-sight error correction means 24.
なお、視線測定・誤差補正装置１は、モデル生成又は視線誤差補正の何れの動作を行うか、ユーザが手動で切り替えることができる。
また、視線測定装置１０Ａは、図１６の個人キャリブレーション手段１３を備えない以外、図１６の視線測定装置１０と同様のため、詳細な説明を省略する。
The line-of-sight measurement /
The line-of-sight measurement apparatus 10A is the same as the line-of-sight measurement apparatus 10 of FIG. 16 except that it does not include the
［視線誤差補正装置の構成］
視線誤差補正装置２０は、視線測定装置１０Ａで測定された視線の誤差を補正するものであり、入出力制御手段２１と、歪ベクトル算出手段２２と、非球面眼球モデル生成手段２３と、視線誤差補正手段２４とを備える。
この入出力制御手段２１、歪ベクトル算出手段２２及び非球面眼球モデル生成手段２３は、モデル生成に用いる手段である。一方、視線誤差補正手段２４は、視線誤差補正に用いる手段である。
[Configuration of eye gaze error correction device]
The line-of-sight error correction apparatus 20 corrects the line-of-sight error measured by the line-of-sight measurement apparatus 10A. The line-of-sight error correction apparatus 20 corrects the line-of-sight error, input / output control means 21, distortion vector calculation means 22, aspheric eyeball model generation means 23, and line-of-sight error. And correction means 24.
The input /
入出力制御手段２１は、モデル生成時、マーカ視線及び誤差情報の入力と、マーカ画像等の各画像の出力とを行うものであり、マーカ視線入力手段２１ａと、表示制御手段２１ｂと、誤差情報入力手段２１ｃとを備える。
The input /
マーカ視線入力手段２１ａは、視線測定装置１０Ａからマーカ視線が入力され、入力されたマーカ視線を表示制御手段２１ｂに出力するものである。
表示制御手段２１ｂは、後記するマーカ画像と、マーカ視線入力手段２１ａから入力されたマーカ視線の位置を示すポインタＰｔ（図２）とを、表示手段９２に表示させるものである。
誤差情報入力手段２１ｃは、外部（例えば、ユーザ）から、誤差情報が入力され、入力された誤差情報を、歪ベクトル算出手段２２に出力するものである。
The marker line-of-sight input unit 21a receives a marker line of sight from the line-of-sight measurement device 10A and outputs the input marker line of sight to the
The
The error information input means 21 c is for inputting error information from the outside (for example, a user) and outputting the input error information to the distortion vector calculation means 22.
＜マーカ及びポインタの表示、誤差情報の入力＞
図２，図３を参照して、マーカ及びポインタの表示と、誤差情報の入力とについて、詳細に説明する（適宜図１参照）。
図２に示すように、モデル生成時、表示制御手段２１ｂは、マーカ画像９４を表示手段９２に表示させる。このマーカ画像９４は、所定位置にマーカＭｋが配置された画像である。図２の例では、マーカ画像９４は、９個のマーカＭｋ１〜Ｍｋ９がマトリクス状に配置されている。また、マーカ画像９４は、後記する歪み平面を生成する都合上、表示手段９２の表示画面と同じサイズ又はより小さなサイズとする。
<Display of marker and pointer, input of error information>
With reference to FIGS. 2 and 3, the display of markers and pointers and the input of error information will be described in detail (see FIG. 1 as appropriate).
As shown in FIG. 2, at the time of model generation, the
ここで、ユーザは、表示手段９２に表示されたマーカ画像９４のマーカＭｋの何れかを注視する。すると、マーカ視線入力手段２１ａは、視線測定装置１０Ａから、マーカＭｋに対する視線であるマーカ視線が入力され、入力されたマーカ視線を表示制御手段２１ｂに出力する。そして、表示制御手段２１ｂは、このマーカ視線の位置を示すポインタＰｔを表示手段９２に表示させる。図２の例では、マーカＭｋ５に対するポインタＰｔが、表示手段９２に表示されている。
Here, the user gazes at any of the markers Mk of the
さらに、ユーザは、表示手段９２に表示されたマーカＭｋとポインタＰｔとの位置ずれを確認し、図示を省略したマウスを操作して、この位置ずれ（誤差情報）を誤差情報入力手段２１ｃに入力する。図３の例では、ユーザがマーカＭｋ５を注視したときのポインタＰｔは、マーカＭｋ５の左下に位置している。従って、ユーザは、ポインタＰｔの中心がマーカＭｋ５に一致するように、ポインタＰｔをマウスでドラッグする。つまり、ポインタＰｔは、ユーザの操作により、ポインタＰｔ’の位置に移動する。この例では、誤差情報は、マーカＭｋ５に対するポインタＰｔの位置ずれを示しており、マーカＭｋとポインタＰｔとポインタＰｔ’との座標情報で表すことができる。
Further, the user confirms the positional deviation between the marker Mk and the pointer Pt displayed on the
なお、表示制御手段２１ｂは、視線誤差補正時、ポインタＰｔを表示手段９２にリアルタイムに表示させる。さらに、表示制御手段２１ｂは、視線誤差補正後であっても、誤差の補正が正確に行われたか否かを確認するため、ポインタＰｔを表示手段９２に表示させてもよい。
また、ユーザは、マーカＭｋ５と同様、全てのマーカＭｋを注視して、全てのマーカＭｋに対する誤差情報を入力する。
The
Further, the user gazes at all the markers Mk as in the case of the marker Mk 5 and inputs error information for all the markers Mk.
＜歪ベクトルの算出＞
以下、図４を参照して、図１の歪ベクトル算出手段２２について、詳細に説明する（適宜図１参照）。
歪ベクトル算出手段２２は、モデル生成時、誤差情報入力手段２１ｃから入力された誤差情報に基づいて、マーカ画像９４と同一サイズでポインタＰｔの位置を示した平面画像９５から、ポインタＰｔをマーカＭｋに一致させた歪み平面９５’を生成して、歪ベクトルを算出するものである。
<Calculation of distortion vector>
Hereinafter, the distortion vector calculation means 22 of FIG. 1 will be described in detail with reference to FIG. 4 (see FIG. 1 as appropriate).
At the time of model generation, the distortion
最初に、歪ベクトル算出手段２２による歪み平面９５’の生成を詳細に説明する。
歪ベクトル算出手段２２は、図４（ａ）に示すように、誤差情報のポインタＰｔの座標情報により、平面画像９５を生成する。図４（ａ）の例では、平面画像９５は、図２及び図３のマーカ画像９４と同一サイズであり、９個のマーカＭｋのそれぞれに対して、ポインタＰｔの位置を示している。また、図４（ａ）では、説明をわかりやすくするため、マーカ画像９４と平面画像９５とを重ねて図示した。
First, the generation of the
As shown in FIG. 4A, the distortion vector calculation means 22 generates a
次に、歪ベクトル算出手段２２は、図４（ｂ）に示すように、誤差情報のマーカＭｋ及びポインタＰｔの座標情報により、９個のポインタＰｔがそれぞれに対応するマーカＭｋに一致するように平面画像９５を歪ませて、歪み平面９５’を生成する。この歪み平面９５’は、複数の曲線で構成される曲面として表すことができる。例えば、歪ベクトル算出手段２２は、ベジエ曲線又はＢスプライン曲線で構成される曲面によって歪み平面９５’を生成する。また、歪ベクトル算出手段２２は、ＮＵＲＢＳ（Non-Uniform Rational B-Spline）曲面、ＵＶ（曲面上のＸＹ座標）平面を歪ませた曲面、又は、多角形（ポリゴン）を用いた擬似曲線によって、歪み平面９５’を生成してもよい。
Next, as shown in FIG. 4B, the distortion vector calculation means 22 uses the error information marker Mk and the coordinate information of the pointer Pt so that the nine pointers Pt coincide with the corresponding markers Mk. The
本実施形態では、歪ベクトル算出手段２２は、ＮＵＲＢＳ曲面によって、歪み平面９５’を生成することとする。また、歪ベクトル算出手段２２は、表示制御手段２１ｂを介して、生成した歪み平面９５’を表示手段９２に表示させてもよい。さらに、歪ベクトル算出手段２２は、表示手段９２に表示された歪み平面９５’を、各ユーザが変形可能としてもよい。
なお、マーカＭｋは表示画面に対して固定される。一方、ポインタＰｔは、歪み平面９５’にテクスチャマッピングして表示されるため、図４（ｂ）のように歪んでしまう。
In the present embodiment, the distortion vector calculation means 22 generates a
The marker Mk is fixed with respect to the display screen. On the other hand, the pointer Pt is distorted as shown in FIG. 4B because it is displayed by texture mapping on the
このＮＵＲＢＳ曲面は、複数のコントロールポイント（ＣＶコントロールポイント)を持つ曲面である。このコントロールポイントは、表示画面内で任意位置に配置できる。また、ＮＵＲＢＳ曲面は、次数の値によって、何次の方程式で曲面を表すかが決まる。 This NURBS curved surface is a curved surface having a plurality of control points (CV control points). This control point can be arranged at an arbitrary position in the display screen. In addition, the NURBS curved surface is determined by what order equation the curved surface is represented by the value of the degree.
また、ＮＵＲＢＳ曲面において、それぞれのマーカＭｋは、１個〜４個のコントロールポイントにリンクされている。このコントロールポイントは、ポインタＰｔと一定距離よりも近いマーカＭｋにリンクされたものが、コントロール権を有する。このコントロール権は、ユーザによりコントロール（移動）可能なコントロールポイントだけに付加される。つまり、ユーザがコントロールできるのは、１個のマーカＭｋにリンクされたコントロールポイントだけである。そして、コントロール権を有するコントロールポイントは、ドラックアンドドロップ操作によって、歪み平面９５’上を移動させることができる。このコントロールポイントの移動に応じて、ＮＵＲＢＳ曲面が変形する。さらに、コントロール権は、ドラッグ操作中のコントロールポイントから、他のコントロールポイントに付加されないこととする。さらに、コントロールポイントの数を増やせば、表示画面の周辺部に位置するポインタＰｔを移動させたとき、他のポインタＰｔがマーカＭｋに一致しなくなる事態を解消できる。
なお、ＮＵＲＢＳ曲面は、例えば、参考文献“「Ｍａｙａ教科書１−モデリング＆質感設定の基礎」、川上、2009”に詳細に記載されている。
In the NURBS curved surface, each marker Mk is linked to 1 to 4 control points. The control point linked to the marker Mk closer than the fixed distance from the pointer Pt has the control right. This control right is added only to control points that can be controlled (moved) by the user. That is, the user can control only the control points linked to one marker Mk. The control point having the control right can be moved on the
The NURBS curved surface is described in detail, for example, in a reference document ““
次に、歪ベクトル算出手段２２による歪ベクトルの算出を詳細に説明する。
歪ベクトル算出手段２２は、画像座標系で歪み平面９５’の歪みを示す歪ベクトルを算出する。ここで、歪ベクトル算出手段２２は、平面画像９５と歪み平面９５’との間で、対応する点（画素）である対応点の位置ずれを求める。そして、歪ベクトル算出手段２２は、画像座標系において、対応点の位置ずれ量及び位置ずれ方向を示すベクトルを、歪ベクトルとして算出する。
Next, the calculation of the distortion vector by the distortion vector calculation means 22 will be described in detail.
The distortion vector calculation means 22 calculates a distortion vector indicating the distortion of the
このとき、歪ベクトル算出手段２２は、全ての対応点から歪ベクトルを算出する、マーカＭｋの位置にある対応点から歪ベクトルを算出するというように、任意の対応点から歪ベクトルを算出すればよい。本実施形態では、マーカＭｋの位置にある対応点から歪ベクトルを算出することとする。その後、歪ベクトル算出手段２２は、算出した歪ベクトルを非球面眼球モデル生成手段２３に出力する。
At this time, if the distortion vector calculation means 22 calculates a distortion vector from arbitrary corresponding points, such as calculating a distortion vector from all corresponding points, or calculating a distortion vector from corresponding points at the position of the marker Mk. Good. In the present embodiment, the distortion vector is calculated from the corresponding point at the position of the marker Mk. Thereafter, the strain
図１に戻り、視線誤差補正装置２０の構成について、説明を続ける。
非球面眼球モデル生成手段２３は、モデル生成時、歪ベクトル算出手段２２から入力された歪ベクトルに基づいて、各ユーザに対応した非球面眼球モデルを生成するものである。
この非球面眼球モデルは、非球面な角膜形状を示した眼球モデルであり、差分角度眼球モデル及び法線ベクトル眼球モデルの２種類がある。従って、非球面眼球モデル生成手段２３は、それぞれの非球面眼球モデルを生成するために、差分角度眼球モデル生成手段２３ａと、法線ベクトル眼球モデル生成手段２３ｂとを備える。
なお、差分角度眼球モデル生成手段２３ａ及び法線ベクトル眼球モデル生成手段２３ｂの詳細は、後記する。
Returning to FIG. 1, the description of the configuration of the line-of-sight error correction device 20 will be continued.
The aspheric eyeball
This aspheric eyeball model is an eyeball model showing an aspherical corneal shape, and there are two types, a differential angle eyeball model and a normal vector eyeball model. Therefore, the aspheric eyeball model generation means 23 includes a difference angle eyeball model generation means 23a and a normal vector eyeball model generation means 23b in order to generate each aspheric eyeball model.
Details of the difference angle eyeball model generation unit 23a and the normal vector eyeball model generation unit 23b will be described later.
視線誤差補正手段２４は、視線誤差補正時、非球面眼球モデル生成手段２３で生成された非球面眼球モデルに基づく回転により、視線の誤差を補正するものである。
また、視線誤差補正手段２４は、２種類の非球面眼球モデルで視線の補正方法が異なるために、差分角度眼球モデル視線誤差補正手段２４ａと、法線ベクトル眼球モデル視線誤差補正手段２４ｂとを備える。
The line-of-sight error correction means 24 corrects the line-of-sight error by rotation based on the aspheric eyeball model generated by the aspheric eyeball model generation means 23 at the time of line-of-sight error correction.
The line-of-sight
まず、非球面眼球モデルの前提となる極座標系への座標変換を説明した後、差分角度眼球モデルの生成と、差分角度眼球モデルによる補正と、法線ベクトル眼球モデルの生成と、法線ベクトル眼球モデルによる補正とを順に説明する。 First, after explaining the coordinate transformation to the polar coordinate system that is the premise of the aspheric eyeball model, the generation of the difference angle eyeball model, the correction by the difference angle eyeball model, the generation of the normal vector eyeball model, and the normal vector eyeball The correction by the model will be described in order.
＜極座標系への座標変換＞
以下、図５を参照して、極座標系への座標変換について、詳細に説明する。
差分角度眼球モデルは、眼球中心を原点とする眼球中心極座標系で表される。このため、視線誤差補正装置２０は、眼球中心極座標系への座標変換を行う必要がある。
<Coordinate conversion to polar coordinate system>
Hereinafter, coordinate conversion to the polar coordinate system will be described in detail with reference to FIG.
The difference angle eyeball model is represented by an eyeball center polar coordinate system with the eyeball center as the origin. Therefore, the line-of-sight error correction device 20 needs to perform coordinate conversion to the eyeball central polar coordinate system.
図５に示すように、空間上で点α，点βの位置が既知であるとする。例えば、点αが撮影カメラ９１の位置（光学主点）であり、世界座標系で（ｘ’，ｙ’）に位置する。また、点βが、眼球中心、つまり、眼球中心極座標系の原点（ｘ０，ｙ０）である。さらに、点α，点βの距離をｚ’とする。
なお、図５では、図面の重複を避けるため、２軸回りの回転を１枚の図面にまとめて図示した。
As shown in FIG. 5, it is assumed that the positions of the points α and β are known in the space. For example, the point α is the position (optical principal point) of the photographing
In FIG. 5, the rotation about two axes is shown in a single drawing in order to avoid duplication of drawings.
このとき、例えば、点αを向いている眼球９００が、目標物γを向くために必要なｘ軸回転角θ及びｙ軸回転角φは、以下の（２）式で定義される。この（２）式において、ｆｉ−ｗは、Ｔｓａｉのカメラキャリブレーションで得ることができる。つまり、空間上で点α，点βが既知であれば、（１）式及び（２）式を用いて、世界座標系と、カメラ座標系と、画像座標系と、眼球中心極座標系との間で、自在に座標変換を行うことができる。これと同様、点βを瞳孔中心とすれば、（１）式及び（２）式を瞳孔中心極座標系にも適用することができる。
At this time, for example, the x-axis rotation angle θ and the y-axis rotation angle φ necessary for the
＜差分角度眼球モデルの生成＞
以下、図６を参照して、差分角度眼球モデル生成手段２３ａによる差分角度眼球モデルの生成について、詳細に説明する（適宜図１参照）。
図６に示すように、差分角度眼球モデル生成手段２３ａは、歪ベクトル算出手段２２から入力された画像座標系の歪ベクトルを、眼球中心極座標系に座標変換することで、差分角度眼球モデル９６を生成するものである。
<Generation of differential angle eyeball model>
Hereinafter, the generation of the difference angle eyeball model by the difference angle eyeball model generation unit 23a will be described in detail (refer to FIG. 1 as appropriate).
As shown in FIG. 6, the difference angle eyeball model generation unit 23 a converts the distortion vector of the image coordinate system input from the strain
ここで、差分角度眼球モデル生成手段２３ａは、マーカＭｋ（図２）の位置にある歪ベクトルから差分角度眼球モデルを生成する。図６では、説明を簡易にするため、マーカＭｋ（歪ベクトル）が５個であることとする。また、図６では、図面を見やすくするため、角膜９０１の一部について、差分角度眼球モデル９６を図示した。
Here, the difference angle eyeball model generation unit 23a generates a difference angle eyeball model from the strain vector at the position of the marker Mk (FIG. 2). In FIG. 6, it is assumed that there are five markers Mk (distortion vectors) for the sake of simplicity. Further, in FIG. 6, the difference
まず、差分角度眼球モデル生成手段２３ａは、球面眼球モデル９１０（図２０）と同様、角膜表面の中心を極として、球面表面を領域に分割する。この領域のサイズは、予め任意に設定される。そして、差分角度眼球モデル９６の精度は、領域のサイズに比例し、この領域が小さくなるほど向上する。
First, the difference angle eyeball model generation unit 23a divides the spherical surface into regions with the center of the corneal surface as a pole, similarly to the spherical eyeball model 910 (FIG. 20). The size of this area is arbitrarily set in advance. The accuracy of the differential
また、差分角度眼球モデル生成手段２３ａは、マーカＭｋの位置に対応する領域を求める。つまり、差分角度眼球モデル生成手段２３ａは、画像座標系で表されたマーカＭｋの座標を眼球中心極座標系に座標変換して、座標変換後のマーカＭｋが含まれる領域を５個求める。そして、差分角度眼球モデル生成手段２３ａは、この５個の領域に対して、後記する差分角度ベクトルを対応付けるマッピングを行う。 Further, the difference angle eyeball model generation unit 23a obtains an area corresponding to the position of the marker Mk. That is, the difference angle eyeball model generation unit 23a performs coordinate conversion of the coordinates of the marker Mk represented in the image coordinate system into the eyeball central polar coordinate system, and obtains five regions including the marker Mk after coordinate conversion. Then, the difference angle eyeball model generation unit 23a performs mapping for associating the difference angle vector described later to these five regions.
また、差分角度眼球モデル生成手段２３ａは、マーカＭｋの位置にある歪ベクトルを眼球中心極座標系に座標変換して差分角度ベクトル９６ａを求める。つまり、差分角度眼球モデル生成手段２３ａは、５個の歪ベクトルの先端及び終端を、画像座標系から眼球中心極座標系へ座標変換する。そして、差分角度眼球モデル生成手段２３ａは、座標変換後の先端位置と終端位置とを結ぶベクトルを、眼球中心極座標系での差分角度ベクトル９６ａとして求める。さらに、差分角度眼球モデル生成手段２３ａは、図６に示すように、５個の領域に対して、５個の差分角度ベクトル９６ａを対応付けるマッピングを行う。
Further, the difference angle eyeball model generation means 23a obtains the
その後、差分角度眼球モデル生成手段２３ａは、差分角度ベクトル９６ａが存在しない空の領域について、線形補間等の補間手法により、差分角度ベクトル９６ａを補間する（不図示）。このようにして、差分角度眼球モデル生成手段２３ａは、全ての領域に差分角度ベクトル９６ａが対応付けられた差分角度眼球モデル９６を生成する。
Thereafter, the difference angle eyeball model generation unit 23a interpolates the
この差分角度ベクトル９６ａは、球面眼球モデル９１０（図２０）に対する視線の差分角度（補正回転角度）を示したものである。
つまり、差分角度眼球モデル９６は、球面眼球モデル９１０の球面性と、角膜９０１の非球面性との相違に起因した誤差を、領域ごとの差分角度ベクトル９６ａで示したものである。
The
In other words, the difference
＜差分角度眼球モデルによる補正＞
以下、図７を参照して、差分角度眼球モデル視線誤差補正手段２４ａで行われる差分角度眼球モデルによる補正について、詳細に説明する（適宜図１参照）。
図７に示すように、差分角度眼球モデル視線誤差補正手段２４ａは、差分角度眼球モデル９６（図６）を参照して、眼球中心極座標系の原点（眼球中心ｂ）を中心として、瞳孔−角膜反射法で測定された視線を差分角度だけ回転させることで、視線の誤差を補正するものである。
<Correction by differential angle eyeball model>
Hereinafter, with reference to FIG. 7, the correction by the difference angle eyeball model performed by the difference angle eyeball model line-of-sight
As shown in FIG. 7, the difference angle eyeball model line-of-sight error correction means 24a refers to the difference angle eyeball model 96 (FIG. 6), and the pupil-cornea with the origin (eyeball center b) of the eyeball center polar coordinate system as the center. The line-of-sight error is corrected by rotating the line-of-sight measured by the reflection method by the difference angle.
この図７では、説明を簡易にするため、２次元方向の差分角度（Δθ，Δφ）を１次元方向の差分角度Δφとして図示し、赤外線光源９０及び撮影カメラ９１が同一の位置であることとした。
また、図７では、平面画像９５の点（画素）Ｐ、及び、歪み平面９５’の点（画素）Ｐ’が、対応点（対応画素）であることとする。つまり、歪ベクトルがＰ−Ｐ’となる。
In FIG. 7, for ease of explanation, the difference angle (Δθ, Δφ) in the two-dimensional direction is illustrated as the difference angle Δφ in the one-dimensional direction, and the infrared
In FIG. 7, the point (pixel) P of the
ここで、差分角度眼球モデル視線誤差補正手段２４ａは、視線誤差補正時、ユーザが任意のオブジェクトを注視しているときの視線（視線ベクトル）が入力される。また、差分角度眼球モデル視線誤差補正手段２４ａは、座標変換の視線ベクトルｖが、差分角度眼球モデル９６で何れの領域（図６）に含まれるか求める。そして、差分角度眼球モデル視線誤差補正手段２４ａは、差分角度眼球モデル９６から、視線ベクトルｖが含まれる領域の差分角度Δφを取得する。
Here, the differential angle eyeball model line-of-sight error correction means 24a receives the line of sight (line-of-sight vector) when the user is gazing at an arbitrary object during line-of-sight error correction. Further, the difference angle eyeball model line-of-sight error correction means 24a obtains which region (FIG. 6) the line-of-sight vector v of coordinate transformation is included in the difference
そして、差分角度眼球モデル視線誤差補正手段２４ａは、眼球中心ｂを中心として、視線ベクトルｖを差分角度Δφだけ回転させて、誤差を補正した視線ベクトルｖ’を求める。言い換えるなら、差分角度眼球モデル視線誤差補正手段２４ａは、角膜９０１を角膜９０１’まで回転させ、プルキニエ像の位置ｕで求めた視線ベクトルｖを、プルキニエ像の位置ｕ’で求めた視線ベクトルｖ’に補正する。つまり、図７では、角膜９０１の回転に伴い、赤外線光源９０、撮影カメラ９１及び角膜曲率中心ｃの位置が、赤外線光源９０’、撮影カメラ９１’及び角膜曲率中心ｃ’の位置まで移動することになる。
Then, the difference angle eyeball model line-of-sight
その後、差分角度眼球モデル視線誤差補正手段２４ａは、誤差が補正された視線（視線ベクトルｖ’）を出力する。本実施形態では、差分角度眼球モデル視線誤差補正手段２４ａは、誤差が補正された視線（「補正後の視線」と図示）を表示制御手段２１ｂに出力して、この視線を表示手段９２に表示させる。
なお、差分角度眼球モデル視線誤差補正手段２４ａは、誤差が補正された視線の利用方法に応じて、様々な出力先に対して、任意の座標系で視線を出力できる。
Thereafter, the differential angle eyeball model line-of-sight
The difference angle eyeball model line-of-sight
＜法線ベクトル眼球モデルの生成＞
以下、図８〜図１０を参照して、法線ベクトル眼球モデル生成手段２３ｂによる法線ベクトル眼球モデルの生成について、説明する（適宜図１参照）。
図８に示すように、法線ベクトル眼球モデル生成手段２３ｂは、瞳孔中心極座標系において、以下の（３）式で法線ベクトルｎθが定義された法線ベクトル眼球モデル９７（図９）を生成するものである。
<Generation of normal vector eyeball model>
Hereinafter, generation of a normal vector eyeball model by the normal vector eyeball model generation unit 23b will be described with reference to FIGS. 8 to 10 (see FIG. 1 as appropriate).
As shown in FIG. 8, the normal vectors eyeball model generating unit 23b, in the pupil center polar coordinate system, the following (3) normal normal vector n theta is defined by the formula vector eyeball model 97 (FIG. 9) Is to be generated.
この（３）式では、撮影カメラ９１（図１）の位置ｌと、眼球の回転角度θと、角膜表面上でプルキニエ像の位置ｕ’θと、瞳孔中心ｅの位置（ｘθ，ｙθ，ｚθ）と、仮想カメラの位置ｌ’とである。また、（３）式では、‘｜｜ ｜｜’がノルムである。
また、撮影カメラ９１の仮想位置ｌ’は、角膜が理想的な球面の場合において、撮影カメラ９１の位置ｌを基点に歪ベクトルが示す位置である。言い換えるなら、歪ベクトルは、撮影カメラ９１の位置ｌから仮想位置ｌ’までを結ぶベクトルである。
また、法線ベクトルｎθは、プルキニエ像の位置ｕ’θから撮影カメラ９１の位置ｌまでを結ぶベクトルである。
In this equation (3), the
Further, the virtual position l ′ of the photographing
Further, the normal vector n theta, a vector connecting to the position l of the
なお、図８では、説明を簡易にするため、２次元方向の眼球の回転角度（θ，φ）を１次元方向の回転角度θとして図示した。ここで、眼球の回転角度θ及び、瞳孔中心ｅの位置（ｘθ，ｙθ，ｚθ）は、Ｔｓａｉのカメラキャリブレーションで予め求めておく。
また、図８では、瞳孔中心ｅを中心とし、瞳孔中心ｅからプルキニエ像の位置ｕ’θまでの半径を有する円を図示した。このとき、法線ベクトルｎθは、非球面な角膜形状に対し、球面眼球モデルに誤差があるため、プルキニエ像の位置ｕ’θで球面表面の接線に対して垂直になっていない。言い換えるなら、法線ベクトルｎθは、非球面な角膜の表面に対する法線を示す。
In FIG. 8, for ease of explanation, the rotation angle (θ, φ) of the eyeball in the two-dimensional direction is illustrated as the rotation angle θ in the one-dimensional direction. Here, the rotation angle θ of the eyeball and the position (x θ , y θ , z θ ) of the pupil center e are obtained in advance by Tsai camera calibration.
FIG. 8 shows a circle having a radius from the pupil center e to the position u ′ θ of the Purkinje image centered on the pupil center e. At this time, the normal vector n θ is not perpendicular to the tangent to the spherical surface at the position u ′ θ of the Purkinje image because there is an error in the spherical eyeball model with respect to the aspherical cornea shape. Other words, the normal vector n theta, indicating the normal to the surface of the aspheric cornea.
つまり、仮想カメラの位置ｌ’で撮影されるべきプルキニエ像が、球面眼球モデルの球面性と、角膜形状の非球面性との相違に起因した誤差のために、撮影カメラ９１（現実のカメラ）の位置ｌで撮影されることを意味する。この誤差を補正するには、位置ｕ’θにおいて、図８に示すように、法線ベクトルｎθを定義すればよい。 In other words, the Purkinje image to be photographed at the position l ′ of the virtual camera has a photographing camera 91 (real camera) due to an error caused by the difference between the sphericality of the spherical eyeball model and the asphericity of the corneal shape. That is, the image is taken at position l. In order to correct this error, a normal vector n θ may be defined at the position u ′ θ as shown in FIG.
図８に示すように、法線ベクトルｎθ＝ｌ−ｕ’θとなる。また、撮影カメラの位置ｌは、Ｔｓａｉのカメラキャリブレーションにより世界座標系での位置を求めて、瞳孔中心極座標系に座標変換する。従って、法線ベクトルｎθを算出するために、プルキニエ像の位置ｕ’θを求めればよい。また、プルキニエ像の位置ｕ’θは、瞳孔中心極座標系において、仮想カメラの位置ｌ’と、瞳孔中心ｅの位置（ｘθ，ｙθ，ｚθ）とを結ぶ直線上にある。また、プルキニエ像の位置ｕ’θは、瞳孔中心ｅの位置（ｘθ，ｙθ，ｚθ）との距離は、一定であり、１とする。すると、プルキニエ像の位置ｕ’θは、前記した（３）式で定義できる。 As shown in FIG. 8, the normal vector n θ = l−u ′ θ . Further, the position l of the photographing camera is obtained by obtaining the position in the world coordinate system by Tsai camera calibration, and coordinate-converted into the pupil center polar coordinate system. Accordingly, the position u ′ θ of the Purkinje image may be obtained in order to calculate the normal vector n θ . Further, the position u ′ θ of the Purkinje image is on a straight line connecting the position l ′ of the virtual camera and the position (x θ , y θ , z θ ) of the pupil center e in the pupil center polar coordinate system. Further, the position u ′ θ of the Purkinje image is set to 1 because the distance from the position (x θ , y θ , z θ ) of the pupil center e is constant. Then, the position u ′ θ of the Purkinje image can be defined by the above equation (3).
ここで、法線ベクトル眼球モデル生成手段２３ｂは、図９に示すように、差分角度眼球モデル生成手段２３ａと同様、角膜表面の中心を極として、球面表面を各領域に分割する。そして、法線ベクトル眼球モデル生成手段２３ｂは、眼球の回転角度θを変化させながら、法線ベクトルｎ（ｎθ）を求め、各領域に対応づけるマッピングを行う。図９の例では、法線ベクトル眼球モデル生成手段２３ｂは、マーカＭｋ（図２）の位置に対応する５個の領域について、５個の法線ベクトルｎを求める。 Here, as shown in FIG. 9, the normal vector eyeball model generation unit 23b divides the spherical surface into regions, with the center of the cornea surface serving as a pole, like the difference angle eyeball model generation unit 23a. Then, the normal vector eyeball model generation unit 23b obtains the normal vector n (n θ ) while changing the rotation angle θ of the eyeball, and performs mapping corresponding to each region. In the example of FIG. 9, the normal vector eyeball model generation unit 23b obtains five normal vectors n for the five regions corresponding to the positions of the markers Mk (FIG. 2).
その後、法線ベクトル眼球モデル生成手段２３ｂは、法線ベクトルｎが存在しない空き領域について、線形補間等の補間手法により、法線ベクトルｎを補間する（不図示）。このようにして、法線ベクトル眼球モデル生成手段２３ｂは、全ての領域に法線ベクトルｎが対応付けられた法線ベクトル眼球モデル９７を生成する。
Thereafter, the normal vector eyeball model generation unit 23b interpolates the normal vector n by an interpolation method such as linear interpolation for an empty area where the normal vector n does not exist (not shown). In this way, the normal vector eyeball model generation unit 23b generates the normal
この法線ベクトルｎは、領域ごとに角膜９０１の表面の法線を示したものである。
この法線ベクトル眼球モデル９７は、角膜表面の光学的な反射特性の違いを角膜表面の形状（傾斜）の違いとして示したものである。つまり、法線ベクトル眼球モデル９７は、各領域の傾斜が、角膜形状の非球面性を表わしている。
This normal vector n indicates the normal of the surface of the
The normal
言い換えるなら、図１０に示すように、法線ベクトル眼球モデル９７は、眼球９００を眼球９００’まで回転させて、プルキニエ像の位置ｕで求めた視線ベクトルｖを、プルキニエ像の位置ｕ’で求めた視線ベクトルｖ’に補正する眼球モデルである。つまり、図１０では、眼球９００の回転に伴い、赤外線光源９０、撮影カメラ９１及び角膜曲率中心ｃの位置が、赤外線光源９０’、撮影カメラ９１’及び角膜曲率中心ｃ’の位置まで移動することになる。
In other words, as shown in FIG. 10, the normal
＜法線ベクトル眼球モデルによる補正＞
以下、図１１〜図１３を参照して、法線ベクトル眼球モデル視線誤差補正手段２４ｂで行われる法線ベクトル眼球モデルによる補正について、詳細に説明する（適宜図１参照）。
<Correction by normal vector eyeball model>
Hereinafter, the normal vector eyeball model correction performed by the normal vector eyeball model line-of-sight error correction unit 24b will be described in detail with reference to FIGS. 11 to 13 (see FIG. 1 as appropriate).
法線ベクトル眼球モデル視線誤差補正手段２４ｂは、法線ベクトル眼球モデル９７を参照して、プルキニエ像の位置ｕにある法線ベクトルｎが撮影カメラ９１を向く回転角を算出し、算出した回転角だけ法線ベクトル眼球モデル９７を回転させ、回転後の法線ベクトル眼球モデル９７において、角膜曲率中心ｃ’（図１３）から瞳孔中心ｅを向くベクトルを、誤差が補正された視線ベクトルｖ’として出力するものである。
The normal vector eyeball model line-of-sight error correction means 24b refers to the normal
図１１に示すように、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、視線誤差補正時、ユーザが任意のオブジェクトを注視しているときの視線（視線ベクトルｖ）が入力される。ここで、瞳孔中心ｅ及び角膜曲率中心ｃは、瞳孔−角膜反射法において、瞳孔中心ｅとプルキニエ像の位置ｕとの位置関係から求められる。また、視線ベクトルｖは、世界座標系において、角膜曲率中心ｃと瞳孔中心ｅとの差になる（ｖ＝ｅ−ｃ）。
なお、図１１では、眼球中心ｂと、瞳孔中心極座標系（一点鎖線）とを図示した（図１２，図１３も同様）。
As shown in FIG. 11, the normal vector eyeball model line-of-sight error correction means 24b receives the line of sight (line-of-sight vector v) when the user is gazing at an arbitrary object during line-of-sight error correction. Here, the pupil center e and the corneal curvature center c are obtained from the positional relationship between the pupil center e and the position u of the Purkinje image in the pupil-corneal reflection method. The line-of-sight vector v is the difference between the corneal curvature center c and the pupil center e in the world coordinate system (v = ec).
In addition, in FIG. 11, the eyeball center b and the pupil center polar coordinate system (one-dot chain line) are illustrated (the same applies to FIGS. 12 and 13).
また、図１２に示すように、プルキニエ像の位置ｕにある法線ベクトルｎは、視線の誤差を補正する前、撮影カメラ９１の方向を向いていない。従って、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、プルキニエ像の位置ｕにある法線ベクトルｎが撮影カメラ９１を向く回転角を算出する。
Further, as shown in FIG. 12, the normal vector n at the position u of the Purkinje image does not face the direction of the photographing
そして、図１３に示すように、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、算出した回転角だけ法線ベクトル眼球モデル９７を回転させて、補正する前のプルキニエ像の位置ｕから見て、プルキニエ像の位置ｕにある法線ベクトルｎが、撮影カメラ９１を向くようにする。さらに、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、図１３の法線ベクトル眼球モデル９７において、角膜曲率中心ｃ’から瞳孔中心ｅを向くベクトルを、誤差が補正された視線ベクトルｖ’として求める。このようにして、視線ベクトルｖが視線ベクトルｖ’に補正される。
なお、図１３では、眼球９００を眼球９００’まで回転させることで、角膜曲率中心ｃの位置が角膜曲率中心ｃ’の位置まで移動することになる。
Then, as shown in FIG. 13, the normal vector eyeball model line-of-sight error correction means 24b rotates the normal
In FIG. 13, by rotating the
その後、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、誤差が補正された視線（視線ベクトルｖ’）を出力する。本実施形態では、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、誤差が補正された視線を表示制御手段２１ｂに出力して、この視線を表示手段９２に表示させる。
なお、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、誤差が補正された視線の利用方法に応じて、様々な出力先に対して、任意の座標系で視線を出力できる。
Thereafter, the normal vector eyeball model line-of-sight error correction means 24b outputs the line of sight (line-of-sight vector v ′) with the error corrected. In the present embodiment, the normal vector eyeball model line-of-sight error correction unit 24b outputs the line of sight with the corrected error to the
Note that the normal vector eyeball model line-of-sight error correction unit 24b can output the line of sight in an arbitrary coordinate system to various output destinations according to the method of using the line of sight in which the error is corrected.
［視線誤差補正装置の動作］
以下、図１４を参照して、図１の視線誤差補正装置２０の動作について、説明する（適宜図１参照）。
視線誤差補正装置２０は、表示制御手段２１ｂによって、マーカ画像を、表示手段９２に表示させる（ステップＳ１：マーカ表示ステップ）。
視線誤差補正装置２０は、マーカ視線入力手段２１ａによって、視線測定装置１０Ａからマーカ視線が入力される（ステップＳ２：マーカ視線入力ステップ）。
[Operation of line-of-sight error correction device]
Hereinafter, the operation of the line-of-sight error correction apparatus 20 of FIG. 1 will be described with reference to FIG. 14 (see FIG. 1 as appropriate).
The line-of-sight error correction device 20 causes the
In the line-of-sight error correction device 20, the marker line-of-sight is input from the line-of-sight measurement device 10A by the marker line-of-sight input means 21a (step S2: marker line-of-sight input step).
視線誤差補正装置２０は、表示制御手段２１ｂによって、マーカ画像とポインタとを表示手段９２に表示させる（ステップＳ３：マーカ視線表示ステップ）。
視線誤差補正装置２０は、誤差情報入力手段２１ｃによって、外部から、誤差情報が入力される（ステップＳ４：誤差情報入力ステップ）。
The line-of-sight error correction device 20 causes the
The line-of-sight error correction device 20 receives error information from the outside by the error information input means 21c (step S4: error information input step).
視線誤差補正装置２０は、歪ベクトル算出手段２２によって、誤差情報に基づいて、マーカ画像と同一サイズでポインタの位置を示した平面画像から、ポインタをマーカに一致させた歪み平面を生成し、歪ベクトルを算出する（ステップＳ５：歪ベクトル算出ステップ）。 Based on the error information, the line-of-sight error correction device 20 generates a distortion plane in which the pointer coincides with the marker from the plane image showing the position of the pointer with the same size as the marker image, based on the error information. A vector is calculated (step S5: distortion vector calculation step).
視線誤差補正装置２０は、非球面眼球モデル生成手段２３によって、歪ベクトルに基づいて、各ユーザに対応した非球面眼球モデルを生成する。
つまり、差分角度眼球モデル生成手段２３ａは、画像座標系の歪ベクトルを眼球中心極座標系に座標変換することで、差分角度眼球モデルを生成する。
また、法線ベクトル眼球モデル生成手段２３ｂは、瞳孔中心極座標系において、前記した（３）式で法線ベクトルが定義された法線ベクトル眼球モデルを生成する（ステップＳ６：非球面眼球モデル生成ステップ）。
The line-of-sight error correction device 20 generates an aspheric eyeball model corresponding to each user based on the distortion vector by the aspheric eyeball model generation means 23.
That is, the difference angle eyeball model generation unit 23a generates a difference angle eyeball model by performing coordinate conversion of the distortion vector of the image coordinate system into the eyeball center polar coordinate system.
Further, the normal vector eyeball model generation means 23b generates a normal vector eyeball model in which the normal vector is defined by the above-described equation (3) in the pupil center polar coordinate system (step S6: aspheric eyeball model generation step). ).
視線誤差補正装置２０は、視線誤差補正手段２４によって、非球面眼球モデルに基づいて、視線の誤差を補正する。
つまり、差分角度眼球モデル視線誤差補正手段２４ａは、差分角度眼球モデルを参照して、眼球中心極座標系の原点を中心として、視線を差分角度だけ回転させることで、視線の誤差を補正する。
また、法線ベクトル眼球モデル視線誤差補正手段２４ｂは、法線ベクトル眼球モデルを参照して、プルキニエ像の位置にある法線ベクトルｎが撮影カメラを向くように法線ベクトル眼球モデルを回転させ、回転後の法線ベクトル眼球モデルにおいて、角膜曲率中心から瞳孔中心を向くベクトルを求めて、誤差が補正された視線として出力する（ステップＳ７：視線誤差補正ステップ）。
なお、ステップＳ１〜Ｓ６がモデル生成時の処理であり、ステップＳ７が視線誤差補正時の動作である。
The line-of-sight error correction device 20 corrects the line-of-sight error based on the aspheric eyeball model by the line-of-sight error correction means 24.
That is, the difference angle eyeball model line-of-sight
Further, the normal vector eyeball model line-of-sight error correcting means 24b refers to the normal vector eyeball model, rotates the normal vector eyeball model so that the normal vector n at the position of the Purkinje image faces the photographing camera, In the rotated normal vector eyeball model, a vector directed from the corneal curvature center to the pupil center is obtained and output as a line of sight with corrected error (step S7: line of sight error correction step).
Steps S1 to S6 are processes at the time of model generation, and step S7 is an operation at the time of line-of-sight error correction.
以上のように、本発明の実施形態に係る視線誤差補正装置２０は、視線座標変換・出力手段１４で座標変換されたマーカ視線を用いて、非球面眼球モデルを生成する。そして、視線誤差補正装置２０は、この非球面眼球モデルを視線誤差補正時に用いるため、個人キャリブレーションを繰り返し行う必要がなく、作業負担を少なくすることができる。さらに、視線誤差補正装置２０は、この非球面眼球モデルを用いて、球面眼球モデルの球面性と角膜形状の非球面性との相違に起因する誤差も補正できるため、視線の誤差を小さく抑えることができる
As described above, the line-of-sight error correction device 20 according to the embodiment of the present invention generates an aspheric eyeball model using the marker line of sight coordinate-converted by the line-of-sight coordinate conversion /
さらに、視線誤差補正装置２０は、簡易な座標変換で差分角度眼球モデルを生成することができる。
さらに、視線誤差補正装置２０は、瞳孔−角膜反射法と法線ベクトル眼球モデルとの基準位置が同一のため、視線誤差補正時に頭部が動いた場合でも、視線の誤差を補正することができる。
Furthermore, the line-of-sight error correction device 20 can generate a difference angle eyeball model by simple coordinate conversion.
Furthermore, since the reference position of the pupil-corneal reflection method and the normal vector eyeball model is the same, the gaze error correction device 20 can correct gaze errors even when the head moves during gaze error correction. .
例えば、従来の瞳孔−角膜反射法では、個人キャリブレーションを繰返し行って、最良のデータを用いた場合でも、表示画面の周辺部で視線に１°以上の誤差が発生する。一方、視線誤差補正装置２０では、表示画面の周辺部であっても視線の誤差を無視することができる。このように、視線誤差補正装置２０では、従来の瞳孔−角膜反射法に比べて、視線の誤差を小さく抑えることができる。 For example, in the conventional pupil-corneal reflection method, even when personal calibration is repeatedly performed and the best data is used, an error of 1 ° or more occurs in the line of sight at the periphery of the display screen. On the other hand, the line-of-sight error correction device 20 can ignore the line-of-sight error even at the periphery of the display screen. As described above, the line-of-sight error correction device 20 can suppress the line-of-sight error to be smaller than that of the conventional pupil-corneal reflection method.
ここで、法線ベクトル眼球モデルは、角膜表面の一様でない形状を法線ベクトルのマップで示した絶対的な非球面眼球モデルと言うこともできる。一方、差分角度眼球モデルは、瞳孔−角膜反射法の球面眼球モデルに対する相対的な差分角度（補正回転角度）を示す非球面眼球モデルと言うこともできる。何れの非球面眼球モデルを用いた場合でも、視線誤差補正装置２０は、視線の誤差を極めて小さくすることができる。以上の点を考慮して、視線誤差補正装置２０は、差分角度眼球モデル又は法線ベクトル眼球モデルの何れを用いるか、ユーザが手動で切り替えることができる。 Here, the normal vector eyeball model can also be said to be an absolute aspheric eyeball model in which the non-uniform shape of the corneal surface is shown by a map of normal vectors. On the other hand, the differential angle eyeball model can also be referred to as an aspherical eyeball model indicating a relative difference angle (corrected rotation angle) with respect to the spherical eyeball model of the pupil-corneal reflection method. Regardless of which aspheric eyeball model is used, the line-of-sight error correction device 20 can extremely reduce the line-of-sight error. In consideration of the above points, the gaze error correction device 20 can be manually switched by the user to use either the differential angle eyeball model or the normal vector eyeball model.
なお、本実施形態では、視線誤差補正装置２０は、差分角度眼球モデル及び法線ベクトル眼球モデルの両方を用いることとして説明したが、何れか一方のみを用いてもよい。つまり、視線誤差補正装置２０は、差分角度眼球モデル生成手段２３ａと差分角度眼球モデル視線誤差補正手段２４ａとの組み合わせ、又は、法線ベクトル眼球モデル生成手段２３ｂと法線ベクトル眼球モデル視線誤差補正手段２４ｂとの組み合わせの何れか一方のみを備えてもよい。さらに、視線誤差補正装置２０は、差分角度眼球モデル及び法線ベクトル眼球モデルの両方を組み合わせた非球面眼球モデル、例えば、瞳孔中心を基準とした極座標で、差分角度を保持する中間的な非球面眼球モデルを用いてもよい。
In the present embodiment, the line-of-sight error correction device 20 has been described as using both the differential angle eyeball model and the normal vector eyeball model, but only one of them may be used. That is, the line-of-sight error correction device 20 is a combination of the difference angle eyeball model generation unit 23a and the difference angle eyeball model line-of-sight
なお、本実施形態では、視線誤差補正装置２０は、非球面眼球モデル生成手段２３において、差分角度ベクトル及び法線ベクトルの補間を行うこととして説明したが、本発明は、これに限定されない。つまり、視線誤差補正装置２０は、歪ベクトル算出手段２２において、マーカの位置で算出された歪ベクトルを用いて、線形補間等の補間手法により、マーカがない位置の歪ベクトルを補間してもよい。
In the present embodiment, the line-of-sight error correction apparatus 20 has been described as performing the interpolation of the difference angle vector and the normal vector in the aspheric eyeball
なお、本実施形態では、視線誤差補正装置２０は、モデル生成を行った後、視線誤差補正を行うという一連の処理で説明したが、視線誤差補正の都度、非球面眼球モデルを生成しなくともよい。
例えば、視線誤差補正装置２０は、認証機能（ログイン機能）により各ユーザを認証する。そして、視線誤差補正装置２０は、各ユーザに対応する非球面眼球モデルが存在しない場合、そのユーザに対応する非球面眼球モデルを生成し、図示を省略した非球面眼球モデル記憶手段に格納する。以後、視線誤差補正装置２０は、そのユーザに対応する非球面眼球モデルを非球面眼球モデル記憶手段から読み出して、視線誤差補正を行えばよい。
In the present embodiment, the line-of-sight error correction apparatus 20 has been described with a series of processes of performing line-of-sight error correction after generating a model. However, it is not necessary to generate an aspheric eyeball model for each line-of-sight error correction. Good.
For example, the line-of-sight error correction device 20 authenticates each user with an authentication function (login function). Then, when there is no aspheric eyeball model corresponding to each user, the line-of-sight error correction device 20 generates an aspheric eyeball model corresponding to the user and stores it in the aspheric eyeball model storage unit (not shown). Thereafter, the line-of-sight error correction device 20 may read the aspheric eyeball model corresponding to the user from the aspheric eyeball model storage means and perform the line-of-sight error correction.
なお、本実施形態では、歪み平面がＮＵＲＢＳ曲面であることとして説明したが、本発明は、これに限定されない。つまり、本発明において、歪み平面は、ベジエ曲線又はＢスプライン曲線で構成される曲面といった、コントロールポイントにより変形できるパラメトリック曲面であればよい。何れの曲面を用いた場合でも、視線誤差補正装置２０は、コントロールポイントの数を増やせば、任意の歪み曲面を表現可能である。 In the present embodiment, the strain plane is described as a NURBS curved surface, but the present invention is not limited to this. That is, in the present invention, the distortion plane may be a parametric curved surface that can be deformed by a control point, such as a curved surface constituted by a Bezier curve or a B-spline curve. Regardless of which curved surface is used, the line-of-sight error correction device 20 can express an arbitrary distorted curved surface by increasing the number of control points.
なお、本実施形態では、ポインタをテクスチャマッピングとして表示することとして説明した。このとき、円形のポインタは、平面画像を歪ませると、これに伴って歪んでしまう。これを回避したい場合、視線誤差補正装置２０は、ポインタのＵＶ座標を導いて、このＵＶ座標に円形のポインタを配置すればよい。 In the present embodiment, the pointer has been described as being displayed as texture mapping. At this time, when the planar pointer is distorted, the circular pointer is distorted accordingly. When it is desired to avoid this, the line-of-sight error correction device 20 may guide the UV coordinates of the pointer and place a circular pointer at the UV coordinates.
なお、本実施形態では、従来の球面眼球モデルを前提とした個人キャリブレーションを行わないこととして説明してが、本発明は、前記した個人キャリブレーションを行ってもよい。つまり、視線測定装置１０Ａは、個人キャリブレーション手段１３を備えてもよい。
In the present embodiment, it is described that the personal calibration based on the conventional spherical eyeball model is not performed, but the present invention may perform the above-described personal calibration. That is, the line-of-sight measurement device 10 </ b> A may include the
なお、本実施形態では、視線測定・誤差補正装置１を独立した装置として説明したが、本発明は、これに限定されない。つまり、本発明は、一般的なコンピュータを視線測定・誤差補正装置１の各手段として動作させる視線誤差補正プログラムにより、実現することもできる。
In the present embodiment, the line-of-sight measurement /
また、本発明では、スマートフォン又はタブレット端末に視線誤差補正プログラムをインストールしてもよい。この場合、ユーザは、ポインタの中心をマーカに一致させるように、スマートフォン又はタブレット端末の表示画面（表示手段９２）を指でなぞる操作を行うことで、誤差情報を入力できる。そして、本発明をスマートフォン又はタブレット端末で実現した場合、ユーザがスマートフォン又はタブレット端末を大きく動かすことで、表示画面とユーザの頭部との位置関係が大きく変化する場合でも、正確な視線を測定することができる。 In the present invention, a line-of-sight error correction program may be installed in a smartphone or tablet terminal. In this case, the user can input error information by performing an operation of tracing the display screen (display unit 92) of the smartphone or tablet terminal with a finger so that the center of the pointer matches the marker. And when this invention is implement | achieved with the smart phone or the tablet terminal, even when the positional relationship of a display screen and a user's head changes a lot because a user moves a smart phone or a tablet terminal largely, an exact eyes | visual_axis is measured. be able to.
（変形例）
以下、図１５を参照して、本発明の変形例に係る視線誤差補正装置２０Ｂについて、第１実施形態と異なる点を説明する。
図１の視線誤差補正装置２０は、ユーザがマーカと異なる位置を見た場合に補間計算を行う必要がある。そこで、視線誤差補正装置２０Ｂは、予め補間演算を行って、その演算結果をルックアップテーブルに格納する。
(Modification)
Hereinafter, with reference to FIG. 15, a difference from the first embodiment regarding the line-of-sight error correction device 20 </ b> B according to the modification of the present invention will be described.
The line-of-sight error correction device 20 in FIG. 1 needs to perform interpolation calculation when the user sees a position different from the marker. Therefore, the line-of-sight
ルックアップテーブル生成手段２５は、歪ベクトル算出手段２２から歪ベクトルが入力され、この歪ベクトルを画像座標系で予め設定されたサイズの小領域に対応付けることで、ルックアップテーブルを生成するものである。
ここで、ルックアップテーブル生成手段２５は、１以上の画素で構成される小領域に画像座標系を分割する。そして、ルックアップテーブル生成手段２５は、画素単位で算出された歪ベクトルを各小領域に対応付けて、ルックアップテーブルを生成する。このとき、ルックアップテーブル生成手段２５は、歪ベクトルを対応付けできなかった各小領域について、線形補間等の補間手法により、その小領域の歪ベクトルを補間してもよい。
The look-up
Here, the look-up table generating means 25 divides the image coordinate system into small areas composed of one or more pixels. Then, the look-up table generating means 25 generates a look-up table by associating the distortion vector calculated for each pixel with each small region. At this time, the look-up table generating means 25 may interpolate the distortion vectors of the small areas for each small area that could not be associated with the distortion vectors by an interpolation method such as linear interpolation.
なお、視線誤差補正装置２０Ｂは、入出力制御手段２１、歪ベクトル算出手段２２及び視線誤差補正手段２４が図１の各手段と同様のため、詳細な説明を省略する。
また、非球面眼球モデル生成手段２３Ｂは、ルックアップテーブル生成手段２５が生成したルックアップテーブルの歪ベクトルを用いる以外、図１と同様のため、詳細な説明を省略する。
In the line-of-sight
Further, the aspheric eyeball
以上のように、本発明の変形例に係る視線誤差補正装置２０Ｂは、ルックアップテーブルを参照することで、補間計算を都度行う必要がなくなり、演算処理の高速化を図ることができる。
なお、視線誤差補正装置２０Ｂは、２次元の画像処理しか行っていないため、頭部が動くと誤差が生じることになる。
As described above, the line-of-sight
Since the line-of-sight
１，１Ｂ 視線測定・誤差補正装置
１０，１０Ａ 視線測定装置
１１ 瞳孔・プルキニエ像検出手段
１２ 視線ベクトル・基準点算出手段
１３ 個人キャリブレーション手段
１４ 視線座標変換・出力手段
２０，２０Ｂ 視線誤差補正装置
２１ 入出力制御手段
２２ 歪ベクトル算出手段
２３，２３Ｂ 非球面眼球モデル生成手段
２４ 視線誤差補正手段
２５ ルックアップテーブル生成手段
1,1B Gaze measurement / error correction device 10, 10A
Claims (6)
所定位置にマーカが配置されたマーカ画像と、前記瞳孔−角膜反射法で測定された前記マーカに対するマーカ視線の位置とを表示手段に表示させる表示制御手段と、
前記表示手段に表示されたマーカとマーカ視線との位置ずれを示す誤差情報が入力される誤差情報入力手段と、
前記誤差情報入力手段に入力された誤差情報に基づいて、前記マーカ画像と同一サイズで前記マーカ視線の位置を示した平面画像から、前記マーカ視線の位置を前記マーカに一致させるように歪ませた歪み平面を生成し、画像座標系で前記歪み平面の歪みを示す歪ベクトルを算出する歪ベクトル算出手段と、
前記歪ベクトルに基づいて、非球面な角膜形状を示す非球面眼球モデルを生成する非球面眼球モデル生成手段と、
前記非球面眼球モデル生成手段で生成された非球面眼球モデルに基づく回転により、前記瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正手段と、
を備えることを特徴とする視線誤差補正装置。 A gaze error correction device that corrects a gaze error measured by a pupil-corneal reflection method using a spherical eyeball model,
Display control means for displaying on the display means a marker image in which a marker is arranged at a predetermined position and the position of the marker line of sight with respect to the marker measured by the pupil-corneal reflection method;
Error information input means for inputting error information indicating a positional deviation between the marker displayed on the display means and the marker line of sight;
Based on the error information input to the error information input means, from the plane image showing the position of the marker line of sight with the same size as the marker image, the position of the marker line of sight is distorted to match the marker A strain vector calculating means for generating a strain plane and calculating a strain vector indicating the strain of the strain plane in an image coordinate system;
An aspheric eyeball model generating means for generating an aspheric eyeball model indicating an aspheric cornea shape based on the strain vector;
Gaze error correction means for correcting a gaze error measured by the pupil-corneal reflection method by rotation based on the aspheric eyeball model generated by the aspheric eyeball model generation means;
A line-of-sight error correction device comprising:
前記非球面眼球モデルとして、前記画像座標系の歪ベクトルを、眼球中心を原点とする眼球中心極座標系に座標変換することで、前記球面眼球モデルに対する視線の差分角度を示す差分角度眼球モデルを生成する差分角度眼球モデル生成手段、を備え、
前記視線誤差補正手段は、
前記差分角度眼球モデルを参照して、前記眼球中心極座標系の原点を中心として、前記瞳孔−角膜反射法で測定された視線を前記差分角度だけ回転させることで、当該視線の誤差を補正する差分角度眼球モデル視線誤差補正手段、
を備えることを特徴とする請求項１に記載の視線誤差補正装置。 The aspheric eyeball model generation means includes
As the aspheric eyeball model, a distortion angle vector of the image coordinate system is transformed to an eyeball center polar coordinate system with the eyeball center as an origin, thereby generating a difference angle eyeball model indicating a difference angle of the line of sight with respect to the spherical eyeball model. Differential angle eyeball model generating means for
The line-of-sight error correcting means includes
Referring to the difference angle eyeball model, a difference for correcting an error of the line of sight by rotating the line of sight measured by the pupil-corneal reflection method by the difference angle around the origin of the eyeball central polar coordinate system Angle eyeball model gaze error correction means,
The line-of-sight error correction apparatus according to claim 1, comprising:
前記瞳孔−角膜反射法で測定された視線を測定するための撮影カメラの位置ｌと、眼球の回転角度θと、角膜表面上でプルキニエ像の位置ｕ’θと、瞳孔中心の位置（ｘθ，ｙθ，ｚθ）と、前記撮影カメラの位置ｌを基点に前記歪ベクトルが示す当該撮影カメラの仮想位置ｌ’とし、前記瞳孔中心を原点とした瞳孔中心極座標系において、以下の（３）式で法線ベクトルｎθが定義された法線ベクトル眼球モデルを前記非球面眼球モデルとして生成する法線ベクトル眼球モデル生成手段、を備え、
前記視線誤差補正手段は、
前記法線ベクトル眼球モデルを参照して、前記プルキニエ像の位置にある法線ベクトルが前記撮影カメラを向く回転角を算出し、算出した前記回転角だけ前記法線ベクトル眼球モデルを回転させ、回転後の前記法線ベクトル眼球モデルにおいて、角膜曲率中心から前記瞳孔中心を向くベクトルを、誤差が補正された前記視線として出力する法線ベクトル眼球モデル視線誤差補正手段、
を備えることを特徴とする請求項１に記載の視線誤差補正装置。
The position 1 of the photographing camera for measuring the line of sight measured by the pupil-corneal reflection method, the rotation angle θ of the eyeball, the position u ′ θ of the Purkinje image on the cornea surface, and the position of the pupil center (x θ , Y θ , z θ ) and a virtual position l ′ of the photographing camera indicated by the distortion vector with the position l of the photographing camera as a base point, in the pupil center polar coordinate system with the pupil center as the origin, the following (3 A normal vector eyeball model generating means for generating, as the aspheric eyeball model, a normal vector eyeball model in which a normal vector n θ is defined by
The line-of-sight error correcting means includes
Referring to the normal vector eyeball model, calculate a rotation angle at which the normal vector at the position of the Purkinje image faces the imaging camera, rotate the normal vector eyeball model by the calculated rotation angle, and rotate In the normal vector eyeball model later, a normal vector eyeball model line-of-sight error correction means for outputting a vector directed from the corneal curvature center to the pupil center as the line of sight in which the error is corrected,
The line-of-sight error correction apparatus according to claim 1, comprising:
前記非球面眼球モデル生成手段は、前記テーブル生成手段が生成したルックアップテーブルを参照して、前記非球面眼球モデルを生成することを特徴とする請求項１から請求項３の何れか一項に記載の視線誤差補正装置。 Lookup table generation means for generating a lookup table by associating the distortion vector calculated by the distortion vector calculation means with a small area having a size set in advance in the image coordinate system,
4. The aspheric eyeball model generation unit generates the aspheric eyeball model with reference to a lookup table generated by the table generation unit. The line-of-sight error correction device described.
所定位置にマーカが配置されたマーカ画像と、前記瞳孔−角膜反射法で測定された前記マーカに対するマーカ視線の位置とを表示手段に表示させる表示制御手段、
前記表示手段に表示されたマーカとマーカ視線との位置ずれを示す誤差情報が入力される誤差情報入力手段、
前記誤差情報入力手段に入力された誤差情報に基づいて、前記マーカ画像と同一サイズで前記マーカ視線の位置を示した平面画像から、前記マーカ視線の位置を前記マーカに一致させるように歪ませた歪み平面を生成し、画像座標系で前記歪み平面の歪みを示す歪ベクトルを算出する歪ベクトル算出手段、
前記歪ベクトルに基づいて、非球面な角膜形状を示す非球面眼球モデルを生成する非球面眼球モデル生成手段、
前記非球面眼球モデル生成手段で生成された非球面眼球モデルに基づく回転により、前記瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正手段、
として機能させるための視線誤差補正プログラム。 In order to correct gaze errors measured by pupil-corneal reflection method using a spherical eyeball model,
Display control means for displaying on the display means a marker image in which a marker is arranged at a predetermined position and a position of the marker line of sight with respect to the marker measured by the pupil-corneal reflection method;
Error information input means for inputting error information indicating a positional deviation between the marker displayed on the display means and the marker line of sight;
Based on the error information input to the error information input means, from the plane image showing the position of the marker line of sight with the same size as the marker image, the position of the marker line of sight is distorted to match the marker A strain vector calculating means for generating a strain plane and calculating a strain vector indicating the strain of the strain plane in an image coordinate system;
An aspheric eyeball model generating means for generating an aspheric eyeball model showing an aspheric cornea shape based on the strain vector;
A line-of-sight error correction unit that corrects a line-of-sight error measured by the pupil-corneal reflection method by rotation based on the aspherical eyeball model generated by the aspherical eyeball model generation unit;
Line-of-sight error correction program to function as
表示制御手段が、所定位置にマーカが配置されたマーカ画像を表示手段に表示させるマーカ表示ステップと、
マーカ視線入力手段が、前記瞳孔−角膜反射法で測定された前記マーカに対するマーカ視線が入力されるマーカ視線入力ステップと、
前記表示制御手段が、前記マーカ画像と、前記マーカ視線の位置とを前記表示手段に表示させるマーカ視線表示ステップと、
誤差情報入力手段が、前記表示手段に表示されたマーカとマーカ視線との位置ずれを示す誤差情報が入力される誤差情報入力ステップと、
歪ベクトル算出手段が、前記誤差情報に基づいて、前記マーカ画像と同一サイズで前記マーカ視線の位置を示した平面画像から、前記マーカ視線の位置を前記マーカに一致させるように歪ませた歪み平面を生成し、画像座標系で前記歪み平面の歪みを示す歪ベクトルを算出する歪ベクトル算出ステップと、
非球面眼球モデル生成手段が、前記歪ベクトルに基づいて、非球面な角膜形状を示す非球面眼球モデルを生成する非球面眼球モデル生成ステップと、
視線誤差補正手段が、前記非球面眼球モデルに基づく回転により、前記瞳孔−角膜反射法で測定された視線の誤差を補正する視線誤差補正ステップと、
を順に実行することを特徴とする視線誤差補正方法。 A line-of-sight error correction method of a line-of-sight error correction apparatus for correcting line-of-sight error measured by a pupil-corneal reflection method using a spherical eyeball model,
A marker display step for causing the display means to display a marker image in which the marker is arranged at a predetermined position on the display means;
A marker line-of-sight input step in which a marker line-of-sight input to the marker measured by the pupil-corneal reflection method is input;
A marker visual line display step in which the display control means causes the display means to display the marker image and the position of the marker visual line;
An error information input step in which error information input means inputs error information indicating a positional deviation between the marker displayed on the display means and the marker line of sight;
A distortion plane in which a distortion vector calculation unit is distorted so as to match the position of the marker line of sight with the marker from a plane image showing the position of the marker line of sight with the same size as the marker image based on the error information And a distortion vector calculation step of calculating a distortion vector indicating distortion of the distortion plane in the image coordinate system;
An aspheric eyeball model generating means for generating an aspheric eyeball model showing an aspheric cornea shape based on the strain vector;
A line-of-sight error correcting step, wherein the line-of-sight error correcting means corrects a line-of-sight error measured by the pupil-corneal reflection method by rotation based on the aspheric eyeball model;
A line-of-sight error correction method characterized by sequentially executing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012056073A JP5873362B2 (en) | 2012-03-13 | 2012-03-13 | Gaze error correction apparatus, program thereof, and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012056073A JP5873362B2 (en) | 2012-03-13 | 2012-03-13 | Gaze error correction apparatus, program thereof, and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013190942A true JP2013190942A (en) | 2013-09-26 |
| JP5873362B2 JP5873362B2 (en) | 2016-03-01 |
Family
ID=49391130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012056073A Expired - Fee Related JP5873362B2 (en) | 2012-03-13 | 2012-03-13 | Gaze error correction apparatus, program thereof, and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5873362B2 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018505457A (en) * | 2014-11-06 | 2018-02-22 | インテル コーポレイション | Improved calibration for eye tracking system |
| JP2019000136A (en) * | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | Visual line measurement device and program |
| CN109669396A (en) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | A kind of changing distance line interpolation method of axisymmetric aspheric surface |
| JP2020099699A (en) * | 2013-03-12 | 2020-07-02 | オプターネイティヴ インコーポレイテッド | Computer readable medium for determination of corrective lens prescription for patient |
| CN111493809A (en) * | 2014-12-17 | 2020-08-07 | 索尼公司 | Information processing apparatus and method, glasses-type terminal, and storage medium |
| JP2021035630A (en) * | 2020-12-02 | 2021-03-04 | 株式会社トプコン | Ophthalmologic examination apparatus |
| JP2021037385A (en) * | 2020-12-09 | 2021-03-11 | 株式会社トプコン | Ophthalmologic examination device |
| US11972049B2 (en) | 2017-08-23 | 2024-04-30 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| JP7492951B2 (en) | 2018-09-21 | 2024-05-30 | ニューラブル インコーポレイテッド | Human/Computer Interface Using Fast and Accurate Tracking of User Interactions - Patent application |
| US12001602B2 (en) | 2017-11-13 | 2024-06-04 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003079577A (en) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same |
| JP2006285715A (en) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | Sight line detection system |
| JP2010259605A (en) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
-
2012
- 2012-03-13 JP JP2012056073A patent/JP5873362B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003079577A (en) * | 2001-09-12 | 2003-03-18 | Nippon Telegr & Teleph Corp <Ntt> | Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same |
| JP2006285715A (en) * | 2005-04-01 | 2006-10-19 | Konica Minolta Holdings Inc | Sight line detection system |
| JP2010259605A (en) * | 2009-05-01 | 2010-11-18 | Nippon Hoso Kyokai <Nhk> | Visual line measuring device and visual line measuring program |
| JP2011172853A (en) * | 2010-02-25 | 2011-09-08 | Kobe Univ | Device, method and program for measuring visual axis |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020099699A (en) * | 2013-03-12 | 2020-07-02 | オプターネイティヴ インコーポレイテッド | Computer readable medium for determination of corrective lens prescription for patient |
| JP2018505457A (en) * | 2014-11-06 | 2018-02-22 | インテル コーポレイション | Improved calibration for eye tracking system |
| US11635806B2 (en) | 2014-12-17 | 2023-04-25 | Sony Corporation | Information processing apparatus and information processing method |
| CN111493809A (en) * | 2014-12-17 | 2020-08-07 | 索尼公司 | Information processing apparatus and method, glasses-type terminal, and storage medium |
| JP2019000136A (en) * | 2017-06-09 | 2019-01-10 | 株式会社豊田中央研究所 | Visual line measurement device and program |
| US11972049B2 (en) | 2017-08-23 | 2024-04-30 | Neurable Inc. | Brain-computer interface with high-speed eye tracking features |
| US12001602B2 (en) | 2017-11-13 | 2024-06-04 | Neurable Inc. | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions |
| JP7492951B2 (en) | 2018-09-21 | 2024-05-30 | ニューラブル インコーポレイテッド | Human/Computer Interface Using Fast and Accurate Tracking of User Interactions - Patent application |
| CN109669396A (en) * | 2018-12-04 | 2019-04-23 | 天津津航技术物理研究所 | A kind of changing distance line interpolation method of axisymmetric aspheric surface |
| CN109669396B (en) * | 2018-12-04 | 2021-11-05 | 天津津航技术物理研究所 | Variable interval linear interpolation method for axisymmetric aspheric surface |
| JP7034242B2 (en) | 2020-12-02 | 2022-03-11 | 株式会社トプコン | Ophthalmic examination equipment |
| JP2021035630A (en) * | 2020-12-02 | 2021-03-04 | 株式会社トプコン | Ophthalmologic examination apparatus |
| JP7034243B2 (en) | 2020-12-09 | 2022-03-11 | 株式会社トプコン | Ophthalmic examination equipment |
| JP2021037385A (en) * | 2020-12-09 | 2021-03-11 | 株式会社トプコン | Ophthalmologic examination device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5873362B2 (en) | 2016-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5873362B2 (en) | Gaze error correction apparatus, program thereof, and method thereof | |
| US9244529B2 (en) | Point-of-gaze estimation robust to head rotations and/or device rotations | |
| WO2017186016A1 (en) | Method and device for image warping processing and computer storage medium | |
| JP6594129B2 (en) | Information processing apparatus, information processing method, and program | |
| US10623721B2 (en) | Methods and systems for multiple access to a single hardware data stream | |
| WO2015190204A1 (en) | Pupil detection system, gaze detection system, pupil detection method, and pupil detection program | |
| JP6008397B2 (en) | AR system using optical see-through HMD | |
| US20150029322A1 (en) | Method and computations for calculating an optical axis vector of an imaged eye | |
| JP2010259605A (en) | Visual line measuring device and visual line measuring program | |
| WO2018106220A1 (en) | Systems and methods for tracking motion and gesture of heads and eyes | |
| JP2020525844A (en) | Method, device and computer program for virtual adaptation of eyeglass frames | |
| CN109615664B (en) | Calibration method and device for optical perspective augmented reality display | |
| CN109947253B (en) | Eyeball tracking model establishing method, eyeball tracking method, equipment and medium | |
| US11181978B2 (en) | System and method for gaze estimation | |
| US20230255476A1 (en) | Methods, devices and systems enabling determination of eye state variables | |
| JP2009297323A (en) | Visual axis measuring apparatus | |
| US20180031868A1 (en) | Spectacle wearing parameter measurement system, measurement program, measurement method thereof, and manufacturing method of spectacle lens | |
| US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
| KR20200006621A (en) | Methods, apparatus, and computer programs for determining near vision points | |
| CN109308472B (en) | Three-dimensional sight estimation method based on iris projection matching function | |
| Kang et al. | A robust extrinsic calibration method for non-contact gaze tracking in the 3-D space | |
| JP2016130693A (en) | Image data processing method, image data processing apparatus, and image data processing program | |
| Lee et al. | A calibration method for eye-gaze estimation systems based on 3D geometrical optics | |
| WO2022262201A1 (en) | Facial three-dimensional model visualization method and apparatus, electronic device, and storage medium | |
| CN115100257A (en) | Sleeve alignment method and device, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150202 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5873362 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |