JP3726122B2

JP3726122B2 - Gaze detection system

Info

Publication number: JP3726122B2
Application number: JP2001114581A
Authority: JP
Inventors: 圭司松田; 武司永見
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2000-07-28
Filing date: 2001-04-12
Publication date: 2005-12-14
Anticipated expiration: 2021-04-12
Also published as: JP2002102172A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラに対する視線ベクトルを求める視線検出方法及びシステムに関する。特に、本発明は、反射光重心位置検出、反射光検出、視線検出方法の自動切り替え、頭部のズレの自動補正、NTSC信号による画像の処理、瞳孔検出、瞳孔を楕円で近似する際の精度向上、目蓋のかかり具合の検出、検出の精度の計測に関する。
【０００２】
【従来の技術】
従来より、視線位置を計測する簡便な視線位置計測システムが求められている。このようなシステムを、より低価格で提供することができるならば、例えば、以下のような分野に使用できると考えられる。
1)視覚に関する心理学的研究
2)医療検査
3)マンマシンインターフェース（視線入力装置）
4)3)と重なるが障害者に対する補助装置。
5)ヘッドマウントディスプレーに内蔵し、視線入力装置として用いる。
6)装置を２台用い、カメラの位置を厳密に設定することにより、両眼の視差を受動的な校正（視標を提示して、凝視してもらうのでは無く、だだ、眼を動かすだけ）で計測することができる。医療検査、心理実験、行動実験などに用いることができる。
【０００３】
先に、本出願人は、視線検出方法及びシステムについての提案をした（特願２０００−２２８１６３）。この提案について、図１〜図８を参照して説明する。 CCDカメラにより、人もしくはサルの眼球を撮影する。瞳孔を暗く撮影するため、赤外線LEDにて照明を行う。カメラ、光源、及び眼球の位置関係を、図１に示す。カメラは、眼球の略水平方向の前方に位置するよう図示しているが、カメラの位置は、瞳孔が撮影できる範囲で任意の場所に設定することができる。光源も、反射位置が角膜上になる場所ならば、任意の場所に配置させることができる。CCDカメラには、図２のような映像が撮影される。
【０００４】
図１を簡略化して、瞳孔中心、角膜曲率中心、眼球回転中心を書き入れた図を図３に示す。簡略化した図３において、反射点が生ずる場所を図４に示す。反射点は、光源、角膜曲率中心、カメラを結ぶ角の２等分線と角膜の交わる位置に生じる。角膜曲率中心と反射点を結ぶベクトルとを反射光ベクトルと名付ける。（光源は、無限遠にあると仮定する。カメラには、平行投影されると仮定する。）
【０００５】
眼球が動いた時、反射点と角膜曲率中心の位置関係を図５に記する。光源が、十分遠くにあれば、角膜曲率中心への反射光ベクトルの角度は、眼球が回転しても同一になる。そのため、眼球が回転しても、角膜曲率中心と反射点の距離が一定に保たれる。図５は、x方向の距離のみを表している。図６に、カメラ方向から撮影された時の、角膜曲率中心と、反射点の位置関係を表示する。
反射点、角膜曲率中心、瞳孔中心、眼球回転中心の位置関係は図７で表される。この図を、簡略化すると図８になる。
【０００６】
カメラにより複数の画像を取り込み、それぞれの画像について、反射光形状、瞳孔形状を計測して、反射光重心位置、瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、瞳孔中心を計算することができる。
このような視線検出方法及びシステムには以下のような問題点があった。
i)反射光重心位置計測について
１）瞳孔中心を領域の中心とする120x90 pixelの画像を3pixel置きに取り出し40x30の画像を生成する。
２）ある閾値以上の点を取り出し、それを塊毎にラベルをつけてゆく。
３）一定以上の大きさがあり、かつ瞳孔中心に最も近い塊の重心を測定する。
という方法で行っていた。
しかし、この反射光重心位置計測方法には、以下の問題点があった。
１）反射点の大きさが小さいと、取りこぼされてしまう。
２）反射点が複数ある場合、間違った反射点を選んでしまう（角膜上には、n次プルキニエ反射が存在する。注目しているのは、１次反射である）。
【０００７】
ii)反射光選別について
上述の方法では、検出したものを全て用いていたため、選別は行っていなかった。
そのため、図９にあるように、角膜上ではなく、強膜上で反射した場合の反射光を検出して計算を行ってしまう。このような場合は、反射点が角膜上にあるという前提がなくなり、計算結果が正確でなくなってしまう。このような場合は、計算不能とする必要がある。
【０００８】
iii)自動方式切り替えについて。
先に提案した方法は、校正の後、被験者の瞳孔中心位置と反射光重心から視線位置を求めることが可能である。しかし、この方法は、頭部が動いても計測が可能という利点があるが、反射点が角膜上から外れてしまうと計測できなくなることになる。瞳孔中心のみから測定する場合に比べ測定範囲が狭い。
【０００９】
iv)瞳孔中心-眼球回転中心方法の自動補正
上述の提案した方法は、頭部が動いてしまうと正確な計測ができなかった。頭部を固定して計測している場合でも、断続的なずれが生じる場合があり、その場合は再校正を行わないといけなかった。
【００１０】
v)６０Hzで計測を行う場合
NTSC信号を用いて計測する際に、フレーム単位で無く、フィールドにわけて計算する場合、偶数フィールドと奇数フィールドは、上下方向に互い違いになっている。先に提案した方法のようにして、眼球回転中心-角膜曲率中心距離を計測したり、或いは、カメラに対する視線ベクトルを求める場合に値（眼球回転中心位置、反射光重心位置-角膜曲率中心位置関係、瞳孔中心位置、反射点位置等）をフィールドの区別なく計算した場合、フィールド毎に上下に振動した計測値を得ることになる。
【００１１】
vi)瞳孔を検出する際の閾値の複数使用について。
瞳孔の検出方法は、つぎの二段階で検出を行っている。
１）8pixelごとに画像をサンプルし、瞳孔のおおまかな位置を検出する。
２）おおまかな楕円をもとめその近傍を探査し、瞳孔の縁を検出する。
先に提案した方法は、この二段階共に同一の閾値を用いていた。ノイズが多い場合（瞳孔と同じくらい暗い場所が多い場合）第一段階でおおまかな検出に失敗する場合があった。そのような場合は、閾値を下げることによりノイズを減らすことが可能であるが、そのような処理を行うと、瞳孔の縁を正確に検出できなくなってしまうことがあった。
【００１２】
vii)瞳孔の縁の検出方法について
楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去する。楕円には、次のような幾何学的な性質がある。図１０に示すように、楕円と交わる３本の平行な直線l、m、n を考える。l、n はm から等距離にあるとする。楕円と直線l との交点をa、b 、直線n の交点をc、d とする。楕円と直線m の交点の中点をo とする。a、b の中点とc、d の中点を結ぶ線の中点をo'とすると、o'はo と重なるという性質がある。瞳孔の画像について瞳孔画像のほぼ中央に引いた直線m から等距離にあるN 個の平行線の組のo'i （i=1‐N）に当たる点を求める。求められた点は、直線m の上に分布する。誤って検出された縁が十分少ないときは、最も多くの点o'が集まった位置がo の位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。
どのくらい離れていたら、除外するかは、プログラムで指定することにより、許容範囲の設定が可能になる。４点が相補的に誤差を含んでしまった場合には、除外されなくなるが、確率的にそのようなことは起こりにくい。o に十分近いo'i を持つ点a i ,b i ,c i ,d i は、楕円の軌跡上の点なので、これらの点の座標を［数１］に代入し正確な楕円近似を行うことができる。（電子情報通信学会技術研究報告書 vol.100 no.47 「視線位置計測システムの開発」 ISSN0913-5685、TL2000-1-6「思考と言語」2000年５月１２日より抜粋）
【数１】

上記の連立方程式を解くことにより、最小自乗法により以下の楕円の方程式［数２］の係数を求めることができる。
【数２】

【００１３】
ix)瞳孔の検出の精度について（横方向に入ったノイズの割り合い）。
反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合の、定量的な評価が無かった。
【００１４】
【発明が解決しようとする課題】
そこで、本発明は、係る問題点を解決して、反射点の大きさが小さい場合、或いは反射点が複数ある場合にも、誤り無く反射光重心位置を計測することを目的としている。
また、本発明は、校正時に、反射点の幅と高さの平均を求め、かつ、計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことを目的としている。
また、本発明は、瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことを目的としている。
また、本発明は、反射点が計測できない場合であっても、再校正なしに、瞳孔中心のみで視線方向を計算することを目的としている。
また、本発明は、計測に用いる値をフィールド毎に求めて、フィールド毎のばらつきをなくすることを目的としている。
また、本発明は、瞳孔の縁を正確に検出することを目的としている。
また、本発明は、高精度に、楕円を求めることを目的としている。
また、本発明は、どの程度目蓋がおりてきていたら、計測を中断するかの定量的な評価を行うことを目的としている。
また、本発明は、反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合に、定量的な評価をすることを目的としている。
【００１５】
【課題を解決するための手段】
本発明の視線検出方法及びシステムは、頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する。反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、その後、反射位置を求める際に、瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から反射光重心位置(rx,ry)を予測し、その近傍のみを探すことにより反射光重心位置を計測する。
【００１６】
また、本発明は、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、その校正時に、反射光の幅、高さを記録し、以後の反射点計測の際に、幅高さの値を比較することによって、不正な反射光を取り除く。
また、本発明は、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測する方法と計測された値と瞳孔中心位置を用いて視線位置計測する方法を自動的に切り替えて視線位置計測を行う。
【００１７】
また、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)から眼球回転中心(xo,yo)を計算し、頭部の動きを検出し、新たな眼球回転中心を設定することにより、瞳孔中心位置を用いて視線位置計測を行う際に、頭部の動きのズレを補正する。
【００１８】
また、本発明は、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の不動点である眼球回転中心-角膜曲率中心距離を計測し、NTSCにおける入力の際は、前述の計測値は、フィールド毎に独立に計測し、その値を用いて視線位置計測を行う。
【００１９】
【発明の実施の形態】
以下、本発明の視線検出方法及びシステムを例示に基づき説明する。
i)反射光重心位置計測について
１）図１１は、反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図であり、また、図１２は、その眼球を横方向から見た図である。
瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)が分かっている場合には、以下の式より反射光重心位置(rx,ry)を予測することができる。
rx=(xp-xo)*rr/r+xo+alpha
ry=(yp-yo)*rr/r+yo+beta
２）予測点を中心とした、40x30pixelの画像を生成する。
３）ある閾値以上の点を取り出し、それを塊毎にラベルをつけてゆく。
４）一定以上の大きさがあり、かつ予測に最も近い塊の重心を測定する。
【００２０】
図１３に示す画像から、反射光重心を計測する例を考える。画面の十字は、瞳孔中心位置を表している。十字の上の白い点が、第１プルキニエ像、右下の白い点が第２プルキニエ像である。いずれも照明光の反射であるが、眼球内の反射する場所が異なるため複数の反射像が出現する。
１）瞳孔中心位置（xp,yp）、眼球回転中心位置（xo,yo）、角膜曲率中心（α、β）、瞳孔中心回転半径r、角膜曲率中心回転半径rrがすでにわかっている際、反射光重心位置(rx,ry)を上記の式より予測する。
２）予測位置は図１４のXの位置になる。Xを中心とした四角で示した40x30pixelの画像より反射光重心を求める。
３）ある閾値以上の点を取り出だしラベリングをおこない、一定以上の大きさがあり、重心が予測値に最も近いものを選ぶ。図１５において反射光重心を十字で表した。
【００２１】
ii)反射光選別について
校正時に反射点の幅と高さの平均を求める。計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことが可能となる。図１６に示された反射点の大きさは、縦６pixel 横７pixelである。これは、平均値からの差が十分に小さい。どの程度の誤差を許容するかはプログラムによって設定可能である。
図１７に示すように、反射光が強膜に存在するときは、大きさが大きく異なる（縦１９pixel横５０pixel）。この場合は、反射点を用いた計測は断念する。
【００２２】
iii)自動方式切り替えについて。
瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことができる。
反射点が強膜上に存在すると、反射点を用いた視線計測ができない。しかし、この状態でも、瞳孔中心座標の計測は可能である。瞳孔中心-眼球回転中心法により、視線方向を求めることが可能である。眼球回転中心の動きについては、自動補正により、修正を行うことにより対応する。
【００２３】
iv)瞳孔中心-眼球回転中心方法の自動補正
視線方向を瞳孔中心位置（xp,yp）、眼球回転中心（xo,yo）瞳孔中心回転半径ｒより求めることができる。カメラに対する視線方向は、以下の［数３］で表すことができる。
【数３】

頭部が動かないときは、瞳孔回転中心(xo,yo)は、一定値である。しかし、どのように頭部を固定しても、動いてしまう場合がある。従来は、頭部が動いてしまった場合は、再度校正を行っていたが、これを、反射点を用いて自動的に校正を行う方法を提案する。
瞳孔中心位置と反射光重心から眼球回転中心を求めることができる。瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)から眼球回転中心(xo,yo)とすると以下の式で求められる。
xo=(rx-alpha-xp*rr/r)/(1-rr/r)
yo=(ry-beta-yp*rr/r)/(1-rr/r)
反射点は、計測できない場合がある、また、断続的なズレを想定しているので、計測時以前の何秒間（設定により変更可能、20秒程度を規定値に想定）の眼球回転中心（xo,yo）の平均値をその時点の眼球回転中心とする。この値を用いることにより、再校正なしに、瞳孔中心のみで視線方向を計算することができるようになる。また、十分に短い時間ならば、頭部は動いていないと仮定できるので、瞳孔中心-反射点法が使えない場合の、補助として使用することが可能である。
【００２４】
v)６０Hzで計測を行う場合
それぞれ、計測に用いる値をフィールド毎に求める。具体的には、偶数フィールドと奇数フィールド毎に、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）、眼球回転中心(xo,yo)を校正により計測する。視線を計算する場合には、奇数フィールドの画像については、奇数フィールドの画像から求めた値、偶数フィールドの画像については、偶数フィールドの画像から求めた値を用いて計算する。これにより、フィールド毎に値が振動する現象を排除できる。
【００２５】
vi)瞳孔を検出する際の閾値の複数使用について。
第一段階と第二段階で異なる閾値を用いることにより、その問題を解決する。明るさが変わらない場合は、それぞれ、独立な固定値設定し、自動的に閾値を変化させている場合は、第一段階の閾値(th1)と第二段階の閾値(th2)の比率(a),（th1=a*th2という関係）を設定することにより、連続的な変化にも対応できるようにする。
図１８に示すように、輪郭を検出するのに必要な閾値(th2)の場合は、周辺ノイズが多い。
図１９に示すように、閾値（th1）を下げることにより、周辺ノイズを低減することができる。
【００２６】
vii)瞳孔の縁の検出方法について
１）従来の方法で楕円を求める。
楕円の幾何学的な性質を利用し、瞳孔の縁以外を除去する。楕円には、次のような幾何学的な性質がある。楕円と交わる３本の平行な直線l、m、n を考える。l、n はm から等距離にあるとする。楕円と直線l との交点をa、b 、直線n の交点をc、d とする。楕円と直線m の交点の中点をo とする。a、b の中点とc、d の中点を結ぶ線の中点をo'とすると、o'はo と重なるという性質がある（図１０）。瞳孔の画像について瞳孔画像のほぼ中央に引いた直線m から等距離にあるN 個の平行線の組のo'i （i=1‐N）に当たる点を求める。求められた点は、直線m の上に分布する。誤って検出された縁が十分少ないときは、最も多くの点o'が集まった位置がo の位置に相当する。その位置から離れている点は、楕円の軌跡上にない点を含んでいることになるので、それらを除外する。どのくらい離れていたら、除外するかは、プログラムで指定することにより、許容範囲の設定が可能になる。４点が相補的に誤差を含んでしまった場合には、除外されなくなるが、確率的にそのようなことは起こりにくい。o に十分近いo'i を持つ点a i ,b i ,c i ,d i は、楕円の軌跡上の点なので、これらの点の座標を［数１］に代入し正確な楕円近似を行うことができる。
【００２７】
２）上記の場合、例えば、a12のみが、何らかの理由により楕円の軌跡上に無かったとする。すると、b12,c12,d12が楕円の軌跡上に存在するにもかかわらず、楕円の軌跡を計算するのに用いられないことになる。そこで従来方法で楕円の軌跡を求めた後、再度検出された瞳孔の縁の点について、求めた楕円軌跡との距離を計算し、その距離が一定以下であれば、瞳孔の縁とする。
３）新たな点を加えて、最小自乗法により楕円を算出する。
これにより、従来よりも高精度に、楕円を求めることが可能になる。
【００２８】
viii)目蓋の掛かり具合の計測法について
１）図２０に示すように、検出した瞳孔の縁から、楕円を近似し楕円の上下方向の距離（eh）を得る。
２）検出した瞳孔の縁（楕円近似に用いたもの）の、上下方向の最大値と最小値の差（ph)を得る。
３）ph/eh＊１００を瞳孔検出率（％）とする。
瞳孔検出率を用いることにより、どの程度目蓋がおりた時に計測を中断するか？といった定量的な評価を行うことが可能になる。
【００２９】
ix)瞳孔の検出の精度について（横方向に入ったノイズの割合）。
1）楕円近似に用いた瞳孔の縁の上下方向の最大値と最小値の差（ph）を得る。
2）楕円近似に用いた瞳孔の縁の数を得る（en）。
3)（en/2）/ph*100を縁検出率（％）とする。
enは、検出の際に左右の縁を検出しているので、二等分する必要がある。
縁検出率を用いることにより、どの程度正確に縁を検出できているかを定量的に評価することができる。比較的ノイズが少ない図２１は、縁検出率７０％である。また、ノイズが多い場合の図２２は、縁検出率４０％である。
【００３０】
【発明の効果】
本発明は、反射点の大きさが小さい場合、或いは反射点が複数ある場合にも、誤り無く反射光重心位置を計測することができる。
また、本発明は、校正時に、反射点の幅と高さの平均を求め、かつ、計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことができる。
また、本発明は、瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことができる。
また、本発明は、反射点が計測できない場合であっても、再校正なしに、瞳孔中心のみで視線方向を計算することができる。
また、本発明は、計測に用いる値をフィールド毎に求めて、フィールド毎のばらつきをなくすることができる。
また、本発明は、瞳孔の縁を正確に検出することができる。
また、本発明は、高精度に、楕円を求めることができる。
また、本発明は、どの程度目蓋がおりてきていたら、計測を中断するかの定量的な評価を行うことができる。
また、本発明は、反射光が瞳孔の縁に掛かる、ピントがずれているため瞳孔の縁が明確に捕らえられていないなどの場合に、定量的な評価をすることができる。
【図面の簡単な説明】
【図１】カメラと目の位置関係を示す図である。
【図２】撮影された眼球を示す図である。
【図３】図１を簡略化した図である。
【図４】反射点出現位置を示す図である。
【図５】眼球が回転した時の角膜反射光重心と角膜曲率中心の位置関係を示す図である。
【図６】眼球が回転しても角膜反射光重心と角膜曲率中心の位置関係が変化しないことを説明するための図である。
【図７】瞳孔中心、角膜曲率中心、眼球回転中心が瞳孔の短軸の延長線上に存在することを説明するための図である。
【図８】図７を簡略化した図であり、角膜反射光重心、瞳孔中心、角膜曲率中心、眼球回転中心の位置関係を表す図である。
【図９】角膜上ではなく、強膜上で反射した場合の反射光の検出を説明するための図である。
【図１０】瞳孔の縁の検出方法を説明するための図である。
【図１１】反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図である。
【図１２】図１１に示す眼球を、横方向から見た図である。
【図１３】反射光重心の計測を説明するための画像である。
【図１４】反射光重心を求める方法を説明するための図である。
【図１５】重心が予測値に最も近いものを選ぶ方法を説明するための図である。
【図１６】反射点の大きさを説明するための図である。
【図１７】強膜に存在する反射光を説明するための図である。
【図１８】輪郭を検出する際の周辺ノイズを説明するための図である。
【図１９】閾値（th1）を下げることにより、周辺ノイズを低減する方法を説明するための図である。
【図２０】目蓋の掛かり具合の計測法を説明するための図である。
【図２１】比較的ノイズが少ない場合の縁検出率を例示する図である。
【図２２】ノイズが多い場合の縁検出率を例示する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a gaze detection method and system for obtaining a gaze vector for a camera. In particular, the present invention relates to reflected barycentric position detection, reflected light detection, automatic switching of gaze detection method, automatic correction of head misalignment, image processing by NTSC signal, pupil detection, and accuracy when approximating the pupil with an ellipse. The present invention relates to improvement, detection of eyelid coverage, and measurement of detection accuracy.
[0002]
[Prior art]
Conventionally, a simple gaze position measurement system for measuring a gaze position has been demanded. If such a system can be provided at a lower price, it can be used, for example, in the following fields.
1) Psychological research on vision
2) Medical examination
3) Man-machine interface (line-of-sight input device)
4) Although it overlaps with 3), it is an auxiliary device for people with disabilities.
5) Built in the head-mounted display and used as a line-of-sight input device.
6) Passive calibration of binocular parallax by using two devices and setting the position of the camera strictly (instead of presenting the target and staring, it just moves the eyes) Only). It can be used for medical examinations, psychological experiments, behavioral experiments, etc.
[0003]
Previously, the applicant of the present invention has proposed a gaze detection method and system (Japanese Patent Application No. 2000-228163). This proposal will be described with reference to FIGS. Take a human or monkey eyeball with a CCD camera. To illuminate the pupil darkly, illumination is performed with an infrared LED. The positional relationship between the camera, the light source, and the eyeball is shown in FIG. Although the camera is illustrated as being positioned in front of the eyeball in a substantially horizontal direction, the position of the camera can be set at an arbitrary position within a range where the pupil can be photographed. The light source can also be placed at any location where the reflection position is on the cornea. The CCD camera captures an image as shown in FIG.
[0004]
FIG. 3 is a diagram in which FIG. 1 is simplified and the pupil center, the corneal curvature center, and the eyeball rotation center are entered. In the simplified FIG. 3, the location where the reflection point occurs is shown in FIG. The reflection point occurs at a position where the cornea and the bisector of the corner connecting the light source, the corneal curvature center, and the camera intersect. A vector connecting the corneal curvature center and the reflection point is named a reflected light vector. (It is assumed that the light source is at infinity. The camera is assumed to be projected in parallel.)
[0005]
FIG. 5 shows the positional relationship between the reflection point and the corneal curvature center when the eyeball moves. If the light source is sufficiently far away, the angle of the reflected light vector to the center of corneal curvature will be the same even when the eyeball rotates. Therefore, even when the eyeball rotates, the distance between the center of corneal curvature and the reflection point is kept constant. FIG. 5 shows only the distance in the x direction. FIG. 6 shows the positional relationship between the corneal curvature center and the reflection point when the image is taken from the camera direction.
The positional relationship among the reflection point, the corneal curvature center, the pupil center, and the eyeball rotation center is shown in FIG. When this diagram is simplified, FIG. 8 is obtained.
[0006]
The camera captures multiple images, and for each image, the reflected light shape and pupil shape are measured, and the reflected light center of gravity and the pupil are elliptically approximated to determine the minor axis inclination, minor axis major axis ratio, and pupil center. Can be calculated.
Such line-of-sight detection methods and systems have the following problems.
i) Measurement of reflected light barycentric position 1) A 120x90 pixel image having the center of the pupil as the center of the region is taken out every 3 pixels to generate a 40x30 image.
2) Take a point above a certain threshold and label it for each chunk.
3) Measure the center of gravity of the mass that is larger than a certain size and closest to the center of the pupil.
It was done by the method.
However, this reflected light gravity center position measuring method has the following problems.
1) If the size of the reflection point is small, it will be missed.
2) If there are a plurality of reflection points, an incorrect reflection point is selected (the n-th order Purkinje reflection exists on the cornea. The primary reflection is focused).
[0007]
ii) Selection of reflected light In the above-described method, since all detected objects were used, no selection was performed.
Therefore, as shown in FIG. 9, the calculation is performed by detecting the reflected light when reflected on the sclera, not on the cornea. In such a case, the assumption that the reflection point is on the cornea is lost, and the calculation result becomes inaccurate. In such a case, it is necessary to make the calculation impossible.
[0008]
iii) About automatic method switching.
The previously proposed method can determine the line-of-sight position from the center position of the subject's pupil and the center of the reflected light after calibration. However, this method has an advantage that measurement is possible even if the head moves, but if the reflection point moves off the cornea, measurement cannot be performed. The measurement range is narrower than when measuring only from the center of the pupil.
[0009]
iv) Automatic correction of pupil center-eye rotation center method The above-mentioned proposed method could not measure accurately when the head moved. Even when measuring with the head fixed, intermittent displacement may occur, in which case recalibration had to be performed.
[0010]
v) When measuring at 60Hz
When measurement is performed using NTSC signals, even fields and odd fields are staggered in the vertical direction when calculation is performed in fields, not in frames. When measuring the distance between the center of eyeball rotation and the center of corneal curvature as in the previously proposed method, or when obtaining the line-of-sight vector for the camera (value of eyeball rotation center position, reflected light centroid position-corneal curvature center position relationship) , Pupil center position, reflection point position, etc.) are calculated without distinction of the fields, measurement values that oscillate up and down are obtained for each field.
[0011]
vi) Multiple use of thresholds when detecting pupils.
The pupil detection method performs detection in the following two stages.
1) The image is sampled every 8 pixels and the approximate position of the pupil is detected.
2) Find a rough ellipse and explore the vicinity to detect the edge of the pupil.
The previously proposed method used the same threshold value in both of these steps. When there is a lot of noise (when there are as many dark places as the pupil), rough detection may fail at the first stage. In such a case, it is possible to reduce noise by lowering the threshold value. However, if such processing is performed, the edge of the pupil may not be detected accurately.
[0012]
vii) A method for detecting the edge of the pupil uses the geometrical properties of the ellipse, and removes other than the edge of the pupil. An ellipse has the following geometric properties. As shown in FIG. 10, consider three parallel straight lines l, m, n that intersect with an ellipse. Let l and n be equidistant from m. Assume that the intersections of the ellipse and the straight line l are a and b, and the intersections of the straight line n are c and d. Let o be the midpoint of the intersection of the ellipse and line m. If the middle point of the line connecting the midpoints of a and b and the midpoints of c and d is o ', then o' has the property of overlapping o. A point corresponding to o′i (i = 1−N) of a set of N parallel lines that are equidistant from a straight line m 2 drawn substantially at the center of the pupil image is obtained. The obtained points are distributed on the straight line m. When the number of erroneously detected edges is sufficiently small, the position where the most points o ′ are collected corresponds to the position o. Points that are away from the position include points that are not on the locus of the ellipse, so they are excluded.
It is possible to set an allowable range by specifying in a program how far away they are to be excluded. If four points contain errors in an complementary manner, they will not be excluded, but such a probability is unlikely to occur. Since the points ai, bi, ci, and di having o'i sufficiently close to o are points on the locus of the ellipse, the coordinates of these points can be substituted into [Equation 1] for accurate ellipse approximation. (Extracted from IEICE Technical Report vol.100 no.47 “Development of Gaze Position Measurement System” ISSN0913-5685, TL2000-1-6 “Thinking and Language”, May 12, 2000)
[Expression 1]

By solving the above simultaneous equations, the coefficient of the following elliptic equation [Equation 2] can be obtained by the method of least squares.
[Expression 2]

[0013]
ix) Pupil detection accuracy (rate of noise entering in the horizontal direction).
There was no quantitative evaluation when the reflected light was applied to the edge of the pupil or the edge of the pupil was not clearly captured due to out of focus.
[0014]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to solve such problems and to measure the position of the reflected light center of gravity without error even when the size of the reflection point is small or when there are a plurality of reflection points.
In addition, the present invention obtains an average of the width and height of the reflection points at the time of calibration, and accurately measures by eliminating objects that are significantly different from the width and height of the reflection points at the time of measurement. It is an object.
Another object of the present invention is to eliminate the interruption of measurement by automatically switching to the pupil center method when calculation by the pupil center-reflection point method becomes impossible.
Another object of the present invention is to calculate the line-of-sight direction using only the center of the pupil without recalibration even when the reflection point cannot be measured.
Another object of the present invention is to obtain a value to be used for measurement for each field and eliminate variations among fields.
Another object of the present invention is to accurately detect the edge of the pupil.
Another object of the present invention is to obtain an ellipse with high accuracy.
Another object of the present invention is to perform a quantitative evaluation of how much the eyelid has come off and to stop the measurement.
Another object of the present invention is to make a quantitative evaluation when the reflected light is applied to the edge of the pupil or the edge of the pupil is not clearly captured due to out of focus.
[0015]
[Means for Solving the Problems]
The line-of-sight detection method and system of the present invention captures a plurality of images with a camera capable of photographing a pupil illuminated by a light source arranged so that a reflection position is located on the cornea in a subject whose head is fixed. For each image, the reflected light shape and the pupil shape are measured, and the reflected light center of gravity position and the pupil are elliptically approximated to calculate the minor axis inclination, the minor axis major axis ratio, and the pupil center. When the position of the center of gravity of the reflected light and the cornea are part of the sphere, the positional relationship between the corneal curvature center that is the center of the sphere and the center of rotation of the eyeball that is the fixed point when the eyeball rotates-the corneal curvature center distance are measured. When determining the reflection position, the pupil center position (xp, yp), the eyeball rotation center position (xo, yo), the reflected light center of gravity position, and the position of the corneal curvature center that is the center of the sphere when the cornea is part of the sphere Centroid position (rx, ry) of the reflected light is predicted from the distance (alpha, beta), pupil center rotation radius (r), and corneal curvature center rotation radius (rr) Measure.
[0016]
The present invention also provides a positional relationship between the center of gravity of the reflected light and the corneal curvature center that is the center of the sphere when the cornea is a part of the sphere, and the center of the eyeball rotation-the corneal curvature center distance that is a fixed point when the eyeball rotates. In the calibration, the width and height of the reflected light are recorded, and the reflected light is removed by comparing the width and height values in the subsequent reflection point measurement.
The present invention also provides a positional relationship between the center of gravity of the reflected light and the corneal curvature center that is the center of the sphere when the cornea is a part of the sphere, and the center of the eyeball rotation-the corneal curvature center distance that is a fixed point when the eyeball rotates. Gaze position measurement by automatically switching between gaze position measurement method using measured value, reflected light centroid and pupil center position, and gaze position measurement method using measured value and pupil center position I do.
[0017]
In addition, when the position of the center of gravity of the reflected light and the cornea are part of the sphere, the positional relationship between the corneal curvature center that is the center of the sphere and the eyeball rotation center-corneal curvature center distance that is the fixed point when the eyeball rotates, Pupil center position (xp, yp), reflected light centroid position (rx, ry), distance between reflected light centroid position and corneal curvature center position when the cornea is part of the sphere (alpha, beta ), Calculating the eyeball rotation center (xo, yo) from the pupil center rotation radius (r) and the corneal curvature center rotation radius (rr), detecting head movement, and setting a new eyeball rotation center, When the gaze position is measured using the pupil center position, the deviation of the head movement is corrected.
[0018]
Further, the present invention calculates the center of gravity position of the reflected light and the ellipse of the pupil to calculate the inclination of the minor axis, the minor axis major axis ratio, and the pupil center, and the reflected light center of gravity position and the cornea are determined to be a part of the sphere. Measure the positional relationship between the center of corneal curvature, the center of the sphere, and the center of rotation of the eyeball, which is the fixed point when the eyeball rotates-the corneal curvature center distance. Each line is measured independently, and the gaze position is measured using the value.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the gaze detection method and system of the present invention will be described based on examples.
i) Measurement of reflected light barycentric position 1) FIG. 11 is a diagram for explaining reflected light barycentric position measurement, and is a view of the eyeball seen from the camera direction, and FIG. 12 shows the eyeball in the lateral direction. It is the figure seen from.
Pupil center position (xp, yp), eyeball rotation center position (xo, yo), center of corneal curvature when the cornea is part of the sphere when the cornea is part of the sphere (alpha, beta ), When the pupil center rotation radius (r) and the corneal curvature center rotation radius (rr) are known, the reflected light barycentric position (rx, ry) can be predicted from the following equation.
rx = (xp-xo) * rr / r + xo + alpha
ry = (yp-yo) * rr / r + yo + beta
2) A 40x30 pixel image centered on the predicted point is generated.
3) Take a point above a certain threshold and label it for each chunk.
4) Measure the center of gravity of the mass that is larger than a certain size and closest to the prediction.
[0020]
Consider an example in which the center of gravity of reflected light is measured from the image shown in FIG. The cross on the screen represents the pupil center position. The white dot on the cross is the first Purkinje image, and the white dot on the lower right is the second Purkinje image. Both are reflections of illumination light, but a plurality of reflected images appear because the reflection location in the eyeball is different.
1) Reflection when the pupil center position (xp, yp), eyeball rotation center position (xo, yo), corneal curvature center (α, β), pupil center rotation radius r, corneal curvature center rotation radius rr are already known. The optical centroid position (rx, ry) is predicted from the above formula.
2) The predicted position is the position X in FIG. The reflected light barycenter is obtained from a 40x30 pixel image indicated by a square centered on X.
3) Pick out points above a certain threshold and perform labeling, and select the ones with a certain size or larger and the center of gravity closest to the predicted value. In FIG. 15, the center of gravity of reflected light is represented by a cross.
[0021]
ii) Obtain the average of the reflection point width and height during calibration for reflected light selection. It is possible to accurately perform measurement by eliminating objects that are significantly different from the width and height of the reflection point during measurement. The size of the reflection point shown in FIG. 16 is 6 pixels vertically and 7 pixels horizontally. This is a sufficiently small difference from the average value. How much error is allowed can be set by a program.
As shown in FIG. 17, when the reflected light is present on the sclera, the sizes are greatly different (vertical 19 pixels and horizontal 50 pixels). In this case, the measurement using the reflection point is abandoned.
[0022]
iii) About automatic method switching.
If it is no longer possible to calculate with the pupil center-reflection point method, the measurement can be interrupted by automatically switching to the pupil center method.
When the reflection point exists on the sclera, it is not possible to measure the line of sight using the reflection point. However, even in this state, the pupil center coordinates can be measured. The line-of-sight direction can be obtained by the pupil center-eyeball rotation center method. The movement of the eyeball rotation center is dealt with by performing correction by automatic correction.
[0023]
iv) The automatic correction line-of-sight direction of the pupil center-eyeball rotation center method can be obtained from the pupil center position (xp, yp) and the eyeball rotation center (xo, yo) pupil center rotation radius r. The line-of-sight direction with respect to the camera can be expressed by the following [Equation 3].
[Equation 3]

When the head does not move, the pupil rotation center (xo, yo) is a constant value. However, no matter how the head is fixed, it may move. Conventionally, when the head has moved, the calibration is performed again, but a method of automatically calibrating this using a reflection point is proposed.
The eyeball rotation center can be obtained from the pupil center position and the reflected light center of gravity. Pupil center position (xp, yp), reflected light centroid position (rx, ry), distance between reflected light centroid position and corneal curvature center position when the cornea is part of the sphere (alpha, beta ), Pupil center rotation radius (r), and corneal curvature center rotation radius (rr), the rotation center of the eyeball (xo, yo) is obtained by the following equation.
xo = (rx-alpha-xp * rr / r) / (1-rr / r)
yo = (ry-beta-yp * rr / r) / (1-rr / r)
The reflection point may not be measurable, and since it is assumed to be intermittent, the center of eyeball rotation (xo) , yo) is the center of eyeball rotation at that time. By using this value, the line-of-sight direction can be calculated using only the pupil center without recalibration. In addition, if the time is sufficiently short, it can be assumed that the head is not moving, so that it can be used as an auxiliary when the pupil center-reflection point method cannot be used.
[0024]
v) When measurement is performed at 60 Hz, a value used for measurement is obtained for each field. Specifically, for each even field and odd field, the pupil center position (xp, yp), reflected light centroid position (rx, ry), reflected light centroid position and cornea are part of the sphere. The distance (alpha, beta) from the position of a certain corneal curvature center, pupil center rotation radius (r), corneal curvature center rotation radius (rr), and eyeball rotation center (xo, yo) are measured by calibration. When the line of sight is calculated, the odd field image is calculated using the value obtained from the odd field image, and the even field image is calculated using the value obtained from the even field image. Thereby, it is possible to eliminate the phenomenon that the value vibrates for each field.
[0025]
vi) Multiple use of thresholds when detecting pupils.
The problem is solved by using different threshold values in the first stage and the second stage. If the brightness does not change, an independent fixed value is set.If the threshold is automatically changed, the ratio of the first-stage threshold (th1) to the second-stage threshold (th2) (a ), (Th1 = a * th2 relationship) is set so that continuous changes can be handled.
As shown in FIG. 18, in the case of the threshold value (th2) necessary for detecting the contour, there is much ambient noise.
As shown in FIG. 19, ambient noise can be reduced by lowering the threshold value (th1).
[0026]
vii) Pupil edge detection method 1) Obtain an ellipse by a conventional method.
Using the ellipse's geometrical properties, remove all but the edges of the pupil. An ellipse has the following geometric properties. Consider three parallel straight lines l, m, n that intersect an ellipse. Let l and n be equidistant from m. Assume that the intersections of the ellipse and the straight line l are a and b, and the intersections of the straight line n are c and d. Let o be the midpoint of the intersection of the ellipse and line m. If the middle point of the line connecting the midpoints of a and b and the midpoints of c and d is o ', o' has the property that it overlaps o (Fig. 10). A point corresponding to o′i (i = 1−N) of a set of N parallel lines that are equidistant from a straight line m 2 drawn substantially at the center of the pupil image is obtained. The obtained points are distributed on the straight line m. When the number of erroneously detected edges is sufficiently small, the position where the most points o ′ are collected corresponds to the position o. Points that are away from the position include points that are not on the locus of the ellipse, so they are excluded. It is possible to set an allowable range by specifying in a program how far away they are to be excluded. If four points contain errors in an complementary manner, they will not be excluded, but such a probability is unlikely to occur. Since the points ai, bi, ci, and di having o'i sufficiently close to o are points on the locus of the ellipse, the coordinates of these points can be substituted into [Equation 1] for accurate ellipse approximation.
[0027]
2) In the above case, for example, it is assumed that only a12 is not on the locus of the ellipse for some reason. Then, although b12, c12, and d12 exist on the locus of the ellipse, they are not used for calculating the locus of the ellipse. Therefore, after obtaining the elliptical trajectory by the conventional method, the distance from the obtained elliptical trajectory is calculated for the pupil edge point detected again. If the distance is below a certain value, the pupil edge is determined.
3) Add a new point and calculate an ellipse by the method of least squares.
This makes it possible to obtain an ellipse with higher accuracy than in the past.
[0028]
viii) Measuring method of eyelid engagement 1) As shown in FIG. 20, from the detected edge of the pupil, an ellipse is approximated to obtain the vertical distance (eh) of the ellipse.
2) The difference (ph) between the maximum value and the minimum value in the vertical direction of the detected pupil edge (used for elliptical approximation) is obtained.
3) Let ph / eh * 100 be the pupil detection rate (%).
How much measurement is interrupted when the eyelid is open by using the pupil detection rate? It is possible to make a quantitative evaluation.
[0029]
ix) Pupil detection accuracy (rate of noise entering in the horizontal direction).
1) Obtain the difference (ph) between the maximum and minimum vertical values of the pupil edge used for the ellipse approximation.
2) Obtain the number of pupil edges used for elliptical approximation (en).
3) Let (en / 2) / ph * 100 be the edge detection rate (%).
Since en detects the left and right edges at the time of detection, it needs to be divided into two equal parts.
By using the edge detection rate, it is possible to quantitatively evaluate how accurately the edge is detected. FIG. 21 with relatively little noise has an edge detection rate of 70%. Further, FIG. 22 in the case where there is a lot of noise is an edge detection rate of 40%.
[0030]
【The invention's effect】
The present invention can measure the reflected light barycenter position without error even when the size of the reflection point is small or when there are a plurality of reflection points.
In addition, the present invention obtains an average of the width and height of the reflection points at the time of calibration, and accurately measures by eliminating objects that are significantly different from the width and height of the reflection points at the time of measurement. Can do.
Further, according to the present invention, when calculation cannot be performed by the pupil center-reflection point method, the measurement can be interrupted by automatically switching to the pupil center method.
Further, according to the present invention, even when the reflection point cannot be measured, the line-of-sight direction can be calculated using only the pupil center without recalibration.
Further, the present invention can obtain a value used for measurement for each field, and eliminate variations among fields.
Further, the present invention can accurately detect the edge of the pupil.
Further, the present invention can obtain an ellipse with high accuracy.
In addition, the present invention can perform a quantitative evaluation of how much the eyelid has come off and how to stop the measurement.
In addition, the present invention can make a quantitative evaluation when the reflected light is applied to the edge of the pupil or the edge of the pupil is not clearly captured due to out of focus.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a positional relationship between a camera and eyes.
FIG. 2 is a view showing a photographed eyeball.
FIG. 3 is a simplified diagram of FIG. 1;
FIG. 4 is a diagram illustrating a reflection point appearance position.
FIG. 5 is a diagram showing the positional relationship between the corneal reflection light center of gravity and the corneal curvature center when the eyeball rotates.
FIG. 6 is a diagram for explaining that the positional relationship between the corneal reflection light gravity center and the corneal curvature center does not change even when the eyeball rotates.
FIG. 7 is a diagram for explaining that a pupil center, a corneal curvature center, and an eyeball rotation center are present on an extension of the minor axis of the pupil.
FIG. 8 is a simplified diagram of FIG. 7 and shows the positional relationship between the corneal reflection light centroid, the pupil center, the corneal curvature center, and the eyeball rotation center.
FIG. 9 is a diagram for explaining detection of reflected light when reflected on the sclera, not on the cornea.
FIG. 10 is a diagram for explaining a method for detecting the edge of the pupil.
FIG. 11 is a diagram for explaining the measurement of the position of the center of gravity of reflected light, and is a view of an eyeball seen from the camera direction.
12 is a diagram of the eyeball shown in FIG. 11 viewed from the lateral direction.
FIG. 13 is an image for explaining measurement of the center of gravity of reflected light.
FIG. 14 is a diagram for explaining a method of obtaining a reflected light centroid.
FIG. 15 is a diagram for explaining a method of selecting a barycenter closest to a predicted value.
FIG. 16 is a diagram for explaining the size of a reflection point;
FIG. 17 is a diagram for explaining reflected light existing in the sclera.
FIG. 18 is a diagram for explaining surrounding noise when detecting a contour;
FIG. 19 is a diagram for explaining a method of reducing ambient noise by lowering a threshold value (th1).
FIG. 20 is a diagram for explaining a method of measuring the degree of eyelid engagement.
FIG. 21 is a diagram illustrating an edge detection rate when there is relatively little noise.
FIG. 22 is a diagram illustrating an edge detection rate when there is a lot of noise.

Claims

頭部が固定された被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段と、反射光重心位置を求める際に、瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、前記ｘ方向の距離及びｙ方向の距離（α、β）、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から反射光重心位置(rx,ry)を予測し、その近傍のみを探す手段とから成る反射光重心位置を計測するシステム。 In a subject whose head is fixed, a plurality of images are captured by a camera capable of photographing a pupil illuminated by a light source arranged so that the reflection position is located on the cornea. Measure the pupillary shape and calculate the reflected light barycentric position and the elliptical approximation of the pupil to calculate the minor axis tilt, the minor axis major axis ratio, and the pupil center, and the reflected light barycentric position and cornea are part of the sphere. Means for measuring the distance in the x direction and the distance in the y direction (α, β) of the corneal curvature center that is the center of the sphere, and the distance between the eyeball rotation center that is a fixed point when the eyeball rotates and the corneal curvature center When determining the center of gravity position of the reflected light, the pupil center position (xp, yp), the eyeball rotation center position (xo, yo), the x-direction distance and the y-direction distance (α, β), the pupil center rotation radius (R), corneal curvature center radius of rotation (rr), reflected light center of gravity A system that measures the position of the center of gravity of the reflected light, consisting of a means for predicting the position (rx, ry) and searching for only its vicinity.

被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段とを備え、前記ｘ方向の距離及びｙ方向の距離（α、β）及び眼球回転中心と角膜曲率中心の距離の校正時に、反射光の幅、高さを記録し、以後の反射点計測の際に、幅高さの値を比較することによって、不正な反射光を取り除くシステム。 In the subject, a plurality of images are captured by a camera capable of photographing a pupil illuminated by a light source arranged so that the reflection position is located on the cornea, and the reflected light shape and the pupil shape are measured for each image. Means for calculating the inclination of the minor axis, the minor axis major axis ratio, and the pupil center by elliptically approximating the pupil of the reflected light, and the center of the reflected light and the cornea as part of the sphere. Measuring the distance between the center of the corneal curvature in the x direction and the distance in the y direction (α, β) and the distance between the center of corneal curvature that is a fixed point when the eyeball rotates and the center of the corneal curvature, Record the width and height of the reflected light when calibrating the distance in the x direction, the distance in the y direction (α, β), and the distance between the center of eyeball rotation and the center of the corneal curvature, By comparing the values of System to remove the Shako.

被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測する手段と計測された値と瞳孔中心位置を用いて視線位置計測する手段を自動的に切り替えることから成る視線位置計測を行うシステム。 In the subject, a plurality of images are captured by a camera capable of photographing a pupil illuminated by a light source arranged so that the reflection position is located on the cornea, and the reflected light shape and the pupil shape are measured for each image. Means for calculating the inclination of the minor axis, the minor axis major axis ratio, and the pupil center by elliptically approximating the pupil of the reflected light, and the center of the reflected light and the cornea as part of the sphere. The distance between the center of the corneal curvature in the x direction and the distance in the y direction (α, β) and the distance between the center of rotation of the eyeball, which is a fixed point when the eyeball rotates, and the center of corneal curvature are measured, and A system for gaze position measurement comprising automatically switching a gaze position measurement unit using a reflected light gravity center and a pupil center position and a gaze position measurement unit using a measured value and a pupil center position.

被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算する手段と、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心のｘ方向の距離及びｙ方向の距離（α、β）及び眼球が回転する際の不動点である眼球回転中心と角膜曲率中心の距離を計測する手段と、瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、前記ｘ方向の距離及びｙ方向の距離（α、β）、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr）から眼球回転中心(xo,yo)を計算する手段とを備え、頭部の動きを検出し、新たな眼球回転中心を設定することにより、瞳孔中心位置を用いて視線位置計測を行う際に、頭部の動きのズレを補正するシステム。 In the subject, a plurality of images are captured by a camera capable of photographing a pupil illuminated by a light source arranged so that the reflection position is located on the cornea, and the reflected light shape and the pupil shape are measured for each image. Means for calculating the inclination of the minor axis, the minor axis major axis ratio, and the pupil center by elliptically approximating the pupil of the reflected light, and the center of the reflected light and the cornea as part of the sphere. Means for measuring the distance between the center of the corneal curvature in the x direction and the distance in the y direction (α, β), the distance between the center of rotation of the eyeball that is a fixed point when the eyeball rotates and the center of corneal curvature; (xp, yp), reflected light barycentric position (rx, ry), distance in the x direction and distance in the y direction (α, β), pupil center rotation radius (r), corneal curvature center rotation radius (rr) Means for calculating the center of rotation (xo, yo), and movement of the head Detecting, by setting a new eye rotation center, in performing the gaze position measurement using a pupil center position, to correct the deviation of the head movement system.

被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状および瞳孔形状を計測して、反射光重心位置（ Xr,Yr ）、及び瞳孔を楕円近似する事により短軸の傾き、短軸長軸比、及び瞳孔中心(Xp,Yp)を計算する手段と、反射光重心位置（ Xr,Yr ）と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離（ alpha,beta ）、瞳孔中心回転半径（ r ）、角膜曲率中心回転半径（ rr ）、眼球が回転する際の不動点である眼球回転中心(Xo,Yo) を計測する手段を備え、複数の走査線で構成される各画像が偶数フィールドと奇数フィールドから成り立っているNTSCにおける入力の際は、前述の計測値（ alpha 、 beta 、 r 、 rr 、 Xo 、 Yo ）は、フィールド毎に独立に計測し、その値と各画像より得られる値（ Xr,Yr,Xp,Yp ）を用いて視線位置計測を行うシステム。In the subject, a plurality of images are captured by a camera capable of photographing a pupil illuminated by a light source arranged so that the reflection position is located on the cornea, and the reflected light shape and the pupil shape are measured for each image. , The reflected light barycentric position ( Xr, Yr ) , and means for calculating the minor axis inclination, the minor axis major axis ratio, and the pupil center (Xp, Yp) by elliptical approximation of the pupil, and the reflected light barycentric position ( Xr , Yr ) and the position of the center of the corneal curvature ( alpha, beta ), pupil center rotation radius ( r ), corneal curvature center rotation radius ( rr ), eye when the cornea is part of the sphere eyeball rotation center sphere is fixed point of time of the rotation (Xo, Yo) comprises means for measuring a time each image composed of a plurality of scanning lines is input in NTSC that consists even field and odd field , the measurement value of the above-mentioned (alpha, beta, r, rr Xo, Yo) is independently measured for each field, performs gaze position measurement using the values obtained from the values and the image (Xr, Yr, Xp, Yp ) system.

請求項１〜５のいずれかに記載のシステムにおいて、被験者の眼球が撮影された画像から、瞳孔の縁を検出し、瞳孔を楕円近似する際に、瞳孔の輪郭を検出するのに必要な閾値を下げることで周辺ノイズを低減させた画像処理をするシステム。 The threshold value required for detecting the outline of the pupil when detecting the edge of the pupil from the image obtained by photographing the eyeball of the subject and approximating the pupil to an ellipse in the system according to claim 1. A system that performs image processing with reduced noise by lowering the noise.

請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を楕円で近似する際に、検出した楕円の軌跡との距離を用いて、瞳孔の縁を再度検出し、その値を組み込んで再度楕円で近似することにより、高精度で瞳孔を楕円で近似するシステム。 In the system according to any one of claims 1 to 5, when the edge of the pupil is approximated by an ellipse, the edge of the pupil is detected again using the distance from the detected locus of the ellipse, and the value is incorporated. A system that approximates the pupil with an ellipse with high accuracy by approximating it with an ellipse again.

請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を検出し、瞳孔を楕円で近似した後、検出した瞳孔の縁の範囲と、楕円で近似した際の瞳孔の範囲を比較し、どの程度目蓋が開いていたかを計測するシステム。 6. The system according to claim 1, wherein after detecting the edge of the pupil and approximating the pupil with an ellipse, the range of the detected pupil edge is compared with the range of the pupil when approximated with the ellipse. A system that measures how much the eyelids are open.

請求項１〜５のいずれかに記載のシステムにおいて、瞳孔の縁を検出し、瞳孔を楕円で近似した後、検出した瞳孔の範囲に対する、検出した縁の割り合いを計算し、どのくらいの精度で検出できているかを計測するシステム。 In the system according to any one of claims 1 to 5, after detecting the edge of the pupil and approximating the pupil with an ellipse, the ratio of the detected edge to the detected range of the pupil is calculated, and how much accuracy is obtained. A system that measures whether it is detected.