JPH1066678A

JPH1066678A - 非接触視線測定装置

Info

Publication number: JPH1066678A
Application number: JP8226456A
Authority: JP
Inventors: Atsushi Yoshikawa; 厚吉川; Yoshinobu Masatani; 好伸政谷; Takashi Tate; 隆司館; Shigetomo Mizuno; 重智水野
Original assignee: NATSUKU KK; Nippon Telegraph and Telephone Corp
Current assignee: NATSUKU KK; Nippon Telegraph and Telephone Corp
Priority date: 1996-08-28
Filing date: 1996-08-28
Publication date: 1998-03-10

Abstract

(57)【要約】【課題】被験者の負担を軽くし、動作範囲の制限を大
幅に緩和し、かつ高い精度で視線を測定することであ
る。【解決手段】赤外光を頭部に照射し、２台の頭部用カ
メラ１Ａ，１Ｂの出力を用いて眼球位置検出手段３１が
マーカＭ１，Ｍ２，Ｍ３の反射光から眼球Ｅの位置を検
出し、この眼球位置を用いて追尾制御手段３２が眼球用
カメラ２で眼球Ｅを捉えるようにし、かつ追尾させる。
眼球用カメラ２の出力から角膜反射線の位置と瞳孔中心
を検出し、視線ベクトル算出手段３３により視線ベクト
ルを求める。この視線ベクトルを視線布置手段３４が所
望の座標系に空間布置する構成を特徴としている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視線測定装置に関
し、特に被験者に負担をかけない簡易な位置マーカのみ
を用い、かつ、より高い精度で視線が検出可能な非接触
視線測定装置に関する。

【０００２】

【従来の技術】従来の視線測定装置は、主に被験者の頭
部を固定するタイプと被験者の頭部に検出装置をとりつ
けるタイプであった。これらは、ともに被験者の普段の
行動を著しく阻害し、視線測定において被験者に多大な
負担をかけていた。また、最近は、被験者の負担を軽減
する意味で非接触タイプが作られるようになってきた
が、検出装置が被験者に対して遠隔におかれているだけ
で、測定範囲が極めて限られており、事実上被験者が動
けない状態でしか測定できていない。被験者の動きの制
約をはずす方法として提案されている、画像処理などを
使って顔画像から視線を検出する方法は、画像処理に時
間がかかり時間特性が悪いことがあった。また、顔の検
出と同じカメラで視線を検出するため、精度がわるいと
いう欠点もあった。

【０００３】

【発明が解決しようとする課題】被験者の負担を軽く
し、また被験者が机上の作業をするのに十分な範囲を通
常の動作速度で動作でき、被験者の負担にならないよう
に、視線を十分高い精度で捉える装置を提供するために
は、被験者の眼球位置をかなり正確に把握する方法を提
供することが肝要である。

【０００４】また、眼球位置は３次元計測からはかるの
であるから、３次元計測の誤差要因を除去することも同
時に必要である。光源が複数ある時には、複数光源から
の光の反射が誤差要因となったり、顔につけたマーカや
眼球以外に光を反射する眼鏡や皮膚などがある。

【０００５】本発明は上述の点にかんがみなされたもの
で、その目的は被験者の負担を軽くし、また被験者が机
上の作業をするのに十分な範囲を通常の動作速度で動作
でき、かつ視線を十分高い精度で捉える装置を提供する
ことである。

【０００６】また、机上の操作、特にコンピュータを使
った操作などは、モニタ上を見たり机の上を見たりと、
視線が複数の任意平面上を移動する。したがって、これ
らに対して、任意平面上に視線を布置し、何を見ている
かを特定できる装置を提供することである。

【０００７】

【課題を解決するための手段】本発明は、複数の頭部用
カメラと高倍率の眼球用カメラを用いた非接触視線測定
装置であって、被験者の頭部に当てられた赤外光のう
ち、頭部につけられた少なくとも３個のマーカからの反
射光を前記複数の頭部用カメラでとらえ、頭部の位置と
顔の向いている方向を検出し、眼球位置を検出する眼球
位置検出手段と、前記複数の頭部用カメラによって検出
された眼球位置に、赤外光を当てる赤外光照射手段と、
前記高倍率の眼球用カメラによって眼球だけを捉え、前
記頭部用カメラからの情報によって眼球を常に追いかけ
る追尾制御手段と、前記眼球用カメラの出力から角膜反
射像の位置と瞳孔中心を検出し、視線ベクトルを求める
視線ベクトル算出手段と、前記視線ベクトルを所望の座
標系に変換して、視線位置と視線の方向を空間布置する
視線布置手段とを備えたものである。

【０００８】また、赤外線照射手段は、複数の赤外光照
射部をカメラレンズの周囲に配置して構成したものであ
る。

【０００９】

【発明の実施の形態】本発明は、視線の検出をし、非常
に高い精度で長時間測定する非接触視線測定装置であっ
て、頭部位置に赤外光を照射し、眼球の周囲につけた赤
外光を反射するマーカを複数台の頭部用カメラで感知
し、そのマーカの位置を３次元計測することによって、
位置と傾きを正確に測定する。

【００１０】マーカは測定すべき眼球をマーカの重心に
おくように少なくとも３個布置することにより、高い精
度で頭部座標系の中心に眼球が存在すると仮定できる。
マーカの位置からその重心を計算し、その重心付近に眼
球中心があると仮定して、赤外光を照射し、それに同期
して後述する眼球用カメラで追尾する。なお、眼球中心
と重心点とのずれを常時計測し、このずれを補正するこ
とで、正確に眼球中心位置が設定され、頭部座標系が計
算される。

【００１１】次に、３次元計測された頭部座標系中心に
合わせて、赤外光を照射し、かつそれに同期して前述し
たように眼球用カメラが追尾する。眼球用カメラは、瞳
孔像と角膜反射像を捉え、瞳孔像から瞳孔中心を求め、
眼球用カメラの中心に瞳孔がなくとも瞳孔中心の座標を
補正する。そして、角膜反射像と、補正された瞳孔中心
座標から視線ベクトルを求める。

【００１２】前記の手段により正確に検出された視線ベ
クトルを、あらかじめ設定された任意の平面上に計算に
よって投影し、その平面上に視線を布置する。この任意
の平面上に布置された視線をモデルとして提示する。こ
れにより、観察者はいつでも対象物体のどこを見ている
かが直ぐにわかる。

【００１３】

【実施例】まず、眼球位置検出方法について述べる。

【００１４】図１は、測定すべき眼球Ｅの周囲にマーカ
をつけている図である。なお、Ｈは頭部を示す。Ｍ１，
Ｍ２，Ｍ３（以下、区別する必要のないときは、Ｍを用
いる。）は眼鏡フレームに付した３点のマーカの例を示
している。これらのマーカＭを図２に示してある複数台
の頭部用カメラ１Ａ，１Ｂによって３次元計測し、マー
カＭの位置を観測する。

【００１５】図２では２台の頭部用カメラ１Ａ，１Ｂを
使った場合を示している。頭部用カメラ１Ａ，１Ｂから
どのくらいマーカＭが離れているか、また向きはどの方
向かを頭部用カメラ１Ａ，１Ｂのマーカ情報を互いに照
合し合うことで計算する。これによって、眼球Ｅの中心
のおおよその位置が測定できる。それをＸ，Ｙ，Ｚ情報
で画像処理部３内の頭部位置測定装置（図示せず）で求
めている。なお、図中の２は眼球用カメラ、４は赤外光
照射手段を示す。

【００１６】図３は、頭部位置に赤外光を照射し、頭部
ＨにつけたマーカＭから被験者の頭部位置を測定するた
めの頭部用カメラ１Ａ，１Ｂの配置ならびに赤外光照射
手段４の位置の一例を示す図である。８は観測対象で、
この例ではモニタとキーボード上としていることを示
す。赤外光が頭部用カメラ１Ａ，１Ｂに直接照射される
ことを防ぐために、図３のように赤外光照射手段４の部
分はカメラのレンズの周囲に配置しておく。

【００１７】図４は、上記のことをより詳しく説明した
ものである。頭部用カメラ１Ａ（１Ｂ）の本体のレンズ
５に、図３で示された赤外光照射手段４が設けられてい
る。６は偏光板、７は赤外光だけを透過させるバンドパ
スフィルタである。図４において偏光板６を左右のカメ
ラで９０度偏光を傾けておくことにより、図３の観測対
象８の左右に設けた赤外光照射手段４からの赤外光によ
り眼鏡フレーム等からの反射によるノイズ光が除去でき
る。

【００１８】つまり、図５（ａ）のような構成にする
と、偏光板６があるため、右側頭部用カメラ１Ｂではた
とえば横方向偏向の光しか照射できないし、また逆に照
射方向と同一の方向に偏光がかかった光しか入射できな
い。したがって、他の光源によって生じたノイズは入射
されないことになる。これが、さらに多い複数光源によ
る場合では、適切なバンドパスフィルタ７を設けるなど
して、どの光源からの光を受容するかの識別を行うこと
がノイズの除去となる。このことを模試的に示したのが
図５（ｂ）である。

【００１９】頭部位置情報により、眼球Ｅを捉える眼球
用カメラ２が眼球Ｅを追尾する仕組みを示したのが図６
である。３２は追尾制御手段を示し、２は奥行き方向調
整フォーカス付きの眼球用カメラであり、９は横方向位
置調整ミラー、１０は縦方向位置調整ミラー、１１は光
軸、Ｍはマーカを示している。図６では、例として、
Ｘ，Ｙに関してはそれぞれの専用の追尾のためのミラー
による方法で示している。Ｚに関してはカメラ内部のフ
ォーカス機能によって調整する。これにより、眼球用カ
メラ２が常に眼球Ｅを正確なフォーカスで正しく捉える
ことができる。

【００２０】図６をさらに詳しく説明する。まず、図６
の構成要素である図７から説明する。図７は、前記の光
源とカメラが同期して追尾する手段を示している。２３
はハーフミラーであり、赤外光照射手段４とによって赤
外光を外部に出すのと同時に入射光を眼球用カメラ２に
出している。９は被験者の横方向（Ｘ）の動きを追尾す
るための横方向位置調整ミラーであり、１０は縦方向
（Ｙ）の動きを追尾するための縦方向位置調整ミラーで
ある。２１はバンドパスフィルタ、２２は眼球撮影レン
ズである。眼球用カメラ２と赤外光照射手段４はハーフ
ミラー２３に対し共役に配置されている。しかも、追尾
用各ミラー９，１０の後方にあるためユーザの動きにと
もないミラーが駆動しても常に同一の軌道上に同一の照
明条件で赤外光が照射され、かつ撮影可能となる。ま
た、この配置のメリットは撮影領域と照明領域が一致し
ているので、赤外光の照射範囲が極めて狭い領域に特定
できることである。すなわち、赤外光光源の小型化、照
射の高密度化が可能であり、このメリットは大きい。

【００２１】図８は、本発明の一実施形態の構成を示す
ブロック図である。図８において、３１は眼球位置検出
手段で、頭部用カメラ１Ａ，１Ｂの出力を処理する。３
２は前述した追尾制御手段で、眼球用カメラ２による眼
球Ｅの追尾制御を行う。３３は視線ベクトル算出手段
で、眼球用カメラ２の出力を処理する。３４は視線布置
手段で被験者の視線を表示する。

【００２２】次に、図８の実施例の動作を図１〜図６を
参照し、主として図９のフローチャートにより説明す
る。なお、図９中の（Ｓ１）〜（Ｓ１２）は各ステップ
を示す。

【００２３】眼球位置検出手段３１は、マーカＭの位置
から頭部用カメラ１Ａ，１Ｂの中点からの距離，頭部Ｈ
の向きを求め、これによって眼球Ｅのおおよその位置を
検出する（Ｓ１）。３個のマーカＭ１〜Ｍ３の重心を求
め、後述する補正を加え（Ｓ２）、ここに眼球Ｅが存在
するものとする（Ｓ３）。求められた眼球位置から眼球
用カメラ２のフォーカスを設定し（Ｓ４）、さらに、両
位置調整ミラー９，１０の設定を追尾制御手段３２が行
う。これにより眼球用カメラ２は眼球Ｅを捉え、以後眼
球Ｅを追尾することになる（Ｓ５）。

【００２４】視線ベクトル算出手段３３においては、眼
球用カメラ２から得られた映像を処理し、瞳孔像を抽出
する（Ｓ６）。瞳孔像は、瞳孔以外の映像も多く写って
いるので、それらの雑音部分を除去し（Ｓ７）、その中
心位置を計算する（Ｓ８）。眼球用カメラ２の追尾の情
報のＸ，Ｙ，Ｚは頭部用カメラ１Ａ，１Ｂの中心にある
という仮定であったので、検出された瞳孔中心からこれ
らを修正しＸ’，Ｙ’，Ｚ’を求める。

【００２５】また、同時に眼球用カメラ２によって、角
膜反射像を捉え（Ｓ９）、瞳孔中心位置と角膜反射像の
位置、ならびに、Ｘ’，Ｙ’，Ｚ’、それに生理学的見
地から眼球径、眼球中心の値を使用して、視線のベクト
ルを作成する（Ｓ１０），（Ｓ１１）。作成した視線ベ
クトルをあらかじめ測定しておいた、任意平面に幾何学
的な写像を行い、視線として平面上に布置する（Ｓ１
２）。

【００２６】図１０は、視線布置手段３４による視線の
布置を説明する図で、机の上にパソコンＰＣとキーボー
ドＫＢが置かれており、表示平面としてあらかじめ設定
された平面ＰＬ１，ＰＬ２が用意されている。図１０で
は、被験者の眼球ＥはキーボードＫＢ上のキーの１つに
その視線が向けられている。そこで視線ベクトルと平面
ＰＬ２との交差点Ｗ２を求め、この点Ｗ２を表示する。
これによって、観察者は被験者がどこを見ているか即時
に分かる。

【００２７】被験者がパソコンＰＣのディスプレイを見
たときは、このときの視線ベクトルと平面ＰＬ１との交
差点Ｗ１が表示される。このようにして視線ベクトルの
空間布置が行われる。

【００２８】視線を観察するには、任意の平面に布置さ
せなければならない。その時、被験者に見せる場合と、
見せない場合がある。見せる場合は、例えば、図１０の
平面ＰＬ１の場合、モニタ上だけに限定するとモニタに
直に視線を表示することが考えられる。平面ＰＬ２の場
合はレーザポインタ等で示すことができる。見せない場
合は、カメラで任意平面を撮影し、その映像に重畳させ
ることで表示できる。また、モニタのような表示装置の
場合は映像を分配して被験者には見えないモニタに重畳
するようにしてもよい。

【００２９】なお、マーカＭの設定はマーカの重心位置
に眼球Ｅがくるように配置するが、これは必ずしも正確
でなくてもよく、マーカＭの数も３点である必要はな
く、３点以上あればよい。ただし、頭部Ｈの回転を考え
ると４点では４５度の角度までしか首を傾けることが出
来ないが、３点の場合は６０度まで可能となる。また、
重心位置に眼球Ｅがなくてもよいが、その場合の補正計
算について次に説明する。実際の眼球位置をＫとし、マ
ーカの重心をＧとした場合、マーカがＭ１〜Ｍ３の３点
の場合、補正以前はＫ＝Ｇであったのを、

【００３０】

【数１】で補正できる。ただし、Ｐ１，Ｐ２，Ｐ３は３次元計測
で求まった点のベクトルとし、ＰＧは重心のベクトルと
する。Ｅ_x，Ｅ_yはそれぞれ水平方向，垂直方向の補正
値で、眼球Ｅの中心の幾何寸法である。この補正値は、
眼鏡フレームが大きく動かないと仮定すると、画像処理
で眼球Ｅの全景を求めてその重心Ｇを捉えてもよいし、
装置作動の初期において眼球Ｅの位置を捉えている眼球
用カメラ２の映像を見て決めてもよい。これにより、か
なり正確に眼球Ｅを追いかける基礎ができる。

【００３１】

【発明の効果】以上のように、本発明は簡単なマーカを
眼球付近に着け、それに被験者の行動に影響をおよぼさ
ない赤外光を照射し、マーカからの反射を所望の光源か
らのみの反射光に限定して検出することで、高い精度で
マーカ位置が検出できる。たとえば、本発明を適用しな
い場合は室内のいろいろな照明装置のノイズとマーカ位
置や角膜反射像の分離が困難であり、それに伴い精度が
かなり落ちる。また、精度を犠牲にしても計算時間が膨
大にかかりリアルタイムの測定には使用できない。

【００３２】また、赤外光のみを使用し、可視光を用い
ないことで、画像処理が早くなり、カメラのサンプル周
波数以内に十分検出可能であり、それにしたがって、被
験者の動きに追従することも正確に行える。

【００３３】また、高倍率の眼球用カメラによって眼球
のみを撮影しているので、かなりの高精度で視線ベクト
ルを検出できる。条件がそろえば視野角にして０．３度
以内の精度測定が可能である。しかも、被験者は簡単な
マーカを３個以上つけるだけで他の拘束は一切しない。

【００３４】また、視線を任意の座標に布置できること
から、たとえば、机上においた計算機環境を操作すると
きの視線を測定する場合でも、モニタ上の視線だけでな
く、キーボードの視線やその他の物体上の視線を捉える
ことができる。

【図面の簡単な説明】

【図１】本発明において検出対象となる眼球の周囲につ
ける頭部検出用マーカの一例を示した図である。

【図２】本発明における頭部検出の動作原理の概要を示
した図である。

【図３】本発明における頭部検出用の赤外光の照射位置
と頭部用カメラの配置の例を示した図である。

【図４】本発明における頭部用カメラの赤外光照射手段
の取り付け位置とバンドパスフィルタ、偏光板の取り付
け位置を示した図である。

【図５】本発明における複数光源によるノイズの除去を
示した図である。

【図６】本発明における眼球位置を眼球用カメラで追尾
する動作原理を示した図である。

【図７】図６の詳細説明のための説明補助図である。

【図８】本発明の一実施例の構成を示すブロック図であ
る。

【図９】図８の実施例の動作を説明するためのフローチ
ャートである。

【図１０】本発明における視線を任意の平面に布置する
仕組みを示した図である。

【符号の説明】

Ｍ１〜Ｍ３マーカＥ眼球Ｈ頭部ＰＣパソコンＫＢキーボードＰＬ１，ＰＬ２平面Ｗ１，Ｗ２視線ベクトルと平面との交差点１Ａ，１Ｂ頭部用カメラ２眼球用カメラ２１バンドパスフィルタ２２眼球撮影レンズ２３ハーフミラー３画像処理部３１眼球位置検出手段３２追尾制御手段３３視線ベクトル算出手段３４視線布置手段４赤外光照射手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者館隆司東京都港区西麻布一丁目２番７号株式会社ナック内 (72)発明者水野重智東京都港区西麻布一丁目２番７号株式会社ナック内

Claims

【特許請求の範囲】

【請求項１】複数の頭部用カメラと高倍率の眼球用カ
メラを用いた非接触視線測定装置であって、被験者の頭部に当てられた赤外光のうち、頭部につけら
れた少なくとも３個のマーカからの反射光を前記複数の
頭部用カメラで捉え、頭部の位置と顔の向いている方向
を検出し、眼球位置を検出する眼球位置検出手段と、前記複数の頭部用カメラによって検出された眼球位置
に、赤外光を当てる赤外光照射手段と、前記高倍率の眼球用カメラによって眼球だけを捉え、前
記頭部用カメラからの情報によって眼球を常に追いかけ
る追尾制御手段と、前記眼球用カメラの出力から角膜反射像の位置と瞳孔中
心を検出し、視線ベクトルを求める視線ベクトル算出手
段と、前記視線ベクトルを所望の座標系に変換して、視線位置
と視線の方向を空間布置する視線布置手段と、を備えた
ことを特徴とする非接触視線測定装置。
【請求項２】赤外線照射手段は、複数の赤外光照射部
をカメラレンズの周囲に配置して構成したことを特徴と
する請求項１記載の非接触視線測定装置。