JP3760960B2

JP3760960B2 - 視線位置検出装置

Info

Publication number: JP3760960B2
Application number: JP08510197A
Authority: JP
Inventors: 浩吉松
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-04-03
Filing date: 1997-04-03
Publication date: 2006-03-29
Anticipated expiration: 2017-04-03
Also published as: JPH10276987A

Description

【０００１】
【発明の属する技術分野】
本発明は、眼球運動に基づいて３次元的な視線位置を検出する視線位置検出装置に関する。
【０００２】
【従来の技術】
眼球運動に基づいて視線位置を検出する視線位置検出装置は、例えば、テレビジョン受信機等の画像出力装置の画質評価に利用されている。この画像出力装置における視線を使った評価は、画面上の視線の動きを分析することによる評価であり、この評価により、例えば、ＮＴＳＣ方式による画面とハイビジョンによる画面における視線の動きを比較すると、ＮＴＳＣ方式による画面では視線が画面中央付近に集中するが、ハイビジョンによる画面では視線が広い範囲で動き、より自然な動きに近いことが知られている。
【０００３】
また、視線位置の検出は、ヘッドアップディスプレイを用いた情報入力やコンピュータグラフィックスを用いた仮想現実世界におけるインタフェース等に利用することも考えられる。
【０００４】
上記のような各種分野において視線位置検出装置は利用され得るが、この場合、当然視線位置の検出はできるだけ正確になされることが望ましい。また、視線位置は、奥行き方向も含めた３次元的な位置として検出できる方が、視線位置の利用範囲も広がるので好ましい。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来では、例えば不規則な付随意眼球運動として、一点を見つめるときに無意識に生じる固視微動や瞬きによる一時的な眼球運動の変化等により視線位置検出の際に不要なノイズ成分が生じてしまい、精度よく視線位置の検出を行うことが困難であった。
【０００６】
例えば、文献「吉松浩他：“ヘッド・マウント・ディスプレイにおける眼球運動の定量的評価”，３次元画像コンファレンス’９４，第６３〜６８ページ，１９９４年」には、奥行き方向に前後運動する指標を追従する際の視線位置の変化を眼球運動の測定データに基づいて求めた結果が示されているが、ここでは眼球運動データに平滑化等のフィルタ処理を行っていないので、求められた視線位置に誤差が多いという問題がある。
【０００７】
また、例えば特公平５−８３２４８号公報には、眼球運動データにフィルタ処理を施してノイズ除去を行い視線位置の検出を行う技術が示されているが、この技術では、眼球移動方向、移動速度等の情報に基づいて、眼球移動方向ごとに適応的に複数のフィルタの切り換えを行うようになっており、フィルタ処理に手間が掛かると共に、フィルタ自身の効果が十分ではないという問題があった。このフィルタの効果が十分でない理由は次のように考えられる。すなわち、随意眼球運動は、大きく分類すると、直線的なサッカードと滑らかな追従眼球運動の２種類に分類されるが、サッカードの始点と終点部分では視線は連続だが微分不可能となり、その平滑化が難しいからである。
【０００８】
ところで、本出願の発明者等は、例えば文献「吉松浩他：“水平両眼固視微動のドリフト成分のフラクタル次元解析”，テレビジョン学会誌Ｖｏｌ．４９，Ｎｏ．８，第１０４２〜１０５１ページ，１９９５年」に示されるように、移動平均法による波形の平滑化によって、眼球運動の測定データからノイズ成分を取り除く技術を提案している。この技術では、ノイズ成分を取り除くために設けられた測定データの前処理において、測定データの波形から視線の大域的な運動に相当する眼球運動の低周波成分と超微小振幅且つ高周波の成分として知られるトレマー成分とを取り除くために、移動平均法を用いてＦＩＲ（有限インパルス応答）バンドパスフィルタを形成し、測定データの波形から微小振幅成分であるドリフト成分を抽出し、その波形を解析するようにしている。しかしながら、この技術では、解析可能な眼球運動成分は、注視時の微小振幅成分（ドリフト成分）に限られるという不具合があった。
【０００９】
また、移動平均法による波形の平滑化の場合には、波形が急激に変化する部分で、微小な位相のずれを生じ、その後の計算で誤差を生じるという問題点がある。
【００１０】
また、移動平均法による波形の平滑化の場合には、そのフィルタ特性はＦＩＲフィルタとなり、位相のずれは少ないが、周波数特性が良くないために、平滑化後の波形に高周波成分すなわちノイズ成分が混入する。そのため、平滑化後の波形に対して時間微分処理を行う場合、時間微分された波形ではノイズの効果が増強され、時間微分された波形の判別が難しいという問題点がある。
【００１１】
一方、左右の視線が３次元空間上で交差しない場合において視線位置を検出する方法として、例えば特開平８−１４８２８号公報では、疑似逆行列を用いてステレオカメラの左右の視線の共通法線の中点を最小近似解とする技術が示されているが、この技術では、計算方法が複雑であり、視線位置の計算に時間が掛かるという問題があった。
【００１２】
本発明はかかる問題点に鑑みてなされたもので、その目的は、ノイズ成分を低減して、迅速且つ精度よく３次元的な視線位置の検出を行うことが可能な視線位置検出装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明の視線位置検出装置は、右眼および左眼各々の眼球運動を測定して時系列的な眼球運動データを生成する眼球運動測定手段と、この眼球運動測定手段によって生成された眼球運動データに対してウェーブレット解析による平滑化処理を施す平滑化手段と、この平滑化手段によって平滑化された眼球運動データに基づいて、３次元的な視線位置を検出する視線位置検出手段とを備え、視線位置検出手段において、左眼および右眼の各視線ベクトルが最も近づいた位置の距離線分ベクトルの中点を３次元的な視線位置として近似して検出するようにしたものである。
【００１４】
本発明の視線位置検出装置では、時系列的に測定された眼球運動データに対してウェーブレット解析による平滑化処理が施され、この平滑化された眼球運動データに基づいて、３次元的な視線位置が検出される。ウェーブレット解析を用いて眼球運動データに対する平滑化処理を行うことによって、ノイズ成分が少なく精度のよい視線位置の検出を行うことが可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施の形態に係る視線位置検出装置の構成を示すブロック図であり、図２は図１におけるセンサ部の構成を示す説明図である。また、図３は図１におけるコンピュータの構成を示すブロック図である
【００１７】
図１に示したように、本実施の形態に係る視線位置検出装置は、眼球運動の時系列データを測定するためのセンサ部１１と、このセンサ部１１の出力をアナログ−ディジタル（以下、「Ａ／Ｄ」という。）変換するＡ／Ｄコンバータ１２と、このＡ／Ｄコンバータ１２の出力データを取り込み、後述する種々の処理を行うコンピュータ１３と、このコンピュータ１３による処理結果を表示する表示装置１４とを備えている。
【００１８】
センサ部１１は、強膜反射法（前出の吉松浩他の文献“水平両眼固視微動のドリフト成分のフラクタル次元解析”参照。）により眼球運動を測定するものであり、図２に示したように、眼球Ｅに対して赤外光を照射する発光ダイオード２１と、この発光ダイオード２１の左右両側に配置される２つのフォトダイオード２２，２３と、フォトダイオード２２，２３の各出力信号を用いて所定の演算を行い、時系列データとして出力する演算回路２４とを備えている。なお、左右両眼の眼球運動を測定する場合には、センサ部１１は片眼ずつ設けられる。センサ部１１は、例えばゴーグル型の保持部材に取り付けられ、被験者に保持部材を装着したときに、眼球Ｅの下側に配置されるようになっている。なお、本実施の形態におけるセンサ部１１は、本発明における眼球運動測定手段に対応する。
【００１９】
フォトダイオード２２，２３は、それぞれ眼球の白目と黒目の境界における反射光量を検出するようになっている。演算回路２４は、眼球運動の水平方向成分の時系列データとしてフォトダイオード２２，２３の出力信号の差を出力し、眼球運動の垂直方向成分の時系列データとしてフォトダイオード２２，２３の出力信号の和を出力するようになっている。なお、この場合、特に眼球運動の垂直方向成分の時系列データは眼球運動に対して非線形になるが、その補正はコンピュータ１３によって行われる。
【００２０】
なお、眼球運動の測定は、強膜反射法によるものに限らず、例えば二重プルキニエ反射光法（文献「Ｔ．Ｎ．Ｃｏｒｎｓｗｅｅｔ，Ｈ．Ｄ．Ｃｒａｎｅ：“Ａｃｃｕｒａｔｅｔｗｏ−ｄｉｍｅｎｔｉｏｎａｌｅｙｅｔｒａｃｋｅｒ
ｕｓｉｎｇｆｉｒｓｔａｎｄｆｏｕｒｔｈＰｕｒｋｉｎｊｅｉｍａｇｅｓ”，ＪＯＵＲＮＡＬＯＦＴＨＥＯＰＴＩＣＡＬＳＯＣＩＥＴＹＯＦＡＭＥＲＩＣＡ，ＶＯＬＵＭＥ６３，ＮＵＭＢＥＲ８，第９２１〜９２８ページ，１９９３年」参照。）を用いてもよい。
【００２１】
Ａ／Ｄコンバータ１２は、所定のサンプリング周波数でセンサ部１１の出力をサンプリングしてディジタルデータに変換するようになっている。
【００２２】
コンピュータ１３は、Ａ／Ｄコンバータ１２の出力データに対してウェーブレット解析によるデータの平滑化を行った後、後述の計算手法により両眼の２つの視線を３次元空間上の直線の方程式で表し、それらの２直線の距離線分の中点を奥行き方向を含む３次元的な視線位置として検出するようになっている。また、コンピュータ１３は、視線位置の検出結果を表示装置１４に表示させるようになっている。
【００２３】
また、より詳細にはこのコンピュータ１３は、図３に示したように、全体の制御を行う中央演算装置１３１と、キーボード等で構成されてＡ／Ｄコンバータ１２の出力データや後述の計算手法における初期条件ベクトル情報等を入力する入力装置１３２と、視線位置の検出に必要なプログラムや種々の情報を記憶するメモリ１３３と、中央演算装置１３１で求められた視線位置の情報を出力する出力装置１３４とを備えて構成される。なお、本実施の形態におけるコンピュータ１３は、本発明における平滑化手段および視線位置検出手段に対応する。
【００２４】
ここで、入力装置１３２は、各種情報の入力インタフェースとしての機能を有するものであり、また、ディスク等の記録媒体の読み取り装置、マウス、キーボード等のポインティングデバイス等の装置をも含むものである。
【００２５】
また、出力装置１３４は、少なくとも表示装置１４とコンピュータ１３との間のインタフェースとしての機能を有するものであり、さらに、ディスク等の記録媒体への書き込み装置、プリンタ等の装置をも含むものである。
【００２６】
次に、図４に示す流れ図を参照して、本実施の形態に係る視線位置検出装置の動作について説明する。まず、センサ部１１によって眼球運動を測定し、得られた時系列データを、Ａ／Ｄコンバータ１２によって所定のサンプリング周波数（例えば２００Ｈｚ）でディジタル化し、このＡ／Ｄコンバータ１２の出力データをコンピュータ１３に入力する（ステップＳ１０１）。なお、ここで、時系列データは、眼球運動の水平方向成分および垂直方向成分に対応する２次元データであり、任意の２次元座標系すなわち極座標系や直交座標系上の座標に相当する。また、時系列データは、例えば視線の方向（角度）を表し、この場合、単位は度（ｄｅｇ）である。
【００２７】
次に、コンピュータ１３は、入力した時系列データに対してウェーブレット解析によるデータの平滑化を行う（ステップＳ１０２）。具体的には、例えば、２次元データである時系列データのうちの一方の座標軸のデータをｘ（ｔ）（ただし、ｔは時間）としたとき、例えば１６３８４点の１次元の時系列データｘ（ｔ）に対し、９レベルまでのウェーブレット変換を行い、高周波成分を含む上位２または３レベルを除いたウェーブレット係数を用いてウェーブレット逆変換を行い、１次元の時系列データｘ（ｔ）の波形の平滑化を行う。これにより、純粋なノイズを除去することができると共に、例えば固視微動の各成分のうちのトレマー成分を除き、マイクロサッカード成分およびドリフト成分を抽出することができる。
【００２８】
次に、コンピュータ１３は、平滑化された時系列データを用いて３次元的な視線位置の検出を行う（ステップＳ１０３）。具体的には、コンピュータ１３は、以下のような計算手法により３次元的な視線位置を計算する。
【００２９】
図５は、本実施の形態における３次元的な視線位置の計算手法を説明するための説明図である。図５において、左眼ＬＥ、右眼ＲＥの中点を座標原点Ｏとし、また、右眼ＲＥの眼球位置ベクトルをＡ、左眼ＬＥの眼球位置ベクトルを−Ａとする。また、原点Ｏから所定の距離の位置に規準点を設定し、原点Ｏからこの規準点への距離ベクトルをＤとする。さらに、規準点を通り、距離ベクトルＤに垂直な仮想的な測定スクリーン５１を設定する。また、左眼ＬＥ、右眼ＲＥの各視線ベクトルｌＬ，ｒＲとそのスクリーン５１の交点を眼球運動データの測定点ｌ１，ｒ１とする。センサ部１１において測定された左右眼の水平方向、垂直方向各々の眼球運動データは、この測定点ｌ１，ｒ１として測定される。従って、基準スクリーン５１よりも手前の位置を見つめると、左右眼の測定点ｌ１，ｒ１は、その左右の位置が反転し、基準スクリーン５１よりも遠方の位置を見つめると、左右眼の測定点ｌ１，ｒ１は、その左右の位置が反転しないようになっている。
【００３０】
ここで、距離ベクトルＤの終点から測定点ｌ１，ｒ１までのベクトルを左右眼の各々でＬ，Ｒとすると、左眼ＬＥ、右眼ＲＥの各視線ベクトルｌＬ，ｒＲは、上記のベクトルＡ，Ｄ，Ｌ，Ｒを用いて、以下の式（１），（２）のようにパラメータ表示される。
【００３１】
左眼視線ベクトルｌＬ（ｓ）＝−Ａ＋（Ｄ＋Ｌ＋Ａ）ｓ …（１）
【００３２】
右眼視線ベクトルｒＲ（ｔ）＝Ａ＋（Ｄ＋Ｒ−Ａ）ｔ …（２）
【００３３】
この２つの視線ベクトルｌＬ（ｓ），ｒＲ（ｔ）の交点が３次元的な視線位置になるが、一般に３次元空間中では必ずしも２つの視線ベクトルｌＬ（ｓ），ｒＲ（ｔ）は交点を持たないので、本実施の形態では２つの視線ベクトルｌＬ（ｓ），ｒＲ（ｔ）が最も近づいた位置の距離線分ベクトル２ｄの中点ｇを３次元的な視線位置として近似する。
【００３４】
このとき、距離ベクトル２ｄが定義される位置のパラメータをｓ０，ｔ０とすると、これらの点ｌＬ（ｓ０），ｒＲ（ｔ０）において、距離ベクトル２ｄと２つの視線ベクトルｌＬ（ｓ），ｒＲ（ｔ）は直交する。また、３次元の視線位置を表すベクトルをＸとすると、この視線位置ベクトルＸは、距離ベクトル２ｄと直交する。
【００３５】
以上の直交条件から、以下の式（３），（４）が成り立つ。
【００３６】
［｛−Ａ＋（Ｄ＋Ｌ＋Ａ）ｓ０｝−Ｘ］・Ｘ＝０ …（３）
【００３７】
［｛Ａ＋（Ｄ＋Ｒ−Ａ）ｔ０｝−Ｘ］・Ｘ＝０ …（４）
【００３８】
よって、これらの式から３次元の視線位置ベクトルＸは、以下の式（５）で与えられる。
【００３９】
Ｘ＝｛ｌＬ（ｓ０）＋ｒＲ（ｔ０）｝／２ …（５）
【００４０】
コンピュータ１３において、以上のような計算手法により３次元の視線位置を検出する場合には、まず、Ａ／Ｄコンバータ１２からの眼球運動データが、入力装置１３２を介して中央演算装置１３１に入力される。中央演算装置１３１は、入力された眼球運動データを平滑化して、上記測定点ｌ１，ｒ１を示すベクトルＬ，Ｒの情報としてメモリ１３３に一時的に記憶する。一方、初期条件ベクトル情報として眼球位置ベクトルＡおよび距離ベクトルＤの値が入力装置１３２から入力される。ここで入力された初期条件ベクトルＡ，Ｄも、中央演算装置１３１を介してメモリ１３３に一時的に記憶される。
【００４１】
中央演算装置１３１は、メモリ１３３に一時的に記憶されたベクトル情報から、式（５）の演算を実行し、この演算結果を出力装置１３４から出力する。これにより３次元の視線位置ベクトルＸが求められる。
【００４２】
コンピュータ１３は、以上のようにして計算された視線位置の結果を表示装置１４に表示させて（ステップＳ１０４）、動作を終了する。
【００４３】
ここで、本実施の形態では、ウェーブレット解析によるデータの平滑化（以下、「ウェーブレット平滑化」ともいう。）を行っているが、図６ないし図１８を参照して、その優位性について説明する。
【００４４】
まず、図６ないし図８は、上記の方法により時系列的に得られた奥行き方向の視線位置の運動の波形を横軸を時刻、縦軸を計算された奥行き方向の視線位置として示した図である。なお、図６は、平滑化前の眼球運動データから得られた原波形を示すものであり、図７は、移動平均法を用いた平滑化（以下、「移動平均平滑化」という。）を行った後の波形を示し、図８は、ウェーブレット平滑化を行った後の波形を示すものである。また、図９および図１０は、それぞれ図６の波形中の領域６１，６２を拡大して示した波形図である。同様に図１１および図１２は、それぞれ図７の波形中の領域７１，７２を拡大して示した波形図、図１３および図１４は、それぞれ図８の波形中の領域８１，８２を拡大して示した波形図である。
【００４５】
また、図１５ないし図１７は、３次元的な視線位置の軌跡を示した図であり、図１５は、実際に得られた３次元的な視線位置の原軌跡を示した図、図１６は、移動平均平滑化を行った後の波形を用いて視線位置の軌跡を再現した場合の軌跡を示した図、図１７は、ウェーブレット平滑化を行った後の波形を用いて視線位置の軌跡を再現した場合の軌跡を示した図である。
【００４６】
これらの図に示したように、ウェーブレット平滑化を行った後の波形（以下、「ウェーブレット平滑化波形」ともいう。）の方が移動平均平滑化を行った後の波形（以下、「移動平均平滑化波形」ともいう。）よりも軌跡が滑らかであり、原波形の平滑化に有効であることが分かる。特に、ウェーブレット平滑化を行った後の波形では、図９ないし図１７から分かるように、誤差の生じやすい奥行き方向の遠方において、視線位置の軌跡が移動平均平滑化を行った後の波形と比較して顕著に滑らかとなっている。このことから、ウェーブレット平滑化を行うことが特に奥行き方向の遠方における視線位置の検出に有効であることが分かる。
【００４７】
次に、波形の平滑化に関して、ウェーブレット平滑化と移動平均平滑化とを統計的手法を用いて定量的に比較する。
【００４８】
まず、３次元的な座標（ｘ，ｙ，ｚ）（ただし、ｚは奥行き方向の座標、ｘ，ｙは奥行き方向に対して直交し且つ互いに直交する２方向の座標とする。）の各々について、時系列的な原波形のデータをｏｒｇ、移動平均平滑化波形のデータをｆｉｒ、ウェーブレット平滑化波形のデータをｗａｖとし、原波形と各平滑化波形との差の平均（絶対値）を、｜平均［ｏｒｇ−ｆｉｒ］｜，｜平均［ｏｒｇ−ｗａｖ］｜と表す。そして、ウェーブレット平滑化波形と移動平均平滑化波形とを、上記平均を用いて定量的に比較するために、以下の式（６）を導入する。この式（６）の値を平均比較評価値とする。
【００４９】
（｜平均［ｏｒｇ−ｆｉｒ］｜−｜平均［ｏｒｇ−ｗａｖ］｜）／｛（｜平均［ｏｒｇ−ｆｉｒ］｜＋｜平均［ｏｒｇ−ｗａｖ］｜）／２｝ …（６）
【００５０】
同様に、原波形と各平滑化波形との差の標準偏差（絶対値）を、｜標準偏差［ｏｒｇ−ｆｉｒ］｜，｜標準偏差［ｏｒｇ−ｗａｖ］｜と表し、ウェーブレット平滑化波形と移動平均平滑化波形とを、上記標準偏差を用いて定量的に比較するために、以下の式（７）を導入する。この式（７）の値を標準偏差比較評価値とする。
【００５１】
（｜標準偏差［ｏｒｇ−ｆｉｒ］｜−｜標準偏差［ｏｒｇ−ｗａｖ］｜）／｛（｜標準偏差［ｏｒｇ−ｆｉｒ］｜＋｜標準偏差［ｏｒｇ−ｗａｖ］｜）／２｝…（７）
【００５２】
また、原波形と各平滑化波形との差の歪度（絶対値）を、｜歪度［ｏｒｇ−ｆｉｒ］｜，｜歪度［ｏｒｇ−ｗａｖ］｜と表し、ウェーブレット平滑化波形と移動平均平滑化波形とを、上記歪度を用いて定量的に比較するために、以下の式（８）を導入する。この式（８）の値を歪度比較評価値とする。なお、歪度とは、データの統計量の偏り具合を示すものであり、スキューネスとも呼ばれる。
【００５３】
（｜歪度［ｏｒｇ−ｆｉｒ］｜−｜歪度［ｏｒｇ−ｗａｖ］｜）／｛（｜歪度［ｏｒｇ−ｆｉｒ］｜＋｜歪度［ｏｒｇ−ｗａｖ］｜）／２｝ …（８）
【００５４】
以上の式を用いて、眼球運動波形のサンプリング周波数＝２００Ｈｚ、測定時間＝２分３０秒、指標は４０〜２００ｃｍの奥行き方向の正弦波運動を行うＣＧ（コンピュータ・グラフィックス）の正８面体（この正８面体の大きさは、距離に依存して実指標と同様に変化する）、という条件で測定された眼球運動のデータに基づいて、各座標（ｘ，ｙ，ｚ）毎に平均比較評価値、標準偏差評価値および歪度比較評価値を求めたところ、以下の結果が得られた。
【００５５】
各座標（ｘ，ｙ，ｚ）についての平均比較評価値：（４．１７２６８，８１．３５９９，９８．６１８４）［％］。
【００５６】
各座標（ｘ，ｙ，ｚ）についての標準偏差評価値：（５４．８５５５，５２．０２８８，３７．１８１２）［％］。
【００５７】
各座標（ｘ，ｙ，ｚ）についての歪度比較評価値：（３６．７７８６，２７．０３６５，４８．３２１９）［％］。
【００５８】
この結果から分かるように全ての評価値に対して正の値が得られたが、このことは、常に移動平均平滑化に比較して、ウェーブレット平滑化の場合の統計量の絶対値が小さいことを意味し、ウェーブレット平滑化による誤差が少ないことを示している。特に、平均比較評価値が小さいことは、ウェーブレット平滑化による誤差が小さいことを示し、また、標準偏差評価値が小さいことは、ウェーブレット平滑化による誤差の広がりが小さいことを示している。また、歪度比較評価値が小さいことは、ウェーブレット平滑化による誤差の分布の偏りが小さいことを示している。
【００５９】
次に、図１８を参照して、平滑化による誤差を原波形と各平滑化波形との差として表して、移動平均平滑化による誤差とウェーブレット平滑化による誤差とを比較する。図１８は、１０秒間に亘る奥行き方向の視線位置の誤差を示したものであり、図１８（ａ）は、移動平均平滑化による誤差、図１８（ｂ）は、ウェーブレット平滑化による誤差を示したものである。なお、各誤差は、それぞれ以下のような計算式（９），（１０）より求められたものである。
【００６０】
（ｏｒｇ−ｆｉｒ）／｛（｜平均［ｏｒｇ−ｆｉｒ］｜＋｜平均［ｏｒｇ−ｗａｖ］｜）／２｝ …（９）
【００６１】
（ｏｒｇ−ｗａｖ）／｛（｜平均［ｏｒｇ−ｆｉｒ］｜＋｜平均［ｏｒｇ−ｗａｖ］｜）／２｝ …（１０）
【００６２】
図１８から分かるように、移動平均平滑化波形では、例えば図１８（ａ）において符号１８０で示す鋭いピーク状の誤差が奥行き方向の手前（図の縦軸の負の方向）と奥行き方向（図の縦軸の正の方向）とで非対称となり、また、その他の領域においても非対称性を示しているが、ウェーブレット平滑化波形ではこの非対称性は改善されている。このように、移動平均平滑化による誤差の波形において非対称性が見られるのは、急激に波形が変化する部分で平滑化による位相回りを生ずるためと推測される。なお、ウェーブレット平滑化による誤差の波形において対称性がよいのは、ウェーブレット平滑化では位相回りが生じないためと考えられる。
【００６３】
このように、ウェーブレット平滑化では、注視時の微小な振幅の眼球運動に対しても、大きな振幅の眼球運動に対しても、精度良く、眼球運動の時系列データの平滑化が可能である。
【００６４】
以上説明したように、本実施の形態に係る視線位置検出装置によれば、ウェーブレット解析を用いて眼球運動の時系列データを平滑化すると共に、平滑化後のデータに基づいて３次元的な視線位置を検出するようにしたので、ノイズ成分を低減して、迅速且つ精度よく３次元的な視線位置の検出を行うことが可能となる。この場合、移動平均法による平滑化のように位相回りが生じないため、例えば、注視時の微小振幅の眼球運動に限らず、大きな振幅の眼球運動に対しても、精度良く眼球運動の時系列データを平滑化することが可能となるという効果を奏する。
【００６５】
また、従来では直線的なサッカードの始点と終点部分では視線は連続だが微分不可能となり、その平滑化は難しかったが、ウェーブレット解析による平滑化により、このサッカード成分を含む眼球運動データに対しても１回のフィルタ処理で自然な平滑化を精度よく行うことが可能となる。また、通常、遠方に行くほど検出される視線位置の誤差は大きくなるが、本実施の形態によれば以上のようなウェーブレット解析による平滑化により、遠方の視線位置についても誤差を小さくできるので、特に遠方の視線位置について顕著に効果を上げることが可能となる。
【００６６】
さらに、本実施の形態によればウェーブレット平滑化によって、眼球運動の時系列データから瞬き部分を除去することができる。
【００６７】
さらに、本実施の形態に係る視線位置検出装置によれば、眼球運動の時系列データの波形から瞬き部分を除去することができる。このことを、図１９を参照して説明する。図１９（ａ）は、測定によって得られた眼球運動の時系列データの波形を示したものであり、この波形には、瞬きによって生じた振幅が大きく且つ急峻な変化である瞬き部分４１が含まれている。しかしながら本実施の形態では、眼球運動の時系列データに対してウェーブレット平滑化を行うので、図１９（ｂ）に示したように、瞬き部分４１を含む時系列データの波形から瞬き部分４１が自動的に除去されて、瞬き部分４１は自然に平滑化される。そして、この平滑後の時系列データは、視線位置の検出に用いられる。
【００６８】
このように、本実施の形態によれば、ウェーブレット平滑化によって、眼球運動の時系列データから瞬き部分を除去して自然な平滑化を行うことが可能となるので、瞬きに影響を受けることなく精度よく３次元的な視線位置の検出を行うことが可能となる。
【００６９】
以上の実施の形態で説明した視線位置検出装置は、例えば視線位置に合わせてカメラが動くような立体ビデオカメラにおける視線位置情報入力装置に応用できる。また、コンピュータグラフィックスを用いた仮想現実世界におけるインタフェース等としても利用できる。また、自動車等で用いられるヘッドアップディスプレイにおける視線を用いた情報入力等にも応用できる。例えば、ナビゲーションシステムによる表示画像中において見た部分を検出し、その部分に関する情報を出力するようなことが可能となる。また、運転時における運転者の視線位置を検出して、わき見運転等に対する注意を促すような情報を出力するようなことが可能となる。このように、本発明の視線位置検出装置は視線位置の検出を利用した種々の装置に適用が可能である。
【００７０】
【発明の効果】
以上説明したように本発明の視線位置検出装置によれば、ウェーブレット解析を用いて眼球運動データに対する平滑化処理を行って３次元的な視線位置の検出を行うようにしたので、ノイズ成分を低減して、迅速且つ精度よく３次元的な視線位置の検出を行うことが可能となる。この場合、特に、遠方の視線位置の検出の際のノイズ成分を有効に除去することができるので、遠方の視線位置の検出精度を向上させることができる。また、ウェーブレット解析による平滑化処理が１回で済むので、計算に時間を要せず、迅速で効率的な視線位置の検出が可能である。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る視線位置検出装置の構成を示すブロック図である。
【図２】図１におけるコンピュータの構成を示すブロック図である。
【図３】図１におけるセンサ部の構成を示す説明図である。
【図４】本発明の一実施の形態に係る視線位置検出装置の動作を示す流れ図である。
【図５】本発明の一実施の形態における３次元的な視線位置の計算手法を説明するための図である。
【図６】本発明の一実施の形態において時系列的に得られた奥行き方向の視線位置の運動データの原波形を示した波形図である。
【図７】図６に示した運動データに対する移動平均平滑化後の波形を示した波形図である。
【図８】図６に示した運動データに対するウェーブレット平滑化後の波形を示した波形図である。
【図９】図６の波形中の一部を拡大して示す波形図である。
【図１０】図６の波形中の一部を拡大して示す波形図である。
【図１１】図７の波形中の一部を拡大して示す波形図である。
【図１２】図７の波形中の一部を拡大して示す波形図である。
【図１３】図８の波形中の一部を拡大して示す波形図である。
【図１４】図８の波形中の一部を拡大して示す波形図である。
【図１５】本発明の一実施の形態において３次元的な視線位置の軌跡の原波形を示した波形図である。
【図１６】図１５に示した原波形に対する移動平均平滑化後の波形を用いて３次元的な視線位置の軌跡を再現した波形図である。
【図１７】図１５に示した原波形に対するウェーブレット平滑化後の波形を用いて３次元的な視線位置の軌跡を再現した波形図である。
【図１８】本発明の一実施の形態において原波形と各平滑化波形との差を比較するための波形図である。
【図１９】本発明の一実施の形態におけるウェーブレット平滑化処理により、眼球運動のデータから瞬き部分の除去を行った場合の波形を示した波形図である。
【符号の説明】
１１…センサ部、１２…Ａ／Ｄコンバータ、１３…コンピュータ、１４…表示装置

Claims

右眼および左眼各々の眼球運動を測定して時系列的な眼球運動データを生成する眼球運動測定手段と、
この眼球運動測定手段によって生成された眼球運動データに対してウェーブレット解析による平滑化処理を施す平滑化手段と、
この平滑化手段によって平滑化された眼球運動データに基づいて、３次元的な視線位置を検出する視線位置検出手段と
を備え、
前記視線位置検出手段において、左眼および右眼の各視線ベクトルが最も近づいた位置の距離線分ベクトルの中点を前記３次元的な視線位置として近似して検出するようにした
ことを特徴とする視線位置検出装置。
前記平滑化手段は、前記ウェーブレット解析による平滑化処理を施すことにより、前記眼球運動データに含まれる瞬き部分の除去を行うことを特徴とする請求項１記載の視線位置検出装置。