WO2016195066A1

WO2016195066A1 - 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置

Info

Publication number: WO2016195066A1
Application number: PCT/JP2016/066562
Authority: WO
Inventors: 聖星野
Original assignee: 聖星野
Priority date: 2015-06-05
Filing date: 2016-06-03
Publication date: 2016-12-08
Also published as: TWI694809B; TW201701820A; JP6651074B2; US10311583B2; JPWO2016195066A1; US20180174309A1

Abstract

背景光の変化に強く、カメラの位置ずれにも強く、長時間装用が可能であり、眼球の移動方向等の運動を検出しやすい方法を提供する。　情報処理装置において、当該眼の領域から、当該眼の中の白目領域を検出し、白目領域から、テンプレートとなる血管像を決定し、テンプレート血管像にマッチした第ｎのマッチ血管像を検出し、その第ｎ検出位置との差から眼球の第ｎ移動量を演算し、前記基準角度と前記第ｎ検出角度との差から眼球の第ｎ回転角度を演算し、眼球の運動を検出する方法。

Description

眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置

　本発明は、眼の近傍に配置された撮像装置（カメラ）により眼の周辺を含む所定領域を撮像した画像から、眼球の運動を検出する方法に関し、特に、眼の画像から眼の中の虹彩及び／又は瞳孔以外の特徴点を利用して間接的に瞳孔の位置又は視線の方向等を検出する方法に関する。

　近年になり、ヘッドマウントディスプレイや眼鏡型のウェアラブルデバイスに、眼の動きを知るための装置が設置されたものが公知になっている。例えば、グーグルグラス（Ｇｏｏｇｌｅ　Ｇｌａｓｓ：登録商標）では、赤外線センサにより眼が上を向くこと、まばたきやウインク、及び、装置の着脱を検知して、設定により眼をウインクさせて写真撮影や着脱や上向きでディスプレイをオンできることが知られている。

　また、まばたきやウインクの検知の他にも、カメラで眼の領域を撮像した画像から眼の中の虹彩の位置を検出する方法が知られている。例えば、虹彩部分には濃淡の模様（虹彩紋理：虹彩の濃淡パターン）があるので、眼球の画像における虹彩部分から、テンプレートマッチング等の既存の技術を用いて、眼の中の虹彩の位置を検出している。

　さらに、上記のような虹彩の位置の検出を、連続した眼球の画像から各々検出し、例えば、その各位置を２次元又は３次元の座標上に投影して比較するか又は各座標値の差をとることで、眼球の移動する方向や移動する速度を検出できる。さらに、この眼球の移動方向をトレースしたり、眼球の移動する方向や速度のパターンを検出し、それを既知の正常なパターンと比較して異なることを検出することで、身体の異常あるいは不調や疾病の発見等に利用することができる。例えば、眼球が視線の方向を回転軸として回転（眼球運動）する運動は、通常であれば、頭が傾いた時に元の状態に戻ろうとして発生する。この運動が頭を傾けない場合に発生する場合は、乗り物酔いや影像酔いの可能性がある（例えば、非特許文献１基準）。

　また、眼球の画像を撮像する場合には、眼球の表面が曲面であるので、撮像目的の中心部と周辺部の各表面からカメラのレンズまでの光路の距離が異なり、同時にカメラで焦点（ピント）を合わせることが困難であり、眼球が運動すると焦点が合わなくなる場合がある。それを解決するための一案としては、焦点深度の深いレンズを用いて眼球の中心と周辺を含む全体で同時にピントが合うようにすることであるが、そのためには強い照明が必要になり眼に悪影響を及ぼすことがある。そこで、他の案として瞳孔の重心を検出し、その瞳孔の重心に合わせてフォーカス制御を行うことで、眼球が移動してもピントを合わせられるようにできるものがある（例えば、特許文献１基準）。

　また、眼球の運動や視線の垂直・水平成分の高精度な計測には、眼球と角膜の回転中心が異なることを利用した角膜反射像（プルキンエ像）を利用する方法がある。

　また、本願発明の発明者等は、上記した虹彩紋理を検出する場合の課題（後述）を解決するために、基準状態の眼の白目（強膜および結膜が露出している部分）中から虹彩近傍の所定パターンの血管を特定し、その特定の血管の端点の位置から虹彩の外縁端部を検出することで、眼球の回旋を測定する方法を提案した（例えば、特許文献２基準）。

橋本勉・牧孝郎・坂下祐輔・西山潤平・藤吉弘亘・平田豊、「瞳孔径変化による虹彩パターン伸縮のモデル化と眼球運動計測への応用」、電子情報通信学会論文誌、2010, Vol. J93-D, No.1, pp.39-46.

特開平０２－１６４３３５号公報国際公開ＷＯ２０１３／１２５７０７号パンフレット

　しかしながら、非特許文献１等で利用する虹彩紋理は、濃淡のコントラストが不明瞭であり、見ているものや周辺（背景）の光量の変化により瞳孔径が変化するのに伴い、紋理の形状や位置や濃淡が変化するので、検出する際に背景光を一定に保つか、眼の周囲を覆うゴーグル等により背景光を遮断する必要がある。

　また、特許文献１には、眼球に対して瞳孔の重心を用いてフォーカシング制御し、眼球が運動してもピントを合わせられる方法の一例が示されているが、その瞳孔の重心の情報は、フォーカシング制御のみに使用されている。従って、特許文献１では、本願発明のような、瞳孔の重心に基づく位置情報を、眼球の移動方向、移動量、移動速度等の計測に利用することについて開示していない。

　また、眼球の角膜反射像（プルキンエ像）を利用する方法は、測定中の頭部とカメラのずれに弱く、ベルト等によりカメラを頭部に強固に固定する必要があった。また、この角膜反射像（プルキンエ像）を利用する方法では、眼球の回旋運動は計測できない。

　また、特許文献２の眼球の回旋を測定する方法では、白目中の特定の血管の端点の位置から虹彩の外縁端部を検出する事で、上記したような非特許文献１、特許文献１及びプルキンエ像を利用する方法の課題（背景光によりコントラスト検出が困難、移動方向等を計測できない、頭部にカメラを強固に固定する必要があり長時間装用が困難）を解決できる可能性を有する。しかし、虹彩の外縁端部を検出しているため、使用できる血管の位置する領域が虹彩近傍に限られている。さらに「その血管の少なくとも一部に虹彩の外周端部で終端する部分を有する」という制約がある。また、その制約中で、上まぶたから突出する直線状のまつげと判別可能であるような複雑な形状（例えば、折れ曲がりが多いか、分岐している等）で、なるべく明確に検出できる「太さ寸法」を有する血管を特定する必要があるため、血管を特定することの難易度が高く処理に時間がかかっていた。

　また、例えば、眼の上下幅が狭い人（眼が細い人）のように上まぶたで虹彩の上部が部分的に覆われる身体的特徴や、あるいは上まぶたのまつげが黒色等の強コントラストになる濃色であり虹彩の上部等に部分的に被さるように長く及び／又は太いような身体的特徴は、虹彩紋理を検出する際には好ましい結果を得られない場合があった。一般的に、東アジアの一部の地域の（一部の民族の）人には、上記したような身体的特徴を有することが多く、そのような身体的特徴を有する被測定者は、虹彩を計測する際に、眼を意図的に見開いたり、まばたきを我慢する必要があった。また、特許文献２の方法の場合も、上記したような身体的特徴を有する人の場合は、虹彩の端部で終端する血管を特定する領域が狭くなるため、好ましい結果が得られない場合があった。

　従って、従来の眼球の運動を検出する方法では、（１）背景光が変化してもコントラスト検出でき、（２）頭部にカメラを強固に固定する必要が無く長時間装用が可能であり、さらに（３）眼の上下幅が狭く眼が細い場合、又は、上まぶたのまつげが濃色で長く虹彩の上部等に部分的に被さる場合でも、眼球の移動方向等の運動を検出しやすいことに加えて、（４）眼球の移動を検出するための血管を特定することが容易である、という全て満足できる方法を提供できなかった。

　そこで本発明は、上記した課題を解決するために、（１）背景光の変化に強く、（２）カメラの位置ずれにも強く、頭部にカメラを強固に固定する必要が無いことから長時間装用が可能であり、（３）眼の上下幅が狭い人や上まぶたのまつげが濃色で長く虹彩に被さる場合でも、眼球の移動方向等の運動を検出しやすく、（４）さらに眼球の移動を検出するための血管を特定しやすい方法を提供することを目的とする。

　上記した課題を解決するために、本発明に係る眼球の運動を検出する方法は、情報処理装置において、（ａ）少なくとも片眼の前面側の近傍領域内、もしくはｏｎｅ－ｗａｙ　ｍｉｒｒｏｒ等の併用により光学的に等価な位置に配置された撮像装置により撮像された、当該眼の周辺領域を含む所定領域の基準画像が入力するステップと、（ｂ）基準画像から、少なくとも当該眼の目頭と目尻を検出するステップと、（ｃ）基準画像の目頭と目尻の間の当該眼の領域から、当該眼の中の白目領域を検出するステップと、（ｄ）白目領域から、識別可能な全ての血管像を抽出するステップと、（ｅ）全ての血管像中から、テンプレートとなる血管像を決定するステップと、（ｆ）白目領域中のテンプレート血管像の座標中の基準位置及び水平基準の基準角度を記録するステップと、（ｇ）撮像装置により撮像された第ｎ（ｎは１から始まり順次１ずつ漸増する１以上の整数）の血管像検出用画像が入力するステップと、（ｈ）第ｎの血管像検出用画像から、テンプレートにマッチした第ｎのマッチ血管像を検出するステップと、（ｉ）白目領域中の第ｎのマッチ血管像の座標中の第ｎ検出位置及び第ｎ検出角度を記録するステップと、（ｊ）座標中の基準位置及び第ｎ検出位置との差から眼球の第ｎ移動量を演算し、基準角度と第ｎ検出角度との差から眼球の第ｎ回転角度を演算するステップと、（ｋ）ｎ＝ｎ＋１として上記（ｇ）～（ｊ）のステップを実行し、入力した第（ｎ＋１）血管像検出用画像から第（ｎ＋１）のマッチ血管像を検出し、さらに第（ｎ＋１）移動量及び第（ｎ＋１）回転角度を演算する処理を繰り返すステップと、　が実行される。

　また、上記した方法における各ステップは、コンピュータ等の情報処理装置に記憶されたプログラムにより演算処理部で実行され、また、当該プログラムは、当該プログラムを記憶する記憶媒体から情報処理装置内部の処理作業用記憶部に伝送されて記憶された後、演算処理部で実行される。

　好ましくは、本発明に係る眼球の運動を検出する方法の眼の目頭と目尻の検出するステップ（ｂ）と、眼の中の白目領域を検出するステップ（ｃ）では、画像における輝度を含む特徴ベクトルの値に対して２値化処理が実施され、当該２値化輝度値が閾値以上である領域が検出されるようにしてもよい。

　好ましくは、本発明に係る眼球の運動を検出する方法のテンプレート血管像を決定するステップ（ｅ）及び第ｎのマッチ血管像を検出するステップ（ｈ）では、テンプレート血管像及び各第ｎの血管像検出用画像に対して、少なくとも一回の収縮処理と少なくとも一回の膨張処理が実行されるようにしてもよい。

　好ましくは、本発明に係る眼球の運動を検出する方法の第ｎのマッチ血管像を検出するステップ（ｈ）では、テンプレートに対して、第ｎのマッチ血管像を、垂直方向、水平方向、及び／又は、回旋方向の移動に対応させてマッチングさせる処理が実行されるようにしてもよい。

　好ましくは、本発明に係る眼球の運動を検出する方法の基準画像から白目領域を検出するステップ（ｃ）では、当該眼の中の白目領域に含まれない虹彩領域及び瞳孔の中心が検出され、テンプレート血管像の座標中の基準位置及び基準角度を記録するステップ（ｆ）では、虹彩領域からテンプレート血管像までの座標中の距離及び瞳孔の中心を通過する水平基準線からの角度も記録し、テンプレート血管像を決定するステップ（ｅ）及び前記第ｎのマッチ血管像を検出するステップ（ｈ）では、当該眼の中の白目領域の中で、虹彩領域の耳側の近傍であり、且つ、水平基準線の近傍領域に存在するか、又は、当該水平基準線の下側領域であって且つ近傍領域に存在する血管像が選択されて決定又は検出されるようにしてもよい。

　好ましくは、本発明に係る眼球の運動を検出する方法のテンプレート血管像を決定するステップ（ｅ）及び第ｎのマッチ血管像を検出するステップ（ｈ）では、各画像の眼の中の白目領域及び各血管像の各画素に対してラベリング処理を実施し、決定又は検出される当該血管像として、（１）各血管像中において、同一ラベルで連結された画素領域の長辺方向の連結数を演算し、該連結数が最大である血管像を選択するか、又は、（２）各血管像中において、同一ラベルで連結された画素領域の周囲長を演算し、該周囲長が最長である血管像を選択するか、又は、（３）直交する第１成分軸と第２成分軸を有する座標中の各血管像中において、同一ラベルで連結された画素領域の第１成分軸に対する変位幅を示す第１主成分、及び、第２成分軸に対する変位幅を示す第２主成分を各々求め、第１主成分の変位幅値と前記第２主成分の変位幅値との総和が最大となる血管像を選択するようにしてもよい。

　上記した課題を解決するために、本発明に係る眼球の運動を検出する装置は、（Ａ）少なくとも片眼の前面側の近傍領域内、もしくはｏｎｅ－ｗａｙ　ｍｉｒｒｏｒ等の併用により光学的に等価な位置に配置された撮像装置と、（Ｂ）撮像装置から入力する当該眼の周辺領域を含む所定領域の基準画像が入力するステップ（ａ）と、基準画像から少なくとも当該眼の目頭と目尻を検出するステップ（ｂ）と、基準画像の目頭と目尻の間の当該眼の領域から当該眼の中の白目領域を検出するステップ（ｃ）と、白目領域から識別可能な全ての血管像を抽出するステップ（ｄ）と、全ての血管像中からテンプレートとなる血管像を決定するステップ（ｅ）と、白目領域中のテンプレート血管像の座標中の基準位置及び水平基準の基準角度を記録するステップ（ｆ）と、撮像装置により撮像された第ｎ（ｎは１から始まり順次１ずつ漸増する１以上の整数）の血管像検出用画像が入力するステップ（ｇ）と、第ｎの血管像検出用画像から、テンプレートにマッチした第ｎのマッチ血管像を検出するステップ（ｈ）と、白目領域中の第ｎのマッチ血管像の座標中の第ｎ検出位置及び第ｎ検出角度を記録するステップ（ｉ）と、座標中の基準位置及び第ｎ検出位置との差から眼球の第ｎ移動量を演算し、基準角度と第ｎ検出角度との差から眼球の第ｎ回転角度を演算するステップ（ｊ）と、ｎ＝ｎ＋１として上記（ｇ）～（ｊ）のステップを実行し、入力した第（ｎ＋１）血管像検出用画像から第（ｎ＋１）のマッチ血管像を検出し、さらに第（ｎ＋１）移動量及び第（ｎ＋１）回転角度を演算する処理を繰り返すステップ（ｋ）と、を少なくとも実行する情報処理装置と、を有する。

　上記した本発明の方法によれば、上記した課題を解決するために（１）背景光の変化に強く、（２）カメラの位置ずれにも強く、頭部にカメラを強固に固定する必要が無いことから長時間装用が可能であり、（３）眼の上下幅が狭い人や上まぶたのまつげが濃色で長く虹彩に被さる場合でも、眼球の移動方向等の運動を検出しやすく、（４）さらに眼球の移動を検出するための血管を特定しやすい方法を提供することができることから、より高精度に眼球の位置や角度及び運動を検出することができる。

　なお、上記した眼球の位置や角度及び運動から虹彩の位置も検出でき、虹彩の中心には瞳孔があることから、被測定者が見ているものの方向（視線）についても、より高精度に検出できる。
例えば、視線が一定の方向に所定以上の時間留まる場合、見ているものが未知のものの場合には何であるか判別あるいは理解しようとしていることもあるが、既知のものである場合には、見ているものが興味度の高いものであったり、嗜好の上で好ましいものである確率が高くなる。

本発明の第一実施形態に係る眼球の運動を検出する装置の概略構成を示すブロック図である。本発明の第一実施形態に係る動作フローチャートである。（ａ）目頭と目尻の検出方法の一例のフローチャート、（ｂ）目頭と目尻の矩形抜き出しの一例を示した図である。（ａ）眼の白目中の血管の一例と、（ｂ）選択されたテンプレート血管図の一例を示す図である。（ａ）計測用補助光や強すぎる背景光でハレーションを起こしている眼球画像の一例と、（ｂ）周囲が暗い場合に撮像される眼球画像の一例と、（ｃ）非常に弱い光であっても十分に白目の血管像を認識できる濃淡コントラストが得られている眼球画像の一例を示す図である。

＜第１の実施形態＞
　まず、本発明の第１の実施形態に係る眼球の運動を検出する装置、検出方法、及び、検出プログラムについて説明する。

［ハードウェア構成］
　図１は、第１の実施形態に係る眼球の運動を検出する装置のハードウェア構成図である。
眼球運動検出装置の情報処理装置１は、例えば、プログラムを読み込んで各種処理を実行する演算ユニットであるＣＰＵ（Central Processing Unit）と、リード／ライトの処理速度が速い作業用ＲＡＭと各種プログラム等を格納する不揮発性記憶素子等の複数の記憶装置と、カメラ等の撮像装置１００、ディスプレイ等の表示出力装置２００、キーボード等の入力装置３００等との電気信号及び電力の送受信を可能にする各種インターフェースとを含む。また、撮像装置１００と、表示出力装置２００と、入力装置３００は、情報処理装置の外部に接続されても、情報処理装置の内部に備えられてもよい。これらの各構成要素は、バスやシリアル回線等を介して互いに接続される。

　ＣＰＵは、例えば、プログラムカウンタ、命令デコーダ、各種演算器、ＬＳＵ（Load Store Unit）、汎用レジスタ等を有する演算処理装置で構成される。プログラムやデータなどは、例えば、情報処理装置１の内部の補助記憶装置又は外部に接続された記憶媒体からドライブ装置により読み込むまれる。記憶媒体は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶媒体であってもよい。また、補助記憶装置は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどで構成されてもよい。

　プログラムをインストールする方法は、本実施形態には限定されず、記録された外部記憶媒体からドライブ装置で補助記憶装置にインストールしてもよいし、インターフェースとネットワークを介して、遠隔地のサーバーや他のコンピュータからプログラムをダウンロードして補助記憶装置にインストールしてもよい。ネットワークは、インターネット、ＬＡＮ（Local Area Network）、無線ネットワーク等で構成されてもよい。また、例えば、プログラムが、眼球運動検出装置の出荷時に、補助記憶装置や図示しないＲＯＭ（Read Only Memory）等に予め格納（実装）されていてもよい。

　上述のようにしてインストールされた各種プログラム、又は、予め格納された各種プログラムをＣＰＵが実行することにより、本実施形態の眼球運動検出装置における後述の各種機能（各種処理）が実現される。

メモリ装置は、例えば、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの記憶装置で構成される。また、インターフェースは、上述した各種ネットワーク等に接続され、該ネットワークを介して、外部の各種装置に対して所定のデータやプログラムなどの入出力動作を行う。

　入力装置３００は、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等の各種入力操作装置で構成される。また、表示出力装置２００は、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の表示装置で構成される。なお、眼球運動検出装置は、表示出力装置２００以外では、例えば、プリンタ、スピーカ等の各種出力装置を備えていてもよい。

　情報処理装置の画像入力インターフェースは、カメラ１００に接続される。そして、画像入力インターフェースは、カメラ１００から入力された画像データを、一旦、メモリ装置や補助記憶装置に出力する。

　カメラ１００は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置であり、撮影された画像のデータを画像入力インターフェースを介して出力する。なお、画像は、静止画像であってもよいし、動画像であってもよい。

　本実施形態では、カメラ１００により、被験体の眼球を撮影する。撮影時には、例えば、青色ＬＥＤから射出された光が眼球に照射されるようにしてもよい。青色ＬＥＤは、眼球内の結膜血管（以下、単に血管という）のコントラストを高めるため、眼球の白目領域（強膜及び結膜を含む領域）に青色光を照射する。青色ＬＥＤの照射範囲を眼球の白目領域に絞ることにより、眼球の撮影時に被験体に与える負担を軽減することができる。また、瞳孔を強調するため及び虹彩の濃淡パターンを精度よく撮像するためには、青色ＬＥＤと同時に赤外線ＬＥＤ（Light Emitting Diode）から射出された赤外線の光を眼球に照射してもよい。

　ここで、従来の眼球運動計測装置には瞳孔法と呼ばれるものがあり、眼球に対して近赤外光を照射し、その反射光を赤外線カメラで計測して瞳孔の中心を算出する手法である。また、図５（ｂ）に例示したように周囲が暗い場合、計測用補助光として比較的強い光が必要となるが、どちらも、カメラ１００で映像した画像には図５（ａ）に示したようなハレーション６６を起こしやすいという問題がある。とくに、計測用補助光として強い光を用いた場合は、眼球の運動を検出する装置の装着者が不快を感じたり、場合によっては、装着者の眼に有害となる可能性もある。それに対して図５（ｃ）に示した本願発明で眼球の白目領域５０に照射する青色ＬＥＤの光は、従来の眼球運動計測装置等と比較して非常に弱い光であっても、図５（ｃ）に示したように、カメラ１００で十分に白目の血管像（血管６０）を認識できる濃淡コントラストを得られることが本願発明者の実験により確認されている。また、人間の色覚の特性上、中波長や長波長の光に比べ、青色光は眩しさも知覚しにくい。従って、本願発明の眼球の運動を検出する装置では、カメラ１００でハレーションを起こす可能性を非常に低くでき、また、装置の装着者が眼球運動計測用の光により不快を感じることをほとんど無くすことができる。

［機能構成］
　情報処理装置１は、ＣＰＵがプログラムを実行することにより機能する機能ブロックとして、目頭／目尻検出部１１と、白目領域検出部１２と、血管画像検出部１３と、マッチ画像検出部１４と、マッチが像位置補正部１５と、画像位置／角度比較部１６と、眼球移動量／回転角演算部１７と眼球移動量／回転角記憶部１８と、虹彩／瞳孔中心検出部２１と、水平基準線検出部２２と、テンプレート画像決定部２３と、テンプレート画像記憶部２４と、各種設定値記憶部７１と、プログラム記憶部８１と、制御部９１とを備える。また、これらの各機能ブロックは、例えばメモリ装置や補助記憶装置に対して各種情報（データ）を入出力し、メモリ装置や補助記憶装置は、各機能ブロックから出力された各種情報を格納する。

　これらの機能ブロックは、ソフトウェアで構成するこができる。この場合、各機能ブロックは、互いに明確に分離したプログラムによって実現されるブロックであってもよいし、例えば、サブルーチンや関数などのように、他のプログラムによって呼び出されるプログラムにより実現されるブロックであってもよい。また、これらの機能ブロックの一部又は全てが、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＩＣ（Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されていてもよい。

[眼球運動検出方法の概要]
　次に、図１に示す各機能ブロックで行われる各種処理を説明しながら、本実施形態における眼球運動検出方法の内容を具体的に説明するが、最初に、本実施形態における眼球運動検出方法の概要を説明する。

　本実施形態の眼球運動検出方法では、まず、基準状態において、基準状態時の眼球画像内の白目領域に位置する所定のテンプレート血管（１つの血管）を選択し、該選択した血管を基準となるテンプレート血管像として、その位置情報と角度情報を取得する。次いで、眼球運動の実計測時において、実計測時の眼球画像（血管像検出用画像）に対して、テンプレート血管像を用いたテンプレートマッチング処理で一致するマッチ血管像を検出し、その位置情報と角度情報を取得する。

[テンプレート血管像の取得時の処理]
　本実施形態の眼球運動検出方法において、テンプレート血管像の取得処理は、眼球運動の実計測時より前に行われ、眼球運動の測定に必要な各種基準情報を取得する。なお、テンプレート血管像の取得時に実行される各種基準情報の取得処理は、眼球運動の実計測時の処理よりも動きが制限された状態で取得される。

　本実施形態では、テンプレート血管像と各種基準情報取得時に、基本的に上述した青色ＬＥＤを用いて眼球の血管の周辺（白目領域）に青色光を照射して撮影する。また、血管の位置データに加えて、虹彩や瞳孔中心のデータも利用する場合には赤外線ＬＥＤを同時に使用して、瞳孔領域及び虹彩領域に赤外線を照射してもよい。

　次に、テンプレート血管像と各種基準情報の取得処理では、基準状態において取得された被験体の眼球画像を解析して、基準状態におけるテンプレート血管像のベクトルデータ、血管の位置情報等に関する情報を取得する。また、必要に応じて、瞳孔の楕円パラメータ（例えば、瞳孔輪郭の中心点、長軸値、短軸値、楕円の傾き（長軸の回転角度）等に関する情報）等の情報を取得する。

　そして、テンプレート血管像と各種基準情報の取得時には、上述のようにして、テンプレート血管像と各種基準情報が取得され、該各種基準情報がメモリ装置あるいは補助記憶装置に出力されて格納される。なお、ここでテンプレート血管像の位置情報は、基準状態の眼球画像の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とするＸ－Ｙ直交座標系の座標である。

［血管位置認識処理］
　血管画像検出部１３は、白目領域５０における血管６０等の位置を認識し、該認識した血管６０の位置に関する情報を、例えばメモリ装置や補助記憶装置に出力する。白目領域５０は、図１及び図４に示すように、眼球画像において、目頭／目尻検出部１１により認識された目頭と目尻の間で、白目領域検出部１２により認識された白目領域である。また、虹彩／瞳孔中心検出部２１により認識された虹彩領域５１よりも外側の領域であって、水平基準線検出部２２により目頭と目尻等から検出された水平基準線の近傍又は下側近傍であってもよい。なお、実計測時の眼球運動検出の際には、血管画像検出部１３で認識（特定）する血管６０は、テンプレート血管像と各種基準情報取得時に選択された所定のテンプレート血管にテンプレートマッチングでマッチした血管（以下、マッチ血管ともいう）である。

　より具体的に、実計測時の眼球運動検出の際には、血管画像検出部１３は、メモリ装置や補助記憶装置に格納された基準情報を参照し、実計測時の眼球画像の白目領域において、水平基準線の近傍又は下側近傍で、所定距離虹彩領域５１から所定距離離れた近傍で、虹彩中心５２からも別の所定距離に存在するマッチ血管（マッチ血管像）の位置情報を取得する。そして、血管画像検出部１３は、取得されたマッチ血管の位置情報（座標情報）を、例えばメモリ装置や補助記憶装置に出力する。以下、この血管画像検出部１３で行う処理内容についてより詳細に説明する。

　まず、血管画像検出部１３は、テンプレート血管像と各種基準情報取得時に予め取得されている基準状態における所定のテンプレート血管の位置情報（座標情報）をメモリ装置や補助記憶装置から読み込む。次いで、血管画像検出部１３は、読み込んだ基準状態における所定のテンプレート血管の位置情報に基づき、実計測時に取得された眼球画像において、マッチ血管の位置を特定するための探索領域を設定する。具体的には、血管画像検出部１３は、基準状態における所定のテンプレート血管の眼球運動角度、回転させた点を中心とする所定形状（例えば、矩形形状）の探索領域を眼球の白目画像内に設定する。

　次に、血管画像検出部１３は、探索領域の画像に対して例えば平滑化処理を施し、ノイズ除去を行う。次いで、血管画像検出部１３は、平滑化処理が施された探索領域の画像に対して、画素値に応じて二値化処理を施し、画素値が低い方の画素の集合部分を血管として認識する。この際、探索領域において、複数の血管が認識される。

　更に、血管画像検出部１３は、血管であると認識された画素の集合部分に対して、Hilditchの細線化アルゴリズムを適用してノイズ除去処理を施す。次いで、血管画像検出部１３は、細線部分に対して深さ優先探索を行うことにより血管の長さを計測する。そして、血管画像検出部１３は、認識された複数の血管の中から、長さが所定値以上の血管のみを抽出する。

　Hilditchの細線化法では、探索領域内の注目画素とその周囲の８画素を参照する３×３のウィンドウ（画素領域）をノイズ除去処理の基本処理単位とする。そして、血管画像検出部１３は、探索領域の画像データ全体をラスタ走査しながら、各画素を注目画素としてノイズ除去を行うことにより細線化処理を行う。

　具体的には、まず、血管画像検出部１３は、注目画素が３×３のウィンドウで予め定義した細線化による削除条件に合致するか否かの判定を行う。そして、注目画素が削除条件に合致する場合には、血管画像検出部１３は、当該注目画素を削除する、すなわち、図形画素（血管領域の画素）を背景画素（白目領域の画素）に置き換える。一方、注目画素が削除条件に合致しない場合、血管画像検出部１３は、ラスタ走査順で次の画素を注目画素とし、新たな３×３のウィンドウにおいて、注目画素の判定処理及び図形画素の置換処理を行う。

　Hilditchの細線化法によるノイズ除去処理において、血管画像検出部１３は、上述した一連の処理を探索領域内の全ての画素に対して繰り返す。次いで、血管画像検出部１３は、１サイクルのラスタ走査において削除される画素が無くなるまで、探索領域をラスタ走査しながら上述した一連の処理を繰り返す。そして、血管画像検出部１３は、１サイクルのラスタ走査において削除される画素が無くなった時点で、Hilditchの細線化法によるノイズ除去処理を終了する。

　ここで血管画像検出部１３から出力されるマッチ血管の位置情報は、実計測時の眼球画像（探索領域）の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とするＸ－Ｙ直交座標系の座標である。

　なお、本実施形態では、基準状態において選択された所定のテンプレート血管は、次のようにして求められる。まず、白目領域において、所定の探索領域を設定する。次いで、設定された所定の探索領域の画像データに対して、血管画像検出部１３で実施された二値化処理からHilditchの細線化法によるノイズ除去処理に至る一連の上記処理を施し、探索領域内の複数の血管の端点を抽出する。そして、抽出された複数の血管から、テンプレート画像決定部２３で基準状態における所定のテンプレート血管を選択する。これらの処理は、血管画像検出部１３で行い、選択結果を血管画像検出部１３から取得するようにしてもよい。

　また、テンプレート血管像と各種基準情報取得時において所定のテンプレート血管を選択する際の探索領域の設定位置及びサイズ等は任意に設定することができる。また、探索領域において抽出された複数の血管から、所定のテンプレート血管を選択する基準も任意である。

　しかしながら、本実施形態では、眼球の白目領域であって、水平基準線の近傍又は下側近傍で、虹彩領域５１から所定距離離れた近傍で、虹彩中心５２からも別の所定距離に存在するような血管を、所定のテンプレート血管として選択することが好ましい。また、血管のＹ軸方向の座標が、瞳孔中心のＹ軸方向の座標から上記した別の所定距離だけ離れた血管を所定のテンプレート血管として選択することが好ましい。このようにして所定のテンプレート血管として選択することにより、例えば、まつ毛の影響、瞼の動きや視線移動などの影響を受け難くなり（眼球画像中に血管の端点が写り込む可能性が高くなり）、血管のトラッキング精度（マッチ血管の認識（特定）精度）を高めることができ、眼球運動角度をより確実に精度良く計測することが可能になる。また、同様の理由から、基準状態における探索領域も、眼球の白目領域であって、水平基準線の近傍又は下側近傍で、所定距離虹彩領域５１から所定距離離れた近傍で、虹彩中心５２からも別の所定距離に存在し、かつ、探索領域の中心点のＹ軸方向の座標が、瞳孔中心のＹ軸方向の座標から上記した別の所定距離だけ離れるように探索領域を設定することが好ましい。

[角度算出部の処理]
　眼球移動量／回転角演算部１７は、基準状態において選択された所定のテンプレート血管の位置情報と、眼球運動の実計測時に特定（認識）されたマッチ血管（所定のテンプレート血管に対応する血管）の位置情報とに基づいて、眼球運動角度θを算出する。

［眼球運動検出処理のフローチャート］
　次に、本実施形態の眼球運動検出装置により眼球運動検出を行う際の具体的な処理手順を、図２を参照しながら説明する。図２は、本実施形態の眼球運動検出装置によって実行される眼球運動検出方法の処理手順を示すフローチャートである。

　まず、実際の眼球運動の検出を実施する前に照合用データベース（テンプレート画像記憶部２４）を構築する（Ｓ１）。照合用データベースの構築には、所定のテンプレート血管像の画像特徴量等から照合用の画像データベースを作成する。

　実際の眼球運動の検出では、撮像装置１００からの新規に撮像された眼球の画像が情報処理装置１に入力され、画像データの記憶部に格納される（Ｓ２）。画像データの記憶部に格納された画像データの輝度値に対して2値化処理が実施される（Ｓ３）。2値化された画像から、目頭／目尻検出部１１で、目頭と目尻が検出される（Ｓ４）。その画像の目頭と目尻の間の白目領域が、白目領域検出部１２で検出される（Ｓ５）。

　さらに、赤色光を照射した場合画像データから、虹彩／瞳孔中心検出部２１で、目頭と目尻の間の虹彩と瞳孔の中心を検出する（Ｓ６）。また、検出した目頭と目尻の位置情報等から、水平基準線検出部２２で、水平基準線を検出する（Ｓ７）。

　検出された白目領域内の全ての血管画像に対して、所定回数の収縮処理と膨張処理を実施し（Ｓ８）、最初の基準画像であるか否かを判断する（Ｓ９）。基準画像である場合（Ｓ９：Ｙｅｓ）なら所定のルール、又は、マニュアル処理により、基準画像となる所定のテンプレート血管像を決定し（Ｓ１０）、そのテンプレート血管像と位置及び角度を含む各種基準情報を記録する（Ｓ１１）。

　テンプレート血管像と各種基準情報を記録（Ｓ１１）した後、あるいは、最初の基準画像でない場合（Ｓ９：Ｎｏ）、次の画像入力に対してテンプレートマッチングが実施され第ｎ（ｎは１～始まり順次１ずつ漸増する整数）のマッチ血管像の検出処理が実行され（Ｓ１２）、検出できた場合（Ｓ１２：Ｙｅｓ）には、その位置と角度等の各種基準情報が記録される（Ｓ１３）。検出できない場合（Ｓ１２：Ｎｏ）には、ステップＳ９に戻って最初の基準画像であるか否かの判断と、ステップＳ１２の第ｎのマッチ血管像の検出処理が実行される。

　ステップＳ１２で第ｎのマッチ血管像が検出され、ステップＳ１３でその各種基準情報が記録されると、画像位置／角度比較部１６でテンプレート血管像の画像位置／角度と、第ｎのマッチ血管像の画像位置／角度とが比較され差が演算される（Ｓ１４）。次に、眼球移動量／回転角演算部１７でテンプレート血管像の画像位置／角度に対する、第ｎのマッチ血管像の画像位置／角度の差から移動量と回転角度が演算され、眼球移動量／回転角記憶部１８に格納される（Ｓ１５）。その後、次画像が無いか判断され（Ｓ１６）、次画像が有れば（Ｓ１６：Ｎｏ）ステップＳ２に戻って次の画像が入力され、次画像が無ければ（Ｓ１６：Ｙｅｓ）、ステップＳ１５で演算され眼球移動量／回転角記憶部１８に格納された移動量と回転角度が表示出力装置２００に出力され、処理を終了する。

　本実施形態では、上述のようにして眼球運動の測定を行う。なお、本実施形態では、上述した眼球運動検出処理を、対応する眼球運動検出プログラムを眼球運動検出装置に実装し、該眼球運動検出プログラムが情報処理装置１により実行することにより実現してもよい。

　上述した本実施形態の眼球運動検出技術では、周囲に対するコントラストが大きく、かつ、瞳孔収縮による影響がない白目部の血管の位置情報に基づいて眼球運動を算出するため、より高精度に眼球運動を計測することができる。

　以下に基準情報（テンプレート）の取得について記載する。　本明細書において「白目領域」とは、強膜及び結膜を含む領域を意味し、「基準状態」とは、例えば、被験体の状態がストレスの無い健康な状態であり、眼球の回旋角度が零度とみなされる状態のことをいう。血管には、太いもの細いもの、曲線のもの、分岐など、さまざまなタイプが存在する。

（白目（強膜）領域の検出）
　入力がカラー（RGB）なら、YCbCr（あるいはYIQ，HSV）表色系への変換を行う。
Y = 0.2989R + 0.5866G + 0.1145B
Cb = - 0.1687R - 0.3312G + 0.5000B
Cr = 0.5000R - 0.4183G - 0.0816B
ここで、Yは色の輝度、Crは赤の色差成分、Cbは青の色差成分である。

　入力がモノクロなら、YCbCr表色系のY成分と同じである。いずれの場合も、輝度について2値化処理を行い、一定の閾値以上の領域を抽出し、白目領域とする。

（テンプレート血管像の決定）
　一つの処理で、水平・垂直・回旋の眼球運動を測定する方法は、SIFTを用いて特徴点を追跡すればよい。他方、ヒトの回旋運動成分は±12°程度と、それほど大きくなく、かつ、強膜に付着する柔らかい結膜が、眼球運動量ほどには結膜血管を回旋させないため、垂直水平方向（すなわち回転を含まない）テンプレートマッチングでも、それなりの精度の測定も可能である。

　比較的簡便な方法で、水平垂直眼球運動を測定する方法は、次の通りである：検出された白目領域に対して、収縮処理を１～２回程度行って、細い血管や突起、ゴマ塩雑音を除去し、その後、膨張処理を１～２回程度行って、太い血管や分岐点が残るようにする。

　視線が、正面から水平垂直に動いた場合でも、注目する血管像が睫毛（まつげ）や瞼（まぶた）に遮蔽されにくいよう、黒目領域（角膜）から耳側で、なるべく黒目に近く、かつ、瞳孔中心か、瞳孔中心よりもやや下側の白目領域（強膜）に存在する血管像をテンプレート画像として選択する。

　テンプレート画像の選択には、たとえば、（１）白目領域にラベリングを行い、画素数が最大の連結領域をテンプレート画像に選択する方法。（２）同じく、白目領域にラベリングを行い、周囲長が最長の連結領域をテンプレート画像にする方法。（３）同じく、白目領域にラベリングを行い、それぞれの連結領域で第一主成分と第二主成分とを求め、二つの主成分軸からの誤差の総和が最も多い連結領域（すなわち、複雑で特徴的な形の血管像）をテンプレート画像にする方法、などがある。

　装着した装置が、ユーザの頭部や体の動き、あるいは装置の自重によりズレた場合でも正確な眼球運動計測が行えるよう、以下のような映像ブレ防止機能を搭載する。

　カメラを設置したメガネフレームが正しく装着された状態で眼球画像を撮像し、これを基準画像とする。基準画像である１枚目の眼球画像に対して、目尻部分と目頭部分の矩形抜き出しを行って２つの特徴点を求め、かつ、後述する基準に従って３番目の特徴点を決定する。そして、２枚目以降の眼球画像に対しては、１枚目の画像から作成したテンプレート画像をもとに、目尻と目尻の位置と、３番目の点を求め、Affine matrixを計算する。基準画像と２枚目以降画像の２組の３点位置から、Affine変換により、２枚目以降の眼球画像を基準画像の位置に戻すようにした。
ここで、３番目の点については、目尻と目頭との２点間の距離が拡大・縮小するのに利用できるように、基準画像と変換画像（すなわち、２枚目以降の画像）の双方において、３点が作る三角形がなるべく相似形になるように設定した。また、この三角形は二等辺三角形で、３番目の点が目頭に近い側で決定するようにする。

　特徴点抽出とテンプレートマッチングは、誤検出を少なくするため、また処理の高速化のため、目尻と目頭が存在すると推定される領域に処理範囲を限定する。特徴点抽出方法は、Harris エッジ検出器を使用する。さらに、テンプレートマッチングにおいて一致度が低い場合は、エラーとして処理するようにする。

（角度算出部の処理）
　眼球移動量／回転角演算部１７は、基準状態において選択された所定のテンプレート血管の位置情報と、眼球運動の実計測時に特定（認識）されたマッチ血管（所定のテンプレート血管に対応する血管）の位置情報とに基づいて、眼球運動角度を算出する。なお、これらの基準状態における各種パラメータは、テンプレート血管像と各種基準情報取得時に予め取得され、例えばメモリ装置や補助記憶装置に格納される。

　上記したように、本実施形態の方法によれば、（１）背景光の変化に強く、（２）カメラの位置ずれにも強く、頭部にカメラを強固に固定する必要が無いことから長時間装用が可能であり、（３）眼の上下幅が狭い人や上まぶたのまつげが濃色で長く虹彩に被さる場合でも、眼球の移動方向等の運動を検出しやすく、（４）さらに眼球の移動を検出するための血管を特定しやすい方法を提供することができることから、より高精度に眼球の位置や角度及び運動を検出することができる。

＜第２の実施形態＞
　以下に、第二の方法である水平垂直のテンプレートマッチングについて説明する。特徴ベクトルとして輝度値データを用いる。テンプレート画像の中心t[k,l]を、入力画像f[i,j]のある点(i,j)に置き、点(i,j)をラスタ走査しながら、重なっている局所領域の類似度を計算し、最大となる位置を決定する。類似度判定は、高速処理が可能な「差の二条和」を用いるもの、「相互相関」を用いるもの、輝度変化に強い「相関係数」を用いるもの、および、それぞれに画像の大きさや輝度値で正規化したもの等がある。テンプレートマッチングの前処理として、大きさの不一致に対応するため、正規化処理を行っても良い。また、眼球に照射される照明光の輝度変化がある場合は、それぞれの画像の平均輝度をピクセル値から引くゼロ平均正規化相互相関（ZNCC）も有効であり、高精度測定が期待できるが、演算量が多く、処理速度が遅くなる。

　カメラがカラーなら、第三に、輝度に変換せず、入力画像のRGBの各ヒストグラムに着目し、現フレームの画像中でテンプレート画像のヒストグラム特徴により近くなる位置にシフトさせるCamShift法（物体追跡）が利用できる。

[ビデオスタビライズ制御の概要]
　装着した装置が、ユーザの頭部や体の動き、あるいは装置の自重によりずれた場合でも正確な眼球運動計測が行えるよう、図３に示す映像ブレ防止機能（ビデオスタビライズ制御）を搭載することができる。

　カメラを設置したメガネフレームが正しく装着された状態で眼球画像を撮像し、これを基準画像とする。基準画像である１枚目の眼球画像に対して、目尻部分と目頭部分の矩形抜き出しを行って２つの特徴点を求め、かつ、後述する基準に従って３番目の特徴点を決定する。そして、２枚目以降の眼球画像に対しては、１枚目の画像から作成したテンプレート画像をもとに、目尻と目尻の位置と、３番目の点を求め、Affine matrixを計算する。基準画像と２枚目以降画像の２組の３点位置から、Affine変換により、２枚目以降の眼球画像を基準画像の位置に戻すようにする。

　３番目の点については、目尻と目頭との２点間の距離が拡大・縮小するのに利用できるように、基準画像と変換画像（すなわち、２枚目以降の画像）の双方において、３点が作る三角形がなるべく相似形になるように設定する。また、この三角形は二等辺三角形で、３番目の点が目頭に近い側で決定するようにする。

　図４は、眼の白目中の血管の一例と、選択されたテンプレート血管図の一例を示す図である。本実施形態の方法によれば、装置が固定されるメガネフレームが顔面からずれた場合でも、通常使用程度のフレームのずれなら、支障なく眼球運動が計測できる。

　１…情報処理装置、
　１１…目頭／目尻検出部、
　１２…白目領域検出部、
　１３…血管画像検出部、
　１４…マッチ画像検出部、
　１５…マッチ画像位置補正部、
　１６…画像位置／角度比較部、
　１７…眼球移動量／回転角演算部、
　１８…眼球移動量／回転角記憶部、
　２１…虹彩／瞳孔中心検出部、
　２２…水平基準線検出部、
　２３…テンプレート画像決定部、
　２４…テンプレート画像記憶部、
　５０…白目領域、
　５１…虹彩領域、
　５２…瞳孔中心、
　５３…まつげ、
　５５…検出領域（マッチングエリア）、
　６０…血管、
　６５…水平基準線、
　６６…ハレーション、
　７１…各種設定値記憶部、
　８１…プログラム記憶部、
　９１…制御部、
　１００…撮像装置（カメラ）、
　２００…表示出力装置、
　３００…入力装置

Claims

　情報処理装置において、
　（ａ）少なくとも片眼の前面側の近傍領域内、もしくは光学的に等価な位置に配置された撮像装置により撮像された、当該眼の周辺領域を含む所定領域の基準画像が入力するステップと、
　（ｂ）前記基準画像から、少なくとも当該眼の目頭と目尻を検出するステップと、
　（ｃ）前記基準画像の前記目頭と目尻の間の当該眼の領域から、当該眼の中の白目領域を検出するステップと、
　（ｄ）前記白目領域から、識別可能な全ての血管像を抽出するステップと、
　（ｅ）前記全ての血管像中から、テンプレートとなる血管像を決定するステップと、
　（ｆ）前記白目領域中の前記テンプレート血管像の座標中の基準位置及び水平基準の基準角度を記録するステップと、
　（ｇ）前記撮像装置により撮像された第ｎ（ｎは１から始まり順次１ずつ漸増する１以上の整数）の血管像検出用画像が入力するステップと、
　（ｈ）前記第ｎの血管像検出用画像から、前記テンプレートにマッチした第ｎのマッチ血管像を検出するステップと、
　（ｉ）前記白目領域中の前記第ｎのマッチ血管像の座標中の第ｎ検出位置及び第ｎ検出角度を記録するステップと、
　（ｊ）前記座標中の基準位置及び第ｎ検出位置との差から眼球の第ｎ移動量を演算し、前記基準角度と前記第ｎ検出角度との差から眼球の第ｎ回転角度を演算するステップと、
　（ｋ）前記ｎ＝ｎ＋１として上記（ｇ）～（ｊ）のステップを実行し、入力した第（ｎ＋１）血管像検出用画像から第（ｎ＋１）のマッチ血管像を検出し、さらに第（ｎ＋１）移動量及び第（ｎ＋１）回転角度を演算する処理を繰り返すステップと、
　が実行される眼球の運動を検出する方法。
　前記眼の目頭と目尻の検出するステップ（ｂ）と、前記眼の中の白目領域を検出するステップ（ｃ）では、
　画像における輝度を含む特徴ベクトルの値に対して２値化処理が実施され、当該２値化輝度値が閾値以上である領域が検出される
　請求項１に記載の眼球の運動を検出する方法。
　前記テンプレート血管像を決定するステップ（ｅ）及び前記第ｎのマッチ血管像を検出するステップ（ｈ）では、
　前記テンプレート血管像及び各第ｎの血管像検出用画像に対して、少なくとも一回の収縮処理と少なくとも一回の膨張処理が実行される
　請求項１又は２に記載の眼球の運動を検出する方法。
　前記第ｎのマッチ血管像を検出するステップ（ｈ）では、
　前記テンプレートに対して、第ｎのマッチ血管像を、垂直方向、水平方向、及び／又は、回旋方向の移動に対応させてマッチングさせる処理が実行される
　請求項１～３の何れか１項に記載の眼球の運動を検出する方法。
　前記基準画像から白目領域を検出するステップ（ｃ）では、
　当該眼の中の白目領域に含まれない虹彩領域及び瞳孔の中心が検出され、
　前記テンプレート血管像の座標中の基準位置及び基準角度を記録するステップ（ｆ）では、
　前記虹彩領域から前記テンプレート血管像までの座標中の距離及び前記瞳孔の中心を通過する水平基準線からの角度も記録し、
　前記テンプレート血管像を決定するステップ（ｅ）及び前記第ｎのマッチ血管像を検出するステップ（ｈ）では、
　当該眼の中の白目領域の中で、前記虹彩領域の耳側の近傍であり、且つ、前記水平基準線の近傍領域に存在するか、又は、当該水平基準線の下側領域であって且つ近傍領域に存在する血管像が選択されて決定又は検出される、
　請求項１～４の何れか１項に記載の眼球の運動を検出する方法。
　前記テンプレート血管像を決定するステップ（ｅ）及び前記第ｎのマッチ血管像を検出するステップ（ｈ）では、
　前記各画像の眼の中の白目領域及び各血管像の各画素に対してラベリング処理を実施し、決定又は検出される当該血管像として、
　（１）各血管像中において、同一ラベルで連結された画素領域の長辺方向の連結数を演算し、該連結数が最大である血管像を選択するか、又は、
　（２）各血管像中において、同一ラベルで連結された画素領域の周囲長を演算し、該周囲長が最長である血管像を選択するか、又は、
　（３）直交する第１成分軸と第２成分軸を有する前記座標中の各血管像中において、同一ラベルで連結された画素領域の第１成分軸に対する変位幅を示す第１主成分、及び、第２成分軸に対する変位幅を示す第２主成分を各々求め、前記第１主成分の変位幅値と前記第２主成分の変位幅値との総和が最大となる血管像を選択する、
　請求項１～５の何れか１項に記載の眼球の運動を検出する方法。
　前記基準画像から少なくとも当該眼の目頭と目尻を２つの特徴点として求め、所定の三角形に従って３番目の特徴点を決定し、
　前記第ｎの血管像検出用画像において前記３個の特徴点が作る三角形が相似形になるように設定することにより前記第ｎの血管像検出用画像における映像のブレを抑制する、
　請求項１～６の何れか１項に記載の眼球の運動を検出する方法。
　請求項１～７の何れか一つの眼球の運動を検出する方法における各ステップを実施するプログラム。
　請求項８のプログラムを記憶する記憶媒体。
　（Ａ）少なくとも片眼の前面側の近傍領域内、もしくは光学的に等価な位置に配置された撮像装置と、
　（Ｂ）前記撮像装置から入力する当該眼の周辺領域を含む所定領域の基準画像が入力するステップ（ａ）と、
　　前記基準画像から少なくとも当該眼の目頭と目尻を検出するステップ（ｂ）と、
　　前記基準画像の前記目頭と目尻の間の当該眼の領域から当該眼の中の白目領域を検出するステップ（ｃ）と、
　　前記白目領域から識別可能な全ての血管像を抽出するステップ（ｄ）と、
　　前記全ての血管像中からテンプレートとなる血管像を決定するステップ（ｅ）と、
　　前記白目領域中の前記テンプレート血管像の座標中の基準位置及び水平基準の基準角度を記録するステップ（ｆ）と、
　　前記撮像装置により撮像された第ｎ（ｎは１から始まり順次１ずつ漸増する１以上の整数）の血管像検出用画像が入力するステップ（ｇ）と、
　　前記第ｎの血管像検出用画像から、前記テンプレートにマッチした第ｎのマッチ血管像を検出するステップ（ｈ）と、
　　前記白目領域中の前記第ｎのマッチ血管像の座標中の第ｎ検出位置及び第ｎ検出角度を記録するステップ（ｉ）と、
　　前記座標中の基準位置及び第ｎ検出位置との差から眼球の第ｎ移動量を演算し、前記基準角度と前記第ｎ検出角度との差から眼球の第ｎ回転角度を演算するステップ（ｊ）と、
　　前記ｎ＝ｎ＋１として上記（ｇ）～（ｊ）のステップを実行し、入力した第（ｎ＋１）血管像検出用画像から第（ｎ＋１）のマッチ血管像を検出し、さらに第（ｎ＋１）移動量及び第（ｎ＋１）回転角度を演算する処理を繰り返すステップ（ｋ）と、
　　を少なくとも実行する情報処理装置と、
　を有する眼球の運動を検出する装置。