JP7320283B2 - 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム - Google Patents

Description

本発明は、眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラムに関する。
本願は、２０１８年６月１２日に、日本に出願された特願２０１８－１１１５３５号に基づき優先権を主張し、その内容をここに援用する。

従来、例えばＨＭＤを用いたＶＲ画像による映像酔いや、３Ｄ酔いを定量化するために、眼球を撮像することによって眼球運動を計測する技術が開示されている（例えば、特許文献１を参照）。

特開２０１７－１８９４７０号公報

しかしながら、特許文献１に示すような技術によると、撮像された眼球の画像の状況によっては眼球運動（特に、眼球回旋運動）の計測精度が低下してしまうことがあり、この場合には、安定した計測ができないという課題があった。

本発明の一実施形態は、被験者の眼球が撮像された眼球画像を取得する取得部と、前記取得部が取得する前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出部と、前記眼球画像のうち、前記特徴点抽出部が抽出する前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成部と、前記候補領域生成部が生成する複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択部と、前記選択部が選択する前記テンプレート領域を用いて、前記取得部が取得する前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定部と、を備える眼球運動測定装置である。

本発明の一実施形態は、上述の眼球運動測定装置において前記候補領域生成部は、前記特徴点抽出部が抽出する前記特徴点のうち、前記白目領域内の血管の位置に対応する特徴点として選択された前記特徴点毎に、前記テンプレート候補領域を生成する。

本発明の一実施形態は、上述の眼球運動測定装置において前記特徴点抽出部は、前記白目領域内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、前記白目領域内の特徴点を抽出する。

本発明の一実施形態は、上述の眼球運動測定装置において前記選択部は、複数の前記テンプレート候補領域のうち、前記眼球画像内の互いに異なる複数の領域に対してマッチングする頻度がより少ない前記テンプレート候補領域を、前記テンプレート領域として選択する。

本発明の一実施形態は、上述の眼球運動測定装置において、前記被験者の眼球を撮像することにより前記眼球画像を生成する撮像部をさらに備える。

本発明の一実施形態は、上述の眼球運動測定装置において、波長が５７０ナノメートルより長い電磁波を前記被験者の眼球に対して照射する第１照射部と、波長が５７０ナノメートルより短い電磁波を前記被験者の眼球に対して照射する第２照射部と、前記第１照射部と、前記第２照射部とのうちいずれか一方から電磁波を照射させる照射制御部と、を更に備える。

本発明の一実施形態は、被験者の眼球が撮像された眼球画像を取得する取得ステップと、前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、を有する眼球運動測定方法である。

本発明の一実施形態は、コンピュータに、被験者の眼球が撮像された眼球画像を取得する取得ステップと、前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、を実行させるための眼球運動測定プログラムである。

本発明によれば、眼球運動の計測精度を向上させることができる眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラムを提供することができる。

本実施形態の眼球運動測定システムの機能構成の一例を示す図である。 撮像角度４０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離１５ｍｍの場合の相対位置の一例を示す図である。 撮像角度４０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離２０ｍｍの場合の相対位置の一例を示す図である。 撮像角度４０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 撮像角度５０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 撮像角度６０度、距離２５ｍｍの場合の相対位置の一例を示す図である。 本実施形態の眼球運動測定システムの動作の一例を示す図である。 本実施形態の眼球運動測定システムのテンプレート領域を決定する動作の一例を示す図である。 本実施形態の眼球画像の一例を示す図である。 本実施形態のヒストグラム平坦化処理後の白目領域の画像の一例を示す図である。 本実施形態の特徴点の抽出結果の一例を示す図である。 本実施形態の血管二値化細線化画像の一例を示す図である。 本実施形態の血管対応特徴点の一例を示す図である。 本実施形態のテンプレート候補領域の一例を示す図である。 眼球運動測定システムの機能構成の変形例を示す図である。

［実施形態］
以下、図面を参照して本実施形態の眼球運動測定システム１について説明する。
図１は、本実施形態の眼球運動測定システム１の機能構成の一例を示す図である。眼球運動測定システム１は、眼球運動測定装置１０と、撮像装置２０とを備える。
なお、この一例においては、眼球運動測定装置１０と撮像装置２０とが別装置として構成される場合について説明するが、これに限られない。眼球運動測定装置１０と撮像装置２０とは一体化された１つの装置として構成されてもよい。
まず、撮像装置２０の構成について説明し、次に眼球運動測定装置１０の構成について説明する。

［撮像装置２０の機能構成］
撮像装置２０は、撮像部２１０を備える。撮像部２１０は、例えば動画像を撮像可能なカメラを備えている。撮像部２１０は、被験者ＳＢの眼球ＥＹを撮像することにより眼球画像ＩＭＧを生成する。

この一例では、撮像装置２０は、被験者ＳＢの頭部に装着されるメガネ型のゴーグルとして構成される。撮像装置２０は、撮像部２１０としての血管撮影用のカラーボードカメラを備え、眼球ＥＹの血管像と瞳孔とを撮像する。このカラーボードカメラは、眼球ＥＹと同じ高さで、眼球から２０ｍｍ（ミリメートル）離れた位置に、正面から目尻側へ５０度の方向に設置し、主に眼球ＥＹの黒目と目尻側の白目領域ＥＷとを画角に収めつつ撮像する。撮像部２１０の画面解像度は７２０×４８０［ｐｉｘｅｌ］、撮像速度２９．９７［ｆｐｓ］である。
ここで、眼球ＥＹと撮像部２１０との間の相対的な位置関係について説明する。

［眼球と撮像部との間の相対的な位置関係］
図２から図１０までは、いずれも、眼球ＥＹと撮像部２１０との相対位置関係の一例を示す図である。以下の説明において、被験者ＳＢの頭部正面の方向（正面方向ＦＡ）と、眼球ＥＹの視線軸ＡＸの方向とが成す角を「角α」と、正面方向ＦＡと撮像部２１０の撮像軸ＡＩの方向とが成す角を「角θ」と記載する。なお、以下の説明において、角αのことを「視線角度α」とも称し、角θのことを「撮像角度θ」とも称する。また、撮像部２１０のレンズと眼球ＥＹの中心との間の距離を「距離ｄ」と記載する。

まず、距離ｄが１５ｍｍである場合について説明する。
図２は、撮像角度θ１１（４０度）、距離ｄ１１（１５ｍｍ）である場合の相対位置関係の一例を示す図である。
図２（ａ）において、眼球ＥＹの視線軸ＡＸの方向は、正面方向ＦＡの方向に対して左方向に４５度回転している。すなわち、視線角度αについて、角α１＝４５度である。この図２（ａ）において、被験者ＳＢは顔面を正面前方に向けながら、左方向を見ている。
この場合、撮像部２１０の画角には、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分とのいずれもが含まれる。つまり、この図２（ａ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分を撮像可能である。
図２（ｂ）において、眼球ＥＹの視線軸ＡＸの方向と、正面方向ＦＡの方向とは一致しており視線角度αは０度である。つまり、この図２（ｂ）において、被験者ＳＢは正面前方を見ている。この一例の場合、撮像部２１０の画角には、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分とのいずれもが含まれる。つまり、この図２（ｂ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分と、眼球ＥＹの黒目の部分を撮像可能である。
図２（ｃ）において、眼球ＥＹの視線軸ＡＸの方向は、正面方向ＦＡの方向に対して右方向に４５度回転している。すなわち、角α３＝４５度である。この図２（ｃ）において、被験者ＳＢは顔面を正面前方に向けながら、右方向を見ている。この場合、撮像部２１０の画角には、眼球ＥＹの白目の部分が含まれるが、眼球ＥＹの黒目の部分は含まれない。つまり、この図２（ｃ）の状態において、撮像部２１０は、眼球ＥＹの白目の部分を撮像可能であるが、眼球ＥＹの黒目の部分を撮像することはできない。
なお、以下の説明において、撮像部２１０と眼球ＥＹとの位置関係が図２に示した場合と同様である部分については省略する。

図３は、撮像角度θ１２（５０度）、距離ｄ１２（１５ｍｍ）である場合の相対位置関係の一例を示す図である。図３（ａ）の状態において、撮像部２１０は、白目と、黒目とをいずれも撮像可能である。図３（ｂ）の状態において、撮像部２１０は、白目と、黒目とをいずれも撮像可能である。図３（ｃ）の状態において、撮像部２１０は、白目を撮像可能であるが、黒目を撮像することはできない。

図４は、撮像角度θ１３（６０度）、距離ｄ１３（１５ｍｍ）である場合の相対位置関係の一例を示す図である。この図４に示す場合も、白目及び黒目の撮像可否は、図２、図３を参照して説明した場合と同様である。
つまり、距離ｄが１５ｍｍである場合には、視線軸ＡＸの方向によっては、白目と黒目とを同時に撮像することができない場合がある。

次に、距離ｄが２０ｍｍである場合について説明する。
図５は、撮像角度θ２１（４０度）、距離ｄ２１（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
図６は、撮像角度θ２２（５０度）、距離ｄ２２（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
図７は、撮像角度θ２３（６０度）、距離ｄ２３（２０ｍｍ）である場合の相対位置関係の一例を示す図である。
これら図５～図７を参照すると、撮像角度θが、撮像角度θ２３（６０度）である場合には、白目と黒目とを同時に撮像することができない場合がある。一方、撮像角度θが、撮像角度θ２１（４０度）及び撮像角度θ２２（５０度）である場合には、視線軸ＡＸの方向によらず白目と黒目とを同時に撮像可能である。

次に、距離ｄが２５ｍｍである場合について説明する。
図８は、撮像角度θ３１（４０度）、距離ｄ３１（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
図９は、撮像角度θ３２（５０度）、距離ｄ３２（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
図１０は、撮像角度θ３３（６０度）、距離ｄ３２（２５ｍｍ）である場合の相対位置関係の一例を示す図である。
これら図８～図１０を参照すると、撮像角度θが撮像角度θ３１、撮像角度θ３２及び撮像角度θ３３のいずれであっても、視線軸ＡＸの方向によらず白目と黒目とを同時に撮像可能である。

すなわち、撮像部２１０と眼球ＥＹとの相対的な位置関係が変化すると、白目と黒目とが同時に撮像できる場合と撮像できない場合とが生じる。この一例では、白目と黒目とを同時に撮像するためには、距離ｄは大きいほうがよく、撮像角度θは小さいほうがよい。
また、撮像部２１０の画角内に収まる白目の面積を大きくするためには、距離ｄは小さいほうがよく、撮像角度θは大きいほうがよい。つまり、白目と黒目とを同時に撮像可能であり、かつ撮像部２１０の画角内に収まる白目の面積を大きくするためには、撮像部２１０と眼球ＥＹとの相対的な位置関係が、所定の範囲内にあることが求められる。この所定の範囲の一例として、上述したように、距離ｄが２０～２５ｍｍ、撮像角度θが４０度～５０度であることが望ましい。また、この所定の範囲の一例として、上述したように、距離ｄが２５ｍｍである場合には、撮像角度θが６０度であってもよい。

［眼球運動測定装置１０の機能構成］
図１に戻り、眼球運動測定装置１０の機能構成について説明する。眼球運動測定装置１０は、取得部１１０と、特徴点抽出部１２０と、候補領域生成部１３０と、選択部１４０と、測定部１５０とを備える。

取得部１１０は、被験者ＳＢの眼球ＥＹが撮像された眼球画像ＩＭＧを取得する。
特徴点抽出部１２０は、取得部１１０が取得する眼球画像ＩＭＧに含まれる白目領域ＥＷ内の特徴点ＦＰを抽出する。
候補領域生成部１３０は、眼球画像ＩＭＧのうち、特徴点抽出部１２０が抽出する特徴点ＦＰの画素を含む領域であるテンプレート候補領域ＴＣを、特徴点ＦＰ毎に生成する。
選択部１４０は、候補領域生成部１３０が生成する複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
測定部１５０は、選択部１４０が選択するテンプレート領域ＴＰを用いて、取得部１１０が取得する眼球画像ＩＭＧの動きを追跡することにより、被験者ＳＢの眼球ＥＹの回旋角度ＡＴを少なくとも含む眼球三次元運動を測定する。
これら各部の動作の具体例について、図１１を参照して説明する。

［眼球運動測定システムの動作］
図１１は、本実施形態の眼球運動測定システム１の動作の一例を示す図である。
（ステップＳ１０）眼球運動測定装置１０は、テンプレート領域ＴＰを決定する。ここで、眼球運動測定装置１０がテンプレート領域ＴＰを決定する手順の詳細について、図１２を参照して説明する。

［テンプレート画像の決定］
図１２は、本実施形態の眼球運動測定システム１のテンプレート領域ＴＰを決定する動作の一例を示す図である。
（ステップＳ１１０）取得部１１０は、撮像部２１０が撮像した眼球画像ＩＭＧを取得する。この眼球画像ＩＭＧの一例について、図１３に示す。

図１３は、本実施形態の眼球画像ＩＭＧの一例を示す図である。この一例においては、撮像部２１０は、被験者ＳＢの左目の眼球ＥＹを撮像して眼球画像ＩＭＧを生成する。この眼球画像ＩＭＧには、白目領域ＥＷが含まれている。

（ステップＳ１２０）特徴点抽出部１２０は、取得部１１０が取得した眼球画像ＩＭＧから白目領域ＥＷの画像（白目画像ともいう。）を抽出する。

（ステップＳ１３０）特徴点抽出部１２０は、ステップＳ１２０において抽出した白目画像に対して、ヒストグラム平坦化を行う。このヒストグラム平均化によって、特徴点抽出部１２０は、白目領域ＥＷと血管像との濃淡コントラストを大きくすることにより、白目領域ＥＷに含まれる血管の画像を強調する。

具体的には、特徴点抽出部１２０は、眼球画像ＩＭＧの各画素の画素値（例えば、輝度値）について、式（１）に示す変換を行う。

ここで、ｚ：変換前の輝度値、ｚ’：変換後の輝度値、ｈ（ｚ）：輝度値ｚにおける画素数、Ｈｅｉｇｈｔ：入力画像の縦の大きさ、Ｗｉｄｔｈ：入力画像の横の大きさ、である。
すなわち、特徴点抽出部１２０は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行う。特徴点抽出部１２０がヒストグラム平坦化を行った後の白目領域ＥＷの画像の一例を図１４に示す。
図１４は、本実施形態のヒストグラム平坦化処理後の白目領域ＥＷの画像の一例を示す図である。

（ステップＳ１４０）図１２に戻り、特徴点抽出部１２０は、ヒストグラム平坦化を行った白目画像に対して、従来手法（例えば、ＯＲＢ；Oriented FAST and Rotated BRIEF）によって特徴点ＦＰの抽出を行う。特徴点抽出部１２０が特徴点ＦＰの抽出を行った結果の一例を図１５に示す。

図１５は、本実施形態の特徴点ＦＰの抽出結果の一例を示す図である。特徴点抽出部１２０は、特徴点抽出部１２０は、白目領域ＥＷ内の各画素の画素値について統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。この一例では、特徴点抽出部１２０は、各画素に対する統計処理として、ヒストグラム平坦化を行う。

（ステップＳ１５０）図１２に戻り、特徴点抽出部１２０は、ステップＳ１２０において抽出した白目画像を二値化し、さらに、二値化した画像を細線化した画像（血管二値化細線化画像ＢＴＮ）を生成する。具体的には、特徴点抽出部１２０は、近傍領域のサイズ１７×１７［ｐｉｘｅｌ］の輝度値においてガウシアンによる重み付けの総和からオフセット値（例えば、４）を差し引いた数値を閾値とする適応的二値化処理を行った後、細線化処理を行う。この結果、白目領域ＥＷの画像に含まれる血管の位置ＰＶが抽出される。
特徴点抽出部１２０が生成する血管二値化細線化画像ＢＴＮの一例を図１６に示す。
図１６は、本実施形態の血管二値化細線化画像ＢＴＮの一例を示す図である。

（ステップＳ１６０）図１２に戻り、特徴点抽出部１２０は、ステップＳ１４０において抽出した特徴点ＦＰと、ステップＳ１５０において抽出した血管の位置ＰＶとを重ね合わせることにより、ステップＳ１４０において抽出された特徴点ＦＰのうち血管の周囲の特徴点（血管対応特徴点ＶＦＰ）を抽出する。この特徴点抽出部１２０が抽出した血管対応特徴点ＶＦＰの一例を図１７に示す。

図１７は、本実施形態の血管対応特徴点ＶＦＰの一例を示す図である。すなわち、特徴点抽出部１２０は、特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとしての血管対応特徴点ＶＦＰを選択する。

（ステップＳ１７０）図１２に戻り、候補領域生成部１３０は、ステップＳ１４０において抽出された特徴点ＦＰのうちの、ある特徴点ＦＰを中心とする領域（例えば、５０［ｐｉｘｅｌ］×５０［ｐｉｘｅｌ］の領域）内に、特徴点がいくつ含まれるかを、ステップＳ１４０において抽出された特徴点毎に計数する。以下の説明において、この特徴点ＦＰを中心とする領域のことを、テンプレート候補領域ＴＣともいう。

すなわち、候補領域生成部１３０は、特徴点抽出部１２０が抽出する特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。図１８を参照して、より具体的に説明する。

図１８は、本実施形態のテンプレート候補領域ＴＣの一例を示す図である。同図（ａ）に示す白目領域ＥＷには、複数の特徴点ＦＰが抽出されている。ステップＳ１７０において、候補領域生成部１３０は、テンプレート候補領域ＴＣを、特徴点ＦＰ毎に生成する。
同図（ａ）においては、候補領域生成部１３０が、複数の特徴点ＦＰのうち、特徴点ＦＰ１についてテンプレート候補領域ＴＣ１を、特徴点ＦＰ２についてテンプレート候補領域ＴＣ２を、それぞれ生成した場合を示している。なお、同図（ａ）においては、他の特徴点ＦＰについてのテンプレート候補領域ＴＣの図示を省略している。
なお、この一例では、上述した候補領域生成部１３０がテンプレート候補領域ＴＣの生成のために参照する特徴点ＦＰとは、すべての特徴点ＦＰのうち血管の位置ＰＶの位置に対応する特徴点ＦＰ（すなわち、血管対応特徴点ＶＦＰ）のことである。

次に候補領域生成部１３０は、生成したテンプレート候補領域ＴＣに含まれる血管対応特徴点ＶＦＰの数ＣＮＴを計数する。同図（ｂ）に示す一例では、候補領域生成部１３０は、テンプレート候補領域ＴＣ１に含まれる血管対応特徴点ＶＦＰの数ＣＮＴを「７」と計数する。同様に、候補領域生成部１３０は、テンプレート候補領域ＴＣ２について血管対応特徴点ＶＦＰの数ＣＮＴ「１１」、テンプレート候補領域ＴＣ３について血管対応特徴点ＶＦＰの数ＣＮＴ「２３」、テンプレート候補領域ＴＣ４について血管対応特徴点ＶＦＰの数ＣＮＴ「１７」、テンプレート候補領域ＴＣ５について血管対応特徴点ＶＦＰの数ＣＮＴ「１９」…と、テンプレート候補領域ＴＣごとに計数する。

より具体的には、候補領域生成部１３０は、図１４に示した白目領域ＥＷの画像のうち、図１７に示した血管対応特徴点ＶＦＰの画素の周囲５０×５０［ｐｉｘｅｌ］の領域に対応する位置の領域を切り取り、切り取った領域の画像をテンプレート候補領域ＴＣとして生成する。候補領域生成部１３０は、このテンプレート候補領域ＴＣの生成を、血管対応特徴点ＶＦＰ毎に繰り返す。

（ステップＳ１８０）図１２に戻り、候補領域生成部１３０は、ステップＳ１７０において計数した特徴点ＦＰの数に基づいて、テンプレート候補領域ＴＣの順位付けを行う。
図１８（ｃ）に、候補領域生成部１３０が行うテンプレート候補領域ＴＣの順位付けの一例を示す。

（ステップＳ１９０）図１２に戻り、選択部１４０は、候補領域生成部１３０が生成する複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰ（または、血管対応特徴点ＶＦＰ）がより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。つまり、選択部１４０は、候補領域生成部１３０が順位付けしたテンプレート候補領域ＴＣのうち、上位のテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択する。

ここで、白目領域ＥＷに環境光が反射している（照り返しがある）場合、反射光によって生じた輝度勾配によっても特徴点ＦＰとして抽出されることがある。つまり、白目領域ＥＷに環境光が反射している場合には、白目領域ＥＷの形態に由来する特徴ではなく、外乱に由来する特徴によって特徴点ＦＰが抽出されてしまうことがある。選択部１４０は、テンプレート候補領域ＴＣに反射光の画像が含まれている場合には、この反射光の画像が含まれているテンプレート候補領域ＴＣをテンプレート領域ＴＰとして選択しないように除去する。

より具体的には、選択部１４０は、白目領域ＥＷの輝度値ヒストグラムを作成し、作成したヒストグラムの累積度数について、上位から所定範囲（例えば、１０％まで）の輝度値を調べる。選択部１４０は、テンプレート候補領域ＴＣ内に、上述した所定範囲内の輝度値の領域が２５［ｐｉｘｅｌ］以上含まれている場合には、テンプレート候補領域ＴＣに環境光による照り返しが存在していると判定する。

（ステップＳ２００）選択部１４０は、誤マッチングを起こしやすいテンプレート候補領域ＴＣを除去する。具体的には、選択部１４０は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。

例えば、白目領域ＥＷ内において、直線に近い形状の血管の画像が存在する場合には、その血管の画像を含み、かつその血管の端点の画像を含まない領域が、テンプレート候補領域ＴＣとして生成される場合がある。このようなテンプレート候補領域ＴＣの場合、白目領域ＥＷ内の他の領域においても画像の類似度が大きくなることがある。この場合、テンプレート候補領域ＴＣが、本来マッチングする領域以外の領域においてもマッチングしてしまう、すなわち誤マッチングしてしまうことがある。
そこで、選択部１４０は、白目領域ＥＷにおいてテンプレート候補領域ＴＣによるテンプレートマッチングを行なった結果、類似度が７０％を超えた回数を算出する。なお、この類似度の計算には後述する正規化相互相関係数を用いてもよい。

選択部１４０による探索領域内（例えば、白目領域ＥＷ内）には、テンプレート候補領域ＴＣである領域も存在する。このため、選択部１４０による類似度が７０％を超えた回数の算出において、少なくとも１回は類似度が７０％を超え、また上下左右に１［ｐｉｘｅｌ］ずらした場合においても、多くの場合には類似度が７０％を超える。すなわち、選択部１４０による回数の算出において、類似度が７０％を超える回数が５回までは通常発生しうる。しかし、それ以上の回数で類似度が７０％を超える場合は、誤マッチングを引き起こしているものと推定される。このため、選択部１４０は、類似度が７０％を超える回数が所定回数（例えば、５回）を超える場合には、当該テンプレート候補領域ＴＣを、誤マッチングを起こしやすいテンプレート候補領域ＴＣであると判定して、テンプレート領域ＴＰの選択から除外する。

（ステップＳ２１０）選択部１４０は、ステップＳ１９０及びステップＳ２００において除外されたテンプレート候補領域ＴＣを除いたテンプレート候補領域ＴＣから、テンプレート領域ＴＰを選択する。すなわち、選択部１４０は、テンプレート領域ＴＰを決定する。

図１１に戻り、眼球運動測定システム１の動作についての説明を続ける。
（ステップＳ２０）取得部１１０は、眼球画像ＩＭＧを取得する。

［瞳孔中心座標の算出（楕円フィッティング）］
（ステップＳ３０）測定部１５０は、取得部１１０が取得した眼球画像ＩＭＧに基づいて、既知の手順によって瞳孔中心座標を算出する。具体的には、測定部１５０は、眼球画像ＩＭＧに対して二値化及びラベリング処理を施すことによって、眼球画像ＩＭＧに含まれる瞳孔画像の領域を抽出する。測定部１５０は、抽出した瞳孔画像から、瞳孔の輪郭を抽出し、輪郭の凸包を取得する。測定部１５０は、凸包によって得られた点群に対して、例えば最小二乗法を用いて楕円フィッティングを行うことにより、瞳孔の中心座標を算出する。
なお、瞳孔の中心座標の算出について、楕円フィッティングを用いることは一例であり、測定部１５０は、種々の手順によって瞳孔の中心座標を算出してよい。

［回旋角度の算出］
測定部１５０は、上述したテンプレート領域ＴＰによって、白目領域ＥＷ内の血管画像を追跡する。具体的には、測定部１５０は、取得部１１０が取得する眼球画像ＩＭＧのテンプレート領域ＴＰに相当する領域に対して適応的二値化を行い、血管の位置ＰＶを示す血管画像を抽出する。測定部１５０は、適応的二値化処理後の眼球画像ＩＭＧに対してラべリング処理を行うことにより、眼球画像ＩＭＧの中で最も面積の大きい領域を選択する。この測定部１５０が行うテンプレートマッチングにおける類似度の計算には、正規化相互相関係数を用いる。正規化相互相関係数のＲ（ｘ，ｙ）は、式（２）～式（４）によって示される。

ただし、ｘ，ｙ：参照する画素のｘｙ座標、ｗ：テンプレート画像の縦の大きさ、ｈ：テンプレート画像の横の大きさ、Ｉ：探索画像での輝度値、Ｔ：テンプレート画像の輝度値、Ｒ：類似度計算結果、（ｘ＾’＝０，１…ｗ－１，ｙ＾’＝０，１，…ｈ－１）である。

上述したテンプレートマッチングにおいて、Ｒ（ｘ，ｙ）が最も大きな値をとる（ｘ，ｙ）は，上述したテンプレート領域ＴＰの左上隅に対応する座標である。血管の位置ＰＶ（血管像の座標）はテンプレート画像の中心と定めている。この場合、テンプレートマッチングによって得られる座標は（ｘ＋ｗ／２，ｙ＋ｈ／２）である。

［回旋角度の算出］
測定部１５０は、テンプレート領域ＴＰによるテンプレートマッチングの結果に基づいて、回旋角度を算出する。測定部１５０は、テンプレート領域ＴＰの決定に用いられたｉフレーム目の画像から求められる角度θｉと、当該ｉフレーム目からｔフレーム後の角度θ（ｉ＋ｔ）との差から眼球回旋角度を算出する。
一例として、測定部１５０は、処理の簡易化のために眼球が球体ということを考慮せず、単純に平面での角度計算と同様に２点の（ｘ，ｙ）座標から逆三角関数を用いて角度を求めてもよい。なお、瞳孔の中心の座標に対する、テンプレート領域ＴＰの中心の座標から計算される角度θｉは，次式で表される。

ここで、（ｘ＿ｖｅｓｓｅｌ，ｙ＿ｖｅｓｓｅｌ）：血管像の座標、（ｘ＿ｐｕｐｉｌ，ｙ＿ｐｕｐｉｌ）：瞳孔中心の座標である。
テンプレート領域ＴＰの決定に用いられたｉフレーム目の画像から求められる角度θｉを眼球回旋角度０［ｄｅｇ］と定める。測定部１５０は、Ｔフレーム後のテンプレートマッチングによって得られた血管像の座標（ｘ＋ｗ／２，ｙ＋ｈ／２）から求められるθ（ｉ＋ｔ）との差から回旋角度を計算する。

なお、測定部１５０は、上述したテンプレートマッチングにおいて、瞳孔中心を回転中心として予め回転させたテンプレート領域ＴＰを用いて、テンプレートマッチングを行ってもよい。

［変形例］
図１９は、眼球運動測定システム１の機能構成の変形例を示す図である。
本変形例の眼球運動測定システム１ａは、眼球運動測定装置１０ａが、照射制御部１６０を、撮像装置２０ａが第１照射部２２０と第２照射部２３０とを備える点において、上述した眼球運動測定システム１と異なる。

照射制御部１６０は、第１照射部２２０と、第２照射部２３０とのうちいずれか一方から電磁波を照射させる。
第１照射部２２０は、電磁波を被験者ＳＢの眼球ＥＹに対して照射する。この第１照射部２２０から照射される電磁波は、例えば、緑色光、黄色光、赤色光などの波長領域の可視光線、又は更に波長が長い赤外線などである。一例としては、第１照射部２２０は、４９５ナノメートルより長い波長の電磁波を被験者ＳＢの眼球ＥＹに対して照射する。一例として、第１照射部２２０は、赤色ＬＥＤ（light emitting diode）を備えており、赤色光を照射する。
第２照射部２３０は、５７０ナノメートルより短い波長であって、かつ第１照射部２２０が照射する電磁波の波長よりも短い波長の電磁波を被験者ＳＢの眼球ＥＹに対して照射する。この第２照射部２３０から照射される電磁波は、例えば、緑色光、青色光、紫色光などの波長領域の可視光線、又は更に波長が短い紫外線などである。一例として、第１照射部２２０が、４９５ナノメートルの波長の電磁波（例えば、緑色光）を照射する場合には、第２照射部２３０は、４９５ナノメートルよりも短い波長の電磁波、例えば、４５０ナノメートルの波長の電磁波（例えば、青色光）を照射する。また、他の一例として、第１照射部２２０が、５７０ナノメートルの波長の電磁波（例えば、黄色光）を照射する場合には、第２照射部２３０は、５７０ナノメートルよりも短い波長の電磁波、例えば、４９５ナノメートルの波長の電磁波（例えば、緑色光）を照射する。一例として、第２照射部２３０は、青色ＬＥＤを備えており、青色光を照射する。

［交互照明］
ここで、照射制御部１６０は、第１照射部２２０と、第２照射部２３０とのうちいずれか一方から電磁波を照射させる。第１照射部２２０は、赤色光（又はより波長の長い電磁波）を照射する。第２照射部２３０は、青色光（又はより波長の短い電磁波）を照射する。長波長の電磁波が照射された眼球ＥＹの画像は、眼球ＥＹの瞳孔が描出されやすい。短波長の電磁波が照射された眼球ＥＹの画像は、眼球ＥＹの白目領域ＥＷの血管が描出されやすい。
照射制御部１６０は、測定部１５０が眼球ＥＹの瞳孔の座標を算出する場合には、赤色光を照射し、測定部１５０が眼球ＥＹの血管の座標を算出する場合には、青色光を照射する。例えば、照射制御部１６０は、照射する波長の切り替え周期を、撮像部２１０の撮像フレーム周期の半分の周期にする。
また、上述の場合、測定部１５０は、眼球画像ＩＭＧの全体の輝度値の平均値が所定値（例えば、２５６階調の場合において２００）以上の場合には、瞳孔中心の検出を行い、所定値未満の場合には、血管の位置ＰＶの追跡を行う。また、照射制御部１６０は、いずれの波長の電磁波を照射しているのかを示す信号を、撮像部２１０、取得部１１０、又は測定部１５０に対して出力して、照射波長と撮像された眼球画像ＩＭＧとを同期させてもよい。

［実施形態のまとめ］
以上説明したように、本実施形態の眼球運動測定システム１は、テンプレート領域ＴＰを用いて、眼球画像ＩＭＧの動きを追跡することにより眼球三次元運動を測定する。この眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
ここで、特徴点ＦＰがより多く含まれているテンプレート候補領域ＴＣは、特徴点ＦＰがより少ないテンプレート候補領域ＴＣに比べてテンプレートマッチング性能が高い。
このように構成することにより、眼球運動測定システム１は、眼球画像ＩＭＧの動きの追跡性能を向上させることができる。すなわち、本実施形態の眼球運動測定システム１によれば、眼球運動の計測精度を向上させることができる。

また、本実施形態の眼球運動測定システム１は、抽出される特徴点ＦＰのうち、白目領域ＥＷ内の血管の位置ＰＶに対応する特徴点ＦＰとして選択された特徴点（すなわち、血管対応特徴点ＶＦＰ）毎に、テンプレート候補領域ＴＣを生成する。ここで、白目領域ＥＷから抽出される特徴点ＦＰには、眼球ＥＹの血管の画像に由来するものと、血管以外の要素（例えば、瞼、まつ毛、埃など）の画像に由来しているものとがある。眼球ＥＹの血管は、眼球ＥＹに対してその位置が変化しないため、眼球ＥＹの動きをよく表す。一方、血管以外の要素は、眼球ＥＹに対してその位置が変動することがあるため、眼球ＥＹの動きを必ずしも表さない。したがって、眼球ＥＹの動きの追跡性能を向上させるためには、血管以外の要素の画像を含む領域をテンプレート領域ＴＰとすることよりも、血管の画像を含む領域をテンプレート領域ＴＰとするほうが好ましい。つまり、血管以外の要素の画像を含む領域は、テンプレート領域ＴＰとして用いた場合、眼球ＥＹの動きの追跡性能が相対的に低い。
眼球運動測定システム１は、血管の位置ＰＶに対応する領域をテンプレート候補領域ＴＣの生成対象とすることにより、眼球ＥＹの動きの追跡性能を向上させることができる。
また、眼球運動測定システム１は、血管の位置ＰＶに対応しない領域（すなわち眼球ＥＹの動きの追跡性能が相対的に低い領域）をテンプレート候補領域ＴＣの生成対象から除外することにより、テンプレート候補領域ＴＣの候補数を低減することができる。つまり、眼球運動測定システム１によれば、テンプレート領域ＴＰの選択のための演算量を低減することができる。
すなわち、上述のように構成された眼球運動測定システム１によれば、眼球ＥＹの動きの追跡性能の向上と、演算量の低減とを両立させることができる。

また、本実施形態の眼球運動測定システム１は、白目領域ＥＷ内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、白目領域ＥＷ内の特徴点ＦＰを抽出する。ここで、眼球ＥＹの白目の画像において、地色（白色）の面積が相対的に大きく、特徴点ＦＰの抽出対象である血管の色（赤色～暗赤色～黒色）の面積が相対的に小さい。また、眼球ＥＹの白目の画像において、血管の色は彩度が低く画像全体としてのコントラストが低い（弱い）場合がある。
したがって、仮に白目領域ＥＷの画像を単純に二値化した場合には、血管の画像が抽出されにくい場合がある。このため、従来は、眼球ＥＹに青色光などを照射することによって画像のコントラストを高める手法が用いられる場合があった。
一方、本実施形態の眼球運動測定システム１によれば、白目領域ＥＷ内の各画素の画素値についてヒストグラム平坦化を行うため、白目領域ＥＷについて、地色と血管の色とを峻別しやすくすることができる。つまり、眼球運動測定システム１によれば、血管の位置ＰＶの抽出性能を向上させることができるため、眼球ＥＹの動きの追跡性能を向上させることができる。

また、本実施形態の眼球運動測定システム１は、複数のテンプレート候補領域ＴＣのうち、眼球画像ＩＭＧ内の互いに異なる複数の領域に対してマッチングする頻度がより少ないテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。
ここで、テンプレート候補領域ＴＣには、眼球ＥＹの動きの追跡性能が相対的に高いものと低いものとがある。例えば、あるテンプレート候補領域ＴＣについて、テンプレート候補領域ＴＣが白目領域ＥＷ内の複数の領域に対してマッチングする場合がある。このようなテンプレート候補領域ＴＣの場合、眼球ＥＹの動きを追従する際に複数の領域のうちいずれの領域にマッチングするのかが確定しないため、眼球ＥＹの動きの追従性能が低い。また、テンプレート候補領域ＴＣが、白目領域ＥＷ内の単一の領域に対してマッチングし、白目領域ＥＷ内の他の領域に対してマッチングしない場合には、眼球ＥＹの動きの追従性能が高い。つまり、テンプレート候補領域ＴＣがマッチングする領域の数が少ないほうが、眼球ＥＹの動きの追従性能が高い。
一方で、テンプレート候補領域ＴＣが、白目領域ＥＷ内のある領域に対してマッチングする場合には、当該領域の周囲の領域にもマッチングする場合がある。したがって、仮にテンプレート領域ＴＰの選択条件を、単一の領域のみに対してマッチングするテンプレート候補領域ＴＣに限ってしまうと、テンプレート候補領域ＴＣの選択肢が少なくなり追跡性能が低下するおそれがある。
本実施形態の眼球運動測定システム１は、複数の領域に対してマッチングする頻度に基づいてテンプレート領域ＴＰを選択する。例えば、眼球運動測定システム１は、マッチングする頻度が２以上であり所定値以下（例えば、５以下）であるテンプレート候補領域ＴＣを、テンプレート領域ＴＰとして選択する。このように構成することにより、眼球運動測定システム１は、テンプレート候補領域ＴＣの選択肢の数が少なくなることを抑止して、眼球ＥＹの動きの追従性能を向上させることができる。

また、本実施形態の眼球運動測定システム１は、撮像部２１０を備える。眼球運動測定システム１は、撮像部２１０を備える撮像装置２０と眼球運動測定装置１０とを一体化することにより、撮像装置２０と眼球運動測定装置１０とを接続するための有線又は無線による通信機能を簡素化することができる。

また、眼球運動測定システム１は、第１照射部２２０と、第２照射部２３０と、照射制御部１６０とを備える。第１照射部２２０は、長波長の電磁波（例えば、緑色光、黄色光、赤色光や赤外線）を眼球ＥＹに照射する。ここで、長波長の電磁波が照射された眼球ＥＹが撮像部２１０に撮像された場合、撮像部２１０が生成する画像において、眼球ＥＹの瞳孔の描出性能が向上する。また、第２照射部２３０は、短波長の電磁波（例えば、青色光や紫外線）を眼球ＥＹに照射する。ここで、短波長の電磁波が照射された眼球ＥＹが撮像部２１０に撮像された場合、撮像部２１０が生成する画像において、眼球ＥＹの白目領域ＥＷの血管の描出性能が向上する。一方で、長波長の電磁波と短波長の電磁波とが同時に眼球ＥＹに照射されると、眼球ＥＹの瞳孔と、眼球ＥＹの白目領域ＥＷの血管とのうち、いずれか（又は両方）の描出性能が向上できない場合がある。
本実施形態の眼球運動測定システム１は、照射制御部１６０が、長波長の電磁波と短波長の電磁波とを排他的に照射させるため、眼球ＥＹの瞳孔の描出性能と、眼球ＥＹの白目領域ＥＷの血管の描出性能との両方を向上させることができる。

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１…眼球運動測定システム１０…眼球運動測定装置、１１０…取得部、１２０…特徴点
抽出部、１３０…候補領域生成部、１４０…選択部、１５０…測定部、１６０…照射制御
部、２０…撮像装置、２１０…撮像部、２２０…第１照射部、２３０…第２照射部

Claims (8)

1. 被験者の眼球が撮像された眼球画像を取得する取得部と、
   前記取得部が取得する前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出部と、
   前記眼球画像のうち、前記特徴点抽出部が抽出する前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成部と、
   前記候補領域生成部が生成する複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択部と、
   前記選択部が選択する前記テンプレート領域を用いて、前記取得部が取得する前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定部と、
   を備える眼球運動測定装置。
2. 前記候補領域生成部は、
   前記特徴点抽出部が抽出する前記特徴点のうち、前記白目領域内の血管の位置に対応する特徴点として選択された前記特徴点毎に、前記テンプレート候補領域を生成する
   請求項１に記載の眼球運動測定装置。
3. 前記特徴点抽出部は、
   前記白目領域内の各画素の画素値について少なくともヒストグラム平坦化を含む統計処理を行うことにより、前記白目領域内の特徴点を抽出する
   請求項１又は請求項２に記載の眼球運動測定装置。
4. 前記選択部は、
   複数の前記テンプレート候補領域のうち、前記眼球画像内の互いに異なる複数の領域に対してマッチングする頻度がより少ない前記テンプレート候補領域を、前記テンプレート領域として選択する
   請求項１から請求項３のいずれか一項に記載の眼球運動測定装置。
5. 前記被験者の眼球を撮像することにより前記眼球画像を生成する撮像部
   を更に備える請求項１から請求項４のいずれか一項に記載の眼球運動測定装置。
6. 電磁波を前記被験者の眼球に対して照射する第１照射部と、
   ５７０ナノメートルより短い波長であって、かつ前記第１照射部が照射する電磁波の波長よりも短い波長の電磁波を前記被験者の眼球に対して照射する第２照射部と、
   前記第１照射部と、前記第２照射部とのうちいずれか一方から電磁波を照射させる照射制御部と、
   を更に備える請求項１から請求項５のいずれか一項に記載の眼球運動測定装置。
7. 被験者の眼球が撮像された眼球画像を取得する取得ステップと、
   前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、
   前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、
   前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、
   前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、
   を有する眼球運動測定方法。
8. コンピュータに、
   被験者の眼球が撮像された眼球画像を取得する取得ステップと、
   前記取得ステップにおいて取得される前記眼球画像に含まれる白目領域内の特徴点を抽出する特徴点抽出ステップと、
   前記眼球画像のうち、前記特徴点抽出ステップにおいて抽出される前記特徴点の画素を含む領域であるテンプレート候補領域を、前記特徴点毎に生成する候補領域生成ステップと、
   前記候補領域生成ステップにおいて生成される複数の前記テンプレート候補領域のうち、前記特徴点がより多く含まれている前記テンプレート候補領域を、テンプレート領域として選択する選択ステップと、
   前記選択ステップにおいて選択される前記テンプレート領域を用いて、前記取得ステップにおいて取得される前記眼球画像の動きを追跡することにより、前記被験者の眼球の回旋角度を少なくとも含む眼球三次元運動を測定する測定ステップと、
   を実行させるための眼球運動測定プログラム。

Images