以下に添付図面を参照して、注視点検出装置、注視点検出方法、診断支援装置および診断支援方法の実施の形態を詳細に説明する。
(実施の形態1)
図1は、実施の形態1にかかる、注視点検出装置を備える診断支援装置100の概略構成を示す図である。本実施の形態にかかる診断支援装置100は、医師による発達障害の診断の指標となる評価値を得るための検査、すなわち診断を支援するための検査を行う装置である。
発達障害児の特徴として、対面する相手の目を見ないことが挙げられる。本実施の形態にかかる診断支援装置100は、この特徴を利用し、検査対象となる人物、すなわち被検査者に顔画像を見せた際に、被検査者が顔画像中の目を見ている時間と、目以外を見ている時間とを計測し、計測結果に基づいて、評価値を算出するものである。ここで、被検査者は、注視点検出の対象となる被検出者である。
診断支援装置100は、第1表示部101と、第2表示部102と、スピーカ103と、ステレオカメラ110と、赤外LED光源121,122と、駆動・IF部130と、制御部140と、記憶部150とを備えている。
第1表示部101は、被検査者に注視させる画像等を表示する。第2表示部102は、当該診断支援装置100の操作内容や、診断結果などを表示する。第1表示部101および第2表示部102は、例えばモニタ画面である。スピーカ103は、診断結果などを音声出力する。また、スピーカ103は、検査時に被検査者に注意を促すための音声を出力する。
ステレオカメラ110は、被験者から見て第1表示部101の下側に設置されている。ステレオカメラ110は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ111と左カメラ112の1組のカメラを備えている。以下、右カメラ111と左カメラ112とを、適宜左右カメラ111,112と称する。
右カメラ111および左カメラ112の各レンズの周囲には、円周方向に赤外LED(Light Emitting Diode)光源121,122がそれぞれ配置されている。赤外LED光源121,122は、内周のLEDと外周のLEDとを含む。内周のLEDと外周のLEDについては、後述する。
ステレオカメラ110は、被検査者の顔を撮像する。ステレオカメラ110は、赤外LED光源121,122から赤外線が照射されているタイミングにおいて、画像を撮像する。すなわち、ステレオカメラ110は、赤外線の反射光の画像を撮像する。
なお、ステレオカメラ110は、被検査者の顔を撮像可能な位置に設置されていればよく、その設置位置は実施の形態に限定されるものではない。また、撮像される画像(以下、撮像画像と称する)は、被検査者の瞳孔を含む画像であればよく、瞳孔を含む顔の一部のみを含む画像であってもよく、また顔に加えて、顔以外を含む画像であってもよい。
駆動・IF部130は、ステレオカメラ110に含まれる各部を駆動する。また、駆動・IF部130は、ステレオカメラ110に含まれる各部と、制御部140とのインタフェースとして機能する。
制御部140は、第1表示部101、第2表示部102および駆動・IF部130と接続している。制御部140は、第1表示部101および第2表示部102に表示すべき画像等を制御する。
制御部140はまた、ステレオカメラ110により得られた撮像画像に基づいて、被検査者の注視点を検出し、検出した注視点の位置を較正(キャリブレーション)する。制御部140は、検出された注視点に基づいて、発達障害の診断のための評価値を算出する。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は例えば、第1表示部101に表示する画像等を記憶する。
図2は、診断支援装置100の処理に利用される座標系を説明するための図である。本実施の形態にかかる第1表示部101は、横方向を長辺とする長方形の画面である。診断支援装置100は、図2に示すような、第1表示部101の画面の中央位置を原点として、上下をY座標(上を+方向とする)、横をX座標(第1表示部101に向かって右を+方向とする)、奥行きをZ座標(第1表示部101の手前を+方向とする)とするXYZ座標系において処理を行う。
図3は、図1に示す各部の詳細な機能の一例を示すブロック図である。赤外LED光源121は、内周のLEDである波長1−LED123と、外周のLEDである波長2−LED124とを備えている。赤外LED光源122は、内周のLEDである波長1−LED125と、外周のLEDである波長2−LED126とを備えている。
波長1−LED123,125は、波長1の赤外線を照射する。波長2−LED124,126は、波長2の赤外線を照射する。波長1および波長2は、互いに異なる波長である。波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長である。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
駆動・IF部130は、カメラIF131,132と、LED駆動制御部133と、スピーカ駆動部134とを備えている。カメラIF131およびカメラIF132は、それぞれ右カメラ111および左カメラ112と接続する。カメラIF131,132は、左右カメラ111,112を駆動する。右カメラ111は、左カメラ112およびLED駆動制御部133にフレーム同期信号を送信する。
LED駆動制御部133は、波長1−LED123,125および波長2−LED124,126の発光を制御する。具体的には、LED駆動制御部133は、このフレーム同期信号に基づいて、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED123、波長1−LED125)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。
同様に、LED駆動制御部133は、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED124、波長2−LED126)を発光させる。この発光タイミングに対応して、左右カメラ111,112は、画像を撮像する。撮像された画像は、カメラIF131,132を介して制御部140に入力される。
スピーカ駆動部134は、スピーカ103を駆動する。制御部140は、診断支援装置100全体を制御する。制御部140は、具体的には、表示制御部141と、注視点検出部142と、領域分割部143と、領域特定部144と、注視点補正部145と、評価部146とを備えている。
表示制御部141は、第1表示部101および第2表示部102への各種情報の表示を制御する。表示制御部141は、例えば第1表示部101に検査画像を表示する。検査画像は、被検査者の注視点を検出するための対象画像であり、具体的には、人物の顔画像である。より好ましくは、検査画像は、被検査者の母親の顔画像である。ここで、第1表示部101の画面は、検査画像を表示する表示領域であり、かつ注視点が検出される対象領域である。
さらに、表示制御部141は、第1表示部101に、注視点位置の補正処理に用いられる目標注視点位置(ターゲットポイント)の目印を表示する。ここで、ターゲットポイントとは、被検査者に注視させる位置である。
図4は、ターゲットポイントの目印の一例を示す図である。図4に示すように、目印は、所定の半径の円の画像である。本実施の形態においては、表示制御部141は、第1表示部101に、その表示領域内の異なる5つのターゲットポイントを示す5つの目印(SP0〜SP4)を表示する。
本実施の形態においては、長方形の画面(表示領域)の各辺に平行な4辺を有する四角形の頂点位置を、SP1〜SP4のターゲットポイントとする。また、画面のほぼ中央を、SP0のターゲットポイントとする。すなわち、SP0は、表示領域において、SP1〜SP4に比べて内側の位置を示す中心目印である。なお、本実施の形態においては、SP0は、XYZ座標系の原点、すなわち第1表示部101の画面の中央位置に一致するものとする。ターゲットポイントの目印の画像の種類および表示位置は、記憶部150等に予め設定されているものとする。
また、他の例としては、表示制御部141は、目印である円画像の半径を所定範囲で変化させるなどの表示制御を行ってもよい。これにより、被検査者の注意をターゲットポイントに向け易くすることができる。
ターゲットポイントの目印は、第1表示部101の他の領域と、輝度や彩度が異なる画像であればよく、円画像以外の画像であってもよい。また、他の例としては、ターゲットポイントの配置位置に光を照射するなどによりターゲットポイントの目印を示すこととしてもよい。すなわち、目印は、画像以外に光であってもよい。このように、ターゲットポイントは、被検査者が注視すべき位置を認識可能な態様であればよく、その表示態様は実施の形態に限定されるものではない。
図3に戻り、注視点検出部142は、ステレオカメラ110により撮像された画像に基づいて、被検査者の注視点を検出する。注視点検出部142は、具体的には、上述の補正用に表示されたターゲットポイントの目印表示時の被検査者の注視点(以下、補正用注視点と称する)を検出する。なお、注視点検出部142は、同一目印に対して得られた複数の注視点位置の平均を算出し、これを注視点位置とする。注視点検出部142はまた、検査画像表示時の被検査者の注視点(以下、検査用注視点と称する)を検出する。なお、検査用注視点は、注視点検出装置を備える診断支援装置100が検出対象とする対象注視点である。
注視点検出部142による注視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特開2005−198743号公報に記載された技術と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。
注視点検出部142は、ステレオカメラ110で撮影された画像から、被検査者の視線方向を検出する。注視点検出部142は、例えば、特開2011−206542号公報および特開2008−125629号公報に記載された方法を用いて、被検査者の視線方向を検出する。具体的には、注視点検出部142は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。注視点検出部142は、左右カメラ111,112で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被検査者の瞳孔の位置を算出する。また、注視点検出部142は、左右カメラ111,112で撮影された画像を用いて被検査者の角膜反射の位置を算出する。そして、左右カメラ111,112は、被験者の瞳孔の位置と角膜反射位置とから、被検査者の視線方向を表す視線ベクトルを算出する。
注視点検出部142は、例えば図2のような座標系で表される視線ベクトルとXY平面との交点を、被検査者の注視点として検出する。両目の視線方向が得られた場合は、被検査者の左右の視線の交点を求めることによって注視点を計測してもよい。
なお、被検査者の注視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被検査者の注視点を検出してもよい。
図5は、被検査者の瞳孔の位置を検出する方法を模式的に示す説明図である。注視点検出部142は、右カメラ111で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ111から見た被検査者201の視線の方向を算出する。また、注視点検出部142は、左カメラ112で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ112から見た被検査者201の視線の方向を算出する。そして、注視点検出部142は、求められた2つの視線の方向の交点から、図2に示すXY座標系における、被検査者201の注視点の位置を算出する。
図3に戻り、領域分割部143は、補正用に表示されたターゲットポイントの目印に対して検出された補正用注視点に基づいて、第1表示部101の画面を複数の部分領域に分割する。
領域特定部144は、検査画像に対して検出された検査用注視点が、表示領域中のいずれの部分領域に属するかを特定する。
注視点補正部145は、検査用注視点が属する部分領域に基づいて、検査用注視点の位置を補正する。
ここで、領域分割部143、領域特定部144および注視点補正部145の処理について図6〜図9を参照しつつ詳述する。
図6に示す点SP0a〜SP4aは、それぞれターゲットポイントの目印SP0〜SP4を被検査者が注視することによって得られた被検査者の補正用注視点である。
領域分割部143は、まず点SP0aをXY座標系の原点に一致させる。具体的には、領域分割部143は、XY座標系の原点からSP0aへの原点変位値を算出する。ここで、原点とSP0の位置とは一致する。そして、領域分割部143は、SP1a〜SP4aそれぞれを、原点変位値だけ移動させたSP1b〜SP4bの座標を求める。例えば、SP0aの座標が(x0,y0)である場合には、原点変位値は、(−x0,−y0)となる。したがって、領域分割部143は、SP1a〜SP4aそれぞれの座標に(−x0,−y0)を加算することにより、SP1b〜SP4bの座標を得る。
図7は、フレームFと図6の点SP0aをXY座標系の原点に移動させた後のフレームFeとを示す図である。フレームFは、ターゲットポイント点F1〜F4により定まるフレームである。点F1〜F4は、それぞれ点SP1〜SP4に相当する。フレームFeは、ターゲットポイントに対応して検出された補正用注視点に対応する点Fe1〜Fe4により定まるフレームである。点Fe1〜Fe4は、それぞれ点SP1b〜SP4bに相当する。すなわち、フレームFは、表示画面のXY座標系に対応する基準フレームであり、フレームFeは、被検査者固有の誤差等を含む誤差フレームである。なお、フレームFとフレームFeとは、左右カメラ111,112の撮像対象となるフレームとは異なる概念のものである。
注視点検出部142により算出される検査用注視点は、フレームFe上の点である。さらに、被検査者の眼球の非球面な形状などに起因して、視線方向により、すなわち目印位置によって、誤差の程度が異なる。そこで、本実施の形態にかかる診断支援装置100においては、対象領域を8つの部分領域に分割し、部分領域単位で検査用注視点のフレームFe上の座標値をフレームF上の座標値に変換することにより、検査用注視点の補正を行うこととする。
領域分割部143は、点Fe1〜Fe4の位置に基づいて、対象領域を8つの部分領域に分割する。図8は、8つの部分領域を示す図である。各部分領域は、原点O、点Fe1〜Fe4、X軸、Y軸により定まる領域である。ここで、点Fe1〜Fe4は、それぞれSP1b〜SP4bに対応する点である。そして、SP1b〜SP4bは、それぞれSP1a〜SP4aに基づいて定まる点である。すなわち、領域分割部143は、SP1a〜SP4aの位置に基づいて、対象領域を8つの部分領域に分割するものである。
ここで、点Fe1と点Fe4を通る直線と、X軸との交点を点Fe5とする。点Fe1と点Fe2を通る直線と、Y軸との交点を点Fe6とする。点Fe2と点Fe3を通る直線と、X軸との交点を点Fe7とする。点Fe3と点Fe4を通る直線と、Y軸との交点を点Fe8とする。
領域分割部143は、図8に示す第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hの8つの部分領域に分割する。また、領域特定部144は、検査用注視点の座標と、領域分割部143により分割された8つの部分領域の位置とに基づいて、注視点検出部142により検出された検査用注視点がこの8つの部分領域のうちいずれの部分領域に属する点であるかを特定する。
ここで、第1象限下側領域Aは、原点Oと点Fe1を通る直線および原点Oと点Fe5を通る直線(X軸)を境界位置とする領域である。第1象限上側領域Bは、原点Oと点Fe1を通る直線および原点Oと点Fe6を通る直線(Y軸)を境界位置とする領域である。
第2象限上側領域Cは、原点Oと点Fe2を通る直線および原点Oと点Fe6を通る直線(Y軸)を境界位置とする領域である。第2象限下側領域Dは、原点Oと点Fe2を通る直線および原点Oと点Fe7を通る直線(X軸)を境界位置とする領域である。
第3象限上側領域Eは、原点Oと点Fe3を通る直線および原点Oと点Fe7を通る直線(X軸)を境界位置とする領域である。第3象限下側領域Fは、原点Oと点Fe3を通る直線および原点Oと点Fe8を通る直線(Y軸)を境界位置とする領域である。
第4象限下側領域Gは、原点Oと点Fe4を通る直線および原点Oと点Fe8を通る直線(Y軸)を境界位置とする領域である。第4象限上側領域Hは、原点Oと点Fe4を通る直線および原点Oと点Fe5(X軸)を通る直線を境界位置とする領域である。
図9は、第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hそれぞれに対応する、フレームFの部分領域(A’〜H’)を示す図である。
第1象限下側領域A’、第1象限上側領域B’、第2象限上側領域C’、第2象限下側領域D’、第3象限上側領域E’、第3象限下側領域F’、第4象限下側領域G’および第4象限上側領域H’は、それぞれ第1象限下側領域A、第1象限上側領域B、第2象限上側領域C、第2象限下側領域D、第3象限上側領域E、第3象限下側領域F、第4象限下側領域Gおよび第4象限上側領域Hに対応する領域である。
領域特定部144は、上述のように検査用注視点が属するフレームFe上の部分領域を特定するのに加えて、特定したフレームFe上の部分領域に対応する、フレームF上の部分領域を特定する。例えば、フレームFe上の第1象限下側領域Aが特定された場合に、フレームF上の第1象限下側領域A’が対応する部分領域として特定される。すなわち、領域特定部144は、フレームFe上の部分領域と、これに対応するフレームF上の部分領域を特定するものであり、第1部分領域特定部および第2部分領域特定部に相当するものである。
図9を参照しつつ、フレームF上の部分領域について説明する。点F1と点F4を通る直線と、X軸との交点を点F5とする。点F1と点F2を通る直線と、Y軸との交点を点F6とする。点F2と点F3を通る直線と、X軸との交点を点F7とする。点F3と点F4を通る直線と、Y軸との交点を点F8とする。
第1象限下側領域A’は、原点Oと点F1を通る直線および原点Oと点F5を通る直線(X軸)を境界位置とする領域である。第1象限上側領域B’は、原点Oと点F1を通る直線および原点Oと点F6を通る直線(Y軸)を境界位置とする領域である。
第2象限上側領域C’は、原点Oと点F2を通る直線および原点Oと点F6を通る直線(Y軸)を境界位置とする領域である。第2象限下側領域D’は、原点Oと点F2を通る直線および原点Oと点F7を通る直線(X軸)を境界位置とする領域である。
第3象限上側領域E’は、原点Oと点F3を通る直線および原点Oと点F7を通る直線(X軸)を境界位置とする領域である。第3象限下側領域F’は、原点Oと点F3を通る直線および原点Oと点F8とを通る直線(Y軸)を境界位置とする領域である。
第4象限下側領域G’は、原点Oと点F4を通る直線および原点Oと点F8を通る直線(Y軸)を境界位置とする領域である。第4象限上側領域H’は、原点Oと点F4を通る直線および原点Oと点F5を通る直線(X軸)を境界位置とする領域である。
注視点補正部145は、フレームFe上の部分領域とフレームFにおける対応する部分領域の相関関係、すなわちフレームFeからフレームFへの変位値に基づいて、注視点の位置を補正する。
以下、図10〜図14を参照しつつ、注視点補正部145の処理について詳述する。図10は、各点の座標を示す図である。図10に示すように、点F1の座標を(x4,y4)、点F2の座標を(x10,y4)、点F3の座標を(x10,y8)、点F4の座標を(x4,y8)、点F5の座標を(x4,0)、点F6の座標を(0,y4)、点F7の座標を(x10,0)、点F8の座標を(0,y8)とする。また、点Fe1の座標を(x6,y6)、点Fe2の座標を(x11,y11)、点Fe3の座標を(x13,y13)、点Fe4の座標を(x9,y9)、点Fe5の座標を(x7,0)、点Fe6の座標を(0,y7)、点Fe7の座標を(x20,0)、点Fe8の座標を(0,y20)とする。
さらに、図11に示すように、第1象限下側領域Aにおいて検出された検査用注視点を点P2Aとし、点P2Aの座標を(x2A,y2A)とする。また、点P2Aの補正後の検査用注視点を点P0Aとし、点P0Aの座標を(x0A,y0A)とする。
さらに、点Fe1と点Fe5を通る直線をL1A、点F1と点F5を通る直線をL2Aとする。点P2Aと原点Oを通る直線をL3A、点P0Aと原点を通る直線をL4A、点Fe1と原点を通る直線をL5A、点F1と原点を通る直線をL6Aとする。
また、直線L2Aと直線L4Aの交点を点P1Aとし、点P1Aの座標を(x4,y1A)とする。また、直線L1Aと直線L3Aの交点を点P3Aとし、点P3Aの座標を(x3A,y3A)とする。
また、原点と点P0Aの間の距離をd0A、原点と点P1Aの間の距離をd1A、原点と点P2Aの間の距離をd2A、原点と点P3Aの間の距離をd3Aとする。
また、直線L3AとX軸のなす角0Aの角度をθ0A、直線L5AとX軸のなす角1Aの角度をθ1A、直線L4AとX軸のなす角2Aの角度をθ2A、直線L6AとX軸のなす角3Aの角度をθ3Aとする。
以上の条件の下、注視点補正部145は、角0Aの角度θ0Aの角1Aの角度θ1Aに対する割合と、角2Aの角度θ2Aの角3Aの角度θ3Aに対する割合が等しいとして、角2Aの角度θ2Aを求め、さらに、距離d2Aの距離d3Aに対する割合と、距離d0Aの距離d1Aに対する割合が等しいとして、距離d0Aを求めることにより、補正用注視点の補正後の位置を算出する。
注視点補正部145は、まず、(式1)〜(式3)により、角度θ0A、角度θ1Aおよび角度θ3Aを算出する。
角0Aの角度θ0Aの角1Aの角度θ1Aに対する割合と、角2Aの角度θ2Aの角3Aの角度θ3Aに対する割合が等しいことから、(式4)が成り立つ。注視点補正部145は、(式4)に(式1)〜(式3)により算出した角度θ0A、角度θ1Aおよび角度θ3Aを代入することにより、角度θ2Aを算出する。
注視点補正部145はまた、点3Aが直線L1Aと直線L3Aの交点であるとして、点P3Aの座標(x3A,y3A)を算出する。ここで、直線L1Aは、(式5)により示される。
(式5)は、(式6)のように示すことができる。
(式6)において、alおよびblはそれぞれ(式7)および(式8)で示される。
また、直線L3Aは、(式9)により示される。
(式9)を(式6)に代入することにより、(式10)および(式11)が得られる。
注視点補正部145は、(式10)および(式11)により、点P3Aの座標(x3A,y3A)を算出する。
注視点補正部145はさらに、(式12)により、距離d3Aに対する距離d2Aの比k0を算出する。
注視点補正部145はまた、点P1Aの座標(x4,y1A)を算出する。ここで、直線L2Aは、(式13)により示される。
(式13)を用いて、(式14)および(式15)が得られる。
以上に基づき、注視点補正部145は、(式14)および(式15)により、点P1Aの座標(x4,y1A)を算出する。
注視点補正部145はさらに、(式16)により、距離d1Aを算出する。
注視点補正部145は、点P0Aが距離d1Aに対する距離d0Aの比がk0となるような点であるとして、(式17)および(式18)により、点P0Aの座標(x0A,y0A)を算出する。
なお、注視点補正部145は、他の部分領域においても、同様の演算式により、各部分領域に属する検査用注視点の位置を補正する。
図12は、第4象限上側領域Hを示す図である。検査用注視点が第4象限上側領域Hに属する場合には、X軸を基準として、角0B〜3Bを定め、また、直線L1B〜L6Bを定める。そして、注視点補正部145は、角0Bの角度θ0Bの角1Bの角度θ1Bに対する割合と、角2Bの角度θ2Bの角3Bの角度θ3Bに対する割合が等しいとして、角2Bの角度θ2Bを求める。さらに、注視点補正部145は、距離d2Bの距離d3Bに対する割合と、距離d0Bの距離d1Bに対する割合が等しいとして、距離d0Bを求める。これにより、注視点補正部145は、検査用注視点P2B(x2B,y2B)の補正後の検査用注視点P0Bの座標(x0B,y0B)を算出する。
図13は、第2象限上側領域Cを示す図である。検査用注視点が第2象限上側領域Cに属する場合には、Y軸を基準として、角0C〜3Cを定め、また、直線L1C〜L6Cを定める。そして、注視点補正部145は、角0Cの角度θ0Cの角1Cの角度θ1Cに対する割合と、角2Cの角度θ2Cの角3Cの角度θ3Cに対する割合が等しいとして、角2Cの角度θ2Cを求める。さらに、注視点補正部145は、距離d2Cの距離d3Cに対する割合と、距離d0Cの距離d1Cに対する割合が等しいとして、距離d0Cを求める。これにより、注視点補正部145は、検査用注視点P2C(x2C,y2C)の補正後の検査用注視点P0Cの座標(x0C,y0C)を算出する。
図14は、第1象限上側領域Bを示す図である。検査用注視点が第1象限上側領域Bに属する場合には、Y軸を基準として、角0D〜3Dを定め、また、直線L1D〜L6Dを定める。そして、注視点補正部145は、角0Dの角度θ0Dの角1Dの角度θ1Dに対する割合と、角2Dの角度θ2Dの角3Dの角度θ3Dに対する割合が等しいとして、角2Dの角度θ2Dを求める。さらに、注視点補正部145は、距離d2Dの距離d3Dに対する割合と、距離d0Dの距離d1Dに対する割合が等しいとして、距離d0Dを求める。これにより、注視点補正部145は、検査用注視点P2D(x2D,y2D)の補正後の検査用注視点P0Dの座標(x0D,y0D)を算出する。
図3に戻り、評価部146は、検査画像と、補正後の検査用注視点とに基づいて、発達障害の評価値を算出する。評価部146は、検査画像を表示した際の被検査者の検査用注視点の位置に基づいて、検査画像としての顔画像の目を見ている割合を評価値として算出し、評価値が低いほど、発達障害の可能性が高いことを示すような評価値を算出する。評価部146による処理の詳細については、例えば特開2011−206542号公報を参照することができる。評価部146は、検査画像と検査用注視点とに基づいて、評価値を算出すればよく、その算出方法は、本実施の形態に限定されるものではない。
図15は、診断支援装置100による第1診断処理を示すフローチャートである。第1診断処理において、診断支援装置100は、まず、簡易キャリブレーションを実行する(ステップS100)。簡易キャリブレーションにおいては、表示制御部141は、1点または2点のターゲットポイントを第1表示部101に表示する。
続いて、注視点検出部142は、表示されたターゲットポイントに対応する較正用注視点を検出する。そして、注視点補正部145は、検出された較正用注視点に基づいて、注視点の簡易キャリブレーションを実行する。
なお、注視点の非常に大きなずれが発生しないことがわかっている場合には、簡易キャリブレーション(ステップS100)を省略してもよい。
次に、診断支援装置100は、検査用注視点検出処理を実行する(ステップS101)。検査用注視点検出処理においては、まず、表示制御部141は、検査画像を第1表示部101に表示する。次に、注視点検出部142は、第1表示部101に検査画像が表示されている際の被検査者の注視点、すなわち検査用注視点を検出する。
次に、診断支援装置100は、補正用注視点検出処理を実行する(ステップS102)。補正用注視点検出処理においては、診断支援装置100は、ターゲットポイントを示す目印に対する注視点、すなわち補正用注視点を検出する。補正用注視点検出処理については、後述する。
続いて、領域分割部143が、補正用注視点に基づいて、対象領域を8つの部分領域(A〜H)に分割する(ステップS103)。次に、注視点補正部145は、ステップS101において得られた検査用注視点が属する、フレームFeにおける部分領域を特定し、さらに、特定した部分領域に対応する、フレームFにおける部分領域を特定する(ステップS104)。部分領域を特定する処理については後述する。
次に、注視点補正部145は、検査用注視点の位置を較正する(ステップS105)。ステップS105における検査用注視点較正処理においては、注視点検出部145は、ステップS104において特定した部分領域毎に異なる演算処理を実行することにより、検査用注視点の較正後の位置を算出する。
次に、評価部146は、補正後の検査用注視点の位置に基づいて、評価値を算出する(ステップS106)。なお、評価値は、例えば第2表示部102に出力される。以上で、診断処理が完了する。
なお、第1診断処理においては、検査用注視点検出処理(ステップS101)の後に、補正用注視点検出処理(ステップS102)を行ったが、他の例としては、補正用注視点検出処理(ステップS102)の後に、検査用注視点検出処理(ステップS101)を行うこととしてもよい。
次に、診断支援装置100は、補正用注視点検出処理を実行する(ステップS102)。図16は、実施の形態1の補正用注視点検出処理の詳細を示すフローチャートである。補正用注視点検出処理においては、まず、表示制御部141は、ターゲットポイントを示す目印SP0を所定位置(原点位置)に表示する(ステップS110)。次に、注視点検出部142は、目印SP0に対して得られた補正用注視点の位置を検出する(ステップS111)。注視点検出部142は、所定数の補正用注視点を検出し、これらのデータ分布を計算する(ステップS112)。
図17は、データ分布の計算処理を説明するための図である。目印(SP0〜SP4)を中心とした基準領域が各目印に対して予め設定されている。なお、本実施の形態においては、目印を中心とする所定の半径の円を基準領域とする。基準領域内に所定数以上の較正用注視点が得られない場合には、被検査者がターゲットポイントの目印をしっかり注視していなかった可能性が高く、補正に有効な補正用注視点を検出していない可能性が高い。そこで、本実施の形態においては、注視点検出部142は、目印を表示している間の所定時間において、基準領域内の注視点が所定数以上検出されたか否かにより、検出された補正用注視点が適正か否かを判断することとする。
ステップS112におけるデータ分布計算処理においては、注視点検出部142は、基準領域内に属する補正用注視点の数を計測する。そして、注視点検出部142は、基準領域内に属する補正用注視点の数が予め設定された閾値以上である場合に、検出された補正用注視点が適正であると判断し(ステップS113,Yes)、検出された複数の較正用注視点のうち、基準領域に属さない補正用注視点を除いた基準領域内データ群を特定する(ステップS114)。
なお、ステップS113において、補正用注視点が適正でないと判断した場合には(ステップS113,No)、ステップS111に戻り、注視点検出部142は、再び補正用注視点の検出をやり直す。
次に、注視点検出部142は、基準領域内データ群の各補正用注視点の座標に基づいて、基準領域内データ群の代表値を算出する(ステップS115)。本実施の形態においては、代表値として、基準領域内データ群の平均値を算出する。なお、代表値は、平均値以外の値であってもよい。代表値は、例えば標準偏差であってもよい。以降の処理においては、ステップS115により算出された代表値が補正用注視点として利用される。
次に、すべてのターゲットポイントの目印に対する代表値が算出されていない場合には(ステップS116,No)、表示制御部141は、次のターゲットポイントを示す目印を表示する(ステップS117)。そして、ステップS111に戻り、表示中の目印に対する代表値を算出する(ステップS111〜115)。
ステップS116において、すべてのターゲットポイントの目印に対する代表値が算出されると(ステップS116,Yes)、補正用注視点検出処理(ステップS102)が完了する。
図18−1〜図18−5は、補正用注視点検出処理(ステップS102)における各ターゲットポイントの目印の表示処理を説明するための図である。表示制御部141は、図16に示すステップS110において、まず図18−1に示すように目印SP0を第1表示部101に表示する。次に、表示制御部141は、ステップS117において、残りのターゲットポイントの目印を1つずつ順番に第1表示部101に表示する。
すなわち、表示制御部141は、図18−2に示すようにステップS117において、SP0の表示をやめ、新たにSP1を表示し、SP1の代表値算出後に再びステップS117において、図18−3に示すようにSP1の表示をやめ、新たにSP2を表示する。同様に、表示制御部141は、続けて、図18−4に示すように、SP2の表示をやめ、新たにSP3のターゲットポイントを表示する。続いて、図18−5に示すように、SP3の表示をやめ、新たにSP4のターゲットポイントを表示する。
このように、各ターゲットポイントを順番に1つずつ表示することにより、被検査者の補正用注視点を検出することができる。
図19は、部分領域特定処理(ステップS104)において、フレームFeにおける部分領域を特定する処理を示すフローチャートである。図19に示すように、まず領域特定部144は、ステップS101において得られた検査用注視点の座標を注視点検出部142から取得する(ステップS120)。
次に、領域特定部144は、検査用注視点の座標とフレームFe上の部分領域(A〜H)に基づいて、検査用注視点が属する部分領域を特定する。領域特定部144は、具体的には、検査用注視点のx座標の符号を特定し、続いてy座標の符号を特定する。検査用注視点のx座標が0以上であり、かつ検査用注視点のy座標が0以上である場合には(ステップS121,Yes、ステップS122,Yes)、領域特定部144は、さらに検査用注視点のxy座標と、点Fe1の座標とに基づいて、検査用注視点が原点Oと点Fe1を結ぶ直線(直線O−Fe1)より上側に位置するか否かを特定する。
検査用注視点が直線O−Fe1上または直線O−Fe1より下側に位置する場合には(ステップS123,No)、領域特定部144は、検査用注視点が第1象限下側領域Aに属すると判断する(ステップS124)。
検査用注視点が直線O−Fe1より上側に位置する場合には(ステップS123,Yes)、領域特定部144は、検査用注視点が第1象限上側領域Bに属すると判断する(ステップS125)。
検査用注視点のx座標が0以上であり、かつ検査用注視点のy座標が0より小さい場合には(ステップS121,Yes、ステップS122,No)、領域特定部144は、さらに検査用注視点のxy座標と、点Fe4の座標とに基づいて、検査用注視点が原点Oと点Fe4を結ぶ直線(直線O−Fe4)より上側に位置するか否かを特定する。
検査用注視点が直線O−Fe4上または直線O−Fe4より下側に位置する場合には(ステップS126,No)、領域特定部144は、検査用注視点が第4象限下側領域Gに属すると判断する(ステップS127)。
検査用注視点が直線O−Fe4より上側に位置する場合には(ステップS126,Yes)、領域特定部144は、検査用注視点が第4象限上側領域Hに属すると判断する(ステップS128)。
検査用注視点のx座標が0より小さく、かつ検査用注視点のy座標が0以上である場合には(ステップS121,No、ステップS129,Yes)、領域特定部144は、さらに検査用注視点のxy座標と、点Fe2の座標とに基づいて、検査用注視点が原点Oと点Fe2を結ぶ直線(直線O−Fe2)より上側に位置するか否かを特定する。
検査用注視点が直線O−Fe2上または直線O−Fe2より下側に位置する場合には(ステップS130,No)、領域特定部144は、検査用注視点が第2象限下側領域Dに属すると判断する(ステップS131)。
検査用注視点が直線O−Fe2より上側に位置する場合には(ステップS130,Yes)、領域特定部144は、検査用注視点が第2象限上側領域Cに属すると判断する(ステップS132)。
検査用注視点のx座標が0より小さく、かつ検査用注視点のy座標が0より小さい場合には(ステップS121,No、ステップS129,No)、領域特定部144は、さらに検査用注視点のxy座標と、点Fe3の座標とに基づいて、検査用注視点が原点Oと点Fe3を結ぶ直線(直線O−Fe3)より上側に位置するか否かを特定する。
検査用注視点が直線O−Fe3上または直線O−Fe3より下側に位置する場合には(ステップS133,No)、領域特定部144は、検査用注視点が第3象限下側領域Fに属すると判断する(ステップS134)。
検査用注視点が直線O−Fe3より上側に位置する場合には(ステップS133,Yes)、領域特定部144は、検査用注視点が第3象限上側領域Eに属すると判断する(ステップS135)。
以上で、ステップS104における検査用注視点が属する部分領域を特定する処理が完了する。
以上のように、第1診断処理においては、5つの目印に対応した補正用注視点のみから、精度よく注視点位置を補正することができる。すなわち、短時間で簡易的なキャリブレーションを行った後でも良好に補正することができる。
図20は、診断支援装置100による第2診断処理を示すフローチャートである。第2診断処理においては、検査用注視点を検出するための一連の処理を診断計測1、診断計測2および診断計測3の3回に分けて実行し、各工程が終了し次の工程を開始する前、すなわち各工程の間に補正用注視点検出のための処理を行う。このように、第2診断処理においては、検査用注視点検出処理と、補正用注視点検出処理のタイミングが第1診断処理と異なっている。
具体的には、図20に示すように、診断支援装置100は、まず必要に応じて簡易キャリブレーションを実行する(ステップS200)。次に、注視点検出部142は、各目印に対応する失敗フラグに「1」を設定する(ステップS201)。なお、失敗フラグの初期値は「1」であり、各目印に対応する補正用注視点が得られると、値が「0」に変更される。失敗フラグは、例えば記憶部150に記憶されている。
続いて、診断支援装置100は、検査用注視点を検出するための診断計測1を実行する(ステップS202)。続いて、注視点検出部142は、各目印に対応する失敗フラグの値を参照する。失敗フラグが存在する場合、すなわち1が設定されている失敗フラグが存在する場合には(ステップS203,Yes)、補正用注視点の不足データを取得する(ステップS204)。一方、失敗フラグが存在しない場合には(ステップS203,No)、ステップS205に進む。
図21は、不足データ取得処理(ステップS204)における詳細な処理を示すフローチャートである。まず、注視点検出部142は、SP0の失敗フラグを参照する。SP0の失敗フラグが1である場合には(ステップS220,Yes)、表示制御部141は、ターゲットポイントの目印SP0を第1表示部101に表示する(ステップS221)。ステップS220において、SP0の失敗フラグが1でない場合には(ステップS220,No)、ステップS228へ進む。
ステップS222〜ステップS226の処理は、図16を参照しつつ説明したステップS111〜ステップS115の処理と同様である。ただし、ステップS224において、適正でないと判断された場合には(ステップS224,No)、ステップS222に戻らず、ステップS228へ進む。
また、注視点検出部142は、代表値算出処理(ステップS226)の後、処理対象となっている目印、すなわちこのとき第1表示部101に表示されている目印に対応する失敗フラグに「0」をセットする(ステップS227)。
次に、注視点検出部142は、未処理のターゲットポイントが存在するか否かを確認する。未処理のターゲットポイントが存在する場合、すなわち次に処理すべきSPが存在する場合には(ステップS228,Yes)、注視点検出部142は、次のSPの失敗フラグの値を参照する。次のSPの失敗フラグが1である場合には(ステップS229,Yes)、表示制御部141はまず、目印SP0を表示し、次のターゲットポイントまで目印を移動表示する(ステップS230)。次に、表示制御部141は、次のターゲットポイントの目印SPを表示する(ステップS231)。そして、ステップS222に戻り、注視点検出部142は、次の目印に対応する補正用注視点の検出を行う。
一方、ステップS229において、次のSPの失敗フラグが1でない場合には(ステップS229,No)、ステップS228に戻る。
また、ステップS228において、未処理のターゲットポイントが存在しない場合、すなわちすべてのSPに対する処理が終了し、次に処理すべきSPが存在しない場合には(ステップS228,No)、不足データ取得処理(ステップS204)が完了する。
図22−1〜図22−5は、不足データ取得処理(ステップS204)におけるターゲットポイントの目印の表示処理を説明するための図である。表示制御部141は、図21に示すステップS221において、まず図22−1に示すようにSP0の目印を第1表示部101に表示する。次に、表示制御部141は、ステップS230において、SP0からを次のSPまで目印を移動表示した後、次の目印を1つずつ順番の第1表示部101に表示する。
すなわち、表示制御部141は、ステップS230において、図22−2に示すようにSP0からSP1に目印を移動表示した後、ステップS231において、SP1を表示する。続いて、表示制御部141は、SP1にかかる処理後に再びステップS230において、図22−3に示すようにSP0からSP2に目印を移動表示した後、ステップS231において、SP2を表示する。同様に、表示制御部141は、図22−4に示すように、SP0からSP3へ目印を移動表示した後、SP3を表示し、続いて、図22−5に示すように、SP0からSP4へ目印を移動表示した後、SP4を表示する。
図20に戻り、ステップS204の不足データ取得処理(ステップS204)が完了すると、次に、診断支援装置100は、診断計測2を実行する(ステップS205)。続いて、注視点検出部142は、失敗フラグが存在する場合には(ステップS206,Yes)、不足データを取得する(ステップS207)。なお、失敗フラグが存在しない場合には(ステップS206,No)、ステップS208へ進む。
次に、診断支援装置100は、診断計測3を実行する(ステップS208)。続いて、
注視点検出部142は、失敗フラグが存在する場合には(ステップS209,Yes)、不足データを取得し(ステップS210)、ステップS209に戻る。なお、失敗フラグが存在しない場合には(ステップS209,No)、ステップS211に進み、注視点が較正され(ステップS211)、較正後の注視点に基づいて評価値が算出され(ステップS212)、第2診断処理が完了する。
なお、不足データ取得処理(ステップS207、ステップS210)は、不足データ取得処理(ステップS204)と同様の処理である。
このように、第2診断処理においては、診断計測の合間に補正用注視点検出処理を行い、かつ各補正用注視点検出処理においては、適切な補正用注視点が検出されるまで、補正用注視点の検出を繰り返すのではなく、処理を一旦終了し、次の補正用注視点検出処理において、代表値算出が完了していない補正用注視点の検出を行うこととしたので、被検査者が検査にストレスを感じるのを軽減することができる。
このように、本実施の形態にかかる診断支援装置100による評価値算出処理においては、補正用注視点を検出するタイミングは、検査用注視点を検出する前後いずれであってもよく、また検査用注視点検出の途中であってもよい。
このため、長時間の検査に集中することの難しい乳幼児を被検査者とする場合であっても、精度よく検査用注視点の位置を較正することができる。
このように、本実施の形態にかかる診断支援装置100による診断処理においては、5つの目印に対応した補正用注視点のみから、精度よく注視点位置を補正することができる。すなわち、短時間での簡易的なキャリブレーションやキャリブレーションなしでも、精度よく通視点位置の補正を行うことができる。そのため、測定を即時に開始することが可能で、乳幼児の測定に適している。補正のための測定はどのタイミングでも問題ない。
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
そうした第1の変更例としては、本実施の形態においては、注視点検出部142は、5つのターゲットポイントに対する較正用注視点を検出したが、5つよりも多い数のターゲットポイントを設定し、各ターゲットポイントに対する較正用注視点を検出することとしてもよい。この場合には、領域分割部143は、これらに基づいて、表示領域を8つより多い数の部分領域に分割する。そして、注視点補正部145は、各部分領域に対応する演算により検査用注視点を較正する。これにより、より高い精度で検査用注視点のキャリブレーションを行うことができる。
また、第2の変更例としては、表示制御部141は、基準となる中心のターゲットポイントの目印SP0は表示しなくともよい。この場合には、領域分割部143は、SP1〜SP4の目印の平均値をSP0とし、また、SP1a〜SP4aの平均値をSP0aとして処理を行うこととする。
また、第3の変更例としては、フレームFeを原点と、点SP1b〜SP4bにより定めるのに替えて、点SP0a〜SP4aにより定めてもよい。この場合には、点SP0aを通り、x軸またはy軸に平行な直線と、点SP1a〜SP4aそれぞれと点SP0aを通る直線のなす角を、較正に用いるフレームFe上の角を定義すればよい。例えば、図11に示す第1象限下側領域においては、点SP0aを通りx軸に平行な直線と、点SP0aと点SP1aを通る直線のなす角を角θ1Aとすればよい。
(実施の形態2)
実施の形態1では、注視点位置の補正に必要な目印に対する補正用注視点が検出されなかった場合には、再度、補正用注視点の検出を行っていた。しかしながら、1歳半健診などでは、被験者が集中力の弱い乳幼児であり、補正用注視点を再度検出するために、何度も画面を注視させることが困難である。
このため、本実施の形態では、補正用注視点を検出することができなかった場合には、目の特性等を利用して、検出できた補正用注視点データから、検出できなかった補正用注視点の位置を予測して、予測した補正用注視点の位置を注視点位置の補正に用いている。
図23は、実施の形態2にかかる注視点検出装置を備える診断支援装置2300の各部の詳細な機能の一例を示すブロック図である。本実施の形態の診断支援装置2300は、図23に示すように、ステレオカメラ110と、赤外LED光源121,122と、スピーカ103と、駆動・IF部130と、制御部2340と、記憶部150と、第1表示部101と、第2表示部102とを主に備えている。ここで、ステレオカメラ110、赤外LED光源121,122と、スピーカ103、駆動・IF部130、記憶部150、第1表示部101、第2表示部102の機能および構成については実施の形態1と同様であるので説明を省略する。
制御部2340は、実施の形態1と同様に、第1表示部101、第2表示部102および駆動・IF部130と接続している。また、制御部2340は、実施の形態1と同様に、第1表示部101および第2表示部102に表示すべき画像等を制御する。
制御部2340は、図23に示すように、表示制御部141と、注視点検出部142と、注視点予測部2341と、領域分割部2343と、領域特定部144と、注視点補正部145と、評価部146とを主に備えている。ここで、表示制御部141、注視点検出部142、領域特定部144、注視点補正部145、評価部146の機能については実施の形態1と同様であるので説明を省略する。
注視点予測部2341は、注視点検出部142によって、中心目印に対応した補正用注視点と、中心目印より外側の4点以上の目印のうち少なくとも1つの目印に対応した補正用注視点とが検出され、4点以上の目印のうち一部の目印に対応した補正用注視点が検出されなかった場合に、検出された補正用注視点の位置と被験者の目の特性とに基づいて、検出されなかった補正用注視点の位置を予測する。
ステレオカメラ110が第1表示部101の下に設置された本実施の形態の診断支援装置2300や、ステレオカメラ110が第1表示部101の上に設置されたような診断支援装置では、被験者を、被験者の角膜の下側か上側から撮影するので、注視点を検出する際に、上側の歪と下側の歪が異なり、測定の歪みも上下で異なるが、左右は対称となることが多い。このため、本実施の形態の注視点予測部2341は、注視点の位置補正のためのターゲットポイントの目印に対応する補正用注視点を検出することができなかった場合、この被験者の目の特性を利用して、検出できかった補正用注視点の位置を予測している。
図24は、全ての目印に対応する補正用注視点が検出された場合における補正用注視点データSPm0〜SPm4の位置を示す図である。図24に示すように、補正用注視点SPm1〜SPm4は、中心目印SP0に対応する補正用注視点SPm0を通る垂線に対して左右対称となっている。補正用注視点SPm1〜SPm4は、補正用注視点SPm0を通る水平線に対して上下対称となっている。
一方、中心目印SP0については、最初に出現させることが多く、第1表示部101の中央位置ということもあって、被験者に見逃される場合は少なく、中心目印SP0に対応する補正用注視点SPm0の検出の失敗も非常に少ない。
このため、本実施の形態の注視点予測部2341は、補正用注視点を検出することができなかった場合、検出された補正用注視点の位置と、中心目印SP0に対応した補正用注視点SPm0を通る垂線または水平線に対して線対称な位置を目の特性に基づく位置として求め、この位置を検出されなかった補正用注視点の位置として予測する。
図23に戻り、領域分割部2343は、補正用に表示されたターゲットポイントの目印に対して検出された補正用注視点の位置、および注視点予測部2341によって予測された補正用注視点の位置それぞれに基づいて、第1表示部101の画面を複数の部分領域(第1部分領域)に分割する。
以下、注視点予測部2341による補正用注視点の位置の予測の詳細について具体例をあげて説明する。以降、中心目印に対応する補正用注視点SPm0を通る水平線をX軸、補正用注視点SPm0を通る垂線をY軸とする。
図25は、補正用注視点SPm1を検出できなかった場合の予測の例を示す図である。図25では、中心目印に対応する補正用注視点SPm0については、XY座標系の原点への変位は完了しているものとする。
まず、注視点予測部2341は、Y軸に対する対称性を優先するため、Y座標値はそのままとする。そして、注視点予測部2341は、検出できた補正用注視点SPm2のデータから、補正用注視点SPm0を通るY軸に対して線対称となる位置にX座標値を定める。そして、注視点予測部2341は、当該位置のX,Y座標を、検出できなかった補正用注視点SPm1の位置として予測する。
図26は、補正用注視点SPm4を検出できなかった場合の予測の例を示す図である。注視点予測部2341は、図25の例と同様に、検出できた補正用注視点SPm3のデータから、Y軸に対して線対称な位置を、検出できなかった補正用注視点SPm4の位置として予測する。
図27は、補正用注視点SPm2、SPm4の2つを検出できなかった場合の予測の例を示す図である。この場合には、注視点予測部2341は、図25の例と同様に、検出できた補正用注視点SPm1のデータとY軸に対して線対称な位置を、補正用注視点SPm2の位置として予測し、検出できた補正用注視点SPm3のデータとY軸に対して線対称な位置を、検出できなかった補正用注視点SPm4の位置として予測する。
図28に、補正用注視点SPm1、SPm2の2つを検出できなかった場合の予測の例を示す図である。この例では、左右対称を利用して得られるデータがないので、注視点予測部2341は、上下対称から補正用注視点SPm1,SPm2の位置を予測する。すなわち、注視点予測部2341は、検出できた補正用注視点SPm4のデータとX軸に対して線対称な位置を、検出できなかった補正用注視点SPm1の位置として予測し、検出できた補正用注視点SPm3のデータとX軸に対して線対称な位置を、検出できなかった補正用注視点SPm2の位置として予測する。
図29に、補正用注視点SPm1、SPm2、SPm3の3つを検出できなかった場合の予測の例を示す図である。注視点予測部2341は、まず、左右対称性を用い、検出できた補正用注視点SPm4のデータとY軸に対して線対称な位置を、検出できなかった補正用注視点SPm3の位置として予測する。これにより図28の例と同様の状態となる。このため、注視点予測部2341は、上下対称性を用い、検出できた補正用注視点SPm4のデータとX軸に対して線対称な位置を、検出できなかった補正用注視点SPm1の位置として予測し、先に予測した補正用注視点SPm3のデータとX軸に対して線対称な位置を、検出できなかった補正用注視点SPm2の位置として予測する。
上記の各例において、注視点予測部2341は、補正用注視点の位置を予測したら、補正用注視点のデータを生成する。
このように、中心目印の補正用注視点SPm0とその他の1点の目印に対する補正用注視点の検出が完了していれば、おおよその注視点位置による補正を行うことができる。特に、発達障害の診断支援装置などでは、分析用の注視対象物は比較的大きいので、この補正でも大部分が問題なく測定が可能となる。
次に、以上のように構成された本実施の形態における補正用注視点検出処理および補正用注視点予測処理について説明する。なお、本実施の形態の第1診断処理については図15を用いて説明した実施の形態1と同様である。図30は、実施の形態2の補正用注視点検出処理の詳細を示すフローチャートである。図30は、図15に示した第1診断処理におけるステップS102の補正用注視点検出処理として実行される。
補正用注視点検出処理においては、まず、注視点検出部142は、全ての作成フラグをクリアして0にする(ステップS3012)。ここで、作成フラグは、各目印に対して補正用注視点が検出され、あるいは予測されて、補正用注視点データが作成されたか否かを示すフラグであり、作成フラグが「0」のときには、まだ補正用注視点データが作成されておらず、作成フラグが「1」のときには、補正用注視点データが作成されていることを示す。
作成フラグは各目印、すなわち、各補正用注視点SPm0〜SPm4のそれぞれに対応して存在する。言い換えれば、注視点検出部142は、補正用注視点SPm0〜SPm4を検出して、補正用注視点SPm0〜SPm4のデータを生成したら、生成した補正用注視点SPm0〜SPm4に対する作成フラグを「1」に設定する。注視点予測部2341は、補正用注視点SPm1〜SPm4の位置を予測して、補正用注視点SPm1〜SPm4のデータを生成したら、生成した補正用注視点SPm0〜SPm4に対する作成フラグを「1」に設定する。
次に、表示制御部141は、ターゲットポイントを示す中心目印SP0を所定位置(原点位置)に表示する(ステップS110)。次に、注視点検出部142は、中心目印SP0に対して得られた補正用注視点の位置を検出する(ステップS111)。注視点検出部142は、所定数の補正用注視点を検出し、これらのデータ分布を計算する(ステップS112)。なお、データ分布の計算処理については実施の形態1と同様に行われる。
ステップS112におけるデータ分布計算処理においては、注視点検出部142は、基準領域内に属する補正用注視点の数を計測する。そして、注視点検出部142は、基準領域内に属する補正用注視点の数が予め設定された閾値以上である場合に、検出された補正用注視点が適正であると判断し(ステップS3013,Yes)、検出された複数の補正用注視点のうち、基準領域に属さない補正用注視点を除いた基準領域内データ群を特定する(ステップS114)。
なお、ステップS3013において、補正用注視点が適正でないと判断した場合には(ステップS3013,No)、ステップS3015に移行する。すなわち、補正用注視点が適正でない場合には、注視点検出部142による補正用注視点の再検出は行われない。
次に、注視点検出部142は、実施の形態1と同様に、基準領域内データ群の各補正用注視点の座標に基づいて、基準領域内データ群の代表値を算出する(ステップS115)。そして、注視点検出部142は、作成対象となった補正用注視点の作成フラグを「1」に設定する(ステップS3014)。
次に、次のターゲットポイントの目印が存在するか否かを判断し(ステップS3015)、次の目印が存在する場合には(ステップS3015,Yes)、表示制御部141は、次のターゲットポイントを示す目印を表示する(ステップS117)。そして、ステップS111に戻り、表示中の目印に対する代表値を算出する(ステップS111〜115)。
ステップS3015において、次の目印がないと判断されると(ステップS3015,No)、注視点検出部142は、検出されなかった補正用注視点が存在するか否かを調べる(ステップS3016)。そして、検出されなかった補正用注視点が存在しない場合には(ステップS3016,No)、処理を終了する。
一方、検出されなかった補正用注視点が存在する場合には(ステップS3016,Yes)、注視点予測部2341は、補正用注視点の予測処理を実行する(ステップS3017)。
図31は、実施の形態2の補正用注視点予測処理の手順を示すフローチャートである。まず、注視点予測部2341は、中心目印に対応する補正用注視点SPm0のデータと、その他1点の補正用注視点のデータが存在するか否かを判断する(ステップS3103)。ここで、これ以降、補正用注視点SPmXのデータのことを、単に、「SPmX補正用注視点データ」と呼ぶ。
そして、SPm0補正用注視点データとその他1点の補正用注視点のデータのいずれかが存在しない場合には(ステップS3103:No)、図30のステップS111へ戻り、補正用注視点の検出を再度行う。
一方、SPm0補正用注視点データとその他1点の補正用注視点のデータが存在する場合には(ステップS3103:Yes)、注視点予測部2341は、補正用注視点SPm1が検出されてSPm1補正用注視点データが存在するか(作成されているか)あるいはSPm1の作成フラグが1であるか否かを判断する(ステップS3104)。
そして、SPm1補正用注視点データが存在するかあるいはSPm1の作成フラグが1である場合には(ステップS3104:Yes)、このSPm1補正用注視点データを用いることとし、注視点予測部2341は、SPm1の作成フラグを1に設定する(ステップS3105)。
一方、ステップS3104において、SPm1補正用注視点データが存在せず、かつSPm1の作成フラグが0である場合には(ステップS3104:No)、注視点予測部2341は、SPm1補正用注視点データに対する左右対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm1補正用注視点データに対して左右対称な補正用注視点SPm2が検出されてSPm2補正用注視点データが存在するか(作成されているか)あるいはSPm2の作成フラグが1であるか否かを判断する(ステップS3106)。
そして、SPm2補正用注視点データが存在するかあるいはSPm2の作成フラグが1である場合には(ステップS3106:Yes)、注視点予測部2341は、このSPm2補正用注視点データを用い、SPm2補正用注視点データとY軸に対して線対称な位置を、SPm1補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、Y座標はSPm2補正用注視点データと同じで、X座標をSPm2補正用注視点データのX座標とY軸に対して線対称な座標として、SPm1補正用注視点データを生成する(ステップS3107)。そして、注視点予測部2341は、SPm1の作成フラグを1に設定する(ステップS3108)。
一方、ステップS3106において、SPm2補正用注視点データが存在せず、かつSPm2の作成フラグが0である場合には(ステップS3106:No)、注視点予測部2341は、SPm1補正用注視点データに対する上下対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm1補正用注視点データに対して上下対称な補正用注視点SPm4が検出されてSPm4補正用注視点データが存在するか(作成されているか)あるいはSPm4の作成フラグが1であるか否かを判断する(ステップS3109)。
そして、SPm4補正用注視点データが存在するかあるいはSPm4の作成フラグが1である場合には(ステップS3109:Yes)、注視点予測部2341は、このSPm4補正用注視点データを用い、SPm4補正用注視点データとX軸に対して線対称な位置を、SPm1補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、X座標はSPm4補正用注視点データと同じで、Y座標をSPm4補正用注視点データのY座標とX軸に対して線対称な座標として、SPm1補正用注視点データを生成する(ステップS3110)。そして、注視点予測部2341は、SPm1の作成フラグを1に設定する(ステップS3111)。そして、次のステップS3112へ移行する。
また、ステップS3109において、SPm4補正用注視点データが存在せず、かつSPm4の作成フラグが0である場合にも(ステップS3109:No)、ステップS3112へ移行する。
ステップS3112以降の処理では、上記と同様に、SPm2補正用注視点データ、SPm3補正用注視点データ、SPm4補正用注視点データについても、処理を行っていく。
すなわち、注視点予測部2341は、補正用注視点SPm2が検出されてSPm2補正用注視点データが存在するか(作成されているか)あるいはSPm2の作成フラグが1であるか否かを判断する(ステップS3112)。
そして、SPm2補正用注視点データが存在するかあるいはSPm2の作成フラグが1である場合には(ステップS3112:Yes)、このSPm2補正用注視点データを用いることとし、注視点予測部2341は、SPm2の作成フラグを1に設定する(ステップS3113)。
一方、ステップS3112において、SPm2補正用注視点データが存在せず、かつSPm2の作成フラグが0である場合には(ステップS3112:No)、注視点予測部2341は、SPm2補正用注視点データに対する左右対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm2補正用注視点データに対して左右対称な補正用注視点SPm1が検出されてSPm1補正用注視点データが存在するか(作成されているか)あるいはSPm1の作成フラグが1であるか否かを判断する(ステップS3114)。
そして、SPm1補正用注視点データが存在するかあるいはSPm1の作成フラグが1である場合には(ステップS3114:Yes)、注視点予測部2341は、このSPm1補正用注視点データを用い、SPm1補正用注視点データとY軸に対して線対称な位置を、SPm2補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、Y座標はSPm1補正用注視点データと同じで、X座標をSPm1補正用注視点データのX座標とY軸に対して線対称な座標として、SPm2補正用注視点データを生成する(ステップS3115)。そして、注視点予測部2341は、SPm2の作成フラグを1に設定する(ステップS3116)。
一方、ステップS3114において、SPm1補正用注視点データが存在せず、かつSPm1の作成フラグが0である場合には(ステップS3114:No)、注視点予測部2341は、SPm2補正用注視点データに対する上下対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm2補正用注視点データに対して上下対称な補正用注視点SPm3が検出されてSPm3補正用注視点データが存在するか(作成されているか)あるいはSPm3の作成フラグが1であるか否かを判断する(ステップS3117)。
そして、SPm3補正用注視点データが存在するかあるいはSPm3の作成フラグが1である場合には(ステップS3117:Yes)、注視点予測部2341は、このSPm3補正用注視点データを用い、SPm3補正用注視点データとX軸に対して線対称な位置を、SPm2補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、X座標はSPm3補正用注視点データと同じで、Y座標をSPm3補正用注視点データのY座標とX軸に対して線対称な座標として、SPm2補正用注視点データを生成する(ステップS3118)。そして、注視点予測部2341は、SPm2の作成フラグを1に設定する(ステップS3119)。そして、次のステップS3120へ移行する。
また、ステップS3117において、SPm3補正用注視点データが存在せず、かつSPm3の作成フラグが0である場合にも(ステップS3117:No)、ステップS3120へ移行する。
次に、ステップS3120では、注視点予測部2341は、補正用注視点SPm3が検出されてSPm3補正用注視点データが存在するか(作成されているか)あるいはSPm3の作成フラグが1であるか否かを判断する(ステップS3120)。
そして、SPm3補正用注視点データが存在するかあるいはSPm3の作成フラグが1である場合には(ステップS3120:Yes)、このSPm3補正用注視点データを用いることとし、注視点予測部2341は、SPm3の作成フラグを1に設定する(ステップS3121)。
一方、ステップS3120において、SPm3補正用注視点データが存在せず、かつSPm3の作成フラグが0である場合には(ステップS3120:No)、注視点予測部2341は、SPm3補正用注視点データに対する左右対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm3補正用注視点データに対して左右対称な補正用注視点SPm4が検出されてSPm4補正用注視点データが存在するか(作成されているか)あるいはSPm4の作成フラグが1であるか否かを判断する(ステップS3122)。
そして、SPm4補正用注視点データが存在するかあるいはSPm4の作成フラグが1である場合には(ステップS3122:Yes)、注視点予測部2341は、このSPm4補正用注視点データを用い、SPm4補正用注視点データとY軸に対して線対称な位置を、SPm3補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、Y座標はSPm4補正用注視点データと同じで、X座標をSPm4補正用注視点データのX座標とY軸に対して線対称な座標として、SPm3補正用注視点データを生成する(ステップS3123)。そして、注視点予測部2341は、SPm3の作成フラグを1に設定する(ステップS3124)。
一方、ステップS3122において、SPm4補正用注視点データが存在せず、かつSPm4の作成フラグが0である場合には(ステップS3122:No)、注視点予測部2341は、SPm3補正用注視点データに対する上下対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm3補正用注視点データに対して上下対称な補正用注視点SPm2が検出されてSPm2補正用注視点データが存在するか(作成されているか)あるいはSPm2の作成フラグが1であるか否かを判断する(ステップS3125)。
そして、SPm2補正用注視点データが存在するかあるいはSPm2の作成フラグが1である場合には(ステップS3125:Yes)、注視点予測部2341は、このSPm2補正用注視点データを用い、SPm2補正用注視点データとX軸に対して線対称な位置を、SPm3補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、X座標はSPm2補正用注視点データと同じで、Y座標をSPm2補正用注視点データのY座標とX軸に対して線対称な座標として、SPm3補正用注視点データを生成する(ステップS3126)。そして、注視点予測部2341は、SPm3の作成フラグを1に設定する(ステップS3127)。そして、次のステップS3128へ移行する。
また、ステップS3125において、SPm2補正用注視点データが存在せず、かつSPm2の作成フラグが0である場合にも(ステップS3125:No)、ステップS3128へ移行する。
次に、ステップS3128では、注視点予測部2341は、補正用注視点SPm4が検出されてSPm4補正用注視点データが存在するか(作成されているか)あるいはSPm4の作成フラグが1であるか否かを判断する(ステップS3128)。
そして、SPm4補正用注視点データが存在するかあるいはSPm4の作成フラグが1である場合には(ステップS3128:Yes)、このSPm4補正用注視点データを用いることとし、注視点予測部2341は、SPm4の作成フラグを1に設定する(ステップS3129)。
一方、ステップS3128において、SPm4補正用注視点データが存在せず、かつSPm4の作成フラグが0である場合には(ステップS3128:No)、注視点予測部2341は、SPm4補正用注視点データに対する左右対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm4補正用注視点データに対して左右対称な補正用注視点SPm3が検出されてSPm3補正用注視点データが存在するか(作成されているか)あるいはSPm3の作成フラグが1であるか否かを判断する(ステップS3130)。
そして、SPm3補正用注視点データが存在するかあるいはSPm3の作成フラグが1である場合には(ステップS3130:Yes)、注視点予測部2341は、このSPm3補正用注視点データを用い、SPm3補正用注視点データとY軸に対して線対称な位置を、SPm4補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、Y座標はSPm3補正用注視点データと同じで、X座標をSPm3補正用注視点データのX座標とY軸に対して線対称な座標として、SPm4補正用注視点データを生成する(ステップS3131)。そして、注視点予測部2341は、SPm4の作成フラグを1に設定する(ステップS3132)。
一方、ステップS3130において、SPm3補正用注視点データが存在せず、かつSPm3の作成フラグが0である場合には(ステップS3130:No)、注視点予測部2341は、SPm4補正用注視点データに対する上下対称性のデータの有無を判断する。すなわち、注視点予測部2341は、SPm4補正用注視点データに対して上下対称な補正用注視点SPm1が検出されてSPm1補正用注視点データが存在するか(作成されているか)あるいはSPm1の作成フラグが1であるか否かを判断する(ステップS3133)。
そして、SPm1補正用注視点データが存在するかあるいはSPm1の作成フラグが1である場合には(ステップS3133:Yes)、注視点予測部2341は、このSPm1補正用注視点データを用い、SPm1補正用注視点データとX軸に対して線対称な位置を、SPm4補正用注視点データの位置として予測する。すなわち、注視点予測部2341は、X座標はSPm1補正用注視点データと同じで、Y座標をSPm1補正用注視点データのY座標とX軸に対して線対称な座標として、SPm4補正用注視点データを生成する(ステップS3134)。そして、注視点予測部2341は、SPm4の作成フラグを1に設定する(ステップS3135)。そして、次のステップS3136へ移行する。
また、ステップS3133において、SPm1補正用注視点データが存在せず、かつSPm1の作成フラグが0である場合にも(ステップS3133:No)、ステップS3136へ移行する。
ステップS3136では、注視点予測部2341は、全ての補正用注視点の作成フラグが1であるか否か、すなわち、すべての目印に対する補正用注視点データが得られたか否かを判断する(ステップS3136)。そして、すべての目印に対する補正用注視点データが得られていない場合には(ステップS3136:No)、ステップS3104からS3135までの処理を繰り返し実行する。図29のような生成された補正用注視点データから新たに生成する場合も、上記処理により順次作成され、全ての補正用注視点データが得られたら(ステップS3136:Yes)、処理を終了する。
このように本実施の形態では、補正用注視点を検出することができなかった場合には、目の特性等を利用して、検出できた補正用注視点データから、検出できなかった補正用注視点の位置を予測して、予測した補正用注視点の位置を注視点位置の補正に用いているので、全ての目印に対応する補正用注視点を検出することができない場合でも、再度の検出を行わずに、良好な注視点位置補正を実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。