JP4452833B2 - 視線移動検出方法及び視線移動検出装置 - Google Patents
視線移動検出方法及び視線移動検出装置 Download PDFInfo
- Publication number
- JP4452833B2 JP4452833B2 JP2006100344A JP2006100344A JP4452833B2 JP 4452833 B2 JP4452833 B2 JP 4452833B2 JP 2006100344 A JP2006100344 A JP 2006100344A JP 2006100344 A JP2006100344 A JP 2006100344A JP 4452833 B2 JP4452833 B2 JP 4452833B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- nostril
- subject
- frames
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、対象者の視線移動を検出する視線移動検出方法及び視線移動検出装置に関するものである。
近年、自動車等において運転者の運転状況のモニターや、パーソナルコンピュータの視線による操作を目的として、人間の視線方向を検出する技術が開発されている。例えば、対象者の瞳孔の位置を測定する第1のカメラと、瞳孔の中心と角膜反射点間の距離及び角度を取得する第2のカメラとを用いて、対象者の視線方向を演算する技術が開示されている(下記特許文献1参照)。この技術は、対象者の瞳孔移動が検出された場合に眼球が回転したのか頭部自体が動いたのかを区別するために、瞳孔中心と角膜反射中心の相対的位置関係から視線方向を判定するものである。これは、対象者がカメラの光軸方向を見ている時には瞳孔中心と角膜反射中心の位置がほぼ一致し、対象者が眼を回転させるとその回転角に応じて瞳孔中心と角膜反射中心との間の距離が長くなるという知見に基づいている。
一方、視線によりパーソナルコンピュータの画面上のカーソルを移動させるポインティング方法に関する技術も知られている(下記非特許文献1及び下記特許文献2〜4参照)。これらの技術はカメラによって撮像された顔画像から瞳孔を検出するものである。また、一台のカメラで対象者の瞳孔中心及び角膜反射中心の位置を得て視線ベクトルを求める装置(下記特許文献5参照)、及び2台のカメラを用いて瞳孔と鼻孔を検出することにより頭部の方向を検出する方法(下記特許文献6及び下記非特許文献2参照)も開示されている。
特開2005−185431号公報
特開2005−182247号公報
特開2005−352580号公報
特開2005−348832号公報
特開2005−230049号公報
特開2005−266868号公報
Y. Ebisawa, D. Ishima, S. Inoue, Y. Murayama, "PupilMouse: Cursor Controlby Head Rotation Using Pupil Detection Technique",(米国), Proceedings of InternationalConference on Computing, Communications and Control Technologies: CCCT’04, August 14-17, 2004-Austin, Texas, USA, pp. 209-214
Y.Ebisawa, Y.Nurikabe,"Face Pose EstimationBased on 3D Detection of Pupils and Nostrils",2005 IEEE INTERNATIONAL CONFERENCE ONVIRTUAL ENVIRONMENTS, HUMAN-COMPUTER INTERFACES, AND MEASUREMENT SYSTEMS, 2005, pp.92-97
しかしながら、上述したように、角膜反射の中心及び瞳孔中心の位置を検出することによって視線方向を検出する場合には、検出精度を上げるために使用するカメラの解像度を比較的高くする必要があり、カメラの撮像範囲が小さくなりがちである。従って、頭が大きく動きがちな運転者をモニターする場合等において、顔全体を広い範囲で撮影する必要がある場合であっても、検出精度を確保するためには検出範囲が比較的狭い範囲に限定されてしまう。さらに、この場合に、カメラと瞳孔とを結ぶ線と視線との許容角度は、水平方向で±30〜±40度程度と比較的狭い。これは、撮影角度が大きくなると角膜反射が角膜の領域からはみ出して白目が光るようになるため、事実上角膜反射の検出が不可能となるからである。従って、対象者の視線の移動をモニターする場合で、視線方向を高い精度で検出する必要が無いときは、角膜反射を検出する意義が小さい。同様に、2台のカメラを用いて対象者の顔の特徴点の位置を検出する場合も、検出範囲が狭くなる傾向がある。
これに対して、対象者の瞳孔等の目の位置をモニターして対象者の視線移動を判定することも考えられるが、頭部自体の動きが加わった場合に瞳孔位置をモニターしただけでは、その動きが視線の動きによるものか、頭部の動きによるものかを安定して判別することが困難である。
そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者の視線移動を広い範囲で安定して検出することが可能な視線移動検出方法及び視線移動検出装置を提供することを目的とする。
上記課題を解決するため、本発明の視線移動検出方法は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出方法であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する判定ステップとを備える。
或いは、本発明の視線移動検出装置は、対象者の顔画像を撮像して該顔画像に基づいて対象者の視線移動の有無を検出する視線移動検出装置であって、対象者の顔画像を複数のフレーム分撮像して、複数のフレームのそれぞれを対象に対象者の瞳孔位置及び鼻孔位置を検出する手段と、複数のフレームを対象にして検出された瞳孔位置と鼻孔位置とに基づいて、複数のフレーム中の前後のフレーム間における対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、当該算出した変化量と所定の閾値とを用いて視線移動の有無を判定する手段とを備える。
このような視線移動検出方法及び視線移動検出装置によれば、対象者の顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔位置と鼻孔位置とを検出し、前後のフレーム間の鼻孔に対する瞳孔の相対的位置の変化を算出し、その変化の大小をもって視線移動の有無を判定するので、1台の撮像手段を使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
算出ステップでは、前後のフレーム間の瞳孔位置の変化量及び鼻孔位置の変化量を求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量を算出することが好ましい。この場合、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
また、算出ステップでは、複数のフレームにわたって相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、判定ステップでは、相対的位置の変化量を移動平均値を基準にして設定した閾値と比較することによって、視線移動の有無を判定することも好ましい。こうすれば、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
本発明による視線移動検出方法及び視線移動検出装置によれば、対象者の視線移動を広い範囲で安定して検出することができる。
以下、図面を参照しつつ本発明に係る視線移動検出方法及び視線移動検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
本発明の視線移動検出方法及び視線移動検出装置は、観察対象者の目の方向(視線方向)が変わったかどうかを検出するためのものである。ここでいう視線方向とは、顔の方向を基準にした目の動きのことである。本発明は、例えば、大型トラック等の自動車に代表される乗り物内において、運転者や操縦者が運転中に覚醒状態にあるか否かを判断するために利用される。具体的には、運転者が正常に運転しているときは周囲に注意を払うため視線は頻繁に変化するが、眠気を催しているときには運転者の視線の動きが止まる傾向にあるので、視線移動の頻度に基づいて運転者の覚醒状態を判定することができる。
まず、本発明にかかる視線移動検出装置1の構成について、図1を参照しながら説明する。図1は、視線移動検出装置1と対象者Aとの位置関係を示す平面図である。同図に示すように、視線移動検出装置1は、対象者Aの顔画像を撮像する1台のカメラ2と、カメラ2の前面2aの撮像レンズの光軸L1の近傍に設けられた光源3aと、カメラ2の前面2aの光軸L1から離れた位置に設けられた光源3bと、カメラ2に接続されてカメラ2において生成された画像データを処理する画像処理端末4とを備えている。この視線移動検出装置1は、本発明にかかる視線移動検出方法を実施する。
カメラ2は、対象者Aの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、CCD、CMOS等の撮像素子を内蔵するデジタルカメラを用いる。また、カメラ2は、対象者Aの顔画像を動画像として連続して撮像することが可能とされ、その動画像を構成する複数のフレーム画像をリアルタイムで画像処理端末4に出力する。
光源3aは、カメラ2の光軸L1に沿って、光軸L1上に位置する対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源3bは、光軸L1からの距離が光源3aよりも離れた位置に固定され、光軸L1に沿って対象者Aをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源3a,3bから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分(例えば、中心波長が850nmと950nm)を有する光であり、かつ、光源3bは光軸L1からの距離が光源3aと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
なお、カメラ2及び光源3a,3bは、対象者Aが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Aの瞳孔及び鼻孔を検出し易くする目的で、対象者Aの顔の高さよりも低い位置(例えば、光軸L1の水平面に対する傾斜角20度〜30度)に設けられることが好ましい。この設置位置としては、車両内に設置される場合は運転席側のダッシュボードの下等、トラック等の座席位置が高い場合はダッシュボードの上等が考えられる。
画像処理端末4は、カメラ2から出力された複数のフレーム画像からなる顔画像に画像処理を施す情報処理端末であり、CPU等の演算処理装置、ROM、RAM等の記憶装置を内蔵するコンピュータ端末である。画像処理端末4は、対象者Aの視線移動の有無を検出する視線移動検出処理を実行するとともに、カメラ2による対象者Aの撮像を制御する。
次に、上述した各処理について説明する前に、対象者の眼球運動(眼球の回転運動)の種類について説明する。一般に、広視野のビデオカメラで顔を撮影した場合に検出可能な眼球運動としては、(1)サッカード(saccade, 跳躍性眼球運動)、(2)滑動性眼球運動(smooth pursuit movement, 随従運動)、(3)前庭性眼球運動(vestibular reflex)、(4)輻輳開散眼球運動(vergence eye movement) が存在する。
サッカードは、静止した物体に対して、見たい対象を変えたいときに生じる高速のいわばステップ状の運動である。運転中であれば、前方の車を見ている間に標識が視野の周辺に見えたときに、その詳細を見るために標識を見ようとするときなどに生じる。また、滑動性眼球運動は、運動物体を見続けようとするときに生じる。この場合の眼球回転速度は、サッカードに比較して小さい。また、前庭性眼球運動は、基本的に一点を見つめているときに頭部が回転すると、頭部の回転に対してちょうど反対方向に同じ回転速度で眼球が回転し、目の網膜に投影される像がぶれないようにするための運動である。この運動は、頭部が左右に上下に平行移動した場合にも、同様に網膜像がぶれないような方向に生じる。この眼球運動もサッカードに比較して眼球回転速度は小さい。さらに、輻輳開散眼球運動は、近くのものを見るときに両目が寄り(両眼球が内向きに回転する)、遠くのものを見るときに両目が離れる方向に回転する(両眼球が外向きに回転する)。従って、この運動は、両眼が互いに反対方向に回転する運動である。この眼球運動も、ゆっくりとした動きであり、サッカードより速度が小さい。
以上の4種類の運動は、車両の運転中に重畳して生じ、サッカード以外のそれぞれの眼球運動の中に、サッカードが度々混在する。この際、サッカード以外の比較的滑らかな運動に高速な運動であるサッカードが割り込んで生ずるため、サッカードは他の運動に比較して検出が容易である。ここで、特筆すべき点は、サッカード以外の運動は、運転中でも通常はゆっくりとした運動であるが、サッカードは、比較的高速であり、視線を動かしたときは瞳孔の瞬間的な動きとして際だって現れる点である。このサッカードは、10度程度の回転でも約40msec程度で完了するため、通常の30フレーム/秒のカメラでも2フレーム以内に収まる。従って、他の眼球運動が混在していても、回転角度がある程度以上(例えば、10度以上)であれば十分にサッカードを他の運動から判別することができ、サッカードの発生の有無は容易に判断できる。なお、ある方向から別の方向へ視線を動かすときに頭部の回転を伴う場合もあるが、このような場合であっても頭部の回転速度よりも眼球の回転速度のほうが高速であるため、サッカードは明確に現れる。
上述したサッカードは、運転者が注意を向ける対象を移すときに生じることから、明らかに運転者が覚醒しているときに生じると考えられる。サッカード以外の眼球運動も覚醒状態でなければ生じないが、この場合もサッカードが混在して生じる確率が高い。例えて言えば、運転者が運転中に、前方や、バックミラー、ルームミラー、メーター等を見るときには、サッカードは必ず生じる。逆に、運転中にサッカードが生じないということは、少なくとも覚醒状態が低下していると判断してよい。
そこで、画像処理端末4は、以下のようにして、対象者Aの鼻孔に対する瞳孔の相対的位置の変化量(視線移動量)を算出した後、視線移動の有無を判定して運転者の覚醒状態を判断する。
まず、画像処理端末4は、カメラ2を制御して対象者Aの顔画像を連続して撮像して、その結果生成された複数フレームからなる動画像を受けて、その複数フレームのそれぞれを対象に対象者Aの左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出する。図2は、画像処理装置4による対象者Aの検出状態を示す概念図である。
(瞳孔中心の検出)
画像処理端末4は、複数フレームからなる顔画像の撮像時には、光源3a,3bを交互に点灯させて、それぞれの点灯に同期したフレームを生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。ここで、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離してもよい。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
画像処理端末4は、複数フレームからなる顔画像の撮像時には、光源3a,3bを交互に点灯させて、それぞれの点灯に同期したフレームを生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源3aの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源3bの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの2種類の画像は、2つの光源3a,3bからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。ここで、フィールド走査を採用するカメラの場合は、光源3a,3bをカメラ2のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離してもよい。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施されたフレーム画像を用いて、そのフレーム画像を2値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開2005−348832号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
(鼻孔中心の検出)
画像処理端末4は、左右の鼻孔中心の2次元座標を、上記の明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、フレーム画像の大ウィンドウ内を対象にP−tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとのフレーム画像の小ウィンドウ内を対象に、P−tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
画像処理端末4は、左右の鼻孔中心の2次元座標を、上記の明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Aが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、フレーム画像の大ウィンドウ内を対象にP−tile法により輝度が低いほうから0.8%の画素を検出し、HIGH画素及びLOW画素からなる2値化画像に変換する。その後、検出された2値化画像の膨張処理及び収縮処理(モルフォロジー処理)を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから2つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、2値画像中で対象画素の近傍の8画素の1つでもHIGH画素がある場合に、対象画素をHIGH画素に変換する処理であり、収縮処理とは、2値画像中で対象画素の近傍の8画素の1つでもLOW画素がある場合に、対象画素をLOW画素に変換する処理である。そして、縦横比が0.5より小さいか0.7より大きく、かつ、全体の画像サイズが640×240画素に対して面積が100画素より小さいか300画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に30×30画素の小ウィンドウを設定し、もとのフレーム画像の小ウィンドウ内を対象に、P−tile法により輝度が低いほうから5%の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が130画素以上か70画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、2つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる2つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。なお、鼻孔を検出し難くするような影などが画像に写った場合の鼻孔の誤認識の防止、及び鼻孔の素早い動きへの対応を目的として、カルマンフィルタなどの予測モデルを利用して各鼻孔位置を予測して、小ウィンドウの位置を設定してもよい。
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を(xRP,yRP)、左瞳孔中心の座標を(xLP,yLP)、右鼻孔中心の座標を(xRN,yRN)、左鼻孔中心の座標を(xLN,yLN)、予め測定しておいた左右の瞳孔中心間の距離をDP0、左右の鼻孔中心間の距離をDN0とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率IP、及び瞳孔中心間距離DPは、下記式(1)及び(2);
IP=(yRP−yLP)/(xRP−xLP) …(1)
DP={(xRP−xLP)2+(yRP−yLP)2}1/2 …(2)
と考えることができる。
IP=(yRP−yLP)/(xRP−xLP) …(1)
DP={(xRP−xLP)2+(yRP−yLP)2}1/2 …(2)
と考えることができる。
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率IN=IPとなる。また、顔画像上の鼻孔中心間距離DNは、左右の瞳孔中心間の距離DP0、左右の鼻孔中心間の距離DN0、及び瞳孔中心間距離DPから、下記式(3);
DN=(DN0/DP0)×DP …(3)
により求まる。鼻孔中心間距離DNは下記式(4);
DN={(xRN−xLN)2+(yRN−yLN)2}1/2 …(4)
と表されるので、左の鼻孔中心の座標(xLN,yLN)は、下記式(5)及び(6);
xLN=xRN−{DN 2/(1+IN 2)}1/2 …(5)
yLN=yRN−{(DN 2.IN 2)/(1+IN 2)}1/2 …(6)
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式(7)及び(8);
xRN=xLN+{DN 2/(1+IN 2)}1/2 …(7)
yRN=yLN+{(DN 2.IN 2)/(1+IN 2)}1/2 …(8)
によって求めることができる。
DN=(DN0/DP0)×DP …(3)
により求まる。鼻孔中心間距離DNは下記式(4);
DN={(xRN−xLN)2+(yRN−yLN)2}1/2 …(4)
と表されるので、左の鼻孔中心の座標(xLN,yLN)は、下記式(5)及び(6);
xLN=xRN−{DN 2/(1+IN 2)}1/2 …(5)
yLN=yRN−{(DN 2.IN 2)/(1+IN 2)}1/2 …(6)
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式(7)及び(8);
xRN=xLN+{DN 2/(1+IN 2)}1/2 …(7)
yRN=yLN+{(DN 2.IN 2)/(1+IN 2)}1/2 …(8)
によって求めることができる。
(視線移動量の算出)
画像処理端末4は、各フレーム画像中の前後のフレーム画像における左右の瞳孔中心の位置及び左右の鼻孔中心の位置に基づいて、対象者Aの視線移動量を計算する。この場合、一方の鼻孔に対して他方の鼻孔が大きく動くことは現実的に考えられないため、一方の鼻孔が検出できれば十分である。仮に、両方の鼻孔が検出できたときも左右どちらかの鼻孔中心の位置を視線移動の基準となる位置として選択すればよい。また、左右の鼻孔中心の位置の中点を基準としてもよい。ただし、一方の鼻孔位置から他方の鼻孔位置又は中点の位置に基準位置が切り替わってしまうと、瞳孔の相対的位置の変化が正確に検出できなくなってしまう。そこで、以下のようにして、複数のフレーム画像中の前後フレーム画像間の鼻孔中心位置の変化量DifN及び瞳孔中心位置の変化量DifPを、時間的に連続して求める。
画像処理端末4は、各フレーム画像中の前後のフレーム画像における左右の瞳孔中心の位置及び左右の鼻孔中心の位置に基づいて、対象者Aの視線移動量を計算する。この場合、一方の鼻孔に対して他方の鼻孔が大きく動くことは現実的に考えられないため、一方の鼻孔が検出できれば十分である。仮に、両方の鼻孔が検出できたときも左右どちらかの鼻孔中心の位置を視線移動の基準となる位置として選択すればよい。また、左右の鼻孔中心の位置の中点を基準としてもよい。ただし、一方の鼻孔位置から他方の鼻孔位置又は中点の位置に基準位置が切り替わってしまうと、瞳孔の相対的位置の変化が正確に検出できなくなってしまう。そこで、以下のようにして、複数のフレーム画像中の前後フレーム画像間の鼻孔中心位置の変化量DifN及び瞳孔中心位置の変化量DifPを、時間的に連続して求める。
具体的には、左右の鼻孔が検出されているときは、左右の鼻孔中心毎の変化量を算出する。もし、(i)両鼻孔が検出され続けているときには、前後フレーム間の各鼻孔中心の変化量を計算し、それらの平均を鼻孔中心の変化量DifNとする。(ii)片方の鼻孔のみが検出され続けているときは、検出されている側の鼻孔中心のみのフレーム間変化量を鼻孔中心の変化量DifNとする。(iii)1つ前のフレームまで両鼻孔が検出されており、現フレームになって片方の鼻孔のみが検出されるようになったとき、現フレームにおいて検出された側の鼻孔中心の座標と1つ前フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量DifNとする。(iv)1つ前のフレームまで片方の鼻孔のみが検出されており、現フレームで両鼻孔が検出されるようになったとき、1つ前のフレームにおいて検出されていた鼻孔中心の座標と現フレームにおける同じ側の鼻孔中心の座標との変化量を鼻孔中心の変化量DifNとする。
一方、瞳孔中心の検出においても、片方の瞳孔が検出できなくなったり、両方の瞳孔が検出できなくなることもある。したがって、瞳孔中心の変化量DifPの算出についても鼻孔と同様のことを行う。すなわち、左右の瞳孔が検出されているときは、左右の瞳孔中心毎の変化量を算出する。(i)両瞳孔が検出され続けているときには、両瞳孔中心のそれぞれのフレーム間変化量の平均を瞳孔中心の移動量DifPとする。(ii)片方の瞳孔のみが検出され続けているときは、検出されている瞳孔中心のみのフレーム間変化量を瞳孔中心の変化量DifPとする。(iii)1つ前のフレームまで両瞳孔が検出されており、現フレームになって片方の瞳孔のみが検出されるようになったとき、現フレームにおいて検出された瞳孔中心の座標と1つ前フレームにおける同じ側の瞳孔中心の座標への変化量を瞳孔中心の変化量DifPとする。(iv)1つ前のフレームまで片方の瞳孔のみが検出されており、現フレームで両瞳孔が検出されるようになったとき、1つ前のフレームにおいて検出されていた瞳孔中心の座標と現フレームにおける同じ側の瞳孔中心の座標との変化量を瞳孔中心の変化量DifPとする。 (v)両瞳孔ともが検出されない状態が続いているときには、瞳孔中心の変化量DifPを零とすると同時に“フラグ=0”とする。(vi)1つ前のフレームで両瞳孔が検出されていなかったときに、現フレームで両方若しくは片方の瞳孔が検出できたとき、瞳孔中心の変化量DifPを零とすると同時に“フラグ=0”とする。ここで、“フラグ=0”とは、両瞳孔か片瞳孔が検出されていても瞳孔移動が無い場合と、両瞳孔とも検出されていない場合を識別するために画像処理端末4で設定するフラグであり、上記(i)〜(iv)の場合には、“フラグ=1”と設定される。
なお、瞳孔の変化量算出処理において鼻孔の場合と異なるのは、(v)と(vi)であるが、これは瞬きによって、両瞳孔とも消失する場合があるからである。従って、鼻孔の場合よりも処理が複雑になる。しかし、何らかの理由で画像処理が正しく動作しない場合に、瞳孔と同様に両鼻孔ともに検出されないことがあり得るため、鼻孔の変化量の算出の場合にも、(v)(vi)と同様の処理を併せて行うことが好ましい。
そして、画像処理端末4は、算出した複数のフレーム画像中の鼻孔中心位置の変化量DifN及び瞳孔中心位置の変化量DifPから、下記式(9);
Dif=DifP−DifN …(9)
を用いて、変化量DifNとDifPかの差分を取ることによって視線移動量Difを連続して求める。この際、該当フレームにおいて“フラグ=0”の場合は、視線移動量Difは検出できなかったと判断する。
Dif=DifP−DifN …(9)
を用いて、変化量DifNとDifPかの差分を取ることによって視線移動量Difを連続して求める。この際、該当フレームにおいて“フラグ=0”の場合は、視線移動量Difは検出できなかったと判断する。
(視線移動量の算出)
画像処理端末4は、求めた視線移動量Difを予め設定した閾値と比較することによって視線移動の有無を判定し、視線移動が無いと判定された場合はブザー鳴動手段等に警報を出力する等によって外部に通知する。
画像処理端末4は、求めた視線移動量Difを予め設定した閾値と比較することによって視線移動の有無を判定し、視線移動が無いと判定された場合はブザー鳴動手段等に警報を出力する等によって外部に通知する。
図3(a)は、対象者Aがカメラ2に対して正面を見た状態で、頭部を左右に交互に動かしたときに検出される左右の瞳孔中心の水平方向の位置XPL,XPR、左右の鼻孔中心の位置XNL,XNR、左右瞳孔位置の平均値XPA、及び左右鼻孔位置の平均値XNAの時間変化を示すグラフである。図3(b)は、このときの瞳孔と鼻孔との相対的位置DX、及び画像処理端末4が算出した視線移動量Dif(=瞳孔の鼻孔に対する相対的速度)の時間変化を示している。同図に示すように、左右の鼻孔は互いにほとんど同じ動きをし、左右の瞳孔も互いにほとんど同じ動きをするので、視線移動量Difの絶対値はそれほど大きくない。ここでは、簡単にするために、左右の鼻孔と左右の瞳孔が常に検出できているものとして示した。
一方、図4(a)は、頭部の動きに高速なサッカードの眼球運動が混在して起こっているときに検出される左右の瞳孔中心の位置XPL,XPR、左右の鼻孔中心の位置XNL,XNR、左右瞳孔位置の平均値XPA、及び左右鼻孔位置の平均値XNAの時間変化を示すグラフである。図4(b)は、このときの瞳孔の位置と鼻孔の位置との相対的位置DX、及び画像処理端末4が算出した視線移動量Difを示している。このように、サッカードが生じている時点において、視線移動量Difの絶対値が瞬間的に大きくなっていることがわかる。この場合は、正負の一定の閾値を設けることで、サッカードの生じている部分は比較的容易に検出できる。しかし、サッカードのサイズ(サッカードの開始から終了までの眼球回転角度変位)が小さいときには、サッカードが生じた時点の視線移動量Difが、頭部の運動による移動量に比べて突出して大きく検出されないため、一定の閾値では検出しにくい。また、検出する位置データに対するノイズの混入により、一定の閾値では検出しにくい傾向にある。
そこで、画像処理端末4は、次のようにして適切な可変閾値を設定して、それに基づいて視線移動の有無を検出する。
すなわち、画像処理端末4は、視線移動量Difの時間変化に対して移動平均処理を施して移動平均値DifAを算出する。その後、移動平均後の移動平均値DifAの信号波形S(t)を基準に所定の一定閾値幅Thを設定して、下記式(10)を用いて2つの閾値波形Th+(t)とTh−(t)を求める。
Th+(t)=S(t)+Th,Th−(t)=S(t)−Th …(10)
Th+(t)=S(t)+Th,Th−(t)=S(t)−Th …(10)
最後に、画像処理端末4は、移動平均前の視線移動量Difの信号波形をV(t)としたときに、下記式(11);
V(t)>Th+(t) or V(t)<Th−(t) …(11)
を満たすか否かに基づいて、視線移動の有無を判定する。また、移動平均値DifAは、視線移動量Difを示す信号が生成されてから、移動平均処理による遅延が生じた信号として出力される場合がある。このような場合は、画像処理端末4は、視線移動量Difの信号を移動平均幅の半分の時間だけ遅延させて、信号波形をV(t)として生成しても式(11)を適用してもよい。
V(t)>Th+(t) or V(t)<Th−(t) …(11)
を満たすか否かに基づいて、視線移動の有無を判定する。また、移動平均値DifAは、視線移動量Difを示す信号が生成されてから、移動平均処理による遅延が生じた信号として出力される場合がある。このような場合は、画像処理端末4は、視線移動量Difの信号を移動平均幅の半分の時間だけ遅延させて、信号波形をV(t)として生成しても式(11)を適用してもよい。
また、画像処理端末4は、視線移動量Difの信号波形にノイズが混入している場合には、視線移動量Difに1回目の移動平均処理を施し移動平均値DifAの信号波形V(t)を算出し、さらに移動平均値DifAに2回目の移動平均処理を施し移動平均値DifAAの信号波形S(t)を算出し、この信号波形V(t),S(t)を用いて式(10)及び(11)を適用して、視線移動の有無を判定することもできる。この場合、視線移動量Difに画像処理や信号処理の過程で混入したノイズレベルが大きくても、視線移動の有無を精度よく検出することができる。
図5(a)は、移動平均前後の視線移動量Difの時間変化を示すグラフ、図5(b)は、視線移動量Difと閾値Th+,Th−の時間変化を示すグラフである。この例においては、サッカードの発生を、視線移動量Difのレベルから正常に検出することができている。
以上説明した視線移動検出装置、及び視線移動検出方法によれば、対象者Aの顔画像を動画像として複数フレーム取得して、その複数フレーム内の瞳孔中心位置と鼻孔中心位置とを検出し、前後のフレーム間の鼻孔中心に対する瞳孔中心の相対的位置の変化Difを算出し、その変化の大小をもって視線移動の有無を判定するので、1台のカメラを使った顔画像であっても広い範囲で視線移動の有無を判定できるとともに、鼻孔位置を基準とした瞳孔位置をモニタすることで運転者等の頭自体が動きがちな対象者に関しても安定した視線移動の検出を実現することができる。
また、視線移動の検出の基準として鼻孔位置を検出することで、検出時に周囲に対して暗い条件が作りやすく、画像処理に多少の工夫をすることでテンプレートマッチング法を使用しなくてもよいので、より容易に視線移動を検出できる。
また、目の周囲に電極を取り付け顔の向きに対する視線の動きを計測する方法として古くから知られているEOG(眼電位図)法を採用する場合に比して、顔に付属物を装着しなくても済むため、ユーザにとって抵抗感が少なく、特に自動車などの運転手のモニターには最適である。
また、前後のフレーム間の瞳孔位置の変化量DifP及び鼻孔位置の変化量DifNを求め、瞳孔位置の変化量と鼻孔位置の変化量との差分をとることによって相対的位置の変化量Difを算出するので、対象者の動画像を参照しながら効率的に瞳孔と鼻孔の相対的位置の変化を算出でき、視線移動検出のリアルタイム性が高くなる。
また、複数のフレームにわたって相対的位置の変化量Difを連続して算出すると共に、該変化量の移動平均値DifAを導出し、相対的位置の変化量Difを移動平均値DifAを基準にして設定した閾値Th+,Th−と比較することによって、視線移動の有無を判定するので、眼球の回転角の変位の大小に応じた適切な閾値を設定することで、より精度の高い視線移動の検出が可能となる。
1…視線移動検出装置、2…カメラ、3a,3b…光源、4…画像処理端末。
Claims (4)
- 対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出方法であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する検出ステップと、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する算出ステップと、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する判定ステップと、
を備えることを特徴とする視線移動検出方法。 - 前記算出ステップでは、前記前後のフレーム間の前記瞳孔位置の変化量及び前記鼻孔位置の変化量を求め、前記瞳孔位置の変化量と前記鼻孔位置の変化量との差分をとることによって前記相対的位置の変化量を算出する、
ことを特徴とする請求項1記載の視線移動検出方法。 - 前記算出ステップでは、前記複数のフレームにわたって前記相対的位置の変化量を連続して算出すると共に、該変化量の移動平均値を導出し、
前記判定ステップでは、前記相対的位置の変化量を前記移動平均値を基準にして設定した閾値と比較することによって、前記視線移動の有無を判定する、
ことを特徴とする請求項1又は2に記載の視線移動検出方法。 - 対象者の顔画像を撮像して該顔画像に基づいて前記対象者の視線移動の有無を検出する視線移動検出装置であって、
前記対象者の顔画像を複数のフレーム分撮像して、前記複数のフレームのそれぞれを対象に前記対象者の瞳孔位置及び鼻孔位置を検出する手段と、
前記複数のフレームを対象にして検出された前記瞳孔位置と前記鼻孔位置とに基づいて、前記複数のフレーム中の前後のフレーム間における前記対象者の鼻孔に対する瞳孔の相対的位置の変化量を算出する手段と、
当該算出した変化量と所定の閾値とを用いて前記視線移動の有無を判定する手段と、
を備えることを特徴とする視線移動検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006100344A JP4452833B2 (ja) | 2006-03-31 | 2006-03-31 | 視線移動検出方法及び視線移動検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006100344A JP4452833B2 (ja) | 2006-03-31 | 2006-03-31 | 視線移動検出方法及び視線移動検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007268164A JP2007268164A (ja) | 2007-10-18 |
JP4452833B2 true JP4452833B2 (ja) | 2010-04-21 |
Family
ID=38671557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006100344A Active JP4452833B2 (ja) | 2006-03-31 | 2006-03-31 | 視線移動検出方法及び視線移動検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4452833B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5004099B2 (ja) * | 2008-07-11 | 2012-08-22 | 国立大学法人静岡大学 | カーソル移動制御方法及びカーソル移動制御装置 |
JP5483152B2 (ja) * | 2009-03-05 | 2014-05-07 | 国立大学法人 宮崎大学 | 眼電位を用いたマウスカーソル制御システム |
JP5426943B2 (ja) * | 2009-06-29 | 2014-02-26 | パナソニック株式会社 | Led用調光制御装置及びそれを用いた照明器具 |
JP5490664B2 (ja) * | 2009-11-18 | 2014-05-14 | パナソニック株式会社 | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
US8503737B2 (en) | 2010-09-27 | 2013-08-06 | Panasonic Corporation | Visual line estimating apparatus |
JP5466610B2 (ja) * | 2010-09-27 | 2014-04-09 | パナソニック株式会社 | 視線推定装置 |
WO2012068040A2 (en) * | 2010-11-15 | 2012-05-24 | Massachusetts Eye & Ear Infirmary | Detection of vestibular disorders based on vestibular noise |
US9795335B2 (en) | 2012-04-06 | 2017-10-24 | Massachusetts Eye And Ear Infirmary | Data collection for vestibulogram construction |
JP6303297B2 (ja) | 2013-06-14 | 2018-04-04 | 富士通株式会社 | 端末装置、視線検出プログラムおよび視線検出方法 |
JP6006179B2 (ja) * | 2013-06-20 | 2016-10-12 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
JP2015207163A (ja) * | 2014-04-21 | 2015-11-19 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP2016167038A (ja) * | 2015-03-10 | 2016-09-15 | ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd | 眼鏡装用パラメータ測定装置、眼鏡装用パラメータ測定プログラムおよび撮像制御方法 |
KR101763110B1 (ko) * | 2017-01-25 | 2017-07-31 | 유한회사 이엔원 이엔지 | 무대장치 제어 시스템 |
KR101794288B1 (ko) | 2017-07-24 | 2017-11-16 | 사단법인 꿈드래장애인협회 | 무대장치 제어 시스템 |
JP7311257B2 (ja) * | 2018-09-27 | 2023-07-19 | 株式会社アイシン | 眼球情報検出装置、眼球情報検出方法、および乗員モニタリング装置 |
CN113052064B (zh) * | 2021-03-23 | 2024-04-02 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224637A (ja) * | 1988-11-16 | 1990-09-06 | A T R Tsushin Syst Kenkyusho:Kk | 視線検出方法 |
JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
JPH11282617A (ja) * | 1998-03-27 | 1999-10-15 | Shimadzu Corp | 視線入力装置 |
JP4337131B2 (ja) * | 1999-06-10 | 2009-09-30 | マツダ株式会社 | 移動体制御装置 |
JP3797253B2 (ja) * | 2002-03-14 | 2006-07-12 | 日産自動車株式会社 | 視線方向検出装置 |
JP2004017889A (ja) * | 2002-06-19 | 2004-01-22 | Advics:Kk | 自動ブレーキ装置 |
JP4765008B2 (ja) * | 2004-03-16 | 2011-09-07 | 国立大学法人静岡大学 | 瞳孔と鼻孔を用いた頭部の方向を検出する方法 |
JP2006075348A (ja) * | 2004-09-09 | 2006-03-23 | Fuji Xerox Co Ltd | 相互視分析装置、相互視分析方法および相互視分析プログラム |
JP2006204855A (ja) * | 2005-01-28 | 2006-08-10 | Tokyo Institute Of Technology | 注視運動検出装置 |
-
2006
- 2006-03-31 JP JP2006100344A patent/JP4452833B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007268164A (ja) | 2007-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4452833B2 (ja) | 視線移動検出方法及び視線移動検出装置 | |
JP6577454B2 (ja) | 軸上視線追跡システム及び方法 | |
US7819525B2 (en) | Automatic direct gaze detection based on pupil symmetry | |
JP5230748B2 (ja) | 視線方向判定装置及び視線方向判定方法 | |
JP5694161B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6346525B2 (ja) | 視線検出装置 | |
WO2018000020A1 (en) | Systems and methods for performing eye gaze tracking | |
JP6583734B2 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
JP6535223B2 (ja) | 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム | |
CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
US11455810B2 (en) | Driver attention state estimation | |
JP4770218B2 (ja) | 視認行動判定装置 | |
JP2007026073A (ja) | 顔姿勢検出システム | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
JP5429885B2 (ja) | 特徴点追跡方法及び特徴点追跡装置 | |
JP6957048B2 (ja) | 眼部画像処理装置 | |
JP2020162873A (ja) | 脈波検出装置、及び脈波検出プログラム | |
JP4552636B2 (ja) | ドライバモニタシステムおよびその処理方法 | |
JP2016028669A (ja) | 瞳孔検出装置、および瞳孔検出方法 | |
Hoshino et al. | High-accuracy measurement of rotational eye movement by tracking of blood vessel images | |
JP5004099B2 (ja) | カーソル移動制御方法及びカーソル移動制御装置 | |
JP2017102731A (ja) | 視線検出装置及び視線検出方法 | |
JP2020140637A (ja) | 瞳孔検出装置 | |
Ohtani et al. | Eye-gaze detection based on the pupil detection technique using two light sources and the image difference method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |