本発明に係る視線測定装置について、図面を参照しながら説明する。ここでは、大きく分けて3つの実施形態について説明する。そこで、以下の説明では、それぞれの実施形態ごとに構成と動作の説明を行うこととする。なお、以下の説明では、各実施形態について、同一の構成については同一の名称及び符号を付し、詳細説明を適宜省略する。
<視線測定装置>
[第1実施形態]
以下、本発明の第1実施形態に係る視線測定装置1について、図1〜図9を参照しながら詳細に説明する。視線測定装置1は、表示装置の画面を視認するユーザが当該画面のどこ(どの座標)を見ているのかを測定するものである。視線測定装置1は、図1に示すように、表示装置D、複数の撮影装置(カメラ)C1〜C4および発光装置Rとともに用いられ、これらの装置と一つのシステムを構成する。以下、視線測定装置1の説明を行なう前に、システムを構成するその他の要素について簡単に説明する。
表示装置Dは、ユーザUに対して映像を表示するものである。表示装置Dは、例えば液晶モニタ等で構成され、図1に示すように、画面がユーザUと正対するように配置される。なお、表示装置DとユーザUとの間隔は、撮影装置C1〜C4の設置角度、あるいは発光装置Rの設置場所に応じて適宜調整される。
撮影装置C1〜C4は、ユーザUの眼球周辺画像を複数の位置および角度から撮影するものである。撮影装置C1〜C4は、例えば近赤外領域の感度を有する高解像度カメラ等で構成され、図1に示すように、表示装置Dの4隅に配置されるとともに、それぞれがユーザUの眼球周辺に向けて所定角度で配置される。この撮影装置C1〜C4によって撮影されたユーザUの複数(この例では4つ)の眼球周辺画像は、図1に示すように、それぞれ視線測定装置1に出力される。
例えば、図1の破線矢印で示すように、ユーザUが表示装置Dの画面の中心付近を注視している場合、撮影装置C1〜C4によって撮影されるユーザUの眼球の画像は、図2(a)に示すようなものとなる。図2(a)に示すように、撮影装置C1によって撮影された画像は、瞳孔と角膜反射像(プルキニエ像)が左下に位置し、撮影装置C2によって撮影された画像は、瞳孔と角膜反射像が右下に位置し、撮影装置C3によって撮影された画像は、瞳孔と角膜反射像が左上に位置し、撮影装置C4によって撮影された画像は、瞳孔と角膜反射像が右上に位置するものとなる。なお、角膜反射像(プルキニエ像)とは、図2(a)に示すように、眼球の角膜表面で反射した光として画像上に表れる像のことを意味している。
一方、例えば、図1の一点鎖線矢印で示すように、ユーザUが表示装置Dの画面の右端付近を注視している場合、撮影装置C1〜C4によって撮影されるユーザUの眼球の画像は、図2(b)に示すようなものとなる。図2(b)に示すように、撮影装置C1によって撮影された画像は、瞳孔が左下に位置し、撮影装置C2によって撮影された画像は、瞳孔と角膜反射像が下に位置し、撮影装置C3によって撮影された画像は、瞳孔が左上に位置し、撮影装置C4によって撮影された画像は瞳孔が上に位置するものとなる。
このように、ユーザUが表示装置Dの画面の中心付近を注視している場合、図2(a)に示すように、撮影装置C1〜C4によって撮影された全ての画像に瞳孔や角膜反射像が写っているため、後記する基準位置(瞳孔中心の位置および角膜反射点の位置)の特定が容易となる。一方、ユーザUが表示装置Dの画面の右端付近を注視している場合、図2(b)に示すように、当該ユーザUの視線に近い撮影装置C2,C4によって撮影された画像には瞳孔や角膜反射像がはっきりと写っているが、ユーザUの視線から遠い撮影装置C1,C3によって撮影された画像には角膜反射像が写っておらず、かつ、瞳孔の形状も歪んで写っている。すなわち、撮影装置C1,C3によって撮影された画像のみでは、瞳孔形状の歪から瞳孔中心の測定誤差が大きくなるとともに、後記する角膜反射点の検出が困難となる。
発光装置Rは、ユーザUに対して近赤外光を照射するものであり、撮影装置C1〜C4による撮影のための照明光源である。発光装置Rは、例えば、発光素子としてLED(発光ダイオード)を用いたリング照明等で構成され、図1に示すように、ユーザUと表示装置Dとの間に配置されるとともに、ユーザUの眼球周辺を照明するように所定角度で配置される。
次に、本発明の第1実施形態に係る視線測定装置1の具体的構成について詳細に説明する。視線測定装置1は、図3に示すように、注視点抽出手段10と、注視点同期手段20と、注視点分布記憶手段30と、注視点統合手段40と、を主な構成として備え、これらに加えて、映像遅延手段60と、重畳映像生成手段70と、を付加的な構成として備えている。
注視点抽出手段10は、ユーザUの眼球周辺画像から注視点を抽出するものである。ここで、注視点とは、ユーザUが視線を向けている表示装置Dの画面上における点を意味し、表示装置Dの画面の座標によって特定される。言い換えれば、注視点は、ユーザUの視線(視線ベクトル)と表示装置Dの画面との交点の座標によって特定される。注視点抽出手段10は、図3に示すように、撮影装置C1〜C4それぞれに対応して設けられ、対応する撮影装置C1〜C4から入力された眼球周辺画像から、注視点をそれぞれ抽出する。
注視点抽出手段10は、具体的には図4に示すように、眼球位置検出手段101と、眼球領域画像切り出し手段102と、基準位置特定手段103と、視線ベクトル算出手段104と、視線ベクトル校正手段105と、注視点算出手段106と、を備えている。
眼球位置検出手段101は、ユーザUの眼球周辺画像から、その眼球位置を検出するものである。眼球位置検出手段101は、具体的には図5(a)に示すように、対応する撮影装置C1〜C4から入力された眼球周辺画像Gから、ユーザUの眼球位置を検出する。なお、眼球位置検出手段101は、ユーザUの左右それぞれの眼球位置を検出することが好ましい。但し、後記するように、ユーザUの注視点は左右いずれかの眼球位置を検出できれば算出可能であるため、眼球位置検出手段101は、ユーザUの左右いずれかの眼球位置のみを検出する構成としても構わない。
眼球位置検出手段101は、より具体的には、眼球位置情報として、ユーザUの瞳孔の位置と、ユーザUの角膜反射像の位置と、を検出する。眼球位置検出手段101は、入力された眼球周辺画像Gに対して、例えば2値化処理および粒子解析処理を行うことにより、瞳孔に相当する粒子と、角膜反射像に相当する粒子を検出し、これらの粒子の位置情報を眼球位置情報とする。すなわち、眼球位置検出手段101は、外部から入力された明度の閾値に基づいて、この閾値を超える部分(明度が高い部分)を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を瞳孔として、左右の眼球の少なくとも一方について検出する。また、眼球位置検出手段101は、外部から入力された明度の閾値に基づいて、瞳孔よりもさらに明度が高い部分を検出し、さらに、外部から入力された粒子の面積範囲指定および真円度範囲指定により指定された領域を角膜反射像として、左右の眼球の少なくとも一方について検出する。なお、前記した眼球位置情報は、具体的には、ユーザUの瞳孔の輪郭と角膜反射像の輪郭とを、画像座標系におけるxy座標で示したものである。
眼球位置検出手段101には、図3および図4に示すように、対応する撮影装置C1〜C4から、眼球周辺画像が入力される。この眼球周辺画像は、前記した発光装置Rによって近赤外光が照射されたユーザUの眼球周辺の画像である。また、この眼球周辺画像には、当該眼球周辺画像を撮影した時刻を示す時刻情報が含まれている(図示省略)。そして、眼球位置検出手段101は、前記した手法によって、眼球周辺画像Gから眼球位置を検出し、図4に示すように、当該眼球位置と、これに対応する眼球周辺画像G(時刻情報を含む)と、を眼球領域画像切り出し手段102に出力する。なお、後記するように、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合、図4に示すように、映像入力手段50から眼球位置検出手段101に対して映像のタイムコードが入力されるが、詳細な説明は後記する。
眼球領域画像切り出し手段102は、ユーザUの眼球周辺画像Gから、左右の眼球を含む眼球領域画像をそれぞれ切り出すものである。眼球領域画像切り出し手段102は、具体的には図5(b)に示すように、眼球位置検出手段101から入力された右の眼球位置を基準として、眼球周辺画像Gから、当該右の眼球位置を含む所定面積(予め定めた所定幅および所定高さの領域)の眼球領域画像GRを切り出す。また、眼球領域画像切り出し手段102は、図5(b)に示すように、眼球位置検出手段101から入力された左の眼球位置を基準として、眼球周辺画像Gから、当該左の眼球位置を含む所定面積(予め定めた所定幅および所定高さの領域)の眼球領域画像GLを切り出す。なお、眼球領域画像切り出し手段102は、眼球位置検出手段101から、ユーザUの左右いずれかの眼球位置のみが入力された場合は、左右いずれかの眼球領域画像を切り出す。
眼球領域画像切り出し手段102には、図4に示すように、眼球位置検出手段101から、眼球周辺画像Gと、当該眼球周辺画像Gから検出した眼球位置と、が入力される。そして、眼球領域画像切り出し手段102は、前記した手法によって、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出し、図4に示すように、当該眼球領域画像GR,GLと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、を基準位置特定手段103に出力する。
基準位置特定手段103は、眼球領域画像から、注視点算出の基準となる基準位置を特定するものである。ここで、基準位置とは、図5(c)に示すように、左右の眼球の瞳孔中心の位置および角膜反射点の位置のことを意味しており、より具体的には、左右の眼球の瞳孔中心の位置と角膜反射点の位置とを、画像座標系におけるxy座標で示したものである。
基準位置特定手段103は、一般的な画像処理技術によって、眼球領域画像GR,GLから画像座標系における瞳孔中心の座標と角膜反射点の座標とを特定する。基準位置特定手段103は、ここでは左右の眼球領域画像GR,GLについて、角膜反射像を含む他の領域よりも明度の高い領域を2値化処理によって探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの瞳孔を抽出し、その中心座標(幅、高さの中点や領域の重心座標等)を、左右の眼球それぞれの瞳孔中心とする。また、基準位置特定手段103は、左右の眼球領域画像GR,GLについて、瞳孔の明度と角膜反射像の明度との間に閾値を設定し、閾値よりも明度の高い領域を探索し、粒子解析処理によって面積範囲および真円度範囲を指定して左右の眼球それぞれの角膜反射像を抽出し、その中心座標(幅、高さの中点や領域の重心座標等)を、左右の眼球それぞれの角膜反射点とする。なお、基準位置特定手段103は、眼球領域画像切り出し手段102から、ユーザUの左右いずれかの眼球領域画像のみが入力された場合は、左右いずれかの基準位置を特定する。
基準位置特定手段103には、図4に示すように、眼球領域画像切り出し手段102から、眼球領域画像GR,GLと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、が入力される。そして、基準位置特定手段103は、前記した手法によって、眼球領域画像GR,GLから瞳孔中心および角膜反射点を特定し、図4に示すように、当該瞳孔中心および角膜反射点と、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、を視線ベクトル算出手段104に出力する。
視線ベクトル算出手段104は、ユーザUの眼球の基準位置から視線ベクトルを算出するものである。視線ベクトル算出手段104は、具体的には図4に示すように、予め取得した撮影装置C1〜C4のカメラパラメータ(例えばパン、チルト、ズーム等のカメラの撮影位置、撮影方向および撮影範囲を含む設定情報)を用いることで、眼球領域画像GR,GLから視線ベクトルを算出する。以下、視線ベクトル算出処理の一例について、簡単に説明する。
視線ベクトル算出手段104は、まず、校正段階で得られた撮影装置C1〜C4の焦点距離と、撮影装置C1〜C4の撮像素子のドットピッチとを利用して、基準位置特定手段103によって特定された左右の眼球それぞれの画像座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標に変換する。次に、視線ベクトル算出手段104は、校正段階で得られた回転マトリクスと、並進ベクトルとを利用して、左右の眼球それぞれのカメラ座標系における瞳孔中心座標および角膜反射点座標を、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標に変換する。
次に、視線ベクトル算出手段104は、左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標を、予め取得した角膜表面における屈折率に応じて補正し、補正後の左右の眼球それぞれの世界座標系における瞳孔中心座標および角膜反射点座標と、角膜曲率半径とを用いて、左右の眼球の角膜曲率中心座標を算出する。そして、視線ベクトル算出手段104は、補正後の左眼の世界座標系における瞳孔中心座標と、左眼の角膜曲率中心座標とを用いて、左眼の視線ベクトルを算出するとともに、補正後の右眼の世界座標系における瞳孔中心座標と、右眼の角膜曲率中心座標とを用いて、右眼の視線ベクトルを算出する。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願2009−112298(特開2010−259605号公報)に記載された方法を用いることができる。また、視線ベクトル算出手段104は、基準位置特定手段103から、ユーザUの左右いずれかの眼球の基準位置のみが入力された場合は、入力された方の眼球の視線ベクトルを特定する。
視線ベクトル算出手段104には、図4に示すように、基準位置特定手段103から、眼球の基準位置(瞳孔中心および角膜反射点)と、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、が入力される。そして、視線ベクトル算出手段104は、前記した手法によって、眼球の基準位置から視線ベクトルを算出し、図4に示すように、当該視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、を視線ベクトル校正手段105に出力する。
視線ベクトル校正手段105は、予め取得した校正データを用いて視線ベクトルを校正するものである。視線ベクトル校正手段105は、具体的には図4に示すように、視線ベクトル算出手段104によって算出された視線ベクトルに校正データを乗算することで校正を行う。なお、視線ベクトル校正手段105は、視線ベクトル算出手段104から、ユーザUの左右いずれかの視線ベクトルのみが入力された場合は、左右いずれかの視線ベクトルを校正する。
ここで、校正データとは、ユーザUの眼球形状や眼鏡またはコンタクトレンズによる光学的な歪等の個人差から生じる誤差を補正するためのデータであり、眼球領域画像GR,GLの瞳孔中心座標および角膜反射点座標から視線ベクトルを算出する際に個人差を補正するキャリブレーションデータのことを意味している。また、校正データは、より具体的には、ユーザUが表示装置Dの画面上における所定の座標を注視していると仮定した場合の、視線測定装置1の視線ベクトル算出手段104により算出された視線ベクトルと、実際の視線ベクトル(角膜曲率中心と所定の座標を通るベクトル)と、の角度のずれを示すデータのことを意味している。なお、前記したような左右の眼球の基準位置からそれぞれの視線ベクトルを算出する具体的な方法は、例えば特願2009−112298(特開2010−259605号公報)に記載された方法を用いることができる。
視線ベクトル校正手段105には、図4に示すように、視線ベクトル算出手段104から、視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、が入力される。そして、視線ベクトル校正手段105は、前記した手法によって、視線ベクトルを校正し、図4に示すように、当該校正後の視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、を注視点算出手段106に出力する。
注視点算出手段106は、ユーザUの視線ベクトルから、表示装置Dの画面上における当該ユーザUの注視点を算出するものである。注視点算出手段106は、具体的には、視線ベクトル校正手段105によって校正された視線ベクトルと表示装置Dの画面との交点の座標を、ユーザUが注目する画面上の注視点として算出する。
注視点算出手段106は、視線ベクトル校正手段105によって校正された左眼の視線ベクトルと右眼の視線ベクトルのそれぞれと表示装置Dの画面との交点の平均の位置、または、いずれか一方の視線ベクトルと表示装置Dの画面との交点の座標を注視点として算出する。また、注視点算出手段106は、視線ベクトル算出手段104によって左右の眼球のいずれか一方の視線ベクトルを算出することができなかった場合は、算出できた方についてのみ注視点を算出する。つまり、注視点算出手段106は、左右の眼球の視線ベクトルの両方を用いて注視点を算出してもよいし、いずれか一方のみを用いて注視点を算出してもよい。
注視点算出手段106には、図4に示すように、視線ベクトル校正手段105から、校正後の視線ベクトルと、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、が入力される。そして、注視点算出手段106は、前記した手法によって、視線ベクトルから注視点を算出し、図3および図4に示すように、当該注視点と、これに対応する眼球周辺画像Gの時刻情報(図示省略)と、を注視点同期手段20に出力する。以下、視線測定装置1の残りの構成について説明を続ける。
注視点同期手段20は、複数の注視点を時間的に同期させるものである。注視点同期手段20は、具体的には図6(a)に示すように、それぞれ撮影装置C1〜C4に対応する複数の注視点抽出手段10の注視点算出手段106によって算出された複数の注視点を、これらの注視点を算出する元となった眼球周辺画像Gが撮影装置C1〜C4によって撮影された時刻に応じてそれぞれ同期させる。
ここで、眼球周辺画像Gは、表示装置Dの画面に流れる映像を注視するユーザUの眼球周辺を、複数の撮影装置C1〜C4によって時間的に連続して撮影した画像である。従って、当該眼球周辺画像Gから注視点抽出手段10によって抽出され、注視点同期手段20に入力される複数の注視点の中には、撮影装置C1〜C4による撮影時刻が同じ眼球周辺画像Gから抽出された注視点と、撮影装置C1〜C4による撮影時刻が異なる眼球周辺画像Gから抽出された注視点と、が存在する。しかし、注視点同期手段20によって時間的な同期処理を行うことで、図6(a)に示すように、複数の時刻に撮影された眼球周辺画像Gから算出された注視点を撮影装置C1〜C4の撮影時刻ごとに分類することができる。
ここで、図6(a)における「時刻」は、撮影装置C1〜C4による撮影時刻を示しており、「注視点座標1〜4」および「g1〜g4」は、それぞれ撮影装置C1〜C4によって撮影された眼球周辺画像Gから算出した注視点の座標を示している。また、図6(a)における「−」は、眼球周辺画像Gから基準位置を検出できなかった等の理由で注視点を算出できなかったことを示している。例えば、図6(a)に示すように、撮影装置C1〜C4によって「7:00:00.100」に撮影された複数の眼球周辺画像Gから算出された注視点の座標は、それぞれ(920,488)、(955,398)、(883,451)、(917,426)、となる。なお、後記するように、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合、図6(b)に示すように、複数の注視点を映像のタイムコードで同期してもよいが、詳細な説明は後記する。
注視点同期手段20には、図3および図4に示すように、注視点抽出手段10の注視点算出手段106から、複数の注視点と、これに対応する複数の眼球周辺画像Gの時刻情報(図示省略)と、が入力される。そして、注視点同期手段20は、前記した手法によって、複数の注視点を時間的に同期し、図3に示すように、同期後の複数の注視点を注視点統合手段40に出力する。
注視点分布記憶手段30は、ユーザUの撮影装置C1〜C4ごとの注視点分布を記憶するものである。ここで、注視点分布とは、ユーザUの眼球周辺画像Gから抽出した注視点の分布を意味している。注視点分布は、より具体的には、予め撮影装置C1〜C4によってユーザUの複数の眼球周辺画像Gを撮影し、これら複数の眼球周辺画像Gから、前記した眼球位置検出手段101、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105(必要な場合のみ)、注視点算出手段106を経て算出された複数の注視点を、撮影装置C1〜C4ごとに分布化したものを意味している。つまり、注視点分布は、視線測定装置1の実際の使用の前に収集された、各系統(撮影装置C1〜C4およびこれらに対応する注視点抽出手段10)ごとに抽出可能なユーザUの注視点の分布のことを意味している。この注視点分布は、例えば図7に示すように図示することができる。
図7に示す4つの長方形のグラフは、それぞれが表示装置Dの画面に対応しており、当該グラフにプロットされた複数の点は、撮影装置C1〜C4によって撮影されたユーザUの複数の眼球周辺画像Gから算出されたそれぞれの注視点を示している。すなわち、図7に示す注視点分布は、視線測定装置1によるユーザUの注視点の算出可能領域を、4つの系統(撮影装置C1〜C4および4つの注視点抽出手段10)ごとに表わしたものといえる。
例えば、図7(a)に示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C1によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点(複数の眼球周辺画像Gの中で算出できた注視点)の分布を示している。この図7(a)を参照すると、撮影装置C1によって撮影された眼球周辺画像Gからは、表示装置Dの画面の左上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の左上領域を見ている時に撮影装置C1によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の左上領域以外を見ている時に撮影装置C1によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
また、図7(b)に示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C2によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7(b)を参照すると、撮影装置C2によって撮影された眼球周辺画像Gからは、表示装置Dの画面の右上領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の右上領域を見ている時に撮影装置C2によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の右上領域以外を見ている時に撮影装置C2によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
また、図7(c)に示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C3によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7(c)を参照すると、撮影装置C3によって撮影された眼球周辺画像Gからは、表示装置Dの画面の左下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の左下領域を見ている時に撮影装置C3によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の左下領域以外を見ている時に撮影装置C3によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
また、図7(d)に示す注視点分布は、表示装置Dの画面上を自由に見ているユーザUの眼球周辺を撮影装置C4によって予め撮影し、得られた複数の眼球周辺画像Gから算出された注視点の分布を示している。この図7(d)を参照すると、撮影装置C4によって撮影された眼球周辺画像Gからは、表示装置Dの画面の右下領域の座標が注視点として算出できることがわかる。これは、言い換えれば、ユーザUが表示装置Dの画面の右下領域を見ている時に撮影装置C4によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できるため注視点を算出しやすく、ユーザUが表示装置Dの画面の右下領域以外を見ている時に撮影装置C4によって撮影された眼球周辺画像Gからは、眼球の瞳孔や角膜反射像を正確に検出できないため注視点を算出しにくい、ということを示している。
注視点分布記憶手段30は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。注視点分布記憶手段30は、図7に示すような撮影装置C1〜C4ごとの注視点分布を予め記憶しており、図3および図8に示すように、これらをそれぞれ注視点統合手段40の確率取得手段401に出力する。なお、注視点分布記憶手段30は、図3に示すように、視線測定装置1の内部に設けられているが、視線測定装置1の外部に設けられてもよい。また、後記する注視点統合手段40が更新手段402を備えている場合、注視点分布記憶手段30には、図8に示すように、当該更新手段402から注視点が入力され、注視点分布記憶手段30に記憶されている注視点分布が更新される場合があるが、詳細な説明は後記する。
注視点統合手段40は、複数の注視点を一つに統合するものである。注視点統合手段40は、具体的には図6に示すように、撮影装置C1〜C4の撮影時刻に応じて同期された同一時刻の4つの注視点を、当該複数の注視点ごとに算出された確からしさに従って、1つに統合する。注視点統合手段40は、具体的には図8に示すように、確率取得手段401と、更新手段402と、統合手段403と、を備えることが好ましい。
確率取得手段401は、注視点分布記憶手段30に記憶された注視点分布から、注視点確率を取得するものである。ここで、注視点確率とは、ユーザUの眼球周辺画像Gから抽出した注視点が、本当にユーザUが注視していた画面上の座標であるのかの確からしさを示す確率(%)を意味している。注視点確率は、より具体的には、注視点分布に含まれる全ての注視点の数に対する、画面上における個々の座標ごとの注視点の数の割合を示している。例えば、予め視線測定装置1に対して、撮影装置C1〜C4によって撮影されたユーザUの眼球周辺画像Gが合計100枚入力されたとする。そして、これらの眼球周辺画像Gから100個の注視点が抽出され、かつ、表示装置Dの画面の座標(1,1)を示す注視点の数が10個である場合、当該座標(1,1)の注視点確率は10%(=10/100×100)となる。
確率取得手段401は、具体的には図8に示すように、まず注視点分布記憶手段30から注視点分布を取得し、当該注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する。
確率取得手段401によって算出される注視点確率分布としては、様々な形態のものが挙げられる。例えば、確率取得手段401は、図9に示すように、撮影装置C1〜C4ごとの注視点分布を所定のブロックごとに集計し、これらを統合することで、注視点確率分布を算出することができる。この場合、確率取得手段401は、図9の中央に示す撮影装置C1〜C4ごとの注視点分布の測定領域(画面の大きさ、例えば640ピクセル×480ピクセル)を、例えば80ピクセル×80ピクセルのブロックに分け、図9の左右に示すように、当該ブロックごとの注視点確率分布を算出する。なお、図9の左右に示す注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。また、図9の左右に示す注視点確率分布では、ブロック内に含まれる座標の注視点確率は同確率となる。そして、確率取得手段401は、図9の下に示すように、撮影装置C1〜C4ごとに算出された4つの注視点確率分布を一つに統合する。
また、確率取得手段401は、図10に示すように、正規分布を用いた注視点確率分布を算出してもよい。この場合、確率取得手段401は、図10の中央に示す撮影装置C1〜C4ごとの注視点分布から、平均値、標準偏差等のパラメータを算出し、図10の左右に示すように、正規分布のモデルを当てはめる。なお、図10の左右に示す正規分布を用いた注視点確率分布は、ハッチングの密度が大きいほど確率が高いことを表わしている。そして、確率取得手段401は、図10の下に示すように、撮影装置C1〜C4ごとに算出された4つの正規分布を一つに統合した混合正規分布(4つの正規分布の重み付き線形和)を算出する。
ここで、図10の左右に示す正規分布は、例えば下記式(1)によって表わすことができ、図10の示す混合正規分布は、例えば下記式(2)によって表わすことができる。なお、下記式(1)における太字のxは注視点座標(x,y)、太字のμは平均値、Σは分散共分散行列、を示している。また、下記式(2)におけるλmは系統m(撮影装置Cm)の重み、mは系統識別子、Mは系統数、Nは系統内の注視点の総数、を示している。下記前記式(2)では、パラメータμm,Σmを測定値からEMアルゴリズム(期待値最大化法)等により推定する。
ここで、各系統(撮影装置C1〜C4)の注視点分布を単独の多次元(2次元)正規分布f(x)で当てはめると、誤差が大きくなる場合がある。この場合、確率取得手段401は、下記式(3)、(4)に示すように、各系統内の注視点分布を適当な数のクラスタに分けてそれぞれを正規分布に当てはめ、それを混合する混合正規分布g(x)で当てはめてもよい。なお、下記式(3)におけるgmは系統m内の混合正規分布、iは系統内のクラスタ識別子、Iは系統内のクラスタ数、を示している。また、下記式(3)ではI=1となる。
確率取得手段401には、図3および図8に示すように、注視点同期手段20から、撮影装置C1〜C4に対応した同期後の複数の注視点(図6参照)が入力される。そして、確率取得手段401は、前記した手法によって当該同期後の複数の注視点の注視点確率をそれぞれ取得し、当該撮影装置C1〜C4に対応した複数の注視点確率と、これに対応する同期後の注視点と、を更新手段402に出力する。
更新手段402は、注視点分布記憶手段30に記憶されている注視点分布を更新するものである。更新手段402は、具体的には、確率取得手段401によって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定する。そして、更新手段402は、図8に示すように、注視点確率が所定の閾値th1を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込む(追加する)ことで、注視点分布記憶手段30に記憶されている注視点分布を更新する。
これにより、視線測定装置1は、注視点確率が一定以上である注視点、すなわちユーザUが注視している可能性の高い座標を示す注視点が算出された場合、当該注視点を注視点分布記憶手段30に追加して注視点分布を更新するため、注視点分布記憶手段30に記憶された注視点分布の精度を漸次向上させることができる。なお、閾値th1は、外れ値を除外できる程度の値(例えば信頼区間の下限)であればよい。また、更新手段402による注視点分布の更新のタイミングは、注視点が算出される度に行ってもよく、あるいは、一定数の注視点が算出される度に行なってもよい。なお、後者の場合、更新手段402は、一定数の注視点を記憶する図示しない記憶手段を備えることが好ましい。
更新手段402には、図8に示すように、確率取得手段401から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、更新手段402は、前記した手法によって閾値処理を行い、注視点確率が所定の閾値th1を超える場合は、注視点分布記憶手段30に注視点を出力するとともに、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段403に出力する。また、更新手段402は、注視点確率が所定の閾値th1未満である場合は、複数の注視点確率と、これに対応する同期後の注視点と、を統合手段403に出力する。
統合手段403は、撮影装置C1〜C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出された複数の注視点を一つに統合するものである。統合手段403は、具体的には注視点分布記憶手段30に記憶された注視点分布に対応した注視点確率、すなわち確率取得手段401によって算出された注視点確率に従って、複数の注視点を統合する。
統合手段403は、例えば、前記した注視点確率に従って、撮影装置C1〜C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出され、注視点同期手段20によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、統合手段403は、複数の注視点の座標および各注視点に対応した注視点確率をパラメータとする、下記式(5)に示す統合用関数gintを用いて複数の注視点を統合することができる。なお、下記式(5)におけるgmは、複数の注視点の座標、pmは、複数の注視点の注視点確率、Mは系統数(この例の場合M=4)を示している。
また、統合手段403は、前記した手法以外にも、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、撮影装置C1〜C4によって同時刻に撮影された複数の眼球周辺画像Gから抽出された複数の注視点を統合してもよい。この場合、統合手段403は、下記式(6)に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式(6)におけるgmmaxは、複数の注視点の座標の中で最も注視点確率の高い座標を示している。
統合手段403には、図8に示すように、更新手段402から、複数の注視点確率と、これに対応する同期後の注視点と、が入力される。そして、統合手段403は、前記したいずれかの手法によって、複数の注視点を統合し、これを出力する。なお、後記するように、視線測定装置1が重畳映像生成手段70を備える場合、図3および図8に示すように、統合手段403は、統合後の注視点をこれに対応する映像のタイムコードとともに、重畳映像生成手段70に出力するが、詳細な説明は後記する。以下、視線測定装置1の残りの付加的な構成について説明を続ける。
映像入力手段50は、表示装置Dの画面上に表示される映像と同じ映像を入力するものである。映像入力手段50は、具体的には図3に示すように、ユーザUが視認する表示装置Dの画面上に表示される映像と同じ映像を、当該ユーザUが視聴するタイミングと同じタイミングで映像遅延手段60に対して入力する。また、映像入力手段50は、図3および図4に示すように、注視点抽出手段10の眼球位置検出手段101に対して、入力した映像のタイムコードを入力する。
この場合、注視点同期手段20は、複数の注視点を前記した図6(a)に示すような撮影装置C1〜C4の撮影時刻で同期するのではなく、図6(b)に示すような映像のタイムコードによって同期することができる。これにより、撮影装置C1〜C4によって撮影された複数の眼球周辺画像Gに時刻情報が含まれていない場合であっても、複数の注視点を時間的に同期することができる。なお、この場合、映像入力手段50から眼球位置検出手段101に入力された映像のタイムコードは、図4に示す眼球領域切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105および注視点算出手段106を介して、注視点同期手段20に入力されることになる。
映像遅延手段60は、映像入力手段50から入力された映像を所定時間遅延させるものである。映像遅延手段60は、具体的には図3に示すように、映像入力手段50から入力された映像を注視点抽出手段10における抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。映像遅延手段60は、例えば、注視点統合手段40によって統合された注視点のタイムコード(時刻情報)と、映像入力手段50によって入力された映像のタイムコード(時刻情報)と、が合致するように、重畳映像生成手段70に対する映像の出力を遅らせることで、映像を遅延させることができる。あるいは、映像遅延手段60の内部に映像入力手段50から入力された映像を一時的に蓄積するメモリを設け、注視点統合手段40によって統合された注視点のタイムコードに基づいて、当該メモリから該当するフレームを抽出して重畳映像生成手段70に出力することで、映像を遅延させることができる。これにより、後記するように、映像入力手段50から入力された映像に対して、注視点統合手段40によって統合された注視点を重畳させる際に、映像と注視点との時間的なタイミングを合わせることができる。すなわち、ユーザUが映像のどの場面のどの座標を注視していたのかを正確に示す重畳映像を生成することができる。
映像遅延手段60には、図3に示すように、映像入力手段50からユーザUが視聴している映像が入力される。そして、映像遅延手段60は、前記した手法によって所定時間だけ映像を遅延させ、図3に示すように、これを重畳映像生成手段70に出力する。
重畳映像生成手段70は、映像に注視点を重畳させるものである。重畳映像生成手段70は、図3に示すように、映像遅延手段60によって遅延された映像に対して、注視点統合手段40によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を生成することができる。
重畳映像生成手段70には、図3に示すように、注視点統合手段40から統合後の注視点が入力され、映像遅延手段60から遅延後の映像が入力される。そして、重畳映像生成手段70は、前記した手法によって映像に統合後の注視点を重畳させ、図3に示すように、これを例えば外部の表示装置等に出力する。
以上のような構成を備える視線測定装置1は、複数の撮影装置C1〜C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1を用いることにより、1台の撮影装置では特徴点を捉えられなかった領域(例えば図2(b)の左上図および左下図参照)におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
また、視線測定装置1は、各系統(複数の撮影装置C1〜C4とこれに対応する注視点抽出手段10)ごとに、事前に注視点算出手段によって算出可能な注視点の画面上における注視点分布を用意しておき、この注視点分布によって算出された注視点確率に基づいて各系統で得られる注視点を統合する。このように、視線測定装置1では、複数台の撮影装置C1〜C4で特徴点を捉えることができる領域では、複数の注視点の測定結果を確率分布に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
また、視線測定装置1が前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。
[視線測定装置1の動作]
以下、視線測定装置1の動作について、図11および図12(適宜図3、図4および図8を参照)を参照しながら簡単に説明する。まず、視線測定装置1は、撮影装置C1〜C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G(近赤外光が照射された眼球周辺画像G)が入力されると、眼球位置検出手段101によって、ユーザUの眼球位置を検出する(ステップS1)。次に、視線測定装置1は、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出す(ステップS2)。次に、視線測定装置1は、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する(ステップS3)。
次に、視線測定装置1は、視線ベクトル算出手段104によって、撮影装置C1〜C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出する(ステップS4)。次に、視線測定装置1は、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正する(ステップS5)。次に、視線測定装置1は、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点をユーザUの注視点として算出する(ステップS6)。次に、視線測定装置1は、注視点同期手段20によって、複数の注視点を撮影装置C1〜C4の撮影時刻に応じてそれぞれ同期させる(ステップS7)。そして、視線測定装置1は、注視点統合手段40によって、複数の注視点を一つに統合する(ステップS8)。以下、ステップS8における注視点の統合処理の詳細について、図12を参照しながら説明する。
注視点の統合処理では、視線測定装置1は、まず、確率取得手段401によって、注視点分布記憶手段30に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置1は、確率取得手段401によって、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する(ステップS81)。
次に、視線測定装置1は、更新手段402によって、確率取得手段401によって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定する(ステップS82)。そして、視線測定装置1は、注視点確率が予め定められた所定の閾値th1を超える場合(ステップS82においてYes)、更新手段402によって、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新する(ステップS83)。一方、視線測定装置1は、注視点確率が予め定められた所定の閾値th1未満である場合(ステップS82においてNo)、注視点分布を更新することなく、ステップS84に進む。
次に、視線測定装置1は、統合手段403によって、確率取得手段401によって取得された注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する(ステップS84)。これにより、注視点の統合処理が終了する。
なお、視線測定装置1が映像遅延手段60および重畳映像生成手段70を備える場合(図3参照)は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1は、まず、映像遅延手段60によって、映像入力手段50から入力された映像を、注視点抽出手段10における抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1は、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40によって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
[第2実施形態]
以下、第2実施形態に係る視線測定装置1Aについて、図13〜図15を参照しながら詳細に説明する。視線測定装置1Aは、図13に示すように、注視点抽出手段10の代わりに注視点抽出手段10Aを、注視点統合手段40の代わりに注視点統合手段40Aを、注視点分布記憶手段30の代わりにテンプレート画像記憶手段80を備える以外は、第1実施形態に係る視線測定装置1と同様の構成を備えている。従って、以下の説明では、視線測定装置1との相違点を中心に説明を行い、当該視線測定装置1と重複する構成については詳細説明を省略する。
テンプレート画像記憶手段80は、ユーザUの眼球の特徴的な部位を含むテンプレート画像を記憶するものである。ここで、テンプレート画像とは、図14(a)に示すように、ユーザUの眼球の特徴が含まれる画像であり、例えば図14(a)に示すように、ユーザUの瞳孔を含む画像や、ユーザUの角膜反射像を含む画像のことを意味している。テンプレート画像としては、例えば、予め表示装置Dの画面を注視するユーザUの眼球を撮影装置C1〜C4ごとに撮影した眼球画像から、図14(a)に示すように、瞳孔を含む画像または角膜反射像を含む画像を抜き出したものを用いることができる。
テンプレート画像は、後記するように、眼球位置検出手段101Aにおけるテンプレートマッチングに用いられる。その際に、例えば図14(a)に示す瞳孔を含む画像または角膜反射像を含む画像をテンプレート画像として用いた場合、図14(b)の左に示す眼球画像は類似度が大きいと判断され、右に示す眼球画像は類似度が小さいと判断されることになる。
テンプレート画像記憶手段80は、具体的には、データを記憶することができるメモリ、ハードディスク等で具現される。テンプレート画像記憶手段80は、図14(a)に示すようなテンプレート画像を予め記憶しており、図13および図15に示すように、これを注視点抽出手段10Aの眼球位置検出手段101Aに出力する。なお、テンプレート画像記憶手段80は、図13に示すように、視線測定装置1Aの内部に設けられているが、外部に設けられてもよい。
注視点抽出手段10Aにおける眼球位置検出手段101Aは、図15に示すように、テンプレート画像記憶手段80に記憶されたテンプレート画像と、撮影装置C1〜C4によって撮影された眼球周辺画像Gと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザUの眼球位置を検出する。
ここで、前記した正規化相関値rは、例えば下記式(7)によって表わすことができる。なお、下記式(7)におけるI(i,j)は、眼球周辺画像Gにおける位置(i,j)画素値、T(i,j)は、テンプレート画像における位置(i,j)の画素値、Iバーは、眼球周辺画像Gの平均画素値、Tバーは、テンプレート画像の平均画素値、を示している。
このように算出された眼球周辺画像Gごとの正規化相関値は、図13および図15に示すように、眼球位置検出手段101Aから、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105、注視点算出手段106および注視点同期手段20を介して、注視点統合手段40Aに出力される。そして、注視点統合手段40Aは、それぞれ撮影装置C1〜C4に対応する複数の眼球位置検出手段101Aによって算出された複数の正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を一つに統合する。
注視点統合手段40Aは、例えば、前記した正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均することで、複数の注視点を統合することができる。この場合、注視点統合手段40Aは、複数の注視点の座標および正規化相関値をパラメータとする、下記式(8)に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式(8)におけるrmは、各注視点を算出する際に行なったパターンマッチングの正規化相関値を示している。
また、注視点統合手段40Aは、前記した手法以外にも、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を統合してもよい。この場合、注視点統合手段40Aは、下記式(9)に示す統合用関数gintを用いて複数の注視点を統合する。なお、下記式(9)におけるgmmaxは、複数の注視点の座標の中で最も正規化相関値の高い座標を示している。
以上のような構成を備える視線測定装置1Aは、複数の撮影装置C1〜C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1Aを用いることにより、1台の撮影装置では特徴点を捉えられなかった領域(例えば図2(b)の左上図および左下図参照)におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
また、視線測定装置1Aは、各系統(撮影装置C1〜C4とこれに対応する注視点抽出手段10A)ごとに、事前にユーザUの眼球の特徴的な部位を含むテンプレート画像を用意しておき、ユーザUの眼球周辺画像Gからテンプレートマッチングによって眼球の位置を検出するとともに、当該テンプレート画像との類似度を表す指標(例えば正規化相関値)を算出し、これらの指標に基づいて各系統で得られる注視点を統合する。このように、視線測定装置1Aは、複数台の撮影装置C1〜C4で特徴点を捉えることができる領域では、複数の注視点の測定結果をテンプレート画像との類似度に基づいて統合するため、より精度が高く、頑健な測定が可能となる。
また、視線測定装置1Aが前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。
[視線測定装置1Aの動作]
以下、視線測定装置1Aの動作について、図16(適宜図13および図15参照)を参照しながら簡単に説明する。まず、視線測定装置1Aは、撮影装置C1〜C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G(近赤外光が照射された眼球周辺画像G)が入力されると、眼球位置検出手段101Aによって、テンプレート画像との正規化相関値が算出されるとともに、ユーザUの眼球位置を検出する(ステップS9)。次に、視線測定装置1Aは、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLをそれぞれ切り出す(ステップS10)。次に、視線測定装置1Aは、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する(ステップS11)。
次に、視線測定装置1Aは、視線ベクトル算出手段104によって、撮影装置C1〜C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出する(ステップS12)。次に、視線測定装置1Aは、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正する(ステップS13)。次に、視線測定装置1Aは、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点をユーザUの注視点として算出する(ステップS14)。次に、視線測定装置1Aは、注視点同期手段20によって、複数の注視点を撮影装置C1〜C4の撮影時刻に応じてそれぞれ同期させる(ステップS15)。
次に、視線測定装置1Aは、注視点統合手段40によって、眼球位置検出手段101Aによって算出された正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する(ステップS16)。これにより、注視点の統合処理が終了する。
なお、視線測定装置1Aが映像遅延手段60および重畳映像生成手段70を備える場合(図13参照)は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1Aは、まず、映像遅延手段60によって、映像入力手段50から入力された映像を注視点抽出手段10Aにおける抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40における統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1Aは、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40Aによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
[第3実施形態]
以下、第3実施形態に係る視線測定装置1Bについて、図17および図18(適宜図15参照)を参照しながら詳細に説明する。視線測定装置1Bは、図17に示すように、第1実施形態に係る視線測定装置1と同様に、注視点分布記憶手段30を備えるとともに、第2実施形態に係る視線測定装置1Aと同様に、注視点抽出手段10Aと、テンプレート画像記憶手段80と、を備えている。また、視線測定装置1Bは、図17に示すように、視線測定装置1,2の注視点統合手段40,40Aの代わりに、注視点統合手段40Bを備えている。従って、以下の説明では、視線測定装置1,2との相違点を中心に説明を行い、重複する構成については詳細説明を省略する。
視線測定装置1Bでは、第2実施形態に係る視線測定装置1Aと同様に、テンプレート画像記憶手段80がユーザUの眼球の特徴的な部位(瞳孔と角膜反射像の両方または角膜反射像)を含むテンプレート画像を予め記憶しており、眼球位置検出手段101Aが、当該テンプレート画像と、撮影装置C1〜C4によって撮影された眼球周辺画像Gと、を類似度を示す正規化相関値を指標としてテンプレートマッチングすることで、ユーザUの眼球位置を検出する(図15参照)。なお、この正規化相関値は、前記式(5)で表わされる。
このように算出された眼球周辺画像Gごとの正規化相関値は、図15、図17および図18に示すように、眼球位置検出手段101Aから、眼球領域画像切り出し手段102、基準位置特定手段103、視線ベクトル算出手段104、視線ベクトル校正手段105、注視点算出手段106および注視点同期手段20を介して、注視点統合手段40Bの確率取得手段401Bに出力される。
確率取得手段401Bは、図17および図18に示すように、注視点同期手段20から、同期後の複数の注視点と、これに対応する正規化相関値が入力されると、注視点分布記憶手段30から、注視点分布に含まれる注視点の数を取得する。そして、確率取得手段401Bは、当該注視点の数が予め定められた所定の閾値th2未満であるか否かを判定する。この閾値処理は、言い換えれば、注視点分布記憶手段30の中に一定量の注視点のデータが記憶されているかを判定することを意味している。なお、閾値th2は、予め実験的または試験的に求めておいたものを用いる。
確率取得手段401Bは、前記した注視点の数が所定の閾値th2未満である場合、図18に示すように、注視点分布記憶手段30から注視点分布を取得することなく、同期後の複数の注視点と、これに対応する正規化相関値を更新手段402Bに出力する。そして、更新手段402Bは、確率取得手段401Bから入力された正規化相関値が予め定められた所定の閾値th3を超えるか否かを判定し、正規化相関値が所定の閾値th3を超える場合、当該正規化相関値を有する注視点を注視点分布記憶手段30に書き込むことで、注視点分布記憶手段30に記憶されている注視点分布を更新する。また、更新手段402Bは、図18に示すように、同期後の複数の注視点と、これに対応する正規化相関値を統合手段403Bに出力する。そして、統合手段403Bは、前記した正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置1Aと同様である。また、閾値th3は、経験的に求めてもよいし、得られた類似度(正規化相関値)の標準偏差等の分布を示す統計量に基づいて動的に定めてもよい。
一方、確率取得手段401Bは、前記した注視点の数が所定の閾値th2を超える場合、図18に示すように、注視点分布記憶手段30から注視点分布を取得し、当該注視点分布から算出した注視点確率分布から同期後の複数の注視点の注視点確率をそれぞれ取得し、当該複数の注視点確率と、これに対応する同期後の注視点と、を更新手段402Bに出力する。そして、更新手段402Bは、確率取得手段401Bから入力された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定し、注視点確率が所定の閾値th1を超える場合、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込むことで、注視点分布記憶手段30に記憶されている注視点分布を更新する。また、更新手段402Bは、図18に示すように、同期後の複数の注視点と、これに対応する注視点確率を統合手段403Bに出力する。そして、統合手段403Bは、前記した注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点分布の最も高いものを選択することで、複数の注視点を一つに統合する。なお、この場合の統合処理は、視線測定装置1と同様である。
以上のような構成を備える視線測定装置1Bは、複数の撮影装置C1〜C4を相互に離れた位置に配置し、複数の角度から撮影された眼球周辺画像Gを利用することにより、いずれかの画像では視線測定に必要な特徴点を捉え、測定可能領域を相互に補完する。すなわち、視線測定装置1Bを用いることにより、1台の撮影装置では特徴点を捉えられなかった領域(例えば図2(b)の左上図および左下図参照)におけるユーザUの眼球運動を他の撮影装置で検出して補完するため、より広範囲の視線を測定することが可能となる。
また、前記した第1実施形態に係る視線測定装置1のように、注視点分布記憶手段30に蓄積されている注視点の分布からモデル(例えば混合正規分布モデル)を当てはめて精度の高い注視点確率分布を得るには相当量の注視点のデータが必要となる。すなわち、視線測定装置1のように、注視点確率分布を用いることで、精度の高い統合が可能であるが、測定の初期状態ではデータ量が少ないため高い精度での統合が困難な場合がある。
一方、視線測定装置1Bは、注視点分布記憶手段30およびテンプレート画像記憶手段80の両方を備えており、注視点分布記憶手段30に記憶されているデータ量(注視点の数)が少ない場合は、撮影装置C1〜C4によって撮影された眼球周辺画像Gとテンプレート画像との類似度を示す正規化相関値によって統合処理を行うとともに、一定以上の正規化相関数を有する注視点を注視点分布記憶手段30に書き込むことで注視点分布を更新する。また、視線測定装置1Bは、注視点分布記憶手段30に記憶されているデータ量(注視点の数)が一定以上となった場合は、眼球周辺画像Gから抽出した注視点の確からしさを示す注視点確率によって統合処理を行う。従って、視線測定装置1Bは、注視点分布記憶手段30に必要量のデータが蓄積された後は、テンプレートマッチングの類似度(正規化相関値)に基づいた統合から注視点分布による統合へと切り替えることができるため、精度の高い測定が可能となる。
また、視線測定装置1Bが前記した映像遅延手段60および重畳映像生成手段70を備える場合、ユーザUが映像のどの場面のどの座標を注視していたのかを示す注視点を映像に重畳させた重畳映像を生成するため、非接触で測定した広範囲にわたるユーザUの視線を視覚的に提示することができる。
[視線測定装置1Bの動作]
以下、視線測定装置1Bの動作について、図19および図20(適宜図15、図17および図18参照)を参照しながら簡単に説明する。まず、視線測定装置1Bは、撮影装置C1〜C4から、表示装置Dの画面を視認するユーザUの眼球周辺画像G(近赤外光が照射された眼球周辺画像G)が入力されると、眼球位置検出手段101Aによって、眼球周辺画像Gのテンプレート画像との正規化相関値を算出するとともに、ユーザUの眼球位置を検出する(ステップS17)。次に、視線測定装置1Bは、眼球領域切り出し手段102によって、前記した眼球位置を基準として、眼球周辺画像Gから眼球領域画像GR,GLを切り出す(ステップS18)。次に、視線測定装置1Bは、基準位置特定手段103によって、眼球領域画像GR,GLから、眼球の瞳孔中心の位置および角膜反射点の位置からなる基準位置を特定する(ステップS19)。
次に、視線測定装置1Bは、視線ベクトル算出手段104によって、撮影装置C1〜C4のカメラパラメータを用いることで、前記した基準位置から、ユーザUの視線方向を示す視線ベクトルを算出する(ステップS20)。次に、視線測定装置1Bは、視線ベクトル校正手段105によって、必要に応じて視線ベクトルを校正する(ステップS21)。次に、視線測定装置1Bは、注視点算出手段106によって、視線ベクトルと表示装置Dの画面との交点を、ユーザUの注視点として算出する(ステップS22)。次に、視線測定装置1Bは、注視点同期手段20によって、複数の注視点を撮影装置C1〜C4の撮影時刻に応じてそれぞれ同期させる(ステップS23)。そして、視線測定装置1Bは、注視点統合手段40Bによって、複数の注視点を一つに統合する(ステップS24)。以下、ステップS24における注視点の統合処理の詳細について、図20を参照しながら説明する。
注視点の統合処理では、視線測定装置1Bは、まず、確率取得手段401Bによって、注視点分布記憶手段30から、注視点分布に含まれる注視点の数を取得し、当該注視点の数が予め定められた所定の閾値th2未満であるか否かを判定する(ステップS241)。
そして、視線測定装置1Bは、注視点の数が予め定められた所定の閾値th2未満である場合(ステップS241においてYes)、確率取得手段401Bによって、眼球位置検出手段101Aにより算出された正規化相関値が予め定められた所定の閾値th3を超えるか否かを判定する(ステップS242)。そして、視線測定装置1Bは、正規化相関値が予め定められた所定の閾値th3を超える場合(ステップS242においてYes)、更新手段402Bによって、当該正規化相関値を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新する(ステップS243)。一方、視線測定装置1Bは、正規化相関値が予め定められた所定の閾値th3未満である場合(ステップS242においてNo)、注視点分布を更新することなく、ステップS244に進む。
次に、視線測定装置1Bは、統合手段403Bによって、眼球位置検出手段101Aによって算出された正規化相関値に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から正規化相関値の最も高いものを選択することで、複数の注視点を一つに統合する(ステップS244)。これにより、注視点の統合処理が終了する。
一方、視線測定装置1Bは、注視点の数が予め定められた所定の閾値th2を超える場合(ステップS241においてNo)、確率取得手段401Bによって、注視点分布記憶手段30に記憶されている注視点分布に含まれる全ての注視点の数と、画面上における個々の座標ごとの注視点の数と、を集計することで、表示装置Dの画面上における個々の座標ごとの注視点確率分布を算出する。そして、視線測定装置1Bは、確率取得手段401Bによって、この注視点確率分布に対して、注視点同期手段20によって同期された注視点の座標を照らし合わせることで、当該注視点の注視点確率を取得する(ステップS245)。
次に、視線測定装置1Bは、更新手段402Bによって、確率取得手段401Bによって取得された注視点確率が予め定められた所定の閾値th1を超えるか否かを判定する(ステップS246)。そして、視線測定装置1Bは、注視点確率が予め定められた所定の閾値th1を超える場合(ステップS246においてYes)、更新手段402Bによって、当該注視点確率を有する注視点を注視点分布記憶手段30に書き込み、注視点分布を更新する(ステップS247)。一方、視線測定装置1Bは、注視点確率が予め定められた所定の閾値th1未満である場合(ステップS246においてNo)、注視点分布を更新することなく、ステップS248に進む。
次に、視線測定装置1Bは、統合手段403Bによって、確率取得手段401Bによって取得された注視点確率に従って、注視点同期手段20によって同期された複数の注視点を加重平均するか、あるいは、注視点同期手段20によって同期された複数の注視点の中から注視点確率の最も高いものを選択することで、複数の注視点を一つに統合する(ステップS248)。これにより、注視点の統合処理が終了する。
なお、視線測定装置1Bが映像遅延手段60および重畳映像生成手段70を備える場合(図17参照)は、前記した注視点の統合処理後に以下の処理が追加される。視線測定装置1Bは、まず、映像遅延手段60によって、映像入力手段50から入力された映像を注視点抽出手段10Aにおける抽出処理時間と、注視点同期手段20における同期処理時間と、注視点統合手段40Bにおける統合処理時間と、を合計した処理時間だけ遅延させる。次に、視線測定装置1Bは、重畳映像生成手段70によって、映像遅延手段60によって遅延された映像に対して、注視点統合手段40Bによって統合された注視点を重畳させることで、重畳映像を生成する。これにより、例えば図示しない表示装置等を用いて、ユーザUが映像のどの場面のどの座標を注視していたのかを視覚的に示す重畳映像を表示することができる。
[視線測定プログラム]
ここで、前記した視線測定装置1,1A,1Bは、一般的なコンピュータを、前記した各手段および各部として機能させるプログラムにより動作させることで実現することができる。このプログラムは、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
以上、本発明に係る視線測定装置および視線測定プログラムについて、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。
例えば、実施形態に係る視線測定装置1,1A,1Bでは、図1に示すように、4台の撮影装置C1〜C4を設置する例を示したが、撮影装置の台数は、2台(複数台)以上であれば特に限定されない。また、図1の例では、撮影装置C1〜C4を表示装置Dの画面の4隅に配置する例を示したが、ユーザUの眼球周辺を異なる位置および角度から撮影できるのであれば、撮影装置C1〜C4の設置位置は特に限定されない。
また、実施形態に係る視線測定装置1,1A,1Bでは、図3、図13及び図17に示すように、注視点抽出手段10,10Aが撮影装置C1〜C4の数に対応して複数設けられ、その注視点抽出手段10,10Aのそれぞれで注視点を抽出しているが、この注視点抽出手段10,10Aを一つのみ設け、複数の撮影装置C1〜C4から入力された眼球周辺画像Gからそれぞれ注視点を抽出してもよい。
また、実施形態に係る視線測定装置1,1A,1Bでは、図4および図15に示すように、視線ベクトル算出手段104によって算出された視線ベクトルを視線ベクトル校正手段105によって校正し、校正後の視線ベクトルを注視点算出手段106に出力する構成としたが、視線ベクトルの校正処理は必要に応じて行うものであるため省略してもよい。この場合、視線測定装置1,1A,1Bは、図4および図15に示す視線ベクトル算出手段104によって算出された視線ベクトルを校正することなく注視点算出手段106に出力する。
また、実施形態に係る視線測定装置1,1A,1Bでは、図3、図6、図13及び図17に示すように、注視点同期手段20によって、撮影装置C1〜C4によって同時刻に撮影された複数の眼球周辺画像Gに対応する複数の注視点を時間的に同期させているが、注視点抽出手段10,10Aによって抽出された注視点が既に時間的に同期している場合は、注視点同期手段20を設けずに、注視点抽出手段10から注視点統合手段40に直接複数の注視点を出力してもよい。なお、注視点抽出手段10,10Aによって抽出された注視点が既に時間的に同期している場合とは、具体的には、撮影装置C1〜C4に対応して設けられた複数の注視点抽出手段10,10Aにおける注視点処理時間が一致する場合を意味している。
また、実施形態に係る視線測定装置1,1Bでは、図3、図8、図17および図18に示すように、注視点分布記憶手段30が注視点分布を予め記憶し、確率取得手段401,401Bが当該注視点分布から注視点確率分布を算出する構成としたが、注視点分布記憶手段30が注視点分布と注視点確率分布の双方を記憶する構成としてもよい。この場合、注視点分布記憶手段30は、注視点分布と、当該注視点分布から予め算出された注視点確率分布と、を記憶する。そして、確率取得手段401は、注視点分布記憶手段30から注視点確率分布を取得し、当該注視点確率分布に対して、注視点同期手段20によって同期された注視点を照らし合わせることで、当該注視点の注視点確率を取得する。なお、この場合の注視点確率分布は、例えば確率分布の中心の座標と広がりのパラメータによって表現することができるため、注視点分布記憶手段30はこれらのパラメータを記憶してもよい。
また、実施形態に係る視線測定装置1Bでは、確率取得手段401Bが、注視点分布記憶手段30に記憶された注視点の数が所定の閾値th2未満であるか否かを判定することで、テンプレートマッチングの類似度(正規化相関値)に基づいた統合から注視点分布による統合へと切り替えているが、この切り替えの判定は、前記した注視点の数の他に、モデルの当てはまりの良さを示す指標(例えばAIC,BIC等の情報量基準)を用いてもよい。
なお、注視点確率分布は、個人差補正のための校正作業で得られる注視点のデータに基づいて作成してもよいし、過去にユーザUについて測定した注視点のデータに基づいて作成してもよい。また、注視点確率分布は、代表的な座標における確率を示した表形式で用意しても良いし、パラメトリックなモデルで表現してもよい。
また、実施形態に係る視線測定装置1,1A,1Bは、撮影装置C1〜C4によって撮影された眼球周辺画像G(図5参照)を一時的に蓄積するメモリ(図示せず)をさらに備えていてもよい。視線測定装置1,1A,1Bは、視線ベクトル算出手段104によって算出された視線ベクトルや、注視点算出手段106によって算出された注視点を蓄積するメモリ(図示せず)をさらに備えていてもよい。この場合、撮影装置C1〜C4によって撮影され、図示しないメモリに記憶された眼球周辺画像Gは、眼球位置検出手段101,101Aによって適宜読み出される。また、視線ベクトル算出手段104Aによって算出され、図示しないメモリに記憶された視線ベクトルは、視線ベクトル校正手段105によって適宜読み出される。また、注視点算出手段106によって算出され、図示しないメモリに記憶された注視点は、注視点同期手段20によって適宜読み出される。
また、実施形態に係る視線測定装置1,1A,1Bは、予め生成された校正データを記憶するメモリ(図示せず)を備えていてもよい。このメモリは、半導体メモリ等の一般的な記憶手段とすることができる。なお、このメモリを、例えば、FIFO(First In First Out)バッファとし、予め定めた回数の校正データのみを記憶することとし、予め定めた回数を超えて新しい校正データが入力された場合、最も古い校正データを削除し、新しい校正データを記憶するように構成してもよい。これにより、誤った校正データが記憶された場合であっても、再度校正をやり直すことで、正しい校正データが記憶されることとなる。このようなメモリに記憶された校正データは、視線ベクトル校正手段105によって逐次参照されることとなる。