JP4936491B2 - 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム - Google Patents

Description

人物の視線方向の推定は、たとえば、マンマシンインタフェースの１つの方法として従来研究されてきた。

視線計測について、従来のカメラを利用した手法では、カメラの設置位置によって「頭部装着型」と「非装着型」に分類できる。一般的に「頭部装着型」は精度は高いが、ユーザの負担が大きい。またカメラの座標系が頭部の動きに連動するため、注視対象を判別するためには、外界の座標系と結び付ける工夫が必要となる。

具体的な手法としては、近赤外の点光源（Light Emitting Diode:LED）を目に照射し、角膜で反射された光源像と瞳孔の位置から視線を推定する瞳孔角膜反射法が良く知られており、「頭部装着型」または「非装着型」の両方に利用されている。赤外照明によって瞳孔と虹彩のコントラストは可視光照明より高くなり、瞳孔を検出しやすくなるが、その直径は数ミリで、また赤外光源の反射像もごく小さなスポットとして映るため、解像度の高い画像が要求される。そのため、片目をできるだけ大きく撮像することになる。その結果、「非装着型」の場合、顔が少し動くと目がカメラ視界から外れるという問題がある。

角膜反射を利用しない「非装着型」による視線推定手法については、ステレオカメラ方式と単眼カメラ方式の大きく２種類に分けられる。

ステレオカメラ方式では、まず顔の特徴点（人為的に貼付したマーカや目尻などの自然特徴点など）の３次元位置を２眼ステレオにより推定し、それをもとに眼球中心位置を推定する手法である。視線方向は、求まった眼球中心位置と画像中の瞳孔位置・虹彩位置を結ぶ直線として推定される。しかし、事前にカメラ間のキャリブレーションが必要であるため、カメラの観測範囲の変更は容易ではないという問題がある。

一方、単眼カメラによる方式では、カメラと顔の距離が離れても、ズームなどにより必要な画像解像度が得られれば視線が推定できる。

単眼カメラによる方式では、眼の画像パターンから視線を推定するニューラルネットワークによる手法や、観測時の虹彩の楕円形状から視線方向（虹彩の法線方向）を推定する手法、ステレオカメラ方式と同じように特徴点を抽出して虹彩位置との幾何学的関係から視線を推定する手法がある。

これらのうち、顔の上の特徴点と虹彩との相対的位置関係から視線を推定する方法は直感的に理解しやすいことから、早くから検討されてきた。

青山らは顔の向きの変化にも対応するため、左右の目尻と口の両端（口角）から形成される台形を利用して顔の向きを推定すると同時に、両目尻の中点と左右の虹彩の中点の差から正面視からの目の片寄り量を推定し、両方合わせて視線方向を推定する原理を示した（たとえば、非特許文献１を参照）。

伊藤らは目の近くに指標点となるサージカルテープなどを貼付し、その指標マークと虹彩の相対位置変化から視線方向を推定するシステムを肢体不自由者のコミュニケーションの手段として検討している（たとえば、非特許文献２を参照）。この場合、顔をキャリブレーション時と同じ姿勢に保つ必要がある。

三宅らは眼球の幾何学的モデルから、２つの眼球の中心を結ぶ直線が顔表面と交差する左右の点を参照点とすれば、画像上のその中点と左右の虹彩の中点から、顔の向きに関係なく視線方向が計算できることを示した（たとえば、非特許文献３を参照）。

川戸らは、４つの参照点を利用する顔の向きに影響されない視線方向推定方法を提案した（たとえば、非特許文献４を参照）。４つの参照点は原理的には同一平面上でなければ位置的な制限はなく、４つの参照点から眼球中心を推定し、眼球中心と虹彩中心を結ぶ直線として視線方向を推定するものである。

なお、以下に説明する本発明の視線方向の推定方法においては、画像中からまず人物の顔を検出する。そこで、従来の画像中からの顔の検出手法の従来技術については、以下のようなものがある。

つまり、これまでに、肌色情報を用いた顔検出システムや、色情報を用いない（濃淡情報を用いる）顔検出手法では、テンプレートマッチングやニューラルネットワーク等の学習的手法を利用した手法については報告が数多くなされている。

たとえば、安定性が高く、かつ実時間での顔の追跡が可能な手法として、安定した顔の特徴点として両目の間の点（以下では眉間（Ｂｅｔｗｅｅｎ−ｔｈｅ−Ｅｙｅｓ）と呼ぶ）に着目し、眉間の周囲は、額部と鼻筋は相対的に明るく、両サイドの目と眉の部分は暗いパターンになっており、それを検出するリング周波数フィルタを用いるとの手法が提案されている（たとえば、非特許文献５、特許文献１を参照）。

さらに、他の手法として、たとえば、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出し、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する、というような顔を検出する方法も提案されている（たとえば、特許文献２を参照）。

さらに、顔画像中から鼻位置をリアルタイムで追跡する手法についても報告されている（たとえば、非特許文献６を参照）。

特開２００１−５２１７６号公報明細書 特開２００４−１８５６１１号公報明細書

青山宏、河越正弘：「顔の面対称性を利用した視線感知法」情処研報89−CV−61、pp.1-8（1989）。 伊藤，数藤：「画像センサを用いた眼球運動による意思伝達システム」信学技報WIT99−39（２０００）。 三宅哲夫、春田誠司、堀畑聡：「顔の向きに依存しない特徴量を用いた注視判定法」信学論（Ｄ−ＩＩ）、Vol．J86−D-II、No．12、 pp．1737−1744（2003）。 川戸、内海、安部：「４つの参照点と３枚のキャリブレーション画像に基づく単眼カメラからの視線推定」画像の認識・理解シンポジウム（MIRU2005），pp．1337−1342（2005）。 川戸慎二郎、鉄谷信二、"リング周波数フィルタを利用した眉間の実時間検出"信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，ｎｏ１２，ｐｐ．２５７７−２５８４，Ｄｅｃ．２００１。 川戸慎二郎、鉄谷信二：鼻位置の検出とリアルタイム追跡：信学技報IE2002−263、pp．25−29（2003）。

しかしながら、従来の単眼カメラによる方式の視線検出のための手法では、参照点として人為的なマークが必要であるという問題があった。

それゆえに本発明の目的は、カメラにより撮影された画像情報に基づいて、人為的なマーカを用いることなく、リアルタイムに視線を追跡する視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラムを提供することである。

この発明のさらに他の目的は、１つのカメラ（単眼カメラ）により撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラムを提供することである。

この発明のある局面に従うと、視線方向の推定装置であって、視線推定の対象となる人間の顔領域を含む対象画像領域内の各画素に対応する画像を、時間軸で連続する複数の画像フレームとして撮影して獲得するための単眼の撮像手段と、前記撮像手段により撮影された前記複数の画像フレームに基づき、前記顔領域内の複数の特徴点を抽出する特徴点抽出手段と、前記複数の画像フレームのうち前記対象となる人間についての視線の推定を行う推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記人間の眼球中心の３次元の位置である眼球中心位置を、前記推定処理の対象の画像フレームにおける推定初期位置として使用するために事前に特定する推定初期位置特定手段とを備え、前記推定初期位置特定手段は、前記推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記対象となる人間の顔３次元モデルに基づいて、前記抽出された特徴点間の相対的な３次元の位置関係を特定し、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、前記相対的な３次元の位置関係において前記推定初期位置を特定し、前記推定処理の対象の画像フレームにおいて、予め特定された前記相対的な３次元の位置関係を用いて、前記推定初期位置に基づき、前記眼球中心位置の推定処理を実行する眼球中心推定手段と、前記推定処理の対象の前記画像フレームの画像領域内において、虹彩の領域と前記虹彩の形状のモデルとを照合することで、虹彩中心が前記画像に投影される虹彩中心位置を抽出する虹彩中心抽出手段と、前記推定処理の対象の前記画像フレームの画像において抽出された前記虹彩中心位置と前記眼球中心の位置とに基づき、前記眼球中心と前記虹彩中心とを結ぶ３次元直線の方向として、視線方向を推定する視線推定手段とをさらに備える。

好ましくは、前記推定初期位置特定手段は、前記視線推定の対象となる人間が、前記撮像手段を注視していない状態の画像フレームに基づき、前記顔３次元モデルを生成する顔モデル生成手段を含み、前記顔モデル生成手段は、前記特徴点抽出手段により抽出された眼球中心以外の特徴点間の相対的な位置関係を特定し、複数の画像フレームの各々における虹彩中心位置と前記撮像手段の姿勢情報とから、正規化された顔座標における眼球中心位置の初期位置を特定して、校正用画像の目の周辺領域から、虹彩、白目、肌領域を判別して、眼球中心位置、虹彩位置、眼球半径、虹彩半径が、判別結果にフィットするように特定することで、前記顔３次元モデルを生成する。

好ましくは、前記虹彩中心抽出手段は、前記特徴点抽出手段により特定された前記特徴点に対して、校正時に特定されている眼球３次元モデルに基づき、前記特徴点から求まる射影行列により、前記眼球中心位置の画像への投影位置を求め、前記眼球３次元モデルにより、前記虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように虹彩中心位置を特定し、前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する。

好ましくは、前記推定初期位置特定手段は、前記視線推定の対象となる人間以外の複数の被験者について、事前に、前記顔３次元モデルの生成を行い、予め複数の前記被験者について求めた平均値として、顔座標における眼球中心位置の初期位置を特定する。

好ましくは、前記虹彩中心抽出手段は、前記特徴点抽出手段により特定された前記特徴点に対して、上記初期位置を始めとして、現在のフレームよりも、前のフレームまでの非線形最適化処理により、各フレームごとに、眼球３次元モデルにより、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、虹彩中心位置および眼球中心位置を特定し、前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する。

好ましくは、前記推定初期位置特定手段は、前記特徴点抽出手段により抽出された複数の前記特徴点について、前記顔領域内での前記複数の特徴点の間の相対的な３次元の位置関係を特定する相対関係特定手段を含み、前記相対関係特定手段は、複数の較正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、前記計測行列を因子分解により、前記撮像手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む。

好ましくは、前記眼球中心推定手段は、撮影された画像フレーム内において観測された前記特徴点と前記較正用画像における特徴点との対応付けを行なう特徴点特定手段と、前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する。

本発明の実施の形態にかかるシステムの外観図である。 視線検出装置の外観を示す図である。 本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。 ＣＰＵ５６が、視線方向推定のプログラムに基づいて行なうソフトウェア処理を示す機能ブロック図である。 眉間候補領域を検出するためのフィルタを説明するための概念図である。 ６分割矩形フィルタの他の構成を示す概念図である。 眉間を中心とした画像領域を利用してＳＶＭによるモデル化を説明する図である。 顔検出結果の例を示す図である。 視線方向を決定するためのモデルを説明する概念図である。 ユーザがカメラを注視する状態に移行した後の虹彩中心、眼球中心および投影点の関係を示す概念図である。 視線方向の推定装置の初期設定の処理のフローを説明するためのフローチャートである。 キャリブレーションにおいて撮影された４枚の画像フレームを示す図である。 視線方向の推定装置が実行するリアルタイム視線検出の処理のフローを説明するためのフローチャートである。 右上方注視の状態での視線推定結果を示す図である。 上方注視の状態での視線推定結果を示す図である。 左下方向注視の状態での視線推定結果を示す図である。 実施の形態２の視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。 眼球モデルパラメータの推定処理の手続きを示す図である。 再投影とずれの関係を示す概念図である。 ラベリング処理例を示す図である。 虹彩とモデルとの照合処理の概念を示す図である。 キャリブレーションにより得られた顔モデルを用いて、視線推定を行なった結果を示す図である。 眼球モデルパラメータの推定における「非線形最適化処理」を説明するための概念図である。 視線推定のために虹彩中位置を決定する処理を示す概念図である。 眼球モデルパラメータの推定処理を「逐次型眼球モデル推定」の処理に置き換えた場合の処理の流れを説明する概念図である。

［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態１にかかる「視線方向の推定装置」について説明する。この視線方向の推定装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像に基づいて、視線方向を推定・検出するためのものである。図１に、この視線方向の推定装置の外観を示す。

ただし、以下に説明する「視線方向の推定装置」の各機能の一部または全部は、ハードウェアにより実現されてもよい。

図１を参照して、この視線方向の推定装置を構成するシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）ドライブ（以下、「光学ディスクドライブ」と呼ぶ）５０、あるいはＦＤ（Flexible Disk ）ドライブ５２のような記録媒体からデータを読み取るためのドライブ装置を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むための単眼カメラ３０とを含む。この実施の形態の装置では、単眼カメラ３０としてはＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサのような固体撮像素子を含むカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の顔の位置および視線を推定・検出する処理を行なうものとする。

すなわち、カメラ３０により、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。

なお、カメラ３０は、必ずしも単眼カメラに限定される訳ではなく、複数の視点からの画像に基づいて、以下に説明するような視線方向の推定を行なうことも可能であるが、以下の説明でも明らかとなるように、本発明の視線方向の推定装置では、単眼カメラからの画像情報のみに基づいた場合でも、視線の推定を行なうことが可能である。

図２は、カメラ３０により撮影された画像に基づいて、コンピュータ本体４０の処理結果がディスプレイ４２に表示される一例を示す図である。

図２に示すように、カメラ３０で撮影された画像は、ディスプレイ４２の撮影画像表示領域２００にリアルタイムに動画として表示される。特に限定されないが、たとえば、撮影画像表示領域２００上に、視線方向を示す指標として、眉間から視線方向に延びる線分を表示してもよい。

図３に、このシステム２０の構成をブロック図形式で示す。図３に示されるようにこのシステム２０を構成するコンピュータ本体４０は、光学ディスクドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。光学ディスクドライブ５０にはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。

既に述べたようにこの視線方向の推定装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４等の記憶媒体に格納されて流通し、光学ドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。

図１および図３に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭ（またはＤＶＤ−ＲＯＭ）６２、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視線方向の推定装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視線方向の推定装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［システムの機能ブロック］
以下に説明するとおり、本発明の視線方向の推定装置では、顔特徴点を検出・追跡することにより、単眼カメラで視線方向を推定する。

本発明の視線方向の推定装置では、眼球中心と虹彩中心を結ぶ３次元直線を視線方向として推定する。眼球中心は画像からは直接観測することはできないが、カメラを注視している場合には眼球中心と虹彩中心が同じ位置に観測されることを利用し、眼球中心と顔特徴点との相対関係をモデル化することにより、眼球中心の投影位置を推定する。

初期校正（キャリブレーション）では、ユーザがカメラを注視しながら顔の向きが異なる、２枚以上の画像フレーム列を取得し、顔特徴点と虹彩中心を抽出・追跡することにより、顔特徴点と眼球中心との相対関係をモデル化する。

視線推定時には、撮影画像から顔特徴点を追跡することで、眼球中心の投影位置を推定し、その点と虹彩中心とを結ぶ３次元ベクトルを視線方向として推定する。

以下では、本発明による視線の検知のための構成の概略について説明する。
図４は、図３に示したＣＰＵ５６が、ハードディスク５４等に格納されたプログラムに基づいて行なうソフトウェア処理を示す機能ブロック図である。なお、上述のとおり、この機能ブロックの全部または一部は、専用のハードウェアにより実行される構成としてもよい。

視線方向の推定装置のシステム２０の処理は、単眼カメラ３０をベースとしており、顔位置の検出が可能で光学的に十分なズーム比が得られれば観測距離の制約を受けない。

以下では、何らかの手続き、たとえば、ユーザによるカメラの調整等によりあらかじめ大まかな人物顔位置が与えられることを仮定している。

カメラ３０により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、たとえば、ハードディスク５４のような記憶装置に格納される。

顔検出部５６０６では、キャプチャされたフレーム画像列に対して６分割矩形フィルタによる顔候補探索（眉間の候補位置の探索）と、探索された眉間の候補位置のうちから、左右の目についてのテンプレートマッチングなどの処理を用いた識別処理を適用することにより画像中の顔位置（両目位置）を検出する。

次に、顔領域抽出部５６０８は、求まった両目位置から虹彩中心、鼻位置を抽出する。
さらに、特徴点抽出部５６１０は、抽出された顔や鼻、目（虹彩）の位置を利用し、複数の特徴点の抽出および追跡を行なって、顔領域内の画像特徴点を検出する。なお、画像特徴点周辺のテクスチャは、キャリブレーション時において追跡のためのテンプレートとして保持しておき、さらに適宜更新して、フレーム間の特徴点の対応づけに利用する。一方、虹彩中心抽出部５６１２は、後に説明するように、目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩の中心の投影位置を検出する。相対関係特定部５６１４は、キャリブレーション時に、眼球中心および特徴点の３次元的な相対位置関係を後に説明するようにモデルとして特定する。眼球中心推定部５６１６は、特徴点の投影位置と相対位置関係のモデルとを用いて、眼球の中心位置を推定する。

視線方向推定部５６１８は、抽出された虹彩の中心の投影位置と推定された眼球の中心位置とに基づいて、視線方向を推定する。

また、表示制御部５６３０は、以上のようにして推定された視線の方向を、取得された画像フレーム上に表示するための処理を行なう。

すなわち、視線方向の推定装置のシステム２０では、特徴点の追跡処理の安定性を確保するため、同一特徴点に関して異なるフレームにおける複数の観測テクスチャを保持している。初期校正過程では、これらの特徴点と虹彩中心の関係から顔特徴点と眼球中心の相対関係を求める。視線推定過程では、校正過程で得られた関係を元に現フレームで得られている特徴点群から眼球中心位置を推定し、その位置と虹彩中心位置から視線方向を決定する。

［視線方向の推定処理の動作］
（顔検出処理）
以下では、まず、視線方向の推定の前提として行なわれる顔検出処理について説明する。

（６分割矩形フィルタによる顔検出処理）
視線方向の推定装置のシステム２０では、特に限定されないが、たとえば、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルターで画面を走査する。矩形は、たとえば、３×２に６分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。

連続した画素が眉間候補となるときは、それを取囲む枠の中心候補のみを眉間候補として残す。残った眉間候補を標準パターンと比較してテンプレートマッチング等を行なうことで、上述した手続きで得られた眉間候補のうちから、偽の眉間候補を捨て、真の眉間を抽出する。

以下、本発明の顔検出の手続きについて、さらに詳しく説明する。
（６分割矩形フィルタ）
図５は、眉間候補領域を検出するためのフィルタを説明するための概念図である。

図５（ａ）は、上述した３×２に６分割された矩形フィルタ（以下、「６分割矩形フィルタ」と呼ぶ）を示す図である。

６分割矩形フィルタは、１）鼻筋は両目領域よりも明るい、２）目領域は頬部よりも暗い、という顔の特徴を抽出し、顔の眉間位置を求めるフィルタである。点（ｘ、ｙ）を中心として、横ｉ画素、縦ｊ画素（ｉ，ｊ：自然数）の矩形の枠を設ける。

図５（ａ）のように、この矩形の枠を、横に３等分、縦に２等分して、６個のブロックＳ１〜Ｓ６に分割する。

図５（ｂ）は、このような６分割矩形フィルタを顔画像の両目領域および頬部に当てはめた状態を示す。

図６は、６分割矩形フィルタの他の構成を示す概念図である。
鼻筋の部分が目の領域よりも通常は狭いことを考慮すると、ブロックＳ２およびＳ５の横幅ｗ２は、ブロックＳ１，Ｓ３，Ｓ４およびＳ６の横幅ｗ１よりも狭い方がより望ましい。好ましくは、幅ｗ２は幅ｗ１の半分とすることができる。図６は、このような場合の６分割矩形フィルタの構成を示す。また、ブロックＳ１、Ｓ２およびＳ３の縦幅ｈ１と、ブロックＳ４、Ｓ５およびＳ６の縦幅ｈ２とは、必ずしも同一である必要もない。

図６に示す６分割矩形フィルタにおいて、それぞれのブロックＳｉ（１≦ｉ≦６）について、画素の輝度の平均値「バーＳｉ」（Ｓｉに上付きの“−”をつける）を求める。

ブロックＳ１に１つの目と眉が存在し、ブロックＳ３に他の目と眉が存在するものとすると、以下の関係式（１）が成り立つ。

そこで、これらの関係を満たす点を眉間候補（顔候補）として抽出する。
矩形枠内の画素の総和を求める処理について、公知の文献（P. Viola and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Proc. Of IEEE Conf. CVPR,1,pp.511-518, 2001）において開示されている、インテグラルイメージ（Ｉｎｔｅｇｒａｌ Ｉｍａｇｅ）を利用した計算の高速化手法を取り入れることができる。インテグラルイメージを利用することでフィルタの大きさに依らず高速に実行することができる。多重解像度画像に本手法を適用することにより、画像上の顔の大きさが変化した場合にも顔候補の抽出が可能となる。

このようにして得られた眉間候補（顔候補）に対しては、両目の標準パターンとのテンプレートマッチングにより、真の眉間位置（真の顔領域）を特定することができる。

なお、得られた顔候補に対して、サポートベクトルマシン（ＳＶＭ）による顔モデルによる検証処理を適用し顔領域を決定することもできる。髪型の違いや髭の有無、表情変化による認識率の低下を避けるため、たとえば、図７に示すように、眉間を中心とした画像領域を利用してＳＶＭによるモデル化を行なうことができる。なお、このようなＳＶＭによる真の顔領域の決定については、文献：S．Kawato，N．Tetsutani and K．Hosaka：“Scale-adaptive face detection and tracking in real time with ssr fi1ters and support vector machine”，IEICE Trans．on Info．and Sys., E88−D，12，pp．2857−2863（2005）に開示されている。６分割矩形フィルタによる高速候補抽出とＳＶＭによる処理とを組合わせることで実時間の顔検出が可能である。

（目・鼻の検出処理）
続いて、目、鼻や虹彩中心の位置を、上述した非特許文献４や非特許文献６の手法を用いて抽出する
両目の位置については、前節の顔領域検出で眉間のパターンを探索しているため、眉間の両側の暗い領域を再探索することにより、大まかな両目の位置を推定することができる。しかし、視線方向の推定のためには、虹彩中心をより正確に抽出する必要がある。ここでは、上で求まった目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩および虹彩の中心の投影位置を検出する。

鼻の位置は、鼻先が凸曲面であるため周囲に対し明るい点として観測されやすいことと、両目の位置から鼻の存在範囲が限定できることを利用して抽出する。また、両目、鼻の位置を用いて、大体の顔の向きも推定できる。

図８は、顔検出結果の例を示す図である。検出された顔において、虹彩中心や鼻先や口なども検出されている。たとえば、特徴点としては、鼻先や、左右の目の目尻や目頭、口の両端、鼻腔中心などを用いることができる。

（視線推定）
（視線推定の原理）
本発明では、視線方向は眼球中心と虹彩中心を結ぶ３次元直線として与えられるとする。

図９は、視線方向を決定するためのモデルを説明する概念図である。
画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。

式（３）により、視線方向を推定するためには、画像上での眼球半径と眼球中心・虹彩中心の投影位置が必要となる。ここで、虹彩中心の投影位置については、上述したとおり、ハフ変換を用いた手法により求めることができる。画像上での眼球直径ｒは、解剖学的なモデル（標準的な人の眼球直径）を用いてもよいし、別途キャリブレーションにより求めてもよい。

図１０は、図９に示した状態から、ユーザがカメラを注視する状態に移行した後の虹彩中心、眼球中心および投影点の関係を示す概念図である。

眼球中心の投影位置については、一般には、画像から直接観測することはできない。しかし、ユーザがカメラを注視した場合について考えると、図１０に示すとおり、カメラ、虹彩中心、眼球中心の３点が１直線上に並ぶため、画像では虹彩中心と眼球中心は同一点に投影されることがわかる。

そこで、本発明では、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影し、これらの画像列から虹彩位置と顔特徴点を抽出・追跡することにより、眼球中心と顔特徴点間の相対幾何関係を推定する。

後により詳しく説明するように、本発明の視線方向の推定装置では、眼球中心と顔特徴点間の相対関係の推定処理と眼球中心の投影位置推定とを行なう。

（顔特徴点の追跡による視線推定）
図１１は、視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。

まず、キャリブレーション用の画像列として、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影する（ステップＳ１０２）。

図１２は、このようにしてキャリブレーションにおいて撮影された４枚の画像フレームを示す。

ここでは、より一般に、Ｎ（Ｎ≧２）枚の画像列が得られたとする。各画像フレームを、フレームＩ₁，…Ｉ_Ｎとする。

次に、得られた各画像フレーム列に対して、上述したような方法によって顔検出部５６０６が顔検出処理を行ない（ステップＳ１０４）、続いて、顔領域抽出部５６０８が、目や鼻の検出処理を行なう（ステップＳ１０６）。

さらに、特徴点抽出部５６１０が特徴点の抽出・追跡を行なう（ステップＳ１０８）。なお、特徴点の抽出方法としては、上述したような方法の他に、たとえば、文献：J．Shiand C．Tomasi：“Good features to track”，Proc. CVPR94，pp．593−600（1994）で提案された手法を用いることもできる。

ここで、各画像フレームＩ_ｉ（ｉ＝１，…，Ｎ）においてＭ（Ｍ≧４）点の特徴点ｐ_ｊ（ｊ＝１，…，Ｍ）が検出・追跡できたとする。画像フレームＩ_ｉにおける特徴点ｐ_ｊの２次元観測位置をｘ_ｊ ^（ｉ）（太字）＝［ｘ_ｊ ^（ｉ），ｙ_ｊ ^（ｉ）］^ｔ（ｉ＝１，…，Ｎ，ｊ＝１，…，Ｍ）とし、両目の虹彩中心の２次元観測位置をそれぞれｘ_ｒ ^（ｉ）（太字）＝［ｘ_ｒ ^（ｉ），ｙ_ｒ ^（ｉ）］^ｔ，ｘ_ｌ ^（ｉ）（太字）＝［ｘ_ｌ ^（ｉ），ｙ_ｌ ^（ｉ）］^ｔ（ｉ＝１，…，Ｎ）とする。ここで、行列Ｗを以下のように定義する。

因子分解法により、特徴点の各フレームでの２次元観測位置を縦に並べた行列Ｗ（計測行列）は以下のように分解できる。

ここで、行列Ｍ（「撮影姿勢行列）と呼ぶ）にはカメラの姿勢に関する情報のみが、行列Ｓ（「相対位置関係行列」と呼ぶ）には観測対象物の形状に関する情報のみが含まれており、顔特徴点と眼球中心との３次元的な位置の相対関係は行列Ｓとして求まる（ステップＳ１１０）。すなわち、正射影を仮定すると、行列Ｍの各要素が画像フレームでのカメラの姿勢を表す単位ベクトルであって、それぞれの大きさが１であり相互には直交するとの拘束条件のもとで、行列Ｗは、特異値分解により一義的に行列Ｍと行列Ｓの積に分解できることが知られている。なお、このような計測行列Ｗを、因子分解により、カメラの運動の情報を表す行列と対象物の形状情報を表す行列へ分解する点については、文献：金出，ポールマン，森田：因子分解法による物体形状とカメラ運動の復元”，電子通信学会論文誌Ｄ−ＩＩ，Ｊ７６−Ｄ−ＩＩ，８，ｐｐ．１４９７−１５０５（１９９３）に開示がある。

（視線方向推定処理）
図１３は、リアルタイムの視線方向の推定処理のフローチャートを示す。

次に、以上で得られた結果を用いて、視線方向を推定する手順について説明する。
まず、カメラ３０から画像フレームを取得すると（ステップＳ２００）、キャリブレーション時と同様にして、顔の検出および目鼻の検出が行なわれ（ステップＳ２０２）、取得された画像フレーム中の特徴点が抽出される（ステップＳ２０４）。

画像フレームＩ_ｋが得られたとする。ここで、眼球中心以外の特徴点のうちｍ点ｐ_ｊ（ｊ＝ｊ_１，…，ｊ_ｍ）が、それぞれ、ｘ_ｊ ^（ｋ）（太字）＝［ｘ_ｊ ^（ｋ），ｙ_ｊ ^（ｋ）］^ｔに観測されたとする。このとき、観測された特徴点について、上述したように特徴点近傍のテンプレートを用いたテンプレートマッチングを実施することで、キャリブレーション時に特定された特徴点と現画像フレーム中で観測された特徴点との対応付けが行なわれて、現画像フレーム中の特徴点が特定される（ステップＳ２０６）。

なお、上述のとおり、特徴点を特定するためのテンプレートは、キャリブレーションの時のものに限定されず、たとえば、最近の画像フレームの所定枚数について検出された特徴点の近傍の所定の大きさの領域内の画像を所定個数だけ保持しておき、これら所定枚数のテンプレートについてマッチングをした結果、もっとも一致度の高い特徴点に特定することとしてもよい。

顔特徴点ｐ_ｊの２次元観測位置ｘ_ｊ ^（ｋ）（太字）＝［ｘ_ｊ ^（ｋ），ｙ_ｊ ^（ｋ）］^ｔとキャリブレーションより求まった３次元位置ｓ_ｊ（太字）＝［Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ］^ｔ（ｊ＝１，…，Ｍ）の間には、Ｍ個の特徴点のうち観測されたｍ個の特徴点について注目すると、次式の関係が得られる。

ただし、行列Ｐ^（ｋ）は２×３の行列である。右辺の第２項の行列Ｓ^（ｋ）は行列Ｓのうち、観測された特徴点に対応する要素のみからなる部分行列である。上述の通り、カメラと顔は十分に離れているとし正射影を仮定している。ここで、４点以上の特徴点が観測されれば、行列Ｐ^（ｋ）は以下のように計算できる（ステップＳ２０８）。

画像フレームＩ_ｋにおける眼球中心の投影位置ｘ_ｒ ^（ｉ）（太字），ｘ_ｌ ^（ｉ）（太字）は、行列Ｐ^（ｋ）を用いて以下のように計算できる（ステップＳ２１０）。

したがって、画像フレームＩ_ｋにおいて特徴点として抽出した虹彩中心の投影位置とこの眼球中心の投影位置を用いると、視線の推定を行なうことができる（ステップＳ２１２）。

なお、行列ＰをＱＲ分解により分解することで、顔の姿勢Ｒが、以下のように計算できる。

ただしｒ_１、ｒ_２はそれぞれ１×３のベクトルである。このような顔の姿勢Ｒの検出については、文献：L．Quan：“Self-calibration of an affine camera from multiple views”，Int’l Journal of Computer Vision，19，pp．93−105（1996）に開示がある。

ユーザ等の指示により追跡が終了していると判断されれば（ステップＳ２１４）、処理は終了し、終了が指示されていなければ、処理はステップＳ２０２に復帰する。

（実 験）
以上説明した視線方向の推定装置の有効性を確認するため、実画像を用いた実験を行なった結果について以下に説明する。

カメラはElmo社製PTC−400Cを用い、被験者から約１５０［cm］の位置に設置した。
まず、５０フレームの画像列を用いて、眼球中心と顔特徴点のキャリブレーションを行なった。キャリブレーション用の画像フレーム列と抽出した特徴点の例は、図１２に示したとおりである。

キャリブレーション用画像フレーム列の撮影に要した時間は約３秒であった。（＋印は抽出された虹彩中心（眼球中心））、×印は追跡した顔特徴点）。

次に、キャリブレーションにより求まった顔モデル（行列Ｓ）を用いて、視線推定を行なった。ここで、被験者はそれぞれ右上、上、左下の方向を注視しながら、顔の位置・向きを変化させた。

図１４〜図１６は、視線推定結果を示す。図１４は、右上方注視の状態であり、図１５は、上方注視の状態であり、図１６は、左下方向注視の状態である。ここで、視線方向は両目それぞれで計算された視線方向の平均値としている。結果より、顔の位置・向きの変化とは関係なく、視線方向が推定できていることがわかる。

以上説明したとおり、実施の形態１の視線方向の推定装置では、単眼カメラの観測に基づいて顔特徴点を検出・追跡することにより視線方向を推定する。本発明の視線方向の推定装置では、まずキャリブレーションとして視線がカメラ方向を向いたまま顔の向きのみが異なる画像列から得られる虹彩位置と顔特徴点を利用することで、眼球中心と顔特徴点の関係をモデル化し（行列Ｓを特定し）、その後、その関係に基づいて推定された入力画像中の眼球中心位置と虹彩位置の関係から視線方向を決定する。

実施の形態１の視線方向の推定装置は、単眼カメラによるパッシブな観測画像から視線方向を推定するため、顔位置が検出可能で光学的に十分なズーム比を得ることができれば、推定処理は観測距離の制約を受けない。これにより従来の視線推定装置では実現が難しかった遠方にいる人物に対する視線方向推定が可能になる。

［実施の形態２］
実施の形態１の視線方向の推定装置においては、図１１において説明したとおり、まず、キャリブレーション用の画像列として、ユーザがカメラを注視しながら、顔の姿勢を変化させている画像フレーム列を撮影していた。

実施の形態２の視線方向の推定装置においては、以下に説明するとおり、ユーザが必ずしもカメラを注視していない状態の画像列を用いて、キャリブレーションを行なうことが可能である。したがって、視線方向推定の被験者（被推定者）の、自然な状態での画像の撮影のみで、視線方向の推定を開始でき、被推定者への負担を低減できる。

なお、キャリブレーション後の視線方向の推定処理自体は、実施の形態２の視線方向の推定装置の動作は、実施の形態１の視線方向の推定装置の動作と同様である。

（キャリブレーション処理）
図１７は、実施の形態２の視線方向の推定装置の初期設定として行なうキャリブレーションを説明するためのフローチャートである。

まず、キャリブレーション用の画像列として、ユーザが自由な方向を向き、顔の姿勢を変化させて画像列を取得する（ステップＳ３０２）。

（顔３次元モデルの生成）
以下の手続きにより、顔３次元モデルを生成する。

ここでは、Ｎ（Ｎ≧２）枚の画像列が得られたとする。各画像フレームを、フレームＩ₁，…Ｉ_Ｎとする。

次に、得られた各画像フレーム列に対して、実施の形態１と同様な方法によって顔検出部５６０６が顔検出処理を行ない（ステップＳ３０４）、続いて、顔領域抽出部５６０８が、目や鼻、虹彩の検出処理を行なう（ステップＳ３０６）。

さらに、特徴点抽出部５６１０が特徴点の抽出・追跡を行なう（ステップＳ３０８）。なお、特徴点の抽出方法も、実施の形態１と同様とする。

ここで、各画像フレームＩ_ｉ（ｉ＝１，…，Ｎ）においてＭ（Ｍ≧４）点の特徴点ｐ_ｊ（ｊ＝１，…，Ｍ）が検出・追跡できたとする。画像フレームＩ_ｉにおける特徴点ｐ_ｊの２次元観測位置をｘ_ｊ ^（ｉ）（太字）＝［ｘ_ｊ ^（ｉ），ｙ_ｊ ^（ｉ）］^ｔ（ｉ＝１，…，Ｎ，ｊ＝１，…，Ｍ）とする。

画像Ｉ_ｉにおける特徴点ｐ_ｊの２次元観測位置を以下のとおりとする。

画像Ｉ_ｉにおける特徴点の重心を以下の記号（１２）で表す。

同様にして、各観測位置を重心からの相対位置として、以下の記号（１３）で表す。

したがって、以下の式（１４）および式（１５）の関係が成り立つ。

このとき、相対観測位を並べた行列Ｗは、実施の形態１と同様にして、因子分解法により以下の式（１６）（１７）のように分解できる。ここで、カメラと顔は十分に離れているとし、弱透視変換を仮定している。

実施の形態１と同様に、行列Ｍ（「撮影姿勢行列」）にはカメラの姿勢変化に関する情報が、行列Ｓ（「相対位置関係行列」）には観測対象物の形状に関する情報が含まれており、顔特徴点間の相対関係は行列Ｓとして求められる（ステップＳ３１０）。

次に、画像Ｉ_ｋが得られ、Ｍ個の特徴点のうちp個がそれぞれ以下のように観測されたとする。

ここで、特徴点の重心位置を以下の記号（１８）で表す。

このとき、カメラの姿勢変化を表す行列ｍ_ｋおよび式（１８）で表される特徴点の重心位置は、以下の式（１９）のようにして求められる。

ただし、行列ｍ_ｋは２×３の行列、［］^＊は疑似逆行列を示す。
さらに、行列ｍ_ｋを式（２０）のようにＱＲ分解することで、画像Ｉ_ｋにおける顔の姿勢Ｒ_ｋ、位置ｔ_ｋが以下の式（２１）のように計算できる。

ただし、以下の式（２２）のｓ_ｋはスケールファクタを表す。

なお、上記の式（２０）に含まれるａｋは画像面の傾きを表わし、通常は０（ゼロ）とみなされる。

したがって、以下では、被験者の顔は、正規化された大きさを有するものとして扱うことができ、被験者とカメラの距離による画像中の顔の大きさの変化を考慮する必要がない。

さらに、後に詳しく説明する手順により、眼球モデルパラメータ（眼球中心位置、眼球半径、虹彩半径、画像上における虹彩位置）の推定を行なう（ステップＳ３１２）。

（眼球モデルパラメータの推定）
以下では、眼球モデルパラメータの推定処理について、さらに詳しく説明する。なお、以下の処理は、眼球中心推定部５６１６が行なうものである。

視線方向を推定するには、前節で求められた顔座標系における眼球中心位置Ｘ_｛ＬＲ｝（なお、以下では、下付文字｛ＬＲ｝は、左を意味するｌ、右を意味するｒを総称するものとして使用する）、および眼球半径ｌ、画像上における虹彩位置ｘ_{｛ＬＲ｝，ｋ}を求める必要がある。

入力画像において虹彩位置を効率的に決定するためには、さらに予め虹彩半径ｒを得ておくことが望ましい。

（眼球３次元モデルの生成）
図１８は、眼球モデルパラメータの推定処理の手続きを示す図である。

以下では、図１８を用いて、上述したキャリブレーションで用いたＮフレームの画像列を用いてこれらのパラメータを推定する処理について説明する。

（ステップ１：眼球中心位置初期値の算出）
まず、各フレームの顔位置・姿勢ｔ_ｋ，Ｒ_ｋ、位置ｔ_ｋ、スケールファクタｓ_ｋおよびステップＳ３０６で求めた虹彩位置から、ＲＡＮＳＡＣを利用して大まかな眼球中心位置を推定する。

（ＲＡＮＳＡＣ：Random sample consensus）
以下で説明するＲＡＮＳＡＣ処理は、外れ値を含むデータから安定にモデルパラメータを定めるための処理であり、これについては、たとえば、以下の文献に記載されているので、その処理の概略を説明するにとどめる。

文献：M.A.Fischler and R.C.Bolles:” Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,”Comm. Of the ACM, Vol.24, pp.381-395,1981
文献：大江統子、佐藤智和、横矢直和：“画像徳著点によるランドマークデータベースに基づくカメラ位置・姿勢推定”、画像の認識・理解シンポジウム（MIRU2005）２００５年７月
ＲＡＮＳＡＣにより観測データから眼球中心位置Ｘ_Ｌ，Ｘ_Ｒ（初期値）を計算する手順 式（１９）より、フレームｋにおけるカメラ幾何を表す行列ｍ_ｋおよび式（１８）で表される特徴点の重心位置を得る。

ここで行列ｍ_ｋには、式（２０），（２１）で示したように、フレームｋにおけるカメラの位置・姿勢および撮影像のスケールファクタの情報が含まれる。

画像から観測されるｉフレーム目の画像における虹彩中心位置を以下の式（２３）とする。

ランダムにｑ個のフレームｆ_１，ｆ_２，…，ｆ_ｑが選択されたとすると、それらの観測データから眼球中心位置は次式（２４）により計算できる。

得られた眼球中心位置を入力画像ｉ（ｉ＝１，…，Ｎ）上に再投影し、以下の式（２５）で表される虹彩中心とのずれｅ_ｉを評価する。

図１９は、このような再投影とずれの関係を示す概念図である。
眼球中心の再投影位置と虹彩中心位置は、眼球の回転によって最大でｓ_ｉｌのずれが生じ得るため、ずれ|ｅ_ｉ|がｓ_ｉｌ以下であれば、以下の式（２６）のとおり誤差ゼロとみなす（ｌは眼球半径、ｓ_ｉはスケールファクタ）。

誤差ｅ_ｉが一定値以下となるフレームが既定数以上あれば、それらのデータを利用して式（２４）により眼球中心位置を再度計算し、式（２６）により利用したフレームのデータに関する誤差を評価する。

以上の処理を複数回行ない、誤差の総計がもっとも小さくなるときの眼球中心位置を出力値とする。

（ステップ２：眼球モデルパラメータの推定）
得られた眼球中心位置を初期値として、入力画像群に対して眼球モデルを当てはめ最適なモデルパラメータを推定する。ここで、入力画像から目の周辺領域を切り出し、色および輝度情報をもとに、以下の式（２７）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。

ここで、ｈｓ,ｋは、肌領域のｋ番目の画素の色相（hue）の値を表わす。ｈｉ，ｊは、入力画像中の画素ｉ，ｊの色相の値を表わす。ｖｓ,ｋは、入力画像中の画素ｉ，ｊの明度の値を表わす。

図２０は、このようなラベリング処理例を示す図である。
続いて各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（非線形最適化）。

図２１は、このような虹彩とモデルとの照合処理の概念を示す図である。
このような非線形最適化処理を行なうにあたり、以下の距離ｄ_｛LR｝,i,jを導入する。

一方、ｒ_｛LR｝,i,jは虹彩中心から画素ｉ，ｊ（フレームｉのｊ番目の画素）方向の虹彩半径を示すとすると、図２１に示すとおり、画素ｉ，ｊが虹彩の外側にあれば、ｄ_｛LR｝,i,jは、ｒ_｛LR｝,i,jよりも大きな値を示す。

ｒ_｛LR｝,i,jは、以下の式（２９）に示すように、眼球中心位置、虹彩位置、眼球半径、虹彩半径の関数となる。

なお、顔の相対座標を正規化して考えているので、本来は、眼球中心位置は、フレームに拘わらず、一定の位置に存在するはずである。

最後に、眼周辺の全画素についてｄ_｛LR｝,i,jの評価を行ない、入力画像群に尤もよく当てはまる以下の式（３０）のモデルパラメータθを、式（３１）に従って決定する。

ここで、ｇ_i,j｛LR｝は、フレームi、画素jにおけるｄ_｛LR｝,i,jの評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。

ラベリングｕijが撮影された画像内の虹彩領域を反映し、関数Ｇ_i,j｛LR｝は、眼球モデルから算出される虹彩領域を反映している。

以上の処理により、ユーザが自由な方向を向いた状態の画像でキャリブレーションを行なうことができ、かつ、眼球モデルパラメータも決定できることになる。

以下、視線方向の推定処理の手続きについては、実施の形態１と同様である。
（視線方向の推定）
すなわち、視線方向は眼球中心と虹彩中心を結ぶ３次元直線として与えられるものとしてモデル化する。画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。

以上のような実施の形態２の視線方向の推定装置、推定方法によっても、視線方向の推定について実施の形態１と同様の効果を奏することが可能である。

（実験結果）
以上説明した手法の有効性を確認するため、実画像を用いた実験を行なった。まず、５０フレームの画像列を用いて、顔の位置・姿勢変化および眼球モデルパラメータのキャリブレーションを行なった。キャリブレーション用画像列の撮影に要した時間は約２秒であり、このときに得られた眼球半径および虹彩半径はそれぞれ１１．２１画素、６．２７画素であった。

図２２は、キャリブレーションにより得られた顔モデルを用いて、視線推定を行なった結果を示す図である。ここで、被験者はそれぞれ右、正面、左の方向を注視しながら、顔の位置・向きを変化させている（白×印は眼球中心の投影位置推定値）。ここで、視線方向は両目それぞれで計算された視線方向の平均値としている。結果より、顔の位置・向き変化がある場合でも提案手法により視線方向が推定できていることがわかる。

［実施の形態３]
実施の形態１および実施の形態２においては、まず、眼球モデルパラメータの推定処理を、たとえば、Ｎフレームの画像列を用いて行なってから、視線方向の推定処理に移っていた。このとき、視線方向の推定処理においては、虹彩中心を求めるために、たとえば、ハフ変換を用いた処理を行なうこととしていた。

たとえば、実施の形態２においては、図１８において説明したとおり、眼球モデルパラメータの推定処理において、まず、ステップ１として、「眼球中心の初期値の算出」を行ない、次に、ステップ２として、「眼球モデルパラメータの推定」を非線形最適化処理により行なっていた。

実施の形態３においては、さらに、視線方向の推定処理においても、虹彩中心位置を求めるために、「非線形最適化処理」を行なう例について説明する。

そこで、視線方向の推定処理での非線形最適化処理について説明する前提として、まずは、眼球モデルパラメータの推定における「非線形最適化処理」について、もう一度簡単にまとめる。

図２３は、このような眼球モデルパラメータの推定における「非線形最適化処理」を説明するための概念図である。

図２３を参照して、Ｎフレームの画像列を用いて、たとえば、実施の形態２と同様にして、ステップ１として、ＲＡＮＳＡＣを用いて、「眼球中心位置初期値の算出」を行なう。なお、眼球中心位置初期値としては、このようにして求めた値を用いることに限定されず、たとえば、解剖学的な知見から得られた平均的な値を用いることも可能である。

続いて、ステップ２として、得られた眼球中心位置を初期値として、入力画像群に対して眼球モデルを当てはめ最適なモデルパラメータを、逐次推定する。

フレーム１〜フレームＮについて、目の周辺領域を切り出し、色および輝度情報をもとに、前述した式（２７）に従って、虹彩（黒目）、白目、肌領域の３種類にラベル付けを行なう。

続いて、各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する（非線形最適化）。

すなわち、現時点のステップでのモデルパラメータに対応する、虹彩中心から画素ｉ，ｊ（フレームｉのｊ番目の画素）方向の虹彩半径ｒ_｛LR｝,i,jを用いて、式（２８）で表される距離ｄ_｛LR｝,i,jを評価する。

この評価では、上述した式（３０）（３１）を用いて、眼球モデルパラメータ（眼球半径、虹彩半径、眼球中心位置）を更新しつつ、眼球中心を再投影した画像とラベル付けされたフレームとを照合する処理を繰り返すことで、式（３１）を満たすようにモデルパラメータθを決定する。

（非線形最適化を用いた視線方向推定）
以上のようにして、モデルパラメータが決定された後に、新たに観測される入力画像について、ここまでで得られた顔・眼球の３次元モデルを利用して、視線方向を推定する。

図２４は、このような視線推定のために虹彩中位置を決定する処理を示す概念図である。ここで、このような虹彩中心位置の決定は、図１３で説明される視線方向推定処理のうち、ステップＳ２１２で行なわれる処理に対応する。

時刻tにおける画像It（フレームｔ）に対し、まず顔特徴点の追跡を行なう。顔特徴点がｘ_１ ^（ｔ）（太字），…，ｘ_Ｍ ^（ｔ）（太字）の位置にそれぞれ観測されたとする。

ここで、上述した式（８）（９）の行列Ｐ^（ｋ）（太字）は４点以上の顔特徴点が観測されれば計算できる。よって画像Itにおける行列Ｐ^（ｔ）（太字）と眼球中心の３次元位置Ｘ_｛ＬＲ｝（太字）を用いて、画像Itにおける両目の眼球中心位置（２次元）ｘ_{ｅ｛ＬＲ｝}（太字）は、以下のようにして計算できる。

続いて、虹彩中心位置を推定する。上で求まった眼球中心位置をもとに目周辺領域を切り出し、眼球モデルパラメータの推定時と同様に、図２０で説明したように以下の式にしたがって、色および輝度情報をもとに虹彩(黒目)、白目、肌領域の３種類にラベル付けを行なう。

続いて、やはり、図２１で説明した眼球モデルパラメータの推定時と同様に、以下の距離ｄ_｛LR｝,i,jを用いて、各画素が虹彩モデルの内側にあるかどうかをチェックし、眼球モデルとの照合度を評価する。

ここで、ｒ_{｛LR｝,ｔ,j}は、虹彩中心から画像Itの画素ｊ方向の虹彩半径を示しており、画像Itにおいて画素ｊが虹彩の外側にあれば、ｄ_{｛LR｝,ｔ,j}は正の値を示す。

ｒ_{｛LR｝,ｔ,j}は、眼球中心位置、虹彩位置、眼球半径、虹彩半径の関数となるが、眼球中心位置、眼球半径、虹彩半径は、眼球モデルパラメータとして既に得られている。

したがって、ｒ_{｛LR｝,ｔ,j}は、虹彩位置ｘ_{｛ＬＲ｝，ｔ}（太字）の関数と見なすことができるので、以下のように表現できる。

よって、眼周辺の全画素についてｄ_{｛LR｝,ｔ,j}の評価を行ない、画像Itに尤もよく当てはまるパラメータθ＝［ｘ_Ｌ，ｔ（太字），ｘ_Ｒ，ｔ（太字）］を、非線形最適化の手続きで決定することで、虹彩中心位置が計算できる。この非線形最適化の手続きにあたっては、以下の式について最適化を行なう。

ここで、ｇ_{ｔ,j｛LR｝}は、画像It、画素jにおけるｄ_{｛LR｝,ｔ,j}の評価値であり、対象画素が虹彩領域か白目領域かによって、以下の式に従い、符合を反転させる。

最後に、以上で求まった眼球中心位置と虹彩中心位置より視線方向を計算する。画像上での眼球半径をｌ、画像上での眼球中心と虹彩中心とのｘ軸方向、ｙ軸方向の距離をｄx、ｄyとすると、視線方向とカメラ光軸とのなす角、つまり、視線方向を向くベクトルがｘ軸およびｙ軸との成す角ψx、ψyは次式で表される。

ただし、画像上での眼球半径ｌは３次元眼球半径と行列Ｐ^（ｔ）から計算できる。
以上のような処理により、視線方向の推定処理において、虹彩位置を各フレームにおいて、非線形最適化により求めることとしたので、より高精度に視線方向の推定を行なうことが可能となる。

[実施の形態４]
実施の形態２および実施の形態３においては、眼球モデルパラメータの推定処理については、既に述べた複数フレーム画像を入力としたＲＡＮＳＡＣによる初期値推定と非線形最適化の組合せを用いていた。

しかし、実施の形態４では、実施の形態２または実施の形態３の構成において、「眼球モデルパラメータの推定処理」を、以下に説明するような「逐次型眼球モデル推定」の処理に置き換える。

図２５は、このような眼球モデルパラメータの推定処理を「逐次型眼球モデル推定」の処理に置き換えた場合の処理の流れを説明する概念図である。なお、実施の形態４でも、キャリブレーション処理において、顔３次元モデルの生成処理が、複数枚の画像に基づいてなされているものとする。

すなわち、実施の形態４の眼球モデルパラメータの推定処理については、既に述べた複数フレーム画像を入力としたＲＡＮＳＡＣによる初期値推定と非線形最適化の組合せではなく、平均的なモデルパラメータを初期値とした逐次型のアルゴリズムを用いることもできる。

図２５を参照して、このアルゴリズムの実装例について説明している。まずアルゴリズムの開始時点では、被験者実験により対象ユーザの平均値を求めておく等の方法で得た眼球位置Ｘ^０ _Ｌ（太字）、Ｘ^０ _Ｒ（太字）、大きさ眼球半径ｌ^０、虹彩半径ｒ^０を初期パラメータとして、眼球モデルパラメータをたとえばハードディスク５４に保持している。

ＣＰＵ５６は、第１フレームに対するラベリング結果および顔姿勢を入力として、初期パラメータを出発点として、実施の形態３で説明した視線方向推定の処理と同様の非線形最適化処理によって眼球モデルパラメータＸ^１ _Ｌ（太字）、Ｘ^１ _Ｒ（太字）、大きさ眼球半径ｌ^１、虹彩半径ｒ^１および第１フレームにおける虹彩中心位置ｘ_Ｌ，１（太字），ｘ_ｒ，１（太字）を得て、たとえば、ハードディスク５４に格納する。得られた虹彩中心位置および眼球中心位置から第１フレームにおける視線方向を計算することができる。

次フレーム以降の処理においては、前フレームで得られたモデルパラメータを初期値とし、新たに得られる入力データを加えて非線形最適化処理を行なうことでモデルパラメータの更新および当該フレームにおける虹彩中心位置の推定を行なうことができる。

このような処理を行なうと、Ｎフレームの画像を取得して、キャリブレーション処理により、顔３次元モデルの生成した後、さらに、眼球モデルパラメータの推定処理の終了を待ってから、視線の推定処理を開始する場合に比べて、視線方向の推定処理を短時間で開始できるという利点がある。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

２０ 視線方向の推定装置、３０ カメラ、４０ コンピュータ本体、４２ モニタ、５６０２ 画像キャプチャ処理部、５６０４ 画像データ記録処理部、５６０６ 顔検出部、５６０８ 顔領域抽出部、５６１０ 特徴点抽出部、５６１２ 虹彩中心抽出部、５６１４ 相対関係特定部、５６１６ 眼球中心推定部、５６１８ 視線方向推定部、５６３０ 表示制御部。

Claims (7)

1. 視線推定の対象となる人間の顔領域を含む対象画像領域内の各画素に対応する画像を、時間軸で連続する複数の画像フレームとして撮影して獲得するための単眼の撮像手段と、
   前記撮像手段により撮影された前記複数の画像フレームに基づき、前記顔領域内の複数の特徴点を抽出する特徴点抽出手段と、
   前記複数の画像フレームのうち前記対象となる人間についての視線の推定を行う推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記人間の眼球中心の３次元の位置である眼球中心位置を、前記推定処理の対象の画像フレームにおける推定初期位置として使用するために事前に特定する推定初期位置特定手段とを備え、
   前記推定初期位置特定手段は、前記推定処理の対象の画像フレーム以前の前記画像フレームにおいて、前記対象となる人間の顔３次元モデルに基づいて、前記抽出された特徴点間の相対的な３次元の位置関係を特定し、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、前記相対的な３次元の位置関係において前記推定初期位置を特定し、
   前記推定処理の対象の画像フレームにおいて、予め特定された前記相対的な３次元の位置関係を用いて、前記推定初期位置に基づき、前記眼球中心位置の推定処理を実行する眼球中心推定手段と、
   前記推定処理の対象の前記画像フレームの画像領域内において、虹彩の領域と前記虹彩の形状のモデルとを照合することで、虹彩中心が前記画像に投影される虹彩中心位置を抽出する虹彩中心抽出手段と、
   前記推定処理の対象の前記画像フレームの画像において抽出された前記虹彩中心位置と前記眼球中心の位置とに基づき、前記眼球中心と前記虹彩中心とを結ぶ３次元直線の方向として、視線方向を推定する視線推定手段とをさらに備える、視線方向の推定装置。
2. 前記推定初期位置特定手段は、
   前記視線推定の対象となる人間が、前記撮像手段を注視していない状態の画像フレームに基づき、前記顔３次元モデルを生成する顔モデル生成手段を含み、
   前記顔モデル生成手段は、前記特徴点抽出手段により抽出された眼球中心以外の特徴点間の相対的な位置関係を特定し、複数の画像フレームの各々における虹彩中心位置と前記撮像手段の姿勢情報とから、正規化された顔座標における眼球中心位置の初期位置を特定して、校正用画像の目の周辺領域から、虹彩、白目、肌領域を判別して、眼球中心位置、虹彩位置、眼球半径、虹彩半径が、判別結果にフィットするように特定することで、前記顔３次元モデルを生成する、請求項１記載の視線方向の推定装置。
3. 前記虹彩中心抽出手段は、
   前記特徴点抽出手段により特定された前記特徴点に対して、校正時に特定されている眼球３次元モデルに基づき、前記特徴点から求まる射影行列により、前記眼球中心位置の画像への投影位置を求め、前記眼球３次元モデルにより、前記虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように虹彩中心位置を特定し、
   前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項２記載の視線方向の推定装置。
4. 前記推定初期位置特定手段は、
   前記視線推定の対象となる人間以外の複数の被験者について、事前に、前記顔３次元モデルの生成を行い、予め複数の前記被験者について求めた平均値として、顔座標における眼球中心位置の初期位置を特定する、請求項１記載の視線方向の推定装置。
5. 前記虹彩中心抽出手段は、
   前記特徴点抽出手段により特定された前記特徴点に対して、上記初期位置を始めとして、現在のフレームよりも、前のフレームまでの非線形最適化処理により、各フレームごとに、眼球３次元モデルにより、虹彩中心の投影位置の関数として虹彩が投影される領域と、撮影された画像の目の周辺領域から得られる虹彩領域とが最もフィットするように、虹彩中心位置および眼球中心位置を特定し、
   前記視線推定手段は、前記虹彩中心抽出手段により特定された前記虹彩中心位置および前記眼球中心位置により視線を推定する、請求項４記載の視線方向の推定装置。
6. 前記推定初期位置特定手段は、
   前記特徴点抽出手段により抽出された複数の前記特徴点について、前記顔領域内での前記複数の特徴点の間の相対的な３次元の位置関係を特定する相対関係特定手段を含み、
   前記相対関係特定手段は、
   複数の較正用画像内の前記複数の特徴点の投影位置を抽出し、前記複数の特徴点の投影位置を要素として並べた計測行列を算出する計測行列算出手段と、
   前記計測行列を因子分解により、前記撮像手段の姿勢に関する情報を要素とする撮影姿勢行列と、前記複数の特徴点間の相対的な３次元の位置関に関する情報を要素とする相対位置関係行列とに分解する因子分解手段とを含む、請求項１記載の視線方向の推定装置。
7. 前記眼球中心推定手段は、
   撮影された画像フレーム内において観測された前記特徴点と前記較正用画像における特徴点との対応付けを行なう特徴点特定手段と、
   前記撮影された画像フレーム内において観測された前記特徴点についての前記相対位置関係行列の部分行列と、前記観測された特徴点とから前記眼球中心の投影位置を推定する、請求項６記載の視線方向の推定装置。