JP2016173313A - 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム - Google Patents

Abstract

【課題】演算処理の負荷を低減して視線方向を推定可能な視線方向推定システム、視線方向推定方法及び視線方向推定プログラムを提供する。【解決手段】視線方向推定システム１は、撮影対象の２次元画像及び距離画像を取得するカメラ１０と視線方向推定装置３０とを備え、視線方向推定装置３０は、顔の２次元画像及び距離画像を利用して座標系を設定する座標系設定部３１と、視線方向推定部３２を備える。視線方向推定部３２は、眼球モデルに基づいた虹彩の３次元的な輪郭を画像平面に投影した虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する。【選択図】図４

Description

本発明は、視線方向推定システム、視線方向推定方法及び視線方向推定プログラムに関する。

人間の視線方向を推定することは、例えば、車の運転手の行動解析、セキュリティモニタリング、人間の行動研究及び人間とコンピュータとのインターフェース等において重要である。視線方向推定の従来技術として、近年、撮影対象の２次元画像と、撮影対象までの距離情報を含む距離画像とを取得可能なＲＧＢ−Ｄカメラが利用されてきている。ＲＧＢ−Ｄカメラの例はマイクロソフト社製のＫｉｎｅｃｔ（登録商標）である。例えば、被特許文献１では、Ｋｉｎｅｃｔからの撮影画像情報と、眼球モデルとを利用して視線方向を推定している。そして、特許文献１では、視線方向の推定誤差が平均約１０°程度と報告されている。更に、特許文献２では、Ｋｉｎｅｃｔからの撮影画像情報及び眼球モデルの組み合わせに、更に学習プロセスを組み合わせることによって、視線方向の推定誤差が平均約３．４°程度と報告されている。

J. Li, S. Li, "Eye-Model-Based Gaze Estimation by RGB-D Camera,"Computer Vision and Pattern Recognition Workshops, pp. 592-596, 2014 K. A. F Mora, J. Odobez, "Geometric Generative Gaze Estimation forRemote RGB-D Cameras," In Proceedings of IEEE Conference on Computer Vision andPattern Recognition (CVPR 2014), pp. 1773-1780, 2014.

しかしながら、例えば、非特許文献２記載の技術では、学習プロセスを含むため演算処理が多くなり、演算処理の負荷が大きくなると考えられる。

そこで、本発明は、視線方向の推定に要する演算処理の負荷を低減可能な手段を提供することを目的とする。

本発明に係る視線方向推定システムは、被撮影対象者の視線方向を推定する視線方向推定システムであって、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラと、カメラで撮影された被撮影対象者の顔の２次元画像及び距離画像に基づいて、被撮影対象者の視線方向を推定する視線方向推定装置と、を備える。視線方向推定装置は、顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系の原点を原点とし、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定部と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定部と、を有する。

上記構成では、撮影対象としての被撮影対象者の顔をカメラで撮影することにより、被撮影対象者の顔の２次元画像及び顔までの距離画像を得ることができる。そのようにして取得された２次元画像及び距離画像を利用して撮影対象者の頭部の姿勢情報を算出できることから、座標系設定部は、第１の座標系に対して第２の座標系を設定できる。この第２の座標系が設定されると、それを並進移動させた座標系として第３の座標系を設定できる。第３の座標系は、第２の座標系に対して固定されているので、被撮影対象者に対して第２及び第３の座標系の変換を示す並進ベクトルを規定しておけば、第１〜第３の座標系を相互に変換できる。更に、眼の虹彩に対する座標系である第４の座標系は、眼の構造上、第３の座標系に対して上記第１及び第２回転角で表される。視線方向が移動する際、虹彩も移動しているので、第１及び第２回転角は、視線方向を推定する際のパラメータとなるものである。

座標系設定部が上記第１〜第４の座標系を設定すれば、視線方向推定部は、第１〜第４の座標系及び眼球モデルを利用して視線方向を推定する。具体的には、設定された第１〜第４の座標系及び眼球モデルを利用することで、眼球モデルにおける虹彩の輪郭を、カメラの座標系である第１のカメラ座標系での画像平面に投影できる。この投影された輪郭を、実際に撮影された２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出できる。これにより、第３の座標系に対して第４の座標系が決定され、眼球モデルにおける虹彩の位置がわかるので、瞳孔中心の位置を算出できる。瞳孔中心と、眼球の中心、すなわち、第３の座標系の原点とを繋ぐ直線で示される軸は、光学軸として知られている。従って、瞳孔中心が上記のように算出されると、瞳孔中心と、第３の座標系の原点とから光学軸を算出できる。視線方向は光学軸に対して所定角度傾いた方向として知られているので、光学軸が算出されることで、視線方向を推定できる。

この場合、被撮影対象者の顔の２次元画像及び顔までの距離画像並びに眼球モデルを利用することで、視線方向を推定するための未知のパラメータは、第１及び第２回転角の２つのみである。そのため、上記視線方向推定システムによれば、演算処理の負荷を低減できる。

上記視線方向推定部は、フィティングにより対応付けられた、第４の座標系における虹彩の３次元的な輪郭を画像平面に投影した際の各エッジ点と、２次元画像における虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、第１及び第２回転角を算出し得る。

一実施形態において、被撮影対象者がカメラの方を向き且つカメラを注視している状態で撮影された被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正部を更に備えてもよい。このように、第３の座標系の原点を校正することで、被撮影対象者に応じた眼球位置がわかるので、視線方向をより正確に推定できる。

本発明の他の側面に係る視線方向推定方法は、被撮影対象者の視線方向を推定する視線方向推定方法であって、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、被撮影対象者の顔を撮影する撮影工程と、撮影工程で得られた顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系の原点を原点とし、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定工程と、を備える。

本発明の更に他の側面に係る視線方向推定プログラムは、被撮影対象者の視線方向を推定する視線方向推定プログラムであって、コンピュータに、撮影対象の２次元画像及び撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、被撮影対象者の顔を撮影して得られた、顔の２次元画像及び距離画像からカメラの第１の座標系に対する被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、第２の座標系を並進移動して表される被撮影対象者の眼球の中心を原点とする眼球の第３の座標系、第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、眼球モデルに基づいた、カメラを介して第４の座標系における虹彩の３次元的な輪郭を第１の座標系における画像平面に投影したとした場合の虹彩の輪郭を、被撮影対象者の顔の２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出し、算出された第１及び第２回転角並びに眼球モデルに基づいて決定される被撮影対象者の瞳孔中心と、第３の座標系の原点とから算出される光学軸に基づいて被撮影対象者の視線方向を推定する視線方向推定工程と、を実行せしめる。

上記カメラで撮影して得られた被撮影対象者の顔の２次元画像及び顔までの距離画像を利用すれば、撮影対象者の頭部の姿勢情報を算出でできる。上記視線方向推定方法及び視線方向推定プログラムでは、被撮影対象者の顔の２次元画像及び顔までの距離画像から算出される上記姿勢情報を利用して、第１の座標系に対する第２の座標系を設定し、第２の座標系に対して一定の関係を有する第３及び第４の座標系を設定する。

これらの第１〜第４の座標系は相互に変換可能であることから、設定された第１〜第４の座標系及び眼球モデルを利用することで、虹彩の輪郭を、カメラの座標系である第１のカメラ座標系での画像平面に投影できる。この投影された輪郭を、実際に撮影された２次元画像から抽出される虹彩の輪郭にフィティングすることによって、第１及び第２回転角を算出できる。これにより、第３の座標系に対して第４の座標系が決定され、眼球モデルにおける虹彩の位置がわかるので、瞳孔中心の位置を算出できる。瞳孔中心と、眼球の中心、すなわち、第３の座標系の原点とを繋ぐ直線で示される軸は、光学軸として知られている。従って、瞳孔中心が上記のように算出されると、瞳孔中心と、第３の座標系の原点とから光学軸を算出できる。視線方向は光学軸に対して所定角度傾いた方向として知られているので、光学軸が算出されることで、視線方向を推定できる。

この場合、被撮影対象者の顔２次元画像及び顔までの距離画像並びに眼球モデルを利用することで、視線方向を推定するための未知のパラメータは、第１及び第２回転角の２つのみである。そのため、上記視線方向推定方法及び視線方向推定プログラムによれば、演算処理の負荷を低減できる。

上記視線方向推定工程では、フィティングにより対応付けられた、第４の座標系における虹彩の３次元的な輪郭を画像平面に投影した際の各エッジ点と、２次元画像における虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、第１及び第２回転角を算出し得る。

一実施形態に係る視線方向推定方法では、被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正工程を更に備え、校正工程を実施する場合、撮影工程では、被撮影対象者がカメラの方を向いて且つカメラを注視している状態で前記被撮影対象者を撮影してもよい。

同様に、一実施形態に係る視線方向推定プログラムでは、コンピュータに、被撮影対象者がカメラの方を向いて且つカメラを注視している状態で被撮影対象者を撮影することによって取得された被撮影対象者の顔の２次元画像及び距離画像に基づいて、第３の座標系の原点を校正する校正工程を更に実行せしめてもよい。

このように、校正工程を行う又はコンピュータに実行させることで、被撮影対象者に応じた眼球位置がわかるので、視線方向をより正確に推定できる。

本発明によれば、視線方向推定の精度を維持しながら、視線方向の推定に要する処理時間を短縮可能な手段を提供できる。

一実施形態に係る視線方向推定システムが使用するカメラの模式図出る。 一実施形態に係る視線方向推定システムで視線方向を推定する際に使用する眼球モデルの模式図である。 一実施形態に係る視線方向推定システムで視線方向を推定する際に使用する４つの座標系の模式図である。 一実施形態に係る視線方向推定システムのブロック図である。 眼球モデルにおける虹彩の輪郭上の点の位置座標を説明するための図面である。 虹彩のフィッティング実験の実験結果を示す図面である。 視線方向推定の実験結果を示す図面である。 視線方向推定の平均誤差を示す図表である。

以下、図面を参照して本発明の実施形態について説明する。以下の説明においては、同一の要素には同一の符号を用いると共に、重複する説明を省略する。

一実施形態に係る視線方向推定システムは、カメラで被撮影対象者を撮影し、撮影された画像及び眼球モデル２０を利用して被撮影対象者の視線方向を推定するためのものである。視線方向推定システムは、人間の視線方向を推定するシステムであり、例えば、運転手の行動解析、セキュリティモニタリング、人間の行動研究及び人間とコンピュータとのインターフェースなどに適用され得る。

視線方向推定システムは、図１に模試的に示したカメラ１０を利用する。カメラ１０は、撮影対象のＲＧＢ画像（２次元画像）と共に、撮影対象までの距離情報を含む距離画像を取得可能な、いわゆるＲＧＧ―Ｄカメラである。カメラ１０の例は、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）である。

カメラ１０は、ＲＧＢカメラ１１と、距離画像取得部１２とを有する。ＲＧＢカメラ１１は、撮影対象の２次元カラー画像を取得する２次元画像取得部である。距離画像取得部１２は、赤外線（ＩＲ）カメラ１２Ａと、所定のパターンを赤外線で投影するＩＲプロジェクタ１２Ｂとを有する。

カメラ１０では、ＲＧＢカメラ１１によって、ＲＧＢ画像を取得する。また、ＩＲプロジェクタ１２ＢによってＩＲ（赤外線）を使用して投影された所定のパターンをＩＲカメラ１２Ａが撮影することによって、所定パターンの歪み状態などに基づいて距離画像を取得する。

図２を利用して視線方向推定システムで利用する眼球モデル２０について説明する。図２には、説明の都合上、カメラ１０を模式的に示している。眼球モデル２０は、大きさの異なる２つの球２１，２２によって人間の眼の構造をモデル化したものである。図２において、球２１が眼球であり、いわゆる白目に対応する部分である。球２２は、球２１の表面近傍に位置しており、いわゆる角膜のモデルであって、黒目に相当する部分である。虹彩及び瞳孔は角膜内にある。

球２１の中心Ｃと、瞳孔（或いは虹彩）中心Ｐ_ｆとを繋いだ仮想線が光学軸Ｓ_Ｏに対応する。以下では、中心Ｃを眼球中心Ｃとも称す。球２２の中心Ｃ_Ｐは光学軸Ｓ_Ｏ上に位置する。本明細書で視線方向Ｄ_Ｇとは、視軸の方向を意味しており、角膜のモデルである球２２の中心Ｃ_Ｐと、注視点Ｇとを結ぶ仮想的な直線の方向である。視線方向Ｄ_Ｇは、光学軸Ｓ_Ｏと、所定角度θを為している。所定角度θは、個人差はあるが、ほぼ一定の角度と見なせる。以下の説明では、特に断らない限り、角度θは、視線方向Ｄ_Ｇが推定される被撮影対象者によらず一定とする。

前述したように、虹彩及び瞳孔は角膜の内側に位置するが、カメラ１０では、角膜表面が撮影されることになるので、図２では、光学軸Ｓ_Ｏと球２２との交点を瞳孔中心Ｐ_ｆと図示している。カメラ１０で被撮影対象者が撮影された場合、図２に示した点Ｐ_ｆがＲＧＢ画像上に現れる。球２２と球２１とが交わって形成される曲線Ａを虹彩の輪郭とする。以下では、曲線Ａを輪郭Ａとも称す。

眼球モデル２０において、球２１の中心Ｃと球２２の中心Ｃ_ｐとの間の距離をＫ_０とし、中心Ｃと、瞳孔中心Ｐ_ｆとの間の距離をＫとする。Ｋ_０及びＫは眼球モデル２０で設定される定数である。Ｋ_０及びＫは、実際には個人差はあるが、個人差はほぼ無視できるとして一般的な人間の眼球の多さに基づいた値を設定しておけばよい。例えば、Ｋ＝１３．１ｍｍであり、Ｋ_０＝５．３ｍｍである。

次に、図３を利用して視線方向推定システムで使用する座標系について説明する。被撮影対象者の視線方向Ｄ_Ｇを推定するために、図３に示すように、４つの座標系、すなわち、カメラ座標系（第１の座標系）Ｓ_Ｃ、頭部座標系（第２の座標系）Ｓ_Ｈ、眼球座標系（第３の座標系）Ｓ_ｅ及び虹彩（アイリス）座標系（第４の座標系）Ｓ_ｐを使用する。座標系は、右手系及び左手系でもよいが、以下では特に断らない限り、４つの座標系は全て右手系の座標系である。図３に示した眼球モデル２０において、球２２は省略し、球２１のみを図示している。ただし、説明の都合上、虹彩の輪郭Ａを示している。図３において、ハッチングで示す平面Ｑは、輪郭Ａを含む面であり、点ｑは、平面ＱとＺ_ｐ軸との交点である。

カメラ座標系Ｓ_Ｃは、カメラ１０に設定される３次元座標系（Ｏ_Ｃ―Ｘ_ＣＹ_ＣＺ_Ｃ）である。本明細書において、カメラ座標系Ｓ_ＣのＺ_Ｃ軸は、被撮影対象者側に向いており、Ｙ_Ｃ軸は、鉛直方向を向いている。以下では、特に断らない限り、カメラ座標系Ｓ_Ｃは、ＲＧＢカメラ１１の座標系である。一実施形態において、カメラ座標系Ｓ_Ｃの原点Ｏ_ＣはＲＧＢカメラ１１の光学中心として設定できる。ただし、ＲＧＢカメラ１１の座標系とＩＲカメラ１２Ａの座標系は相互に変換できるため、ＩＲカメラ１２Ａの座標系をカメラ座標系Ｓ_Ｃと設定していてもよい。

頭部座標系Ｓ_Ｈは、被撮影対象者の頭部に対して設定される３次元座標系（Ｏ_Ｈ―Ｘ_ＨＹ_ＨＺ_Ｈ）である。本実施形態では、座標系間の変換を容易にする観点から、カメラ座標系Ｓ_Ｃに対応させて鉛直方向をＹ_Ｈ軸方向とする。また、Ｚ_Ｈ軸は、後頭部に向いているとする。頭部座標系Ｓ_Ｈとカメラ座標系Ｓ_Ｃは相互に変換可能であり、その座標変換は、並進ベクトルＴ及び回転行列Ｒで表される。並進ベクトルＴ及び回転行列Ｒは、頭部のカメラ１０に対する姿勢情報でもある。

眼球座標系Ｓ_ｅは、被撮影対象者の眼球に対して設定される３次元座標系（Ｏ_ｅ−Ｘ_ｅＹ_ｅＺ_ｅ）であり、図１に示した眼球モデル２０において、球２１に対して設定される座標系である。よって、原点Ｏ_ｅは、球２１の中心Ｃに対応する。人間の構造上、眼球座標系Ｓ_ｅは、頭部座標系Ｓ_Ｈを並進移動させたものとして設定できる。従って、眼球座標系Ｓ_ｅと頭部座標系Ｓ_Ｈとは相互に変換でき、その座標変換は、並進ベクトルＴ_ｅで表される。そのため、眼球座標系Ｓ_ｅのＹ_ｅ軸方向は鉛直方向であり、Ｚ_ｅ軸は、後頭部に向いている。

虹彩座標系Ｓ_ｐは、被撮影対象者の虹彩に対して設定される３次元座標系（Ｏ_ｐ−Ｘ_ｐＹ_ｐＺ_ｐ）である。虹彩座標系Ｓ_ｐの原点Ｏ_ｐは、眼球座標系Ｓ_ｅの原点Ｏ_ｅと同じとし、Ｚ_ｐ軸は、瞳孔中心Ｐ_ｆを通り、虹彩平面に直交する軸として設定する。虹彩座標系Ｓ_ｐ及び眼球座標系Ｓ_ｅの原点は同じであることから、虹彩座標系Ｓ_ｐと眼球座標系Ｓ_ｅとの間は、ロールα、ヨー（第１回転角）β及びピッチ（第２回転角）γの各回転角を利用して相互変換できる。

ただし、虹彩が眼球上で移動する際、人間の構造上、虹彩は、鉛直方向周りの回転（すなわち、水平方向の動き）と、水平方向周りの回転（すなわち、鉛直方向の動き）だけである。従って、虹彩座標系Ｓ_ｐは、ロールαを０とすることができる。そのため、虹彩座標系Ｓ_ｐ及び眼球座標系Ｓ_ｅ間の変換は２つの回転角度であるヨーβ及びピッチγのみで表される。なお、ヨーβは、眼球座標系Ｓ_ｅのＸ_ｅ軸周りに回転角であり、被撮影対象者の顔を見た場合に左右方向の動きを示している。ピッチγは、Ｙ_ｅ軸周りの回転角を示しており、被撮影対象者の顔を見た場合に上下方向の動きを示している。

以上説明したカメラ１０、眼球モデル２０及び４つの座標系を利用して視線方向Ｄ_Ｇを推定する視線方向推定システム１は、図４に示したブロック図のように、カメラ１０と、視線方向推定装置３０とを備える。図４は、カメラ１０及び視線方向推定装置３０の主な機能を示す機能ブロック図である。カメラ１０については、前述したので説明は省略するが、以下ではカメラ１０は、Ｋｉｎｅｃｔとする。

視線方向推定装置３０は、カメラ１０と配線を介して電気的に接続されており、カメラ１０で取得された画像（具体的には画像データ）は配線を介して視線方向推定装置３０に入力される。カメラ１０からの画像、例えば、無線通信を利用して、視線方向推定装置３０に入力されてもよい。

視線方向推定装置３０は、図２に示した４つの座標系を設定する座標系設定部３１と、視線方向Ｄ_Ｇを推定する視線方向推定部３２と、眼球座標系Ｓ_ｅの原点Ｏ_ｅ、すなわち、眼球中心の位置を校正する校正部３３と、視線方向推定プログラムを含む各種プログラム及びデータを格納する記憶部３４と、を有する。

視線方向推定装置３０は、ＣＰＵを含む情報処理装置（コンピュータ装置）であって、記憶部３４に格納された相対姿勢情報作成プログラムをＣＰＵが実行することで上記情報処理装置が視線方向推定装置３０として機能する。

視線方向推定装置３０が有する各構成要素（座標系設定部３１、視線方向推定部３２及び校正部３３など）は、バスなどによって接続されて、データなどを通信可能である。視線方向推定装置３０は、記憶部３４に格納された視線方向推定プログラムを実行することによって、座標系設定部３１、視線方向推定部３２及び校正部３３の機能が実現される。視線方向推定装置３０は、通常の情報処理装置が有する他の構成要素、すなわち、データ及び指示（例えばユーザの指示）の入力を受け付ける入力部及びデータを出力するための出力部等を含むが、以下では、視線方向推定装置３０の特徴部分を中心にして説明する。

座標系設定部３１は、カメラ１０のＲＧＢカメラ１１及び距離画像取得部１２で撮影された被撮影対象者の顔のＲＧＢ画像（２次元画像）及び距離画像に基づいて、図３に示した４つの座標系を設定する。

具体的には、カメラ１０から入力された被撮影対象者の顔のＲＧＢ画像及び距離画像に基づいて、被撮影対象者の頭部の姿勢情報、すなわち、回転行列Ｒ及び並進ベクトルＴを算出する。これは例えば頭部が動いた時の画像の変化に基づいて公知の技術で算出され得る。そして、カメラ１０がＫｉｎｅｃｔである場合、Ｋｉｎｅｃｔの機能により自動的に算出される。

算出されたＲ及びＴを利用して、カメラ座標系Ｓ_Ｃに対する頭部座標系Ｓ_Ｈを設定する。頭部座標系Ｓ_Ｈと、並進ベクトルＴ_ｅに基づいて眼球座標系Ｓ_ｅを設定する。更に、眼球座標系Ｓ_ｅに対して、ヨーβ及びピッチγで表される虹彩座標系Ｓ_ｐを設定する。

校正部３３は、被撮影対象者がＲＧＢカメラ１１を注視している場合のＲＧＢ画像及び距離画像に基づいて、眼球中心Ｃを校正する。具体的には、頭部座標系Ｓ_Ｈと眼球座標系Ｓ_ｅとを変換するための並進ベクトルＴ_ｅを校正する。校正方法は、被撮影対象者がＲＧＢカメラ１１の方向を向いて注視している点以外は、非特許文献１と同様の方法である。

具体的には、図１において、被撮影対象者がＲＧＢカメラ１１を注視している場合、図１における注視点Ｇは、カメラ座標系Ｓ_Ｃの原点Ｏ_Ｃに対応する。カメラ座標系Ｓ_Ｃにそれぞれ変換された眼球中心Ｃ（球２１の中心）の位置ベクトルをＣ_Ｃとし、球２２の中心Ｃｐの位置ベクトルをＣ_ｐＣとし、瞳孔中心Ｐ_ｆの位置ベクトルをＰ_ｆＣとする。

そして、ベクトル[Ｃ_ｐＣＯ_Ｃ]とベクトル[Ｃ_ｐＣＰ_ｆＣ]とのなす角度がθであるという関係から以下の式（１）が成立する。なお、[Ｃ_ｐＣＯ_Ｃ]は、位置ベクトルＣ_ｐＣから位置ベクトルＯ_Ｃに向かうベクトルを示しており、[Ｃ_ｐＣＰ_ｆＣ]は、位置ベクトルＣ_ｐＣから位置ベクトルＰ_ｆＣに向かうベクトルを示している。

ここで、位置ベクトルＣ_ｐＣ、位置ベクトルＣ_Ｃ及び位置ベクトルＰ_ｆＣの間には、下記式（２）が成立する。

式（２）において、Ｋ及びＫ_０は定数である。また、Ｐ_ｆｃは、非撮影対象者がＲＧＢカメラ１１の方向を向いて注視している場合に撮影されたＲＧＢ画像に基づいて算出され得る。具体的には、以下の参考文献において、Febian Timm and Erhardt Barthらが提案しているように、ＲＧＢ画像から抽出される虹彩のエッジ点の勾配を利用して瞳孔中心としてのＰ_ｆｃが算出される。
参考文献：F. Timm, E. Barth. Accurate eye center localization by means of gradients.In Proceedings of the International Conference on Computer Theory andApplications, volume 1, pp. 125-130, 2011.

従って、被撮影対象者の頭部の位置を複数回変えながら撮影された画像に基づいて得られたＰ_ｆｃを利用しながら、式（１）に示した非線形方程式を、例えば、Levenberg-Marquardt Algorithm(LMA)を利用して解くことにより、眼球中心Ｃを校正できる。これにより、校正された並進ベクトルＴ_ｅが得られる。なお、眼球中心Ｃは、３次元座標で表されるため、３つのパラメータを有する。従って、被撮影対象者の頭部の位置は少なくとも３回変えておけばよい。

視線方向推定部３２は、ＲＧＢカメラ１１を介して、眼球モデル２０に基づいた虹彩座標系Ｓ_ｐにおける虹彩の３次元的な輪郭をカメラ座標系Ｓ_Ｃにおける画像平面に投影する。そして、視線方向推定部３２は、その投影された虹彩の輪郭を、被撮影対象者の顔のＲＧＢ画像から抽出される虹彩の輪郭にフィティングすることによって、被撮影対象者の瞳孔中心を算出する。視線方向推定部３２は、この算出された瞳孔中心と眼球座標系Ｓ_ｅの原点Ｏ_ｅとから光学軸Ｓ_Ｏを算出し、視線方向Ｄ_Ｇは光学軸Ｓ_Ｏに対して所定角度θの方向であるというであるという視線方向Ｄ_Ｇと光学軸Ｓ_Ｏとの関係に基づいて被撮影対象者の視線方向Ｄ_Ｇを推定する。

視線方向推定部３２における視線推定の原理についてより具体的に説明する。

＜瞳孔中心の初期値算出＞
ＲＧＢ画像を利用して、上述した参考文献記載の方法により、瞳孔中心を算出する。具体的には、ＲＧＢ画像の特徴点に基づいて、ＲＧＢ画像上の眼を抽出する。この眼の抽出は、例えば、カメラ１０がＫｉｎｅｃｔである場合、ＫｉｎｅｃｔのＳＤＫライブラリを利用することで抽出できる。更に、抽出した眼の領域から特徴点に基づいて虹彩を抽出する。この抽出は公知の方向で為されればよい。次に、虹彩の輪郭上のエッジ点の勾配に基づいて虹彩の中心、すなわち、瞳孔中心の位置を算出する。この瞳孔中心の位置を虹彩中心の初期値（或いは、初期位置）とする。

＜虹彩フィティング＞
虹彩は、人間の眼の構造上、その法線方向（図２の光学軸Ｓ_０又は図３のＺ_ｐ軸方向）から見た場合の形状は円形であるが、通常画像上では楕円で表される。そこで、３次元空間における虹彩の輪郭を、虹彩の法線方向からみた場合の形状を楕円と近似し、虹彩の輪郭上の点（エッジ点）Ｐ_ｐｉの虹彩座標系Ｓ_ｐにおける座標を、図３に示したように、（ａ・ｃｏｓ（ｔ_ｉ）、ｂ・ｓｉｎ（ｔ_ｉ），Ｌ）と表す（ｉは、１以上の任意の整数であり、エッジ点を区別するためのものである）。

ここで、図３及び図５を利用して点Ｐ_ｐｉの座標表示に用いたＬ，ａ，ｂ及びｔ_ｉについて説明する。図３に示すように、平面ＱとＺ_ｐ軸との交点を点ｑとする。Ｌは、点ｑと原点Ｏ_ｐとの間の距離であり、眼球モデル２０において設定されるものである。Ｌは、個人差はあるものの、ほぼ一定の値をみなせ、Ｌの値は例えば１０．５ｍｍである。輪郭Ａは、平面Ｑに含まれており、Ｚ_ｐ軸と平面Ｑとは直交するため、輪郭Ａ上の点の虹彩座標系Ｓ_ｐにおけるＺ_ｐ座標の値は、Ｌとなる。

図５は、Ｚｐ軸方向から見た輪郭Ａの模式図である。図５では、輪郭Ａを楕円として表している。説明のために、点ｑを通りＸ_ｐ軸に平行な軸をｘ_ｐ軸とし、Ｙ_ｐ軸に平行な軸をｙ_ｐ軸とする。上記ａは、ｘ_ｐ軸方向における輪郭Ａ（楕円）の長さの半分であり、輪郭Ａを、Ｚｐ軸方向から見た場合の楕円の横方向半径に対応する。一方、ｂは、ｙ_ｐ軸方向における輪郭Ａ（楕円）の長さの半分であり、輪郭Ａを、Ｚｐ軸方向から見た場合の楕円の縦方向半径に対応する。ｔ_ｉは、点ｑと点Ｐ_ｐｉとを結んだ直線とのなす角度を示す媒介変数（パラメータ）である。ａ＝ｂの場合、輪郭Ａは円形である。この場合、点Ｐ_ｐｉのＸ_ｐｉ（ｘ_ｐｉ）座標及びＹ_ｐｉ（ｙ_ｐｉ）座標それぞれは、円の半径をｒとした場合、ｒ・ｃｏｓ（ｔ_ｉ）及びｒ・ｓｉｎ（ｔ_ｉ）と表される。図３及び図５では、輪郭Ａを楕円で近似しているため、Ｘ_ｐｉ（ｘ_ｐｉ）座標を表す際、ｒに変えてａを使用し、Ｙ_ｐｉ（ｙ_ｐｉ）座標を表す際に、ｒに変えてｂを使用していることになる。

点Ｐ_ｐｉの位置ベクトルＰ_ｐｉは、次式により、眼球座標系Ｓ_ｅ上の位置ベクトルＰ_ｅｉに変換され得る。

Ｒ_Ｐは、虹彩座標系Ｓ_ｐを眼球座標系Ｓ_ｅに変化するための変換行列であり、ロール(roll)α、ヨーβ及びピッチγで表されるが、前述したように、ロールαは０である。式（３）中の“・”は内積を示している。

次に、眼球座標系Ｓ_ｅにおける位置ベクトルＰ_ｅｉを頭部座標系Ｓ_Ｈの位置ベクトルＰ_ｈｉに変換する。眼球座標系Ｓ_ｅは、頭部座標系Ｓ_Ｈに対して並進移動したものに対応することから、位置ベクトルＰ_ｈｉは、次のように表される。

続いて、位置ベクトルＰ_ｈｉを、カメラ座標系Ｓ_Ｃの位置ベクトルＰ_ｃｉに変換する。この変換は、次式で表される。式（５）中の“・”は内積を示している。

位置ベクトルＰ_ｅｉは、カメラ座標系Ｓ_Ｃにおける虹彩の輪郭上のエッジ点の３次元位置を表す。Ｐ_ｃｉを（ｘ_ｃｉ，ｙ_ｃｉ、ｚ_ｃｉ）と表し、位置ベクトルＰ_ｃｉが、ＲＧＢカメラ１１で投影された画像平面における像点の位置ベクトルをＩ_Ｐｉ（ｕ_ｉ，ｖ_ｉ）とすると、Ｉ_Ｐｉは、次のように表される。

ここで、Ｍは、カメラ１０（二次元画像部）の内部パラメータを含む投影行列である。これまでの式から、ｕ_ｉ及びｖ_ｉは、関数ｆ，ｇを用いて次のように表される。

上記の式（７ａ）及び式（７ｂ）より、以下の式が導かれる。

式（８ａ）及び式（８ｂ）において、関数ｈ及びｋは、式（７ａ）及び式（７ｂ）を解いて得られる関数である。

ｓｉｎ^２(ｔ_i)＋ｃｏｓ^２(ｔ_i)＝１という関係を利用すれば、目的関数Ψは、式（９）で表される。目的関数Ψは、眼球モデル２０に基づいて画像平面に投影された虹彩の輪郭上の点Ｐ_ｐと対応するＲＧＢ画像上の虹彩の輪郭のエッジ点との対応関係を示す関数である。

式（９）において、Ｒ及びＴは、カメラ１０で取得されたＲＧＢ画像及び距離画像から得られている。Ｍはカメラ１０固有の投影行列であるため既知である。Ｌ，ａ，ｂ，Ｔ_ｅ，ｕ_ｉ，ｖ_ｉは眼球モデル２０において設定するものであるため、既知である。従って、式（９）においては、β及びγの２つが未知パラメータである。

一つのＲＧＢ画像からは一つのエッジ点群が得られる。更に、＜瞳孔中心の初期値算出＞で述べた方法により瞳孔中心の初期値は得られる。よって、初期のβ及びγがわかっていることになる。この状態では、Levenberg-Marquardt Algorithm(LMA)を使用して、式（９）を解くことができる。具体的には、エッジ点群を構成する各エッジ点に対して式（９）が得られるので、上記エッジ点群に対して得られた複数の式（９）において誤差を最小にする最適なβ及びγが算出される。

β及びγが算出されると、カメラ座標系Ｓ_Ｃにおける瞳孔中心の位置ベクトルＰ_ｆｃは、式（３），（４）及び式（５）と同様の変換を利用して虹彩座標系Ｓ_ｐにおける位置ベクトル（０，０，Ｋ）から算出される。なお、瞳孔中心Ｐ_ｆと、眼球中心Ｃとの間の距離Ｋは、定数と仮定している。

＜視線推定＞
上記の様に瞳孔中心Ｐ_ｆが算出されれば、眼球モデル２０における眼球中心Ｃと、瞳孔中心Ｐ_ｆとから図１に示した光学軸Ｓ_Ｏが算出されるので、所定角度θを用いて視線方向Ｄ_Ｇが算出される。

視線方向推定部３２は、上記原理に基づいて、式（９）を利用してβ及びγを算出することで、光学軸Ｓ_Ｏを特定し、視線方向Ｄ_Ｇを推定する。カメラ座標系Ｓ_Ｃにおいて、視線方向Ｄ_Ｇを、Ｘ_ＣＺ_Ｃ平面に投影した際の投影線と、Ｚ_Ｃ軸とのなす角度をδとし、上記投影線と視線方向Ｄ_Ｇとのなす角度（換言すれば、視線方向Ｄ_ＧとＸ_ＣＺ_Ｃ平面とのなす角度）をψとする。

次に視線方向推定システム１を利用した被撮影対象者の視線推定方法について説明する。まず、眼球中心Ｃが校正されている状態での視線推定方法について説明する。

カメラ１０で被撮影対象者の顔を撮影し、顔のＲＧＢ画像及び距離画像を取得する（撮影工程）。この際、被撮影対象者の頭部を顔が写るように撮影されていればよい。そのため、被撮影対象者の上半身が撮影されてもよいし、被撮影対象者の全身が撮影されていてもよい。

カメラ１０で撮影された画像を視線方向推定装置３０が受け取ると、視線方向推定装置３０の座標系設定部３１が、図２に示した４つの座標系を設定する（座標系設定工程）。

次に、視線方向推定部３２が、カメラ１０からのＲＧＢ画像及び距離画像を利用して、前述した方法で被撮影対象者の視線方向Ｄ_Ｇを推定する（視線方向推定工程）。

具体的には、まず、ＲＧＢ画像上の眼に含まれる虹彩の輪郭上のエッジ点を特定し、瞳孔中心Ｐ_ｆの初期値を算出する（初期値算出工程）。

次に、眼球モデル２０における虹彩の輪郭をＲＧＢカメラ１１の画像平面で表されるＲＧＢ画像上に投影したとした場合において、投影された輪郭と、実際に取得されたＲＧＢ画像における虹彩の輪郭に対してフィティングし、虹彩座標系Ｓ_ｐの眼球座標系Ｓ_ｅに対する回転角であるヨーβ及びピッチγを算出する。具体的には、式（９）及び初期値算出工程で算出された初期値を利用してヨーβ及びピッチγを算出する（フィティング工程（又は回転角度算出工程））。

算出されたヨーβ及びピッチγ及び眼球モデル２０に基づいて光学軸Ｓ_Ｏを決定し、光学軸Ｓ_Ｏに所定角度θを演算することで、視線方向Ｄ_Ｇを算出する（視線方向算出工程）。

次に、眼球中心Ｃの校正工程を含む場合について説明する。

眼球中心Ｃを校正する場合、上記撮影工程において、被撮影対象者がカメラ１０の方を向いており、且つ、カメラ１０を注視している状態で、被撮影対象者の顔を撮影する。本実施形態では、ＲＧＢカメラ１１のカメラ座標系を、カメラ１０のカメラ座標系Ｓ_Ｃと設定しているため、被撮影対象者は、ＲＧＢカメラ１１の方を向き且つＲＧＢカメラ１１を注視していることが好ましい。

校正用の画像が視線方向推定装置３０に入力されると、前述したように、座標系設定工程を実施する。その後、校正部３３が、前述した方法によって、眼球中心Ｃの位置を校正する。具体的には、並進ベクトルＴ_ｅを算出する。算出された並進ベクトルＴ_ｅは、例えば、記憶部３４に保存される。

なお、眼球中心Ｃの校正は、同じ被撮影対象者に対しては一度行っておけばよい。そして、校正工程を実施した後の、視線方向推定では、校正工程で校正された眼球中心Ｃの位置、換言すれば、並進ベクトルＴ_ｅを使用すればよい。視線方向推定装置３０が校正工程を実施するか否かは、例えば、視線方向推定装置３０が有する入力部を介して、校正を実施するモードか否かのモードの切り替えの入力の有無で判断すればよい。また、例えば、視線方向推定装置３０を車の運転支援システムで使用する際、運転手毎に一度校正工程を実施しておけば、その後は、運転手がそれぞれ入力部を介して各自の校正データを使用するように選択すればよい。

上記視線方向推定システム１（視線方向推定プログラム）及び視線方向推定方法では、眼球モデル２０を使用することで、虹彩の輪郭を２つの未知のパラメータβ及びγで表している。通常、楕円を示すパラメータは５つ（長軸を示すパラメータ、短軸を示すパラメータ、傾きを示すパラメータ、楕円の中心を示す２つのパラメータ）であるのに対してパラメータ数が減っているため、視線推定に要する演算処理の負荷が低減している。その結果、スピードを向上できるので、演算処理時間も短縮可能である。

また、被撮影対象者の眼の向き又は瞼の閉じ具合などから虹彩の一部しかＲＧＢ画像上に写っていないこともある。そのため、ＲＧＢ画像上から抽出された虹彩にのみ基づいて瞳孔中心Ｐ_ｆを算出した場合には瞳孔中心Ｐ_ｆの算出誤差が大きくなる。これに対して、本実施形態では、眼球モデル２０に基づいた虹彩をＲＧＢ画像上の虹彩にフィティングすることによって、瞳孔中心Ｐ_ｆを算出している。そのため、瞳孔中心Ｐ_ｆをより正確に求めることができる。従って、視線方向Ｄ_Ｇを更に正確に算出可能である。

また、校正部３３において、眼球中心Ｃを校正していることから、視線方向Ｄ_Ｇを更に正確に推定できる。校正部３３で眼球中心Ｃを校正する場合、被撮影対象者がカメラ１０を向き且つカメラ１０を注視している状態で撮影された画像を使用している。そのため、例えば、従来のように、被撮影対象者がカメラ１０とは異なるターゲットを見ている場合のように、ターゲットがカメラ１０と被撮影対象者との間に位置して校正できないということがない。従って、より確実且つ正確に眼球中心Ｃを校正できる。

次に実験結果について説明する。以下の実験１，２では、図２に示すＫ、Ｋ_０及びＬをそれぞれ、Ｋ＝１３．１ｍｍ、Ｋ_０＝５．３ｍｍ、Ｌ＝１０．５ｍｍとした。また、カメラ１０はＫｉｎｅｃｔを使用した。Ｋｉｎｅｃｔで得られるＲＧＢ画像の画素数は、１２８０×９６０画素であり、距離画像の画素数は、６４０×４８０画素であった。また、被撮影対象者とカメラ１０との間の距離は、約７０ｃｍ（０．７ｍ）とした。

＜実験１＞
実験１では、被撮影対象者の頭部を固定し、眼を種々の方向に向けた状態をカメラ１０で種々撮影し、得られた各ＲＧＢ画像及び距離画像に基づいて、図４に示した視線方向推定装置３０の視線方向推定部３２でヨーβ及びピッチγを算出した。カメラ１０には、Ｋｉｎｅｃｔを使用した。そして、算出されたヨーβ及びピッチγに基づいて虹彩座標系Ｓ_ｐで表される虹彩の輪郭及び瞳孔中心Ｐ_ｆを各ＲＧＢ画像上に投影した。

図６は虹彩のフィッティング結果を示す図面である。図６の（ａ）は、被撮影対象者がカメラ１０の方を向き且つカメラ１０を注視している場合の画像を示す図面であり、図６の（ｂ）〜図６の（ｅ）のそれぞれは、図６の（ａ）の状態から眼が上側、下側、右側（被撮影対象者から見て）及び左側（被撮影対象者から見て）を見ている場合の画像を示す図面である。

図６の（ａ）〜図６の（ｅ）において、白丸は、視線方向推定部３２において眼球モデル２０で算出した瞳孔中心であり、×印は、ＲＧＢ画像にのみ基づいた瞳孔中心であり、前述した説明の初期値である。更に、△印は、ＲＧＢ画像から抽出した虹彩のエッジ点を示している。一方、白い円は、視線方向推定部３２で算出したヨーβ及びピッチγに基づいた虹彩のフィッティング結果である。

図６の（ａ）は、被撮影対象者がカメラ１０の方を向き且つカメラ１０を注視している場合であるため、虹彩の全体がほぼ画像に表れている。そのため、瞳孔中心Ｐ_ｆの位置は、前述した＜瞳孔中心の初期値算出＞において説明した方法で算出した初期値と、式（９）を解いた結果を利用した場合とでほぼ一致している。また、ＲＧＢ画像から抽出した虹彩のエッジ点も、フィッティング結果とほぼ同じである。なお、前述した、眼球中心Ｃの校正用の画像を撮影する場合は、図６の（ａ）の状態で撮影することが好ましい。

図６の（ｂ）〜図６の（ｅ）では、ＲＧＢ画像から抽出した虹彩のエッジ点は、フィッティング結果とほぼ同じである一方、眼が正面を向いておらず、更に瞼などで一部が隠れているため、瞳孔中心Ｐ_ｆを式（９）で計算したβ及びγを利用して計算した場合と、初期値との間に差が生じている。

従って、図４に示した視線方向推定装置３０を利用して瞳孔中心Ｐ_ｆを算出すれば、例えば、虹彩が瞼などで隠れていて一部しか画像に表れていなくても、正確に瞳孔中心Ｐ_ｆを算出できる。その結果、視線方向Ｄ_Ｇもより正確に推定できることがわかる。

＜実験２＞
次に、被撮影対象者がカメラ１０のＲＧＢカメラ１１を常に注視しながらカメラ１０に対して頭部を動かしている状態で被撮影対象者をカメラ１０で複数回撮影し、各撮影に基づいて被撮影対象者の視線方向Ｄ_Ｇを、前述した視線方向ＤＧ推定方法で推定した。具体的には、（δ，ψ）を算出した。カメラ１０は、Ｋｉｎｅｃｔを使用した。また、撮影回数は、４８回とした。

図７は、視線方向推定結果を示す図面である。具体的には、図７の（ａ）は、被撮影対象者の左眼に対する実験結果であり、図７の（ｂ）は、被撮影対象者の右眼に対する実験結果である。図７の（ａ）及び（ｂ）において、横軸は、撮影回数であり、縦軸は、角度である。図７の（ａ）及び（ｂ）には、推定値としてのδ及びψを示している。

また、実験中において、被撮影対象者は、常にＲＧＢカメラ１１を注視しているため、各撮影ポイントでの、被撮影対象者の眼の位置と、ＲＧＢカメラ１１とをつなぐ仮想的な直線方向をその撮影ポイントでの視線方向ＤＧの真値とした。図７の（ａ）及び（ｂ）には、この真値としてのδ及びψも比較のために図示している。

図７の（ａ）及び（ｂ）から、若干のブレはあるものの真値に近い視線方向Ｄ_Ｇが算出できていることがわかる。

上記実験２を異なる被撮影対象者Ｈ１，Ｈ２，Ｈ３に対して行った。その結果において、左眼及び右眼の視線方向推定結果におけるδ及びψの誤差の平均を算出した。算出結果を図８に示す。図８において、被撮影対象者Ｈ１，Ｈ２，Ｈ３それぞれの左眼及び右眼の誤差の平均を更に３人で平均した結果は、３．２５°であった。

実験条件などが異なるため一概に比較できないが、非特許文献２では視線方向の推定誤差の平均は３．４°と報告されていることから、本実施形態で説明した方法では、非特許文献２とほぼ同等の正確さで視線方向を推定できていることになる。一方、本実施形態では前述したように、演算処理が軽減されているので、精度の向上を図りながらより早く視線方向を推定できている。

以上、本発明の種々の実施形態及び実験例等について説明したが、本発明は、上述した種々の実施形態及び実験例等に限定されない。例えば、校正部（校正工程）は、必ずしも備えていなくてもよい。例えば、人間（成人）の一般的な平均値としての眼球中心Ｃ、すなわち、並進ベクトルＴ_ｅを使用しても良い。なお、校正部３３を視線方向推定装置３０が有する形態では、被撮影対象者が同じである場合には校正部３３による校正工程は、一番初めに一度行っていればよい。また、虹彩の初期値は、視線方向推定部３２が算出するとして説明したが、例えば、虹彩の初期値算出部を別途有していても良い。更に、例示した種々の実施形態などは、本発明の趣旨を逸脱しない範囲で適宜組み合わせられ得る。

１…視線方向推定システム、１０…カメラ、１１…ＲＧＢカメラ（２次元画像取得部）、１２…距離画像取得部、３０…視線方向推定装置、３１…座標系設定部、３２…視線方向推定部、３３…校正部。

Claims (9)

1. 被撮影対象者の視線方向を推定する視線方向推定システムであって、
   撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラと、
   前記カメラで撮影された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記被撮影対象者の視線方向を推定する視線方向推定装置と、
   を備え、
   前記視線方向推定装置は、
   前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系の原点を原点とし、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定部と、
   眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定部と、
   を有する、
   視線方向推定システム。
2. 前記視線方向推定部は、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
   請求項１に記載の視線方向推定システム。
3. 前記被撮影対象者が前記カメラの方を向き且つ前記カメラを注視している状態で撮影された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正部を更に備える、
   請求項１又は２に記載の視線方向推定システム。
4. 被撮影対象者の視線方向を推定する視線方向推定方法であって、
   撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、前記被撮影対象者の顔を撮影する撮影工程と、
   前記撮影工程で得られた前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系の原点を原点とし、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、
   眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定工程と、
   を備える、
   視線方向推定方法。
5. 前記視線方向推定工程では、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
   請求項４に記載の視線方向推定方法。
6. 前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正工程を更に備え、
   前記校正工程を実施する場合、前記撮影工程では、前記被撮影対象者が前記カメラの方を向いて且つ前記カメラを注視している状態で前記被撮影対象者を撮影する、
   請求項４又は５に記載の視線方向推定方法。
7. 被撮影対象者の視線方向を推定する視線方向推定プログラムであって、
   コンピュータに、
   撮影対象の２次元画像及び前記撮影対象までの距離情報を含む距離画像を取得するカメラを用いて、前記被撮影対象者の顔を撮影して得られた、前記顔の前記２次元画像及び前記距離画像から前記カメラの第１の座標系に対する前記被撮影対象者の頭部の姿勢情報を算出して第２の座標系を設定すると共に、前記第２の座標系を並進移動して表される前記被撮影対象者の眼球の中心を原点とする前記眼球の第３の座標系、前記第３の座標系に対する水平方向の回転角である第１回転角及び鉛直方向の回転角である第２回転角で表される前記被撮影対象者の虹彩の第４の座標系を設定する座標系設定工程と、
   眼球モデルに基づいた、前記カメラを介して前記第４の座標系における前記虹彩の３次元的な輪郭を前記第１の座標系における画像平面に投影したとした場合の前記虹彩の輪郭を、前記被撮影対象者の前記顔の前記２次元画像から抽出される前記虹彩の輪郭にフィティングすることによって、前記第１及び第２回転角を算出し、算出された前記第１及び第２回転角並びに前記眼球モデルに基づいて決定される前記被撮影対象者の瞳孔中心と、前記第３の座標系の原点とから算出される光学軸に基づいて前記被撮影対象者の視線方向を推定する視線方向推定工程と、
   実行せしめる、視線方向推定プログラム。
8. 前記視線方向推定工程では、前記フィティングにより対応付けられた、前記第４の座標系における前記虹彩の３次元的な輪郭を前記画像平面に投影した際の各エッジ点と、前記２次元画像における前記虹彩の輪郭中の対応するエッジ点との対応関係を示すと共に前記第１及び第２回転角を未知パラメータとして含む目的関数を解くことによって、前記第１及び第２回転角を算出する、
   請求項７に記載の視線方向推定プログラム。
9. 前記コンピュータに、
   前記被撮影対象者が前記カメラの方を向いて且つ前記カメラを注視している状態で前記被撮影対象者を撮影することによって取得された前記被撮影対象者の顔の前記２次元画像及び前記距離画像に基づいて、前記第３の座標系の原点を校正する校正工程を更に実行せしめる、
   請求項７又は８に記載の視線方向推定プログラム。