JP2015211741A - 視線状態判定装置、視線状態判定プログラム及び視線状態判定方法 - Google Patents

Abstract

【課題】ユーザの視線の状態を精度よく判定する視線状態判定装置を提供する。
【解決手段】注視点画像領域推定部２４が、時刻Ａと時刻Ｂのそれぞれにおいてドライバが注視する注視点の情報（注視点及び注視点画像領域）を取得する。そして、探索窓算出部２６は、時刻Ａの注視点と時刻Ｂの注視点を含む所定範囲（探索窓）を特定し、追従判定部２８は、時刻Ａの画像の探索窓内の範囲と、時刻Ｂの画像の探索窓内の範囲とにおいて共通する対象が撮像されているか否かに基づいてドライバの視線が視認対象に追従しているか否かを判定する。
【選択図】図３

Description

本発明は、視線状態判定装置、視線状態判定プログラム及び視線状態判定方法
に関する。

従来、視線状態を解析する技術として、視線検出装置にて測定した視線方向と、該視線方向を撮影している車載映像を用いて、ユーザが何を見ているかを特定する方法が知られている（例えば、特許文献１，２等参照）。

例えば、特許文献１では、自車走行時の視認対象及びその追従視を判定するために、視線方向を含む領域を撮影している車載カメラ映像を、視線検出装置で測定した視線方向を中心とする視野画像へと変換する。そして、視野画像内の視線方向近傍の文字を認識し、現在の位置から絞り込んだ屋外物体情報から該文字を保持する屋外物体を特定する。

また、特許文献２には、車載カメラの車載映像と視線検出装置にて測定した視線方向とを用いて視認対象及び追従視を判定するために、車載映像内の視線方向に該当する領域のオプティカルフローと、視線方向の変化を比較する。

特開２００７−１７２３７８号公報 特開２０１０−３９９３３号公報

しかしながら、上記特許文献１，２等の技術では、必ずしも同一の物体を追従視しているか否かを判断することができない可能性がある。例えば、特許文献１では、視認対象に文字等の特徴がない場合には、ユーザが視認する対象を判定するのが困難である。また、特許文献２では、映像を撮影するカメラ位置とユーザの視線位置が異なり、映像上の物体の動きと物体に追従する視線の動きが合致しなくなるような場合に対応することができない。

１つの側面では、本発明は、ユーザの視線の状態を精度よく判定することができる視線状態判定装置、視線状態判定プログラム及び視線状態判定方法を提供することを目的とする。

一つの態様では、視線状態判定装置は、第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得する取得部と、前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定する特定部と、前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とにおいて共通する対象が撮像されているか否かに基づいてユーザの視線の状態を判定する判定部と、を備えている。

一つの態様では、視線状態判定プログラムは、第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、処理をコンピュータに実行させる視線状態判定プログラムである。

一つの態様では、視線状態判定方法は、第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、処理をコンピュータが実行する視線状態判定方法である。

ユーザの視線の状態を精度よく判定することができる。

一実施形態に係る車載システムの構成を概略的に示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能ブロック図である。 図４（ａ）、図４（ｂ）は、視線方向に対するカメラの視差の算出方法を説明するための図である。 図５（ａ）、図５（ｂ）は、注視点画像領域の算出方法について示す模式図である。 注視点画像領域の調整例を示す図である。 探索窓の算出例を示す図である。 図８（ａ）、図８（ｂ）は、探索窓の調整例を示す図である。 図９（ａ）、図９（ｂ）は、フロー算出を説明するための図（その１）である。 図１０（ａ）、図１０（ｂ）は、フロー算出を説明するための図（その２）である。 図１１（ａ）、図１１（ｂ）は、フロー算出を説明するための図（その３）である。 図１２（ａ）、図１２（ｂ）は、フロー算出を説明するための図（その４）である。 図１３（ａ）、図１３（ｂ）は、追従判定部による追従判定処理の一例を示す図である。 図１３（ｂ）の２倍の時間長さのフロー算出結果を用いて追従視を判定する例を示す図である。 視線方向の時間変化の一例を示す図である。 情報処理装置による処理の一例を示すフローチャート（その１）である。 情報処理装置による処理の一例を示すフローチャート（その２）である。 情報処理装置による処理の一例を示すフローチャート（その３）である。 視認対象が移動する場合に、視線方向の変化ベクトルと画像上での視認対象の移動ベクトルがほぼ反対向きになる場合の例を示す図である。

以下、車載システムの一実施形態について、図１〜図１９に基づいて詳細に説明する。図１には、一実施形態にかかる車載システム１００の構成が概略的に示されている。図１の車載システム１００は、移動体（例えば車）に搭載され、ユーザ（以下、ドライバと呼ぶ）の視線の状態を判定するシステムである。車載システム１００は、図１に示すように、複数のカメラ１０と、視線検出装置１２と、車載センサ群１４と、視線状態判定装置としての情報処理装置２０と、を備える。

カメラ１０は、車に搭載された周辺環境を撮影するカメラである。カメラの設置位置および画角による死角を削減し、ドライバの視認領域をカバーするよう、車内には複数のカメラが設置されていることが好ましいが、１つの広角カメラのみが設置されていてもよい。なお、本実施形態では、車にカメラ１０が複数搭載されているものとする。なお、各カメラ１０が車のどの位置に設置され、どの方向を撮像するかの情報は、後述するカメラ情報ＤＢ４０（図３参照）にあらかじめ記憶されているものとする。

視線検出装置１２は、既知の方式でドライバの視線方向を取得する。たとえば、視線検出装置１２は、ドライバの顔を撮像できる車載カメラと、ドライバの眼に向けて発光するＬＥＤライト等を用いてドライバの瞳孔反射からドライバの視線方向を推定するセンサとを有する。なお、視線検出装置１２としては、視線方向を直接取得するのではなく、撮影したドライバの顔や頭の向きから視線方向を推定することとしてもよい。なお、視線方向は、左右の眼の視線方向それぞれを取得してもよいし、左右の眼の視線方向から１つの視線方向を特定してもよい。後者の場合、視線方向として、左右の眼それぞれの視線方向を用いた任意の方向、たとえば各視線方向の平均値を特定してもよい。また、基本的に左右の眼の視線方向を取得することとし、外光や振動、メガネの影響などから片眼の視線方向しか取得できない場合に片眼の視線方向のみを取得する、というように視線方向の取得数を随時変更するようにしてもよい。

車載センサ群１４は、車に搭載された、走行中に各種データを取得するセンサ群であり、速度センサや、ＧＰＳ（Global Positioning System）測位装置、降雨センサ、照度センサ、振動センサなどを含む。

情報処理装置２０は、カメラ１０、視線検出装置１２、車載センサ群１４から画像やデータを取得し、取得した画像やデータに基づいてドライバの視線の状態を判定する装置である。

図２は、情報処理装置２０のハードウェア構成が概略的に示されている。この図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、入出力インタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これら情報処理装置２０の構成各部は、バス９８に接続されている。情報処理装置２０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（視線状態判定プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（視線状態判定プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す、各部の機能が実現される。

図３には、情報処理装置２０の機能ブロック図が示されている。情報処理装置２０のＣＰＵ９０がプログラムを実行することで、図３に示すように、カメラ選定部２２、取得部としての注視点画像領域推定部２４、特定部としての探索窓算出部２６、判定部としての追従判定部２８、視認時間計算部３０、必要視認時間決定部３２、視認判定部３４、およびわき見判定部３６としての機能が実現されている。なお、図３には、ＨＤＤ９６等に格納されているカメラ情報ＤＢ４０、地図ＤＢ４２および対象画像特徴ＤＢ４４も図示されている。

カメラ選定部２２は、処理に用いるカメラ１０を複数のカメラから選定する。具体的には、カメラ選定部２２は、ドライバの視認状態を判定したい時刻に十分近い２つの時刻（第１の時刻および第２の時刻）で視線検出装置１２が検知したドライバの視線方向と、各車載カメラの設置位置関係から、視差をそれぞれ求め、２つの時刻双方で最も視差が少ないカメラを選定する。この場合、カメラ選定部２２は、カメラ情報ＤＢ４０に格納されている情報を参照する。カメラ情報ＤＢ４０には、複数のカメラ１０それぞれの位置、ドライバの視点の位置等が格納されているものとする。

なお、カメラ選定部２２は、２つの時刻を選定する場合、例えば視認状態を判定したい時刻が現在時刻ならば、現在より少し前の時刻と現在時刻、あるいは現在時刻と現在より少し後の時刻、というように選定する。なお、前者の場合、厳密には判定したい時刻以前の状態を、後者は判定したい時刻以後の状態を判定することとなる。

図４（ａ）、図４（ｂ）には、視線方向に対するカメラの視差の算出方法を説明する図が示されている。図４（ａ）に示すように、カメラ選定部２２は、ある時刻において、視線検出装置１２で検出した視線方向（視線角Ｋの方向）にあり、任意に決定した距離（Ｒ）だけドライバ視点（Ｅ）から離れた場所に存在する視認対象（Ｋ１）を仮定し、視認対象（Ｋ１）とカメラ１０の中心（Ｃ）を結ぶベクトルＫ１−Ｃを算出する。そして、カメラ選定部２２は、ベクトルＫ１−Ｃと、視線検出装置１２による視線方向ベクトルＫ１−Ｅとの成す角αＫを求め、視差を成す角αＫに比例した任意の値として算出する。図４（ａ）には、比較参考のため、別の２つの視線方向（視線角Ｌ，Ｍの方向）、視認対象（Ｌ１、Ｍ１）、及びなす角αＬ、αＭを示している。また、図４（ａ）では、視認対象（Ｋ１、Ｌ１，Ｍ１）が視点から等距離（半径Ｒ）にあることを示すため、便宜的にドライバ視点Ｅを中心とする半径Ｒの円弧を記載している。なお、カメラ選定部２２では、複数のカメラ１０において、同時刻における視差を算出し、最も視差が小さいカメラ１０をドライバの視線の状態を判定するために用いるカメラとして選定する。

なお、図４（ａ）は、ドライバ視点Ｅ及び視線方向がある時刻に対して１つの値である場合の算出方法を示しているが、例えば、左右眼の位置および左右眼の視線方向を取得できる場合には、カメラ選定部２２は、それらに基づいて視差を算出することとしてもよい。この場合、図４（ｂ）に示すように、左眼位置から左視線方向に延びる直線と、右眼位置から右視線方向に延びる直線との交点を視認対象Ｋ１の位置とすることができるので、図４（ａ）のように距離Ｒを使わずになす角を算出することができる。図４（ｂ）の方法を採用した方が、図４（ａ）の方法より正確に視認対象の位置及び成す角を算出できる。ただし、左右両眼の視点位置及び視線方向が取得できない場合には活用できないため、２時刻での視線データの双方で、左右両眼に対する視点及び視線方向を取得できるときだけ図４（ｂ）の方法を採用し、その他の場合には図４（ａ）の方法を採用することとしてもよい。

なお、図４（ａ）ではドライバ視点Ｅを中心として距離Ｒだけ離れた視認対象を仮定することとしているが、これに代えて、カメラ１０の位置Ｃを中心とした距離Ｒの視認対象を求めてもよい。この場合、カメラ１０の位置Ｃを中心とする半径Ｒの円弧を描き、視点から視線方向へ伸びる直線と円の交点を視認対象とする。なお、このようにすると、仮定する視認対象の位置（Ｋ１〜Ｍ１）が図４（ａ）とは若干異なるが、視差が最も小さいカメラを図４（ａ）の場合と同様に選定することが可能である。

なお、２時刻で最も視差が少ないカメラを選定するためには、例えば、各カメラで各時刻の視線との視差を求めておき、各時刻での視差の和、平均、最大、最小のいずれかの値を求めて、全カメラでその値の比較を行い、最も値が小さいカメラを選定することとすればよい。

なお、上述したカメラ選定方法は一例である。すなわち、例えば、視線に対して左側の視認対象を見ていることが検知された場合に、カメラ選定部２２は、単純に、車の左側に設置されたカメラを選定するようにしてもよい。また、予めカメラ情報ＤＢ４０において、ドライバの視線方向と、選定すべきカメラ１０とを対応付けたテーブルを用意しておき、カメラ選定部２２は、該テーブルに基づいてカメラ１０を選定することとしてもよい。この場合、仮に、各時刻で選定されるカメラが異なった場合には、カメラ選定部２２は、選定された２つのカメラについての視差だけを算出し、該視差に基づいてカメラを選定することとしてもよい。あるいは、カメラ選定部２２は、あらかじめカメラの優先順位を決めておき、各時刻で選定されるカメラが異なった場合にはより優先順位の高いカメラを選定することとしてもよい。

なお、カメラ選定は、視線検出装置１２の測定間隔、および、カメラ１０の撮像間隔ごとに実施してもよいが、例えば、視線検出装置１２の検出する視線方向が所定の閾値以上になったタイミングで実施することとしてもよい。あるいは、時間の経過とともに視線が頻繁に移動する場合には、選定されるカメラが頻繁に変わることを避けるため、カメラの選定を所定時間間隔で行ってもよい。なお、車にカメラが複数設けられていない場合には、カメラ選定部２２を省略してもよい。

図３に戻り、注視点画像領域推定部２４は、前述した２時刻それぞれにおける、視線検出装置１２と選定されたカメラ１０との位置関係から、視線検出装置１２で検出された視線に対応する、選定されたカメラ１０により撮像された画像（以下、「シーン画像」と呼ぶ）上の注視点を特定する。また、注視点画像領域推定部２４は、特定された注視点の周辺に、任意の大きさの画像領域（以下、「注視点画像領域」と呼ぶ）を設定する。

図５（ａ）、図５（ｂ）は、注視点画像領域の算出方法について示す模式図である。注視点画像領域推定部２４は、幾何学的に、選定されたカメラ位置とカメラの撮像画角に基づいて定まる撮像範囲と、視点位置（図５（ａ）では左右眼の位置の中心として記載）とから視線方向に延びる直線の交点を注視点として算出する。そして、注視点画像領域推定部２４は、図５（ｂ）に示すように、算出した注視点を中心とし、誤差幅（Ｒ１，Ｒ２）の大きさを持つ領域を、シーン画像上の注視点画像領域とする。なお、注視点画像領域の形状は任意だが、簡単な形状、たとえば矩形等が計算の容易性等を考慮すると好ましい。

なお、図５（ａ）においては注視点画像領域の算出方法として、幾何学的な算出方法を示したが、これに限られるものではない。例えば、幾何学的に注視点画像位置を求める場合以外に、様々な視線方向を見たときのシーン画像上の画素位置の対応関係をキャリブレーション情報として事前取得しておき、それらの視線方向と画素位置の対応関係を用いて、任意視線方向に対する画素位置、すなわち注視点位置を特定してもよい。

ここで、注視点画像領域の大きさ（誤差幅Ｒ１、Ｒ２）は、例えば、視線検出装置１２の測定誤差や測定誤差可能性の大きさに基づいて決定することができる。なお、測定誤差とは、視線検出装置１２の測定性能及び視線検出装置１２が出力する測定精度値を意味し、測定誤差可能性とは、測定結果を悪化させる要因の有無を意味する。測定結果を悪化させる要因としては、例えば、視線として両眼の視線を測定したかどうか、車載センサ群１４に含まれる加速度センサの計測結果（加速度値等）、ＧＰＳ測位装置の計測結果（走行位置）と地図ＤＢ４２に格納されている地図情報等から凹凸の大きな走行路での走行を検知したかどうか、照光センサの検出結果から車外の輝度が明るく、逆光に近い環境であることを検知したかどうか、などが挙げられる。これらは、いずれも視線検出装置１２で取得した視線データの精度が低くなると思われる状況である。注視点画像領域推定部２４は、シーン画像上の注視点の周辺に、これらの視線検出装置１２の測定誤差や測定誤差可能性が大きいほど、領域の大きさが大きくなるように注視点画像領域を決定する。なお、地図ＤＢ４２には、現在位置の周辺状況を大まかに推定することが可能な地図情報が格納されている。地図情報としては、一般的なデジタル道路地図などを採用することができる。

なお、本実施形態では、注視点画像領域推定部２４は、注視点画像領域の大きさを前述した視線検出装置１２と選定されたカメラ１０との間の視差に基づいて決定することとしてもよい。視線検出装置１２と選定されたカメラの視差が大きいと、シーン画像上で視認対象が動く状況と、視線の移動により大きな乖離が発生しやすいため、注視点画像領域を計算する際に参照した、視線検出装置１２の注視点位置に誤差があると、画像領域の位置決めに大きな誤差が発生しやすい。このため、画像領域の大きさとして、視線検出装置１２の誤差以外に、視差の大きさも考慮して、視差の大きさが大きいほど、注視点画像領域を大きくするように決定してもよい。この結果、視差による誤差影響拡大を防ぐことができる。

さらに、注視点画像領域推定部２４は、注視点画像領域の大きさを２時刻の視線方向の変化を用いて調整してもよい。たとえば、注視点画像領域推定部２４は、２時刻の視線方向を比較して、視線の変化している方向の注視点画像領域を大きくするよう、２時刻のうちの後時刻での注視点画像領域を調整してもよい。同様に、注視点画像領域推定部２４は、視線の変化している方向と逆の注視点画像領域を大きくするよう、２時刻のうちの前時刻における注視点画像領域を調整してもよい。図６では、この調整例について図示している。図６においては、斜め右への視線移動に対して、前時刻の注視点画像領域の左側、後時刻の注視点画像領域の右側を大きめに調整している。それぞれの拡大した大きさの幅は、例えば次式（１）、（２）から算出することができる。
前時刻の差分大きさ（左側）＝ｋ１×｜移動方向の横成分｜ …（１）
後時刻の差分大きさ（右側）＝ｋ２×｜移動方向の横成分｜ …（２）
ここで、ｋ１，ｋ２は任意パラメータである。

なお、図６では説明の便宜上、左右方向に対してのみ大きさ調整を行う場合について説明したが、左右方向ではなく、斜め右の移動方向の縦成分を用いて、上下方向の調整を行ってもよい。また、左右方向の調整とともに上下方向の調整を行ってもよい。これにより、２時刻での実際の視線移動方向に合わせて、各時刻で誤差が発生しやすい部分の大きさを大きめにした注視点画像領域を設定することができるので、追従判定を精度よく行うことができる。

なお、注視点画像領域推定部２４は、予め定められた大きさに基づいて注視点画像領域を推定してもよい。

図３に戻り、探索窓算出部２６は、注視点画像領域推定部２４にて推定した注視点画像領域（及び注視点）を含むシーン画像の領域を、追従判定部２８におけるフロー算出に用いる探索窓として算出する。

探索窓算出部２６は、２時刻で算出した各シーン画像内の注視点画像領域の双方を含む範囲を探索窓Ｌとする。図７には探索窓Ｌの算出例が示されている。たとえば、１時刻目と２時刻目における注視点画像領域が図７に示す領域であるとすると、探索窓算出部２６は、両方の注視点画像領域を内包する十分大きな領域を探索窓Ｌとして設定する。なお、図７では、探索窓Ｌを２時刻の注視点画像領域の外接矩形とした例を示している。ただし、これに限らず、例えば、探索窓Ｌの大きさを、２時刻の注視点画像領域の外接形状の１．５倍程度の大きさ等としてもよい。このように、探索窓Ｌを大きめに確保すれば、誤差の影響をさほど受けずに、後述するフロー算出を行うことができる。

また、探索窓算出部２６は、例えば、２時刻の視線変化方向から探索窓Ｌの大きさを調整してもよい。例えば、前述した注視点画像領域推定部２４で視線方向の変化から各時刻の注視点画像領域を調整した場合（図６参照）と同様、図８（ａ）、図８（ｂ）に示すように、探索窓を調整し、調整後の探索窓Ｌ１、Ｌ２を作成する。この場合、探索窓Ｌ１として、移動方向と反対側に前時刻（１時刻目）の注視点画像領域近傍を拡大する調整したものを作成し、探索窓Ｌ２として、移動方向と同じ側に後時刻（２時刻目）の注視点画像領域近傍を拡大したものを作成する。

その他、探索窓の大きさとして、選定されたカメラと視線検出装置１２の位置関係から求めた視差の大きさに基づく大きさを採用することとしてもよい。ここで、視差が大きいと、２時刻でシーン画像上で視認対象が動く状況と視線の移動に、大きな乖離が発生しやすいため、画像領域の位置決めに大きな誤差が発生しやすい。したがって、視差が大きいときに探索窓の大きさを大きくとることで、誤差による後述するフロー算出の精度向上が期待できる。

追従判定部２８は、探索窓算出部２６が算出した探索窓Ｌ（又はＬ１，Ｌ２）を用いて、２時刻のシーン画像で注視点画像領域に対応する領域に最も合致する領域を探し、領域の移動ベクトルであるフロー（オプティカルフロー）を算出する。

図９、図１０は、探索窓Ｌによるフロー算出の一例を示す。前提として、２時刻Ｔ１、Ｔ２で撮像された各シーン画像内で、各時刻での視線検出装置１２の値を用いて、ドライバがどこを見たかを示す注視点画像領域と、それぞれにおける探索窓Ｌが算出されているとする。なお、図９（ａ）では、時刻Ｔ１における注視点画像領域を黒色矩形枠で示し、図９（ｂ）では、時刻Ｔ２における注視点画像領域を白色矩形枠で示している。

このとき、追従判定部２８は、時刻Ｔ１のシーン画像（図９（ａ）、図１０（ａ））において、時刻Ｔ２の画像の一部である時刻Ｔ２における注視点画像領域（図９（ｂ）の白色太線矩形領域）が、時刻Ｔ１のシーン画像の探索窓Ｌに対応する範囲（図１０（ａ）の破線領域）内で最も類似する箇所を探す。そして、時刻Ｔ２の画像内での位置からの移動量を、フローＦ１として算出する。

同様に、時刻Ｔ２のシーン画像（図９（ｂ）、図１０（ｂ））において、時刻Ｔ１の画像の一部である時刻Ｔ１の注視点画像領域（図９（ａ）の黒色太線矩形領域）が、時刻Ｔ２のシーン画像の探索窓Ｌに対応する範囲（図１０（ｂ）の破線領域）内で最も類似する箇所を探す。そして、時刻Ｔ１の画像内での位置からの移動量をフローＦ２として算出する。なお、フローＦ１、Ｆ２のいずれか一方のみを算出してもよい。

なお、上記フロー算出処理は、時刻Ｔ１の画像の探索窓Ｌに対応する範囲と、時刻Ｔ２の画像の探索窓Ｌに対応する範囲とにおいて共通する対象が撮像されているか否かを特定しているともいえる。また、フローＦ２を算出する処理は、時刻Ｔ１の画像における時刻Ｔ１の注視点に対応する範囲（注視点画像領域）の画像と類似する画像が時刻Ｔ２の画像の探索枠Ｌに対応する範囲に存在しているかを特定しており、フローＦ１を算出する処理は、時刻Ｔ２の画像における時刻Ｔ２の注視点に対応する範囲（注視点画像領域）の画像と類似する画像が時刻Ｔ１の画像の探索枠Ｌに対応する範囲に存在しているかを特定しているといえる。

なお、追従判定部２８は、注視点画像領域が最も類似する範囲を探す場合、探索窓Ｌ内において１画素ずつ注視点画像領域を移動させる。そして、追従判定部２８は、各位置で注視点画像領域の各画素と対応する探索窓Ｌ内の各画素の輝度差を求め、それらの総和が最小となったときの注視点画像領域の位置を、最も類似する箇所とする。ただし、輝度差の総和の最小値が規定値を超えている場合には、フロー算出できなかったとみなす。

図１１、図１２には、フロー算出ができない場合の例が示されている。なお、図１１（ａ）では、時刻Ｔ１における注視点画像領域を黒色矩形枠で示し、図１１（ｂ）では、時刻Ｔ２における注視点画像領域を白色矩形枠で示している。追従判定部２８は、時刻Ｔ１のシーン画像（図１１（ａ）、図１２（ａ））において、時刻Ｔ２の画像の一部である時刻Ｔ２における注視点画像領域（白色太線矩形領域）が、時刻Ｔ１のシーン画像の探索窓Ｌに対応する範囲（図１２（ａ）の破線領域）内で最も類似するところを探す。また、追従判定部２８は、時刻Ｔ２のシーン画像（図１１（ｂ）、図１２（ｂ））において、時刻Ｔ１の画像の一部である時刻Ｔ１の注視点画像領域（黒色太線矩形領域）が、時刻Ｔ２のシーン画像の探索窓Ｌに対応する範囲（図１２（ｂ）の破線領域）内で最も類似するところを探す。図１２（ｂ）の場合、探索窓Ｌ内に時刻Ｔ１の注視点画像領域と類似する箇所がないため、フローＦ２を算出できないことになる。

なお、上記例では、２時刻の探索窓が共通である場合について説明したが、図８（ａ）、図８（ｂ）のように、２時刻に対して異なる探索窓Ｌ１，Ｌ２を算出した場合には、各時刻の探索窓Ｌ１，Ｌ２を利用する。すなわち、前時刻の注視点画像領域と同じ画像領域を後時刻の画像内から探すときの探索窓には図８（ａ）に示す探索窓Ｌ１を用い、後時刻の注視点画像領域と同じ画像領域を前時刻の画像内から探す時の探索窓には図８（ｂ）に示す探索窓Ｌ２を用いればよい。

追従判定部２８は、更に、算出したフローの情報等に基づいて、ドライバの追従視を判定する。図１３は、追従判定部２８による追従判定の一例を示した図である。

図１３（ｂ）は、図１３（ａ）のように時刻Ｔ１、Ｔ２、…、Ｔ７で画像が撮影される場合における、前後する２時刻（時刻ペア：Ｔ１とＴ２、Ｔ２とＴ３、…Ｔ６とＴ７）の各画像、算出対象、フロー算出結果を示す表である。図１３（ｂ）においては、２時刻のペアごとに、２種類のフロー算出結果が得られる。両方ともフロー算出ができた場合（例えば、Ｔ２＆Ｔ３、Ｔ６＆Ｔ７）、追従判定部２８は、追従判定を追従中（○）とする。また、一方のみフロー算出ができた場合（例えば、Ｔ１＆Ｔ２、Ｔ５＆Ｔ６）、追従判定部２８は、やや判断精度が低いか、追従対象の変更を始める予兆があるとみなし、追従中である（△）と判定する。また、両方ともフロー算出できなかった場合（例えば、Ｔ３＆Ｔ４、Ｔ４＆Ｔ５）、追従判定部２８は、追従していない（ドライバの追従対象が変化した）（×）と判定する。

なお、上記においては、追従判定部２８は、各時刻ペアにおけるフロー算出判定結果を用いて、ドライバの追従視を判定する場合について説明したが、これに限られるものではない。追従判定部２８は、より多くの時刻、より長い時間のフロー算出結果を用いてドライバの追従視を判定してもよい。

図１４には、図１３（ｂ）の２倍の時間長さのフロー算出結果を用いて追従視を判定する例が示されている。例えば、Ｔ１＆Ｔ２のペアから２つのフロー算出結果、Ｔ２＆Ｔ３のペアから２つのフロー算出結果を取得し、合計４つのフロー算出結果を用いて、フロー算出できた確率（３／４）に基づいて、追従視していたかどうかを判定する。フロー算出できた確率が３／４であれば、追従判定値（図１４では、算出率と表記）は７５％となる。ここで、追従中と見做す際の追従判定値の閾値を例えば０．２５としておくと、Ｔ１〜Ｔ３における追従判定値は０．７５（＞０．２５）なので、追従判定部２８は、追従中（追従視あり）と判定する。

同様にして、Ｔ２〜Ｔ４では、追従判定値が０．５であり、Ｔ５〜Ｔ７では、追従判定値が０．７５であるので、追従判定部２８は、各時間において追従中と判定する。一方で、Ｔ３〜Ｔ５、Ｔ４〜Ｔ６では、追従判定値がそれぞれ０、０．２５であり、判定閾値以下であるので、追従判定部２８は追従中は判定しない。このように、フロー算出の時間長さを長くしても追従判定を行うことができる。なお、視線検出装置１２などの突発的な誤差（スパイクノイズなど）を丸めるためには、フロー算出の時間長さを長くして追従判定をした方がよい。

図３に戻り、視認時間計算部３０は、追従判定部２８で判定した各時刻の追従判定結果を用いて、連続してどれくらい追従しているかどうか、すなわち追従連続時間（視認対象を視認した時間）を推定計算する。

視認時間計算部３０は、追従連続時間を、例えば、１回でも追従判定で追従していないと判定された時点を追従終了時点とみなして算出する。なお、視認時間計算部３０は、複数回続けて追従していないと判断された時点を追従終了時点とみなしてもよい。前者では、より細かい追従の切れ目が把握できるという利点がある。また、後者では、視線検出装置１２等の誤差の影響を受けにくいという利点がある。

図１３（ｂ）において、例えば、１回および２回以上、追従してないと判定された時点を追従終了とみなす場合には、Ｔ３〜Ｔ６の近傍で追従連続時間が途切れることとなる。一方で、３回以上追従していないという判定された時点で追従終了とみなす場合には、図１３（ｂ）ではＴ１〜Ｔ７まで、追従連続時間が途切れることはない。

なお、視認時間計算部３０は、例えば、追従対象変更（途切れ）が発生した場合には、途切れている間の全時刻を視認時間として加算しないようにしてもよい。この場合、図１３（ｂ）の例では、Ｔ３＆Ｔ４とＴ４＆Ｔ５の２ペア、Ｔ４＆Ｔ５とＴ５＆Ｔ６の２ペアの２つで追従対象変更とされたため、Ｔ３〜Ｔ５は追従の連続時間の加算から外し、Ｔ１〜Ｔ２までの連続時間と、Ｔ７から先の連続時間を算出する。

あるいは、視認時間計算部３０は、追従開始時を追従判定において×から○又は△になった二時刻のうち遅い方（図１３（ｂ）のＴ５＆Ｔ６の場合、Ｔ６）、追従終了時を○又は△から×になった二時刻のうち早い方（図１３（ｂ）のＴ３＆Ｔ４の場合、Ｔ３）としてもよい。この場合、Ｔ４〜Ｔ５のみが、追従中と判断するのに用いられなかった時刻なので、Ｔ１〜Ｔ３、Ｔ６〜Ｔ７が連続追従時間として算出される。

なお、視認時間計算部３０は、図１３（ｂ）のＴ７より後の時刻、及びＴ１よりも前の時刻においても連続視認時間を計算する。

必要視認時間決定部３２は、現在の視認対象を視認するのに必要な時間（必要視認時間）を算出する。この時間は、すべての視認対象に対して一律であってもよいし、視認対象によって値を変更しても構わない。

例えば、より車の側方にある視認対象に対しては、道路周辺物の可能性が高く、通常は車前方を視認しているところから視線移動して把握を行う必要がある。このため、視認対象が側方に近い場合には、より視認に時間がかかると見做して、視認対象が車前方にある場合よりも必要視認時間を長めに設定しても構わない。現在の視認対象が側方にあるか否かは、例えば、視線データの視線方向と車の前方との成す角度が大きいか否かで判断できる。

さらに、必要視認時間決定部３２は、例えば、注視点画像領域および、その近傍周辺画像の任意画像領域内の画素変化の大きさが大きい場合に、必要視認時間をより長い時間としてもよい。この場合、画素変化として、例えば、注視点画像領域内の画素輝度分散値を用いることができる。視認対象周辺に様々な物体が存在する場合には、画素の変化が大きいと考えられるため、より物体が多くて視認対象を把握するのが難しい。このため、視認に必要な時間を長めにすることで、より確実な視認推定判断ができる。なお、この画素変化は、２時刻の両方の時刻の画素変化を用いてもよいし、どちらか片方の時刻の画素変化を用いてもよい。

さらに、必要視認時間決定部３２は、車載センサ群１４から取得した、各時刻の天候や、車の現在位置および現在位置と地図ＤＢ４２から推定できる周辺状況などによって、必要視認対象時間を変動させてもよい。たとえば、雨天や照度の低い時刻は視認がしにくい、繁華街などの周辺に物体が多い場所は視認しにくい、車が高速移動中は側方の物体（沿道の物体）は視認しにくい、などを考慮して、必要視認時間を設定してもよい。

視認判定部３４は、視認時間計算部３０で視認対象ごとに計算した連続追従時間と、必要視認時間決定部３２で計算した各対象に対する必要視認時間とに基づいて、対象を確実に視認できたかどうかを判定する。すなわち、ある時間以上の連続追従時間だった場合には、対象を視認できたと判断する。

なお、視認判定部３４は、厳密に時間比較をするのではなく、多少の時間推定誤差を勘案して、連続追従時間がやや短めでも視認していたと判断してもよい。また、視認判定部３４は、時間だけでなく、その時の視線データの詳しい内容を用いて、さらに精密な判断を行ってもよい。例えば、２時刻間で測定される視線データ群の移動速度が閾値以上を占めているデータの割合を算出し、割合が大きい場合には、より判定時間を長めにとっても構わない。図１５に示すように、例えば、視線データを移動速度の大きさによって３つの視線、サッカード、スムースパーシュート、固視に分別する。ここで、最も移動速度が大きい視線が、超高速な移動（跳び）を引き起こす眼球運動によるサッカードという視線である。また、低速移動する視認対象がある場合のみ発生し、ゆるやかな低速視線移動となるのがスムースパーシュートである。更に、厳密には非常に高速な微細振動を行うが大まかにはほぼ固定した視線であるのが固視である。視線データの移動速度が大きい場合は、視認している対象を認識するのが困難なサッカードである可能性が高い。したがって、視認判定部３４は、サッカードに属する視線データが多い場合には判定時間を長めにとることで、視線データが実際に認識しているのかを勘案した視認状況の判断が可能となる。

わき見判定部３６は、視認判定部３４で判定した、各視認対象ごとの視認有無を活用し、わき見をしているか否かを判断する。例えば、車の側方に存在する視認対象を視認しているが、車の前方に存在する視認対象を長時間視認していない場合には、わき見判定部３６は、わき見発生の可能性が高いと判断する。

このほかに、視認すべき対象物の画像特徴を対象画像特徴ＤＢ４４においてあらかじめ保持しておき、わき見判定部３６は、それらと違う視認対象への長時間視認が発生した場合にわき見と判断してもよい。例えば、高速道路などの視認対象があらかじめ限定できる環境では、標識や先行車、などの大まかな視認すべき対象をあらかじめ用意しておくことが可能である。このようにすることで、よりわき見の判断を正確に実施することができる。

次に、カメラ選定部２２、注視点画像領域推定部２４、探索窓算出部２６、追従判定部２８、必要視認時間決定部３２による処理の一例について、図１６〜図１８のフローチャートに沿って説明する。なお、既に説明した各部の処理の詳細については、省略するものとする。

図１６のステップＳ１０では、カメラ選定部２２が、ＨＤＤ９６等に判定開始時刻として現在時刻を記録する。次いで、ステップＳ１２では、カメラ選定部２２が、(現在時刻−判定開始時刻)が２時刻の規定時間Ｍ以上になったか否かを判断する。ここでの判断が否定された場合には、ステップＳ１４に移行し、カメラ選定部２２は、現在時刻を更新した後、ステップＳ１２に戻る。一方、ステップＳ１２の判断が肯定された場合には、ステップＳ１６に移行する。

ステップＳ１６に移行すると、カメラ選定部２２は、判定回数を０とする。次いで、ステップＳ１８では、カメラ選定部２２が、必要視認時間を規定初期値Ｔとし、２時刻の算出結果保存数Ｎ＝Ｔ／Ｍを算出する。

次いで、ステップＳ２０では、カメラ選定部２２が、２時刻として、時刻Ａ（現在時刻−規定時刻Ｍ）、時刻Ｂ（現在時刻）を決定し、判定回数を１インクリメントする。次いで、ステップＳ２２では、カメラ選定部２２が、時刻Ａ、Ｂにおいてカメラ１０が撮像した画像、視線データ、車載センサ群１４のデータを取得する。

次いで、ステップＳ２４では、カメラ選定部２２が、視線方向変化が閾値以上になったか又はカメラ未選定であるか否かを判断する。ここでの判断が肯定された場合には、ステップＳ２６に移行し、カメラ選定部２２は、複数のカメラから、１つのカメラを選定し、図１７のステップＳ２８に移行する。一方、ステップＳ２４の判断が否定された場合には、ステップＳ２６を経ずに、図１７のステップＳ２８に移行する。

図１７のステップＳ２８に移行すると、注視点画像領域推定部２４は、視線検出装置１２と選定されたカメラ１０の位置関係から注視点を特定する（図５（ａ）参照）。次いで、ステップＳ３０では、注視点画像領域推定部２４が、注視点画像領域の大きさを決定する。次いで、ステップＳ３２では、注視点画像領域推定部２４が、注視点画像領域を算出する（図５（ｂ）、図６参照）。

次いで、ステップＳ３４では、探索窓算出部２６が、探索窓を算出する（図７参照）。次いで、ステップＳ３６では、探索窓算出部２６が、探索窓を調整する（図８（ａ）、図８（ｂ）参照）。次いで、ステップＳ３８では、追従判定部２８が、時刻Ａにおいて撮影された画像でフローを算出する（図１０（ａ）、図１２（ａ）参照）。次いで、ステップＳ４０では、追従判定部２８が、時刻Ｂにおいて撮影された画像でフローを算出する（図１０（ｂ）、図１２（ｂ）参照）。次いで、ステップＳ４２では、追従判定部２８が、フロー算出結果をＨＤＤ９６等に保存する。その後は、図１８のステップＳ４４に移行する。

図１８のステップＳ４４に移行すると、必要視認時間決定部３２が、必要視認時間が規定初期値Ｔであるか否かを判断する。このステップＳ４４の判断が肯定された場合には、ステップＳ４６に移行し、必要視認時間決定部３２が、時刻Ｂの注視点画像領域内の輝度分散が閾値以上であるか否かを判断する。このステップＳ４６の判断が否定されると、ステップＳ４８に移行し、必要視認時間決定部３２が、時刻Ｂで、高速走行、雨天、繁華街走行が検知できるか否かを判断する。このステップＳ４８の判断が否定されると、ステップＳ５０に移行し、必要視認時間決定部３２が、時刻ＡＢ間の視線センサ群のデータに占めるサッカード視線の割合が閾値以上であるか否かを判断する。このステップＳ５０の判断が否定されると、ステップＳ５４に移行する。一方、ステップＳ４４の判断が否定された場合、ステップＳ４６、Ｓ４８，Ｓ５０の判断が肯定された場合には、ステップＳ５２において、必要視認時間決定部３２が、必要視認時間を長めに補正し、補正後の必要視認時間Ｔ’／規定時間Ｍから２時刻の算出結果保存数Ｎを補正し、Ｎ’とする。その後は、ステップＳ５４に移行する。

ステップＳ５４に移行すると、追従判定部２８は、現在の判定回数が、現在の２時刻の算出結果保存数Ｎ（Ｎ’）を超えたか否かを判断する。このステップＳ５４の判断が否定された場合には、図１６のステップＳ２０に戻るが、肯定された場合には、ステップＳ５６に移行する。

ステップＳ５６に移行すると、追従判定部２８は、保存しているすべての２時刻に対し、(フロー算出できた数／全時刻数)の算出率を求める（図１４）。

次いで、ステップＳ５８では、追従判定部２８が、算出数が閾値を超えたか否かを判断する。このステップＳ５８の判断が肯定された場合には、追従判定部２８は、ステップＳ６０に移行し、時刻ＡＢ間で追従視が続行中であると判断し、図１６のステップＳ１６に戻る。一方、ステップＳ５８の判断が否定された場合には、ステップＳ６２において、追従判定部２８が、時刻ＡＢ間で追従視が終了したと判断する。その後は、図１６のステップＳ１６に戻る。

なお、視認時間計算部３０、視認判定部３４、わき見判定部３６は、図１６〜図１８の処理の結果得られる情報を用いて、上述した処理を実行する。

以上、詳細に説明したように、本実施形態によると、注視点画像領域推定部２４が、時刻Ａ（１時刻目）と時刻Ｂ（２時刻目）のそれぞれにおいてドライバが注視する注視点の情報（注視点及び注視点画像領域）を取得する。そして、探索窓算出部２６は、時刻Ａの注視点と時刻Ｂの注視点を含む所定範囲（探索窓Ｌ）を特定し、追従判定部２８は、時刻Ａの画像の探索窓Ｌ内の範囲と、時刻Ｂの画像の探索窓Ｌ内の範囲とにおいて共通する対象が撮像されているか否かに基づいてドライバの視線が視認対象に追従しているか否かを判定する。これにより、例えば、図１９に示すように、ドライバ視点とカメラに視差があり、視認対象が移動した場合の視線方向の変化ベクトルと、画像上での視認対象の移動ベクトルがほぼ反対向きになるような場合であっても、ドライバの視線が対象に追従しているか否かを精度よく判定することができる。また、本実施形態によれば、路肩静止物以外の物体をドライバが追従視している場合にも、物体の動きを考慮しつつ、ドライバの追従視の有無を精度よく判定することができる。

また、本実施形態では、追従判定部２８は、時刻Ａ（１時刻目）の画像における時刻Ａの注視点に対応する範囲の画像と類似する画像が時刻Ｂ（２時刻目）の画像の探索窓Ｌの範囲に存在しているか、及び時刻Ｂの画像における時刻Ｂの注視点に対応する範囲の画像と類似する画像が時刻Ａの画像の探索窓Ｌの範囲に存在しているか、に基づいて、ドライバの視線が視認対象に追従しているかを判定する。これにより、いずれか一方に基づいて判定する場合よりも、注視点画像領域や探索窓Ｌの誤差等による影響を受けずに、ドライバの視線が視認対象に追従しているかを精度よく判定することができる。

また、本実施形態では、車に搭載されている複数のカメラとドライバ視点との視差を考慮して、最適なカメラを選定するため、この点からもドライバの視線が視認対象に追従しているかを精度よく判定することができる。また、最適なカメラを選定することにより、カメラの死角による判定精度の低下を抑制することもできる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得する取得部と、
前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定する特定部と、
前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とにおいて共通する対象が撮像されているか否かに基づいてユーザの視線の状態を判定する判定部と、を備える視線状態判定装置。
（付記２） 前記判定部は、前記第１の時刻の画像における前記第１の時刻の注視点に対応する範囲の画像と類似する画像が前記第２の時刻の画像の前記所定範囲に対応する範囲に存在しているか、及び／又は前記第２の時刻の画像における前記第２の時刻の注視点に対応する範囲の画像と類似する画像が前記第１の時刻の画像の前記所定範囲に対応する範囲に存在しているか、に基づいて、ユーザの視線の状態を判定することを特徴とする付記１に記載の視線状態判定装置。
（付記３） 前記判定部は、ユーザの視線が前記対象を追従しているか否かを判定することを特徴とする付記１又は２に記載の視線状態判定装置。
（付記４） 第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、
前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、
前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、
処理をコンピュータに実行させる視線状態判定プログラム。
（付記５） 前記判定する処理は、前記第１の時刻の画像における前記第１の時刻の注視点に対応する範囲の画像と類似する画像が前記第２の時刻の画像の前記所定範囲に対応する範囲に存在しているか、及び／又は前記第２の時刻の画像における前記第２の時刻の注視点に対応する範囲の画像と類似する画像が前記第１の時刻の画像の前記所定範囲に対応する範囲に存在しているか、に基づいて、ユーザの視線の状態を判定することを特徴とする付記４に記載の視線状態判定プログラム。
（付記６） 前記判定する処理は、ユーザの視線が前記対象を追従しているか否かを判定することを特徴とする付記４又は５に記載の視線状態判定プログラム。
（付記７）
第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、
前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、
前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、
処理をコンピュータが実行する視線状態判定方法。
（付記８） 前記判定する処理は、前記第１の時刻の画像における前記第１の時刻の注視点に対応する範囲の画像と類似する画像が前記第２の時刻の画像の前記所定範囲に対応する範囲に存在しているか、及び／又は前記第２の時刻の画像における前記第２の時刻の注視点に対応する範囲の画像と類似する画像が前記第１の時刻の画像の前記所定範囲に対応する範囲に存在しているか、に基づいて、ユーザの視線の状態を判定することを特徴とする付記７に記載の視線状態判定方法。
（付記９） 前記判定する処理は、ユーザの視線が前記対象を追従しているか否かを判定することを特徴とする付記７又は８に記載の視線状態判定方法。

２０ 情報処理装置（視線状態判定装置）
２４ 注視点画像領域推定部（取得部）
２６ 探索窓算出部（特定部）
２８ 追従判定部（判定部）

Claims (5)

1. 第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得する取得部と、
   前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定する特定部と、
   前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とにおいて共通する対象が撮像されているか否かに基づいてユーザの視線の状態を判定する判定部と、を備える視線状態判定装置。
2. 前記判定部は、前記第１の時刻の画像における前記第１の時刻の注視点に対応する範囲の画像と類似する画像が前記第２の時刻の画像の前記所定範囲に対応する範囲に存在しているか、及び／又は前記第２の時刻の画像における前記第２の時刻の注視点に対応する範囲の画像と類似する画像が前記第１の時刻の画像の前記所定範囲に対応する範囲に存在しているか、に基づいて、ユーザの視線の状態を判定することを特徴とする請求項１に記載の視線状態判定装置。
3. 前記判定部は、ユーザの視線が前記対象を追従しているか否かを判定することを特徴とする請求項１又は２に記載の視線状態判定装置。
4. 第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、
   前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、
   前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、
   処理をコンピュータに実行させる視線状態判定プログラム。
5. 第１の時刻と該第１の時刻から所定時間経過した第２の時刻のそれぞれにおいてユーザが注視する注視点の情報を取得し、
   前記第１の時刻の注視点と前記第２の時刻の注視点を含む所定範囲を特定し、
   前記第１の時刻の画像の前記所定範囲に対応する範囲と、前記第２の時刻の画像の前記所定範囲に対応する範囲とに、共通する対象が存在するか否かに基づいてユーザの視線の状態を判定する、
   処理をコンピュータが実行する視線状態判定方法。

Images