JP5460691B2 - 注視対象判定装置及び注視対象判定方法 - Google Patents

Description

本発明は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定装置に関する。

一般的に、ユーザの視線方向から得られる画面上の注視位置と画面上に表示されたオブジェクトの位置とを比較することにより、ユーザが注視しているオブジェクト（以下、適宜、単に「注視対象」と記載）が判定される。視線方向を検出する方法には、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）により目に照射された近赤外光が角膜で反射された光源像（プルキニエ像）と瞳孔の位置とを利用して視線方向を推定する角膜反射法がある。さらに、視線方向を検出する方法には、眼球中心と虹彩中心とを結ぶ三次元ベクトルが視線方向であると仮定して、ビデオカメラにより撮像されたユーザの画像から三次元眼球モデル等を用いて視線方向を検出する方法（例えば、非特許文献１を参照）等もある。

しかしながら、前者の角膜反射法では、赤外光を目領域に照射する必要があるため、視線の検出範囲が赤外光を照射できる範囲の近傍に限られる。そのため、角膜反射法では、視線方向を検出することができる、ユーザの姿勢あるいは立ち位置が制限されてしまう。

また、後者の非特許文献１に記載の方法では、眼球中心位置あるいは眼球半径等を直接計測することは不可能であるので、顔特徴点を用いることにより眼球中心位置あるいは眼球半径等のパラメータがモデル化される。三次元眼球モデルを用いて視線方向を推定する場合、ユーザが自由な姿勢あるいは立ち位置を取れるという利点がある。一方で、ユーザに対するキャリブレーションの誤差又は顔特徴点検出の誤差から、眼球中心及び虹彩中心を結ぶ線と実際の視線との間には比較的大きな誤差が生じるという欠点もある。この誤差の低減を目的として、視点の異なる複数台カメラを利用して視線検出の精度の向上を図る方法も提案されている。しかしながら、この種の方法では、依然として視線方向の推定精度がそれほど高くないという問題点が存在する。

このように、ユーザがある程度自由な姿勢をとる場合には、推定された視線方向には比較的大きな誤差が発生する。そこで、高精度に注視対象を判定するために、視線方向から得られる注視位置とオブジェクトの表示位置とを直接比較するのではなく、画面上のオブジェクトの変化に対する視線の追従性に着目するアプローチが考えられる（例えば、特許文献１又は特許文献２を参照）。

特許文献１に記載の注目判定装置は、視線が画面に向けられたとき、画面に表示されている提示情報Ｑを移動させる。そして、注目判定装置は、検出される視線の移動方向と提示情報Ｑの移動方向とが一致する場合、視線が提示情報Ｑの移動に追従したと判定する。

特許文献２に記載の運転者状態判定装置は、運転者に対して視覚的な刺激を与える。さらに、運転者状態判定装置は、その視覚的な刺激を与える位置を移動させたときの運転者の視線方向、視線滞留時間、及び視線軌跡の検出結果から、運転者が運転に適した状態であるか否かを判定する。

特許第４２０３２７９号公報 特開２００６−１５８７４０号公報

山添大丈、内海章、米澤朋子、安部伸治：「三次元眼球モデルを利用した単眼カメラによる遠隔視線推定」画像の認識・理解シンポジウム（ＭＩＲＵ２００８）、ｐｐ．１６５０−１６５５、２００８

しかしながら、上記従来の構成では、１つのオブジェクトの動きに対する視線の追従性を判定しているだけなので、複数のオブジェクトが移動などの変化をした場合に、ユーザの視線の反応が、どのオブジェクトの変化に対応したものかわからないという課題を有していた。

そこで、本発明は、上記従来の課題を解決するものであって、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを高精度に判定することができる注視対象判定装置を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る注視対象判定装置は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定装置であって、オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定部と、ユーザの視線方向を検出する視線方向検出部と、前記視線方向検出部によって検出された視線方向に基づいて、視線方向の時系列データである視線軌跡を算出する視線軌跡算出部と、前記視線軌跡算出部によって算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出部と、前記眼球運動イベント検出部によって検出されたイベント検出時刻と、前記イベント設定部によって提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析部と、前記同期構造分析部によって算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定部とを備える。

この構成により、イベント検出時刻とイベント発生時刻との時間差に基づいてユーザの注視対象を判定できるので、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを高精度に判定することができる。また、注視位置ではなく、視線方向の動きを利用して注視対象を判定しているので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。

また、前記注視対象判定部は、基準時間差以上であって、かつ、前記基準時間差に最も近い時間差が算出されたオブジェクトを、ユーザが注視しているオブジェクトとして判定することが好ましい。

この構成により、滑らかな眼球運動においてオブジェクトの動きに眼球が追従するまでに要する時間である潜時未満の時間差が検出されたオブジェクトが注視対象として判定されることを除外できるので、さらに高精度に注視対象を判定することが可能となる。

また、前記提示イベントは、前記視線方向検出部による視線方向の検出誤差よりも大きな視線方向の動きを誘発することが好ましい。

この構成により、視線検出の誤差によって誤って注視対象が判定されることを抑制することができるので、さらに高精度に注視対象を判定することが可能となる。

また、前記提示イベントは、前記オブジェクトの少なくとも一部の移動を示し、前記眼球運動イベント検出部は、前記提示イベントが示す移動の軌跡との類似性に基づいて、前記イベント検出時刻を検出することが好ましい。

この構成により、オブジェクトの移動軌跡と視線方向の動きとに基づいて注視対象を判定することができるので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。

また、前記提示イベントは、移動方向の変化をともなう移動を示し、前記イベント設定部は、前記各オブジェクトの少なくとも一部を往復運動させることにより、前記提示イベントを発生させることが好ましい。

この構成により、特徴的な移動軌跡を用いて視線軌跡からイベント検出時刻を検出できるので、イベント検出時刻の検出精度を向上させることができる。その結果、高精度に注視対象を判定することが可能となる。

また、前記提示イベントは、前記オブジェクトの少なくとも一部の水平方向の移動を示すことが好ましい。

この構成により、垂直方向よりも水平方向の方が視線の動きが検出されやすいという人の目の特性を利用して、さらに高精度に注視対象を判定することが可能となる。

また、前記提示イベントは、前記オブジェクトを注視しているユーザに、予め定められた速度以上の視線方向の動きを誘発し、前記眼球運動イベント検出部は、前記視線軌跡算出部によって算出された視線軌跡から、視線方向の動きが前記予め定められた速度以上となる時刻を前記イベント検出時刻として検出することが好ましい。

この構成により、視線方向が動く速さに基づいて注視対象を判定することができるので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。

また、前記複数のオブジェクトのそれぞれは文字列を含み、前記提示イベントは、前記文字列を読むために前記オブジェクトを注視しているユーザに前記予め定められた速度以上の視線方向の動きを誘発し、前記イベント設定部は、前記文字列に含まれる文字を、ユーザが読むことが不可能な表示状態である不可読状態からユーザが読むことが可能な表示状態である可読状態へ変化させることにより、前記提示イベントを発生させることが好ましい。

この構成により、文字列を読むためにオブジェクトを注視しているユーザの注視対象を高精度に判定することが可能となる。

また、前記提示イベントは、前記文字列に含まれる先頭文字の、不可読状態から可読状態への変化を示し、前記イベント設定部は、前記文字列に含まれる文字を可読状態から不可読状態へ読み順に変化させた後に、前記文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させることが好ましい。

この構成により、文字列を読むためにオブジェクトを注視しているユーザに与える違和感を抑制しつつ、提示イベントを発生させることが可能となる。

また、前記提示イベントは、前記文字列に含まれる先頭文字の、不可読状態から可読状態への変化を示し、前記イベント設定部は、前記文字列に含まれる文字を、不可読状態から可読状態へ変化させ、さらに可読状態から不可読状態へ変化させることを読み順に実行した後に、前記文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させることが好ましい。

この構成により、文字列を読むためにオブジェクトを注視しているユーザに与える違和感を抑制しつつ、提示イベントを発生させることが可能となる。

また、前記提示イベントは、前記文字列において文字間隔が大きくなる変化を示し、前記イベント設定部は、前記オブジェクト内を通過するように前記文字列を一方向に移動させるとともに、前記文字列において文字間隔が直前の文字間隔よりも大きくなるように変化させることにより、前記提示イベントを発生させることが好ましい。

この構成により、文字列を読むためにオブジェクトを注視しているユーザに与える違和感を抑制しつつ、提示イベントを発生させることが可能となる。

また、前記提示イベントは、前記文字列に含まれる行頭文字の、不可読状態から可読状態への変化を示し、前記イベント設定部は、複数行にわたる前記文字列に含まれる文字を読み順に不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させることが好ましい。

この構成により、文字列を読むためにオブジェクトを注視しているユーザに与える違和感を抑制しつつ、提示イベントを発生させることが可能となる。

また、前記イベント設定部は、前記オブジェクトを前記予め定められた速度以上の移動速度で移動させることにより、前記提示イベントを発生させることが好ましい。

この構成により、オブジェクトの移動に視線方向の動きが同期することを利用して、ユーザの注視対象を高精度に判定することが可能となる。

また、本発明の一態様に係る集積回路は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する集積回路であって、オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定部と、ユーザの視線方向を検出する視線方向検出部と、前記視線方向検出部によって検出された視線方向に基づいて、画面上におけるユーザの視線方向の時系列データである視線軌跡を算出する視線軌跡算出部と、前記視線軌跡算出部によって算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出部と、前記眼球運動イベント検出部によって検出されたイベント検出時刻と、前記イベント設定部によって提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析部と、前記同期構造分析部によって算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定部とを備える。

この構成により、上記注視対象判定装置と同様の効果を奏することができる。

また、本発明の一態様に係る注視対象判定方法は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定方法であって、オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定ステップと、ユーザの視線方向を検出する視線方向検出ステップと、前記視線方向検出ステップにおいて検出された視線方向に基づいて、画面上におけるユーザの視線方向の時系列データである視線軌跡を算出する視線軌跡算出ステップと、前記視線軌跡算出ステップにおいて算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出ステップと、前記眼球運動イベント検出ステップにおいて検出されたイベント検出時刻と、前記イベント設定ステップにおいて提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析ステップと、前記同期構造分析ステップにおいて算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定ステップとを含む。

これにより、上記注視対象判定装置と同様の効果を奏することができる。

なお、本発明は、注視対象判定方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明の一態様に係る注視対象判定装置によれば、イベント検出時刻とイベント発生時刻との時間差に基づいてユーザの注視対象を判定できるので、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを高精度に判定することができる。

図１は、本発明の実施の形態における注視対象判定装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態における注視対象判定処理の流れを示すフローチャートである。 図３Ａは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。 図３Ｂは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。 図４は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。 図５は、本発明の実施の形態における視線方向検出処理において顔向きを検出する処理を説明するための図である。 図６は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。 図７は、本発明の実施の形態における黒目中心の検出について説明するための図である。 図８は、本発明の実施の形態における黒目中心の検出について説明するための図である。 図９Ａは、本発明の実施の形態における画面に表示されたオブジェクトの配置例を示す図である。 図９Ｂは、本発明の実施の形態における画面に表示されたオブジェクトの配置例を示す図である。 図１０は、本発明の実施の形態におけるイベント検出時刻検出処理を説明するための図である。 図１１は、本発明の実施の形態における同期構造分析処理及び注視対象判定処理を説明するための図である。 図１２は、本発明の実施の形態の変形例１におけるオブジェクトの配置例を示す図である。 図１３は、本発明の実施の形態の変形例１における同期構造分析処理及び注視対象判定処理を説明するための図である。 図１４は、本発明の実施の形態の変形例２における画面上に表示されるオブジェクトの配置例を示す図である。 図１５は、本発明の実施の形態の変形例２における提示イベントの一例を示す図である。 図１６は、本発明の実施の形態の変形例３における画面上に表示されるオブジェクトの配置例を示す図である。 図１７は、本発明の実施の形態の変形例３における提示イベントの一例を示す図である。 図１８は、本発明の実施の形態の変形例４における画面上に表示されるオブジェクトの配置例を示す図である。 図１９は、本発明の実施の形態の変形例４における提示イベントの一例を示す図である。 図２０は、本発明の実施の形態の変形例５における画面上に表示されるオブジェクトの配置例を示す図である。 図２１は、本発明の実施の形態の変形例５における提示イベントの一例を示す図である。 図２２は、本発明の実施の形態の変形例６における画面上に表示されるオブジェクトの配置例を示す図である。 図２３は、本発明の実施の形態の変形例６における提示イベントの一例を示す図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

一般に、ユーザの眼球運動は、ユーザが注視するオブジェクトの動きに追従する。そのため、ユーザが注視するオブジェクトの動きとユーザの眼球運動との間には、時間的な同期構造が存在する。この同期構造を分析することによって、ユーザがどのオブジェクトを注視しているか否かを判定できる。同期構造を分析するためには、視線方向の検出誤差が大きな場合にも、検出されやすい眼球運動を発生させるように、オブジェクトを動かす又は変化させる必要がある。

以下において、上記のような視線方向の検出誤差が大きな場合にも検出されやすい眼球運動を発生させる、オブジェクトの少なくとも一部の特徴的な動き及び変化の少なくとも一方を提示イベント（イベント）と呼ぶことにする。なお、オブジェクトの少なくとも一部の変化とは、オブジェクトの少なくとも一部の形、大きさ、輝度又は色などの変化に加えて、オブジェクトの少なくとも一部が出現すること又は消滅することを含む。

図１は、本発明の実施の形態における注視対象判定装置の機能構成を示すブロック図である。

注視対象判定装置１０は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する。ここで、オブジェクトとは、画面に表示される表示要素又は表示要素の集合を意味する。

図１に示すように、注視対象判定装置１０は、視線方向検出部１１と、視線軌跡算出部１２と、イベント設定部１３と、眼球運動イベント検出部１４と、同期構造分析部１５と、注視対象判定部１６とを備える。

視線方向検出部１１は、ユーザの視線方向を検出する。つまり、視線方向検出部１１は、ユーザが見ている方向を検出する。

視線軌跡算出部１２は、視線方向検出部１１によって検出された視線方向に基づいて、視線方向の時系列データである視線軌跡を算出する。つまり、視線軌跡算出部１２は、視線方向検出部１１によって検出された視線方向に基づいて、視線方向の動きを示す視線軌跡を算出する。

具体的には、視線軌跡算出部１２は、例えば、画面上におけるユーザの注視位置の移動軌跡を視線軌跡として算出する。この場合、視線軌跡算出部１２は、視線方向とユーザの位置とを利用して、ユーザから視線方向に伸びる直線と画面との交点を注視位置として算出する。そして、視線軌跡算出部１２は、このように算出された注視位置の移動軌跡を視線軌跡として算出する。なお、ユーザの位置は、例えば、ステレオカメラなどによって撮影されたステレオ画像におけるユーザ像の視差を利用して検出されればよい。また例えば、ユーザ位置は、画面の前方の床面に設置された圧力センサによって検出される圧力を利用して検出されてもよい。

イベント設定部１３は、画面上の複数のオブジェクトそれぞれに対して、開始時刻が異なる提示イベントを設定する。つまり、イベント設定部１３は、画面上に表示された複数のオブジェクトのそれぞれに対して互いに異なる時刻に提示イベントを発生させる。

ここで、提示イベントとは、上述したように、オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す。また、提示イベントは、オブジェクトを注視しているユーザに対して視線方向の動きを誘発する。言い換えると、提示イベントは、オブジェクトを注視しているユーザに対して眼球の動きを誘発する。具体的には、提示イベントは、オブジェクトを注視しているユーザに対して注視位置の移動を誘発する。

眼球運動イベント検出部１４は、視線軌跡算出部１２が算出した視線軌跡から、提示イベントにあらかじめ対応付けられた視線軌跡テンプレートと相関の高い区間を抽出する。視線軌跡テンプレートは、提示イベントを注視した際に生起する確率が高い視線軌跡である。

つまり、眼球運動イベント検出部１４は、視線軌跡算出部１２によって算出された視線軌跡から、提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する。具体的には、眼球運動イベント検出部１４は、注視位置の移動軌跡を示す時間区間の開始時刻をイベント検出時刻として検出する。

より具体的には、眼球運動イベント検出部１４は、提示イベントが示す移動の軌跡との類似性に基づいて、イベント検出時刻を検出する。さらにより具体的には、眼球運動イベント検出部１４は、視線軌跡算出部１２によって算出された視線軌跡から、提示イベントが示すオブジェクトの移動軌跡と類似する注視位置の移動軌跡を示す時間区間（イベント検出区間）を検出することにより、イベント検出時刻を検出する。

同期構造分析部１５は、各オブジェクトの提示イベントの開始時刻と眼球運動イベント検出部１４が検出した区間の開始時刻との時間差を、各オブジェクトの提示イベントへの視線の同期度として判定する。

つまり、同期構造分析部１５は、検出されたイベント検出時刻と、イベント発生時刻との時間差を、オブジェクトごとに算出する。ここで、イベント発生時刻とは、イベント設定部１３によって提示イベントが発生させられている時刻である。つまり、イベント発生時刻とは、オブジェクトの少なくとも一部が、提示イベントが示す移動又は変化をしている時刻である。なお、本実施の形態では、提示イベントが発生している時間区間であるイベント発生区間の開始時刻がイベント発生時刻に相当する。

注視対象判定部１６は、同期度が高いオブジェクトをユーザの注視対象と判定する。つまり、注視対象判定部１６は、同期構造分析部１５によって算出された時間差に基づいて、複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する。

次に、以上のように構成された注視対象判定装置１０における各種動作について説明する。

図２は、本発明の実施の形態における注視対象判定処理の流れを示すフローチャートである。

まず、イベント設定部１３は、各オブジェクトに対して互いに異なる時刻に提示イベントを発生させる（Ｓ１０１）。

このとき、視線方向検出部１１は、ユーザの視線方向を検出する（Ｓ１０２）。続いて、視線軌跡算出部１２は、検出された視線方向に基づいて視線軌跡を算出する（Ｓ１０３）。

なお、ステップＳ１０１と、ステップＳ１０２及びＳ１０３との処理は、並行して行われてもよい。

そして、眼球運動イベント検出部１４は、算出された視線軌跡からイベント検出時刻を検出する（Ｓ１０４）。続いて、同期構造分析部１５は、イベント検出時刻とイベント発生時刻との時間差を算出する（Ｓ１０５）。

最後に、注視対象判定部１６は、算出された時間差に基づいて、複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する（Ｓ１０６）。

以上のように、注視対象判定装置１０は、複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する。

以下に、上記の注視対象判定処理に含まれる各処理について、図面を用いてさらに詳細に説明する。

まず、視線方向を検出する視線方向検出処理（Ｓ１０２）の詳細について説明する。

本実施の形態において、視線方向は、ユーザの顔の向き（以下、「顔向き」と記載）と、ユーザの顔向きに対する目の中の黒目部分の方向（以下、「黒目方向」と記載）との組み合わせを基に計算される。そこで、視線方向検出部１１は、まず人物の三次元の顔向きを推定する。次に、視線方向検出部１１は、黒目方向の推定を行う。最後に、視線方向検出部１１は、顔向き及び黒目方向の２つを統合して視線方向を計算する。

なお、視線方向検出部１１は、必ずしも、顔向きと黒目方向との組み合わせを基に視線方向を計算しなくてもよい。例えば、視線方向検出部１１は、眼球中心と虹彩（黒目）中心とに基づいて視線方向を計算してもよい。つまり、視線方向検出部１１は、眼球中心の三次元位置と虹彩（黒目）中心の三次元位置とを結ぶ三次元ベクトルを視線方向として計算してもよい。

図３Ａ及び図３Ｂは、本発明の実施の形態における視線方向検出処理において取得される画像を撮像する撮像装置を説明するための図である。図３Ａ又は図３Ｂに示すように、撮像装置は、画面の前方に位置するユーザを撮像可能なように、画面の近傍に設置される。

図４は、本発明の実施の形態における視線方向検出処理の流れを示すフローチャートである。

まず、視線方向検出部１１は、撮像装置が画面の前方に存在するユーザを撮像した画像を取得する（Ｓ５０１）。続いて、視線方向検出部１１は、取得された画像から顔領域の検出を行う（Ｓ５０２）。次に、視線方向検出部１１は、検出された顔領域に対し、各基準顔向きに対応した顔部品特徴点の領域を当てはめ、各顔部品特徴点の領域画像を切り出す（Ｓ５０３）。

そして、視線方向検出部１１は、切り出された領域画像と、あらかじめ保持されたテンプレート画像の相関度を計算する（Ｓ５０４）。続いて、視線方向検出部１１は、各基準顔向きが示す角度を、計算された相関度の比に応じて重み付けして加算した重み付け和を求め、これを検出した顔領域に対応するユーザの顔向きとして検出する（Ｓ５０５）。

図５は、本発明の実施の形態における視線方向検出処理において顔向きを検出する処理を説明するための図である。

視線方向検出部１１は、図５の（ａ）に示すように、各基準顔向きに対応した顔部品特徴点の領域を記憶している顔部品領域ＤＢから、顔部品特徴点の領域を読み出す。続いて、視線方向検出部１１は、図５の（ｂ）に示すように、撮影された画像の顔領域に対し顔部品特徴点の領域を基準顔向きごとに当てはめ、顔部品特徴点の領域画像を基準顔向きごとに切り出す。

そして、視線方向検出部１１は、図５の（ｃ）に示すように、切り出された領域画像と、顔部品領域テンプレートＤＢに保持されたテンプレート画像との相関度を基準顔向きごとに計算する。また、視線方向検出部１１は、このように計算された相関度が示す相関度合いの高さに応じて、基準顔向きごとの重みを算出する。例えば、視線方向検出部１１は、基準顔向きの相関度の総和に対する各基準顔向きの相関度の比を重みとして算出する。

続いて、視線方向検出部１１は、図５の（ｄ）に示すように、基準顔向きが示す角度に、算出された重みを乗算した値の総和を計算し、計算結果をユーザの顔向きとして検出する。

図５の（ｄ）の例では、基準顔向き＋２０度に対する重みが「０．８５」、正面向きに対する重みが「０．１４」、−２０度に対する重みが「０．０１」であるので、視線方向検出部１１は、顔向きを１６．８度（＝２０×０．８５＋０×０．１４＋（−２０）×０．０１）と検出する。

なお、図５では、視線方向検出部１１は、顔部品特徴点の領域画像を対象として相関度を計算したが、これには限らない。例えば、視線方向検出部１１は、顔領域全体の画像を対象として相関度を計算してもよい。

また、顔向きを検出するその他の方法としては、顔画像から目・鼻・口などの顔部品特徴点を検出し、顔部品特徴点の位置関係から顔向きを計算する方法がある。

顔部品特徴点の位置関係から顔向きを計算する方法としては、１つのカメラから得られた顔部品特徴点に最も一致するように、あらかじめ用意した顔部品特徴点の三次元モデルを回転・拡大縮小してマッチングし、得られた三次元モデルの回転量から顔向きを計算する方法がある。

また、顔部品特徴点の位置関係から顔向きを計算する他の方法としては、２台のカメラにより撮影された画像を基にステレオ視の原理を用いて、左右のカメラにおける顔部品特徴点位置の画像上のずれから各顔部品特徴点の三次元位置を計算し、得られた顔部品特徴点の位置関係から顔向きを計算する方法がある。具体的には、例えば、両目及び口の三次元座標点で張られる平面の法線方向を顔向きとして検出する方法などがある。

図４のフローチャートの説明に戻る。

視線方向検出部１１は、撮像装置によって撮像されたステレオ画像を用いて、ユーザの左右の目頭の三次元位置を検出し、検出した左右の目頭の三次元位置を用いて視線方向基準面を算出する（Ｓ５０６）。続いて、視線方向検出部１１は、撮像装置によって撮像されたステレオ画像を用いて、ユーザの左右の黒目中心の三次元位置を検出する（Ｓ５０７）。そして、視線方向検出部１１は、視線方向基準面と左右の黒目中心の三次元位置とを用いて、黒目方向を検出する（Ｓ５０８）。

そして、視線方向検出部１１は、検出されたユーザの顔向きと黒目方向とを用いて、ユーザの視線方向を検出する（Ｓ５０９）。

次に、黒目方向を検出する方法の詳細について、図６〜図８を用いて説明する。

本実施の形態では、視線方向検出部１１は、まず、視線方向基準面を算出する。続いて、視線方向検出部１１は、黒目中心の三次元位置を検出する。そして最後に、視線方向検出部１１は、黒目方向を検出する。

まず、視線方向基準面の算出について説明する。

図６は、本発明の実施の形態における視線方向基準面の算出について説明するための図である。

視線方向基準面とは、黒目方向を検出する際に基準となる面のことであり、図６に示すように顔の左右対称面と同一である。なお、目頭の位置は、目尻、口角、又は眉など他の顔部品に比べて、表情による変動が少なく、また誤検出が少ない。そこで、視線方向検出部１１は、顔の左右対称面である視線方向基準面を目頭の三次元位置を用いて算出する。

具体的には、視線方向検出部１１は、撮像装置であるステレオカメラで撮像した２枚の画像（ステレオ画像）のそれぞれにおいて、顔検出モジュールと顔部品検出モジュールとを用いて、左右の目頭領域を検出する。そして、視線方向検出部１１は、検出した目頭領域の画像間の位置のずれ（視差）を利用して、左右の目頭それぞれの三次元位置を計測する。さらに、視線方向検出部１１は、図６に示すように、検出した左右の目頭の三次元位置を端点とする線分の垂直二等分面を視線方向基準面として算出する。

次に、黒目中心の検出に関して説明する。

図７及び図８は、本発明の実施の形態における黒目中心の検出について説明するための図である。

対象物からの光が瞳孔を通って網膜に届き電気信号に変換され、その電気信号が脳に伝達されることにより、人は対象物を視覚的に認識する。したがって、瞳孔の位置を用いれば、視線方向を検出することができる。しかし、日本人の虹彩は、黒又は茶色であるので、画像処理によって瞳孔と虹彩とを判別することが難しい。そこで、本実施の形態では、瞳孔の中心と黒目（瞳孔及び虹彩の両方を含む）の中心とがほぼ一致することから、視線方向検出部１１は、黒目方向を検出する際に、黒目中心の検出を行う。

視線方向検出部１１は、まず、撮影された画像から目尻と目頭との位置を検出する。そして、視線方向検出部１１は、図７のような、目尻と目頭とを含む領域から輝度が小さい領域を、黒目領域として検出する。具体的には、視線方向検出部１１は、例えば、輝度が所定閾値以下なる領域であって、所定の大きさよりも大きい領域を黒目領域として検出する。

次に、視線方向検出部１１は、図８のような、第１領域と第２領域とからなる黒目検出フィルタを黒目領域の任意の位置に設定する。そして、視線方向検出部１１は、第１領域内の画素の輝度と第２領域内の画素の輝度との領域間分散が最大となるような黒目検出フィルタの位置を探索し、探索結果が示す位置を黒目中心として検出する。最後に、視線方向検出部１１は、上記と同様に、ステレオ画像における黒目中心の位置のずれを利用して、黒目中心の三次元位置を検出する。

さらに、黒目方向の検出について説明する。

視線方向検出部１１は、算出した視線方向基準面と、検出した黒目中心の三次元位置とを用いて、黒目方向を検出する。成人の眼球直径は、ほとんど個人差がないことが知られており、例えば日本人の場合約２４ｍｍである。したがって、基準となる方向（例えば正面）を向いたときの黒目中心の位置が分かっていれば、そこから現在の黒目中心の位置までの変位を求めることで黒目方向に変換算出することができる。

ユーザが正面を向いたときは、左右の黒目中心の中点が顔の中心、すなわち視線方向基準面上に存在することを利用して、視線方向検出部１１は、左右の黒目中心の中点と視線方向基準面との距離を算出することにより、黒目方向を検出する。

具体的には、視線方向検出部１１は、眼球半径Ｒと左右の黒目中心を結んだ線分の中点と視線方向基準面との距離ｄとを用いて、式（１）に示すように、顔向きに対する左右方向の回転角θを黒目方向として検出する。

以上のように、視線方向検出部１１は、視線方向基準面と黒目中心の三次元位置とを用いて、黒目方向を検出する。そして、視線方向検出部１１は、検出された顔向きと黒目方向とを用いて、実空間におけるユーザの視線方向を検出する。

なお、視線方向の検出方法は、角膜反射法、ＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｐｈｙ）法、サーチコイル法及び強膜反射法など多種多様な方法がある。したがって、視線方向検出部１１は、必ずしも上述した方法によって視線方向を検出する必要はない。例えば、視線方向検出部１１は、角膜反射法を用いて、視線方向を検出してもよい。

角膜反射法は、点光源照明を角膜に照射した際に明るく現れる角膜反射像（プルキニエ像）の位置をもとに、眼球運動を計測する手法である。眼球回転中心と角膜の凸面の中心とが一致しないため、角膜を凸面鏡とし光源の反射点を凸レンズなどで集光すると、この集光点は眼球の回転にともなって移動する。この点を撮像装置で撮影することで、眼球運動を計測するものである。

次に、視線軌跡からイベント検出時刻を検出するイベント検出時刻検出処理（Ｓ１０４）と同期構造分析処理（Ｓ１０５）と注視対象判定処理（Ｓ１０６）との詳細について説明する。

図９Ａ及び図９Ｂは、本発明の実施の形態における画面に表示されたオブジェクトの配置例を示す図である。

図９Ａ及び図９Ｂに示すように、本実施の形態における注視対象判定装置１０は、１以上の画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する。すなわち、図９Ａに示すように、注視対象判定装置１０は、１つの画面上に表示された複数のオブジェクトのうちユーザが注視しているオブジェクトを判定する。または、図９Ｂに示すように、注視対象判定装置１０は、複数の画面（画面Ａ及び画面Ｂ）上のいずれかに表示されている複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する。

なお、図９Ａ及び図９Ｂでは、画面上に表示されるオブジェクトの数は２つであり、そのどちらのオブジェクトを注視しているかを判定するという単純化された状況が示されている。また、第１及び第２のオブジェクトは縦に並べて表示され、かつ、第１及び第２のオブジェクトの移動方向は水平方向のみである。これは、垂直方向の動きよりも水平方向の動きの方が視線方向の検出精度が向上するためである。

なお、このオブジェクトの数、配置及び動きは、一例にすぎないのは勿論のことである。つまり、オブジェクトの数は２つより多くてもよい。また、オブジェクトは、例えば横もしくは斜めに並べて、またはランダムな位置に表示されてもよい。また、オブジェクトの移動方向は、垂直方向又は斜め方向などであってもよい。

図１０は、本発明の実施の形態におけるイベント検出時刻検出処理を説明するための図である。また、図１１は、本発明の実施の形態における同期構造分析処理及び注視対象判定処理を説明するための図である。

ここで、画面上に表示されるコンテンツを構成するＮ個のオブジェクトに対して、各オブジェクトの時刻ｔにおける２次元平面上の重心位置を

とおく。さらに、これらのオブジェクトが非常に似かよった動きとして、小さな時間差で同一の動きをする場合を考える。すなわち、第ｉのオブジェクトの水平方向の動きｘ_ｉ（ｔ）は、ある連続関数ｘ（ｔ）を用いて、式（２）のように表される。

ここで、ｄ_ｉ、ｂ_ｉはそれぞれ第ｉのオブジェクトの動きｘ_ｉ（ｔ）のｘ（ｔ）に対する時間差及び位置の差を表す。

また、オブジェクトの動きｘ（ｔ）を決定する際には、以下の点に留意することが好ましい。

（１）オブジェクトの動く領域
オブジェクトの動く領域が小さすぎる場合には、眼球運動が小さくなり視線方向の検出の計測誤差に埋もれてしまう可能性がある。そのため、例えば、視線方向検出部１１の検出誤差が、例えば５０ｍｍであれば、それ以上の幅でオブジェクトを動かすことが好ましい。

つまり、提示イベントは、視線方向検出部１１による視線方向の検出誤差よりも大きな視線方向の動きを誘発することが好ましい。すなわち、提示イベントは、視線方向検出部１１による視線方向の検出誤差に起因する注視位置の誤差よりも大きな注視位置の移動を誘発することが好ましい。つまり、イベント設定部１３は、視線方向の検出誤差に起因する注視位置の誤差よりも大きく各オブジェクトを移動させることにより、提示イベントを発生させることが好ましい。

（２）オブジェクトの動く速さ
一般に、滑らかに動くオブジェクトに対して視線が追従できる速さは、２〜４０［度／ｓｅｃ］であると言われている。このことは、非特許文献２（日本視覚学会：「視覚情報処理ハンドブック」、朝倉書店、２０００）に示されている。

これらの点を考慮し、オブジェクトの動きｘ_ｉ（ｔ）として、例えば、式（３）で表される正弦波を採用することができる。

ここで、θ_ｉはオブジェクト間の位相差として表される時間差である。

また、例えば、５０インチの画面の前方に、ユーザが画面から約１ｍ離れた位置にいる場合、一設定例として、振幅ａ＝１６２．０［ｍｍ］、周期Ｔ＝３．６７［ｓｅｃ］とすることができる。

つまり、本実施の形態では、イベント設定部１３は、オブジェクトを水平方向に往復運動させる。なお、イベント設定部１３は、必ずしもオブジェクトを水平方向に往復運動させる必要はなく、垂直方向又は斜め方向などに往復運動させてもよい。

視線方向検出部１１によって検出された視線方向に基づいて、視線軌跡算出部１２によって算出される、画面上におけるユーザの注視位置の座標系列である注視座標系列をｘ_ｇａｚｅ（ｔ）と表せば、ユーザがあるオブジェクトを注視している場合、ｘ_ｇａｚｅ（ｔ）にはユーザが注視しているオブジェクトの動きが反映されると考えられる。この注視座標系列は視線軌跡に相当する。

ところで、一般的にユーザの姿勢や立ち位置の自由さを許容した注視対象判定では、ｘ_ｇａｚｅ（ｔ）に比較的大きな計測誤差が存在する。そのため、その誤差に埋もれてしまうようなオブジェクトの動きはユーザの眼球運動から検出することができない。

そこで、オブジェクトの動きｘ（ｔ）に対して、ある時間区間における特徴的なオブジェクトの動きを提示イベントとして定義する。ここで、オブジェクトの動きｘ（ｔ）に対して提示イベントの軌跡ｅ（ｔ）は、式（４）のように表される。

ここで、ｔ_{ｓｔａｒｔ}はイベント発生時刻であり、ｔ_{ｅｖｅｎｔ}はイベント発生区間の時間長である。

そして、図１０の（ｂ）に示すように、イベント設定部１３によって、提示イベントの軌跡ｅ（ｔ）が、各オブジェクトにおいて［ｔ_{ｓｔａｒｔ}＋ｄ_ｉ，ｔ_{ｓｔａｒｔ}＋ｄ_ｉ＋ｔ_{ｅｖｅｎｔ}］の時間区間（第１のイベント発生区間１０２及び第２のイベント発生区間１０３）に発生されられる。ここで、ｔ_{ｓｔａｒｔ}＋ｄ_ｉによって定義される時刻を、各オブジェクトにおけるイベント発生時刻と呼ぶ。この提示イベントは、眼球運動の計測誤差の大きい場合であっても、検出しやすい眼球の動きを誘発する。つまり、提示イベントは、視線方向検出部１１による視線方向の検出誤差に起因する注視位置の誤差よりも大きな注視位置の移動を誘発する。

提示イベントの一例としては、並進運動の折り返し等の動きが挙げられる。すなわち、オブジェクトを水平方向に往復させることで折り返しの動きを持たせ、その折り返しの動きの近傍の動きを提示イベントとして定義する。つまり、提示イベントは、移動方向の変化をともなう移動を示す。より具体的には、提示イベントは、移動方向の反転をともなう移動を示す。

ユーザが提示イベントを目で追うことで、注視座標系列ｘ_ｇａｚｅ（ｔ）には、提示イベントの軌跡ｅ（ｔ）に類似した特徴が現れる。そこで、ユーザがイベントを目で追った時に表れると想定される視線軌跡を視線軌跡テンプレートと呼ぶことにすると、眼球運動イベント検出部１４は、注視座標系列ｘ_ｇａｚｅ（ｔ）と視線軌跡テンプレートとの相関をとることで、図１０の（ｃ）に示すように、注視座標系列ｘ_ｇａｚｅ（ｔ）において、イベント検出区間１０４を抽出する。そして、眼球運動イベント検出部１４は、抽出したイベント検出区間１０４の開始時刻を、注視対象の提示イベントに眼球運動が追従しはじめたイベント検出時刻Ｔとして検出する。以下、適宜、時刻Ｔのことを眼球運動におけるイベント発生時刻とも呼ぶ。

なお、ここでは、図１０の（ａ）に示すように、視線軌跡テンプレート１０１として、提示イベントの軌跡ｅ（ｔ）を採用する。

そうすると、眼球運動におけるイベント発生時刻Ｔは、注視座標系列ｘ_ｇａｚｅ（ｔ）と視線軌跡テンプレート（イベントの軌跡）ｅ（ｔ）との相関度を算出することによって次式（５）のとおり求められる。

ここで、ｃｏｒｒは正規化相互相関関数であり、式（６）によって表される。

ここで、ｘ_ｇａｚｅ（ｔ）とｅ（ｔ）の各々の平均値は、下記の記号を用いている。

このように、眼球運動イベント検出部１４は、提示イベントが示す移動の軌跡との類似性に基づいて、イベント検出時刻を検出する。より具体的には、眼球運動イベント検出部１４は、提示イベントが示す移動の軌跡との類似性を示す相関度を視線軌跡の各時間区間において算出し、最も類似性が高いことを示す相関度が得られる時間区間の開始時刻をイベント検出時刻として検出する。

そして、図１１に示すように、同期構造分析部１５は、各オブジェクトにおけるイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_ｉと眼球運動におけるイベント発生時刻Ｔとの同期構造を分析する。つまり、同期構造分析部１５は、イベント検出時刻Ｔとイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_ｉとの時間差をオブジェクトごとに算出する。

そして、注視対象判定部１６は、算出された時間差に基づいて、複数のオブジェクトの中からユーザの注視対象を判定する。

ここで、各オブジェクトに対して、そのオブジェクトがユーザの注視対象であるか否かを判別するための評価値Ｖ_ｉを導入する。ユーザがあるオブジェクトの動きを目で追っているのであれば、そのオブジェクトにおけるイベント発生時刻と眼球運動におけるイベント発生時刻は同期すると考えられる。したがって、各オブジェクトにおけるイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_ｉと眼球運動におけるイベント発生時刻Ｔとの時間差を用いて、評価値Ｖ_ｉを次式（７）のように定義する。つまり、同期構造分析部１５は、各オブジェクトについて、イベント検時刻Ｔとイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_ｉとの時間差を評価値Ｖ_ｉとして算出する。

例えば、図１１では、同期構造分析部１５は、イベント検出時刻Ｔと、第１のオブジェクトのイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_１との時間差を評価値Ｖ_１として算出する。また、同期構造分析部１５は、イベント検出時刻Ｔと、第２のオブジェクトのイベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_２との時間差を評価値Ｖ_２として算出する。

ここで、ユーザが所定の時間、画面内の注視対象を変化させずに１つのオブジェクトを注視し続ける状況を考える。この場合、イベント設定部１３は、注視対象判定を行う時間区間に全オブジェクトに対して、提示イベントが１回発生するように、オブジェクトを移動させればよい。そして、同期構造分析部１５は、各オブジェクトの評価値Ｖ_ｉを比較することで、各オブジェクトの提示イベントに対する視線（眼球運動）の同期度合いを示す同期度を判定することができる。

今、第ｋのオブジェクトが注視対象であれば、評価値Ｖ_ｋは他のオブジェクトの評価値に比べて小さくなる。すなわち、第ｋのオブジェクトが注視対象であれば、下式（８）が成立する。

したがって、注視対象判定部１６は、上式（８）に基づいて、第ｋのオブジェクトが視線の同期度が最も高いと判定でき、第ｋのオブジェクトをユーザの注視対象と判定できる。

つまり、注視対象判定部１６は、最も小さい時間差が算出されるオブジェクトをユーザが注視しているオブジェクトとして判定する。例えば、図１１では、注視対象判定部１６は、第１のオブジェクトの時間差を示す評価値Ｖ_１よりも第２のオブジェクトの時間差を示す評価値Ｖ_２の方が小さいので、第２のオブジェクトを注視対象として判定する。

以上のように、本実施の形態における注視対象判定装置１０は、画面上の各オブジェクトに対して、互いに異なる時刻に所定の提示イベントを発生させたときに算出される視線軌跡から、提示イベントにあらかじめ対応付けられた視線軌跡テンプレートと相関の高い時間区間の開始時刻をイベント検出時刻として検出する。さらに、注視対象判定装置１０は、各オブジェクトのイベント発生時刻とイベント検出時刻との時間差に基づいて、ユーザの注視対象を判定する。そのため、画面上の複数のオブジェクトの中からユーザの注視対象を精度良く判定することができる。

つまり、注視対象判定装置１０は、イベント検出時刻とイベント発生時刻との時間差に基づいてユーザの注視対象を判定できるので、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを高精度に判定することができる。

さらに、注視対象判定装置１０は、複数のオブジェクトに対して、提示イベントを互いに異なる時刻に発生させればよいので、複数のオブジェクトに対して、同一の提示イベントを発生させることが可能となる。したがって、注視対象判定装置１０は、画面に表示されている複数のオブジェクトの動きなどの調和が図られた状態で、注視対象を判定することができる。

また、注視対象判定装置１０は、注視位置ではなく、視線方向の動きを利用して注視対象を判定しているので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。具体的には、注視対象判定装置１０は、例えば、オブジェクトの移動軌跡と注視位置の移動軌跡とに基づいて注視対象を判定することができるので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。

また、注視対象判定装置１０は、視線方向の検出誤差よりも大きな視線方向の動きを誘発する提示イベントを用いて注視対象を判定する。したがって、注視対象判定装置１０は、視線検出の誤差によって誤って注視対象が判定されることを抑制することができるので、さらに高精度に注視対象を判定することが可能となる。

また、注視対象判定装置１０は、オブジェクトの水平方向の移動を提示イベントとして発生させることにより、垂直方向よりも水平方向の方が視線の動きが検出されやすいという人の目の特性を利用して、さらに高精度に注視対象を判定することが可能となる。

そして、このように高精度に注視対象が判定されることを利用して、注視対象判定装置１０は、例えば、ユーザの嗜好を推定するためのデータベースを作成することも可能となる。さらに、注視対象判定装置１０は、例えば、高精度に判定された注視対象に関する情報などをさらに表示させるなどにより、ユーザの利便性を向上させることもできる。

なお、本実施の形態において、視線方向検出部１１は、眼球中心と虹彩中心とを結ぶ三次元ベクトルが視線方向であると仮定して、カメラで撮像されたユーザの画像から、三次元眼球モデル等を用いて視線方向を検出した。しかし、視線方向検出部１１は、ＬＥＤにより近赤外光を目に照射し、角膜で反射された光源像（プルキニエ像）と瞳孔の位置から視線方向を推定する瞳孔角膜反射法等の方法などを用いて視線方向を検出してももちろんよい。

また、本実施の形態において、イベント検出時刻は、イベント検出区間の開始時刻であったが、必ずしも開始時刻である必要はない。例えば、イベント検出時刻は、イベント検出区間の中央値であってもよい。この場合、イベント発生時刻も、イベント発生区間の中央値となる。

また、本実施の形態において、イベント設定部１３は、複数のオブジェクトのすべてに対して、同一の提示イベントを発生させていたが、必ずしもすべてのオブジェクトに対して同一の提示イベントを発生させる必要はない。例えば、イベント設定部１３は、第１及び第２のオブジェクトに対して第１の提示イベントを互いに異なる時刻に発生させ、第３及び第４のオブジェクトに対して第１の提示イベントとは異なる第２の提示イベントを互いに異なる時刻に発生させてもよい。この場合であっても、注視対象判定装置１０は、高精度に注視対象を判定することができる。

また、本実施の形態では、視線軌跡が注視座標系列である場合について説明したが、視線軌跡は必ずしも注視座標系列である必要はない。つまり、視線軌跡は、視線方向の動きを示せばよく、必ずしも注視位置の動きを示す必要はない。例えば、ユーザの頭部運動があまりない（ほとんど無視できる）場合、視線軌跡は、黒目中心位置の移動軌跡であってもよい。この場合であっても、眼球運動イベント検出部１４は、提示イベントに対応する黒目中心位置の動きを示す時刻をイベント検出時刻として検出することができる。つまり、注視対象判定装置は、注視位置ではなく、視線方向の動きを利用して注視対象を判定することができるので、高精度に注視対象を判定することができる。なお、ユーザがある程度頭部を動かす場合には、視線軌跡は、眼球運動及び頭部運動の両者の影響を考慮できる注視座標系列であることが好ましい。

以上、本発明の一態様に係る注視対象判定装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施した形態も、本発明の範囲内に含まれる。そこで以下に、上記実施の形態の各種変形例について説明する。

（変形例１）
以下に、本発明の実施の形態の変形例１について説明する。

上記実施の形態において、注視対象判定部１６は、最も小さい時間差が算出されるオブジェクトをユーザが注視しているオブジェクトとして判定していた。しかし、非特許文献２（日本視覚学会：「視覚情報処理ハンドブック」、朝倉書店、２０００）に示されているとおり、一般に、滑らかな眼球運動において対象の動きに眼球が追従するまでに要する時間である潜時は６０〜１５０ｍｓとされている。

つまり、イベント発生時刻とイベント検出時刻との時間差が、この潜時未満の時間差である場合には、当該イベント発生時刻に提示イベントが発生したオブジェクトをユーザが注視している可能性は低い。そこで、本変形例における注視対象判定部１６は、評価値Ｖ_ｉを用いて注視対象を判定する際に、以下に述べるように、この潜時を下回らない時間差のオブジェクトのみを注視対象として判定する。

以下、本変形例における注視対象判定装置１０について、上記実施の形態と異なる点を中心に説明する。

図１２は、本発明の実施の形態の変形例１におけるオブジェクトの配置例を示す図である。

図１２に示すように、画面の過半の大きさの領域に、ある映像などのコンテンツが表示され、その周囲にユーザに対する通知あるいは推薦情報などのオブジェクトを提示する場合にも、本変形例における注視対象判定装置１０は注視対象を判定できる。

図１３は、本発明の実施の形態の変形例１における同期構造分析処理及び注視対象判定処理を説明するための図である。具体的には、図１３は、オブジェクトが５つの場合の、提示イベントと眼球運動との同期構造分析の方法を説明するための図である。

図１３において、イベント設定部１３は、第１〜第５のオブジェクトに対して、イベント発生時刻ｔ_{ｓｔａｒｔ}＋ｄ_１〜ｔ_{ｓｔａｒｔ}＋ｄ_５に提示イベントを発生させている。そして、眼球運動イベント検出部１４は、視線軌跡からイベント検出時刻Ｔを検出している。

このような状況において、第１〜第５のオブジェクトについて評価値Ｖ_１〜Ｖ_５が算出された場合、上記実施の形態では、注視対象判定部１６は、評価値が他のいずれのオブジェクトの評価値に比べても小さくなる第３のオブジェクトを注視対象と判定する。

しかし、上述したように、一般に滑らかな眼球運動において対象の動きに眼球が追従するまでの潜時は６０〜１５０ｍｓとされている。そのため、注視対象判定部１６は、この潜時よりも小さいＶ_ｋは注視対象の判定から除く必要がある。

したがって、例えば、図１３において、対象の動きに眼球が追従するまでの潜時が６０ｍｓであり、かつ、評価値Ｖ_３が６０ｍｓ未満であれば、注視対象判定部１６は、評価値Ｖ_３は排除した上で、評価値Ｖ_１〜Ｖ_５の最小値を求める必要がある。この場合、評価値Ｖ_２が最小値となるので、注視対象判定部１６は、第２のオブジェクトを注視対象と判定する。なお、評価値Ｖ_３が６０ｍｓ以上であれば、注視対象判定部１６は、第３のオブジェクトを注視対象と判定すれば良い。

このように、注視対象判定部１６は、基準時間差以上であって、かつ、基準時間差に最も近い時間差が算出されたオブジェクトを、ユーザが注視しているオブジェクトとして判定する。つまり、注視対象判定部１６は、基準時間差未満の時間差が算出されるオブジェクトを除外して、最も小さい時間差が算出されるオブジェクトをユーザが注視しているオブジェクトとして判定する。

ここで基準時間差は、潜時に基づいて決定されればよい。例えば、基準時間差は、上記のように潜時と同一であればよい。また、基準時間差は、視線の検出誤差等を考慮した値を潜時に加算又は減算した時間差であってもよい。

以上のように、本変形例における注視対象判定装置１０は、滑らかな眼球運動においてオブジェクトの動きに眼球が追従するまでに要する時間である潜時未満の時間差が検出されたオブジェクトが注視対象として判定されることを除外できる。そのため、注視対象判定装置１０は、さらに高精度に注視対象を判定することが可能となる。

また、注視対象判定装置１０は、各オブジェクトに対して定義されているｄ_ｉ、ｔ_{ｅｖｅｎｔ}を小さくすることができるので、注視対象判定の時間分解能を向上させることができる。つまり、注視対象判定装置１０は、各オブジェクトに提示イベントを発生させる時間間隔を短くしても、高精度に注視対象を判定することが可能となる。その結果、注視対象判定装置１０は、各オブジェクトにおける提示イベント発生方法の自由度を高めることができので、ユーザに与える違和感を抑制し、調和のとれた状態で複数のオブジェクトに提示イベントを発生させることが可能となる。

（変形例２）
次に、本発明の実施の形態の変形例２について説明する。

上記実施の形態では、提示イベントは、オブジェクトを注視しているユーザに、オブジェクトと同様の移動軌跡となるような注視位置の移動を誘発していた。しかし、本変形例では、提示イベントが、オブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。

以下、本変形例における注視対象判定装置１０について、上記実施の形態と異なる点を中心に説明する。

上述したように本変形例において、提示イベントは、オブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。具体的には、提示イベントは、オブジェクトに含まれる文字列を読むために当該文字列を注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。より具体的には、提示イベントは、文字列に含まれる先頭文字の、不可読状態から可読状態への変化を示す。

イベント設定部１３は、オブジェクトに含まれる文字列に含まれる文字を、不可読状態から可読状態へ変化させることにより提示イベントを発生させる。具体的には、イベント設定部１３は、文字列に含まれる文字を読み順に可読状態から不可読状態へ変化させた後に、当該文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、提示イベントを発生させる。

ここで、不可読状態とは、ユーザが文字を読むことが不可能な表示状態を示す。典型的には、不可読状態は、文字が表示されていない状態である。なお、不可読状態には、文字の鮮明度が所定閾値未満である状態、又は文字のサイズが所定サイズ未満である状態なども含む。ここで、鮮明度とは、文字の鮮明さを示す。例えば、文字にモザイク処理が施されている場合には、鮮明度は小さくなる。所定閾値又は所定サイズは、実験又は経験などにより求められる、画面に表示された文字をユーザが読むことができない鮮明度又は文字サイズの境界値が用いられればよい。

また、可読状態とは、ユーザが読むことが可能な表示状態を示す。例えば、可読状態は、文字が表示されており、かつ、文字の鮮明度が所定閾値以上である状態又は文字が所定サイズ以上である状態を示す。

眼球運動イベント検出部１４は、視線軌跡算出部１２によって算出された視線軌跡から、注視位置の移動速度が予め定められた速度以上となる時刻をイベント検出時刻として検出する。具体的には、眼球運動イベント検出部１４は、例えば、注視位置の移動速度が一定時間以上継続して予め定められた速度以上であるイベント検出区間の開始時刻をイベント検出時刻として検出する。

次に、本変形例における提示イベントの具体例について図１４及び図１５を用いて説明する。

図１４は、本発明の実施の形態の変形例２における画面上に表示されるオブジェクトの配置例を示す図である。図１４に示すように、画面内に９つのオブジェクトが存在する。各オブジェクトは、映像のサムネイル画像と、その映像の内容を示す文字列（以下、適宜「テキスト」と記載）とを含んでいる。

図１５は、本発明の実施の形態の変形例２における提示イベントの一例を示す図である。具体的には、図１５は、画面上に表示された１つのオブジェクトの時間変化を示す図である。

図１５の（ａ）〜（ｈ）に示すように、テキストは、順次左側の文字からフェードアウトしていく。つまり、イベント設定部１３は、テキストに含まれる文字を読み順に可読状態から不可読状態へ変化させる。したがって、ユーザは、常にフェードアウトされた部分の右側を読んでいくことになる。

オブジェクトが画像の場合は、オブジェクト内のどの位置にいかなる順序で視線を向けるかは状況に依存し個人差の問題となる。しかしながら、オブジェクトにテキストが含まれる場合は、テキストの内容を理解するためには、ユーザは、基本的に語頭から語尾へ、文頭から文尾へ順次視線を向けて、文字を読み順に読む必要がある。

したがって、ユーザが、当該テキストの内容を理解すべく読み進めていくことを継続すれば、図１５の（ｄ）〜（ｆ）では、ユーザの視線の動きは他のときに比べて特徴的な動きとなる。すなわち、ユーザは、図１５の（ｄ）〜（ｆ）において、テキストを読み進めていくために、注視位置をすばやく移動する必要がある。

そこで、本変形例では、図１５の（ｄ）〜（ｆ）のような、テキストに含まれる先頭文字の変化であって不可読状態から可読状態への変化を、提示イベントして採用する。つまり、本変形例では、ユーザの注視位置の移動速度が予め定められた速度以上となることを誘発する、文字の表示状態の変化を提示イベントとして採用する。

そして、イベント設定部１３は、この提示イベントが発生するタイミング（イベント発生時刻）が、画面上に表示された９つのオブジェクトで互いに異なるように、提示イベントを発生させる。

そうすることで、眼球運動イベント検出部１４は、視線軌跡算出部１２によって算出された注視座標系列ｘ_ｇａｚｅ（ｔ）から、注視位置の移動速度が予め定められた速度以上である時間区間をイベント検出区間として抽出する。そして、眼球運動イベント検出部１４は、抽出したイベント検出区間の開始時刻をイベント発生時刻として検出する。

さらに、上記実施の形態と同様に、同期構造分析部１５は、イベント検出時刻と、各オブジェクトにおけるイベント発生時刻との時間差を算出する。その結果、注視対象判定部１６は、算出される時間差が最も小さいオブジェクトを注視対象と判定することができる。

以上のように、本変形例における注視対象判定装置１０は、注視位置の移動速度に基づいて注視対象を判定することができるので、視線方向の検出精度が低い場合であっても、高精度に注視対象を判定することができる。

また、注視対象判定装置１０は、文字列を読むためにオブジェクトを注視しているユーザの注視対象を高精度に判定することが可能となる。

また、注視対象判定装置１０は、文字列を読むためにオブジェクトを注視しているユーザに与える違和感を抑制しつつ、提示イベントを発生させることが可能となる。

（変形例３）
次に、本発明の実施の形態の変形例３について説明する。

本変形例では、上記変形例２と同様に、提示イベントは、文字列を読むためにオブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。しかし、本変形例におけるイベント設定部１３は、変形例２と異なる提示イベントを発生させる。

以下、本変形例における注視対象判定装置１０について、実施の形態の変形例２と異なる点を中心に説明する。

本変形例において、イベント設定部１３は、文字列に含まれる文字を、不可読状態から可読状態へ変化させ、さらに可読状態から不可読状態へ変化させることを読み順に実行した後に、当該文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、提示イベントを発生させる。

以下に、本変形例における提示イベントの具体例について、図１６及び図１７を用いて説明する。

図１６は、本発明の実施の形態の変形例３における画面上に表示されるオブジェクトの配置例を示す図である。なお、画面上に表示されるオブジェクトの配置は、図１４と同様であるので説明を省略する。

図１７は、本発明の実施の形態の変形例３における提示イベントの一例を示す図である。具体的には、図１７は、画面上に表示された１つのオブジェクトの時間変化を示す図である。

図１７の（ａ）〜（ｈ）に示すように、テキストは、表示されるべき行の左側から右側へ順次スポットライトが当てられるが如く、当該行の一部のみがユーザに表示される。つまり、イベント設定部１３は、文字列に含まれる文字を、不可読状態から可読状態へ変化させ、さらに可読状態から不可読状態へ変化させることを読み順に実行する。

この場合、ユーザは、常にスポットライトが当てられた文字を読んでいくことになる。したがって、図１７の（ｄ）〜（ｆ）では、ユーザは、注視位置を右端から左端へすばやく移動させる。

そこで、本変形例では、図１７の（ｄ）〜（ｆ）のような、テキストに含まれる先頭文字の変化であって不可読状態から可読状態への変化を、提示イベントして採用する。つまり、本変形例では、ユーザの注視位置の移動速度が予め定められた速度以上となることを誘発する、文字の表示状態の変化を提示イベントとして採用する。

以上のように、本変形例における注視対象判定装置１０は、変形例２における注視対象判定装置１０と同様の効果を奏することができる。

（変形例４）
次に、本発明の実施の形態の変形例４について説明する。

本変形例では、上記変形例２と同様に、提示イベントは、文字列を読むためにオブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。しかし、本変形例における提示イベントは、変形例２と異なり、文字列において文字間隔が大きくなる変化を示す。

以下、本変形例における注視対象判定装置１０について、実施の形態の変形例２と異なる点を中心に説明する。

上述したように本変形例において、提示イベントは、文字列において文字間隔が大きくなる変化を示す。

イベント設定部１３は、オブジェクト内を通過するように文字列を一方向に移動させるとともに、文字列において文字間隔が直前の文字間隔よりも大きくなるように変化させることにより、提示イベントを発生させる。

以下に、本変形例における提示イベントの具体例について、図１８及び図１９を用いて説明する。

図１８は、本発明の実施の形態の変形例４における画面上に表示されるオブジェクトの配置例を示す図である。なお、画面上に表示されるオブジェクトの配置は、図１４と同様であるので説明を省略する。

図１９は、本発明の実施の形態の変形例４における提示イベントの一例を示す図である。具体的には、図１９は、画面上に表示された１つのオブジェクトの時間変化を示す図である。

図１９の（ａ）〜（ｈ）に示すように、テキストは、右から左にテキストが流れていき、テロップ表示される。つまり、テキストは、オブジェクトが表示された領域内を通過するように一方向に移動する。

この場合、ユーザは、領域内を通過している文字を読み順に読むことになる。したがって、図１９の（ｇ）〜（ｈ）では、ユーザは、注視位置を左端から右端へすばやく移動させる。つまり、ユーザは、文字間隔が大きいために、注視位置を大きく移動させる必要がある。

そこで、本変形例では、図１９の（ｇ）〜（ｈ）のような、文字間隔が大きくなる変化を、提示イベントして採用する。つまり、本変形例では、ユーザの注視位置の移動速度が予め定められた速度以上となることを誘発する、文字間隔の変化を提示イベントとして採用する。

以上のように、本変形例における注視対象判定装置１０は、変形例２における注視対象判定装置１０と同様の効果を奏することができる。

（変形例５）
次に、本発明の実施の形態の変形例５について説明する。

本変形例では、上記変形例２と同様に、提示イベントは、文字列を読むためにオブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。しかし、本変形例における提示イベントは、変形例２と異なり、複数行にわたる文字列において、行頭文字が不可読状態から可読状態への変化することを示す。

以下、本変形例における注視対象判定装置１０について、実施の形態の変形例２と異なる点を中心に説明する。

上述したように本変形例において、提示イベントは、文字列に含まれる行頭文字の、不可読状態から可読状態への変化を示す。

イベント設定部１３は、複数行にわたる文字列に含まれる文字を読み順に不可読状態から可読状態へ変化させることにより、提示イベントを発生させる。

以下に、本変形例における提示イベントの具体例について、図２０及び図２１を用いて説明する。

図２０は、本発明の実施の形態の変形例５における画面上に表示されるオブジェクトの配置例を示す図である。図２０に示すように、本変形例では、それぞれが複数行にわたる文字列を含む３つのオブジェクトが画面上に表示される。

図２１は、本発明の実施の形態の変形例５における提示イベントの一例を示す図である。具体的には、図２１は、画面上に表示された１つのオブジェクトの時間変化を示す図である。

図２１の（ａ）〜（ｃ）に示すように、複数行にわたる文字列は、一行ずつ読み順に表示される。つまり、文字列は、一行ずつ読み順に、不可読状態から可読状態へ変化する。

この場合、ユーザは、行末の文字まで読み終わった後に新たに表示された行頭の文字を読むために、注視点をオブジェクトの右端から左端へ大きく移動させる必要がある。

そこで、本変形例では、図２１の（ａ）〜（ｃ）のような、行頭文字の不可読状態から可読状態へ変化を、提示イベントとして採用する。つまり、本変形例では、ユーザの注視位置の移動速度が予め定められた速度以上となることを誘発する、行頭文字の不可読状態から可読状態へ変化を提示イベントとして採用する。

以上のように、本変形例における注視対象判定装置１０は、変形例２における注視対象判定装置１０と同様の効果を奏することができる。

なお、イベント設定部１３は、複数行にわたる文字列を一行ずつ読み順に表示していたが、必ずしも一行ずつ表示する必要はない。例えば、イベント設定部１３は、複数行ずつ文字列を表示してもよい。また例えば、イベント設定部１３は、１文字又は複数文字ごとに文字を表示することにより、文字列を表示してもよい。

（変形例６）
次に、本発明の実施の形態の変形例６について説明する。

本変形例では、上記変形例２と同様に、提示イベントは、オブジェクトを注視しているユーザに、予め定められた速度以上の注視位置の移動を誘発する。しかし、本変形例における提示イベントは、オブジェクトに文字列が含まれない場合であっても、予め定められた速度以上の注視位置の移動を誘発することができる。

以下、本変形例における注視対象判定装置１０について、上記変形例２と異なる点を中心に説明する。

本変形例において、イベント設定部１３は、オブジェクトを予め定められた速度以上の移動速度で移動させることにより、提示イベントを発生させる。つまり、イベント設定部１３は、複数のオブジェクトのそれぞれを、互いに異なる時刻に、予め定められた速度以上の移動速度で移動させる。

以下に、本変形例における提示イベントの具体例について、図２２及び図２３を用いて説明する。

図２２は、本発明の実施の形態の変形例６における画面上に表示されるオブジェクトの配置例を示す図である。図２２に示すように、本変形例では、５つのオブジェクトが水平方向に並んで画面上に表示される。

図２３は、本発明の実施の形態の変形例６における提示イベントの一例を示す図である。具体的には、図２３は、画面上に表示された５つのオブジェクトの時間変化を示す図である。

図２３の（ａ）〜（ｅ）に示すように、各オブジェクトは、予め定められた速度以上の移動速度で順に右方向に移動する。つまり、イベント設定部１３は、オブジェクトの移動方向の前方に位置するオブジェクトが移動した後に、そのオブジェクトを予め定められた速度以上の移動速度で移動させる。

この場合、ユーザは、注視しているオブジェクトが移動したときに、そのオブジェクトと同等の移動速度で注視位置を移動させる。

したがって、眼球運動イベント検出部１４は、注視位置の移動速度が予め定められた速度以上となる時刻をイベント検出時刻として検出することができる。

以上のように、本変形例における注視対象判定装置１０は、オブジェクトの移動にユーザの注視位置が同期することを利用して、ユーザの注視対象を高精度に判定することが可能となる。

なお、本変形例において、複数のオブジェクトは、水平方向に並んで表示されていたが、必ずしもこのように表示される必要はない。また、提示イベントは、水平方向への移動を示していたが、垂直方向又は斜め方向への移動を示してもよい。

以上、本発明の一態様に係る注視対象判定装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、この実施の形態又はその変形例に限定されるものではない。異なる実施の形態又は変形例における構成要素又はその機能を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、変形例２における注視対象判定部１６が、潜時未満の時間差が検出されるオブジェクトを除外して、注視対象を判定してもよい。

以上のように本発明の一態様に係る注視対象判定装置について、実施の形態及びその変形例に基づいて説明したが、本発明は、さらに以下のように変形することもできる。

（１）上記の注視対象判定装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。なお、各装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどの全てを含むコンピュータシステムに限らず、これらの一部から構成されているコンピュータシステムであってもよい。

（２）上記の注視対象判定装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、図１に示すように、システムＬＳＩ２０は、視線方向検出部１１と、視線軌跡算出部１２と、イベント設定部１３と、眼球運動イベント検出部１４と、同期構造分析部１５と、注視対象判定部１６とを備える。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

（３）上記の注視対象判定装置を構成する構成要素の一部又は全部は、注視対象判定装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、などから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記注視対象判定装置が備える特徴的な構成要素の動作をステップとする注視対象判定方法であるとしてもよい。また、これらの注視対象判定方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムに従って動作するとしてもよい。

また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

本発明の一態様に係る注視対象判定装置は、画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する装置等として有用である。

１０ 注視対象判定装置
１１ 視線方向検出部
１２ 視線軌跡算出部
１３ イベント設定部
１４ 眼球運動イベント検出部
１５ 同期構造分析部
１６ 注視対象判定部
２０ システムＬＳＩ

Claims (16)

1. 画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定装置であって、
   オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定部と、
   ユーザの視線方向を検出する視線方向検出部と、
   前記視線方向検出部によって検出された視線方向に基づいて、視線方向の時系列データである視線軌跡を算出する視線軌跡算出部と、
   前記視線軌跡算出部によって算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出部と、
   前記眼球運動イベント検出部によって検出されたイベント検出時刻と、前記イベント設定部によって提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析部と、
   前記同期構造分析部によって算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定部とを備える
   注視対象判定装置。
2. 前記注視対象判定部は、基準時間差以上であって、かつ、前記基準時間差に最も近い時間差が算出されたオブジェクトを、ユーザが注視しているオブジェクトとして判定する
   請求項１に記載の注視対象判定装置。
3. 前記提示イベントは、前記視線方向検出部による視線方向の検出誤差よりも大きな視線方向の動きを誘発する
   請求項１に記載の注視対象判定装置。
4. 前記提示イベントは、前記オブジェクトの少なくとも一部の移動を示し、
   前記眼球運動イベント検出部は、前記提示イベントが示す移動の軌跡との類似性に基づいて、前記イベント検出時刻を検出する
   請求項１に記載の注視対象判定装置。
5. 前記提示イベントは、移動方向の変化をともなう移動を示し、
   前記イベント設定部は、前記各オブジェクトの少なくとも一部を往復運動させることにより、前記提示イベントを発生させる
   請求項４に記載の注視対象判定装置。
6. 前記提示イベントは、前記オブジェクトの少なくとも一部の水平方向の移動を示す
   請求項１に記載の注視対象判定装置。
7. 前記提示イベントは、前記オブジェクトを注視しているユーザに、予め定められた速度以上の視線方向の動きを誘発し、
   前記眼球運動イベント検出部は、前記視線軌跡算出部によって算出された視線軌跡から、視線方向の動きが前記予め定められた速度以上となる時刻を前記イベント検出時刻として検出する
   請求項１に記載の注視対象判定装置。
8. 前記複数のオブジェクトのそれぞれは文字列を含み、
   前記提示イベントは、前記文字列を読むために前記オブジェクトを注視しているユーザに前記予め定められた速度以上の視線方向の動きを誘発し、
   前記イベント設定部は、前記文字列に含まれる文字を、ユーザが読むことが不可能な表示状態である不可読状態からユーザが読むことが可能な表示状態である可読状態へ変化させることにより、前記提示イベントを発生させる
   請求項７に記載の注視対象判定装置。
9. 前記提示イベントは、前記文字列に含まれる先頭文字の、不可読状態から可読状態への変化を示し、
   前記イベント設定部は、前記文字列に含まれる文字を可読状態から不可読状態へ読み順に変化させた後に、前記文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させる
   請求項８に記載の注視対象判定装置。
10. 前記提示イベントは、前記文字列に含まれる先頭文字の、不可読状態から可読状態への変化を示し、
    前記イベント設定部は、前記文字列に含まれる文字を、不可読状態から可読状態へ変化させ、さらに可読状態から不可読状態へ変化させることを読み順に実行した後に、前記文字列に含まれる先頭文字を不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させる
    請求項８に記載の注視対象判定装置。
11. 前記提示イベントは、前記文字列において文字間隔が大きくなる変化を示し、
    前記イベント設定部は、前記オブジェクト内を通過するように前記文字列を一方向に移動させるとともに、前記文字列において文字間隔が直前の文字間隔よりも大きくなるように変化させることにより、前記提示イベントを発生させる
    請求項８に記載の注視対象判定装置。
12. 前記提示イベントは、前記文字列に含まれる行頭文字の、不可読状態から可読状態への変化を示し、
    前記イベント設定部は、複数行にわたる前記文字列に含まれる文字を読み順に不可読状態から可読状態へ変化させることにより、前記提示イベントを発生させる
    請求項８に記載の注視対象判定装置。
13. 前記イベント設定部は、前記オブジェクトを前記予め定められた速度以上の移動速度で移動させることにより、前記提示イベントを発生させる
    請求項７に記載の注視対象判定装置。
14. 画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する集積回路であって、
    オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定部と、
    ユーザの視線方向を検出する視線方向検出部と、
    前記視線方向検出部によって検出された視線方向に基づいて、画面上におけるユーザの視線方向の時系列データである視線軌跡を算出する視線軌跡算出部と、
    前記視線軌跡算出部によって算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出部と、
    前記眼球運動イベント検出部によって検出されたイベント検出時刻と、前記イベント設定部によって提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析部と、
    前記同期構造分析部によって算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定部とを備える
    集積回路。
15. 画面上に表示された複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定方法であって、
    オブジェクトの少なくとも一部の移動及び変化の少なくとも一方を示す提示イベントであって、前記オブジェクトを注視しているユーザに視線方向の動きを誘発する提示イベントを、複数のオブジェクトのそれぞれに対して互いに異なる時刻に発生させるイベント設定ステップと、
    ユーザの視線方向を検出する視線方向検出ステップと、
    前記視線方向検出ステップにおいて検出された視線方向に基づいて、画面上におけるユーザの視線方向の時系列データである視線軌跡を算出する視線軌跡算出ステップと、
    前記視線軌跡算出ステップにおいて算出された視線軌跡から、前記提示イベントに対応する視線方向の動きを示す時刻をイベント検出時刻として検出する眼球運動イベント検出ステップと、
    前記眼球運動イベント検出ステップにおいて検出されたイベント検出時刻と、前記イベント設定ステップにおいて提示イベントが発生させられている時刻であるイベント発生時刻との時間差を、前記オブジェクトごとに算出する同期構造分析ステップと、
    前記同期構造分析ステップにおいて算出された時間差に基づいて、前記複数のオブジェクトの中からユーザが注視しているオブジェクトを判定する注視対象判定ステップとを含む
    注視対象判定方法。
16. 請求項１５に記載の注視対象判定方法をコンピュータに実行させるためのプログラム。

Images