JP2014064784A - 視線検出装置、視線検出方法及びプログラム - Google Patents

Abstract

【課題】事前調整及び再調整が不要である視線検出装置、視線検出方法及びプログラムを提供する。
【解決手段】略平面の対象物内における被験者の注視点を特定する視線検出装置１０は、ズーム機能を備え、被験者を撮影して、撮影した画像及びズーム値を出力する撮影手段１１、画像から被験者の角膜の像を判別する角膜判定手段１２、角膜の像に基づいて被験者の眼球の中心を特定し、眼球の中心から対象物への垂線と、対象物との交点を基準点として特定する基準点特定手段１３、角膜の像が所定のサイズとなるズーム値を特定し、そのズーム値に基づいて角膜から対象物までの距離を特定する距離測定手段１４、角膜の像の移動量に基づいて角膜の移動量を特定し、角膜の移動量と、角膜から対象物までの距離と、に基づき対象物上の視線移動量を特定する視線移動量特定手段１５、基準点と視線移動量とに基づき注視点を特定する注視点特定手段１６、を有する。
【選択図】図１

Description

本発明は、視線検出装置、視線検出方法及びプログラムに関し、特に被験者が見ている画面上の位置である注視点の検出技術に関する。

近年、筋委縮性測策硬化症（以後、ＡＬＳと称す）患者向けの介護支援装置や、タブレット等のユーザーインターフェイスとして、視線検出が注目されている。ＡＬＳは、最終的には筋肉の自由が利かなくなり、会話もできなくなる難病であり、ＡＬＳ患者向けの介護支援装置では、コミュニケーション手段として視線検出の要望が強い。また、タブレットでは、指でタブレットの画面内の対象物を選択する機能の代わりに視線検出を使用することで利便性の向上が期待されている。また、スマートＴＶにおいても、チャンネル切り替えや、未使用時の電源ＯＦＦ機能など、リモコンに代わる新しいユーザーインターフェイスとして視線検出が注目されている。

視線検出の手法としては、被験者の眼球に赤外線やＬＥＤなどの光源を照射し、眼球からの反射光をカメラでとらえることにより、視線を特定することが一般的である。この手法による視線検出の際は、被験者の視線と、被験者の視線から特定される視線検出装置の画面上における視線の位置（注視点）と、の誤差をなくすために、事前準備が必要であった。ここで、事前準備とは、被験者の個人差を吸収するため、視線検出装置の使用前に行う調整のことである。また、この手法では、視線検出装置の使用中に、被験者と視線検出装置との距離等の使用環境が変化した場合、視線検出装置の再調整（以後、視線検出装置の使用中に行う再調整のことをキャリブレーションと称す）を行う必要があった（一例として特許文献１を参照）。

特開２００９−２９７３２３号公報

事前準備、キャリブレーションは、一般に、視線検出装置の画面の四隅を視線で追ったり、画面の一点を数秒注視したりすることにより行われるが、これは被験者にとってはわずらわしい。そのため、被験者ごとの事前準備を要せず、かつ視線検出装置の使用中に環境が変わった場合でもキャリブレーションを要しない視線検出が望まれる。

その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

本発明にかかる視線検出装置は、被験者が略平面の対象物内において注視している位置を示す注視点を特定する視線検出装置であって、ズーム機能を備え、前記被験者を撮影して、前記撮影した画像及びズーム値を出力する撮影手段と、前記画像から前記被験者の角膜の像を判別する角膜判定手段と、前記角膜の像に基づいて前記被験者の眼球の中心を特定し、前記眼球の中心から前記対象物への垂線と、前記対象物と、の交点を基準点として特定する基準点特定手段と、前記角膜の像が所定のサイズとなるズーム値を特定し、前記ズーム値に基づいて前記角膜から前記対象物までの距離を特定する距離測定手段と、前記角膜の像の移動量に基づいて前記角膜の移動量を特定し、前記角膜の移動量と、前記角膜から前記対象物までの距離と、に基づき前記対象物上の視線移動量を特定する視線移動量特定手段と、前記基準点と前記視線移動量とに基づき前記注視点を特定する注視点特定手段と、を有する。

本発明にかかる視線検出方法は、被験者が略平面の対象物内において注視している位置を示す注視点を特定する視線検出方法であって、ズーム機能を備えた撮影手段により前記被験者を撮影して、前記撮影した画像及びズーム値を出力する撮影ステップと、前記画像から前記被験者の角膜の像を判別する角膜判定ステップと、前記角膜の像に基づいて前記被験者の眼球の中心を特定し、前記眼球の中心から前記対象物への垂線と、前記対象物と、の交点を基準点として特定する基準点特定ステップと、前記角膜の像が所定のサイズとなるズーム値を特定し、前記ズーム値に基づいて前記角膜から前記対象物までの距離を特定する距離測定ステップと、前記角膜の像の移動量に基づいて前記角膜の移動量を特定し、前記角膜の移動量と、前記角膜から前記対象物までの距離と、に基づき前記対象物上の視線移動量を特定する視線移動量特定ステップと、前記基準点と前記視線移動量とに基づき前記注視点を特定する注視点特定ステップと、を有する。

本発明にかかるプログラムは、コンピュータに上記視線検出方法を実行させるためのプログラムである。

本発明により、事前調整及び再調整が不要である視線検出装置、視線検出方法及びプログラムを提供することができる。

本発明の実施の形態の構成を示す図である。 本発明の実施の形態の実装例を示す図である。 本発明の実施の形態の処理を示す図である。 本発明の実施の形態における初期パラメータの意義を示す図である。 本発明の実施の形態における距離測定処理の概念を示す図である。 本発明の実施の形態における視線移動量特定処理の概念を示す図である。 本発明の実施の形態における視線移動量特定処理の概念を示す図である。 従来の視線計測装置の図である。 従来の視線計測装置の図である。 従来の視線計測装置の図である。 従来の視線計測装置の図である。

最初に、本発明の実施の形態との対比のため、特許文献１記載の視線計測装置について説明する。

特許文献１記載の視線計測装置は、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した前記光軸を利用して、当該光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する。

図８に示すように、視線計測装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、ディスプレイ２１６ａ、２１６ｂ、光学式ドライブ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。

このうち、ディスプレイ２１６ａは視線を計測する被験者に見てもらう画像を表示する。ディスプレイ２１６ｂは、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮影した被験者の眼球画像を、視線計測装置２１の被験者の確認のために表示する。ＬＥＤ２１８Ｌ０、２１８Ｌ１、２１８Ｌ２は、視線計測装置２１によって視線を計測する被験者に対して、光を照射する。ＬＥＤ２１８Ｌ０乃至２１８Ｌ２は、角膜形状の問題や角膜外での反射の問題を防ぐために、図９のように配置される。ＬＥＤ２１８Ｌ０はディスプレイ２１６ａに向かって右側のフレームに接する位置に、ＬＥＤ２１８Ｌ１はディスプレイ２１６ａに向かって左側のフレームに接する位置にそれぞれ配置される。ステレオカメラ２１９Ｃ０、２１９Ｃ１は、目が半分閉じたような場合や目が細い人にも対応するため、ディスプレイ２１６の下部に配置される。

図１０は、視線計測装置２１のＣＰＵ２１１の動作を示すフローチャートである。

ＣＰＵ２１１は、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮影した画像を取得する。ＣＰＵ２１１は、ステップＳ５０３〜Ｓ５１３において光軸算出処理を実行する。なお、光軸算出処理は種々の既存の手法により可能である。
さらにＣＰＵ２１１は、注視点算出処理を実行する（Ｓ５１５）。ＣＰＵ２１１は、注視点算出処理によって、被験者が実際にディスプレイ２１６を見ている注視点を算出する。ＣＰＵ２１１は、ステップＳ５０１〜Ｓ５１５までの処理を視線計測装置２１の動作が終了するまで繰り返し実行する（Ｓ５１７）。

ＣＰＵ２１１は、光軸算出処理に際し、第一プルキニエ像（角膜表面における光源の反射像）抽出処理を実行する。これは、光軸を推定する際に発生する誤差を減少させることを目的する処理である。第一プルキニエ像抽出処理においては、図８に示すステレオカメラ２１９Ｃ０、２１９Ｃ１によって撮影される眼球画像に表示されるＬＥＤ２１８Ｌ０乃至２１８Ｌ２の三つの反射像のうち、画像瞳孔中心に近いものが二つ選択される。これにより、より球状に近い部分での反射像のみを用いて、光軸が計算される。また、ＣＰＵ２１１は、実際の眼球における視軸と光軸のずれを修正するために、注視点算出処理を実行する。図１１に示すように、一般的に、被験者が実際に見ている点と、左右の目の光軸とディスプレイとの交点は一致しないからである。そこで、ディスプレイ２１６ａ上の被験者が注視している点（注視点）を、「ディスプレイと左目の光軸の交点」および「ディスプレイと右目の光軸の交点」の中点と推定する。

特許文献１記載の視線計測装置２１では、使用中に視線計測装置２１のディスプレイ２１６ａと被験者の距離が変化するような、被験者の距離が一定でない環境では、ディスプレイ２１６ａ上で被験者が注視している点（注視点）の誤差が大きくなるため、視線検出が正常にできないという問題がある。以下にこの問題が生じる理由を説明する。

視線計測装置２１は、視線計測装置２１の表示部を見ている被験者に対してＬＥＤを照射することにより、反射した眼球の画像を取得する。そして、眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心と結ぶ軸である光軸を推定し、光軸を用いて注視点を算出している。

視線計測装置２１を使用する際は、ＬＥＤの位置をあらかじめ計測し、焦点距離、画像平面の中心位置、レンズひずみ係数等の内部パラメータおよび、カメラの位置、向きなどの外部パラメータをカメラキャリブレーションにより算出し、ハードディスクにあらかじめ記憶しておく必要がある。そのため、使用中に視線計測装置２１のディスプレイ２１６ａと被験者の距離（焦点距離）が変わると、再度カメラキャリブレーションを行う必要がある。

上述の理由により、カメラキャリブレーション後の使用中は、視線計測装置２１のディスプレイ２１６ａと被験者の距離は一定でなければならない。視線計測装置２１のディスプレイ２１６ａと被験者の距離が変化すると、被験者の視線と、被験者の視線から特定された視線計測装置２１のディスプレイ２１６ａ上の視線位置（注視点）と、の誤差が大きくなるため、視線検出が正常にできない。

一方、本発明の実施の形態によれば、被験者ごとの事前準備を要せず、かつ視線検出装置の使用中に環境が変わった場合でもキャリブレーションを要しない視線検出が可能である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

はじめに、図１を用いて、本実施の形態における視線検出装置１０の構成について説明する。

視線検出装置１０は、図外の被験者の顔、特に目の角膜を撮影し、被験者が見ている図外の対象物上の位置、すなわち注視点を特定することを目的とする装置である。ここで、対象物とは、典型的には図外の表示装置の略平面の表示面上に表示された画像である。

視線検出装置１０は、撮影手段１１、角膜判定手段１２、基準点特定手段１３、距離測定手段１４、視線移動量特定手段１５、及び注視点特定手段１６を有する。これらの手段は、視線検出装置１０が備える処理装置（図示しない）が、記憶装置（図示しない）に記憶されたプログラムを実行することにより実現される、論理的な情報処理手段である。

撮影手段１１は、被験者を撮影するための、ズーム機能を備えたカメラを含み、撮影により得られた被験者の像（画像）と、その画像を撮影した際のズーム値とを出力する。ここで、ズーム機能とは、カメラにより得られる像の倍率を変化させる機能をいう。ズーム機能としては例えば、光学系により像の倍率を変化させる光学ズーム、一旦得られた像にデジタル処理を施して倍率を変化させた像を生成するデジタルズームがあるが、同等の機能を実現できるのであればいかなる機構によるものであってもよい。また、上記カメラは、被験者の画像を得られるのであればカメラ以外の任意の機構によって代替されてもよい。本実施の形態では、撮影手段１１として、光学ズーム又はデジタルズーム機能を備えるカメラを用いることとする。

角膜判定手段１２は、撮影手段１１が被験者を撮影した画像から、被験者の目の角膜を判別し、角膜の画像を出力する。より詳細には、角膜判定手段１２は、撮影手段１１が出力した画像を入力し、上記画像から顔を検出して、顔の画像データを出力する顔検出機能、顔検出機能が出力した顔の画像データを入力し、上記画像データからから目を検出して、目の画像データを出力する目検出機能、及び目検出機能が出力した目の画像データを入力し、上記画像データから角膜を判別して、角膜の画像データを出力する角膜判定機能を有する。

基準点特定手段１３は、角膜判定手段１２が出力した角膜の画像を入力し、この角膜の画像に基づいて被験者の眼球の中心を特定し、眼球の中心から前記対象物への垂線と、対象物と、の交点を基準点として特定し、この基準点を出力する。

距離測定手段１４は、撮影手段１１が出力するズーム値と、角膜判定手段１２が出力する角膜の画像データと、を入力し、これらに基づいて被験者（より具体的には被験者の角膜）と対象物との距離を算出し、この距離を出力する。

視線移動量特定手段１５は、角膜判定手段１２が出力する角膜の画像データに基づいて角膜の移動量（角膜移動量）を算出及び出力する角膜移動量測定機能と、角膜移動量測定機能が出力した角膜移動量、及び距離測定手段１４が特定した角膜と対象物との距離を入力し、これらに基づいて対象物上における被験者の視線の移動量である視線移動量を算出及び出力する視線移動量特定機能と、を有する。

注視点特定手段１６は、基準点特定手段１３が出力した基準点と、視線移動量特定手段１５が出力した視線移動量と、を入力し、これらに基づいて、対象物上において被験者が注視している位置を示す注視点を算出及び出力する。

注視点特定手段１６が出力した注視点は、例えば図外の表示装置に入力して対象物と重畳して表示させることができる。また、他の任意の処理手段に入力して、公知のポインティングデバイスによる座標入力と同様に扱わせることが可能である。

つぎに、図２を用いて、視線検出装置１０の利用環境と、視線検出装置１０が注視点を特定する処理の原理について説明する。

視線検出装置１０の撮影手段１１は、撮影手段１１と被験者との距離が、対象物を表示する表示装置と被験者との距離と略等しくなるよう設置されることが望ましい。好ましくは、図２に示すように、撮影手段１１は、表示装置の表示面と略同一平面上に位置するよう設置される。これにより、視線検出装置１０が、撮影手段１１が出力する被験者の画像及びズーム値に基づいて算出する距離（撮影手段１１と被験者との距離）を、被験者と対象物との距離として扱うことができる。

上述のように、視線検出装置１０は、撮影手段１１が撮影した被験者の画像から、角膜移動量を算出し、さらには対象物上の視線移動量を算出する。ここで、視線検出装置１０と被験者の距離が異なれば、角膜移動量が同じであっても、対象物上の視線移動量は異なってくる。そこで、視線移動量を特定するためには、対象物と被験者との距離を特定する必要がある。

視線検出装置１０では、この対象物と被験者との距離を特定するために、撮影手段１１が撮影した画像に含まれる角膜の大きさと、その画像を撮影した際のズーム値と、を用いる。その理由は、一般に、撮影手段１１から距離Ｙ１にある被写体Ａをズーム値Ｘ１で撮影した画像中の被写体Ａの大きさＷ１と、撮影手段１１から距離Ｙ２にある被写体Ａをズーム値Ｘ２で撮影した画像中の被写体Ａの大きさＷ２が同じであるとき、以下の関係式（１）が成り立つからである。
Ｙ２ ＝ （Ｘ２／Ｘ１）・Ｙ１ ・・・（１）

つまり、視線検出を行う前に、予め撮影手段１１によって被写体Ａを撮影し、その際の撮影手段１１と被写体Ａとの距離（Ｙ１に相当）、対象物をズームアップした時のズーム値（Ｘ１に相当）、被写体Ａの像の大きさ（Ｗ１に相当）を基準値として保持しておく。そして、実際に視線検出を行う際は、被写体Ａの像の大きさ（Ｗ２に相当）が上記基準値（Ｗ１）と同じになるときのズーム値（Ｘ２に相当）を取得できれば、上記関係式（１）により、その際の撮影手段１１と被写体Ａとの距離（Ｙ２に相当）を導出できることになる。

ここで、発明者は、上記被写体Ａとして、被験者の角膜が好適であることを発見した。それは、一定年齢以上の人間の角膜の大きさには、大きな個人差がないからである。そのため、ある被験者の角膜をサンプルとして撮影し、その画像における角膜の像の大きさ（Ｗ１）、撮影時のズーム値（Ｘ１）及び距離（Ｙ１）からなる基準値を、図示しない記憶装置等に予め格納しておくことができる。これにより、視線検出を実施する際には、特段の事前準備を行う必要がなく、被験者の角膜の像の大きさ（Ｗ２）が像の大きさ基準値（Ｗ１）と等しくなるようズームアップして撮影するだけで、被験者と撮影手段１１との距離を導出できる。

なお、ここでは被験者と撮影手段１１との距離を算出するための被写体として被験者の角膜を用いたが、必ずしもこれに限定する必要は無く、サイズに個人差が出にくいようなものであれば任意の被写体を用いてよい。

つぎに、図３のフローチャートを用いて、視線検出装置１０の動作について説明する。

まず、視線検出装置１０の図示しない記憶装置は、上述の基準値として、角膜の像の大きさ（Ｗ１。画像上での角膜の直径をいうものとする。以下、基本サイズと称す）、角膜が基本サイズとなるようある被験者の角膜を撮影した際の、撮影手段１１と被験者との距離（Ｙ１）、及びズーム値を予め格納しているものとする。ここで、基本サイズは、視線の動きが充分に検出可能な程度の大きさを有していることが好ましい。さらに、記憶装置は、基本サイズが実際の角膜の大きさの何倍であるかを示す倍率を格納しているものとする。なお、実際の角膜のサイズは、撮影手段１１と被験者との距離を０、かつズーム値を１倍としたときの、角膜の像のサイズとなる。ここで、これらの基準値及び倍率（以下、初期パラメータ）は、視線検出装置１０の使用前に都度設定することを要する値ではなく、例えば視線検出装置１０の製造時に記憶装置に対して予め格納されるべき数値である。なお、初期パラメータの格納タイミングは必ずしも製造時である必要は無く、視線検出装置１０の使用前であれば任意のタイミングであってよい。

本実施の形態では、図４に示すように、角膜の像の基本サイズ（Ｗ）＝２０ｍｍ、撮影手段１１と被験者との距離（Ｙ１）＝１０ｃｍ、ズーム値（Ｘ２）＝２倍を内容とする基準値と、倍率＝１．６倍（実際の角膜のサイズは１２ｍｍということになる）とが、予め初期パラメータとして記憶装置に格納されているものとする。

つづいて、視線検出装置１０が被験者の視線検出を行う際の処理について説明する。

Ｆ１１０：撮影手段１１は、被験者を撮影し、撮影した画像とその際のズーム値とを出力する。角膜判定手段１２は、撮影手段１１が出力した画像を１つ入力し、その画像から被験者の顔を検出する（顔検出機能）。顔検出の手法としては、例えば鼻、耳、眉などの顔の特徴を検出し、検出した特徴に基づき顔の位置を特定する手法が公知であるが、これに限定されること無く、撮影画像から顔を検出できるのであれば任意の手法を採用可能である。

なお、撮影手段１１は、所定の時間間隔で断続的に被験者を撮影して撮影画像を出力し、角膜判定手段１２はこれらの撮影画像から順次角膜を判別する処理を行うことが好ましい。

Ｆ１１１：角膜判定手段１２は、顔検出機能によって検出した顔画像から、さらに被験者の目を検出する（目検出機能）。顔画像から目を検出する手法としては、例えば目の特徴である白黒エッジがはっきりした部分を検出することにより、目の位置を特定する手法が公知であるが、これに限定されること無く、顔画像から目が検出できるのであれば任意の方法を採用可能である。

Ｆ１１２：角膜判定手段１２は、目検出機能によって検出した目の画像から、さらに被験者の角膜を判別する（角膜判別機能）。例えば目の画像のうち黒色部分を角膜として判別することができる。角膜判定手段１２は、判別した角膜の画像を出力する。

Ｆ１２０：基準点特定手段１３は、角膜判定手段１２が出力した角膜の画像から、被験者の眼球の中心点を求める。角膜から眼球の中心を求める手法としては、例えば瞳孔を円や楕円として捉え、最小２乗法やハフ変換を用いて瞳孔中心を求めることにより眼球の中心を特定する手法が公知であるが、これに限定されること無く、角膜から眼球の中心が検出できるのであれば任意の方法を採用可能である。

次に、基準点特定手段１３は、眼球の中心点から対象物に対して仮想的な垂線を引く。そして、基準点特定手段１３は、この垂線と対象物、具体的には表示装置の表示面とが交わった点を、基準点として決定する。

Ｆ１２１：距離測定手段１４は、撮影手段１１のズーム機能を制御し、角膜の像が基本サイズとなるまで被験者の目をズームアップする。

Ｆ１２１：距離測定手段１４は、上記ズームアップが完了したならば、そのときの、すなわち角膜の像が基本サイズ（Ｗ１）と同サイズ（Ｗ２）であるときのズーム値（Ｘ２）を撮影手段１１から取得する。また、距離測定手段１４は、初期パラメータ（Ｘ１，Ｙ１）を記憶装置から取得する。

次に、距離測定手段１４は、撮影手段１１から取得したズーム値（Ｘ２）、及び初期パラメータ（Ｘ１，Ｙ１）を、上述の関係式（１）に代入し、撮影手段１１と被験者との距離（Ｙ２）を算出する。例えば図５に示すように、基本サイズになるまでズームアップした時のズーム値が６倍であったとすると、撮影手段１１と被験者との距離は、
（６倍／２倍）×（１０ｃｍ）＝３０ｃｍ
となる。

Ｆ１３０：視線移動量特定手段１５は、まず角膜の像の移動量を特定する。視線移動量特定手段１５は、角膜判定手段１２から、時系列順に撮影された複数の角膜の画像を入力する。複数の角膜の画像は、例えば撮影手段１１が所定の時間間隔で被験者を撮影して撮影画像を出力し、角膜判定手段１２がこれらの撮影画像から順次角膜を判別する処理を行うことにより、生成することができる。視線移動量特定手段１５は、複数の角膜の画像のうち、好ましくはステップＦ１２０において基準点を特定した際に用いた画像と、この画像よりも時間的に新しい１つの画像とを比較することにより、角膜の像の移動量を求めることができる。例えば、角膜の像のエッジ部分（黒目と白目の境）の差分を求め、この差分を角膜の像の移動量とすることができるが、これに限定されること無く、角膜の像の移動量が算出できるのであれば任意の手法を採用可能である。

次に、視線移動量特定手段１５は、図６に示すように、角膜の像の移動量に基づいて、実際の角膜の移動量（角膜移動量）を特定する。例えば、視線移動量特定手段１５は、角膜の像の移動量に初期パラメータの倍率を乗ずることにより、角膜移動量を算出することができる。具体的には、角膜の像が、撮影手段１１を正面に見て左に４ｍｍ移動したとすると、基本サイズは実際の角膜の１．６倍の大きさであるため、実際の角膜移動量は、対象物の中央から左方向へ４／１．６ ＝ ２．５ｍｍである。

さらに、視線移動量特定手段１５は、図７に示すように、角膜移動量に基づいて、対象物上における被験者の視線の移動量である視線移動量を特定する。一般に角膜は、眼球の中心を軸に移動する。よって、角膜が眼球の中心を軸として角膜移動量だけ移動した場合、底辺が眼球の半径、高さが角膜移動量である直角三角形（以下、三角形１）が形成される。ここで、底辺が、眼球の半径＋撮影手段１１と被験者との距離である、三角形１と相似の三角形２を想定する。このとき、三角形２の高さに相当するのが、対象物上における被験者の視線の移動量である。なお、ここで撮影手段１１と対象物とは、略等距離であり、かつ略同一平面上に配置されているものとする。

すなわち、視線移動量（三角形２の高さ）は、三角形１と三角形２の相似比により、以下の関係式（２）で求められる。
三角形１の高さ（角膜移動量）：三角形２の高さ（視線移動量）＝三角形１の底辺（眼球の半径）：三角形２の底辺（眼球の半径＋撮影手段１１と被験者との距離） ・・・（２）

ここで、発明者は、三角形１の底辺（眼球の半径）すなわち眼球の中心から角膜までの距離は、一定年齢以上であれば大きな個人差がないことを発見した。よって、三角形１の底辺（眼球の半径）は、記憶装置に固定値として予め記憶させておくことができ、上記計算の際に取得して利用することが可能である。

したがって、視線移動量特定手段１６は、上述の手法により求めた角膜移動量と、予め定められた眼球の半径と、に加え、距離測定手段１４が出力する撮影手段１１と被験者との距離を利用することにより、視線移動量を算出することが可能である。

そこで、視線移動量特定手段１６は、距離測定手段１４が出力する撮影手段１１と被験者との距離を入力する。そして、この距離と、角膜移動量、及び眼球の半径を、上記関係式（２）に代入し、視線移動量を算出する。

例えば、眼球の半径＝１２ｍｍ、撮影手段１１と被験者との距離＝３００ｍｍ、角膜移動量＝２．５ｍｍであるとすると、関係式（２）は
２．５ ： Ｘ ＝ １２ ： ３１２
となり、対象物上の視線移動量は６５ｍｍと特定できる。

Ｆ１４０：注視点特定手段１６は、基準点特定手段１３が出力する基準点に、視線移動量特定手段１６が出力する視線移動量を足し合わせることにより、被験者の注視点を特定する。例えば、視線移動量が左方向に６５ｍｍである場合は、基準点から左側に６５ｍｍ移動した点が、被験者の注視点となる。注視点特定手段１６は、この注視点を出力する。

Ｆ１５０：これらの処理の後、角膜判定手段１２は、この時点における被験者の撮影画像を撮影手段１１から入力し、顔検出機能により被験者の最新の顔の位置を検出する。そして、被験者の最新の顔の位置と、好ましくはＦ１１０において検出した、基準点特定時点の顔の位置とを比較する。ここで、被験者の顔の位置の移動量が、所定のしきい値を超えていると判定された場合、視線検出装置１０は、ステップＦ１１２以降の処理を再度実行して、基準点及び注視点を再特定する。

一方、被験者の顔の位置の移動量が所定のしきい値を超えていないと判定された場合、角膜判定手段１２は、入力した画像から被験者の角膜を判別し、被験者の最新の角膜の像と、好ましくはＦ１１０において検出した、基準点特定時点の角膜の像とを比較する。ここで、被験者の角膜の像が移動している場合、視線検出装置１０は、ステップＦ１３０以降の処理を再度実行して、注視点を再特定する。一方、被験者の角膜の像が移動していないならば、視線検出装置１０は、ステップＦ１５０の処理を再度実行する。

本実施の形態によれば、距離測定手段１４は、撮影手段１１の撮影画像に基づき角膜判定手段１２が判別した被験者の角膜の像のサイズと、撮影手段１１のズーム値とに基づき、撮影手段１１と被験者との距離を特定することができる。これにより、視線検出装置１０の使用前に、被験者毎の事前準備等を行う必要がない。これは、角膜の大きさには大きな個人差がないという発明者の知見に基づき、角膜の像の大きさ（Ｗ１）、撮影時のズーム値（Ｘ１）及び距離（Ｙ１）からなる基準値を、図示しない記憶装置等に予め格納しておくこととしたためである。これにより、視線検出を実施する際には、被験者の角膜の像の大きさ（Ｗ２）が像の大きさ基準値（Ｗ１）と等しくなるようズームアップして撮影することで、被験者と撮影手段１１との距離を導出することができる。

また、本実施の形態によれば、視線移動量特定手段１５は、角膜移動量と、距離測定手段１４が出力する撮影手段１１と被験者との距離とに基づき、視線移動量を算出することができる。これは、眼球の半径には大きな個人差がないという発明者の知見に基づき、眼球の半径を予め記憶することとしたためである。

また、本実施の形態によれば、視線検出装置１０は、被験者の顔の位置を随時モニタリングし、顔の位置変化を確認すると、再度顔の位置特定、目の位置特定、角膜の位置特定を行い、距離を再度算出し、基準点及び注視点の再特定を行う。これにより、視線検出装置１０の使用中に撮影手段１１と被験者との距離が変化するような、距離が一定でない環境でも、都度明示的なキャリブレーションを要せず、かつ注視点の誤差を生じることなく、視線検出を正常に行うことができる。

＜その他の実施の形態＞
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、角膜の像の基本サイズと、その像が得られた際のズーム値、距離等を基準値として予め格納し、実際の視線検出においては、角膜の像が基本サイズとなるように撮影手段１１をズームアップする構成を開示した。ここで、基準値は１種類であることが前提であった。しかしながら、基準値は必ずしも１種類である必要は無く、角膜の像のサイズ、ズーム値、距離が対応づけられた基準値が、記憶装置に複数格納されていてもよい。この場合、距離測定手段１４は、角膜判定手段１２が出力する角膜の像のサイズと同一又は最も近いサイズの基準値を利用することにより、撮影手段１１のズーム機能の利用を最小限に抑えつつ、撮影手段１１と被験者との距離を高速に測定することができる。これにより、距離測定手段１４の処理を高速化することができる。但し、基準値となる角膜の像のサイズは、視線の動きが充分に検出可能な程度の大きさの範囲内であることが好ましい。

また、視線検出装置１０は、複数の基準値を予め格納する場合であっても、視線の動きを検出するうえで最も好ましい角膜の像のサイズを、他と識別可能に格納してもよい。この場合、視線検出装置１０は、最初にステップＦ１２１を実行する場合においては、この最も好ましい角膜の像のサイズを含む基準値を用いて、被験者との距離を特定することができる。これにより、視線検出の実行開始の際は、ズーム機能を最大限に利用し、被験者との距離を精密に測定することができる。一方、Ｆ１５０において被験者の顔の位置の動きが検出され、再度ステップＦ１２１を実行する場合においては、複数の基準値のうち、角膜判定手段１２が出力する角膜の像のサイズと同一又は最も近いサイズの基準値を利用することができる。これにより、視線検出の実行中には、撮影手段１１のズーム機能の利用を最小限に抑え、被験者との距離を高速に再測定し、視線検出処理の遅延を抑制することができる。

例えば、上述の実施の形態では、ステップＦ１５０において、被験者の顔の位置の移動を検出したが、必ずしも顔である必要は無く、被験者の移動を検出できるのであれば他の任意の特徴点であってもよい。

また、上述の実施の形態における基準点特定手段１３、距離測定手段１４の動作は、順序が逆であっても良く、あるいは平行して実行されてもよい。

また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ?ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ?ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ?Ｒ、ＣＤ?Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０ 視線検出装置
１１ 撮影手段
１２ 角膜判定手段
１３ 基準点特定手段
１４ 距離測定手段
１５ 視線移動量特定手段
１６ 注視点特定手段

また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

Claims (9)

1. 被験者が略平面の対象物内において注視している位置を示す注視点を特定する視線検出装置であって、
   ズーム機能を備え、前記被験者を撮影して、前記撮影した画像及びズーム値を出力する撮影手段と、
   前記画像から前記被験者の角膜の像を判別する角膜判定手段と、
   前記角膜の像に基づいて前記被験者の眼球の中心を特定し、前記眼球の中心から前記対象物への垂線と、前記対象物と、の交点を基準点として特定する基準点特定手段と、
   前記角膜の像が所定のサイズとなるズーム値を特定し、前記ズーム値に基づいて前記角膜から前記対象物までの距離を特定する距離測定手段と、
   前記角膜の像の移動量に基づいて前記角膜の移動量を特定し、前記角膜の移動量と、前記角膜から前記対象物までの距離と、に基づき前記対象物上の視線移動量を特定する視線移動量特定手段と、
   前記基準点と前記視線移動量とに基づき前記注視点を特定する注視点特定手段と、を有する
   視線検出装置。
2. 前記被験者の位置が変化したことを検知した場合、
   前記距離測定手段及び基準点特定手段は、
   前記角膜から前記対象物までの距離の特定、及び前記基準点の特定を再度、実行する
   請求項１記載の視線検出装置。
3. 前記距離測定手段は、
   予め記憶された、基準値としての角膜の像のサイズ、基準値としてのズーム値、及び基準値としての角膜から前記対象物までの距離を取得し、
   前記撮影手段の前記ズーム機能を、前記角膜の像のサイズが前記基準値としての角膜の像のサイズと同等となるよう制御し、
   前記制御した際のズーム値と、前記基準値としてのズーム値と、前記基準値としての角膜から前記対象物までの距離と、に基づいて前記角膜から前記対象物までの距離を特定する
   請求項１又は２記載の視線検出装置。
4. 前記視線移動量特定手段は、予め記憶された、前記眼球の中心から前記角膜までの距離を用いて、前記視線移動量を特定する
   請求項１乃至３いずれか１項記載の視線検出装置。
5. 被験者が略平面の対象物内において注視している位置を示す注視点を特定する視線検出方法であって、
   ズーム機能を備えた撮影手段により前記被験者を撮影して、前記撮影した画像及びズーム値を出力する撮影ステップと、
   前記画像から前記被験者の角膜の像を判別する角膜判定ステップと、
   前記角膜の像に基づいて前記被験者の眼球の中心を特定し、前記眼球の中心から前記対象物への垂線と、前記対象物と、の交点を基準点として特定する基準点特定ステップと、
   前記角膜の像が所定のサイズとなるズーム値を特定し、前記ズーム値に基づいて前記角膜から前記対象物までの距離を特定する距離測定ステップと、
   前記角膜の像の移動量に基づいて前記角膜の移動量を特定し、前記角膜の移動量と、前記角膜から前記対象物までの距離と、に基づき前記対象物上の視線移動量を特定する視線移動量特定ステップと、
   前記基準点と前記視線移動量とに基づき前記注視点を特定する注視点特定ステップと、を有する
   視線検出方法。
6. 前記被験者の位置が変化したことを検知した場合、
   前記距離測定ステップ及び基準点特定ステップを再度、実行する
   請求項５記載の視線検出方法。
7. 前記距離測定ステップは、
   予め記憶された、基準値としての角膜の像のサイズ、基準値としてのズーム値、及び基準値としての角膜から前記対象物までの距離を取得し、
   前記撮影ステップの前記ズーム機能を、前記角膜の像のサイズが前記基準値としての角膜の像のサイズと同等となるよう制御し、
   前記制御した際のズーム値と、前記基準値としてのズーム値と、前記基準値としての角膜から前記対象物までの距離と、に基づいて前記角膜から前記対象物までの距離を特定する
   請求項５又は６記載の視線検出方法。
8. 前記視線移動量特定ステップは、予め記憶された、前記眼球の中心から前記角膜までの距離を用いて、前記視線移動量を特定する
   請求項５乃至７いずれか１項記載の視線検出方法。
9. コンピュータに、請求項５乃至８いずれか１項記載の視線検出方法を実行させるためのプログラム。