JP2014188322A - 視線検出装置、視線検出方法及びプログラム - Google Patents
視線検出装置、視線検出方法及びプログラム Download PDFInfo
- Publication number
- JP2014188322A JP2014188322A JP2013069128A JP2013069128A JP2014188322A JP 2014188322 A JP2014188322 A JP 2014188322A JP 2013069128 A JP2013069128 A JP 2013069128A JP 2013069128 A JP2013069128 A JP 2013069128A JP 2014188322 A JP2014188322 A JP 2014188322A
- Authority
- JP
- Japan
- Prior art keywords
- line
- light emission
- light source
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】視線方向の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供する。
【解決手段】本発明に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮影し、撮影した画像から瞳孔と角膜反射像を抽出する。そして、抽出した瞳孔の中心位置と、角膜反射像の基準点の位置とのずれを算出し、算出したずれに基づいて、そのずれが小さくなるように、赤外光パターンの表示位置を移動させ、移動後に撮影した画像から抽出した角膜反射像を用いて角膜の曲率中心位置を算出する。
【選択図】図２
【解決手段】本発明に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮影し、撮影した画像から瞳孔と角膜反射像を抽出する。そして、抽出した瞳孔の中心位置と、角膜反射像の基準点の位置とのずれを算出し、算出したずれに基づいて、そのずれが小さくなるように、赤外光パターンの表示位置を移動させ、移動後に撮影した画像から抽出した角膜反射像を用いて角膜の曲率中心位置を算出する。
【選択図】図２
Description
本発明は、角膜反射法を用いた視線検出技術に関する。
パソコン等の情報端末を操作するためのインターフェースの１つに、視線インターフェースがある。視線インターフェースは、ユーザの視線を検出することによって、例えば、ディスプレイ上のユーザの注視している位置を特定し、文字の入力やユーザの注視している位置にあるメニューやアイコン等の操作を行うために利用される。
ところで、視線は、角膜の曲率中心位置を基準点とし、視線の方向を示すベクトル、すなわち、角膜の曲率中心位置から瞳孔の中心位置へのベクトル（以下、「視線ベクトル」と呼ぶ。）で表すことができる。このように視線を定義した場合、瞳孔の中心位置と、角膜の曲率中心位置とを求めることにより、視線を検出することができる。このような視線を検出する技術の１つに角膜反射法がある（非特許文献１）。
ところで、視線は、角膜の曲率中心位置を基準点とし、視線の方向を示すベクトル、すなわち、角膜の曲率中心位置から瞳孔の中心位置へのベクトル（以下、「視線ベクトル」と呼ぶ。）で表すことができる。このように視線を定義した場合、瞳孔の中心位置と、角膜の曲率中心位置とを求めることにより、視線を検出することができる。このような視線を検出する技術の１つに角膜反射法がある（非特許文献１）。
角膜反射法は、ユーザの眼に映った角膜反射像を利用して視線を算出する方法である。例えば、ユーザに向けて、ユーザが知覚できない赤外光を発光し、ユーザの眼を含む範囲をカメラで撮影し、撮影した画像に映っている赤外光の角膜反射像を用いて視線を算出する。具体的には、カメラで撮影した画像に映っている、ユーザの瞳孔と赤外光の角膜反射像とを画像処理によって抽出し、抽出した瞳孔に基づいて、瞳孔の中心位置を算出し、同じく角膜反射像に基づいて、角膜の曲率中心位置を算出する。そして、算出した瞳孔の中心位置と角膜の曲率中心位置から視線ベクトルを算出する。
特許文献１には、カメラと赤外光源をそれぞれ２つ用いて、三角測量法で角膜の曲率中心位置を算出する技術が記載されている。特許文献２には、形態学上の知見データ、すなわち人間の眼球の形状をモデル化した眼球モデルのデータを利用することにより、カメラと赤外光源とがそれぞれ１つの場合でも角膜の曲率中心位置を算出し得る技術が記載されている。
大野他、「２点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌、２００３年４月、Ｖｏｌ．４４、Ｎｏ．４、ｐ．１１３６−１１４９
角膜反射法を用いてカメラで撮影した画像から角膜の曲率中心位置を算出するためには、算出の際のパラメータの１つとして角膜の曲率半径が必要である。
しかし、角膜の曲率半径は、個人差があり、また、簡単には計測できないので、人間の角膜の曲率半径の平均的な一定値を予め設定して用いる。そして、個人差による影響は、予めキャリブレーションによって補正する方法が用いられる。具体的には、画面上の数か所の点において、実際の注視点と、算出した視線による注視点とのずれを測定し、そのずれに基づいて補正する。
しかし、角膜の曲率半径は、個人差があり、また、簡単には計測できないので、人間の角膜の曲率半径の平均的な一定値を予め設定して用いる。そして、個人差による影響は、予めキャリブレーションによって補正する方法が用いられる。具体的には、画面上の数か所の点において、実際の注視点と、算出した視線による注視点とのずれを測定し、そのずれに基づいて補正する。
しかしながら、角膜の曲率半径の大きさは、個人差による違い以外にも、角膜の表面における中心位置から離れるにしたがって大きくなっており、一定ではないことが知られている。ユーザが視線を動かすと、カメラで撮影した画像において、角膜に映る角膜反射像の位置が移動する。このとき、カメラの光軸と視線の方向とのずれが大きくなればなるほど、角膜反射像の映る位置と角膜中心位置とが離れるので、予め設定した角膜の曲率半径と実際の曲率半径との誤差が増大する。
このため、上述のキャリブレーションでは、角膜の位置による曲率半径の違いに起因する誤差の補正は困難であり、視線方向によって角膜の曲率中心位置における誤差の大きさがばらつく。つまり、精度よく角膜の曲率中心位置を算出することができない。
そこで、本発明は係る問題に鑑みてなされたものであり、視線の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供することを目的とする。
そこで、本発明は係る問題に鑑みてなされたものであり、視線の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供することを目的とする。
上記課題を解決するために、本発明に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行うことを特徴とする。
上述の構成により、本発明に係る視線検出装置は、視線が動いた場合でも、角膜に映る角膜反射像の位置を一定に保つことができるので、角膜の曲率中心位置を、視線方向にかかわらず、従来よりも精度よく算出し得る。
＜１．実施の形態＞
＜１．１ 概要＞
視線検出を行う方法の１つに、角膜反射像を用いる方法がある。人間の眼球に光を照射した場合、照射した光の一部は、角膜前面、角膜後面、水晶体前面、水晶体後面の各屈折面で反射される。これら各屈折面で反射された光による反射像は、それぞれ第１、第２、第３、第４プルキンエ（Ｐｕｒｋｉｎｊｅ）像と呼ばれている。すなわち、角膜反射像とは、第１及び第２プルキンエ像のことであるが、本実施の形態において、角膜反射像とは、特に断らない限り、第１プルキンエ像を意味するものとする。第１プルキンエ像は、各プルキンエ像のうちで最も明るい反射像であり、カメラで撮影した画像から画像処理によって比較的容易に抽出することができる。
＜１．１ 概要＞
視線検出を行う方法の１つに、角膜反射像を用いる方法がある。人間の眼球に光を照射した場合、照射した光の一部は、角膜前面、角膜後面、水晶体前面、水晶体後面の各屈折面で反射される。これら各屈折面で反射された光による反射像は、それぞれ第１、第２、第３、第４プルキンエ（Ｐｕｒｋｉｎｊｅ）像と呼ばれている。すなわち、角膜反射像とは、第１及び第２プルキンエ像のことであるが、本実施の形態において、角膜反射像とは、特に断らない限り、第１プルキンエ像を意味するものとする。第１プルキンエ像は、各プルキンエ像のうちで最も明るい反射像であり、カメラで撮影した画像から画像処理によって比較的容易に抽出することができる。
角膜反射像を用いて視線検出を行う方法は、画像処理や数値計算処理など、他の方法に比べて、比較的多くの演算処理を行わなければならない。しかし、視線検出の際にユーザに特別な器具を装着したり、頭を固定したりする必要がないためユーザへの負担が少ないことから、処理を行うプロセッサ等の高速化に伴い、視線ユーザフェース等に用いる視線検出の方法として、近年よく用いられている。
図１は、本発明に係る視線検出装置の一実施形態である情報端末１０を示す図である。
ユーザは、情報端末１０のディスプレイ１００に表示された情報を見ながら情報端末１０の操作を行う。情報端末１０は、ユーザが自端末を操作している際に、赤外光による赤外光パターン３００をディスプレイ１００の表示画面から発光させる。赤外光による発光と、ユーザに提示する情報の表示とを繰返し交互に行う。このとき、ユーザがディスプレイ１００に表示された情報を見る際の妨げにならないように、一定の時間間隔で非常に短い時間だけ赤外光による発光を行う。赤外光パターン３００は、図１に示すように、ディスプレイ１００の水平方向に平行な線分と垂直方向に平行な線分とが十字に交わる形状である。なお、以下の説明において、赤外光パターンを発光させることを、便宜上、「赤外光パターンを表示する」と表現する場合がある。赤外光パターン３００の発する光は、ディスプレイ１００を見ているユーザの眼に届き、その光の一部は角膜で反射する。
ユーザは、情報端末１０のディスプレイ１００に表示された情報を見ながら情報端末１０の操作を行う。情報端末１０は、ユーザが自端末を操作している際に、赤外光による赤外光パターン３００をディスプレイ１００の表示画面から発光させる。赤外光による発光と、ユーザに提示する情報の表示とを繰返し交互に行う。このとき、ユーザがディスプレイ１００に表示された情報を見る際の妨げにならないように、一定の時間間隔で非常に短い時間だけ赤外光による発光を行う。赤外光パターン３００は、図１に示すように、ディスプレイ１００の水平方向に平行な線分と垂直方向に平行な線分とが十字に交わる形状である。なお、以下の説明において、赤外光パターンを発光させることを、便宜上、「赤外光パターンを表示する」と表現する場合がある。赤外光パターン３００の発する光は、ディスプレイ１００を見ているユーザの眼に届き、その光の一部は角膜で反射する。
カメラ２００は、情報端末１０がディスプレイ１００に赤外光パターン３００を表示した際にユーザの眼を含む領域を撮影する。このようにして撮影された画像には、ユーザの眼の角膜や赤外光パターン３００の角膜反射像等が映ることになる。
情報端末１０は、撮影された画像から画像解析技術を用いて、画像上の瞳孔及び角膜反射像を抽出する。抽出した瞳孔からは、瞳孔の中心位置を算出し、角膜反射像からは、同じく角膜反射像の基準点の位置を算出する。ここで、基準点とは、角膜の曲率中心の位置を算出するために用いる点であり、本実施の形態の情報端末１０では、赤外光パターン３００の縦横の線分の交点が基準点である。算出した基準点の位置と、形態学上の眼球の構造（眼球モデル）とを用いて、角膜の曲率中心の位置を算出する。そして、角膜の曲率中心と角膜中心を通り、角膜の曲率中心から角膜中心に向かう方向のベクトルを求める。このベクトルが視線である。情報端末１０は、算出した視線から、ディスプレイ１００の表示面におけるユーザの注視位置を算出し、注視位置にカーソルを移動させて表示する。
情報端末１０は、撮影された画像から画像解析技術を用いて、画像上の瞳孔及び角膜反射像を抽出する。抽出した瞳孔からは、瞳孔の中心位置を算出し、角膜反射像からは、同じく角膜反射像の基準点の位置を算出する。ここで、基準点とは、角膜の曲率中心の位置を算出するために用いる点であり、本実施の形態の情報端末１０では、赤外光パターン３００の縦横の線分の交点が基準点である。算出した基準点の位置と、形態学上の眼球の構造（眼球モデル）とを用いて、角膜の曲率中心の位置を算出する。そして、角膜の曲率中心と角膜中心を通り、角膜の曲率中心から角膜中心に向かう方向のベクトルを求める。このベクトルが視線である。情報端末１０は、算出した視線から、ディスプレイ１００の表示面におけるユーザの注視位置を算出し、注視位置にカーソルを移動させて表示する。
ところで、視線が移動すると、角膜に映る角膜反射像の位置が変化する。すなわち、角膜反射像から算出される基準点の角膜における位置も変化する。人間の角膜は、角膜表面における中心から離れるにしたがって曲率半径が大きくなっているために、基準点における角膜の曲率半径と眼球モデルで予め設定している曲率半径との誤差の大きさは、基準点の角膜における位置によってそれぞれ異なり一定でない。誤差が一定であれば、キャリブレーションによって算出した視線から求まる画面上の注視点と実際の注視点とのずれを測定し、そのずれに基づいて、誤差を補正することは比較的容易であるが、誤差が位置によって異なるため、一定の補正値によって補正すること困難である。このため、角膜の曲率中心位置を精度よく算出することができない。
そこで、情報端末１０は、角膜に映る角膜反射像から得られる基準点の位置が、カメラ２００で撮影した撮影画像において、瞳孔の中心位置に近づくように、赤外光パターン３００を表示する画面上の位置を移動させる。従って、情報端末１０は、角膜反射像から得られる基準点の位置を、視線の方向によらず、角膜の一定の位置に映るようにすることができるので、視線検出に用いる角膜の曲率中心位置を精度よく算出し得る。
以下、本発明に係る視線検出装置の一実施形態である情報端末１０について詳細に説明する。
＜１．２ 構成＞
図２は、情報端末１０の主要構成を示すブロック図である。
情報端末１０は、制御部１０１、記憶部１０２、画像生成部１０３、発光制御部１０４、表示制御部１０５、表示部１０６、撮影部１０７、画像処理部１０８、及び視線検出部１０９を含んで構成される。
＜１．２ 構成＞
図２は、情報端末１０の主要構成を示すブロック図である。
情報端末１０は、制御部１０１、記憶部１０２、画像生成部１０３、発光制御部１０４、表示制御部１０５、表示部１０６、撮影部１０７、画像処理部１０８、及び視線検出部１０９を含んで構成される。
なお、情報端末１０は、図示されていないプロセッサを含んで構成されており、情報端末１０の制御部１０１、画像生成部１０３、発光制御部１０４、表示制御部１０５、画像処理部１０８、視線検出部１０９の各機能ブロックは、ハードウェアとして構成されているか、情報端末１０のプロセッサが記憶部１０２に記憶されているコンピュータプログラムを実行することで各機能ブロックの機能が実現される。
（制御部１０１）
制御部１０１は、情報端末１０の各機能ブロックを制御する機能を備え、位置ずれ算出部２０１及び移動量算出部２０２を含む。
（制御部１０１）
制御部１０１は、情報端末１０の各機能ブロックを制御する機能を備え、位置ずれ算出部２０１及び移動量算出部２０２を含む。
制御部１０１は、撮影部１０７で撮影した画像を撮影部１０７から受け取り、画像処理部１０８に出力し、画像処理部１０８から瞳孔の中心位置の抽出結果及び角膜反射像の基準点の位置の抽出結果を受け取る機能を備える。
更に、制御部１０１は、瞳孔中心の位置と角膜反射像の基準点の位置を視線検出部１０９に出力し、視線検出部１０９から視線の検出結果を受け取る機能、視線の検出結果に基づいて、表示部１０６に対面しているユーザの注視位置を特定する機能、画像生成部１０３に、表示部１０６の表示画面上のユーザの注視位置にカーソルを表示させるための指示を行う機能、及び、画像生成部１０３に対してユーザに提示する情報を示す文字や図形を含む画像を生成するための指示を行う機能とを備える。
更に、制御部１０１は、瞳孔中心の位置と角膜反射像の基準点の位置を視線検出部１０９に出力し、視線検出部１０９から視線の検出結果を受け取る機能、視線の検出結果に基づいて、表示部１０６に対面しているユーザの注視位置を特定する機能、画像生成部１０３に、表示部１０６の表示画面上のユーザの注視位置にカーソルを表示させるための指示を行う機能、及び、画像生成部１０３に対してユーザに提示する情報を示す文字や図形を含む画像を生成するための指示を行う機能とを備える。
位置ずれ算出部２０１は、画像処理部１０８から瞳孔の中心位置の抽出結果及び角膜反射像の基準点の位置の抽出結果に基づいて、瞳孔の中心位置と基準点の位置とのずれ量を算出する機能を備える。
移動量算出部２０２は、位置ずれ算出部２０１で算出したずれ量に基づいて赤外光パターンの移動量を算出する機能と、この移動量を発光制御部１０４に出力する機能を備える。
移動量算出部２０２は、位置ずれ算出部２０１で算出したずれ量に基づいて赤外光パターンの移動量を算出する機能と、この移動量を発光制御部１０４に出力する機能を備える。
なお、制御部１０１は、上記機能の他、記憶部１０２に記憶しているアプリケーションプログラムの実行やユーザが自端末に対して行う操作の制御等、情報端末１０の有する機能全般を制御する機能を備える。
（記憶部１０２）
記憶部１０２は、例えば、メモリやハードディスクで構成され、瞳孔中心及び角膜の曲率半径等の空間的な位置の算出の際に用いる、カメラパラメータ及び眼球の構造に係るパラメータ、並びに情報端末１０の各機能を実現するためのプログラム等を記憶する。
（記憶部１０２）
記憶部１０２は、例えば、メモリやハードディスクで構成され、瞳孔中心及び角膜の曲率半径等の空間的な位置の算出の際に用いる、カメラパラメータ及び眼球の構造に係るパラメータ、並びに情報端末１０の各機能を実現するためのプログラム等を記憶する。
また、記憶部１０２は、撮影部１０７で撮影した画像を記録し、制御部１０１を介して画像処理部１０８に記録した画像を出力する機能を備える。
（画像生成部１０３）
画像生成部１０３は、制御部１０１の指示に従い、表示部１０６の表示画面上におけるユーザの注視位置にカーソルを表示させる機能、及び、表示部１０６に表示するための文字や図形を含む画像を生成し、表示制御部１０５に出力する機能を備える。
（発光制御部１０４）
発光制御部１０４は、制御部１０１において、撮影部１０７で撮影された映像における瞳孔中心と角膜反射像の基準点との位置のずれから算出された移動量に基づいて、ユーザの眼に入射させるための赤外光パターンを生成する機能を備える。また、生成した赤外光パターンを表示制御部１０５に出力する機能を備える。
（表示制御部１０５）
表示制御部１０５は、画像生成部１０３で生成した画像及び発光制御部１０４で生成した赤外光パターンを、それぞれに予め定められた時間で交互に繰返し表示部１０６に表示させる機能を備える。また、撮影部１０７に、赤外光パターンの表示を開始するタイミングの情報を通知する機能を備える。
（表示部１０６）
表示部１０６は、画像生成部１０３が生成したユーザに情報を提供するための画像及び発光制御部１０４が生成した赤外光パターンを、表示制御部１０５の指示に従って、それぞれ予め定められた一定時間交互に表示する機能を備える。なお、以下、画像生成部１０３が生成したユーザに情報を提供するための画像を表示することを、説明の便宜上、「赤外光パターンを表示する」という表現に対して、「通常画面を表示する」と表現する場合がある。
（画像生成部１０３）
画像生成部１０３は、制御部１０１の指示に従い、表示部１０６の表示画面上におけるユーザの注視位置にカーソルを表示させる機能、及び、表示部１０６に表示するための文字や図形を含む画像を生成し、表示制御部１０５に出力する機能を備える。
（発光制御部１０４）
発光制御部１０４は、制御部１０１において、撮影部１０７で撮影された映像における瞳孔中心と角膜反射像の基準点との位置のずれから算出された移動量に基づいて、ユーザの眼に入射させるための赤外光パターンを生成する機能を備える。また、生成した赤外光パターンを表示制御部１０５に出力する機能を備える。
（表示制御部１０５）
表示制御部１０５は、画像生成部１０３で生成した画像及び発光制御部１０４で生成した赤外光パターンを、それぞれに予め定められた時間で交互に繰返し表示部１０６に表示させる機能を備える。また、撮影部１０７に、赤外光パターンの表示を開始するタイミングの情報を通知する機能を備える。
（表示部１０６）
表示部１０６は、画像生成部１０３が生成したユーザに情報を提供するための画像及び発光制御部１０４が生成した赤外光パターンを、表示制御部１０５の指示に従って、それぞれ予め定められた一定時間交互に表示する機能を備える。なお、以下、画像生成部１０３が生成したユーザに情報を提供するための画像を表示することを、説明の便宜上、「赤外光パターンを表示する」という表現に対して、「通常画面を表示する」と表現する場合がある。
表示部１０６は、例えば、液晶パネルとバックライト１２０とを備えた液晶ディスプレイであり、図１のディスプレイ１００が表示部１０６に対応する。
バックライト１２０は、白色光を発する白色ＬＥＤ（Light Emitting Diode）と、赤外光を発する赤外ＬＥＤを備える。白色ＬＥＤは従来の一般的な液晶ディスプレイに用いられるものであり、赤外ＬＥＤは、発光のピーク波長が、例えば、８５０ｎｍ（ナノメートル）〜１３００ｎｍの赤外ＬＥＤである。
バックライト１２０は、白色光を発する白色ＬＥＤ（Light Emitting Diode）と、赤外光を発する赤外ＬＥＤを備える。白色ＬＥＤは従来の一般的な液晶ディスプレイに用いられるものであり、赤外ＬＥＤは、発光のピーク波長が、例えば、８５０ｎｍ（ナノメートル）〜１３００ｎｍの赤外ＬＥＤである。
図３は、バックライト１２０の白色ＬＥＤと赤外ＬＥＤの配置の一例を示す概念図である。
バックライト１２０は、液晶パネルの表示面を背面から直接照明するいわゆる直下型方式のバックライトであり、同図に示すように、白色ＬＥＤと赤外ＬＥＤとが縦横交互に配置された構造である。
バックライト１２０は、液晶パネルの表示面を背面から直接照明するいわゆる直下型方式のバックライトであり、同図に示すように、白色ＬＥＤと赤外ＬＥＤとが縦横交互に配置された構造である。
表示制御部１０５は、画像生成部１０３が生成した画像を表示する場合には、白色ＬＥＤを発光させ、発光制御部１０４が生成した赤外光パターンを表示する場合には、赤外ＬＥＤを発光させる。
（撮影部１０７）
撮影部１０７は、カメラ２００を含み、カメラ２００で撮影した画像を、制御部１０１を介して画像処理部１０８に出力する機能を備える。
（撮影部１０７）
撮影部１０７は、カメラ２００を含み、カメラ２００で撮影した画像を、制御部１０１を介して画像処理部１０８に出力する機能を備える。
カメラ２００は、例えば、赤外線撮影が可能なオートフォーカス機能付のＣＣＤ（Charge Coupled Device）カメラである。カメラ２００は、図１で示すように、ディスプレイ１００の表示面と同じ面に設置され、ユーザがディスプレイ１００の表示面を見ながら自端末を操作する場合に、ユーザを撮影できる方向に向いており、ユーザの顔を含む範囲を撮影できる画角を有するカメラである。すなわち、ユーザの眼を含む範囲を撮影することができるように設置されている。そして、表示制御部１０５から通知される赤外光パターンの表示を開始するタイミングの情報に基づいて、表示部１０６が赤外光パターンを表示している間のディスプレイ１００に対面しているユーザの顔を撮影する。これにより、撮影画像には、ユーザの眼を含む範囲が映ることになる。
（画像処理部１０８）
画像処理部１０８は、記憶部１０２から出力された撮影画像の画像処理を行う機能を備え、瞳孔抽出部２０３及び角膜反射像抽出部２０４を含む。具体的には、従来の画像処理技術を用いて、輝度の濃淡値によるセグメント化、輪郭線抽出、直線抽出、円抽出等の画像処理を行う。
（画像処理部１０８）
画像処理部１０８は、記憶部１０２から出力された撮影画像の画像処理を行う機能を備え、瞳孔抽出部２０３及び角膜反射像抽出部２０４を含む。具体的には、従来の画像処理技術を用いて、輝度の濃淡値によるセグメント化、輪郭線抽出、直線抽出、円抽出等の画像処理を行う。
瞳孔抽出部２０３は、画像処理結果に基づいて、瞳孔が映っている部分を抽出し、撮影画像上の座標軸における瞳孔中心の位置を算出し、その算出結果を制御部１０１に出力する機能を備える。
角膜反射像抽出部２０４は、画像処理結果に基づいて、角膜反射像が映っている部分を抽出し、撮影画像上の座標軸における角膜反射像の基準点の位置を算出し、その算出結果を制御部１０１に出力する機能を備える。
（視線検出部１０９）
視線検出部１０９は、制御部１０１から瞳孔中心の位置と、角膜反射像の基準点の位置を受け取り、角膜の曲率中心位置を算出する機能を備える。具体的には、角膜の曲率中心位置は、例えば、非特許文献１に示されている方法等を用いて、眼球モデルと、撮影画像から得られた角膜反射像の基準点に基づいて算出する。また、算出した角膜の曲率中心位置と瞳孔中心の位置とを用いて視線を検出し、検出結果を制御部１０１に出力する機能を備える。具体的には、角膜の曲率中心位置から瞳孔中心位置へ向かうベクトルを視線ベクトルとして算出し、角膜の曲率中心位置を通り、この視線ベクトルの方向の直線を視線とする。
角膜反射像抽出部２０４は、画像処理結果に基づいて、角膜反射像が映っている部分を抽出し、撮影画像上の座標軸における角膜反射像の基準点の位置を算出し、その算出結果を制御部１０１に出力する機能を備える。
（視線検出部１０９）
視線検出部１０９は、制御部１０１から瞳孔中心の位置と、角膜反射像の基準点の位置を受け取り、角膜の曲率中心位置を算出する機能を備える。具体的には、角膜の曲率中心位置は、例えば、非特許文献１に示されている方法等を用いて、眼球モデルと、撮影画像から得られた角膜反射像の基準点に基づいて算出する。また、算出した角膜の曲率中心位置と瞳孔中心の位置とを用いて視線を検出し、検出結果を制御部１０１に出力する機能を備える。具体的には、角膜の曲率中心位置から瞳孔中心位置へ向かうベクトルを視線ベクトルとして算出し、角膜の曲率中心位置を通り、この視線ベクトルの方向の直線を視線とする。
＜１．３ 角膜反射像について＞
ここで、ディスプレイ１００に赤外光パターンを表示した場合において、表示した赤外光パターンと、ディスプレイ１００を見ているユーザの眼に映った角膜反射像と、このユーザの眼をカメラ２００で撮影した画像における角膜反射像との関係を説明する。
図４は、赤外光パターン、ユーザの眼、及びカメラ撮影画像との関係を示す模式図である。なお、同図中の撮影画像面２１０は、赤外発光パターンからユーザの眼の方向に照射された光がカメラ２００の方向に反射して撮影される場合における光の進む様子を示すために、模式的に表したものである。
ここで、ディスプレイ１００に赤外光パターンを表示した場合において、表示した赤外光パターンと、ディスプレイ１００を見ているユーザの眼に映った角膜反射像と、このユーザの眼をカメラ２００で撮影した画像における角膜反射像との関係を説明する。
図４は、赤外光パターン、ユーザの眼、及びカメラ撮影画像との関係を示す模式図である。なお、同図中の撮影画像面２１０は、赤外発光パターンからユーザの眼の方向に照射された光がカメラ２００の方向に反射して撮影される場合における光の進む様子を示すために、模式的に表したものである。
情報端末１０は、ディスプレイ１００の表示面１１０に赤外光パターンＰを表示し、表示された赤外光パターンＰの光は、表示面１１０を見ているユーザの眼球２に入射し、入射した光の一部は、角膜２１の表面で反射し、カメラ２００に入射する。
同図において、瞳孔中心Ａは、虹彩２２Ａ、２２Ｂのそれぞれ中心側の端Ｉ１、Ｉ２との中点であり、視線は、角膜の曲率中心Ｃと瞳孔中心Ａとを通り、曲率中心Ｃから瞳孔中心Ａに向かうベクトルで表す。
同図において、瞳孔中心Ａは、虹彩２２Ａ、２２Ｂのそれぞれ中心側の端Ｉ１、Ｉ２との中点であり、視線は、角膜の曲率中心Ｃと瞳孔中心Ａとを通り、曲率中心Ｃから瞳孔中心Ａに向かうベクトルで表す。
以下、人間の眼球についての形態学上のモデルについて簡単に説明する。人間の瞳孔面は、平均的には、角膜表面から眼球の内部に向かって約３．６ｍｍ（ミリメートル）の位置にあるが角膜における屈折を考慮すると、見かけの瞳孔（入射瞳）の瞳孔面は、角膜表面から眼球の内部に向かって約３ｍｍに位置する。角膜２１は、便宜上、曲率半径がＲ（例えば、Ｒ＝７．８ｍｍ）の真球の形状であるとする。角膜２１は、入射した光の一部を反射する凸面鏡の性質を持ち、入射した光の角膜反射像を形成する。角膜２１を凸面鏡とした場合の焦点の位置は、角膜２１の曲率中心ＣからＲ／２の距離の位置であるので、無限遠点にある光源による角膜反射像（虚像）の位置は、焦点の位置、すなわち光軸上の曲率中心ＣからＲ／２の距離の位置である。このことより、角膜反射像は、瞳孔面より約１ｍｍ内側にできることがわかる。実際には、光源の位置は有限の距離であるので、正確には、焦点の位置より角膜２１に近づいた位置にできるが、その距離の差は高々数十μｍ（マイクロメートル）であるので、本実施の形態においては、角膜反射像の位置は、焦点の位置にあるものとする。すなわち、図４において、赤外光パターンＰの角膜反射像は、赤外光パターンＰからの光が曲率中心Ｃを通る光軸上で曲率中心ＣからＲ／２の距離の位置Ｌにできる。カメラ２００の光軸を結ぶ線分が角膜２１と交わる位置で赤外光パターンＰは反射し、カメラ２００は、位置Ｌにできた角膜反射像を撮影することになる。図４では、赤外光パターンＰによる角膜反射像は、撮影画像面２１０の角膜反射像ｐの位置に映る。また、虹彩２２Ａ、２２Ｂはそれぞれ、虹彩２２Ａ’、２２Ｂ’の位置に映り、瞳孔中心Ａは、瞳孔中心Ａ’の位置に映る。
図４において、位置ずれ量Δｄは、撮影画像面２１０における瞳孔中心Ａ’と角膜反射像ｐの基準点との位置ずれの大きさを示す。カメラ２００で撮影した撮影画像面２１０に映る角膜反射像ｐの位置を瞳孔中心Ａ’の位置にするためには、瞳孔中心Ａを通り、カメラ２００の光軸を示す直線と、角膜の曲率中心Ｃを中心とする半径Ｒ／２の円との交点の位置にすればよい。このためには、図４の位置Ｌ’の位置に角膜反射像の基準点が映るように赤外光パターンを移動すればよい。位置Ｌ’に角膜反射像の基準点が映るようにするためには、角膜の曲率中心Ｃと位置Ｌ’を通る直線とディスプレイ１００の表示面１１０とが交わる位置、すなわち図４では、赤外光パターンＰ’の位置に角膜反射像の基準点の位置を移動すればよい。この場合の移動量はΔＤで表され、カメラ２００での撮影画像面２１０における位置ずれ量Δｄから算出する。位置ずれ量Δｄから移動量ΔＤを算出する方法については後述する。
図５は、ディスプレイ１００に表示した赤外光パターンと、赤外光パターンを表示したときの、ディスプレイ１００を見ているユーザの眼の領域をカメラ２００で撮影した撮影画像とを示す概念図である。図５（ａ）は、赤外光パターンの移動前の場合を示し、図５（ｂ）は、赤外光パターンの移動後の場合を示す。
図５において、ディスプレイ１００の水平方向をＸ軸、垂直方向をＹ軸とし、ディスプレイ１００の表示面の左上隅を原点とする。また、カメラ２００で撮影した撮影画像においても水平方向をＸ軸、垂直方向をＹ軸とし、撮影画像の左上隅を原点とする。
図５において、ディスプレイ１００の水平方向をＸ軸、垂直方向をＹ軸とし、ディスプレイ１００の表示面の左上隅を原点とする。また、カメラ２００で撮影した撮影画像においても水平方向をＸ軸、垂直方向をＹ軸とし、撮影画像の左上隅を原点とする。
情報端末１０は、図５（ａ）に示すように、ディスプレイ１００の水平方向、垂直方向にそれぞれ１ラインの線分が交差するように形成された赤外光パターン３００ａを発光させる。なお、本実施の形態１の情報端末１０では、この交差点を赤外光パターン３００ａの基準点と定義する。
ユーザは、赤外光パターン３００ａが表示されたディスプレイ１００を見ているので、カメラ２００で撮影した撮影画像４００ａには、ユーザの眼と赤外光パターン３００ａの角膜反射像ｐが映っている。虹彩２２の内側の円形の範囲が瞳孔２３であり、本実施の形態では、赤外光パターン３００ａを発光させる光源の光軸と、カメラ２００の光軸とはずれているので、瞳孔を通した光の反射はカメラ２００で捉えることはできないので、瞳孔は虹彩２２等他の部分に比較して暗く映る。
ユーザは、赤外光パターン３００ａが表示されたディスプレイ１００を見ているので、カメラ２００で撮影した撮影画像４００ａには、ユーザの眼と赤外光パターン３００ａの角膜反射像ｐが映っている。虹彩２２の内側の円形の範囲が瞳孔２３であり、本実施の形態では、赤外光パターン３００ａを発光させる光源の光軸と、カメラ２００の光軸とはずれているので、瞳孔を通した光の反射はカメラ２００で捉えることはできないので、瞳孔は虹彩２２等他の部分に比較して暗く映る。
図５（ａ）の撮影画像４００ａでは、角膜反射像ｐは、眼の瞳孔２３の位置よりも右上に映っている。図４における位置ずれ量Δｄは、Ｘ軸方向の成分Δｘと、Ｙ軸方向の成分Δｙとで表すことができ、図５（ａ）に示すように、Δｘ、Δｙは、瞳孔２３の中心位置の座標と角膜反射像ｐの基準点の座標との差である。
情報端末１０は、撮影画像４００ａからこのΔｘとΔｙとを算出し、Δｘ、Δｙがそれぞれ小さくなる方向、すなわち角膜反射像ｐの基準点が瞳孔２３の中心座標に近づく方向に映るように、ディスプレイ１００に表示する赤外光パターン３００ａを移動させる。具体的には、赤外光パターンの水平方向、垂直方向のそれぞれ１ラインの線分の交点の位置を移動させる。撮影画像４００ａ上で基準点を右方向に左方向に移動するためには、ディスプレイ１００上に表示する線分の交点は、右方向に移動させる必要がある。これは、ディスプレイ１００を見ている眼で反射した像をカメラ２００で撮影しているので左右が反転するからである。
情報端末１０は、撮影画像４００ａからこのΔｘとΔｙとを算出し、Δｘ、Δｙがそれぞれ小さくなる方向、すなわち角膜反射像ｐの基準点が瞳孔２３の中心座標に近づく方向に映るように、ディスプレイ１００に表示する赤外光パターン３００ａを移動させる。具体的には、赤外光パターンの水平方向、垂直方向のそれぞれ１ラインの線分の交点の位置を移動させる。撮影画像４００ａ上で基準点を右方向に左方向に移動するためには、ディスプレイ１００上に表示する線分の交点は、右方向に移動させる必要がある。これは、ディスプレイ１００を見ている眼で反射した像をカメラ２００で撮影しているので左右が反転するからである。
情報端末１０は、撮影画像４００ａから得られる位置ずれ量Δｘ、Δｙに相当する赤外光パターン３００ａの移動量ΔＸD、ΔＹDを算出する。なお、ΔＸD、ΔＹDは、それぞれ、上記の移動量ΔＤのディスプレイ１００におけるＸ軸方向の成分、Ｙ軸方向の成分である。そして、図５（ｂ）に示すように、赤外光パターン３００ｂを形成する垂直方向の線分の表示位置を赤外光パターン３００ａの表示のときよりもΔＸDだけ右方向に移動し、水平方向の線分の表示位置を同じくΔＹDだけ下に移動する。移動後の赤外光パターン３００ｂが表示されたディスプレイ１００を見ているユーザの眼をカメラ２００で撮影することにより、瞳孔中心Ａ’と角膜反射像ｐ’の基準点とが、１フレーム前の撮影画像より近づいた撮影画像４００ｂを得る。
＜１．４ 動作＞
以下、上述の構成を備えた情報端末１０における制御処理の動作について説明する。
図６は、情報端末１０における制御処理における処理のフローチャートである。
情報端末１０の表示制御部１０５は、ディスプレイ１００に通常画面を表示するか、赤外光パターンを表示するかの選択を行う（ステップＳ１０）。
以下、上述の構成を備えた情報端末１０における制御処理の動作について説明する。
図６は、情報端末１０における制御処理における処理のフローチャートである。
情報端末１０の表示制御部１０５は、ディスプレイ１００に通常画面を表示するか、赤外光パターンを表示するかの選択を行う（ステップＳ１０）。
通常画面を表示する場合（ステップＳ１０：ＹＥＳ）、画像生成部１０３で生成した画像を表示部１０６に表示する。
一方、赤外光パターンを表示する場合（ステップＳ１０：ＮＯ）には、ステップＳ１１からの処理を行う。
ここで、通常画面と赤外光パターンとの表示の切り替え方法について、具体的に図７を参照しながら説明する。
一方、赤外光パターンを表示する場合（ステップＳ１０：ＮＯ）には、ステップＳ１１からの処理を行う。
ここで、通常画面と赤外光パターンとの表示の切り替え方法について、具体的に図７を参照しながら説明する。
図７は、ディスプレイ１００の通常画面の表示と、赤外光パターン３００との表示の切り替えの関係を示す図である。
図７（ａ）は、通常画面の水平方向の表示ラインを示す。
表示制御部１０５は、画像生成部１０３で生成した画像を、ディスプレイ１００の液晶パネルの走査線（ライン１〜ｎ）を線順次に選択して１ライン分書き込む。具体的には、同図（ｃ）に示すように、ディスプレイ１００の液晶パネルのゲート１がオンのときに、ライン１に書き込む。同様にして、ゲート２がオンのときにライン２にと、ゲートｎまで順次オンにして、ラインｎまで書き込む（時間Ｔ０〜時間Ｔ１の間）。そして、液晶パネルに生成した画像が全て書き込まれると（時間Ｔ１）白色ＬＥＤをオンにして表示する。次に、同図（ｂ）に示す赤外光パターン３００の表示を行う。赤外光パターン３００は、ディスプレイの画面の水平方向、垂直方向にそれぞれ１ラインの線分が十字に交わる形状である。
図７（ａ）は、通常画面の水平方向の表示ラインを示す。
表示制御部１０５は、画像生成部１０３で生成した画像を、ディスプレイ１００の液晶パネルの走査線（ライン１〜ｎ）を線順次に選択して１ライン分書き込む。具体的には、同図（ｃ）に示すように、ディスプレイ１００の液晶パネルのゲート１がオンのときに、ライン１に書き込む。同様にして、ゲート２がオンのときにライン２にと、ゲートｎまで順次オンにして、ラインｎまで書き込む（時間Ｔ０〜時間Ｔ１の間）。そして、液晶パネルに生成した画像が全て書き込まれると（時間Ｔ１）白色ＬＥＤをオンにして表示する。次に、同図（ｂ）に示す赤外光パターン３００の表示を行う。赤外光パターン３００は、ディスプレイの画面の水平方向、垂直方向にそれぞれ１ラインの線分が十字に交わる形状である。
ディスプレイ１００の画面の最上部（ライン１）から、水平方向の線分の１つ上のライン（ライン（ｍ−１））までをブロック１、水平方向の線分部分（ラインｍ）をブロック２、その１つ下のライン（ライン（ｍ＋１））から最下部（ラインｎ）までをブロック３とする。そして、各ブロック単位でパターンを書き込む。すなわち、ブロック１に相当するゲート１〜ゲート（ｍ−１）を同時にオンにしてパターンを書き込む。次にブロック２に相当するゲートｍをオンにして水平方向に１ラインの線分を書き込む。そして、ブロック３に相当するゲート（ｍ＋１）〜ゲートｎを同時にオンにしてブロック１に書き込んだのと同じパターンを書き込む。これらの書き込みは時間Ｔ２〜時間Ｔ３の間に行う。全てのラインについて書き込みが終わる（時間Ｔ３）と赤外ＬＥＤをオンにして、赤外光パターン３００を表示する。時間Ｔ０〜時間Ｔ４までを１フレームとして、ディスプレイ１００は、６０Ｈｚ（ヘルツ）のフレームレートで通常画面の表示と赤外光パターン３００とを交互に繰り返し表示する。
フレームレートが６０Ｈｚの場合、１フレームの表示時間（時間Ｔ０〜時間Ｔ４）は、１６．６７ミリ秒である。情報端末１０では、例えば、通常画面を表示する時間（時間Ｔ０〜時間Ｔ２の間）を１６ミリ秒、赤外光パターン３００を表示する時間（時間Ｔ２〜時間Ｔ４）を、０．６７ミリ秒とする。このように、通常画面の表示に比べて、赤外光パターンを表示する時間を短時間とすることで、ユーザに対して、通常画面のフリッカーを感じさせることなく、また、赤外光パターンを表示しない場合に対する画面輝度の低下も抑えることができる。
赤外光パターン表示の際の処理、すなわち、ステップＳ１１以降の処理の説明に戻る。
赤外光パターンを表示する場合（ステップＳ１０：ＮＯ）には、まず、発光制御部１０４は、赤外光パターン３００を生成し（ステップＳ１１）、ディスプレイ１００に赤外光パターン３００を表示する（ステップＳ１２）。具体的な赤外光パターンの生成と表示の方法については、上述した通りである（図７参照）。
赤外光パターンを表示する場合（ステップＳ１０：ＮＯ）には、まず、発光制御部１０４は、赤外光パターン３００を生成し（ステップＳ１１）、ディスプレイ１００に赤外光パターン３００を表示する（ステップＳ１２）。具体的な赤外光パターンの生成と表示の方法については、上述した通りである（図７参照）。
次に、表示制御部１０５は、赤外光パターン３００の表示を開始するタイミング（時間Ｔ３）を撮影部１０７に通知し、撮影部１０７は、この表示を開始するタイミングの通知を受け取ると、ディスプレイ１００を見ているユーザの眼を含む範囲の撮影を行う（ステップＳ１３）。撮影部１０７で撮影された撮影画像は、記憶部１０２に記録され、制御部１０１を介して、画像処理部１０８に出力される。
画像処理部１０８は、撮影画像を受け取り、画像処理部１０８の瞳孔抽出部２０３は、撮影画像から、瞳孔部分を抽出する（ステップＳ１４）。具体的には、例えば、まず、撮影画像から顔認識技術を用いてユーザの顔を認識し、ユーザの眼を抽出する。そして、抽出した眼の部分に対して、画像の輝度によるセグメント化を行い、セグメント化した領域から、瞳孔部分の領域を抽出する。瞳孔部分の領域の抽出は、例えば、次のように行う。撮影部１０７で撮影した眼の画像においては、瞳孔部分は、円形状であり、他の領域に比べ暗く映る。そこで、セグメント化された領域のうち、他のセグメント化された領域より輝度の小さいセグメント化された領域、すなわち暗いセグメント化された領域であり、予め定めた大きさ以上の大きさのセグメント化された領域を抽出することにより瞳孔部分の領域を抽出する。
次に、瞳孔中心を算出する（ステップＳ１５）。具体的には、抽出したセグメント化された領域のそれぞれについて二値化を行い、輪郭線を抽出する。そして、抽出した輪郭線上の点列を用いて、例えば、最小二乗法を用いて円近似を行い、円に最も近い領域を瞳孔の領域と判断する。そして、円近似した結果の中心座標を瞳孔中心の位置座標とする。
更に、画像処理部１０８の角膜反射像抽出部２０４は、赤外光パターン３００の角膜反射像を抽出する（ステップＳ１６）。赤外光パターン３００の角膜反射像は、他の領域に比べて非常に明るく映るので、具体的には、上述したセグメント化された領域において、他の領域より輝度の大きい領域、すなわち明るい領域を抽出する。そして、これらの領域から直線分抽出を行い、水平方向及び垂直方向の線分がほぼ直行する形状を持つ領域を、赤外光パターン３００の角膜反射像と判断する。そして、抽出された線分の交点の座標を基準点の位置座標とする（ステップＳ１７）。
更に、画像処理部１０８の角膜反射像抽出部２０４は、赤外光パターン３００の角膜反射像を抽出する（ステップＳ１６）。赤外光パターン３００の角膜反射像は、他の領域に比べて非常に明るく映るので、具体的には、上述したセグメント化された領域において、他の領域より輝度の大きい領域、すなわち明るい領域を抽出する。そして、これらの領域から直線分抽出を行い、水平方向及び垂直方向の線分がほぼ直行する形状を持つ領域を、赤外光パターン３００の角膜反射像と判断する。そして、抽出された線分の交点の座標を基準点の位置座標とする（ステップＳ１７）。
画像処理部１０８は、算出した瞳孔中心の位置座標と、基準点の位置座標とを制御部１０１に出力する。
制御部１０１は、画像処理部１０８から入力された瞳孔中心の位置座標と、基準点の位置座標とを視線検出部１０９に出力する。
視線検出部１０９は、瞳孔中心の位置座標と、基準点の位置座標とを受け取ると、まず、基準点の位置座標から、空間上における角膜の曲率中心の位置ベクトルを算出する（ステップＳ１８）。具体的には、角膜反射法を用いた従来技術（例えば、特許許文献２や、非特許文献１に開示されている方法）で算出する。
制御部１０１は、画像処理部１０８から入力された瞳孔中心の位置座標と、基準点の位置座標とを視線検出部１０９に出力する。
視線検出部１０９は、瞳孔中心の位置座標と、基準点の位置座標とを受け取ると、まず、基準点の位置座標から、空間上における角膜の曲率中心の位置ベクトルを算出する（ステップＳ１８）。具体的には、角膜反射法を用いた従来技術（例えば、特許許文献２や、非特許文献１に開示されている方法）で算出する。
次に、視線検出部１０９は、瞳孔中心の位置座標を、空間上における瞳孔中心の位置ベクトルに変換し、角膜の曲率中心の位置ベクトルと、瞳孔中心の位置ベクトルとを用いて視線を算出する（ステップＳ１９）。具体的には、瞳孔中心の位置ベクトルをｅｗ＝（ｅｗ＿ｘ，ｅｗ＿ｙ，ｅｗ＿ｚ）、角膜の曲率中心の位置ベクトルｃｗ＝（ｃｗ＿ｘ，ｃｗ＿ｙ，ｃｗ＿ｚ）とすると、視線ベクトルｖはｖ＝ｅｗ−ｃｗで求められる。
そして、視線検出部１０９は、ディスプレイ１００の画面上の注視点を算出する（ステップＳ２０）。具体的には、瞳孔中心の位置ベクトルｃｗを通り、視線ベクトルｖの方向成分を持つ直線と、ディスプレイ１００の平面との空間上の交点を求める。求められた空間上の座標をディスプレイ１００の画面上の位置座標に変換し、変換した位置座標を制御部１０１に出力する。注視点の位置座標を受け取った制御部１０１は、その位置座標を表示制御部１０５に出力し、表示制御部１０５は、カーソルの位置をその位置座標に移動して、表示部１０６に表示させる。
次に、制御部１０１の位置ずれ算出部２０１は、画像処理部１０８から入力された瞳孔中心の位置座標と、基準点の位置座標との位置ずれを算出する（ステップＳ２１）。具体的には、例えば、図５（ａ）の場合、基準点３０２ａの位置座標をｕ（ｕｘ，ｕｙ）、瞳孔中心Ａ’の位置座標をｅ（ｅｘ，ｅｙ）とすると、ｘ軸方向のずれΔｘは、Δｘ＝（ｕｘ−ｅｘ）、ｙ軸方向のずれΔｙは、Δｙ＝（ｕｙ−ｅｙ）で求められる。
そして、制御部１０１の移動量算出部２０２は、位置ずれ算出部で算出したΔｘ、Δｙを用いてディスプレイ１００に表示する赤外光パターンの基準点の移動量を算出する（ステップＳ２２）。具体的には、予め記憶部１０２に記憶しているｘ軸方向、ｙ軸方向それぞれの移動倍率Ｍｘ，Ｍｙを用いて、移動量を算出する。移動倍率Ｍｘ，Ｍｙは、ユーザが情報端末１０を使用する最初に、キャリブレーションを行い、記憶部１０２に記憶させたものである。キャリブレーションによって移動倍率Ｍｘ，Ｍｙを求める手順については後述する。
図５（ｂ）の例では、のディスプレイ１００に表示する赤外光パターン３００ｂの基準点３０１ｂのｘ軸方向、ｙ軸方向のそれぞれの移動量ΔＸD，ΔＹDは、移動倍率Ｍｘ，Ｍｙを用いて、ΔＸD＝Ｍｘ＊Δｘ，ΔＹD＝−Ｍｙ＊Δｙである。なお、＊は乗算を表す。
制御部１０１は、移動量算出部２０２で算出した移動量ΔＸD，ΔＹDを発光制御部１０４に出力する。出力が完了したらステップＳ１０からの処理を繰り返す。発光制御部１０４は、次の赤外光パターンを表示する際のステップＳ１１において、移動量ΔＸD，ΔＹDに基づいて基準点の位置を移動した赤外光パターンを生成する。
制御部１０１は、移動量算出部２０２で算出した移動量ΔＸD，ΔＹDを発光制御部１０４に出力する。出力が完了したらステップＳ１０からの処理を繰り返す。発光制御部１０４は、次の赤外光パターンを表示する際のステップＳ１１において、移動量ΔＸD，ΔＹDに基づいて基準点の位置を移動した赤外光パターンを生成する。
＜１．５ キャリブレーションについて＞
次に、キャリブレーションによって、移動倍率Ｍｘ，Ｍｙを計測する方法について説明する。
ユーザは、情報端末１０を使用する場合に、最初に、情報端末１０の動作モードを通常に使用するための通常モードから、キャリブレーションを行うキャリブレーションモードに切り替えてキャリブレーションを行う。情報端末１０のディスプレイ１００には、キャリブレーションを行うためのアプリケーションを起動するアイコンが予め表示されており、このアイコンをユーザがクリックすることにより、キャリブレーションを行うアプリケーションが起動する。キャリブレーションを行うアプリケーションが起動すると、情報端末１０は、通常モードからキャリブレーションモードに切り替わる。
次に、キャリブレーションによって、移動倍率Ｍｘ，Ｍｙを計測する方法について説明する。
ユーザは、情報端末１０を使用する場合に、最初に、情報端末１０の動作モードを通常に使用するための通常モードから、キャリブレーションを行うキャリブレーションモードに切り替えてキャリブレーションを行う。情報端末１０のディスプレイ１００には、キャリブレーションを行うためのアプリケーションを起動するアイコンが予め表示されており、このアイコンをユーザがクリックすることにより、キャリブレーションを行うアプリケーションが起動する。キャリブレーションを行うアプリケーションが起動すると、情報端末１０は、通常モードからキャリブレーションモードに切り替わる。
図８は、キャリブレーションの際の画面表示の一例である。
図８（ａ）は、キャリブレーションの際に、通常画面に表示するマーカーの例である。
情報端末１０は、キャリブレーションモードでは、十字形状のマーカーＭ１とマーカーＭ２とをディスプレイ１００に数秒（例えば１秒）ごとに交互に表示する。具体的には、例えば、図８（ａ）に示すように、ディスプレイ１００の表示面の左上隅の位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）にマーカーＭ１の十字の交点が一致するように表示し、同様にマーカーＭ２は、右下隅の位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）と一致するように表示する。
図８（ａ）は、キャリブレーションの際に、通常画面に表示するマーカーの例である。
情報端末１０は、キャリブレーションモードでは、十字形状のマーカーＭ１とマーカーＭ２とをディスプレイ１００に数秒（例えば１秒）ごとに交互に表示する。具体的には、例えば、図８（ａ）に示すように、ディスプレイ１００の表示面の左上隅の位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）にマーカーＭ１の十字の交点が一致するように表示し、同様にマーカーＭ２は、右下隅の位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）と一致するように表示する。
情報端末１０は、マーカーＭ１を表示している間は、ユーザに対してマーカーＭ１を注視する旨の指示を表示し、マーカーＭ２を表示している間は、マーカーＭ２を注視する旨の指示を表示する。キャリブレーションを行う際には、ユーザは、指示に従い、それぞれのマーカーが表示されている間、注視する作業を行うことになっている。
マーカーＭ１を表示する場合には、図８（ｂ）に示すように、位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）に、赤外光パターン３００ａの基準点がくるように、赤外光パターン３００ａを発光させる。また、マーカーＭ２を表示する場合には、図８（ｃ）に示すように位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）に、赤外光パターン３００ｂの基準点がくるように、赤外光パターン３００ａを発光させる。なお、マーカーＭ１，Ｍ２の表示と赤外光パターンの表示の切り替えの方法は、上述の図７を用いて説明した視線検出の際の通常画面の表示と赤外光パターンの表示との切り替えの方法と同様である。
マーカーＭ１を表示する場合には、図８（ｂ）に示すように、位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）に、赤外光パターン３００ａの基準点がくるように、赤外光パターン３００ａを発光させる。また、マーカーＭ２を表示する場合には、図８（ｃ）に示すように位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）に、赤外光パターン３００ｂの基準点がくるように、赤外光パターン３００ａを発光させる。なお、マーカーＭ１，Ｍ２の表示と赤外光パターンの表示の切り替えの方法は、上述の図７を用いて説明した視線検出の際の通常画面の表示と赤外光パターンの表示との切り替えの方法と同様である。
このように表示を行い、撮影部１０７で、マーカーＭ１を注視している際のユーザの眼を含む範囲を撮影し、撮影画像から赤外光パターン３００ａの角膜反射像を抽出し、撮影画像における基準点の座標位置を算出する。同様に、マーカーＭ２を注視している際のユーザの眼を含む範囲を撮影した撮影画像から赤外光パターン３００ｂの角膜反射像を抽出し、撮影画像における基準点の位置の座標を算出し、それぞれの基準点の座標値の差を算出する。マーカーＭ１，Ｍ２をそれぞれ１秒ずつ表示した場合、ディスプレイ１００のフレームレートが６０Ｈｚとすると、６０フレームの撮影画像が得られる。それぞれのフレームにおいて算出したマーカーＭ１，Ｍ２に対応する基準点の位置座標をそれぞれ平均した位置座標を、代表の基準点として座標値の差の算出に用いる。１フレームの撮影画像でキャリブレーションを行うことも可能であるが、人間の眼は絶えず動いているので、数フレームの撮影画像を用いてキャリブレーションを行う方が望ましい。なお、マーカーを表示した際の最初の数フレームは、ユーザがマーカーを注視することができていない可能性があるので、平均の座標位置の算出には、利用しないようにしてもよい。ディスプレイ１００におけるマーカーＭ１，Ｍ２の移動量、すなわち、赤外光パターン３００ａの基準点と赤外光パターン３００ｂの基準点との移動量は、位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）と位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）とから求められる。このディスプレイ１００における表示位置の移動量と、撮影画像における基準点の座標位置の差とから、移動倍率を算出する。
（キャリブレーションの処理の流れ）
以下、キャリブレーションの処理の流れについて説明する。
（キャリブレーションの処理の流れ）
以下、キャリブレーションの処理の流れについて説明する。
図９は、キャリブレーションにおける処理のフローチャートである。
まず、上述したユーザ操作に従って、情報端末１０が、キャリブレーションを行うアプリケーションを起動し、キャリブレーションモードに切り替わる。情報端末１０の画像生成部１０３は、図８（ａ）に示すマーカーＭ１の十字の交点が位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）に一致する画像を生成し、表示制御部１０５に出力する。表示制御部１０５は、受け取った画像を表示部１０６に表示させる（ステップＳ３０）。
まず、上述したユーザ操作に従って、情報端末１０が、キャリブレーションを行うアプリケーションを起動し、キャリブレーションモードに切り替わる。情報端末１０の画像生成部１０３は、図８（ａ）に示すマーカーＭ１の十字の交点が位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）に一致する画像を生成し、表示制御部１０５に出力する。表示制御部１０５は、受け取った画像を表示部１０６に表示させる（ステップＳ３０）。
次に、発光制御部１０４は、赤外光パターンの基準点が位置Ｋ１（Ｍ１ｘ，Ｍ１ｙ）と一致する赤外光パターン３００ａを生成し、表示制御部１０５に出力する（ステップＳ３１）。
表示制御部１０５は、受け取った赤外光パターン３００ａを表示部１０６に表示させる（ステップＳ３２）。
表示制御部１０５は、受け取った赤外光パターン３００ａを表示部１０６に表示させる（ステップＳ３２）。
撮影部１０７は、図６のステップＳ１３の処理と同様の手順で、ディスプレイ１００を見ているユーザの眼を含む範囲の撮影を開始する（ステップＳ３３）。
画像処理部１０８の角膜反射像抽出部２０４は、図６のステップＳ１６と同様の処理で、ステップＳ３３で撮影部１０７が、撮影した撮影画像から赤外光パターン３００ａの角膜反射像を抽出する（ステップＳ３４）。そして、図６のステップＳ１７と同様の処理で、赤外光パターン３００ａの角膜反射像の基準点Ｋ１’の位置座標（Ｍ１ｘ’，Ｍ１ｙ’）を算出する（ステップＳ３５）。
画像処理部１０８の角膜反射像抽出部２０４は、図６のステップＳ１６と同様の処理で、ステップＳ３３で撮影部１０７が、撮影した撮影画像から赤外光パターン３００ａの角膜反射像を抽出する（ステップＳ３４）。そして、図６のステップＳ１７と同様の処理で、赤外光パターン３００ａの角膜反射像の基準点Ｋ１’の位置座標（Ｍ１ｘ’，Ｍ１ｙ’）を算出する（ステップＳ３５）。
次に、図８（ａ）に示すように、マーカーＭ２の十字の交点が位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）に一致する画像を生成し、表示制御部１０５に出力し、表示制御部１０５は、受け取った画像を表示部１０６に表示させる。（ステップＳ３６）。
ステップＳ３７〜ステップＳ４１の処理は、表示部１０６に表示される赤外光パターンの基準点の位置がＫ１ではなく位置Ｋ２に変わっただけであり、処理は、それぞれステップＳ３１〜ステップＳ３５の処理と同じ処理である。ステップＳ３７〜ステップＳ４１の処理を行うことによって、基準点の位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）に対応する、撮影画像における基準点の位置Ｋ２’（Ｍ２ｘ’，Ｍ２ｙ’）を算出する。
ステップＳ３７〜ステップＳ４１の処理は、表示部１０６に表示される赤外光パターンの基準点の位置がＫ１ではなく位置Ｋ２に変わっただけであり、処理は、それぞれステップＳ３１〜ステップＳ３５の処理と同じ処理である。ステップＳ３７〜ステップＳ４１の処理を行うことによって、基準点の位置Ｋ２（Ｍ２ｘ，Ｍ２ｙ）に対応する、撮影画像における基準点の位置Ｋ２’（Ｍ２ｘ’，Ｍ２ｙ’）を算出する。
次に、制御部１０１は、位置Ｋ１と位置Ｋ２とのｘ軸方向、ｙ軸方向それぞれの移動量Ｄｘ、Ｄｙを算出する（ステップＳ４２）。具体的には、図８（ａ）の例では、Ｄｘ＝Ｍ２ｘ−Ｍ１ｘ、Ｄｙ＝Ｍ２ｙ−Ｍ１ｘである。
制御部１０１は、角膜反射像抽出部２０４で抽出した、撮影画像における基準点Ｋ１’、Ｋ２’とのｘ軸方向、ｙ軸方向それぞれの差Ｄｘ’，Ｄｙ’を算出する（ステップＳ４３）。具体的には、Ｄｘ’＝Ｍ２ｘ’−Ｍ１ｘ’，Ｄｙ’＝Ｍ２ｙ’−Ｍ１ｙ’である。
制御部１０１は、角膜反射像抽出部２０４で抽出した、撮影画像における基準点Ｋ１’、Ｋ２’とのｘ軸方向、ｙ軸方向それぞれの差Ｄｘ’，Ｄｙ’を算出する（ステップＳ４３）。具体的には、Ｄｘ’＝Ｍ２ｘ’−Ｍ１ｘ’，Ｄｙ’＝Ｍ２ｙ’−Ｍ１ｙ’である。
次に、制御部１０１は、ステップＳ４２とステップＳ４３で算出した、Ｄｘ，Ｄｙ，Ｄｘ’，Ｄｙ’を用いて、Ｘ軸方向の移動倍率ＭｘとＹ軸方向の移動倍率Ｍｙを算出する（ステップＳ４４）。具体的には、Ｍｘ＝Ｄｘ／Ｄｘ’，Ｍｙ＝Ｄｙ／Ｄｙ’である。算出した移動倍率Ｍｘ，Ｍｙは、記憶部１０２に記録する。
制御部１０１は、移動倍率Ｍｘ，Ｍｙを記録すると、キャリブレーションを行うアプリケーションの実行を終了し、自端末の動作モードを通常モードに切り替える。
＜２．実施の形態２＞
＜２．１ 概要＞
実施の形態１では、白色ＬＥＤと赤外ＬＥＤとを配置したバックライト１２０を用いて、赤外ＬＥＤを発光させることによって、赤外光パターンを生成する情報端末１０について説明した。
制御部１０１は、移動倍率Ｍｘ，Ｍｙを記録すると、キャリブレーションを行うアプリケーションの実行を終了し、自端末の動作モードを通常モードに切り替える。
＜２．実施の形態２＞
＜２．１ 概要＞
実施の形態１では、白色ＬＥＤと赤外ＬＥＤとを配置したバックライト１２０を用いて、赤外ＬＥＤを発光させることによって、赤外光パターンを生成する情報端末１０について説明した。
本実施の形態２では、実施の形態１の情報端末１０とは異なり、バックライトには従来のバックライトを用いて、ディスプレイの前面に複数の近赤外レーザー光源を備える情報端末の例を説明する。本実施の形態２の情報端末１０ｂは、異なる位置に設置した２つの近赤外レーザー光源から近赤外レーザーをディスプレイ１００に照射し、ディスプレイ１００での反射光によって赤外光パターンを生成する。
以下、実施の形態１の情報端末１０と共通の構成や動作については、説明を省略し、異なる点を重点的に説明する。
＜２．２ 構成＞
本実施の形態２の情報端末１０ｂは、実施の形態１の情報端末１０とは、表示部の構成が異なるだけで、その他の構成は同じ構成であるので、説明の便宜上、共通の構成については、実施の形態１の情報端末１０と同じ符号を用いる。
＜２．２ 構成＞
本実施の形態２の情報端末１０ｂは、実施の形態１の情報端末１０とは、表示部の構成が異なるだけで、その他の構成は同じ構成であるので、説明の便宜上、共通の構成については、実施の形態１の情報端末１０と同じ符号を用いる。
図１０（ａ）は、情報端末１０ｂにおける赤外光パターンの生成を示す概念図であり、同図（ｂ）は、ディスプレイ１００ｂの表示面方向からの模式図である。
同図（ａ）に示すように、本実施の形態２の表示部は、ディスプレイ１００ｂと近赤外レーザー光源６００ａ，６００ｂを備える。
ディスプレイ１００ｂは、従来一般的に用いられている液晶ディスプレイであり、白色ＬＥＤで発光するバックライトを備え、このバックライトは赤外光を発光させる赤外ＬＥＤを有していない。
同図（ａ）に示すように、本実施の形態２の表示部は、ディスプレイ１００ｂと近赤外レーザー光源６００ａ，６００ｂを備える。
ディスプレイ１００ｂは、従来一般的に用いられている液晶ディスプレイであり、白色ＬＥＤで発光するバックライトを備え、このバックライトは赤外光を発光させる赤外ＬＥＤを有していない。
近赤外レーザー光源６００ａ，６００ｂは、同図（ａ）で示すように、ディスプレイ１００ｂの外縁の１辺を共有する頂点に配置され、ディスプレイ１００ｂの表示面に向けて縦長の線状の近赤外線のレーザー光を照射する。なお、近赤外線のレーザー光の波長は、実施の形態１の赤外ＬＥＤが発する赤外線の波長の範囲と同様の範囲の波長である。
近赤外レーザー光源６００ａ，６００ｂは、サーボモータを有し、発光制御部１０４の指示を受けて、レーザー光を、表示面の任意の場所に照射できるように自在に回転する機能を備える。ディスプレイ１００ｂの表示面に照射された近赤外のレーザー光は、ディスプレイ１００ｂのバックライトが有する下部反射板で反射され、ディスプレイ１００ｂを見ているユーザの眼に入射する。
近赤外レーザー光源６００ａ，６００ｂは、サーボモータを有し、発光制御部１０４の指示を受けて、レーザー光を、表示面の任意の場所に照射できるように自在に回転する機能を備える。ディスプレイ１００ｂの表示面に照射された近赤外のレーザー光は、ディスプレイ１００ｂのバックライトが有する下部反射板で反射され、ディスプレイ１００ｂを見ているユーザの眼に入射する。
図１０（ｂ）のように、座標軸として、水平方向をｘ軸、垂直方向をｙ軸とし、ディスプレイ１００ｂの表示面の左上隅の座標を原点（０，０）、右下隅の座標を（Ｗ，Ｈ）とする。近赤外レーザー光源６００ａの発する赤外光６１０ａは、ｙ＝ｘ＊ｔａｎα（０≦α＜９０°），ｘ＝０（α＝９０°）で表すことができる。ただし、αは、原点（０，０）と頂点（ｗ，０）を通る直線と赤外光６１０ａの直線で挟まれた間の角度を示す。同様に近赤外レーザー光源６００ｂの発する赤外光６１０ｂは、ｙ＝−ｘ＊ｔａｎβ＋ｗ＊ｔａｎβ（０≦β＜９０°），ｘ＝ｗ（β＝９０°）で表すことができる。赤外光６１０ａの直線と赤外光６１０ｂの直線の交点の座標値を（ｘｐ，ｙｐ）とすると、α＝ｔａｎ-1（ｙｐ／ｘｐ）（ｘｐ≠０），α＝９０°（ｘｐ＝０）、β＝ｔａｎ-1（ｙｐ／（ｘｐ−ｗ））（ｘｐ≠ｗ），β＝９０°（ｘｐ＝ｗ）となる。すなわち、ｘｐ，ｙｐが決まれば、（ｘｐ、ｙｐ）を基準点の座標値とする赤外光パターンを、赤外光６１０ａと赤外光６１０ｂとで形成することができる。
なお、情報端末１０ｂの発光制御部１０４は、近赤外レーザー光源６００ａ，６００ｂの照射の角度を変化させる指示を近赤外レーザー光源６００ａ，６００ｂそれぞれに行うことによって、基準点の位置を移動した赤外光パターンを生成する機能を備える。
また、情報端末１０ｂの表示制御部１０５は、近赤外レーザー光源６００ａ，６００ｂの点灯及び消灯を行う機能を備える。
また、情報端末１０ｂの表示制御部１０５は、近赤外レーザー光源６００ａ，６００ｂの点灯及び消灯を行う機能を備える。
＜２．３ 動作＞
以下、上述の構成を備えた情報端末１０ｂにおける制御処理の動作について説明する。 図１１は、近赤外レーザー光源６００ａ，６００ｂを用いて赤外光パターンを生成する処理におけるフローチャートである。この処理は、実施の形態１の情報端末１０の制御処理の図６のフローチャートにおけるステップＳ１１及びステップＳ１２の処理に相当する処理である。なお、ステップＳ５０〜ステップＳ５２までの処理がステップＳ１１の処理に相当し、ステップＳ５３の処理がステップＳ１２の処理に相当する。他のステップに係る処理については、実施の形態１の情報端末１０と同じである。
以下、上述の構成を備えた情報端末１０ｂにおける制御処理の動作について説明する。 図１１は、近赤外レーザー光源６００ａ，６００ｂを用いて赤外光パターンを生成する処理におけるフローチャートである。この処理は、実施の形態１の情報端末１０の制御処理の図６のフローチャートにおけるステップＳ１１及びステップＳ１２の処理に相当する処理である。なお、ステップＳ５０〜ステップＳ５２までの処理がステップＳ１１の処理に相当し、ステップＳ５３の処理がステップＳ１２の処理に相当する。他のステップに係る処理については、実施の形態１の情報端末１０と同じである。
情報端末１０ｂの発光制御部１０４は、で算出した赤外光パターンの移動量と現在の発光パターンの基準点の位置座標とから、新たな基準点の位置座標（ｘｐ、ｙｐ）を算出する（ステップＳ５０）。具体的には、赤外光パターンのｘ軸方向の移動量ΔＸD，ｙ軸方向の移動量ΔＹD、現在の発光パターンの基準点の位置座標を（ｘｐ０，ｙｐ０）とすると、ｘｐ＝ｘｐ０＋ΔＸD，ｙｐ＝ｙｐ０＋ΔＹDである。
次に、発光制御部１０４は、基準点の位置座標（ｘｐ、ｙｐ）に基づいて、近赤外レーザー光源６００ａの照射角αを算出する（ステップＳ５１）。照射角αの算出は、上記に説明した通りである。同様に、近赤外レーザー光源６００ｂの照射角βを算出する（ステップＳ５２）。
更に、発光制御部１０４は、近赤外レーザー光源６００ａの照射角が、算出した照射角αになるように、近赤外レーザー光源６００ａを回転させる。同様に近赤外レーザー光源６００ｂの照射角が、算出した照射角βになるように、近赤外レーザー光源６００ｂを回転させる。
更に、発光制御部１０４は、近赤外レーザー光源６００ａの照射角が、算出した照射角αになるように、近赤外レーザー光源６００ａを回転させる。同様に近赤外レーザー光源６００ｂの照射角が、算出した照射角βになるように、近赤外レーザー光源６００ｂを回転させる。
近赤外レーザー光源６００ａ，６００ｂの回転が完了すると、表示制御部１０５は、赤外光パターンの表示を開始するタイミングで、近赤外レーザー光源６００ａ，６００ｂから赤外光を照射させる（ステップＳ５３）。
＜２．４ まとめ＞
本実施の形態２では、ディスプレイの外部からディスプレイに対して赤外光を照射し、ディスプレイでの反射光を用いて赤外光パターンを形成する情報端末１０ｂの例を説明した。
＜２．４ まとめ＞
本実施の形態２では、ディスプレイの外部からディスプレイに対して赤外光を照射し、ディスプレイでの反射光を用いて赤外光パターンを形成する情報端末１０ｂの例を説明した。
情報端末１０ｂは、従来のバックライトを用いることができ、従来の情報端末に、近赤外光レーザー光源を付加することにより、比較的容易に本願発明に係る視線検出装置を実現することができる。なお、近赤外光レーザー光源には、光学式のタッチパネルに用いられる赤外線レーザーを利用することができ、タッチパネルの機能と兼用することができる。
＜３．変形例＞
以上、本発明に係る視線検出装置の一例である情報端末について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの視線検出装置に限られないことは勿論である。
＜３．変形例＞
以上、本発明に係る視線検出装置の一例である情報端末について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの視線検出装置に限られないことは勿論である。
（１）実施の形態１、２における移動量算出のための移動倍率を、情報端末の使用前にキャリブレーションにより算出するとしたが、移動倍率の算出をキャリブレーションによって行わなくてもよい。移動倍率は、瞳孔中心と角膜反射像の基準点とのずれが小さくなるように移動量が算出できるものであればよい。例えば、ユーザとユーザが使用する情報端末との距離が一定であるような場合には、予め定められた移動倍率を記憶部に記憶しておき、その移動倍率を用いてもよい。更には、逐次、撮影画像における瞳孔中心と角膜反射像の基準点とのずれと対応させて、赤外パターンの移動量を記録しておき、前のフレームでのずれと移動量との関係から、逐次、移動倍率を算出し、その結果を用いて移動倍率の補正を行ってもよい。
また、撮影画像に映った角膜反射像の大きさと、ディスプレイ１００に表示した赤外光パターンの大きさの関係から移動倍率を算出してもよい。
具体的には、例えば、実施の形態１の情報端末１０の赤外光パターンの水平方向の線分の長さは、ディスプレイ１００の水平方向の表示サイズであるＷであり、垂直方向の線分の長さは、同様に垂直方向の表示サイズであるＨである。一方、この赤外光パターンの角膜反射像の撮影画像上における水平方向の長さをｗ’、垂直方向の長さをｈ’とすると、ｘ軸方向の移動倍率Ｍｘとｙ軸方向の移動倍率Ｍｙはそれぞれ、Ｍｘ＝Ｗ／Ｗ’，Ｍｙ＝Ｈ／Ｈ’で求められる。
具体的には、例えば、実施の形態１の情報端末１０の赤外光パターンの水平方向の線分の長さは、ディスプレイ１００の水平方向の表示サイズであるＷであり、垂直方向の線分の長さは、同様に垂直方向の表示サイズであるＨである。一方、この赤外光パターンの角膜反射像の撮影画像上における水平方向の長さをｗ’、垂直方向の長さをｈ’とすると、ｘ軸方向の移動倍率Ｍｘとｙ軸方向の移動倍率Ｍｙはそれぞれ、Ｍｘ＝Ｗ／Ｗ’，Ｍｙ＝Ｈ／Ｈ’で求められる。
このように撮影画像が得られるごとに移動倍率を算出することで、キャリブレーションを不要とすることができる。情報端末１０とユーザとの距離が変化して、ユーザの角膜に映る角膜反射像の大きさが変化するような場合であっても適切な移動倍率を用いて、赤外光パターンの移動量を算出することができる。
（２）実施の形態１では、角膜反射像を得るための赤外光パターンとして、ディスプレイの表示面の水平方向、垂直方向の線分が１点で交わる形状の赤外光パターンを用いたがは、赤外光パターンの形状は、これに限らない。角膜反射像の抽出及びその基準点の算出が容易な形状であればどのような形状を用いてもよい。例えば、図１２に示すような赤外光パターンを用いてもよい。
（２）実施の形態１では、角膜反射像を得るための赤外光パターンとして、ディスプレイの表示面の水平方向、垂直方向の線分が１点で交わる形状の赤外光パターンを用いたがは、赤外光パターンの形状は、これに限らない。角膜反射像の抽出及びその基準点の算出が容易な形状であればどのような形状を用いてもよい。例えば、図１２に示すような赤外光パターンを用いてもよい。
図１２（ａ）の赤外光パターン３２０は、実施の形態１における赤外光パターンにおいて、ディスプレイ１００の表示部分の中心からある一定の矩形領域内の表示を行わないようにした形状である。すなわち、ディスプレイの表示面の外縁近傍の領域にのみ、水平方向、垂直方向の線分を表示する形状である。この場合の赤外光パターン３２０の基準点３２０ａは、水平方向の線分を延長した直線と、垂直方向の線分を延長した直線との交点とする。このような形状を用いると、ディスプレイ１００のバックライトにおいて、赤外ＬＥＤを配置する領域を削減できる。
また、図１２（ａ）のような赤外光パターン３２０を用いる場合には、従来の液晶ディスプレイを囲うように赤外光パターンを発光させる装置を付加するようにしてもよい。このようにすると、ディスプレイ１００から赤外光パターンを発光させる部分を分離することができる。
図１２（ｂ）の赤外光パターン３２１は、実施の形態２の赤外光パターンと同様の形状である。表示面の隣り合う２隅の点それぞれを通る２つの線分で赤外光パターンを形成する。この場合の基準点３２１ａは、２線分の交点とする。
図１２（ｂ）の赤外光パターン３２１は、実施の形態２の赤外光パターンと同様の形状である。表示面の隣り合う２隅の点それぞれを通る２つの線分で赤外光パターンを形成する。この場合の基準点３２１ａは、２線分の交点とする。
図１２（ｃ）の赤外光パターン３２２は、所定の大きさを持つ矩形である。矩形の周囲の線分だけ発光するようにしてもよいし、矩形内部を発光させてもよい。この場合の基準点３２２ａは、矩形中心である。
図１２（ｄ）の赤外光パターン３２３は、所定の大きさを持つ円又は楕円である。赤外光パターン３２２と同様、円周の線分だけ発光するようにしてもよいし、円又は楕円の内部を発光させてもよい。この場合の基準点３２３ａは、円又は楕円の中心である。
図１２（ｄ）の赤外光パターン３２３は、所定の大きさを持つ円又は楕円である。赤外光パターン３２２と同様、円周の線分だけ発光するようにしてもよいし、円又は楕円の内部を発光させてもよい。この場合の基準点３２３ａは、円又は楕円の中心である。
図１２（ｅ）の赤外光パターン３２４は、所定の長さの２以上の線分が１点で交わる形状である。各線分の長さは、各々異なっていてもよい。この場合の基準点３２４ａは、線分の交点である。
図１２（ｆ）の赤外光パターン３２５は、所定の大きさを持つ円弧又は楕円弧である。円弧又は楕円弧の部分だけを発光させてもよいし、円弧又は楕円弧と中心点を結ぶ線分とで囲まれた範囲を発光させるようにしてもよい。この場合の基準点３２５ａは、円弧又は楕円弧の中心である。
図１２（ｆ）の赤外光パターン３２５は、所定の大きさを持つ円弧又は楕円弧である。円弧又は楕円弧の部分だけを発光させてもよいし、円弧又は楕円弧と中心点を結ぶ線分とで囲まれた範囲を発光させるようにしてもよい。この場合の基準点３２５ａは、円弧又は楕円弧の中心である。
図１２（ｇ）の赤外光パターン３２６は、Ｌ字型の図形を同図に示すような方向で、所定の１点について点対称に４つ配置した形状である。この場合の基準点３２６ａは、点対称の中心である。
なお、図１２（ａ）〜（ｇ）は例示であり、これらの形状に限定するものではない。また、これらの形状を組み合わせた形状であってもよい。このように、特徴的な形状を赤外光パターンとして用いることにより、カメラで撮影した撮影画像から角膜反射像の抽出を容易に行い得る。
なお、図１２（ａ）〜（ｇ）は例示であり、これらの形状に限定するものではない。また、これらの形状を組み合わせた形状であってもよい。このように、特徴的な形状を赤外光パターンとして用いることにより、カメラで撮影した撮影画像から角膜反射像の抽出を容易に行い得る。
（３）実施の形態１では、ディスプレイ１００に、白色ＬＥＤと赤外ＬＥＤを交互に配置にしたバックライトを用いたが、バックライトのＬＥＤの配置は、交互に配置することに限られない。通常画面の表示と、赤外光パターンの表示が行えるように、可視光での発光と赤外光での発光がなされれば、光源の配置はどのような配置であってもよい。
例えば、１列ごとに交互に配置してもよいし、エッジライト方式の配置であってもよい。エッジライト方式での配置の場合には、白色ＬＥＤを配置したエッジとは異なるエッジに赤外ＬＥＤを配置し、又は、同じエッジに並べて配置し、液晶パネルを背面から照明できるように、導光板等を用いて面発光させる構成であってもよい。このような光源を用いることにより、バックライトの構造が簡素化され、実装が容易になる。
例えば、１列ごとに交互に配置してもよいし、エッジライト方式の配置であってもよい。エッジライト方式での配置の場合には、白色ＬＥＤを配置したエッジとは異なるエッジに赤外ＬＥＤを配置し、又は、同じエッジに並べて配置し、液晶パネルを背面から照明できるように、導光板等を用いて面発光させる構成であってもよい。このような光源を用いることにより、バックライトの構造が簡素化され、実装が容易になる。
また、白色ＬＥＤの代わりにＲＧＢ３色のＬＥＤを用いてもよいし、ＲＧＢ用のカラーフィルターと赤外用のフィルターを用いて、それぞれの波長の光を発光させるようにしてもよい。
（４）実施の形態１において、情報端末１０の光源としてＬＥＤを用いたが、光源はＬＥＤに限らない。光源であれば、どのような光源であっても構わない。例えば、有機ＥＬの光源を用いてもよい。また、人間が感知できない波長の光源として赤外光の光源を用いたが、紫外光の光源であっても構わない。なお、紫外光の光源を用いる場合には、カメラ２００は紫外線撮影が可能なカメラを用いる。
（４）実施の形態１において、情報端末１０の光源としてＬＥＤを用いたが、光源はＬＥＤに限らない。光源であれば、どのような光源であっても構わない。例えば、有機ＥＬの光源を用いてもよい。また、人間が感知できない波長の光源として赤外光の光源を用いたが、紫外光の光源であっても構わない。なお、紫外光の光源を用いる場合には、カメラ２００は紫外線撮影が可能なカメラを用いる。
また、角膜反射像を得るためにディスプレイ１００に表示する表示パターンを、ユーザが知覚できない赤外光で形成する場合で説明したが、角膜反射像を得るための表示パターンは赤外光に限らない。ユーザが、情報端末を操作する際の妨げにならいようにしながら角膜反射像が得られるような表示ができればよい。例えば、紫外光や、可視光を用いてもよい。可視光を用いて、角膜反射像を得るための表示パターンを表示する場合は、ユーザに対してちらつきを感じさせないようにするために、通常画面を表示する場合に比べて非常に短時間表示する。例えば、実施の形態１での赤外光パターンを表示する代わりに、赤外光パターンと同じ形状の表示パターンを可視光により表示させてもよい。可視光を用いることにより、赤外ＬＥＤを備えていない従来のバックライトでも同様の処理を行うことができる。
（５）実施の形態において、瞳孔中心を算出するために、撮影画像から画像処理によって、瞳孔に該当する領域を抽出するとしたが、抽出する領域は瞳孔に限らない。瞳孔中心を算出できる領域を抽出できればよい。例えば、虹彩に該当する領域を抽出してもよい。虹彩は、瞳孔中心より大きいので領域の抽出が容易に行い得る。この場合、虹彩の中心は瞳孔の中心と同じと考えてよいので、抽出した虹彩の領域から虹彩の中心を算出し、算出した虹彩の中心を瞳孔中心とする。
また、瞳孔中心の算出に、得られた瞳孔の領域に対して円近似を行い、その円の中心位置を瞳孔中心位置としたが、瞳孔中心の算出方法は、円近似に限らない。瞳孔中心位置が撮影画像において、特定できればどのような算出方法を用いてもよい。例えば、ユーザの視線がカメラの光軸から離れた方向にある場合には、撮影された瞳孔は、円より楕円形に近い形状であるので、楕円近似を行って、その中心位置を瞳孔中心位置としてもよい。また、抽出された瞳孔の領域の撮影画像における画素の重心位置を求め、その重心位置を瞳孔中心位置としてもよい。この場合、円近似等の演算処理が省略できるので処理負荷を軽減できる。
（６）実施の形態１、２では、ディスプレイ１００のフレームレートを６０Ｈｚとして説明したが、ディスプレイのフレームレートは６０Ｈｚに限らない。ユーザが、ディスプレイを見ている際に、通常画面の表示と赤外光パターンの表示を交互に行った際に、ちらつきを感じないフレームレートであればよい。例えば、３０Ｈｚや、１２０Ｈｚ、２４０Ｈｚなどのフレームレートであってもよい。
また、１フレームの間に通常画面の表示と赤外光パターンの表示とを切り替えて表示する場合で説明したが、１フレームの間に切り替えず、数フレーム分、通常画面を表示してその後１フレーム分赤外光パターンを表示するようにしてもよい。この場合、フレームレートが低い場合は、表示の切り替えでちらつきが生じる可能性があるので、例えば２４０Ｈｚ以上のフレームレートの場合にこのような表示の切り替えを行ってもよい。２４０Ｈｚのフレームレートでディスプレイ１００の表示を更新する場合には、３フレーム分通常画面の表示を行い、その後１フレーム分赤外パターンの表示を行う。この場合、通常画面の表示時間が１２．５ミリ秒に対して、赤外光パターンの表示時間が、４．１７ミリ秒となり、この一連の表示を１組とすると６０Ｈｚで画面表示した場合に相当するので、ユーザに対してちらつきを感じさせない表示を行い得る。
（７）実施の形態１、２では、通常画面の表示と赤外光パターンの表示とを交互に行う例を説明したが、通常画面の表示と赤外光パターンの表示とを交互に行わなくてもよい。
ユーザに対して、通常画面の操作の妨げにならないように赤外光パターンを表示できればどのような表示方法であってもよい。例えば、赤外光は、人間が感知できないので、通常画面を表示している間に赤外光パターンを表示してもよい。この場合に、ユーザの眼を撮影して得られた撮影画像には、通常画面と赤外光パターンとが映ることになるので、カメラ２００は、赤外光のみを撮影できる機能又は、可視光による画像と赤外光による画像とを分離して撮影できる機能を備えたものを用いてもよい。このような機能を備えたカメラを用いることで、赤外光パターンによる角膜反射像を容易に抽出できる。
ユーザに対して、通常画面の操作の妨げにならないように赤外光パターンを表示できればどのような表示方法であってもよい。例えば、赤外光は、人間が感知できないので、通常画面を表示している間に赤外光パターンを表示してもよい。この場合に、ユーザの眼を撮影して得られた撮影画像には、通常画面と赤外光パターンとが映ることになるので、カメラ２００は、赤外光のみを撮影できる機能又は、可視光による画像と赤外光による画像とを分離して撮影できる機能を備えたものを用いてもよい。このような機能を備えたカメラを用いることで、赤外光パターンによる角膜反射像を容易に抽出できる。
（８）実施の形態１のカメラ２００は、情報端末１０に内蔵されている例で説明したが、カメラは、情報端末に内蔵されている必要はない。ユーザの眼を含む範囲が撮影できればよく、外部に接続したカメラであってもよい。例えば、オートフォーカス機能やズーム機能やパン・チルト機能を備えた、いわゆるＷｅｂカメラを情報端末に接続して用いてもよい。Ｗｅｂカメラと情報端末との接続は、例えばＵＳＢ（Universal Serial Bus）ケーブルで接続する。カメラを外付けにすることで、撮影範囲の設定を柔軟に行い得る。
（９）実施の形態１では、カメラ２００は、ユーザが、通常の使用状態でディスプレイ１００を見ている場合に、そのユーザの顔を含む範囲を撮影できる画角を有するカメラであり、ユーザの顔を含む範囲を撮影するとした。しかし、撮影に用いるカメラは、これに限らない。ユーザの眼を撮影できれば、どのようなカメラで撮影してもよい。例えば、顔認識技術を用いて、ユーザの顔を認識し、更に、眼の領域を特定し、その領域を追従し、ズームしてから撮影するようにしてもよい。これにより、眼の領域を、より詳細な解像度で撮影することができるので、瞳孔中心や、角膜反射像の抽出が更に精度よく行い得る。
（１０）実施の形態１、２では、パソコンやタブレット端末のような情報端末を例に説明したが、視線検出装置は、このような情報端末に限らない。ユーザに対して情報を提供するディスプレイを備えた装置であれば、どのような態様の装置であってもよい。例えば、デジタル・サイネージ（Digital Signage）のような電子看板であってもよい。なお、電子看板のように不特定多数の人向けに設置された装置の場合には、まず、ユーザの顔の位置を、顔認識技術を用いて特定し、その位置にカメラをズームして、更に眼の範囲位置を画像認識技術で抽出してもよい。このような方法を用いることで、対象者が動いた場合でも、追従しながら対象者の視線を検出し得る。
（１１）実施の形態１、２では、カメラ２００で撮影した撮影画像を記憶部１０２に記録し、画像処理部１０８は、記憶した撮影画像を読み出して画像処理を行うとしたが、カメラ２００で撮影した撮影画像は、記憶部１０２に記録することに限らない。撮影画像を用いて画像処理部１０８が画像処理を行うことができればよく、カメラ２００から撮影画像を直接画像処理部１０８に出力するようにしてもよい。このようにすることで、記憶部のメモリ容量を削減することができる。
（１２）実施の形態１では、赤外光パターンの表示領域は、通常画面の表示領域と同じ大きさである例で説明したが、赤外光パターンの表示領域は、通常画面の表示領域と同じ大きさに限らない。赤外光パターンの表示範囲は、赤外光パターンの角膜反射像における基準点が、瞳孔中心に近づく方向に、赤外光パターンの基準点を移動できる範囲であればよい。例えば、スマートフォンやタブレット端末のように、ディスプレイとディスプレイを見ているユーザとの距離が非常に近い状態で使用されることが予めわかっている情報端末においては、赤外光パターンの表示範囲を小さくしてもよい。なぜなら、このような場合、移動範囲が小さくても角膜反射像の基準点を瞳孔中心に合わせることが可能であるからである。
一方、電子看板のようにディスプレイとユーザとの距離が離れているような状態で使用されるような場合には、ユーザの視線の方向によっては、赤外光パターンを大きく移動させなければ、角膜反射像の基準点を瞳孔中心に合わせることができない可能性がある。このような場合には、通常画面の表示範囲より広い範囲で赤外光パターンの基準点を移動できるように、赤外ＬＥＤの設置範囲を広げたバックライトを用いてもよい。
（１３）実施の形態１、２において説明した各処理（図６、図９、図１１で示す処理）を情報端末のプロセッサに実行させるための制御プログラムを、記録媒体に記録し又は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を介して、流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等の半導体メモリがある。流通、頒布された制御プログラムは、情報端末のプロセッサで読み取り可能なメモリ等に格納されることにより利用に供され、プロセッサがその制御プログラムを実行することにより実施の形態で示した各機能が実現される。
（１４）実施の形態１、２において説明した情報端末１０（１０ｂ）の制御部、画像生成部、発光制御部、表示制御部、画像処理部、及び視線検出部における各機能は、全部又は一部を１チップ又は複数チップの集積回路を用いて実現してもよいし、その機能をコンピュータのプログラムを用いて実現してもよいし、その他どのような形態で実現してもよい。
（１５）上記実施の形態及び変形例をそれぞれ適宜組み合わせるとしてもよい。
（１６）以下、更に本発明の一実施形態としての視線検出装置の構成及びその変形例と効果について説明する。
（ａ）本発明の一実施形態に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
（１６）以下、更に本発明の一実施形態としての視線検出装置の構成及びその変形例と効果について説明する。
（ａ）本発明の一実施形態に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出装置は、対象者であるユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
（ｂ）ここで、前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う、としてもよい。
（ｂ）ここで、前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う、としてもよい。
この構成の視線検出装置は、角膜反射像の抽出がしやすい発光形状で光源を発光させることができるので、精度よく基準点を算出することができる。
従って、算出した基準点を用いて精度よく視線を算出することができる。
（ｃ）ここで、前記発光制御部は、２以上の線分が１点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、前記基準点は、前記線分の交点である、としてもよい。
従って、算出した基準点を用いて精度よく視線を算出することができる。
（ｃ）ここで、前記発光制御部は、２以上の線分が１点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、前記基準点は、前記線分の交点である、としてもよい。
この構成の視線検出装置は、比較的単純な形状である線分で構成される発光形状で光源を発光させることができる。従って、ユーザの角膜に映った角膜反射像を容易に抽出することができ、抽出した角膜反射像からの基準点の算出も容易に行い得る。
（ｄ）ここで、前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる、としてもよい。
（ｄ）ここで、前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる、としてもよい。
この構成の視線検出装置は、発光形状の大きさと、ユーザの角膜に映った発光形状の角膜反射像の大きさとの比に基づいて、光源の基準点の位置を移動する際の移動量を算出することができる。
従って、移動量を決定するためのキャリブレーションを予め行う必要がない。
（ｅ）ここで、更に、対象者に提供する情報を示す画面を表示する表示部を備え、前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う、としてもよい。
従って、移動量を決定するためのキャリブレーションを予め行う必要がない。
（ｅ）ここで、更に、対象者に提供する情報を示す画面を表示する表示部を備え、前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う、としてもよい。
従って、この構成の視線検出装置は、表示部に表示された画面を見ているユーザの視線を検出することができる。
（ｆ）ここで、前記撮影部は、赤外線撮影機能を有し、前記光源は、赤外線を発する光源である、としてもよい。
この構成の視線検出装置は、視線検出に用いる角膜反射像を得るために発する光に、ユーザが知覚できない赤外光を用いる。
（ｆ）ここで、前記撮影部は、赤外線撮影機能を有し、前記光源は、赤外線を発する光源である、としてもよい。
この構成の視線検出装置は、視線検出に用いる角膜反射像を得るために発する光に、ユーザが知覚できない赤外光を用いる。
従って、画面を見ているユーザの妨げになることなく視線検出を行うことができる。
（ｇ）ここで、更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、ユーザに情報を提供するための画面の表示と、視線検出のための発光形状の発光とを交互に行う。
（ｇ）ここで、更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、ユーザに情報を提供するための画面の表示と、視線検出のための発光形状の発光とを交互に行う。
これにより、発光形状の角膜反射像がユーザに情報を提供するための画面の角膜反射像と重なることがないので、ユーザの視線検出に用いるための発光形状の角膜反射像だけを容易に撮影することができる。従って、発光形状の角膜反射像を容易に抽出し得る。
（ｈ）ここで、前記光源は、可視光を発する光源であり、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
（ｈ）ここで、前記光源は、可視光を発する光源であり、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、可視光で視線検出のための発光形状を発光させた場合でも、この発光形状の角膜反射像だけを容易に撮影することができる。
従って、発光形状の角膜反射像を容易に抽出し得る。
（ｉ）本発明の一実施形態に係る視線検出装置の視線検出方法は、対象者の視線を検出する視線検出装置における視線検出方法であって、前記視線検出装置は、発光位置の可変な光源を有し、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
従って、発光形状の角膜反射像を容易に抽出し得る。
（ｉ）本発明の一実施形態に係る視線検出装置の視線検出方法は、対象者の視線を検出する視線検出装置における視線検出方法であって、前記視線検出装置は、発光位置の可変な光源を有し、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出方法は、ユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
（ｊ）本発明の一実施形態に係る視線検出装置の視線検出プログラムは、対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるためのプログラムであって、前記視線検出装置は、発光位置の可変な光源を有し、前記視線検出処理は、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
（ｊ）本発明の一実施形態に係る視線検出装置の視線検出プログラムは、対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるためのプログラムであって、前記視線検出装置は、発光位置の可変な光源を有し、前記視線検出処理は、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出プログラムは、ユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
本発明は、角膜反射像を利用した視線検出技術として有用である。
１０、１０ｂ 情報端末
１００、１００ｂ ディスプレイ
１０１ 制御部
１０２ 記憶部
１０３ 画像生成部
１０４ 発光制御部
１０５ 表示制御部
１０６ 表示部
１０７ 撮影部
１０８ 画像処理部
１０９ 視線検出部
１１０ 表示面
１２０ バックライト
２００ カメラ
２０１ 算出部
２０２ 移動量算出部
２０３ 瞳孔抽出部
２０４ 角膜反射像抽出部
１００、１００ｂ ディスプレイ
１０１ 制御部
１０２ 記憶部
１０３ 画像生成部
１０４ 発光制御部
１０５ 表示制御部
１０６ 表示部
１０７ 撮影部
１０８ 画像処理部
１０９ 視線検出部
１１０ 表示面
１２０ バックライト
２００ カメラ
２０１ 算出部
２０２ 移動量算出部
２０３ 瞳孔抽出部
２０４ 角膜反射像抽出部
Claims (10)
- 対象者の眼を含む範囲を繰り返し撮影する撮影部と、
前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、
発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、
前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出装置。 - 前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う
ことを特徴とする請求項１記載の視線検出装置。 - 前記発光制御部は、２以上の線分が１点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、
前記基準点は、前記線分の交点である
ことを特徴とする請求項２記載の視線検出装置。 - 前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる
ことを特徴とする請求項２記載の視線検出装置。 - 更に、対象者に提供する情報を示す画面を表示する表示部を備え、
前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う
ことを特徴とする請求項４記載の視線検出装置。 - 前記撮影部は、赤外線撮影機能を有し、
前記光源は、赤外線を発する光源である
ことを特徴とする請求項５記載の視線検出装置。 - 更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、
前記撮影部は、前記光源の発光の際に前記撮影を行う
ことを特徴とする請求項６記載の視線検出装置。 - 前記光源は、可視光を発する光源であり、
前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、
前記撮影部は、前記光源の発光の際に前記撮影を行う
ことを特徴とする請求項５記載の視線検出装置。 - 対象者の視線を検出する視線検出装置における視線検出方法であって、
前記視線検出装置は、発光位置の可変な光源を有し、
前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、
前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、
前記光源の発光制御を行う発光制御ステップと、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、
前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出方法。 - 対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるための視線検出プログラムであって、
前記視線検出装置は、発光位置の可変な光源を有し、
前記視線検出処理は、
前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、
前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、
前記光源の発光制御を行う発光制御ステップと、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、
前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013069128A JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013069128A JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014188322A true JP2014188322A (ja) | 2014-10-06 |
Family
ID=51835245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013069128A Pending JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014188322A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016110469A (ja) * | 2014-12-09 | 2016-06-20 | レノボ・シンガポール・プライベート・リミテッド | 協働動作をする情報処理装置、携帯式電子機器、および位置の特定方法 |
| JP2016130693A (ja) * | 2015-01-14 | 2016-07-21 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
| JP2016197780A (ja) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
| US9654748B2 (en) | 2014-12-25 | 2017-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Projection device, and projection method |
| JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
| WO2020021674A1 (ja) * | 2018-07-26 | 2020-01-30 | Ｎｅｃディスプレイソリューションズ株式会社 | 表示システムおよび表示システム制御方法 |
| JP2020040565A (ja) * | 2018-09-12 | 2020-03-19 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
| EP3725211A2 (en) | 2019-03-28 | 2020-10-21 | Aisin Seiki Kabushiki Kaisha | Line-of-sight measurement device |
| CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
| US11474600B2 (en) | 2018-06-14 | 2022-10-18 | Sony Corporation | Eyeball detection unit and image display apparatus |
| WO2024004416A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | 視線検出装置 |
-
2013
- 2013-03-28 JP JP2013069128A patent/JP2014188322A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016110469A (ja) * | 2014-12-09 | 2016-06-20 | レノボ・シンガポール・プライベート・リミテッド | 協働動作をする情報処理装置、携帯式電子機器、および位置の特定方法 |
| US10606413B2 (en) | 2014-12-09 | 2020-03-31 | Lenovo (Singapore) Pte. Ltd. | Apparatus, method, and program product for determining the location of a portable electronic device on a display |
| US9654748B2 (en) | 2014-12-25 | 2017-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Projection device, and projection method |
| JP2016130693A (ja) * | 2015-01-14 | 2016-07-21 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
| JP2016197780A (ja) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
| JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
| US11474600B2 (en) | 2018-06-14 | 2022-10-18 | Sony Corporation | Eyeball detection unit and image display apparatus |
| WO2020021674A1 (ja) * | 2018-07-26 | 2020-01-30 | Ｎｅｃディスプレイソリューションズ株式会社 | 表示システムおよび表示システム制御方法 |
| JP2020040565A (ja) * | 2018-09-12 | 2020-03-19 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
| JP7101574B2 (ja) | 2018-09-12 | 2022-07-15 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
| CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
| CN112955933B (zh) * | 2018-11-05 | 2024-05-24 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
| EP3725211A2 (en) | 2019-03-28 | 2020-10-21 | Aisin Seiki Kabushiki Kaisha | Line-of-sight measurement device |
| US11571125B2 (en) | 2019-03-28 | 2023-02-07 | Aisin Corporation | Line-of-sight measurement device |
| WO2024004416A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | 視線検出装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2014188322A (ja) | 視線検出装置、視線検出方法及びプログラム | |
| CN108700933B (zh) | 能够进行眼睛追踪的可穿戴设备 | |
| US10395111B2 (en) | Gaze-tracking system and method | |
| JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
| US9398848B2 (en) | Eye gaze tracking | |
| JP6056323B2 (ja) | 視線検出装置、視線検出用コンピュータプログラム | |
| JP2023543557A (ja) | ニアアイディスプレイの光源を駆動する方法 | |
| JP2019522781A (ja) | 固定具なしのレンズメータ及びその操作方法 | |
| JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
| US10347050B1 (en) | Augmented reality device to warp images | |
| JP3450801B2 (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
| WO2021164678A1 (zh) | 虹膜自动捕捉方法、装置、计算机可读存储介质及计算机设备 | |
| JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
| JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| US10771774B1 (en) | Display apparatus and method of producing images having spatially-variable angular resolutions | |
| JP2017199148A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
| JP2017173455A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US11527004B2 (en) | Electronic device and operation method thereof | |
| JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
| JP4340760B2 (ja) | ハンズフリーポインティングシステム | |
| JP2021166322A (ja) | 情報処理装置、プログラムおよび情報処理システム | |
| JPH0831126B2 (ja) | 眼鏡装用シミュレーション装置における合成画像作成方法 | |
| US20230244307A1 (en) | Visual assistance | |
| CN114652267A (zh) | 眼球追踪方法、***、可读存储介质及电子设备 | |
| JP2004110513A (ja) | ポインタ移動制御システム |