JP2014188322A - 視線検出装置、視線検出方法及びプログラム - Google Patents
視線検出装置、視線検出方法及びプログラム Download PDFInfo
- Publication number
- JP2014188322A JP2014188322A JP2013069128A JP2013069128A JP2014188322A JP 2014188322 A JP2014188322 A JP 2014188322A JP 2013069128 A JP2013069128 A JP 2013069128A JP 2013069128 A JP2013069128 A JP 2013069128A JP 2014188322 A JP2014188322 A JP 2014188322A
- Authority
- JP
- Japan
- Prior art keywords
- line
- light emission
- light source
- image
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】視線方向の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供する。
【解決手段】本発明に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮影し、撮影した画像から瞳孔と角膜反射像を抽出する。そして、抽出した瞳孔の中心位置と、角膜反射像の基準点の位置とのずれを算出し、算出したずれに基づいて、そのずれが小さくなるように、赤外光パターンの表示位置を移動させ、移動後に撮影した画像から抽出した角膜反射像を用いて角膜の曲率中心位置を算出する。
【選択図】図2
【解決手段】本発明に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮影し、撮影した画像から瞳孔と角膜反射像を抽出する。そして、抽出した瞳孔の中心位置と、角膜反射像の基準点の位置とのずれを算出し、算出したずれに基づいて、そのずれが小さくなるように、赤外光パターンの表示位置を移動させ、移動後に撮影した画像から抽出した角膜反射像を用いて角膜の曲率中心位置を算出する。
【選択図】図2
Description
本発明は、角膜反射法を用いた視線検出技術に関する。
パソコン等の情報端末を操作するためのインターフェースの1つに、視線インターフェースがある。視線インターフェースは、ユーザの視線を検出することによって、例えば、ディスプレイ上のユーザの注視している位置を特定し、文字の入力やユーザの注視している位置にあるメニューやアイコン等の操作を行うために利用される。
ところで、視線は、角膜の曲率中心位置を基準点とし、視線の方向を示すベクトル、すなわち、角膜の曲率中心位置から瞳孔の中心位置へのベクトル(以下、「視線ベクトル」と呼ぶ。)で表すことができる。このように視線を定義した場合、瞳孔の中心位置と、角膜の曲率中心位置とを求めることにより、視線を検出することができる。このような視線を検出する技術の1つに角膜反射法がある(非特許文献1)。
ところで、視線は、角膜の曲率中心位置を基準点とし、視線の方向を示すベクトル、すなわち、角膜の曲率中心位置から瞳孔の中心位置へのベクトル(以下、「視線ベクトル」と呼ぶ。)で表すことができる。このように視線を定義した場合、瞳孔の中心位置と、角膜の曲率中心位置とを求めることにより、視線を検出することができる。このような視線を検出する技術の1つに角膜反射法がある(非特許文献1)。
角膜反射法は、ユーザの眼に映った角膜反射像を利用して視線を算出する方法である。例えば、ユーザに向けて、ユーザが知覚できない赤外光を発光し、ユーザの眼を含む範囲をカメラで撮影し、撮影した画像に映っている赤外光の角膜反射像を用いて視線を算出する。具体的には、カメラで撮影した画像に映っている、ユーザの瞳孔と赤外光の角膜反射像とを画像処理によって抽出し、抽出した瞳孔に基づいて、瞳孔の中心位置を算出し、同じく角膜反射像に基づいて、角膜の曲率中心位置を算出する。そして、算出した瞳孔の中心位置と角膜の曲率中心位置から視線ベクトルを算出する。
特許文献1には、カメラと赤外光源をそれぞれ2つ用いて、三角測量法で角膜の曲率中心位置を算出する技術が記載されている。特許文献2には、形態学上の知見データ、すなわち人間の眼球の形状をモデル化した眼球モデルのデータを利用することにより、カメラと赤外光源とがそれぞれ1つの場合でも角膜の曲率中心位置を算出し得る技術が記載されている。
大野他、「2点補正による簡易キャリブレーションを実現した視線測定システム」、情報処理学会論文誌、2003年4月、Vol.44、No.4、p.1136−1149
角膜反射法を用いてカメラで撮影した画像から角膜の曲率中心位置を算出するためには、算出の際のパラメータの1つとして角膜の曲率半径が必要である。
しかし、角膜の曲率半径は、個人差があり、また、簡単には計測できないので、人間の角膜の曲率半径の平均的な一定値を予め設定して用いる。そして、個人差による影響は、予めキャリブレーションによって補正する方法が用いられる。具体的には、画面上の数か所の点において、実際の注視点と、算出した視線による注視点とのずれを測定し、そのずれに基づいて補正する。
しかし、角膜の曲率半径は、個人差があり、また、簡単には計測できないので、人間の角膜の曲率半径の平均的な一定値を予め設定して用いる。そして、個人差による影響は、予めキャリブレーションによって補正する方法が用いられる。具体的には、画面上の数か所の点において、実際の注視点と、算出した視線による注視点とのずれを測定し、そのずれに基づいて補正する。
しかしながら、角膜の曲率半径の大きさは、個人差による違い以外にも、角膜の表面における中心位置から離れるにしたがって大きくなっており、一定ではないことが知られている。ユーザが視線を動かすと、カメラで撮影した画像において、角膜に映る角膜反射像の位置が移動する。このとき、カメラの光軸と視線の方向とのずれが大きくなればなるほど、角膜反射像の映る位置と角膜中心位置とが離れるので、予め設定した角膜の曲率半径と実際の曲率半径との誤差が増大する。
このため、上述のキャリブレーションでは、角膜の位置による曲率半径の違いに起因する誤差の補正は困難であり、視線方向によって角膜の曲率中心位置における誤差の大きさがばらつく。つまり、精度よく角膜の曲率中心位置を算出することができない。
そこで、本発明は係る問題に鑑みてなされたものであり、視線の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供することを目的とする。
そこで、本発明は係る問題に鑑みてなされたものであり、視線の検出に必要な角膜の曲率中心位置を、視線の方向にかかわらず、従来よりも精度よく算出し得る視線検出装置を提供することを目的とする。
上記課題を解決するために、本発明に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行うことを特徴とする。
上述の構成により、本発明に係る視線検出装置は、視線が動いた場合でも、角膜に映る角膜反射像の位置を一定に保つことができるので、角膜の曲率中心位置を、視線方向にかかわらず、従来よりも精度よく算出し得る。
<1.実施の形態>
<1.1 概要>
視線検出を行う方法の1つに、角膜反射像を用いる方法がある。人間の眼球に光を照射した場合、照射した光の一部は、角膜前面、角膜後面、水晶体前面、水晶体後面の各屈折面で反射される。これら各屈折面で反射された光による反射像は、それぞれ第1、第2、第3、第4プルキンエ(Purkinje)像と呼ばれている。すなわち、角膜反射像とは、第1及び第2プルキンエ像のことであるが、本実施の形態において、角膜反射像とは、特に断らない限り、第1プルキンエ像を意味するものとする。第1プルキンエ像は、各プルキンエ像のうちで最も明るい反射像であり、カメラで撮影した画像から画像処理によって比較的容易に抽出することができる。
<1.1 概要>
視線検出を行う方法の1つに、角膜反射像を用いる方法がある。人間の眼球に光を照射した場合、照射した光の一部は、角膜前面、角膜後面、水晶体前面、水晶体後面の各屈折面で反射される。これら各屈折面で反射された光による反射像は、それぞれ第1、第2、第3、第4プルキンエ(Purkinje)像と呼ばれている。すなわち、角膜反射像とは、第1及び第2プルキンエ像のことであるが、本実施の形態において、角膜反射像とは、特に断らない限り、第1プルキンエ像を意味するものとする。第1プルキンエ像は、各プルキンエ像のうちで最も明るい反射像であり、カメラで撮影した画像から画像処理によって比較的容易に抽出することができる。
角膜反射像を用いて視線検出を行う方法は、画像処理や数値計算処理など、他の方法に比べて、比較的多くの演算処理を行わなければならない。しかし、視線検出の際にユーザに特別な器具を装着したり、頭を固定したりする必要がないためユーザへの負担が少ないことから、処理を行うプロセッサ等の高速化に伴い、視線ユーザフェース等に用いる視線検出の方法として、近年よく用いられている。
図1は、本発明に係る視線検出装置の一実施形態である情報端末10を示す図である。
ユーザは、情報端末10のディスプレイ100に表示された情報を見ながら情報端末10の操作を行う。情報端末10は、ユーザが自端末を操作している際に、赤外光による赤外光パターン300をディスプレイ100の表示画面から発光させる。赤外光による発光と、ユーザに提示する情報の表示とを繰返し交互に行う。このとき、ユーザがディスプレイ100に表示された情報を見る際の妨げにならないように、一定の時間間隔で非常に短い時間だけ赤外光による発光を行う。赤外光パターン300は、図1に示すように、ディスプレイ100の水平方向に平行な線分と垂直方向に平行な線分とが十字に交わる形状である。なお、以下の説明において、赤外光パターンを発光させることを、便宜上、「赤外光パターンを表示する」と表現する場合がある。赤外光パターン300の発する光は、ディスプレイ100を見ているユーザの眼に届き、その光の一部は角膜で反射する。
ユーザは、情報端末10のディスプレイ100に表示された情報を見ながら情報端末10の操作を行う。情報端末10は、ユーザが自端末を操作している際に、赤外光による赤外光パターン300をディスプレイ100の表示画面から発光させる。赤外光による発光と、ユーザに提示する情報の表示とを繰返し交互に行う。このとき、ユーザがディスプレイ100に表示された情報を見る際の妨げにならないように、一定の時間間隔で非常に短い時間だけ赤外光による発光を行う。赤外光パターン300は、図1に示すように、ディスプレイ100の水平方向に平行な線分と垂直方向に平行な線分とが十字に交わる形状である。なお、以下の説明において、赤外光パターンを発光させることを、便宜上、「赤外光パターンを表示する」と表現する場合がある。赤外光パターン300の発する光は、ディスプレイ100を見ているユーザの眼に届き、その光の一部は角膜で反射する。
カメラ200は、情報端末10がディスプレイ100に赤外光パターン300を表示した際にユーザの眼を含む領域を撮影する。このようにして撮影された画像には、ユーザの眼の角膜や赤外光パターン300の角膜反射像等が映ることになる。
情報端末10は、撮影された画像から画像解析技術を用いて、画像上の瞳孔及び角膜反射像を抽出する。抽出した瞳孔からは、瞳孔の中心位置を算出し、角膜反射像からは、同じく角膜反射像の基準点の位置を算出する。ここで、基準点とは、角膜の曲率中心の位置を算出するために用いる点であり、本実施の形態の情報端末10では、赤外光パターン300の縦横の線分の交点が基準点である。算出した基準点の位置と、形態学上の眼球の構造(眼球モデル)とを用いて、角膜の曲率中心の位置を算出する。そして、角膜の曲率中心と角膜中心を通り、角膜の曲率中心から角膜中心に向かう方向のベクトルを求める。このベクトルが視線である。情報端末10は、算出した視線から、ディスプレイ100の表示面におけるユーザの注視位置を算出し、注視位置にカーソルを移動させて表示する。
情報端末10は、撮影された画像から画像解析技術を用いて、画像上の瞳孔及び角膜反射像を抽出する。抽出した瞳孔からは、瞳孔の中心位置を算出し、角膜反射像からは、同じく角膜反射像の基準点の位置を算出する。ここで、基準点とは、角膜の曲率中心の位置を算出するために用いる点であり、本実施の形態の情報端末10では、赤外光パターン300の縦横の線分の交点が基準点である。算出した基準点の位置と、形態学上の眼球の構造(眼球モデル)とを用いて、角膜の曲率中心の位置を算出する。そして、角膜の曲率中心と角膜中心を通り、角膜の曲率中心から角膜中心に向かう方向のベクトルを求める。このベクトルが視線である。情報端末10は、算出した視線から、ディスプレイ100の表示面におけるユーザの注視位置を算出し、注視位置にカーソルを移動させて表示する。
ところで、視線が移動すると、角膜に映る角膜反射像の位置が変化する。すなわち、角膜反射像から算出される基準点の角膜における位置も変化する。人間の角膜は、角膜表面における中心から離れるにしたがって曲率半径が大きくなっているために、基準点における角膜の曲率半径と眼球モデルで予め設定している曲率半径との誤差の大きさは、基準点の角膜における位置によってそれぞれ異なり一定でない。誤差が一定であれば、キャリブレーションによって算出した視線から求まる画面上の注視点と実際の注視点とのずれを測定し、そのずれに基づいて、誤差を補正することは比較的容易であるが、誤差が位置によって異なるため、一定の補正値によって補正すること困難である。このため、角膜の曲率中心位置を精度よく算出することができない。
そこで、情報端末10は、角膜に映る角膜反射像から得られる基準点の位置が、カメラ200で撮影した撮影画像において、瞳孔の中心位置に近づくように、赤外光パターン300を表示する画面上の位置を移動させる。従って、情報端末10は、角膜反射像から得られる基準点の位置を、視線の方向によらず、角膜の一定の位置に映るようにすることができるので、視線検出に用いる角膜の曲率中心位置を精度よく算出し得る。
以下、本発明に係る視線検出装置の一実施形態である情報端末10について詳細に説明する。
<1.2 構成>
図2は、情報端末10の主要構成を示すブロック図である。
情報端末10は、制御部101、記憶部102、画像生成部103、発光制御部104、表示制御部105、表示部106、撮影部107、画像処理部108、及び視線検出部109を含んで構成される。
<1.2 構成>
図2は、情報端末10の主要構成を示すブロック図である。
情報端末10は、制御部101、記憶部102、画像生成部103、発光制御部104、表示制御部105、表示部106、撮影部107、画像処理部108、及び視線検出部109を含んで構成される。
なお、情報端末10は、図示されていないプロセッサを含んで構成されており、情報端末10の制御部101、画像生成部103、発光制御部104、表示制御部105、画像処理部108、視線検出部109の各機能ブロックは、ハードウェアとして構成されているか、情報端末10のプロセッサが記憶部102に記憶されているコンピュータプログラムを実行することで各機能ブロックの機能が実現される。
(制御部101)
制御部101は、情報端末10の各機能ブロックを制御する機能を備え、位置ずれ算出部201及び移動量算出部202を含む。
(制御部101)
制御部101は、情報端末10の各機能ブロックを制御する機能を備え、位置ずれ算出部201及び移動量算出部202を含む。
制御部101は、撮影部107で撮影した画像を撮影部107から受け取り、画像処理部108に出力し、画像処理部108から瞳孔の中心位置の抽出結果及び角膜反射像の基準点の位置の抽出結果を受け取る機能を備える。
更に、制御部101は、瞳孔中心の位置と角膜反射像の基準点の位置を視線検出部109に出力し、視線検出部109から視線の検出結果を受け取る機能、視線の検出結果に基づいて、表示部106に対面しているユーザの注視位置を特定する機能、画像生成部103に、表示部106の表示画面上のユーザの注視位置にカーソルを表示させるための指示を行う機能、及び、画像生成部103に対してユーザに提示する情報を示す文字や図形を含む画像を生成するための指示を行う機能とを備える。
更に、制御部101は、瞳孔中心の位置と角膜反射像の基準点の位置を視線検出部109に出力し、視線検出部109から視線の検出結果を受け取る機能、視線の検出結果に基づいて、表示部106に対面しているユーザの注視位置を特定する機能、画像生成部103に、表示部106の表示画面上のユーザの注視位置にカーソルを表示させるための指示を行う機能、及び、画像生成部103に対してユーザに提示する情報を示す文字や図形を含む画像を生成するための指示を行う機能とを備える。
位置ずれ算出部201は、画像処理部108から瞳孔の中心位置の抽出結果及び角膜反射像の基準点の位置の抽出結果に基づいて、瞳孔の中心位置と基準点の位置とのずれ量を算出する機能を備える。
移動量算出部202は、位置ずれ算出部201で算出したずれ量に基づいて赤外光パターンの移動量を算出する機能と、この移動量を発光制御部104に出力する機能を備える。
移動量算出部202は、位置ずれ算出部201で算出したずれ量に基づいて赤外光パターンの移動量を算出する機能と、この移動量を発光制御部104に出力する機能を備える。
なお、制御部101は、上記機能の他、記憶部102に記憶しているアプリケーションプログラムの実行やユーザが自端末に対して行う操作の制御等、情報端末10の有する機能全般を制御する機能を備える。
(記憶部102)
記憶部102は、例えば、メモリやハードディスクで構成され、瞳孔中心及び角膜の曲率半径等の空間的な位置の算出の際に用いる、カメラパラメータ及び眼球の構造に係るパラメータ、並びに情報端末10の各機能を実現するためのプログラム等を記憶する。
(記憶部102)
記憶部102は、例えば、メモリやハードディスクで構成され、瞳孔中心及び角膜の曲率半径等の空間的な位置の算出の際に用いる、カメラパラメータ及び眼球の構造に係るパラメータ、並びに情報端末10の各機能を実現するためのプログラム等を記憶する。
また、記憶部102は、撮影部107で撮影した画像を記録し、制御部101を介して画像処理部108に記録した画像を出力する機能を備える。
(画像生成部103)
画像生成部103は、制御部101の指示に従い、表示部106の表示画面上におけるユーザの注視位置にカーソルを表示させる機能、及び、表示部106に表示するための文字や図形を含む画像を生成し、表示制御部105に出力する機能を備える。
(発光制御部104)
発光制御部104は、制御部101において、撮影部107で撮影された映像における瞳孔中心と角膜反射像の基準点との位置のずれから算出された移動量に基づいて、ユーザの眼に入射させるための赤外光パターンを生成する機能を備える。また、生成した赤外光パターンを表示制御部105に出力する機能を備える。
(表示制御部105)
表示制御部105は、画像生成部103で生成した画像及び発光制御部104で生成した赤外光パターンを、それぞれに予め定められた時間で交互に繰返し表示部106に表示させる機能を備える。また、撮影部107に、赤外光パターンの表示を開始するタイミングの情報を通知する機能を備える。
(表示部106)
表示部106は、画像生成部103が生成したユーザに情報を提供するための画像及び発光制御部104が生成した赤外光パターンを、表示制御部105の指示に従って、それぞれ予め定められた一定時間交互に表示する機能を備える。なお、以下、画像生成部103が生成したユーザに情報を提供するための画像を表示することを、説明の便宜上、「赤外光パターンを表示する」という表現に対して、「通常画面を表示する」と表現する場合がある。
(画像生成部103)
画像生成部103は、制御部101の指示に従い、表示部106の表示画面上におけるユーザの注視位置にカーソルを表示させる機能、及び、表示部106に表示するための文字や図形を含む画像を生成し、表示制御部105に出力する機能を備える。
(発光制御部104)
発光制御部104は、制御部101において、撮影部107で撮影された映像における瞳孔中心と角膜反射像の基準点との位置のずれから算出された移動量に基づいて、ユーザの眼に入射させるための赤外光パターンを生成する機能を備える。また、生成した赤外光パターンを表示制御部105に出力する機能を備える。
(表示制御部105)
表示制御部105は、画像生成部103で生成した画像及び発光制御部104で生成した赤外光パターンを、それぞれに予め定められた時間で交互に繰返し表示部106に表示させる機能を備える。また、撮影部107に、赤外光パターンの表示を開始するタイミングの情報を通知する機能を備える。
(表示部106)
表示部106は、画像生成部103が生成したユーザに情報を提供するための画像及び発光制御部104が生成した赤外光パターンを、表示制御部105の指示に従って、それぞれ予め定められた一定時間交互に表示する機能を備える。なお、以下、画像生成部103が生成したユーザに情報を提供するための画像を表示することを、説明の便宜上、「赤外光パターンを表示する」という表現に対して、「通常画面を表示する」と表現する場合がある。
表示部106は、例えば、液晶パネルとバックライト120とを備えた液晶ディスプレイであり、図1のディスプレイ100が表示部106に対応する。
バックライト120は、白色光を発する白色LED(Light Emitting Diode)と、赤外光を発する赤外LEDを備える。白色LEDは従来の一般的な液晶ディスプレイに用いられるものであり、赤外LEDは、発光のピーク波長が、例えば、850nm(ナノメートル)〜1300nmの赤外LEDである。
バックライト120は、白色光を発する白色LED(Light Emitting Diode)と、赤外光を発する赤外LEDを備える。白色LEDは従来の一般的な液晶ディスプレイに用いられるものであり、赤外LEDは、発光のピーク波長が、例えば、850nm(ナノメートル)〜1300nmの赤外LEDである。
図3は、バックライト120の白色LEDと赤外LEDの配置の一例を示す概念図である。
バックライト120は、液晶パネルの表示面を背面から直接照明するいわゆる直下型方式のバックライトであり、同図に示すように、白色LEDと赤外LEDとが縦横交互に配置された構造である。
バックライト120は、液晶パネルの表示面を背面から直接照明するいわゆる直下型方式のバックライトであり、同図に示すように、白色LEDと赤外LEDとが縦横交互に配置された構造である。
表示制御部105は、画像生成部103が生成した画像を表示する場合には、白色LEDを発光させ、発光制御部104が生成した赤外光パターンを表示する場合には、赤外LEDを発光させる。
(撮影部107)
撮影部107は、カメラ200を含み、カメラ200で撮影した画像を、制御部101を介して画像処理部108に出力する機能を備える。
(撮影部107)
撮影部107は、カメラ200を含み、カメラ200で撮影した画像を、制御部101を介して画像処理部108に出力する機能を備える。
カメラ200は、例えば、赤外線撮影が可能なオートフォーカス機能付のCCD(Charge Coupled Device)カメラである。カメラ200は、図1で示すように、ディスプレイ100の表示面と同じ面に設置され、ユーザがディスプレイ100の表示面を見ながら自端末を操作する場合に、ユーザを撮影できる方向に向いており、ユーザの顔を含む範囲を撮影できる画角を有するカメラである。すなわち、ユーザの眼を含む範囲を撮影することができるように設置されている。そして、表示制御部105から通知される赤外光パターンの表示を開始するタイミングの情報に基づいて、表示部106が赤外光パターンを表示している間のディスプレイ100に対面しているユーザの顔を撮影する。これにより、撮影画像には、ユーザの眼を含む範囲が映ることになる。
(画像処理部108)
画像処理部108は、記憶部102から出力された撮影画像の画像処理を行う機能を備え、瞳孔抽出部203及び角膜反射像抽出部204を含む。具体的には、従来の画像処理技術を用いて、輝度の濃淡値によるセグメント化、輪郭線抽出、直線抽出、円抽出等の画像処理を行う。
(画像処理部108)
画像処理部108は、記憶部102から出力された撮影画像の画像処理を行う機能を備え、瞳孔抽出部203及び角膜反射像抽出部204を含む。具体的には、従来の画像処理技術を用いて、輝度の濃淡値によるセグメント化、輪郭線抽出、直線抽出、円抽出等の画像処理を行う。
瞳孔抽出部203は、画像処理結果に基づいて、瞳孔が映っている部分を抽出し、撮影画像上の座標軸における瞳孔中心の位置を算出し、その算出結果を制御部101に出力する機能を備える。
角膜反射像抽出部204は、画像処理結果に基づいて、角膜反射像が映っている部分を抽出し、撮影画像上の座標軸における角膜反射像の基準点の位置を算出し、その算出結果を制御部101に出力する機能を備える。
(視線検出部109)
視線検出部109は、制御部101から瞳孔中心の位置と、角膜反射像の基準点の位置を受け取り、角膜の曲率中心位置を算出する機能を備える。具体的には、角膜の曲率中心位置は、例えば、非特許文献1に示されている方法等を用いて、眼球モデルと、撮影画像から得られた角膜反射像の基準点に基づいて算出する。また、算出した角膜の曲率中心位置と瞳孔中心の位置とを用いて視線を検出し、検出結果を制御部101に出力する機能を備える。具体的には、角膜の曲率中心位置から瞳孔中心位置へ向かうベクトルを視線ベクトルとして算出し、角膜の曲率中心位置を通り、この視線ベクトルの方向の直線を視線とする。
角膜反射像抽出部204は、画像処理結果に基づいて、角膜反射像が映っている部分を抽出し、撮影画像上の座標軸における角膜反射像の基準点の位置を算出し、その算出結果を制御部101に出力する機能を備える。
(視線検出部109)
視線検出部109は、制御部101から瞳孔中心の位置と、角膜反射像の基準点の位置を受け取り、角膜の曲率中心位置を算出する機能を備える。具体的には、角膜の曲率中心位置は、例えば、非特許文献1に示されている方法等を用いて、眼球モデルと、撮影画像から得られた角膜反射像の基準点に基づいて算出する。また、算出した角膜の曲率中心位置と瞳孔中心の位置とを用いて視線を検出し、検出結果を制御部101に出力する機能を備える。具体的には、角膜の曲率中心位置から瞳孔中心位置へ向かうベクトルを視線ベクトルとして算出し、角膜の曲率中心位置を通り、この視線ベクトルの方向の直線を視線とする。
<1.3 角膜反射像について>
ここで、ディスプレイ100に赤外光パターンを表示した場合において、表示した赤外光パターンと、ディスプレイ100を見ているユーザの眼に映った角膜反射像と、このユーザの眼をカメラ200で撮影した画像における角膜反射像との関係を説明する。
図4は、赤外光パターン、ユーザの眼、及びカメラ撮影画像との関係を示す模式図である。なお、同図中の撮影画像面210は、赤外発光パターンからユーザの眼の方向に照射された光がカメラ200の方向に反射して撮影される場合における光の進む様子を示すために、模式的に表したものである。
ここで、ディスプレイ100に赤外光パターンを表示した場合において、表示した赤外光パターンと、ディスプレイ100を見ているユーザの眼に映った角膜反射像と、このユーザの眼をカメラ200で撮影した画像における角膜反射像との関係を説明する。
図4は、赤外光パターン、ユーザの眼、及びカメラ撮影画像との関係を示す模式図である。なお、同図中の撮影画像面210は、赤外発光パターンからユーザの眼の方向に照射された光がカメラ200の方向に反射して撮影される場合における光の進む様子を示すために、模式的に表したものである。
情報端末10は、ディスプレイ100の表示面110に赤外光パターンPを表示し、表示された赤外光パターンPの光は、表示面110を見ているユーザの眼球2に入射し、入射した光の一部は、角膜21の表面で反射し、カメラ200に入射する。
同図において、瞳孔中心Aは、虹彩22A、22Bのそれぞれ中心側の端I1、I2との中点であり、視線は、角膜の曲率中心Cと瞳孔中心Aとを通り、曲率中心Cから瞳孔中心Aに向かうベクトルで表す。
同図において、瞳孔中心Aは、虹彩22A、22Bのそれぞれ中心側の端I1、I2との中点であり、視線は、角膜の曲率中心Cと瞳孔中心Aとを通り、曲率中心Cから瞳孔中心Aに向かうベクトルで表す。
以下、人間の眼球についての形態学上のモデルについて簡単に説明する。人間の瞳孔面は、平均的には、角膜表面から眼球の内部に向かって約3.6mm(ミリメートル)の位置にあるが角膜における屈折を考慮すると、見かけの瞳孔(入射瞳)の瞳孔面は、角膜表面から眼球の内部に向かって約3mmに位置する。角膜21は、便宜上、曲率半径がR(例えば、R=7.8mm)の真球の形状であるとする。角膜21は、入射した光の一部を反射する凸面鏡の性質を持ち、入射した光の角膜反射像を形成する。角膜21を凸面鏡とした場合の焦点の位置は、角膜21の曲率中心CからR/2の距離の位置であるので、無限遠点にある光源による角膜反射像(虚像)の位置は、焦点の位置、すなわち光軸上の曲率中心CからR/2の距離の位置である。このことより、角膜反射像は、瞳孔面より約1mm内側にできることがわかる。実際には、光源の位置は有限の距離であるので、正確には、焦点の位置より角膜21に近づいた位置にできるが、その距離の差は高々数十μm(マイクロメートル)であるので、本実施の形態においては、角膜反射像の位置は、焦点の位置にあるものとする。すなわち、図4において、赤外光パターンPの角膜反射像は、赤外光パターンPからの光が曲率中心Cを通る光軸上で曲率中心CからR/2の距離の位置Lにできる。カメラ200の光軸を結ぶ線分が角膜21と交わる位置で赤外光パターンPは反射し、カメラ200は、位置Lにできた角膜反射像を撮影することになる。図4では、赤外光パターンPによる角膜反射像は、撮影画像面210の角膜反射像pの位置に映る。また、虹彩22A、22Bはそれぞれ、虹彩22A’、22B’の位置に映り、瞳孔中心Aは、瞳孔中心A’の位置に映る。
図4において、位置ずれ量Δdは、撮影画像面210における瞳孔中心A’と角膜反射像pの基準点との位置ずれの大きさを示す。カメラ200で撮影した撮影画像面210に映る角膜反射像pの位置を瞳孔中心A’の位置にするためには、瞳孔中心Aを通り、カメラ200の光軸を示す直線と、角膜の曲率中心Cを中心とする半径R/2の円との交点の位置にすればよい。このためには、図4の位置L’の位置に角膜反射像の基準点が映るように赤外光パターンを移動すればよい。位置L’に角膜反射像の基準点が映るようにするためには、角膜の曲率中心Cと位置L’を通る直線とディスプレイ100の表示面110とが交わる位置、すなわち図4では、赤外光パターンP’の位置に角膜反射像の基準点の位置を移動すればよい。この場合の移動量はΔDで表され、カメラ200での撮影画像面210における位置ずれ量Δdから算出する。位置ずれ量Δdから移動量ΔDを算出する方法については後述する。
図5は、ディスプレイ100に表示した赤外光パターンと、赤外光パターンを表示したときの、ディスプレイ100を見ているユーザの眼の領域をカメラ200で撮影した撮影画像とを示す概念図である。図5(a)は、赤外光パターンの移動前の場合を示し、図5(b)は、赤外光パターンの移動後の場合を示す。
図5において、ディスプレイ100の水平方向をX軸、垂直方向をY軸とし、ディスプレイ100の表示面の左上隅を原点とする。また、カメラ200で撮影した撮影画像においても水平方向をX軸、垂直方向をY軸とし、撮影画像の左上隅を原点とする。
図5において、ディスプレイ100の水平方向をX軸、垂直方向をY軸とし、ディスプレイ100の表示面の左上隅を原点とする。また、カメラ200で撮影した撮影画像においても水平方向をX軸、垂直方向をY軸とし、撮影画像の左上隅を原点とする。
情報端末10は、図5(a)に示すように、ディスプレイ100の水平方向、垂直方向にそれぞれ1ラインの線分が交差するように形成された赤外光パターン300aを発光させる。なお、本実施の形態1の情報端末10では、この交差点を赤外光パターン300aの基準点と定義する。
ユーザは、赤外光パターン300aが表示されたディスプレイ100を見ているので、カメラ200で撮影した撮影画像400aには、ユーザの眼と赤外光パターン300aの角膜反射像pが映っている。虹彩22の内側の円形の範囲が瞳孔23であり、本実施の形態では、赤外光パターン300aを発光させる光源の光軸と、カメラ200の光軸とはずれているので、瞳孔を通した光の反射はカメラ200で捉えることはできないので、瞳孔は虹彩22等他の部分に比較して暗く映る。
ユーザは、赤外光パターン300aが表示されたディスプレイ100を見ているので、カメラ200で撮影した撮影画像400aには、ユーザの眼と赤外光パターン300aの角膜反射像pが映っている。虹彩22の内側の円形の範囲が瞳孔23であり、本実施の形態では、赤外光パターン300aを発光させる光源の光軸と、カメラ200の光軸とはずれているので、瞳孔を通した光の反射はカメラ200で捉えることはできないので、瞳孔は虹彩22等他の部分に比較して暗く映る。
図5(a)の撮影画像400aでは、角膜反射像pは、眼の瞳孔23の位置よりも右上に映っている。図4における位置ずれ量Δdは、X軸方向の成分Δxと、Y軸方向の成分Δyとで表すことができ、図5(a)に示すように、Δx、Δyは、瞳孔23の中心位置の座標と角膜反射像pの基準点の座標との差である。
情報端末10は、撮影画像400aからこのΔxとΔyとを算出し、Δx、Δyがそれぞれ小さくなる方向、すなわち角膜反射像pの基準点が瞳孔23の中心座標に近づく方向に映るように、ディスプレイ100に表示する赤外光パターン300aを移動させる。具体的には、赤外光パターンの水平方向、垂直方向のそれぞれ1ラインの線分の交点の位置を移動させる。撮影画像400a上で基準点を右方向に左方向に移動するためには、ディスプレイ100上に表示する線分の交点は、右方向に移動させる必要がある。これは、ディスプレイ100を見ている眼で反射した像をカメラ200で撮影しているので左右が反転するからである。
情報端末10は、撮影画像400aからこのΔxとΔyとを算出し、Δx、Δyがそれぞれ小さくなる方向、すなわち角膜反射像pの基準点が瞳孔23の中心座標に近づく方向に映るように、ディスプレイ100に表示する赤外光パターン300aを移動させる。具体的には、赤外光パターンの水平方向、垂直方向のそれぞれ1ラインの線分の交点の位置を移動させる。撮影画像400a上で基準点を右方向に左方向に移動するためには、ディスプレイ100上に表示する線分の交点は、右方向に移動させる必要がある。これは、ディスプレイ100を見ている眼で反射した像をカメラ200で撮影しているので左右が反転するからである。
情報端末10は、撮影画像400aから得られる位置ずれ量Δx、Δyに相当する赤外光パターン300aの移動量ΔXD、ΔYDを算出する。なお、ΔXD、ΔYDは、それぞれ、上記の移動量ΔDのディスプレイ100におけるX軸方向の成分、Y軸方向の成分である。そして、図5(b)に示すように、赤外光パターン300bを形成する垂直方向の線分の表示位置を赤外光パターン300aの表示のときよりもΔXDだけ右方向に移動し、水平方向の線分の表示位置を同じくΔYDだけ下に移動する。移動後の赤外光パターン300bが表示されたディスプレイ100を見ているユーザの眼をカメラ200で撮影することにより、瞳孔中心A’と角膜反射像p’の基準点とが、1フレーム前の撮影画像より近づいた撮影画像400bを得る。
<1.4 動作>
以下、上述の構成を備えた情報端末10における制御処理の動作について説明する。
図6は、情報端末10における制御処理における処理のフローチャートである。
情報端末10の表示制御部105は、ディスプレイ100に通常画面を表示するか、赤外光パターンを表示するかの選択を行う(ステップS10)。
以下、上述の構成を備えた情報端末10における制御処理の動作について説明する。
図6は、情報端末10における制御処理における処理のフローチャートである。
情報端末10の表示制御部105は、ディスプレイ100に通常画面を表示するか、赤外光パターンを表示するかの選択を行う(ステップS10)。
通常画面を表示する場合(ステップS10:YES)、画像生成部103で生成した画像を表示部106に表示する。
一方、赤外光パターンを表示する場合(ステップS10:NO)には、ステップS11からの処理を行う。
ここで、通常画面と赤外光パターンとの表示の切り替え方法について、具体的に図7を参照しながら説明する。
一方、赤外光パターンを表示する場合(ステップS10:NO)には、ステップS11からの処理を行う。
ここで、通常画面と赤外光パターンとの表示の切り替え方法について、具体的に図7を参照しながら説明する。
図7は、ディスプレイ100の通常画面の表示と、赤外光パターン300との表示の切り替えの関係を示す図である。
図7(a)は、通常画面の水平方向の表示ラインを示す。
表示制御部105は、画像生成部103で生成した画像を、ディスプレイ100の液晶パネルの走査線(ライン1〜n)を線順次に選択して1ライン分書き込む。具体的には、同図(c)に示すように、ディスプレイ100の液晶パネルのゲート1がオンのときに、ライン1に書き込む。同様にして、ゲート2がオンのときにライン2にと、ゲートnまで順次オンにして、ラインnまで書き込む(時間T0〜時間T1の間)。そして、液晶パネルに生成した画像が全て書き込まれると(時間T1)白色LEDをオンにして表示する。次に、同図(b)に示す赤外光パターン300の表示を行う。赤外光パターン300は、ディスプレイの画面の水平方向、垂直方向にそれぞれ1ラインの線分が十字に交わる形状である。
図7(a)は、通常画面の水平方向の表示ラインを示す。
表示制御部105は、画像生成部103で生成した画像を、ディスプレイ100の液晶パネルの走査線(ライン1〜n)を線順次に選択して1ライン分書き込む。具体的には、同図(c)に示すように、ディスプレイ100の液晶パネルのゲート1がオンのときに、ライン1に書き込む。同様にして、ゲート2がオンのときにライン2にと、ゲートnまで順次オンにして、ラインnまで書き込む(時間T0〜時間T1の間)。そして、液晶パネルに生成した画像が全て書き込まれると(時間T1)白色LEDをオンにして表示する。次に、同図(b)に示す赤外光パターン300の表示を行う。赤外光パターン300は、ディスプレイの画面の水平方向、垂直方向にそれぞれ1ラインの線分が十字に交わる形状である。
ディスプレイ100の画面の最上部(ライン1)から、水平方向の線分の1つ上のライン(ライン(m−1))までをブロック1、水平方向の線分部分(ラインm)をブロック2、その1つ下のライン(ライン(m+1))から最下部(ラインn)までをブロック3とする。そして、各ブロック単位でパターンを書き込む。すなわち、ブロック1に相当するゲート1〜ゲート(m−1)を同時にオンにしてパターンを書き込む。次にブロック2に相当するゲートmをオンにして水平方向に1ラインの線分を書き込む。そして、ブロック3に相当するゲート(m+1)〜ゲートnを同時にオンにしてブロック1に書き込んだのと同じパターンを書き込む。これらの書き込みは時間T2〜時間T3の間に行う。全てのラインについて書き込みが終わる(時間T3)と赤外LEDをオンにして、赤外光パターン300を表示する。時間T0〜時間T4までを1フレームとして、ディスプレイ100は、60Hz(ヘルツ)のフレームレートで通常画面の表示と赤外光パターン300とを交互に繰り返し表示する。
フレームレートが60Hzの場合、1フレームの表示時間(時間T0〜時間T4)は、16.67ミリ秒である。情報端末10では、例えば、通常画面を表示する時間(時間T0〜時間T2の間)を16ミリ秒、赤外光パターン300を表示する時間(時間T2〜時間T4)を、0.67ミリ秒とする。このように、通常画面の表示に比べて、赤外光パターンを表示する時間を短時間とすることで、ユーザに対して、通常画面のフリッカーを感じさせることなく、また、赤外光パターンを表示しない場合に対する画面輝度の低下も抑えることができる。
赤外光パターン表示の際の処理、すなわち、ステップS11以降の処理の説明に戻る。
赤外光パターンを表示する場合(ステップS10:NO)には、まず、発光制御部104は、赤外光パターン300を生成し(ステップS11)、ディスプレイ100に赤外光パターン300を表示する(ステップS12)。具体的な赤外光パターンの生成と表示の方法については、上述した通りである(図7参照)。
赤外光パターンを表示する場合(ステップS10:NO)には、まず、発光制御部104は、赤外光パターン300を生成し(ステップS11)、ディスプレイ100に赤外光パターン300を表示する(ステップS12)。具体的な赤外光パターンの生成と表示の方法については、上述した通りである(図7参照)。
次に、表示制御部105は、赤外光パターン300の表示を開始するタイミング(時間T3)を撮影部107に通知し、撮影部107は、この表示を開始するタイミングの通知を受け取ると、ディスプレイ100を見ているユーザの眼を含む範囲の撮影を行う(ステップS13)。撮影部107で撮影された撮影画像は、記憶部102に記録され、制御部101を介して、画像処理部108に出力される。
画像処理部108は、撮影画像を受け取り、画像処理部108の瞳孔抽出部203は、撮影画像から、瞳孔部分を抽出する(ステップS14)。具体的には、例えば、まず、撮影画像から顔認識技術を用いてユーザの顔を認識し、ユーザの眼を抽出する。そして、抽出した眼の部分に対して、画像の輝度によるセグメント化を行い、セグメント化した領域から、瞳孔部分の領域を抽出する。瞳孔部分の領域の抽出は、例えば、次のように行う。撮影部107で撮影した眼の画像においては、瞳孔部分は、円形状であり、他の領域に比べ暗く映る。そこで、セグメント化された領域のうち、他のセグメント化された領域より輝度の小さいセグメント化された領域、すなわち暗いセグメント化された領域であり、予め定めた大きさ以上の大きさのセグメント化された領域を抽出することにより瞳孔部分の領域を抽出する。
次に、瞳孔中心を算出する(ステップS15)。具体的には、抽出したセグメント化された領域のそれぞれについて二値化を行い、輪郭線を抽出する。そして、抽出した輪郭線上の点列を用いて、例えば、最小二乗法を用いて円近似を行い、円に最も近い領域を瞳孔の領域と判断する。そして、円近似した結果の中心座標を瞳孔中心の位置座標とする。
更に、画像処理部108の角膜反射像抽出部204は、赤外光パターン300の角膜反射像を抽出する(ステップS16)。赤外光パターン300の角膜反射像は、他の領域に比べて非常に明るく映るので、具体的には、上述したセグメント化された領域において、他の領域より輝度の大きい領域、すなわち明るい領域を抽出する。そして、これらの領域から直線分抽出を行い、水平方向及び垂直方向の線分がほぼ直行する形状を持つ領域を、赤外光パターン300の角膜反射像と判断する。そして、抽出された線分の交点の座標を基準点の位置座標とする(ステップS17)。
更に、画像処理部108の角膜反射像抽出部204は、赤外光パターン300の角膜反射像を抽出する(ステップS16)。赤外光パターン300の角膜反射像は、他の領域に比べて非常に明るく映るので、具体的には、上述したセグメント化された領域において、他の領域より輝度の大きい領域、すなわち明るい領域を抽出する。そして、これらの領域から直線分抽出を行い、水平方向及び垂直方向の線分がほぼ直行する形状を持つ領域を、赤外光パターン300の角膜反射像と判断する。そして、抽出された線分の交点の座標を基準点の位置座標とする(ステップS17)。
画像処理部108は、算出した瞳孔中心の位置座標と、基準点の位置座標とを制御部101に出力する。
制御部101は、画像処理部108から入力された瞳孔中心の位置座標と、基準点の位置座標とを視線検出部109に出力する。
視線検出部109は、瞳孔中心の位置座標と、基準点の位置座標とを受け取ると、まず、基準点の位置座標から、空間上における角膜の曲率中心の位置ベクトルを算出する(ステップS18)。具体的には、角膜反射法を用いた従来技術(例えば、特許許文献2や、非特許文献1に開示されている方法)で算出する。
制御部101は、画像処理部108から入力された瞳孔中心の位置座標と、基準点の位置座標とを視線検出部109に出力する。
視線検出部109は、瞳孔中心の位置座標と、基準点の位置座標とを受け取ると、まず、基準点の位置座標から、空間上における角膜の曲率中心の位置ベクトルを算出する(ステップS18)。具体的には、角膜反射法を用いた従来技術(例えば、特許許文献2や、非特許文献1に開示されている方法)で算出する。
次に、視線検出部109は、瞳孔中心の位置座標を、空間上における瞳孔中心の位置ベクトルに変換し、角膜の曲率中心の位置ベクトルと、瞳孔中心の位置ベクトルとを用いて視線を算出する(ステップS19)。具体的には、瞳孔中心の位置ベクトルをew=(ew_x,ew_y,ew_z)、角膜の曲率中心の位置ベクトルcw=(cw_x,cw_y,cw_z)とすると、視線ベクトルvはv=ew−cwで求められる。
そして、視線検出部109は、ディスプレイ100の画面上の注視点を算出する(ステップS20)。具体的には、瞳孔中心の位置ベクトルcwを通り、視線ベクトルvの方向成分を持つ直線と、ディスプレイ100の平面との空間上の交点を求める。求められた空間上の座標をディスプレイ100の画面上の位置座標に変換し、変換した位置座標を制御部101に出力する。注視点の位置座標を受け取った制御部101は、その位置座標を表示制御部105に出力し、表示制御部105は、カーソルの位置をその位置座標に移動して、表示部106に表示させる。
次に、制御部101の位置ずれ算出部201は、画像処理部108から入力された瞳孔中心の位置座標と、基準点の位置座標との位置ずれを算出する(ステップS21)。具体的には、例えば、図5(a)の場合、基準点302aの位置座標をu(ux,uy)、瞳孔中心A’の位置座標をe(ex,ey)とすると、x軸方向のずれΔxは、Δx=(ux−ex)、y軸方向のずれΔyは、Δy=(uy−ey)で求められる。
そして、制御部101の移動量算出部202は、位置ずれ算出部で算出したΔx、Δyを用いてディスプレイ100に表示する赤外光パターンの基準点の移動量を算出する(ステップS22)。具体的には、予め記憶部102に記憶しているx軸方向、y軸方向それぞれの移動倍率Mx,Myを用いて、移動量を算出する。移動倍率Mx,Myは、ユーザが情報端末10を使用する最初に、キャリブレーションを行い、記憶部102に記憶させたものである。キャリブレーションによって移動倍率Mx,Myを求める手順については後述する。
図5(b)の例では、のディスプレイ100に表示する赤外光パターン300bの基準点301bのx軸方向、y軸方向のそれぞれの移動量ΔXD,ΔYDは、移動倍率Mx,Myを用いて、ΔXD=Mx*Δx,ΔYD=−My*Δyである。なお、*は乗算を表す。
制御部101は、移動量算出部202で算出した移動量ΔXD,ΔYDを発光制御部104に出力する。出力が完了したらステップS10からの処理を繰り返す。発光制御部104は、次の赤外光パターンを表示する際のステップS11において、移動量ΔXD,ΔYDに基づいて基準点の位置を移動した赤外光パターンを生成する。
制御部101は、移動量算出部202で算出した移動量ΔXD,ΔYDを発光制御部104に出力する。出力が完了したらステップS10からの処理を繰り返す。発光制御部104は、次の赤外光パターンを表示する際のステップS11において、移動量ΔXD,ΔYDに基づいて基準点の位置を移動した赤外光パターンを生成する。
<1.5 キャリブレーションについて>
次に、キャリブレーションによって、移動倍率Mx,Myを計測する方法について説明する。
ユーザは、情報端末10を使用する場合に、最初に、情報端末10の動作モードを通常に使用するための通常モードから、キャリブレーションを行うキャリブレーションモードに切り替えてキャリブレーションを行う。情報端末10のディスプレイ100には、キャリブレーションを行うためのアプリケーションを起動するアイコンが予め表示されており、このアイコンをユーザがクリックすることにより、キャリブレーションを行うアプリケーションが起動する。キャリブレーションを行うアプリケーションが起動すると、情報端末10は、通常モードからキャリブレーションモードに切り替わる。
次に、キャリブレーションによって、移動倍率Mx,Myを計測する方法について説明する。
ユーザは、情報端末10を使用する場合に、最初に、情報端末10の動作モードを通常に使用するための通常モードから、キャリブレーションを行うキャリブレーションモードに切り替えてキャリブレーションを行う。情報端末10のディスプレイ100には、キャリブレーションを行うためのアプリケーションを起動するアイコンが予め表示されており、このアイコンをユーザがクリックすることにより、キャリブレーションを行うアプリケーションが起動する。キャリブレーションを行うアプリケーションが起動すると、情報端末10は、通常モードからキャリブレーションモードに切り替わる。
図8は、キャリブレーションの際の画面表示の一例である。
図8(a)は、キャリブレーションの際に、通常画面に表示するマーカーの例である。
情報端末10は、キャリブレーションモードでは、十字形状のマーカーM1とマーカーM2とをディスプレイ100に数秒(例えば1秒)ごとに交互に表示する。具体的には、例えば、図8(a)に示すように、ディスプレイ100の表示面の左上隅の位置K1(M1x,M1y)にマーカーM1の十字の交点が一致するように表示し、同様にマーカーM2は、右下隅の位置K2(M2x,M2y)と一致するように表示する。
図8(a)は、キャリブレーションの際に、通常画面に表示するマーカーの例である。
情報端末10は、キャリブレーションモードでは、十字形状のマーカーM1とマーカーM2とをディスプレイ100に数秒(例えば1秒)ごとに交互に表示する。具体的には、例えば、図8(a)に示すように、ディスプレイ100の表示面の左上隅の位置K1(M1x,M1y)にマーカーM1の十字の交点が一致するように表示し、同様にマーカーM2は、右下隅の位置K2(M2x,M2y)と一致するように表示する。
情報端末10は、マーカーM1を表示している間は、ユーザに対してマーカーM1を注視する旨の指示を表示し、マーカーM2を表示している間は、マーカーM2を注視する旨の指示を表示する。キャリブレーションを行う際には、ユーザは、指示に従い、それぞれのマーカーが表示されている間、注視する作業を行うことになっている。
マーカーM1を表示する場合には、図8(b)に示すように、位置K1(M1x,M1y)に、赤外光パターン300aの基準点がくるように、赤外光パターン300aを発光させる。また、マーカーM2を表示する場合には、図8(c)に示すように位置K2(M2x,M2y)に、赤外光パターン300bの基準点がくるように、赤外光パターン300aを発光させる。なお、マーカーM1,M2の表示と赤外光パターンの表示の切り替えの方法は、上述の図7を用いて説明した視線検出の際の通常画面の表示と赤外光パターンの表示との切り替えの方法と同様である。
マーカーM1を表示する場合には、図8(b)に示すように、位置K1(M1x,M1y)に、赤外光パターン300aの基準点がくるように、赤外光パターン300aを発光させる。また、マーカーM2を表示する場合には、図8(c)に示すように位置K2(M2x,M2y)に、赤外光パターン300bの基準点がくるように、赤外光パターン300aを発光させる。なお、マーカーM1,M2の表示と赤外光パターンの表示の切り替えの方法は、上述の図7を用いて説明した視線検出の際の通常画面の表示と赤外光パターンの表示との切り替えの方法と同様である。
このように表示を行い、撮影部107で、マーカーM1を注視している際のユーザの眼を含む範囲を撮影し、撮影画像から赤外光パターン300aの角膜反射像を抽出し、撮影画像における基準点の座標位置を算出する。同様に、マーカーM2を注視している際のユーザの眼を含む範囲を撮影した撮影画像から赤外光パターン300bの角膜反射像を抽出し、撮影画像における基準点の位置の座標を算出し、それぞれの基準点の座標値の差を算出する。マーカーM1,M2をそれぞれ1秒ずつ表示した場合、ディスプレイ100のフレームレートが60Hzとすると、60フレームの撮影画像が得られる。それぞれのフレームにおいて算出したマーカーM1,M2に対応する基準点の位置座標をそれぞれ平均した位置座標を、代表の基準点として座標値の差の算出に用いる。1フレームの撮影画像でキャリブレーションを行うことも可能であるが、人間の眼は絶えず動いているので、数フレームの撮影画像を用いてキャリブレーションを行う方が望ましい。なお、マーカーを表示した際の最初の数フレームは、ユーザがマーカーを注視することができていない可能性があるので、平均の座標位置の算出には、利用しないようにしてもよい。ディスプレイ100におけるマーカーM1,M2の移動量、すなわち、赤外光パターン300aの基準点と赤外光パターン300bの基準点との移動量は、位置K1(M1x,M1y)と位置K2(M2x,M2y)とから求められる。このディスプレイ100における表示位置の移動量と、撮影画像における基準点の座標位置の差とから、移動倍率を算出する。
(キャリブレーションの処理の流れ)
以下、キャリブレーションの処理の流れについて説明する。
(キャリブレーションの処理の流れ)
以下、キャリブレーションの処理の流れについて説明する。
図9は、キャリブレーションにおける処理のフローチャートである。
まず、上述したユーザ操作に従って、情報端末10が、キャリブレーションを行うアプリケーションを起動し、キャリブレーションモードに切り替わる。情報端末10の画像生成部103は、図8(a)に示すマーカーM1の十字の交点が位置K1(M1x,M1y)に一致する画像を生成し、表示制御部105に出力する。表示制御部105は、受け取った画像を表示部106に表示させる(ステップS30)。
まず、上述したユーザ操作に従って、情報端末10が、キャリブレーションを行うアプリケーションを起動し、キャリブレーションモードに切り替わる。情報端末10の画像生成部103は、図8(a)に示すマーカーM1の十字の交点が位置K1(M1x,M1y)に一致する画像を生成し、表示制御部105に出力する。表示制御部105は、受け取った画像を表示部106に表示させる(ステップS30)。
次に、発光制御部104は、赤外光パターンの基準点が位置K1(M1x,M1y)と一致する赤外光パターン300aを生成し、表示制御部105に出力する(ステップS31)。
表示制御部105は、受け取った赤外光パターン300aを表示部106に表示させる(ステップS32)。
表示制御部105は、受け取った赤外光パターン300aを表示部106に表示させる(ステップS32)。
撮影部107は、図6のステップS13の処理と同様の手順で、ディスプレイ100を見ているユーザの眼を含む範囲の撮影を開始する(ステップS33)。
画像処理部108の角膜反射像抽出部204は、図6のステップS16と同様の処理で、ステップS33で撮影部107が、撮影した撮影画像から赤外光パターン300aの角膜反射像を抽出する(ステップS34)。そして、図6のステップS17と同様の処理で、赤外光パターン300aの角膜反射像の基準点K1’の位置座標(M1x’,M1y’)を算出する(ステップS35)。
画像処理部108の角膜反射像抽出部204は、図6のステップS16と同様の処理で、ステップS33で撮影部107が、撮影した撮影画像から赤外光パターン300aの角膜反射像を抽出する(ステップS34)。そして、図6のステップS17と同様の処理で、赤外光パターン300aの角膜反射像の基準点K1’の位置座標(M1x’,M1y’)を算出する(ステップS35)。
次に、図8(a)に示すように、マーカーM2の十字の交点が位置K2(M2x,M2y)に一致する画像を生成し、表示制御部105に出力し、表示制御部105は、受け取った画像を表示部106に表示させる。(ステップS36)。
ステップS37〜ステップS41の処理は、表示部106に表示される赤外光パターンの基準点の位置がK1ではなく位置K2に変わっただけであり、処理は、それぞれステップS31〜ステップS35の処理と同じ処理である。ステップS37〜ステップS41の処理を行うことによって、基準点の位置K2(M2x,M2y)に対応する、撮影画像における基準点の位置K2’(M2x’,M2y’)を算出する。
ステップS37〜ステップS41の処理は、表示部106に表示される赤外光パターンの基準点の位置がK1ではなく位置K2に変わっただけであり、処理は、それぞれステップS31〜ステップS35の処理と同じ処理である。ステップS37〜ステップS41の処理を行うことによって、基準点の位置K2(M2x,M2y)に対応する、撮影画像における基準点の位置K2’(M2x’,M2y’)を算出する。
次に、制御部101は、位置K1と位置K2とのx軸方向、y軸方向それぞれの移動量Dx、Dyを算出する(ステップS42)。具体的には、図8(a)の例では、Dx=M2x−M1x、Dy=M2y−M1xである。
制御部101は、角膜反射像抽出部204で抽出した、撮影画像における基準点K1’、K2’とのx軸方向、y軸方向それぞれの差Dx’,Dy’を算出する(ステップS43)。具体的には、Dx’=M2x’−M1x’,Dy’=M2y’−M1y’である。
制御部101は、角膜反射像抽出部204で抽出した、撮影画像における基準点K1’、K2’とのx軸方向、y軸方向それぞれの差Dx’,Dy’を算出する(ステップS43)。具体的には、Dx’=M2x’−M1x’,Dy’=M2y’−M1y’である。
次に、制御部101は、ステップS42とステップS43で算出した、Dx,Dy,Dx’,Dy’を用いて、X軸方向の移動倍率MxとY軸方向の移動倍率Myを算出する(ステップS44)。具体的には、Mx=Dx/Dx’,My=Dy/Dy’である。算出した移動倍率Mx,Myは、記憶部102に記録する。
制御部101は、移動倍率Mx,Myを記録すると、キャリブレーションを行うアプリケーションの実行を終了し、自端末の動作モードを通常モードに切り替える。
<2.実施の形態2>
<2.1 概要>
実施の形態1では、白色LEDと赤外LEDとを配置したバックライト120を用いて、赤外LEDを発光させることによって、赤外光パターンを生成する情報端末10について説明した。
制御部101は、移動倍率Mx,Myを記録すると、キャリブレーションを行うアプリケーションの実行を終了し、自端末の動作モードを通常モードに切り替える。
<2.実施の形態2>
<2.1 概要>
実施の形態1では、白色LEDと赤外LEDとを配置したバックライト120を用いて、赤外LEDを発光させることによって、赤外光パターンを生成する情報端末10について説明した。
本実施の形態2では、実施の形態1の情報端末10とは異なり、バックライトには従来のバックライトを用いて、ディスプレイの前面に複数の近赤外レーザー光源を備える情報端末の例を説明する。本実施の形態2の情報端末10bは、異なる位置に設置した2つの近赤外レーザー光源から近赤外レーザーをディスプレイ100に照射し、ディスプレイ100での反射光によって赤外光パターンを生成する。
以下、実施の形態1の情報端末10と共通の構成や動作については、説明を省略し、異なる点を重点的に説明する。
<2.2 構成>
本実施の形態2の情報端末10bは、実施の形態1の情報端末10とは、表示部の構成が異なるだけで、その他の構成は同じ構成であるので、説明の便宜上、共通の構成については、実施の形態1の情報端末10と同じ符号を用いる。
<2.2 構成>
本実施の形態2の情報端末10bは、実施の形態1の情報端末10とは、表示部の構成が異なるだけで、その他の構成は同じ構成であるので、説明の便宜上、共通の構成については、実施の形態1の情報端末10と同じ符号を用いる。
図10(a)は、情報端末10bにおける赤外光パターンの生成を示す概念図であり、同図(b)は、ディスプレイ100bの表示面方向からの模式図である。
同図(a)に示すように、本実施の形態2の表示部は、ディスプレイ100bと近赤外レーザー光源600a,600bを備える。
ディスプレイ100bは、従来一般的に用いられている液晶ディスプレイであり、白色LEDで発光するバックライトを備え、このバックライトは赤外光を発光させる赤外LEDを有していない。
同図(a)に示すように、本実施の形態2の表示部は、ディスプレイ100bと近赤外レーザー光源600a,600bを備える。
ディスプレイ100bは、従来一般的に用いられている液晶ディスプレイであり、白色LEDで発光するバックライトを備え、このバックライトは赤外光を発光させる赤外LEDを有していない。
近赤外レーザー光源600a,600bは、同図(a)で示すように、ディスプレイ100bの外縁の1辺を共有する頂点に配置され、ディスプレイ100bの表示面に向けて縦長の線状の近赤外線のレーザー光を照射する。なお、近赤外線のレーザー光の波長は、実施の形態1の赤外LEDが発する赤外線の波長の範囲と同様の範囲の波長である。
近赤外レーザー光源600a,600bは、サーボモータを有し、発光制御部104の指示を受けて、レーザー光を、表示面の任意の場所に照射できるように自在に回転する機能を備える。ディスプレイ100bの表示面に照射された近赤外のレーザー光は、ディスプレイ100bのバックライトが有する下部反射板で反射され、ディスプレイ100bを見ているユーザの眼に入射する。
近赤外レーザー光源600a,600bは、サーボモータを有し、発光制御部104の指示を受けて、レーザー光を、表示面の任意の場所に照射できるように自在に回転する機能を備える。ディスプレイ100bの表示面に照射された近赤外のレーザー光は、ディスプレイ100bのバックライトが有する下部反射板で反射され、ディスプレイ100bを見ているユーザの眼に入射する。
図10(b)のように、座標軸として、水平方向をx軸、垂直方向をy軸とし、ディスプレイ100bの表示面の左上隅の座標を原点(0,0)、右下隅の座標を(W,H)とする。近赤外レーザー光源600aの発する赤外光610aは、y=x*tanα(0≦α<90°),x=0(α=90°)で表すことができる。ただし、αは、原点(0,0)と頂点(w,0)を通る直線と赤外光610aの直線で挟まれた間の角度を示す。同様に近赤外レーザー光源600bの発する赤外光610bは、y=−x*tanβ+w*tanβ(0≦β<90°),x=w(β=90°)で表すことができる。赤外光610aの直線と赤外光610bの直線の交点の座標値を(xp,yp)とすると、α=tan-1(yp/xp)(xp≠0),α=90°(xp=0)、β=tan-1(yp/(xp−w))(xp≠w),β=90°(xp=w)となる。すなわち、xp,ypが決まれば、(xp、yp)を基準点の座標値とする赤外光パターンを、赤外光610aと赤外光610bとで形成することができる。
なお、情報端末10bの発光制御部104は、近赤外レーザー光源600a,600bの照射の角度を変化させる指示を近赤外レーザー光源600a,600bそれぞれに行うことによって、基準点の位置を移動した赤外光パターンを生成する機能を備える。
また、情報端末10bの表示制御部105は、近赤外レーザー光源600a,600bの点灯及び消灯を行う機能を備える。
また、情報端末10bの表示制御部105は、近赤外レーザー光源600a,600bの点灯及び消灯を行う機能を備える。
<2.3 動作>
以下、上述の構成を備えた情報端末10bにおける制御処理の動作について説明する。 図11は、近赤外レーザー光源600a,600bを用いて赤外光パターンを生成する処理におけるフローチャートである。この処理は、実施の形態1の情報端末10の制御処理の図6のフローチャートにおけるステップS11及びステップS12の処理に相当する処理である。なお、ステップS50〜ステップS52までの処理がステップS11の処理に相当し、ステップS53の処理がステップS12の処理に相当する。他のステップに係る処理については、実施の形態1の情報端末10と同じである。
以下、上述の構成を備えた情報端末10bにおける制御処理の動作について説明する。 図11は、近赤外レーザー光源600a,600bを用いて赤外光パターンを生成する処理におけるフローチャートである。この処理は、実施の形態1の情報端末10の制御処理の図6のフローチャートにおけるステップS11及びステップS12の処理に相当する処理である。なお、ステップS50〜ステップS52までの処理がステップS11の処理に相当し、ステップS53の処理がステップS12の処理に相当する。他のステップに係る処理については、実施の形態1の情報端末10と同じである。
情報端末10bの発光制御部104は、で算出した赤外光パターンの移動量と現在の発光パターンの基準点の位置座標とから、新たな基準点の位置座標(xp、yp)を算出する(ステップS50)。具体的には、赤外光パターンのx軸方向の移動量ΔXD,y軸方向の移動量ΔYD、現在の発光パターンの基準点の位置座標を(xp0,yp0)とすると、xp=xp0+ΔXD,yp=yp0+ΔYDである。
次に、発光制御部104は、基準点の位置座標(xp、yp)に基づいて、近赤外レーザー光源600aの照射角αを算出する(ステップS51)。照射角αの算出は、上記に説明した通りである。同様に、近赤外レーザー光源600bの照射角βを算出する(ステップS52)。
更に、発光制御部104は、近赤外レーザー光源600aの照射角が、算出した照射角αになるように、近赤外レーザー光源600aを回転させる。同様に近赤外レーザー光源600bの照射角が、算出した照射角βになるように、近赤外レーザー光源600bを回転させる。
更に、発光制御部104は、近赤外レーザー光源600aの照射角が、算出した照射角αになるように、近赤外レーザー光源600aを回転させる。同様に近赤外レーザー光源600bの照射角が、算出した照射角βになるように、近赤外レーザー光源600bを回転させる。
近赤外レーザー光源600a,600bの回転が完了すると、表示制御部105は、赤外光パターンの表示を開始するタイミングで、近赤外レーザー光源600a,600bから赤外光を照射させる(ステップS53)。
<2.4 まとめ>
本実施の形態2では、ディスプレイの外部からディスプレイに対して赤外光を照射し、ディスプレイでの反射光を用いて赤外光パターンを形成する情報端末10bの例を説明した。
<2.4 まとめ>
本実施の形態2では、ディスプレイの外部からディスプレイに対して赤外光を照射し、ディスプレイでの反射光を用いて赤外光パターンを形成する情報端末10bの例を説明した。
情報端末10bは、従来のバックライトを用いることができ、従来の情報端末に、近赤外光レーザー光源を付加することにより、比較的容易に本願発明に係る視線検出装置を実現することができる。なお、近赤外光レーザー光源には、光学式のタッチパネルに用いられる赤外線レーザーを利用することができ、タッチパネルの機能と兼用することができる。
<3.変形例>
以上、本発明に係る視線検出装置の一例である情報端末について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの視線検出装置に限られないことは勿論である。
<3.変形例>
以上、本発明に係る視線検出装置の一例である情報端末について説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態で示した通りの視線検出装置に限られないことは勿論である。
(1)実施の形態1、2における移動量算出のための移動倍率を、情報端末の使用前にキャリブレーションにより算出するとしたが、移動倍率の算出をキャリブレーションによって行わなくてもよい。移動倍率は、瞳孔中心と角膜反射像の基準点とのずれが小さくなるように移動量が算出できるものであればよい。例えば、ユーザとユーザが使用する情報端末との距離が一定であるような場合には、予め定められた移動倍率を記憶部に記憶しておき、その移動倍率を用いてもよい。更には、逐次、撮影画像における瞳孔中心と角膜反射像の基準点とのずれと対応させて、赤外パターンの移動量を記録しておき、前のフレームでのずれと移動量との関係から、逐次、移動倍率を算出し、その結果を用いて移動倍率の補正を行ってもよい。
また、撮影画像に映った角膜反射像の大きさと、ディスプレイ100に表示した赤外光パターンの大きさの関係から移動倍率を算出してもよい。
具体的には、例えば、実施の形態1の情報端末10の赤外光パターンの水平方向の線分の長さは、ディスプレイ100の水平方向の表示サイズであるWであり、垂直方向の線分の長さは、同様に垂直方向の表示サイズであるHである。一方、この赤外光パターンの角膜反射像の撮影画像上における水平方向の長さをw’、垂直方向の長さをh’とすると、x軸方向の移動倍率Mxとy軸方向の移動倍率Myはそれぞれ、Mx=W/W’,My=H/H’で求められる。
具体的には、例えば、実施の形態1の情報端末10の赤外光パターンの水平方向の線分の長さは、ディスプレイ100の水平方向の表示サイズであるWであり、垂直方向の線分の長さは、同様に垂直方向の表示サイズであるHである。一方、この赤外光パターンの角膜反射像の撮影画像上における水平方向の長さをw’、垂直方向の長さをh’とすると、x軸方向の移動倍率Mxとy軸方向の移動倍率Myはそれぞれ、Mx=W/W’,My=H/H’で求められる。
このように撮影画像が得られるごとに移動倍率を算出することで、キャリブレーションを不要とすることができる。情報端末10とユーザとの距離が変化して、ユーザの角膜に映る角膜反射像の大きさが変化するような場合であっても適切な移動倍率を用いて、赤外光パターンの移動量を算出することができる。
(2)実施の形態1では、角膜反射像を得るための赤外光パターンとして、ディスプレイの表示面の水平方向、垂直方向の線分が1点で交わる形状の赤外光パターンを用いたがは、赤外光パターンの形状は、これに限らない。角膜反射像の抽出及びその基準点の算出が容易な形状であればどのような形状を用いてもよい。例えば、図12に示すような赤外光パターンを用いてもよい。
(2)実施の形態1では、角膜反射像を得るための赤外光パターンとして、ディスプレイの表示面の水平方向、垂直方向の線分が1点で交わる形状の赤外光パターンを用いたがは、赤外光パターンの形状は、これに限らない。角膜反射像の抽出及びその基準点の算出が容易な形状であればどのような形状を用いてもよい。例えば、図12に示すような赤外光パターンを用いてもよい。
図12(a)の赤外光パターン320は、実施の形態1における赤外光パターンにおいて、ディスプレイ100の表示部分の中心からある一定の矩形領域内の表示を行わないようにした形状である。すなわち、ディスプレイの表示面の外縁近傍の領域にのみ、水平方向、垂直方向の線分を表示する形状である。この場合の赤外光パターン320の基準点320aは、水平方向の線分を延長した直線と、垂直方向の線分を延長した直線との交点とする。このような形状を用いると、ディスプレイ100のバックライトにおいて、赤外LEDを配置する領域を削減できる。
また、図12(a)のような赤外光パターン320を用いる場合には、従来の液晶ディスプレイを囲うように赤外光パターンを発光させる装置を付加するようにしてもよい。このようにすると、ディスプレイ100から赤外光パターンを発光させる部分を分離することができる。
図12(b)の赤外光パターン321は、実施の形態2の赤外光パターンと同様の形状である。表示面の隣り合う2隅の点それぞれを通る2つの線分で赤外光パターンを形成する。この場合の基準点321aは、2線分の交点とする。
図12(b)の赤外光パターン321は、実施の形態2の赤外光パターンと同様の形状である。表示面の隣り合う2隅の点それぞれを通る2つの線分で赤外光パターンを形成する。この場合の基準点321aは、2線分の交点とする。
図12(c)の赤外光パターン322は、所定の大きさを持つ矩形である。矩形の周囲の線分だけ発光するようにしてもよいし、矩形内部を発光させてもよい。この場合の基準点322aは、矩形中心である。
図12(d)の赤外光パターン323は、所定の大きさを持つ円又は楕円である。赤外光パターン322と同様、円周の線分だけ発光するようにしてもよいし、円又は楕円の内部を発光させてもよい。この場合の基準点323aは、円又は楕円の中心である。
図12(d)の赤外光パターン323は、所定の大きさを持つ円又は楕円である。赤外光パターン322と同様、円周の線分だけ発光するようにしてもよいし、円又は楕円の内部を発光させてもよい。この場合の基準点323aは、円又は楕円の中心である。
図12(e)の赤外光パターン324は、所定の長さの2以上の線分が1点で交わる形状である。各線分の長さは、各々異なっていてもよい。この場合の基準点324aは、線分の交点である。
図12(f)の赤外光パターン325は、所定の大きさを持つ円弧又は楕円弧である。円弧又は楕円弧の部分だけを発光させてもよいし、円弧又は楕円弧と中心点を結ぶ線分とで囲まれた範囲を発光させるようにしてもよい。この場合の基準点325aは、円弧又は楕円弧の中心である。
図12(f)の赤外光パターン325は、所定の大きさを持つ円弧又は楕円弧である。円弧又は楕円弧の部分だけを発光させてもよいし、円弧又は楕円弧と中心点を結ぶ線分とで囲まれた範囲を発光させるようにしてもよい。この場合の基準点325aは、円弧又は楕円弧の中心である。
図12(g)の赤外光パターン326は、L字型の図形を同図に示すような方向で、所定の1点について点対称に4つ配置した形状である。この場合の基準点326aは、点対称の中心である。
なお、図12(a)〜(g)は例示であり、これらの形状に限定するものではない。また、これらの形状を組み合わせた形状であってもよい。このように、特徴的な形状を赤外光パターンとして用いることにより、カメラで撮影した撮影画像から角膜反射像の抽出を容易に行い得る。
なお、図12(a)〜(g)は例示であり、これらの形状に限定するものではない。また、これらの形状を組み合わせた形状であってもよい。このように、特徴的な形状を赤外光パターンとして用いることにより、カメラで撮影した撮影画像から角膜反射像の抽出を容易に行い得る。
(3)実施の形態1では、ディスプレイ100に、白色LEDと赤外LEDを交互に配置にしたバックライトを用いたが、バックライトのLEDの配置は、交互に配置することに限られない。通常画面の表示と、赤外光パターンの表示が行えるように、可視光での発光と赤外光での発光がなされれば、光源の配置はどのような配置であってもよい。
例えば、1列ごとに交互に配置してもよいし、エッジライト方式の配置であってもよい。エッジライト方式での配置の場合には、白色LEDを配置したエッジとは異なるエッジに赤外LEDを配置し、又は、同じエッジに並べて配置し、液晶パネルを背面から照明できるように、導光板等を用いて面発光させる構成であってもよい。このような光源を用いることにより、バックライトの構造が簡素化され、実装が容易になる。
例えば、1列ごとに交互に配置してもよいし、エッジライト方式の配置であってもよい。エッジライト方式での配置の場合には、白色LEDを配置したエッジとは異なるエッジに赤外LEDを配置し、又は、同じエッジに並べて配置し、液晶パネルを背面から照明できるように、導光板等を用いて面発光させる構成であってもよい。このような光源を用いることにより、バックライトの構造が簡素化され、実装が容易になる。
また、白色LEDの代わりにRGB3色のLEDを用いてもよいし、RGB用のカラーフィルターと赤外用のフィルターを用いて、それぞれの波長の光を発光させるようにしてもよい。
(4)実施の形態1において、情報端末10の光源としてLEDを用いたが、光源はLEDに限らない。光源であれば、どのような光源であっても構わない。例えば、有機ELの光源を用いてもよい。また、人間が感知できない波長の光源として赤外光の光源を用いたが、紫外光の光源であっても構わない。なお、紫外光の光源を用いる場合には、カメラ200は紫外線撮影が可能なカメラを用いる。
(4)実施の形態1において、情報端末10の光源としてLEDを用いたが、光源はLEDに限らない。光源であれば、どのような光源であっても構わない。例えば、有機ELの光源を用いてもよい。また、人間が感知できない波長の光源として赤外光の光源を用いたが、紫外光の光源であっても構わない。なお、紫外光の光源を用いる場合には、カメラ200は紫外線撮影が可能なカメラを用いる。
また、角膜反射像を得るためにディスプレイ100に表示する表示パターンを、ユーザが知覚できない赤外光で形成する場合で説明したが、角膜反射像を得るための表示パターンは赤外光に限らない。ユーザが、情報端末を操作する際の妨げにならいようにしながら角膜反射像が得られるような表示ができればよい。例えば、紫外光や、可視光を用いてもよい。可視光を用いて、角膜反射像を得るための表示パターンを表示する場合は、ユーザに対してちらつきを感じさせないようにするために、通常画面を表示する場合に比べて非常に短時間表示する。例えば、実施の形態1での赤外光パターンを表示する代わりに、赤外光パターンと同じ形状の表示パターンを可視光により表示させてもよい。可視光を用いることにより、赤外LEDを備えていない従来のバックライトでも同様の処理を行うことができる。
(5)実施の形態において、瞳孔中心を算出するために、撮影画像から画像処理によって、瞳孔に該当する領域を抽出するとしたが、抽出する領域は瞳孔に限らない。瞳孔中心を算出できる領域を抽出できればよい。例えば、虹彩に該当する領域を抽出してもよい。虹彩は、瞳孔中心より大きいので領域の抽出が容易に行い得る。この場合、虹彩の中心は瞳孔の中心と同じと考えてよいので、抽出した虹彩の領域から虹彩の中心を算出し、算出した虹彩の中心を瞳孔中心とする。
また、瞳孔中心の算出に、得られた瞳孔の領域に対して円近似を行い、その円の中心位置を瞳孔中心位置としたが、瞳孔中心の算出方法は、円近似に限らない。瞳孔中心位置が撮影画像において、特定できればどのような算出方法を用いてもよい。例えば、ユーザの視線がカメラの光軸から離れた方向にある場合には、撮影された瞳孔は、円より楕円形に近い形状であるので、楕円近似を行って、その中心位置を瞳孔中心位置としてもよい。また、抽出された瞳孔の領域の撮影画像における画素の重心位置を求め、その重心位置を瞳孔中心位置としてもよい。この場合、円近似等の演算処理が省略できるので処理負荷を軽減できる。
(6)実施の形態1、2では、ディスプレイ100のフレームレートを60Hzとして説明したが、ディスプレイのフレームレートは60Hzに限らない。ユーザが、ディスプレイを見ている際に、通常画面の表示と赤外光パターンの表示を交互に行った際に、ちらつきを感じないフレームレートであればよい。例えば、30Hzや、120Hz、240Hzなどのフレームレートであってもよい。
また、1フレームの間に通常画面の表示と赤外光パターンの表示とを切り替えて表示する場合で説明したが、1フレームの間に切り替えず、数フレーム分、通常画面を表示してその後1フレーム分赤外光パターンを表示するようにしてもよい。この場合、フレームレートが低い場合は、表示の切り替えでちらつきが生じる可能性があるので、例えば240Hz以上のフレームレートの場合にこのような表示の切り替えを行ってもよい。240Hzのフレームレートでディスプレイ100の表示を更新する場合には、3フレーム分通常画面の表示を行い、その後1フレーム分赤外パターンの表示を行う。この場合、通常画面の表示時間が12.5ミリ秒に対して、赤外光パターンの表示時間が、4.17ミリ秒となり、この一連の表示を1組とすると60Hzで画面表示した場合に相当するので、ユーザに対してちらつきを感じさせない表示を行い得る。
(7)実施の形態1、2では、通常画面の表示と赤外光パターンの表示とを交互に行う例を説明したが、通常画面の表示と赤外光パターンの表示とを交互に行わなくてもよい。
ユーザに対して、通常画面の操作の妨げにならないように赤外光パターンを表示できればどのような表示方法であってもよい。例えば、赤外光は、人間が感知できないので、通常画面を表示している間に赤外光パターンを表示してもよい。この場合に、ユーザの眼を撮影して得られた撮影画像には、通常画面と赤外光パターンとが映ることになるので、カメラ200は、赤外光のみを撮影できる機能又は、可視光による画像と赤外光による画像とを分離して撮影できる機能を備えたものを用いてもよい。このような機能を備えたカメラを用いることで、赤外光パターンによる角膜反射像を容易に抽出できる。
ユーザに対して、通常画面の操作の妨げにならないように赤外光パターンを表示できればどのような表示方法であってもよい。例えば、赤外光は、人間が感知できないので、通常画面を表示している間に赤外光パターンを表示してもよい。この場合に、ユーザの眼を撮影して得られた撮影画像には、通常画面と赤外光パターンとが映ることになるので、カメラ200は、赤外光のみを撮影できる機能又は、可視光による画像と赤外光による画像とを分離して撮影できる機能を備えたものを用いてもよい。このような機能を備えたカメラを用いることで、赤外光パターンによる角膜反射像を容易に抽出できる。
(8)実施の形態1のカメラ200は、情報端末10に内蔵されている例で説明したが、カメラは、情報端末に内蔵されている必要はない。ユーザの眼を含む範囲が撮影できればよく、外部に接続したカメラであってもよい。例えば、オートフォーカス機能やズーム機能やパン・チルト機能を備えた、いわゆるWebカメラを情報端末に接続して用いてもよい。Webカメラと情報端末との接続は、例えばUSB(Universal Serial Bus)ケーブルで接続する。カメラを外付けにすることで、撮影範囲の設定を柔軟に行い得る。
(9)実施の形態1では、カメラ200は、ユーザが、通常の使用状態でディスプレイ100を見ている場合に、そのユーザの顔を含む範囲を撮影できる画角を有するカメラであり、ユーザの顔を含む範囲を撮影するとした。しかし、撮影に用いるカメラは、これに限らない。ユーザの眼を撮影できれば、どのようなカメラで撮影してもよい。例えば、顔認識技術を用いて、ユーザの顔を認識し、更に、眼の領域を特定し、その領域を追従し、ズームしてから撮影するようにしてもよい。これにより、眼の領域を、より詳細な解像度で撮影することができるので、瞳孔中心や、角膜反射像の抽出が更に精度よく行い得る。
(10)実施の形態1、2では、パソコンやタブレット端末のような情報端末を例に説明したが、視線検出装置は、このような情報端末に限らない。ユーザに対して情報を提供するディスプレイを備えた装置であれば、どのような態様の装置であってもよい。例えば、デジタル・サイネージ(Digital Signage)のような電子看板であってもよい。なお、電子看板のように不特定多数の人向けに設置された装置の場合には、まず、ユーザの顔の位置を、顔認識技術を用いて特定し、その位置にカメラをズームして、更に眼の範囲位置を画像認識技術で抽出してもよい。このような方法を用いることで、対象者が動いた場合でも、追従しながら対象者の視線を検出し得る。
(11)実施の形態1、2では、カメラ200で撮影した撮影画像を記憶部102に記録し、画像処理部108は、記憶した撮影画像を読み出して画像処理を行うとしたが、カメラ200で撮影した撮影画像は、記憶部102に記録することに限らない。撮影画像を用いて画像処理部108が画像処理を行うことができればよく、カメラ200から撮影画像を直接画像処理部108に出力するようにしてもよい。このようにすることで、記憶部のメモリ容量を削減することができる。
(12)実施の形態1では、赤外光パターンの表示領域は、通常画面の表示領域と同じ大きさである例で説明したが、赤外光パターンの表示領域は、通常画面の表示領域と同じ大きさに限らない。赤外光パターンの表示範囲は、赤外光パターンの角膜反射像における基準点が、瞳孔中心に近づく方向に、赤外光パターンの基準点を移動できる範囲であればよい。例えば、スマートフォンやタブレット端末のように、ディスプレイとディスプレイを見ているユーザとの距離が非常に近い状態で使用されることが予めわかっている情報端末においては、赤外光パターンの表示範囲を小さくしてもよい。なぜなら、このような場合、移動範囲が小さくても角膜反射像の基準点を瞳孔中心に合わせることが可能であるからである。
一方、電子看板のようにディスプレイとユーザとの距離が離れているような状態で使用されるような場合には、ユーザの視線の方向によっては、赤外光パターンを大きく移動させなければ、角膜反射像の基準点を瞳孔中心に合わせることができない可能性がある。このような場合には、通常画面の表示範囲より広い範囲で赤外光パターンの基準点を移動できるように、赤外LEDの設置範囲を広げたバックライトを用いてもよい。
(13)実施の形態1、2において説明した各処理(図6、図9、図11で示す処理)を情報端末のプロセッサに実行させるための制御プログラムを、記録媒体に記録し又は、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を介して、流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等の半導体メモリがある。流通、頒布された制御プログラムは、情報端末のプロセッサで読み取り可能なメモリ等に格納されることにより利用に供され、プロセッサがその制御プログラムを実行することにより実施の形態で示した各機能が実現される。
(14)実施の形態1、2において説明した情報端末10(10b)の制御部、画像生成部、発光制御部、表示制御部、画像処理部、及び視線検出部における各機能は、全部又は一部を1チップ又は複数チップの集積回路を用いて実現してもよいし、その機能をコンピュータのプログラムを用いて実現してもよいし、その他どのような形態で実現してもよい。
(15)上記実施の形態及び変形例をそれぞれ適宜組み合わせるとしてもよい。
(16)以下、更に本発明の一実施形態としての視線検出装置の構成及びその変形例と効果について説明する。
(a)本発明の一実施形態に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
(16)以下、更に本発明の一実施形態としての視線検出装置の構成及びその変形例と効果について説明する。
(a)本発明の一実施形態に係る視線検出装置は、対象者の眼を含む範囲を繰り返し撮影する撮影部と、前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出装置は、対象者であるユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
(b)ここで、前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う、としてもよい。
(b)ここで、前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う、としてもよい。
この構成の視線検出装置は、角膜反射像の抽出がしやすい発光形状で光源を発光させることができるので、精度よく基準点を算出することができる。
従って、算出した基準点を用いて精度よく視線を算出することができる。
(c)ここで、前記発光制御部は、2以上の線分が1点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、前記基準点は、前記線分の交点である、としてもよい。
従って、算出した基準点を用いて精度よく視線を算出することができる。
(c)ここで、前記発光制御部は、2以上の線分が1点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、前記基準点は、前記線分の交点である、としてもよい。
この構成の視線検出装置は、比較的単純な形状である線分で構成される発光形状で光源を発光させることができる。従って、ユーザの角膜に映った角膜反射像を容易に抽出することができ、抽出した角膜反射像からの基準点の算出も容易に行い得る。
(d)ここで、前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる、としてもよい。
(d)ここで、前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる、としてもよい。
この構成の視線検出装置は、発光形状の大きさと、ユーザの角膜に映った発光形状の角膜反射像の大きさとの比に基づいて、光源の基準点の位置を移動する際の移動量を算出することができる。
従って、移動量を決定するためのキャリブレーションを予め行う必要がない。
(e)ここで、更に、対象者に提供する情報を示す画面を表示する表示部を備え、前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う、としてもよい。
従って、移動量を決定するためのキャリブレーションを予め行う必要がない。
(e)ここで、更に、対象者に提供する情報を示す画面を表示する表示部を備え、前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う、としてもよい。
従って、この構成の視線検出装置は、表示部に表示された画面を見ているユーザの視線を検出することができる。
(f)ここで、前記撮影部は、赤外線撮影機能を有し、前記光源は、赤外線を発する光源である、としてもよい。
この構成の視線検出装置は、視線検出に用いる角膜反射像を得るために発する光に、ユーザが知覚できない赤外光を用いる。
(f)ここで、前記撮影部は、赤外線撮影機能を有し、前記光源は、赤外線を発する光源である、としてもよい。
この構成の視線検出装置は、視線検出に用いる角膜反射像を得るために発する光に、ユーザが知覚できない赤外光を用いる。
従って、画面を見ているユーザの妨げになることなく視線検出を行うことができる。
(g)ここで、更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、ユーザに情報を提供するための画面の表示と、視線検出のための発光形状の発光とを交互に行う。
(g)ここで、更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、ユーザに情報を提供するための画面の表示と、視線検出のための発光形状の発光とを交互に行う。
これにより、発光形状の角膜反射像がユーザに情報を提供するための画面の角膜反射像と重なることがないので、ユーザの視線検出に用いるための発光形状の角膜反射像だけを容易に撮影することができる。従って、発光形状の角膜反射像を容易に抽出し得る。
(h)ここで、前記光源は、可視光を発する光源であり、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
(h)ここで、前記光源は、可視光を発する光源であり、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、前記撮影部は、前記光源の発光の際に前記撮影を行う、としてもよい。
この構成の視線検出装置は、可視光で視線検出のための発光形状を発光させた場合でも、この発光形状の角膜反射像だけを容易に撮影することができる。
従って、発光形状の角膜反射像を容易に抽出し得る。
(i)本発明の一実施形態に係る視線検出装置の視線検出方法は、対象者の視線を検出する視線検出装置における視線検出方法であって、前記視線検出装置は、発光位置の可変な光源を有し、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
従って、発光形状の角膜反射像を容易に抽出し得る。
(i)本発明の一実施形態に係る視線検出装置の視線検出方法は、対象者の視線を検出する視線検出装置における視線検出方法であって、前記視線検出装置は、発光位置の可変な光源を有し、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出方法は、ユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
(j)本発明の一実施形態に係る視線検出装置の視線検出プログラムは、対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるためのプログラムであって、前記視線検出装置は、発光位置の可変な光源を有し、前記視線検出処理は、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
(j)本発明の一実施形態に係る視線検出装置の視線検出プログラムは、対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるためのプログラムであって、前記視線検出装置は、発光位置の可変な光源を有し、前記視線検出処理は、前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、前記光源の発光制御を行う発光制御ステップと、前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う。
この構成の視線検出プログラムは、ユーザの視線が動いた場合でも、光源の角膜反射像の基準点がユーザの角膜の一定の位置に映るように、光源の発光位置を移動させることができるので、角膜の曲率中心位置を、従来よりも精度よく算出することができる。従って視線を精度よく検出し得る。
本発明は、角膜反射像を利用した視線検出技術として有用である。
10、10b 情報端末
100、100b ディスプレイ
101 制御部
102 記憶部
103 画像生成部
104 発光制御部
105 表示制御部
106 表示部
107 撮影部
108 画像処理部
109 視線検出部
110 表示面
120 バックライト
200 カメラ
201 算出部
202 移動量算出部
203 瞳孔抽出部
204 角膜反射像抽出部
100、100b ディスプレイ
101 制御部
102 記憶部
103 画像生成部
104 発光制御部
105 表示制御部
106 表示部
107 撮影部
108 画像処理部
109 視線検出部
110 表示面
120 バックライト
200 カメラ
201 算出部
202 移動量算出部
203 瞳孔抽出部
204 角膜反射像抽出部
Claims (10)
- 対象者の眼を含む範囲を繰り返し撮影する撮影部と、
前記撮影部で撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出部と、
発光位置の可変な光源を有し、前記光源の発光制御を行う発光制御部と、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出部と、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して対象者の視線を検出する視線検出部と、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出部とを備え、
前記発光制御部は、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出部は、前記光源の発光位置を移動させた後に前記撮影部で撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出装置。 - 前記発光制御部は、前記角膜反射像の前記基準点と予め定まった関係を有する線又は面で構成される発光形状で前記光源を発光させるように前記発光制御を行う
ことを特徴とする請求項1記載の視線検出装置。 - 前記発光制御部は、2以上の線分が1点で交差する発光形状で、前記光源を発光させるように前記発光制御を行い、
前記基準点は、前記線分の交点である
ことを特徴とする請求項2記載の視線検出装置。 - 前記発光制御部は、前記光源における前記発光形状の大きさと、前記撮影画像における当該発光形状の角膜反射像の大きさとの比に基づいて、前記光源の発光位置の移動量を算出し、当該移動量に基づいて、前記光源の発光位置を移動させる
ことを特徴とする請求項2記載の視線検出装置。 - 更に、対象者に提供する情報を示す画面を表示する表示部を備え、
前記撮影部は、前記表示部に表示された前記画面を見ている対象者の眼を含む範囲の撮影を行う
ことを特徴とする請求項4記載の視線検出装置。 - 前記撮影部は、赤外線撮影機能を有し、
前記光源は、赤外線を発する光源である
ことを特徴とする請求項5記載の視線検出装置。 - 更に、前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、
前記撮影部は、前記光源の発光の際に前記撮影を行う
ことを特徴とする請求項6記載の視線検出装置。 - 前記光源は、可視光を発する光源であり、
前記画面の表示と、前記光源の発光とを交互に行うように制御する制御部とを備え、
前記撮影部は、前記光源の発光の際に前記撮影を行う
ことを特徴とする請求項5記載の視線検出装置。 - 対象者の視線を検出する視線検出装置における視線検出方法であって、
前記視線検出装置は、発光位置の可変な光源を有し、
前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、
前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、
前記光源の発光制御を行う発光制御ステップと、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを備え、
前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出方法。 - 対象者の視線を検出する視線検出装置におけるプロセッサに視線検出処理を行わせるための視線検出プログラムであって、
前記視線検出装置は、発光位置の可変な光源を有し、
前記視線検出処理は、
前記対象者の眼を含む範囲を繰り返し撮影する撮影ステップと、
前記撮影ステップで撮影した撮影画像における瞳孔の中心位置を検出する瞳孔中心検出ステップと、
前記光源の発光制御を行う発光制御ステップと、
前記撮影画像における前記光源の角膜反射像を抽出し、当該角膜反射像の位置の基準となる基準点の位置を検出する角膜反射像検出ステップと、
前記角膜反射像の前記基準点の位置と、前記瞳孔の中心位置とを利用して前記対象者の視線を検出する視線検出ステップと、
前記瞳孔の中心位置と、前記角膜反射像の基準点の位置とのずれを算出する位置ずれ算出ステップとを含み、
前記発光制御ステップは、前記ずれに基づいて、当該ずれが小さくなる方向に前記光源の発光位置を移動させるように前記発光制御を行い、
前記視線検出ステップは、前記光源の発光位置を移動させた後に前記撮影ステップで撮影された撮影画像における光源の角膜反射像の基準点の位置と、瞳孔の中心位置とを利用して前記検出を行う
ことを特徴とする視線検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013069128A JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013069128A JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014188322A true JP2014188322A (ja) | 2014-10-06 |
Family
ID=51835245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013069128A Pending JP2014188322A (ja) | 2013-03-28 | 2013-03-28 | 視線検出装置、視線検出方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014188322A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110469A (ja) * | 2014-12-09 | 2016-06-20 | レノボ・シンガポール・プライベート・リミテッド | 協働動作をする情報処理装置、携帯式電子機器、および位置の特定方法 |
JP2016130693A (ja) * | 2015-01-14 | 2016-07-21 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
JP2016197780A (ja) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
US9654748B2 (en) | 2014-12-25 | 2017-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Projection device, and projection method |
JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
WO2020021674A1 (ja) * | 2018-07-26 | 2020-01-30 | Necディスプレイソリューションズ株式会社 | 表示システムおよび表示システム制御方法 |
JP2020040565A (ja) * | 2018-09-12 | 2020-03-19 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
EP3725211A2 (en) | 2019-03-28 | 2020-10-21 | Aisin Seiki Kabushiki Kaisha | Line-of-sight measurement device |
CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
US11474600B2 (en) | 2018-06-14 | 2022-10-18 | Sony Corporation | Eyeball detection unit and image display apparatus |
WO2024004416A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | 視線検出装置 |
-
2013
- 2013-03-28 JP JP2013069128A patent/JP2014188322A/ja active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110469A (ja) * | 2014-12-09 | 2016-06-20 | レノボ・シンガポール・プライベート・リミテッド | 協働動作をする情報処理装置、携帯式電子機器、および位置の特定方法 |
US10606413B2 (en) | 2014-12-09 | 2020-03-31 | Lenovo (Singapore) Pte. Ltd. | Apparatus, method, and program product for determining the location of a portable electronic device on a display |
US9654748B2 (en) | 2014-12-25 | 2017-05-16 | Panasonic Intellectual Property Management Co., Ltd. | Projection device, and projection method |
JP2016130693A (ja) * | 2015-01-14 | 2016-07-21 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
JP2016197780A (ja) * | 2015-04-02 | 2016-11-24 | 日本電信電話株式会社 | 画像データ処理方法、画像データ処理装置および画像データ処理プログラム |
JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
US11474600B2 (en) | 2018-06-14 | 2022-10-18 | Sony Corporation | Eyeball detection unit and image display apparatus |
WO2020021674A1 (ja) * | 2018-07-26 | 2020-01-30 | Necディスプレイソリューションズ株式会社 | 表示システムおよび表示システム制御方法 |
JP2020040565A (ja) * | 2018-09-12 | 2020-03-19 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
JP7101574B2 (ja) | 2018-09-12 | 2022-07-15 | 三菱電機株式会社 | 乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置 |
CN112955933A (zh) * | 2018-11-05 | 2021-06-11 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
CN112955933B (zh) * | 2018-11-05 | 2024-05-24 | 京瓷株式会社 | 控制器、位置判定装置、位置判定***、显示***、程序以及记录介质 |
EP3725211A2 (en) | 2019-03-28 | 2020-10-21 | Aisin Seiki Kabushiki Kaisha | Line-of-sight measurement device |
US11571125B2 (en) | 2019-03-28 | 2023-02-07 | Aisin Corporation | Line-of-sight measurement device |
WO2024004416A1 (ja) * | 2022-06-27 | 2024-01-04 | ソニーグループ株式会社 | 視線検出装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014188322A (ja) | 視線検出装置、視線検出方法及びプログラム | |
CN108700933B (zh) | 能够进行眼睛追踪的可穿戴设备 | |
US10395111B2 (en) | Gaze-tracking system and method | |
JP5949319B2 (ja) | 視線検出装置及び視線検出方法 | |
US9398848B2 (en) | Eye gaze tracking | |
JP6056323B2 (ja) | 視線検出装置、視線検出用コンピュータプログラム | |
JP2023543557A (ja) | ニアアイディスプレイの光源を駆動する方法 | |
JP2019522781A (ja) | 固定具なしのレンズメータ及びその操作方法 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
US10347050B1 (en) | Augmented reality device to warp images | |
JP3450801B2 (ja) | 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム | |
WO2021164678A1 (zh) | 虹膜自动捕捉方法、装置、计算机可读存储介质及计算机设备 | |
JP6870474B2 (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
US10771774B1 (en) | Display apparatus and method of producing images having spatially-variable angular resolutions | |
JP2017199148A (ja) | 視線検出装置、視線検出方法及び視線検出用コンピュータプログラム | |
JP2017173455A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11527004B2 (en) | Electronic device and operation method thereof | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP4340760B2 (ja) | ハンズフリーポインティングシステム | |
JP2021166322A (ja) | 情報処理装置、プログラムおよび情報処理システム | |
JPH0831126B2 (ja) | 眼鏡装用シミュレーション装置における合成画像作成方法 | |
US20230244307A1 (en) | Visual assistance | |
CN114652267A (zh) | 眼球追踪方法、***、可读存储介质及电子设备 | |
JP2004110513A (ja) | ポインタ移動制御システム |