JPH0918760A - 視線検出装置およびこれに用いる撮像装置 - Google Patents
視線検出装置およびこれに用いる撮像装置Info
- Publication number
- JPH0918760A JPH0918760A JP7166232A JP16623295A JPH0918760A JP H0918760 A JPH0918760 A JP H0918760A JP 7166232 A JP7166232 A JP 7166232A JP 16623295 A JP16623295 A JP 16623295A JP H0918760 A JPH0918760 A JP H0918760A
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- external light
- photographer
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】
【目的】 視線検出をより正確かつ短時間に行うことが
できるようにする。 【構成】 光電変換部1の出力信号から、外光に起因す
る信号成分を除去する外光除去手段2と、光電変換部1
に結像される全体像を複数のブロックに分割し、外光成
分が除去された映像信号を各ブロックごとに平均化して
出力するブロック平均化手段3と、各ブロックの平均化
信号に基づいて角膜反射像および瞳孔エッジが存在する
と予想される領域を特定する領域特定手段4と、上記特
定された領域の映像信号を用いて視線検出を行う注視点
検出手段6とを設け、光電変換部1に結像される全体像
の中から瞳孔が存在すると予想される部分を特定し、そ
の特定した部分の映像信号のみを用いて視線検出を行う
ようにすることにより、にせの角膜反射像や瞳孔エッジ
が検出されてしまう不都合を防止することができるよう
にするとともに、全体領域を処理する場合に比べて処理
するデータ量を少なくすることができるようにする。
できるようにする。 【構成】 光電変換部1の出力信号から、外光に起因す
る信号成分を除去する外光除去手段2と、光電変換部1
に結像される全体像を複数のブロックに分割し、外光成
分が除去された映像信号を各ブロックごとに平均化して
出力するブロック平均化手段3と、各ブロックの平均化
信号に基づいて角膜反射像および瞳孔エッジが存在する
と予想される領域を特定する領域特定手段4と、上記特
定された領域の映像信号を用いて視線検出を行う注視点
検出手段6とを設け、光電変換部1に結像される全体像
の中から瞳孔が存在すると予想される部分を特定し、そ
の特定した部分の映像信号のみを用いて視線検出を行う
ようにすることにより、にせの角膜反射像や瞳孔エッジ
が検出されてしまう不都合を防止することができるよう
にするとともに、全体領域を処理する場合に比べて処理
するデータ量を少なくすることができるようにする。
Description
【0001】
【産業上の利用分野】本発明は、視線検出装置およびこ
れに用いる撮像装置に関するものである。
れに用いる撮像装置に関するものである。
【0002】
【従来の技術】従来、観察者が注視しているファンイン
ダ画面上の位置を検出する手段は、いくつか提案されて
いるが、以下にその一つの原理を説明する。図10
(a)は、視線検出方法の原理を説明するための図であ
り、視線検出手段の一部および眼球の上面図である。ま
た、図10(b)は、同じく視線検出方法の原理を説明
するための図であり、上記視線検出手段の一部および眼
球の側面図である。
ダ画面上の位置を検出する手段は、いくつか提案されて
いるが、以下にその一つの原理を説明する。図10
(a)は、視線検出方法の原理を説明するための図であ
り、視線検出手段の一部および眼球の上面図である。ま
た、図10(b)は、同じく視線検出方法の原理を説明
するための図であり、上記視線検出手段の一部および眼
球の側面図である。
【0003】図10(a)および(b)において、10
6a,106bは発光ダイオード(IRED)等の光源
であり、観察者が感じることのない赤外光を放射する。
図10(a)に示すように、各光源106a,106b
は、結像レンズ111の光軸に対してx軸方向(水平方
向)に略対象に配置されている。また、図10(b)に
示すように、各光源106a,106bは、y軸方向
(垂直方向)には光軸のやや下側に配置されている。
6a,106bは発光ダイオード(IRED)等の光源
であり、観察者が感じることのない赤外光を放射する。
図10(a)に示すように、各光源106a,106b
は、結像レンズ111の光軸に対してx軸方向(水平方
向)に略対象に配置されている。また、図10(b)に
示すように、各光源106a,106bは、y軸方向
(垂直方向)には光軸のやや下側に配置されている。
【0004】各光源106a,106bは、このような
配置の下で、観察者の眼球108を発散して照明してい
る。そして、各光源106a,106bから放射され、
眼球108で反射した照明光の一部は、結像レンズ11
1によって集光されてイメージセンサ112に結像す
る。
配置の下で、観察者の眼球108を発散して照明してい
る。そして、各光源106a,106bから放射され、
眼球108で反射した照明光の一部は、結像レンズ11
1によって集光されてイメージセンサ112に結像す
る。
【0005】図11(a)は、イメージセンサ112に
投影される眼球108の像を概略的に表す図であり、図
11(b)は、イメージセンサ112の出力強度の分布
を表す図である。
投影される眼球108の像を概略的に表す図であり、図
11(b)は、イメージセンサ112の出力強度の分布
を表す図である。
【0006】以下、図10および図11を用いて視線の
検出方法を詳しく説明する。まず、図10(a)に示す
水平面について考える。光源106bより放射された赤
外光は、観察者の眼球108の角膜110を照明する。
このとき、角膜110の表面で反射した赤外光により形
成される角膜反射像(虚像)dは、結像レンズ111に
より集光され、イメージセンサ112上の位置d’に結
像する。
検出方法を詳しく説明する。まず、図10(a)に示す
水平面について考える。光源106bより放射された赤
外光は、観察者の眼球108の角膜110を照明する。
このとき、角膜110の表面で反射した赤外光により形
成される角膜反射像(虚像)dは、結像レンズ111に
より集光され、イメージセンサ112上の位置d’に結
像する。
【0007】同様に、光源106aより放射された赤外
光は、眼球108の角膜110を照明する。このとき、
角膜110の表面で反射した赤外光により形成された角
膜反射像(虚像)eは、結像レンズ111により集光さ
れ、イメージセンサ112上の位置e’に結像する。
光は、眼球108の角膜110を照明する。このとき、
角膜110の表面で反射した赤外光により形成された角
膜反射像(虚像)eは、結像レンズ111により集光さ
れ、イメージセンサ112上の位置e’に結像する。
【0008】また、虹彩104の端部a,bからの光束
は、結像レンズ111を介してイメージセンサ112上
の位置a’,b’に投影され、この位置に上記虹彩10
4の端部a,bの像が結像する。以下、説明のため、虹
彩104の端部a,bのx座標をそれぞれxa ,xb と
し、角膜反射像d,eのx座標をそれぞれxd ,xeと
する。
は、結像レンズ111を介してイメージセンサ112上
の位置a’,b’に投影され、この位置に上記虹彩10
4の端部a,bの像が結像する。以下、説明のため、虹
彩104の端部a,bのx座標をそれぞれxa ,xb と
し、角膜反射像d,eのx座標をそれぞれxd ,xeと
する。
【0009】このようにして、虹彩104の端部a,b
の像や、角膜反射像d,eがイメージセンサ112に結
像すると、イメージセンサ112により、図11(b)
に示すような出力が得られる。なお、図11(b)中に
示されるxa ’,xb ’は、図11(a)で示される虹
彩104の端部a,bの像がイメージセンサ112上に
結像される位置a’,b’のx座標を示している。ま
た、xd ’,xe ’は、上記角膜反射像d,eのイメー
ジセンサ112上における結像位置d’,e’のx座標
を示している。
の像や、角膜反射像d,eがイメージセンサ112に結
像すると、イメージセンサ112により、図11(b)
に示すような出力が得られる。なお、図11(b)中に
示されるxa ’,xb ’は、図11(a)で示される虹
彩104の端部a,bの像がイメージセンサ112上に
結像される位置a’,b’のx座標を示している。ま
た、xd ’,xe ’は、上記角膜反射像d,eのイメー
ジセンサ112上における結像位置d’,e’のx座標
を示している。
【0010】ところで、結像レンズ111の光軸に対す
る眼球108の回転角θx が小さい場合、図11(a)
の×印で示すように、虹彩104の端部a,bのx座標
xa,xb はイメージセンサ112上で多数点求めるこ
とができる。そこで、まず、これら多数のx座標xa ,
xb を用いて、円の最小自乗法により瞳孔中心cのx座
標xc を算出する。
る眼球108の回転角θx が小さい場合、図11(a)
の×印で示すように、虹彩104の端部a,bのx座標
xa,xb はイメージセンサ112上で多数点求めるこ
とができる。そこで、まず、これら多数のx座標xa ,
xb を用いて、円の最小自乗法により瞳孔中心cのx座
標xc を算出する。
【0011】一方、角膜110の曲率中心oのx座標を
xo とすると、眼球108の光軸に対する水平方向の回
転角θx を用いて、 oc×sinθx =xc −xo (式1) と表すことができる。なお、ocは上記曲率中心oと瞳
孔中心cとの間の距離を示している。
xo とすると、眼球108の光軸に対する水平方向の回
転角θx を用いて、 oc×sinθx =xc −xo (式1) と表すことができる。なお、ocは上記曲率中心oと瞳
孔中心cとの間の距離を示している。
【0012】また、角膜反射像dと角膜反射像eとの間
の中点kのx座標xk に対して所定のx軸方向の補正値
δx を考慮して座標xo を求めると、 xk =(xd +xe )/2 xo =(xd +xe )/2+δx (式2) となる。なお、補正値δx は、装置の設置方法や装置と
眼球との距離等から幾何学的に求められる数値である
が、ここではその算出方法の説明は省略する。
の中点kのx座標xk に対して所定のx軸方向の補正値
δx を考慮して座標xo を求めると、 xk =(xd +xe )/2 xo =(xd +xe )/2+δx (式2) となる。なお、補正値δx は、装置の設置方法や装置と
眼球との距離等から幾何学的に求められる数値である
が、ここではその算出方法の説明は省略する。
【0013】次に、(式1)を(式2)へ代入して眼球
108の光軸に対する回転角θx を求めると、 θx =sin-1[[xc −{(xd +xe )/2+δx }]/oc] (式3 ) となる。
108の光軸に対する回転角θx を求めると、 θx =sin-1[[xc −{(xd +xe )/2+δx }]/oc] (式3 ) となる。
【0014】さらに、イメージセンサ112上に投影さ
れた各々の特徴点の座標を求めるために、(式3)の中
の各特徴点のx座標に '(ダッシュ)を付加して書き換
えると、 θx =sin-1[[xc ’−{(xd ’+xe ’)/2+δx ’}]/(oc /β)] (式4) となる。
れた各々の特徴点の座標を求めるために、(式3)の中
の各特徴点のx座標に '(ダッシュ)を付加して書き換
えると、 θx =sin-1[[xc ’−{(xd ’+xe ’)/2+δx ’}]/(oc /β)] (式4) となる。
【0015】ここで、βは結像レンズ111から眼球1
08までの距離szeにより決まる倍率を表す数値であ
り、実際は角膜反射像d,eの間隔|xd ’−xe ’|
の関数として求められる。
08までの距離szeにより決まる倍率を表す数値であ
り、実際は角膜反射像d,eの間隔|xd ’−xe ’|
の関数として求められる。
【0016】次に、図10(b)に示す垂直面について
考える。この場合、2個の光源106a,106bによ
り生じる角膜反射像はともに同じ位置に発生する。ここ
では、この角膜反射像をiの符号を付して示し、そのy
座標をyi とする。また、眼球108の光軸に対する垂
直方向の回転角θy の算出方法は、水平面の場合とほぼ
同一であるが、(式2)のみが異なっている。
考える。この場合、2個の光源106a,106bによ
り生じる角膜反射像はともに同じ位置に発生する。ここ
では、この角膜反射像をiの符号を付して示し、そのy
座標をyi とする。また、眼球108の光軸に対する垂
直方向の回転角θy の算出方法は、水平面の場合とほぼ
同一であるが、(式2)のみが異なっている。
【0017】すなわち、角膜110の曲率中心oのy座
標をyo とすると、 yo =yi +δy (式5) となる。なお、y軸方向の補正値δy は、装置の配置方
法や眼球距離等から幾何学に求められる数値であるが、
ここではその算出方法の説明は省略する。
標をyo とすると、 yo =yi +δy (式5) となる。なお、y軸方向の補正値δy は、装置の配置方
法や眼球距離等から幾何学に求められる数値であるが、
ここではその算出方法の説明は省略する。
【0018】よって、(式1)をy座標に置き換えた式
および(式5)を用いて眼球108の光軸に対する垂直
方向の回転角θy を求めると、 θy =sin-1[{yc ’−(yi ’+δy ’)}/(oc/β)] (式6 ) となる。
および(式5)を用いて眼球108の光軸に対する垂直
方向の回転角θy を求めると、 θy =sin-1[{yc ’−(yi ’+δy ’)}/(oc/β)] (式6 ) となる。
【0019】さらに、ファインダ画面(注視画面)上の
位置座標(xn ,yn )は、注視画面の光学系で決まる
定数mを用いると、水平面上では、 xn =m×sin-1[{xc ’−(xd ’+xe ’)/2+δx ’}/(oc /β)] (式7) となる。また、垂直面上では、 yn =m×sin-1[{yc ’−(yi ’+δy ’)}/(oc/β)] ( 式8) となる。
位置座標(xn ,yn )は、注視画面の光学系で決まる
定数mを用いると、水平面上では、 xn =m×sin-1[{xc ’−(xd ’+xe ’)/2+δx ’}/(oc /β)] (式7) となる。また、垂直面上では、 yn =m×sin-1[{yc ’−(yi ’+δy ’)}/(oc/β)] ( 式8) となる。
【0020】また、図11に示すように、瞳孔エッジの
検出は、イメージセンサ112の位置xb ’における出
力波形の立ち上がり、および位置xa ’における立ち下
がりを利用して行う。以上のようにして角膜反射像およ
び瞳孔エッジを検出することにより視線検出を行う。
検出は、イメージセンサ112の位置xb ’における出
力波形の立ち上がり、および位置xa ’における立ち下
がりを利用して行う。以上のようにして角膜反射像およ
び瞳孔エッジを検出することにより視線検出を行う。
【0021】次に、上記した視線検出手段を応用した機
能の一例について説明する。図12は、視線フォーカス
機能(視線スイッチを利用してフォーカス動作を行わせ
る機能)を持つビデオカメラの一例を示す概略的な構成
図である。
能の一例について説明する。図12は、視線フォーカス
機能(視線スイッチを利用してフォーカス動作を行わせ
る機能)を持つビデオカメラの一例を示す概略的な構成
図である。
【0022】図12に示したビデオカメラは、ズームレ
ンズを備え被写体を撮像するレンズ撮像系121と、こ
のレンズ撮像系121により撮像される被写体をファイ
ンダ画面122を通して観察するためのファインダ12
3と、このファインダ123の前に配置された接眼レン
ズ124と、撮影者の眼125の視線Eを検出する視線
検出手段126と、フォーカスエリアの概略を表すAF
枠、その他テープカウンタや撮影モードなどの撮影者に
必要な各種情報をファインダ画面122へ表示する表示
回路127と、このビデオカメラの各部を制御するシス
テムコントロール手段128とを有して概略構成され
る。
ンズを備え被写体を撮像するレンズ撮像系121と、こ
のレンズ撮像系121により撮像される被写体をファイ
ンダ画面122を通して観察するためのファインダ12
3と、このファインダ123の前に配置された接眼レン
ズ124と、撮影者の眼125の視線Eを検出する視線
検出手段126と、フォーカスエリアの概略を表すAF
枠、その他テープカウンタや撮影モードなどの撮影者に
必要な各種情報をファインダ画面122へ表示する表示
回路127と、このビデオカメラの各部を制御するシス
テムコントロール手段128とを有して概略構成され
る。
【0023】また、上記視線検出手段126は、撮影者
の眼125に赤外光を照射する赤外発光ダイオードなど
の赤外光照射装置130と、可視光を透過し赤外光を反
射するダイクロイックミラー131と、このダイクロイ
ックミラー131にて反射された赤外光を集光する集光
レンズ132と、この集光レンズ132により集光され
た赤外光を電気信号に変換するイメージセンサ133
と、このイメージセンサ133上に投影された撮影者の
眼125の像信号を基に、撮影者のファインダ画面12
2上の注視点を求める注視点検出回路134とを具備し
ている。
の眼125に赤外光を照射する赤外発光ダイオードなど
の赤外光照射装置130と、可視光を透過し赤外光を反
射するダイクロイックミラー131と、このダイクロイ
ックミラー131にて反射された赤外光を集光する集光
レンズ132と、この集光レンズ132により集光され
た赤外光を電気信号に変換するイメージセンサ133
と、このイメージセンサ133上に投影された撮影者の
眼125の像信号を基に、撮影者のファインダ画面12
2上の注視点を求める注視点検出回路134とを具備し
ている。
【0024】上述のように、ダイクロイックミラー13
1は、可視光を透過するため、撮影者は接眼レンズ12
4を通してファインダ画面122を観察できるようにな
っている。また、ダイクロイックミラー131は、赤外
光を反射するため、赤外光照射装置130から照射され
る赤外光による眼125の像を反射するようになってい
る。そして、ダイクロイックミラー131での反射光
は、集光レンズ132で集光されて、イメージセンサ1
33上に像を結ぶようになっている。
1は、可視光を透過するため、撮影者は接眼レンズ12
4を通してファインダ画面122を観察できるようにな
っている。また、ダイクロイックミラー131は、赤外
光を反射するため、赤外光照射装置130から照射され
る赤外光による眼125の像を反射するようになってい
る。そして、ダイクロイックミラー131での反射光
は、集光レンズ132で集光されて、イメージセンサ1
33上に像を結ぶようになっている。
【0025】図13は、注視点検出回路134の一例を
示す概略構成図である。注視点検出回路134は主に、
マイクロコンピュータ(マイコン)141で構成され、
その内部にCPU145とメモリ142とを有してい
る。CPU145は、赤外光の点灯タイミングや発光量
を制御するための赤外光制御信号s4を、D/A変換器
144を介して赤外光照射装置130に送出する。ま
た、イメージセンサ133を制御するためのイメージセ
ンサ制御信号s3をイメージセンサ133に送出する。
示す概略構成図である。注視点検出回路134は主に、
マイクロコンピュータ(マイコン)141で構成され、
その内部にCPU145とメモリ142とを有してい
る。CPU145は、赤外光の点灯タイミングや発光量
を制御するための赤外光制御信号s4を、D/A変換器
144を介して赤外光照射装置130に送出する。ま
た、イメージセンサ133を制御するためのイメージセ
ンサ制御信号s3をイメージセンサ133に送出する。
【0026】そして、上記赤外光制御信号s4に応じて
赤外光照射装置130が赤外光を照射したときにイメー
ジセンサ133により生成された撮影者の眼125の映
像信号s1をA/D変換器143で各ラインごとにA/
D変換し、その変換したデータを内部メモリ142に格
納する。CPU145は、内部メモリ142に格納され
たデータを基に、上述した原理や、特開平1−2415
11号公報、特開平2−32312号公報等によって開
示されたアルゴリズムに従い、撮影者のファインダ画面
122上の注視点を求める。
赤外光照射装置130が赤外光を照射したときにイメー
ジセンサ133により生成された撮影者の眼125の映
像信号s1をA/D変換器143で各ラインごとにA/
D変換し、その変換したデータを内部メモリ142に格
納する。CPU145は、内部メモリ142に格納され
たデータを基に、上述した原理や、特開平1−2415
11号公報、特開平2−32312号公報等によって開
示されたアルゴリズムに従い、撮影者のファインダ画面
122上の注視点を求める。
【0027】図14は、マイクロコンピュータ141内
にあるCPU145の処理手順の概略を示したフローチ
ャートである。図14において、まず最初にステップP
31では、撮影者の眼125の明るさを測光して、イメ
ージセンサ133の電荷蓄積時間や映像信号を増幅する
アンプゲイン等を決定する。そして、ステップP32
で、上記ステップP31にて求められた電荷蓄積時間お
よびアンプゲインに基づきイメージセンサ133の蓄積
動作を行う。
にあるCPU145の処理手順の概略を示したフローチ
ャートである。図14において、まず最初にステップP
31では、撮影者の眼125の明るさを測光して、イメ
ージセンサ133の電荷蓄積時間や映像信号を増幅する
アンプゲイン等を決定する。そして、ステップP32
で、上記ステップP31にて求められた電荷蓄積時間お
よびアンプゲインに基づきイメージセンサ133の蓄積
動作を行う。
【0028】次のステップP33では、イメージセンサ
133から出力される映像信号s1をマイクロコンピュ
ータ141内のA/D変換器143がデジタル値に変換
し、それを内部メモリ142に格納する。ステップP3
4では、内部メモリ142に取り込んだデジタルの映像
信号を基に、角膜反射像を検出する。ステップP35で
は、上記内部メモリ142に取り込んだデジタルの映像
信号を基に、瞳孔エッジを検出する。
133から出力される映像信号s1をマイクロコンピュ
ータ141内のA/D変換器143がデジタル値に変換
し、それを内部メモリ142に格納する。ステップP3
4では、内部メモリ142に取り込んだデジタルの映像
信号を基に、角膜反射像を検出する。ステップP35で
は、上記内部メモリ142に取り込んだデジタルの映像
信号を基に、瞳孔エッジを検出する。
【0029】ステップP36では、イメージセンサ13
3の全画面について処理を行ったかどうか、すなわち、
全ラインについての処理が完了したかどうかを判断す
る。ここで、全ラインの処理が完了していないときは、
ステップP33の処理に戻る。一方、全ラインの処理が
完了したときは、ステップP37に進む。ステップP3
7では、上記ステップP34、P35にて求められた角
膜反射像および瞳孔エッジを基に、上述した原理で注視
点を演算する。
3の全画面について処理を行ったかどうか、すなわち、
全ラインについての処理が完了したかどうかを判断す
る。ここで、全ラインの処理が完了していないときは、
ステップP33の処理に戻る。一方、全ラインの処理が
完了したときは、ステップP37に進む。ステップP3
7では、上記ステップP34、P35にて求められた角
膜反射像および瞳孔エッジを基に、上述した原理で注視
点を演算する。
【0030】ステップP38は、上記ステップP37の
演算結果を受けて分岐する処理を行う判断部であり、注
視点の演算が成功したかどうかを判断する。ここで、演
算が成功したと判断したときはステップP39に進む。
ステップP39では、演算された結果を注視点情報s2
としてシステムコントロール手段128に出力する。シ
ステムコントロール手段128は、この注視点情報s2
を基に、レンズ撮像系121を制御し、撮影者の注視点
にフォーカスが合うように制御する。
演算結果を受けて分岐する処理を行う判断部であり、注
視点の演算が成功したかどうかを判断する。ここで、演
算が成功したと判断したときはステップP39に進む。
ステップP39では、演算された結果を注視点情報s2
としてシステムコントロール手段128に出力する。シ
ステムコントロール手段128は、この注視点情報s2
を基に、レンズ撮像系121を制御し、撮影者の注視点
にフォーカスが合うように制御する。
【0031】一方、上記ステップP38にて演算が成功
しなかったと判断した場合には、このステップP39の
処理は行わない。次のステップP40では、視線検出処
理を継続するかどうかを判断する。ここで、視線検出処
理を継続する場合は、ステップP31に戻り、上述のよ
うな処理を繰り返し行う。また、視線検出処理を継続し
ない場合は、処理を終了する。
しなかったと判断した場合には、このステップP39の
処理は行わない。次のステップP40では、視線検出処
理を継続するかどうかを判断する。ここで、視線検出処
理を継続する場合は、ステップP31に戻り、上述のよ
うな処理を繰り返し行う。また、視線検出処理を継続し
ない場合は、処理を終了する。
【0032】
【発明が解決しようとする課題】しかしながら、上記従
来の構成では、注視点検出回路134(マイクロコンピ
ュータ141)がイメージセンサ133の出力を順次取
り込みながら角膜反射像および瞳孔エッジを検出してい
るため、以下のような問題が生じていた。
来の構成では、注視点検出回路134(マイクロコンピ
ュータ141)がイメージセンサ133の出力を順次取
り込みながら角膜反射像および瞳孔エッジを検出してい
るため、以下のような問題が生じていた。
【0033】すなわち、図9はイメージセンサ133に
結像される像の例を示すものであるが、マイクロコンピ
ュータ141が行う角膜反射像検出処理および瞳孔エッ
ジ検出処理において、本来の角膜反射像Aや瞳孔エッジ
Bの他に、実際にはまつ毛の外部から照射される光(太
陽光中の赤外光成分等)の反射に起因して“にせ角膜反
射像A’”および“にせ瞳孔エッジB’”が検出されて
しまう場合が多い。そのため、本来の瞳孔中心の演算に
支障をきたしてしまうという問題があった。
結像される像の例を示すものであるが、マイクロコンピ
ュータ141が行う角膜反射像検出処理および瞳孔エッ
ジ検出処理において、本来の角膜反射像Aや瞳孔エッジ
Bの他に、実際にはまつ毛の外部から照射される光(太
陽光中の赤外光成分等)の反射に起因して“にせ角膜反
射像A’”および“にせ瞳孔エッジB’”が検出されて
しまう場合が多い。そのため、本来の瞳孔中心の演算に
支障をきたしてしまうという問題があった。
【0034】また、イメージセンサ133全体のデータ
を演算しているため、本来ならば不要なデータ部分であ
る図9の領域Cや領域Dの部分についても、マイクロコ
ンピュータ141がA/D変換、角膜反射像検出、瞳孔
エッジ検出等の処理を行っていた。さらに、図14のフ
ローチャートから明らかなように、1回の注視点検出が
終わるごとに測光処理を行っていたため、全体の演算時
間が非常に長くなってしまうという問題もあった。
を演算しているため、本来ならば不要なデータ部分であ
る図9の領域Cや領域Dの部分についても、マイクロコ
ンピュータ141がA/D変換、角膜反射像検出、瞳孔
エッジ検出等の処理を行っていた。さらに、図14のフ
ローチャートから明らかなように、1回の注視点検出が
終わるごとに測光処理を行っていたため、全体の演算時
間が非常に長くなってしまうという問題もあった。
【0035】本発明はこのような問題を解決するために
成されたものであり、本来の角膜反射像および瞳孔エッ
ジのみを正確に検出し、より正確な視線検出を行うこと
ができるようにするとともに、より短時間で視線検出を
行うことができるようにすることを目的とする。
成されたものであり、本来の角膜反射像および瞳孔エッ
ジのみを正確に検出し、より正確な視線検出を行うこと
ができるようにするとともに、より短時間で視線検出を
行うことができるようにすることを目的とする。
【0036】
【課題を解決するための手段】本発明の視線検出装置
は、撮影者が注視している位置を検出するための視線検
出装置であって、上記撮影者の眼球像を生成する光電変
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段と、上記外光除去手段により取り出された映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。
は、撮影者が注視している位置を検出するための視線検
出装置であって、上記撮影者の眼球像を生成する光電変
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段と、上記外光除去手段により取り出された映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。
【0037】本発明の他の特徴とするところは、撮影者
が注視している位置を検出するための視線検出装置であ
って、上記撮影者の眼球像を生成する光電変換部に結像
される全体像を複数のブロックに分割し、各ブロック内
の映像信号を各々平均化して出力するブロック平均化手
段と、上記ブロック平均化手段より出力される各ブロッ
クの平均化信号に基づいて、角膜反射像および瞳孔エッ
ジが存在すると予想される領域を特定する領域特定手段
と、上記領域特定手段により特定された領域の映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。
が注視している位置を検出するための視線検出装置であ
って、上記撮影者の眼球像を生成する光電変換部に結像
される全体像を複数のブロックに分割し、各ブロック内
の映像信号を各々平均化して出力するブロック平均化手
段と、上記ブロック平均化手段より出力される各ブロッ
クの平均化信号に基づいて、角膜反射像および瞳孔エッ
ジが存在すると予想される領域を特定する領域特定手段
と、上記領域特定手段により特定された領域の映像信号
を用いて上記撮影者の注視点を検出する注視点検出手段
とを具備することを特徴とする。
【0038】本発明のその他の特徴とするところは、撮
影者が注視している位置を検出するための視線検出装置
であって、上記撮影者の眼球像を生成する光電変換部よ
り出力される映像信号から、外部からの赤外光に起因す
る信号成分を除去し、視線検出のために照射している赤
外光に起因する信号成分のみを取り出す外光除去手段
と、上記光電変換部に結像される全体像を複数のブロッ
クに分割し、上記外光除去手段により外光成分が除去さ
れた映像信号を各ブロックごとに平均化して出力するブ
ロック平均化手段と、上記ブロック平均化手段より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る領域特定手段と、上記領域特定手段により特定された
領域の映像信号を用いて上記撮影者の注視点を検出する
注視点検出手段とを具備することを特徴とする。
影者が注視している位置を検出するための視線検出装置
であって、上記撮影者の眼球像を生成する光電変換部よ
り出力される映像信号から、外部からの赤外光に起因す
る信号成分を除去し、視線検出のために照射している赤
外光に起因する信号成分のみを取り出す外光除去手段
と、上記光電変換部に結像される全体像を複数のブロッ
クに分割し、上記外光除去手段により外光成分が除去さ
れた映像信号を各ブロックごとに平均化して出力するブ
ロック平均化手段と、上記ブロック平均化手段より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る領域特定手段と、上記領域特定手段により特定された
領域の映像信号を用いて上記撮影者の注視点を検出する
注視点検出手段とを具備することを特徴とする。
【0039】本発明のその他の特徴とするところは、上
記注視点検出手段は、瞳孔エッジの検出処理を行う前に
瞳孔があると予想される部分の映像信号の輝度値を得
て、その輝度値を基準として上記瞳孔エッジの検出処理
を行うことを特徴とする。
記注視点検出手段は、瞳孔エッジの検出処理を行う前に
瞳孔があると予想される部分の映像信号の輝度値を得
て、その輝度値を基準として上記瞳孔エッジの検出処理
を行うことを特徴とする。
【0040】本発明のその他の特徴とするところは、視
線検出処理を連続して行う場合において、視線検出が一
度成功した後で再び視線検出を行うときに、上記撮影者
の眼球の測光処理、上記外光除去手段による外光除去処
理および上記ブロック平均化手段によるブロック平均化
処理を行わずに、上記領域特定手段による領域特定処理
から行うように制御する制御手段を具備することを特徴
とする。
線検出処理を連続して行う場合において、視線検出が一
度成功した後で再び視線検出を行うときに、上記撮影者
の眼球の測光処理、上記外光除去手段による外光除去処
理および上記ブロック平均化手段によるブロック平均化
処理を行わずに、上記領域特定手段による領域特定処理
から行うように制御する制御手段を具備することを特徴
とする。
【0041】本発明のその他の特徴とするところは、視
線検出処理を連続して行う場合において視線検出が一度
成功した後で次の視線検出を行うときに、上記領域特定
手段は、前回検出された瞳孔付近の領域を優先して特定
するようにすることを特徴とする。
線検出処理を連続して行う場合において視線検出が一度
成功した後で次の視線検出を行うときに、上記領域特定
手段は、前回検出された瞳孔付近の領域を優先して特定
するようにすることを特徴とする。
【0042】本発明のその他の特徴とするところは、上
記制御手段は、視線検出が連続して成功した回数をカウ
ントするカウント手段を具備し、上記カウント手段によ
るカウント値が所定値よりも大きくなった場合に、上記
撮影者の眼球の測光処理、上記外光除去手段による外光
除去処理および上記ブロック平均化手段によるブロック
平均化処理を再び行った後、それにより得られる平均化
信号を用いて上記領域特定手段による領域特定処理を行
うように制御することを特徴とする。
記制御手段は、視線検出が連続して成功した回数をカウ
ントするカウント手段を具備し、上記カウント手段によ
るカウント値が所定値よりも大きくなった場合に、上記
撮影者の眼球の測光処理、上記外光除去手段による外光
除去処理および上記ブロック平均化手段によるブロック
平均化処理を再び行った後、それにより得られる平均化
信号を用いて上記領域特定手段による領域特定処理を行
うように制御することを特徴とする。
【0043】本発明の撮像装置は、撮影者が注視してい
る位置を検出するための視線検出装置に用いられる撮像
装置であって、上記撮影者の眼球像を生成する光電変換
部より出力される映像信号から、外部からの赤外光に起
因する信号成分を除去し、視線検出のために照射してい
る赤外光に起因する信号成分のみを取り出す外光除去手
段と、上記光電変換部に結像される全体像を複数のブロ
ックに分割し、上記外光除去手段により外光成分が除去
された映像信号を各ブロックごとに平均化して出力する
ブロック平均化手段と、上記光電変換部により生成され
る全体像の映像信号のうち、上記ブロック平均化手段よ
り出力される各ブロックの平均化信号から角膜反射像お
よび瞳孔エッジが存在すると予想される特定の領域の映
像信号のみを出力する領域読み出し手段とを具備するこ
とを特徴とする。
る位置を検出するための視線検出装置に用いられる撮像
装置であって、上記撮影者の眼球像を生成する光電変換
部より出力される映像信号から、外部からの赤外光に起
因する信号成分を除去し、視線検出のために照射してい
る赤外光に起因する信号成分のみを取り出す外光除去手
段と、上記光電変換部に結像される全体像を複数のブロ
ックに分割し、上記外光除去手段により外光成分が除去
された映像信号を各ブロックごとに平均化して出力する
ブロック平均化手段と、上記光電変換部により生成され
る全体像の映像信号のうち、上記ブロック平均化手段よ
り出力される各ブロックの平均化信号から角膜反射像お
よび瞳孔エッジが存在すると予想される特定の領域の映
像信号のみを出力する領域読み出し手段とを具備するこ
とを特徴とする。
【0044】
【作用】請求項1に記載の発明によれば、外光成分が除
去された映像信号に基づいて注視点の検出が行われるよ
うになるので、外部からの赤外光に起因して本来は角膜
反射像や瞳孔エッジでない部分が誤って角膜反射像や瞳
孔エッジとして検出されてしまうという外光による悪影
響を少なくすることが可能となる。
去された映像信号に基づいて注視点の検出が行われるよ
うになるので、外部からの赤外光に起因して本来は角膜
反射像や瞳孔エッジでない部分が誤って角膜反射像や瞳
孔エッジとして検出されてしまうという外光による悪影
響を少なくすることが可能となる。
【0045】また、請求項2に記載の発明によれば、光
電変換部に結像される全体像の中から、本来の角膜反射
像および瞳孔エッジが存在すると思われる領域が予想さ
れ、その予想された領域のみが注視点検出処理の対象と
され、それ以外の領域については無視されることとなる
ので、眼球像でない領域内において、本来は角膜反射像
および瞳孔エッジでない部分が誤って角膜反射像および
瞳孔エッジであるとして検出されてしまう不都合が防止
される。また、全体領域を処理する場合に比べて、処理
するデータ量を少なくすることが可能となる。
電変換部に結像される全体像の中から、本来の角膜反射
像および瞳孔エッジが存在すると思われる領域が予想さ
れ、その予想された領域のみが注視点検出処理の対象と
され、それ以外の領域については無視されることとなる
ので、眼球像でない領域内において、本来は角膜反射像
および瞳孔エッジでない部分が誤って角膜反射像および
瞳孔エッジであるとして検出されてしまう不都合が防止
される。また、全体領域を処理する場合に比べて、処理
するデータ量を少なくすることが可能となる。
【0046】また、請求項3に記載の発明によれば、外
光による影響が除去された状態で領域の特定が行われる
こととなるので、本来の角膜反射像および瞳孔エッジが
存在すると思われる領域の予想がより正確に行われるよ
うになり、上述したようなにせの角膜反射像や瞳孔エッ
ジが検出されてしまうという不都合が更に抑制されるよ
うになる。
光による影響が除去された状態で領域の特定が行われる
こととなるので、本来の角膜反射像および瞳孔エッジが
存在すると思われる領域の予想がより正確に行われるよ
うになり、上述したようなにせの角膜反射像や瞳孔エッ
ジが検出されてしまうという不都合が更に抑制されるよ
うになる。
【0047】また、請求項4に記載の発明によれば、瞳
孔エッジの検出処理を行う際に、より正確な基準値をも
って処理することが可能となり、眼球の虹彩部分や涙等
の影響によって眼球上に生じる影のエッジ部分が誤って
瞳孔エッジであるとして検出されてしまう不都合が防止
される。
孔エッジの検出処理を行う際に、より正確な基準値をも
って処理することが可能となり、眼球の虹彩部分や涙等
の影響によって眼球上に生じる影のエッジ部分が誤って
瞳孔エッジであるとして検出されてしまう不都合が防止
される。
【0048】また、請求項5または6に記載の発明によ
れば、視線検出処理を連続して行う場合において、視線
検出が一度成功したときは、その後の視線検出処理にお
いて、成功したときに行っていた一連の視線検出処理の
うちの一部の処理が行われないようになり、処理手順を
少なくすることが可能となる。
れば、視線検出処理を連続して行う場合において、視線
検出が一度成功したときは、その後の視線検出処理にお
いて、成功したときに行っていた一連の視線検出処理の
うちの一部の処理が行われないようになり、処理手順を
少なくすることが可能となる。
【0049】また、請求項7に記載の発明によれば、視
線検出が連続して成功することによって測光処理等がし
ばらく行われていない場合でも、所定回数の連続成功後
には眼球の測光処理等がやり直されるようになり、時間
とともに変化する外光条件に合わせて視線検出が行われ
るようになる。
線検出が連続して成功することによって測光処理等がし
ばらく行われていない場合でも、所定回数の連続成功後
には眼球の測光処理等がやり直されるようになり、時間
とともに変化する外光条件に合わせて視線検出が行われ
るようになる。
【0050】
【実施例】以下、本発明の一実施例を図面を用いて説明
する。なお、視線検出の原理は従来例と同様なので、そ
の説明は省略する。図1は、本実施例による視線検出装
置の要部構成を示すブロック図である。
する。なお、視線検出の原理は従来例と同様なので、そ
の説明は省略する。図1は、本実施例による視線検出装
置の要部構成を示すブロック図である。
【0051】図1において、1は光電変換部であり、測
光手段7による測光によって決定された条件に基づいて
撮影者の眼球像を結像し、その映像信号を生成する。2
は外光除去手段であり、上記光電変換部1より出力され
る映像信号から、外部からの赤外光(例えば、太陽光に
含まれる赤外光成分)に起因する信号成分を除去し、視
線検出のために照射している赤外光に起因する信号成分
のみを取り出す。
光手段7による測光によって決定された条件に基づいて
撮影者の眼球像を結像し、その映像信号を生成する。2
は外光除去手段であり、上記光電変換部1より出力され
る映像信号から、外部からの赤外光(例えば、太陽光に
含まれる赤外光成分)に起因する信号成分を除去し、視
線検出のために照射している赤外光に起因する信号成分
のみを取り出す。
【0052】3はブロック平均化手段であり、上記光電
変換部1に結像される全体像を複数のブロックに分割
し、上記外光除去手段2により外光成分が除去された映
像信号を各ブロックごとに平均化して出力する。4は領
域特定手段であり、上記ブロック平均化手段3より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る。
変換部1に結像される全体像を複数のブロックに分割
し、上記外光除去手段2により外光成分が除去された映
像信号を各ブロックごとに平均化して出力する。4は領
域特定手段であり、上記ブロック平均化手段3より出力
される各ブロックの平均化信号に基づいて、角膜反射像
および瞳孔エッジが存在すると予想される領域を特定す
る。
【0053】5は領域読み出し手段であり、上記光電変
換部1により生成された全領域の映像信号のうち、上記
領域特定手段4により特定された領域の映像信号のみを
出力する。6は注視点検出手段であり、上記領域読み出
し手段5により読み出された特定領域の映像信号を用い
て角膜反射像および瞳孔エッジを検出することにより、
上記撮影者の注視点を検出する。
換部1により生成された全領域の映像信号のうち、上記
領域特定手段4により特定された領域の映像信号のみを
出力する。6は注視点検出手段であり、上記領域読み出
し手段5により読み出された特定領域の映像信号を用い
て角膜反射像および瞳孔エッジを検出することにより、
上記撮影者の注視点を検出する。
【0054】このように、本実施例では、光電変換部1
により生成される全体像の中から、角膜反射像および瞳
孔エッジが存在すると予想される部分を特定し、その特
定した部分の映像信号のみを用いて視線検出を行ってい
る。
により生成される全体像の中から、角膜反射像および瞳
孔エッジが存在すると予想される部分を特定し、その特
定した部分の映像信号のみを用いて視線検出を行ってい
る。
【0055】これにより、全体像の中に含まれる眼球像
以外の領域内において、本来は角膜反射像や瞳孔エッジ
でない部分が誤って角膜反射像や瞳孔エッジであるとし
て検出されてしまうことを防止して、本来の角膜反射像
および瞳孔エッジのみを正確に検出することができる。
また、光電変換部1の像出力のうち不要な部分について
は演算を行っていないので、全体領域を処理する場合に
比べて処理するデータ量を少なくすることができ、処理
時間を短くすることもできる。
以外の領域内において、本来は角膜反射像や瞳孔エッジ
でない部分が誤って角膜反射像や瞳孔エッジであるとし
て検出されてしまうことを防止して、本来の角膜反射像
および瞳孔エッジのみを正確に検出することができる。
また、光電変換部1の像出力のうち不要な部分について
は演算を行っていないので、全体領域を処理する場合に
比べて処理するデータ量を少なくすることができ、処理
時間を短くすることもできる。
【0056】また、角膜反射像および瞳孔エッジが存在
すると予想される部分を特定する際に、本来の照明光以
外の外光による信号成分を除去するようにしているの
で、外光による影響を少なくすることができ、領域の特
定をより正確に行うことができるようになる。したがっ
て、視線検出をより正確に行うことができる。
すると予想される部分を特定する際に、本来の照明光以
外の外光による信号成分を除去するようにしているの
で、外光による影響を少なくすることができ、領域の特
定をより正確に行うことができるようになる。したがっ
て、視線検出をより正確に行うことができる。
【0057】なお、ここでは、外光成分を除去した映像
信号を領域特定のために使用しているが、注視点検出手
段6における注視点検出処理に直接用いるようにしても
良い。この場合には、外光成分が除去された映像信号に
基づいて注視点の検出が行われるようになるので、上述
した例と同様に、外部からの赤外光に起因してにせの角
膜反射像や瞳孔エッジが検出されてしまうという不都合
を抑制することができる。
信号を領域特定のために使用しているが、注視点検出手
段6における注視点検出処理に直接用いるようにしても
良い。この場合には、外光成分が除去された映像信号に
基づいて注視点の検出が行われるようになるので、上述
した例と同様に、外部からの赤外光に起因してにせの角
膜反射像や瞳孔エッジが検出されてしまうという不都合
を抑制することができる。
【0058】また、上記注視点検出手段6は、瞳孔エッ
ジの検出処理を行う前に、上記領域読み出し手段5によ
り読み出された映像信号を用いて瞳孔があると予想され
る部分の輝度値を求め、その輝度値を基準として上記瞳
孔エッジの検出処理を行うように構成しても良い。この
ようにすれば、眼球の虹彩部分や涙等の影響によって眼
球上に影等が生じる場合に、基準値が不当に設定される
ことによってその影のエッジ部分が誤って瞳孔エッジで
あるとして検出されてしまう不都合を防止することがで
きる。
ジの検出処理を行う前に、上記領域読み出し手段5によ
り読み出された映像信号を用いて瞳孔があると予想され
る部分の輝度値を求め、その輝度値を基準として上記瞳
孔エッジの検出処理を行うように構成しても良い。この
ようにすれば、眼球の虹彩部分や涙等の影響によって眼
球上に影等が生じる場合に、基準値が不当に設定される
ことによってその影のエッジ部分が誤って瞳孔エッジで
あるとして検出されてしまう不都合を防止することがで
きる。
【0059】8は制御手段であり、装置全体の制御を行
う。例えば、視線検出処理を連続して行う場合であって
視線検出が一度成功した場合には、その後で視線検出を
行うときは、上記測光手段7による撮影者の眼球の測光
処理、上記外光除去手段2による外光除去処理および上
記ブロック平均化手段3によるブロック平均化処理を行
わずに、上記領域特定手段4による領域特定処理から行
うように制御する。
う。例えば、視線検出処理を連続して行う場合であって
視線検出が一度成功した場合には、その後で視線検出を
行うときは、上記測光手段7による撮影者の眼球の測光
処理、上記外光除去手段2による外光除去処理および上
記ブロック平均化手段3によるブロック平均化処理を行
わずに、上記領域特定手段4による領域特定処理から行
うように制御する。
【0060】このように、本実施例では、視線検出処理
を連続して行う場合において、視線検出が一度成功した
ときは、その後の視線検出処理において、一連の視線検
出処理のうちの一部の処理を行わないようにしているの
で、処理手順を少なくすることができ、全体としての処
理時間を短くすることができる。
を連続して行う場合において、視線検出が一度成功した
ときは、その後の視線検出処理において、一連の視線検
出処理のうちの一部の処理を行わないようにしているの
で、処理手順を少なくすることができ、全体としての処
理時間を短くすることができる。
【0061】また、制御手段8は、視線検出が連続して
成功した回数をカウントするカウント手段9を具備して
いる。そして、上記カウント手段9によるカウント値が
所定値よりも大きくなった場合に、上記測光手段7によ
る撮影者の眼球の測光処理、上記外光除去手段2による
外光除去処理および上記ブロック平均化手段3によるブ
ロック平均化処理から再びやり直すように制御する。
成功した回数をカウントするカウント手段9を具備して
いる。そして、上記カウント手段9によるカウント値が
所定値よりも大きくなった場合に、上記測光手段7によ
る撮影者の眼球の測光処理、上記外光除去手段2による
外光除去処理および上記ブロック平均化手段3によるブ
ロック平均化処理から再びやり直すように制御する。
【0062】これにより、視線検出が連続して成功する
ことによって、測光処理等がしばらく行われていない場
合でも、所定回数の連続成功後には眼球の測光処理等が
やり直されるようになり、時間とともに変化する外光条
件に合わせて視線検出を行うことができるようになる。
ことによって、測光処理等がしばらく行われていない場
合でも、所定回数の連続成功後には眼球の測光処理等が
やり直されるようになり、時間とともに変化する外光条
件に合わせて視線検出を行うことができるようになる。
【0063】図2(a)は、本実施例による外光除去機
能を有するイメージセンサ(撮像装置)200の構造を
示す概略構成図である。ここに示したイメージセンサ2
00は、図1に示した光電変換部1、外光除去手段2、
ブロック平均化手段3、領域特定手段4および領域読み
出し手段5に相当する手段を具備している。
能を有するイメージセンサ(撮像装置)200の構造を
示す概略構成図である。ここに示したイメージセンサ2
00は、図1に示した光電変換部1、外光除去手段2、
ブロック平均化手段3、領域特定手段4および領域読み
出し手段5に相当する手段を具備している。
【0064】なお、このイメージセンサ200を利用し
た視線検出手段付きのビデオカメラは、図12と同様に
構成される。すなわち、本実施例のビデオカメラは、図
12において、イメージセンサ133の代わりに図2
(a)のようなイメージセンサ200を用いたものであ
る。以下では、必要に応じて図12に示した各構成を引
用して説明する。
た視線検出手段付きのビデオカメラは、図12と同様に
構成される。すなわち、本実施例のビデオカメラは、図
12において、イメージセンサ133の代わりに図2
(a)のようなイメージセンサ200を用いたものであ
る。以下では、必要に応じて図12に示した各構成を引
用して説明する。
【0065】図2(a)において、201はイメージセ
ンサ制御回路であり、外部からのイメージセンサ制御信
号を受け、イメージセンサ200内の各ブロックを制御
する。202はイメージセンサ部(光電変換部)であ
り、光電変換により撮影者の眼の映像信号を生成する。
ンサ制御回路であり、外部からのイメージセンサ制御信
号を受け、イメージセンサ200内の各ブロックを制御
する。202はイメージセンサ部(光電変換部)であ
り、光電変換により撮影者の眼の映像信号を生成する。
【0066】203はイメージセンサ部202から出力
される映像信号を一時的に蓄える第1のメモリ、204
は外光除去手段としての減算回路、205は減算回路2
04から出力される映像信号を一時的に蓄える第2のメ
モリである。また、206はブロック平均化回路であ
り、上記第2のメモリ205からの出力信号を複数のブ
ロックに分割し、分割した各々のブロックで信号の平均
化を行う。
される映像信号を一時的に蓄える第1のメモリ、204
は外光除去手段としての減算回路、205は減算回路2
04から出力される映像信号を一時的に蓄える第2のメ
モリである。また、206はブロック平均化回路であ
り、上記第2のメモリ205からの出力信号を複数のブ
ロックに分割し、分割した各々のブロックで信号の平均
化を行う。
【0067】207は読み出し領域制限回路であり、イ
メージセンサ制御回路201から与えられる読み出し領
域制御信号により、上記ブロック平均化回路206から
出力される各ブロックの平均化信号に基づいて指定され
た領域の映像信号のみを出力するようにする。
メージセンサ制御回路201から与えられる読み出し領
域制御信号により、上記ブロック平均化回路206から
出力される各ブロックの平均化信号に基づいて指定され
た領域の映像信号のみを出力するようにする。
【0068】次に、上記のように構成したイメージセン
サ200の外光除去蓄積動作(映像信号から太陽光など
に起因する外光成分を除去し、視線検出のために照射し
ている赤外光に起因する信号成分のみを生成する動作)
を、図2(b)を参照しながら説明する。
サ200の外光除去蓄積動作(映像信号から太陽光など
に起因する外光成分を除去し、視線検出のために照射し
ている赤外光に起因する信号成分のみを生成する動作)
を、図2(b)を参照しながら説明する。
【0069】まず、イメージセンサ部202において最
初の電荷蓄積動作を行う。その際、撮影者の眼球を照明
する赤外光照射装置130は消灯したままで電荷の蓄積
を行う。この蓄積動作により生じる映像信号は、赤外光
照明による信号成分を含まない信号であり、外光のみに
よる信号成分(SigG1) となる。この外光成分の信号(Sig
G1) は、第1のメモリ203に格納される(図2(b)
の蓄積1)。
初の電荷蓄積動作を行う。その際、撮影者の眼球を照明
する赤外光照射装置130は消灯したままで電荷の蓄積
を行う。この蓄積動作により生じる映像信号は、赤外光
照明による信号成分を含まない信号であり、外光のみに
よる信号成分(SigG1) となる。この外光成分の信号(Sig
G1) は、第1のメモリ203に格納される(図2(b)
の蓄積1)。
【0070】次に、赤外光照射装置130を点灯させて
イメージセンサ部202の2回目の蓄積動作を行う。こ
のときに生じる映像信号は、赤外光照明による信号成分
と外光による信号成分との両方を含んだ信号(Sig1 +Si
gG2)となる(図2(b)の蓄積2)。そして、この赤外
光+外光成分の信号(Sig1 +SigG2)がイメージセンサ部
202から減算回路204に出力されると同時に、最初
の蓄積動作で得た外光成分の信号(SigG1) が第1のメモ
リ203から減算回路204に出力される。
イメージセンサ部202の2回目の蓄積動作を行う。こ
のときに生じる映像信号は、赤外光照明による信号成分
と外光による信号成分との両方を含んだ信号(Sig1 +Si
gG2)となる(図2(b)の蓄積2)。そして、この赤外
光+外光成分の信号(Sig1 +SigG2)がイメージセンサ部
202から減算回路204に出力されると同時に、最初
の蓄積動作で得た外光成分の信号(SigG1) が第1のメモ
リ203から減算回路204に出力される。
【0071】このとき、最初の蓄積動作により生じた外
光成分の信号(SigG1) と2回目の蓄積動作により生じた
外光成分の信号(SigG2) は、ほぼ等しいとみなしてよ
い。したがって、減算回路204からの出力信号は、 (Sig1 +SigG2)−(SigG1) ≒(Sig1) となり、外光成分が除かれた赤外光照明による信号成分
(Sig1)のみとなる。この減算回路204からの出力信号
(Sig1)は、第2のメモリ205に格納される。
光成分の信号(SigG1) と2回目の蓄積動作により生じた
外光成分の信号(SigG2) は、ほぼ等しいとみなしてよ
い。したがって、減算回路204からの出力信号は、 (Sig1 +SigG2)−(SigG1) ≒(Sig1) となり、外光成分が除かれた赤外光照明による信号成分
(Sig1)のみとなる。この減算回路204からの出力信号
(Sig1)は、第2のメモリ205に格納される。
【0072】次に、ブロック平均化回路206が行うブ
ロック読み出し動作について説明する。例えば、イメー
ジセンサ部202の光電変換素子の数(以下、画素数と
する)が、図3(a)のように水平方向に100画素、
垂直方向に60画素である場合には、第2のメモリ20
5には、100×60=6000個の画素信号が記憶さ
れている。
ロック読み出し動作について説明する。例えば、イメー
ジセンサ部202の光電変換素子の数(以下、画素数と
する)が、図3(a)のように水平方向に100画素、
垂直方向に60画素である場合には、第2のメモリ20
5には、100×60=6000個の画素信号が記憶さ
れている。
【0073】ブロック平均化回路206は、これらの画
素信号を水平方向、垂直方向ともに10画素ごとのブロ
ックに分割し、各々のブロック内で各画素信号の平均を
とるようにする回路である。このブロック平均化回路2
06から出力されるデータは、図3(b)のように10
×6=60個となる。これにより、画面全体の大まかな
状態を少ない数のデータを処理するだけで把握できるよ
うになる。
素信号を水平方向、垂直方向ともに10画素ごとのブロ
ックに分割し、各々のブロック内で各画素信号の平均を
とるようにする回路である。このブロック平均化回路2
06から出力されるデータは、図3(b)のように10
×6=60個となる。これにより、画面全体の大まかな
状態を少ない数のデータを処理するだけで把握できるよ
うになる。
【0074】上記ブロック平均化回路206によりブロ
ック平均化された信号は、読み出し領域制限回路207
に与えられる。読み出し領域制限回路207は、ブロッ
ク平均化回路206から与えられるブロック平均化信号
に基づいて、瞳孔エッジや角膜反射像が存在すると予想
される部分を特定し、その特定したブロックの映像信号
のみを次段に出力するようにする。
ック平均化された信号は、読み出し領域制限回路207
に与えられる。読み出し領域制限回路207は、ブロッ
ク平均化回路206から与えられるブロック平均化信号
に基づいて、瞳孔エッジや角膜反射像が存在すると予想
される部分を特定し、その特定したブロックの映像信号
のみを次段に出力するようにする。
【0075】図4は、図2(a)のような構成を持つイ
メージセンサ200を用いて視線検出を行う場合の処理
の流れを示すフローチャートである。なお、図4におい
て、図14に示した従来例と同じ名称を記した処理は、
同じ動作を行う。
メージセンサ200を用いて視線検出を行う場合の処理
の流れを示すフローチャートである。なお、図4におい
て、図14に示した従来例と同じ名称を記した処理は、
同じ動作を行う。
【0076】まず、図4のステップP1では、撮影者の
眼の明るさを測光して、イメージセンサ部202の電荷
蓄積時間や映像信号を増幅するアンプゲイン等を決定す
る。そして、ステップP2で、上記ステップP1にて求
められた電荷蓄積時間およびアンプゲインに基づき、イ
メージセンサ部202について上述した外光除去蓄積動
作を行う。
眼の明るさを測光して、イメージセンサ部202の電荷
蓄積時間や映像信号を増幅するアンプゲイン等を決定す
る。そして、ステップP2で、上記ステップP1にて求
められた電荷蓄積時間およびアンプゲインに基づき、イ
メージセンサ部202について上述した外光除去蓄積動
作を行う。
【0077】次のステップP3では、上述したブロック
読み出し処理、すなわち、減算回路204で外光成分が
除去されたイメージセンサ部202からの映像信号をブ
ロック平均化回路206を通して読み出し領域制限回路
207に出力する処理を行う。図3(a)のような眼球
像がイメージセンサ部202上に結像された場合、その
映像信号をブロック平均化回路206を通すことで図3
(b)のような画像を得る。これにより、読み出し領域
制限回路207内に大まかな眼球像の情報を短時間で取
り込めるようになる。
読み出し処理、すなわち、減算回路204で外光成分が
除去されたイメージセンサ部202からの映像信号をブ
ロック平均化回路206を通して読み出し領域制限回路
207に出力する処理を行う。図3(a)のような眼球
像がイメージセンサ部202上に結像された場合、その
映像信号をブロック平均化回路206を通すことで図3
(b)のような画像を得る。これにより、読み出し領域
制限回路207内に大まかな眼球像の情報を短時間で取
り込めるようになる。
【0078】ステップP4では、イメージセンサ部20
2上に結像された全体像のうち、どの部分の映像信号を
読み出して上記マイコン141に出力すればよいかを判
断する。例えば、図3(b)のような大まかな眼球像の
情報が読み出し領域制限回路207に取り込まれた場
合、読み出し領域制限回路207は、そのブロック平均
化された輝度データが基準値よりも小さい領域、すなわ
ち、垂直方向の20ライン目から40ライン目までの領
域を読み出すように特定する。
2上に結像された全体像のうち、どの部分の映像信号を
読み出して上記マイコン141に出力すればよいかを判
断する。例えば、図3(b)のような大まかな眼球像の
情報が読み出し領域制限回路207に取り込まれた場
合、読み出し領域制限回路207は、そのブロック平均
化された輝度データが基準値よりも小さい領域、すなわ
ち、垂直方向の20ライン目から40ライン目までの領
域を読み出すように特定する。
【0079】ステップP5では、図14のステップP3
2に示した従来例と同じ通常の電荷蓄積動作をイメージ
センサ部202について行う。ステップP6では、上記
ステップP5における蓄積動作によって求められた映像
信号のうち、上記ステップP4で特定された領域の映像
信号のみをマイコン141内に取り込む。そして、ステ
ップP7、P8で、上記マイコン141内に取り込んだ
映像信号を用いて、従来例と同じ角膜反射像検出処理お
よび瞳孔エッジ検出処理を行う。
2に示した従来例と同じ通常の電荷蓄積動作をイメージ
センサ部202について行う。ステップP6では、上記
ステップP5における蓄積動作によって求められた映像
信号のうち、上記ステップP4で特定された領域の映像
信号のみをマイコン141内に取り込む。そして、ステ
ップP7、P8で、上記マイコン141内に取り込んだ
映像信号を用いて、従来例と同じ角膜反射像検出処理お
よび瞳孔エッジ検出処理を行う。
【0080】次に、ステップP9では、上記ステップP
4で特定された領域が全て処理されたかどうか、すなわ
ち、特定領域内の全ラインについての処理が完了したか
どうかを判断する。ここで、全ラインの処理が完了して
いないときは、ステップP6の処理に戻る。また、全ラ
インの処理が完了したときは、ステップP10に進む。
ステップP10では、上記ステップP7、P8にて求め
られた角膜反射像および瞳孔エッジを基に撮影者の注視
点を演算する。
4で特定された領域が全て処理されたかどうか、すなわ
ち、特定領域内の全ラインについての処理が完了したか
どうかを判断する。ここで、全ラインの処理が完了して
いないときは、ステップP6の処理に戻る。また、全ラ
インの処理が完了したときは、ステップP10に進む。
ステップP10では、上記ステップP7、P8にて求め
られた角膜反射像および瞳孔エッジを基に撮影者の注視
点を演算する。
【0081】ステップP11では、上記ステップP10
における注視点の演算結果を評価する。そして、ステッ
プP12で、上記ステップ11における評価結果を基
に、注視点の演算が成功したかどうかを判断する。ここ
で、演算が成功したと判断したときはステップP13に
進み、上記ステップP10で演算された注視点情報をシ
ステムコントロール手段128に出力するとともに、ス
テップP14で、注視点の演算が成功したかどうかを示
す成功フラグを“Hi”にすることにより、演算が成功
したことを記憶する。
における注視点の演算結果を評価する。そして、ステッ
プP12で、上記ステップ11における評価結果を基
に、注視点の演算が成功したかどうかを判断する。ここ
で、演算が成功したと判断したときはステップP13に
進み、上記ステップP10で演算された注視点情報をシ
ステムコントロール手段128に出力するとともに、ス
テップP14で、注視点の演算が成功したかどうかを示
す成功フラグを“Hi”にすることにより、演算が成功
したことを記憶する。
【0082】一方、上記ステップP12にて演算が成功
しなかったと判断した場合には、ステップP15に進
み、成功フラグを“Lo”にすることにより、演算が失
敗したことを記憶する。次のステップ16では、視線検
出処理を継続するかどうかを判断する。ここで、視線検
出を継続する場合は、ステップP17に進み、成功フラ
グが“Hi”であるかどうか、すなわち、注視点の演算
が成功したかどうかを判断する。
しなかったと判断した場合には、ステップP15に進
み、成功フラグを“Lo”にすることにより、演算が失
敗したことを記憶する。次のステップ16では、視線検
出処理を継続するかどうかを判断する。ここで、視線検
出を継続する場合は、ステップP17に進み、成功フラ
グが“Hi”であるかどうか、すなわち、注視点の演算
が成功したかどうかを判断する。
【0083】そして、成功フラグが“Hi”であれば、
ステップP4の処理に戻る。すなわち、ステップP3の
ブロック読み出し処理より前の処理は行わずに、前回の
演算で得られた瞳孔中心座標を中心として映像信号の読
み出し領域を新たに特定するようにする。また、成功フ
ラグが“Lo”であれば、ステップP1の処理に戻り、
もう一度最初の処理から実行する。なお、上記ステップ
P16において視線検出処理を継続しないと判断した場
合は、処理を終了する。
ステップP4の処理に戻る。すなわち、ステップP3の
ブロック読み出し処理より前の処理は行わずに、前回の
演算で得られた瞳孔中心座標を中心として映像信号の読
み出し領域を新たに特定するようにする。また、成功フ
ラグが“Lo”であれば、ステップP1の処理に戻り、
もう一度最初の処理から実行する。なお、上記ステップ
P16において視線検出処理を継続しないと判断した場
合は、処理を終了する。
【0084】以上のように、従来はイメージセンサ13
3の全ての領域の映像信号を処理して注視点を演算して
いたのに対し、本実施例によれば、図8(a)に示すよ
うに、不要な領域C,Dの情報を除外した有効な領域E
の映像信号のみを処理して注視点を演算することができ
る。
3の全ての領域の映像信号を処理して注視点を演算して
いたのに対し、本実施例によれば、図8(a)に示すよ
うに、不要な領域C,Dの情報を除外した有効な領域E
の映像信号のみを処理して注視点を演算することができ
る。
【0085】このため、従来、不要な領域C,Dの情報
も用いて演算していたために生じていた“にせ角膜反射
像”や“にせ瞳孔エッジ”の検出という不都合を防ぐこ
とができるようになり、注視点の演算を正確に行うこと
ができる。しかも、処理するデータ量を従来の全画面を
処理する場合に比べて少なくすることができるので、よ
り短時間で演算を行うことができる。
も用いて演算していたために生じていた“にせ角膜反射
像”や“にせ瞳孔エッジ”の検出という不都合を防ぐこ
とができるようになり、注視点の演算を正確に行うこと
ができる。しかも、処理するデータ量を従来の全画面を
処理する場合に比べて少なくすることができるので、よ
り短時間で演算を行うことができる。
【0086】さらに、一度演算が成功した場合には、そ
の後の演算処理を、ステップP1、P2、P3の各処理
を省略してステップP4の処理から行うようにしている
ので、処理手順を少なくすることができ、連続して注視
点の演算を行う場合に、より効率的に演算を行うことが
できるようになる。
の後の演算処理を、ステップP1、P2、P3の各処理
を省略してステップP4の処理から行うようにしている
ので、処理手順を少なくすることができ、連続して注視
点の演算を行う場合に、より効率的に演算を行うことが
できるようになる。
【0087】なお、以上の実施例では、図8(a)のよ
うに、読み出し領域の特定を垂直方向にのみ行うように
しているが、図8(b)のように、垂直方向および水平
方向の両方向に対して行うようにしてもよい。このよう
にすれば、演算量を更に少なくすることができ、演算時
間を一層短くすることができる。
うに、読み出し領域の特定を垂直方向にのみ行うように
しているが、図8(b)のように、垂直方向および水平
方向の両方向に対して行うようにしてもよい。このよう
にすれば、演算量を更に少なくすることができ、演算時
間を一層短くすることができる。
【0088】次に、本発明の第2の実施例について説明
する。図5は、この第2の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図5にお
いて、図4に示したステップ番号と同じ番号を付した処
理は、上述した第1の実施例と同じ処理を行うものであ
り、ここでは重複する説明を省略する。
する。図5は、この第2の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図5にお
いて、図4に示したステップ番号と同じ番号を付した処
理は、上述した第1の実施例と同じ処理を行うものであ
り、ここでは重複する説明を省略する。
【0089】図5において、ステップP18では、注視
点の演算が連続して成功した回数をカウントする。ステ
ップP19では、上記ステップP18でカウントされた
連続成功回数がN(任意の整数)回以上かどうかを判断
する。ここで、連続成功回数がN回以上でなければ、そ
のままステップP4の処理に戻る。一方、連続成功回数
がN回以上であれば、ステップP20に進んで連続成功
回数のカウント値を0にクリアし、その後、ステップP
1の処理に戻る。
点の演算が連続して成功した回数をカウントする。ステ
ップP19では、上記ステップP18でカウントされた
連続成功回数がN(任意の整数)回以上かどうかを判断
する。ここで、連続成功回数がN回以上でなければ、そ
のままステップP4の処理に戻る。一方、連続成功回数
がN回以上であれば、ステップP20に進んで連続成功
回数のカウント値を0にクリアし、その後、ステップP
1の処理に戻る。
【0090】このように、第2の実施例では、注視点の
演算が連続して成功していても、その累積成功回数がN
回以上になったら、最初のステップP1における測光処
理から処理をやり直すようにしている。これは、眼球に
照射される外光条件は時間とともに変化し、最初に設定
した蓄積時間と同一の蓄積時間でイメージセンサ部20
2の蓄積動作を行うと、イメージセンサ部202から出
力される映像信号がサチュレーションを起こしてしまう
ため、このような不都合を回避し、より精度のよい蓄積
時間で動作させることができるようにするためである。
演算が連続して成功していても、その累積成功回数がN
回以上になったら、最初のステップP1における測光処
理から処理をやり直すようにしている。これは、眼球に
照射される外光条件は時間とともに変化し、最初に設定
した蓄積時間と同一の蓄積時間でイメージセンサ部20
2の蓄積動作を行うと、イメージセンサ部202から出
力される映像信号がサチュレーションを起こしてしまう
ため、このような不都合を回避し、より精度のよい蓄積
時間で動作させることができるようにするためである。
【0091】次に、本発明の第3の実施例について説明
する。図6は、この第3の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図6にお
いて、図5に示したステップ番号と同じ番号を付した処
理は、第2の実施例と同じ処理を行うものであり、ここ
では重複する説明を省略する。
する。図6は、この第3の実施例による注視点検出の処
理の流れを示すフローチャートである。なお、図6にお
いて、図5に示したステップ番号と同じ番号を付した処
理は、第2の実施例と同じ処理を行うものであり、ここ
では重複する説明を省略する。
【0092】図6において、ステップP21では、ステ
ップP4における読み出し領域特定処理で特定された領
域の中心部のデータをマイコン141内に取り込み、眼
球像の中の最小輝度値を検出する処理を、ステップP8
の瞳孔エッジ検出処理に先行して行う。以下に、このよ
うな処理を行っている理由を説明する。
ップP4における読み出し領域特定処理で特定された領
域の中心部のデータをマイコン141内に取り込み、眼
球像の中の最小輝度値を検出する処理を、ステップP8
の瞳孔エッジ検出処理に先行して行う。以下に、このよ
うな処理を行っている理由を説明する。
【0093】図7(a)は、領域読み出しを行った眼球
像の一例を示す図である。外光の条件が悪い場合には、
眼球の虹彩部分や涙などの影響により、例えば図7
(a)に示した領域Gの部分に輝度の低い影ができる場
合がある。
像の一例を示す図である。外光の条件が悪い場合には、
眼球の虹彩部分や涙などの影響により、例えば図7
(a)に示した領域Gの部分に輝度の低い影ができる場
合がある。
【0094】ところで、ステップP8における瞳孔エッ
ジ検出処理は、以下のようにして行われる。すなわち、
マイコン141内の内部メモリ142の都合上、図7
(a)の白抜矢印で示される処理方向に従ってマイコン
141内に映像信号が順次取り込まれて処理され、それ
までに処理された中の最低輝度値を基準にして瞳孔エッ
ジが検出される。一方、虹彩等による影の領域Gの輝度
レベルは、瞳孔部の輝度レベルよりも高めになる場合が
ほとんどである。
ジ検出処理は、以下のようにして行われる。すなわち、
マイコン141内の内部メモリ142の都合上、図7
(a)の白抜矢印で示される処理方向に従ってマイコン
141内に映像信号が順次取り込まれて処理され、それ
までに処理された中の最低輝度値を基準にして瞳孔エッ
ジが検出される。一方、虹彩等による影の領域Gの輝度
レベルは、瞳孔部の輝度レベルよりも高めになる場合が
ほとんどである。
【0095】ここで、ステップP21の最低値先行検出
処理を行わない場合の瞳孔エッジの検出を簡単に説明す
る。図7(a)のラインL1について処理を行う場合に
ついて、図7(b)を参照しながら説明する。この場
合、いままでの最低輝度値S1に余裕度dを加えた値(S
1ref) を基準にして、その基準値(S1ref) と交差する信
号が検出されると、その基準値(S1ref) と検出された信
号との交点部分を瞳孔エッジとみなしてしまう。そうす
ると、図7(a)の領域Gの部分に“にせ瞳孔エッジ”
が検出され、注視点の演算に障害を与えてしまうおそれ
がある。
処理を行わない場合の瞳孔エッジの検出を簡単に説明す
る。図7(a)のラインL1について処理を行う場合に
ついて、図7(b)を参照しながら説明する。この場
合、いままでの最低輝度値S1に余裕度dを加えた値(S
1ref) を基準にして、その基準値(S1ref) と交差する信
号が検出されると、その基準値(S1ref) と検出された信
号との交点部分を瞳孔エッジとみなしてしまう。そうす
ると、図7(a)の領域Gの部分に“にせ瞳孔エッジ”
が検出され、注視点の演算に障害を与えてしまうおそれ
がある。
【0096】これに対して、ステップP21の最低値先
行検出処理を行った場合は、図7(c)に示すように、
瞳孔エッジ検出の基準値は、あらかじめラインL2の処
理で検出した最低輝度値(S2ref) となるため、図7
(a)のラインL1について処理を行っても、ラインL
1において基準値(S2ref) と交差する点はなくなる。こ
のため、眼球の虹彩部分や涙の影響により多少の影がで
きても、にせ瞳孔エッジは検出されなくなり、より精度
の高い演算を行うことができるようになる。
行検出処理を行った場合は、図7(c)に示すように、
瞳孔エッジ検出の基準値は、あらかじめラインL2の処
理で検出した最低輝度値(S2ref) となるため、図7
(a)のラインL1について処理を行っても、ラインL
1において基準値(S2ref) と交差する点はなくなる。こ
のため、眼球の虹彩部分や涙の影響により多少の影がで
きても、にせ瞳孔エッジは検出されなくなり、より精度
の高い演算を行うことができるようになる。
【0097】
【発明の効果】上述したように本発明によれば、光電変
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段を設けたので、外部からの赤外光に起因してにせの
角膜反射像や瞳孔エッジが検出されてしまうという不都
合を防止することができ、注視点の検出をより正確に行
うことができる。
換部より出力される映像信号から、外部からの赤外光に
起因する信号成分を除去し、視線検出のために照射して
いる赤外光に起因する信号成分のみを取り出す外光除去
手段を設けたので、外部からの赤外光に起因してにせの
角膜反射像や瞳孔エッジが検出されてしまうという不都
合を防止することができ、注視点の検出をより正確に行
うことができる。
【0098】また、本発明の他の特徴によれば、光電変
換部に結像される全体像を複数のブロックに分割し、各
ブロック内の映像信号を各々平均化して出力するブロッ
ク平均化手段と、上記ブロック平均化手段より出力され
る各ブロックの平均化信号に基づいて、角膜反射像およ
び瞳孔エッジが存在すると予想される領域を特定する領
域特定手段とを設け、上記領域特定手段により特定され
た領域の映像信号を用いて上記撮影者の注視点を検出す
るようにしたので、光電変換部に結像される全体像中に
含まれる眼球像以外の領域内において、にせの角膜反射
像や瞳孔エッジが検出されてしまう不都合を防止して、
本来の角膜反射像および瞳孔エッジのみを正確に検出す
ることができるとともに、全体領域を処理する場合に比
べて、処理するデータ量を少なくすることができるよう
になり、注視点の検出をより正確かつ短時間に行うこと
ができる。
換部に結像される全体像を複数のブロックに分割し、各
ブロック内の映像信号を各々平均化して出力するブロッ
ク平均化手段と、上記ブロック平均化手段より出力され
る各ブロックの平均化信号に基づいて、角膜反射像およ
び瞳孔エッジが存在すると予想される領域を特定する領
域特定手段とを設け、上記領域特定手段により特定され
た領域の映像信号を用いて上記撮影者の注視点を検出す
るようにしたので、光電変換部に結像される全体像中に
含まれる眼球像以外の領域内において、にせの角膜反射
像や瞳孔エッジが検出されてしまう不都合を防止して、
本来の角膜反射像および瞳孔エッジのみを正確に検出す
ることができるとともに、全体領域を処理する場合に比
べて、処理するデータ量を少なくすることができるよう
になり、注視点の検出をより正確かつ短時間に行うこと
ができる。
【0099】また、本発明のその他の特徴によれば、瞳
孔エッジの検出処理を行う前に、瞳孔があると予想され
る部分の映像信号の輝度値を得て、その輝度値を基準と
して上記瞳孔エッジの検出処理を行うようにしたので、
眼球の虹彩部分や涙等の影響によって不要な瞳孔エッジ
が検出されてしまう不都合を防止することができ、注視
点の検出を更に正確に行うことができる。
孔エッジの検出処理を行う前に、瞳孔があると予想され
る部分の映像信号の輝度値を得て、その輝度値を基準と
して上記瞳孔エッジの検出処理を行うようにしたので、
眼球の虹彩部分や涙等の影響によって不要な瞳孔エッジ
が検出されてしまう不都合を防止することができ、注視
点の検出を更に正確に行うことができる。
【0100】また、本発明のその他の特徴によれば、視
線検出処理を連続して行う場合であって視線検出が一度
成功した場合には、その後で視線検出を行うときに、一
連の視線検出処理のうちの一部の処理を行わないように
制御するようにしたので、処理手順を少なくすることが
でき、注視点の検出を更に短い時間で行うことができ
る。
線検出処理を連続して行う場合であって視線検出が一度
成功した場合には、その後で視線検出を行うときに、一
連の視線検出処理のうちの一部の処理を行わないように
制御するようにしたので、処理手順を少なくすることが
でき、注視点の検出を更に短い時間で行うことができ
る。
【0101】また、本発明のその他の特徴によれば、視
線検出が連続して成功した回数をカウントするカウント
手段を設け、そのカウント値が所定値よりも大きくなっ
た場合に、それまで省略していた上記一部の処理を再び
やり直すように制御するようにしたので、時間とともに
変化する外光条件に合わせて視線検出を行うことができ
るようになり、視線検出を更に正確に行うことができ
る。
線検出が連続して成功した回数をカウントするカウント
手段を設け、そのカウント値が所定値よりも大きくなっ
た場合に、それまで省略していた上記一部の処理を再び
やり直すように制御するようにしたので、時間とともに
変化する外光条件に合わせて視線検出を行うことができ
るようになり、視線検出を更に正確に行うことができ
る。
【図1】本発明の一実施例である視線検出装置の要部構
成を示すブロック図である。
成を示すブロック図である。
【図2】本発明の撮像装置の一実施例であるイメージセ
ンサの構成および動作を示す図である。
ンサの構成および動作を示す図である。
【図3】イメージセンサ部に結像される眼球像の概略お
よびブロック平均化された眼球像の概略を示す図であ
る。
よびブロック平均化された眼球像の概略を示す図であ
る。
【図4】第1の実施例による視線検出処理の流れを示す
フローチャートである。
フローチャートである。
【図5】第2の実施例による視線検出処理の流れを示す
フローチャートである。
フローチャートである。
【図6】第3の実施例による視線検出処理の流れを示す
フローチャートである。
フローチャートである。
【図7】第3の実施例において領域読み出しされた眼球
像の概略および瞳孔エッジ検出処理の内容を示す図であ
る。
像の概略および瞳孔エッジ検出処理の内容を示す図であ
る。
【図8】第1および第2の実施例において領域読み出し
された眼球像の概略を示す図である。
された眼球像の概略を示す図である。
【図9】従来のイメージセンサ上の眼球像の概略を示す
図である。
図である。
【図10】視線検出処理の原理を説明するための図であ
る。
る。
【図11】視線検出処理の原理を説明するための図であ
る。
る。
【図12】従来のビデオカメラの構成を示す図である。
【図13】注視点検出回路の構成例を示す図である。
【図14】従来の視線検出処理の流れを示すフローチャ
ートである。
ートである。
1 光電変換部 2 外光除去手段 3 ブロック平均化手段 4 領域特定手段 5 領域読み出し手段 6 注視点検出手段 7 測光手段 8 制御手段 9 カウント手段 200 イメージセンサ 202 イメージセンサ部 204 減算回路 206 ブロック平均化回路 207 読み出し領域制限回路 130 赤外光照射装置 134 注視点検出回路 141 マイクロコンピュータ 145 CPU
Claims (8)
- 【請求項1】 撮影者が注視している位置を検出するた
めの視線検出装置であって、 上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、 上記外光除去手段により取り出された映像信号を用いて
上記撮影者の注視点を検出する注視点検出手段とを具備
することを特徴とする視線検出装置。 - 【請求項2】 撮影者が注視している位置を検出するた
めの視線検出装置であって、 上記撮影者の眼球像を生成する光電変換部に結像される
全体像を複数のブロックに分割し、各ブロック内の映像
信号を各々平均化して出力するブロック平均化手段と、 上記ブロック平均化手段より出力される各ブロックの平
均化信号に基づいて、角膜反射像および瞳孔エッジが存
在すると予想される領域を特定する領域特定手段と、 上記領域特定手段により特定された領域の映像信号を用
いて上記撮影者の注視点を検出する注視点検出手段とを
具備することを特徴とする視線検出装置。 - 【請求項3】 撮影者が注視している位置を検出するた
めの視線検出装置であって、 上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、 上記光電変換部に結像される全体像を複数のブロックに
分割し、上記外光除去手段により外光成分が除去された
映像信号を各ブロックごとに平均化して出力するブロッ
ク平均化手段と、 上記ブロック平均化手段より出力される各ブロックの平
均化信号に基づいて、角膜反射像および瞳孔エッジが存
在すると予想される領域を特定する領域特定手段と、 上記領域特定手段により特定された領域の映像信号を用
いて上記撮影者の注視点を検出する注視点検出手段とを
具備することを特徴とする視線検出装置。 - 【請求項4】 上記注視点検出手段は、瞳孔エッジの検
出処理を行う前に瞳孔があると予想される部分の映像信
号の輝度値を得て、その輝度値を基準として上記瞳孔エ
ッジの検出処理を行うことを特徴とする請求項1〜3の
何れか1項に記載の視線検出装置。 - 【請求項5】 視線検出処理を連続して行う場合におい
て、視線検出が一度成功した後で再び視線検出を行うと
きに、上記撮影者の眼球の測光処理、上記外光除去手段
による外光除去処理および上記ブロック平均化手段によ
るブロック平均化処理を行わずに、上記領域特定手段に
よる領域特定処理から行うように制御する制御手段を具
備することを特徴とする請求項3に記載の視線検出装
置。 - 【請求項6】 視線検出処理を連続して行う場合におい
て視線検出が一度成功した後で次の視線検出を行うとき
に、上記領域特定手段は、前回検出された瞳孔付近の領
域を優先して特定するようにすることを特徴とする請求
項5に記載の視線検出装置。 - 【請求項7】 上記制御手段は、視線検出が連続して成
功した回数をカウントするカウント手段を具備し、 上記カウント手段によるカウント値が所定値よりも大き
くなった場合に、上記撮影者の眼球の測光処理、上記外
光除去手段による外光除去処理および上記ブロック平均
化手段によるブロック平均化処理を再び行った後、それ
により得られる平均化信号を用いて上記領域特定手段に
よる領域特定処理を行うように制御することを特徴とす
る請求項5に記載の視線検出装置。 - 【請求項8】 撮影者が注視している位置を検出するた
めの視線検出装置に用いられる撮像装置であって、 上記撮影者の眼球像を生成する光電変換部より出力され
る映像信号から、外部からの赤外光に起因する信号成分
を除去し、視線検出のために照射している赤外光に起因
する信号成分のみを取り出す外光除去手段と、 上記光電変換部に結像される全体像を複数のブロックに
分割し、上記外光除去手段により外光成分が除去された
映像信号を各ブロックごとに平均化して出力するブロッ
ク平均化手段と、 上記光電変換部により生成される全体像の映像信号のう
ち、上記ブロック平均化手段より出力される各ブロック
の平均化信号から角膜反射像および瞳孔エッジが存在す
ると予想される特定の領域の映像信号のみを出力する領
域読み出し手段とを具備することを特徴とする撮像装
置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7166232A JPH0918760A (ja) | 1995-06-30 | 1995-06-30 | 視線検出装置およびこれに用いる撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7166232A JPH0918760A (ja) | 1995-06-30 | 1995-06-30 | 視線検出装置およびこれに用いる撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0918760A true JPH0918760A (ja) | 1997-01-17 |
Family
ID=15827567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7166232A Pending JPH0918760A (ja) | 1995-06-30 | 1995-06-30 | 視線検出装置およびこれに用いる撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0918760A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19731303A1 (de) * | 1997-07-13 | 1999-02-04 | Smi Senso Motoric Instr Gmbh | Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen |
US8523358B2 (en) | 2010-12-27 | 2013-09-03 | Casio Computer Co., Ltd. | Information processing apparatus, method, and storage medium storing program |
EP3228238A4 (en) * | 2014-12-02 | 2018-08-22 | Sony Corporation | Information processing device, information processing method, and program |
-
1995
- 1995-06-30 JP JP7166232A patent/JPH0918760A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19731303A1 (de) * | 1997-07-13 | 1999-02-04 | Smi Senso Motoric Instr Gmbh | Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei größeren und schnelleren Kopf- und Augenbewegungen |
DE19731303B4 (de) * | 1997-07-13 | 2009-02-26 | Smi Senso Motoric Instruments Gmbh | Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen |
US8523358B2 (en) | 2010-12-27 | 2013-09-03 | Casio Computer Co., Ltd. | Information processing apparatus, method, and storage medium storing program |
EP3228238A4 (en) * | 2014-12-02 | 2018-08-22 | Sony Corporation | Information processing device, information processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3166179B2 (ja) | 視線検出装置 | |
US8873881B2 (en) | Dust detection system and digital camera | |
JPH06148513A (ja) | 視線検出装置 | |
US5815240A (en) | Ophthalmologic device having means for classifying the picture data in the frame memory into the bright point regions and the mask regions | |
JPH06304142A (ja) | 視線検出装置 | |
JP2002290841A (ja) | 撮像装置および電子カメラ | |
JPH0918760A (ja) | 視線検出装置およびこれに用いる撮像装置 | |
JP2000197608A (ja) | 眼科撮影装置 | |
US11616915B2 (en) | Apparatus and method thereof, and storage medium for detecting a change in external light that occurs during shooting an image | |
JP3192483B2 (ja) | 光学機器 | |
JPH05304631A (ja) | 撮像装置 | |
JP3109870B2 (ja) | ビデオカメラ | |
JP3230759B2 (ja) | 測距装置 | |
JP3143490B2 (ja) | 視線検出装置 | |
JPH08111810A (ja) | ぶれ補正機能付き撮像装置及び撮像装置のぶれ補正方法 | |
JP3352195B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP3024231B2 (ja) | 測光演算装置 | |
JPH089223A (ja) | 視線検出装置 | |
JP3531979B2 (ja) | 眼科撮影装置 | |
JP2952072B2 (ja) | 視線検出装置および視線検出手段を備えた光学機器 | |
JPH10148864A (ja) | カメラの測光装置 | |
JPH07327161A (ja) | 撮像装置 | |
JP2013218062A (ja) | 焦点検出装置 | |
JP3192503B2 (ja) | 視線検出装置 | |
JP3219425B2 (ja) | 視線検出装置 |