JP2830168B2 - 視線検出装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は視線検出装置に関し、例えばカメラのような
光学装置において撮影系による被写体像が形成されてい
る観察面（ピント面）上の観察者（撮影者）が観察して
いる注視点方向の軸、所謂視線（視軸）を観察者の眼球
面上を照明したときに形成される反射像を利用して検出
するようにした視線検出装置に関するものである。

（従来の技術） 従来より観察者（被験者）が観察面上のどの位置を観
察しているかを検出する所謂視線（視軸）を検出する視
線検出装置が種々と提案されている。

例えば特開昭61−172552号公報においては、光源から
の平行光束を被検眼の前眼部へ投射０し、角膜からの反
射光に基づく角膜反射像と瞳孔中心の位置の結像状態を
利用して視軸（注視点）を求めている。

第６図は同公報で提案されている視線検出方法の原理
説明図である。

同図において704は観察者に対して不感の赤外光を放
射する発光ダイオード等の光源であり、投光レンズ706
の焦点面に配置されている。

光源704より発光した赤外光は投光レンズ706より平行
光となりハーフミラー710で反射し、眼球700の角膜701
を照明する。このとき角膜701の表面で反射した赤外光
の一部はハーフミラー710を透過し受光レンズ707により
集光されてイメージセンサ709上の位置ｄ′に結像す
る。

また、虹彩703の端部a,bからの光束はハーフミラー71
0、受光レンズ707を介してイメージセンサ709上に導光
され、その位置ａ′,b′に該端部ａ、ｂの像を結像す
る。受光レンズ707の光軸アに対する眼球の光軸イの回
転角θが小さい場合、虹彩703の端部a,bのＺ座標をZa,Z
bとすると、虹彩703の中心位置ｃの座標Zcは と表わされる。

また、角膜反射像の発生位置ｄのＺ座標をZd、角膜70
1の曲率中心Ｏと虹彩703の中心Ｃまでの距離を▲▼
とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd ・・・・（１） の関係式を略満足する。このためイメージセンサ709上
に投影された各特異点（角膜反射像の発生位置ｄ及び虹
彩の端部ａ、ｂのイメージセンサ709上の像Zd′,Za′,Z
b′）の位置を検出することにより眼球光軸イの回転角
θを求め、これより被検者の視線を求めることができ
る。この時（１）式は とかきかえられる。但し、βは角膜反射像の発生位置ｄ
と受光レンズ707との距離ｌと受光レンズ707とイメージ
センサ709との距離l₀で決まる倍率で、通常ほぼ一定の
値となっている。702は眼球700の強膜、Ｏ′は眼球700
の回転中心である。

このように観察者の被検眼の視線の方向（注視点）を
検出することにより、例えば一眼レフカメラにおいては
撮影者がピント面上のどの位置を観察しているかを知る
ことができる。

これは例えば自動焦点検出装置において測距点を画面
中心のみならず画面内の複数箇所に設けた場合、観察者
がそのうちの１つの測距点を選択して自動焦点検出を行
うとする場合、その１つを選択入力する手間を省き観察
者が観察している点を測距点と見なし、該測距点を自動
的に選択して自動焦点検出を行うのに有効である。

（発明が解決しようとする問題点） 前記特開昭61−172552号公報で提案されている視線検
出装置においては一般に眼球の角度の反射率は約2.5％
程度であり、角膜反射像に基づく光量は比較的大きく、
その位置を良好に検出することができる。

しかしながら、虹彩の反射率は極めて小さく、虹彩と
瞳孔の境界の反射像や虹彩輪部の反射像のコントラスト
は低く視線を検出する際に必要となる瞳孔中心の位置を
精度良く求めることが大変難しいという問題点があっ
た。

本発明は虹彩からの反射率が低く虹彩と瞳孔の境界の
反射像や虹彩輪部の反射像のコントラストが低い場合で
あっても瞳孔中心の位置を精度良く求めることができ、
角膜反射像とから被検者の視線を高精度に検出すること
ができる視線検出装置の提供を目的とする。

（問題点を解決するための手段） 本発明の視線検出装置は、 （１−１）眼球からの光を受光する受光手段と、前記受
光手段からの出力信号を増幅する増幅手段と、増幅手段
の出力に基づいて眼球の視線を演算する視線演算手段と
を有し、前記増幅手段では、前記受光手段からの出力信
号の大きさに応じて異なるゲインで前記受光手段からの
出力信号を増幅することを特徴としている。

特に、 （１−１−１）所定値以上の前記出力信号を増幅するゲ
インは、前記所定値以下の前記受光手段からの出力信号
を増幅するゲインよりも小さいことを特徴としている。

（１−２）眼球を照明する照明手段と、前記照明手段に
よって前記眼球に生じる角膜反射像を含む眼球画像を受
光する受光手段と、前記受光手段からの出力信号を増幅
する増幅手段と、前記増幅手段の出力を用いて前記視線
を演算する視線演算手段とを有し、前記増幅手段は、前
記角膜反射像部分とそれ以外の部分とをそれぞれ異なる
ゲインで増幅することを特徴としている。

特に、 （１−２−１）前記角膜反射像部分を増幅するゲイン
は、それ以外の部分を増幅するゲインよりも小さいこと
を特徴としている。

（実施例） 第１図は本発明の第１実施例の要部側面図である。

図中100は被検者（観察者）の眼球、１は被検者の眼
球の角膜、２は同じく強膜、３は虹彩である。Ｏ′は眼
球100の回転中心、Ｏは角膜１の曲率中心、a,bは各々虹
彩３の端部、ｄは各々後述する光源４に基づく角膜反射
像の発生位置である。４は光源で被検者に不感である赤
外光を放射する発光ダイオード等である。又光源４は投
光レンズ６の焦点面近傍に配置されている。投光レンズ
６は光源４からの光束を平行光束として角膜１面上を照
明している。尚、光源４と投光レンズ６は照明手段の一
要素を構成している。

７は受光レンズであり、角膜１近傍に形成された角膜
反射像発生装置ｄと虹彩の端部a,bをイメージセンサ
（光電変換素子）９面上に結像している。尚、受光レン
ズ７、イメージセンサ９は検出手段（受光手段）の一要
素を構成している。

８は像幅手段であり、後述するようにイメージセンサ
９からの出力信号をその大小に応じて異ったゲインで増
幅し、該増幅手段８からの出力信号をAD変換手段10でAD
変換している。そしてAD変換手段10からの出力信号を用
いて演算手段（視線演算手段）11により被検者の視線を
演算し求めている。

アは受光レンズ７の光軸で図中のＸ軸と一致してい
る。イは眼球の光軸でＸ軸に対して角度θ傾いている。

次に本実施例の光学的作用について説明する。

光源４より射出した赤外光は投光レンズ６を通過後、
略平行光となって眼球100の角膜１を照明する。そして
角膜１を通過した赤外光は虹彩３を照明する。

このとき眼球を照明する赤外光のうち、角膜１の表面
で反射した光束に基づく角膜反射像の発生位置ｄの受光
レンズ７を介して、イメージセンサ９上の点ｄ′に結像
する。

又虹彩３の表面で拡散反射した赤外光は受光レンズ７
を介してイメージセンサ９上に導光され、虹彩像を結像
する。

第２図はこの時の眼球と該眼球の各特異点からの反射
像のイメージセンサ９上に結像させ、該眼球中央部を水
平方向に走査した時の眼球の各位置に対応するイメージ
センサからの水平走査出力信号の模式図である。

同図からも明らかな様に角膜反射像は非常に強く精度
良く検出することが出来る。これに対して虹彩と瞳孔の
境や、白目と黒目の境である虹彩輪部のコントラストは
比較的低く精度良く検出することが一般に難しい。

そこで本実施例ではイメージセンサ９上でのこれらの
各特異点（ａ′,b′,d′の座標Za′,Zb′,Zd′）に関す
る信号を増幅手段８により後述する方法で増幅し、これ
らの座標を精度良く求めている。そして演算手段11によ
り前述の（２）式に基づいて、即ち に従って眼球の回転角θの算出を行っている。

本実施例ではこのときの回転角θより眼球の視軸を求
め、これより被検者の視線を検出している。

次に本発明の特徴とする増幅手段の構成の一実施例に
ついて説明する。

第３図は本発明に係るイメージセンサ９上に形成した
眼球の各特異点の反射像に基づくイメージセンサ９から
の出力信号を後述する如く反転増幅した一実施例の説明
図である。

同図において区間（Ａ），（Ｅ）の部分は感光画素が
接続されていない空送り部、区間（Ｂ），（Ｄ）の部分
は遮光された感光画素からの出力信号部であり、素子の
暗電流信号を発生する。区間（Ｃ）の部分は有効感光画
素部である。

第４図は本発明の視線検知装置に係る電気回路の一実
施例のブロック図である。

図中401は眼球からの反射像を検知する検出手段を構
成するCCD等の光電変換素子（イメージセンサ）、402は
反転増幅回路、451はサンプルホールド回路であり、ア
ナログゲート403と抵抗404、そしてコンデンサー405を
有している。406は差動像幅回路、452は非線増幅回路で
あり、入力信号の大小に応じて異なったゲインで増幅し
ており、抵抗407,408,409とダイオード410,411、そして
演算増幅器412を有している。413はAD変換回路、414は
視線検出回路である。

光電変換素子401から出力される角膜反射像と瞳孔及
び虹彩の情報は反転増幅回路402で反転増幅されて第２
図，第３図の如き信号が出力される。

第２図の出力信号V₁からV₃の間を通常の増幅回路で同
じゲインで増幅すると瞳孔エッジ部、虹彩輪部の検知精
度が著しく低下する。

この為、本発明では入力信号の小さいV₁からV₂の間を
大きいゲインで増幅し、入力信号の大きいV₂からV₃の間
を小さいゲインで増幅している。このように本発明では
増幅手段は検出手段からの出力信号の大きさに応じて異
なるゲインで検出手段からの出力信号を増幅している。
特に本発明では増幅手段は角膜反射像部分とそれ以外の
部分とをそれぞれ異なるゲインで増幅することによっ
て、検出手段の出力信号レベルが著しく異なる角膜反射
像部分とそれ以外の部分についても、それぞれが適切な
レベルになるように増幅している。これにより瞳孔エッ
ジ部、虹彩輪部のコントラストを拡大し、角膜反射像ス
ポット位置と瞳孔中心位置を後述する第５図に示すよう
に高精度に求め、これより被検者の眼球の視線方向を高
精度に検出している。

サンプルホールド回路451は第３図の区間（Ｂ）の部
分の暗電流信号をサンプルホールドし、第２図の出力信
号V₁の暗時信号電圧を発生する。

本実施例に係る信号処理回路では反転増幅回路402で
反転増幅され，出力信号から暗時信号電圧V₁を差動増幅
回路406で差引き、真の信号電圧分が抵抗407〜409、ダ
イオード410,411、演算増幅器412から成る非線形増幅回
路452に供給される。そして第２図の小さな出力信号電
圧範囲V₁〜V₂では大きなゲインで増幅し、大きな出力信
号電圧範囲V₂〜V₃では小さなゲインで増幅している。こ
れにより眼球の角膜反射像のスポット位置と瞳孔中心位
置を高精度に検出している。

第５図に本発明に係る非線形増幅回路452の動作に関
する模式図を示す。同図においてP1は第２図の出力信号
に相当し、差動増幅回路406により形成される入力信号
である。

入力信号値０からV₂〜V₁までの電圧範囲が瞳孔エッジ
を大きいゲインで増幅すべき範囲であり、入力信号値V₂
〜V₁からV₃〜V₁までの電圧範囲が角膜反射像スポットを
小さいゲインで増幅すべき範囲である。

入出力特性図におけるＱのうち、QAの部分は大きいゲ
インで増幅することが必要な部分である。このときのゲ
インは抵抗408と抵抗407の比で決まり、例えば10程度の
大きい値に設定されている。QBの部分は小さいゲインで
増幅することが必要な部分である。このときのゲインは
抵抗409と抵抗407の比で決まり、例えば１程度の小さい
値に設定されている。

抵抗409は抵抗408より十分に抵抗値が小さいので、こ
れらのゲインの切換えは本実施例ではダイオード410の
両端子間電圧が0.6〜0.7Vになると順次抵抗408より抵抗
409の影響が大きくなって切換えが行なわれる。この
為、第５図に示す如く入出力特性は折れ線ではなく折れ
線に近似した特性となる。

尚、ダイオード411は第３図に示す如くイメージセン
サからの出力信号のリセット時のパルスノイズを−0.6
〜−0.7Vにクランプする為のクランプダイオードより成
っている。

本実施例の非線形増幅回路を通すことにより入力信号
P1は出力信号P2の如く変換され瞳孔エッジのコントラス
トが入力信号に比べて著しく向上する。この為、瞳孔エ
ッジと角膜反射像スポットの検出精度が極めて良くな
る。

本実施例においては非線形増幅回路からの出力信号は
通常の等間隔のAD変換回路413でAD変換された後、視線
検出回路414で視線方向の演算が行われる。

尚、CLKはサンプリングのタイミングを決める公知の
クロック入力端子である。

又、光電変換素子401の暗電流が小さい場合には、感
光画素の接続されていない空送り部分、即ち第３図の区
間（Ａ），（Ｅ）の信号をサンプルホールド回路451で
サンプルホールドして増幅回路の下側の基準電圧V₁とし
ても良い。

更に連続的に視線検出が行なわれる場合にはイメージ
センサから出力信号が読み出された後、次に出力信号が
読み出されるまでの間、イメージセンサを空送りし、こ
の空送りの信号レベルを増幅回路の下側の基準電圧V₁と
するとイメージセンサ内に遮光画素が不要となり、イメ
ージセンサがコンパクトで安定な回路系を構成すること
が出来る。

第７図は本発明の視線検出装置を一眼レフカメラに適
用したときの一実施例の要部概略図である。同図におい
て第１図に示した要素と同一要素には同符番を付してい
る。

本実施例では撮影レンズ101により被写体像を跳ね上
げミラー102を介し、ピント板103上に形成している。そ
してペンタダハプリズム105を介し、正立正像としてダ
イクロイックミラー面106aを有する接眼レンズ106でピ
ント板上の被写体像を観察している。

一般に一眼レフレックスカメラのファインダ視野をの
ぞく観察者（被検者）は撮影レンズ101を透過し、跳ね
上げミラ102で反射しピント板上に形成した被写体光
（像）をペンタダハプリズム105及び接眼レンズ106を介
して受光、観察する。この時観察者はファインダ視野内
の注視する被写体に対して視線を向けるために眼球を回
転させる。

接眼レンズ106の前方には照明手段（光源４及び投光
レンズ６により構成）が配置され、観察者の眼球を照明
する。

眼球の角膜及び虹彩にて反射した赤外光は接眼レンズ
106に入射するとともに、接眼レンズ106のダイクロイッ
クミラ部106aで反射し受光レンズ７を介してイメージセ
ンサ９上に各々の像を結像する。ここで、接眼レンズ10
6のダイクロイックミラ部106aは例えば誘電体多層膜を
塗膜した直角プリズムを２枚貼り合わせることにより形
成され、該誘電体多層膜は可視光は透過し、赤外光は反
射するように設定されている。

イメージセンサ９上に形成された眼球の反射に基づく
各像より各特異点を増幅手段８、AD変換手段10を介して
検知し、さらに（２）式に従った演算を演算手段11によ
って行なうことにより、観察者の視線を検出している。

尚、本発明に係る増幅手段として、増幅の際に検出手
段からの出力信号に応じて２つの値のゲインで増幅した
場合を示したが、出力信号の大きさに応じて２つ以上の
値のゲインで増幅を行うようにしても良い。

（発明の効果） 本発明によれば以上のように被検者の眼球を照明手段
で照明し角膜で発生し形成される角膜反射像と虹彩の散
乱に基づく虹彩像の所定面上の結像点を前述の構成を有
する増幅手段を介して求めることにより被検者の視線を
容易にしかも高精度に検出することのできる視線検出装
置を達成することができる。請求項１に記載した発明
は、眼球からの光を受光する受光手段と、前記受光手段
からの出力信号を増幅する増幅手段と、増幅手段の出力
に基づいて眼球の視線を演算する視線演算手段とを有
し、前記増幅手段は、前記受光手段からの出力信号の大
きさに応じて異なるゲインで前記受光手段からの出力信
号を増幅することによって、受光手段が受光する眼球か
らの光束に対して、適切な増幅ができるので、視線を高
精度に検出することができる。

又、請求項２に記載した発明は、所定値以上の前記出
力信号を増幅するゲインは、前記所定値以下の前記受光
手段からの出力信号を増幅するゲインよりも小さいこと
によって、受光手段が受光する眼球からの光束に対し
て、適切な増幅ができるので、視線を高精度に検出する
ことができる。

又、請求項３に記載した発明は、眼球を照明する照明
手段と、前記照明手段によって前記眼球に生じる角膜反
射像を眼む眼球画像を受光する受光手段と、前記受光手
段からの出力信号を増幅する増幅手段と、前記増幅手段
の出力を用いて前記視線を演算する視線演算手段とを有
し、前記増幅手段は、前記角膜反射像部分とそれ以外の
部分とをそれぞれ異なるゲインで増幅することによっ
て、角膜反射像やそれ以外の部分（瞳孔や虹彩等）の信
号を精度良く得ることができるので視線を高精度に検出
することができる。

又、請求項４に記載した発明は、前記角膜反射像部分
を増幅するゲインは、それ以外の部分を増幅するゲイン
よりも小さいことによって、角膜反射像やそれ以外の部
分（瞳孔や虹彩等）の信号を精度良く得ることができる
ので視線を高精度に検出することができる。

【図面の簡単な説明】

第１図は本発明の第１実施例の要部概略図、第２図は本
発明における眼球の各位置に対応するイメージセンサか
らの水平走査出力信号の模式図、第３図は本発明に係る
イメージセンサからの出力波形の説明図、第４図は本発
明の視線検出装置の電気回路の一実施例のブロック図、
第５図は本発明に係る増幅手段の入出力特性の模式図、
第６図は従来の視線検出装置の概略図、第７図は本発明
を一眼レフカメラに適用したときの一実施例の要部概略
図である。 図中100は眼球、１は角膜、２は強膜、３は虹彩、４は
光源、６は投光レンズ、７は受光レンズ、８は増幅手
段、401,9はセンサー、10はAD変換手段、11は演算手
段、413はAD変換回路、414は視線演算回路、451はサン
プルホールド回路、452は非線形増幅回路である。

フロントページの続き (56)参考文献 特開 昭50−68547（ＪＰ，Ａ) 特開 昭64−85480（ＪＰ，Ａ) 実開 昭63−131273（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) A61B 3/113

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】眼球からの光を受光する受光手段と、前記
   受光手段からの出力信号を増幅する増幅手段と、増幅手
   段の出力に基づいて眼球の視線を演算する視線演算手段
   とを有し、前記増幅手段は、前記受光手段からの出力信
   号の大きさに応じて異なるゲインで前記受光手段からの
   出力信号を増幅することを特徴とする視線検出装置。
2. 【請求項２】所定値以上の前記出力信号を増幅するゲイ
   ンは、前記所定値以下の前記受光手段からの出力信号を
   増幅するゲインよりも小さいことを特徴とする請求項１
   に記載の視線検出装置。
3. 【請求項３】眼球を照明する照明手段と、前記照明手段
   によって前記眼球に生じる角膜反射像を含む眼球画像を
   受光する受光手段と、前記受光手段からの出力信号を増
   幅する増幅手段と、前記増幅手段の出力を用いて前記視
   線を演算する視線演算手段とを有し、前記増幅手段は、
   前記角膜反射像部分とそれ以外の部分とをそれぞれ異な
   るゲインで増幅することを特徴とする視線検出装置。
4. 【請求項４】前記角膜反射像部分を増幅するゲインは、
   それ以外の部分を増幅するゲインよりも小さいことを特
   徴とする請求項３に記載の視線検出装置。