JP2754663B2 - 視線検出方法及び視線検出装置 - Google Patents
視線検出方法及び視線検出装置Info
- Publication number
- JP2754663B2 JP2754663B2 JP1034716A JP3471689A JP2754663B2 JP 2754663 B2 JP2754663 B2 JP 2754663B2 JP 1034716 A JP1034716 A JP 1034716A JP 3471689 A JP3471689 A JP 3471689A JP 2754663 B2 JP2754663 B2 JP 2754663B2
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- eyeball
- purkinje image
- light source
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Viewfinders (AREA)
- Eye Examination Apparatus (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は視線検出方法及び視線検出装置に関し、例え
ばカメラのような光学装置において撮影系による被写体
像が形成されている観察面上の観察者（撮影者）が観察
している注視点方向の軸、所謂視線（視軸）を観察者の
眼球面上を照明したときに形成されるプルキニエ像を利
用して検出するようにした視線検出方法及び視線検出装
置に関するものである。
ばカメラのような光学装置において撮影系による被写体
像が形成されている観察面上の観察者（撮影者）が観察
している注視点方向の軸、所謂視線（視軸）を観察者の
眼球面上を照明したときに形成されるプルキニエ像を利
用して検出するようにした視線検出方法及び視線検出装
置に関するものである。
（従来の技術） 従来より観察者が観察面上のどの位置を観察している
かを検出する所謂視線（視軸）を検出する視線検出装置
が種々と提案されている。
かを検出する所謂視線（視軸）を検出する視線検出装置
が種々と提案されている。
例えば特開昭61−172552号公報においては、光源から
の光束を被検眼の前眼部へ投射し、角膜および水晶体か
らの反射光に基づく反射像であるプルキニエ像の結像状
態を利用して視軸（注視点）を求めている。
の光束を被検眼の前眼部へ投射し、角膜および水晶体か
らの反射光に基づく反射像であるプルキニエ像の結像状
態を利用して視軸（注視点）を求めている。
第９図では同公報で提案されている視線検出方法の原
理説明図である。
理説明図である。
同図において４は観察者に対して不感の赤外光を放射
する発光ダイオード等の光源であり、投光レンズ６の焦
点面に配置されている。
する発光ダイオード等の光源であり、投光レンズ６の焦
点面に配置されている。
光源４より発光した赤外光は投光レンズ６により平行
光となりハーフミラ10で反射し、眼球101の角膜１を照
射する。角膜１面上で光束は散乱する。このとき角膜１
の例えば点Ｃからの赤外光の一部はハーフミラ10を透過
して受光レンズ７により集光されイメージセンサ９上の
位置ｄ′に結像する。また虹彩３（又は瞳孔）の端部a,
b（虹彩３と瞳孔との境界に相当する。）はハーフミラ
ー10、受光レンズ７を介してイメージセンサ９上の位置
ａ′,b′に結像する。受光レンズ７の光軸アに対す眼球
の光軸イの回転角θが小さい場合、虹彩３の端部a,bの
Ｚ座標をZa,Zbとすると虹彩３の中心位置ｃの座標Zcは と表わされる。
光となりハーフミラ10で反射し、眼球101の角膜１を照
射する。角膜１面上で光束は散乱する。このとき角膜１
の例えば点Ｃからの赤外光の一部はハーフミラ10を透過
して受光レンズ７により集光されイメージセンサ９上の
位置ｄ′に結像する。また虹彩３（又は瞳孔）の端部a,
b（虹彩３と瞳孔との境界に相当する。）はハーフミラ
ー10、受光レンズ７を介してイメージセンサ９上の位置
ａ′,b′に結像する。受光レンズ７の光軸アに対す眼球
の光軸イの回転角θが小さい場合、虹彩３の端部a,bの
Ｚ座標をZa,Zbとすると虹彩３の中心位置ｃの座標Zcは と表わされる。
また、第１プルキニエ像の発生位置ｄのＺ座標をZd、
角膜１の曲率中心Ｏと虹彩３の中心Ｃまでの距離を▲
▼とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd ……（１） の関係式を略満足する。このためイメージセンサ９上に
投影された各特異点（第１プルキニエ像ｄ及び虹彩の端
部a,b）の位置を検出することにより眼球光軸イの回転
各θを求めることができる。この時（１）式は とかきかえられる。但し、βは第１プルキニエ像の発生
位置ｄと受光レンズ７との距離l1と受光レンズ７とイメ
ージセンサ９との距離l0で決まる倍率で、通常ほぼ一定
の値となっている。
角膜１の曲率中心Ｏと虹彩３の中心Ｃまでの距離を▲
▼とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd ……（１） の関係式を略満足する。このためイメージセンサ９上に
投影された各特異点（第１プルキニエ像ｄ及び虹彩の端
部a,b）の位置を検出することにより眼球光軸イの回転
各θを求めることができる。この時（１）式は とかきかえられる。但し、βは第１プルキニエ像の発生
位置ｄと受光レンズ７との距離l1と受光レンズ７とイメ
ージセンサ９との距離l0で決まる倍率で、通常ほぼ一定
の値となっている。
このように同公報では虹彩と瞳孔との境界（虹彩の端
部a,b）を検出し、これより瞳孔中心を求め、この瞳孔
中心と第１プルキニエ像の２つから被検者の眼球のシフ
ト量を回転θを求め、この回転角θを用いて視線の方向
を求めている。
部a,b）を検出し、これより瞳孔中心を求め、この瞳孔
中心と第１プルキニエ像の２つから被検者の眼球のシフ
ト量を回転θを求め、この回転角θを用いて視線の方向
を求めている。
一般に観察者の被検眼の視線の方向（注視点）を検出
することにより、例えば一眼レフカメラにおいては撮影
者がピント面上のどの位置を観察しているかを知ること
ができる。
することにより、例えば一眼レフカメラにおいては撮影
者がピント面上のどの位置を観察しているかを知ること
ができる。
これは例えば自動焦点検出装置において測距点を画面
中心のみならず画面内の複数箇所に設けた場合、観察者
がそのうち１つの測距点を選択して自動焦点検出を行う
とする場合、その１つを選択入力する手間を省き観察者
が観察している点を測距点と見なし、該測距点を自動的
に選択して自動焦点検出を行うのに有効である。
中心のみならず画面内の複数箇所に設けた場合、観察者
がそのうち１つの測距点を選択して自動焦点検出を行う
とする場合、その１つを選択入力する手間を省き観察者
が観察している点を測距点と見なし、該測距点を自動的
に選択して自動焦点検出を行うのに有効である。
（発明が解決しようとしている問題点） 前記特開昭61−172552号公報で提案されている視線検
出装置は被検者と装置との配置関係や瞳孔径等を予め設
定した一定条件下に設定した場合においてのみ良好なる
検出が可能となるものであった。
出装置は被検者と装置との配置関係や瞳孔径等を予め設
定した一定条件下に設定した場合においてのみ良好なる
検出が可能となるものであった。
例えば手術室の中で医師が用いる場合等、一定の明る
さの中で、即ち被検者の瞳孔径が略一定と見なせること
が出来、第１プルキニエ像と瞳孔の端部が重ならないよ
うに設定することが容易となるような一定条件下におけ
る被検者を対象とするものであった。
さの中で、即ち被検者の瞳孔径が略一定と見なせること
が出来、第１プルキニエ像と瞳孔の端部が重ならないよ
うに設定することが容易となるような一定条件下におけ
る被検者を対象とするものであった。
この為、同公報の視線検出装置をカメラのファンダー
像を観察するような瞳孔径が種々と変化する明るさの条
件下で用いた場合に瞳孔径の大きさ（半径）と第１プル
キニエ像の瞳孔中心からの移動量が等しくなると瞳孔の
端部と第１プルキニエ像が重なり合い、瞳孔の端部の検
出が出来ず、視線検出が出来ない等の問題点があった。
像を観察するような瞳孔径が種々と変化する明るさの条
件下で用いた場合に瞳孔径の大きさ（半径）と第１プル
キニエ像の瞳孔中心からの移動量が等しくなると瞳孔の
端部と第１プルキニエ像が重なり合い、瞳孔の端部の検
出が出来ず、視線検出が出来ない等の問題点があった。
本発明は瞳孔の端部と第１プルキニエ像とが検出面上
で重なり合った場合には調整手段を用いることにより、
瞳孔の端部を良好に検出することができるようにし、被
検者（観察者）の視線方向をどのような条件下において
も常に高精度に検出することができる視線検出装置の提
供を目的とする。
で重なり合った場合には調整手段を用いることにより、
瞳孔の端部を良好に検出することができるようにし、被
検者（観察者）の視線方向をどのような条件下において
も常に高精度に検出することができる視線検出装置の提
供を目的とする。
（問題点を解決するための手段） 本発明は、光源からの光束を被験者の眼球の角膜に照
射し、このとき形成される第１プルキニエ像と該眼球の
瞳孔の端部とを検出手段の検出面上に形成し、該検出面
上の該第１プルキニエ像と該瞳孔の端部とが重なり合っ
ているか否かを判別手段により判別し、該判別手段によ
り重なり合っているのと判別がなさるたときは調整手段
により該瞳孔の端部が該第１プルキニエ像と分離して該
検出手段で検出できるように調整した後、該検出手段か
ら得られている該第１プルキニエ像に関する信号と該瞳
孔の端部に関する信号とを利用して該被検者の視線を求
めたことを特徴としている。
射し、このとき形成される第１プルキニエ像と該眼球の
瞳孔の端部とを検出手段の検出面上に形成し、該検出面
上の該第１プルキニエ像と該瞳孔の端部とが重なり合っ
ているか否かを判別手段により判別し、該判別手段によ
り重なり合っているのと判別がなさるたときは調整手段
により該瞳孔の端部が該第１プルキニエ像と分離して該
検出手段で検出できるように調整した後、該検出手段か
ら得られている該第１プルキニエ像に関する信号と該瞳
孔の端部に関する信号とを利用して該被検者の視線を求
めたことを特徴としている。
（実施例） 第１図は本発明の第１実施例の要部概略図である。
図中101は被検者（観察者）の眼球、１は被検者の眼
球の角膜、２は同じく強膜、３は虹彩、102は瞳孔であ
る。Ｏ′は眼球101の回転中心、Ｏは角膜１の曲率中
心、a,bは各々虹彩３の端部又は瞳孔102の端部、ｄは後
述する光源４に基づく第１プルキニエ像の発生位置であ
る。４は光源で被検者に不感である赤外光を放射する発
光ダイオード等である。又光源４は投光レンズ６の焦点
面近傍に配置されている。4a,4bは補助光源である。通
常光源４はオン、補助光源4a,4bはオフとなっている。
投光レンズ６は光源４からの光束を略平行光束としてハ
ーフミラ10を介して角膜１面上を照明している。ここで
光源４は投光レンズ６の光軸上にあり、補助光源4a,4b
は投光レンズ６の光軸より±ｘ軸方向に所定量離れた位
置に配置されている。尚、光源４、投光レンズ６は照明
手段の一要素を構成している。
球の角膜、２は同じく強膜、３は虹彩、102は瞳孔であ
る。Ｏ′は眼球101の回転中心、Ｏは角膜１の曲率中
心、a,bは各々虹彩３の端部又は瞳孔102の端部、ｄは後
述する光源４に基づく第１プルキニエ像の発生位置であ
る。４は光源で被検者に不感である赤外光を放射する発
光ダイオード等である。又光源４は投光レンズ６の焦点
面近傍に配置されている。4a,4bは補助光源である。通
常光源４はオン、補助光源4a,4bはオフとなっている。
投光レンズ６は光源４からの光束を略平行光束としてハ
ーフミラ10を介して角膜１面上を照明している。ここで
光源４は投光レンズ６の光軸上にあり、補助光源4a,4b
は投光レンズ６の光軸より±ｘ軸方向に所定量離れた位
置に配置されている。尚、光源４、投光レンズ６は照明
手段の一要素を構成している。
７は受光レンズであり、角膜１近傍に形成された第１
プルキニエ像ｄと瞳孔の端部a,bをイメージセンサ９面
上に結像している。尚、受光レンズ７、イメージセンサ
９は受光手段の一要素を構成している。
プルキニエ像ｄと瞳孔の端部a,bをイメージセンサ９面
上に結像している。尚、受光レンズ７、イメージセンサ
９は受光手段の一要素を構成している。
103は判別手段であり、イメージセンサ９面上で第１
プルキニエ像と瞳孔の端部a,bとが重なっているか否か
判断している。11は演算手段であり、後述するようにイ
メージセンサ９からの出力信号を利用して、被検者の視
線を演算し求めている。
プルキニエ像と瞳孔の端部a,bとが重なっているか否か
判断している。11は演算手段であり、後述するようにイ
メージセンサ９からの出力信号を利用して、被検者の視
線を演算し求めている。
アは受光レンズ７の光軸で図中のＸ軸と一致してい
る。イは眼球の光軸でＸ軸に対して角度θ傾いている。
る。イは眼球の光軸でＸ軸に対して角度θ傾いている。
本実施例における眼球101の視線の検出をイメージセ
ンサ９面上における第１プルキニエ像ｄと瞳孔の端部a,
bとが重なり合っていないと判別手段103で判断された場
合は従来の方法と基本的に同じ方法で求めている。
ンサ９面上における第１プルキニエ像ｄと瞳孔の端部a,
bとが重なり合っていないと判別手段103で判断された場
合は従来の方法と基本的に同じ方法で求めている。
即ち、光源４より発光した赤外光は投光レンズ６によ
り平行光となりハーフミラ10で反射し、眼球101の角膜
１を照明する。角膜１面上で光束は散乱する。このとき
角膜１の例えば点Ｃからの赤外光の一部はハーフミラ10
を透過し受光レンズ７により集光されたイメージセンサ
９上の位置ｄ′に結像する。また虹彩３（又は瞳孔）の
端部a,b（虹彩３と瞳孔との境界に相当する。）はハー
フミラ10、受光レンズ７を介してイメージセンサ９上の
位置ａ′,b′に結像する。受光レンズ７の光軸アに対す
る眼球の光軸イの回転角θが小さい場合、虹彩３の端部
a,bのＺ座標をZa,Zbとすると、虹彩３の中心位置Ｃの座
標Zcは と表わされる。
り平行光となりハーフミラ10で反射し、眼球101の角膜
１を照明する。角膜１面上で光束は散乱する。このとき
角膜１の例えば点Ｃからの赤外光の一部はハーフミラ10
を透過し受光レンズ７により集光されたイメージセンサ
９上の位置ｄ′に結像する。また虹彩３（又は瞳孔）の
端部a,b（虹彩３と瞳孔との境界に相当する。）はハー
フミラ10、受光レンズ７を介してイメージセンサ９上の
位置ａ′,b′に結像する。受光レンズ７の光軸アに対す
る眼球の光軸イの回転角θが小さい場合、虹彩３の端部
a,bのＺ座標をZa,Zbとすると、虹彩３の中心位置Ｃの座
標Zcは と表わされる。
また、第１プルキニエ像の発生位置ｄのＺ座標をZd、
角膜１の曲率中心Ｏと虹彩３の中心Ｃまでの距離を▲
▼とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd ……（１） の関係式で略満足する。このためイメージセンサ９上に
投影された各特異点（第１プルキニエ像ｄ及び虹彩の端
部a,b）の位置を検出することにより眼球光軸イの回転
角θを求めることができる。
角膜１の曲率中心Ｏと虹彩３の中心Ｃまでの距離を▲
▼とすると眼球光軸イの回転角θは ▲▼・sinθ≒Zc−Zd ……（１） の関係式で略満足する。このためイメージセンサ９上に
投影された各特異点（第１プルキニエ像ｄ及び虹彩の端
部a,b）の位置を検出することにより眼球光軸イの回転
角θを求めることができる。
一般に光軸イと視線方向は多少異っているが、標準的
な眼球であればその値はわかっているので光軸イの回転
角θを求め、これより所定の演算後、観察者の視線を求
めるようにしている。
な眼球であればその値はわかっているので光軸イの回転
角θを求め、これより所定の演算後、観察者の視線を求
めるようにしている。
一般に人間の標準的な瞳孔径（直径）は2mm〜8mmであ
り、この径は外観の明るさなどにより変化する。またカ
メラのファインダーをのぞいたときの観察者の視線の回
転角は最大±10゜程度である。この様な標準的な場合、
検出装置の光学系にもよるが、概ね瞳孔径2mm,3mmのと
きに視線の回転角が６゜〜８゜、８゜〜10゜程度になる
と第１プルキニエ像と瞳孔の端部（エッジ）が重なるこ
とになる。
り、この径は外観の明るさなどにより変化する。またカ
メラのファインダーをのぞいたときの観察者の視線の回
転角は最大±10゜程度である。この様な標準的な場合、
検出装置の光学系にもよるが、概ね瞳孔径2mm,3mmのと
きに視線の回転角が６゜〜８゜、８゜〜10゜程度になる
と第１プルキニエ像と瞳孔の端部（エッジ）が重なるこ
とになる。
そこで第１プルキニエ像ｄと瞳孔102の端部a,bとが重
なり合って、該端部a,bをイメージセンサ９で検出する
ことが難しい場合には光源４をオフし、補助光源4a,4b
をオンしてイメージセンサ９面上に端部a,bの像のみが
形成されるようにしている。これにより瞳孔の端部a,b
の検出を容易にし、前充と同様の方法により観察者の視
線を求めている。
なり合って、該端部a,bをイメージセンサ９で検出する
ことが難しい場合には光源４をオフし、補助光源4a,4b
をオンしてイメージセンサ９面上に端部a,bの像のみが
形成されるようにしている。これにより瞳孔の端部a,b
の検出を容易にし、前充と同様の方法により観察者の視
線を求めている。
次に本実施例において第１プルキニエ像と瞳孔の端部
とが重なり合ったか否かを判断し、視線を検出する場合
の動作に関する実施例を示す。
とが重なり合ったか否かを判断し、視線を検出する場合
の動作に関する実施例を示す。
第２図は本発明の一実施例の動作を示すフローチャー
ト、第３図は本発明に係る検出方法の一実施例のブロッ
ク図、第４図は本発明に係るイメージセンサからの出力
信号を示す一実施例の説明図である。
ト、第３図は本発明に係る検出方法の一実施例のブロッ
ク図、第４図は本発明に係るイメージセンサからの出力
信号を示す一実施例の説明図である。
第４図（Ａ）は第１プルキニエ像と瞳孔の端部（エッ
ジ）が重ならない場合、同図（Ｂ），（Ｃ）は重なった
場合を示している。
ジ）が重ならない場合、同図（Ｂ），（Ｃ）は重なった
場合を示している。
第３図のM.P.U31はイメージセンサからの出力信号を
読み取り、その信号を微分するものである。第４図
（Ｄ），（Ｅ），（Ｆ）は各々同図（Ａ），（Ｂ），
（Ｃ）からの出力信号をM.P.U31により微分したもので
ある。
読み取り、その信号を微分するものである。第４図
（Ｄ），（Ｅ），（Ｆ）は各々同図（Ａ），（Ｂ），
（Ｃ）からの出力信号をM.P.U31により微分したもので
ある。
第３図のM.P.U31はこの微分信号から信号が急峻に変
化している端部（所謂エッジ）を検出する。そして第１
のエッジが正か負かを調べている。そしてもし第１のエ
ッジが正であるなら第４図（Ｂ），（Ｅ）に示すように
第１プルキニエ像と瞳孔のエッジが重なっているので判
別手段により重なっていると判断し、その処理のルーチ
ンに移行する。又第１のエッジが負のエッジであったな
ら次にM.P.U31はカメラ内の露出値の情報より瞳孔径、
即ちもう一方の瞳孔のエッジの位置を推定する。そして
推定した位置付近で信号のエッジをさがし、このさがし
あてたエッジの絶対値と符号を第１のエッジと比較す
る。もし絶対値がほぼ等しく符号が正（第１のエッジを
逆）であったなら、これはもう一方の瞳孔のエッジであ
るので判別手段により第１プルキニエ像と瞳孔のエッジ
は重なっていないと判断し、視線検出のルーチンへ移
る。これ以外の場合は第１プルキニエ像と瞳孔のエッジ
が重なっていると判断し、その処理のルーチンへ移る。
化している端部（所謂エッジ）を検出する。そして第１
のエッジが正か負かを調べている。そしてもし第１のエ
ッジが正であるなら第４図（Ｂ），（Ｅ）に示すように
第１プルキニエ像と瞳孔のエッジが重なっているので判
別手段により重なっていると判断し、その処理のルーチ
ンに移行する。又第１のエッジが負のエッジであったな
ら次にM.P.U31はカメラ内の露出値の情報より瞳孔径、
即ちもう一方の瞳孔のエッジの位置を推定する。そして
推定した位置付近で信号のエッジをさがし、このさがし
あてたエッジの絶対値と符号を第１のエッジと比較す
る。もし絶対値がほぼ等しく符号が正（第１のエッジを
逆）であったなら、これはもう一方の瞳孔のエッジであ
るので判別手段により第１プルキニエ像と瞳孔のエッジ
は重なっていないと判断し、視線検出のルーチンへ移
る。これ以外の場合は第１プルキニエ像と瞳孔のエッジ
が重なっていると判断し、その処理のルーチンへ移る。
第１プルキニエ像を瞳孔のエッジが重なった場合は、
まず第１プルキニエ像の位置についての情報のみをメモ
リーに記憶する。次に光源（以下「投光素子」ともい
う。）オフの状態、即ちその第１プルキニエ像のできな
い状態で瞳孔のエッジの位置の情報を記憶する。そして
視線検出のルーチンへ移行し、記憶した第１プルキニエ
像の位置情報と瞳孔のエッジの位置の情報を用いて視線
を検出する。
まず第１プルキニエ像の位置についての情報のみをメモ
リーに記憶する。次に光源（以下「投光素子」ともい
う。）オフの状態、即ちその第１プルキニエ像のできな
い状態で瞳孔のエッジの位置の情報を記憶する。そして
視線検出のルーチンへ移行し、記憶した第１プルキニエ
像の位置情報と瞳孔のエッジの位置の情報を用いて視線
を検出する。
尚、投光素子をオフした際には虹彩領域を有効に照明
するための補助光源4a,4bによって眼球は照明される。
この２つの補助光源4a,4bはその第１プルキニエ像がこ
のとき（投光素子４による第１プルキニエ像が瞳孔エッ
ジに重なっているとき）は瞳孔のエッジに重ならない様
に配設されている。
するための補助光源4a,4bによって眼球は照明される。
この２つの補助光源4a,4bはその第１プルキニエ像がこ
のとき（投光素子４による第１プルキニエ像が瞳孔エッ
ジに重なっているとき）は瞳孔のエッジに重ならない様
に配設されている。
尚、本発明において第１プルキニエ像と瞳孔のエッジ
が重なった場合の処理としては前記の他に例えば次の２
つの調整手段が適用可能である。
が重なった場合の処理としては前記の他に例えば次の２
つの調整手段が適用可能である。
第１は新たな光源を用いて眼球への照明光方向を変え
ることにより第１プルキニエ像のイメージセンサ上に出
来る位置を変える方法である。即ち第５図に示すように
光源４の投光方向とは異なる方向から照明光を放射する
ようにした光源５を用いて眼球101を照明する。そして
第１プルキニエ像の形成位置を位置ｄより位置ｅに変え
ている。これによりイメージセンサ９面上に形成される
第１プルキニエ像の位置を点ｄ′より点ｅ′へと変えて
いる。
ることにより第１プルキニエ像のイメージセンサ上に出
来る位置を変える方法である。即ち第５図に示すように
光源４の投光方向とは異なる方向から照明光を放射する
ようにした光源５を用いて眼球101を照明する。そして
第１プルキニエ像の形成位置を位置ｄより位置ｅに変え
ている。これによりイメージセンサ９面上に形成される
第１プルキニエ像の位置を点ｄ′より点ｅ′へと変えて
いる。
第２は光量制御手段を用いてファインダー系の通過光
量を制限することにより、例えばNDフィルターを挿入す
ることにより瞳孔径を変化させて両者が重なるのを防ぐ
方法がある。前述の如く標準的なケースでは瞳孔径が２
〜3mmと小さいときに両者が重なる。従って例えば第６
図に示すように可動部材を用いてファインダー系の光路
中にNDフィルター13を挿入することにより観察者の瞳孔
径を拡げ、両者が重なるのを防止している。
量を制限することにより、例えばNDフィルターを挿入す
ることにより瞳孔径を変化させて両者が重なるのを防ぐ
方法がある。前述の如く標準的なケースでは瞳孔径が２
〜3mmと小さいときに両者が重なる。従って例えば第６
図に示すように可動部材を用いてファインダー系の光路
中にNDフィルター13を挿入することにより観察者の瞳孔
径を拡げ、両者が重なるのを防止している。
第６図において観察者は例えば撮影レンズ４によって
形成されたピント板14a上の被写体像をNDフィルター13
を赤外反射で可視光透過のダイクロイックミラー12を介
して観察している。
形成されたピント板14a上の被写体像をNDフィルター13
を赤外反射で可視光透過のダイクロイックミラー12を介
して観察している。
一方、光源４からの光束を投光レンズ６によりハーフ
ミラー10とダイクロイックミラー12を介して眼球101の
角膜１面上を照射している。そして瞳孔102の端部（エ
ッジ）a,bと第１プルキニエ像ｄをダイクロイックミラ
ー12とハーフミラー10を介して受光レンズ７でイメージ
センサ９面上に結像している。
ミラー10とダイクロイックミラー12を介して眼球101の
角膜１面上を照射している。そして瞳孔102の端部（エ
ッジ）a,bと第１プルキニエ像ｄをダイクロイックミラ
ー12とハーフミラー10を介して受光レンズ７でイメージ
センサ９面上に結像している。
この他、光量制御手段としてNDフィルターを挿入する
代わりに電気的に透過率を連続的に制御することができ
るエレクトロ・クロミック素子（ECD）を用いて同様に
ファインダー系の透過率、即ち明るさを制御する方法も
有効である。これによれば連続的にファインダー系の明
るさを制御することが出来、暗すぎてファインダー像が
見づらくなったりすることもなく、常に瞳孔径を適当な
大きさにすることができる為、好ましい。更にNDフィル
ターを挿入しないときのNDフィルターの退避スペースが
不要となることからスペース的にも有利である。
代わりに電気的に透過率を連続的に制御することができ
るエレクトロ・クロミック素子（ECD）を用いて同様に
ファインダー系の透過率、即ち明るさを制御する方法も
有効である。これによれば連続的にファインダー系の明
るさを制御することが出来、暗すぎてファインダー像が
見づらくなったりすることもなく、常に瞳孔径を適当な
大きさにすることができる為、好ましい。更にNDフィル
ターを挿入しないときのNDフィルターの退避スペースが
不要となることからスペース的にも有利である。
尚、以上の各実施例において光源からの光束を眼球に
対して投光する時間は眼球の保護の観点から短いことが
望ましい。本発明においてもデータを読み込んだ直後に
投光素子をオフし、なるべく投光時間が短くなるように
している。又、イメージセンサからの出力信号を微分
し、その微分信号により瞳孔と虹彩のエッジを検出し第
１プルキニエ像と重なっているかを判断しているが、瞳
孔と虹彩のエッジの検出方法はこれに限らない。例えば
瞳孔（虹彩）の標準反射率がわかっているので、これを
利用し強度一定の光を投光することでその受光光量より
検出する方法等も適用可能である。
対して投光する時間は眼球の保護の観点から短いことが
望ましい。本発明においてもデータを読み込んだ直後に
投光素子をオフし、なるべく投光時間が短くなるように
している。又、イメージセンサからの出力信号を微分
し、その微分信号により瞳孔と虹彩のエッジを検出し第
１プルキニエ像と重なっているかを判断しているが、瞳
孔と虹彩のエッジの検出方法はこれに限らない。例えば
瞳孔（虹彩）の標準反射率がわかっているので、これを
利用し強度一定の光を投光することでその受光光量より
検出する方法等も適用可能である。
第７図に本発明に係る視線検出方法の第２実施例のフ
ローチャートを示す。第２実施例においては観察者が観
察しているカメラ等において、該カメラに設けた露光値
の情報より観察者の瞳孔径を推測し、その値を所定値Ｒ
と比較する。このときの所定値Ｒはこの値より瞳孔径が
大きいときは第１プルキニエ像と瞳孔のエッジが重なる
ことがないように定められた値である。標準的な状態
（瞳孔径が２〜8mmの間で変化し、視線の回転角が最大
±10゜）では、この所定値Ｒは4mm程度となる。比較し
た結果、推測した瞳孔径が所定値Ｒより大きければ第１
プルキニエ像と瞳孔のエッジは重なっていないと判断
し、投光素子をオンしデータを読み込み、視線検出のル
ーチンへ移行する。このように始めに推測した瞳孔径と
所定値を比較することにより、瞳孔径が大きくなる比較
的暗い場合の判断を速めることを可能としている。
ローチャートを示す。第２実施例においては観察者が観
察しているカメラ等において、該カメラに設けた露光値
の情報より観察者の瞳孔径を推測し、その値を所定値Ｒ
と比較する。このときの所定値Ｒはこの値より瞳孔径が
大きいときは第１プルキニエ像と瞳孔のエッジが重なる
ことがないように定められた値である。標準的な状態
（瞳孔径が２〜8mmの間で変化し、視線の回転角が最大
±10゜）では、この所定値Ｒは4mm程度となる。比較し
た結果、推測した瞳孔径が所定値Ｒより大きければ第１
プルキニエ像と瞳孔のエッジは重なっていないと判断
し、投光素子をオンしデータを読み込み、視線検出のル
ーチンへ移行する。このように始めに推測した瞳孔径と
所定値を比較することにより、瞳孔径が大きくなる比較
的暗い場合の判断を速めることを可能としている。
一方、推測した瞳孔径が所定値Ｒより小さい場合は、
まず投光素子をオンしデータを読み込みその信号を微分
する。そしてその微分信号からエッジと検出する。次に
第１のエッジの正負を調べ、もし正であるなら第１プル
キニエ像と瞳孔のエッジが重なっていると判断し、その
処理のルーチンへ移る。第１のエッジが負の場合には推
定された瞳孔径よりもう一方の瞳孔のエッジの位置を予
測し、その予測した位置付近の信号のエッジの絶対値と
符号を第１のエッジと比較する。その結果、絶対値がほ
ぼ等しく符号が逆であったならば第１プルキニエ像と瞳
孔のエッジは重なっていないと判断し、視線検出のルー
チンへ移る。これ以外の場合は両者が重なっていると判
断し、その処理のルーチンへ移る。第１プルキニエ像と
瞳孔のエッジが重なった場合には前述した第１の実施例
と同様な方法により視線検出に必要な位置情報を求め
る。
まず投光素子をオンしデータを読み込みその信号を微分
する。そしてその微分信号からエッジと検出する。次に
第１のエッジの正負を調べ、もし正であるなら第１プル
キニエ像と瞳孔のエッジが重なっていると判断し、その
処理のルーチンへ移る。第１のエッジが負の場合には推
定された瞳孔径よりもう一方の瞳孔のエッジの位置を予
測し、その予測した位置付近の信号のエッジの絶対値と
符号を第１のエッジと比較する。その結果、絶対値がほ
ぼ等しく符号が逆であったならば第１プルキニエ像と瞳
孔のエッジは重なっていないと判断し、視線検出のルー
チンへ移る。これ以外の場合は両者が重なっていると判
断し、その処理のルーチンへ移る。第１プルキニエ像と
瞳孔のエッジが重なった場合には前述した第１の実施例
と同様な方法により視線検出に必要な位置情報を求め
る。
以上の各実施例においては第１プルキニエ像と瞳孔の
エッジが重なっているか否かを判別手段により判断し、
重なっていると判断されたのち瞳孔のエッジを検出する
ための処理を行なっているが、この様な判断をせず直接
に瞳孔のエッジを検出するための処理を行なっても同様
の効果を得ることができる。
エッジが重なっているか否かを判別手段により判断し、
重なっていると判断されたのち瞳孔のエッジを検出する
ための処理を行なっているが、この様な判断をせず直接
に瞳孔のエッジを検出するための処理を行なっても同様
の効果を得ることができる。
第８図はこのときの一実施例の動作を示すフローチャ
ートである。
ートである。
第８図（Ａ）の例はまず投光素子をオンの状態にし第
１プルキニエ像の位置の情報を記憶手段に記憶する。次
に投光素子をオフし瞳孔のエッジの位置情報をイメージ
センサより求め記憶手段に記憶する。このとき眼球は虹
彩領域を有効に照明する投光素子によって照明されてい
る。その後、視線検出のルーチンに移り視線が検出され
る。尚、このとき投光素子のオン・オフの順序を変えて
も同様の効果が得られる。
１プルキニエ像の位置の情報を記憶手段に記憶する。次
に投光素子をオフし瞳孔のエッジの位置情報をイメージ
センサより求め記憶手段に記憶する。このとき眼球は虹
彩領域を有効に照明する投光素子によって照明されてい
る。その後、視線検出のルーチンに移り視線が検出され
る。尚、このとき投光素子のオン・オフの順序を変えて
も同様の効果が得られる。
第８図（Ｂ）の例はまず投光素子をオンの状態にして
第１プルキニエ像の位置の情報を記憶手段に記憶し、次
にカメラ内の露出値の情報より推定される瞳孔径を所定
値と比較し所定値より大きければオン状態を維持し瞳孔
のエッジの位置を求め、その情報を記憶する。又小さけ
れば例えば投光素子の投光方向を変え、瞳孔のエッジの
位置を求め、その情報を記憶手段に記憶する。そしてそ
の後、視線検出ルーチンへ進む。
第１プルキニエ像の位置の情報を記憶手段に記憶し、次
にカメラ内の露出値の情報より推定される瞳孔径を所定
値と比較し所定値より大きければオン状態を維持し瞳孔
のエッジの位置を求め、その情報を記憶する。又小さけ
れば例えば投光素子の投光方向を変え、瞳孔のエッジの
位置を求め、その情報を記憶手段に記憶する。そしてそ
の後、視線検出ルーチンへ進む。
第８図（Ｃ）の例は、まずカメラ内の露出値情報から
推定される瞳孔径と所定値を比べ小さければファインダ
ー系に例えばNDフィルターを挿入する。その後、投光素
子をオンし第１プルキニエ像と瞳孔のエッジの位置を求
め、その情報を記憶手段に記憶し、視線検出のルーチン
へ移る。
推定される瞳孔径と所定値を比べ小さければファインダ
ー系に例えばNDフィルターを挿入する。その後、投光素
子をオンし第１プルキニエ像と瞳孔のエッジの位置を求
め、その情報を記憶手段に記憶し、視線検出のルーチン
へ移る。
（発明の効果） 本発明によれば判別手段により第１プルキニエ像を瞳
孔のエッジが重なっているか否かを判断し、重なってい
る場合には調整手段により前述のような手段のうちから
１つを選択し、瞳孔の端部（エッジ）を求めることによ
り被検者がカメラの様な種々の明るさの中で観察してい
る場合であっても常に瞳孔の端部の高精度な検出が可能
となり、常に高精度な視線検出ができる視線検出方法や
視線検出装置を達成することができる。
孔のエッジが重なっているか否かを判断し、重なってい
る場合には調整手段により前述のような手段のうちから
１つを選択し、瞳孔の端部（エッジ）を求めることによ
り被検者がカメラの様な種々の明るさの中で観察してい
る場合であっても常に瞳孔の端部の高精度な検出が可能
となり、常に高精度な視線検出ができる視線検出方法や
視線検出装置を達成することができる。
第１図は本発明の一実施例の光学系の要部概略図、第2,
第3,第４図は各々本発明の動作を示すフローチャートと
イメージセンサからの出力信号の説明図、第5,第６図は
本発明の他の一実施例の光学系の要部概略図、第７図，
第８図は各々本発明の動作を示す他の実施例のフローチ
ャート、第９図は従来の視線検出装置の概略図である。 図中、101は眼球、102は瞳孔、103は判別手段、１は角
膜、３は強膜、３は虹彩、4,5は光源、4a,4bは補助光
源、６は投光レンズ、７は受光レンズ、９はイメージセ
ンサ、10はハーフミラー、11は演算手段である。
第3,第４図は各々本発明の動作を示すフローチャートと
イメージセンサからの出力信号の説明図、第5,第６図は
本発明の他の一実施例の光学系の要部概略図、第７図，
第８図は各々本発明の動作を示す他の実施例のフローチ
ャート、第９図は従来の視線検出装置の概略図である。 図中、101は眼球、102は瞳孔、103は判別手段、１は角
膜、３は強膜、３は虹彩、4,5は光源、4a,4bは補助光
源、６は投光レンズ、７は受光レンズ、９はイメージセ
ンサ、10はハーフミラー、11は演算手段である。
Claims (5)
- 【請求項１】光源からの光束を被験者の眼球の角膜に照
射し、このとき形成される第１プルキニエ像と該眼球の
瞳孔の端部とを検出手段の検出面上に形成し、該検出面
上の該第１プルキニエ像と該瞳孔の端部とが重なり合っ
ているか否かを判別手段により判別し、該判別手段によ
り重なり合っているとの判別がなされたときは調整手段
により該瞳孔の端部が該第１プルキニエ像と分離して該
検出手段で検出できるように調整した後、該検出手段か
ら得られる該第１プルキニエ像に関する信号と該瞳孔の
端部に関する信号とを利用して該被検者の視線を求めた
ことを特徴とする視線検出方法。 - 【請求項２】光源からの光束を被検者の眼球の角膜に照
射し、このとき形成される第１プルキニエ像と該眼球の
瞳孔の端部とを検出手段により検出し、該検出手段から
の出力信号を利用して該被検者の視線を求める際、該検
出面上に形成される該第１プルキニエ像と該瞳孔の端部
とが重なり合っているか否かを判別手段により判別し、
該判別手段からの出力信号に応じて調整手段により該瞳
孔の端部が該第１プルキニエ像と分離して該検出手段で
検出されるようにしたことを特徴とする視線検出装置。 - 【請求項３】前記調整手段を前記光源からの光束が前記
被検者の眼球に入射するのを防止するようにした遮蔽手
段又は該光源をオフし補助光源をオンするようにした手
段より構成したことを特徴とする請求項１記載の視線検
出方法又は請求項２記載の視線検出装置。 - 【請求項４】前記調整手段を前記光源をオフし、他の照
射用光源をオンさせて構成したことを特徴とする請求項
１記載の視線検出方法又は請求項２記載の視線検出装
置。 - 【請求項５】前記調整手段を前記被検者の眼球に入射す
る光量を制御する光量制御手段より構成し、前記光源と
該被検者の眼球との間の光路中の配置したことを特徴と
する請求項１記載の視線検出方法又は請求項２記載の視
線検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1034716A JP2754663B2 (ja) | 1989-02-14 | 1989-02-14 | 視線検出方法及び視線検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1034716A JP2754663B2 (ja) | 1989-02-14 | 1989-02-14 | 視線検出方法及び視線検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02213322A JPH02213322A (ja) | 1990-08-24 |
| JP2754663B2 true JP2754663B2 (ja) | 1998-05-20 |
Family
ID=12422061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1034716A Expired - Fee Related JP2754663B2 (ja) | 1989-02-14 | 1989-02-14 | 視線検出方法及び視線検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2754663B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5182443A (en) * | 1990-09-29 | 1993-01-26 | Canon Kabushiki Kaisha | Optical apparatus having visual axis detector and determining whether eyeglasses are worn |
| JP3297481B2 (ja) * | 1992-10-29 | 2002-07-02 | キヤノン株式会社 | 視線検出装置 |
| ES2300193B1 (es) * | 2006-07-06 | 2009-05-08 | Universidad De Murcia | Procedimiento para la medida en vivo del alineamiento de los componentes opticos del ojo y dispositivo para la puesta en practica del mismo. |
| JP5529660B2 (ja) | 2010-07-20 | 2014-06-25 | パナソニック株式会社 | 瞳孔検出装置及び瞳孔検出方法 |
-
1989
- 1989-02-14 JP JP1034716A patent/JP2754663B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02213322A (ja) | 1990-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5182443A (en) | Optical apparatus having visual axis detector and determining whether eyeglasses are worn | |
| US5225862A (en) | Visual axis detector using plural reflected image of a light source | |
| US5036347A (en) | Visual line detecting device and camera having the same | |
| US5386258A (en) | Optical apparatus having a visual axis direction detecting device | |
| US6074063A (en) | Ophthalmic apparatus for photographing an anterior part of an eye | |
| US5983030A (en) | Optical apparatus having a visual axis detector | |
| JP2939988B2 (ja) | 視線検出装置 | |
| JP2676870B2 (ja) | 注視点検出手段を有した光学装置 | |
| JPH0323431A (ja) | 視線検出手段を有した機器 | |
| JP2754663B2 (ja) | 視線検出方法及び視線検出装置 | |
| US5402199A (en) | Visual axis detecting apparatus | |
| JPH08322797A (ja) | 視線検出装置 | |
| US5963366A (en) | Focus detection unit and microscope using the focus detection unit | |
| JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
| JPH01277533A (ja) | 視線検出装置 | |
| JP2911125B2 (ja) | 視線検出装置 | |
| JP2939982B2 (ja) | 視線検出装置 | |
| JP2964495B2 (ja) | 視線検出装置及びカメラ | |
| JP3194790B2 (ja) | 視線方向検出装置 | |
| US5619739A (en) | Diopter correcting apparatus | |
| JP3134320B2 (ja) | 視線検出装置 | |
| JP2995878B2 (ja) | 視線検出装置を有した光学装置 | |
| JP2995739B2 (ja) | 視線検出装置 | |
| JP2939990B2 (ja) | 視線検出装置 | |
| JPH0686757A (ja) | 画像信号検出方法及びそれを用いた視線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |