JPH06269412A - 視線検出装置及びそれを有した光学装置 - Google Patents
視線検出装置及びそれを有した光学装置Info
- Publication number
- JPH06269412A JPH06269412A JP5085679A JP8567993A JPH06269412A JP H06269412 A JPH06269412 A JP H06269412A JP 5085679 A JP5085679 A JP 5085679A JP 8567993 A JP8567993 A JP 8567993A JP H06269412 A JPH06269412 A JP H06269412A
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- line
- sight
- reflection image
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Automatic Focus Adjustment (AREA)
- Eye Examination Apparatus (AREA)
- Viewfinders (AREA)
Abstract
(57)【要約】
【目的】 眼球の視線を高精度に検出することができる
視線検出装置及びそれを有した光学装置を得ること。 【構成】 観察者の眼球を照明手段により照明し、該眼
球の角膜反射像と虹彩反射像を受光手段で検出し、該受
光手段からの各反射像の位置情報を利用して演算手段に
より該眼球の視線を算出する際、該照明手段は複数の光
源を有し、該複数の光源を交互に点灯、及び消灯させる
ことにより、該眼球の角膜反射像と虹彩反射像の位置情
報を求めていること。
視線検出装置及びそれを有した光学装置を得ること。 【構成】 観察者の眼球を照明手段により照明し、該眼
球の角膜反射像と虹彩反射像を受光手段で検出し、該受
光手段からの各反射像の位置情報を利用して演算手段に
より該眼球の視線を算出する際、該照明手段は複数の光
源を有し、該複数の光源を交互に点灯、及び消灯させる
ことにより、該眼球の角膜反射像と虹彩反射像の位置情
報を求めていること。
Description
【0001】
【産業上の利用分野】本発明は視線検出装置及びそれを
有した光学装置に関し、特に撮影系による被写体像が形
成されている観察面(ピント面)上のファインダー系を
介して観察者(撮影者)が観察している注視点方向の
軸、所謂視線(視軸)を観察者の眼球面上を照明した時
に得られる眼球の反射像を利用して検出するようにした
視線検出装置及びそれを有した光学装置に関するもので
ある。
有した光学装置に関し、特に撮影系による被写体像が形
成されている観察面(ピント面)上のファインダー系を
介して観察者(撮影者)が観察している注視点方向の
軸、所謂視線(視軸)を観察者の眼球面上を照明した時
に得られる眼球の反射像を利用して検出するようにした
視線検出装置及びそれを有した光学装置に関するもので
ある。
【0002】
【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、所謂視線(視軸)を検出す
る装置(例えばアイカメラ)が種々提供されている。
観察しているかを検出する、所謂視線(視軸)を検出す
る装置(例えばアイカメラ)が種々提供されている。
【0003】例えば特開昭61−172552号公報
や、特開平1−274736号公報等においては光源か
らの平行光束を観察者の眼球の前眼部へ投射し、角膜か
らの反射光による角膜反射像と瞳孔の結像位置を利用し
て視軸を求めている。
や、特開平1−274736号公報等においては光源か
らの平行光束を観察者の眼球の前眼部へ投射し、角膜か
らの反射光による角膜反射像と瞳孔の結像位置を利用し
て視軸を求めている。
【0004】又、本出願人は特開平3−11492号公
報において観察者の視線の個人差を補正する視線のキャ
リブレーションを行った視線検出装置を有した光学装置
を提案している。
報において観察者の視線の個人差を補正する視線のキャ
リブレーションを行った視線検出装置を有した光学装置
を提案している。
【0005】
(1−1)一般に眼球の視線検出においては角膜反射像
と瞳孔エッジとの位置情報を用いる為に、これらの位置
情報を高精度に検出することが検出精度を向上させるの
に重要となってくる。
と瞳孔エッジとの位置情報を用いる為に、これらの位置
情報を高精度に検出することが検出精度を向上させるの
に重要となってくる。
【0006】本発明の第1の目的は、角膜反射像と瞳孔
エッジの位置情報を適切に設定した光源を用いることに
より高精度に検出し、常に眼球の視線を高精度に検出す
ることができる視線検出装置の提供にある。
エッジの位置情報を適切に設定した光源を用いることに
より高精度に検出し、常に眼球の視線を高精度に検出す
ることができる視線検出装置の提供にある。
【0007】(1−2)観察者の瞳孔は周囲の明るさで
変化する。観察者の瞳孔径が変化すると注視点も変化し
てしまい、精度の高い視線検出ができなくなってくる。
変化する。観察者の瞳孔径が変化すると注視点も変化し
てしまい、精度の高い視線検出ができなくなってくる。
【0008】本発明の第2の目的は、観察者の瞳孔径を
適切に設定したEVF画面輝度調整手段を用いることに
より調整し、観察者の視線を高精度に検出することがで
きる視線検出装置を有した光学装置の提供にある。
適切に設定したEVF画面輝度調整手段を用いることに
より調整し、観察者の視線を高精度に検出することがで
きる視線検出装置を有した光学装置の提供にある。
【0009】(1−3)眼球の角膜反射像や虹彩反射像
を検出する際、眼球が均一に照明されていないと、これ
らの反射像の位置情報を検出する際に誤差となり視線検
出精度が低下してくる。
を検出する際、眼球が均一に照明されていないと、これ
らの反射像の位置情報を検出する際に誤差となり視線検
出精度が低下してくる。
【0010】本発明の第3の目的は、眼球全体を拡散光
束で照明する拡散光源を用いることにより眼球を均一照
明し、眼球からの反射像の位置情報の検出誤差を少なく
し、高精度の視線検出が可能な視線検出装置の提供にあ
る。
束で照明する拡散光源を用いることにより眼球を均一照
明し、眼球からの反射像の位置情報の検出誤差を少なく
し、高精度の視線検出が可能な視線検出装置の提供にあ
る。
【0011】(1−4)視線検出を行うには多くの光学
要素を必要とする為に、装置全体が複雑化する傾向があ
る。
要素を必要とする為に、装置全体が複雑化する傾向があ
る。
【0012】本発明の第4の目的は、各光学要素を適切
に設定することにより少ない光学要素で視線を高精度に
検出することができる視線検出装置を有した光学装置の
提供にある。
に設定することにより少ない光学要素で視線を高精度に
検出することができる視線検出装置を有した光学装置の
提供にある。
【0013】
【課題を解決する為の手段】本発明の視線検出装置は、 (2−1)観察者の眼球を照明手段により照明し、該眼
球の角膜反射像と虹彩反射像を受光手段で検出し、該受
光手段からの各反射像の位置情報を利用して演算手段に
より該眼球の視線を算出する際、該照明手段は複数の光
源を有し、該複数の光源を交互に点灯、及び消灯させる
ことにより、該眼球の角膜反射像と虹彩反射像の位置情
報を求めていることを特徴としている。
球の角膜反射像と虹彩反射像を受光手段で検出し、該受
光手段からの各反射像の位置情報を利用して演算手段に
より該眼球の視線を算出する際、該照明手段は複数の光
源を有し、該複数の光源を交互に点灯、及び消灯させる
ことにより、該眼球の角膜反射像と虹彩反射像の位置情
報を求めていることを特徴としている。
【0014】(2−2)観察者の眼球を照明手段により
照明し、該眼球の角膜反射像と虹彩反射像を受光手段で
検出し、該受光手段からの各反射像の位置情報を利用し
て該眼球の視線を検出する際、該照明手段は角膜反射像
を得る為の第1光源と該第1光源に対して独立に該眼球
を拡散照明する拡散光源とを有し、これらの光源を利用
して視線検出を行っていることを特徴としている。
照明し、該眼球の角膜反射像と虹彩反射像を受光手段で
検出し、該受光手段からの各反射像の位置情報を利用し
て該眼球の視線を検出する際、該照明手段は角膜反射像
を得る為の第1光源と該第1光源に対して独立に該眼球
を拡散照明する拡散光源とを有し、これらの光源を利用
して視線検出を行っていることを特徴としている。
【0015】本発明の視線検出装置を有した光学装置
は、 (2−3)ファインダー系を覗く観察者の眼球の光軸の
回転角を検出し、該回転角から観察者の視線を検出する
際、該眼球の個人差による視線の検出誤差をファインダ
ー視野の輝度レベルを調整することにより得られた視線
補正データを用いて補正していることを特徴としてい
る。
は、 (2−3)ファインダー系を覗く観察者の眼球の光軸の
回転角を検出し、該回転角から観察者の視線を検出する
際、該眼球の個人差による視線の検出誤差をファインダ
ー視野の輝度レベルを調整することにより得られた視線
補正データを用いて補正していることを特徴としてい
る。
【0016】特に、前記ファインダー視野の輝度レベル
をファインダー系の一部に設けた補助照明手段を利用し
て調整していることを特徴としている。
をファインダー系の一部に設けた補助照明手段を利用し
て調整していることを特徴としている。
【0017】(2−4)ファインダー系を覗く観察者の
眼球を照明手段からの光束で照明し、該眼球の角膜反射
像を受光手段で検出し、該受光手段からの角膜反射像の
位置情報を利用して該眼球の視線を検出する際、該照明
手段は該ファインダー系の接眼レンズの焦点位置に該角
膜反射像を得る為の光源を配置していることを特徴とし
ている。
眼球を照明手段からの光束で照明し、該眼球の角膜反射
像を受光手段で検出し、該受光手段からの角膜反射像の
位置情報を利用して該眼球の視線を検出する際、該照明
手段は該ファインダー系の接眼レンズの焦点位置に該角
膜反射像を得る為の光源を配置していることを特徴とし
ている。
【0018】
【実施例】図1(A),(B)は本発明に係る視線検出
方法の原理を示す要部上面図と要部側面図である。
方法の原理を示す要部上面図と要部側面図である。
【0019】同図において13a,13bは各々観察者
に対して不感の赤外光を放射する照明手段としての発光
ダイオード(IRED)等の光源であり、各光源13
a,13bは受光レンズ12の光軸に対してx方向に略
対称に配置され、観察者の眼球15を発散照明してい
る。眼球15で反射した照明光の一部は受光レンズ12
によって受光手段としてのイメージセンサー14に集光
する。
に対して不感の赤外光を放射する照明手段としての発光
ダイオード(IRED)等の光源であり、各光源13
a,13bは受光レンズ12の光軸に対してx方向に略
対称に配置され、観察者の眼球15を発散照明してい
る。眼球15で反射した照明光の一部は受光レンズ12
によって受光手段としてのイメージセンサー14に集光
する。
【0020】光源13a,13bは後述するように交互
に点灯させて角膜反射像d,eや虹彩反射像(「瞳孔エ
ッジ」とも言う)a,bの位置情報の検出を行ってい
る。
に点灯させて角膜反射像d,eや虹彩反射像(「瞳孔エ
ッジ」とも言う)a,bの位置情報の検出を行ってい
る。
【0021】図2(A)はイメージセンサー14に投影
される眼球像の概略図、図2(B)は図1のイメージセ
ンサー14からの出力信号の強度図である。
される眼球像の概略図、図2(B)は図1のイメージセ
ンサー14からの出力信号の強度図である。
【0022】図3は本発明に係る視線検出装置をビデオ
カメラ等の光学装置に適用した時の要部概略図、図4は
図3のファインダー系の一部を示す斜視図である。図4
において4はビューファインダー部、5はEVF画面を
示している。
カメラ等の光学装置に適用した時の要部概略図、図4は
図3のファインダー系の一部を示す斜視図である。図4
において4はビューファインダー部、5はEVF画面を
示している。
【0023】以下、各図を用いて眼球の視線の検出方法
を説明する。
を説明する。
【0024】光源13bより放射された赤外光は、観察
者の眼球15の角膜16を照明する。この時、角膜16
の表面で反射した赤外光の一部により形成される角膜反
射像d(虚像)は受光レンズ12により集光され、イメ
ージセンサー14上の位置d′に結像する。
者の眼球15の角膜16を照明する。この時、角膜16
の表面で反射した赤外光の一部により形成される角膜反
射像d(虚像)は受光レンズ12により集光され、イメ
ージセンサー14上の位置d′に結像する。
【0025】同様に光源13aより放射された赤外光は
眼球15の角膜16を照明する。この時、角膜16の表
面で反射した赤外光の一部により形成された角膜反射像
eは受光レンズ12により集光され、イメージセンサー
14上の位置e′に結像する。又、虹彩17の端部a,
b(瞳孔エッジ)からの光束は受光レンズ12を介して
イメージセンサー14上の位置a′,b′に該端部a,
bの像を結像する。
眼球15の角膜16を照明する。この時、角膜16の表
面で反射した赤外光の一部により形成された角膜反射像
eは受光レンズ12により集光され、イメージセンサー
14上の位置e′に結像する。又、虹彩17の端部a,
b(瞳孔エッジ)からの光束は受光レンズ12を介して
イメージセンサー14上の位置a′,b′に該端部a,
bの像を結像する。
【0026】受光レンズ12の光軸に対する眼球15の
光軸の回転角θが小さい場合、虹彩17の端部a,bの
x座標をxa,xbとすると、瞳孔19の中心位置cの
座標xcは、 xc≒(xa+xb)/2 と表される。
光軸の回転角θが小さい場合、虹彩17の端部a,bの
x座標をxa,xbとすると、瞳孔19の中心位置cの
座標xcは、 xc≒(xa+xb)/2 と表される。
【0027】又、角膜反射像d及びeの中点のx座標と
角膜16の曲率中心Oのx座標xOと略一致する。この
為、角膜反射像の発生位置d,eのx座標をxd,x
e、角膜16の曲率中心Oと瞳孔19の中心cまでの標
準的な距離をOcとし、距離Ocに対する個人差を考慮
する係数(視線補正係数)をAとすると、眼球15の光
軸15aの回転角θは、 (A*Oc)*sin θ≒xc−(xd+xe)/2 ‥‥‥(1) の関係式を略満足する。
角膜16の曲率中心Oのx座標xOと略一致する。この
為、角膜反射像の発生位置d,eのx座標をxd,x
e、角膜16の曲率中心Oと瞳孔19の中心cまでの標
準的な距離をOcとし、距離Ocに対する個人差を考慮
する係数(視線補正係数)をAとすると、眼球15の光
軸15aの回転角θは、 (A*Oc)*sin θ≒xc−(xd+xe)/2 ‥‥‥(1) の関係式を略満足する。
【0028】この為、図2に示したようにイメージセン
サー14上に投影された眼球15の各特徴点(角膜反射
像d,e及び虹彩の端部a,b)の位置を検出すること
により眼球15の光軸15aの回転角θを求めることが
できる。
サー14上に投影された眼球15の各特徴点(角膜反射
像d,e及び虹彩の端部a,b)の位置を検出すること
により眼球15の光軸15aの回転角θを求めることが
できる。
【0029】この時(1)式は、 β*(A*Oc)*sin θ≒(xa′+xb′)/2−(xd′+xe′)/2 ‥‥‥(2) と書き換えられる。但し、βは受光レンズ12に対する
眼球15の位置により決まる倍率で、実質的には角膜反
射像d,eの間隔|xd′−xe′|の関数として求め
られる。
眼球15の位置により決まる倍率で、実質的には角膜反
射像d,eの間隔|xd′−xe′|の関数として求め
られる。
【0030】眼球15の光軸の回転角θは、 θ≒arcsin{(xc′−xf′)/β/(A*Oc)} ‥‥‥(3) と書き換えられる。但し、 xc′≒(xa′+xb′)/2 xf′≒(xd′+xe′)/2 ところで観察者の眼球15の光軸15aと視軸とは一致
しない為、観察者の眼球の光軸の水平方向の回転角θが
算出されると、眼球の光軸と視軸との角度差αを補正す
ることにより、撮影者の水平方向の視線θxは求められ
る。
しない為、観察者の眼球の光軸の水平方向の回転角θが
算出されると、眼球の光軸と視軸との角度差αを補正す
ることにより、撮影者の水平方向の視線θxは求められ
る。
【0031】眼球の光軸と視軸との補正角度αに対する
個人差を考慮する係数(視線補正係数)をBとすると、
観察者の水平方向の視線θxは θx=θ±(B*α) ‥‥‥(4) と求められる。
個人差を考慮する係数(視線補正係数)をBとすると、
観察者の水平方向の視線θxは θx=θ±(B*α) ‥‥‥(4) と求められる。
【0032】ここで符号±は、観察者に関して右への回
転角を正とすると、観察装置(ファインダー系)を覗く
観察者の眼が左眼の場合は+、右眼の場合は−の符号が
選択される。
転角を正とすると、観察装置(ファインダー系)を覗く
観察者の眼が左眼の場合は+、右眼の場合は−の符号が
選択される。
【0033】又、同図においては観察者の眼球がz−x
平面(例えば水平面)内で回転する例を示しているが、
観察者の眼球がy−z平面(例えば垂直面)内で回転す
る場合においても同様に検出可能である。但し、観察者
の視線の垂直方向の成分は眼球の光軸の垂直方向の成分
θ′と一致する為、垂直方向の視線θyは、 θy=θ′ となる。
平面(例えば水平面)内で回転する例を示しているが、
観察者の眼球がy−z平面(例えば垂直面)内で回転す
る場合においても同様に検出可能である。但し、観察者
の視線の垂直方向の成分は眼球の光軸の垂直方向の成分
θ′と一致する為、垂直方向の視線θyは、 θy=θ′ となる。
【0034】更に、光学装置としてビデオカメラを用い
た場合においては、視線データθx,θyより観察者が
見ているEVF画面5上の位置(xn,yn)は、 xn≒m*θx ≒m*[arcsin{(xc′−xf′)/β/(A*Oc)}±(B*α)] ‥‥‥(5) yn≒m*θy と求められる。但し、mはカメラのファインダー光学系
で決まる定数である。
た場合においては、視線データθx,θyより観察者が
見ているEVF画面5上の位置(xn,yn)は、 xn≒m*θx ≒m*[arcsin{(xc′−xf′)/β/(A*Oc)}±(B*α)] ‥‥‥(5) yn≒m*θy と求められる。但し、mはカメラのファインダー光学系
で決まる定数である。
【0035】ここで視線の個人差を補正する係数はA,
Bと2つである為、例えば観察者に位置の異なる2つの
視標を見てもらい、その時に算出される観察者の眼球の
回転角から前記係数A,Bを求めることが可能である。
Bと2つである為、例えば観察者に位置の異なる2つの
視標を見てもらい、その時に算出される観察者の眼球の
回転角から前記係数A,Bを求めることが可能である。
【0036】又、視線の個人差を補正する係数A,Bは
通常、観察者の眼球の水平方向の回転に対応するもので
ある為、カメラのファインダー内に配設される2つの視
標は観察者に対して水平方向となるように設定されてい
る。
通常、観察者の眼球の水平方向の回転に対応するもので
ある為、カメラのファインダー内に配設される2つの視
標は観察者に対して水平方向となるように設定されてい
る。
【0037】視線の個人差を補正する係数A,Bが求ま
り、(5)式を用いてカメラのファインダー系を覗く観
察者の視線のピント板上の位置が算出されると、その視
線情報をレンズの焦点調節或は露出制御等に利用するこ
とが可能となる。
り、(5)式を用いてカメラのファインダー系を覗く観
察者の視線のピント板上の位置が算出されると、その視
線情報をレンズの焦点調節或は露出制御等に利用するこ
とが可能となる。
【0038】尚、瞳孔中心cの座標を求める際、図2
(A)に示すように瞳孔エッジ19aの座標を多数点ピ
ックアップし、最小自乗法等により、瞳孔中心cの座標
を求めている。
(A)に示すように瞳孔エッジ19aの座標を多数点ピ
ックアップし、最小自乗法等により、瞳孔中心cの座標
を求めている。
【0039】この時、図2(B)より明らかのように、
瞳孔エッジ19aの検出はイメージセンサー14からの
出力波形の立上がりと立下がりを利用している。多くの
場合、実際に視線検出を行うと、角膜反射像e,dのイ
メージセンサー14からの出力は必ずしも鋭い波形にな
るとは限らず、裾野の広がった山のような形状になる場
合がある。この時、角膜反射像e,dが瞳孔エッジ19
aに近い位置にある場合は瞳孔エッジ19aの検出が難
しくなる。
瞳孔エッジ19aの検出はイメージセンサー14からの
出力波形の立上がりと立下がりを利用している。多くの
場合、実際に視線検出を行うと、角膜反射像e,dのイ
メージセンサー14からの出力は必ずしも鋭い波形にな
るとは限らず、裾野の広がった山のような形状になる場
合がある。この時、角膜反射像e,dが瞳孔エッジ19
aに近い位置にある場合は瞳孔エッジ19aの検出が難
しくなる。
【0040】図5(A),(B)はこの時の様子を示し
た眼球像の概略図とイメージセンサー14からの出力強
度図である。
た眼球像の概略図とイメージセンサー14からの出力強
度図である。
【0041】ここで20,21は角膜反射像d,eが瞳
孔エッジ19aに近い為、瞳孔エッジ19aの検出が困
難になってしまった領域であり、瞳孔エッジの検出ポイ
ントが存在しない。この結果、真の瞳孔中心cの算出に
誤差が生じ、真の瞳孔中心cよりずれた位置caを瞳孔
中心として算出してしまう場合がある。
孔エッジ19aに近い為、瞳孔エッジ19aの検出が困
難になってしまった領域であり、瞳孔エッジの検出ポイ
ントが存在しない。この結果、真の瞳孔中心cの算出に
誤差が生じ、真の瞳孔中心cよりずれた位置caを瞳孔
中心として算出してしまう場合がある。
【0042】尚図5(B)は座標xa′,xb′部の出
力が、なだらかになってしまい瞳孔エッジ19aの検出
が困難な様子を示している。
力が、なだらかになってしまい瞳孔エッジ19aの検出
が困難な様子を示している。
【0043】そこで本実施例では複数の光源13a,1
3bを相互に点灯させて、これにより瞳孔エッジ19a
の検出を容易にしている。
3bを相互に点灯させて、これにより瞳孔エッジ19a
の検出を容易にしている。
【0044】次に、この時の動作について図1と図6の
眼球像と図7のフローチャートを用いて説明する。
眼球像と図7のフローチャートを用いて説明する。
【0045】まず図1の左側の光源(IRE)13bを
点灯する(#102)。次にイメージセンサー(CC
D)14の蓄積及び読出を行い(#103)、角膜反射
像eを検出し(#104)、瞳孔の右半分のみ瞳孔エッ
ジを検出する(#105)。
点灯する(#102)。次にイメージセンサー(CC
D)14の蓄積及び読出を行い(#103)、角膜反射
像eを検出し(#104)、瞳孔の右半分のみ瞳孔エッ
ジを検出する(#105)。
【0046】図6(A)はこの時の瞳孔19の様子を示
しており、瞳孔19の右半分のみで瞳孔エッジ19aの
検出を行っている。この為、角膜反射像eに近い瞳孔エ
ッジの検出ポイントは無く、全てのポイントで検出可能
となっている。
しており、瞳孔19の右半分のみで瞳孔エッジ19aの
検出を行っている。この為、角膜反射像eに近い瞳孔エ
ッジの検出ポイントは無く、全てのポイントで検出可能
となっている。
【0047】次に光源13bを消灯し(#106)、光
源13aを点灯する(#107)。更にイメージセンサ
ー14の蓄積・読出を行ない(#108)、角膜反射像
dを検出し(#109)、左半分の瞳孔エッジを検出す
る。
源13aを点灯する(#107)。更にイメージセンサ
ー14の蓄積・読出を行ない(#108)、角膜反射像
dを検出し(#109)、左半分の瞳孔エッジを検出す
る。
【0048】図6(B)はこの時の瞳孔の様子を示して
おり、図6(A)とは逆に、今度は左半分の瞳孔エッジ
を検出している。
おり、図6(A)とは逆に、今度は左半分の瞳孔エッジ
を検出している。
【0049】その後、光源13aを消灯し(#11
0)、ステップ#105,#110で得られた瞳孔エッ
ジの座標より最小自乗法等にて瞳孔中心cを算出する
(#111)。
0)、ステップ#105,#110で得られた瞳孔エッ
ジの座標より最小自乗法等にて瞳孔中心cを算出する
(#111)。
【0050】更に角膜反射像d,eの間隔を算出し(#
112)、眼球距離/結像倍率β等を求める(#11
3)。最後に、前述した計算式より眼球回転角θx,θ
yを算出し(#114)、EVF画面上の視線の座標を
算出する(#115)。そしてメインフローへ戻る(#
116)。
112)、眼球距離/結像倍率β等を求める(#11
3)。最後に、前述した計算式より眼球回転角θx,θ
yを算出し(#114)、EVF画面上の視線の座標を
算出する(#115)。そしてメインフローへ戻る(#
116)。
【0051】ここでステップ#105,#110にて、
右半分及び左半分に限定して瞳孔エッジを検出したが、
検出エリアを限定せず、可能な限りエッジ検出を行ない
ダブったポイントは両者の平均を用いても良い。
右半分及び左半分に限定して瞳孔エッジを検出したが、
検出エリアを限定せず、可能な限りエッジ検出を行ない
ダブったポイントは両者の平均を用いても良い。
【0052】次に図3の本発明の視線検出装置をビデオ
カメラに適用した時の構成について説明する。
カメラに適用した時の構成について説明する。
【0053】図3において、23はビデオカメラ、24
はエレクトリックビューファインダー(EVF)であり
小型ブラウン管、液晶等を利用したものである。
はエレクトリックビューファインダー(EVF)であり
小型ブラウン管、液晶等を利用したものである。
【0054】25は赤外波長反射、可視光透過で設計さ
れたダイクロイックミラー、12は結像レンズ、14は
視線検出専用のイメージセンサー、28はファインダー
系の接眼レンズ、13a,13bは夫々眼球照明用の赤
外LED(IRE)、15は眼球,30はカメラ撮像用
のイメージセンサー、31はカメラ撮影用レンズ、32
はそのレンズ用絞り、33はAFレンズ駆動用モータ
ー、34は注視点位置検出回路、35はIRED駆動回
路、36はビューファインダー表示回路、37は磁気記
録回路、38は映像信号処理回路、39はカメラ全体を
制御するシステムコントロール用CPU、40はCPU
39に付属するメモリー、41は絞り駆動回路、42は
AFモーター駆動回路、43は視線追尾AF/AEモー
ドへの移行用スライドSWである。
れたダイクロイックミラー、12は結像レンズ、14は
視線検出専用のイメージセンサー、28はファインダー
系の接眼レンズ、13a,13bは夫々眼球照明用の赤
外LED(IRE)、15は眼球,30はカメラ撮像用
のイメージセンサー、31はカメラ撮影用レンズ、32
はそのレンズ用絞り、33はAFレンズ駆動用モータ
ー、34は注視点位置検出回路、35はIRED駆動回
路、36はビューファインダー表示回路、37は磁気記
録回路、38は映像信号処理回路、39はカメラ全体を
制御するシステムコントロール用CPU、40はCPU
39に付属するメモリー、41は絞り駆動回路、42は
AFモーター駆動回路、43は視線追尾AF/AEモー
ドへの移行用スライドSWである。
【0055】ここでIRED13aと13bが眼球15
を照明するとダイクロイックミラー25により赤外光の
み反射され、結像レンズ12を介してイメージセンサー
14に眼球15が撮像される。
を照明するとダイクロイックミラー25により赤外光の
み反射され、結像レンズ12を介してイメージセンサー
14に眼球15が撮像される。
【0056】この眼球の像は電気信号に変更され、注視
点位置検出回路34へ入力され、注視点座標が検出され
る。更にその注視点座標情報はシステムコントロール用
CPU39へ送られ、AFモーター駆動回路42、絞り
駆動回路41を制御する。
点位置検出回路34へ入力され、注視点座標が検出され
る。更にその注視点座標情報はシステムコントロール用
CPU39へ送られ、AFモーター駆動回路42、絞り
駆動回路41を制御する。
【0057】一方、IRED駆動回路35はIRED1
3a,13bを駆動し、イメージセンサー14の像が適
切な明るさとなるよう、制御する。又、カメラの撮影用
レンズ31を通ってきた撮影用光は絞りを通ってイメー
ジセンサー30に撮像され、映像信号処理38、磁気記
録回路37を通ってVTRへ記録される。更に、映像信
号処理回路38では所定撮影エリアの高周波成分を取り
出して、その情報をシステムコントロール用CPU39
へ送っている。
3a,13bを駆動し、イメージセンサー14の像が適
切な明るさとなるよう、制御する。又、カメラの撮影用
レンズ31を通ってきた撮影用光は絞りを通ってイメー
ジセンサー30に撮像され、映像信号処理38、磁気記
録回路37を通ってVTRへ記録される。更に、映像信
号処理回路38では所定撮影エリアの高周波成分を取り
出して、その情報をシステムコントロール用CPU39
へ送っている。
【0058】そこで前記高周波成分がピークとなるよう
にAFモーター駆動回路42を動作させ、オートフォー
カスの動作を行なっている。視線追尾AF/AEモード
の時(SW1 ON) は、前記所定撮影エリアの座標を注視点
情報に基づいて設定することになっている。この視線情
報はシステムコントロール用CPU39を介してビュー
ファインダー表示回路36にも送られ、ファインダー内
にスーパーインポーズされる。
にAFモーター駆動回路42を動作させ、オートフォー
カスの動作を行なっている。視線追尾AF/AEモード
の時(SW1 ON) は、前記所定撮影エリアの座標を注視点
情報に基づいて設定することになっている。この視線情
報はシステムコントロール用CPU39を介してビュー
ファインダー表示回路36にも送られ、ファインダー内
にスーパーインポーズされる。
【0059】尚、同様にして映像信号処理回路38の輝
度レベルから、注視点部のレベルを拾い出し、絞り駆動
回路41を動作させ、視線追尾によるAEも同時に行わ
れる。
度レベルから、注視点部のレベルを拾い出し、絞り駆動
回路41を動作させ、視線追尾によるAEも同時に行わ
れる。
【0060】図8は上記視線追尾AF/AE動作中のフ
ァインダー表示を示すものであり、5はEVF画面、4
4はAF/AE視線追尾枠である。
ァインダー表示を示すものであり、5はEVF画面、4
4はAF/AE視線追尾枠である。
【0061】ここで、撮影者が注視したポイントに追尾
枠44が表示され、そのエリアにAF/AEが行われる
為、撮影者の意志に基づいたAF/AEが可能となる。
枠44が表示され、そのエリアにAF/AEが行われる
為、撮影者の意志に基づいたAF/AEが可能となる。
【0062】次に視線追尾AF/AEシステムについて
説明する。
説明する。
【0063】図9はそのフローチャートである。まず視
線追尾AF/AEモード以降用スライドSW(SW1)がO
Nになっているかどうかを判断(#402)し、OFF
ならば通常の中央部エリアのAF/AE動作(通常のA
F/AE)(#403)を行う。又、ONであれば視線
検出ルーチン(#404)にて注視点座標を求め、EV
F画面5内に注視点をスーパーインポーズ表示(#40
5)する。
線追尾AF/AEモード以降用スライドSW(SW1)がO
Nになっているかどうかを判断(#402)し、OFF
ならば通常の中央部エリアのAF/AE動作(通常のA
F/AE)(#403)を行う。又、ONであれば視線
検出ルーチン(#404)にて注視点座標を求め、EV
F画面5内に注視点をスーパーインポーズ表示(#40
5)する。
【0064】更にステップ#404で求めた注視点座標
に基づいてAF/AEを動作させる(#406)。そし
て再びステップ#402の前に戻り、SW1 の状態を検出
する。
に基づいてAF/AEを動作させる(#406)。そし
て再びステップ#402の前に戻り、SW1 の状態を検出
する。
【0065】図10は本発明の実施例2の眼球像の概略
図、図11は本実施例の検出動作を示すフローチャー
ト、図12は本実施例をビデオカメラに適用した時のフ
ァインダー系の一部分を示す斜視図である。
図、図11は本実施例の検出動作を示すフローチャー
ト、図12は本実施例をビデオカメラに適用した時のフ
ァインダー系の一部分を示す斜視図である。
【0066】本実施例では光源として発散光束を放射す
る光源13a,13bと拡散光束を放射する光源8とを
用いている点が実施例1と異なり、その他の構成は図1
の構成と同じである。
る光源13a,13bと拡散光束を放射する光源8とを
用いている点が実施例1と異なり、その他の構成は図1
の構成と同じである。
【0067】光源8は赤外の拡散光を放射しており、例
えば表面を荒らした乳白色の拡散板と赤外光源(IRE
D)とを有している。又、光源8は眼球を均一照明する
為にファインダー視野の観察方向に対してスリバチリン
グ形状となっている。
えば表面を荒らした乳白色の拡散板と赤外光源(IRE
D)とを有している。又、光源8は眼球を均一照明する
為にファインダー視野の観察方向に対してスリバチリン
グ形状となっている。
【0068】次に本実施例の視線検出動作について図1
と図10〜図12とを用いて説明する。
と図10〜図12とを用いて説明する。
【0069】まず光源13a,13bを点灯する(#2
02)。次にイメージセンサー14の蓄積及び読出を行
い(#203)、角膜反射像e,dを検出する(#20
4)。図10(A)はこの時の様子を示している。
02)。次にイメージセンサー14の蓄積及び読出を行
い(#203)、角膜反射像e,dを検出する(#20
4)。図10(A)はこの時の様子を示している。
【0070】ここでは瞳孔エッジ19aの検出は行わ
ず、角膜反射像e,dのみを検出している。
ず、角膜反射像e,dのみを検出している。
【0071】次に光源13a,13bを消灯し(#20
5)、光源8を点灯する。そしてイメージセンサー14
の蓄積・読出を行った後(#207)、瞳孔エッジ19
aの検出を行う(#208)。図10(B)はこの時の
様子を示している。
5)、光源8を点灯する。そしてイメージセンサー14
の蓄積・読出を行った後(#207)、瞳孔エッジ19
aの検出を行う(#208)。図10(B)はこの時の
様子を示している。
【0072】この場合、光源13a,13bは消灯して
おり、拡散光でのみ照明されている為、角膜反射像d,
eは現れない。よって、瞳孔エッジ19aは全域にわた
って検出可能となる。
おり、拡散光でのみ照明されている為、角膜反射像d,
eは現れない。よって、瞳孔エッジ19aは全域にわた
って検出可能となる。
【0073】更に光源8を消灯し(#209)、瞳孔中
心cの算出(#210)、角膜反射像d,eの間隔算出
(#211)、眼球距離/結像倍率β等の算出(#21
2)を経て、眼球回転角θx,θyの算出を行い(#2
13)、EVF画面5上の視線の座標を算出(#21
4)して、メインフローへ戻る(#215)。
心cの算出(#210)、角膜反射像d,eの間隔算出
(#211)、眼球距離/結像倍率β等の算出(#21
2)を経て、眼球回転角θx,θyの算出を行い(#2
13)、EVF画面5上の視線の座標を算出(#21
4)して、メインフローへ戻る(#215)。
【0074】尚、本実施例において光源13a,13b
を点灯している(#202)時点で光源8は消灯してい
るが、光源8を点灯したままでも良い。
を点灯している(#202)時点で光源8は消灯してい
るが、光源8を点灯したままでも良い。
【0075】図13は本発明の実施例2の眼球像の概略
図、図14は本実施例の検出動作を示すフローチャー
ト、図15は本実施例をビデオカメラに適用した時のフ
ァインダー系の一部分の斜視図である。
図、図14は本実施例の検出動作を示すフローチャー
ト、図15は本実施例をビデオカメラに適用した時のフ
ァインダー系の一部分の斜視図である。
【0076】本実施例では光源として図15に示すよう
にEVF画面の周囲に4つの光源13a,13b,13
c,13dを用いて互いに点灯をON/OFFしている
点が実施例1と異なり、その他の構成は図1の構成と同
じである。
にEVF画面の周囲に4つの光源13a,13b,13
c,13dを用いて互いに点灯をON/OFFしている
点が実施例1と異なり、その他の構成は図1の構成と同
じである。
【0077】次に本実施例の視線検出動作について図1
と図13〜図15とを用いて説明する。
と図13〜図15とを用いて説明する。
【0078】まず光源13a,13bを点灯し(#30
2)、イメージセンサー14の蓄積/読出を行い(#3
03)、角膜反射像e,dを検出し(#304)、瞳孔
エッジの上半分を検出する。この様子を図13(A)に
示す。
2)、イメージセンサー14の蓄積/読出を行い(#3
03)、角膜反射像e,dを検出し(#304)、瞳孔
エッジの上半分を検出する。この様子を図13(A)に
示す。
【0079】ここで角膜反射像e,dは下半分に現れる
為、上半分の瞳孔エッジ19aは角膜反射像d,eに邪
魔されることなく全て検出可能である。
為、上半分の瞳孔エッジ19aは角膜反射像d,eに邪
魔されることなく全て検出可能である。
【0080】次に光源13a,13bを消灯し(#30
6)、光源13c,13dを点灯する(#307)。そ
の後、イメージセンサー14の蓄積/読出(#308)
を行い、瞳孔エッジ19aの下半分を検出する。この様
子を図13(B)に示す。
6)、光源13c,13dを点灯する(#307)。そ
の後、イメージセンサー14の蓄積/読出(#308)
を行い、瞳孔エッジ19aの下半分を検出する。この様
子を図13(B)に示す。
【0081】ここで図13(A)とは逆に角膜反射像
j,kは上半分に現れ、瞳孔エッジ19aの下半分は全
て検出できる。
j,kは上半分に現れ、瞳孔エッジ19aの下半分は全
て検出できる。
【0082】それから光源13c,13dを消灯し(#
310)、瞳孔中心cの算出(#311)、角膜反射像
d,eの間隔算出(#312)眼球距離/結像倍率β等
の算出(#313)を行い、眼球回転角(θx,θy)
の算出(#314)を経てEVF画面5上の視線の座標
を算出し(#315)、メインフローへ戻る。
310)、瞳孔中心cの算出(#311)、角膜反射像
d,eの間隔算出(#312)眼球距離/結像倍率β等
の算出(#313)を行い、眼球回転角(θx,θy)
の算出(#314)を経てEVF画面5上の視線の座標
を算出し(#315)、メインフローへ戻る。
【0083】ここでステップ#305,#309にて上
半分及び下半分に限定して瞳孔エッジ19aを検出した
が、検出エリアを限定せず、可能な限りエッジ検出を行
い、重複した領域は両者の平均を用いても差し支えな
い。
半分及び下半分に限定して瞳孔エッジ19aを検出した
が、検出エリアを限定せず、可能な限りエッジ検出を行
い、重複した領域は両者の平均を用いても差し支えな
い。
【0084】尚本実施例では、角膜反射像の検出を光源
13a,13bを用いて行ったが、光源13c,13d
を用いて行ったり、両方の平均を取ったりしても良い。
13a,13bを用いて行ったが、光源13c,13d
を用いて行ったり、両方の平均を取ったりしても良い。
【0085】以上の実施例1,2,3では光源13a,
13b,13c,13dからの赤外発散光を用いたが、
光学系を用いて平行光束を用いても良い。
13b,13c,13dからの赤外発散光を用いたが、
光学系を用いて平行光束を用いても良い。
【0086】以上説明したように、実施例1,2,3で
は複数の発散光源(又は平行光源)を交互にON/OF
Fしたり、拡散光源と発散光源(又は平行光源)を交互
にON/OFFすることにより、所定の瞳孔エッジの検
出を確実に行うことができ、これにより、より精度の高
い瞳孔中心cの検出及び視線検出を行っている。
は複数の発散光源(又は平行光源)を交互にON/OF
Fしたり、拡散光源と発散光源(又は平行光源)を交互
にON/OFFすることにより、所定の瞳孔エッジの検
出を確実に行うことができ、これにより、より精度の高
い瞳孔中心cの検出及び視線検出を行っている。
【0087】次に本発明の実施例4について説明する。
【0088】一般に観察者の注視線の位置は観察者の瞳
孔径が変化すると算出結果にズレが生じて検出誤差とな
ってくる。
孔径が変化すると算出結果にズレが生じて検出誤差とな
ってくる。
【0089】図16は観察者の瞳孔径rpと算出された
注視点座標xnとの関係を示す説明図である。
注視点座標xnとの関係を示す説明図である。
【0090】同図に示すように瞳孔径rpの変化により
注視点座標xnは変化してくる。この為、観察者の視線
検出の際には個人差補正法(キャリブレーション法)に
より観察者の瞳孔径による注視点のズレを補正する必要
がある。
注視点座標xnは変化してくる。この為、観察者の視線
検出の際には個人差補正法(キャリブレーション法)に
より観察者の瞳孔径による注視点のズレを補正する必要
がある。
【0091】本実施例ではファインダー系のEVF画面
の輝度を調整することにより、EVF画面を覗く観察者
の瞳孔径の変化による検出誤差を補正し、これにより視
線検出精度の向上を図っている。
の輝度を調整することにより、EVF画面を覗く観察者
の瞳孔径の変化による検出誤差を補正し、これにより視
線検出精度の向上を図っている。
【0092】次に本実施例の特徴について説明する。
【0093】まず、瞳孔径の変化による注視点ズレの補
正を含めた個人差補正法(キャリブレーション法)につ
いて説明する。
正を含めた個人差補正法(キャリブレーション法)につ
いて説明する。
【0094】前述の(3),(4)式における補正係数
A,Bを夫々A=1,B=0として(補正無として)求
められる眼球の回転角を改めてθxとすると、 θx≒arcsin{(xc′−xf′)/β/Oc} ‥‥‥(6) となる。
A,Bを夫々A=1,B=0として(補正無として)求
められる眼球の回転角を改めてθxとすると、 θx≒arcsin{(xc′−xf′)/β/Oc} ‥‥‥(6) となる。
【0095】更に(6)式で求められた回転角θxを用
いて(5)式を簡略化し、補正係数を改めてax,bx
とおき、ピント板(ビデオではEVF画面)での視線位
置を、 x≒m*ax*(θx+bx) ‥‥‥(7) と定義しても略差し支えない。又垂直方向も同様にして
補正係数をbyとすると、 y≒m*ax*(θy+by) ‥‥‥(8) と定義できる。
いて(5)式を簡略化し、補正係数を改めてax,bx
とおき、ピント板(ビデオではEVF画面)での視線位
置を、 x≒m*ax*(θx+bx) ‥‥‥(7) と定義しても略差し支えない。又垂直方向も同様にして
補正係数をbyとすると、 y≒m*ax*(θy+by) ‥‥‥(8) と定義できる。
【0096】ここで乗算の補正係数は、水平と垂直と略
同一値で実際問題が無い為、両方ともaxとした。更に
補正係数bx,byは瞳孔径rpによって変化する。こ
のため夫々瞳孔径rpの関数となる。
同一値で実際問題が無い為、両方ともaxとした。更に
補正係数bx,byは瞳孔径rpによって変化する。こ
のため夫々瞳孔径rpの関数となる。
【0097】次にその算出式を示す。まず水平方向bx
に関しては、
に関しては、
【0098】
【数1】 となる。ここでbx′は撮影者がファインダー系の略中
央を見ている時の視軸補正量に相当するものである。又
k1,rxは所定の定数、rpは瞳孔径である。
央を見ている時の視軸補正量に相当するものである。又
k1,rxは所定の定数、rpは瞳孔径である。
【0099】尚、(9)式においてb0x,k0の2つ
が未知数であり、キャリブレーションデータである。
が未知数であり、キャリブレーションデータである。
【0100】次に垂直方向byに関しての算出式は、 by=ky*rp+b0y ‥‥‥(10) と表される。ここでky,b0yの2つが未知数であ
り、キャリブレーションデータである。
り、キャリブレーションデータである。
【0101】実際にはファインダー系内に視標を2個設
け、各々1回ずつ撮影者に見てもらう動作を瞳孔径が大
の時と小の時の合計4回行い、(6)〜(10)式にお
けるキャリブレーションデータax,b0x,k0,k
y,b0yを求めている。
け、各々1回ずつ撮影者に見てもらう動作を瞳孔径が大
の時と小の時の合計4回行い、(6)〜(10)式にお
けるキャリブレーションデータax,b0x,k0,k
y,b0yを求めている。
【0102】図17は本実施例をビデオカメラに適用し
た時の要部概略図である。図17の実施例4では図3の
実施例1に比べてキャリブレーションモードへの移行用
スライドSW45とキャリブレーション用復帰型タクト
SW36を設けている点と、眼球回転角θx,θyを算
出する時にキャリブレーションデータを用いている点が
異なっており、その他の構成は略同じである。
た時の要部概略図である。図17の実施例4では図3の
実施例1に比べてキャリブレーションモードへの移行用
スライドSW45とキャリブレーション用復帰型タクト
SW36を設けている点と、眼球回転角θx,θyを算
出する時にキャリブレーションデータを用いている点が
異なっており、その他の構成は略同じである。
【0103】次に本実施例の動作を示す図18の視線検
出ルーチンのフローチャートについて説明する。
出ルーチンのフローチャートについて説明する。
【0104】まずIRED13a,13bを点灯し、眼
球15を照明する(#502)。次にイメージセンサー
(CCD等)14の電荷蓄積を行い(#503)、信号
を読み出す(#504)。読み出された情報によりプル
キニエ像(角膜反射像)d,eの座標を検出し(#50
5)、瞳孔中心座標Cを求め(#506)、瞳孔径rp
を求める(#507)。
球15を照明する(#502)。次にイメージセンサー
(CCD等)14の電荷蓄積を行い(#503)、信号
を読み出す(#504)。読み出された情報によりプル
キニエ像(角膜反射像)d,eの座標を検出し(#50
5)、瞳孔中心座標Cを求め(#506)、瞳孔径rp
を求める(#507)。
【0105】更に2個のプルキニエ像d,eの間隔を検
出し(#508)、眼球距離と結像倍率βを算出する
(#509)。以上のデータにより前述した計算式
(6)〜(10)式に基づいて眼球回転角θx,θyを
算出する(#510)。
出し(#508)、眼球距離と結像倍率βを算出する
(#509)。以上のデータにより前述した計算式
(6)〜(10)式に基づいて眼球回転角θx,θyを
算出する(#510)。
【0106】本実施例ではこの時キャリブレーションを
用いている。そして最後にEVF24上の視線座標を算
出し(#511)、メインフローへ戻る(#512)。
用いている。そして最後にEVF24上の視線座標を算
出し(#511)、メインフローへ戻る(#512)。
【0107】図19は本実施例のキャリブレーション時
のファインダー表示である。
のファインダー表示である。
【0108】図中、52はEVF画面、51a,55a
は左側視標(視標1)、51b,55bは右側視標(視
標2)、50はキャリブレーション終了表示である。
は左側視標(視標1)、51b,55bは右側視標(視
標2)、50はキャリブレーション終了表示である。
【0109】図20,図21は本実施例のキャリブレー
ションのフローチャートである。
ションのフローチャートである。
【0110】次に本実施例のキャリブレーション動作に
ついて説明する。
ついて説明する。
【0111】まずキャリブレーションモード移行スライ
ドSW(SW2)45がONかどうかを判断し(#60
2)、OFFであれば通常カメラモード(#603)へ
戻る。ONであればEVF内にキャリブレーション動作
表示54を表示する(#604)。更に各変数をリセッ
トする(#605)。そしてEVF画面の表示輝度を低
くしてEVF画面を黒バックにし(#606)、キャリ
ブレーション用タクトSW(SW3)46がOFFにな
ったことを確認し(#607)、視標1(左側)55a
を点滅させる(#603)。
ドSW(SW2)45がONかどうかを判断し(#60
2)、OFFであれば通常カメラモード(#603)へ
戻る。ONであればEVF内にキャリブレーション動作
表示54を表示する(#604)。更に各変数をリセッ
トする(#605)。そしてEVF画面の表示輝度を低
くしてEVF画面を黒バックにし(#606)、キャリ
ブレーション用タクトSW(SW3)46がOFFにな
ったことを確認し(#607)、視標1(左側)55a
を点滅させる(#603)。
【0112】図19(A)はこの状態のファインダー内
表示を示す。ここでEVF画面52は暗くなり、瞳孔は
開く。
表示を示す。ここでEVF画面52は暗くなり、瞳孔は
開く。
【0113】更に視標1(左側)55aが点滅し、キャ
リブレーション動作表示54が表示されている。撮影者
はこの時点で視標55aを注視し、視点が定まった時点
でSW3を押す。SW3が押されたことを確認すると
(#609)、前述した視線検出ルーチン(#610)
にて眼球回転角θx1,θy1及び瞳孔径r1が求ま
る。
リブレーション動作表示54が表示されている。撮影者
はこの時点で視標55aを注視し、視点が定まった時点
でSW3を押す。SW3が押されたことを確認すると
(#609)、前述した視線検出ルーチン(#610)
にて眼球回転角θx1,θy1及び瞳孔径r1が求ま
る。
【0114】その後、視標1はフル点灯し、データ入力
終了を知らせる(#612)図19(B)。そしてSW
3がOFFであることを確認し(#613)、視標1を
消灯し、視標2(右側)55bを点滅させる(#61
4)図19(C)。
終了を知らせる(#612)図19(B)。そしてSW
3がOFFであることを確認し(#613)、視標1を
消灯し、視標2(右側)55bを点滅させる(#61
4)図19(C)。
【0115】その後、ステップ#616〜ステップ#6
18はステップ#610〜ステップ#618(図19
(D))と同様の動作を行い、nのカウント数を増やし
ている(#619)。
18はステップ#610〜ステップ#618(図19
(D))と同様の動作を行い、nのカウント数を増やし
ている(#619)。
【0116】そしてn≧5でなければEVF画面の表示
輝度を高くしてEVF画面を白バックにして(#62
5)、ステップ607へ戻り、n≧5であればキャリブ
レーション算出(#621)を行う。この動作によって
撮影者は図19に示す(A)〜(I)の表示に従って所
定の操作を行う。
輝度を高くしてEVF画面を白バックにして(#62
5)、ステップ607へ戻り、n≧5であればキャリブ
レーション算出(#621)を行う。この動作によって
撮影者は図19に示す(A)〜(I)の表示に従って所
定の操作を行う。
【0117】即ち、EVF画面が暗い時(図19(A)
〜(D))と明るい時(図19(E)〜(I))の各々
2点ずつ合計4点を注視することによって各々の回転角
と瞳孔径のデータ(θx1,θx2,r1),(θx
2,θx2,r2),(θx3,θx3,r3),(θ
x4,θx4,r4)を検出し、この4組のデータに基
づいてキャリブレーション値(ax,k0,b0x,k
y,b0y)を算出する(#621)。その方法につい
ては後述する。
〜(D))と明るい時(図19(E)〜(I))の各々
2点ずつ合計4点を注視することによって各々の回転角
と瞳孔径のデータ(θx1,θx2,r1),(θx
2,θx2,r2),(θx3,θx3,r3),(θ
x4,θx4,r4)を検出し、この4組のデータに基
づいてキャリブレーション値(ax,k0,b0x,k
y,b0y)を算出する(#621)。その方法につい
ては後述する。
【0118】更に上記5つのキャリブレーション値をメ
モリー40に取り込み(#622)、キャリブレーショ
ン終了表示50を点灯させる。この後、SW2がOFF
にされるまで待機し(#624)、OFFになったらST
ART に戻る。
モリー40に取り込み(#622)、キャリブレーショ
ン終了表示50を点灯させる。この後、SW2がOFF
にされるまで待機し(#624)、OFFになったらST
ART に戻る。
【0119】ここでステップ#621のキャリブレーシ
ョン値算出方法を説明する。前述したように図20,図
21のフローチャートにて次の4つのデータが得られ
る。
ョン値算出方法を説明する。前述したように図20,図
21のフローチャートにて次の4つのデータが得られ
る。
【0120】
【表1】 又、視標1(左側),視標2(右側)の座標を(x1,
0)(x2,0)とすると、まずx方向(水平方向)の
算出式は、 .(r1+r2)/2>rx>(r3+r4)/2の
時 ・k0 =−{(θx1+θx2)−(θx3+θx
4)}/{2*rx−(r3+r4)} ・ax =(x1−x2)/m/(θx1−θx2) ・b0x=−(θx1+θx2)/2 .rx≧(r1+r2)/2(r3+r4)/2の時 ・k0 =−{(θx1+θx2)−(θx3+θx
4)}/{(r1+r2)−(r3+r4)} ・ax =x1−x2/m/{(θx1−θx2+k0
*(r1−r2)} ・b0x=−k0*{(r1+r2)/2−rx}−
(θ1+θ2)/2 となる。
0)(x2,0)とすると、まずx方向(水平方向)の
算出式は、 .(r1+r2)/2>rx>(r3+r4)/2の
時 ・k0 =−{(θx1+θx2)−(θx3+θx
4)}/{2*rx−(r3+r4)} ・ax =(x1−x2)/m/(θx1−θx2) ・b0x=−(θx1+θx2)/2 .rx≧(r1+r2)/2(r3+r4)/2の時 ・k0 =−{(θx1+θx2)−(θx3+θx
4)}/{(r1+r2)−(r3+r4)} ・ax =x1−x2/m/{(θx1−θx2+k0
*(r1−r2)} ・b0x=−k0*{(r1+r2)/2−rx}−
(θ1+θ2)/2 となる。
【0121】Y方向(垂直方向)の算出式は、 ・ky =−{(θy1+θy2)−(θy3+θy
4)}/{(r1+r2)−(r3+r4)} ・b0y= {(θy3+θy4)*(r1+r2)−
(θy1+θy2)*(r3+r4))}/2/{(r
3+r4)−(r1+r2)} となる。
4)}/{(r1+r2)−(r3+r4)} ・b0y= {(θy3+θy4)*(r1+r2)−
(θy1+θy2)*(r3+r4))}/2/{(r
3+r4)−(r1+r2)} となる。
【0122】以上のようにして求められたキャリブレー
ション値はキャリブレーションを新たに行われない限り
メモリー40に保存され、眼球回転角θx,θyの算出
時、常に用いられる。
ション値はキャリブレーションを新たに行われない限り
メモリー40に保存され、眼球回転角θx,θyの算出
時、常に用いられる。
【0123】本実施例ではこのように瞳孔が閉じた状態
と、開いた状態で各々2点ずつ計4点を視標した時の各
データを用いてキャリブレーション値を求めている。
と、開いた状態で各々2点ずつ計4点を視標した時の各
データを用いてキャリブレーション値を求めている。
【0124】図22は本発明の実施例5に係るキャリブ
レーション時のファインダー表示、図23,図24は本
実施例のキャリブレーションのフローチャートである。
レーション時のファインダー表示、図23,図24は本
実施例のキャリブレーションのフローチャートである。
【0125】図中52はEVF画面、53は蛍光管やエ
レクトロルミネッセンス(EL)やLED等の補助照明
手段、54はキャリブレーション動作表示、58はキャ
リブレーション用の視標である。
レクトロルミネッセンス(EL)やLED等の補助照明
手段、54はキャリブレーション動作表示、58はキャ
リブレーション用の視標である。
【0126】本実施例では図20,図21の実施例4に
比べてステップ#606,625でEVF画面を黒バッ
ク又は白バックする代わりに補助光をOFFしたり(#
702)、補助光をONしたり(#725)して瞳孔径
を変化させている点、更に補助光のOFF(#702)
については START(#601)直後にシーケンスの順番
が移動した点が異なっているだけで、その他の構成は略
同じである。
比べてステップ#606,625でEVF画面を黒バッ
ク又は白バックする代わりに補助光をOFFしたり(#
702)、補助光をONしたり(#725)して瞳孔径
を変化させている点、更に補助光のOFF(#702)
については START(#601)直後にシーケンスの順番
が移動した点が異なっているだけで、その他の構成は略
同じである。
【0127】以上のような構成により本実施例ではキャ
リブレーション時の瞳孔径の開閉を補助照明手段53の
ON/OFFにて行っている。尚補助照明手段53は蛍
光管,EL,LED等、特に限定はないが注視点検出部
の赤外光照明部に影響の無い方が好ましい。その為には
近赤外波長より短い波長の光源であって、ゴーストので
きにくい拡散光源とすることにが得策といえる。
リブレーション時の瞳孔径の開閉を補助照明手段53の
ON/OFFにて行っている。尚補助照明手段53は蛍
光管,EL,LED等、特に限定はないが注視点検出部
の赤外光照明部に影響の無い方が好ましい。その為には
近赤外波長より短い波長の光源であって、ゴーストので
きにくい拡散光源とすることにが得策といえる。
【0128】キャリブレーション時のファインダー内表
示動作に関しては、図19と略同一であるが、図19
(A)〜(D)において画面が暗くならないこと、図1
9(E)〜(I)において補助照明53が点灯するこ
と、が異なる。尚、まぶしさを防ぐ為、通常カメラモー
ドでは常に補助照明53をOFF状態にしている。
示動作に関しては、図19と略同一であるが、図19
(A)〜(D)において画面が暗くならないこと、図1
9(E)〜(I)において補助照明53が点灯するこ
と、が異なる。尚、まぶしさを防ぐ為、通常カメラモー
ドでは常に補助照明53をOFF状態にしている。
【0129】尚、実施例4と実施例5を組み合わせるこ
と、即ちEVF画面の輝度と補助照明を組み合わせたシ
ステム構成も可能である。
と、即ちEVF画面の輝度と補助照明を組み合わせたシ
ステム構成も可能である。
【0130】又、本実施例においては補助照明53のO
N/OFFで瞳孔の開閉を行ったが、補助照明53の輝
度を所定の明るさに制御して行うこともできる。
N/OFFで瞳孔の開閉を行ったが、補助照明53の輝
度を所定の明るさに制御して行うこともできる。
【0131】以上のように実施例4,5においてはキャ
リブレーション時にEVF画面の輝度調節や補助光の点
灯等により瞳孔の開閉を行うことにより、撮影者の視線
を高精度に求めている。
リブレーション時にEVF画面の輝度調節や補助光の点
灯等により瞳孔の開閉を行うことにより、撮影者の視線
を高精度に求めている。
【0132】図25は本発明の実施例6のファインダー
系の要部概略図である。図28(A),(B)は本実施
例に係る視線検出方法の原理説明図で、同図(A)は視
線検出光学系の要部概略図、同図(B)は同図(A)の
光電素子列(イメージセンサー)14からの出力信号の
強度の説明図である。
系の要部概略図である。図28(A),(B)は本実施
例に係る視線検出方法の原理説明図で、同図(A)は視
線検出光学系の要部概略図、同図(B)は同図(A)の
光電素子列(イメージセンサー)14からの出力信号の
強度の説明図である。
【0133】本実施例では光源からの平行光束を観察者
の眼球の前眼部へ投射し、角膜からの反射光による角膜
反射像と瞳孔の結像位置を利用して視軸を求めている。
の眼球の前眼部へ投射し、角膜からの反射光による角膜
反射像と瞳孔の結像位置を利用して視軸を求めている。
【0134】まず本実施例における視線検出方法につい
て図28(A),(B)を用いて説明する。
て図28(A),(B)を用いて説明する。
【0135】同図において、13は観察者に対して不感
の赤外光を放射する発光ダイオード等の光源(第1光
源)であり、投光レンズ70の焦点面に配置している。
の赤外光を放射する発光ダイオード等の光源(第1光
源)であり、投光レンズ70の焦点面に配置している。
【0136】光源13より発光した赤外光は投光レンズ
70により平行光となり、ハーフミラー65で反射し、
眼球15の角膜16を照明する。この時角膜16の表面
で反射した赤外光の一部による角膜反射像(虚像)dは
ハーフミラー65を透過し、受光レンズ12により集光
し、光電素子列14上の位置zd′に再結像する。
70により平行光となり、ハーフミラー65で反射し、
眼球15の角膜16を照明する。この時角膜16の表面
で反射した赤外光の一部による角膜反射像(虚像)dは
ハーフミラー65を透過し、受光レンズ12により集光
し、光電素子列14上の位置zd′に再結像する。
【0137】又虹彩17の端部a,bからの光束はハー
フミラー65、受光レンズ12を介して光電素子列14
上の位置za′,zb′に該端部a,bの像を結像す
る。受光レンズ12の光軸(光軸ア)に対する眼球の光
軸イとのなす角である回転角θが小さい場合、虹彩17
の端部a,bのz座標をza,zbとすると、瞳孔19
の中心位置cの座標zcは、 zc≒(za+zb)/2 と表される。
フミラー65、受光レンズ12を介して光電素子列14
上の位置za′,zb′に該端部a,bの像を結像す
る。受光レンズ12の光軸(光軸ア)に対する眼球の光
軸イとのなす角である回転角θが小さい場合、虹彩17
の端部a,bのz座標をza,zbとすると、瞳孔19
の中心位置cの座標zcは、 zc≒(za+zb)/2 と表される。
【0138】又角膜反射像dのz座標と角膜16の曲率
中心Oのz座標とは一致する為、角膜反射像の発生位置
dのz座標をzd、角膜16の曲率中心Oから瞳孔19
の中心cまでの距離をLOcとすると、眼球光軸イと光
軸アとのなす角である回転角θは、 LOc*sin θ≒zc−zd ‥‥‥(a1) の関係式を略満足する。
中心Oのz座標とは一致する為、角膜反射像の発生位置
dのz座標をzd、角膜16の曲率中心Oから瞳孔19
の中心cまでの距離をLOcとすると、眼球光軸イと光
軸アとのなす角である回転角θは、 LOc*sin θ≒zc−zd ‥‥‥(a1) の関係式を略満足する。
【0139】この為、演算手段72において図28
(B)の如く光電素子列14面上に投影された各特異点
(角膜反射像d及び虹彩の端部a,b)の位置を検出す
ることにより眼球15の光軸イの回転角θを求めること
ができる。この時(a1)式は、
(B)の如く光電素子列14面上に投影された各特異点
(角膜反射像d及び虹彩の端部a,b)の位置を検出す
ることにより眼球15の光軸イの回転角θを求めること
ができる。この時(a1)式は、
【0140】
【数2】 と書き換えられる。
【0141】但しβは角膜反射像の発生位置dと受光レ
ンズ12との距離L1と受光レンズ12と光電素子列1
4との距離LOで決まる倍率である。
ンズ12との距離L1と受光レンズ12と光電素子列1
4との距離LOで決まる倍率である。
【0142】ところで観察者の眼球の光軸イと、視軸と
は一致しない。そこで観察者の眼球の光軸と視軸の角度
補正を行って視線を検出している。即ち観察者の眼球の
光軸の水平方向の回転角θを算出し、眼球の光軸と視軸
との角度補正値をδとした時、観察者の水平方向の視線
θHを、 θH=θ±δ ‥‥‥(a3) として求めている。ここで符号±は観察者に関して右へ
の回転角を正とすると、観察装置を覗く観察者の眼が左
眼の場合は+、右眼の場合は−の符号が選択される。
は一致しない。そこで観察者の眼球の光軸と視軸の角度
補正を行って視線を検出している。即ち観察者の眼球の
光軸の水平方向の回転角θを算出し、眼球の光軸と視軸
との角度補正値をδとした時、観察者の水平方向の視線
θHを、 θH=θ±δ ‥‥‥(a3) として求めている。ここで符号±は観察者に関して右へ
の回転角を正とすると、観察装置を覗く観察者の眼が左
眼の場合は+、右眼の場合は−の符号が選択される。
【0143】又図28(A)においては観察者の眼球が
z−x平面(例えば水平面)内で回転する例を示してい
るが、観察者の眼球がx−y平面(例えば垂直面)内で
回転する場合においても同様に検出可能である。
z−x平面(例えば水平面)内で回転する例を示してい
るが、観察者の眼球がx−y平面(例えば垂直面)内で
回転する場合においても同様に検出可能である。
【0144】但し、観察者の視線の垂直方向の成分は眼
球の光軸の垂直方向の成分θ′と一致する為、垂直方向
の視線θvは、 θv=θ′ ‥‥‥(a4) となる。
球の光軸の垂直方向の成分θ′と一致する為、垂直方向
の視線θvは、 θv=θ′ ‥‥‥(a4) となる。
【0145】一般の視線検出装置では、角膜反射像を得
る為に眼球に平行光を照射している。これが眼球の照明
も兼ねている。一般にカメラ一体型VTRのファインダ
ー系のように装置に対して非接触の状態で注視点検出を
行う場合、必ずしも眼球像を結像するCCD画面の中心
軸近くに瞳孔が位置するとは限らない。この時、平行光
の持つ指向特性によって生じた照明ムラにより瞳孔エッ
ジが検出できないことがある。
る為に眼球に平行光を照射している。これが眼球の照明
も兼ねている。一般にカメラ一体型VTRのファインダ
ー系のように装置に対して非接触の状態で注視点検出を
行う場合、必ずしも眼球像を結像するCCD画面の中心
軸近くに瞳孔が位置するとは限らない。この時、平行光
の持つ指向特性によって生じた照明ムラにより瞳孔エッ
ジが検出できないことがある。
【0146】例えば図26はCCD71面上に眼球像が
投影された時の概略図である。
投影された時の概略図である。
【0147】同図において62は瞳孔エッジを示してい
る。ここで照明ムラのうち暗部は例えば斜線部73で示
した領域に生じる。CCD71のライン74のレベル変
化は曲線75のようになり、瞳孔の左エッジ76は暗部
領域73に埋もれてしまう。この場合には視線検出がで
きなくなってくる場合がある。
る。ここで照明ムラのうち暗部は例えば斜線部73で示
した領域に生じる。CCD71のライン74のレベル変
化は曲線75のようになり、瞳孔の左エッジ76は暗部
領域73に埋もれてしまう。この場合には視線検出がで
きなくなってくる場合がある。
【0148】そこで本実施例では角膜反射像を得る為の
光源(第1光源13)に対して独立して眼球全体を照明
する拡散光源を設けることにより、眼球に対する照明ム
ラに起因する注視点位置の誤検知を無くしている。
光源(第1光源13)に対して独立して眼球全体を照明
する拡散光源を設けることにより、眼球に対する照明ム
ラに起因する注視点位置の誤検知を無くしている。
【0149】図25の実施例6では接眼レンズ28を固
定する鏡筒62にアイカップ63が設けてあり、該アイ
カップ63に拡散光源61を設置して眼球15を均一に
照明している。拡散光源61は例えば図27に示すよう
に赤外発光素子61aと拡散板61bとを有している。
定する鏡筒62にアイカップ63が設けてあり、該アイ
カップ63に拡散光源61を設置して眼球15を均一に
照明している。拡散光源61は例えば図27に示すよう
に赤外発光素子61aと拡散板61bとを有している。
【0150】尚、図25において25は赤外光反射、可
視光透過のダイクロイックミラー、12は結像レンズ、
14は視線検出用のイメージセンサー、24はエレクト
リックビューファインダー(EVF)、24aはEVF
画面である。
視光透過のダイクロイックミラー、12は結像レンズ、
14は視線検出用のイメージセンサー、24はエレクト
リックビューファインダー(EVF)、24aはEVF
画面である。
【0151】本実施例では角膜反射像を得る為の光源に
対して独立に拡散光源61を設け、該拡散光源61を用
いて眼球15を均一照明することにより照明ムラによる
瞳孔エッジの検出誤差をなくし、視線検出精度の向上を
図っている。
対して独立に拡散光源61を設け、該拡散光源61を用
いて眼球15を均一照明することにより照明ムラによる
瞳孔エッジの検出誤差をなくし、視線検出精度の向上を
図っている。
【0152】図29は本発明の実施例7のファインダー
系部分の要部概略図である。
系部分の要部概略図である。
【0153】本実施例は図25の実施例6に比べて拡散
光源61を鏡筒62に拡散面61bが眼球15に対向す
るように設置している点が異なり、この他の構成は同じ
である。
光源61を鏡筒62に拡散面61bが眼球15に対向す
るように設置している点が異なり、この他の構成は同じ
である。
【0154】尚実施例6,7ではファインダー系につい
て述べたが、装置に対して非接触の状態で注視点検出を
行うものであれば、例えば画面上の注視点のキャラクタ
ーを動かすゲーム機等でも実施可能である。
て述べたが、装置に対して非接触の状態で注視点検出を
行うものであれば、例えば画面上の注視点のキャラクタ
ーを動かすゲーム機等でも実施可能である。
【0155】図30は本発明の実施例8のファインダー
系部分の要部概略図である。図31(A),(B)はイ
メージセンサー14上に投影された眼球像とイメージセ
ンサー14からの出力信号図である。
系部分の要部概略図である。図31(A),(B)はイ
メージセンサー14上に投影された眼球像とイメージセ
ンサー14からの出力信号図である。
【0156】本実施例では角膜反射像を得る為の光源1
3a,13bを接眼レンズ28の焦点位置に配置してハ
ーフミラー65を介して眼球15を平行光束で照明して
おり、これにより部品点数を減らしていることを特徴と
している。
3a,13bを接眼レンズ28の焦点位置に配置してハ
ーフミラー65を介して眼球15を平行光束で照明して
おり、これにより部品点数を減らしていることを特徴と
している。
【0157】視線検出方法は前述した実施例1や実施例
6等と同じである。
6等と同じである。
【0158】本実施例においてEVF画面24aの左右
にx−y平面に対して対称な位置に光源13a,13b
が2個配置してある。この光源には通常赤外発光ダイオ
ードが用いられる。又この光源13a,13bは接眼レ
ンズ28の焦点距離に位置する為、光源13a,13b
を発した光は接眼レンズ28を通して平行光束となり、
ファインダー系を覗く撮影者の眼球15を照明する。
にx−y平面に対して対称な位置に光源13a,13b
が2個配置してある。この光源には通常赤外発光ダイオ
ードが用いられる。又この光源13a,13bは接眼レ
ンズ28の焦点距離に位置する為、光源13a,13b
を発した光は接眼レンズ28を通して平行光束となり、
ファインダー系を覗く撮影者の眼球15を照明する。
【0159】眼球は2個の発光ダイオード13a,13
bで照明されている為、眼の角膜で反射した光の一部に
よる角膜反射像は2個できる。この時、2個の光源のy
座標は同じである為、2個の角膜反射像のy座標も同じ
である。この2個の角膜反射像P1,P2及び光源によ
り照明された瞳孔エッジはハーフミラー65、レンズ1
2を通して光電変換素子列(イメージセンサー)14上
に再結像する。
bで照明されている為、眼の角膜で反射した光の一部に
よる角膜反射像は2個できる。この時、2個の光源のy
座標は同じである為、2個の角膜反射像のy座標も同じ
である。この2個の角膜反射像P1,P2及び光源によ
り照明された瞳孔エッジはハーフミラー65、レンズ1
2を通して光電変換素子列(イメージセンサー)14上
に再結像する。
【0160】イメージセンサー14面上に形成した角膜
反射像d,eを用いて眼球15の視線を検出する方法は
実施例1と同じである。
反射像d,eを用いて眼球15の視線を検出する方法は
実施例1と同じである。
【0161】図32は本実施例の注視点(視線)検出の
フローチャートである。
フローチャートである。
【0162】まずステップS1で2個の角膜反射像d,
eのz座標zp1,zp2、y座標のypを検出する。
eのz座標zp1,zp2、y座標のypを検出する。
【0163】そして2個の角膜反射像の中点zpを算出
する(ステップS2)。次に瞳孔エッジのz座標za,
zb、y座標ya,ybを検出する(ステップS3)。
前記検出点より瞳孔中心zc,ycを算出する(ステッ
プS4)。そして以上のデータをもとに眼球の転移角θ
をz−y平面内について算出する(ステップS5)。最
後に求めた転移角より注視点を算出する(ステップS
6)。
する(ステップS2)。次に瞳孔エッジのz座標za,
zb、y座標ya,ybを検出する(ステップS3)。
前記検出点より瞳孔中心zc,ycを算出する(ステッ
プS4)。そして以上のデータをもとに眼球の転移角θ
をz−y平面内について算出する(ステップS5)。最
後に求めた転移角より注視点を算出する(ステップS
6)。
【0164】本実施例によれば、発光ダイオード等の光
源を接眼レンズの焦点位置に配置することにより、特別
に投光レンズを設ける必要がなく、簡単な構成で光源か
らの光を平行光束とし、これらの平行光束を用いて眼球
の視線を容易に検出している。
源を接眼レンズの焦点位置に配置することにより、特別
に投光レンズを設ける必要がなく、簡単な構成で光源か
らの光を平行光束とし、これらの平行光束を用いて眼球
の視線を容易に検出している。
【0165】
【発明の効果】本発明によれば、 (3−1)角膜反射像と瞳孔エッジの位置情報を適切に
設定した光源を用いることにより高精度に検出し、常に
眼球の視線を高精度に検出することができる視線検出装
置を達成することができる。
設定した光源を用いることにより高精度に検出し、常に
眼球の視線を高精度に検出することができる視線検出装
置を達成することができる。
【0166】(3−2)観察者の瞳孔径を適切に設定し
たEVF画面輝度調整手段を用いることにより調整し、
観察者の視線を高精度に検出することができる視線検出
装置を有した光学装置を達成することができる。
たEVF画面輝度調整手段を用いることにより調整し、
観察者の視線を高精度に検出することができる視線検出
装置を有した光学装置を達成することができる。
【0167】(3−3)眼球全体を拡散光束で照明する
拡散光源を用いることにより眼球を均一照明し、眼球か
らの反射像の位置情報の検出誤差を少なくし、高精度の
視線検出が可能な視線検出装置を達成することができ
る。
拡散光源を用いることにより眼球を均一照明し、眼球か
らの反射像の位置情報の検出誤差を少なくし、高精度の
視線検出が可能な視線検出装置を達成することができ
る。
【0168】(3−4)各光学要素を適切に設定するこ
とにより少ない光学要素で視線を高精度に検出すること
ができる視線検出装置を達成することができる。
とにより少ない光学要素で視線を高精度に検出すること
ができる視線検出装置を達成することができる。
【図1】 本発明に係る視線検出方法の説明図
【図2】 図1の一部分の説明図
【図3】 本発明の視線検出装置をビデオカメラに適
用した時の要部概略図
用した時の要部概略図
【図4】 図3の一部分の斜視図
【図5】 眼球像の説明図
【図6】 眼球像の説明図
【図7】 本発明の実施例1の視線検出のフローチャ
ート
ート
【図8】 図3の一部分の説明図
【図9】 本発明に係る視線追尾のフローチャート
【図10】 本発明の実施例2の眼球像の説明図
【図11】 本発明の実施例2のフローチャート
【図12】 本発明の実施例2のファインダー系の一部
分の斜視図
分の斜視図
【図13】 本発明の実施例3の眼球像の説明図
【図14】 本発明の実施例3のフローチャート
【図15】 本発明の実施例3のファインダー系の一部
分の斜視図
分の斜視図
【図16】 瞳孔径と注視点座標との関係を示す説明図
【図17】 本発明をビデオカメラに適用した時の実施
例4の要部概略図
例4の要部概略図
【図18】 本発明の実施例4のフローチャート
【図19】 図17のEVF画面の説明図
【図20】 本発明の実施例4のキャリブレーションの
フローチャート
フローチャート
【図21】 本発明の実施例4のキャリブレーションの
フローチャート
フローチャート
【図22】 本発明の実施例5に係るファインダー表示
の説明図
の説明図
【図23】 本発明の実施例5のキャリブレーションの
フローチャート
フローチャート
【図24】 本発明の実施例5のキャリブレーションの
フローチャート
フローチャート
【図25】 本発明の実施例6の要部概略図
【図26】 本発明の実施例6のイメージセンサー上の
説明図
説明図
【図27】 図25の一部分の説明図
【図28】 本発明の実施例6の視線検出方法の説明図
【図29】 本発明の実施例7の要部概略図
【図30】 本発明の実施例8の要部概略図
【図31】 図30の一部分の説明図
【図32】 本発明の実施例8のフローチャート
5 EVF画面 8 拡散光源 12 受光レンズ 13,13a〜13d 光源 14 イメージセンサー 15 眼球 16 角膜 17 虹彩 19 瞳孔 19a 瞳孔エッジ 23 ビデオカメラ 24 EVF 25 ダイクロイックミラー 28 接眼レンズ
Claims (5)
- 【請求項1】 観察者の眼球を照明手段により照明し、
該眼球の角膜反射像と虹彩反射像を受光手段で検出し、
該受光手段からの各反射像の位置情報を利用して演算手
段により該眼球の視線を算出する際、該照明手段は複数
の光源を有し、該複数の光源を交互に点灯、及び消灯さ
せることにより、該眼球の角膜反射像と虹彩反射像の位
置情報を求めていることを特徴とする視線検出装置。 - 【請求項2】 ファインダー系を覗く観察者の眼球の光
軸の回転角を検出し、該回転角から観察者の視線を検出
する際、該眼球の個人差による視線の検出誤差をファイ
ンダー視野の輝度レベルを調整することにより得られた
視線補正データを用いて補正していることを特徴とする
視線検出装置を有した光学装置。 - 【請求項3】 前記ファインダー視野の輝度レベルをフ
ァインダー系の一部に設けた補助照明手段を利用して調
整していることを特徴とする請求項2の視線検出装置を
有した光学装置。 - 【請求項4】 観察者の眼球を照明手段により照明し、
該眼球の角膜反射像と虹彩反射像を受光手段で検出し、
該受光手段からの各反射像の位置情報を利用して該眼球
の視線を検出する際、該照明手段は角膜反射像を得る為
の第1光源と該第1光源に対して独立に該眼球を拡散照
明する拡散光源とを有し、これらの光源を利用して視線
検出を行っていることを特徴とする視線検出装置。 - 【請求項5】 ファインダー系を覗く観察者の眼球を照
明手段からの光束で照明し、該眼球の角膜反射像を受光
手段で検出し、該受光手段からの角膜反射像の位置情報
を利用して該眼球の視線を検出する際、該照明手段は該
ファインダー系の接眼レンズの焦点位置に該角膜反射像
を得る為の光源を配置していることを特徴とする視線検
出装置を有した光学装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5085679A JPH06269412A (ja) | 1993-03-19 | 1993-03-19 | 視線検出装置及びそれを有した光学装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5085679A JPH06269412A (ja) | 1993-03-19 | 1993-03-19 | 視線検出装置及びそれを有した光学装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06269412A true JPH06269412A (ja) | 1994-09-27 |
Family
ID=13865530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5085679A Pending JPH06269412A (ja) | 1993-03-19 | 1993-03-19 | 視線検出装置及びそれを有した光学装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06269412A (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0829826A (ja) * | 1994-07-18 | 1996-02-02 | Canon Inc | 撮像装置およびその撮像方法 |
JP2010530282A (ja) * | 2007-06-20 | 2010-09-09 | テイアサイエンス・インコーポレーテツド | 涙液層測定 |
US8545017B2 (en) | 2009-04-01 | 2013-10-01 | Tearscience, Inc. | Ocular surface interferometry (OSI) methods for imaging, processing, and/or displaying an ocular tear film |
US8585204B2 (en) | 2007-06-20 | 2013-11-19 | Tearscience, Inc. | Tear film measurement |
CN106137117A (zh) * | 2014-08-29 | 2016-11-23 | 阿尔卑斯电气株式会社 | 照明摄像装置 |
US9642520B2 (en) | 2009-04-01 | 2017-05-09 | Tearscience, Inc. | Background reduction apparatuses and methods of ocular surface interferometry (OSI) employing polarization for imaging, processing, and/or displaying an ocular tear film |
US9668647B2 (en) | 2012-12-21 | 2017-06-06 | Tearscience Inc. | Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography |
US9795290B2 (en) | 2013-11-15 | 2017-10-24 | Tearscience, Inc. | Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics |
US9888839B2 (en) | 2009-04-01 | 2018-02-13 | Tearscience, Inc. | Methods and apparatuses for determining contact lens intolerance in contact lens wearer patients based on dry eye tear film characteristic analysis and dry eye symptoms |
CN109155053A (zh) * | 2016-05-27 | 2019-01-04 | 索尼公司 | 信息处理设备、信息处理方法和记录介质 |
US10278587B2 (en) | 2013-05-03 | 2019-05-07 | Tearscience, Inc. | Eyelid illumination systems and method for imaging meibomian glands for meibomian gland analysis |
US10444519B2 (en) | 2015-06-25 | 2019-10-15 | Qd Laser, Inc. | Image projection device |
CN112926521A (zh) * | 2021-03-30 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于光源亮灭的眼球追踪方法、*** |
WO2022030202A1 (ja) * | 2020-08-04 | 2022-02-10 | 株式会社ニデック | 眼科装置、および眼科装置制御プログラム |
-
1993
- 1993-03-19 JP JP5085679A patent/JPH06269412A/ja active Pending
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0829826A (ja) * | 1994-07-18 | 1996-02-02 | Canon Inc | 撮像装置およびその撮像方法 |
US8591033B2 (en) | 2007-06-20 | 2013-11-26 | Tearscience, Inc. | Tear film measurement |
JP2010530282A (ja) * | 2007-06-20 | 2010-09-09 | テイアサイエンス・インコーポレーテツド | 涙液層測定 |
US8585204B2 (en) | 2007-06-20 | 2013-11-19 | Tearscience, Inc. | Tear film measurement |
US10004396B2 (en) | 2009-04-01 | 2018-06-26 | Tearscience, Inc. | Ocular surface interferometry (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
US8545017B2 (en) | 2009-04-01 | 2013-10-01 | Tearscience, Inc. | Ocular surface interferometry (OSI) methods for imaging, processing, and/or displaying an ocular tear film |
US9642520B2 (en) | 2009-04-01 | 2017-05-09 | Tearscience, Inc. | Background reduction apparatuses and methods of ocular surface interferometry (OSI) employing polarization for imaging, processing, and/or displaying an ocular tear film |
US9662008B2 (en) | 2009-04-01 | 2017-05-30 | Tearscience, Inc. | Ocular surface interferometry (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
US10716465B2 (en) | 2009-04-01 | 2020-07-21 | Johnson & Johnson Vision Care, Inc. | Methods and apparatuses for determining contact lens intolerance in contact lens wearer patients based on dry eye tear film characteristic analysis and dry eye symptoms |
US9693682B2 (en) | 2009-04-01 | 2017-07-04 | Tearscience, Inc. | Ocular surface interferometry (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
US11259700B2 (en) | 2009-04-01 | 2022-03-01 | Tearscience Inc | Ocular surface interferometry (OSI) for imaging, processing, and/or displaying an ocular tear film |
US9888839B2 (en) | 2009-04-01 | 2018-02-13 | Tearscience, Inc. | Methods and apparatuses for determining contact lens intolerance in contact lens wearer patients based on dry eye tear film characteristic analysis and dry eye symptoms |
US10582848B2 (en) | 2009-04-01 | 2020-03-10 | Tearscience, Inc. | Ocular surface interferometry (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
US9999346B2 (en) | 2009-04-01 | 2018-06-19 | Tearscience, Inc. | Background reduction apparatuses and methods of ocular surface interferometry (OSI) employing polarization for imaging, processing, and/or displaying an ocular tear film |
US9993151B2 (en) | 2012-12-21 | 2018-06-12 | Tearscience, Inc. | Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography |
US9668647B2 (en) | 2012-12-21 | 2017-06-06 | Tearscience Inc. | Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography |
US10244939B2 (en) | 2012-12-21 | 2019-04-02 | Tearscience, Inc. | Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography |
US10582849B2 (en) | 2012-12-21 | 2020-03-10 | Tearscience, Inc. | Full-eye illumination ocular surface imaging of an ocular tear film for determining tear film thickness and/or providing ocular topography |
US10278587B2 (en) | 2013-05-03 | 2019-05-07 | Tearscience, Inc. | Eyelid illumination systems and method for imaging meibomian glands for meibomian gland analysis |
US11141065B2 (en) | 2013-05-03 | 2021-10-12 | Tearscience, Inc | Eyelid illumination systems and methods for imaging meibomian glands for meibomian gland analysis |
US9795290B2 (en) | 2013-11-15 | 2017-10-24 | Tearscience, Inc. | Ocular tear film peak detection and stabilization detection systems and methods for determining tear film layer characteristics |
CN106137117A (zh) * | 2014-08-29 | 2016-11-23 | 阿尔卑斯电气株式会社 | 照明摄像装置 |
US10444519B2 (en) | 2015-06-25 | 2019-10-15 | Qd Laser, Inc. | Image projection device |
CN109155053A (zh) * | 2016-05-27 | 2019-01-04 | 索尼公司 | 信息处理设备、信息处理方法和记录介质 |
CN109155053B (zh) * | 2016-05-27 | 2023-06-20 | 索尼公司 | 信息处理设备、信息处理方法和记录介质 |
WO2022030202A1 (ja) * | 2020-08-04 | 2022-02-10 | 株式会社ニデック | 眼科装置、および眼科装置制御プログラム |
CN112926521A (zh) * | 2021-03-30 | 2021-06-08 | 青岛小鸟看看科技有限公司 | 基于光源亮灭的眼球追踪方法、*** |
CN112926521B (zh) * | 2021-03-30 | 2023-01-24 | 青岛小鸟看看科技有限公司 | 基于光源亮灭的眼球追踪方法、*** |
US11863875B2 (en) | 2021-03-30 | 2024-01-02 | Qingdao Pico Technology Co., Ltd | Eyeball tracking method and system based on on-off of light sources |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH06269412A (ja) | 視線検出装置及びそれを有した光学装置 | |
US5469234A (en) | Method of detecting eye component information for determining sight axis direction, and sight axis direction detection apparatus | |
US5983030A (en) | Optical apparatus having a visual axis detector | |
US5608489A (en) | Eye direction detecting device | |
JPH0323431A (ja) | 視線検出手段を有した機器 | |
US5402199A (en) | Visual axis detecting apparatus | |
JPH02264632A (ja) | 視線検出装置 | |
JP2861349B2 (ja) | 視線検出手段を有した光学装置 | |
JP3397335B2 (ja) | ビデオカメラ | |
JPH07199042A (ja) | 視線検出機能付カメラ | |
JPH0556924A (ja) | ビデオカメラ | |
JP3304408B2 (ja) | 視線検出装置および視線検出装置を有する機器 | |
JP3225628B2 (ja) | 視線検出装置 | |
JP3176147B2 (ja) | 視線検出装置 | |
JP3352195B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP3605081B2 (ja) | 視線検出装置 | |
JP3211427B2 (ja) | 視線検出装置 | |
JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP3605080B2 (ja) | 視線検出装置 | |
JP3184634B2 (ja) | 視線検出装置を有する光学装置 | |
JP2995878B2 (ja) | 視線検出装置を有した光学装置 | |
JP3186249B2 (ja) | 視線検出装置及び視線検出方法 | |
JPH04138431A (ja) | 視線検出手段を有したカメラ | |
JPH0928673A (ja) | 視線検出装置および視線検出装置を具備する光学機器 | |
JPH02264633A (ja) | 視線検出装置 |