JP3492324B2 - Optical device - Google Patents

Optical device

Info

Publication number
JP3492324B2
JP3492324B2 JP2001046420A JP2001046420A JP3492324B2 JP 3492324 B2 JP3492324 B2 JP 3492324B2 JP 2001046420 A JP2001046420 A JP 2001046420A JP 2001046420 A JP2001046420 A JP 2001046420A JP 3492324 B2 JP3492324 B2 JP 3492324B2
Authority
JP
Japan
Prior art keywords
gaze
calibration
eyeball
line
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001046420A
Other languages
Japanese (ja)
Other versions
JP2001218740A (en
Inventor
明彦 長野
山田  晃
良昭 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001046420A priority Critical patent/JP3492324B2/en
Publication of JP2001218740A publication Critical patent/JP2001218740A/en
Application granted granted Critical
Publication of JP3492324B2 publication Critical patent/JP3492324B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は視線検出装置を有し
た光学装置に関し、特に撮影系による被写体像が形成さ
れている観察面(ピント面)上のファインダー系を介し
て観察者(撮影者)が観察している注視点方向の軸、所
謂視線(視軸)を、観察者の眼球面上を照明したときに
得られる眼球の反射像を利用して検出するようにした視
線検出装置を有した光学装置に関するものである。 【0002】 【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、所謂視線(視軸)を検出す
る装置(例えばアイカメラ)が種々提供されている。 【0003】例えば特開平1−274736号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。 【0004】又、本出願人は、特開平4−242630
号公報(特願平3−11492号)において観察者の視
線の個人差を補正する視線のキャリブレーションを行な
った視線検出装置を有した光学装置を提案している。 【0005】図28は公知の視線検出方法の原理説明図
である。同図において13a、13bは各々観察者に対
して不感の赤外光を放射する発光ダイオード等の光源で
あり、各光源13a,13bは受光レンズ12の光軸に
対してx方向に略対称に配置され観察者の眼球15を発
散照明している。眼球15で反射した照明光の一部は受
光レンズ12によってイメージセンサー14に集光す
る。 【0006】図27(A)はイメージセンサー14に投
影される眼球像の概略図、図27(B)は図28のイメ
ージセンサー14からの出力信号の強度図である。以下
各図を用いて視線の検出方法を説明する。 【0007】光源13bより放射された赤外光は観察者
の眼球15の角膜16を照明する。このとき角膜16の
表面で反射した赤外光の一部により形成される角膜反射
像d(虚像)は受光レンズ12により集光されイメージ
センサー14上の位置d′に結像する。 【0008】同様に光源13aより放射された赤外光は
眼球15の角膜16を照明する。このとき角膜16の表
面で反射した赤外光の一部により形成された角膜反射像
eは受光レンズ12により集光され、イメージセンサー
14上の位置e′に結像する。又、虹彩17の端部a、
bからの光束は受光レンズ12を介してイメージセンサ
ー14上の位置a′,b′に該端部a,bの像を結像す
る。 【0009】受光レンズ12の光軸に対する眼球15の
光軸の回転角θが小さい場合、虹彩17の端部a、bの
x座標をxa 、xb とすると、瞳孔19の中心位置c
の座標xc は、 xc ≒(xa+xb)/2 と表わされる。 【0010】又、角膜反射像d及びeの中点のx座標と
角膜16の曲率中心Oのx座標xoとはほぼ一致する。
このため、角膜反射像の発生位置d、eのx座標をxd
,xe 、角膜16の曲率中心Oと瞳孔19の中心Cま
での標準的な距離をOCとし、距離OCに対する個人差
を考慮する係数(視線補正係数)をAとすると眼球15
の光軸15aの回転角θは、 ( A* OC)*SINθ≒xc−( xd +xe)/2 ‥‥(1) の関係式を略満足する。 【0011】このため図28に示したようにイメージセ
ンサー14上に投影された眼球15の各特徴点(角膜反
射像d、e及び虹彩の端部a、b)の位置を検出するこ
とにより眼球15の光軸15aの回転角θを求めること
ができる。この時(1)式は、 β*(A* OC)*SINθ≒(xa′+xb′)/II−(xd′+xe ′)/2 ‥‥‥(2) とかきかえられる。但し、βは受光レンズ12に対する
眼球15の位置により決まる倍率で、実質的には角膜反
射像の間隔|xd′−xe′|の関数として求められ
る。 【0012】眼球15の光軸の回転角θは θ≒ARCSIN{( xc′−xf′)/β/(A*OC)}‥‥(3) と書き換えられる。ただし xc ′≒(xa′+xb′)/2xf ′≒(xd′+
xe′)/2 ところで観察者の眼球15の光軸15aと視軸とは一致
しないため、観察者の眼球の光軸の水平方向の回転角θ
が算出されると、眼球の光軸と視軸との角度差αを補正
することにより撮影者の水平方向の視線θx は求めら
れる。 【0013】眼球の光軸と視軸との補正角度αに対する
個人差を考慮する係数(視線補正係数)をBとすると観
察者の水平方向の視線θx は θx =θ±( B* α) ‥‥‥(4) と求められる。ここで符号±は、観察者に関して右への
回転角を正とすると、観察装置(ファインダー系)をの
ぞく観察者の目が左目の場合は+、右目の場合は−の符
号が選択される。 【0014】又、同図においては、観察者の眼球がz−
x平面(例えば水平面)内で回転する例を示している
が、観察者の眼球がy−z平面(例えば垂直面)内で回
転する場合においても同様に検出可能である。ただし、
観察者の視線の垂直方向の成分は眼球の光軸の垂直方向
の成分θ′と一致するため垂直方向の視線θy は θy =θ′ となる。 【0015】さらに、光学装置として一眼レフカメラを
用いた場合においては視線データθx ,θy より観察
者が見ているピント板上の位置(xn,yn)は xn ≒m*θx ≒m*[ARCSIN{(xc′−xf′)/β/(A*OC)}±( B*α)] ‥‥‥(5) yn ≒m* θyと求められる。 【0016】ただし、mはカメラのファインダー光学系
で決まる定数である。ここで視線の個人差を補正する係
数はA、Bと二つであるため、例えば観察者に位置の異
なる二つの視標を見てもらいそのときに算出される観察
者の眼球の回転角から前記係数A、Bを求めることが可
能である。 【0017】又、視線の個人差を補正する係数A,B
は、通常観察者の眼球の水平方向の回転に対応するもの
であるため、カメラのファインダー内に配設される二つ
の視標は観察者に対して水平方向になるように設定され
ている。 【0018】視線の個人差を補正する係数A,Bが求ま
り、(5)式を用いてカメラのファインダー系を覗く観
察者の視線のピント板上の位置が算出されると、その視
線情報をレンズの焦点調節あるいは露出制御等に利用す
ることが可能となる。 【0019】 【発明が解決しようとする課題】観察者の眼球の瞳孔の
大きさは周囲の明るさあるいは観察者の心理状態によっ
て種々と変化し、又、該瞳孔の中心の位置(c)及びプ
ルキンエ像(d,e)の位置は前記瞳孔の大きさによっ
て変化する。 【0020】図29は観察者の瞳孔径rp 、即ち周囲の
明るさと従来の視線算出方法で算出された注視点位置x
n との関係を示した説明図である。このように観察者の
瞳孔径rp が変化すると、観察者が同じ視標を注視して
いても計算された注視点xpの位置も変化してしまい精
度の高い視線の検出ができないという問題点があった。 【0021】更に精度良く視線の検出を行なうには、観
察者の観察状態即ち周囲の明るさが変化するたび毎に視
線の補正を行わなければならず、この結果カメラの操作
性を損なうという問題点があった。 【0022】本発明の目的は撮影者の周囲の明るさによ
る視線の検出誤差を適切に設定した視線検出装置を用い
ることにより補正し、高精度の視線検出を行うことがで
きる視線検出装置を有した光学装置の提供にある。 【0023】 【0024】 【課題を解決するための手段】請求項1の発明は、観察
者の眼球に投光し、該眼球からの反射光から得られる眼
球像を用いて眼球の回転角を検出する回転角検出手段
と、観察者の眼球の回転角から得られる情報を複数回求
めることにより観察者の個人差に応じた視線補正情報を
演算する視線補正情報演算手段と、前記観察者の眼球周
辺の明るさを検出する明度検出手段とを有し、前記回転
角検出手段により検出された眼球の回転角と、前記視線
補正情報演算手段により演算された視線補正情報と、前
記明度検出手段により検出された眼球周辺の明るさとを
用いて前記観察者の視線を求めることを特徴としてい
る。 【0025】 【発明の実施の形態】(第1の実施の形態)図1〜図1
6は本発明の第1の実施の形態の説明図である。このう
ち図1は本発明を一眼レフカメラに適用したときの第1
の実施の形態の要部概略図、図2(A),(B)は図1
の一眼レフカメラの上部外観図と背面図、図3は図1の
ファインダー視野図である。 【0026】図中1は撮影レンズであり、図1では便宜
上2枚のレンズ1a,1bで示したが、実際は多数のレ
ンズから構成されている。2は主ミラーで、観察状態と
撮影状態に応じて撮影光路へ斜設されあるいは退去され
る。3はサブミラーで、主ミラー2を透過した光束をカ
メラボディの下方へ向けて反射する。4はシャッター、
5は感光部材で、銀塩フィルムあるいはCCDやMOS
型等の固体撮像素子あるいはビディコン等の撮像管より
成っている。 【0027】6は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ6a,反射ミラー6b及び6
c,2次結像レンズ6d,絞り6e,複数のCCDから
なるラインセンサー6f等から構成されている周知の位
相差方式を採用している。同図の焦点検出装置6は、図
3に示すように観察画面内213の複数の領域(5箇所
の測距点マーク200〜204)を焦点検出可能なよう
に構成されている。 【0028】7は撮影レンズ1の予定結像面に配置され
たピント板、8はファインダー光路変更用のペンタプリ
ズム、9,10は観察画面内の被写体輝度を測定するた
めの結像レンズと測光センサーで、結像レンズ9はペン
タダハプリズム8内の反射光路を介してピント板7と測
光センサー10を共役に関係付けている。 【0029】次にペンタダハプリズム8の射出面後方に
は光分割器11aを備えた接眼レンズ11が配され、撮
影者の眼15によるピント板7の観察に使用される。光
分割器11aは、例えば可視光を透過し赤外光を反射す
るダイクロイックミラーより成っている。12は受光レ
ンズ、14はCCD等の光電素子列を2次元的に配した
イメージセンサーで受光レンズ12に関して所定の位置
にある撮影者の眼15の瞳孔近傍と共役になるように配
置されている。 【0030】イメージセンサー14と受光レンズ12は
受光手段の一要素を構成している。13,13a〜13
fは各々撮影者の眼15の照明光源(投光手段)である
ところの赤外発光ダイオードで、図2(B)に示すよう
に接眼レンズ11の回りに配置されている。 【0031】21は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用LEDである。スーパーイ
ンポーズ用LEDから発光された光は投光用プリズム2
2、主ミラー2で反射してピント板7の表示部に設けた
微小プリズムアレー7aで垂直方向に曲げられ、ペンタ
プリズム8、接眼レンズ11を通って撮影者の眼15に
達する。そこでピント板7の焦点検出領域に対応する位
置にこの微小プリズムアレイ7aを枠状に形成し、これ
を各々に対応した5つのスーパーインポーズ用LED2
1(各々をLED−L1,LED−L2,LED−C,
LED−R1,LED−R2とする)によって照明す
る。 【0032】これによって図3に示したファインダー視
野図から分かるように、各々の測距点マーク200,2
01,202,203,204がファインダー視野内2
13で光り、焦点検出領域(測距点)を表示させている
(以下これをスーパーインポーズ表示という)。 【0033】ここで左右端の測距点マーク200,20
4の内部には、ドットマーク205,206が刻印され
ており、これは後述するように眼球の個人差による視線
の検出誤差を補正するための視線補正データ(視線補正
係数)A,Bを採取する(以下この動作をキャリブレー
ションと称す)際の視標を示すものである。 【0034】23はファインダー視野領域を形成する視
野マスク、24はファインダー視野外に撮影情報を表示
するためのファインダー内LCDで、照明用LED(F
ーLED)25によって照明されている。ファインダー
内LCD24を透過した光は三角プリズム26によって
ファインダー内に導かれ、図3のファインダー視野外2
07に表示され、撮影者は該撮影情報を観察している。
27は姿勢検知手段でありカメラの姿勢を検知する水銀
スイッチである。 【0035】31は撮影レンズ1内に設けた絞り、32
は後述する絞り駆動回路111を含む絞り駆動装置、3
3はレンズ駆動用モーター、34は駆動ギヤ等からなる
レンズ駆動部材、35はフォトカプラーでレンズ駆動部
材34に連動するパルス板36の回転を検知してレンズ
焦点調節回路110に伝えている。レンズ焦点調節回路
110は、この情報とカメラ側からのレンズ駆動量の情
報に基づいてレンズ駆動用モーターを所定量駆動させ、
撮影レンズ1の合焦レンズ1aを合焦位置に移動させて
いる。37は公知のカメラとレンズとのインターフェイ
スとなるマウント接点である。 【0036】図2において、41はレリーズ釦、42は
外部モニター表示装置としてのモニター用LCDで予め
決められたパターンを表示する固定セグメント表示部4
2aと、可変数値表示用の7セグメント表示部42bと
からなっている。43は測光値を保持するAEロック
釦、44はモードダイヤルで撮影モード等の選択を行な
っている。 【0037】図2(A)において45は電子ダイヤル
で、回転してクリックパルスを発生させることによって
モードダイヤルで選択されたモードの中でさらに選択し
得る設定値を選択するためのものである。例えばモード
ダイヤル44にてシャッター優先の撮影モードを選択す
ると、ファインダー内LCD24及びモニター用LCD
42には、現在設定されているシャッタースピードが表
示される。撮影者が電子ダイヤル45を回転させるとそ
の回転方向にしたがって現在設定されているシャッター
スピードから順次シャッタースピードが変化していくよ
うに構成されている。 【0038】図4は第1の実施の形態のカメラ本体に内
蔵された電気回路の要部ブロック図である。 【0039】カメラ本体に内蔵された視線補正手段とし
てのマイクロコンピュータの中央処理装置(以下CP
U)100には視線検出回路101、測光回路102、
自動焦点検出回路103、信号入力回路104、LCD
駆動回路105、LED駆動回路106、IRED駆動
回路107、シャッター制御回路108、モーター制御
回路109が接続されている。又、撮影レンズ内に配置
された焦点調節回路110、絞り駆動回路111とは図
1で示したマウント接点37を介して信号の伝達がなさ
れる。 【0040】CPU100に付随した記憶手段としての
EEPROM100aは視線の個人差を補正する視線補
正データの記憶機能を有している。モードダイヤル44
の「CAL」ポジションを指標に合わせると、視線の個
人差の補正を行なうための視線補正データ(以下キャリ
ブレーションデータと称す)を取得するキャリブレーシ
ョンモードが選択可能となり、各キャリブレーションデ
ータに対応したキャリブレーションナンバーの選択及び
キャリブレーション動作の「OFF」と視線検出の禁止
モードの設定が電子ダイヤル45にて可能となってい
る。キャリブレーションデータは複数設定可能で、カメ
ラを使用する人物で区別したり、同一の使用者であって
も観察の状態が異なる場合例えば眼鏡を使用する場合と
そうでない場合、あるいは視度補正レンズを使用する場
合とそうでない場合等とで区別して設定するのに有効で
ある。又、この時選択されたキャリブレーションナンバ
ーあるいは設定された視線禁止モードの状態も後述する
ようにキャリブレーションデータナンバー(1,2,3
‥‥あるいは0)としてEEPROM100aに記憶さ
れる。 【0041】視線検出回路101は、イメージセンサー
14(CCD−EYE)からの眼球像の出力をA/D
変換しこの像情報をCPU100に送信する。CPU1
00は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。CPU100と
視線検出回路101そしてイメージセンサー14は視線
検出装置の一要素を構成している。 【0042】測光回路102は測光センサー10からの
出力を増幅後、対数圧縮、A/D変換し、各センサーの
輝度情報としてCPU100に送られる。測光センサー
10は図3に示したファインダー視野内の左側測距点2
00,201を含む左領域210を測光するSPC−
L、と中央の測距点202を含む中央領域211を測光
するSPC−C、と右側の測距点203,204を含む
右側領域212を測光するSPC−R、とこれらの周辺
領域213を測光するSPC−Aとの4つのフォトダイ
オードから構成されている。 【0043】ラインセンサー6fは前述のように画面内
の5つの測距点200〜204に対応した5組のライン
センサーCCD−L2,CCD−L1,CCD−C,C
CD−R1,CCDーR2から構成される公知のCCD
ラインセンサーである。自動焦点検出回路103はこれ
らラインセンサー6fから得た電圧をA/D変換し、C
PU100に送る。 【0044】SW−1はレリーズ釦41の第1ストロー
クでONし、測光、AF、視線検出動作を開始する測光
スイッチ、SW−2はレリーズ釦の第2ストロークでO
Nするレリーズスイッチ、SW−ANGは水銀スイッチ
27によって検知されるところの姿勢検知スイッチ、S
W−AELはAEロック釦43を押すことによってON
するAEロックスイッチ、SW−DIAL1とSW−D
IAL2は電子ダイヤル45内に設けたダイヤルスイッ
チで信号入力回路104のアップダウンカウンターに入
力され、電子ダイヤル45の回転クリック量をカウント
する。SW−M1〜M4は同様にモードダイヤル内に設
けたダイヤルスイッチである。 【0045】これらスイッチの信号が信号入力回路10
4に入力されデータバスによってCPU100に送信さ
れる。105は液晶表示素子LCDを表示駆動させるた
めの公知のLCD駆動回路で、CPU100からの信号
に従い絞り値、シャッター秒時、設定した撮影モード等
の表示をモニター用LCD42とファインダー内LCD
24の両方に同時に表示させている。 【0046】LED駆動回路106は照明用LED(F
−LED)25とスーパーインポーズ用LED21を点
灯・点滅制御する。IRED駆動回路107は赤外発光
ダイオード(IRED1〜6)13a〜13fを状況に
応じて選択的に点灯させる。シャッター制御回路108
は通電すると先幕を走行させるマグネットMGー1と、
後幕を走行させるマグネットMG−2を制御し、感光部
材に所定光量を露光させる。 【0047】モーター制御回路109はフィルムの巻き
上げ、巻戻しを行なうモーターM1と主ミラー2及びシ
ャッター4のチャージを行なうモーターM2を制御して
いる。これらシャッター制御回路108、モーター制御
回路109によって一連のカメラのレリーズシーケンス
が動作する。 【0048】図5(A),(B)はモニター用LCD4
2とファインダー内LCD24の全表示セグメントの内
容を示した説明図である。図5(A)において固定表示
セグメント部42aには公知の撮影モード表示以外に、
視線検出を行なってカメラのAF動作や撮影モードの選
択などの撮影動作を視線情報を用いて制御していること
を示す視線入力モード表示61を設けている。 【0049】可変数値表示用の7セグメント部42bは
シャッター秒時を表示する4桁の7セグメント62、絞
り値を表示する2桁の7セグメント63と小数点64、
フイルム枚数を表示する限定数値表示セグメント65と
1桁の7セグメント66で構成されている。 【0050】図5(B)において71は手ブレ警告マー
ク、72はAEロックマーク、73,74,75は前記
のシャッター秒時表示と絞り値表示と同一の表示セグメ
ント、76は露出補正設定マーク、77はストロボ充完
マーク、78は視線入力状態であることを示す視線入力
マーク、79は撮影レンズ1の合焦状態を示す合焦マー
クである。 【0051】次に、視線検出装置を有したカメラの動作
のフローチャートを図6に、この時のファインダー内の
表示状態を図12、図13に示し、これらの図をもとに
以下説明する。 【0052】モードダイヤル44を回転させてカメラを
不作動状態から所定の撮影モードに設定すると(第1の
実施の形態ではシャッター優先AEに設定された場合を
もとに説明する)カメラの電源がONされ(#10
0)、CPU100のEEPROMに記憶された視線の
キャリブレーションデータ以外の視線検出に使われる変
数がリセットされる(#101)。 【0053】そしてカメラはレリーズ釦41が押し込ま
れてスイッチSW1がONされるまで待機する(#10
2)。レリーズ釦41が押し込まれスイッチSW1がO
Nされたことを信号入力回路104が検知すると、CP
U100は視線検出を行なう際にどのキャリブレーショ
ンデータを使用するかをEEPROM100aにて確認
する(#103)。 【0054】この時、確認されたキャリブレーションデ
ータナンバーのキャリブレーションデータが初期値のま
まで変更されていなかったり、あるいは視線禁止モード
に設定されていたら、視線検出は実行せずに即ち、視線
情報を用いずに測距点自動選択サブルーチン(#11
6)によって特定の測距点を選択する。この測距点にお
いて自動焦点検出回路103は焦点検出動作を行なう
(#107)。測距点自動選択のアルゴリズムとしては
いくつかの方法が考えられるが、中央測距点に重み付け
を置いた近点優先アルゴリズムが有効である。測距点自
動選択のアルゴリズムは本発明とは直接には関係がない
ので説明を省略する。 【0055】又、前記キャリブレーションデータナンバ
ーに対応した視線のキャリブレーションデータが所定の
値に設定されていてそのデータが撮影者により入力され
たものであることが認識されると、視線検出回路101
はそのキャリブレーションデータに従がって視線検出を
実行する(#104)。この時LED駆動回路106は
照明用LED(FーLED)25を点灯させ、LCD駆
動回路105はファインダー内LCD24の視線入力マ
ーク78を点灯させ、ファインダー視野外207で撮影
者はカメラが視線検出を行なっている状態であることを
確認することができるようになっている(図12
(A))。 【0056】又、7セグメント73には設定されたシャ
ッター秒時が表示されている(第1の実施の形態として
1/250秒のシャッター優先AEの場合を示してい
る)。ここで視線検出回路101において検出された視
線はピント板7上の注視点座標に変換される。CPU1
00は該注視点座標に近接した測距点を選択し、表示回
路106に信号を送信してスーパーインポーズ用LED
21を用いて前記測距点マークを点滅表示させる(#1
05)。 【0057】図12(A),(C)では一例として測距
点マーク201が選択された状態を示すものである。
又、この時CPU100は、検出された注視点座標の信
頼性が低い場合、その信頼性の度合に応じて選択される
測距点の数を変えて表示するように信号を送信してい
る。 【0058】図12(B)では図12(A)の状態より
も注視点の信頼性が低く、測距点マーク201と202
が選択されている状態を示している。撮影者が該撮影者
の視線によって選択された測距点が表示されたのを見
て、その測距点が正しくないと認識してレリーズ釦41
から手を離しスイッチSW1をOFFすると(#10
6)、カメラはスイッチSW1がONされるまで待機す
る(#102)。 【0059】又、撮影者が視線によって選択された測距
点が表示されたのを見て、引続きスイッチSW1をON
し続けたならば(#106)、自動焦点検出回路103
は検出された視線情報を用いて1つ以上の測距点の焦点
検出を実行する(#107)。ここで選択された測距点
が測距不能であるかを判定し(#108)、不能であれ
ばCPU100はLCD駆動回路105に信号を送って
ファインダー内LCD24の合焦マーク79を点滅さ
せ、測距がNG(不能)であることを撮影者に警告し
(#118)、スイッチSW1が離されるまで続ける
(#119)。 【0060】測距が可能であり、所定のアルゴリズムで
選択された測距点の焦点調節状態が合焦でなければ(#
109)、CPU100はレンズ焦点調節回路110に
信号を送って撮影レンズ1の合焦レンズ1aを所定量駆
動させる(#117)。レンズ駆動後に自動焦点検出回
路103は再度焦点検出を行ない(#107)、撮影レ
ンズ1が合焦しているか否かの判定を行なう(#10
9)。所定の測距点において撮影レンズ1が合焦してい
たならば、CPU100はLCD駆動回路105に信号
を送ってファインダー内LCD24の合焦マーク79を
点灯させるとともに、LED駆動回路106にも信号を
送って合焦している測距点201に合焦表示させる(#
110)(図13(A))。なお、視線検出ではなく測
距点自動選択を行った場合の合焦表示は、図13(B)
に示すように、測距点201と合焦マーク79は点灯す
るが、視線入力マーク78は当然ながら非点灯状態にな
っている。 【0061】合焦表示させる際は、前記視線によって選
択された測距点の点滅表示は消灯するが、合焦表示され
る測距点と前記視線によって選択された測距点とは一致
する場合が多いので、合焦したことを撮影者に認識させ
るために合焦測距点は点灯状態に設定される。合焦した
測距点がファインダー内に表示されたのを撮影者が見
て、その測距点が正しくないと認識してレリーズ釦41
から手を離しスイッチSW1をOFFすると(#11
1)、引続きカメラはスイッチSW1がONされるまで
待機する(#102)。 【0062】又、撮影者が合焦表示された測距点を見
て、引続きスイッチSW1をONし続けたならば(#1
11)、CPU100は測光回路102に信号を送信し
て測光を行なわせる(#112)。この時合焦した測距
点を含む測光領域210〜213に重み付けを行なった
露出値が演算される。 【0063】第1の実施の形態の場合、測距点201を
含む測光領域210に重み付けされた公知の測光演算を
行ない、この演算結果として7セグメント74と小数点
75を用いて絞り値(F5.6)を表示する(図13
(A))。 【0064】更に、レリーズ釦41が押し込まれてスイ
ッチSW2がONされているかどうかの判定を行ない
(#113)、スイッチSW2がOFF状態であれば、
再びスイッチSW1の状態の確認を行なう(#11
1)。又、スイッチSW2がONされたならばCPU1
00はシャッター制御回路108、モーター制御回路1
09、絞り駆動回路111にそれぞれ信号を送信する。 【0065】まずモーターM2に通電し、主ミラー2を
アップさせ、絞り31を絞り込んだ後、マグネットMG
1に通電しシャッター4の先幕を開放する。絞り31の
絞り値及びシャッター4のシャッタースピードは、前記
測光回路102にて検知された露出値とフィルム5の感
度から決定される。所定のシャッター秒時(1/250
秒)経過後マグネットMG2に通電し、シャッター4の
後幕を閉じる。フィルム5への露光が終了すると、モー
ターM2に再度通電し、ミラーダウン、シャッターチャ
ージを行なうとともにモーターM1にも通電し、フィル
ムのコマ送りを行ない、一連のシャッターレリーズシー
ケンスの動作が終了する(#114)。その後カメラは
再びスイッチSW1がONされるまで待機する(#10
2)。 【0066】又、図6に示したカメラのシャッターレリ
ーズ動作(#114)以外の一連の動作中にモードダイ
ヤル44によってモードが変更され、視線のキャリブレ
ーションモードに設定されたことを信号入力回路104
が検知すると、CPU100はカメラの動作を一時停止
し、視線検出回路101に送信して視線のキャリブレー
ション(#115)が可能な状態に設定する。視線のキ
ャリブレーション方法については後述する。 【0067】図7、図8は視線検出のフローチャートで
ある。前述のように視線検出回路101はCPU100
より信号を受け取ると視線検出を実行する(#10
4)。CPU100は、撮影モードの中での視線検出か
あるいは視線のキャリブレーションモードの中での視線
検出かの判定を行なう(#201)。同時にCPU10
0はカメラが後述するどのキャリブレーションデータナ
ンバーに設定されているかを認識する。 【0068】CPU100は、撮影モードでの視線検出
の場合はまず最初にカメラが例えば縦位置か横位置かど
のような姿勢になっているかを信号入力回路104を介
して姿勢検知手段27からの信号に基づいて検知する
(#202)。即ち信号入力回路104は姿勢検知手段
としての水銀スイッチ27(SW−ANG)の出力信号
を処理してカメラが横位置であるか縦位置であるか、
又、縦位置である場合は例えばレリーズ釦41が天方向
にあるか地(面)方向にあるかを判断する。続いてCP
U100を介して測光回路102から撮影領域の明るさ
の情報を入手する(#203)。 【0069】次に、先に検知されたカメラの姿勢情報と
キャリブレーションデータに含まれる撮影者の眼鏡情報
より赤外発光ダイオード(以下IRED13と称す)1
3a〜13fの選択を行なう(#204)。即ち、カメ
ラが横位置に構えられ、撮影者が眼鏡をかけていなかっ
たならば、図2(A)に示すようにファインダー光軸よ
りのIRED13a,13bが選択される。又、カメラ
が横位置で、撮影者が眼鏡をかけていれば、ファインダ
ー光軸から離れたIRED13c,13dが選択され
る。 【0070】このとき撮影者の眼鏡で反射した照明光の
一部は、眼球像が投影されるイメージセンサー14上の
所定の領域以外に達するようにして、眼球像の解析に支
障が生じないようにしている。即ち、眼鏡情報に応じて
眼球への照明方向を変えて、眼鏡からの反射光(ノイズ
光)がイメージセンサーに入射するのを防止して、高精
度な視線検出を可能としている。 【0071】更には、カメラが縦位置で構えられていた
ならば、撮影者の眼球を下方から照明するようなIRE
D13a,13eもしくはIRED13b,13fの組
み合わせのどちらかの組み合せが選択される。 【0072】次にイメージセンサー14(以下CCDー
EYEと称す。)の蓄積時間及びIRED13の照明パ
ワーが前記測光情報及び撮影者の眼鏡情報等に基づいて
設定される(#205)。該CCD−EYE14の蓄積
時間及びIRED13の照明パワーは前回の視線検出時
に得られた眼球像のコントラスト等から判断された値を
基にして設定を行なっても構わない。 【0073】CCD−EYE14の蓄積時間及びIRE
D13の照明パワーが設定されると、CPU100はI
RED駆動回路107を介してIRED13を所定のパ
ワーで点灯させるとともに、視線検出回路101はCC
D−EYE14の蓄積を開始する(#206)。又、先
に設定されたCCD−EYE14の蓄積時間にしたがっ
てCCD−EYE14は蓄積を終了し、それとともにI
RED13も消灯される。視線のキャリブレーションモ
ードでなければ(#207)、CCD−EYE14のう
ちの所定の読み出し領域が設定される(#208)。 【0074】カメラ本体の電源がONされた後の1番最
初の視線検出以外はCCD−EYE14の読み出し領域
は前回の視線検出時のCCD−EYE14の読み出し領
域を基準にして設定されるが、カメラの姿勢が変化した
とき、あるいは眼鏡の有無が変化した場合等はCCD−
EYE14の読み出し領域は全領域に設定される。CC
D−EYE14の読み出し領域が設定されると、CCD
−EYE14の読み出しが実行される(#209)。こ
の時読み出し領域以外の領域は空読みが行なわれ実際上
読み飛ばされていく。 【0075】CCD−EYE14より読みだされた像出
力は視線検出回路101でA/D変換された後にCPU
100にメモリーされ、該CPU100において眼球像
の各特徴点の抽出のための演算が行なわれる(#21
0)。即ち、CPU100において、眼球の照明に使用
された一組のIRED13の虚像であるプルキンエ像の
位置 (xd′, yd′) ,( xe′, ye′) が検
出される。プルキンエ像は光強度の強い輝点として現わ
れるため、光強度に対する所定のしきい値を設け該しき
い値を超える光強度のものをプルキンエ像とすることに
より検出可能である。 【0076】又、瞳孔の中心位置( xc′, yc′)
は瞳孔19と虹彩17の境界点を複数検出し、各境界点
を基に円の最小二乗近似を行なうことにより算出され
る。この時瞳孔径rpも算出される。又、二つのプルキ
ンエ像の位置よりその間隔が算出される。又CCD−E
YE14の蓄積時間、IREDの照明パワー及びCCD
−EYE14の像出力より撮影者の眼球周辺の明るさL
pが求められる。 【0077】CPU100は眼球像の解析を行なうとと
もに、眼球像のコントラストを検出してそのコントラス
トの程度からCCD−EYE14の蓄積時間の再設定を
行なう。又、プルキンエ像の位置及び瞳孔の位置(x
d′,yd′),(xe′,ye′)よりCCD−EY
E14の読み出し領域を設定する。 【0078】この時CCD−EYE14の読み出し領域
は、検出された瞳孔を含み該瞳孔の位置が所定量変化し
ても瞳孔全体が検出可能な範囲に設定される。そしてそ
の大きさは虹彩の大きさより小さいのはいうまでもな
い。 【0079】CCD−EYE14の読み出し領域は、長
方形に設定され該長方形の対角の2点の座標がCCD−
EYE14の読み出し領域としてEEPROM100a
に記憶される。さらに眼球像のコントラストあるいは瞳
孔の大きさ等から、算出されたプルキンエ像及び瞳孔中
心の位置の信頼性が判定される。この時の信頼性情報
は、視線補正データ(キャリブレーションデータ)の1
つとなっている。 【0080】眼球像の解析が終了すると、キャリブレー
ションデータの確認手段を兼ねた視線検出回路101は
算出されたプルキンエ像の間隔と点灯されたIRED1
3の組合せよりキャリブレーションデータの中の1つで
ある眼鏡情報が正しいか否かの判定を行なう(#21
1)。これはその時々において眼鏡を使用したり使用し
なかったりする撮影者に対処するためのものである。 【0081】即ち、キャリブレーションデータの中の撮
影者の眼鏡情報が例えば眼鏡を使用するように設定され
ていて、図2(A)に示したIRED13の内のIRE
D13c,13dが点灯された場合、プルキンエ像の間
隔が所定の大きさより大きければ撮影者は眼鏡装着者と
認識され眼鏡情報が正しいと判定される。逆にプルキン
エ像の間隔が所定の大きさより小さければ、撮影者は裸
眼あるいはコンタクトレンズ装着者と認識され眼鏡情報
が誤っていると判定される。 【0082】眼鏡情報が誤っていると判定されると(#
211)、CPU100は視線補正データである眼鏡情
報の変更を行なって(#217)、再度IRED13の
選択を行ない(#204)視線検出を実行する。但し眼
鏡情報の変更を行なう際、CPU100のEEPROM
に記憶された眼鏡情報は変更されない。 【0083】又、眼鏡情報が正しいと判定されると(#
212)、プルキンエ像の間隔よりカメラの接眼レンズ
11と撮影者の眼球15との距離が算出され、さらには
該接眼レンズ11と撮影者の眼球15との距離からCC
D−EYE14に投影された眼球像の結像倍率βが算出
される(#212)。以上の計算値より眼球15の光軸
15aの回転角θは(3)式を修正して θx≒ARCSIN{(xc′−(xp′+ δx)/β/OC)‥(6) θy≒ARCSIN{(yc′−(yp′+δy)/β/ OC)‥(7) と表わされる(#213)。 【0084】但し xp′≒( xd′+ xe′)/2 yp′≒( yd′+ ye′)/2 δx,δyは2つのプルキンエ像の中心位置を補正する
補正項である。 【0085】撮影者の眼球の回転角θx ,θy が求ま
ると、ピント板7上での視線の位置(x,y)は、
(5)式を修正して x≒m*ax*(θx+bx) ‥‥‥(8) y≒m*ax*(θy+by) ‥‥‥(9)と求
まる(#214)。但し、ax,bx,byは視線の個
人差を補正するためのパラメータで、axはキャリブレ
ーションデータである。 【0086】又、水平方向(x方向)の眼球の光軸と視
軸との補正量に相当するbxは bx=kx*(Lp−Lx) +bOx ‥‥‥(10) と表わされ、撮影者の眼球周辺の明るさLpの関数であ
る。ここでLxは定数でbOxはキャリブレーションデ
ータである。 【0087】又、(10)式において明るさLpにかか
る比例係数kxは明るさによってとる値が異なり、 Lp≧Lx の時 kx=0 Lp<Lx の時 kx={1−k0*k1*(θx+bx′)/|k0|} *k0 ‥‥‥(11)と設定される。 【0088】即ち、比例係数kx は撮影者の眼球周辺
の明るさLpが所定の明るさLx以上であれば0の値を
とり、逆に撮影者の眼球周辺の明るさが所定の明るさL
xよりも小さいならばkxは眼球の光軸の回転角θxの
関数となる。 【0089】又、bx′は撮影者がファインダーの略中
央を見ているときの視軸の補正量に相当するもので、 bx′=k0*(Lp−Lx)+b0x と表わされる。 【0090】k0 はキャリブレーションデータで撮影
者がファインダーの略中央を見ているときの明るさLp
の変化に対する視軸の補正量bxの変化の割合を表わす
ものである。又、k1 は所定の定数である。 【0091】又、垂直方向(y方向)の補正量に相当す
るbyはby=ky*Lp+ bOy ‥‥‥(1
2)と表わされ、撮影者の眼球周辺の明るさLpの関数
である。ここでky 、b0yはキャリブレーションデ
ータである。上述の視線のキャリブレーションデータを
求める方法は後述する。 【0092】又、視線のキャリブレーションデータの信
頼性に応じて、(8)〜(12)式を用いて算出された
視線の座標の信頼性が変更される。ピント板7上の視線
の座標が求まると視線検出を1度行なったことを示すフ
ラグをたてて(#215)メインのルーチンに復帰する
(#218)。 【0093】又、図7,図8に示した視線検出のフロー
チャートは視線のキャリブレーションモードにおいても
有効である。(#201)において、キャリブレーショ
ンモードの中での視線検出であると判定すると、次に今
回の視線検出がキャリブレーションモードの中での最初
の視線検出であるか否かの判定を行なう(#216)。
今回の視線検出がキャリブレーションモードの中での最
初の視線検出であると判定されると、CCD−EYE1
4の蓄積時間およびIRED13の照明パワーを設定す
るために周囲の明るさの測定が行なわれる(#20
3)。これ以降の動作は前述の通りである。 【0094】又、今回の視線検出がキャリブレーション
モードの中で2回目以上の視線検出であると判定される
と(#216)、CCD−EYE14の蓄積時間および
IRED13の照明パワーは前回の値が採用され直ちに
IRED13の点灯とCCD−EYE14の蓄積が開始
される(#206)。又、視線のキャリブレーションモ
ードでかつ視線検出回数が2回目以上の場合は(#20
7)、CCD−EYE14の読み出し領域は前回と同じ
領域が用いられるためCCD−EYE14の蓄積終了と
ともに直ちにCCD−EYE14の読み出しが実行され
る(#209)。これ以降の動作は前述の通りである。 【0095】尚、図7,図8に示した視線検出のフロー
チャートにおいてメインのルーチンに復帰する際の返数
は、通常の視線検出の場合視線のピント板上の座標
(x,y)であるが、視線のキャリブレーションモード
の中での視線検出の場合は撮影者の眼球光軸の回転角
(θx,θy)及び明るさLpである。又、他の返数で
ある検出結果の信頼性、CCD−EYE14の蓄積時
間、CCD−EYE14の読み出し領域等は共通であ
る。 【0096】又、第1の実施の形態においてCCD−E
YE14の蓄積時間およびIRED13の照明パワーを
設定するために、カメラの測光センサー10にて検出さ
れた測光情報を利用しているが接眼レンズ11近傍に撮
影者の前眼部の明るさを検出する手段を新たに設けてそ
の値を利用するのも有効である。同様に撮影者の眼球周
辺の明るさLpを検出するのに該明るさ検出手段を用い
るのも有効である。 【0097】図9〜図11は視線のキャリブレーション
のフローチャート、図14〜図16は視線のキャリブレ
ーション時のファインダー内LCD24とモニター用L
CD42の表示状態を示したものである。 【0098】従来視線のキャリブレーションは撮影者が
二つ以上の視標を注視したときの視線を検出することに
より実行していたが、第1の実施の形態においては二つ
の視標をファインダーの明るさが異なる状態で2回注視
してもらいそのときの視線を検出することにより視線の
キャリブレーションを実行している。以下同図を用いて
説明する。 【0099】図9において撮影者がモードダイヤル44
を回転させCALポジション44dに指標をあわせる
と、視線のキャリブレーションモードに設定され、信号
入力回路104はCPU100を介してLCD駆動回路
105に信号を送信し、モニター用LCD42は後述す
る視線のキャリブレーションモードのいずれかに入った
ことを示す表示を行なう。又、CPU100はEEPR
OMに記憶されたキャリブレーションデータ以外の変数
をリセットする(#301)。 【0100】図26はCPU100のEEPROMに記
憶されるキャリブレーションデータの種類とその初期値
を示したものである。実際にCPU100のEEPRO
Mに記憶されるのは図26の太線で囲まれたデータで、
現在設定されているキャリブレーションデータナンバー
とキャリブレーションデータナンバーにて管理されてい
る複数のキャリブレーションデータである。ここでキャ
リブレーションデータナンバー0は視線検出を禁止する
ためのモードである。又、キャリブレーションデータナ
ンバー1〜5に対応したEEPROM上のアドレスには
それぞれに上述の視線のキャリブレーションデータが記
憶されるようになっている(第1の実施の形態において
は説明のためにデータを5つ記憶できるようにしている
が、もちろんEEPROMの容量によっていかようにも
設定できる)。 【0101】キャリブレーションデータの初期値は標準
の眼球パラメータで視線が算出されるような値に設定さ
れている。さらに撮影者が眼鏡を使用するか否か、そし
てキャリブレーションデータの信頼性の程度を表わすフ
ラグも有している。眼鏡の有無を表わすフラグの初期値
は眼鏡を使用しているように「1」に設定され、又、キ
ャリブレーションデータの信頼性のフラグの初期値は信
頼性が無いように「0」に設定されている。 【0102】又、モニター用LCD42には現在設定さ
れているキャリブレーションモードを表示する。キャリ
ブレーションモードはキャリブレーション動作を行なう
「ON」モードとキャリブレーション動作を行なわない
「OFF」モードとがある。 【0103】まず「ON」モードにおいてはキャリブレ
ーションデータナンバー1〜5と対応するようにキャリ
ブレーションナンバーCAL1〜CAL5が用意されて
おり、シャッター秒時を表示する7セグメント62と絞
り値を表示する7セグメント63を用いて表示され、そ
のほかの固定セグメント表示部42aはすべて消灯して
いる。 【0104】この時、設定されたキャリブレーションナ
ンバーのキャリブレーションデータが初期値の場合はモ
ニター用LCD42に表示されたキャリブレーションナ
ンバーが点滅し、一方設定されたキャリブレーションナ
ンバーにおいて既に後述するキャリブレーションが行な
われ、対応するキャリブレーションデータナンバーにキ
ャリブレーションデータ(視線補正データ)が入ってい
ればモニター用LCD42に表示されたキャリブレーシ
ョンナンバーがフル点灯するようになっている。 【0105】その結果、撮影者は現在設定されている各
々のキャリブレーションナンバーに既にキャリブレーシ
ョンデータが入っているかどうかを認識できるようにな
っている。又、キャリブレーションデータナンバーの初
期値は0に設定されており、視線のキャリブレーション
が実行されなければ視線による情報入力はなされないよ
うになっている。 【0106】次に「OFF」モードにおいては7セグメ
ント62は「OFF」と表示されるようになっており、
常時キャリブレーションデータナンバー0が選択され視
線禁止モードに設定されている。これは例えば記念撮影
などで急に他の人に写真を撮ってもらうような時など、
視線検出位置を誤ってしまい誤動作するのを防ぐために
視線による情報入力を禁止して撮影するのに有効であ
る。 【0107】続いてCPU100に設定されたタイマー
がスタートし視線のキャリブレーションを開始する(#
302)。タイマースタート後に所定の時間中にカメラ
に対して何の操作もなされなかったならばCPU100
はそのとき設定されていたキャリブレーションデータナ
ンバーを0に再設定し視線禁止(OFF)モードに変更
する。又、ファインダー内に視線のキャリブレーション
用の視標等が点灯していれば消灯する。 【0108】撮影者が電子ダイヤル45を回転させる
と、前述のようにパルス信号によってその回転を検知し
た信号入力回路104はCPU100を介してLCD駆
動回路105に信号を送信する。その結果電子ダイヤル
45の回転に同期してモニター用LCD42に表示され
たキャリブレーションナンバーが変化する。 【0109】モニター用LCD42に表示されるキャリ
ブレーションナンバーを見ながら撮影者が所望のキャリ
ブレーションナンバーを選択したら、視線検出回路10
1はこれに対応するキャリブレーションデータナンバー
の確認を信号入力回路104を介して行なう(#30
3)。確認されたキャリブレーションデータナンバーは
CPU100のEEPROMの所定のアドレス上に記憶
される。 【0110】但し、確認されたキャリブレーションデー
タナンバーが変更されていなければEEPROMへのキ
ャリブレーションデータナンバーの記憶は実行されな
い。 【0111】続いて視線検出回路101は信号入力回路
104を介して撮影モードの確認を行なう(#30
4)。撮影者がモードダイヤル44を回転させて視線の
キャリブレーションモード以外の撮影モードに切り換え
ていることが確認されたら(#304)、ファインダー
内に視線のキャリブレーション用の視標が点滅していれ
ば、それを消灯させて(#305)メインのルーチンで
あるカメラの撮影動作に復帰する(#338)。 【0112】そしてキャリブレーションナンバー「CA
L1〜5」が表示されている状態でモードダイヤル44
を他の撮影モード(シャッター優先AE)に切り換えれ
ば、そのキャリブレーションナンバーのデータを用いて
視線検出を行ない、前述の視線情報を用いた撮影動作が
行なえるようになっている。この時のモニター用LCD
42の状態を図14に示すが、通常の撮影モード表示以
外に視線入力モード表示61を点灯させて、視線情報を
もとに撮影動作を制御している視線入力モードであるこ
とを撮影者に知らせている。 【0113】視線のキャリブレーションモードに設定さ
れたままであることが確認されると(#304)、電子
ダイヤル45にて設定されたキャリブレーションナンバ
ーの確認を再度行なう(#306)。この時キャリブレ
ーションデータナンバーが0を選択され視線禁止モード
に設定されていれば、再度キャリブレーションデータナ
ンバーをCPU100のEEPROMに記憶する(#3
03)。キャリブレーションモードにおいて視線禁止が
選択されたならばカメラはモードダイヤル44にてモー
ドが視線のキャリブレーションモード以外の撮影モード
に変更されるまで待機する。 【0114】つまり「OFF」が表示されている状態で
モードダイヤル44を切り換えれば、視線検出を行なわ
ないで、撮影動作を行なうようになっており、モニター
用LCD42において視線入力モード表示61は非点灯
となっている。 【0115】キャリブレーションデータナンバーが0以
外の値に設定されていれば(#306)、引続きCPU
100は信号入力回路104を介して姿勢検知手段によ
りカメラの姿勢を検知する(#307)。信号入力回路
104は水銀スイッチ27の出力信号を処理してカメラ
が横位置であるか縦位置であるか、又、縦位置である場
合は例えばレリーズ釦41が天方向にあるか地(面)方
向にあるかを判断する。 【0116】カメラは一般に横位置での使用が多いた
め、視線のキャリブレーションを行なうためのハード構
成もカメラを横位置に構えたときにキャリブレーション
可能なように設定されている。そのため視線検出回路1
01はカメラの姿勢が横位置でないことをCPU100
より通信されると、視線のキャリブレーションを実行し
ない(#308)。即ち視線補正データの検出を禁止す
る。 【0117】又、CPU100はカメラの姿勢が横位置
でないことから視線のキャリブレーションができないこ
とを撮影者に警告するために、図16(A)に示すよう
にカメラのファインダー内に設けられた警告手段の一要
素であるファインダー内LCD24に「CAL」表示を
点滅させる。この時図示されていない警告手段としての
発音体によって警告音を発しても構わない。 【0118】一方、カメラの姿勢が横位置であることが
検知されると(#308)、CPU100は視線検出回
数nを0に設定する(#309)。但し視線検出回数n
が20回の時はその回数を保持する。この時ファインダ
ー内LCD24において「CAL」表示が点滅していた
らその点滅を中止する。視線のキャリブレーションはス
イッチSW1 をONにすることにより開始されるよう
に設定されている。撮影者が視線のキャリブレーション
を行なう準備が整う以前にカメラ側でキャリブレーショ
ンを開始するのを防ぐために、CPU100はスイッチ
SW1 の状態の確認を行いスイッチSW1 がレリーズ
釦41によって押されていてON状態であればスイッチ
SW1 がOFF状態になるまで待機する(#31
0)。 【0119】CPU100は信号入力回路104を介し
てスイッチSW1 がOFF状態であることを確認する
と(#310)、再度視線検出回数nの確認を行なう
(#311)。視線検出回数nが20でないならば(#
311)、CPU100はLED駆動回路106に信号
を送信して視線のキャリブレーション用の視標を点滅さ
せる(#313)。視線のキャリブレーション用の視標
は以下に述べるキャリブレーション動作をスーパーイン
ポーズ表示に導かれて、撮影者がスムーズに行なえるよ
うに測距点マークも一部兼用しており、まず最初は右端
の測距点マーク204とドットマーク206が点滅する
(図15(A))。 【0120】視線のキャリブレーションの開始のトリガ
ー信号であるスイッチSW1 のON信号が入ってなけ
ればカメラは待機する(#314)。又、点滅を開始し
た視標を撮影者が注視しレリーズ釦41を押してスイッ
チSW1 をONしたら(#314)視線検出が実行さ
れる(#315)。視線検出の動作は図7のフローチャ
ートで説明した通りである。 【0121】この右端の測距点マーク204及び左端の
測距点マーク200にはドットマーク206,205が
刻まれており、これら2点の位置でキャリブレーション
を行なうことを示しており、どちらもスーパーインポー
ズ用LED21に照明されて点灯、点滅、非点灯の表示
をすることができるようになっている。又、測距点マー
ク200〜204は焦点検出の領域を示すものであるか
ら、その領域に相当するエリアの表示が必要である。 【0122】しかし精度良くキャリブレーションを行な
うためには撮影者にできるだけ1点を注視してもらうこ
とが必要であり、このドットマーク205,206は容
易に1点を注視できるように測距点マーク200〜20
4よりも小さく設けたものである。CPU100は視線
検出のサブルーチンからの返数である眼球の回転角θ
x、θy 、眼球周辺の明るさLp 及び各データの信頼性
を記憶する(#316)。さらに視線検出回数nをカウ
ントアップする(#317)。 【0123】撮影者の視線は多少ばらつきがあるため正
確な視線のキャリブレーションデータを得るためには1
点の視標に対して複数回の視線検出を実行してその平均
値を利用するのが有効である。第1の実施の形態におい
ては1点の視標に対する視線検出回数は10回と設定さ
れている。視線検出回数nが10回あるいは30回でな
ければ(#318)視線検出が続行される(#31
5)。 【0124】ところで第1の実施の形態において視線の
キャリブレーションはファインダーの明るさが異なる状
態で2回行なうようになっている。そのため2回目の視
線のキャリブレーションを開始する際の視線検出回数n
は20回からとなる。視線検出回数nが10回あるいは
30回であれば視標1(測距点マーク204、ドットマ
ーク206)に対する視線検出を終了する(#31
8)。 【0125】視標1に対する視線検出が終了したことを
撮影者に認識させるためにCPU100は図示されてい
ない発音体を用いて電子音を数回鳴らさせる。同時にC
PU100はLED駆動回路106を介して視標1を所
定の時間フル点灯させる(#319)(図15
(B))。 【0126】引続きCPU100は信号入力回路104
を介してスイッチSW1 がOFF状態になっているか
どうかの確認を行なう(#320)。スイッチSW1
がON状態であればOFF状態になるまで待機し、スイ
ッチSW1 がOFF状態であれば視標1が消灯しそれ
と同時に左端の視標2(測距点マーク200、ドットマ
ーク205)が点滅を開始する(#321)(図15
(C))。 【0127】CPU100は再度信号入力回路104を
介してスイッチSW1 がON状態になっているかどう
かの確認を行なう(#322)。スイッチSW1 がO
FF状態であればONされるまで待機し、スイッチSW
1 がONされたら視線検出を実行する(#323)。
CPU100は視線検出のサブルーチンからの返数であ
る眼球の回転角θx、θy 、眼球周辺の明るさLp 及び
各データの信頼性を記憶する(#324)。さらに視線
検出回数nをカウントアップする(#325)。さらに
視線検出回数nが20回あるいは40回でなければ(#
326)視線検出が続行される(#323)。視線検出
回数nが20回あるいは40回であれば視標2に対する
視線検出を終了する(#326)。 【0128】視標2に対する視線検出が終了したことを
撮影者に認識させるためにCPU100は図示されてい
ない警告手段としての発音体を用いて電子音を数回鳴ら
させる。同時にCPU100はLED駆動回路106を
介して視標2をフル点灯させる(#327)(図15
(D))。 【0129】視標1、視標2に対する視線検出が1回ず
つ行なわれ視線検出回数nが20回であれば(#32
8)、ファインダーの明るさが異なる状態で各視標に対
する2回目の視線検出が実行される。CPU100は信
号入力回路104を介してスイッチSW1 の状態を確
認する(#310)。スイッチSW1 がON状態であ
ればOFF状態になるまで待機し、スイッチSW1 が
OFF状態であれば再度視線検出回数nの確認を行なう
(#311)。 【0130】視線検出回数nが20回であれば(#31
1)、CPU100は絞り駆動回路111に信号を送信
し撮影レンズ1の絞り31を最小絞りに設定する。それ
と同時にCPU100は視標2を消灯させる(#31
2)。そして2回目の視線検出を行なうために右端の視
標1が点滅を開始する(#313)。以下の動作 #3
14 〜#327は上述の通りである。 【0131】ファインダーの明るさが異なる状態で視標
1、視標2に対して視線検出が行なわれたならば視線検
出回数nは40回となり(#328)、視線のキャリブ
レーションデータを求めるための視線検出は終了する。
CPU100は絞り駆動回路111に信号を送信して撮
影レンズ1の絞り31を開放状態に設定する(#32
9)。さらにCPU100に記憶された眼球の回転角θ
x、θy 、眼球周辺の明るさより視線のキャリブレーシ
ョンデータが算出される(#330)。視線のキャリブ
レーションデータの算出方法は以下の通りである。 【0132】ピント板7上の視標1、視標2の座標をそ
れぞれ(x1 ,0)、(x2 ,0)、CPU100に
記憶された各視標を注視したときの眼球の回転角(θ
x,θy )の平均値を(θx1, θy1)、(θx2,
θy2)、(θx3, θy3)、(θx4, θy4)、
眼球周辺の明るさの平均値を各々L1 ,L2 ,L3,
L4 とする。 【0133】但し(θx1, θy1)、(θx3, θy
3)は撮影者が視標1を注視したときに検出された眼球
の回転角の平均値、(θx2, θy2)、(θx4, θ
y4)は撮影者が視標2を注視したときに検出された眼
球の回転角の平均値を表わしている。 【0134】同様にL1 ,L3 は撮影者が視標1を注
視したときに検出された眼球周辺の明るさの平均値、L
2 ,L4 は撮影者が視標2を注視したときに検出され
た眼球周辺の明るさの平均値である。又、各データの平
均値につけられたサフィックス 1、2はカメラのファイ
ンダーが明るい状態で視線検出したときのデータである
ことを示し、サフィックス 3,4はカメラのファインダ
ーを暗くした状態で視線検出したときのデータであるこ
とを示している。 【0135】水平方向(x方向)の視線のキャリブレー
ションデータはデータ取得時の眼球周辺の明るさによっ
て算出式が異なり、 (1−1) (L3+L4 )/2 >Lx > (L1+
L2 )/2 のとき ・k0=−{(θx3+θx4)−(θx1+θx
2)}/{2*Lx−(L1+L2)} ・ax=(x3−x4)/m/(L3+L4) ・b0x=−(θx3+θx4)/2 (1−2) Lx≧(L3+L4)/2>(L1+L
2)/2 のとき ・k0=−{(θx3+θx4)−(θx1+θx
2)}/{(L3+L4)−(L1+L2)} ・ax=(x3−x4)/m/{θx3−θx4+k0
*(L3−L4)} ・b0x=−k0*{(L3+L4)/2−Lx}−
(θ3+θ4)/2 と算出される。 【0136】又、垂直方向(y方向)の視線のキャリブ
レーションデータは、 ・ky=−{(θy3+θy4)−(θy1+θy
2)}/{(L3+L4)−(L1+L2)} ・b0y={(θy1+θy2)*(L3+L4)−
(θy3+θy4)*(L1+L2)}/2/{(L1
+L2)−(L3+L4)} と算出される。 【0137】視線のキャリブレーションデータ算出後、
あるいは視線検出の終了後にタイマーがリセットされる
(#331)。 【0138】又、キャリブレーションデータの信頼性の
判定手段を兼ねたCPU100は算出された視線のキャ
リブレーションデータが適正かどうかの判定を行なう
(#332)。判定は視線検出サブルーチンからの返数
である眼球の回転角及び眼球周辺の明るさの信頼性と算
出された視線のキャリブレーションデータ自身を用いて
行なわれる。すなわち視線検出サブルーチンにて検出さ
れた眼球の回転角及び眼球周辺の明るさの信頼性がない
場合は算出された視線のキャリブレーションデータも信
頼性がないと判定する。 【0139】又、視線検出サブルーチンにて検出された
眼球の回転角及び眼球周辺の明るさの信頼性がある場
合、算出された視線のキャリブレーションデータが一般
的な個人差の範囲に入っていれば適正と判定し、一方算
出された視線のキャリブレーションデータが一般的な個
人差の範囲から大きく逸脱していれば算出された視線の
キャリブレーションデータは不適性と判定する。又、C
PU100は算出された視線のキャリブレーションデー
タが適正か否かの判定を行なうだけでなく、算出された
視線のキャリブレーションデータがどの程度信頼性があ
るかも判定する。 【0140】信頼性の度合は視線検出サブルーチンにて
検出された眼球の回転角及び眼球周辺の明るさの信頼性
等に依存している。視線のキャリブレーションデータの
信頼性はその程度に応じて2ビットに数値化されて後述
するようにCPU100のEEPROMに記憶される。 【0141】算出された視線のキャリブレーションデー
タが不適性と判定されると(#332)、LED駆動回
路106はスーパーインポーズ用LED21への通電を
止めて視標1,2 を消灯する(#339)。さらにCP
U100は図示されていない発音体を用いて電子音を所
定時間鳴らし視線のキャリブレーションが失敗したこと
を警告する。同時にLCD駆動回路105に信号を送信
しファインダー内LCD24及びモニター用LCD42
に「CAL」表示を点滅させて警告する(#340)
(図16(A))。 【0142】発音体による警告音とLCD24,42に
よる警告表示を所定時間行なった後キャリブレーション
ルーチンの初期ステップ(#301)に移行し、再度視
線のキャリブレーションを実行できる状態に設定され
る。 【0143】又、算出された視線のキャリブレーション
データが適正であれば(#332)、CPU100はL
CD駆動回路105、LED駆動回路106を介して視
線のキャリブレーションの終了表示を行う(#33
3)。LED駆動回路106はスーパーインポーズ用L
ED21に通電し視標1、視標2を数回点滅させるとと
もに、LCD駆動回路105はLCD24、LCD42
に信号を送信して「EndーキャリブレーションNo」
の表示を所定時間実行するようになっている(図16
(B))。 【0144】CPU100は視線検出回数nを1に設定
し(#334)、さらに算出された視線のキャリブレー
ションデータ、撮影者の眼鏡情報及び算出された視線の
キャリブレーションデータの信頼性を現在設定されてい
るキャリブレーションデータナンバーに相当するEEP
ROM100aのアドレス上に記憶する(#335)。
この時記憶を行なおうとするEEPROMのアドレス上
に既に視線のキャリブレーションデータが記憶されてい
る場合はキャリブレーションデータの更新を行なう。 【0145】一連の視線のキャリブレーション終了後、
カメラは撮影者によって電子ダイヤル45かあるいはモ
ードダイヤル44が操作されるまで待機する。撮影者が
電子ダイヤル45を回転させて他のキャリブレーション
ナンバーを選択したならば、CPU100は信号入力回
路104を介してキャリブレーションナンバーの変更を
検知し(#336)、視線のキャリブレーションルーチ
ンの初期ステップ(#301)に移行する。又、撮影者
がモードダイヤル44を回転させて他の撮影モードを選
択したならば、CPU100は信号入力回路104を介
して撮影モードの変更を検知し(#337)メインのル
ーチンに復帰する(#338)。 【0146】メインのルーチンに復帰する際電子ダイヤ
ル45にて設定されたキャリブレーションナンバーにお
いてキャリブレーションデータが入力されておらず初期
値のままであったならば、CPU100は対応するキャ
リブレーションデータナンバーを0に再設定し強制的に
視線禁止モードに設定する。実際にはCPU100のE
EPROMに記憶された現在設定されているキャリブレ
ーションデータナンバーを0(視線禁止モード)に再設
定する。 【0147】尚、第1の実施の形態においては1点の視
標を注視しているときの視線検出回数を10回にして視
線のキャリブレーションを行なった例を示したが10回
以上の回数で行なっても構わない。 【0148】尚、第1の実施の形態においては撮影レン
ズ1の絞り31を絞り込むことによって、ファインダー
の明るさの異なる状態を設定してキャリブレーションを
行なったが、撮影者に撮影レンズにキャップをしてもら
いスーパーインポーズ用LED21の発光輝度を変えて
行なうことも可能である。 (第2の実施の形態)第17図〜第25図は本発明の第
2の実施の形態の概略図である。第2の実施の形態は視
線のキャリブレーション方法が第1の実施の形態と異な
っている。図17〜図19は視線のキャリブレーション
のフローチャート、図23〜図25は視線検出のフロー
チャートである。 【0149】第2の実施の形態においては視線のキャリ
ブレーションは3つの視標をファインダー(観察面)の
明るさが異なる状態で注視してもらいそのときの視線を
検出することにより実行している。尚第2の実施の形態
に用いる一眼レフカメラの構成、カメラ動作のフローチ
ャート等は上述の第1の実施の形態に示したものと同様
であるため該説明図は省略する。以下各図を用いて説明
する。 【0150】図23〜図25は視線検出のフローチャー
トである。視線検出回路101はCPU100より信号
を受け取ると視線検出を実行する(#104)。まずC
PU100は測光回路102から撮影領域の明るさの情
報を入手する(#251)。又、測光回路102からの
明るさの情報は撮影者の眼球周辺の明るさLpとしても
利用される。続いてCPU100は、撮影モードの中で
の視線検出かあるいは視線のキャリブレーションモード
の中での視線検出かの判定を行なう(#252)。同時
にCPU100はカメラ(光学装置)が後述するどのキ
ャリブレーションデータナンバーに設定されているかを
認識する。 【0151】通常の撮影モードにおける視線検出の場合
(#252)、CPU100はカメラがどのような姿勢
になっているかを信号入力回路104を介して検知する
(#253)。信号入力回路104は水銀スイッチ27
(SW−ANG)の出力信号を処理してカメラが横位置
であるか縦位置であるか、又、縦位置である場合は例え
ばレリーズ鉛41が天方向にあるか地(面)方向にある
かを判断する(#253)。 【0152】次に先に検知されたカメラの姿勢情報と後
術するキャリブレーションデータに含まれる撮影者の眼
鏡情報より赤外発光ダイオード(以下IREDと称す)
13a〜13fの選択を行なう(#254)。すなわち
カメラが横位置に構えられ、撮影者が眼鏡をかけていな
かったならば、図2(B)に示すようにファインダー光
軸よりのIRED13a,13bが選択される。又、カ
メラが横位置で、撮影者が眼鏡をかけていれば、ファイ
ンダー光軸から離れた13c,13dのIREDが選択
される。 【0153】このとき撮影者の眼鏡で反射した照明光の
一部は、眼球像が投影されるイメージセンサー14上の
所定の領域以外に達するため眼球像の解析に支障は生じ
ない。さらにはカメラが縦位置で構えられていたなら
ば、撮影者の眼球を下方から照明するようなIREDの
組合せ13a,13eもしくは13b,13fのどちら
かの組合せが選択される。 【0154】次にイメージセンサー14(以下CCD−
EYEと称す。)の蓄積時間及びIREDの照明パワー
が前記測光情報及び撮影者の眼鏡情報等に基づいて設定
される(#255)。該CCD−EYEの蓄積時間及び
IREDの照明パワーは前回の視線検出時に得られた眼
球像のコントラスト等から判断された値を基にして設定
を行なっても構わない。 【0155】CCD−EYEの蓄積時間及びIREDの
照明パワーが設定されると、CPU100はIRED駆
動回路107を介してIREDを所定のパワーで点灯さ
せるとともに、視線検出回路101はCCD−EYEの
蓄積を開始する(#256)。又、先に設定されたCC
D−EYEの蓄積時間にしたがってCCD−EYEは蓄
積を終了し、それとともにIREDも消灯される。視線
のキャリブレーションモードでなければ(#257)、
CCD−EYEの読みだし領域が設定される(#25
8)。 【0156】カメラ本体の電源がONされた後の1番最
初の視線検出以外はCCD−EYEの読みだし領域は前
回の視線検出時のCCD−EYEの読みだし領域を基準
にして設定されるが、カメラの姿勢が変化したとき、あ
るいは眼鏡の有無が変化した場合等はCCD−EYEの
読みだし領域は全領域に設定される。CCD−EYEの
読みだし領域が設定されると、CCD−EYEの読みだ
しが実行される(#259)。この時読みだし領域以外
の領域は空読みが行なわれ実際上読み飛ばされていく。
CCD−EYEより読みだされた像出力は視線検出回路
101でA/D変換された後にCPU100にメモリー
され、該CPU100において眼球像の各特徴点の抽出
のための演算が行なわれる(#260)。 【0157】すなわちCPU100において、眼球の照
明に使用された一組のIREDの虚像であるプルキンエ
像の位置(xd´,yd´)、(xe´,ye´)が検
出される。プルキンエ像は光強度の強い輝点として現わ
れるため、光強度に対する所定のしきい値を設け該しき
い値を超える光強度のものをプルキンエ像とすることに
より検出可能である。 【0158】又、瞳孔の中心位置(xc´,yc´)は
瞳孔19と虹彩17の境界点を複数検出し、各境界点を
基に円の最小二乗近似を行なうことにより算出される。
この時瞳孔径rpも算出される。又、二つのプルキンエ
像の位置よりその間隔が算出される。 【0159】CPU100は眼球像の解析を行なうとと
もに、眼球像のコントラストを検出してそのコントラス
トの程度からCCD−EYEの蓄積時間の再設定を行な
う。又、プルキンエ像の位置及び瞳孔の位置よりCCD
−EYEの読みだし領域を設定する。この時CCD−E
YEの読みだし領域は、検出された瞳孔を含み該瞳孔の
位置が所定量変化しても瞳孔全体が検出可能な範囲に設
定される。そしてその大きさは虹彩の大きさより小さい
のはいうまでもない。CCD−EYEの読みだし領域は
長方形に設定され該長方形の対角の2点の座標がCCD
−EYEの読みだし領域としてEEPROM100aに
記録される。さらに眼球像のコントラストあるいは瞳孔
の大きさ等から、算出されたプルキンエ像及び瞳孔中心
の位置の信頼性が判定される。 【0160】眼球像の解析が終了すると、キャリブレー
ションデータの確認手段を兼ねたCPU100は算出さ
れたプルキンエ像の間隔と点灯されたIREDの組合わ
せよりキャリブレーションデータの中の眼鏡情報が正し
いか否かの判定を行なう(#261)。これはその時々
において眼鏡を使用したり使用しなかったりする撮影者
に対処するためのものである。すなわちキャリブレーシ
ョンデータの中の撮影者の眼鏡情報が例えば眼鏡を使用
するように設定されていて図2(B)に示したIRED
の内13c,13dが点灯された場合、プルキンエ像の
間隔が所定の大きさより大きければ撮影者は眼鏡装着者
と認識され眼鏡情報が正しいと判定される。 【0161】逆にプルキンエ像の間隔が所定の大きさよ
り小さければ撮影者は裸眼あるいはコンタクトレンズ装
着者と認識され眼鏡情報が誤っていると判定される。眼
鏡情報が誤っていると判定されると(#261)、CP
U100は眼鏡情報の変更を行なって(#267)再度
IREDの選択を行ない(#254)視線検出を実行す
る。但し眼鏡情報の変更を行なう際、CPU100のE
EPROMに記憶された眼鏡情報は変更されない。 【0162】又、眼鏡情報が正しいと判定されると(#
261),プルキンエ像の間隔よりカメラの接眼レンズ
11と撮影者の眼球15との距離が算出され、さらには
該接眼レンズ11と撮影者の眼球15との距離からCC
D−EYEに投影された眼球像の結像倍率βが算出され
る(#262)。以上の計算値より眼球15の光軸の回
転角θは前述の(6),(7)式にて算出される。 【0163】撮影者の眼球の回転角θx,θyが求まる
と、ピント板7上での視線の位置(x,y)は、前述の
(8),(9)式より求まる。 【0164】又、後述する視線のキャリブレーションデ
ータの信頼性に応じて、算出された視線の座標の信頼性
が変更される。ピント板7上の視線の座標が求まると視
線検出を1度行なったことを示すフラグをたてて(#2
65)メインのルーチンに復帰する(#268)。 【0165】又、図23,図24、図25に示した視線
検出のフローチャートは視線のキャリブレーションモー
ドにおいても有効である。(#252)において、キャ
リブレーションモードの中での視線検出であると判定す
ると次に今回の視線検出がキャリブレーションモードの
中での最初の視線検出であるか否かの判定を行なう(#
266)。今回の視線検出がキャリブレーションモード
の中での最初の視線検出であると判定されると、キャリ
ブレーションデータに含まれる撮影者の眼鏡情報よりI
RED13a〜13fの選択を行なう(#254)。
又、CCD−EYEの蓄積時間およびIREDの照明パ
ワーも既に求められた測光データに基づいて設定される
(#256)。 【0166】又、視線のキャリブレーションモードでか
つ視線検出回数が2回目以上の場合は(#257)、C
CD−EYEの読みだし領域は前回と同じ領域が用いら
れるためCCD−EYEの蓄積終了とともに直ちにCC
D−EYEの読みだしが実行される(#259)。これ
以降の動作は前述の通りである。 【0167】図23〜図25に示した視線検出のフロー
チャートにおいてメインのルーチンに復帰する際の返数
は、通常の視線検出の場合視線のピント板上の座標
(x,y)であるが、視線のキャリブレーションモード
の中での視線検出の場合は撮影者の眼球光軸の回転角
(θx,θy)及び明るさLpである。又、他の返数で
ある検出結果の信頼性、CCD−EYE蓄積時間、CC
D−EYE読みだし領域等は共通である。 【0168】撮影者が図2(A)に示したモードダイヤ
ル44を回転させCALポジション44dに指標をあわ
せると、視線のキャリブレーションモードに設定され、
図4に示した信号入力回路104はCPU100を介し
てLCD駆動回路105に信号を送信し、モニター用L
CD42は視線のキャリブレーションモードのいずれか
に入ったことを示す表示を行なう。又、図1に示したフ
ァインダー内LCD24は視線のキャリブレーションモ
ードに入っていることを示す「CAL」表示を7セグメ
ント73を用いてファインダー視野外207に表示す
る。又、CPU100はEEPROMに記憶されたキャ
リブレーションデータ以外の変数をリセットする(#3
51)。 【0169】CPU100のEEPROMに記憶される
キャリブレーションデータの種類とその初期値は図26
に示した通りである。実際にCPU100のEEPRO
Mに記憶されるのは図26の太線で囲まれたデータで、
現在設定されているキャリブレーションデータナンバー
とキャリブレーションデータナンバーにて管理されてい
る複数のキャリブレーションデータである。 【0170】ここでキャリブレーションデータナンバー
0は視線検出を禁止するためのモードである。又、キャ
リブレーションデータナンバー1〜5に対応したEEP
ROMのアドレス上にはそれぞれに上述の視線のキャリ
ブレーションデータが記憶されるようになっている。キ
ャリブレーションデータの初期値は標準の眼球パラメー
タで視線が算出されるような値に設定されている。さら
に撮影者が眼鏡を使用するか否か、そしてキャリブレー
ションデータの信頼性の程度を表わすフラグも有してい
る。眼鏡の有無を表わすフラグの初期値は眼鏡を使用し
ているように「1」に設定され、又、キャリブレーショ
ンデータの信頼性のフラグの初期値は信頼性が無いよう
に「0」に設定されている。 【0171】又、モニター用LCD42には現在設定さ
れているキャリブレーションモードを表示する。キャリ
ブレーションモードはキャリブレーション動作を行なう
「ON」モードとキャリブレーション動作を行なわない
「OFF」モードとがある。 【0172】まず「ON」モードにおいてはキャリブレ
ーションデータナンバー1〜5と対応するようにキャリ
ブレーションナンバーCAL1〜CAL5が用意されて
おり、シャッター秒時を表示する7セグメント62と絞
り値を表示する7セグメント63を用いて表示され、そ
のほかの固定セグメント表示部42aはすべて消灯して
いる。 【0173】この時、設定されたキャリブレーションナ
ンバーのキャリブレーションデータが初期値の場合はモ
ニター用LCD42に表示されたキャリブレーションナ
ンバーが点滅し、一方設定されたキャリブレーションナ
ンバーにおいて既にキャリブレーションが行なわれ、キ
ャリブレーションナンバーに対応したEEPROMのア
ドレス上に初期値と異なるキャリブレーションデータが
入っていればモニター用LCD42に表示されたキャリ
ブレーションナンバーがフル点灯するようになってい
る。 【0174】その結果、撮影者は現在設定されているキ
ャリブレーションナンバーに既にキャリブレーションデ
ータが入っているかどうかを認識できるようになってい
る。キャリブレーションデータナンバーの初期値は0に
設定されており、視線のキャリブレーションが実行され
なければ視線による情報入力はなされないようになって
いる。 【0175】次に「OFF」モードにおいて7セグメン
ト62は「OFF」と表示されるようになっており、常
時キャリブレーションデータナンバー0が選択され視線
禁止モードに設定されている。 【0176】続いてCPU100に設定されたタイマー
がスタートし視線のキャリブレーションを開始する(#
352)。タイマースタート後の所定の時間中にカメラ
に対して何の操作もなされなかったならば視線検出回路
101はそのとき設定されていたキャリブレーションデ
ータナンバーを0に再設定し、視線禁止(OFF)モー
ドに変更する。又、ファインダー内に視線のキャリブレ
ーション用の視標等が点灯していれば消灯する。 【0177】撮影者が電子ダイヤル45を回転させる
と、前述のようにパルス信号によってその回転を検知し
た信号入力回路104はCPU100を介してLCD駆
動回路105に信号を送信する。その結果電子ダイヤル
45の回転に同期してモニター用LCD42に表示され
たキャリブレーションナンバーが変化する。 【0178】このようにしてモニター用LCD42に表
示されるキャリブレーションナンバーを見ながら撮影者
が所望のキャリブレーションナンバーを選択したら、C
PU100はこれに対応するキャリブレーションデータ
ナンバーの確認を信号入力回路104を介して行なう
(#353)。確認されたキャリブレーションデータナ
ンバーはCPU100のEEPROMの所定のアドレス
上にに記憶される。 【0179】但し、確認されたキャリブレーションデー
タナンバーが変更されていなければEEPROMへのキ
ャリブレーションデータナンバーの記憶は実行されな
い。 【0180】続いてCPU100は信号入力回路104
を介して撮影モードの確認を行なう(#354)。撮影
者がモードダイヤル44を回転させて視線のキャリブレ
ーションモード以外の撮影モードに切り換えていること
が確認されると(#354)、ファインダー内LCD2
4による「CAL」表示を消してさらにファインダー内
に視線のキャリブレーション用の視標が点滅していれば
それを消灯させて(#355)、メインのルーチンであ
るカメラの撮影動作に復帰する(#392)。 【0181】そしてキャリブレーションデータナンバー
「CAL1〜5」が表示されている状態でモードダイヤ
ル44を他の撮影モード(シャッター優先AE)に切り
換えれば、そのキャリブレーションナンバーのデータを
用いて視線検出を行ない、前述の視線情報を用いた撮影
動作が行なえるようになっている。この時のモニター用
LCD42の状態を図14に示すが、通常の撮影モード
表示以外に視線入力モード表示61を点灯させて、視線
情報をもとに撮影動作を制御している視線入力モードで
あることを撮影者に知らせている。 【0182】視線のキャリブレーションモードに設定さ
れたままであることが確認されると(#354)、電子
ダイヤル45にて設定されたキャリブレーションナンバ
ーの確認を再度行なう(#356)。この時キャリブレ
ーションデータナンバーが0を選択され視線禁止モード
に設定されていれば、再度キャリブレーションデータナ
ンバーをCPU100のEEPROMに記憶する(#3
53)。 【0183】キャリブレーションモードにおいて視線禁
止が選択されたならばカメラはモードダイヤル44にて
モードが視線のキャリブレーションモード以外の撮影モ
ードに変更されるまで待機する。つまり「OFF」が表
示されている状態でモードダイヤル44を切り換えれ
ば、視線検出を行なわないで、撮影動作を行なうように
なっており、モニター用LCD42において視線入力モ
ード表示61は非点灯となっている。 【0184】キャリブレーションデータナンバーが0以
外の値に設定されていれば(#356)、引続きCPU
100は信号入力回路104を介してカメラの姿勢を検
知する(#357)。信号入力回路104は水銀スイッ
チ27の出力信号を処理してカメラが横位置であるか縦
位置であるか、又、縦位置である場合は例えばレリーズ
釦41が天方向にあるか地(面)方向にあるかを判断す
る。 【0185】カメラは一般に横位置での使用が多いた
め、視線のキャリブレーションを行なうためのハード構
成もカメラを横位置に構えたときにキャリブレーション
可能なように設定されている。そのため視線検出回路1
01はカメラの姿勢が横位置でないことをCPU100
より通信されると、視線のキャリブレーションを実行し
ない(#358)。又、CPU100はカメラの姿勢が
横位置でないことから視線のキャリブレーションができ
ないことを撮影者に警告するために、図22(A)に示
すようにカメラのファインダー内に設けられたファイン
ダー内LCD24の7セグメント73を用いて「CA
L」表示を点滅させる。この時図示されていない発音体
によって警告音を発しても構わない。 【0186】一方、カメラの姿勢が横位置であることが
検知されると(#358)、CPU100は視線検出回
数nを0に設定する(#359)。この時ファインダー
内LCD24において「CAL」表示が点滅していたら
その点滅を中止する。又、視線のキャリブレーションは
スイッチSW1 をONにすることにより開始されるよ
うに設定されている。撮影者が視線のキャリブレーショ
ンを行なう準備が整う以前にカメラ側でキャリブレーシ
ョンを開始するのを防ぐために、視線検出回路101は
スイッチSW1 の状態の確認を行いスイッチSW1 が
レリーズ釦41によって押されていてON状態であれば
スイッチSW1 がOFF状態になるまで待機する(#
360)。 【0187】CPU100は信号入力回路104を介し
てスイッチSW1 がOFF状態であることを確認する
と(#360)、視線検出回路101は絞り駆動回路1
11に信号を送信し、撮影レンズ1の絞り31を最小絞
りに設定する。この時撮影者はファインダー内の明るさ
が暗くなったのを感じて瞳孔を大きく広げる。又、CP
U100はLED駆動回路106に信号を送信して視線
のキャリブレーション用の視標を点滅させる(#36
1)。視線のキャリブレーション用の視標は以下に述べ
るキャリブレーション動作をスーパーインポーズ表示に
導かれて、撮影者がスムーズに行なえるように測距点マ
ークも一部兼用しており、まず最初は右端の測距点マー
ク204とドットマーク206が点滅する(図20
(A))。 【0188】視線のキャリブレーションの開始のトリガ
ー信号であるスイッチSW1 のON信号が入ってなけ
ればカメラは待機する(#362)。又、点滅を開始し
た視標を撮影者が注視しレリーズ釦41を押してスイッ
チSW1 をONしたら(#362)視線検出が実行さ
れる(#363)。視線検出の動作は図7のフローチャ
ートで説明した通りである。 【0189】この右端の測距点マーク204、左端の測
距点マーク200及び中央の測距点マーク202にはド
ットマーク206,205,207が刻まれており、こ
れら3点の位置でキャリブレーションを行なうことを示
しており、それぞれスーパーインポーズ用LED21に
照明されて点灯、点滅、非点灯の表示をする事ができる
ようになっている。又、測距点マークは焦点検出の領域
を示すものであるから、その領域に相当するエリアの表
示が必要である。 【0190】しかし精度良くキャリブレーションを行な
うためには撮影者にできるだけ1点を注視してもらうこ
とが必要であり、このドットマーク205,206,2
07は容易に1点を注視できるように測距点マークより
も小さく設けたものである。 【0191】CPU100は視線検出のサブルーチンか
らの返数である眼球の回転角θx,θy 、眼球周辺の明
るさLp及び各データの信頼性を記憶する(#36
4)。さらに視線検出回数nをカウントアップする(#
365)。撮影者の視線は多少ばらつきがあるため正確
な視線のキャリブレーションデータを得るためには1点
の視標に対して複数回の視線検出を実行してその平均値
を利用するのが有効である。 【0192】第2の実施の形態においては1点の視標に
対する視線検出回数は10回と設定されている。視線検
出回数nが10回未満であれば(#366)視線検出が
続行される(#363)。又、視線検出回数nが10回
であれば視標1(測距点マーク204、ドットマーク2
06)に対する視線検出を終了する(#366)。 【0193】視標1に対する視線検出が終了したことを
撮影者に認識させるためにCPU100は図示されてい
ない発音体を用いて電子音を数回鳴らさせる。同時にC
PU100はLED駆動回路106を介して視標1をフ
ル点灯させる(#367)(図20(B))。 【0194】引続きCPU100は信号入力回路104
を介してスイッチSW1 がOFF状態になっているか
どうかの確認を行なう(#368)。スイッチSW1
がON状態であればOFF状態になるまで待機し、スイ
ッチSW1 がOFF状態であれば視標1が消灯しそれ
と同時に左端の視標2(測距点マーク200、ドットマ
ーク205)が点滅を開始する(#369)(図20
(C))。 【0195】CPU100は再度信号入力回路104を
介してスイッチSW1 がON状態になっているかどう
かの確認を行なう(#370)。スイッチSW1 がO
FF状態であればONされるまで待機し、スイッチSW
1 がONされたら視線検出を実行する(#371)。
CPU100は視線検出のサブルーチンからの返数であ
る眼球の回転角θx,θy 、瞳孔径Lp 及び各データの
信頼性を記憶する(#372)。さらに視線検出回数n
をカウントアップする(#375)。さらに視線検出回
数nが20回未満であれば(#374)視線検出が続行
される(#371)。視線検出回数nが20回であれば
視標2に対する視線検出を終了する(#374)。 【0196】視標2に対する視線検出が終了したことを
撮影者に認識させるためにCPU100は図示されてい
ない発音体を用いて電子音を数回鳴らさせる。同時にC
PU100はLED駆動回路106を介して視標2をフ
ル点灯させる(#375)(図21(A))。 【0197】視標1、視標2に対する視線検出が終了す
ると、ファインダーの(観察面)明るさが異なる状態で
の視線検出が引続き実行される。CPU100は信号入
力回路104を介してスイッチSW1 の状態を確認す
る(#376)。スイッチSW1 がON状態であれば
OFF状態になるまで待機し、スイッチSW1 がOF
F状態であればCPU100は視標2を消灯させる(#
377)。同時にCPU100は絞り駆動回路111に
信号を送信し撮影レンズ1の絞り31を開放絞りに設定
する。そして3つめの視線のキャリブレーションデータ
を得るために中央の視標3(測距点マーク202、ドッ
トマーク207)が点滅を開始する(#377)(図2
1(B))。 【0198】CPU100は再度信号入力回路104を
介してスイッチSW1 がON状態になっているかどう
かの確認を行なう(#378)。スイッチSW1 がO
FF状態であればONされるまで待機し、スイッチSW
1 がONされたら視線検出を実行する(#379)。 【0199】CPU100は視線検出のサブルーチンか
らの返数である眼球の回転角θx,θy 、明るさLp及
び各データの信頼性を記憶する(#380)。さらに視
線検出回数nをカウントアップする(#381)。さら
に視線検出回数nが30回未満であれば(#382)視
線検出が続行される(#379)。視線検出回数nが3
0回であれば視標3に対する視線検出を終了する(#3
82)。 【0200】視標3に対する視線検出が終了したことを
撮影者に認識させるためにCPU100は図示されてい
ない発音体を用いて電子音を数回鳴らさせる。同時にC
PU100はLED駆動回路106を介して視標3をフ
ル点灯させる(#383)(図21(C))。 【0201】引続きCPU100に記憶された眼球の回
転角θx、θy 、明るさLpより視線のキャリブレーシ
ョンデータが算出される(#384)。視線のキャリブ
レーションデータの算出方法は以下の通りである。 【0202】ピント板7上の視標1、視標2、視標3の
座標をそれぞれ(x1,0)、(x2,0)、(0,
0)CPU100に記憶された各視標を注視したときの
眼球の回転角(θx,θy)の平均値を(θx1,θy
1)、(θx2,θy2)、(θx3,θy3)、明るさ
の平均値をL1,L2,L3とする。 【0203】但し(θx1, θy1)は撮影者が視標1
を注視したときに検出された眼球の回転角の平均値、
(θx2, θy2)は撮影者が視標2を注視したときに
検出された眼球の回転角の平均値、(θx3, θy3)
は撮影者が視標3を注視したときに検出された眼球の回
転角の平均値を表わしている。同様にL1 は撮影者が
視標1を注視したときに検出された明るさの平均値、L
2 は撮影者が視標2を注視したときに検出された明る
さの平均値、L3 は撮影者が視標3を注視したときに
検出された明るさの平均値である。又、各データの平均
値につけられたサフィックス 1,2はカメラのファイン
ダーが暗い状態で視線検出したときのデータであること
を示し、サフィックス 3はカメラのファインダーを明
るくした状態で視線検出したときのデータであることを
示している。 【0204】水平方向(x方向)の視線のキャリブレー
ションデータはデータ取得時の明るさによって算出式が
異なり、 (2−1) (L1+L2)/2>Lx>L3 のとき ・k0=−{(θx1+θx2)/2−θx3}}/
{Lx−L3} ・ax=(x1−x2)/m/(θx1−θx2) ・b0x=−(θx1−θx2)/2 (2−2) Lx≧(L1+L2)/2>L3 のとき ・k0=−{(θx1+ θx2)−2*θx3}/
{(L1+L2)−2*L3 } ・ax=(x1−x2)/m/{θx1−θx2+k0
*(L1−L2)} ・b0x=−k0*{(L1+L2)/2−Lx}−
(θ1+θ2)/2 と算出される。 【0205】又、垂直方向(y方向)の視線のキャリブ
レーションデータは、 ・ky=−{(θy1+θy2)−2*θy3}/
{(L1+L2)−2*L3} ・b0y=−ky*(L1+L2)/2−(θy1+θ
y2)/2 と算出される。視線のキャリブレーションデータ算出
後、あるいは視線検出の終了後にタイマーがリセットさ
れる(#385)。 【0206】又、キャリブレーションデータの信頼性の
判定手段を兼ねたCPU100は算出された視線のキャ
リブレーションデータが適正かどうかの判定を行なう
(#386)。 【0207】判定は視線検出サブルーチンからの返数で
ある眼球の回転角及び明るさの信頼性と算出された視線
のキャリブレーションデータ自身を用いて行なわれる。
すなわち視線検出サブルーチンにて検出された眼球の回
転角及び明るさの信頼性がない場合は算出された視線の
キャリブレーションデータも信頼性がないと判定する。
又、視線検出サブルーチンにて検出された眼球の回転角
及び明るさの信頼性がある場合算出された視線のキャリ
ブレーションデータが一般的な個人差の範囲に入ってい
れば適正と判定し、一方算出された視線のキャリブレー
ションデータが一般的な個人差の範囲から大きく逸脱し
ていれば算出された視線のキャリブレーションデータは
不適性と判定する。 【0208】又、CPU100は算出された視線のキャ
リブレーションデータが適正か否かの判定を行なうだけ
でなく、算出された視線のキャリブレーションデータが
どの程度信頼性があるかも判定する。 【0209】信頼性の度合は視線検出サブルーチンにて
検出された眼球の回転角及び明るさの信頼性等に依存し
ているのは言うまでもない。視線のキャリブレーション
データの信頼性はその程度に応じて2ビットに数値化さ
れて後述するようにCPU100のEEPROMに記憶
される。 【0210】算出された視線のキャリブレーションデー
タが不適性と判定されると(#386)、LED駆動回
路106はスーパーインポーズ用LED21への通電を
止めて視標を消灯する(#393)。さらにCPU10
0は図示されていない発音体を用いて電子音を所定時間
鳴らし視線のキャリブレーションが失敗したことを警告
する。同時にLCD駆動回路105に信号を送信しファ
インダー内LCD24及びモニター用LCD42に「C
AL」表示を点滅させて警告する(#394)(図22
(A))。 【0211】発音体による警告音とLCD24、42に
よる警告表示を所定時間行なった後キャリブレーション
ルーチンの初期ステップ(#351)に移行し再度視線
のキャリブレーションを実行できる状態に設定される。 【0212】又、算出された視線のキャリブレーション
データが適正であれば(#386)、CPU100はL
CD駆動回路105、LED駆動回路106を介して視
線のキャリブレーションの終了表示を行なう(#38
7)。LED駆動回路106はスーパーインポーズ用L
ED21に通電し視標1、視標2、視標3を数回点滅さ
せるとともに、LCD駆動回路105はLCD24,L
CD42に信号を送信して「Endーキャリブレーショ
ンNo」の表示を所定時間実行するようになっている
(図22(B))。 【0213】CPU100は視線検出回数nを1に設定
し(#388)、さらに算出された視線のキャリブレー
ションデータ、撮影者の眼鏡情報及び算出された視線の
キャリブレーションデータの信頼性を現在設定されてい
るキャリブレーションナンバーに相当するEEPROM
のアドレス上に記憶する(#389)。この時記憶を行
なおうとするEEPROMのアドレス上に既に視線のキ
ャリブレーションデータが記憶されている場合はキャリ
ブレーションデータの更新を行なう。 【0214】一連の視線のキャリブレーション終了後、
カメラは撮影者によって電子ダイヤル45かあるいはモ
ードダイヤル44が操作されるまで待機する。撮影者が
電子ダイヤル45を回転させて他のキャリブレーション
ナンバーを選択したならば、CPU100は信号入力回
路104を介してキャリブレーションナンバーの変更を
検知し(#390)、視線のキャリブレーションルーチ
ンの初期ステップ(#351)に移行する。又、撮影者
がモードダイヤル44を回転させて他の撮影モードを選
択したならば、CPU100は信号入力回路104を介
して撮影モードの変更を検知し(#391)メインのル
ーチンに復帰する(#392)。又、この時CCD−E
YEの読み出し領域はEEPRPM100aに初期値が
設定される。 【0215】メインのルーチンに復帰する際電子ダイヤ
ル45にて設定されたキャリブレーションナンバーにお
いてキャリブレーションデータが入力されておらず初期
値のままであったならば、CPU100はキャリブレー
ションデータナンバーを0に再設定し強制的に視線禁止
モードに設定する。実際にはCPU100のEEPRO
M上に記憶された現在設定されているキャリブレーショ
ンデータナンバーを0(視線禁止モード)に再設定す
る。 【0216】尚、第2の実施の形態においては1点の視
標を注視しているときの視線検出回数を10回にして視
線のキャリブレーションを行なった例を示したが10回
以上の回数で行なっても構わない。 【0217】尚、第2の実施の形態においては撮影レン
ズの絞りを絞り込むことによって、ファインダーの明る
さの異なる状態、すなわち撮影者の明るさを異ならせる
状態を設定してキャリブレーションを行なったが、撮影
者に撮影レンズにキャップをしてもらいスーパーインポ
ーズ用LED21の発光輝度を変えて行なうことも可能
である。 【0218】 【発明の効果】本発明によれば、撮影者の眼球周辺の明
るさによる個人差や観察状態の変化による視線の検出誤
差を適切に設定した視線検出装置を用いることにより補
正し、高精度の視線検出を行うことができる視線検出装
置を有した光学装置を達成している。 【0219】特に視線検出装置で算出される視線を撮影
者の眼球周辺の明るさ及び視線補正データの関数とする
ことにより、又眼球の個人差による視線の検出誤差を補
正する為の視線補正データを撮影者の眼球周辺の明るさ
に応じて算出することにより撮影者の観察状態が変化し
ても視線を高精度に検出することができるという効果を
有した視線検出装置を有した光学装置を達成することが
できる。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention has an eye-gaze detecting device.
Optical devices, especially when subject images are not
Through the finder system on the observation plane (focus plane)
Axis and location in the direction of the gazing point observed by the observer (photographer)
When the so-called line of sight (the visual axis) is illuminated on the eyeball of the observer
Vision that is detected using the reflection image of the obtained eyeball
The present invention relates to an optical device having a line detection device. 2. Description of the Related Art Conventionally, an observer determines which position on an observation surface.
Detects so-called line of sight (axis of sight)
(For example, an eye camera) are provided. [0003] For example, Japanese Patent Application Laid-Open No. 1-274736 discloses
The parallel luminous flux from the light source to the anterior segment of the observer's eyeball.
The corneal reflection image and the pupil formed by the reflected light from the cornea
The visual axis is determined using the image position. [0004] The applicant of the present invention has disclosed Japanese Patent Application Laid-Open No. 4-242630.
Of Japanese Patent Application Publication (Japanese Patent Application No. 3-11492)
Perform gaze calibration to correct for individual differences in lines.
An optical device having an eye-gaze detecting device is proposed. FIG. 28 is a view for explaining the principle of a known line-of-sight detection method.
It is. In the same figure, 13a and 13b each correspond to the observer.
Light source such as a light emitting diode that emits insensitive infrared light
The light sources 13a and 13b are located on the optical axis of the light receiving lens 12.
The eyeball 15 of the observer is arranged approximately symmetrically in the x direction.
Lighting is scattered. Part of the illumination light reflected by the eyeball 15 is received.
Light is focused on the image sensor 14 by the optical lens 12.
You. FIG. 27A shows a state where the light is projected on the image sensor 14.
FIG. 27B is a schematic view of the eyeball image to be shadowed, and FIG.
FIG. 4 is a diagram showing the intensity of an output signal from the page sensor 14. Less than
A gaze detection method will be described with reference to the drawings. The infrared light emitted from the light source 13b is
The cornea 16 of the eyeball 15 is illuminated. At this time, the cornea 16
Corneal reflection formed by part of the infrared light reflected from the surface
The image d (virtual image) is collected by the light receiving lens 12 and
An image is formed at a position d 'on the sensor 14. Similarly, the infrared light emitted from the light source 13a is
The cornea 16 of the eyeball 15 is illuminated. At this time, the table of the cornea 16
Corneal reflection image formed by part of infrared light reflected by the surface
e is condensed by the light receiving lens 12, and is
The image is formed at a position e 'on the image. Also, the end a of the iris 17,
The light beam from b is transmitted through the light receiving lens 12 to an image sensor.
The images of the ends a and b are formed at positions a 'and b' on
You. The position of the eyeball 15 with respect to the optical axis of the light receiving lens 12
When the rotation angle θ of the optical axis is small, the ends a and b of the iris 17
Assuming that x coordinates are xa and xb, the center position c of the pupil 19
Is represented by xc ≒ (xa + xb) / 2. The x coordinate of the midpoint between the corneal reflection images d and e is
The x-coordinate xo of the center of curvature O of the cornea 16 substantially matches.
Therefore, the x coordinate of the corneal reflection image generation positions d and e is xd
, Xe, the center of curvature O of the cornea 16 and the center C of the pupil 19.
OC is the standard distance at a distance, and individual differences with respect to the distance OC
Let A be a coefficient (gaze correction coefficient) that considers
The rotation angle θ of the optical axis 15a substantially satisfies the relational expression of (A * OC) * SINθ {xc- (xd + xe) / 2} (1). For this reason, as shown in FIG.
Feature points of the eyeball 15 projected on the
To detect the positions of the projections d, e and the edges a, b) of the iris.
To determine the rotation angle θ of the optical axis 15a of the eyeball 15 by
Can be. At this time, the expression (1) can be rewritten as β * (A * OC) * SINθ {(xa ′ + xb ′) / II− (xd ′ + xe ′) / 2} (2) Here, β is relative to the light receiving lens 12.
At a magnification determined by the position of the eyeball 15, substantially the corneal inversion
As a function of the projection interval | xd'-xe '|
You. The rotation angle θ of the optical axis of the eyeball 15 is rewritten as θ ≒ ARCSIN {(xc'-xf ') / β / (A * OC)} ‥‥ (3). However, xc ′ {(xa ′ + xb ′) / 2xf ′} (xd ′ +
xe ') / 2 By the way, the optical axis 15a of the observer's eyeball 15 coincides with the visual axis.
The rotation angle θ of the optical axis of the observer's eyeball in the horizontal direction.
Is calculated, the angle difference α between the optical axis of the eyeball and the visual axis is corrected.
The horizontal line of sight θx of the photographer
It is. For the correction angle α between the optical axis of the eyeball and the visual axis,
Assuming that the coefficient (gaze correction coefficient) considering individual differences is B,
The observer's horizontal line of sight θx is obtained as follows: θx = θ ± (B * α) ‥‥‥ (4) Where the sign ± is to the right with respect to the observer.
If the rotation angle is positive, the observation device (finder system)
If the observer's eye is the left eye, the sign is +. If the observer's eye is the right eye, the sign is-.
No. is selected. In FIG. 1, the eyeball of the observer is z-
An example of rotation in an x plane (for example, a horizontal plane) is shown.
However, the observer's eyeball rotates in a yz plane (for example, a vertical plane).
In the case of turning, it can be similarly detected. However,
The vertical component of the observer's line of sight is the vertical direction of the optical axis of the eyeball
And the vertical line of sight θy becomes θy = θ ′. Further, a single-lens reflex camera is used as an optical device.
Observe from the line-of-sight data θx, θy
The position (xn, yn) on the focus plate seen by the user is xn {m * θx} m * [ARCSIN {(xc'-xf ') / β / (A * OC)} ± (B * α)] ‥‥‥ (5) yn ≒ m * θy. Here, m is a finder optical system of the camera.
Is a constant determined by Here, the person who corrects individual differences in gaze
Since the numbers are two, A and B, for example,
Observation calculated at the time when you see two optotypes
The coefficients A and B can be obtained from the rotation angle of the eyeball of the person
Noh. Also, coefficients A and B for correcting individual differences in the line of sight
Corresponds to the horizontal rotation of the observer's eyeball
Are located in the camera's viewfinder.
The target is set to be horizontal to the observer.
ing. [0018] Coefficients A and B for correcting individual differences in gaze are obtained.
And look into the viewfinder of the camera using equation (5).
Once the position of the observer's line of sight on the focus plate is calculated,
Use line information for lens focus adjustment or exposure control, etc.
It becomes possible. SUMMARY OF THE INVENTION The pupil of the eyeball of the observer
The size depends on the brightness of the surroundings or the state of mind of the observer.
And the position (c) and position of the center of the pupil.
The position of the Lukinje image (d, e) depends on the size of the pupil.
Change. FIG. 29 shows the pupil diameter r of the observer. p That is, the surrounding
Brightness and gazing point position x calculated by the conventional gaze calculation method
n FIG. 4 is an explanatory diagram showing a relationship with the above. In this way, the observer
Pupil diameter r p Changes, the observer gazes at the same target
Gaze point x calculated even if p Is also changing
There has been a problem that a high degree of gaze cannot be detected. In order to detect the gaze more accurately,
Each time the observer's observation state, that is, the surrounding brightness changes,
Line correction must be performed, which results in camera operation
There is a problem that the property is impaired. An object of the present invention is to control the brightness around the photographer.
Using a line-of-sight detection device that has set the line-of-sight
This allows for accurate gaze detection.
Another object of the present invention is to provide an optical device having an eye-gaze detecting device. Means for Solving the Problems The invention of claim 1 is Observation
Eye that is projected from the eyeball of the subject and obtained from the reflected light from the eyeball
Rotation angle detection means for detecting the rotation angle of the eyeball using a spherical image
Information obtained from the rotation angle of the observer's eyeball multiple times
Gaze correction information according to individual differences of observers
Gaze correction information calculating means for calculating, and eye circumference of the observer
Lightness detecting means for detecting the brightness of the side;
The rotation angle of the eyeball detected by the angle detection means and the line of sight
Gaze correction information calculated by the correction information calculation means;
The brightness around the eyeball detected by the lightness detection means
Determining the line of sight of the observer using
You. (First Embodiment) FIGS. 1 to 1
FIG. 6 is an explanatory diagram of the first embodiment of the present invention. This
FIG. 1 shows a first embodiment when the present invention is applied to a single-lens reflex camera.
2A and 2B are schematic views of a main part of the embodiment of FIG.
1 is a top external view and a rear view of the single-lens reflex camera, and FIG.
It is a finder visual field diagram. In FIG. 1, reference numeral 1 denotes a photographing lens, and FIG.
Although shown by the upper two lenses 1a and 1b, actually
It is composed of 2 is a main mirror, which is used for the observation state and
Depending on the shooting conditions, it may be skewed or departed into the shooting optical path.
You. Reference numeral 3 denotes a sub-mirror, which controls the light beam transmitted through the main mirror 2.
Reflects downward from the body. 4 is a shutter,
5 is a photosensitive member, which is a silver halide film or a CCD or MOS.
From a solid-state image sensor such as a mold or an image pickup tube such as a vidicon
Made up of Reference numeral 6 denotes a focus detection device, which is arranged near the image plane.
Field lens 6a, reflecting mirrors 6b and 6
c, from secondary imaging lens 6d, aperture 6e, multiple CCDs
Well-known position composed of a line sensor 6f, etc.
The phase difference method is adopted. The focus detection device 6 in FIG.
As shown in FIG. 3, a plurality of regions (5
Focus detection marks 200 to 204)
Is configured. Numeral 7 is arranged on a predetermined image forming plane of the photographing lens 1.
Focus plate, 8 is Pentapri for changing viewfinder optical path
9 and 10 measure the brightness of the subject in the observation screen.
Image forming lens and photometric sensor, and the image forming lens 9 is a pen
Measurement with the focus plate 7 via the reflected light path in the Tadach prism 8
The optical sensor 10 is associated with a conjugate. Next, behind the exit surface of the penta roof prism 8
Is provided with an eyepiece 11 having a light splitter 11a.
It is used for the observation of the focus plate 7 by the eye 15 of the shadow person. light
The splitter 11a transmits, for example, visible light and reflects infrared light.
Consists of a dichroic mirror. 12 is a light receiving
And 14 are two-dimensionally arranged photoelectric element arrays such as CCDs.
Predetermined position with respect to light receiving lens 12 by image sensor
In the vicinity of the pupil of the photographer's eye 15
Is placed. The image sensor 14 and the light receiving lens 12
It constitutes one element of the light receiving means. 13, 13a-13
f is an illumination light source (light emitting means) of the photographer's eye 15.
However, as shown in FIG.
Are arranged around the eyepiece 11. Reference numeral 21 denotes a height which can be visually recognized even in a bright subject.
This is a superimposed LED for luminance. Super Lee
The light emitted from the pause LED is a light projecting prism 2.
2. Provided on the display unit of the focus plate 7 after being reflected by the main mirror 2
Vertically bent by the micro prism array 7a,
To the photographer's eye 15 through the prism 8 and the eyepiece 11
Reach. Therefore, the position corresponding to the focus detection area of the focus plate 7 is determined.
This small prism array 7a is formed in a frame shape
5 LED for superimpose corresponding to each
1 (each LED-L1, LED-L2, LED-C,
LED-R1 and LED-R2).
You. The viewfinder view shown in FIG.
As can be seen from the field map, each distance measuring point mark 200, 2
01, 202, 203 and 204 are within the viewfinder field 2
Lights up at 13 to display the focus detection area (distance measurement point)
(Hereinafter, this is called superimposed display). Here, the distance measuring point marks 200 and 20 at the left and right ends
4, dot marks 205 and 206 are engraved.
This is due to the gaze caused by individual differences in the eyeball, as described later.
Line of sight correction data (line of sight correction
Coefficients A and B are sampled.
The target is referred to as a target. Reference numeral 23 denotes a visual field forming a finder visual field area.
Field mask, 24 displays shooting information outside viewfinder
The LCD in the finder for lighting, the LED for lighting (F
-LED) 25. Viewfinder
The light transmitted through the LCD 24 is transmitted by the triangular prism 26.
Guided into the viewfinder, outside the viewfinder view 2 in FIG.
07, the photographer is observing the photographing information.
27 is a posture detecting means, mercury for detecting the posture of the camera
Switch. Reference numeral 31 denotes an aperture provided in the taking lens 1;
A diaphragm driving device including a diaphragm driving circuit 111 described later;
3 is a lens driving motor, 34 is a driving gear and the like.
Lens drive member, 35 is a photocoupler and lens drive unit
The rotation of the pulse plate 36 linked to the material 34 is detected and the lens is detected.
The information is transmitted to the focus adjustment circuit 110. Lens focus adjustment circuit
Reference numeral 110 denotes information on this information and the amount of lens drive from the camera.
The lens drive motor is driven by a predetermined amount based on the report,
Move the focusing lens 1a of the taking lens 1 to the focusing position
I have. Reference numeral 37 denotes a known camera-lens interface.
This is the mounting contact that becomes the source. In FIG. 2, 41 is a release button, and 42 is
Use the monitor LCD as an external monitor display device in advance
Fixed segment display section 4 for displaying a determined pattern
2a, a 7-segment display unit 42b for displaying a variable numerical value,
Consists of 43 is an AE lock that holds the photometric value
A button 44 is used to select a shooting mode or the like with a mode dial.
ing. In FIG. 2A, reference numeral 45 denotes an electronic dial.
And by rotating it to generate a click pulse,
Select further among the modes selected with the mode dial.
This is for selecting the setting value to be obtained. For example mode
Select a shutter-priority shooting mode with the dial 44
The LCD 24 in the viewfinder and the LCD for the monitor
42 shows the currently set shutter speed.
Is shown. When the photographer rotates the electronic dial 45,
Shutter currently set according to the rotation direction of
Shutter speed changes sequentially from speed
It is configured as follows. FIG. 4 shows the inside of the camera body of the first embodiment.
It is a principal part block diagram of the stored electric circuit. As a line-of-sight correction means built in the camera body,
Central processing unit (CP)
U) 100 includes a line-of-sight detection circuit 101, a photometry circuit 102,
Automatic focus detection circuit 103, signal input circuit 104, LCD
Drive circuit 105, LED drive circuit 106, IRED drive
Circuit 107, shutter control circuit 108, motor control
The circuit 109 is connected. Also placed inside the taking lens
Focus adjustment circuit 110 and aperture drive circuit 111
No signal is transmitted through the mount contact 37 shown in FIG.
It is. As storage means attached to CPU 100,
The EEPROM 100a is a line-of-sight compensator for correcting individual differences in line of sight.
It has a function of storing positive data. Mode dial 44
When the "CAL" position of
Gaze correction data (hereinafter referred to as carry
Calibration data)
Calibration mode can be selected.
Selection of the calibration number corresponding to the data
Calibration operation "OFF" and prohibition of gaze detection
The mode can be set with the e-dial 45
You. Multiple calibration data can be set.
Or the same user.
When the observation state is different, for example, when using glasses
If not, or use a diopter correction lens
It is effective to set it separately for
is there. Also, the calibration number selected at this time
-Or the state of the set line-of-sight prohibition mode is also described later
The calibration data numbers (1, 2, 3
(Or 0) is stored in the EEPROM 100a.
It is. The line-of-sight detection circuit 101 is an image sensor
14 (CCD-EYE) to output A / D
The image data is converted and transmitted to the CPU 100. CPU1
00 is the feature of the eyeball image necessary for gaze detection as described later
Points are extracted according to a predetermined algorithm.
The gaze of the photographer is calculated from the position of the point. With CPU 100
The gaze detection circuit 101 and the image sensor 14
It constitutes one element of the detection device. The photometric circuit 102 receives a signal from the photometric sensor 10.
After amplifying the output, logarithmic compression and A / D conversion are performed.
It is sent to CPU 100 as luminance information. Photometric sensor
Reference numeral 10 denotes a left ranging point 2 in the viewfinder visual field shown in FIG.
SPC for photometry of the left area 210 including 00 and 201
L, and photometry of the central area 211 including the central ranging point 202
SPC-C, and right ranging points 203 and 204
SPC-R for metering right area 212 and its surroundings
Four photo dies with SPC-A to measure the area 213
Consists of an Aether. The line sensor 6f is located on the screen as described above.
Sets of five lines corresponding to the five ranging points 200 to 204
Sensor CCD-L2, CCD-L1, CCD-C, C
Well-known CCD composed of CD-R1 and CCD-R2
It is a line sensor. The automatic focus detection circuit 103
A / D-converts the voltage obtained from the line sensor 6f
Send to PU100. SW-1 is the first straw of the release button 41
Light metering to start photometry, AF, and gaze detection operation
The switch and SW-2 are turned on by the second stroke of the release button.
Release switch for N, SW-ANG for mercury switch
S, a posture detection switch detected by S
W-AEL is turned on by pressing AE lock button 43
AE lock switches, SW-DIAL1 and SW-D
IAL2 is a dial switch provided in the electronic dial 45.
Input to the up / down counter of the signal input circuit 104.
Counts the amount of rotation click of the electronic dial 45
I do. SW-M1-M4 are also set in the mode dial.
This is a digit dial switch. The signals of these switches are applied to the signal input circuit 10
4 and transmitted to the CPU 100 by the data bus.
It is. Reference numeral 105 denotes a display drive for the liquid crystal display element LCD.
A known LCD drive circuit for receiving signals from the CPU 100.
Aperture value, shutter time, set shooting mode, etc.
LCD for monitor and LCD in viewfinder
24 are simultaneously displayed. The LED drive circuit 106 includes an illumination LED (F
-LED) 25 and LED 21 for superimpose
Light / flash control. IRED drive circuit 107 emits infrared light
Diodes (IRED1-6) 13a-13f
It lights up selectively according to it. Shutter control circuit 108
Is a magnet MG-1 that runs the front curtain when energized,
Controls the magnet MG-2 that drives the rear curtain, and
The material is exposed to a predetermined amount of light. The motor control circuit 109 is used to wind a film.
Motor M1 for raising and rewinding, the main mirror 2 and the
By controlling the motor M2 that charges the jitter 4
I have. These shutter control circuit 108, motor control
A series of camera release sequences by the circuit 109
Works. FIGS. 5A and 5B show a monitor LCD 4.
2 and of all display segments of the LCD 24 in the finder
It is an explanatory view showing the contents. Fixed display in FIG.
In addition to the known shooting mode display, the segment portion 42a
Performs line-of-sight detection to select the AF operation and shooting mode of the camera.
Controlling shooting operations such as selection using gaze information
Is provided. The 7-segment portion 42b for displaying a variable numerical value
4-digit 7-segment 62 that indicates shutter time, aperture
Two-digit 7-segment 63 and decimal point 64
A limited numerical display segment 65 for displaying the number of films;
It is composed of one digit seven segments 66. In FIG. 5B, reference numeral 71 denotes a camera shake warning marker.
, 72 is the AE lock mark, 73, 74, 75 are
The same display segment as the shutter time display and aperture value display
, 76 is the exposure compensation setting mark, 77 is the flash full
The mark 78 indicates a line-of-sight input indicating that the line of sight is being input.
Mark 79 is a focusing mark indicating the focusing state of the taking lens 1
It is. Next, the operation of the camera having the eye-gaze detecting device
FIG. 6 is a flowchart of the operation in the finder at this time.
The display state is shown in FIGS. 12 and 13 and based on these figures.
This will be described below. The camera is turned by rotating the mode dial 44.
When a predetermined shooting mode is set from the inoperative state (the first mode)
In the embodiment, it is assumed that the shutter priority AE is set.
The power of the camera is turned on (described below) (# 10).
0), the line of sight stored in the EEPROM of the CPU 100
Variables used for gaze detection other than calibration data
The number is reset (# 101). Then, the release button 41 is pushed in the camera.
Waits until the switch SW1 is turned on (# 10
2). Release button 41 is pushed in and switch SW1 is turned O
When the signal input circuit 104 detects that N
U100 determines which calibration
Confirm that EEPROM data is used in EEPROM 100a
(# 103). At this time, the confirmed calibration data
Data number calibration data
Unchanged or not in gaze mode
If the line of sight is not set,
AF point automatic selection subroutine without using information (# 11
6) Select a specific ranging point. At this ranging point
And the automatic focus detection circuit 103 performs a focus detection operation.
(# 107). Algorithm for automatic selection of AF points
Several methods are possible, but weight the center AF point
The near-point priority algorithm is effective. AF point
The dynamic selection algorithm is not directly related to the present invention
Therefore, the description is omitted. The calibration data number
Gaze calibration data corresponding to the
Value, and that data is entered by the photographer
When it is recognized that the object has
Performs gaze detection according to the calibration data.
Execute (# 104). At this time, the LED drive circuit 106
Turn on the lighting LED (F-LED) 25 and drive the LCD drive.
The motion circuit 105 is a line-of-sight input device for the LCD 24 in the viewfinder.
Turn on the lamp 78 and take a picture outside the viewfinder 207
Is in a state where the camera is performing gaze detection.
(See FIG. 12).
(A)). In the 7 segment 73, the set
Time is displayed (as the first embodiment
1/250 second shutter priority AE
). Here, the visual line detected by the visual line detection circuit 101 is
The line is converted into the coordinates of the gazing point on the focusing screen 7. CPU1
00 selects a ranging point close to the fixation point coordinates, and
Sends a signal to the road 106 and superimposes the LED
The distance measuring point mark is displayed blinking using # 21 (# 1).
05). FIGS. 12A and 12C show an example of distance measurement.
The point mark 201 indicates a selected state.
Further, at this time, the CPU 100 transmits a signal of the detected gazing point coordinates.
When reliability is low, it is selected according to the degree of reliability
The signal is sent so that the number of ranging points is changed and displayed.
You. In FIG. 12B, the state shown in FIG.
Are also not reliable, the focus points 201 and 202
Indicates a state where is selected. The photographer is the photographer
Watch the selected AF point is displayed.
The release button 41 recognizes that the AF point is incorrect.
Release the switch SW1 (# 10)
6), the camera waits until the switch SW1 is turned on
(# 102). The distance measurement selected by the photographer based on the line of sight
After seeing the point displayed, turn on the switch SW1
If it continues (# 106), the automatic focus detection circuit 103
Is the focus of one or more ranging points using the detected line-of-sight information.
The detection is executed (# 107). AF point selected here
It is determined whether or not distance measurement is impossible (# 108).
If the CPU 100 sends a signal to the LCD drive circuit 105,
The focus mark 79 on the LCD 24 in the viewfinder flashes.
And warns the photographer that ranging is NG (impossible)
(# 118), continue until the switch SW1 is released
(# 119). Distance measurement is possible, and a predetermined algorithm is used.
If the focus adjustment state of the selected focusing point is not in focus (#
109), the CPU 100 controls the lens focus adjustment circuit 110
A signal is sent to drive the focusing lens 1a of the taking lens 1 by a predetermined amount.
(# 117). Automatic focus detection after driving the lens
For the road 103, the focus detection is performed again (# 107).
It is determined whether lens 1 is in focus (# 10)
9). The photographing lens 1 is in focus at a predetermined distance measuring point.
CPU 100 sends a signal to LCD drive circuit 105
The focus mark 79 on the LCD 24 in the viewfinder.
Lights up and sends a signal to the LED drive circuit 106 as well.
The focusing point 201 which is sent and focused is displayed in focus (#
110) (FIG. 13 (A)). Note that measurement is not performed
FIG. 13B shows the in-focus display when the focus point automatic selection is performed.
As shown in the figure, the focusing point 201 and the focus mark 79 are lit.
However, the line-of-sight input mark 78 is naturally turned off.
ing. At the time of in-focus display, selection is made based on the line of sight.
The blinking display of the selected AF point goes off, but the focus is displayed.
The ranging point selected by the line of sight matches the ranging point
In many cases, let the photographer know that
Therefore, the focusing point is set to a lighting state. Focused
The photographer sees the AF point displayed in the viewfinder.
The release button 41 recognizes that the AF point is incorrect.
Release switch SW1 (# 11)
1) The camera continues to operate until the switch SW1 is turned on.
It waits (# 102). Further, the photographer looks at the focusing point displayed in focus.
If the switch SW1 continues to be turned on (# 1
11), the CPU 100 sends a signal to the photometric circuit 102
To perform photometry (# 112). Focusing at this time
Weighting was applied to the photometric regions 210 to 213 including points
An exposure value is calculated. In the case of the first embodiment, the distance measuring point 201 is
A known photometric operation weighted to the photometric region 210 including
And as a result of this operation, 7 segments 74 and a decimal point
The aperture value (F5.6) is displayed using 75 (FIG. 13).
(A)). Further, when the release button 41 is depressed,
It is determined whether the switch SW2 is ON.
(# 113), if the switch SW2 is in the OFF state,
The state of the switch SW1 is checked again (# 11
1). If the switch SW2 is turned on, the CPU 1
00 is the shutter control circuit 108, the motor control circuit 1
09, a signal is transmitted to the aperture driving circuit 111, respectively. First, the motor M2 is energized to move the main mirror 2
After raising the aperture and narrowing down the aperture 31, the magnet MG
1 to open the front curtain of the shutter 4. Of aperture 31
The aperture value and the shutter speed of the shutter 4 are
Exposure value detected by the photometric circuit 102 and the feeling of the film 5
Determined from degrees. At a predetermined shutter time (1/250
Second), the magnet MG2 is energized after the lapse of
Close the second curtain. When the exposure of the film 5 is completed,
Turn on the mirror M2 again,
While energizing the motor M1,
Frame advance, a series of shutter release
The operation of the cans ends (# 114). Then the camera
It waits until the switch SW1 is turned on again (# 10
2). The shutter release of the camera shown in FIG.
Mode die during a series of operations other than the close operation (# 114).
The mode is changed by dial 44,
Signal input circuit 104
Is detected, the CPU 100 suspends the operation of the camera
Then, the data is transmitted to the gaze detection circuit 101 and the gaze calibration is performed.
(# 115). Gaze
The calibration method will be described later. FIGS. 7 and 8 are flow charts of the line of sight detection.
is there. As described above, the line-of-sight detection circuit 101 is
When a signal is received, line-of-sight detection is executed (# 10
4). The CPU 100 detects whether the line of sight is detected in the photographing mode.
Or gaze in gaze calibration mode
It is determined whether or not detection has occurred (# 201). At the same time CPU10
0 indicates which calibration data
Recognize whether it is set to the member. The CPU 100 detects the line of sight in the photographing mode.
In the case of, first determine whether the camera is in vertical or horizontal position
Through the signal input circuit 104
To detect based on the signal from the posture detecting means 27
(# 202). That is, the signal input circuit 104 is a posture detecting unit.
Output signal of mercury switch 27 (SW-ANG)
To determine if the camera is in horizontal or vertical position
When the camera is in the vertical position, for example, the release button 41 is
Or in the direction of the ground (surface). Then CP
Brightness of the photographing area from the photometric circuit 102 via U100
(# 203). Next, the camera attitude information detected earlier and
Photographer's glasses information included in calibration data
More infrared light emitting diode (hereinafter referred to as IRED13) 1
3a to 13f are selected (# 204). That is, turtle
Is in the horizontal position and the photographer is not wearing glasses
Then, as shown in Fig. 2 (A), the viewfinder optical axis
IREDs 13a and 13b are selected. Also a camera
Is in the horizontal position, and if the photographer is wearing glasses,
-IREDs 13c and 13d far from the optical axis are selected
You. At this time, the illumination light reflected by the photographer's glasses
Partly on the image sensor 14 where the eyeball image is projected
Reach out of the predetermined area to support analysis of the eyeball image.
We do not cause obstacle. That is, according to the glasses information
By changing the direction of illumination of the eyeball, the reflected light from the glasses (noise
Light) from entering the image sensor,
It enables accurate gaze detection. Further, the camera was held in a vertical position.
Then, an IRE that illuminates the photographer's eyeball from below
Set of D13a, 13e or IRED13b, 13f
Either combination of the combinations is selected. Next, the image sensor 14 (hereinafter referred to as CCD-
Called EYE. ) Storage time and IRED 13 illumination
Is based on the photometric information and the photographer's eyeglass information, etc.
It is set (# 205). Accumulation of the CCD-EYE14
The time and the illumination power of IRED13 are at the time of the previous gaze detection.
The value determined from the contrast of the eyeball image obtained in
The setting may be made based on this. The storage time and IRE of the CCD-EYE 14
When the illumination power of D13 is set, the CPU 100
The IRED 13 is controlled to a predetermined
And the line-of-sight detection circuit 101
The storage of the D-EYE 14 is started (# 206). Again
According to the accumulation time of the CCD-EYE 14 set in
CCD-EYE 14 completes the accumulation, and
The RED 13 is also turned off. Gaze calibration module
If not (# 207), the CCD-EYE14
The next predetermined read area is set (# 208). The first after the power of the camera body is turned on.
Readout area of CCD-EYE14 except for the first gaze detection
Is the readout area of CCD-EYE14 at the time of the last gaze detection.
Is set based on the area, but the camera attitude has changed
Time, or when the presence or absence of glasses changes, CCD-
The read area of the EYE 14 is set to the entire area. CC
When the read area of the D-EYE 14 is set, the CCD
-Reading of the EYE 14 is executed (# 209). This
In this case, the area other than the read area is
It will be skipped. Image output read from CCD-EYE14
After the force is A / D converted by the gaze detection circuit 101, the CPU
100 is stored in the CPU 100 and the eyeball image is stored in the CPU 100.
The calculation for extracting each feature point is performed (# 21).
0). That is, in the CPU 100, it is used for illumination of the eyeball.
Of the Purkinje image, which is a virtual image of the set of IREDs 13
The positions (xd ', yd') and (xe ', ye') are detected.
Will be issued. Purkinje images appear as bright spots with high light intensity
Therefore, a predetermined threshold value is set for the light intensity.
To a Purkinje image with a light intensity exceeding the
More detectable. Also, the center position of the pupil (xc ', yc')
Detects a plurality of boundary points between the pupil 19 and the iris 17 and
Is calculated by performing a least square approximation of a circle based on
You. At this time, the pupil diameter rp is also calculated. Also two purki
The interval is calculated from the position of the image. Also CCD-E
YE14 storage time, IRED illumination power and CCD
-Brightness L around the eyeball of the photographer from the image output of EYE14
p is required. When the CPU 100 analyzes the eyeball image,
First, the contrast of the eyeball image is detected and the
Reset the accumulation time of CCD-EYE14 from the degree of
Do. Further, the position of the Purkinje image and the position of the pupil (x
d ', yd') and (xe ', ye') from CCD-EY
The read area of E14 is set. At this time, the read area of the CCD-EYE 14
Includes a detected pupil, and the position of the pupil changes by a predetermined amount.
Even so, the entire pupil is set in a detectable range. And that
Needless to say, the size of is smaller than the size of the iris
No. The read area of the CCD-EYE 14 is long.
The coordinates of two points on the diagonal of the rectangle are set as a CCD-
The EEPROM 100a is used as a read area of the EYE14.
Is stored in Furthermore, the contrast or pupil of the eyeball image
Purkinje image and pupil inside calculated from the size of the hole
The reliability of the position of the mind is determined. Reliability information at this time
Is one of the eye-gaze correction data (calibration data)
Has become one. When the analysis of the eyeball image is completed, the calibration
The line-of-sight detection circuit 101, which also serves as a means for checking the
Calculated spacing of Purkinje images and illuminated IRED1
One of the calibration data from the combination of 3
It is determined whether or not certain glasses information is correct (# 21)
1). This is the use and use of eyeglasses from time to time
This is to deal with the missing photographer. That is, the photographing in the calibration data
The glasses information of the shadow person is set to use glasses, for example.
IRE in the IRED 13 shown in FIG.
When D13c and 13d are turned on, between Purkinje images
If the distance is larger than the specified size, the photographer
The glasses information is recognized and determined to be correct. Conversely Purkin
If the distance between the images is smaller than the specified size, the photographer is naked
Eyeglass information recognized as eye or contact lens wearer
Is determined to be incorrect. If it is determined that the glasses information is incorrect (#
211), the CPU 100 controls the eyeglasses information
The information is changed (# 217) and the IRED 13
A selection is made (# 204), and a gaze detection is executed. But eyes
When the mirror information is changed, the EEPROM of the CPU 100 is used.
Are not changed. When it is determined that the glasses information is correct (#
212), the eyepiece of the camera based on the distance between the Purkinje images
The distance between the photographer 11 and the eyeball 15 of the photographer is calculated.
CC from the distance between the eyepiece 11 and the eyeball 15 of the photographer
The imaging magnification β of the eyeball image projected on the D-EYE 14 is calculated.
Is performed (# 212). From the above calculated values, the optical axis of the eyeball 15
The rotation angle θ of 15a is obtained by modifying equation (3), and θx ≒ ARCSIN {(xc ′ − (xp ′ + δx) / β / OC) ‥ (6) θy ≒ ARCSIN {(yc ′ − (yp ′ + δy) / Β / OC) ‥ (7) (# 213). Where xp '≒ (xd' + xe ') / 2 yp' ≒ (yd '+ ye') / 2 δx, δy correct the center position of the two Purkinje images.
This is a correction term. The rotation angles θx and θy of the photographer's eyeball are obtained.
Then, the position (x, y) of the line of sight on the focus plate 7 is
Equation (5) is modified to obtain x ≒ m * ax * (θx + bx) ‥‥‥ (8) y ≒ m * ax * (θy + by) ‥‥‥ (9)
Round (# 214). Where ax, bx, and by are the line of sight
Ax is a parameter for correcting human differences,
Data. Also, the visual axis and the optical axis of the eyeball in the horizontal direction (x direction)
Bx corresponding to the correction amount with respect to the axis is expressed as bx = kx * (Lp−Lx) + bOx ‥‥‥ (10), and is a function of the brightness Lp around the eyeball of the photographer.
You. Here, Lx is a constant and bOx is the calibration data.
Data. In equation (10), the brightness Lp
The proportional coefficient kx varies depending on the brightness. When Lp ≧ Lx, kx = 0 When Lp <Lx, kx = {1−k0 * k1 * (θx + bx ′) / | k0 |} * k0} ( 11) is set. That is, the proportional coefficient kx is around the eyeball of the photographer.
If the brightness Lp is equal to or greater than the predetermined brightness Lx, the value of 0
In contrast, the brightness around the eyeball of the photographer is a predetermined brightness L
If it is smaller than x, kx is the rotation angle θx of the optical axis of the eyeball.
Function. Bx 'indicates that the photographer is in the middle of the viewfinder.
This is equivalent to the amount of correction of the visual axis when looking at the center, and is represented by bx '= k0 * (Lp-Lx) + b0x. K0 is photographed with calibration data
Lp when the viewer is looking at the approximate center of the viewfinder
Represents the ratio of the change in the visual axis correction amount bx to the change in
Things. K1 is a predetermined constant. Also, it corresponds to the correction amount in the vertical direction (y direction).
Is by = ky * Lp + bOy {(1
2) is a function of the brightness Lp around the eyeball of the photographer
It is. Here, ky and b0y are calibration data.
Data. The above-mentioned line-of-sight calibration data
The method for obtaining the value will be described later. The transmission of the line-of-sight calibration data
It was calculated using the equations (8) to (12) according to the reliability.
The reliability of the gaze coordinates is changed. Line of sight on focus plate 7
When the coordinates of are determined, a flag indicating that the gaze detection has been performed once.
Rag (# 215) and return to main routine
(# 218). Also, the flow of gaze detection shown in FIGS.
The chart is visible even in the gaze calibration mode.
It is valid. In (# 201), calibration
If it is determined that the eye gaze is detected in the
Gaze detection is the first in calibration mode
It is determined whether or not it is the line of sight detection (# 216).
This gaze detection is the best in calibration mode.
If it is determined that this is the first gaze detection, the CCD-EYE1
4 and the illumination power of the IRED 13 are set.
Measurement of the surrounding brightness is performed (# 20).
3). The subsequent operation is as described above. In addition, the current gaze detection is a calibration.
It is determined that this is the second or more gaze detection in the mode
(# 216), the accumulation time of the CCD-EYE14 and
Immediately after the previous value is adopted for the illumination power of IRED13
Lighting of IRED13 and accumulation of CCD-EYE14 start
Is performed (# 206). Also, the line-of-sight calibration
Mode and the number of gaze detection times is the second or more (# 20
7), CCD-EYE14 readout area is the same as the previous time
Since the area is used, the accumulation of the CCD-EYE 14 is completed.
In both cases, the reading of the CCD-EYE 14 is immediately executed.
(# 209). The subsequent operation is as described above. The flow of gaze detection shown in FIGS.
Returns when returning to the main routine in the chart
Is the coordinates of the line of sight on the focus plate for normal line of sight detection
(X, y), but the gaze calibration mode
In the case of gaze detection in the camera, the rotation angle of the photographer's eyeball optical axis
(Θx, θy) and brightness Lp. Also, at other returns
Reliability of certain detection results, when accumulating CCD-EYE14
During this time, the reading area of the CCD-EYE 14 is common.
You. Further, in the first embodiment, the CCD-E
The storage time of YE14 and the illumination power of IRED13
In order to set, it is detected by the photometric sensor 10 of the camera.
Using the photometric information obtained from the
A new means for detecting the brightness of the anterior segment of the shadow is newly provided.
It is also effective to use the value of Similarly, the eyeball circumference of the photographer
The brightness detection means is used to detect the brightness Lp of the side.
Is also effective. 9 to 11 show the calibration of the line of sight.
The flow chart of FIG. 14 and FIG.
LCD 24 in monitor and L for monitor
This shows the display state of the CD. Conventionally, gaze calibration is performed by the photographer.
To detect the line of sight when gazing at two or more targets
The first embodiment uses two
Gaze at the target twice with different viewfinder brightness
The gaze is detected by detecting the gaze at that time.
Performing calibration. Using the figure below
explain. In FIG. 9, the photographer sets the mode dial 44.
To set the index to the CAL position 44d
Is set to the gaze calibration mode and the signal
The input circuit 104 is an LCD drive circuit via the CPU 100
105, and the monitor LCD 42 is described later.
Entered one of the gaze calibration modes
Is displayed. Also, the CPU 100 is an EEPR
Variables other than calibration data stored in OM
Is reset (# 301). FIG. 26 shows the data stored in the EEPROM of the CPU 100.
Remembered calibration data types and their initial values
It is shown. Actually the EEPROM of CPU100
The data stored in M is the data surrounded by the thick line in FIG.
Currently set calibration data number
And the calibration data number
A plurality of pieces of calibration data. Here
Relation data number 0 prohibits gaze detection
Mode. Also, the calibration data
The addresses on the EEPROM corresponding to members 1 to 5
The above-mentioned line-of-sight calibration data is recorded for each.
(In the first embodiment,
Is able to store 5 data for explanation
But of course depending on the capacity of EEPROM
Can be set). The initial value of the calibration data is standard
Is set so that the gaze is calculated with the eyeball parameters of
Have been. Whether the photographer uses glasses or not
To indicate the degree of reliability of the calibration data.
Also has lugs. Initial value of the flag indicating the presence or absence of glasses
Is set to “1” as if you are using glasses, and
The initial value of the calibration data reliability flag is
The value is set to "0" so that there is no reliability. The monitor LCD 42 has the currently set values.
Displays the current calibration mode. Carry
The calibration mode performs the calibration operation
Do not perform calibration operation with "ON" mode
There is an "OFF" mode. First, in the “ON” mode,
Carry data to correspond to
Brain numbers CAL1 to CAL5 are prepared
And the 7-segment 62 that displays the shutter time and aperture
The value is displayed using a 7-segment 63 that displays the
All other fixed segment display sections 42a are turned off.
I have. At this time, the set calibration
If the calibration data of the
The calibration tool displayed on the monitor LCD 42
The blinking member flashes while the calibration
Calibration has already been performed on the
To the corresponding calibration data number.
Calibration data (eye-gaze correction data)
The calibration displayed on the monitor LCD 42
The full version number lights up. As a result, the photographer can select each of the currently set
Calibration has already been performed for each calibration number.
Can be recognized whether or not
ing. Also, the first calibration data number
The period value is set to 0 and the gaze calibration
If you do not execute the information will not be input by gaze
Swelling. Next, in the "OFF" mode, 7-segment
The event 62 is displayed as "OFF".
Calibration data number 0 is always selected and viewed
Line prohibition mode is set. This is a commemorative photo
Such as when you suddenly have another person take a picture
To prevent erroneous operation due to erroneous gaze detection position
It is effective for prohibiting information input by gaze and shooting.
You. Subsequently, the timer set in the CPU 100
Starts and starts gaze calibration (#
302). During the specified time after the timer starts, the camera
CPU 100 if no operation is performed on
Indicates the calibration data set at that time.
Reset the member number to 0 and change to the line-of-sight prohibition (OFF) mode
I do. Also, gaze calibration in the viewfinder
If the target is turned on, it is turned off. The photographer rotates the electronic dial 45
And the rotation is detected by the pulse signal as described above.
The signal input circuit 104 is connected to the LCD drive via the CPU 100.
A signal is transmitted to the operation circuit 105. E-dial resulting
Displayed on the monitor LCD 42 in synchronization with the rotation of 45.
The calibration number changes. Carry displayed on monitor LCD 42
The photographer can select the desired
After the selection of the brain number, the gaze detection circuit 10
1 is the corresponding calibration data number
Is confirmed via the signal input circuit 104 (# 30).
3). The confirmed calibration data number is
Stored at a predetermined address in the EEPROM of the CPU 100
Is done. [0110] However, the confirmed calibration data
Key to the EEPROM if the data number has not been changed.
The calibration data number is not stored.
No. Subsequently, the line-of-sight detection circuit 101 is a signal input circuit.
The photographing mode is confirmed via the camera 104 (# 30)
4). The photographer turns the mode dial 44 to
Switch to shooting mode other than calibration mode
Is confirmed (# 304), the finder
The target for eye gaze calibration is blinking within
If it is, turn it off (# 305) and in the main routine
The operation returns to the shooting operation of a certain camera (# 338). Then, the calibration number "CA
Mode dial 44 with "L1-5" displayed.
To another shooting mode (shutter priority AE)
If you use that calibration number data
Gaze detection is performed, and the shooting operation using the aforementioned gaze information is performed.
I can do it. LCD for monitor at this time
FIG. 14 shows the state of No. 42.
Turn on the line-of-sight input mode display 61 to display the line-of-sight information
The gaze input mode that controls the shooting operation
To the photographer. The gaze calibration mode is set.
When it is confirmed that the electronic device is left (# 304), the electronic
Calibration number set with dial 45
Confirmation is performed again (# 306). At this time the caliber
Gaze prohibition mode with the option data number 0 selected
If it is set to
Is stored in the EEPROM of the CPU 100 (# 3
03). Gaze prohibition in calibration mode
If selected, the camera will be
Shooting modes other than the gaze calibration mode
Wait until it is changed to In other words, when "OFF" is displayed
By switching the mode dial 44, the line of sight is detected.
The camera is designed to perform shooting operations without
Line-of-sight input mode display 61 is turned off on LCD 42
It has become. If the calibration data number is 0 or more
If the value is set to an outside value (# 306), the CPU continues.
Reference numeral 100 denotes a posture detection unit via a signal input circuit 104.
The orientation of the camera is detected (# 307). Signal input circuit
104 is a camera that processes the output signal of the mercury switch 27
Is a horizontal position, a vertical position, and a vertical position
If the release button 41 is in the top direction, for example,
Judge whether it is in the right direction. The camera is generally used in a horizontal position.
Hardware configuration for calibrating the gaze
Calibration when the camera is held in the horizontal position
It is set as possible. Therefore, the line-of-sight detection circuit 1
01 indicates that the camera is not in the horizontal position.
When communication is made, the gaze calibration is performed.
No (# 308). That is, the detection of the eye-gaze correction data is prohibited.
You. The CPU 100 determines that the camera is in the horizontal position.
Cannot be calibrated because
In order to warn the photographer of this, as shown in FIG.
Of the warning means provided in the camera's viewfinder
Display "CAL" on the LCD 24 inside the viewfinder
Flash. At this time, a warning means (not shown)
A warning sound may be emitted depending on the sounding body. On the other hand, the camera may be in the horizontal position.
When it is detected (# 308), the CPU 100 sets the gaze detection time.
The number n is set to 0 (# 309). Where gaze detection frequency n
Is 20 times, the number is held. At this time the finder
"CAL" was flashing on the LCD 24 inside
Stop the flashing. Eye gaze calibration
Start by turning on switch SW1
Is set to Calibration of the gaze of the photographer
Before the camera is ready to perform calibration.
CPU 100 switches to prevent
Confirm the status of SW1 and release the switch SW1
If it is pressed by the button 41 and is in the ON state, the switch
Wait until SW1 is turned off (# 31)
0). The CPU 100 receives the signal through the signal input circuit 104
Confirm that switch SW1 is OFF
(# 310), the number of gaze detection times n is confirmed again
(# 311). If the number of gaze detection times n is not 20, (#
311), the CPU 100 sends a signal to the LED drive circuit 106.
To flash the target for gaze calibration.
(# 313). Targets for gaze calibration
Super-integrates the calibration operation described below.
Guided by the pose display, the photographer can do this smoothly
The ranging point mark is also used in part, and the first is the right end
Distance measuring point mark 204 and dot mark 206 blink
(FIG. 15A). Trigger for starting the gaze calibration
-The ON signal of switch SW1 must be input.
If so, the camera waits (# 314). Also starts blinking
The photographer gazes at the target and presses the release button 41 to switch
When the switch SW1 is turned on (# 314), the gaze detection is executed.
(# 315). The operation of gaze detection is shown in the flowchart of FIG.
As explained in the previous section. The distance measuring point mark 204 at the right end and the
Dot marks 206 and 205 are included in the distance measuring point mark 200.
Engraved and calibrated at these two points
Both of which are super imports.
LED 21 for lighting, blinking, non-lighting
You can do it. Also, AF point marker
Do marks 200 to 204 indicate the focus detection area?
Therefore, it is necessary to display an area corresponding to the area. However, calibration must be performed with high accuracy.
In order for the photographer to look at one point as much as possible
Are required, and the dot marks 205 and 206 are
Ranging point marks 200 to 20 so that one point can be easily observed
It is provided smaller than 4. CPU 100 is line of sight
Eyeball rotation angle θ, which is the return number from the detection subroutine
x, θy, brightness Lp around the eyeball, and reliability of each data
Is stored (# 316). Furthermore, the number of gaze detection times n is counted.
Up (# 317). Since the photographer's line of sight varies somewhat,
To obtain accurate gaze calibration data, 1
Perform eye gaze detection multiple times for a point target and average
It is useful to use the value. In the first embodiment
The number of gaze detections for one target is set to 10 times.
Have been. The number of gaze detections n is 10 or 30.
If it is (# 318), the gaze detection is continued (# 31).
5). By the way, in the first embodiment,
Calibration is performed when the viewfinder brightness differs.
It is performed twice in a state. So the second look
Number of gaze detections n when line calibration is started
Is from 20 times. The number of gaze detection times n is 10 or
If it is 30 times, the target 1 (ranging point mark 204, dot mark
Gaze detection for the target 206) is terminated (# 31).
8). It is determined that the visual line detection for the target 1 has been completed.
The CPU 100 is shown for the purpose of recognizing the photographer.
Make an electronic sound sound several times using a non-sounding body. At the same time C
PU 100 locates target 1 via LED drive circuit 106.
Full-time lighting for a fixed time (# 319) (FIG. 15)
(B)). The CPU 100 continues to operate the signal input circuit 104
Switch SW1 is in OFF state via
It is confirmed whether or not (# 320). Switch SW1
If the switch is in the ON state, wait until the switch is turned off.
If the switch SW1 is in the OFF state, the target 1 is turned off.
At the same time, the target 2 at the left end (the ranging point mark 200,
15 starts blinking (# 321) (FIG. 15).
(C)). The CPU 100 restarts the signal input circuit 104
Whether the switch SW1 is in the ON state via
Is confirmed (# 322). Switch SW1 is O
If it is in the FF state, it waits until it is turned on, and switches SW
When 1 is turned on, the line of sight is detected (# 323).
The CPU 100 calculates the return number from the line-of-sight detection subroutine.
The rotation angles θx and θy of the eyeball, the brightness Lp around the eyeball, and
The reliability of each data is stored (# 324). Further gaze
The number of detections n is counted up (# 325). further
If the number of gaze detections n is not 20 or 40 (#
326) The gaze detection is continued (# 323). Eye gaze detection
If the number n is 20 or 40 times,
The line-of-sight detection ends (# 326). It is determined that the visual line detection for the target 2 has been completed.
The CPU 100 is shown for the purpose of recognizing the photographer.
Beep several times using sounding body as warning means
Let it. At the same time, the CPU 100 controls the LED drive circuit 106
The target 2 is fully illuminated via the interface (# 327) (FIG. 15).
(D)). The gaze detection for the target 1 and the target 2 is not performed once.
If the number of gaze detection times n is 20 (# 32
8) For each optotype with different viewfinder brightness
A second gaze detection is performed. CPU 100
Check the state of the switch SW1 via the signal input circuit 104.
(# 310). Switch SW1 is ON
If the switch SW1 is turned off,
If the state is OFF, the number of gaze detection times n is checked again.
(# 311). If the number of gaze detection times n is 20 (# 31)
1), the CPU 100 transmits a signal to the aperture driving circuit 111
Then, the aperture 31 of the photographing lens 1 is set to the minimum aperture. It
At the same time, the CPU 100 turns off the target 2 (# 31
2). Then, to perform the second gaze detection, look at the right end.
The target 1 starts blinking (# 313). The following operation # 3
14 to # 327 are as described above. When the brightness of the viewfinder is different,
1. If gaze detection is performed on target 2, gaze detection
The number of appearances n is 40 times (# 328), and the calibrated eyes
The line-of-sight detection for obtaining the translation data ends.
The CPU 100 transmits a signal to the aperture driving circuit 111 to take an image.
The aperture 31 of the shadow lens 1 is set to the open state (# 32
9). Further, the rotation angle θ of the eyeball stored in the CPU 100
x, θy, gaze calibration based on the brightness around the eyeball
The calculation data is calculated (# 330). Gaze Carib
The calculation method of the ration data is as follows. The coordinates of the targets 1 and 2 on the focus plate 7 are
(X1, 0), (x2, 0), respectively,
The rotation angle (θ) of the eyeball when gazing at each of the stored targets
x, θy) are (θx1, θy1), (θx2,
θy2), (θx3, θy3), (θx4, θy4),
The average value of the brightness around the eyeball is L1, L2, L3, respectively.
L4. However, (θx1, θy1), (θx3, θy
3) is an eyeball detected when the photographer gazes at the target 1.
Average value of the rotation angles of (θx2, θy2), (θx4, θ
y4) is an eye detected when the photographer gazes at the target 2.
It represents the average value of the rotation angle of the sphere. Similarly, L1 and L3 indicate the target 1 by the photographer.
The average brightness of the surroundings of the eyeball detected when watching, L
2 and L4 are detected when the photographer gazes at the target 2.
This is the average brightness around the eyeball. The flatness of each data
Averaged suffixes 1 and 2 are camera
This is the data when gaze detection is performed in a bright condition
Suffixes 3 and 4 indicate the camera viewfinder
This is the data when the gaze is detected with the
Are shown. Calibration of the line of sight in the horizontal direction (x direction)
Data depends on the brightness around the eyeball at the time of data acquisition.
(1-1) (L3 + L4) / 2>Lx> (L1 +
When L2) / 2, k0 = − {(θx3 + θx4) − (θx1 + θx
2) {/ {2 * Lx- (L1 + L2)} ax = (x3-x4) / m / (L3 + L4) b0x =-(θx3 + θx4) / 2 (1-2) Lx ≧ (L3 + L4) / 2> ( L1 + L
2) / 2 ・ k0 =-{(θx3 + θx4)-(θx1 + θx
2) {/ {(L3 + L4)-(L1 + L2)} ax = (x3-x4) / m / {θx3-θx4 + k0
* (L3-L4)} b0x = −k0 * {(L3 + L4) / 2−Lx} −
(Θ3 + θ4) / 2 is calculated. In addition, the calibrated line of sight in the vertical direction (y direction)
Ky =-・ (θy3 + θy4)-(θy1 + θy)
2)} / {(L3 + L4)-(L1 + L2)} b0y = {(θy1 + θy2) * (L3 + L4) −
(Θy3 + θy4) * (L1 + L2)} / 2 / {(L1
+ L2)-(L3 + L4)}. After calculating the line-of-sight calibration data,
Or the timer is reset after gaze detection ends
(# 331). In addition, the reliability of the calibration data
The CPU 100, which also serves as the determination unit, determines the calculated gaze
Determine whether the calibration data is appropriate
(# 332). Judgment is the number of returns from the gaze detection subroutine
Of the rotation angle of the eyeball and the brightness around the eyeball
Using the gaze calibration data itself
Done. That is, it is detected by the gaze detection subroutine.
Angle of rotation of the eyeball and the brightness around the eyeball are not reliable
In this case, the calculated gaze calibration data
Judge that it is not reliable. [0139] In addition, it is detected by the gaze detection subroutine.
Fields where the rotation angle of the eyeball and the brightness around the eyeball are reliable
If the calculated gaze calibration data is
Is judged to be appropriate if it falls within the range of
The gaze calibration data issued is
If there is a large deviation from the range of human differences, the calculated gaze
The calibration data is determined to be inappropriate. Also, C
PU100 is the calculated gaze calibration data
Not only determine whether the
How reliable is the gaze calibration data?
Also determine The degree of reliability is determined by the visual line detection subroutine.
Reliability of the detected rotation angle of the eyeball and brightness around the eyeball
And so on. Gaze calibration data
The reliability is digitized into 2 bits according to the degree and described later.
Is stored in the EEPROM of the CPU 100. Calibration data of the calculated line of sight
If the LED is determined to be inappropriate (# 332), the LED drive circuit
Road 106 supplies power to LED 21 for superimposition.
Then, the optotypes 1 and 2 are turned off (# 339). Further CP
U100 generates an electronic sound using a sounding body (not shown).
Ringing for a fixed time and gaze calibration failed
Warning. Send signals to LCD drive circuit 105 at the same time
LCD 24 in viewfinder and LCD 42 for monitor
Warning by flashing "CAL" display on the screen (# 340)
(FIG. 16A). The warning sound by the sounding body and the LCD 24, 42
Calibrate after warning display
Proceed to the initial step (# 301) of the routine and look again.
The line calibration is ready to be performed.
You. Calibration of the calculated line of sight
If the data is appropriate (# 332), the CPU 100
Viewed through CD drive circuit 105 and LED drive circuit 106
The end of the line calibration is displayed (# 33)
3). The LED drive circuit 106 is a superimposed L
When the ED21 is energized and the target 1 and target 2 blink several times
In addition, the LCD drive circuit 105 includes the LCD 24, the LCD 42
"End-Calibration No."
Is displayed for a predetermined time (see FIG. 16).
(B)). The CPU 100 sets the line-of-sight detection frequency n to 1.
(# 334), and further calibrate the calculated gaze.
Data, the photographer's eyeglasses information and the calculated gaze
The reliability of the calibration data is currently set.
EEP corresponding to calibration data number
It is stored on the address of the ROM 100a (# 335).
At this time, on the address of the EEPROM to be stored
Gaze calibration data is already stored in
In such a case, the calibration data is updated. After a series of line-of-sight calibration,
Depending on the photographer, the camera can be turned on the electronic dial 45 or
The operation waits until the mode dial 44 is operated. The photographer
Rotate the electronic dial 45 to perform other calibration
If the number is selected, the CPU 100 sets the signal input time.
Change the calibration number via road 104
Detected (# 336), gaze calibration routine
The process proceeds to the initial step (# 301). Also, photographer
Turns the mode dial 44 to select another shooting mode.
If the selection is made, the CPU 100
To change the shooting mode (# 337).
Return to the routine (# 338). When returning to the main routine, the electronic
To the calibration number set in
And no calibration data is input
If the value remains as it is, the CPU 100
Reset the reconfiguration data number to 0 and forcibly
Set to gaze prohibition mode. Actually, E of CPU 100
The currently set caliber stored in the EPROM
Reset to 0 (gaze prohibited mode)
Set. Note that in the first embodiment, one point
Set the number of gaze detections to 10 when gazing at a target
Example of calibrating lines was shown 10 times
It may be performed in the above number of times. In the first embodiment, the photographing lens
By narrowing the aperture 31 of the lens 1
Calibration with different brightness settings
Done, but ask the photographer to cap the lens
Change the light emission brightness of the superimpose LED 21
It is also possible to do. (Second Embodiment) FIGS. 17 to 25 show a second embodiment of the present invention.
It is the schematic of 2nd Embodiment. The second embodiment is visual
The line calibration method differs from that of the first embodiment.
ing. 17 to 19 show gaze calibration.
23 to 25 are flow charts for gaze detection.
It is a chart. In the second embodiment, the line of sight carry
Braation uses three targets in the viewfinder (observation surface).
Gaze at different brightness conditions
Executing by detecting. Second Embodiment
Configuration of single-lens reflex camera used for camera, camera operation float
Charts and the like are the same as those shown in the first embodiment.
Therefore, the illustration is omitted. Explanation using the figures below
I do. FIG. 23 to FIG. 25 are flow charts for gaze detection.
It is. The line-of-sight detection circuit 101 outputs a signal from the CPU 100.
Is received, a line-of-sight detection is executed (# 104). First C
The PU 100 sends the information on the brightness of the shooting area from the photometric circuit 102.
The information is obtained (# 251). In addition, the
The brightness information is also used as the brightness Lp around the photographer's eyeball.
Used. Subsequently, the CPU 100 sets the
Gaze detection or gaze calibration mode
It is determined whether or not the line of sight is detected (# 252). simultaneous
In addition, the CPU 100 determines which key the camera (optical device)
Is set to the calibration data number
recognize. In the case of gaze detection in a normal photographing mode
(# 252), the CPU 100 determines the posture of the camera.
Is detected via the signal input circuit 104.
(# 253). The signal input circuit 104 is a mercury switch 27
(SW-ANG) output signal is processed and the camera moves to the horizontal position.
, Vertical position, and vertical position
If the release lead 41 is in the top direction or in the ground (surface) direction
Is determined (# 253). Next, the camera posture information detected first and the rear
Eye of photographer included in calibration data to be operated
Infrared light emitting diode (hereinafter referred to as IRED) from mirror information
13a to 13f are selected (# 254). Ie
Camera is in horizontal position and the photographer is not wearing glasses
If so, the finder light as shown in FIG.
The IREDs 13a and 13b from the axis are selected. Also,
If the camera is in the horizontal position and the photographer is wearing glasses,
13c, 13d IRED away from the optical axis
Is done. At this time, the illumination light reflected by the photographer's glasses
Partly on the image sensor 14 where the eyeball image is projected
Analysis of the eyeball image will be hindered because it reaches out of the specified area
Absent. Furthermore, if the camera was held in a vertical position
For example, an IRED that illuminates the photographer's eyeball from below
Which of combinations 13a, 13e or 13b, 13f
Is selected. Next, the image sensor 14 (hereinafter referred to as CCD-
Called EYE. ) Storage time and IRED illumination power
Is set based on the photometric information and the photographer's eyeglass information, etc.
Is performed (# 255). Accumulation time of the CCD-EYE;
The illumination power of the IRED is based on the eye obtained during the previous gaze detection.
Set based on the value determined from the contrast of the spherical image
May be performed. The CCD-EYE accumulation time and IRED
When the illumination power is set, the CPU 100
The IRED is turned on at a predetermined power via the driving circuit 107.
At the same time, the line-of-sight detection circuit 101
The storage is started (# 256). Also, the previously set CC
The CCD-EYE accumulates according to the D-EYE accumulation time.
The product is finished, and the IRED is turned off accordingly. Gaze
Is not in the calibration mode (# 257),
A reading area of the CCD-EYE is set (# 25)
8). [0156] After the power of the camera body is turned on,
Except for the first gaze detection, the CCD-EYE read area is in front
Based on CCD-EYE reading area at the time of line-of-sight detection
However, when the posture of the camera changes,
Or, if the presence or absence of glasses changes, use CCD-EYE.
The read area is set to the entire area. CCD-EYE
When the reading area is set, the CCD-EYE reading
Is executed (# 259). At this time other than the reading area
Area is blank-read, and is actually skipped.
The image output read from the CCD-EYE is a gaze detection circuit
After the A / D conversion in 101, the memory is stored in the CPU 100.
The CPU 100 extracts each feature point of the eyeball image.
Is performed (# 260). That is, the CPU 100 illuminates the eyeball.
Purkinje, a virtual image of a set of IREDs used in Ming
The positions (xd ', yd') and (xe ', ye') of the image are detected.
Will be issued. Purkinje images appear as bright spots with high light intensity
Therefore, a predetermined threshold value is set for the light intensity.
To a Purkinje image with a light intensity exceeding the
More detectable. Further, the center position (xc ', yc') of the pupil is
A plurality of boundary points between the pupil 19 and the iris 17 are detected, and each boundary point is detected.
It is calculated by performing a least-squares approximation of a circle on the basis.
At this time, the pupil diameter rp is also calculated. Also two Purkinje
The interval is calculated from the position of the image. When the CPU 100 analyzes the eyeball image,
First, the contrast of the eyeball image is detected and the
Reset the accumulation time of the CCD-EYE from the degree of
U. Also, the position of the Purkinje image and the position of the pupil indicate that the CCD
-Set the EYE reading area. At this time, CCD-E
The readout area of YE includes the detected pupil,
Even if the position changes by a predetermined amount, the entire pupil is set within a detectable range.
Is determined. And its size is smaller than the size of the iris
Needless to say. The reading area of CCD-EYE
A rectangle is set and the coordinates of the two diagonal points of the rectangle are CCD
-In the EEPROM 100a as the EYE reading area
Be recorded. Furthermore, the contrast or pupil of the eyeball image
Purkinje image and pupil center calculated from the size of
Is determined. When the analysis of the eyeball image is completed, the calibration
The CPU 100, which also serves as a means for confirming the
Of the distance between the Purkinje statues and the lit IRED
Glasses information in the calibration data is correct
It is determined whether or not it is (# 261). This is sometimes
Photographers who use or do not use glasses in
It is for dealing with. That is, calibration
The eyeglass information of the photographer in the
The IRED shown in FIG.
When 13c and 13d are turned on, the Purkinje image
If the distance is larger than the specified size, the photographer is wearing glasses
And the glasses information is determined to be correct. On the contrary, the interval between the Purkinje images is a predetermined size.
If it is smaller, the photographer can
The wearer is recognized, and it is determined that the glasses information is incorrect. eye
If it is determined that the mirror information is incorrect (# 261), the CP
U100 changes the glasses information (# 267) and again
Selects IRED (# 254) and executes gaze detection
You. However, when changing the eyeglass information, the CPU 100
The glasses information stored in the EPROM is not changed. If it is determined that the glasses information is correct (#
261), the eyepiece of the camera from the distance between the Purkinje images
The distance between the photographer 11 and the eyeball 15 of the photographer is calculated.
CC from the distance between the eyepiece 11 and the eyeball 15 of the photographer
The imaging magnification β of the eyeball image projected on the D-EYE is calculated.
(# 262). From the above calculated values, the rotation of the optical axis of the eyeball 15
The turning angle θ is calculated by the aforementioned equations (6) and (7). The rotation angles θx and θy of the eyeball of the photographer are obtained.
And the position (x, y) of the line of sight on the focus plate 7 are as described above.
It is obtained from equations (8) and (9). In addition, a line-of-sight calibration
The reliability of the calculated gaze coordinates according to the reliability of the data
Is changed. When the coordinates of the line of sight on the focus plate 7 are obtained,
A flag indicating that line detection has been performed once is set (# 2
65) Return to the main routine (# 268). The line of sight shown in FIG. 23, FIG. 24 and FIG.
The detection flowchart is based on the gaze calibration mode.
It is also effective for (# 252)
Judge that it is gaze detection in the vibration mode
Then, the next gaze detection is set to the calibration mode.
It is determined whether or not it is the first line of sight detection (#
266). This gaze detection is in calibration mode
If it is determined that this is the first gaze detection in
From the photographer's spectacle information included in the blation data,
The REDs 13a to 13f are selected (# 254).
In addition, the accumulation time of CCD-EYE and the illumination
Is also set based on photometric data already obtained
(# 256). In the gaze calibration mode,
If the number of gaze detections is the second or more (# 257), C
The read area of the CD-EYE is the same as the previous area.
As soon as the accumulation of CCD-EYE is completed,
The reading of the D-EYE is executed (# 259). this
Subsequent operations are as described above. Flow of gaze detection shown in FIGS. 23 to 25
Returns when returning to the main routine in the chart
Is the coordinates of the line of sight on the focus plate for normal line of sight detection
(X, y), but the gaze calibration mode
In the case of gaze detection in the camera, the rotation angle of the photographer's eyeball optical axis
(Θx, θy) and brightness Lp. Also, at other returns
Reliability of certain detection results, CCD-EYE accumulation time, CC
The D-EYE reading area and the like are common. The mode diagram shown in FIG.
Turn the knob 44 to move the index to the CAL position 44d.
When you do, it is set to the gaze calibration mode,
The signal input circuit 104 shown in FIG.
Sends a signal to the LCD drive circuit 105 to
CD42 is one of the gaze calibration modes
A display indicating that entry has been made. In addition, FIG.
The LCD 24 in the finder is used for the gaze calibration mode.
"CAL" display to indicate that the
The image is displayed outside the viewfinder 207 using the
You. Further, the CPU 100 executes the program stored in the EEPROM.
Reset variables other than the calibration data (# 3
51). Stored in EEPROM of CPU 100
FIG. 26 shows the types of calibration data and their initial values.
As shown in FIG. Actually the EEPROM of CPU100
The data stored in M is the data surrounded by the thick line in FIG.
Currently set calibration data number
And the calibration data number
A plurality of pieces of calibration data. Here, the calibration data number
0 is a mode for prohibiting gaze detection. Also,
EEP corresponding to the vibration data number 1-5
The above-mentioned line of sight carry
It is designed to store the blation data. Ki
The initial value of the calibration data is the standard eye parameter.
The value is set so that the line of sight is calculated by the user. Further
Whether or not the photographer uses spectacles
Also has a flag indicating the degree of reliability of the
You. The initial value of the flag indicating the presence or absence of glasses is
Is set to “1” as shown
The initial value of the data reliability flag does not seem to be reliable
Is set to “0”. The monitor LCD 42 has the current settings.
Displays the current calibration mode. Carry
The calibration mode performs the calibration operation
Do not perform calibration operation with "ON" mode
There is an "OFF" mode. First, in the “ON” mode,
Carry data to correspond to
Brain numbers CAL1 to CAL5 are prepared
And the 7-segment 62 that displays the shutter time and aperture
The value is displayed using a 7-segment 63 that displays the
All other fixed segment display sections 42a are turned off.
I have. At this time, the set calibration
If the calibration data of the
The calibration tool displayed on the monitor LCD 42
The blinking member flashes while the calibration
Calibration has already been performed on the
EEPROM address corresponding to the calibration number
Calibration data different from the initial value
If it is, the carry displayed on the monitor LCD 42
The blan number is fully lit
You. As a result, the photographer can set the key currently set.
The calibration number is already stored in the calibration number.
Data can be recognized.
You. Initial value of calibration data number is 0
Is set and gaze calibration is performed.
If there is no information input by gaze will not be done
I have. Next, in the "OFF" mode, the 7-segment
Port 62 is displayed as "OFF".
When calibration data number 0 is selected
Prohibition mode is set. Subsequently, the timer set in the CPU 100
Starts and starts gaze calibration (#
352). During the specified time after the timer starts, the camera
Gaze detection circuit if no operation is performed on
101 is the calibration data set at that time.
Reset the data number to 0, and set the line-of-sight
Change to In addition, the line-of-sight caliber in the viewfinder
If the optotype for the application is on, it is turned off. The photographer rotates the electronic dial 45
And the rotation is detected by the pulse signal as described above.
The signal input circuit 104 is connected to the LCD drive via the CPU 100.
A signal is transmitted to the operation circuit 105. E-dial resulting
Displayed on the monitor LCD 42 in synchronization with the rotation of 45.
The calibration number changes. Thus, the display on the monitor LCD 42 is completed.
The photographer looking at the indicated calibration number
After selecting the desired calibration number, C
PU100 is the corresponding calibration data
Confirmation of the number is performed via the signal input circuit 104
(# 353). Confirmed calibration data
The member is a predetermined address of the EEPROM of the CPU 100.
Stored above. [0179] However, the confirmed calibration data
Key to the EEPROM if the data number has not been changed.
The calibration data number is not stored.
No. Subsequently, the CPU 100 sets the signal input circuit 104
The photographing mode is confirmed via (# 354). photograph
The user rotates the mode dial 44 to adjust the gaze
Switch to a shooting mode other than
Is confirmed (# 354), the LCD 2 in the viewfinder
4 "CAL" display disappears and further in the viewfinder
If the target for gaze calibration is blinking
It is turned off (# 355) and the main routine is executed.
The camera returns to the shooting operation of the camera (# 392). Then, the calibration data number
While "CAL1-5" is displayed,
Switch the camera to another shooting mode (shutter priority AE)
In other words, the data of the calibration number
Gaze detection using the above-mentioned gaze information
The operation can be performed. For monitor at this time
The state of the LCD 42 is shown in FIG.
The gaze input mode display 61 is turned on in addition to the display,
In the eye-gaze input mode that controls the shooting operation based on the information
Let the photographer know that there is something. The gaze calibration mode is set.
When it is confirmed that the electronic device is left (# 354), the electronic
Calibration number set with dial 45
Confirmation is performed again (# 356). At this time the caliber
Gaze prohibition mode with the option data number 0 selected
If it is set to
Is stored in the EEPROM of the CPU 100 (# 3
53). Gaze prohibited in calibration mode
If stop is selected, the camera can be
Shooting modes other than the gaze calibration mode
Wait until the mode is changed. In other words, "OFF" is displayed
Switch the mode dial 44 in the state shown
If you do not perform gaze detection,
The gaze input mode is displayed on the monitor LCD 42.
The mode display 61 is not lit. When the calibration data number is 0 or more
If it is set to an outside value (# 356), the CPU continues
100 detects the posture of the camera via the signal input circuit 104.
To know (# 357). The signal input circuit 104 is a mercury switch.
Process the output signal of switch 27 to determine whether the camera is in the horizontal
Position, or if it is a vertical position, for example, release
Judge whether the button 41 is in the top direction or the ground (surface) direction
You. Cameras are generally used in a horizontal position.
Hardware configuration for calibrating the gaze
Calibration when the camera is held in the horizontal position
It is set as possible. Therefore, the line-of-sight detection circuit 1
01 indicates that the camera is not in the horizontal position.
When communication is made, the gaze calibration is performed.
No (# 358). Also, the CPU 100 determines that the posture of the camera is
Gaze calibration is not possible because it is not in the horizontal position.
As shown in FIG.
Fine view provided in the camera's viewfinder
Using the 7 segment 73 of the LCD 24 in the
"L" display blinks. Sounding body not shown at this time
A warning sound may be emitted. On the other hand, the camera may be in the horizontal position.
When it is detected (# 358), the CPU 100 sets the line of sight
The number n is set to 0 (# 359). At this time the finder
If "CAL" is flashing on the internal LCD 24
Stop the blinking. Also, gaze calibration
Start by turning on switch SW1
Is set to The photographer calibrate the gaze
Before the camera is ready for calibration,
In order to prevent the action from starting, the gaze detection circuit 101
Check the state of switch SW1 and confirm that switch SW1
If it is pressed by the release button 41 and it is ON
Wait until the switch SW1 is turned off (#
360). The CPU 100 receives the signal through the signal input circuit 104
Confirm that switch SW1 is OFF
(# 360), the line-of-sight detection circuit 101
11 and the aperture 31 of the taking lens 1 is set to the minimum aperture.
Set At this time, the photographer can adjust the brightness in the viewfinder.
Feels darker and widens the pupil. Also, CP
U100 sends a signal to LED drive circuit 106 to look
Blinks the target for calibration (# 36)
1). Targets for gaze calibration are described below.
Calibration operation to superimpose display
Guided focus range points so that the photographer can
The first part of the distance measuring point marker is the first one at the right end.
20 and the dot mark 206 blink.
(A)). Trigger for starting the line-of-sight calibration
-The ON signal of switch SW1 must be input.
If so, the camera stands by (# 362). Also starts blinking
The photographer gazes at the target and presses the release button 41 to switch
When the switch SW1 is turned on (# 362), the gaze detection is executed.
(# 363). The operation of gaze detection is shown in the flowchart of FIG.
As explained in the previous section. The distance measuring point mark 204 at the right end and the measuring point at the left end
The focus point mark 200 and the center focus point mark 202
Cut marks 206, 205, and 207
Indicates that calibration is to be performed at these three points.
, And each LED 21 for superimpose
Illuminated, lighting, blinking, non-lighting can be displayed
It has become. The distance measurement point mark is the focus detection area.
Indicates that the area
Need to be shown. However, calibration must be performed with high accuracy.
In order for the photographer to look at one point as much as possible
Are required, and the dot marks 205, 206, 2
07 is from the ranging point mark so that one point can be easily watched.
Are also provided small. Whether the CPU 100 is a subroutine for line-of-sight detection
The return angles of the eyeball rotation angles θx, θy and the brightness around the eyeball
And the reliability of each data is stored (# 36).
4). Further, the number of gaze detection times n is counted up (#
365). Accurate due to slight variations in the photographer's gaze
One point to obtain the calibration data
Gaze detection is performed multiple times for the target
It is effective to use. In the second embodiment, a single target
The number of gaze detections is set to 10 times. Eye check
If the number of appearances n is less than 10 (# 366), the gaze detection
It is continued (# 363). Also, the number of gaze detection times n is 10
If so, the target 1 (ranging point mark 204, dot mark 2
The line-of-sight detection for step 06) ends (# 366). [0193] It is determined that the visual line detection for the target 1 has been completed.
The CPU 100 is shown for the purpose of recognizing the photographer.
Make an electronic sound sound several times using a non-sounding body. At the same time C
The PU 100 scans the target 1 via the LED drive circuit 106.
(# 367) (FIG. 20B). The CPU 100 continues to operate the signal input circuit 104
Switch SW1 is in OFF state via
Confirmation is made (# 368). Switch SW1
If the switch is in the ON state, wait until the switch is turned off.
If the switch SW1 is in the OFF state, the target 1 is turned off.
At the same time, the target 2 at the left end (the ranging point mark 200,
20 starts blinking (# 369) (FIG. 20).
(C)). The CPU 100 controls the signal input circuit 104 again.
Whether the switch SW1 is in the ON state via
Is confirmed (# 370). Switch SW1 is O
If it is in the FF state, it waits until it is turned on, and switches SW
When 1 is turned on, the line of sight is detected (# 371).
The CPU 100 calculates the return number from the line-of-sight detection subroutine.
Rotation angles θx, θy of the eyeball, pupil diameter Lp, and
The reliability is stored (# 372). Further, the number of gaze detection times n
Is counted up (# 375). Further gaze detection times
If the number n is less than 20 (# 374), the gaze detection continues.
Is performed (# 371). If the number of gaze detection times n is 20,
The line-of-sight detection for the target 2 is terminated (# 374). It is determined that the visual line detection for the target 2 has been completed.
The CPU 100 is shown for the purpose of recognizing the photographer.
Make an electronic sound sound several times using a non-sounding body. At the same time C
The PU 100 scans the target 2 via the LED drive circuit 106.
(# 375) (FIG. 21A). The line-of-sight detection for the targets 1 and 2 is completed.
When the brightness of the viewfinder (observation surface) is different,
Is continuously executed. CPU 100 receives signals
Check the state of the switch SW1 via the power circuit 104
(# 376). If switch SW1 is ON
Wait until the switch is turned off and switch SW1 is turned off.
In the F state, the CPU 100 turns off the target 2 (#
377). At the same time, the CPU 100
Sends a signal and sets aperture 31 of taking lens 1 to open aperture
I do. And the third gaze calibration data
In order to obtain the target 3 in the center,
Mark 207) starts blinking (# 377) (FIG. 2).
1 (B)). The CPU 100 controls the signal input circuit 104 again.
Whether the switch SW1 is in the ON state via
Is confirmed (# 378). Switch SW1 is O
If it is in the FF state, it waits until it is turned on, and switches SW
When 1 is turned on, the line of sight is detected (# 379). CPU 100 is a subroutine for line-of-sight detection
The rotation angles θx, θy of the eyeball, the brightness Lp,
And the reliability of each data is stored (# 380). Look further
The number n of line detections is counted up (# 381). Further
If the number of gaze detection times n is less than 30 (# 382)
Line detection is continued (# 379). Number of gaze detection n is 3
If it is 0 times, the line-of-sight detection for the target 3 is terminated (# 3
82). [0200] It is determined that the visual line detection for the target 3 has been completed.
The CPU 100 is shown for the purpose of recognizing the photographer.
Make an electronic sound sound several times using a non-sounding body. At the same time C
The PU 100 captures the target 3 via the LED drive circuit 106.
(# 383) (FIG. 21C). The eyeball rotation stored in the CPU 100
Line-of-sight calibration based on the turning angles θx and θy and the brightness Lp
The calculation data is calculated (# 384). Gaze Carib
The calculation method of the ration data is as follows. The target 1, target 2, and target 3 on the focus plate 7
Coordinates are (x1, 0), (x2, 0), (0,
0) When each gaze stored in the CPU 100 is gazed at
The average value of the rotation angles (θx, θy) of the eyeball is (θx1, θy
1), (θx2, θy2), (θx3, θy3), brightness
Are L1, L2, and L3. Here, (θx1, θy1) indicates that the photographer
Average value of the rotation angle of the eyeball detected when gazing at
(Θx2, θy2) is when the photographer gazes at the target 2.
Average value of detected rotation angles of the eyeball, (θx3, θy3)
Is the rotation of the eyeball detected when the photographer gazes at the target 3.
The average value of the turning angles is shown. Similarly, L1 is
Average value of brightness detected when gazing at target 1, L
2 is the brightness detected when the photographer gazes at the target 2.
The average value of L3, when the photographer gazes at the target 3
It is the average value of the detected brightness. Average of each data
Suffixes 1 and 2 of the camera
The data is when the gaze is detected when the camera is dark
The suffix 3 indicates the viewfinder of the camera.
Make sure that the data is when the line of sight is detected
Is shown. Calibration of the line of sight in the horizontal direction (x direction)
The calculation formula for the option data depends on the brightness at the time of data acquisition.
(2-1) When (L1 + L2) / 2>Lx> L3, k0 = − {(θx1 + θx2) / 2−θx3} /
{Lx-L3} ax = (x1−x2) / m / (θx1−θx2) b0x = − (θx1−θx2) / 2 (2-2) When Lx ≧ (L1 + L2) / 2> L3, k0 = − {(Θx1 + θx2) −2 * θx3} /
{(L1 + L2) -2 * L3} .ax = (x1-x2) / m / {. Theta.x1-.theta.x2 + k0
* (L1-L2)} b0x = −k0 * {(L1 + L2) / 2−Lx} −
(Θ1 + θ2) / 2 is calculated. In addition, the calibration of the line of sight in the vertical direction (y direction)
The relation data is as follows: ky =-{(θy1 + θy2) -2 * θy3} /
{(L1 + L2) -2 * L3} b0y = -ky * (L1 + L2) / 2- (θy1 + θ
y2) / 2. Gaze calibration data calculation
The timer resets after
(# 385). In addition, the reliability of the calibration data
The CPU 100, which also serves as the determination unit, determines the calculated gaze
Determine whether the calibration data is appropriate
(# 386). The judgment is based on the number of returns from the line-of-sight detection subroutine.
The reliability of the rotation angle and brightness of an eyeball and the calculated gaze
Is performed using the calibration data itself.
That is, the rotation of the eyeball detected in the gaze detection subroutine.
If the turning angle and brightness are not reliable, the calculated gaze
It is determined that the calibration data is not reliable.
In addition, the rotation angle of the eyeball detected in the gaze detection subroutine
Gaze carry calculated when the brightness is reliable
Brain data is within the range of general individual differences
Is determined to be appropriate, and the calculated gaze is calibrated.
Data greatly deviates from the range of general individual differences
The calculated gaze calibration data
Judge as inappropriate. The CPU 100 also calculates the gaze of the calculated line of sight.
Just judge whether the calibration data is appropriate
Not the calculated gaze calibration data
Also determine how reliable it is. The degree of reliability is determined by the line-of-sight detection subroutine.
It depends on the reliability of the detected rotation angle and brightness of the eyeball, etc.
Needless to say. Gaze calibration
Data reliability is quantified to 2 bits according to the degree.
Stored in the EEPROM of the CPU 100 as described later.
Is done. Calibration data of the calculated line of sight
If the LED is determined to be inappropriate (# 386), the LED drive circuit
Road 106 supplies power to LED 21 for superimposition.
Stop and turn off the optotype (# 393). CPU 10
0 is a predetermined time for electronic sound using a sounding body (not shown)
Ringing gaze warning of failed calibration
I do. At the same time, a signal is sent to the LCD drive circuit 105 to
"C" is displayed on the LCD 24 in the inder and the LCD 42 for the monitor.
AL ”display is blinked to warn (# 394) (FIG. 22).
(A)). [0211] Warning sound by sounding body and LCD 24, 42
Calibrate after warning display
Move to the initial step (# 351) of the routine and look again
Is set to a state in which the calibration can be executed. Calibration of the calculated line of sight
If the data is appropriate (# 386), the CPU 100
Viewed through CD drive circuit 105 and LED drive circuit 106
The end of the line calibration is displayed (# 38)
7). The LED drive circuit 106 is a superimposed L
When the ED21 is energized, the target 1, target 2, and target 3 blink several times.
LCD drive circuit 105 is connected to LCD 24, L
Send a signal to CD42 and select "End-Calibration
Is displayed for a predetermined time.
(FIG. 22 (B)). [0213] The CPU 100 sets the line-of-sight detection frequency n to one.
(# 388), and further calibrate the calculated line of sight
Data, the photographer's eyeglasses information and the calculated gaze
The reliability of the calibration data is currently set.
EEPROM equivalent to calibration number
(# 389). At this time,
A line of sight has already been placed on the address of the EEPROM
If calibration data is stored, carry
Updates the brain data. After a series of line-of-sight calibration is completed,
Depending on the photographer, the camera can be turned on the electronic dial 45 or
The operation waits until the mode dial 44 is operated. The photographer
Rotate the electronic dial 45 to perform other calibration
If the number is selected, the CPU 100 sets the signal input time.
Change the calibration number via road 104
Detected (# 390), gaze calibration routine
The process proceeds to the initial step (# 351). Also, photographer
Turns the mode dial 44 to select another shooting mode.
If the selection is made, the CPU 100
To change the shooting mode (# 391).
Return to the routine (# 392). At this time, CCD-E
The initial value of the read area of YE is stored in the EEPROM 100a.
Is set. When returning to the main routine, the electronic timetable
To the calibration number set in
And no calibration data is input
If the value remains, the CPU 100
Reset the application data number to 0 and forcibly prohibit gaze
Set the mode. Actually, EEPRO of CPU100
The currently set calibration stored on M
Reset the data number to 0 (gaze prohibited mode)
You. In the second embodiment, one point
Set the number of gaze detections to 10 when gazing at a target
Example of calibrating lines was shown 10 times
It may be performed in the above number of times. In the second embodiment, the photographing lens
The aperture of the viewfinder to reduce the brightness of the viewfinder.
Different states, that is, different brightness of the photographer
Calibration was performed by setting the state, but shooting
Have a cap on the shooting lens
It is also possible to change the light emission brightness of the
It is. According to the present invention, the light around the eyeball of the photographer can be obtained.
Eye-gaze detection errors due to individual differences due to the presence of voice and changes in observation conditions
Compensation can be achieved by using a gaze detection device with the difference set appropriately.
A gaze detection device that can perform correct and highly accurate gaze detection
Optical device having an arrangement. In particular, the gaze calculated by the gaze detection device is photographed.
Brightness and gaze correction data around the eyeball
This also compensates for gaze detection errors due to individual differences in the eyeballs.
Gaze correction data to correct the brightness around the eyeball of the photographer
The observation state of the photographer changes
The gaze can be detected with high accuracy.
To achieve an optical device having a line-of-sight detection device
it can.

【図面の簡単な説明】 【図1】 本発明を一眼レフカメラに適用したときの第
1の実施の形態の要部概 略図 【図2】 図1の一眼レフカメラの要部外観図 【図3】 図1のファインダー視野図 【図4】 本発明の第1の実施の形態の電気回路の要部
ブロック図 【図5】 図2の一部分の説明図 【図6】 図4の一眼レフカメラの動作のフローチャー
ト 【図7】 視線検出のフローチャート 【図8】 視線検出のフローチャート 【図9】 本発明に係るキャリブレーションのフローチ
ャート 【図10】 本発明に係るキャリブレーションのフロー
チャート 【図11】 本発明に係るキャリブレーションのフロー
チャート 【図12】 図1のファインダー視野内の表示状態の説
明図 【図13】 図1のファインダー視野内の表示状態の説
明図 【図14】 図2のモニター用LCDの表示状態の説明
図 【図15】 図1のファインダー視野内の表示状態の説
明図 【図16】 図1のファインダー視野内の表示状態の説
明図 【図17】 本発明の第2の実施の形態に係る視線のキ
ャリブレーションのフローチャート 【図18】 本発明の第2の実施の形態に係る視線のキ
ャリブレーションのフローチャート 【図19】 本発明の第2の実施の形態に係る視線のキ
ャリブレーションのフローチャート 【図20】 図1のファインダー視野内の表示状態の説
明図 【図21】 図1のファインダー視野内の表示状態の説
明図 【図22】 図1のファインダー視野内の表示状態の説
明図 【図23】 本発明の第2の実施の形態に係る視線の検
出のフローチャート 【図24】 本発明の第2の実施の形態に係る視線の検
出のフローチャート 【図25】 本発明の第2の実施の形態に係る視線の検
出のフローチャート 【図26】 本発明の第1の実施の形態のキャリブレー
ションデータの説明図 【図27】 眼球像の要部概略図 【図28】 従来の視線検出装置の要部概略図 【図29】 視線と瞳孔径との関係を示す説明図 【符号の説明】 1 撮影レンズ 2 主ミラー 6 焦点検出装置 6f イメージセンサー 7 ピント板 10 測光センサー 11 接眼レンズ 13 赤外発光ダイオード(IRED) 14 イメージセンサー(CCDーEYE) 15 眼球 16 角膜 17 虹彩 21 スーパーインポーズ用LED 23 視野マスク 24 ファインダー内LCD 25 照明用LED 27 水銀スイッチ 31 絞り 41 レリーズ釦 42 モニター用LCD 42a 固定表示セグメント部 42b 7セグメント表示部 43 AEロック釦 44 モードダイヤル 45 電子ダイヤル 61 視線入力モード表示 78 視線入力マーク 100 CPU 101 視線検出回路 103 焦点検出回路 104 信号入力回路 105 LCD駆動回路 106 LED駆動回路 107 IRED駆動回路 110 焦点調節回路 200〜204 測距点マーク(キャリブレーション
視標) 205〜206 ドットマーク 207 ファインダー視野外 213 観察画面
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic view of a main part of a first embodiment when the present invention is applied to a single-lens reflex camera. FIG. 2 is an external view of a main part of the single-lens reflex camera in FIG. 3 is a view of the viewfinder in FIG. 1 [FIG. 4] A block diagram of a main part of an electric circuit according to the first embodiment of the present invention [FIG. 5] Partial explanatory view of FIG. 2 [FIG. 6] FIG. FIG. 7 is a flowchart of gaze detection. FIG. 8 is a flowchart of gaze detection. FIG. 9 is a flowchart of calibration according to the present invention. FIG. 10 is a flowchart of calibration according to the present invention. FIG. FIG. 12 is an explanatory diagram of a display state in the finder visual field of FIG. 1; FIG. 13 is an explanatory diagram of a display state in the finder visual field of FIG. 1; FIG. 14 is a monitor of FIG. FIG. 15 is an explanatory view of a display state of the LCD for the monitor. FIG. 15 is an explanatory view of a display state in the finder visual field of FIG. 1. FIG. 16 is an explanatory view of a display state in the finder visual field of FIG. Flowchart of gaze calibration according to the embodiment of FIG. 18 FIG. 18 is a flowchart of gaze calibration according to the second embodiment of the present invention FIG. 19 of the gaze calibration according to the second embodiment of the present invention Flowchart of calibration [FIG. 20] Illustration of display state in viewfinder field of FIG. 1 [FIG. 21] Illustration of display state inside viewfinder of FIG. 1 [FIG. 22] View of display state within viewfinder of FIG. FIG. 23 is a flowchart of gaze detection according to the second embodiment of the present invention. FIG. 24 is a flowchart of gaze detection according to the second embodiment of the present invention. G FIG. 25 is a flowchart of gaze detection according to the second embodiment of the present invention. FIG. 26 is an explanatory diagram of calibration data according to the first embodiment of the present invention. FIG. 27 is a main part of an eyeball image. Schematic diagram [FIG. 28] Schematic diagram of a main part of a conventional visual line detection device [FIG. 29] Explanatory diagram showing a relationship between a visual line and a pupil diameter [Description of symbols] 1 photographing lens 2 main mirror 6 focus detection device 6f image sensor 7 Focusing plate 10 Photometry sensor 11 Eyepiece 13 Infrared light emitting diode (IRED) 14 Image sensor (CCD-EYE) 15 Eyeball 16 Cornea 17 Iris 21 Superimpose LED 23 Field mask 24 Viewfinder LCD 25 Illumination LED 27 Mercury switch 31 Aperture 41 Release button 42 LCD for monitor 42a Fixed display segment 42b 7 segment display 43 AE lock button 44 Mode dial 45 Electronic dial 61 Eye gaze input mode display 78 Eye gaze input mark 100 CPU 101 Eye gaze detection circuit 103 Focus detection circuit 104 Signal input circuit 105 LCD drive circuit 106 LED drive circuit 107 IRED drive circuit 110 Focus adjustment circuit 200 -204 Ranging point mark (calibration target) 205-206 Dot mark 207 Outside viewfinder 213 Observation screen

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−65836(JP,A) (58)調査した分野(Int.Cl.7,DB名) A61B 3/00 - 3/16 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-2-65836 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) A61B 3/00-3/16

Claims (1)

(57)【特許請求の範囲】【請求項1】 観察者の眼球に投光し、該眼球からの反
射光から得られる眼球像を用いて眼球の回転角を検出す
る回転角検出手段と、観察者の眼球の回転角から得られ
る情報を複数回求めることにより観察者の個人差に応じ
た視線補正情報を演算する視線補正情報演算手段と、前
記観察者の眼球周辺の明るさを検出する明度検出手段と
を有し、 前記回転角検出手段により検出された眼球の回転角と、
前記視線補正情報演算手段により演算された視線補正情
報と、前記明度検出手段により検出された眼球周辺の明
るさとを用いて前記観察者の視線を求めることを特徴と
する光学装置。
(57) Claims 1. A rotation angle detecting means for projecting light to an eyeball of an observer and detecting a rotation angle of the eyeball using an eyeball image obtained from light reflected from the eyeball, Gaze correction information calculation means for calculating gaze correction information according to individual differences of the observer by obtaining information obtained from the rotation angle of the observer's eyeball a plurality of times, and detecting the brightness around the observer's eyeball Having a brightness detection means, the rotation angle of the eyeball detected by the rotation angle detection means,
An optical device, wherein a line of sight of the observer is obtained by using line-of-sight correction information calculated by the line-of-sight correction information calculating means and brightness around an eyeball detected by the lightness detecting means.
JP2001046420A 2001-02-22 2001-02-22 Optical device Expired - Fee Related JP3492324B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001046420A JP3492324B2 (en) 2001-02-22 2001-02-22 Optical device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001046420A JP3492324B2 (en) 2001-02-22 2001-02-22 Optical device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP26429492A Division JP3309439B2 (en) 1992-06-02 1992-09-07 Optical device

Publications (2)

Publication Number Publication Date
JP2001218740A JP2001218740A (en) 2001-08-14
JP3492324B2 true JP3492324B2 (en) 2004-02-03

Family

ID=18908050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001046420A Expired - Fee Related JP3492324B2 (en) 2001-02-22 2001-02-22 Optical device

Country Status (1)

Country Link
JP (1) JP3492324B2 (en)

Also Published As

Publication number Publication date
JP2001218740A (en) 2001-08-14

Similar Documents

Publication Publication Date Title
JP2002345756A (en) Visual line detector and optical equipment
US5983030A (en) Optical apparatus having a visual axis detector
US5402199A (en) Visual axis detecting apparatus
JPH05333259A (en) Optical device provided with means for detecting line of sight
JP2004008323A (en) Optical device with visual axis function
JP3304408B2 (en) Gaze detection device and device having gaze detection device
JP3492324B2 (en) Optical device
JP2002301030A (en) Equipment to detect sight line
JP3605080B2 (en) Eye gaze detection device
JP2003307774A (en) Optical apparatus with line-of-sight detecting function
JP3605081B2 (en) Eye gaze detection device
JP3184634B2 (en) Optical device having line-of-sight detection device
JP3176147B2 (en) Eye gaze detection device
JP3372646B2 (en) Optical device having line-of-sight detection device
JP3219491B2 (en) Eye gaze detection device
JP3186249B2 (en) Eye gaze detection device and eye gaze detection method
JP3309439B2 (en) Optical device
JP3211427B2 (en) Eye gaze detection device
JPH0688935A (en) Optical device having detecting function for line of sight
JP3391892B2 (en) Eye gaze detecting device, optical device, and eye gaze detecting method
JPH0634873A (en) Optical device provided with device for detecting line of sight
JP3530648B2 (en) Eye gaze detecting device and optical device
JPH08194154A (en) Observing device with line of sight detecting function
JP2002341239A (en) Sight line detecting device
JPH0682681A (en) Camera provided with detector for line of sight

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees