JPH07323008A - 視線検出装置、カメラ、及び、視線補正方法 - Google Patents

視線検出装置、カメラ、及び、視線補正方法

Info

Publication number
JPH07323008A
JPH07323008A JP6139626A JP13962694A JPH07323008A JP H07323008 A JPH07323008 A JP H07323008A JP 6139626 A JP6139626 A JP 6139626A JP 13962694 A JP13962694 A JP 13962694A JP H07323008 A JPH07323008 A JP H07323008A
Authority
JP
Japan
Prior art keywords
line
sight
user
correction data
eyeball
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6139626A
Other languages
English (en)
Inventor
Akira Akashi
彰 明石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6139626A priority Critical patent/JPH07323008A/ja
Publication of JPH07323008A publication Critical patent/JPH07323008A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

(57)【要約】 【目的】 使用者に煩わしい操作を強要することなく、
速やかに補正データを選択し、これを用いて最適な視線
情報を検出可能とする。 【構成】 使用者の眼球の特徴に基づいて、補正データ
記憶手段100aに記憶された複数の補正データのうち
の一つを選択する選択手段100と、選択された補正デ
ータに基づいて、視線検出手段101にて検出された視
線を補正する視線演算手段100とを設け、検出された
視線を補正する為の補正データの選択に、使用者の眼球
の特徴情報を用いる構成にしている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カメラやその他の光学
装置に具備される視線検出装置に関し、特に撮影系によ
る被写体像が形成されている観察面(ピント面)に対す
る使用者の注視点方向、いわゆる視線を、使用者の眼球
を照明したときに得られる眼球の反射像を利用して検出
するようにした視線検出装置、さらには該装置を備えた
カメラ、更には視線補正方法に関するものである。
【0002】
【従来の技術】従来より、使用者がファインダ上のどの
位置を観察しているかを検出する、いわゆる視線検出装
置を搭載したカメラが種々提案されている。
【0003】例えば特願平1−274736号公報にお
いては、光源からの平行光束を使用者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置に基づいて、使用者の眼球回転角を検出し、それ
により使用者の視線を求めている。
【0004】図15は視線検出の原理説明図、図16
(A),(B)はそれぞれ図15のイメージセンサ14
面上に投影される眼球像と、イメージセンサ14からの
出力される眼球像信号の説明図である。
【0005】図16(A),(B)において、50は眼
球のいわゆる白目の部分、51は瞳孔を表し、52a,
52bは眼球照明用の赤外発光ダイオード(以下、IR
EDと記す)の角膜反射像を表す。また、60は図16
(A)の(I)−(I’)での像信号出力を表す。
【0006】次に、これら図15,図16を用いて視線
検出の方法について説明する。
【0007】各IRED13a,13bは受光レンズ1
2の光軸アに対してX方向に略対称に配置され、各々使
用者の眼球を発散照明している。
【0008】IRED13aより投射された赤外光は眼
球15の角膜16を照明する。この時、角膜16の表面
で反射した赤外光の一部による角膜反射像eは受光レン
ズ12により集光され、イメージセンサ14上の位置e
´に再結像する。
【0009】同様に、IRED13bより投射された赤
外光は眼球15の角膜16を照明する。この時角膜16
の表面で反射した赤外光の一部による角膜反射像dは受
光レンズ12により集光され、イメージセンサ14上の
位置d´に再結像する。
【0010】また、虹彩17の端部a,bからの光束は
受光レンズ12を介してイメージセンサ14上の位置
a′,b′に該端部a,bの像を結像する。受光レンズ
12の光軸アに対する眼球15の光軸イの回転角θが小
さい場合、虹彩17の端部a,bのX座標をxa,xb
とすると、瞳孔19の中心位置cの座標xcは、 xc≒(xa+xb)/2 と表される。
【0011】また、角膜反射像d及びeの中点のX座標
と角膜16の曲率中心oのX座標xoとは一致するた
め、角膜反射像d,eの発生位置のX座標をxd,x
e、角膜16の曲率中心oと瞳孔19の中心cまでの標
準的な距離をLocとし、距離Locに対する個人差を考慮
する係数をA1とすると、眼球15の光軸イの回転角θ
は、 (A1・Loc)・sinθ≒xc−(xd+xe)/2 ………(1) の関係式を略満足する。このため、視線演算処理装置に
おいて、図16(B)の如くイメージセンサ14上の一
部に投影された各特徴点(角膜反射像d,e及び虹彩1
7の端部a,b)の位置を検出することにより、眼球1
5の光軸イの回転角θを求めることができる。この時上
記(1)式は、 β(A1*Loc)・sinθ≒(xa´+xb´)/2 −(xd´+xe´)/2 ………(2) と書き換えられる。但し、βは受光レンズ12に対する
眼球15の位置により決まる倍率で、実質的には角膜反
射像の間隔|xd′−xe′|の関数として求められ
る。
【0012】眼球15の光軸イの回転角θは θ≒arcsin{(xc′−xf′)/β/(A1*Loc)}…(3) と書き換えられる。但し xc′≒(xa′+xb′)/2 xf′≒(xd′+xe′)/2 である。
【0013】ところで、使用者の眼球15の光軸イと視
軸とは一致しないため、光軸イの水平方向の回転角θが
算出されると、光軸イと視軸との角度補正をすることに
より使用者の水平方向の視線θHは求められる。眼球1
5の光軸イと視軸との補正角度δに対する個人差を考慮
する係数をB1とすると、使用者の水平方向の視線θH
は θH=θ±(B1・δ) ………………(4) と求められる。ここで符号±は、使用者に関して右への
回転角を正とすると、光学装置を覗く使用者の目が左目
の場合は+、右目の場合は−の符号が選択される。
【0014】また同図においては、使用者の眼球がZ−
X平面(例えば水平面)内で回転する例を示している
が、使用者の眼球がX−Y平面(例えば垂直面)内で回
転する場合においても同様に検出可能である。但し、使
用者の視線の垂直方向の成分は眼球15の光軸イの垂直
方向の成分θ′と一致するため垂直方向の視線θVは θV=θ′ となる。
【0015】さらに、視線方向θH,θVより使用者が
見ているファインダ視野内のピント板上の位置(xn,
yn)は xn≒m・θH ≒m・[arcsin{(xc′−xf′)/β/(A1*Loc)} ±(B*α)] ………………(5) yn≒m*θV と求められる。但し、mはカメラのファインダ光学系で
決まる定数である。
【0016】ここで、使用者の眼球15の個人差を補正
する係数A1,B1の値は使用者にカメラのファインダ
内の所定の位置に配設された視標を固視してもらい、該
視標の位置と上記(5)式に従い算出された固視点の位
置とを一致させることにより求められる。
【0017】本願出願人は、特開平4−242630号
公報において、使用者の視線の個人差を補正するための
補正データを取得する機能(以下、キャリブレーション
と記す)を用いて、より正確な視線検出が可能な視線検
出装置を提案している。
【0018】この提案装置の実施例によれば、補正デー
タを複数記憶するための記憶手段を用意し、カメラのモ
ードとして「キャリブレーション・モード」というもの
を設け、そのモードにおいてファインダ内の2つの視標
を注視してもらい、そのときの視線結果に基づいてその
使用者の個人差データを取得するようにしている。さら
に、個人差データは複数記憶できるように構成され、キ
ャリブレーション・モードにおいて、使用者がそのうち
の1つを選択することができる。
【0019】ここで、個人差補正の具体的方法について
述べる。
【0020】先ず、水平方向に関して説明すると、水平
方向の眼球回転角をθxとすると、ファインダ上での水
平方向の視線座標Xは下式によって求められるものと仮
定する。
【0021】 X=m・(θx−bx)/ax ……………(6) 但し、mは眼球回転角対座標の変換係数で定数、ax,
bxは水平方向に関する個人差補正係数であり、これら
を個人差データから算出する。
【0022】使用者が視標1(ピント板上での水平座標
X1とする)を注視したときに検出された眼球回転角を
θx1,視標2(同X2とする)を注視したときに検出
された眼球回転角をθx2とすると、個人差補正係数a
x,bxは、 ax=m・(θx1−θx2)/(X1−X2) ………(7) bx=(θx1・X2−θx2・X1)/(X1−X2) ………(8) で算出することができる。
【0023】垂直方向に関しては、垂直方向の眼球回転
角をθyとすると、次式によって垂直方向の視線座標Y
が求められるものと仮定する。
【0024】 Y=m・(θy−by)/ay …………(9) 但し、ay,byは垂直方向に関する個人差補正係数で
ある。
【0025】使用者が視標1(ピント板上での垂直座標
をY1とする)を注視したときに検出された眼球回転角
をθy1,視標2(同Y2とする)を注視したときに検
出された眼球回転角をθy2とすると、個人差補正係数
ay,byは、 ay=m・(θy1−θy2)/(Y1−Y2) ……(10) by=(θy1・Y2−θy2・Y1)/(Y1−Y2) ……(11) で算出することができる。
【0026】ところで、キャリブレーションのための2
つの視標は、この例では垂直方向には同一の座標がある
ため、(Y1=Y2)、式(10),(11)は一意に
決定することができず、 by=bx …………………(12) なる仮定を設定して、 ay=[m・(θy1+θy2)−2・m・bx]/(2・Y1) …………………(13) で求めることができる。
【0027】このようにして、キャリブレーション動作
にて複数の使用者毎の個人差補正係数ax,bx,a
y,byを記憶し、使用者に合せた個人差補正データが
設定できれば、使用者の眼球回転角が求まると、上記
(5)式を用いてカメラのファインダを覗く使用者の視
線ピント板上の位置を正確に算出し、その視線情報を撮
影レンズの焦点調節等に利用することができる。
【0028】
【発明が解決しようとする課題】上述したように、キャ
リブレーションによって視線検出の精度を向上させ、さ
らに補正データを複数記憶できるようにすることで、複
数の使用者に対応することができる。
【0029】しかしながら、複数の使用者が1台のカメ
ラを使用する状況を考えると、使用者が代わる度に補正
データを切換えなければならない、というのは使用者に
とってはなはだ煩わしい行為である。
【0030】(発明の目的)本発明の目的は、使用者に
煩わしい操作を強要することなく、速やかに補正データ
を選択し、これを用いて最適な視線情報を検出すること
のできる視線検出装置、カメラ及び視線補正方法を提供
することである。
【0031】
【課題を解決するための手段】上記目的を達成するため
に、請求項1又は3記載の本発明は、使用者の眼球の特
徴に基づいて、補正データ記憶手段に記憶された複数の
補正データのうちの一つを選択する選択手段と、選択さ
れた補正データに基づいて、視線検出手段にて検出され
た視線を補正する視線演算手段とを設け、検出された視
線を補正する為の補正データの選択に、使用者の眼球の
特徴情報を用いるようにしている。
【0032】また、上記目的を達成するために、請求項
2又は3記載の本発明は、使用者が所定の方向を注視し
た際に視線検出手段にて得られる視線視線情報に基づい
て、補正データ記憶手段に記憶された複数の補正データ
のうちの一つを選択する選択手段と、選択された補正デ
ータに基づいて、視線検出手段にて検出された視線を補
正する視線演算手段とを設け、検出された視線を補正す
る為の補正データの選択に、使用者が所定の方向を注視
した際に得られる視線視線情報を用いるようにしてい
る。
【0033】また、上記目的を達成するために、請求項
4記載の本発明は、使用者の眼球回転角を検出して使用
者の視線を検出すると共に、使用者の眼球の特徴に基づ
いて、使用者の視線の個人差を補正する為に複数記憶さ
れた補正データの中から一つを選択し、選択した補正デ
ータに基づいて、上記の視線を補正するようにしてい
る。
【0034】また、上記目的を達成するために、請求項
5記載の本発明は、使用者の眼球回転角を検出して使用
者の視線を検出すると共に、使用者が所定の方向を注視
した際に得られる視線視線情報に基づいて、使用者の視
線の個人差を補正する為に複数記憶された補正データの
中から一つを選択し、選択した補正データに基づいて、
上記の視線を補正するようにしている。
【0035】
【実施例】以下、本発明を図示の実施例に基づいて詳細
に説明する。
【0036】図1は本発明を一眼レフカメラに適用した
ときの一実施例を示す要部概略図であり、図2は図1の
カメラのファインダ視野内の説明図である。
【0037】これらの図において、1は撮影レンズで、
便宜上2枚のレンズで示したが、実際はさらに多数のレ
ンズから構成されている。2は主ミラーで、撮影光路へ
斜接あるいは退去することで、ファインダ系による被写
体像の観察状態と撮影状態を切換える。3はサブミラー
で、前記主ミラー2を透過した光束をカメラボディの下
方の後述する焦点検出装置6へ向けて反射する。
【0038】4はシャッタ、5は感光部材で、銀塩フィ
ルム或はCCDやMOS型等の固体撮像素子、或はビデ
ィコン等の撮像管である。
【0039】6は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ6a,反射ミラー6b及び6
c,二次結像レンズ6d,絞り6e、複数のCCDから
成るラインセンサ6f等から構成されている。
【0040】本実施例における焦点検出装置6は周知の
位相差方式にて焦点検出を行うものであり、図2に示す
ように、観察画面内(ファインダ視野内)の5つの領域
(焦点検出点マーク200〜204に対応する位置)を
焦点検出領域(以下、説明の便宜上、200〜204を
焦点検出領域と記す場合もある)として、各焦点検出領
域において焦点検出可能となるように構成されている。
【0041】図1に戻って、7は撮影レンズ1の予定結
像面に配置されたピント板、8はファインダ光路変更用
のペンタプリズム、9,10は各々観察画面内の被写体
輝度を測定するための結像レンズと測光センサである。
結像レンズ9はペンタプリズム8内の反射光路を介して
ピント板7と測光センサ10を共役に関係付けている。
【0042】次に、ペンタプリズム8の射出後方には光
分割器11aを備えた接眼レンズ11が配置され、使用
者の眼球15によるピント板7の観察に使用される。光
分割器11aは、例えば可視光を透過し赤外光を反射す
るダイクロイックミラーより成っている。
【0043】12は受光レンズ、14はCCD等の光電
素子を二次元的に配したイメージセンサで、受光レンズ
12に関して所定の位置にある使用者の眼球15の瞳孔
近傍と共役になるように配置されている。13a〜13
fは各々照明光源であるところのIREDである。
【0044】21はスーパーインポーズ用LEDで、こ
こから発光された光は投光用プリズム22を介し、主ミ
ラー2で反射されてピント板7の表示部に設けた微小プ
リズムアレイ7aで垂直方向に曲げられ、ペンタプリズ
ム8,接眼レンズ11を通って使用者の眼球15に達す
る。
【0045】そこで、ピント板7の焦点検出領域に対応
する複数の位置にこの微小プリズムアレイ7aを枠状に
形成し、これを各々に対応した5つのスーパーインポー
ズ用LED21(各々をLED−L1,LED−L2,
LED−C,LED−R1,LED−R2とする)によ
って照明する。
【0046】これによって図2に示したファインダ視野
から判かるように、各々の焦点検出点マーク200,2
01,202,203,204がファインダ視野内で光
り、焦点検出領域を表示させることができるものである
(以下、これをスーパーインポーズ表示という)。
【0047】図2において、左右端の焦点検出点マーク
200,204の内部には、ドットマーク205,20
6が刻印されており、これは後述するように眼球の個人
差による視線の検出誤差を補正するための視線補正デー
タを採集する、つまりキャリブレーションの際の視標を
成すものである。
【0048】23はファインダ視野領域を形成する視野
マスク、24はファインダ視野外に撮影情報を表示する
ためのファインダ内LCDで、照明用LED(F−LE
D)25によって照明される。78はLCD表示マーク
の一つで、視線検出が実行されていることを示すマーク
である。
【0049】ファインダ内LCD24を透過した光は三
角プリズム26によってファインダ視野内に導かれ、図
2の207で示したようにファインダ視野外に表示さ
れ、使用者は撮影情報を知ることができる。
【0050】再び図1に戻って、31は撮影レンズ1内
に設けた絞り、32は後述する絞り駆動回路111を含
む絞り駆動装置、33はレンズ駆動用モータ、34は駆
動ギヤ等から成るレンズ駆動部材である。35はフォト
カプラで、前記レンズ駆動部材34に連動するパルス板
36の回転を検知してレンズ焦点調節回路110に伝え
ている。焦点調節回路110は、この情報とカメラ側か
らのレンズ駆動量の情報に基づいて前記レンズ駆動用モ
ータ33を所定量駆動し、撮影レンズ1を合焦位置に移
動させるようになっている。37は公知のカメラとレン
ズとのインターフェイスとなるマウント接点である。
【0051】図3は上記構成の一眼レフカメラに内蔵さ
れた電気回路図の説明図であり、図1と同じ部分は同一
符号を付してある。
【0052】カメラ本体に内蔵されたマイクロコンピュ
ータ(以下、CPUと記す)100には、視線検出回路
101,測光回路102,焦点検出回路103,信号入
力回路104,LCD駆動回路105,LED駆動回路
106,IRED駆動回路107,シャッタ制御回路1
08,モータ制御回路109がそれぞれ接続されてい
る。また、撮影レンズ内に配置された焦点調節回路11
0,絞り駆動回路111とは、図1で示したマウント接
点37を介して信号の伝達がなされる。
【0053】CPU100に付随したEEPROM(電
気的消去・書込み可能メモリ)100aは、記憶手段と
しての視線の個人差を補正する視線補正データの記憶機
能を有している。
【0054】前記視線検出回路101は、イメージセン
サ14(CCD−EYE)からの眼球像の信号をA/D
変換し、この像情報をCPU100に送信する。CPU
100は後述するように視線検出に必要な眼球像の各特
徴点を所定のアルゴリズムにしたがって抽出し、さらに
各特徴点の位置から使用者の視線を算出する。
【0055】前記測光回路102は、測光センサ10か
らの信号を増幅後、対数圧縮,A/D変換し、その結果
を各センサの輝度情報としてCPU100に送信する。
測光センサ10は、図2に示したファインダ視野内の左
側の焦点検出領域点200,201を含む左領域210
を測光するSPC−Lと、焦点検出領域点202を含む
中央領域211を測光するCSPC−Cと、右側の焦点
検出領域点203,204を含む右側領域212を測光
するSPC−Rと、これらの周辺領域213を測光する
SPC−Aの、4つの領域を測光するフォトダイオード
から構成されている。
【0056】図3のラインセンサ6fは、前述の図2に
示すように、画面内の5つの焦点検出領域点200〜2
04に対応した5組のラインセンサCCD−L2,CC
D−L1,CCD−C,CCD−R1,CCD−R2か
ら構成される公知のCCDラインセンサである。前記自
動焦点検出回路103は、上記のラインセンサ6fから
得た電圧をA/D変換し、CPU100に送る。
【0057】SW−1は不図示のレリーズ釦の第1スト
ロークでオンし、測光,AF,視線検出動作等を開始さ
せる為のスイッチ、SW−2はレリーズ釦の第2ストロ
ークでオンするレリーズスイッチ、SW−AELは不図
示のAEロック釦を押すことによってオンするAEロッ
クスイッチ、SW−DIAL1とSW−DIAL2は、
不図示の電子ダイヤル内に設けられたダイヤルスイッチ
で、信号入力回路104のアップダウンカウンタに入力
され、該信号入力回路104は入力信号に基づいて電子
ダイヤルの回転クリック量をカウントする。
【0058】前記LCD駆動回路105は、液晶表示素
子LCDを表示駆動させるための公知の構成よりなるも
ので、CPU100からの信号にしたがい、絞り値,シ
ャッタ秒時,設定した撮影モード等の表示をモニタ用L
CD42とファインダ内LCD24の両方に同時に表示
させることができる。
【0059】前記LED駆動回路106は、照明用LE
D(F−LED)25とスーパーインポーズ用LED2
1を点灯,点滅制御する。前記IRED駆動回路107
は、IRED(IRED1〜6)13a〜13fを状況
に応じて選択的に点灯させるものである。
【0060】前記シャッタ制御回路108は、通電する
と先幕を走行させるマグネットMG−1と、後幕を走行
させるマグネットMG−2を制御し、感光部材に所定光
量を露光させる。前記モータ制御回路109は、フィル
ムの巻き上げ,巻き戻しを行うモータM1と主ミラー2
及びシャッタ4のチャージを行うモータM2を制御する
ためのものである。これらシャッタ制御回路108とモ
ータ制御回路109によって一連のカメラのレリーズシ
ーケンスが動作する。
【0061】以上の構成からなる本発明の第1の実施例
におけるカメラの視線情報を用いた自動焦点調節の動作
について、図4のフローチャートにより説明する。
【0062】レリーズ釦が第1ストロークまで押下され
ると、スイッチSW1がオンし、CPU100は図4の
ステップ#100からのシーケンスを実行する。
【0063】先ず、ステップ#101において、使用者
の視線の検出を行う。視線検出の具体的方法に関しては
後述する。
【0064】次のステップ#102においては、使用者
の視線情報に基づいて焦点検出領域の選択を行う。具体
的には、上記ステップ#101で検出した使用者の視線
方向をピント板7上の座標に変換し、図2の5つの焦点
検出領域200〜204のうち、視線座標にもっとも近
い焦点検出領域を選択する。例えば、使用者が左端の焦
点検出点マーク200の近くを注視していれば、焦点検
出領域200が選択される。さらに、LED駆動回路1
06に信号を送信してスーパーインポーズ用LED21
を用いて選択焦点検出点のマーク200を瞬時点灯さ
せ、撮影者に選択結果を知らしめる。
【0065】ステップ#103においては、選択された
焦点検出領域に対する焦点検出を行う。選択焦点検出領
域が、例えば左端の200であった場合、CPU100
は焦点検出用センサ6fの内のラインセンサCCD−L
2を駆動し、そのセンサ出力から焦点検出領域200の
焦点状態(デフォーカス量)を検出する。
【0066】次のステップ#104においては、選択さ
れた焦点検出領域の焦点が合焦であるか否かを判断し、
合焦でなければステップ#105に移行し、ここで検出
デフォーカス量に基づくレンズ駆動を行う。そして、選
択焦点検出領域が合焦となるまでステップ#103〜#
105を繰返し実行する。
【0067】その後、上記ステップ#104において選
択焦点検出領域が合焦と判断されると、ステップ#10
6に移行し、視線検出を用いた自動焦点調節動作をリタ
ーンする。
【0068】図5はキャリブレーション動作を示すフロ
ーチャートである。
【0069】カメラの動作モードがキャリブレーション
・モードに設定されると、CPU100は図5のステッ
プ#200以降の動作を実行する。
【0070】ステップ#201においては、図6(A)
のようにファインダ右端の視標1(204,206)の
スーパーインポーズを点滅させ、使用者にこの視標を注
視するように促す。
【0071】次のステップ#202においては、レリー
ズ釦の第1ストロークでオンするスイッチSW1がオン
されるのを待つ。そして、該スイッチSW1がオンされ
るとステップ#203へ進み、ここで図6(B)のよう
に視標1をフル点灯し、次のステップ#204におい
て、この時の視線を検出する。そして、続くステップ#
205において、前記ステップ#204にて検出した、
使用者が視標1を注視しているときの視線データを記憶
しておく。
【0072】ステップ#206においては、上記のスイ
ッチSW1が一旦オフされるのを待つ。そして、該スイ
ッチSW1がオフされると、次のステップ#207にお
いて、今度は図7(A)のようにファインダ左端の視標
2(200,205)のスーパーインポーズを点滅し、
使用者にこの視標を注視するように促す。
【0073】ステップ#208においては、視標2を注
視した使用者がスイッチSW1をオンするのを待つ。そ
して、該スイッチSW1がオンすると、次のステップ#
209において、図7(B)のように視標2をフル点灯
し、続くステップ#210において、このときの視線を
検出する。
【0074】次のステップ#211においては、上記の
ステップ#210にて検出した、使用者が視標2を注視
しているときの視線データを記憶する。そして、ステッ
プ#212において、上記の式(7),(8),(1
0),(11)に基づいて、この使用者の個人差補正デ
ータax,bx,ay,byを算出する。次のステップ
#213においては、カメラのEEPROM等の不揮発
メモリの所定アドレスに個人差補正データax,bx,
ay,byを格納する。
【0075】上記の個人差補正データは複数人数分格納
できるようになっており、不図示の電子ダイヤルによっ
てどこに格納するかを指定できる。
【0076】具体的には、図8に示すように、5人分格
納可能とすると、キャリブレーション番号1〜5に対し
てそれぞれ個人差補正データax,bx,ay,byの
記憶領域を用意し、設定されたキャリブレーション番号
の記憶場所に、上記ステップ#212で算出したデータ
を格納する。
【0077】カメラを使用する際のキャリブレーション
番号の設定は、後述の様にカメラが自動的に選択設定す
る他、不図示の電子ダイヤルを用いてマニュアルで行う
こともできる。
【0078】つまり、ある使用者1がキャリブレーショ
ン番号1に個人差補正データを格納したとし、別の使用
者2がキャリブレーション番号2にデータを格納したと
すると、使用者1がカメラを使用するときには、キャリ
ブレーション・モードにて、不図示の電子ダイヤルでキ
ャリブレーション番号を1に設定し、使用者2がカメラ
を使用するときにはキャリブレーション番号を2に設定
すれば、各使用者に適した個人差補正が可能となる。
【0079】このようにして、各個人のキャリブレーシ
ョンが実行される。
【0080】図9は本実施例における視線検出時の動作
を示すフローチャートである。
【0081】視線検出のサブルーチンがコールされる
と、ステップ#300を経て、先ずステップ#301に
おいて眼球照明用のIREDを点灯し、次のステップ#
302においてイメージセンサ14の信号電荷の蓄積を
行う。所定の蓄積が終了すると、続くステップ#303
において上記のIREDを消灯する。そして、次のステ
ップ#304において眼球の像信号の読み出しを行う。
【0082】さて、次のステップ#305においては、
読み出した眼球像のパターンマッチングを行う。このパ
ターンマッチングの具体的手法は画像処理の方法として
公知の技術であり、直接的に画像信号の二次元相関演算
を行っても良いし、あるいは演算時間的に有利な特徴点
のマッチングを行っても良い。
【0083】このパターンマッチングのためにキャリブ
レーションに際し、各キャリブレーション番号毎に個人
差補正データのみならず、眼球像データあるいはその特
徴量データも記憶しておく必要がある。記憶容量的には
眼球像の特徴量(コントラスト,周波数分布,平均輝度
等)の方が望ましい。
【0084】図10,11に眼球像の例を示す。
【0085】これらの図において、50が白目、51が
瞳孔、53が虹彩であり、瞳孔51と虹彩53を合せて
黒目とも呼ぶ。
【0086】虹彩53は視線検出には直接関係ないの
で、視線検出の説明図である図16の眼球像では示さな
かったが、眼球像の内では最も個人差のある特徴点であ
り、人によって、図11の(A)や(B)や(C)のよ
うに虹彩模様の違いがある。
【0087】例えば、3人の使用者がそれぞれキャリブ
レーション番号1,2,3でキャリブレーションを行っ
たときの、各使用者の虹彩パターンがそれぞれ図11
(A),(B),(C)であるとし、いま現在の使用者
の眼球像が図10であったとすると、これは図11
(A)に一致し、この使用者はキャリブレーション番号
1でキャリブレーションを行った使用者であることが判
かる。
【0088】本実施例では、眼球像中のこの虹彩53の
模様の差から使用者を特定し、その使用者に最も近い個
人差補正データをメモリから読み出し、視線の補正に用
いている。
【0089】図9のフローチャートに戻って、上述した
ようにステップ#305で現在の使用者の眼球像に合致
するキヤリブレーション番号が判明すると、次のステッ
プ#306において、そのキャリブレーション番号の個
人差補正データをEEPROMから読み出す。そして、
次のステップ#307において、上記のステップ#30
4で読み出した眼球像信号に基づいて、使用者の眼球像
の回転角(水平方向θx,垂直方向θy)を算出する。
【0090】眼球回転角視線の具体的方法については、
例えば、本願出願人による特開平3−177827号公
報等に詳述されているので、ここでの詳細な説明は省略
する。
【0091】次のステップ#308においては、上記の
ステップ#306にて読み出した個人差補正データを用
いて、前述の式(6),(9)に従って、ファインダ上
での視線座標(水平方向X,垂直方向Y)を演算し、続
くステップ#309において視線検出のサブルーチンを
リターンする。
【0092】上記の第1の実施例によれば、使用者の例
えば虹彩の模様から、複数記憶されている各補正データ
より該使用者に合った補正データを読み出すようにして
いるため、使用者が煩わしい操作を行う必要がなくな
る。
【0093】(第2の実施例)図12及び図13は本発
明の第2の実施例に係るフローチャートである。
【0094】この第2の実施例では、ファインダ内の特
定部位を注視した状態で何らかの操作釦を押すことによ
って、速やかに個人差補正データを切換えるようにした
ものである。
【0095】図14のように、ファインダ下方のLCD
表示エリアに78のような視線検出の実行中を示すマー
クを点滅させ、使用者はこのマークを注視した状態で、
例えばAEロック釦を押してスイッチSW−AELをオ
ンする。
【0096】すると、マイクロコンピュータCPU10
0はステップ#400を経て、先ずステップ#401に
おいて、視線検出を実行する。次いでステップ#403
において、特定座標注視時の視線検出結果に基づいて、
個人差補正データのマッチングを行う。
【0097】特定座標注視用として点滅させるマーク7
8のファインダ上での水平座標,垂直座標は予め判って
いるから、検出した眼球回転角θx,θyをその座標に
対応づける補正係数ax,bx,ay,byとして、前
述の図8のデータのうちの何れが最も適しているかの判
定を行う。
【0098】具体的には、検出された水平,垂直眼球回
転角をθxe,θye、マーク78の水平,垂直座標を
Xe,Ye、各キャリブレーション毎の補正データを
{ax1,bx1,ay1,by1},{ax2,bx
2,ay2,by2},………,{ax5,bx5,a
y5,by5}とすると、 dn={Xe−m・(θxe−bxn)/axn}^2 +{Ye−m・(θye−byn)/ayn}^2 …(14) 但し、nは1〜5のキャリブレーション番号を表す。
【0099】上記dnは最小2乗的な一致程度を表し、
最も小さいdnのnを適合するキャリブレーション番号
とすれば良い。
【0100】もちろん、マッチング方法はこの手法に限
定されるものではなく、種々の尺度で適したキャリブレ
ーション番号を判断すれば良い。
【0101】さて、このようにして、この使用者のキャ
リブレーション番号が選択されれば、次のステップ#4
03において、その番号の個人差補正データをEEPR
OMから読み出し、次のステップ#404でリターンす
る。前記読み出された補正データは、これ以降実行され
る視線検出で有効となる。
【0102】この第2の実施例における視線検出サブル
ーチンの動作を示すフローチャートを図15にしてい
る。このフローチャートは、前述した図9の視線検出サ
ブルーチンのフローチャートから、第1の実施例の特有
の部分であるステップ#305,#306を除いたもの
と同じであるため、ここで改めて説明はしない。
【0103】上記の第2の実施例によれば、予めファイ
ンダ上での水平座標,垂直座標を知り得るマーク78
を、視線検出に先立って注視させ、該マークを注視した
ときのデータに基づいて、複数記憶されている各補正デ
ータより該使用者に合った補正データを選択するように
しているため、使用者が煩わしい操作を行う必要がなく
なる。つまり、補正データを速やかに自分の補正データ
に切換えることが可能となる。
【0104】(発明と実施例の対応)本実施例におい
て、EEPROM100aが本発明の補正データ記憶手
段に相当し、視線検出回路101が本発明の視線検出手
段に相当し、CPU100が本発明の選択手段、及び視
線演算手段に相当する。
【0105】以上が実施例の各構成と本発明の各構成の
対応関係であるが、本発明は、これら実施例の構成に限
定されるものではなく、請求項で示した機能、又は実施
例がもつ機能が達成できる構成であればどのようなもの
であってもよいことは言うまでもない。
【0106】(変形例)上記の第1の実施例では、使用
者を識別する眼球の特徴として虹彩の模様を挙げたが、
まつ毛や、まぶたの形状も特徴として加えても良いこと
は言うまでもない。
【0107】また、上記の第2の実施例では、特定座標
注視用として、視線検出実行中を示すマーク78を用い
る様にしたが、勿論これ以外のファイダ内に配置される
マーク等であればよい。また、マーク78を点滅させる
ためにスイッチSW−AELをオンするようにしたが、
その他の操作釦であってもよい。
【0108】また、本発明は、一眼レフカメラ,レンズ
シャッタカメラ,ビデオカメラ等のカメラに適用した場
合を述べているが、その他の光学機器や他の装置、更に
は構成ユニットとしても適用することができるものであ
る。
【0109】更に、本発明は、以上の各実施例、又はそ
れらの技術を適当に組み合わせた構成にしてもよい。
【0110】
【発明の効果】以上説明したように、請求項1又は3記
載の本発明によれば、使用者の眼球の特徴情報、例えば
虹彩の模様やまつげ情報を用いて補正データを選択し、
該補正データにて視線検出手段にて検出された視線を補
正するようにしている。
【0111】また、請求項2又は3記載の本発明によれ
ば、使用者が所定の方向を注視した際に、例えば観察面
内の所定の位置に予め設けられた指標を注視した際に得
られる視線視線情報を用いて補正データを選択し、該補
正データにて視線検出手段にて検出された視線を補正す
るようにしている。
【0112】また、請求項4記載の本発明によれば、使
用者の眼球回転角を検出して使用者の視線を検出すると
共に、使用者の眼球の特徴に基づいて、使用者の視線の
個人差を補正する為に複数記憶された補正データの中か
ら一つを選択し、選択した補正データに基づいて、上記
の視線を補正するようにしている。
【0113】また、請求項5記載の本発明によれば、使
用者の眼球回転角を検出して使用者の視線を検出すると
共に、使用者が所定の方向を注視した際に得られる視線
視線情報に基づいて、使用者の視線の個人差を補正する
為に複数記憶された補正データの中から一つを選択し、
選択した補正データに基づいて、上記の視線を補正する
ようにしている。
【0114】よって、使用者に煩わしい操作を強要する
ことなく、速やかに補正データを選択し、これを用いて
最適な視線情報を検出することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を適用したカメラの要部
を示す構成図である。
【図2】図1のファインダ視野内を説明するための図で
ある。
【図3】図1のカメラの電気的構成を示すブロック図で
ある。
【図4】図3の構成を持つカメラにおいてスイッチSW
1のオン時の動作を示すフローチャートである。
【図5】同じく図3の構成を持つカメラにおけるキャリ
ブレーション時の動作を示すフローチャートである。
【図6】図5のキャリブレーション時のファインダ内表
示を示す図である。
【図7】同じく図5のキャリブレーション時のファイン
ダ内表示を示す図である。
【図8】同じく図5のキャリブレーション時における個
人差データのメモリ格納について説明するための図であ
る。
【図9】同じく図3の構成を持つカメラにおける視線検
出時の動作を示すフローチャートである。
【図10】本発明に係る眼球像について説明する為の図
である。
【図11】同じく本発明に係る虹彩パターンを示す図で
ある。
【図12】本発明の第2の実施例においてスイッチSW
−AELがオンされた時の動作を示すフローチャートで
ある。
【図13】本発明の第2の実施例における視線検出時の
動作を示すフローチャートである。
【図14】本発明の第2の実施例におけるファインダ内
表示について説明する為の図である。
【図15】一般的な視線検出の原理を説明する為の図で
ある。
【図16】図15のイメージセンサ面上に投影される眼
球像とここから出力される眼球像信号について説明する
為の図である
【符号の説明】
6 焦点検出ユニット 7 ピント板 14 イメージセンサ 78 視線検出表示用及び特定座標注視用の
マーク 100 CPU 100a EEPROM 101 視線検出回路 103 焦点検出回路 104 信号入力回路 200〜204 焦点検出領域(焦点検出点マーク) 205,206 キャリブレーションの指標

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 使用者の眼球回転角を検出し、この回転
    角から使用者の視線を検出する視線検出手段と、使用者
    の視線の個人差を補正する為の補正データを複数記憶す
    る補正データ記憶手段とを備えた視線検出装置におい
    て、使用者の眼球の特徴に基づいて、前記補正データ記
    憶手段に記憶された複数の補正データのうちの一つを選
    択する選択手段と、選択された補正データに基づいて、
    前記視線検出手段にて検出された視線を補正する視線演
    算手段とを設けたことを特徴とする視線検出装置。
  2. 【請求項2】 使用者の眼球回転角を検出し、この回転
    角から使用者の視線を検出する視線検出手段と、使用者
    の視線の個人差を補正する為の補正データを複数記憶す
    る補正データ記憶手段とを備えた視線検出装置におい
    て、使用者が所定の方向を注視した際に前記視線検出手
    段にて得られる視線視線情報に基づいて、前記補正デー
    タ記憶手段に記憶された複数の補正データのうちの一つ
    を選択する選択手段と、選択された補正データに基づい
    て、前記視線検出手段にて検出された視線を補正する視
    線演算手段とを設けたことを特徴とする視線検出装置。
  3. 【請求項3】 請求項1又は2記載の視線検出装置を備
    えたことを特徴とするカメラ。
  4. 【請求項4】 使用者の眼球回転角を検出して使用者の
    視線を検出する過程と、使用者の眼球の特徴に基づい
    て、使用者の視線の個人差を補正する為に複数記憶され
    た補正データの中から一つを選択する過程と、選択した
    補正データに基づいて、上記検出された視線を補正する
    過程とを有する視線補正方法。
  5. 【請求項5】 使用者の眼球回転角を検出して使用者の
    視線を検出する過程と、使用者が所定の方向を注視した
    際に得られる視線視線情報に基づいて、使用者の視線の
    個人差を補正する為に複数記憶された補正データの中か
    ら一つを選択する過程と、選択した補正データに基づい
    て、上記検出された視線を補正する過程とを有する視線
    補正方法。
JP6139626A 1994-05-31 1994-05-31 視線検出装置、カメラ、及び、視線補正方法 Pending JPH07323008A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6139626A JPH07323008A (ja) 1994-05-31 1994-05-31 視線検出装置、カメラ、及び、視線補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6139626A JPH07323008A (ja) 1994-05-31 1994-05-31 視線検出装置、カメラ、及び、視線補正方法

Publications (1)

Publication Number Publication Date
JPH07323008A true JPH07323008A (ja) 1995-12-12

Family

ID=15249667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6139626A Pending JPH07323008A (ja) 1994-05-31 1994-05-31 視線検出装置、カメラ、及び、視線補正方法

Country Status (1)

Country Link
JP (1) JPH07323008A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355505B2 (en) 2002-06-20 2013-01-15 Canon Kabushiki Kaisha Picture taking apparatus and method of controlling same
JP2015132786A (ja) * 2014-01-16 2015-07-23 コニカミノルタ株式会社 眼鏡型表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355505B2 (en) 2002-06-20 2013-01-15 Canon Kabushiki Kaisha Picture taking apparatus and method of controlling same
JP2015132786A (ja) * 2014-01-16 2015-07-23 コニカミノルタ株式会社 眼鏡型表示装置

Similar Documents

Publication Publication Date Title
JPH06304142A (ja) 視線検出装置
JPH08563A (ja) 光学装置及びカメラ
US5402199A (en) Visual axis detecting apparatus
JPH07199042A (ja) 視線検出機能付カメラ
JP2004008323A (ja) 視線機能付光学装置
JPH07323008A (ja) 視線検出装置、カメラ、及び、視線補正方法
JP2002301030A (ja) 視線検出機能付き機器
JPH07151958A (ja) 視線検出機能付光学機器
JP3176147B2 (ja) 視線検出装置
JP3605080B2 (ja) 視線検出装置
JP3605081B2 (ja) 視線検出装置
JP3186249B2 (ja) 視線検出装置及び視線検出方法
JP3391892B2 (ja) 視線検出装置、光学装置及び視線検出方法
JP3211427B2 (ja) 視線検出装置
JP3372646B2 (ja) 視線検出装置を有した光学装置
JP2003339642A (ja) 視線検出装置及びそれを有した光学装置
JPH0688935A (ja) 視線検出機能付光学装置
JP3184634B2 (ja) 視線検出装置を有する光学装置
JP3219491B2 (ja) 視線検出装置
JP2000131599A (ja) 視線選択機能を有する装置およびカメラ
JP2001004906A (ja) 視線検出機能付き光学機器及びカメラ
JP3332581B2 (ja) 光学装置、カメラ、視線検出装置、視線検出方法、及び、接眼部と眼球位置の相対位置判別方法。
JPH06304141A (ja) 視線検出装置
JPH0928673A (ja) 視線検出装置および視線検出装置を具備する光学機器
JPH08194154A (ja) 視線検出機能付き観察装置