JP3256294B2 - 視線検出装置および視線検出方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージセンサーによ
り眼球画像を受光し、前記眼球画像から得られる角膜反
射像と瞳孔の形状に基づいて視線を検出する視線検出装
置および視線検出方法に関するものである。

【０００２】

【従来の技術】従来より観察者が観察面上のどの位置を
観察しているかを検出する、いわゆる視線（視軸）を検
出する視線検出装置（例えばアイカメラ）が種々提案さ
れている。

【０００３】例えば特開平１−２７４７３６号公報にお
いては、光源からの平行光束を観察者の眼球の前眼部へ
投射し、角膜からの反射光による角膜反射像と瞳孔の結
像位置を利用して視軸を求めている。

【０００４】図１０，１１は視線検出方法の原理説明図
である。

【０００５】先づ図１１について説明すると、各赤外発
光ダイオード（以下「ＩＲＥＤ」と称する）１３ａ，１
３ｂは受光レンズ１２の光軸アに対してｘ方向に略対称
に配置され、各々撮影者の眼球を発散照明している。

【０００６】ＩＲＥＤ１３ａ，１３より放射された赤外
光は眼球１５の角膜１６を照明し、このとき角膜１６の
表面で反射したそれぞれの赤外光の一部による角膜反射
像ｄ，ｅは受光レンズ１２より集光され、イメージセン
サー１４上の位置ｄ’，ｅ’にそれぞれ再結像する。

【０００７】また、ＩＲＥＤにより照明された眼球の瞳
孔部の像もイメージセンサー１４上に結像する。瞳孔と
虹彩の境界がなす円（これを瞳孔円と称する）の中心Ｃ
のｘ座標をｘｃとしたとき、イメージセンサー上でのｘ
座標は不図示のｘｃ’となる。

【０００８】図１０（ａ）は図２のイメージセンサー１
４面上に投影される眼球像を示しており、（ｂ）は
（ａ）中のライン（Ｉ）−（Ｉ）’での像信号の出力を
示している。

【０００９】図１０（ａ）中の５０は眼球のいわゆる白
目の部分、５１は瞳孔部、５２ａ，５２ｂは１対のＩＲ
ＥＤの角膜反射像を表わしている。

【００１０】この角膜反射像は「プルキンエ像」と呼ば
れるものであり、以降「Ｐ像」と略称することにする。

【００１１】図１０（ｂ）の信号６０中の極大点２つが
１対のＰ像に対応している。

【００１２】図１１に戻って、角膜反射像（Ｐ像）ｄお
よびｅの中心のｘ座標と角膜１６の曲率中心のｘ座標ｘ
_O とは一致するため、角膜反射像の発生位置ｄ，ｅのｘ
座標をｘｄ，ｘｅ、角膜１６の曲率中心Ｏから瞳孔１９
の中心Ｃまでの標準的な距離をＬ_OCとし、距離Ｌ_OCに対
する個人差を考慮する係数をＡ１とすると眼球光軸イの
回転角θは （Ａ１＊Ｌ_OC）＊ｓｉｎθ≒ｘｃ−（ｘｄ＋ｘｅ）／２ …（１） の関係式を略満足する。このため視線演算処理装置にお
いてイメージセンサー上の一部に投影された各特徴点
（角膜反射像ｄ，ｅ及び瞳孔中心Ｃ）の位置を検出する
ことにより眼球の光軸イの回転角θを求めることができ
る。このとき（１）式は、 β（Ａ１＊Ｌ_OC）＊ｓｉｎθ≒ｘｃ’−（ｘｄ’＋ｘｅ’）／２ …（２） とかきかえられる。但し、βは受光レンズ１２に対する
眼球の位置により決まる倍率で、実質的には角膜反射像
の間隔｜ｘｄ’−ｘｅ’｜の関数として求められる。眼
球１５の回転角θは θ≒ＡＲＣＳＩＮ｛（ｘｃ’−ｘｆ’）／β／（Ａ１＊Ｌ_OC）｝ …（３） とかきかえられる。但し ｘｆ’≒（ｘｄ’＋ｘｅ’）／２ である。ところで撮影者の眼球の光軸イと視軸とは一致
しない為、撮影者の眼球の光軸イの水平方向の回転角θ
が算出されると眼球の光軸と視軸との角度補正δをする
ことにより撮影者の水平方向の視線θＨは求められる。
眼球の光軸イと視軸との補正角度δに対する個人差を考
慮する係数をＢ１とすると撮影者の水平方向の視線θＨ
は θＨ＝θ±（Ｂ１＊δ） …（４） と求められる。ここで符号±は、撮影者に関して右への
回転角を正とすると、観察装置をのぞく撮影者の目が左
目の場合は＋、右目の場合は−の符号が選択される。

【００１３】又、同図においては撮影者の眼球がＺ−Ｘ
平面（例えば水平面）内で回転する例を示しているが、
撮影者の眼球がＺ−Ｙ平面（例えば垂直面）内で回転す
る場合においても同様に検出可能である。ただし、撮影
者の視線の垂直方向の成分は眼球の光軸の垂直方向の成
分θ’と一致するため垂直方向の視線θＶはθＶ＝θ’
となる。更に視線データθＨ，θＶより撮影者が見てい
るファインダー視野内のピント板上の位置（Ｘｎ，Ｙ
ｎ）は Ｘｎ≒ｍ＊θＨ ≒ｍ＊［ＡＲＣＳＩＮ｛（ｘｃ’−ｘｆ’）／β／（Ａ１＊Ｌ_OC）｝ ±（Ｂ１＊δ）］ …（５） Ｙｎ≒ｍ＊θＶ と求められる。但し、ｍはカメラのファインダー光学系
で決まる定数である。

【００１４】ここで撮影者の眼球の個人差を補正する係
数Ａ１，Ｂ１の値は撮影者にカメラのファインダー内の
所定の位置に配設された指標を固視してもらい、該指標
の位置と（５）式に従い算出された固視点の位置とを一
致させることにより求められる。

【００１５】撮影者の視線及び注視点を求める演算は、
前記各式に基づき視線演算処理装置のマイクロコンピュ
ータのソフトで実行している。

【００１６】視線の個人差を補正する係数が求まり
（５）式を用いてカメラのファインダーを覗く観察者の
視線のピント板上の位置を算出し、その視線情報を撮影
レンズの焦点調節あるいは露出制御等に利用している。

【００１７】実際に視線を求めるにはイメージセンサー
上の眼球像をマイクロコンピュータ等で処理して、上述
したＰ像、瞳孔円を検出し、その位置情報に基づいて視
線を算出する。

【００１８】具体的な手法としては、本出願人によって
既に提案（特願平３−１２１０９７号）されている。こ
れによれば、瞳孔円の求め方として、イメージセンサー
から眼球像信号を読み出しながら瞳孔と虹彩の境界の輝
度差を信号エッジとして抽出し、その座標を記憶してゆ
く。そして、眼球像の読み出しを終了すると、記憶して
いる複数の瞳孔のエッジ座標を最小２乗法を用いて円を
推定し、これを瞳孔円としている。

【００１９】図１２に従って説明すると、図１２（ａ）
は眼球像を表わし、ここではＰ像は省略している。瞳孔
部５１の周に配されている複数の白丸が瞳孔エッジであ
り、７０−１がその１つを表わしている。

【００２０】同図中（ｂ）は（ａ）の瞳孔エッジのみを
抽出して表わしたもので、囲い７１内の点は瞳孔円上辺
エッジとして抽出されたものである。囲い７２，７３，
７４はそれぞれ下辺、左辺、右辺に関するエッジであ
る。

【００２１】これらのエッジ・データに基づいて最小２
乗法を用いて推定した円が７５である。この推定円の中
心座標を（ｘｃ，ｙｃ）、半径をｒｃとすると図１２の
（ｃ）のようになる。

【００２２】

【発明が解決しようとしている課題】ところが、上述の
最小２乗法を用いて瞳孔円を推定する手法は、前述した
出願（特願平３−１２１０９７号）にも述べているよう
に、正しい瞳孔円の位置からある程度離れた位置に偽り
のエッジデータが存在する場合、正しい円の推定が出来
ないという欠点があり、同出願においてもそれを改善す
るために、最小２乗法の計算の過程で算出される推定誤
差量を評価の尺度として用いて、偽りのエッジデータを
出来る限り排除するように工夫している。

【００２３】しかしながら、上記推定誤差量は、同じ瞳
孔エッジ数で、偽りのエッジも同程度に真の円から離れ
た位置に存在するような場合、つまりそのような状況で
は同じ程度の推定誤差量が算出されることが期待される
場合でも、一般に瞳孔の大きさ（瞳孔径）が大きくなる
と推定誤差量も大きく算出されてしまう傾向がある。こ
のため、偽りのエッジの有効的排除という観点、また最
終推定結果の良否判定という点でも都合の悪いものであ
った。

【００２４】本発明の目的は、このような従来の問題を
解決することにある。

【００２５】

【課題を解決するための手段】請求項１に記載した発明
は、イメージセンサーにより眼球画像を受光し、前記眼
球画像から得られる角膜反射像と瞳孔の形状に基づいて
視線を検出する視線検出装置において、眼球の瞳孔と虹
彩との境界位置情報を複数箇所検出する検出手段と、前
記検出手段の検出した複数の境界位置情報を複数のグル
ープに分けるグループ化手段と、前記複数のグループか
ら境界位置情報を用いて前記瞳孔の形状を推定したとき
に誤差量が最も小さくなるグループの組合せを選択する
選択手段と、前記選択手段の選択した前記グループに含
まれる複数の境界位置情報だけを用いて前記瞳孔の形状
を推定する演算手段を有することを特徴としている。

【００２６】請求項２に記載した発明は、請求項１に記
載した発明において、前記グループ化手段は前記瞳孔と
前記虹彩との境界を水平方向、垂直方向に分けてグルー
プ化することを特徴としている。請求項３に記載した発
明は、請求項２に記載した発明において、前記選択手段
は、水平方向のグループの誤差量を実際の値よりも小さ
くなるよう重みを付し、水平方向のグループと垂直方向
のグループのうち誤差量が最も小さくなるグループを選
択することを特徴としている。請求項４に記載した発明
は、請求項１ないし３のいずれか一つに記載した発明に
おいて、前記演算手段は最小２乗法を用いて、前記瞳孔
の形状の推定を行うことを特徴としている。

【００２７】

【００２８】請求項５に記載した発明は、イメージセン
サーにより眼球画像を受光し、前記眼球画像から得られ
る角膜反射像と瞳孔の形状に基づいて視線を検出する視
線検出装置において、眼球の瞳孔と虹彩との境界位置情
報を複数箇所検出する検出手段と、前記検出手段の検出
した複数の境界位置情報を複数のグループに分けるグル
ープ化手段と、前記複数のグループからいずれか１つの
グループを除外して瞳孔の形状を推定する第１の演算手
段と、前記除外するグループを代えて、前記第１の演算
手段による瞳孔の形状を推定する演算を複数繰り返す制
御手段と、前記除外するグループを代えて、推定された
複数の瞳孔の形状のそれぞれに対して、信頼性を評価す
る第１の評価手段と、前記第１の評価によって最も信頼
性が高いと評価されたときに、除外されていたグループ
に含まれる複数の境界位置情報のそれぞれについて再度
信頼性を評価する第２の評価手段と、前記第１の評価手
段によって最も信頼性が高いと評価されたときの複数の
グループに含まれる複数の境界位置情報と、前記除外さ
れたグループのなかで前記第２の評価手段によって信頼
性が高いと評価された境界位置情報とを用いて前記瞳孔
の形状を推定する第２の演算手段とを有することを特徴
としている。

【００２９】請求項６に記載した発明は、請求項５に記
載した発明において、前記第１の評価手段は、瞳孔の形
状を推定したときの誤差量の大きさから信頼性を判断
し、推定された瞳孔径の大きさに応じて、得られた誤差
量の大きさを補正することを特徴としている。

【００３０】

【００３１】請求項７に記載された発明は、イメージセ
ンサーにより眼球画像を受光し、前記眼球画像から得ら
れる角膜反射像と動向の形状に基づいて視線を検出する
視線検出方法において、眼球の瞳孔と虹彩との境界情報
を複数箇所検出する検出ステップと、前記検出ステップ
の検出した複数の境界位置情報を複数のグループに分け
るグループ化ステップと、前記複数のグループから境界
位置情報を用いて前記瞳孔の形状を推定したときに誤差
量が最も小さくなるグループの組合せを選択する選択ス
テップと、前記選択ステップの選択した前記グループに
含まれる複数の境界位置情報だけを用いて前記瞳孔の形
状を推定する演算ステップを有することを特徴としてい
る。

【００３２】請求項８に記載された発明は、請求項７に
記載された発明において、前記グループ化ステップは前
記瞳孔と前記虹彩との境界を水平方向、垂直方向に分け
てグループ化することを特徴としている。請求項９に記
載された発明は、請求項８に記載された発明において、
前記選択ステップは、水平方向のグループの誤差量を実
際の値よりも小さくなるよう重みを付し、水平方向のグ
ループと垂直方向のグループのうち誤差量が最も小さく
なるグループを選択することを特徴としている。請求項
１０に記載された発明は、請求項７ないし９のいずれか
一つに記載された発明において、前記演算ステップは最
小２乗法を用いて、前記瞳孔の形状の推定を行うことを
特徴としている。

【００３３】請求項１１に記載された発明は、イメージ
センサーにより眼球画像を受光し、前記眼球画像から得
られる角膜反射像と瞳孔の形状に基づいて視線を検出す
る視線検出方法において、眼球の瞳孔と虹彩との境界位
置情報を複数検出する検出ステップと、前記検出ステッ
プの検出した複数の境界位置情報を複数のグループに分
けるグループ化ステップと、前記複数のグループからい
ずれか１つのグループを除外して瞳孔の形状を推定する
演算ステップと、前記除外するグループを代えて、推定
された複数の瞳孔の形状のそれぞれに対して、誤差量を
推定するステップとを有し、少なくとも、前記評価ステ
ップによって最も誤差量が小さいと評価されたときの複
数のグループに含まれる複数の境界位置情報を利用して
瞳孔の形状を検出することを特徴としている。

【００３４】請求項１２に記載された発明は、イメージ
センサーにより眼球画像を受光し、前記眼球画像から得
られる角膜反射像と瞳孔の形状に基づいて視線を検出す
る視線検出方法において、眼球の瞳孔と虹採との境界位
置情報を複数箇所検出する検出ステップと、前記検出ス
テップの検出した複数の境界位置情報を複数のグループ
に分けるグループ化ステップと、前記複数のグループか
らいずれか１つのグループを除外して瞳孔の形状を推定
する第１の演算ステップと、前記除外するグループを代
えて、前記第１の演算ステップによる瞳孔の形状を推定
する演算を繰り返す制御ステップと、前記除外するグル
ープを代えて、推定された複数の瞳孔の形状のそれぞれ
に対して、信頼性を評価する第１の評価ステップと、前
記第１の評価ステップによって最も信頼性が高いと評価
されたときに、除外されていたグループに含まれる複数
の境界位置情報のそれぞれについて再度信頼性を評価す
る第２の評価ステップと、前記第１の評価ステップによ
って最も信頼性が高いと評価されたときの複数のグルー
プに含まれる複数の境界位置情報と、前記除外されたグ
ループのなかで前記第２の評価ステップによって信頼性
が高いと評価された境界位置情報とを用いて前記瞳孔の
形状を推定する第２の演算ステップとを有することを特
徴としている。

【００３５】請求項１３に記載された発明は、請求項１
２に記載された発明において、前記第１の評価ステップ
は、瞳孔の形状を推定したときの誤差量の大きさから信
頼性を判断し、推定された瞳孔径の大きさに応じて、得
られた誤差量の大きさを補正することを特徴としてい
る。

【００３６】

【００３７】

【００３８】

【実施例】図１は本発明を一眼レフカメラに適用したと
きの実施例の要部概略図を示している。

【００３９】図において、１は撮影レンズで便宜上２枚
のレンズで示したが、実際はさらに多数のレンズから構
成されている。２は主ミラーで、ファインダー系による
被写体像の観察状態と被写体像の撮影状態に応じて撮影
光路へ斜設されあるいは退去される。３はサブミラー
で、主ミラー２を透過した光束をカメラボディの下方の
後述する焦点検出装置６へ向けて反射する。

【００４０】４はシャッター、５は感光部材で、銀塩フ
ィルムあるいはＣＣＤやＭＯＳ型等の固体撮像素子ある
いはビディコン等の撮像管より成っている。

【００４１】６は焦点検出装置であり、結像面近傍に配
置されたフィールドレンズ６ａ，反射ミラー６ｂ及び６
ｃ，２次結像レンズ６ｄ，絞り６ｅ，複数のＣＣＤから
なるラインセンサ−６ｆ等から構成されている。

【００４２】本実施例における焦点検出装置６は周知の
位相差方式を用いている。７は撮影レンズ１の予定結像
面に配置されたピント板、８はファインダー光路変更用
のペンタダハプリズム、９，１０は各々観察画面内の被
写体輝度を測定するための結像レンズと測光センサーで
ある。結像レンズ９はペンタダハプリズム８内の反射光
路を介してピント板７と測光センサー１０を共役に関係
付けている。

【００４３】次にペンタダハプリズム８の射出面後方に
は光分割器１１ａを備えた接眼レンズ１１が配され、撮
影者眼１５によるピント板７の観察に使用される。光分
割器１１ａは、例えば可視光を透過し赤外光を反射する
ダイクロイックミラーより成っている。

【００４４】１２は受光レンズ、１４はＣＣＤ等の光電
素子列を２次元的に配したイメージセンサーで受光レン
ズ１２に関して所定の位置にある撮影者眼１５の瞳孔近
傍と共役になるように配置されている。１３ａ〜１３ｆ
は各々照明光源であるところの赤外発光ダイオードであ
る。

【００４５】２１は明るい被写体の中でも視認できる高
輝度のスーパーインポーズ用ＬＥＤで、発光された光は
投光用プリズム２２を介し、主ミラー２で反射してピン
ト板７の表示部に設けた微小プリズムアレー７ａで垂直
方向に曲げられ、ペンタプリズム８、接眼レンズ１１を
通って撮影者眼１５に達する。

【００４６】そこでピント板７の焦点検出領域に対応す
る複数の位置（測距点）にこの微小プリズムアレー７ａ
を枠状に形成し、これを各々に対応した５つのスーパー
インポーズ用ＬＥＤ２１（各々をＬＥＤ−Ｌ１，ＬＥＤ
−Ｌ２，ＬＥＤ−Ｃ，ＬＥＤ−Ｒ１，ＬＥＤ−Ｒ２とす
る）によって照明する。

【００４７】２３はファインダー視野領域を形成する視
野マスク。２４はファインダー視野外に撮影情報を表示
するためのファインダー内ＬＣＤで、照明用ＬＥＤ（Ｆ
−ＬＥＤ）２５によって照明されている。

【００４８】ＬＣＤ２４を透過した光は三角プリズム２
６によってファインダー視野内に導かれ、そしてファイ
ンダー視野外に表示され、撮影者は撮影情報を知ること
ができる。

【００４９】３１は撮影レンズ１内に設けた絞り、３２
は後述する絞り駆動回路１１１を含む絞り駆動装置、３
３はレンズ駆動用モーター、３４は駆動ギヤ等からなる
レンズ駆動部材、３５はフォトカプラーでレンズ駆動部
材３４に連動するパルス板３６の回転を検知してレンズ
焦点調節回路１１０に伝えている。焦点調節回路１１０
は、この情報とカメラ側からのレンズ駆動量を情報に基
ずいてレンズ駆動用モーターを所定量駆動させ、撮影レ
ンズ１を合焦位置に移動させるようになっている。３７
は公知のカメラとレンズとのインターフェイスとなるマ
ウント接点である。

【００５０】図２は本実施例のカメラに内蔵された電気
回路図の説明図で、図１と同一のものは同一番号を付し
ている。

【００５１】カメラ本体に内蔵されたマイクロコンピュ
ータの中央処理装置（以下ＣＰＵ）１００には視線検出
回路１０１、測光回路１０２、自動焦点検出回路１０
３、信号入力回路１０４、ＬＣＤ駆動回路１０５、ＬＥ
Ｄ駆動回路１０６、ＩＲＥＤ駆動回路１０７、シャッタ
ー制御回路１０８、モーター制御回路１０９が接続され
ている。又、撮影レンズ内に配置された焦点調節回路１
１０、絞り駆動回路１１１とは図１で示したマウント接
点３７を介して信号の伝達がなされる。

【００５２】ＣＰＵ１００に付随したＥＥＰＲＯＭ１０
０ａは記憶手段としての視線の個人差を補正する視線補
正データの記憶機能を有している。

【００５３】視線検出回路１０１は、イメージセンサ−
１４（ＣＣＤ−ＥＹＥ）からの眼球像の出力をＡ／Ｄ変
換し、この像情報をＣＰＵ１００に送信する。ＣＰＵ１
００は後述するように視線検出に必要な眼球像の各特徴
点を所定のアルゴリズムに従って抽出し、さらに各特徴
点の位置から撮影者の視線を算出する。

【００５４】測光回路１０２は測光センサー１０からの
出力を増幅後、対数圧縮、Ａ／Ｄ変換し、各センサーの
輝度情報としてＣＰＵ１００に送られる。本実施例での
測光センサー１０は４つの領域を測光するＳＰＣ−Ｌ，
ＳＰＣ−Ｃ，ＳＰＣ−Ｒ，ＳＰＣ−Ａからなるフォトダ
イオードから構成されている。

【００５５】図２のラインセンサー６ｆは画面内の５つ
の測距点に対応した５組のラインセンサーＣＣＤ−Ｌ
２，ＣＣＤ−Ｌ１，ＣＣＤ−Ｃ，ＣＣＤ−Ｒ１，ＣＣＤ
−Ｒ２から構成される公知のＣＣＤラインセンサーであ
る。

【００５６】自動焦点検出回路１０３は、これらライン
センサー６ｆから得た電圧をＡ／Ｄ変換し、ＣＰＵ１０
０に送る。ＳＷ−１はレリーズ釦４１の第一ストローク
でＯＮし、測光、ＡＦ、視線検出動作等を開始するスイ
ッチ、ＳＷ−２はレリーズ釦４１の第二ストロークでＯ
Ｎするレリーズスイッチ、ＳＷ−ＡＥＬはＡＥロック釦
４３を押すことによってＯＮするＡＥロックスイッチ、
ＳＷ−ＤＩＡＬ１とＳＷ−ＤＩＡＬ２は、不図示の電子
ダイヤル内に設けたダイヤルスイッチで信号入力回路１
０４のアップダウンカウンターに入力され、電子ダイヤ
ルの回転クリック量をカウントする。

【００５７】１０５は液晶表示素子ＬＣＤを表示駆動さ
せるための公知のＬＣＤ駆動回路で、ＣＰＵ１００から
の信号に従い絞り値、シャッター秒時、設定した撮影モ
ード等の表示をモニター用ＬＣＤ４２とファインダー内
ＬＣＤ２４の両方に同時に表示させることができる。Ｌ
ＥＤ駆動回路１０６は照明用ＬＥＤ（Ｆ−ＬＥＤ）２５
とスーパーインポーズ用ＬＥＤ２１を点灯、点滅制御す
る。ＩＲＥＤ駆動回路１０７は赤外発光ダイオード（Ｉ
ＲＥＤ１〜６）１３ａ〜１３ｆを状況に応じて選択的に
点灯させる。

【００５８】シャッター制御回路１０８は通電すると先
幕を走行させるマグネットＭＧ−１と、後幕を走行させ
るマグネットＭＧ−２を制御し、感光部材に所定光量を
露光させる。モーター制御回路１０９はフィルムの巻き
上げ、巻戻しを行なうモーターＭ１と主ミラー２及びシ
ャッター４のチャージを行なうモーターＭ２を制御する
ためのものである。これらシャッター制御回路１０８、
モーター制御回路１０９によって一連のカメラのレリー
ズシーケンスが動作する。

【００５９】次に、視線検出装置を有したカメラの動作
のフローチャートを図３に示し、これらをもとに以下説
明する。

【００６０】不図示のモードダイヤルを回転させてカメ
ラを不作動状態から所定の撮影モードに設定するとカメ
ラの電源がＯＮされ（＃１００）、ＣＰＵ１００の視線
検出に使われる変数がリセットされる（＃１０１）。

【００６１】そしてカメラはレリーズ釦４１が押し込ま
れてスイッチＳＷ１がＯＮされるまで待機する（＃１０
２）。レリーズ釦４１が押し込まれスイッチＳＷ１がＯ
Ｎされたことを信号入力回路１０４が検知すると、ＣＰ
Ｕ１００は視線検出回路１０１に確認する（＃１０
３）。

【００６２】この時、視線禁止モードに設定されていた
ら、視線検出は実行せずにすなわち視線情報を用いずに
測距点自動選択サブルーチン（＃１１６）によって特定
の測距点を選択する。この測距点において自動焦点検出
回路１０３は焦点検出動作を行なう。（＃１０７）。

【００６３】このように視線情報を用いずに測距点選択
を行う撮影モード（視線禁止自動焦点撮影モード）と視
線情報を用いて測距点選択を行う撮影モード（視線自動
焦点撮影モード）の両方を備え、視線禁止モードに設定
するかどうかで撮影者が任意に選択できるようになって
いる。

【００６４】尚、測距点自動選択のアルゴリズムとして
はいくつかの方法が考えられるが、中央測距点に重み付
けを置いた近点優先アルゴリズムが有効であり、ここで
は本発明に直接関係がないので説明は省略する。

【００６５】視線検出モードに設定されている場合には
視線検出を実行する（＃１０４）。ここで視線検出回路
１０１において検出された視線はピント板７上の注視点
座標に変換される。ＣＰＵ１００は該注視点座標に近接
した測距点を選択し、ＬＥＤ駆動回路１０６に信号を送
信してスーパーインポーズ用ＬＥＤ２１を用いて対応す
る測距点マークを点滅表示させる（＃１０５）。

【００６６】撮影者が該撮影者の視線によって選択され
た測距点が表示されたのを見て、その測距点が正しくな
いと認識してレリーズ釦４１から手を離しスイッチＳＷ
１をＯＦＦすると（＃１０６）、カメラはスイッチＳＷ
１がＯＮされるまで待機する（＃１０２）。

【００６７】このように視線情報によって測距点が選択
されたことをファインダー視野内の測距点マークを点滅
表示させて撮影者に知らせるようになっているので撮影
者は意志どうりに選択されたかどうか確認することがで
きる。

【００６８】又、撮影者が視線によって選択された測距
点が表示されたのを見て、引続きスイッチＳＷ１をＯＮ
し続けたならば（＃１０６）、自動焦点検出回路１０３
は検出された視線情報を用いて１つ以上の測距点の焦点
検出を実行する（＃１０７）。

【００６９】ここで選択された測距点が測距不能である
かを判定し（＃１０８）、不能であればＣＰＵ１００は
ＬＣＤ駆動回路１０５に信号を送ってファインダー内Ｌ
ＣＤ２４の合焦マークを点滅させ、測距がＮＧ（不能）
であることを撮影者に警告し（＃１１８）、ＳＷ１が離
されるまで続ける（＃１１９）。

【００７０】測距が可能であり、所定のアルゴリズムで
選択された測距点の焦点調節状態が合焦でなければ（＃
１０９）、ＣＰＵ１００はレンズ焦点調節回路１１０に
信号を送って所定量撮影レンズ１を駆動させる（＃１１
７）。レンズ駆動後自動焦点検出回路１０３は再度焦点
検出を行ない（＃１０７）、撮影レンズ１が合焦してい
るか否かの判定を行なう（＃１０９）。

【００７１】所定の測距点において撮影レンズ１が合焦
していたならば、ＣＰＵ１００はＬＣＤ駆動回路１０５
に信号を送ってファインダー内ＬＣＤ２４の合焦マーク
を点灯させるとともに、ＬＥＤ駆動回路１０６にも信号
を送って合焦している測距点２０１に合焦表示させる
（＃１１０）。

【００７２】この時、前記視線によって選択された測距
点の点滅表示は消灯するが合焦表示される測距点と前記
視線によって選択された測距点とは一致する場合が多い
ので、合焦したことを撮影者に認識させるために合焦測
距点は点灯状態に設定される。合焦した測距点がファイ
ンダー内に表示されたのを撮影者が見て、その測距点が
正しくないと認識してレリーズ釦４１から手を離しスイ
ッチＳＷ１をＯＦＦすると（＃１１１）、引続きカメラ
はスイッチＳＷ１がＯＮされるまで待機する（＃１０
２）。

【００７３】又、撮影者が合焦表示された測距点を見
て、引続きスイッチＳＷ１をＯＮし続けたならば（＃１
１１）、ＣＰＵ１００は測光回路１０２に信号を送信し
て測光を行なわせる（＃１１２）。

【００７４】更にレリーズ釦４１が押し込まれてスイッ
チＳＷ２がＯＮされているかどうかの判定を行ない（＃
１１３）、スイッチＳＷ２がＯＦＦ状態であれば再びス
イッチＳＷ１の状態の確認を行なう（＃１１１）。又、
スイッチＳＷ２がＯＮされたならばＣＰＵ１００はシャ
ッター制御回路１０８、モーター制御回路１０９、絞り
駆動回路１１１にそれぞれ信号を送信する。

【００７５】まずＭ２に通電し主ミラー２をアップさ
せ、絞り３１を絞り込んだ後、ＭＧ１に通電しシャッタ
ー４の先幕を開放する。絞り３１の絞り値及びシャッタ
ー４のシャッタースピードは、前記測光回路１０２にて
検知された露出値とフィルム５の感度から決定される。
所定のシャッター秒時（例えば１／２５０秒）経過後Ｍ
Ｇ２に通電し、シャッター４の後幕を閉じる。フィルム
５への露光が終了すると、Ｍ２に再度通電し、ミラーダ
ウン、シャッターチャージを行なうとともにＭ１にも通
電し、フィルムのコマ送りを行ない、一連のシャッター
レリーズシーケンスの動作が終了する（＃１１４）。そ
の後、カメラは再びスイッチＳＷ１がＯＮされるまで待
機する（＃１０２）。

【００７６】図４〜９は上記した視線検出のフローチャ
ートである。

【００７７】前述のように視線検出回路１０１はＣＰＵ
１００より信号を受け取ると視線検出を実行する（図３
の＃１０４）。

【００７８】先づＣＰＵ１００は撮影者の眼を照明する
ための赤外発光ダイオード（ＩＲＥＤ）１３ａ〜１３ｆ
の内から適切な組み合わせのＩＲＥＤを選んで点灯する
（＃２０１）。ＩＲＥＤの選択は不図示の姿勢スイッチ
によりカメラが横位置か縦位置か、あるいは撮影者が眼
鏡をかけているか否かによってなされる。

【００７９】次にイメージセンサー１４を所定の蓄積時
間で電荷蓄積を行う（＃２０２）。蓄積が終了するとそ
れとともにＩＲＥＤも消灯される（＃２０３）。

【００８０】ＣＰＵ１００は蓄積の終了したイメージセ
ンサー１４から撮影者の眼球像を読み出すと同時に、逐
次的にＰ像や瞳孔部の特徴抽出の処理を行う（＃２０
４）。具体的な方法は前述した本出願人による出願（特
願平３−１２１０９７号）に詳述されているのでここで
の詳細な説明は省略する。

【００８１】さて、眼球像全体の読み出しが終わり、Ｐ
像、瞳孔の特徴抽出が完了した後は、それらの情報に基
づいて一組のＰ像位置を検出する（＃２０５）。先にも
述べたようにＰ像は眼球照明用ＩＲＥＤの角膜反射像で
あるから、図１０（ａ）の５２ａ，５２ｂのように像信
号中には光強度の強い輝点として現われるため、その特
徴をもって１組のＰ像を検出し、その位置（ｘｄ’，ｙ
ｄ’），（ｘｅ’，ｙｅ’）を求めることが出来る。

【００８２】次に、＃２０４の逐次処理過程で抽出した
瞳孔エッジの座標情報から、瞳孔円の中心（ｘｃ’，ｙ
ｃ’）および半径ｒｅの検出を行う（＃２０６）。この
サブルーチンについては、後で詳述する。

【００８３】撮影者の眼球像からＰ像位置と瞳孔位置を
検出することができれば、＃２０７にて撮影者の視線方
向あるいはファインダー上での座標を式（５）から算出
することが出来、視線検出サブルーチンをリターンする
（＃２０８）。

【００８４】図５に瞳孔中心、瞳孔径の検出サブルーチ
ンのフローを示す。同サブルーチンがコールされると、
＃３００をへて＃３０１にて、抽出された総ての瞳孔エ
ッジデータを用いた円の最小２乗法推定を行う。その基
本の計算式は上述した本出願人による出願（特願平３−
１２１０９７号）に示されているが、ここに再び説明し
ておく。

【００８５】ｎ個の瞳孔エッジの座標を各々（ｘ₁ ，ｙ
₁ ），（ｘ₂ ，ｙ₂ ），…，（ｘ_n，ｙ_n ）とすると、
これらのデータに基づく最小２乗法を用いた推定円の中
心座標（ｘｃ，ｙｃ）、半径ｒｃ、推定誤差量ＥＲは ｘｃ＝（Ｗ１・Ｖ２−Ｗ２・Ｗ４−（Ｗ６−Ｙ１・Ｚ１）・Ｗ３）／２・（Ｘ２ ・Ｖ２−Ｗ５−Ｗ６・Ｘ１／ｎ） …（１０） ｙｃ＝（Ｗ２・Ｖ１−Ｗ１・Ｗ４−（Ｗ７−Ｘ１・Ｚ１）・Ｗ３）／２・（Ｙ２ ・Ｖ１−Ｗ５−Ｗ７・Ｙ１／ｎ） …（１１） ｒｃ＝√（Ｗ３−２・（（ｘｃ・Ｘ１＋ｙｃ・Ｙ１）／ｎ）＋ｘｃ² ＋ｙｃ² ） …（１２） ＥＲＸ＝Ｘ４−４・ｘｃ・Ｘ３＋２（２・ｘｃ² ＋ｄ）・Ｘ２ −４・ｘｃ・ｄ・Ｘ１＋Ｙ４−４・ｙｃ・Ｙ３ ＋２（２・ｙｃ² ＋ｄ）・Ｙ２−４・ｙｃ・ｄ・Ｙ１ ＋２（Ｚ４−２・ｘｃ・Ｚ３−２・ｙｃ・Ｚ２ ＋４・ｘｃ・ｙｃ・Ｚ１）＋ｄ² ・ｎ …（１３） ＥＲ＝√（ＥＲＸ／ｎ） …（１４） 但し、 Ｘ１＝Σｘｉ，Ｘ２＝Σｘｉ² ，Ｘ３＝Σｘｉ³ ，Ｘ４＝Σｘｉ⁴ …（１５）〜（１８） Ｙ１＝Σｙｉ，Ｙ２＝Σｙｉ² ，Ｙ３＝Σｙｉ³ ，Ｙ４＝Σｙｉ⁴ …（１９）〜（２２） Ｚ１＝Σｘｉ・ｙｉ，Ｚ２＝Σｘｉ² ・ｙｉ² …（２３），（２４） Ｚ３＝Σｘｉ・ｙｉ² ，Ｚ４＝ｘｉ² ・ｙｉ² …（２５），（２６） さらに、 Ｖ１＝Ｘ２−Ｘ１² ／ｎ …（２７） Ｖ２＝Ｙ２−Ｙ１² ／ｎ …（２８） Ｗ１＝Ｘ３＋Ｙ３ …（２９） Ｗ２＝Ｙ３＋Ｚ３ …（３０） Ｗ３＝（Ｘ２＋Ｙ２）／ｎ …（３１） Ｗ４＝Ｚ１−Ｘ１・Ｙ１／ｎ …（３２） Ｗ５＝（Ｚ１−２・Ｘ１・Ｙ１／ｎ）・Ｚ１ …（３３） Ｗ６＝Ｘ１・Ｙ２ …（３４） Ｗ７＝Ｘ２・Ｙ１ …（３５） ｄ＝ｘｃ² ＋ｙｃ² −ｒｃ² …（３６） 以上の数値計算を行えば、円の中心（ｘｃ，ｙｃ）、半
径ｒｃと最小２乗推定誤差量ＥＲを求めることができ
る。

【００８６】ここで推定誤差量ＥＲであるが、数式上は
これで良いのだが、実際には瞳孔径ｒｃによる補正を行
っている。誤差量ＥＲは総てのエッジデータがある円周
上に正確に位置している場合はゼロであり、円周上から
はずれたエッジの数が増す程、また円周上からの距離が
大きくなる程誤差量は大きくなる。ところが、同じエッ
ジ数で同程度に真の円から離れたエッジ数が同程度に存
在するような場合でも、一般に瞳孔径が大きくなると誤
差量ＥＲも大きくなる傾向がある。

【００８７】これを校正するために次式のように瞳孔径
ｒｃを用いて誤差量ＥＲを補正している。

【００８８】 ＥＲ＝ＥＲ・（ａ・ｒｃ＋ｂ） …（３７） ここで、例えばａは−０．０５、ｂは１．５程度の値を
持たせると、イメージセンサー上での瞳孔径が１０画素
のとき補正係数ａ・ｒｃ＋ｂはちょうど１となり、ＥＲ
には補正がかからない。撮影者の眼がカメラに近づく
か、または瞳孔が開いたりして瞳孔径ｒｃが大きくな
り、例えばｒｃ＝２０になると、補正係数ａ・ｒｃ＋ｂ
は０．５となり、誤差量ＥＲは半分の量に補正がかかる
ことになる。逆に瞳孔径が小さくなれば誤差量を大きく
する補正がかかることになる。もちろん、前記ａ，ｂの
値では、瞳孔径ｒｃが３０画素になると補正係数ａ・ｒ
ｃ＋ｂは０となってしまうが、ｒｃが２０画素以上のと
きは、係数は０．５というように決めても良い。

【００８９】図７（ａ）に円の最小２乗推定サブルーチ
ンのフローを示す。

【００９０】同サブルーチンがコールされると、ステッ
プ＃４００を経て＃４０１にて、最小２乗法の演算途中
変数Ｘ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を各々式（１
５）〜（１８）、式（１９〜２２）、式（２３）〜（２
６）に従って算出する。次に推定円の計算を行い（＃４
０２）、リターンする（＃４０３）。

【００９１】図７（ｂ）は推定円の計算のサブルーチン
フローである。ステップ＃５００を経てステップ＃５０
１では先づ演算途中変数Ｖ１〜Ｗ７を式（２７）〜（３
５）に従って計算し、次にそれらの変数を用いて推定円
の中心座標ｘｃ，ｙｃをそれぞれ式（１０），（１１）
で計算する。推定円の半径ｒｃは既に算出された中心ｘ
ｃ，ｙｃの値も用いて式（１２）に従って計算する。

【００９２】次に、式（３６）と（１３），（１４）に
従って推定誤差量ＥＲを求め（＃５０２）、さらに式
（３７）に従って、瞳孔径ｒｃによる誤差量ＥＲの補正
を行う（＃５０３）。

【００９３】このようにして、推定円の中心（ｘｃ，ｙ
ｃ）、半径ｒｃ、推定誤差量ＥＲが求まり、サブルーチ
ンをリターンする（＃５０４）。

【００９４】以上のようにして、ステップ＃３０１にお
いて、抽出した総ての瞳孔エッジデータに基づく瞳孔円
の推定を行って、瞳孔円の中心座標（ｘｃ，ｙｃ）、半
径ｒｃ、推定誤差量ＥＲが求まると、このＥＲを誤差量
閾値ＥＲＴＨＲと比較する（＃３０２）。

【００９５】瞳孔円の推定が充分な精度で実行されると
きの推定誤差量ＥＲは通常１０以下であるので、閾値Ｅ
ＲＴＨＲは例えば１５〜２０程度に設定しておく。

【００９６】ＥＲ＜ＥＲＴＨＲ、即ち推定誤差が小さい
場合には、瞳孔の検出は成功したものと見るとして（＃
３０３）、本サブルーチンをリターンする（＃３０
４）。

【００９７】ＥＲ≧ＥＲＴＨＲ、即ち推定誤差が大きい
場合には、偽りのエッジデータにより推定を失敗したと
し、以降の処理にて偽りのエッジの排除にとりかかる。

【００９８】先ずステップ＃３０５では、抽出された総
ての瞳孔エッジデータの内、瞳孔円の下辺として抽出さ
れたエッジデータを除いた残り、つまり上辺、右辺、左
辺のエッジデータに基づいて最小２乗法を用いて瞳孔円
の推定を行ってみる。ここでの演算は、エッジ数が少な
いことを除けば、上述した数値計算と同様である。結果
として得られた瞳孔円の中心座標径、推定誤差は記憶し
ておく。

【００９９】同様にステップ＃３０６では上辺エッジを
除いた場合、ステップ＃３０７では右辺エッジを除いた
場合、ステップ＃３０８では左辺エッジを除いた場合の
瞳孔円の推定を行い、結果をそれぞれ記憶する。

【０１００】図８（ａ）は下辺エッジを除いた円の最小
２乗推定のサブルーチンのフローである。

【０１０１】先ずステップ＃６０１にて、瞳孔円の下辺
の瞳孔エッジとして抽出されたエッジデータだけで式
（１５）〜（１８），（１９）〜（２２），（２３）〜
（２６）に従ってＸ１’〜Ｘ４’，Ｙ１’〜Ｙ４’，Ｚ
１’〜Ｚ４’を計算する。

【０１０２】次に総てのエッジデータで計算された途中
変数Ｘ１〜Ｘ４を次式のように補正する。

【０１０３】 Ｘ１←Ｘ１−Ｘ１’ …（３８） Ｘ２←Ｘ２−Ｘ２’ …（３９） Ｘ３←Ｘ３−Ｘ３’ …（４０） Ｘ４←Ｘ４−Ｘ４’ …（４１） 変数Ｘ１〜Ｘ４は式（１５）〜（１８）から明らかなよ
うに線型な演算式であるから、上の式（３８）〜（４
１）を計算すると、その結果Ｘ１〜Ｘ４は、下辺エッジ
を除いたエッジによる変数となる。改めてＸ１〜Ｘ４を
計算するのではなく、上記のように計算するのは演算短
縮が目的である。

【０１０４】途中変数Ｙ１〜Ｙ４，Ｚ１ーＺ４も同様に
補正する（＃６０２）。この後に推定円の計算を行えば
（＃６０３）、その結果は下辺エッジを除いたエッジに
よる推定結果となる。

【０１０５】上辺エッジを除いた瞳孔円の推定、左辺エ
ッジを除いた瞳孔円の推定、右辺エッジを除いた瞳孔円
の推定も対象となる辺が違うことを除けば下辺の場合と
全く同様であるのでフローチャートおよび説明は省略す
る。

【０１０６】図５に戻って、下辺、上辺、右辺、左辺の
エッジデータを除いた瞳孔円の推定が完了すると、ステ
ップ＃３０９ではその結果の内から最も良好な結果を探
す。このとき、上辺、下辺のエッジデータよりは左辺、
右辺のエッジデータを優先するような選択を行う。

【０１０７】何故ならば瞳孔エッジの抽出処理は水平方
向の時系列信号処理であるから、どうしても左辺、右辺
のエッジデータの方が信頼性が高いからである。

【０１０８】具体的には、ステップ＃３０５，３０６で
得られた推定誤差量ＥＲを実際よりも小さくなるように
重みを付して、４つのＥＲの内もっとも小さいＥＲの結
果を選択する。

【０１０９】ここでは下辺エッジを除いた結果が最も良
好であるとして説明を続ける。

【０１１０】次のステップ＃３１０では円の最小２乗推
定の再計算１を行う。

【０１１１】概略を述べると、先に選択された演算結果
に対して、除かれている辺のエッジデータを１つずつ加
えてみては推定誤差量の変化を調べ、誤差量が所定の割
り合いよりも増加しなければ、加えたエッジデータは正
しい瞳孔エッジであるものと見なしてそのまま加えてお
き、そうでない場合は偽のエッジデータを加えてしまっ
たものと見なしてそのデータは取り除く。最初から除か
れている辺のエッジデータ総てに対して以上の試行錯誤
的操作をくり返してゆく。

【０１１２】図８（ｂ）に円の最小２乗推定再計算１の
フローを示す。

【０１１３】いま下辺エッジが除かれている推定結果が
選択されたものとしているのでステップ＃７０１からス
テップ＃８００へ移行する。

【０１１４】次のステップ＃８０１にて、下辺エッジ群
のうちの１つのデータ（ｘ座標、ｙ座標）を（ｘｋ，ｙ
ｋ）とすると次式によって最小２乗法途中変数Ｘ１〜Ｘ
４の補正を行う。

【０１１５】 Ｘ１←Ｘ１＋ｘｋ …（４２） Ｘ２←Ｘ２＋ｘｋ² …（４３） Ｘ３←Ｘ３＋ｘｋ³ …（４４） Ｘ４←Ｘ４＋ｘｋ⁴ …（４５） 変数Ｙ１〜Ｙ４，Ｚ１〜Ｚ４についても同様に計算する
（＃８０１）、要するに最小２乗法の演算のデータが１
つ増したのと同じである。

【０１１６】そして、補正された途中変数を用いて再び
推定円の計算を行う（＃８０２）。次に、新たな推定誤
差量ＥＲと、データを１つ追加する前の誤差量ＥＲ₀ の
比を求め、ＥＲの変化率とし、その増加率が小、即ち （ＥＲ／ＥＲ₀ ）＜Ｃａ …（４６） ならば、追加したエッジは真のエッジと見なす。Ｃａは
例えば１．１程度である。

【０１１７】増加率が大きいときには、加えたエッジは
偽りのエッジであると見なして、途中変数Ｘ１〜Ｘ４，
Ｙ１ーＹ４，Ｚ１〜Ｚ４と推定円の結果をこのデータを
１つ追加する前の値に戻す。

【０１１８】１つのエッジに対しての試行が終わると次
のエッジを試してみる。当初除かれていたエッジデータ
総てについての試行が終了すると（＃８０５）、一律に
除かれていた下辺エッジデータのうち正しいエッジは推
定演算に有効に使用されたとして、このサブルーチンを
リターンする（＃８０６）。

【０１１９】以上は、下辺エッジを対象とする再計算１
について説明してきたが、上辺、左辺、右辺についても
全く同様であるので、それらのフローチャートと説明は
省略する。

【０１２０】円の最小２乗推定の再計算１によって正し
い瞳孔エッジデータの回収が終了すると、その最終結果
の推定誤差量ＥＲと誤差閾値ＥＲＴＨＲを再び比較し
（＃３１１）、ＥＲ＜ＥＲＴＨＲならば瞳孔検出は成功
したとし（＃３０３）、サブルーチンをリターンする
（＃３０４）。

【０１２１】なおも推定誤差量が大きい場合には、今度
はいま現在使用している瞳孔エッジにまだ偽りのエッジ
データが含まれているものと考え、その排除に努める処
理を実行してゆく。

【０１２２】いま下辺エッジを除いた、即ち（上辺、左
辺、右辺）の組み合わせが選択されたものとしているか
ら、ステップ＃３１２，ステップ＃３１５を経てステッ
プ＃３１６にて上辺エッジに関する円の最小２乗推定再
計算２Ｂを実行する。このサブルーチンは前記目的のよ
うに、いま現時点で使用している上辺の瞳孔エッジデー
タのうち偽りのデータを取り除こうとする処理である。

【０１２３】図９に下辺に関する円の最小２乗推定の再
計算２Ａのフローチャートを示す。記号２Ａ，２Ｂ，２
Ｃ，２Ｄはそれぞれは下辺，上辺，右辺，左辺に対応し
ている。

【０１２４】ここでは再計算２Ａの下辺に関するサブル
ーチンについてのみ説明するが、他の場合も同様であ
る。

【０１２５】さて、同サブルーチンがコールされると、
下辺エッジとして抽出されたエッジデータ群のうちの１
つを除くように途中変数Ｘ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１
〜Ｚ４を補正する（＃９０１）。除こうとするエッジの
座標を（ｘｋ，ｙｋ）とすると、Ｘ１〜Ｘ４は次式のよ
うに補正する。

【０１２６】 Ｘ１←Ｘ１−ｘｋ …（４７） Ｘ２←Ｘ２−ｘｋ² …（４８） Ｘ３←Ｘ３−ｘｋ³ …（４９） Ｘ４←Ｘ４−ｘｋ⁴ …（５０） Ｙ１〜Ｙ４，Ｚ１〜Ｚ４についても同様である。

【０１２７】途中変数の補正が済むと、次のステップ＃
９０２で推定円の計算を実行する。その結果得られた推
定円の中心座標、径、推定誤差量は、さきにエッジデー
タ１つ取り除いた残りのエッジデータに基づくものとな
る。

【０１２８】次に先述の式（４６）にて推定誤差量の変
化率を計算し（＃９０３）、その減少率が所定よりも大
きければ先程取り除かれたエッジは偽りのエッジデータ
であったとしてそのままにし、減少率に変化があまりな
ければ、正しいエッジデータを取り除いた結果であると
し、ステップ＃９０４で途中変数Ｘ１〜Ｘ４，Ｙ１〜Ｙ
４，Ｚ１〜Ｚ４および推定円の結果を元に戻す。

【０１２９】再計算１の場合と同様に、該当する総ての
エッジデータに対する試行が終了すると（＃９０５）、
本サブルーチンをリターンする（＃９０６）。

【０１３０】図５に戻って、＃３１６での上辺エッジに
関する再計算２が終了すると、その結果である推定誤差
量ＥＲと誤差閾値ＥＲＴＨＲ比較し（＃３１７）、誤差
量が小さくなっていれば瞳孔検出は成功したものとして
（＃３０３）、このサブルーチンをリターンする（＃３
０４）。

【０１３１】未だ推定誤差量が大きい場合には、分岐Ｔ
１を経由して図６のフローへ移行し、右辺、左辺に関し
て同様の処理を行う。途中過程で推定誤差量ＥＲが小さ
くなれば分岐Ｔ２を経由し図５のフロー中のステップ＃
３０３にて瞳孔検出成功として、サブルーチンをリター
ンする（＃３０４）。

【０１３２】以上の処理を実行しても、未だ推定誤差量
ＥＲが大きい場合は瞳孔検出を失敗とし（＃３２４）、
サブルーチンをリターンする（＃３２５）。

【０１３３】図１３を用いて、上述処理を説明すると、
この眼球像（図１３（ａ））の例では、まぶたの影響で
瞳孔円下辺のエッジ抽出を誤っている。従って、抽出し
た総てのエッジデータを用いて瞳孔円を算出すると、図
１３（ｂ）の７５の如く、誤った瞳孔円となってしま
う。

【０１３４】そこで、本発明での手法に従って、図１３
（ｃ）のように囲い７２内の下辺エッジを取り除いたデ
ータで円を推定してやれば、７５’のように正しい瞳孔
円を検出することができる。

【０１３５】図１３はまぶたによる撮影の例であった
が、図１４ではまつ毛による影響を説明する。

【０１３６】図１４（ａ）の５３はまつ毛を表わしてお
り、このため瞳孔下辺として抽出されたエッジ中に偽り
の瞳孔エッジが含まれている。

【０１３７】同図（ｂ）の７５は抽出したエッジを全部
用いて推定した円を表わしており、誤った推定となって
いる。

【０１３８】これを本発明での手法に従って、同図
（ｃ）のように下辺エッジも正しいエッジ（囲い７２
ｂ）と偽りのエッジ（囲い７２ａ）に選択的に分別すれ
ば、正しいエッジデータのみに基づいて、正しい推定円
７５’を求めることができる。

【０１３９】先の実施例では、瞳孔径を用いて推定誤差
量を補正する際、一次式を用いたが、これは一次式に限
定されるものではなく、もっと高次の補正式を用いても
良い。

【０１４０】また、本実施例では最小２乗法を用いて円
を推定するようにしているため、円の半径あるいは直径
を補正に用いているが、例えば瞳孔をだ円と仮定して推
定するようにしたならば、長径と短径のいずれか一方、
あるいは両者の平均値を補正に用いても良い。

【０１４１】

【発明の効果】以上に説明したように、本発明は、イメ
ージセンサーにより眼球画像を受光し、前記眼球画像か
ら得られる角膜反射像と瞳孔の形状に基づいて視線を検
出する視線検出装置および視線検出方法において、瞳孔
の形状を推定する際に障害となる瞼や、まつげ等による
偽りの境界位置情報を効果的に排除することが可能とな
り、視線検出の精度を極めて向上させることができる。

【図面の簡単な説明】

【図１】本発明を有効に実施することができるカメラの
要部概略図。

【図２】図１のカメラの電気回路図。

【図３】図２の動作を示すフローチャート。

【図４】視線検出動作のフローチャート。

【図５】図４の瞳孔中心、瞳孔径の検出のフローチャー
ト。

【図６】図５のＴ₁ 以降のフローチャート。

【図７】図５の円の最小２乗推定動作のフローチャー
ト。

【図８】（ａ）は下辺エッジを除いた円の最小２乗推
定、（ｂ）は円の最小２乗推定再計算１のフローチャー
ト。

【図９】円の最小２乗推定再計算２Ａのフローチャー
ト。

【図１０】観察者の眼球像の例。

【図１１】視線検出方法の原理説明図。

【図１２】通常の瞳孔円検出のの説明図。

【図１３】まぶたの影響を受けた場合の瞳孔円検出の説
明図。

【図１４】まつ毛の影響を受けた場合の瞳孔円検出の説
明図。

【符号の説明】

１…撮影レンズ ２…主ミラー ６…焦点検出装置 ６ｆ…イメージセ
ンサー ７…ピント板 １０…測光センサ
ー １１…接眼レンズ １３…赤外発光ダ
イオード（ＩＲＥＤ） １４…イメージセンサー（ＣＣＤ−ＥＹＥ） １５…眼球 １６…角膜 １７…虹彩 ２１…スーパーイ
ンポーズ用ＬＥＤ ２４…ファインダー内ＬＣＤ ２５…照明用ＬＥ
Ｄ ３１…絞り ５０…眼球の白眼
部分 ５１…眼球の瞳孔部分 ５２ａ，ｂ…Ｐ像 ５３…まつ毛 １００…ＣＰＵ １０１…視線検出回路 １０３…焦点検出
回路 １０４…信号入力回路 １０５…ＬＣＤ駆
動回路 １０６…ＬＥＤ駆動回路 １０７…ＩＲＥＤ
駆動回路 １１０…焦点調節回路 ２００〜２０４…
測距点マーク

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) A61B 3/113 G02B 7/28 G03B 13/02

Claims (13)

(57)【特許請求の範囲】
1. 【請求項１】 イメージセンサーにより眼球画像を受光
   し、前記眼球画像から得られる角膜反射像と瞳孔の形状
   に基づいて視線を検出する視線検出装置において、 眼球の瞳孔と虹彩との境界位置情報を複数箇所検出する
   検出手段と、 前記検出手段の検出した複数の境界位置情報を複数のグ
   ループに分けるグループ化手段と、 前記複数のグループから境界位置情報を用いて前記瞳孔
   の形状を推定したときに誤差量が最も小さくなるグルー
   プの組合せを選択する選択手段と、 前記選択手段の選択した前記グループに含まれる複数の
   境界位置情報だけを用いて前記瞳孔の形状を推定する演
   算手段を有することを特徴とする視線検出装置。
2. 【請求項２】 前記グループ化手段は、前記瞳孔と前記
   虹彩との境界を水平方向と垂直方向に分けてグループ化
   することを特徴とする請求項１に記載の視線検出装置。
3. 【請求項３】 前記選択手段は、水平方向のグループの
   誤差量を実際の値よりも小さくなるよう重みを付し、水
   平方向のグループと垂直方向のグループのうち誤差量が
   最も小さくなるグループを選択することを特徴とする請
   求項２に記載の視線検出装置。
4. 【請求項４】 前記演算手段は、最小２乗法を用いて前
   記瞳孔の形状の推定を行うことを特徴とする請求項１な
   いし３のいずれか１つに記載の視線検出装置。
5. 【請求項５】 イメージセンサーにより眼球画像を受光
   し、前記眼球画像から得られる角膜反射像と瞳孔の形状
   に基づいて視線を検出する視線検出装置において、 眼球の瞳孔と虹彩との境界位置情報を複数箇所検出する
   検出手段と、 前記検出手段の検出した複数の境界位置情報を複数のグ
   ループに分けるグループ化手段と、 前記複数のグループからいずれか１つのグループを除外
   して瞳孔の形状を推定する第１の演算手段と、 前記除外するグループを代えて、前記第１の演算手段に
   よる瞳孔の形状を推定する演算を複数繰り返す制御手段
   と、 前記除外するグループを代えて、推定された複数の瞳孔
   の形状のそれぞれに対して、信頼性を評価する第１の評
   価手段と、 前記第１の評価によって最も信頼性が高いと評価された
   ときに、除外されていたグループに含まれる複数の境界
   位置情報のそれぞれについて再度信頼性を評価する第２
   の評価手段と、 前記第１の評価手段によって最も信頼性が高いと評価さ
   れたときの複数のグループに含まれる複数の境界位置情
   報と、前記除外されたグループのなかで前記第２の評価
   手段によって信頼性が高いと評価された境界位置情報と
   を用いて前記瞳孔の形状を推定する第２の演算手段とを
   有することを特徴とする視線検出装置。
6. 【請求項６】 前記第１の評価手段は、瞳孔の形状を推
   定したときの誤差量の大きさから信頼性を判断し、推定
   された瞳孔径の大きさに応じて、得られた誤差量の大き
   さを補正することを特徴とする請求項５に記載の視線検
   出装置。
7. 【請求項７】 イメージセンサーにより眼球画像を受光
   し、前記眼球画像から得られる角膜反射像と瞳孔の形状
   に基づいて視線を検出する視線検出方法において、 眼球の瞳孔と虹彩との境界情報を複数箇所検出する検出
   ステップと、 前記検出ステップの検出した複数の境界位置情報を複数
   のグループに分けるグループ化ステップと、 前記複数のグループから境界位置情報を用いて前記瞳孔
   の形状を推定したときに誤差量が最も小さくなるグルー
   プの組合せを選択する選択ステップと、 前記選択ステップの選択した前記グループに含まれる複
   数の境界位置情報だけを用いて前記瞳孔の形状を推定す
   る演算ステップを有することを特徴とする視線検出方
   法。
8. 【請求項８】 前記グループ化ステップは前記瞳孔と前
   記虹彩との境界を水平方向、垂直方向に分けてグループ
   化することを特徴とする請求項７に記載の視線検出方
   法。
9. 【請求項９】 前記選択ステップは、水平方向のグルー
   プの誤差量を実際の値よりも小さくなるよう重みを付
   し、水平方向のグループと垂直方向のグループのうち誤
   差量が最も小さくなるグループを選択することを特徴と
   する請求項８に記載の視線検出方法。
10. 【請求項１０】 前記演算ステップは最小２乗法を用い
    て、前記瞳孔の形状の推定を行うことを特徴とする請求
    項７ないし９のいずれか一つに記載の視線検出方法。
11. 【請求項１１】 イメージセンサーにより眼球画像を受
    光し、前記眼球画像から得られる角膜反射像と瞳孔の形
    状に基づいて視線を検出する視線検出方法において、 眼球の瞳孔と虹彩との境界位置情報を複数検出する検出
    ステップと、 前記検出ステップの検出した複数の境界位置情報を複数
    のグループに分けるグループ化ステップと、 前記複数のグループからいずれか１つのグループを除外
    して瞳孔の形状を推定する演算ステップと、 前記除外するグループを代えて、推定された複数の瞳孔
    の形状のそれぞれに対して、誤差量を推定するステップ
    とを有し、少なくとも、前記評価ステップによって最も
    誤差量が小さいと評価されたときの複数のグループに含
    まれる複数の境界位置情報を利用して瞳孔の形状を検出
    することを特徴とする視線検出方法。
12. 【請求項１２】 イメージセンサーにより眼球画像を受
    光し、前記眼球画像から得られる角膜反射像と瞳孔の形
    状に基づいて視線を検出する視線検出方法において、 眼球の瞳孔と虹採との境界位置情報を複数箇所検出する
    検出ステップと、 前記検出ステップの検出した複数の境界位置情報を複数
    のグループに分けるグループ化ステップと、 前記複数のグループからいずれか１つのグループを除外
    して瞳孔の形状を推定する第１の演算ステップと、 前記除外するグループを代えて、前記第１の演算ステッ
    プによる瞳孔の形状を推定する演算を繰り返す制御ステ
    ップと、 前記除外するグループを代えて、推定された複数の瞳孔
    の形状のそれぞれに対して、信頼性を評価する第１の評
    価ステップと、 前記第１の評価ステップによって最も信頼性が高いと評
    価されたときに、除外されていたグループに含まれる複
    数の境界位置情報のそれぞれについて再度信頼性を評価
    する第２の評価ステップと、 前記第１の評価ステップによって最も信頼性が高いと評
    価されたときの複数のグループに含まれる複数の境界位
    置情報と、前記除外されたグループのなかで前記第２の
    評価ステップによって信頼性が高いと評価された境界位
    置情報とを用いて前記瞳孔の形状を推定する第２の演算
    ステップとを有することを特徴とする視線検出方法。
13. 【請求項１３】 前記第１の評価ステップは、瞳孔の形
    状を推定したときの誤差量の大きさから信頼性を判断
    し、推定された瞳孔径の大きさに応じて、得られた誤差
    量の大きさを補正することを特徴とする請求項１２に記
    載の視線検出方法。