JPH06347865A - 視線検出装置およびこれが搭載されたカメラ - Google Patents
視線検出装置およびこれが搭載されたカメラInfo
- Publication number
- JPH06347865A JPH06347865A JP5139632A JP13963293A JPH06347865A JP H06347865 A JPH06347865 A JP H06347865A JP 5139632 A JP5139632 A JP 5139632A JP 13963293 A JP13963293 A JP 13963293A JP H06347865 A JPH06347865 A JP H06347865A
- Authority
- JP
- Japan
- Prior art keywords
- line
- eyeball
- center
- sight
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Eye Examination Apparatus (AREA)
- Viewfinders (AREA)
Abstract
(57)【要約】
【目的】 個々の眼球の個体差にかかわらず観察者の視
線方向を正確に検出することを可能にする。 【構成】 複数の照明手段10により眼球11を照明
し、この眼球11の複数の反射像を複数の観察手段12
によりそれぞれ観察する。これら観察手段12によって
観察された眼球11の角膜反射像および瞳孔と虹彩との
複数の境界像に基づいて眼球11の角膜曲率中心および
瞳孔中心の空間位置を算出する。一方、一部の観察手段
12によって観察された眼球11の角膜反射像および瞳
孔と虹彩との複数の境界像に基づいて眼球11の角膜曲
率中心および瞳孔中心の平面位置を算出する。そして、
角膜曲率中心と瞳孔中心との間の距離と角膜曲率中心お
よび瞳孔中心の平面位置とを用いて眼球11の視線方向
を算出する。
線方向を正確に検出することを可能にする。 【構成】 複数の照明手段10により眼球11を照明
し、この眼球11の複数の反射像を複数の観察手段12
によりそれぞれ観察する。これら観察手段12によって
観察された眼球11の角膜反射像および瞳孔と虹彩との
複数の境界像に基づいて眼球11の角膜曲率中心および
瞳孔中心の空間位置を算出する。一方、一部の観察手段
12によって観察された眼球11の角膜反射像および瞳
孔と虹彩との複数の境界像に基づいて眼球11の角膜曲
率中心および瞳孔中心の平面位置を算出する。そして、
角膜曲率中心と瞳孔中心との間の距離と角膜曲率中心お
よび瞳孔中心の平面位置とを用いて眼球11の視線方向
を算出する。
Description
【0001】
【産業上の利用分野】本発明は、たとえば光学装置内に
設けられた視野画面上において観察者が観察している注
視点方向、すなわち、いわゆる視線方向を検出する視線
検出装置およびこれが搭載されたカメラに関する。
設けられた視野画面上において観察者が観察している注
視点方向、すなわち、いわゆる視線方向を検出する視線
検出装置およびこれが搭載されたカメラに関する。
【0002】
【従来の技術】従来、観察者の視線方向を検出する装置
としては、例えば、特開昭61−172552号公報、
特開平3−109029号公報などに開示された装置が
あった。これら公報に開示された装置は、観察者の眼球
を光源によって照明し、該光源によって照明された前記
眼球の瞳孔と虹彩との境界を読み取って瞳孔中心の位置
を求めるとともに、光源からの照明光による角膜反射像
の位置を求め、この瞳孔中心と角膜反射像の相対的位置
関係から視線方向を求めていた。以下、図31を用いて
上述の公報における視線検出装置の動作について説明す
る。
としては、例えば、特開昭61−172552号公報、
特開平3−109029号公報などに開示された装置が
あった。これら公報に開示された装置は、観察者の眼球
を光源によって照明し、該光源によって照明された前記
眼球の瞳孔と虹彩との境界を読み取って瞳孔中心の位置
を求めるとともに、光源からの照明光による角膜反射像
の位置を求め、この瞳孔中心と角膜反射像の相対的位置
関係から視線方向を求めていた。以下、図31を用いて
上述の公報における視線検出装置の動作について説明す
る。
【0003】図31は人間の眼球を水平方向に切断した
断面図である。図31において、1は眼球であり、この
眼球1は、略球形の強膜2の中に硝子体3が充満され、
この強膜2の前部(図中左部)に水晶体4、虹彩5およ
び角膜6が形成されて概略構成されている。虹彩5は一
種の絞りであり、開口部は瞳孔7と呼ばれる。角膜6の
曲率は強膜2の曲率とは異なる。以下、図に示すよう
に、角膜曲率中心Cと眼球回転中心O''との間の距離を
距離ρとおき、また、瞳孔中心Dと眼球中心O’’との
間の距離を距離Aとおく。
断面図である。図31において、1は眼球であり、この
眼球1は、略球形の強膜2の中に硝子体3が充満され、
この強膜2の前部(図中左部)に水晶体4、虹彩5およ
び角膜6が形成されて概略構成されている。虹彩5は一
種の絞りであり、開口部は瞳孔7と呼ばれる。角膜6の
曲率は強膜2の曲率とは異なる。以下、図に示すよう
に、角膜曲率中心Cと眼球回転中心O''との間の距離を
距離ρとおき、また、瞳孔中心Dと眼球中心O’’との
間の距離を距離Aとおく。
【0004】図31に示すように水平方向(図中上下方
向)にX軸を採り、図示しない視野画面の中心に眼球1
が正対する時の眼球回転中心O’’のX軸の位置を原点
Oとする。このときの瞳孔中心DのX軸上の位置および
角膜反射像PのX軸上の位置は、眼球回転角θを図のよ
うに定義すれば、
向)にX軸を採り、図示しない視野画面の中心に眼球1
が正対する時の眼球回転中心O’’のX軸の位置を原点
Oとする。このときの瞳孔中心DのX軸上の位置および
角膜反射像PのX軸上の位置は、眼球回転角θを図のよ
うに定義すれば、
【数1】 D=L+A×sinθ (1) P=L+ρ×sinθ (2) と表される。ここにいう角膜反射像Pはプルキンエ第一
像と呼ばれるものであり、角膜6を凸レンズと考えた時
に、その表面で反射する光線の虚像である。
像と呼ばれるものであり、角膜6を凸レンズと考えた時
に、その表面で反射する光線の虚像である。
【0005】(1)、(2)式より、角膜反射像PのX軸位
置から瞳孔中心DのX軸位置を差し引けば眼球中心の平
行移動成分Lを打ち消す事ができて、
置から瞳孔中心DのX軸位置を差し引けば眼球中心の平
行移動成分Lを打ち消す事ができて、
【数2】 D−P=(A−ρ)×sinθ (3) が得られるから、眼球回転角θは、
【数3】 θ=sin-1((D−P)/(A−ρ)) (4) と求まる。ここで、角膜曲率中心Cと瞳孔中心Dとの間
の距離A−ρは各観察者によらずほぼ一定値と仮定する
ことができる。観察者の視線方向は眼球回転角θから求
められるので、角膜反射像PのX軸位置、瞳孔中心Dの
X軸位置を求めて、ほぼ一定値と仮定できるA−ρに適
当な値を代入すれば視線方向が求まる。
の距離A−ρは各観察者によらずほぼ一定値と仮定する
ことができる。観察者の視線方向は眼球回転角θから求
められるので、角膜反射像PのX軸位置、瞳孔中心Dの
X軸位置を求めて、ほぼ一定値と仮定できるA−ρに適
当な値を代入すれば視線方向が求まる。
【0006】
【発明が解決しようとする課題】しかしながら、上述の
公報に開示された従来の視線検出装置では、本来は個々
の眼球によって異なる値、いわゆる個体差を持つ値であ
る、角膜曲率中心Cと瞳孔中心Aとの距離A−ρを一定
と見なして(4)式に代入し、眼球回転角θから視線方向
を検出しているので、視線検出に要求される精度の程度
によっては十分な精度が得られないという問題を有して
いた。
公報に開示された従来の視線検出装置では、本来は個々
の眼球によって異なる値、いわゆる個体差を持つ値であ
る、角膜曲率中心Cと瞳孔中心Aとの距離A−ρを一定
と見なして(4)式に代入し、眼球回転角θから視線方向
を検出しているので、視線検出に要求される精度の程度
によっては十分な精度が得られないという問題を有して
いた。
【0007】本発明の目的は、個々の眼球の個体差にか
かわらず観察者の視線方向を正確に検出することの可能
な視線検出装置を提供することにある。
かわらず観察者の視線方向を正確に検出することの可能
な視線検出装置を提供することにある。
【0008】
【課題を解決するための手段】クレーム対応図である図
1に対応付けて説明すると、請求項1の発明は、複数の
照明手段10により観察者の眼球11を照明し、照明手
段10により照明された眼球11の反射像から眼球11
の視線方向を算出する視線検出装置に適用される。そし
て、上述の目的は、複数の照明手段10により照明され
た眼球11の複数の反射像をそれぞれ観察する複数の観
察手段12と、複数の観察手段12によって観察された
眼球11の複数の角膜反射像に基づいてこの眼球11の
角膜曲率中心の空間位置を算出する第1の角膜曲率中心
算出手段13と、複数の観察手段12のうち一部の観察
手段12によって観察された眼球11の複数の角膜反射
像に基づいてこの眼球11の角膜曲率中心の平面位置を
算出する第2の角膜曲率中心算出手段14と、複数の観
察手段12によって観察された眼球11の瞳孔と虹彩と
の複数の境界像に基づいてこの眼球11の瞳孔中心の空
間位置を算出する第1の瞳孔中心算出手段15と、複数
の観察手段12のうち一部の観察手段12によって観察
された眼球11の瞳孔と虹彩との複数の境界像に基づい
てこの眼球11の瞳孔中心の平面位置を算出する第2の
瞳孔中心算出手段16と、第1の角膜曲率中心算出手段
13および第1の瞳孔中心算出手段15により算出され
た角膜曲率中心の空間位置および瞳孔中心の空間位置に
基づいて視線方向および角膜曲率中心と瞳孔中心との間
の空間距離を算出するとともに、空間距離を算出した後
は、この空間距離と、第2の角膜曲率中心算出手段14
および第2の瞳孔中心算出手段16により算出された角
膜曲率中心の平面位置および瞳孔中心の平面位置とに基
づいて視線方向を算出する視線算出手段17とを設ける
ことにより達成される。
1に対応付けて説明すると、請求項1の発明は、複数の
照明手段10により観察者の眼球11を照明し、照明手
段10により照明された眼球11の反射像から眼球11
の視線方向を算出する視線検出装置に適用される。そし
て、上述の目的は、複数の照明手段10により照明され
た眼球11の複数の反射像をそれぞれ観察する複数の観
察手段12と、複数の観察手段12によって観察された
眼球11の複数の角膜反射像に基づいてこの眼球11の
角膜曲率中心の空間位置を算出する第1の角膜曲率中心
算出手段13と、複数の観察手段12のうち一部の観察
手段12によって観察された眼球11の複数の角膜反射
像に基づいてこの眼球11の角膜曲率中心の平面位置を
算出する第2の角膜曲率中心算出手段14と、複数の観
察手段12によって観察された眼球11の瞳孔と虹彩と
の複数の境界像に基づいてこの眼球11の瞳孔中心の空
間位置を算出する第1の瞳孔中心算出手段15と、複数
の観察手段12のうち一部の観察手段12によって観察
された眼球11の瞳孔と虹彩との複数の境界像に基づい
てこの眼球11の瞳孔中心の平面位置を算出する第2の
瞳孔中心算出手段16と、第1の角膜曲率中心算出手段
13および第1の瞳孔中心算出手段15により算出され
た角膜曲率中心の空間位置および瞳孔中心の空間位置に
基づいて視線方向および角膜曲率中心と瞳孔中心との間
の空間距離を算出するとともに、空間距離を算出した後
は、この空間距離と、第2の角膜曲率中心算出手段14
および第2の瞳孔中心算出手段16により算出された角
膜曲率中心の平面位置および瞳孔中心の平面位置とに基
づいて視線方向を算出する視線算出手段17とを設ける
ことにより達成される。
【0009】請求項2の発明は、視線算出手段17によ
り算出された角膜曲率中心と瞳孔中心との合いだの空間
距離を記憶手段18により保持し、記憶手段18内に空
間距離が保持されている間は、視線算出手段17が記憶
手段18に記憶された空間距離に基づいて前記視線方向
を算出するようなものである。また、請求項3の発明
は、第2の角膜曲率中心算出手段16において用いられ
た観察手段12以外の観察手段12を用いて第2の瞳孔
中心算出手段15が瞳孔中心位置の算出を行うようなも
のである。
り算出された角膜曲率中心と瞳孔中心との合いだの空間
距離を記憶手段18により保持し、記憶手段18内に空
間距離が保持されている間は、視線算出手段17が記憶
手段18に記憶された空間距離に基づいて前記視線方向
を算出するようなものである。また、請求項3の発明
は、第2の角膜曲率中心算出手段16において用いられ
た観察手段12以外の観察手段12を用いて第2の瞳孔
中心算出手段15が瞳孔中心位置の算出を行うようなも
のである。
【0010】請求項4の発明は、観察手段12により眼
球11の反射像が観察できなくなるまで、記憶手段18
が空間距離を保持するようなものである。
球11の反射像が観察できなくなるまで、記憶手段18
が空間距離を保持するようなものである。
【0011】あるいは、請求項5の発明は、カメラに備
えられたレリーズボタン19の第1ストロークが解除さ
れるまで、記憶手段18が空間距離を保持するようなも
のである。加えて、請求項6の発明は、カメラのレリー
ズ動作終了後から所定時間だけ記憶手段18が空間距離
を保持するようなものである。
えられたレリーズボタン19の第1ストロークが解除さ
れるまで、記憶手段18が空間距離を保持するようなも
のである。加えて、請求項6の発明は、カメラのレリー
ズ動作終了後から所定時間だけ記憶手段18が空間距離
を保持するようなものである。
【0012】あるいは、請求項7の発明は、カメラに備
えられたメインスイッチ20がオフされるまで、記憶手
段18が空間距離を保持するようなものである。
えられたメインスイッチ20がオフされるまで、記憶手
段18が空間距離を保持するようなものである。
【0013】あるいは、請求項8の発明は、眼球11が
カメラのファインダ接眼窓から離れるまで、記憶手段1
8が空間距離を保持するようなものである。加えて、請
求項9の発明は、眼球11がカメラのファインダ接眼窓
から離れた後、記憶手段18が所定時間だけ空間距離を
保持するようなものである。
カメラのファインダ接眼窓から離れるまで、記憶手段1
8が空間距離を保持するようなものである。加えて、請
求項9の発明は、眼球11がカメラのファインダ接眼窓
から離れた後、記憶手段18が所定時間だけ空間距離を
保持するようなものである。
【0014】また、請求項10の発明は、カメラのレリ
ーズボタン19が第2ストロークまで押し込まれたら視
線算出手段17が眼球11の視線方向を算出するような
ものである。
ーズボタン19が第2ストロークまで押し込まれたら視
線算出手段17が眼球11の視線方向を算出するような
ものである。
【0015】
−請求項1− 複数の観察手段12は、複数の照明手段10によって照
明された観察者の眼球11の複数の反射像をそれぞれ観
察する。第1の角膜曲率中心算出手段13は、眼球11
の複数の反射像の位置および複数の観察手段12の観察
位置から角膜曲率中心そのものの空間位置を算出し、同
様に第1の瞳孔中心算出手段15は、眼球11の複数の
反射像の位置および複数の観察手段12の観察位置から
瞳孔中心そのものの空間位置を算出する。一方、第2の
角膜曲率中心算出手段14は、眼球11の複数の反射像
のうち一部の反射像の位置およびこれを観察する一部の
観察手段12の観察位置から角膜曲率中心の平面位置を
算出し、同様に第2の瞳孔中心算出手段16は、眼球1
1の複数の反射像のうち一部の反射像の位置およびこれ
を観察する一部の観察手段12の観察位置から瞳孔中心
の平面位置を算出する。角膜曲率中心および瞳孔中心の
空間位置が一度求められれば、観察者の交代等がなけれ
ばこれら角膜曲率中心および瞳孔中心の間の距離は一定
であり、この距離と角膜曲率中心および瞳孔中心の平面
位置とを用いれば視線方向が算出できる。そこで、視線
算出手段17は、第1の角膜曲率中心算出手段13およ
び第1の瞳孔中心算出手段15により算出された角膜曲
率中心の空間位置および瞳孔中心の空間位置に基づいて
視線方向および角膜曲率中心と瞳孔中心との間の空間距
離を算出するとともに、空間距離を算出した後は、この
空間距離と、第2の角膜曲率中心算出手段14および第
2の瞳孔中心算出手段16により算出された角膜曲率中
心の平面位置および瞳孔中心の平面位置とに基づいて視
線方向を算出する。 −請求項2− 記憶手段18は、視線算出手段17により算出された角
膜曲率中心と瞳孔中心との間の空間距離を保持し、この
空間距離が保持されている間は、視線算出手段17は記
憶手段18内の空間距離を用いて視線検出を行う。
明された観察者の眼球11の複数の反射像をそれぞれ観
察する。第1の角膜曲率中心算出手段13は、眼球11
の複数の反射像の位置および複数の観察手段12の観察
位置から角膜曲率中心そのものの空間位置を算出し、同
様に第1の瞳孔中心算出手段15は、眼球11の複数の
反射像の位置および複数の観察手段12の観察位置から
瞳孔中心そのものの空間位置を算出する。一方、第2の
角膜曲率中心算出手段14は、眼球11の複数の反射像
のうち一部の反射像の位置およびこれを観察する一部の
観察手段12の観察位置から角膜曲率中心の平面位置を
算出し、同様に第2の瞳孔中心算出手段16は、眼球1
1の複数の反射像のうち一部の反射像の位置およびこれ
を観察する一部の観察手段12の観察位置から瞳孔中心
の平面位置を算出する。角膜曲率中心および瞳孔中心の
空間位置が一度求められれば、観察者の交代等がなけれ
ばこれら角膜曲率中心および瞳孔中心の間の距離は一定
であり、この距離と角膜曲率中心および瞳孔中心の平面
位置とを用いれば視線方向が算出できる。そこで、視線
算出手段17は、第1の角膜曲率中心算出手段13およ
び第1の瞳孔中心算出手段15により算出された角膜曲
率中心の空間位置および瞳孔中心の空間位置に基づいて
視線方向および角膜曲率中心と瞳孔中心との間の空間距
離を算出するとともに、空間距離を算出した後は、この
空間距離と、第2の角膜曲率中心算出手段14および第
2の瞳孔中心算出手段16により算出された角膜曲率中
心の平面位置および瞳孔中心の平面位置とに基づいて視
線方向を算出する。 −請求項2− 記憶手段18は、視線算出手段17により算出された角
膜曲率中心と瞳孔中心との間の空間距離を保持し、この
空間距離が保持されている間は、視線算出手段17は記
憶手段18内の空間距離を用いて視線検出を行う。
【0016】−請求項3− 眼球11の角膜反射像の輝度と瞳孔−虹彩の境界像の輝
度とが大きく異なることがあるため、第2の角膜曲率中
心算出手段15が用いる観察手段12と第2の瞳孔中心
算出手段16が用いる観察手段とを別個にすることで、
各角膜反射像、境界像に適した観察条件を設定すること
ができる。
度とが大きく異なることがあるため、第2の角膜曲率中
心算出手段15が用いる観察手段12と第2の瞳孔中心
算出手段16が用いる観察手段とを別個にすることで、
各角膜反射像、境界像に適した観察条件を設定すること
ができる。
【0017】−請求項4− 観察手段12により眼球11の反射像が観察できなくな
った場合、観察者が交代するかまたは観察者がコンタク
ト、眼鏡等を新たに使用して角膜曲率中心および瞳孔中
心の間の空間距離が変化する可能性があると判断でき
る。そこで、記憶手段18は、眼球11の反射像が検出
されている間は角膜曲率中心と瞳孔中心との間の空間距
離を保持する。
った場合、観察者が交代するかまたは観察者がコンタク
ト、眼鏡等を新たに使用して角膜曲率中心および瞳孔中
心の間の空間距離が変化する可能性があると判断でき
る。そこで、記憶手段18は、眼球11の反射像が検出
されている間は角膜曲率中心と瞳孔中心との間の空間距
離を保持する。
【0018】−請求項5、6− カメラのレリーズボタン19の第1ストロークが直ちに
解除された場合、あるいは所定時間内においてレリーズ
ボタン19が第1ストロークまで押し込まれなかった場
合、観察者が交代するかまたは観察者がコンタクト、眼
鏡等を新たに使用して角膜曲率中心および瞳孔中心の間
の距離が変化する可能性があると判断できる。そこで、
記憶手段18は、レリーズボタン19の第1ストローク
が解除されるまで、あるいはレリーズ動作終了後から所
定時間の間、角膜曲率中心と瞳孔中心との間の空間距離
を保持する。
解除された場合、あるいは所定時間内においてレリーズ
ボタン19が第1ストロークまで押し込まれなかった場
合、観察者が交代するかまたは観察者がコンタクト、眼
鏡等を新たに使用して角膜曲率中心および瞳孔中心の間
の距離が変化する可能性があると判断できる。そこで、
記憶手段18は、レリーズボタン19の第1ストローク
が解除されるまで、あるいはレリーズ動作終了後から所
定時間の間、角膜曲率中心と瞳孔中心との間の空間距離
を保持する。
【0019】−請求項7− カメラのメインスイッチ20がオフされた場合、観察者
が交代するかまたは観察者がコンタクト、眼鏡等を新た
に使用して角膜曲率中心および瞳孔中心の間の空間距離
が変化する可能性があると判断できる。そこで、記憶手
段18は、カメラのメインスイッチ20がオフされるま
で、角膜曲率中心と瞳孔中心との間の空間距離を保持す
る。
が交代するかまたは観察者がコンタクト、眼鏡等を新た
に使用して角膜曲率中心および瞳孔中心の間の空間距離
が変化する可能性があると判断できる。そこで、記憶手
段18は、カメラのメインスイッチ20がオフされるま
で、角膜曲率中心と瞳孔中心との間の空間距離を保持す
る。
【0020】−請求項8、9− 眼球11がカメラのファインダ接眼窓から離れた場合、
あるいはファインダ接眼窓から所定時間離れた場合、観
察者が交代するかまたは観察者がコンタクト、眼鏡等を
新たに使用して角膜曲率中心および瞳孔中心の間の空間
距離が変化する可能性があると判断できる。そこで、記
憶手段18は、眼球11がカメラのファインダ接眼窓か
ら離れるまで、あるいは、ファインダ接眼窓から離れた
後所定時間の間、角膜曲率中心と瞳孔中心との間の空間
距離を保持する。
あるいはファインダ接眼窓から所定時間離れた場合、観
察者が交代するかまたは観察者がコンタクト、眼鏡等を
新たに使用して角膜曲率中心および瞳孔中心の間の空間
距離が変化する可能性があると判断できる。そこで、記
憶手段18は、眼球11がカメラのファインダ接眼窓か
ら離れるまで、あるいは、ファインダ接眼窓から離れた
後所定時間の間、角膜曲率中心と瞳孔中心との間の空間
距離を保持する。
【0021】−請求項10− 視線算出手段17は、カメラのレリーズボタンが第2ス
トロークへ押し込まれるまで視線方向の算出動作を行わ
ず、この間、第2の角膜曲率中心算出手段および第2の
瞳孔中心算出手段は、観察者11の眼球の反射像から角
膜曲率中心および瞳孔中心の平面位置を算出する。
トロークへ押し込まれるまで視線方向の算出動作を行わ
ず、この間、第2の角膜曲率中心算出手段および第2の
瞳孔中心算出手段は、観察者11の眼球の反射像から角
膜曲率中心および瞳孔中心の平面位置を算出する。
【0022】
(1) 実施例共通の説明 まず、各実施例に共通する構成および本発明の原理につ
いて説明する。なお、以下の説明においては、図31で
用いた符号も使用して観察者の眼球およびその内部につ
いて説明を行う。
いて説明する。なお、以下の説明においては、図31で
用いた符号も使用して観察者の眼球およびその内部につ
いて説明を行う。
【0023】≪視線検出装置の構成≫図2は、本発明に
かかる視線検出装置の構成図であり、この図において、
101はカメラ等の光学装置内に設けられて観察者が観
察する観察面(視野画面)、102は観察者の眼球であ
り、観察者は観察面101を介して図中左方向の特定の
点を注視している。103は視線検出用光源駆動手段、
104a、104bはそれぞれIRED等の視線検出用
光源であり、この視線検出用光源104a、104bは
観察者の眼球102の近傍であって観察面101を観察
する視野を妨げないような位置、もしくは観察者の注意
を引かないような目立たない位置に配置されている。
かかる視線検出装置の構成図であり、この図において、
101はカメラ等の光学装置内に設けられて観察者が観
察する観察面(視野画面)、102は観察者の眼球であ
り、観察者は観察面101を介して図中左方向の特定の
点を注視している。103は視線検出用光源駆動手段、
104a、104bはそれぞれIRED等の視線検出用
光源であり、この視線検出用光源104a、104bは
観察者の眼球102の近傍であって観察面101を観察
する視野を妨げないような位置、もしくは観察者の注意
を引かないような目立たない位置に配置されている。
【0024】105、106はともに結像レンズ、10
7、108はそれぞれ2次元CCD等の光電変換素子で
あり、観察面101に平行な2次元的に広がる受光面を
備えている。結像レンズ105は光電変換素子107上
に観察者の眼球102の像を、結像レンズ106は光電
変換素子108上に観察者の眼球102の像をそれぞれ
結像させている。これら結像レンズ105、106と光
電変換素子107、108により検出光学系が構成され
る。検出光学系は、観察者の眼球102を観察できる位
置であって、観察者の観察する視野の外側に配置されて
観察者が観察する視野を妨げないようにされ、もしくは
観察する視野内であっても観察者の注意を引かないよう
に目立たない位置に配置される。
7、108はそれぞれ2次元CCD等の光電変換素子で
あり、観察面101に平行な2次元的に広がる受光面を
備えている。結像レンズ105は光電変換素子107上
に観察者の眼球102の像を、結像レンズ106は光電
変換素子108上に観察者の眼球102の像をそれぞれ
結像させている。これら結像レンズ105、106と光
電変換素子107、108により検出光学系が構成され
る。検出光学系は、観察者の眼球102を観察できる位
置であって、観察者の観察する視野の外側に配置されて
観察者が観察する視野を妨げないようにされ、もしくは
観察する視野内であっても観察者の注意を引かないよう
に目立たない位置に配置される。
【0025】109、110はそれぞれ光電変換素子1
07、108の出力信号を処理する信号処理手段、11
1は中央処理装置であり、この中央処理装置111は、
視線検出用光源駆動手段103の制御、光電変換素子1
07、108の駆動の制御、および信号処理手段10
9、110の出力から視線方向を算出する機能を有して
いる。
07、108の出力信号を処理する信号処理手段、11
1は中央処理装置であり、この中央処理装置111は、
視線検出用光源駆動手段103の制御、光電変換素子1
07、108の駆動の制御、および信号処理手段10
9、110の出力から視線方向を算出する機能を有して
いる。
【0026】図3は、検出光学系の配置の別の例を示す
構成図である。図3に示す例では、半透過鏡(ハーフミ
ラー)112を用いて、観察者の眼球102の像を観察
者の視野の外にある検出光学系(結像レンズ105、1
06、光電変換素子107、108)へ導いている点が
異なっている。さらに、図2に示す例では、一対の結像
レンズ105、106による眼球102の像を各結像レ
ンズ105、106に対応する一対の光電変換素子10
7、108に結像させているのに対し、図3に示す例で
は、一対の結像レンズ105、106による眼球102
の像を一枚の光電変換素子113に結像させている。光
電変換素子113の受光面は、観察面101と平行な面
に共役となるように配置されている。光電変換素子につ
いては、図2のように、一対の光電変換素子107、1
08を用いて検出を行ってもかまわない。114は光電
変換素子113の出力信号を処理する信号処理手段であ
る。
構成図である。図3に示す例では、半透過鏡(ハーフミ
ラー)112を用いて、観察者の眼球102の像を観察
者の視野の外にある検出光学系(結像レンズ105、1
06、光電変換素子107、108)へ導いている点が
異なっている。さらに、図2に示す例では、一対の結像
レンズ105、106による眼球102の像を各結像レ
ンズ105、106に対応する一対の光電変換素子10
7、108に結像させているのに対し、図3に示す例で
は、一対の結像レンズ105、106による眼球102
の像を一枚の光電変換素子113に結像させている。光
電変換素子113の受光面は、観察面101と平行な面
に共役となるように配置されている。光電変換素子につ
いては、図2のように、一対の光電変換素子107、1
08を用いて検出を行ってもかまわない。114は光電
変換素子113の出力信号を処理する信号処理手段であ
る。
【0027】≪座標系の説明≫図4は本発明の原理を説
明するために導入する座標系を示す図である。図4にお
いて、115は観察者の眼球102の角膜、116は観
察者の眼球102の虹彩である。観察者の注視する観察
面101に対して、観察者の眼球の回転中心O''と観察
面101との距離が変化する方向に沿ってY軸を、観察
面101の一方向(図中では観察面101の左右方向)
に沿ってX軸を、X軸およびY軸に共に直交する方向
(図中では観察面101の上下方向)に沿ってZ軸とす
る三次元座標系を設定し、以下これを「実空間座標」と
呼ぶ。
明するために導入する座標系を示す図である。図4にお
いて、115は観察者の眼球102の角膜、116は観
察者の眼球102の虹彩である。観察者の注視する観察
面101に対して、観察者の眼球の回転中心O''と観察
面101との距離が変化する方向に沿ってY軸を、観察
面101の一方向(図中では観察面101の左右方向)
に沿ってX軸を、X軸およびY軸に共に直交する方向
(図中では観察面101の上下方向)に沿ってZ軸とす
る三次元座標系を設定し、以下これを「実空間座標」と
呼ぶ。
【0028】実空間座標の原点Oは、観察者の眼球10
2が観察面101の中心に正対する位置にあるときにそ
の回転中心O''がY軸上に位置するように定められ、本
発明による視線検出装置の基準面上に位置する。この基
準面と観察面101の位置関係は設計上任意に設定する
事ができるので、図示例では説明を容易にするために同
一平面上に記してある。
2が観察面101の中心に正対する位置にあるときにそ
の回転中心O''がY軸上に位置するように定められ、本
発明による視線検出装置の基準面上に位置する。この基
準面と観察面101の位置関係は設計上任意に設定する
事ができるので、図示例では説明を容易にするために同
一平面上に記してある。
【0029】さらに、実空間座標系で変位する観察者の
眼球の回転中心をO''を含むX−Z平面を考える。この
平面を「回転中心面」と呼び、回転中心面のY座標を実
空間座標上でy=y’とおく。さらに回転中心面とY軸
との交点をO’とし、O’を原点とするX’軸および
Z’軸を、実空間座標のX軸およびZ軸にそれぞれ平行
となるように回転中心面上にとる。y’は観察者の眼球
102が前後することによって変化するが、眼球102
の回転中心O''は必ず回転中心面に含まれている。そし
て、線分O''CとX−Y平面とのなす角をφ、線分O''
CをX−Y平面に射影した線分とY軸とのなす角をθと
する。
眼球の回転中心をO''を含むX−Z平面を考える。この
平面を「回転中心面」と呼び、回転中心面のY座標を実
空間座標上でy=y’とおく。さらに回転中心面とY軸
との交点をO’とし、O’を原点とするX’軸および
Z’軸を、実空間座標のX軸およびZ軸にそれぞれ平行
となるように回転中心面上にとる。y’は観察者の眼球
102が前後することによって変化するが、眼球102
の回転中心O''は必ず回転中心面に含まれている。そし
て、線分O''CとX−Y平面とのなす角をφ、線分O''
CをX−Y平面に射影した線分とY軸とのなす角をθと
する。
【0030】図5は、本発明の光学原理を示す図であ
る。視線検出用光源104aおよび104b(図では代
表して符号104で示す)は観察者の眼球102の近傍
にあり、2灯の視線検出用光源104aおよび104b
のうちいずれか1つの光源104に注目すると、この1
つの視線検出用光源104は観察者の眼球102に角膜
反射像の虚像をP点に結ぶ。この虚像は、プルキンエ第
一像と呼ばれる。プルキンエ第一像は、結像レンズ10
5を介して光電変換素子107上のPi点に、結像レン
ズ106を介して光電変換素子108上のPj点にそれ
ぞれ再結像する。この時、光電変換素子107、108
の各受光面に共通な一方向をX''軸に、このX''軸に垂
直な方向にZ''軸をとる座標系を設定し、以下これを
「観察平面座標」と呼ぶ。受光面上に設定されたそれぞ
れの光電変換素子107、108に共通の観察平面座標
によって、P点は、光電変換素子107上にPi:(P
ix,Piz)、光電変換素子108上にPj(Pjx,
Pjz)と観測される。以上の2点の観測座標から、P
点の実空間座標系における空間位置P:(Px,Py,
Pz)は、実空間座標系と観察平面座標系との間で一意
的に定まる関数fX、fYおよびfZを用いれば、
る。視線検出用光源104aおよび104b(図では代
表して符号104で示す)は観察者の眼球102の近傍
にあり、2灯の視線検出用光源104aおよび104b
のうちいずれか1つの光源104に注目すると、この1
つの視線検出用光源104は観察者の眼球102に角膜
反射像の虚像をP点に結ぶ。この虚像は、プルキンエ第
一像と呼ばれる。プルキンエ第一像は、結像レンズ10
5を介して光電変換素子107上のPi点に、結像レン
ズ106を介して光電変換素子108上のPj点にそれ
ぞれ再結像する。この時、光電変換素子107、108
の各受光面に共通な一方向をX''軸に、このX''軸に垂
直な方向にZ''軸をとる座標系を設定し、以下これを
「観察平面座標」と呼ぶ。受光面上に設定されたそれぞ
れの光電変換素子107、108に共通の観察平面座標
によって、P点は、光電変換素子107上にPi:(P
ix,Piz)、光電変換素子108上にPj(Pjx,
Pjz)と観測される。以上の2点の観測座標から、P
点の実空間座標系における空間位置P:(Px,Py,
Pz)は、実空間座標系と観察平面座標系との間で一意
的に定まる関数fX、fYおよびfZを用いれば、
【数4】 Px=fX(Pix,Piz,Pjx,Pjz) (5) Py=fY(Pix,Piz,Pjx,Pjz) (6) Pz=fZ(Pix,Piz,Pjx,Pjz) (7) のように表現される。よって、それぞれの光電変換素子
107、108の受光面上に結像される、一対の角膜反
射像および虹彩の結像位置は実空間座標系に任意に変換
可能であり、これら角膜反射像および虹彩を一対の光電
変換素子107、108上に結像させることによって、
角膜反射像および瞳孔中心位置の実空間座標系における
位置を知ることができる。
107、108の受光面上に結像される、一対の角膜反
射像および虹彩の結像位置は実空間座標系に任意に変換
可能であり、これら角膜反射像および虹彩を一対の光電
変換素子107、108上に結像させることによって、
角膜反射像および瞳孔中心位置の実空間座標系における
位置を知ることができる。
【0031】以上述べたことは、P点、結像レンズ10
5、106、光電変換素子107、108の位置関係が
変わっても変換式(5)〜(7)の具体的な形が変わるだけ
で、実空間座標上のP点の位置が光電変換素子107、
108に共通の観察平面座標Pi、Pjから変換式(5)
〜(7)を用いて変換可能であることには変わりがない。
fX、fY、fZの具体的なかたちは、結像レンズ10
5、106の倍率や収差等によって定まる。
5、106、光電変換素子107、108の位置関係が
変わっても変換式(5)〜(7)の具体的な形が変わるだけ
で、実空間座標上のP点の位置が光電変換素子107、
108に共通の観察平面座標Pi、Pjから変換式(5)
〜(7)を用いて変換可能であることには変わりがない。
fX、fY、fZの具体的なかたちは、結像レンズ10
5、106の倍率や収差等によって定まる。
【0032】≪検出原理の説明≫次に、本発明の検出原
理について説明する。本発明では、図6に示すように、
角膜曲率中心位置Cおよび瞳孔中心位置Dの空間座標
と、眼球回転中心位置O''から瞳孔中心位置Dまでの距
離Aと眼球回転中心位置O''から角膜曲率中心位置Cま
での距離ρとの差、すなわち、瞳孔中心位置Dと角膜曲
率中心位置Cとの距離A−ρとを用いて、観察者の眼球
の視線方向を求めている。
理について説明する。本発明では、図6に示すように、
角膜曲率中心位置Cおよび瞳孔中心位置Dの空間座標
と、眼球回転中心位置O''から瞳孔中心位置Dまでの距
離Aと眼球回転中心位置O''から角膜曲率中心位置Cま
での距離ρとの差、すなわち、瞳孔中心位置Dと角膜曲
率中心位置Cとの距離A−ρとを用いて、観察者の眼球
の視線方向を求めている。
【0033】角膜曲率中心位置Cおよび瞳孔中心位置D
の空間座標と、観察者の眼球に依存する定数A−ρとの
関係は、前述の実空間座標系を用いれば次のような関係
式で表される。ここで、角膜曲率中心位置C:(Cx,
Cy,Cz)、瞳孔中心位置D:(Dx,Dy,Dz)と
おき、θを上述の定義によるX軸方向の眼球回転角、L
をX軸方向の眼球回転中心の平行移動量、φを上述の定
義によるZ軸方向の眼球回転角、kをZ軸方向の眼球回
転中心の平行移動量とすれば、角膜曲率中心位置Cの各
座標値は、
の空間座標と、観察者の眼球に依存する定数A−ρとの
関係は、前述の実空間座標系を用いれば次のような関係
式で表される。ここで、角膜曲率中心位置C:(Cx,
Cy,Cz)、瞳孔中心位置D:(Dx,Dy,Dz)と
おき、θを上述の定義によるX軸方向の眼球回転角、L
をX軸方向の眼球回転中心の平行移動量、φを上述の定
義によるZ軸方向の眼球回転角、kをZ軸方向の眼球回
転中心の平行移動量とすれば、角膜曲率中心位置Cの各
座標値は、
【数5】 Cx=L+ρcosφsinθ (8) Cy=y’+ρcosφcosθ (9) Cz=k+ρsinφ (10) 瞳孔中心位置Dの各座標値は、
【数6】 Dx=L+Acosφsinθ (11) Dy=y’+Acosφcosθ (12) Dz=k+Asinφ (13) と表すことができる。(8)式から(11)式を、(9)式か
ら(12)式を、(10)式から(13)式を順に減算すれ
ば、これらの式に含まれる平行移動量L、y’、kを消
去することができ、結果として次式が得られる。
ら(12)式を、(10)式から(13)式を順に減算すれ
ば、これらの式に含まれる平行移動量L、y’、kを消
去することができ、結果として次式が得られる。
【数7】 Cx−Dx=(A−ρ)cosφsinθ (14) Cy−Dy=(A−ρ)cosφcosθ (15) Cz−Dz=(A−ρ)sinφ (16) 従って、瞳孔中心位置と角膜曲率中心位置との距離A−
ρは、
ρは、
【数8】 A−ρ=√((Dx−Cx)2+(Cy−Dy)2+(Dz−Cz)2) (1
7) となり、求める眼球回転角θ,φは、 θ=sin-1((Dx−Cx)/(A−ρ)cosφ) (18) φ=sin-1((Dz−Cz)/(A−ρ)) (19) と表すことができ、各観察者の眼球を観察して得られた
実際の瞳孔中心位置Dと角膜曲率中心位置Cとの間の距
離A−ρから眼球回転角θ、φを求めることができる。
そして、観察者の視線方向は眼球回転角θ、φから求め
ることができるので、角膜曲率中心位置Cの空間座標
(Cx,Cy,Cz)および瞳孔中心位置Dの空間座標
(Dx,Dy,Dz)を求めれば視線方向が求まる。
7) となり、求める眼球回転角θ,φは、 θ=sin-1((Dx−Cx)/(A−ρ)cosφ) (18) φ=sin-1((Dz−Cz)/(A−ρ)) (19) と表すことができ、各観察者の眼球を観察して得られた
実際の瞳孔中心位置Dと角膜曲率中心位置Cとの間の距
離A−ρから眼球回転角θ、φを求めることができる。
そして、観察者の視線方向は眼球回転角θ、φから求め
ることができるので、角膜曲率中心位置Cの空間座標
(Cx,Cy,Cz)および瞳孔中心位置Dの空間座標
(Dx,Dy,Dz)を求めれば視線方向が求まる。
【0034】≪実際の算出手順≫以下、角膜曲率中心位
置C:(Cx,Cy,Cz)、瞳孔中心位置D:(Dx,
Dy,Dz)を測定によって具体的に求める手順につい
て述べる。まず、瞳孔中心位置の求め方に付いて説明す
る。瞳孔と虹彩の境界118は、図7に示すように実空
間座標系において(眼)球の球面上に位置する大円であ
る。大円を含む平面の法線は実空間座標系のY軸方向と
一致しない場合があるため、X−Z平面と受光面が平行
に配置された光電変換素子107、108上には楕円と
して結像するが、通常はこの法線とY軸のなす角が小さ
いのでほぼ円形とみなすことができる。
置C:(Cx,Cy,Cz)、瞳孔中心位置D:(Dx,
Dy,Dz)を測定によって具体的に求める手順につい
て述べる。まず、瞳孔中心位置の求め方に付いて説明す
る。瞳孔と虹彩の境界118は、図7に示すように実空
間座標系において(眼)球の球面上に位置する大円であ
る。大円を含む平面の法線は実空間座標系のY軸方向と
一致しない場合があるため、X−Z平面と受光面が平行
に配置された光電変換素子107、108上には楕円と
して結像するが、通常はこの法線とY軸のなす角が小さ
いのでほぼ円形とみなすことができる。
【0035】このとき、図8に示すように、光電変換素
子107、108の受光面上における虹彩116と瞳孔
部117との境界118の左右端、上下端の四点の観察
平面座標系の座標から、画像処理によって実空間座標系
における瞳孔中心Dの空間座標を求める。四点の座標
を、DR':(DR'x,DR'y,DR'z)、点DL':(DL'
x,DL'y,DL'z)、DT':(DT'x,DT'y,D
T'z)、点DB':(DB'x,DB'y,DB'z)とおくと、
瞳孔中心位置D:(Dx,Dy,Dz)は、Dx=(DR'x
+DL'x)/2、Dy=(DR'y+DL'y)/2、またはD
y=(DT'y+DB'y)/2、Dz=(DR'z+DL'z)/
2となる。この方法は、瞳孔部117が楕円であるとみ
なされる場合でも有効である。
子107、108の受光面上における虹彩116と瞳孔
部117との境界118の左右端、上下端の四点の観察
平面座標系の座標から、画像処理によって実空間座標系
における瞳孔中心Dの空間座標を求める。四点の座標
を、DR':(DR'x,DR'y,DR'z)、点DL':(DL'
x,DL'y,DL'z)、DT':(DT'x,DT'y,D
T'z)、点DB':(DB'x,DB'y,DB'z)とおくと、
瞳孔中心位置D:(Dx,Dy,Dz)は、Dx=(DR'x
+DL'x)/2、Dy=(DR'y+DL'y)/2、またはD
y=(DT'y+DB'y)/2、Dz=(DR'z+DL'z)/
2となる。この方法は、瞳孔部117が楕円であるとみ
なされる場合でも有効である。
【0036】次に角膜曲率中心位置Cの求め方について
述べる。角膜曲率中心位置Cは、図9に示すように、視
線検出用光源S1とこの視線検出用光源S1によって生
じるプルキンエ第一像P1を結ぶ直線と、視線検出用光
源S2とこの視線検出用光源S2によって生じるプルキ
ンエ第一像P2を結ぶ直線との交点であるから、実空間
座標における角膜曲率中心位置Cの空間座標(Cx,C
y,Cz)は、視線検出用光源S1:(S1x,S1y,
S1z)、視線検出用光源S2:(S2x,S2y,S2
z)、視線検出用光源S1によるプルキンエ第1像P
1:(P1x,P1y,P1z)、視線検出用光源S2よ
るプルキンエ第1像P2:(P2x,P2y,P2z)の
それぞれの空間座標を用いて、
述べる。角膜曲率中心位置Cは、図9に示すように、視
線検出用光源S1とこの視線検出用光源S1によって生
じるプルキンエ第一像P1を結ぶ直線と、視線検出用光
源S2とこの視線検出用光源S2によって生じるプルキ
ンエ第一像P2を結ぶ直線との交点であるから、実空間
座標における角膜曲率中心位置Cの空間座標(Cx,C
y,Cz)は、視線検出用光源S1:(S1x,S1y,
S1z)、視線検出用光源S2:(S2x,S2y,S2
z)、視線検出用光源S1によるプルキンエ第1像P
1:(P1x,P1y,P1z)、視線検出用光源S2よ
るプルキンエ第1像P2:(P2x,P2y,P2z)の
それぞれの空間座標を用いて、
【数10】 Cx=(S1xP1z(S2x-P2x)-S2xP2z(S1x-P1x)-S1zP1x(S2x-P2x)+S2zP2x(S1x-P1x)) /((S1x-P1x)×(S2z-P2z)-(S2x-P2x)×(S1z-P1z)) (20) Cy=(S1yP1x(S2y-P2y)-S2yP2x(S1y-P1y)-S1xP1y(S2y-P2y)+S2xP2y(S1y-P1y)) /((S1y-P1y)×(S2x-P2x)-(S2y-P2y)×(S1x-P1x)) (21) Cz=(S1zP1x(S2z-P2z)-S2zP2x(S1z-P1z)-S1xP1z(S2z-P2z)+S2xP2z(S1z-P1z)) /((S1z-P1z)×(S2x-P2x)-(S2z-P2z)×(S1x-P1x)) (22) と表すことができる。但し、角膜曲率中心Cが第1の視
線検出用光源S1と第2の視線検出用光源S2を通る直
線上に観察される時など、(20)〜(22)式の分母がゼ
ロになってしまうことがある。この時は、例えば(2
0)、(22)式ではX座標値とZ座標値のみで角膜曲率
中心位置Cを表していたが、X座標値とY座標値を用い
て角膜曲率中心位置Cを計算することになる。
線検出用光源S1と第2の視線検出用光源S2を通る直
線上に観察される時など、(20)〜(22)式の分母がゼ
ロになってしまうことがある。この時は、例えば(2
0)、(22)式ではX座標値とZ座標値のみで角膜曲率
中心位置Cを表していたが、X座標値とY座標値を用い
て角膜曲率中心位置Cを計算することになる。
【0037】ここに、視線検出用光源S1:(S1x,
S1y,S1z)および視線検出用光源S2:(S2x,
S2y,S2z)の空間座標は実空間座標系内で予め定
められた固定値であり、また、プルキンエ第1像P1:
(P1x,P1y,P1z)およびプルキンエ第1像P
2:(P2x,P2y,P2z)の空間座標は、上述のご
とく、一対の光電変換素子107、108の受光面上に
結像されたそれぞれのプルキンエ第1像P1、P2の位
置から求めることができる。よって、実空間座標系にお
ける角膜曲率中心位置Cと瞳孔中心位置Dの座標を求め
ることができたので、眼球回転角θ、φ、および角膜曲
率中心位置Cと瞳孔中心位置Dとの距離A−ρが求ま
る。
S1y,S1z)および視線検出用光源S2:(S2x,
S2y,S2z)の空間座標は実空間座標系内で予め定
められた固定値であり、また、プルキンエ第1像P1:
(P1x,P1y,P1z)およびプルキンエ第1像P
2:(P2x,P2y,P2z)の空間座標は、上述のご
とく、一対の光電変換素子107、108の受光面上に
結像されたそれぞれのプルキンエ第1像P1、P2の位
置から求めることができる。よって、実空間座標系にお
ける角膜曲率中心位置Cと瞳孔中心位置Dの座標を求め
ることができたので、眼球回転角θ、φ、および角膜曲
率中心位置Cと瞳孔中心位置Dとの距離A−ρが求ま
る。
【0038】(2) 各実施例の具体的説明 −第1実施例− 第1実施例は、図2および図3で示した視線検出装置に
適用される。本実施例の特徴は、実空間座標系における
角膜曲率中心位置Cと瞳孔中心位置Dの空間位置を一度
算出した後は、視線検出動作を継続している間は角膜曲
率中心位置Cと瞳孔中心位置Dとの距離A−ρを保持
し、この距離A−ρおよび一方の光電変換素子107
(または光電変換素子108)により算出された角膜曲
率中心位置Cと瞳孔中心位置Dの観察平面座標系におけ
る平面位置を用いて視線検出を行う点である。
適用される。本実施例の特徴は、実空間座標系における
角膜曲率中心位置Cと瞳孔中心位置Dの空間位置を一度
算出した後は、視線検出動作を継続している間は角膜曲
率中心位置Cと瞳孔中心位置Dとの距離A−ρを保持
し、この距離A−ρおよび一方の光電変換素子107
(または光電変換素子108)により算出された角膜曲
率中心位置Cと瞳孔中心位置Dの観察平面座標系におけ
る平面位置を用いて視線検出を行う点である。
【0039】図10および図11は、本実施例の視線検
出装置による視線検出演算を示すフローチャートであ
る。まず、ステップS101では、一対の視線検出用光
源104a、104bにより観察者の眼球102を照明
し、この光源104a、104bによって照明された眼
球102の反射像を一対の光電変換素子107、108
の受光面上に結像させて取り込む。取り込んだ画像の出
力値は、中央処理装置111のメモリに一時的に保持さ
れる。
出装置による視線検出演算を示すフローチャートであ
る。まず、ステップS101では、一対の視線検出用光
源104a、104bにより観察者の眼球102を照明
し、この光源104a、104bによって照明された眼
球102の反射像を一対の光電変換素子107、108
の受光面上に結像させて取り込む。取り込んだ画像の出
力値は、中央処理装置111のメモリに一時的に保持さ
れる。
【0040】ステップS102では、光電変換素子10
7、108で受光された観察者の眼球102の反射像デ
ータを中央処理装置111のメモリから読み出し、虹彩
116と瞳孔部117との境界118のうち、光電変換
素子107の受光面上における左端の点DLi、右端の
点DRi、上端の点DTi、下端の点DBiの四点を読み
取るとともに、光電変換素子108の受光面上における
左端の点DLj、右端の点DRj、上端の点DTj、下端
の点DBjの4点を読み取る。ステップS103では、
ステップS102で読み取った点DLi、DLjから実空
間座標系における虹彩116と瞳孔部117との境界1
18の左端DLの空間位置を算出し、DRi、DRjから
実空間座標系における境界118の右端DRの空間位置
を算出し、DTi、DTjから実空間座標系における境界
118の上端DTの空間位置を算出し、DBi、DBjか
ら実空間座標系における境界118の下端DBの空間位
置をそれぞれ算出する。ステップS104では、4点D
L、DR、DT、DBの空間位置から瞳孔中心の空間位置D
を求める。瞳孔中心Dの実空間座標系での空間位置は、
上述のごとくDx=(DLx+DRx)/2、Dy=(DLy
+DRy)/2、Dz=(DTz+DBz)/2となる。
7、108で受光された観察者の眼球102の反射像デ
ータを中央処理装置111のメモリから読み出し、虹彩
116と瞳孔部117との境界118のうち、光電変換
素子107の受光面上における左端の点DLi、右端の
点DRi、上端の点DTi、下端の点DBiの四点を読み
取るとともに、光電変換素子108の受光面上における
左端の点DLj、右端の点DRj、上端の点DTj、下端
の点DBjの4点を読み取る。ステップS103では、
ステップS102で読み取った点DLi、DLjから実空
間座標系における虹彩116と瞳孔部117との境界1
18の左端DLの空間位置を算出し、DRi、DRjから
実空間座標系における境界118の右端DRの空間位置
を算出し、DTi、DTjから実空間座標系における境界
118の上端DTの空間位置を算出し、DBi、DBjか
ら実空間座標系における境界118の下端DBの空間位
置をそれぞれ算出する。ステップS104では、4点D
L、DR、DT、DBの空間位置から瞳孔中心の空間位置D
を求める。瞳孔中心Dの実空間座標系での空間位置は、
上述のごとくDx=(DLx+DRx)/2、Dy=(DLy
+DRy)/2、Dz=(DTz+DBz)/2となる。
【0041】ステップS105では、中央処理装置11
1のメモリから観察者の眼球102の反射像データを読
み出し、2つのプルキンエ第一像の位置P1i、P2
i、P1j、P2jの観察平面座標系における座標値を
読み取る。ステップS106では、ステップS105で
読み取った一方のプルキンエ第一像の位置P1i、P1
jから実空間座標系におけるプルキンエ第一像の空間位
置P1:(P1x,P1y,P1z)を、他方のプルキン
エ第一像の位置P2i、P2jから実空間座標系におけ
るプルキンエ第一像の空間位置P2:(P2x,P2
y,P2z)を算出する。ステップS107では、ステ
ップS106で算出した実空間座標系におけるプルキン
エ第一像の空間位置P1、P2と、予め与えられた二つ
の視線検出用光源104a、104bの空間位置S1、
S2を(20)〜(22)式に代入して実空間座標系におけ
る角膜曲率中心Cの空間位置を求める。
1のメモリから観察者の眼球102の反射像データを読
み出し、2つのプルキンエ第一像の位置P1i、P2
i、P1j、P2jの観察平面座標系における座標値を
読み取る。ステップS106では、ステップS105で
読み取った一方のプルキンエ第一像の位置P1i、P1
jから実空間座標系におけるプルキンエ第一像の空間位
置P1:(P1x,P1y,P1z)を、他方のプルキン
エ第一像の位置P2i、P2jから実空間座標系におけ
るプルキンエ第一像の空間位置P2:(P2x,P2
y,P2z)を算出する。ステップS107では、ステ
ップS106で算出した実空間座標系におけるプルキン
エ第一像の空間位置P1、P2と、予め与えられた二つ
の視線検出用光源104a、104bの空間位置S1、
S2を(20)〜(22)式に代入して実空間座標系におけ
る角膜曲率中心Cの空間位置を求める。
【0042】ステップS108では、(17)式を用いて
瞳孔中心位置Dと角膜曲率中心位置Cとの間の距離A−
ρを算出し、ステップS109では、ステップS108
で算出された距離A−ρを中央処理装置111のメモリ
に保持させる。
瞳孔中心位置Dと角膜曲率中心位置Cとの間の距離A−
ρを算出し、ステップS109では、ステップS108
で算出された距離A−ρを中央処理装置111のメモリ
に保持させる。
【0043】ステップS110では、中央処理装置11
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS104で求まった瞳孔中
心位置のZ座標Dzと、ステップS107で求まった角
膜中心位置のZ座標Czとを(19)式に代入して眼球回
転角φを算出する。同様に、ステップS111では、中
央処理装置111のメモリ内に保持されている距離A−
ρと、ステップS104で求まった瞳孔中心位置のX座
標Dxと、ステップS107で求まった角膜中心位置の
X座標Cxと、ステップS110で算出したφを(18)
式に代入して眼球回転角θを算出する。
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS104で求まった瞳孔中
心位置のZ座標Dzと、ステップS107で求まった角
膜中心位置のZ座標Czとを(19)式に代入して眼球回
転角φを算出する。同様に、ステップS111では、中
央処理装置111のメモリ内に保持されている距離A−
ρと、ステップS104で求まった瞳孔中心位置のX座
標Dxと、ステップS107で求まった角膜中心位置の
X座標Cxと、ステップS110で算出したφを(18)
式に代入して眼球回転角θを算出する。
【0044】次に、図11のステップS112では、視
線検出を引続き行うか否かが判定され、判定が肯定され
るとステップS113へ進み、判定が否定されると図1
0および図11のフローチャートを終了する。視線検出
を引き続き行うか否かの判定は、たとえば観察者が引き
続き観察画面101を観察しているかどうか、観察者が
視線検出装置のメインスイッチをオフしたかどうかなど
により行われる(具体例は後述の実施例で述べる)。
線検出を引続き行うか否かが判定され、判定が肯定され
るとステップS113へ進み、判定が否定されると図1
0および図11のフローチャートを終了する。視線検出
を引き続き行うか否かの判定は、たとえば観察者が引き
続き観察画面101を観察しているかどうか、観察者が
視線検出装置のメインスイッチをオフしたかどうかなど
により行われる(具体例は後述の実施例で述べる)。
【0045】ステップS113では、一対の視線検出用
光源104a、104bにより観察者の眼球102を照
明し、この光源104a、104bによって照明された
眼球102の反射像を一方の光電変換素子107の受光
面上に結像させて取り込む。取り込んだ画像の出力値
は、中央処理装置111のメモリに一時的に保持され
る。
光源104a、104bにより観察者の眼球102を照
明し、この光源104a、104bによって照明された
眼球102の反射像を一方の光電変換素子107の受光
面上に結像させて取り込む。取り込んだ画像の出力値
は、中央処理装置111のメモリに一時的に保持され
る。
【0046】ステップS114では、一方の光電変換素
子107で受光された観察者の眼球102の反射像デー
タを中央処理装置111のメモリから読み出し、虹彩1
16と瞳孔部117との境界118のうち、光電変換素
子107の受光面上における左端の点DLi、右端の点
DRi、上端の点DTi、下端の点DBiの四点を読み取
る。ステップS115では、ステップS114で読み取
った四点DLi、DRi、DTi、DBiのうち左右の点D
Li,DRiの座標値から瞳孔中心位置DのX座標Dx=
(DLix+DRxi)/2を求め、また上下の点DTi、
DBiの座標値から瞳孔中心位置のZ座標Dz=(DTi
z+DBiz)/2を算出する。
子107で受光された観察者の眼球102の反射像デー
タを中央処理装置111のメモリから読み出し、虹彩1
16と瞳孔部117との境界118のうち、光電変換素
子107の受光面上における左端の点DLi、右端の点
DRi、上端の点DTi、下端の点DBiの四点を読み取
る。ステップS115では、ステップS114で読み取
った四点DLi、DRi、DTi、DBiのうち左右の点D
Li,DRiの座標値から瞳孔中心位置DのX座標Dx=
(DLix+DRxi)/2を求め、また上下の点DTi、
DBiの座標値から瞳孔中心位置のZ座標Dz=(DTi
z+DBiz)/2を算出する。
【0047】ステップS116では、中央処理装置11
1のメモリから一方の光電変換素子107により受光さ
れた観察者の眼球102の反射像データを読み出し、2
つのプルキンエ第一像の位置P1i、P2iの観察平面
座標系における座標値を読み取る。ステップS117で
は、ステップS116で読み取った観察平面座標系にお
けるプルキンエ第一像の位置P1i、P2iと、予め与
えられた二つの視線検出用光源104a、104bの位
置S1、S2と(20)、(22)式に代入し、角膜曲率中
心CのX座標Cx、Z座標Czを求める。
1のメモリから一方の光電変換素子107により受光さ
れた観察者の眼球102の反射像データを読み出し、2
つのプルキンエ第一像の位置P1i、P2iの観察平面
座標系における座標値を読み取る。ステップS117で
は、ステップS116で読み取った観察平面座標系にお
けるプルキンエ第一像の位置P1i、P2iと、予め与
えられた二つの視線検出用光源104a、104bの位
置S1、S2と(20)、(22)式に代入し、角膜曲率中
心CのX座標Cx、Z座標Czを求める。
【0048】ステップS118では、中央処理装置11
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS115で求まった瞳孔中
心位置のZ座標Dzと、ステップS117で求まった角
膜中心位置のZ座標Czとを(19)式に代入して眼球回
転角φを算出する。同様に、ステップS119では、中
央処理装置111のメモリ内に保持されている距離A−
ρと、ステップS115で求まった瞳孔中心位置のX座
標Dxと、ステップS117で求まった角膜中心位置の
X座標Cxと、ステップS118で算出したφとを(1
8)式に代入して眼球回転角θを算出する。
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS115で求まった瞳孔中
心位置のZ座標Dzと、ステップS117で求まった角
膜中心位置のZ座標Czとを(19)式に代入して眼球回
転角φを算出する。同様に、ステップS119では、中
央処理装置111のメモリ内に保持されている距離A−
ρと、ステップS115で求まった瞳孔中心位置のX座
標Dxと、ステップS117で求まった角膜中心位置の
X座標Cxと、ステップS118で算出したφとを(1
8)式に代入して眼球回転角θを算出する。
【0049】ステップS120では、更に視線検出を引
き続き行うかを決定し、引続き行う場合はステップS1
13へ戻り、そうでない場合は図10および図11のフ
ローチャートに示す視線検出を終了する。
き続き行うかを決定し、引続き行う場合はステップS1
13へ戻り、そうでない場合は図10および図11のフ
ローチャートに示す視線検出を終了する。
【0050】以上の手順により、瞳孔中心Dの空間位置
および角膜曲率中心Cの空間位置を求めて個体差を有す
るA−ρという値を直接算出することができ、これによ
り観察者の眼球回転角θ、φ、ひいては観察者の眼球1
02の視線方向を正確に求めることができる。加えて、
本実施例では、一度瞳孔中心Dの空間位置および角膜曲
率中心Cの空間位置を求めて個体差を有するA−ρとい
う値を直接算出した後は、算出したA−ρをメモリ内に
記憶させ、その後は一方の光電変換素子107のみを用
いて視線検出を行っているので、演算すべきパラメータ
を削減できて視線検出演算の高速化を図ることができ
る。距離A−ρは観察者の眼球102に固有の値であ
り、観察者が交代しないかぎりは同一のA−ρを使用し
て視線検出演算を行うことができる。
および角膜曲率中心Cの空間位置を求めて個体差を有す
るA−ρという値を直接算出することができ、これによ
り観察者の眼球回転角θ、φ、ひいては観察者の眼球1
02の視線方向を正確に求めることができる。加えて、
本実施例では、一度瞳孔中心Dの空間位置および角膜曲
率中心Cの空間位置を求めて個体差を有するA−ρとい
う値を直接算出した後は、算出したA−ρをメモリ内に
記憶させ、その後は一方の光電変換素子107のみを用
いて視線検出を行っているので、演算すべきパラメータ
を削減できて視線検出演算の高速化を図ることができ
る。距離A−ρは観察者の眼球102に固有の値であ
り、観察者が交代しないかぎりは同一のA−ρを使用し
て視線検出演算を行うことができる。
【0051】なお、ステップS104においては、Dy
=(DTy+DBy)/2を用いても計算できるし、ステッ
プS113〜19においては、他方の光電変換素子10
8により受光された観察者の眼球102の反射像のみを
用いて同様に眼球回転角を求めることもできる。
=(DTy+DBy)/2を用いても計算できるし、ステッ
プS113〜19においては、他方の光電変換素子10
8により受光された観察者の眼球102の反射像のみを
用いて同様に眼球回転角を求めることもできる。
【0052】−第2実施例− 第2実施例も、図2および図3で示した視線検出装置に
適用される。本実施例では、第1実施例と異なる方法で
表現された眼球回転角を用いて視線検出演算を行ってい
る。
適用される。本実施例では、第1実施例と異なる方法で
表現された眼球回転角を用いて視線検出演算を行ってい
る。
【0053】すなわち本実施例では、図12に示すよう
に、眼球回転角θのかわりに後述のように定義される眼
球回転角Θを用いて視線検出演算を行っている。眼球回
転角θは、眼球回転中心O''と角膜曲率中心Cを結ぶ線
分O''CをX−Y平面に平行な面上に射影した線分とY
軸とのなす角であったが、新たに設定する眼球回転角Θ
は、線分O''Cと、前記線分O''CをY−Z平面に平行
な面上に射影した線分とのなす角である。観察者の眼球
102がY軸の正の方向を向いていれば、眼球回転角
Θ,φ,A−ρの三個のパラメータで、観察者の眼球1
02の向いている方向を一義的に現すことができる。
に、眼球回転角θのかわりに後述のように定義される眼
球回転角Θを用いて視線検出演算を行っている。眼球回
転角θは、眼球回転中心O''と角膜曲率中心Cを結ぶ線
分O''CをX−Y平面に平行な面上に射影した線分とY
軸とのなす角であったが、新たに設定する眼球回転角Θ
は、線分O''Cと、前記線分O''CをY−Z平面に平行
な面上に射影した線分とのなす角である。観察者の眼球
102がY軸の正の方向を向いていれば、眼球回転角
Θ,φ,A−ρの三個のパラメータで、観察者の眼球1
02の向いている方向を一義的に現すことができる。
【0054】この時、眼球回転角Θ,φは、
【数11】 Θ=sin-1((Dx−Cx)/(A−ρ)) (23) φ=sin-1((Dz−Cz)/(A−ρ)) (24) と表すことができる。以上定義したような眼球回転角
Θ,φを用いると、上述の第1実施例のように眼球回転
角θ,φを求める場合はφを求めてからθを求める必要
があったのに対し、眼球回転角Θ,φを求める場合はΘ
とφを独立に求められるという利点がある。
Θ,φを用いると、上述の第1実施例のように眼球回転
角θ,φを求める場合はφを求めてからθを求める必要
があったのに対し、眼球回転角Θ,φを求める場合はΘ
とφを独立に求められるという利点がある。
【0055】図13および図14は本実施例の視線検出
装置による視線検出演算を示すフローチャートである。
なお、図13および図14に示すフローチャートの各ス
テップの内容は図10および図11と同様であるので、
その説明を簡単に行う。まず、ステップS151では、
一対の視線検出用光源104a、104bによって照明
された眼球102の反射像を一対の光電変換素子10
7、108の受光面上に結像させて取り込み、中央処理
装置111のメモリに一時的に保持する。
装置による視線検出演算を示すフローチャートである。
なお、図13および図14に示すフローチャートの各ス
テップの内容は図10および図11と同様であるので、
その説明を簡単に行う。まず、ステップS151では、
一対の視線検出用光源104a、104bによって照明
された眼球102の反射像を一対の光電変換素子10
7、108の受光面上に結像させて取り込み、中央処理
装置111のメモリに一時的に保持する。
【0056】ステップS152では、両方の光電変換素
子107、108で受光された観察者の眼球102の反
射像データを中央処理装置111のメモリから読み出
し、光電変換素子107の受光面上におけるDLi、DR
i、DTi、DBiの4点および光電変換素子108の受
光面上におけるDLj、DRj、DTj、点DBjの4点を
それぞれ読み取る。ステップS153では、ステップS
102で読み取った各点から実空間座標系における虹彩
116と瞳孔部117との境界118の4点DL、DR、
DT、DBの空間位置をそれぞれ算出する。ステップS1
54では、4点DL、DR、DT、DBの空間位置から瞳孔
中心の空間位置Dを求める。
子107、108で受光された観察者の眼球102の反
射像データを中央処理装置111のメモリから読み出
し、光電変換素子107の受光面上におけるDLi、DR
i、DTi、DBiの4点および光電変換素子108の受
光面上におけるDLj、DRj、DTj、点DBjの4点を
それぞれ読み取る。ステップS153では、ステップS
102で読み取った各点から実空間座標系における虹彩
116と瞳孔部117との境界118の4点DL、DR、
DT、DBの空間位置をそれぞれ算出する。ステップS1
54では、4点DL、DR、DT、DBの空間位置から瞳孔
中心の空間位置Dを求める。
【0057】ステップS155では、中央処理装置11
1のメモリから観察者の眼球102の反射像データを読
み出し、2つのプルキンエ第一像の位置P1i、P2
i、P1j、P2jの観察平面座標系における座標値を
読み取る。ステップS156では、ステップS155で
読み取った一方のプルキンエ第一像の位置P1i、P1
j、P2i、P2jから実空間座標系におけるプルキン
エ第一像の空間位置P1、P2を算出する。ステップS
107では、ステップS106で算出した実空間座標系
におけるプルキンエ第一像の空間位置P1、P2と、予
め与えられた二つの視線検出用光源104a、104b
の空間位置S1、S2を(20)〜(22)式に代入して実
空間座標系における角膜曲率中心Cの空間位置を求め
る。
1のメモリから観察者の眼球102の反射像データを読
み出し、2つのプルキンエ第一像の位置P1i、P2
i、P1j、P2jの観察平面座標系における座標値を
読み取る。ステップS156では、ステップS155で
読み取った一方のプルキンエ第一像の位置P1i、P1
j、P2i、P2jから実空間座標系におけるプルキン
エ第一像の空間位置P1、P2を算出する。ステップS
107では、ステップS106で算出した実空間座標系
におけるプルキンエ第一像の空間位置P1、P2と、予
め与えられた二つの視線検出用光源104a、104b
の空間位置S1、S2を(20)〜(22)式に代入して実
空間座標系における角膜曲率中心Cの空間位置を求め
る。
【0058】ステップS158では、(17)式を用いて
瞳孔中心位置Dと角膜曲率中心位置Cとの間の距離A−
ρを算出し、ステップS159では、ステップS158
で算出された距離A−ρを中央処理装置111のメモリ
に保持させる。
瞳孔中心位置Dと角膜曲率中心位置Cとの間の距離A−
ρを算出し、ステップS159では、ステップS158
で算出された距離A−ρを中央処理装置111のメモリ
に保持させる。
【0059】ステップS160では、中央処理装置11
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS154で求まった瞳孔中
心位置のX座標およびZ座標Dx、Dzと、ステップS
157で求まった角膜中心位置のX座標およびZ座標C
x、Czとを(23)、(24)式に代入して眼球回転角
Θ、φを算出する。
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS154で求まった瞳孔中
心位置のX座標およびZ座標Dx、Dzと、ステップS
157で求まった角膜中心位置のX座標およびZ座標C
x、Czとを(23)、(24)式に代入して眼球回転角
Θ、φを算出する。
【0060】ついで、図14のステップS161では、
視線検出を引続き行うか否かが判定され、判定が肯定さ
れるとステップS162へ進み、判定が否定されると図
13および図14のフローチャートを終了する。視線検
出を引き続き行うか否かの判定は、上述の第1実施例と
同様に、たとえば観察者が引き続き観察画面101を観
察しているかどうかなどにより行われる。
視線検出を引続き行うか否かが判定され、判定が肯定さ
れるとステップS162へ進み、判定が否定されると図
13および図14のフローチャートを終了する。視線検
出を引き続き行うか否かの判定は、上述の第1実施例と
同様に、たとえば観察者が引き続き観察画面101を観
察しているかどうかなどにより行われる。
【0061】ステップS162では、一対の視線検出用
光源104a、104bによって照明された眼球102
の反射像を一方の光電変換素子107により取り込み、
中央処理装置111のメモリに一時的に保持する。
光源104a、104bによって照明された眼球102
の反射像を一方の光電変換素子107により取り込み、
中央処理装置111のメモリに一時的に保持する。
【0062】ステップS163では、一方の光電変換素
子107で受光された観察者の眼球102の反射像デー
タを中央処理装置111のメモリから読み出し、その受
光面上におけるDLi、DRi、DTi、DBiの四点を読
み取る。ステップS164では、ステップS114で読
み取った四点DLi、DRi、DTi、DBiから、瞳孔中
心位置DのX座標Dx=(DLix+DRxi)/2および
Z座標Dz=(DTiz+DBiz)/2を算出する。
子107で受光された観察者の眼球102の反射像デー
タを中央処理装置111のメモリから読み出し、その受
光面上におけるDLi、DRi、DTi、DBiの四点を読
み取る。ステップS164では、ステップS114で読
み取った四点DLi、DRi、DTi、DBiから、瞳孔中
心位置DのX座標Dx=(DLix+DRxi)/2および
Z座標Dz=(DTiz+DBiz)/2を算出する。
【0063】ステップS165では、中央処理装置11
1のメモリから一方の光電変換素子107により受光さ
れた観察者の眼球102の反射像データを読み出し、2
つのプルキンエ第一像の位置P1i、P2iの観察平面
座標系における座標値を読み取る。ステップS166で
は、ステップS165で読み取った観察平面座標系にお
けるプルキンエ第一像の位置P1i、P2iと、予め与
えられた二つの視線検出用光源104a、104bの位
置S1、S2と(20)、(22)式に代入し、角膜曲率中
心CのX座標Cx、Z座標Czを求める。
1のメモリから一方の光電変換素子107により受光さ
れた観察者の眼球102の反射像データを読み出し、2
つのプルキンエ第一像の位置P1i、P2iの観察平面
座標系における座標値を読み取る。ステップS166で
は、ステップS165で読み取った観察平面座標系にお
けるプルキンエ第一像の位置P1i、P2iと、予め与
えられた二つの視線検出用光源104a、104bの位
置S1、S2と(20)、(22)式に代入し、角膜曲率中
心CのX座標Cx、Z座標Czを求める。
【0064】ステップS167では、中央処理装置11
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS164で求まった瞳孔中
心位置のX座標およびZ座標Dx、Dzと、ステップS
166で求まった角膜中心位置のX座標およびZ座標C
x、Czとを(23)、(24)式に代入して眼球回転角
Θ、φを算出する。
1のメモリ内に保持されている距離A−ρを読み出し、
この距離A−ρと、ステップS164で求まった瞳孔中
心位置のX座標およびZ座標Dx、Dzと、ステップS
166で求まった角膜中心位置のX座標およびZ座標C
x、Czとを(23)、(24)式に代入して眼球回転角
Θ、φを算出する。
【0065】ステップS168では、更に視線検出を引
き続き行うかを決定し、引続き行う場合はステップS1
62へ戻り、そうでない場合は図13および図14のフ
ローチャートに示す視線検出を終了する。
き続き行うかを決定し、引続き行う場合はステップS1
62へ戻り、そうでない場合は図13および図14のフ
ローチャートに示す視線検出を終了する。
【0066】以上の手順により、瞳孔中心Dの空間位置
および角膜曲率中心Cの空間位置を求めて個体差を有す
るA−ρという値を直接算出することができ、これによ
り、上述の第1実施例と同様に観察者の眼球回転角Θ、
φ、ひいては観察者の眼球102の視線方向を正確に求
めることができる。加えて、本実施例でも、一度瞳孔中
心Dの空間位置および角膜曲率中心Cの空間位置を求め
て個体差を有するA−ρという値を直接算出した後は、
一方の光電変換素子107のみを用いて視線検出を行っ
ているので、演算すべきパラメータを削減できて視線検
出演算の高速化を図ることができる。
および角膜曲率中心Cの空間位置を求めて個体差を有す
るA−ρという値を直接算出することができ、これによ
り、上述の第1実施例と同様に観察者の眼球回転角Θ、
φ、ひいては観察者の眼球102の視線方向を正確に求
めることができる。加えて、本実施例でも、一度瞳孔中
心Dの空間位置および角膜曲率中心Cの空間位置を求め
て個体差を有するA−ρという値を直接算出した後は、
一方の光電変換素子107のみを用いて視線検出を行っ
ているので、演算すべきパラメータを削減できて視線検
出演算の高速化を図ることができる。
【0067】なお、ステップS154においては、Dy
=(DTy+DBy)/2を用いても計算できるし、ステッ
プS162〜167においては、他方の光電変換素子1
08に受光された観察者の眼球102の反射像のみを用
いても同様に眼球回転角Θ、φを求めることができる。
=(DTy+DBy)/2を用いても計算できるし、ステッ
プS162〜167においては、他方の光電変換素子1
08に受光された観察者の眼球102の反射像のみを用
いても同様に眼球回転角Θ、φを求めることができる。
【0068】(3) カメラへの適用例 次に、本発明による視線検出装置を一眼レフレックスカ
メラ(以下単にカメラという)に搭載した場合の実施例
を述べる。
メラ(以下単にカメラという)に搭載した場合の実施例
を述べる。
【0069】−第3実施例− 図15は、図2に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略構成図である。図15におい
て、201は便宜上1枚のレンズで示してあるが、実際
は複数のレンズからなる撮影レンズ、202はクイック
リターンミラー、203は表示装置、204は焦点板、
205はコンデンサーレンズ、206はペンタプリズ
ム、207は便宜上1枚のレンズで示してあるが、実際
は複数のレンズからなる場合もある接眼レンズである。
208は接眼部から内部にほこりや水滴等が入るのを防
止する、度を持たない接眼ガラス、209は観察者の眼
球、210aは視線検出用光源のうちの1灯であり、接
眼ガラス208の周囲から直接観察者の眼球209を照
射する位置に配置されている。他に図示しない視線検出
用光源が、視線検出用光源210aと同様に接眼ガラス
208の周囲から直接観察者の眼球209を照射する位
置に1灯以上配置されている。本実施例のようにカメラ
に搭載する場合、視線検出用光源210aは、赤外発光
ダイオードのように眼に見えない波長域の光を発光する
光源を使用することが望ましい。211aは後述の光電
変換素子のそれぞれに対応して設けられた複数の結像レ
ンズのうちの1つ、212aは複数の光電変換素子のう
ちの1つであり、CCDのような面受光素子が適してい
る。他に図示しない結像レンズ、光電変換素子が同様に
接眼ガラス208の周囲にそれぞれ1個以上配置されて
いる。
た場合の実施例を示す概略構成図である。図15におい
て、201は便宜上1枚のレンズで示してあるが、実際
は複数のレンズからなる撮影レンズ、202はクイック
リターンミラー、203は表示装置、204は焦点板、
205はコンデンサーレンズ、206はペンタプリズ
ム、207は便宜上1枚のレンズで示してあるが、実際
は複数のレンズからなる場合もある接眼レンズである。
208は接眼部から内部にほこりや水滴等が入るのを防
止する、度を持たない接眼ガラス、209は観察者の眼
球、210aは視線検出用光源のうちの1灯であり、接
眼ガラス208の周囲から直接観察者の眼球209を照
射する位置に配置されている。他に図示しない視線検出
用光源が、視線検出用光源210aと同様に接眼ガラス
208の周囲から直接観察者の眼球209を照射する位
置に1灯以上配置されている。本実施例のようにカメラ
に搭載する場合、視線検出用光源210aは、赤外発光
ダイオードのように眼に見えない波長域の光を発光する
光源を使用することが望ましい。211aは後述の光電
変換素子のそれぞれに対応して設けられた複数の結像レ
ンズのうちの1つ、212aは複数の光電変換素子のう
ちの1つであり、CCDのような面受光素子が適してい
る。他に図示しない結像レンズ、光電変換素子が同様に
接眼ガラス208の周囲にそれぞれ1個以上配置されて
いる。
【0070】図16は、本実施例によるカメラのファイ
ンダー部の拡大図であり、視線検出用光源と結像レン
ズ、光電変換素子の配置の一例を示している。図16に
おいて、210aおよび210bは視線検出用光源、2
11aおよび211bは結像レンズである。それぞれの
結像レンズ211a、211bに対して、その後方(図
中で紙面の奥)に図示しない光電変換素子が1つずつ配
置されている。220はファインダー接眼窓、221は
接眼目当て、222はファインダー本体、223はクリ
ップオン式のアクセサリーシュー、224はアイピース
シャターレバーである。
ンダー部の拡大図であり、視線検出用光源と結像レン
ズ、光電変換素子の配置の一例を示している。図16に
おいて、210aおよび210bは視線検出用光源、2
11aおよび211bは結像レンズである。それぞれの
結像レンズ211a、211bに対して、その後方(図
中で紙面の奥)に図示しない光電変換素子が1つずつ配
置されている。220はファインダー接眼窓、221は
接眼目当て、222はファインダー本体、223はクリ
ップオン式のアクセサリーシュー、224はアイピース
シャターレバーである。
【0071】次に、本実施例の視線検出装置による視線
検出の具体的手順について、図20のフローチャートを
用いて説明する。図20に示すフローチャートでは、視
線を検出する意味がなくなるか、または視線を検出する
ことが不可能になるほど観察者の眼球209がファイン
ダー接眼窓220から遠ざかった場合に視線検出動作を
終了し、A−ρをメモリ内に保持する動作を終了してい
る。
検出の具体的手順について、図20のフローチャートを
用いて説明する。図20に示すフローチャートでは、視
線を検出する意味がなくなるか、または視線を検出する
ことが不可能になるほど観察者の眼球209がファイン
ダー接眼窓220から遠ざかった場合に視線検出動作を
終了し、A−ρをメモリ内に保持する動作を終了してい
る。
【0072】図20に示すフローチャートは、カメラの
レリーズボタンの半押しによってオンされる不図示のス
イッチSW1のオン判定により開始する。ステップS2
01では、図10のステップS101と同様に、一対の
視線検出用光源210a、210bにより観察者の眼球
209を照明し、この光源210a、210bによって
照明された眼球209の反射像を一対の光電変換素子の
受光面上に結像させて取り込む。さらに、この眼球20
9の反射像から観察者がファインダー接眼窓220を覗
いているか否かを判定し、判定が肯定されるとステップ
S202へ進み、判定が否定されると視線検出動作を終
了し、視線検出を行わないカメラの制御手段でカメラの
制御を行う。観察者がファインダ接眼窓220を覗いて
いるか否かの判定は、たとえばプルキンエ第一像や虹彩
と瞳孔との境界反射像が検出できるか否かによって行え
ばよい。
レリーズボタンの半押しによってオンされる不図示のス
イッチSW1のオン判定により開始する。ステップS2
01では、図10のステップS101と同様に、一対の
視線検出用光源210a、210bにより観察者の眼球
209を照明し、この光源210a、210bによって
照明された眼球209の反射像を一対の光電変換素子の
受光面上に結像させて取り込む。さらに、この眼球20
9の反射像から観察者がファインダー接眼窓220を覗
いているか否かを判定し、判定が肯定されるとステップ
S202へ進み、判定が否定されると視線検出動作を終
了し、視線検出を行わないカメラの制御手段でカメラの
制御を行う。観察者がファインダ接眼窓220を覗いて
いるか否かの判定は、たとえばプルキンエ第一像や虹彩
と瞳孔との境界反射像が検出できるか否かによって行え
ばよい。
【0073】ステップS202では、図10のステップ
S102〜S108と同様に、光電変換素子により観察
された眼球209の反射像から瞳孔中心Dおよび角膜曲
率中心Cの空間位置、瞳孔中心Dと角膜曲率中心Cとの
距離A−ρを算出し、ステップS203では、図10の
ステップS109と同様に、ステップS202で算出さ
れた瞳孔中心Dと角膜曲率中心Cとの距離A−ρを中央
処理装置111のメモリに一時的に保持する。
S102〜S108と同様に、光電変換素子により観察
された眼球209の反射像から瞳孔中心Dおよび角膜曲
率中心Cの空間位置、瞳孔中心Dと角膜曲率中心Cとの
距離A−ρを算出し、ステップS203では、図10の
ステップS109と同様に、ステップS202で算出さ
れた瞳孔中心Dと角膜曲率中心Cとの距離A−ρを中央
処理装置111のメモリに一時的に保持する。
【0074】ステップS204では、図10のステップ
S110、S111と同様に、ステップS202で算出
された瞳孔中心位置Dおよび角膜曲率中心位置Cの座標
値と、ステップS203で保持された瞳孔中心Dと角膜
曲率中心Cとの距離A−ρとから視線方向を算出する。
視線方向が算出されれば、視線情報に基づいて測光、測
距、レンズ駆動等を行うことが可能となる。この時点で
どのような動作を行うかどうかは、カメラの設計や、観
察者のカメラの設定による。
S110、S111と同様に、ステップS202で算出
された瞳孔中心位置Dおよび角膜曲率中心位置Cの座標
値と、ステップS203で保持された瞳孔中心Dと角膜
曲率中心Cとの距離A−ρとから視線方向を算出する。
視線方向が算出されれば、視線情報に基づいて測光、測
距、レンズ駆動等を行うことが可能となる。この時点で
どのような動作を行うかどうかは、カメラの設計や、観
察者のカメラの設定による。
【0075】ステップS205では、カメラのレリーズ
ボタンの全押しによってオンされる不図示のスイッチS
W2がオン状態にあるか否かが判定され、判定が肯定さ
れるとステップS206へ進み、カメラのレリーズ動作
を行ってステップS207へ進む。一方、ステップS2
05の判定が否定されるとそのままステップS207へ
と進む。
ボタンの全押しによってオンされる不図示のスイッチS
W2がオン状態にあるか否かが判定され、判定が肯定さ
れるとステップS206へ進み、カメラのレリーズ動作
を行ってステップS207へ進む。一方、ステップS2
05の判定が否定されるとそのままステップS207へ
と進む。
【0076】ステップS207では、図11のステップ
S113と同様に、一対の視線検出用光源104a、1
04bにより観察者の眼球102を照明し、この光源1
04a、104bによって照明された眼球102の反射
像を一方の光電変換素子の受光面上に結像させて取り込
む。さらに、この眼球209の反射像から観察者がファ
インダー接眼窓220を覗いているか否かを判定し、判
定が肯定されると観察者が引き続き撮影を続行する意志
があるものと判断してステップS208へ進み、判定が
否定されると観察者が引き続き撮影を続行する意志がな
いものと判断して視線検出動作を終了する。
S113と同様に、一対の視線検出用光源104a、1
04bにより観察者の眼球102を照明し、この光源1
04a、104bによって照明された眼球102の反射
像を一方の光電変換素子の受光面上に結像させて取り込
む。さらに、この眼球209の反射像から観察者がファ
インダー接眼窓220を覗いているか否かを判定し、判
定が肯定されると観察者が引き続き撮影を続行する意志
があるものと判断してステップS208へ進み、判定が
否定されると観察者が引き続き撮影を続行する意志がな
いものと判断して視線検出動作を終了する。
【0077】ステップS208では、図11のステップ
S114〜S117と同様に、光電変換素子により観察
された眼球209の反射像から瞳孔中心位置Dおよび角
膜曲率中心位置Cの座標値を算出し、ステップS204
へ戻って視線検出動作を続行する。
S114〜S117と同様に、光電変換素子により観察
された眼球209の反射像から瞳孔中心位置Dおよび角
膜曲率中心位置Cの座標値を算出し、ステップS204
へ戻って視線検出動作を続行する。
【0078】一旦視線検出動作を終了すれば、メモリ上
に保持した瞳孔中心位置Dと角膜曲率中心位置Cとの距
離A−ρの値は消去されることになる。再度視線検出動
作を開始するときは新たにステップS201からプログ
ラムが開始し新たに瞳孔中心位置Dと角膜曲率中心位置
Cとの距離A−ρの値を測定することになるので、この
間に撮影者が代わったり、撮影者が代わらなくても、撮
影者が眼鏡を使用したり、コンタクトレンズを使用した
りする等して、距離A−ρが変化した場合にも対処でき
る。
に保持した瞳孔中心位置Dと角膜曲率中心位置Cとの距
離A−ρの値は消去されることになる。再度視線検出動
作を開始するときは新たにステップS201からプログ
ラムが開始し新たに瞳孔中心位置Dと角膜曲率中心位置
Cとの距離A−ρの値を測定することになるので、この
間に撮影者が代わったり、撮影者が代わらなくても、撮
影者が眼鏡を使用したり、コンタクトレンズを使用した
りする等して、距離A−ρが変化した場合にも対処でき
る。
【0079】したがって、本実施例によっても、上述の
各実施例と同様の作用効果を得ることができる。また、
本実施例では、ステップS201で画像を1回取り込ん
で眼球像が検出できなければ視線検出動作を終了してい
るが、予め決められた回数だけ繰り返し画像の取り込み
を行って判断することもできる。同様に、ステップS2
07でレリーズを行った直後に眼球像が検出されなくて
も、ある一定時間内に眼球像が検出されれば引き続き撮
影を行う意志があると判断して、ステップS208へ進
んでも良い。また、眼球像が検出できた時点で図20に
示すフローチャートを開始させてもよい。
各実施例と同様の作用効果を得ることができる。また、
本実施例では、ステップS201で画像を1回取り込ん
で眼球像が検出できなければ視線検出動作を終了してい
るが、予め決められた回数だけ繰り返し画像の取り込み
を行って判断することもできる。同様に、ステップS2
07でレリーズを行った直後に眼球像が検出されなくて
も、ある一定時間内に眼球像が検出されれば引き続き撮
影を行う意志があると判断して、ステップS208へ進
んでも良い。また、眼球像が検出できた時点で図20に
示すフローチャートを開始させてもよい。
【0080】−第3実施例の変形例− 図16では、ファインダー接眼窓220の左右に視線検
出用光源210a、210bが1灯づつ、結像レンズ2
11a、211bおよび光電変換素子からなる検出光学
系が一組づつ配置されているが、本発明の原理によれ
ば、視線検出用光源および検出光学系がそれぞれ2灯、
2個以上配置されていればよく、図17に示す斜線部2
25のいずれかの位置に、2灯以上の視線検出用光源
と、2個以上の検出光学系を任意に配置することができ
る。
出用光源210a、210bが1灯づつ、結像レンズ2
11a、211bおよび光電変換素子からなる検出光学
系が一組づつ配置されているが、本発明の原理によれ
ば、視線検出用光源および検出光学系がそれぞれ2灯、
2個以上配置されていればよく、図17に示す斜線部2
25のいずれかの位置に、2灯以上の視線検出用光源
と、2個以上の検出光学系を任意に配置することができ
る。
【0081】図18はその一例であり、視線検出用光源
を4灯、結像レンズ、光電変換素子をそれぞれ4個用い
ている。図18において、210a〜210dは視線検
出用光源、211a〜211dは結像レンズであり、各
結像レンズ211a〜211dに対してその後方(図中
で紙面の奥)に図示しない光電変換素子が1つずつ配置
されている。4個の視線検出用光源210a〜210d
はファインダー接眼窓220の頂点近傍に配置され、か
つ、これら光源210a〜210dを結ぶ線により略正
方形が形成されるようにされている。同様に、結像レン
ズ211a〜211dおよびその後方にある光電変換素
子は、視線検出用光源210a〜210dをファインダ
ー接眼窓220の平面上で略45゜回転したような位置
に配置されており、これら結像レンズ211a〜211
dまたは光電変換素子どうしを結んだ線は略正方形をな
す。
を4灯、結像レンズ、光電変換素子をそれぞれ4個用い
ている。図18において、210a〜210dは視線検
出用光源、211a〜211dは結像レンズであり、各
結像レンズ211a〜211dに対してその後方(図中
で紙面の奥)に図示しない光電変換素子が1つずつ配置
されている。4個の視線検出用光源210a〜210d
はファインダー接眼窓220の頂点近傍に配置され、か
つ、これら光源210a〜210dを結ぶ線により略正
方形が形成されるようにされている。同様に、結像レン
ズ211a〜211dおよびその後方にある光電変換素
子は、視線検出用光源210a〜210dをファインダ
ー接眼窓220の平面上で略45゜回転したような位置
に配置されており、これら結像レンズ211a〜211
dまたは光電変換素子どうしを結んだ線は略正方形をな
す。
【0082】視線検出用光源210a〜210dおよび
検出光学系を図18のように配置した理由は、カメラを
横位置に構えた時と縦位置に構えた時とで、視線検出用
光源と検出光学系の位置関係を一定に保つためである。
つまり、カメラの姿勢によってファインダー視野窓22
0の左右にある視線検出用光源および検出光学系を選択
して、常に観察者の眼球209の下方から水平に照明す
るためである。
検出光学系を図18のように配置した理由は、カメラを
横位置に構えた時と縦位置に構えた時とで、視線検出用
光源と検出光学系の位置関係を一定に保つためである。
つまり、カメラの姿勢によってファインダー視野窓22
0の左右にある視線検出用光源および検出光学系を選択
して、常に観察者の眼球209の下方から水平に照明す
るためである。
【0083】図示例における視線検出用光源210a、
結像レンズ211a、光電変換素子212a、接眼ガラ
ス208および接眼目当て221との位置関係は図19
に示すような関係にある。接眼ガラス208はファイン
ダー本体222の接眼窓220に取り付けられ、接眼目
当て221は何ら光学系を持たない構造にすることによ
り、視線検出用光源210aが接眼ガラス208を照射
しないようにし、かつ光電変換素子212aが結像レン
ズ211a以外の光学系を介さないようにしてある。
結像レンズ211a、光電変換素子212a、接眼ガラ
ス208および接眼目当て221との位置関係は図19
に示すような関係にある。接眼ガラス208はファイン
ダー本体222の接眼窓220に取り付けられ、接眼目
当て221は何ら光学系を持たない構造にすることによ
り、視線検出用光源210aが接眼ガラス208を照射
しないようにし、かつ光電変換素子212aが結像レン
ズ211a以外の光学系を介さないようにしてある。
【0084】−第4実施例− 図21は、図2に示した視線検出装置をカメラに搭載し
た場合の実施例を示す図であって、視線検出の具体的手
順を示すフローチャートである。図21に示すフローチ
ャートでは、観察者がレリーズボタンの半押しを続けて
いる間は、観察者が撮影続行の意志があるとして距離A
−ρをメモリ内に保持し続け、半押し動作が終了した場
合に視線検出動作を終了し、A−ρをメモリ内に保持す
る動作を終了している。なお、図21〜図25のフロー
チャートの各ステップの内容は第3実施例のフローチャ
ート(図20)の各ステップの内容とほぼ同一であるた
め、第3実施例のステップS番号を適宜引用して説明を
省略する。
た場合の実施例を示す図であって、視線検出の具体的手
順を示すフローチャートである。図21に示すフローチ
ャートでは、観察者がレリーズボタンの半押しを続けて
いる間は、観察者が撮影続行の意志があるとして距離A
−ρをメモリ内に保持し続け、半押し動作が終了した場
合に視線検出動作を終了し、A−ρをメモリ内に保持す
る動作を終了している。なお、図21〜図25のフロー
チャートの各ステップの内容は第3実施例のフローチャ
ート(図20)の各ステップの内容とほぼ同一であるた
め、第3実施例のステップS番号を適宜引用して説明を
省略する。
【0085】図21に示すフローチャートは、カメラの
レリーズボタンの半押しによってオン状態となる不図示
のスイッチSW1のオン判定により開始する。ステップ
S251では、図20のステップS201と同様に2個
の光電変換素子を用いて観察者がファインダー接眼窓2
20を覗いているか否かが判定され、判定が肯定される
とステップS252へ進み、判定が否定されると視線検
出動作を終了し、視線検出を行わないカメラの制御手段
でカメラの制御を行う。
レリーズボタンの半押しによってオン状態となる不図示
のスイッチSW1のオン判定により開始する。ステップ
S251では、図20のステップS201と同様に2個
の光電変換素子を用いて観察者がファインダー接眼窓2
20を覗いているか否かが判定され、判定が肯定される
とステップS252へ進み、判定が否定されると視線検
出動作を終了し、視線検出を行わないカメラの制御手段
でカメラの制御を行う。
【0086】ステップS252〜S254では、図20
のステップS202〜S204と同様に、観察された眼
球209の反射像に基づいて瞳孔中心Dおよび角膜曲率
中心Cの空間位置および瞳孔中心位置Dと角膜曲率中心
位置Cとの間の距離A−ρを算出し、この距離A−ρを
中央処理装置111のメモリ内に保持した後、瞳孔中心
位置Dおよび角膜曲率中心位置Cの座標値および距離A
−ρから視線方向を算出する。
のステップS202〜S204と同様に、観察された眼
球209の反射像に基づいて瞳孔中心Dおよび角膜曲率
中心Cの空間位置および瞳孔中心位置Dと角膜曲率中心
位置Cとの間の距離A−ρを算出し、この距離A−ρを
中央処理装置111のメモリ内に保持した後、瞳孔中心
位置Dおよび角膜曲率中心位置Cの座標値および距離A
−ρから視線方向を算出する。
【0087】ステップS255では、図20のステップ
S205と同様に、カメラのレリーズボタンの全押しに
よってオン状態になる不図示のスイッチSW2がオン状
態にあるか否かが判定され、判定が肯定されるとステッ
プS256へ進んでカメラのレリーズ動作を行った後で
ステップS257へ進み、判定が否定されるとそのまま
ステップS257へ進む。ステップS257では、上述
のスイッチSW1がオン状態にあるか否かが判定され、
判定が肯定されると観察者が引き続き撮影を続行する意
志があるものと判断してステップS258へ進み、判定
が否定されると観察者が引き続き撮影を続行する意志が
ないものと判断して視線検出動作を終了する。
S205と同様に、カメラのレリーズボタンの全押しに
よってオン状態になる不図示のスイッチSW2がオン状
態にあるか否かが判定され、判定が肯定されるとステッ
プS256へ進んでカメラのレリーズ動作を行った後で
ステップS257へ進み、判定が否定されるとそのまま
ステップS257へ進む。ステップS257では、上述
のスイッチSW1がオン状態にあるか否かが判定され、
判定が肯定されると観察者が引き続き撮影を続行する意
志があるものと判断してステップS258へ進み、判定
が否定されると観察者が引き続き撮影を続行する意志が
ないものと判断して視線検出動作を終了する。
【0088】ステップS258では、図20のステップ
S207と同様に、1個の光電変換素子を用いて観察者
がファインダー接眼窓220を覗いているか否かが判定
され、判定が肯定されると観察者が引き続き撮影を続行
する意志があるものと判断してステップS259へ進
み、判定が否定されると観察者が引き続き撮影を続行す
る意志があるかを判断できないので、ステップS257
へ戻り、再び撮影の意志を問う。
S207と同様に、1個の光電変換素子を用いて観察者
がファインダー接眼窓220を覗いているか否かが判定
され、判定が肯定されると観察者が引き続き撮影を続行
する意志があるものと判断してステップS259へ進
み、判定が否定されると観察者が引き続き撮影を続行す
る意志があるかを判断できないので、ステップS257
へ戻り、再び撮影の意志を問う。
【0089】ステップS259では、図20のステップ
S208と同様に、瞳孔中心位置Dと角膜曲率中心位置
Cの座標値を求め、その後ステップS254へと戻って
視線検出動作を続行する。したがって、本実施例によっ
ても上述の第3実施例と同様の作用効果を得ることがで
きる。
S208と同様に、瞳孔中心位置Dと角膜曲率中心位置
Cの座標値を求め、その後ステップS254へと戻って
視線検出動作を続行する。したがって、本実施例によっ
ても上述の第3実施例と同様の作用効果を得ることがで
きる。
【0090】本実施例では、ステップS251で画像を
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS258で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS258で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
【0091】また、ステップS256でレリーズを行っ
た直後にスイッチSW1がオン状態でなくても、ある一
定時間内に再びスイッチSW1がオン状態になれば引き
続き撮影を行う意志があると判断してステップS258
へ進んでも良い。さらに、ステップS257、ステップ
S258により形成されるループ内においてスイッチS
W2がオン状態にあるか否かを判定し、オン判定された
ときは視線検出を行わないカメラの制御手段で、あるい
は直前の視線情報を用いてレリーズを行うようにすれば
シャッターチャンスを逃すことがなくなる。
た直後にスイッチSW1がオン状態でなくても、ある一
定時間内に再びスイッチSW1がオン状態になれば引き
続き撮影を行う意志があると判断してステップS258
へ進んでも良い。さらに、ステップS257、ステップ
S258により形成されるループ内においてスイッチS
W2がオン状態にあるか否かを判定し、オン判定された
ときは視線検出を行わないカメラの制御手段で、あるい
は直前の視線情報を用いてレリーズを行うようにすれば
シャッターチャンスを逃すことがなくなる。
【0092】−第5実施例− 図22は、図2に示した視線検出装置をカメラに搭載し
た場合の実施例を示す図であって、視線検出の具体的手
順を示すフローチャートである。図22に示すフローチ
ャートでは、カメラのメインスイッチがオン状態にある
間は、観察者が撮影続行の意志があるとして距離A−ρ
をメモリ内に保持し続け、メインスイッチがオフされた
場合に視線検出動作を終了し、A−ρをメモリ内に保持
する動作を終了している。
た場合の実施例を示す図であって、視線検出の具体的手
順を示すフローチャートである。図22に示すフローチ
ャートでは、カメラのメインスイッチがオン状態にある
間は、観察者が撮影続行の意志があるとして距離A−ρ
をメモリ内に保持し続け、メインスイッチがオフされた
場合に視線検出動作を終了し、A−ρをメモリ内に保持
する動作を終了している。
【0093】図22に示すフローチャートは、カメラの
メインスイッチがオン判定され、かつ、カメラのレリー
ズボタンの半押しによってオン状態となる不図示のスイ
ッチSW1がオン判定されることにより開始する。ステ
ップS301では、図20のステップS201と同様に
2個の光電変換素子を用いて観察者がファインダー接眼
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS302へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。
メインスイッチがオン判定され、かつ、カメラのレリー
ズボタンの半押しによってオン状態となる不図示のスイ
ッチSW1がオン判定されることにより開始する。ステ
ップS301では、図20のステップS201と同様に
2個の光電変換素子を用いて観察者がファインダー接眼
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS302へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。
【0094】ステップS302〜S304では、図20
のステップS202〜S204と同様に、観察された眼
球209の反射像に基づいて瞳孔中心Dおよび角膜曲率
中心Cの空間位置および瞳孔中心位置Dと角膜曲率中心
位置Cとの間の距離A−ρを算出し、この距離A−ρを
中央処理装置111のメモリ内に保持した後、瞳孔中心
位置Dおよび角膜曲率中心位置Cの座標値および距離A
−ρから視線方向を算出する。
のステップS202〜S204と同様に、観察された眼
球209の反射像に基づいて瞳孔中心Dおよび角膜曲率
中心Cの空間位置および瞳孔中心位置Dと角膜曲率中心
位置Cとの間の距離A−ρを算出し、この距離A−ρを
中央処理装置111のメモリ内に保持した後、瞳孔中心
位置Dおよび角膜曲率中心位置Cの座標値および距離A
−ρから視線方向を算出する。
【0095】ステップS305では、図20のステップ
S205と同様に、カメラのレリーズボタンの全押しに
よってオン状態になる不図示のスイッチSW2がオン状
態にあるか否かが判定され、判定が肯定されるとステッ
プS306へ進んでカメラのレリーズ動作を行った後で
ステップS307へ進み、判定が否定されるとそのまま
ステップS307へ進む。ステップS307では、上述
のメインスイッチがオン状態にあるか否かが判定され、
判定が肯定されると観察者が引き続き撮影を続行する意
志があるものと判断してステップS308へ進み、判定
が否定されると観察者が引き続き撮影を続行する意志が
ないものと判断して視線検出動作を終了する。
S205と同様に、カメラのレリーズボタンの全押しに
よってオン状態になる不図示のスイッチSW2がオン状
態にあるか否かが判定され、判定が肯定されるとステッ
プS306へ進んでカメラのレリーズ動作を行った後で
ステップS307へ進み、判定が否定されるとそのまま
ステップS307へ進む。ステップS307では、上述
のメインスイッチがオン状態にあるか否かが判定され、
判定が肯定されると観察者が引き続き撮影を続行する意
志があるものと判断してステップS308へ進み、判定
が否定されると観察者が引き続き撮影を続行する意志が
ないものと判断して視線検出動作を終了する。
【0096】ステップS308では、図20のステップ
S207と同様に、1個の光電変換素子を用いて観察者
がファインダー接眼窓220を覗いているか否かが判定
され、判定が肯定されると観察者が引き続き撮影を続行
する意志があるものと判断してステップS309へ進
み、判定が否定されると観察者が引き続き撮影を続行す
る意志があるかを判断できないのでステップS307へ
戻り、再び撮影の意志を問う。
S207と同様に、1個の光電変換素子を用いて観察者
がファインダー接眼窓220を覗いているか否かが判定
され、判定が肯定されると観察者が引き続き撮影を続行
する意志があるものと判断してステップS309へ進
み、判定が否定されると観察者が引き続き撮影を続行す
る意志があるかを判断できないのでステップS307へ
戻り、再び撮影の意志を問う。
【0097】ステップS309では、図20のステップ
S208と同様に、瞳孔中心位置Dと角膜曲率中心位置
Cの座標値を求め、その後ステップS304へと戻って
視線検出動作を続行する。したがって、本実施例によっ
ても上述の第3実施例と同様の作用効果を得ることがで
きる。
S208と同様に、瞳孔中心位置Dと角膜曲率中心位置
Cの座標値を求め、その後ステップS304へと戻って
視線検出動作を続行する。したがって、本実施例によっ
ても上述の第3実施例と同様の作用効果を得ることがで
きる。
【0098】本実施例でも、ステップS301で画像を
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS308で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS308で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
【0099】また、ステップS307、ステップS30
8により形成されるループ内においてスイッチSW2が
オン状態にあるか否かを判定し、オン判定されたときは
視線検出を行わないカメラの制御手段で、あるいは直前
の視線情報を用いてレリーズを行うようにすればシャッ
ターチャンスを逃すことがなくなる。
8により形成されるループ内においてスイッチSW2が
オン状態にあるか否かを判定し、オン判定されたときは
視線検出を行わないカメラの制御手段で、あるいは直前
の視線情報を用いてレリーズを行うようにすればシャッ
ターチャンスを逃すことがなくなる。
【0100】−第6実施例− 上述の第3〜第5実施例ではレリーズボタンの半押し状
態で視線方向の算出動作を行っていたが、レリーズボタ
ンが全押しされてから視線方向の算出動作を行ってもよ
い。レリーズボタンを全押ししないと視線方向を算出し
ないようにすると、半押し状態で視線方向算出ステップ
が省略できる分だけ眼球画像を撮り込む周期が速くなる
ので、観察者の眼球のより速い動きに対応できる。
態で視線方向の算出動作を行っていたが、レリーズボタ
ンが全押しされてから視線方向の算出動作を行ってもよ
い。レリーズボタンを全押ししないと視線方向を算出し
ないようにすると、半押し状態で視線方向算出ステップ
が省略できる分だけ眼球画像を撮り込む周期が速くなる
ので、観察者の眼球のより速い動きに対応できる。
【0101】図23は、図20に示す第3実施例のフロ
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。なお、図23〜図25の説明では、それぞれに
対応するフローチャートの各ステップを引用してその説
明を省略する。
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。なお、図23〜図25の説明では、それぞれに
対応するフローチャートの各ステップを引用してその説
明を省略する。
【0102】図23のステップS351では、図20の
ステップS201と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS352へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS352、S35
3では、図20のステップS202、S203と同様の
処理が行われる。ステップS354では、図20のステ
ップS205と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS355へ進
み、判定が否定されるとステップS357へ進む。ステ
ップS355、S356では、図20のステップS20
4、S206と同様の処理が行われる。ステップS35
7では、図20のステップS207と同様に観察者がフ
ァインダー視野窓220を覗いているか否かが判定さ
れ、判定が肯定されるとステップS358へ進み、判定
が否定されると視線検出動作を終了する。ステップS3
58では、図20のステップS208と同様の処理が行
われる。
ステップS201と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS352へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS352、S35
3では、図20のステップS202、S203と同様の
処理が行われる。ステップS354では、図20のステ
ップS205と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS355へ進
み、判定が否定されるとステップS357へ進む。ステ
ップS355、S356では、図20のステップS20
4、S206と同様の処理が行われる。ステップS35
7では、図20のステップS207と同様に観察者がフ
ァインダー視野窓220を覗いているか否かが判定さ
れ、判定が肯定されるとステップS358へ進み、判定
が否定されると視線検出動作を終了する。ステップS3
58では、図20のステップS208と同様の処理が行
われる。
【0103】図23に示す実施例では、ステップS35
1で画像を1回取り込んで眼球像が検出できなければ視
線検出動作を終了しているが、予め決められた回数だけ
繰り返し画像の取り込みを行って判断することもでき
る。同様に、ステップS357でレリーズを行った直後
に眼球像が検出されなくても、ある一定時間内に眼球像
が検出されれば引続き撮影を行う意志があると判断し
て、ステップS358へ進んでも良い。
1で画像を1回取り込んで眼球像が検出できなければ視
線検出動作を終了しているが、予め決められた回数だけ
繰り返し画像の取り込みを行って判断することもでき
る。同様に、ステップS357でレリーズを行った直後
に眼球像が検出されなくても、ある一定時間内に眼球像
が検出されれば引続き撮影を行う意志があると判断し
て、ステップS358へ進んでも良い。
【0104】図24は、図21に示す第4実施例のフロ
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。
【0105】図24のステップS401では、図21の
ステップS251と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS402へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS402、S40
3では、図21のステップS252、S253と同様の
処理が行われる。ステップS404では、図21のステ
ップS255と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS405へ進
み、判定が否定されるとステップS407へ進む。ステ
ップS405、S406では、図21のステップS25
4、S256と同様の処理が行われる。ステップS40
7では、図21のステップS257と同様に、レリーズ
ボタンの半押しでオンする不図示のスイッチSW1がオ
ン状態にあるか否かが判定され、判定が肯定されるとス
テップS408へ進み、判定が否定されると視線検出動
作を終了する。ステップS408、S409では、図2
1のステップS258、S259と同様の処理が行われ
る。
ステップS251と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS402へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS402、S40
3では、図21のステップS252、S253と同様の
処理が行われる。ステップS404では、図21のステ
ップS255と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS405へ進
み、判定が否定されるとステップS407へ進む。ステ
ップS405、S406では、図21のステップS25
4、S256と同様の処理が行われる。ステップS40
7では、図21のステップS257と同様に、レリーズ
ボタンの半押しでオンする不図示のスイッチSW1がオ
ン状態にあるか否かが判定され、判定が肯定されるとス
テップS408へ進み、判定が否定されると視線検出動
作を終了する。ステップS408、S409では、図2
1のステップS258、S259と同様の処理が行われ
る。
【0106】本実施例では、ステップS401で画像を
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS408で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS408で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
【0107】また、ステップS406でレリーズを行っ
た直後にスイッチSW1がオン状態でなくても、ある一
定時間内に再びスイッチSW1がオン状態になれば引き
続き撮影を行う意志があると判断してステップS408
へ進んでも良い。さらに、ステップS407、ステップ
S408により形成されるループ内においてスイッチS
W2がオン状態にあるか否かを判定し、オン判定された
ときは視線検出を行わないカメラの制御手段で、あるい
は直前の視線情報を用いてレリーズを行うようにすれば
シャッターチャンスを逃すことがなくなる。
た直後にスイッチSW1がオン状態でなくても、ある一
定時間内に再びスイッチSW1がオン状態になれば引き
続き撮影を行う意志があると判断してステップS408
へ進んでも良い。さらに、ステップS407、ステップ
S408により形成されるループ内においてスイッチS
W2がオン状態にあるか否かを判定し、オン判定された
ときは視線検出を行わないカメラの制御手段で、あるい
は直前の視線情報を用いてレリーズを行うようにすれば
シャッターチャンスを逃すことがなくなる。
【0108】図25は、図22に示す第5実施例のフロ
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。
ーチャートにおいて、レリーズボタンが全押しされてか
ら視線方向の算出動作を行うようにしたフローチャート
である。
【0109】図25のステップS451では、図22の
ステップS301と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS452へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS452、S45
3では、図22のステップS302、S303と同様の
処理が行われる。ステップS454では、図22のステ
ップS305と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS455へ進
み、判定が否定されるとステップS457へ進む。ステ
ップS455、S456では、図22のステップS30
4、S306と同様の処理が行われる。ステップS45
7では、図22のステップS307と同様に、メインス
イッチがオン状態にあるか否かが判定され、判定が肯定
されるとステップS458へ進み、判定が否定されると
視線検出動作を終了する。ステップS458、S459
では、図22のステップS308、S309と同様の処
理が行われる。
ステップS301と同様に、観察者がファインダー視野
窓220を覗いているか否かが判定され、判定が肯定さ
れるとステップS452へ進み、判定が否定されると視
線検出動作を終了し、視線検出を行わないカメラの制御
手段でカメラの制御を行う。ステップS452、S45
3では、図22のステップS302、S303と同様の
処理が行われる。ステップS454では、図22のステ
ップS305と同様に、レリーズボタンの全押しでオン
する不図示のスイッチSW2がオン状態にあるか否かが
判定され、判定が肯定されるとステップS455へ進
み、判定が否定されるとステップS457へ進む。ステ
ップS455、S456では、図22のステップS30
4、S306と同様の処理が行われる。ステップS45
7では、図22のステップS307と同様に、メインス
イッチがオン状態にあるか否かが判定され、判定が肯定
されるとステップS458へ進み、判定が否定されると
視線検出動作を終了する。ステップS458、S459
では、図22のステップS308、S309と同様の処
理が行われる。
【0110】本実施例でも、ステップS451で画像を
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS458で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
1回取り込んで眼球像が検出できなければ視線検出動作
を終了しているが、予め決められた回数だけ繰り返し画
像の取り込みを行って判断することもできる。同様に、
ステップS458で画像を1回取り込んで眼球像が検出
できなければ視線検出動作を終了しているが、予め決め
られた回数だけ繰り返し画像の取り込みを行って判断す
ることもできる。
【0111】また、ステップS457、ステップS45
8により形成されるループ内においてスイッチSW2が
オン状態にあるか否かを判定し、オン判定されたときは
視線検出を行わないカメラの制御手段で、あるいは直前
の視線情報を用いてレリーズを行うようにすればシャッ
ターチャンスを逃すことがなくなる。
8により形成されるループ内においてスイッチSW2が
オン状態にあるか否かを判定し、オン判定されたときは
視線検出を行わないカメラの制御手段で、あるいは直前
の視線情報を用いてレリーズを行うようにすればシャッ
ターチャンスを逃すことがなくなる。
【0112】さらに、1台のカメラを1人でしか使わな
い場合や、保持した値を消去する手段を別に持つカメラ
では、メインスイッチがオフ状態になっても瞳孔中心位
置Dと角膜曲率中心位置Cとの間の距離A−ρの値を保
持し続けるようにすることもできる。逆に、1台のカメ
ラに複数の前記A−ρを保持することができるようにし
ても良い。
い場合や、保持した値を消去する手段を別に持つカメラ
では、メインスイッチがオフ状態になっても瞳孔中心位
置Dと角膜曲率中心位置Cとの間の距離A−ρの値を保
持し続けるようにすることもできる。逆に、1台のカメ
ラに複数の前記A−ρを保持することができるようにし
ても良い。
【0113】以上、瞳孔中心位置Dと角膜曲率中心位置
Cとの距離A−ρの値の保持および消去方法について種
々説明したが、これらは、いわゆる撮影モードによって
それぞれ適した方法があるので、どの方法を用いるかを
ダイヤルやレバー等によって実際にカメラを操作する撮
影者が選択可能にすることが好ましい。
Cとの距離A−ρの値の保持および消去方法について種
々説明したが、これらは、いわゆる撮影モードによって
それぞれ適した方法があるので、どの方法を用いるかを
ダイヤルやレバー等によって実際にカメラを操作する撮
影者が選択可能にすることが好ましい。
【0114】−第7実施例− 図26は、図3に示した視線検出装置をカメラに搭載し
た場合の実施例を示す概略構成図である。201は便宜
上1枚のレンズで示してあるが、実際は複数のレンズか
らなる撮影レンズ、202はクイックリターンミラー、
203は表示装置、204は焦点板、205はコンデン
サーレンズ、206はペンタプリズム、207は便宜上
1枚のレンズで示してあるが、実際は複数のレンズから
なる場合もある接眼レンズで、光分割装置として、ダイ
クロイックミラー207aを有している。208は接眼
部から内部にほこりや水滴等が入るのを防止する、度を
持たない接眼ガラス、209は観察者の眼球、210a
は視線検出用光源のうちの1灯であり、接眼ガラス20
8の周囲から直接観察者の眼球209を照射する位置に
配置されている。他に図示しない視線検出用光源が、視
線検出用光源210aと同様に接眼ガラス208の周囲
から直接観察者の眼球209を照射する位置に1灯以上
配置されている。本実施例でも、視線検出用光源210
aは、赤外発光ダイオードのように眼に見えない波長域
の光を発光する視線検出用光源を使用することが望まし
い。211aは結像レンズであり、図示しないもう1個
の結像レンズと対になっている。212は光電変換素子
であり、本実施例では一対の結像レンズによる像を1枚
の光電変換素子の受光面上の異なる位置に結像させてい
る。光電変換素子212はCCDのような面受光素子が
適している。
た場合の実施例を示す概略構成図である。201は便宜
上1枚のレンズで示してあるが、実際は複数のレンズか
らなる撮影レンズ、202はクイックリターンミラー、
203は表示装置、204は焦点板、205はコンデン
サーレンズ、206はペンタプリズム、207は便宜上
1枚のレンズで示してあるが、実際は複数のレンズから
なる場合もある接眼レンズで、光分割装置として、ダイ
クロイックミラー207aを有している。208は接眼
部から内部にほこりや水滴等が入るのを防止する、度を
持たない接眼ガラス、209は観察者の眼球、210a
は視線検出用光源のうちの1灯であり、接眼ガラス20
8の周囲から直接観察者の眼球209を照射する位置に
配置されている。他に図示しない視線検出用光源が、視
線検出用光源210aと同様に接眼ガラス208の周囲
から直接観察者の眼球209を照射する位置に1灯以上
配置されている。本実施例でも、視線検出用光源210
aは、赤外発光ダイオードのように眼に見えない波長域
の光を発光する視線検出用光源を使用することが望まし
い。211aは結像レンズであり、図示しないもう1個
の結像レンズと対になっている。212は光電変換素子
であり、本実施例では一対の結像レンズによる像を1枚
の光電変換素子の受光面上の異なる位置に結像させてい
る。光電変換素子212はCCDのような面受光素子が
適している。
【0115】図27は、本発明のカメラのファインダー
部の拡大図であり、視線検出用光源の配置の一例を示す
図である。本実施例では、4灯の視線検出用光源をファ
インダー接眼窓の周囲に配置している。図27におい
て、210a、210b、210c、および210dは
視線検出用光源、220はファインダー接眼窓、221
は接眼目当て、222はファインダー本体、223はク
リップオン式のアクセサリーシュー、224はアイピー
スシャターレバーである。
部の拡大図であり、視線検出用光源の配置の一例を示す
図である。本実施例では、4灯の視線検出用光源をファ
インダー接眼窓の周囲に配置している。図27におい
て、210a、210b、210c、および210dは
視線検出用光源、220はファインダー接眼窓、221
は接眼目当て、222はファインダー本体、223はク
リップオン式のアクセサリーシュー、224はアイピー
スシャターレバーである。
【0116】また、4個の視線検出用光源210a〜2
10dは、図18と同様に接眼窓220の頂点近傍に配
置され、かつ、これら光源210a〜210dを結ぶ線
により略正方形が形成されるようにされている。したが
って、本実施例でも、カメラを横位置に構えた時と縦位
置に構えた時で、視線検出用光源210a〜210dの
位置関係は一定に保たれる。本実施例においても、図1
7に示す斜線部225のいずれかの位置に、2灯以上の
視線検出用光源を任意に配置することができる。
10dは、図18と同様に接眼窓220の頂点近傍に配
置され、かつ、これら光源210a〜210dを結ぶ線
により略正方形が形成されるようにされている。したが
って、本実施例でも、カメラを横位置に構えた時と縦位
置に構えた時で、視線検出用光源210a〜210dの
位置関係は一定に保たれる。本実施例においても、図1
7に示す斜線部225のいずれかの位置に、2灯以上の
視線検出用光源を任意に配置することができる。
【0117】本実施例における視線検出用光源210a
〜210d、接眼ガラス208および接眼目当て221
の位置関係は図28に示すような関係にある。接眼ガラ
ス208はファインダー本体222の接眼窓220に取
り付けられ、かつ、接眼目当て221が何ら光学系を持
たない構造にすることにより、視線検出用光源210a
が接眼ガラス208を照射しないようにしてある。
〜210d、接眼ガラス208および接眼目当て221
の位置関係は図28に示すような関係にある。接眼ガラ
ス208はファインダー本体222の接眼窓220に取
り付けられ、かつ、接眼目当て221が何ら光学系を持
たない構造にすることにより、視線検出用光源210a
が接眼ガラス208を照射しないようにしてある。
【0118】図29は本実施例におけるカメラの結像レ
ンズ211a、211bと光電変換素子212の配置を
示す図である。本実施例では、眼球209の反射像を2
枚の結像レンズ211a、211bを用いて1個の光電
変換素子212の受光面上の異なる領域に結像させてい
る。なお、図29における1個の光電変換素子212に
かえて、各結像レンズ211a、211bに対応させて
2個の光電変換素子を用いても良い。
ンズ211a、211bと光電変換素子212の配置を
示す図である。本実施例では、眼球209の反射像を2
枚の結像レンズ211a、211bを用いて1個の光電
変換素子212の受光面上の異なる領域に結像させてい
る。なお、図29における1個の光電変換素子212に
かえて、各結像レンズ211a、211bに対応させて
2個の光電変換素子を用いても良い。
【0119】−第8実施例− 図30は、4個の結像レンズ211a〜211dおよび
光電変換素子212a〜212dをそれぞれ備えた視線
検出装置をカメラに搭載した場合の実施例を示す図であ
って、結像レンズと光電変換素子の配置を示す斜視図で
ある。4個の光電変換素子212a〜212dは、上述
の図18と同様に、カメラが横位置に構えられた場合
と、縦位置に構えられた場合とで、視線検出に用いられ
る光電変換素子212a〜212dの組が選択される。
光電変換素子212a〜212dをそれぞれ備えた視線
検出装置をカメラに搭載した場合の実施例を示す図であ
って、結像レンズと光電変換素子の配置を示す斜視図で
ある。4個の光電変換素子212a〜212dは、上述
の図18と同様に、カメラが横位置に構えられた場合
と、縦位置に構えられた場合とで、視線検出に用いられ
る光電変換素子212a〜212dの組が選択される。
【0120】−第9実施例− 本実施例では、図16に示した2個の光電変換素子のう
ち、一方で瞳孔中心位置を、もう一方で角膜曲率中心位
置を検出することを特徴としている。すなわち、図16
において、瞳孔中心位置Dと角膜曲率中心位置Cとの距
離A−ρを算出し、距離A−ρの値をメモリ内に保持し
た後は、結像レンズと光電変換素子とで構成される検出
光学系は少なくても1組あれば良いのであるから、2組
ある検出光学系のうち一方は使用しないでも良いことに
なる。しかし、本実施例では、検出光学系の各組におい
て光電変換素子のゲインをそれぞれの検出対象(瞳孔中
心位置D、角膜曲率中心位置C)を検出するのに適した
値に設定しているので、プルキンエ第一像と虹彩部の輝
度差が大きいという問題にも対処できる。
ち、一方で瞳孔中心位置を、もう一方で角膜曲率中心位
置を検出することを特徴としている。すなわち、図16
において、瞳孔中心位置Dと角膜曲率中心位置Cとの距
離A−ρを算出し、距離A−ρの値をメモリ内に保持し
た後は、結像レンズと光電変換素子とで構成される検出
光学系は少なくても1組あれば良いのであるから、2組
ある検出光学系のうち一方は使用しないでも良いことに
なる。しかし、本実施例では、検出光学系の各組におい
て光電変換素子のゲインをそれぞれの検出対象(瞳孔中
心位置D、角膜曲率中心位置C)を検出するのに適した
値に設定しているので、プルキンエ第一像と虹彩部の輝
度差が大きいという問題にも対処できる。
【0121】具体的には、結像レンズ210aによって
結像する像を検出する光電変換素子で瞳孔と虹彩の境界
を検出し、結像レンズ210bによって結像する像を検
出する光電変換素子でプルキンエ第一像を検出するよう
にし、かつ、これらの光電変換素子のゲインを、それぞ
れの検出対象を検出するのに適した値に設定してやれば
良い。逆に、結像レンズ210bによって結像する像を
検出する光電変換素子で瞳孔と虹彩の境界を検出し、結
像レンズ210aによって結像する像を検出する光電変
換素子でプルキンエ第一像を検出するようにしても良
い。
結像する像を検出する光電変換素子で瞳孔と虹彩の境界
を検出し、結像レンズ210bによって結像する像を検
出する光電変換素子でプルキンエ第一像を検出するよう
にし、かつ、これらの光電変換素子のゲインを、それぞ
れの検出対象を検出するのに適した値に設定してやれば
良い。逆に、結像レンズ210bによって結像する像を
検出する光電変換素子で瞳孔と虹彩の境界を検出し、結
像レンズ210aによって結像する像を検出する光電変
換素子でプルキンエ第一像を検出するようにしても良
い。
【0122】なお、本実施例においては、並列に駆動す
る2つのCPUがあれば、より効果的である。
る2つのCPUがあれば、より効果的である。
【0123】
【発明の効果】以上詳細に説明したように、本発明のう
ち請求項1の発明によれば、第1の角膜曲率中心算出手
段および第1の瞳孔中心算出手段により個体差を有する
角膜曲率中心と瞳孔中心との間の空間距離を正確に求め
ることができ、この空間距離と、第2の角膜曲率中心算
出手段および第2の瞳孔中心算出手段とにより求められ
る角膜曲率中心および瞳孔中心の平面位置を用いて観察
者の眼球の視線方向を正確に求めることができる。加え
て、角膜曲率中心と瞳孔中心との間の空間距離を求めた
後は、この空間距離と、一部の観察手段からの反射像か
ら求められた角膜曲率中心および瞳孔中心の平面位置を
用いて観察者の眼球の視線方向を求めているので、演算
すべきパラメータを削減できて視線検出演算の高速化を
図ることができる。特に、請求項2の発明によれば、視
線算出手段により算出された角膜曲率中心と瞳孔中心と
の間の空間距離を記憶手段に記憶させているので、観察
者が交代等しない限り記憶手段に記憶された角膜曲率中
心と瞳孔中心との間の空間距離を用いて視線検出演算を
行うことができ、さらに視線検出演算の高速化を図るこ
とができる。また、請求項3の発明によれば、角膜曲率
中心算出手段および瞳孔中心算出手段で用いられる観察
手段を区別したので、眼球の角膜反射像の輝度と瞳孔−
虹彩の境界像の輝度とが大きく異なる場合でも各角膜反
射像、境界像に適した観察条件を設定することができ、
より正確な視線検出が可能になる。さらに、請求項4〜
請求項9の発明によれば、レリーズボタンの操作、メイ
ンスイッチの操作、眼球の反射像の検出の有無、眼球が
ファインダ接眼窓から離れたか否かを検出しており、こ
れら検出結果により観察者の交代等の可能性を判定する
ことができるので、観察者の交代等の事態が生じても正
確な視線検出が可能となる。一方、請求項10の発明に
よれば、カメラのレリーズボタンが第2ストロークまで
押し込まれるまで視線方向を算出しないので、第1、第
2の角膜曲率中心算出手段および瞳孔中心算出手段の演
算周期を速くすることができ、視線の動きに敏速に対応
することができる。
ち請求項1の発明によれば、第1の角膜曲率中心算出手
段および第1の瞳孔中心算出手段により個体差を有する
角膜曲率中心と瞳孔中心との間の空間距離を正確に求め
ることができ、この空間距離と、第2の角膜曲率中心算
出手段および第2の瞳孔中心算出手段とにより求められ
る角膜曲率中心および瞳孔中心の平面位置を用いて観察
者の眼球の視線方向を正確に求めることができる。加え
て、角膜曲率中心と瞳孔中心との間の空間距離を求めた
後は、この空間距離と、一部の観察手段からの反射像か
ら求められた角膜曲率中心および瞳孔中心の平面位置を
用いて観察者の眼球の視線方向を求めているので、演算
すべきパラメータを削減できて視線検出演算の高速化を
図ることができる。特に、請求項2の発明によれば、視
線算出手段により算出された角膜曲率中心と瞳孔中心と
の間の空間距離を記憶手段に記憶させているので、観察
者が交代等しない限り記憶手段に記憶された角膜曲率中
心と瞳孔中心との間の空間距離を用いて視線検出演算を
行うことができ、さらに視線検出演算の高速化を図るこ
とができる。また、請求項3の発明によれば、角膜曲率
中心算出手段および瞳孔中心算出手段で用いられる観察
手段を区別したので、眼球の角膜反射像の輝度と瞳孔−
虹彩の境界像の輝度とが大きく異なる場合でも各角膜反
射像、境界像に適した観察条件を設定することができ、
より正確な視線検出が可能になる。さらに、請求項4〜
請求項9の発明によれば、レリーズボタンの操作、メイ
ンスイッチの操作、眼球の反射像の検出の有無、眼球が
ファインダ接眼窓から離れたか否かを検出しており、こ
れら検出結果により観察者の交代等の可能性を判定する
ことができるので、観察者の交代等の事態が生じても正
確な視線検出が可能となる。一方、請求項10の発明に
よれば、カメラのレリーズボタンが第2ストロークまで
押し込まれるまで視線方向を算出しないので、第1、第
2の角膜曲率中心算出手段および瞳孔中心算出手段の演
算周期を速くすることができ、視線の動きに敏速に対応
することができる。
【図1】本発明のクレーム対応図である。
【図2】本発明の視線検出装置の構成の一例を示す図で
ある。
ある。
【図3】本発明の視線検出装置の構成の他の例を示す図
である。
である。
【図4】本発明の原理の説明に用いられる座標系の一例
を示す図である。
を示す図である。
【図5】本発明の視線検出系を示す光学説明図である。
【図6】本発明の検出原理を説明するための図である。
【図7】瞳孔部および虹彩部の境界の位置を説明するた
めの図である。
めの図である。
【図8】本発明における瞳孔中心位置の決定方法の一例
を説明するための図である。
を説明するための図である。
【図9】本発明における角膜曲率中心位置の決定方法の
一例を説明するための図である。
一例を説明するための図である。
【図10】本発明の第1実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図11】図10に続くフローチャートである。
【図12】本発明の原理の説明に用いられる座標系の一
例を示す図である。
例を示す図である。
【図13】本発明の第2実施例の動作を説明するための
フローチャートである。
フローチャートである。
【図14】図13に続くフローチャートである。
【図15】本発明の第3実施例が適用されたカメラの光
学系を示す概略図である。
学系を示す概略図である。
【図16】第3実施例のカメラのうちファインダー部を
取り出して示した正面図である。
取り出して示した正面図である。
【図17】第3実施例における視線検出用光源および検
出光学系の配置範囲を示す図である。
出光学系の配置範囲を示す図である。
【図18】第3実施例の変形例のカメラのうちファイン
ダー部を取り出して示した正面図である。
ダー部を取り出して示した正面図である。
【図19】第3実施例の変形例のファインダー部を示す
断面図である。
断面図である。
【図20】第3実施例の動作を説明するためのフローチ
ャートである。
ャートである。
【図21】第4実施例の動作を説明するためのフローチ
ャートである。
ャートである。
【図22】第5実施例の動作を説明するためのフローチ
ャートである。
ャートである。
【図23】第6実施例の動作の一例を説明するためのフ
ローチャートである。
ローチャートである。
【図24】第6実施例の動作の他の例を説明するための
フローチャートである。
フローチャートである。
【図25】第6実施例の動作のまた他の例を説明するた
めのフローチャートである。
めのフローチャートである。
【図26】本発明の第7実施例が適用されたカメラの光
学系を示す概略図である。
学系を示す概略図である。
【図27】第7実施例のカメラのうちファインダー部を
取り出して示した正面図である。
取り出して示した正面図である。
【図28】第7実施例のカメラのファインダー部を示す
断面図である。
断面図である。
【図29】第7実施例のファインダー部の透視図であ
る。
る。
【図30】本発明の第8実施例が適用されたカメラのう
ちファインダー部を取り出して示した透視図である。
ちファインダー部を取り出して示した透視図である。
【図31】人間の眼球を示す水平断面図である。
C 角膜曲率中心 D 瞳孔中心 101 観察面 102、209 眼球 104、210 視線検出用光源 105、106、211 結像レンズ 107、108、113、212 光電変換素子 109、110、114 信号処理手段 111 中央処理装置 115 角膜 116 虹彩 117 瞳孔 118 境界 220 ファインダー接眼窓
Claims (10)
- 【請求項1】 複数の照明手段により観察者の眼球を照
明し、前記照明手段により照明された前記眼球の反射像
から前記眼球の視線方向を算出する視線検出装置におい
て、 前記複数の照明手段により照明された前記眼球の複数の
反射像をそれぞれ観察する複数の観察手段と、 前記複数の観察手段によって観察された前記眼球の複数
の角膜反射像に基づいてこの眼球の角膜曲率中心の空間
位置を算出する第1の角膜曲率中心算出手段と、 前記複数の観察手段のうち一部の観察手段によって観察
された前記眼球の複数の角膜反射像に基づいてこの眼球
の角膜曲率中心の平面位置を算出する第2の角膜曲率中
心算出手段と、 前記複数の観察手段によって観察された前記眼球の瞳孔
と虹彩との複数の境界像に基づいてこの眼球の瞳孔中心
の空間位置を算出する第1の瞳孔中心算出手段と、 前記複数の観察手段のうち一部の観察手段によって観察
された前記眼球の瞳孔と虹彩との複数の境界像に基づい
てこの眼球の瞳孔中心の平面位置を算出する第2の瞳孔
中心算出手段と、 前記第1の角膜曲率中心算出手段および前記第1の瞳孔
中心算出手段により算出された前記角膜曲率中心の空間
位置および前記瞳孔中心の空間位置に基づいて前記視線
方向および前記角膜曲率中心と前記瞳孔中心との間の空
間距離を算出するとともに、前記空間距離を算出した後
は、この空間距離と、前記第2の角膜曲率中心算出手段
および前記第2の瞳孔中心算出手段により算出された前
記角膜曲率中心の平面位置および前記瞳孔中心の平面位
置とに基づいて前記視線方向を算出する視線算出手段と
を備えたことを特徴とする視線検出装置。 - 【請求項2】 請求項1に記載の視線検出装置におい
て、 前記視線算出手段により算出された前記角膜曲率中心と
前記瞳孔中心との間の空間距離を保持する記憶手段を備
え、 前記視線算出手段は、前記記憶手段内に前記空間距離が
保持されている間はこの記憶手段に記憶された前記空間
距離に基づいて前記視線方向を算出することを特徴とす
る視線検出装置。 - 【請求項3】 請求項1または2に記載の視線検出装置
において、 前記第2の瞳孔中心算出手段は、前記第2の角膜曲率中
心算出手段において用いられた前記観察手段以外の観察
手段を用いて瞳孔中心位置の算出を行うことを特徴とす
る視線検出装置。 - 【請求項4】 請求項2または3に記載の視線検出装置
において、 前記記憶手段は、前記観察手段により前記眼球の反射像
が観察できなくなるまで、前記空間距離を保持すること
を特徴とする視線検出装置。 - 【請求項5】 請求項2または3に記載の視線検出装置
が搭載されたカメラであって、 前記記憶手段は、前記カメラに備えられたレリーズボタ
ンの第1ストロークが解除されるまで、前記空間距離を
保持することを特徴とする視線検出装置。 - 【請求項6】 請求項5に記載の視線検出装置が搭載さ
れたカメラにおいて、 前記記憶手段は、前記カメラのレリーズ動作終了後から
所定時間だけ、前記空間距離を保持することを特徴とす
る視線検出装置。 - 【請求項7】 請求項2または3に記載の視線検出装置
が搭載されたカメラであって、 前記記憶手段は、前記カメラに備えられたメインスイッ
チがオフされるまで、前記空間距離を保持することを特
徴とする視線検出装置。 - 【請求項8】 請求項2または3に記載の視線検出装置
が搭載されたカメラであって、 前記記憶手段は、前記眼球が前記カメラのファインダ接
眼窓から離れるまで、前記空間距離を保持することを特
徴とする視線検出装置。 - 【請求項9】 請求項8に記載の視線検出装置が搭載さ
れたカメラにおいて、 前記記憶手段は、前記眼球が前記カメラのファインダ接
眼窓から離れた後、所定時間だけ前記空間距離を保持す
ることを特徴とする視線検出装置。 - 【請求項10】 請求項1、2または3に記載の視線検
出装置が搭載されたカメラであって、 前記視線算出手段は、前記カメラのレリーズボタンが第
2ストロークまで押し込まれたら前記眼球の視線方向を
算出することを特徴とする視線検出装置が搭載されたカ
メラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5139632A JPH06347865A (ja) | 1993-06-10 | 1993-06-10 | 視線検出装置およびこれが搭載されたカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP5139632A JPH06347865A (ja) | 1993-06-10 | 1993-06-10 | 視線検出装置およびこれが搭載されたカメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH06347865A true JPH06347865A (ja) | 1994-12-22 |
Family
ID=15249805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5139632A Pending JPH06347865A (ja) | 1993-06-10 | 1993-06-10 | 視線検出装置およびこれが搭載されたカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH06347865A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106999038A (zh) * | 2014-12-02 | 2017-08-01 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
-
1993
- 1993-06-10 JP JP5139632A patent/JPH06347865A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106999038A (zh) * | 2014-12-02 | 2017-08-01 | 索尼公司 | 信息处理设备、信息处理方法及程序 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3309615B2 (ja) | 画像観察装置及びこれを用いた両眼画像観察装置 | |
KR101640536B1 (ko) | 안과용 시스템들을 위한 이미지-프로세서-제어된 오정렬 감소 | |
JP3289953B2 (ja) | 視線方向検出装置 | |
KR19980071007A (ko) | 화상 정보 입력 장치 및 그 방법 | |
JP2005185431A (ja) | 視線検出方法および視線検出装置 | |
JP2002345756A (ja) | 視線検出装置及び光学機器 | |
JPH0694978A (ja) | 視線検出装置 | |
JPH08563A (ja) | 光学装置及びカメラ | |
JP3617705B2 (ja) | 角膜内皮細胞撮影装置 | |
JPH06347865A (ja) | 視線検出装置およびこれが搭載されたカメラ | |
JPH06230271A (ja) | 視線検出装置 | |
JP3976860B2 (ja) | 立体映像撮像装置 | |
JPH0984760A (ja) | 眼科器械用位置合わせ検出装置 | |
JPH0735966A (ja) | 視線検出装置およびこれが搭載されたカメラ | |
JPH0735967A (ja) | 視線検出装置 | |
JP2002301030A (ja) | 視線検出機能付き機器 | |
JPH085897A (ja) | ファインダ装置 | |
JPH08140937A (ja) | 瞳孔中心位置検出装置および視線検出装置 | |
JPH07299038A (ja) | 視線検出機能を有するカメラ | |
JPH06347866A (ja) | 視線検出装置、角膜曲率中心位置検出装置および瞳孔中心位置検出装置 | |
JP2022183552A (ja) | 視線情報取得装置、撮像装置、視線情報取得方法、プログラム、及び、記憶媒体 | |
JPH06138373A (ja) | 視線検出装置 | |
JPH08154899A (ja) | 視線検出装置 | |
JP3391892B2 (ja) | 視線検出装置、光学装置及び視線検出方法 | |
JP2023087377A (ja) | 視線検出装置 |