JPH04288121A - 視線検出装置 - Google Patents
視線検出装置Info
- Publication number
- JPH04288121A JPH04288121A JP3052067A JP5206791A JPH04288121A JP H04288121 A JPH04288121 A JP H04288121A JP 3052067 A JP3052067 A JP 3052067A JP 5206791 A JP5206791 A JP 5206791A JP H04288121 A JPH04288121 A JP H04288121A
- Authority
- JP
- Japan
- Prior art keywords
- head
- data
- magnetic field
- movement
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 89
- 238000001514 detection method Methods 0.000 claims description 56
- 230000004886 head movement Effects 0.000 claims description 44
- 230000004424 eye movement Effects 0.000 claims description 30
- 238000013500 data storage Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 abstract description 14
- 238000006243 chemical reaction Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 67
- 210000005252 bulbus oculi Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000005284 excitation Effects 0.000 description 7
- 210000001508 eye Anatomy 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical group [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】この発明は、視線検出装置に関し
、特に、磁界に歪を生じさせる環境に置かれた被観察者
の視線の動きを正確に検出する視線検出装置に関する。
、特に、磁界に歪を生じさせる環境に置かれた被観察者
の視線の動きを正確に検出する視線検出装置に関する。
【0002】
【従来の技術および発明が解決しようとする課題】従来
では、自動車や航空機などを運転または操縦している運
転者の視線の動きの分析において、運転者の頭部運動に
よる視線の動きへの影響を考慮せず、運転者の眼球の運
動による視線の動きだけが分析されていた。したがって
、眼球運動だけでなく、頭部運動をも考慮に入れて正確
な視線の動きの検出を行なう必要がある。
では、自動車や航空機などを運転または操縦している運
転者の視線の動きの分析において、運転者の頭部運動に
よる視線の動きへの影響を考慮せず、運転者の眼球の運
動による視線の動きだけが分析されていた。したがって
、眼球運動だけでなく、頭部運動をも考慮に入れて正確
な視線の動きの検出を行なう必要がある。
【0003】自動車などを運転中の運転者の頭部運動を
捉るためには、従来からテレビカメラなどで運転者を撮
影し、その画像信号の画像処理により頭部運動の検出を
行なうという方法が知られている。しかしながら、この
方法では、リアルタイムで頭部運動を捉ることが難しく
、ましてや動きの激しい視線運動への換算は容易でない
。
捉るためには、従来からテレビカメラなどで運転者を撮
影し、その画像信号の画像処理により頭部運動の検出を
行なうという方法が知られている。しかしながら、この
方法では、リアルタイムで頭部運動を捉ることが難しく
、ましてや動きの激しい視線運動への換算は容易でない
。
【0004】一方、最近では、磁気センサを用いて運転
者の頭部運動を捉る方法も注目されているが、自動車等
には鉄製の部品が数多く使われており、したがって運転
席の磁界に歪が生じ、正確な頭部運動の検出を行なうこ
とができない。したがって、運転者の視線運動を検出す
るのにこの磁気センサをそのまま適用しても、正確な頭
部運動の検出ができないことから、正しい視線運動の検
出を行なうことができなかった。
者の頭部運動を捉る方法も注目されているが、自動車等
には鉄製の部品が数多く使われており、したがって運転
席の磁界に歪が生じ、正確な頭部運動の検出を行なうこ
とができない。したがって、運転者の視線運動を検出す
るのにこの磁気センサをそのまま適用しても、正確な頭
部運動の検出ができないことから、正しい視線運動の検
出を行なうことができなかった。
【0005】この発明は、上記のような課題を解決する
ためになされたもので、磁界に歪を生じさせる環境に置
かれた被観察者の視線の動きを、磁気センサを用いて正
確に検出することを目的とする。
ためになされたもので、磁界に歪を生じさせる環境に置
かれた被観察者の視線の動きを、磁気センサを用いて正
確に検出することを目的とする。
【0006】
【課題を解決するための手段】この発明に係る視線検出
装置は、被観察者の眼球運動を検出する眼球運動検出手
段と、被観察者の頭部運動を検出するための基準磁界を
発生する基準磁界発生手段と、被観察者の頭部に装着さ
れ、基準磁界発生手段から発生された磁界に応答して、
被観察者の頭部運動を検出する頭部運動検出手段と、予
め定められた頭部運動量が与えられたときに頭部運動検
出手段によって検出される検出データに基づいて、被観
察者が置かれた環境による磁界への歪の影響を打消すた
めの補正データを記憶する補正データ記憶手段と、補正
データ記憶手段に記憶された補正データに基づいて、頭
部運動検出手段によって検出された検出データを補正す
る補正手段と、補正手段によって補正されたデータと眼
球運動検出手段から出力される眼球運動データとに基づ
いて、被観察者の視線を演算により求める視線演算手段
とを含む。
装置は、被観察者の眼球運動を検出する眼球運動検出手
段と、被観察者の頭部運動を検出するための基準磁界を
発生する基準磁界発生手段と、被観察者の頭部に装着さ
れ、基準磁界発生手段から発生された磁界に応答して、
被観察者の頭部運動を検出する頭部運動検出手段と、予
め定められた頭部運動量が与えられたときに頭部運動検
出手段によって検出される検出データに基づいて、被観
察者が置かれた環境による磁界への歪の影響を打消すた
めの補正データを記憶する補正データ記憶手段と、補正
データ記憶手段に記憶された補正データに基づいて、頭
部運動検出手段によって検出された検出データを補正す
る補正手段と、補正手段によって補正されたデータと眼
球運動検出手段から出力される眼球運動データとに基づ
いて、被観察者の視線を演算により求める視線演算手段
とを含む。
【0007】
【作用】この発明における視線検出装置では、発生され
た磁界に歪を生じさせる環境に被観察者が置かれている
が、頭部運動検出手段によって検出された検出データが
、補正データ記憶手段に記憶された補正データに基づい
て補正手段によって補正される。したがって、磁界の歪
の影響が打消された頭部運動検出データが得られるので
、正確な頭部運動を考慮に入れた視線検出が行なえる。
た磁界に歪を生じさせる環境に被観察者が置かれている
が、頭部運動検出手段によって検出された検出データが
、補正データ記憶手段に記憶された補正データに基づい
て補正手段によって補正される。したがって、磁界の歪
の影響が打消された頭部運動検出データが得られるので
、正確な頭部運動を考慮に入れた視線検出が行なえる。
【0008】
【実施例】図1は、この発明の一実施例を示す視線運動
検出装置のブロック図である。図1を参照して、この視
線運動検出装置は、磁気センサを用いて運転者の頭部運
動を検出する頭部運動検出装置6と、運転者の眼球の運
動を検出する眼球運動検出装置5と、検出された頭部運
動データおよび眼球運動データを演算処理することによ
り運転者の視線データを求める演算処理装置1と、求め
られた視線データの画像処理を行なう画像処理装置8と
、運転席から撮影される外部状況を示す外部ビデオ信号
に画像処理された視線信号をスーパーインポーズするス
ーパーインポーザ9とを含む。演算処理装置1は、運転
席における磁界の歪の影響を受けている頭部運動検出デ
ータを磁界の歪の影響を受けていないものに変換するた
めの変換マトリクスデータをストアするメモリ3と、メ
モリ3にストアされた変換マトリクスデータに基づいて
頭部運動検出データの補正処理を行なう補正処理部4と
、補正された頭部運動データおよび眼球運動データの注
視点処理を行なうことにより視線データを出力する注視
点処理部7とを含む。
検出装置のブロック図である。図1を参照して、この視
線運動検出装置は、磁気センサを用いて運転者の頭部運
動を検出する頭部運動検出装置6と、運転者の眼球の運
動を検出する眼球運動検出装置5と、検出された頭部運
動データおよび眼球運動データを演算処理することによ
り運転者の視線データを求める演算処理装置1と、求め
られた視線データの画像処理を行なう画像処理装置8と
、運転席から撮影される外部状況を示す外部ビデオ信号
に画像処理された視線信号をスーパーインポーズするス
ーパーインポーザ9とを含む。演算処理装置1は、運転
席における磁界の歪の影響を受けている頭部運動検出デ
ータを磁界の歪の影響を受けていないものに変換するた
めの変換マトリクスデータをストアするメモリ3と、メ
モリ3にストアされた変換マトリクスデータに基づいて
頭部運動検出データの補正処理を行なう補正処理部4と
、補正された頭部運動データおよび眼球運動データの注
視点処理を行なうことにより視線データを出力する注視
点処理部7とを含む。
【0009】図5は、図1に示した頭部運動検出装置6
のブロック図である。図5を参照して、この頭部運動検
出装置6は、基準磁界を発生する励磁コイル61と、励
磁コイル61を交流駆動するためのドライブ回路65と
、被観察者の頭部に装着されたセンサコイル62と、被
観察者の頭部に動きに応じてセンサコイル62に誘起さ
れた電圧を検出する検出回路63と、検出回路63によ
って検出された電圧に基づいて演算処理により被観察者
の頭部運動を求めるCPU64とを含む。CPU64は
ドライブ回路65をも制御する。励磁コイル61は、3
軸(X,Y,Z)方向に巻かれた3つのコイルにより構
成される。各コイルには、ドライブ回路65から発生さ
れた、それぞれ周波数の異なった駆動用電源電圧が供給
される。したがって、励磁コイル61によって3軸を基
準とする磁界が発生され、その磁界の中に被観察者がい
ることになる。センサコイル62も、(X,Y,Z)方
向にそれぞれ巻かれた3つの検出用コイルを備えている
。被観察者の頭部が動くと、その動きに応じてセンサコ
イル62内の各コイルに起電力が誘起される。各コイル
に生じた起電力を検出回路63により検出することによ
り、被観察者の頭部の動きに応じた信号が得られる。 CPU64は、この信号に基づいて演算処理することに
より、被観察者の頭部の動きを示す頭部運動データHを
求め、それを出力する。
のブロック図である。図5を参照して、この頭部運動検
出装置6は、基準磁界を発生する励磁コイル61と、励
磁コイル61を交流駆動するためのドライブ回路65と
、被観察者の頭部に装着されたセンサコイル62と、被
観察者の頭部に動きに応じてセンサコイル62に誘起さ
れた電圧を検出する検出回路63と、検出回路63によ
って検出された電圧に基づいて演算処理により被観察者
の頭部運動を求めるCPU64とを含む。CPU64は
ドライブ回路65をも制御する。励磁コイル61は、3
軸(X,Y,Z)方向に巻かれた3つのコイルにより構
成される。各コイルには、ドライブ回路65から発生さ
れた、それぞれ周波数の異なった駆動用電源電圧が供給
される。したがって、励磁コイル61によって3軸を基
準とする磁界が発生され、その磁界の中に被観察者がい
ることになる。センサコイル62も、(X,Y,Z)方
向にそれぞれ巻かれた3つの検出用コイルを備えている
。被観察者の頭部が動くと、その動きに応じてセンサコ
イル62内の各コイルに起電力が誘起される。各コイル
に生じた起電力を検出回路63により検出することによ
り、被観察者の頭部の動きに応じた信号が得られる。 CPU64は、この信号に基づいて演算処理することに
より、被観察者の頭部の動きを示す頭部運動データHを
求め、それを出力する。
【0010】前述のように、被観察者は、発生された磁
界に歪を生じさせやすい運転席に置かれているため、励
磁コイル61から発生された磁界が何らかの歪を受けて
いるものと考えられる。したがって、CPU64から得
られる頭部運動データHが磁界の歪の影響を受けたもの
になっていると考えられる。その影響を打消すため、図
1に示した演算処理装置1において、次のような処理が
行なわれる。
界に歪を生じさせやすい運転席に置かれているため、励
磁コイル61から発生された磁界が何らかの歪を受けて
いるものと考えられる。したがって、CPU64から得
られる頭部運動データHが磁界の歪の影響を受けたもの
になっていると考えられる。その影響を打消すため、図
1に示した演算処理装置1において、次のような処理が
行なわれる。
【0011】演算処理装置1内のメモリ部3には、頭部
運動検出装置6によって得られる頭部運動データHに含
まれる磁界の歪の影響を打消すためのデータ、すなわち
頭部運動データHを正しいデータに変換するための変換
マトリクスデータがストアされている。変換マトリクス
データは、図2に示した手順により予め作成され、メモ
リ部3内にストアされる。
運動検出装置6によって得られる頭部運動データHに含
まれる磁界の歪の影響を打消すためのデータ、すなわち
頭部運動データHを正しいデータに変換するための変換
マトリクスデータがストアされている。変換マトリクス
データは、図2に示した手順により予め作成され、メモ
リ部3内にストアされる。
【0012】図2を参照して、まず、ステップ21にお
いて、被観察者の代わりに、その頭部運動の動きを正確
に知ることのできるダミーヘッド2が運転席に取付けら
れる。ダミーヘッド2は、図3に示されるようなもので
あり、その前頭部に前述のセンサコイル62が装着され
る。このダミーヘッド2は、運転者の頭部運動を正確に
再現できればよく、必ずしもこの図のように人間の頭部
の形状を有している必要はない。図3に示したパラメー
タHx,Hy,Hz,Hθ,HφおよびHψは、それぞ
れこの図に示す方向の頭部運動の動きを示している。す
なわち、Hxは頭部の水平平行運動を示し、Hyは前後
方向の動きを示し、Hzは垂直平行運動を示す。また、
Hθは首を左右に傾ける方向の運動を示し、Hφは首の
上下方向の回転運動を示し、Hψは頭部の左右方向の回
転運動を示す。
いて、被観察者の代わりに、その頭部運動の動きを正確
に知ることのできるダミーヘッド2が運転席に取付けら
れる。ダミーヘッド2は、図3に示されるようなもので
あり、その前頭部に前述のセンサコイル62が装着され
る。このダミーヘッド2は、運転者の頭部運動を正確に
再現できればよく、必ずしもこの図のように人間の頭部
の形状を有している必要はない。図3に示したパラメー
タHx,Hy,Hz,Hθ,HφおよびHψは、それぞ
れこの図に示す方向の頭部運動の動きを示している。す
なわち、Hxは頭部の水平平行運動を示し、Hyは前後
方向の動きを示し、Hzは垂直平行運動を示す。また、
Hθは首を左右に傾ける方向の運動を示し、Hφは首の
上下方向の回転運動を示し、Hψは頭部の左右方向の回
転運動を示す。
【0013】図4は、運転席における頭部運動検出の様
子を示す概略図である。図4を参照して、ハンドルの下
部などのような運転席に近い固定された位置に励磁コイ
ル61が取付けられる。センサコイル62は、運転者ま
たはダミーヘッドの前頭部に取付けられる。運転者の頭
部が動くことにより、励磁コイル61とセンサコイル6
2との間の位置関係が相対的に変化し、頭部運動検出が
行なわれる。
子を示す概略図である。図4を参照して、ハンドルの下
部などのような運転席に近い固定された位置に励磁コイ
ル61が取付けられる。センサコイル62は、運転者ま
たはダミーヘッドの前頭部に取付けられる。運転者の頭
部が動くことにより、励磁コイル61とセンサコイル6
2との間の位置関係が相対的に変化し、頭部運動検出が
行なわれる。
【0014】再び図2を参照して、ダミーヘッド2が運
転席に取付けられた後、そのダミーヘッド2に正確な変
位量を知ることのできる変位ΔHが設定される。たとえ
ば、ダミーヘッドをその基準位置から+ΔHψだけ回転
させ固定する。その状態において、頭部運動検出装置6
から発生される頭部運動データH1が検出される。次に
、ダミーヘッド2が前述の基準位置より−ΔHψだけ回
転され固定される。この状態においても頭部運動検出装
置6によって検出される頭部運動データH2が検出され
る。したがって、次式によって表わされる頭部運動デー
タH1およびH2が得られる。
転席に取付けられた後、そのダミーヘッド2に正確な変
位量を知ることのできる変位ΔHが設定される。たとえ
ば、ダミーヘッドをその基準位置から+ΔHψだけ回転
させ固定する。その状態において、頭部運動検出装置6
から発生される頭部運動データH1が検出される。次に
、ダミーヘッド2が前述の基準位置より−ΔHψだけ回
転され固定される。この状態においても頭部運動検出装
置6によって検出される頭部運動データH2が検出され
る。したがって、次式によって表わされる頭部運動デー
タH1およびH2が得られる。
【0015】
【数1】
H1=(Hψ1、Hφ1、Hθ1、Hx1、Hy1、H
z1)
……(1)
(+ΔHψ回転)H2=(Hψ2、Hφ2、Hθ2
、Hx2、Hy2、Hz2)
……(2) (−ΔHψ回転)自動車の車
体等による磁界の歪のない空間では、一般にH1=H2
が成立し、Hψ1およびHψ2のみが変化して他の係数
は定数となる。しかしながら、磁界の歪の影響を受ける
ことにより、H1≠H2となり、かつすべての係数が変
化する。
z1)
……(1)
(+ΔHψ回転)H2=(Hψ2、Hφ2、Hθ2
、Hx2、Hy2、Hz2)
……(2) (−ΔHψ回転)自動車の車
体等による磁界の歪のない空間では、一般にH1=H2
が成立し、Hψ1およびHψ2のみが変化して他の係数
は定数となる。しかしながら、磁界の歪の影響を受ける
ことにより、H1≠H2となり、かつすべての係数が変
化する。
【0016】同様にして、他の方向についてもダミーヘ
ッド2に変位を与え、頭部運動検出装置6から頭部運動
データH3ないしH12を得る。すなわち、ダミーヘッ
ドを±ΔHφだけ回転させたときの頭部運動データH3
およびH4が得られ、±ΔHθだけ回転させたときの頭
部運動データH5およびH6が得られ、±ΔHxだけダ
ミーヘッドを移動させたときの頭部運動データH7およ
びH8が得られ、±ΔHyだけダミーヘッドが移動され
たときの頭部運動データH9およびH10が得られ、±
ΔHzだけダミーヘッドが移動されたときの頭部運動デ
ータH11およびH12が得られる。したがって、各デ
ータH3ないしH12は、次式によって表わされる。
ッド2に変位を与え、頭部運動検出装置6から頭部運動
データH3ないしH12を得る。すなわち、ダミーヘッ
ドを±ΔHφだけ回転させたときの頭部運動データH3
およびH4が得られ、±ΔHθだけ回転させたときの頭
部運動データH5およびH6が得られ、±ΔHxだけダ
ミーヘッドを移動させたときの頭部運動データH7およ
びH8が得られ、±ΔHyだけダミーヘッドが移動され
たときの頭部運動データH9およびH10が得られ、±
ΔHzだけダミーヘッドが移動されたときの頭部運動デ
ータH11およびH12が得られる。したがって、各デ
ータH3ないしH12は、次式によって表わされる。
【0017】
【数2】
H3=(Hψ3、Hφ3、Hθ3、Hx3、Hy3、H
z3)
……(3)
(+ΔHφ回転)H4=(Hψ4、Hφ4、Hθ4
、Hx4、Hy4、Hz4)
……(4) (−ΔHφ回転)H5=(H
ψ5、Hφ5、Hθ5、Hx5、Hy5、Hz5)
……(5) (+Δ
Hθ回転)H6=(Hψ6、Hφ6、Hθ6、Hx6、
Hy6、Hz6)
……(6) (−ΔHθ回転)H7=(Hψ7、Hφ
7、Hθ7、Hx7、Hy7、Hz7)
……(7) (+ΔHx移動)
H8=(Hψ8、Hφ8、Hθ8、Hx8、Hy8、H
z8)
……(8)
(−ΔHx移動)H9=(Hψ9、Hφ9、Hθ9
、Hx9、Hy9、Hz9)
……(9) (+ΔHy移動)H10=(
Hψ10、Hφ10、Hθ10、Hx10、Hy10、
Hz10)
……(10
) (−ΔHy移動)H11=(Hψ11、Hφ11
、Hθ11、Hx11、Hy11、Hz11)
……(11) (+ΔHz移
動)H12=(Hψ12、Hφ12、Hθ12、Hx1
2、Hy12、Hz12)
……(12) (−ΔHz移動)図2に示された
ステップ24において、すべての頭部運動データH1な
いしH12が得られたかどうかが判定され、全データH
1ないしH12が得られた後に変換マトリクスTmが作
成される(ステップ25)。変換マトリクスTmは、上
記のデータH1ないしH12に基づいて作成され、頭部
運動検出装置6によって検出された頭部運動データH=
(Hψ,Hφ,Hθ,Hx,Hy,Hz)を、磁界の歪
の影響を受けていない頭部運動データH′=(Hψ′,
Hφ′,Hθ′,Hx′,Hy′,Hz′)に変換する
のに用いられる。なお、変換マトリクスTmに代えて、
同様の機能を果たすルックアップテーブルTL を生成
することもできる。
z3)
……(3)
(+ΔHφ回転)H4=(Hψ4、Hφ4、Hθ4
、Hx4、Hy4、Hz4)
……(4) (−ΔHφ回転)H5=(H
ψ5、Hφ5、Hθ5、Hx5、Hy5、Hz5)
……(5) (+Δ
Hθ回転)H6=(Hψ6、Hφ6、Hθ6、Hx6、
Hy6、Hz6)
……(6) (−ΔHθ回転)H7=(Hψ7、Hφ
7、Hθ7、Hx7、Hy7、Hz7)
……(7) (+ΔHx移動)
H8=(Hψ8、Hφ8、Hθ8、Hx8、Hy8、H
z8)
……(8)
(−ΔHx移動)H9=(Hψ9、Hφ9、Hθ9
、Hx9、Hy9、Hz9)
……(9) (+ΔHy移動)H10=(
Hψ10、Hφ10、Hθ10、Hx10、Hy10、
Hz10)
……(10
) (−ΔHy移動)H11=(Hψ11、Hφ11
、Hθ11、Hx11、Hy11、Hz11)
……(11) (+ΔHz移
動)H12=(Hψ12、Hφ12、Hθ12、Hx1
2、Hy12、Hz12)
……(12) (−ΔHz移動)図2に示された
ステップ24において、すべての頭部運動データH1な
いしH12が得られたかどうかが判定され、全データH
1ないしH12が得られた後に変換マトリクスTmが作
成される(ステップ25)。変換マトリクスTmは、上
記のデータH1ないしH12に基づいて作成され、頭部
運動検出装置6によって検出された頭部運動データH=
(Hψ,Hφ,Hθ,Hx,Hy,Hz)を、磁界の歪
の影響を受けていない頭部運動データH′=(Hψ′,
Hφ′,Hθ′,Hx′,Hy′,Hz′)に変換する
のに用いられる。なお、変換マトリクスTmに代えて、
同様の機能を果たすルックアップテーブルTL を生成
することもできる。
【0018】ステップ26において、変換マトリクスデ
ータTmが図1に示したメモリ部3にストアされた後、
ステップ27において、ダミーヘッド2が取外される。 したがって、上記のような変換マトリクスTmの作成が
、被観察者の視線運動の検出に先立って行なわれたこと
になる。ダミーヘッド2の高さと被観察者の座高との違
いによって、データHzが若干変化するが、この変化は
微小であり、変換マトリクスTmは予め自動車の種類ご
とに求めておけば十分である。
ータTmが図1に示したメモリ部3にストアされた後、
ステップ27において、ダミーヘッド2が取外される。 したがって、上記のような変換マトリクスTmの作成が
、被観察者の視線運動の検出に先立って行なわれたこと
になる。ダミーヘッド2の高さと被観察者の座高との違
いによって、データHzが若干変化するが、この変化は
微小であり、変換マトリクスTmは予め自動車の種類ご
とに求めておけば十分である。
【0019】図1に示された補正処理部4では、メモリ
部3にストアされた変換マトリクスデータを参照するこ
とにより、頭部運動検出装置6によって随時検出される
頭部運動データHが、磁界の歪の影響を受けていないデ
ータH′に補正される。補正されたデータH′は注視点
処理部7に与えられる。
部3にストアされた変換マトリクスデータを参照するこ
とにより、頭部運動検出装置6によって随時検出される
頭部運動データHが、磁界の歪の影響を受けていないデ
ータH′に補正される。補正されたデータH′は注視点
処理部7に与えられる。
【0020】図6は、図1に示した眼球運動検出装置5
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図6を参照して、左右の目E1およびE2の前方に、セ
ンサ71および72がそれぞれ配置される。各センサ7
1および72の中央には、発光素子73が配置される。 発光素子73として、比較的指向性の広い±21゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
73の両側には、受光素子74が設けられる。受光素子
74として、指向性の鋭い±10゜程度のフォトダイオ
ードが用いられる。発光素子73から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平(左右)の眼球運動の動きが出力と
して得られ、和を取れば垂直(上下)方向の眼球の動き
が出力として得られる。
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図6を参照して、左右の目E1およびE2の前方に、セ
ンサ71および72がそれぞれ配置される。各センサ7
1および72の中央には、発光素子73が配置される。 発光素子73として、比較的指向性の広い±21゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
73の両側には、受光素子74が設けられる。受光素子
74として、指向性の鋭い±10゜程度のフォトダイオ
ードが用いられる。発光素子73から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平(左右)の眼球運動の動きが出力と
して得られ、和を取れば垂直(上下)方向の眼球の動き
が出力として得られる。
【0021】水平方向と垂直方向とでは、眼球に対する
センサ71および72の位置が異なり、水平方向のセン
サ71は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ72は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目E1に水平方向
のセンサ71が配置され、他方の目E2の垂直方向のセ
ンサ72が配置される。これらを同時に用いれば、2次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度,移動方向,移動距離,
注視時間などを求める手法は、たとえば特開昭60−1
26140号公報において開示される。したがって、図
1に示した眼球運動検出装置5から運転者の眼球運動を
示すデータEが得られ、注視点処理部7に与えられる。
センサ71および72の位置が異なり、水平方向のセン
サ71は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ72は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目E1に水平方向
のセンサ71が配置され、他方の目E2の垂直方向のセ
ンサ72が配置される。これらを同時に用いれば、2次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度,移動方向,移動距離,
注視時間などを求める手法は、たとえば特開昭60−1
26140号公報において開示される。したがって、図
1に示した眼球運動検出装置5から運転者の眼球運動を
示すデータEが得られ、注視点処理部7に与えられる。
【0022】図7は、頭部運動による視線の動きを説明
するための概略図である。図7を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首,背骨,腰,足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図7に示した頭部
運動補正眼球回転角αが得られる。図1に示した注視点
処理部7では、この頭部運動補正眼球回転角αと眼球自
身の回転角θとの組合わせにより、視線データが表現さ
れる。ここで、この回転角αとθの和を総称して視線と
定義する。
するための概略図である。図7を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首,背骨,腰,足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図7に示した頭部
運動補正眼球回転角αが得られる。図1に示した注視点
処理部7では、この頭部運動補正眼球回転角αと眼球自
身の回転角θとの組合わせにより、視線データが表現さ
れる。ここで、この回転角αとθの和を総称して視線と
定義する。
【0023】図1に示した注視点処理部7における処理
を以下に説明する。なお、以下の説明では、図1に示し
た補正されたデータH′をデータHとして示す。注視点
処理部7は、補正された頭部運動データHと眼球運動デ
ータEとを受ける。データHの水平運動成分として(H
x,Hy,Hz)が与えられ、回転運動成分として(H
φ,Hθ,Hψ)が与えられるものとする。頭部運動の
水平成分(Hx,Hy,Hz)により視線が変化するが
、これを眼球回転角(Ex,Ey)に換算するには次式
が用いられる。ここで、Dは被験者と観察対象までの距
離である。
を以下に説明する。なお、以下の説明では、図1に示し
た補正されたデータH′をデータHとして示す。注視点
処理部7は、補正された頭部運動データHと眼球運動デ
ータEとを受ける。データHの水平運動成分として(H
x,Hy,Hz)が与えられ、回転運動成分として(H
φ,Hθ,Hψ)が与えられるものとする。頭部運動の
水平成分(Hx,Hy,Hz)により視線が変化するが
、これを眼球回転角(Ex,Ey)に換算するには次式
が用いられる。ここで、Dは被験者と観察対象までの距
離である。
【0024】
【数3】
首を左肩方向または右肩方向にHθだけ傾げると、眼球
運動系の座標が回転する。したがって、Hθだけ傾いた
眼球運動座標系(Xe,Ye)を元の観察対象に直交し
た座標系(Xe′,Ye′)に変換する必要がある。そ
のため次式が用いられる。
運動系の座標が回転する。したがって、Hθだけ傾いた
眼球運動座標系(Xe,Ye)を元の観察対象に直交し
た座標系(Xe′,Ye′)に変換する必要がある。そ
のため次式が用いられる。
【0025】
【数4】
Xe′=Xe・cosHθ+Ye・sinHθ
……(15)Ye′=−Xe
・sinHθ+Ye・cosHθ
……(16)頭部運動により実現される視線の
動き(Xh,Yh)は、式(13)および(14)から
、次式により表わされる。
……(15)Ye′=−Xe
・sinHθ+Ye・cosHθ
……(16)頭部運動により実現される視線の
動き(Xh,Yh)は、式(13)および(14)から
、次式により表わされる。
【0026】
【数5】
Xh=Ex+Hψ
……(17)Yh=Ey+Hφ
……(18)したがって、頭の動きを考慮
した視線の動き(Xv,Yv)は、式(15)ないし(
18)より、次式により表わされる。
……(17)Yh=Ey+Hφ
……(18)したがって、頭の動きを考慮
した視線の動き(Xv,Yv)は、式(15)ないし(
18)より、次式により表わされる。
【0027】
【数6】
Xv=Xe′+Xh
…
…(19)Yv=Ye′+Yh
……(20)式(19)および(20)を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図1に示した注視点処理部7にお
いて行なわれ、視線の動きを示す視線データが画像処理
装置8に与えられる。
…
…(19)Yv=Ye′+Yh
……(20)式(19)および(20)を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図1に示した注視点処理部7にお
いて行なわれ、視線の動きを示す視線データが画像処理
装置8に与えられる。
【0028】画像処理装置8は、与えられた視線データ
に画像処理を施し、画面上にその視線を表示するのに必
要な視線信号を出力する。スーパーインポーザ9では、
運転席から見られる外部の状況を撮像した外部ビデオ信
号に画像処理装置8から与えられる視線信号がスーパー
インポーズされる。したがって、図示されていない表示
装置の画面上に、運転席から見られる外部の状況を背景
として視線の動きが表示される。その表示例が図8に示
される。
に画像処理を施し、画面上にその視線を表示するのに必
要な視線信号を出力する。スーパーインポーザ9では、
運転席から見られる外部の状況を撮像した外部ビデオ信
号に画像処理装置8から与えられる視線信号がスーパー
インポーズされる。したがって、図示されていない表示
装置の画面上に、運転席から見られる外部の状況を背景
として視線の動きが表示される。その表示例が図8に示
される。
【0029】このようにして、自動車などの運転席では
発生された磁界が歪を受けるが、図1に示したメモリ部
3内にストアされた変換マトリクスデータに基づいて頭
部運動検出装置6によって検出された頭部運動データH
がその歪の影響を打消すように補正される。したがって
、正確な頭部運動データH′が注視点処理部7に与えら
れることになり、眼球運動データEと組合わせて処理す
ることにより正確な視線データが得られる。その結果、
表示画面上に正確な視線の動きを表示することができ、
眼球運動と頭部運動とを組合わせて行なわれる視線の動
きの分析を人間の自然な行動に即して行なうことができ
る。
発生された磁界が歪を受けるが、図1に示したメモリ部
3内にストアされた変換マトリクスデータに基づいて頭
部運動検出装置6によって検出された頭部運動データH
がその歪の影響を打消すように補正される。したがって
、正確な頭部運動データH′が注視点処理部7に与えら
れることになり、眼球運動データEと組合わせて処理す
ることにより正確な視線データが得られる。その結果、
表示画面上に正確な視線の動きを表示することができ、
眼球運動と頭部運動とを組合わせて行なわれる視線の動
きの分析を人間の自然な行動に即して行なうことができ
る。
【0030】
【発明の効果】以上のように、この発明によれば、頭部
運動検出手段によって検出された検出データを、補正デ
ータ記憶手段に記憶された補正データに基づいて磁界の
歪の影響を打消すように補正する補正手段を設けたので
、磁界に歪を生じさせる環境に置かれた被観察者の視線
の動きを正確に検出することのできる視線検出装置が得
られた。
運動検出手段によって検出された検出データを、補正デ
ータ記憶手段に記憶された補正データに基づいて磁界の
歪の影響を打消すように補正する補正手段を設けたので
、磁界に歪を生じさせる環境に置かれた被観察者の視線
の動きを正確に検出することのできる視線検出装置が得
られた。
【図1】この発明の一実施例を示す視線運動検出装置の
ブロック図である。
ブロック図である。
【図2】図1に示したメモリ部にストアされる変換マト
リクスデータを作成する手順を示すフローチャートであ
る。
リクスデータを作成する手順を示すフローチャートであ
る。
【図3】ダミーヘッドの例および頭部運動検出において
用いられる各運動パラメータの方向を示す概略図である
。
用いられる各運動パラメータの方向を示す概略図である
。
【図4】運転席における頭部運動検出の様子を示す概略
図である。
図である。
【図5】図1に示した頭部運動検出装置のブロック図で
ある。
ある。
【図6】図1に示した眼球運動検出装置における検出原
理を示す概略図である。
理を示す概略図である。
【図7】頭部運動における視線の動きを説明するための
概略図である。
概略図である。
【図8】検出された視線運動の表示例を示す画面図であ
る。
る。
1 演算処理装置
3 メモリ部
4 補正処理部
5 眼球運動検出装置
6 頭部運動検出装置
7 注視点処理部
Claims (1)
- 【請求項1】 発生された磁界に歪を生じさせる環境
に置かれた被観察者の視線を検出する視線検出装置であ
って、前記被観察者の眼球運動を検出する眼球運動検出
手段と、前記被観察者の頭部運動を検出するための基準
磁界を発生する基準磁界発生手段と、前記被観察者の頭
部に装着され、前記基準磁界発生手段から発生された磁
界に応答して、前記被観察者の頭部運動を検出する頭部
運動検出手段とを含み、前記基準磁界発生手段から発生
された磁界は、前記環境により歪を受ける可能性があり
、予め定められた頭部運動量が与えられたときに前記頭
部運動検出手段によって検出される検出データに基づい
て、前記磁界の歪の影響を打消すための補正データを記
憶する補正データ記憶手段と、前記補正データ記憶手段
に記憶された補正データに基づいて、前記頭部運動検出
手段によって検出された検出データを補正する補正手段
と、前記補正手段によって補正されたデータと前記眼球
運動検出手段から出力される眼球運動データとに基づい
て、前記被観察者の視線を演算により求める視線演算手
段とを含む、視線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3052067A JPH04288121A (ja) | 1991-03-18 | 1991-03-18 | 視線検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3052067A JPH04288121A (ja) | 1991-03-18 | 1991-03-18 | 視線検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04288121A true JPH04288121A (ja) | 1992-10-13 |
JPH0583245B2 JPH0583245B2 (ja) | 1993-11-25 |
Family
ID=12904470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3052067A Granted JPH04288121A (ja) | 1991-03-18 | 1991-03-18 | 視線検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH04288121A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003523244A (ja) * | 2000-02-25 | 2003-08-05 | ソーラ インターナショナル ホールディングズ リミテッド | 眼用レンズを処方および/または調製する方法およびシステム |
JP2005161035A (ja) * | 2003-11-13 | 2005-06-23 | Oculus Optikgeraete Gmbh | 人間の眼の検査を行うための装置 |
-
1991
- 1991-03-18 JP JP3052067A patent/JPH04288121A/ja active Granted
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003523244A (ja) * | 2000-02-25 | 2003-08-05 | ソーラ インターナショナル ホールディングズ リミテッド | 眼用レンズを処方および/または調製する方法およびシステム |
JP2005161035A (ja) * | 2003-11-13 | 2005-06-23 | Oculus Optikgeraete Gmbh | 人間の眼の検査を行うための装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH0583245B2 (ja) | 1993-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US11200646B2 (en) | Compensation for deformation in head mounted display systems | |
US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
KR20140126419A (ko) | 주시점 검출 장치, 주시점 검출 방법, 개인 파라미터 산출 장치, 개인 파라미터 산출 방법, 프로그램, 및 컴퓨터 판독 가능한 기록 매체 | |
WO2009043927A1 (en) | Apparatus for acquiring and processing information relating to human eye movements | |
JP2009183473A (ja) | 視線方向検出装置及び視線方向検出方法 | |
JP6669182B2 (ja) | 乗員監視装置 | |
JP2003339044A (ja) | 車両用周辺監視装置 | |
JPH06189906A (ja) | 視線方向計測装置 | |
WO2019176491A1 (ja) | 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体 | |
JP2018101212A (ja) | 車載器および顔正面度算出方法 | |
JPH0449943A (ja) | 眼球運動分析装置 | |
JP6906943B2 (ja) | 車載器 | |
JPH04288121A (ja) | 視線検出装置 | |
JP3144172U (ja) | ディスプレイ角度調整装置 | |
JP2011257342A (ja) | ヘッドトラッキング装置及びヘッドトラッキング方法 | |
WO2021117606A1 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JPH04288122A (ja) | 視線表示装置 | |
JPWO2010007960A1 (ja) | 車載用カメラの視点変換映像システム及び視点変換映像取得方法 | |
JP7269617B2 (ja) | 顔画像処理装置、画像観察システム、及び瞳孔検出システム | |
JPH04288123A (ja) | 視線表示装置 | |
JP6813437B2 (ja) | 表示システム | |
JPH10291188A (ja) | 立体映像提示方法 | |
JPH04293375A (ja) | 映像表示システム | |
JP5522799B2 (ja) | 視線位置推定システム及び視線位置推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19940621 |
|
LAPS | Cancellation because of no payment of annual fees |