JPH04288121A - 視線検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、視線検出装置に関し
、特に、磁界に歪を生じさせる環境に置かれた被観察者
の視線の動きを正確に検出する視線検出装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】従来
では、自動車や航空機などを運転または操縦している運
転者の視線の動きの分析において、運転者の頭部運動に
よる視線の動きへの影響を考慮せず、運転者の眼球の運
動による視線の動きだけが分析されていた。したがって
、眼球運動だけでなく、頭部運動をも考慮に入れて正確
な視線の動きの検出を行なう必要がある。

【０００３】自動車などを運転中の運転者の頭部運動を
捉るためには、従来からテレビカメラなどで運転者を撮
影し、その画像信号の画像処理により頭部運動の検出を
行なうという方法が知られている。しかしながら、この
方法では、リアルタイムで頭部運動を捉ることが難しく
、ましてや動きの激しい視線運動への換算は容易でない
。

【０００４】一方、最近では、磁気センサを用いて運転
者の頭部運動を捉る方法も注目されているが、自動車等
には鉄製の部品が数多く使われており、したがって運転
席の磁界に歪が生じ、正確な頭部運動の検出を行なうこ
とができない。したがって、運転者の視線運動を検出す
るのにこの磁気センサをそのまま適用しても、正確な頭
部運動の検出ができないことから、正しい視線運動の検
出を行なうことができなかった。

【０００５】この発明は、上記のような課題を解決する
ためになされたもので、磁界に歪を生じさせる環境に置
かれた被観察者の視線の動きを、磁気センサを用いて正
確に検出することを目的とする。

【０００６】

【課題を解決するための手段】この発明に係る視線検出
装置は、被観察者の眼球運動を検出する眼球運動検出手
段と、被観察者の頭部運動を検出するための基準磁界を
発生する基準磁界発生手段と、被観察者の頭部に装着さ
れ、基準磁界発生手段から発生された磁界に応答して、
被観察者の頭部運動を検出する頭部運動検出手段と、予
め定められた頭部運動量が与えられたときに頭部運動検
出手段によって検出される検出データに基づいて、被観
察者が置かれた環境による磁界への歪の影響を打消すた
めの補正データを記憶する補正データ記憶手段と、補正
データ記憶手段に記憶された補正データに基づいて、頭
部運動検出手段によって検出された検出データを補正す
る補正手段と、補正手段によって補正されたデータと眼
球運動検出手段から出力される眼球運動データとに基づ
いて、被観察者の視線を演算により求める視線演算手段
とを含む。

【０００７】

【作用】この発明における視線検出装置では、発生され
た磁界に歪を生じさせる環境に被観察者が置かれている
が、頭部運動検出手段によって検出された検出データが
、補正データ記憶手段に記憶された補正データに基づい
て補正手段によって補正される。したがって、磁界の歪
の影響が打消された頭部運動検出データが得られるので
、正確な頭部運動を考慮に入れた視線検出が行なえる。

【０００８】

【実施例】図１は、この発明の一実施例を示す視線運動
検出装置のブロック図である。図１を参照して、この視
線運動検出装置は、磁気センサを用いて運転者の頭部運
動を検出する頭部運動検出装置６と、運転者の眼球の運
動を検出する眼球運動検出装置５と、検出された頭部運
動データおよび眼球運動データを演算処理することによ
り運転者の視線データを求める演算処理装置１と、求め
られた視線データの画像処理を行なう画像処理装置８と
、運転席から撮影される外部状況を示す外部ビデオ信号
に画像処理された視線信号をスーパーインポーズするス
ーパーインポーザ９とを含む。演算処理装置１は、運転
席における磁界の歪の影響を受けている頭部運動検出デ
ータを磁界の歪の影響を受けていないものに変換するた
めの変換マトリクスデータをストアするメモリ３と、メ
モリ３にストアされた変換マトリクスデータに基づいて
頭部運動検出データの補正処理を行なう補正処理部４と
、補正された頭部運動データおよび眼球運動データの注
視点処理を行なうことにより視線データを出力する注視
点処理部７とを含む。

【０００９】図５は、図１に示した頭部運動検出装置６
のブロック図である。図５を参照して、この頭部運動検
出装置６は、基準磁界を発生する励磁コイル６１と、励
磁コイル６１を交流駆動するためのドライブ回路６５と
、被観察者の頭部に装着されたセンサコイル６２と、被
観察者の頭部に動きに応じてセンサコイル６２に誘起さ
れた電圧を検出する検出回路６３と、検出回路６３によ
って検出された電圧に基づいて演算処理により被観察者
の頭部運動を求めるＣＰＵ６４とを含む。ＣＰＵ６４は
ドライブ回路６５をも制御する。励磁コイル６１は、３
軸（Ｘ，Ｙ，Ｚ）方向に巻かれた３つのコイルにより構
成される。各コイルには、ドライブ回路６５から発生さ
れた、それぞれ周波数の異なった駆動用電源電圧が供給
される。したがって、励磁コイル６１によって３軸を基
準とする磁界が発生され、その磁界の中に被観察者がい
ることになる。センサコイル６２も、（Ｘ，Ｙ，Ｚ）方
向にそれぞれ巻かれた３つの検出用コイルを備えている
。被観察者の頭部が動くと、その動きに応じてセンサコ
イル６２内の各コイルに起電力が誘起される。各コイル
に生じた起電力を検出回路６３により検出することによ
り、被観察者の頭部の動きに応じた信号が得られる。 ＣＰＵ６４は、この信号に基づいて演算処理することに
より、被観察者の頭部の動きを示す頭部運動データＨを
求め、それを出力する。

【００１０】前述のように、被観察者は、発生された磁
界に歪を生じさせやすい運転席に置かれているため、励
磁コイル６１から発生された磁界が何らかの歪を受けて
いるものと考えられる。したがって、ＣＰＵ６４から得
られる頭部運動データＨが磁界の歪の影響を受けたもの
になっていると考えられる。その影響を打消すため、図
１に示した演算処理装置１において、次のような処理が
行なわれる。

【００１１】演算処理装置１内のメモリ部３には、頭部
運動検出装置６によって得られる頭部運動データＨに含
まれる磁界の歪の影響を打消すためのデータ、すなわち
頭部運動データＨを正しいデータに変換するための変換
マトリクスデータがストアされている。変換マトリクス
データは、図２に示した手順により予め作成され、メモ
リ部３内にストアされる。

【００１２】図２を参照して、まず、ステップ２１にお
いて、被観察者の代わりに、その頭部運動の動きを正確
に知ることのできるダミーヘッド２が運転席に取付けら
れる。ダミーヘッド２は、図３に示されるようなもので
あり、その前頭部に前述のセンサコイル６２が装着され
る。このダミーヘッド２は、運転者の頭部運動を正確に
再現できればよく、必ずしもこの図のように人間の頭部
の形状を有している必要はない。図３に示したパラメー
タＨｘ，Ｈｙ，Ｈｚ，Ｈθ，ＨφおよびＨψは、それぞ
れこの図に示す方向の頭部運動の動きを示している。す
なわち、Ｈｘは頭部の水平平行運動を示し、Ｈｙは前後
方向の動きを示し、Ｈｚは垂直平行運動を示す。また、
Ｈθは首を左右に傾ける方向の運動を示し、Ｈφは首の
上下方向の回転運動を示し、Ｈψは頭部の左右方向の回
転運動を示す。

【００１３】図４は、運転席における頭部運動検出の様
子を示す概略図である。図４を参照して、ハンドルの下
部などのような運転席に近い固定された位置に励磁コイ
ル６１が取付けられる。センサコイル６２は、運転者ま
たはダミーヘッドの前頭部に取付けられる。運転者の頭
部が動くことにより、励磁コイル６１とセンサコイル６
２との間の位置関係が相対的に変化し、頭部運動検出が
行なわれる。

【００１４】再び図２を参照して、ダミーヘッド２が運
転席に取付けられた後、そのダミーヘッド２に正確な変
位量を知ることのできる変位ΔＨが設定される。たとえ
ば、ダミーヘッドをその基準位置から＋ΔＨψだけ回転
させ固定する。その状態において、頭部運動検出装置６
から発生される頭部運動データＨ１が検出される。次に
、ダミーヘッド２が前述の基準位置より−ΔＨψだけ回
転され固定される。この状態においても頭部運動検出装
置６によって検出される頭部運動データＨ２が検出され
る。したがって、次式によって表わされる頭部運動デー
タＨ１およびＨ２が得られる。

【００１５】

【数１】 Ｈ１＝（Ｈψ１、Ｈφ１、Ｈθ１、Ｈｘ１、Ｈｙ１、Ｈ
ｚ１）　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　……（１）
　　（＋ΔＨψ回転）Ｈ２＝（Ｈψ２、Ｈφ２、Ｈθ２
、Ｈｘ２、Ｈｙ２、Ｈｚ２）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　……（２）　　（−ΔＨψ回転）自動車の車
体等による磁界の歪のない空間では、一般にＨ１＝Ｈ２
が成立し、Ｈψ１およびＨψ２のみが変化して他の係数
は定数となる。しかしながら、磁界の歪の影響を受ける
ことにより、Ｈ１≠Ｈ２となり、かつすべての係数が変
化する。

【００１６】同様にして、他の方向についてもダミーヘ
ッド２に変位を与え、頭部運動検出装置６から頭部運動
データＨ３ないしＨ１２を得る。すなわち、ダミーヘッ
ドを±ΔＨφだけ回転させたときの頭部運動データＨ３
およびＨ４が得られ、±ΔＨθだけ回転させたときの頭
部運動データＨ５およびＨ６が得られ、±ΔＨｘだけダ
ミーヘッドを移動させたときの頭部運動データＨ７およ
びＨ８が得られ、±ΔＨｙだけダミーヘッドが移動され
たときの頭部運動データＨ９およびＨ１０が得られ、±
ΔＨｚだけダミーヘッドが移動されたときの頭部運動デ
ータＨ１１およびＨ１２が得られる。したがって、各デ
ータＨ３ないしＨ１２は、次式によって表わされる。

【００１７】

【数２】 Ｈ３＝（Ｈψ３、Ｈφ３、Ｈθ３、Ｈｘ３、Ｈｙ３、Ｈ
ｚ３）　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　……（３）
　　（＋ΔＨφ回転）Ｈ４＝（Ｈψ４、Ｈφ４、Ｈθ４
、Ｈｘ４、Ｈｙ４、Ｈｚ４）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　……（４）　　（−ΔＨφ回転）Ｈ５＝（Ｈ
ψ５、Ｈφ５、Ｈθ５、Ｈｘ５、Ｈｙ５、Ｈｚ５）　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　……（５）　　（＋Δ
Ｈθ回転）Ｈ６＝（Ｈψ６、Ｈφ６、Ｈθ６、Ｈｘ６、
Ｈｙ６、Ｈｚ６）　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
……（６）　　（−ΔＨθ回転）Ｈ７＝（Ｈψ７、Ｈφ
７、Ｈθ７、Ｈｘ７、Ｈｙ７、Ｈｚ７）　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　……（７）　　（＋ΔＨｘ移動）
Ｈ８＝（Ｈψ８、Ｈφ８、Ｈθ８、Ｈｘ８、Ｈｙ８、Ｈ
ｚ８）　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　……（８）
　　（−ΔＨｘ移動）Ｈ９＝（Ｈψ９、Ｈφ９、Ｈθ９
、Ｈｘ９、Ｈｙ９、Ｈｚ９）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　……（９）　　（＋ΔＨｙ移動）Ｈ１０＝（
Ｈψ１０、Ｈφ１０、Ｈθ１０、Ｈｘ１０、Ｈｙ１０、
Ｈｚ１０）　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　……（１０
）　　（−ΔＨｙ移動）Ｈ１１＝（Ｈψ１１、Ｈφ１１
、Ｈθ１１、Ｈｘ１１、Ｈｙ１１、Ｈｚ１１）　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　……（１１）　　（＋ΔＨｚ移
動）Ｈ１２＝（Ｈψ１２、Ｈφ１２、Ｈθ１２、Ｈｘ１
２、Ｈｙ１２、Ｈｚ１２）　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　……（１２）　　（−ΔＨｚ移動）図２に示された
ステップ２４において、すべての頭部運動データＨ１な
いしＨ１２が得られたかどうかが判定され、全データＨ
１ないしＨ１２が得られた後に変換マトリクスＴｍが作
成される（ステップ２５）。変換マトリクスＴｍは、上
記のデータＨ１ないしＨ１２に基づいて作成され、頭部
運動検出装置６によって検出された頭部運動データＨ＝
（Ｈψ，Ｈφ，Ｈθ，Ｈｘ，Ｈｙ，Ｈｚ）を、磁界の歪
の影響を受けていない頭部運動データＨ′＝（Ｈψ′，
Ｈφ′，Ｈθ′，Ｈｘ′，Ｈｙ′，Ｈｚ′）に変換する
のに用いられる。なお、変換マトリクスＴｍに代えて、
同様の機能を果たすルックアップテーブルＴＬ　を生成
することもできる。

【００１８】ステップ２６において、変換マトリクスデ
ータＴｍが図１に示したメモリ部３にストアされた後、
ステップ２７において、ダミーヘッド２が取外される。 したがって、上記のような変換マトリクスＴｍの作成が
、被観察者の視線運動の検出に先立って行なわれたこと
になる。ダミーヘッド２の高さと被観察者の座高との違
いによって、データＨｚが若干変化するが、この変化は
微小であり、変換マトリクスＴｍは予め自動車の種類ご
とに求めておけば十分である。

【００１９】図１に示された補正処理部４では、メモリ
部３にストアされた変換マトリクスデータを参照するこ
とにより、頭部運動検出装置６によって随時検出される
頭部運動データＨが、磁界の歪の影響を受けていないデ
ータＨ′に補正される。補正されたデータＨ′は注視点
処理部７に与えられる。

【００２０】図６は、図１に示した眼球運動検出装置５
における検出原理を示す概略図である。この装置では、
角膜表面の白目と黒目の反射率の違いを利用する強膜反
射方式を用いたものが一例として示される。他の方式と
して、角膜反射方式やサーチコイル方式も適用できる。 図６を参照して、左右の目Ｅ１およびＥ２の前方に、セ
ンサ７１および７２がそれぞれ配置される。各センサ７
１および７２の中央には、発光素子７３が配置される。 発光素子７３として、比較的指向性の広い±２１゜程度
の赤外線投射の発光ダイオードが用いられる。発光素子
７３の両側には、受光素子７４が設けられる。受光素子
７４として、指向性の鋭い±１０゜程度のフォトダイオ
ードが用いられる。発光素子７３から眼球に向けて投射
された光は白目および黒目の部分で反射する。白目と黒
目とでは反射率が異なるので、この反射率の違いを増幅
し、差を取れば水平（左右）の眼球運動の動きが出力と
して得られ、和を取れば垂直（上下）方向の眼球の動き
が出力として得られる。

【００２１】水平方向と垂直方向とでは、眼球に対する
センサ７１および７２の位置が異なり、水平方向のセン
サ７１は眼球の上下に対して中央に反射光を検出し、垂
直方向のセンサ７２は下方にて反射光を検出するように
それぞれ配置される。そして、一方の目Ｅ１に水平方向
のセンサ７１が配置され、他方の目Ｅ２の垂直方向のセ
ンサ７２が配置される。これらを同時に用いれば、２次
元的な眼球運動を検出することができる。このような検
出原理を用いて眼球の移動速度，移動方向，移動距離，
注視時間などを求める手法は、たとえば特開昭６０−１
２６１４０号公報において開示される。したがって、図
１に示した眼球運動検出装置５から運転者の眼球運動を
示すデータＥが得られ、注視点処理部７に与えられる。

【００２２】図７は、頭部運動による視線の動きを説明
するための概略図である。図７を参照して、一般に視対
象が移動すると、眼球はその視対象に追従して動く。こ
の眼球の動きに代えて、頭部を移動させることによって
も視対象を追いかけることができる。通常は、両者の動
きを併用して行なっている。頭部運動には、足や背骨の
向きによる平行移動と、首，背骨，腰，足などによって
実現される回転運動とがある。この頭部運動を後述する
方法により、眼球の回転角へ換算し、図７に示した頭部
運動補正眼球回転角αが得られる。図１に示した注視点
処理部７では、この頭部運動補正眼球回転角αと眼球自
身の回転角θとの組合わせにより、視線データが表現さ
れる。ここで、この回転角αとθの和を総称して視線と
定義する。

【００２３】図１に示した注視点処理部７における処理
を以下に説明する。なお、以下の説明では、図１に示し
た補正されたデータＨ′をデータＨとして示す。注視点
処理部７は、補正された頭部運動データＨと眼球運動デ
ータＥとを受ける。データＨの水平運動成分として（Ｈ
ｘ，Ｈｙ，Ｈｚ）が与えられ、回転運動成分として（Ｈ
φ，Ｈθ，Ｈψ）が与えられるものとする。頭部運動の
水平成分（Ｈｘ，Ｈｙ，Ｈｚ）により視線が変化するが
、これを眼球回転角（Ｅｘ，Ｅｙ）に換算するには次式
が用いられる。ここで、Ｄは被験者と観察対象までの距
離である。

【００２４】

【数３】 首を左肩方向または右肩方向にＨθだけ傾げると、眼球
運動系の座標が回転する。したがって、Ｈθだけ傾いた
眼球運動座標系（Ｘｅ，Ｙｅ）を元の観察対象に直交し
た座標系（Ｘｅ′，Ｙｅ′）に変換する必要がある。そ
のため次式が用いられる。

【００２５】

【数４】 Ｘｅ′＝Ｘｅ・ｃｏｓＨθ＋Ｙｅ・ｓｉｎＨθ　　　　
　　　　　　　　　　　　……（１５）Ｙｅ′＝−Ｘｅ
・ｓｉｎＨθ＋Ｙｅ・ｃｏｓＨθ　　　　　　　　　　
　　　　……（１６）頭部運動により実現される視線の
動き（Ｘｈ，Ｙｈ）は、式（１３）および（１４）から
、次式により表わされる。

【００２６】

【数５】 Ｘｈ＝Ｅｘ＋Ｈψ　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
……（１７）Ｙｈ＝Ｅｙ＋Ｈφ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　……（１８）したがって、頭の動きを考慮
した視線の動き（Ｘｖ，Ｙｖ）は、式（１５）ないし（
１８）より、次式により表わされる。

【００２７】

【数６】 Ｘｖ＝Ｘｅ′＋Ｘｈ　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　…
…（１９）Ｙｖ＝Ｙｅ′＋Ｙｈ　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　……（２０）式（１９）および（２０）を用い
ることにより、頭部運動と眼球運動とを組合わせて行な
われている通常の視線の動きを再現することができる。 以上のような処理は、図１に示した注視点処理部７にお
いて行なわれ、視線の動きを示す視線データが画像処理
装置８に与えられる。

【００２８】画像処理装置８は、与えられた視線データ
に画像処理を施し、画面上にその視線を表示するのに必
要な視線信号を出力する。スーパーインポーザ９では、
運転席から見られる外部の状況を撮像した外部ビデオ信
号に画像処理装置８から与えられる視線信号がスーパー
インポーズされる。したがって、図示されていない表示
装置の画面上に、運転席から見られる外部の状況を背景
として視線の動きが表示される。その表示例が図８に示
される。

【００２９】このようにして、自動車などの運転席では
発生された磁界が歪を受けるが、図１に示したメモリ部
３内にストアされた変換マトリクスデータに基づいて頭
部運動検出装置６によって検出された頭部運動データＨ
がその歪の影響を打消すように補正される。したがって
、正確な頭部運動データＨ′が注視点処理部７に与えら
れることになり、眼球運動データＥと組合わせて処理す
ることにより正確な視線データが得られる。その結果、
表示画面上に正確な視線の動きを表示することができ、
眼球運動と頭部運動とを組合わせて行なわれる視線の動
きの分析を人間の自然な行動に即して行なうことができ
る。

【００３０】

【発明の効果】以上のように、この発明によれば、頭部
運動検出手段によって検出された検出データを、補正デ
ータ記憶手段に記憶された補正データに基づいて磁界の
歪の影響を打消すように補正する補正手段を設けたので
、磁界に歪を生じさせる環境に置かれた被観察者の視線
の動きを正確に検出することのできる視線検出装置が得
られた。

【図面の簡単な説明】

【図１】この発明の一実施例を示す視線運動検出装置の
ブロック図である。

【図２】図１に示したメモリ部にストアされる変換マト
リクスデータを作成する手順を示すフローチャートであ
る。

【図３】ダミーヘッドの例および頭部運動検出において
用いられる各運動パラメータの方向を示す概略図である
。

【図４】運転席における頭部運動検出の様子を示す概略
図である。

【図５】図１に示した頭部運動検出装置のブロック図で
ある。

【図６】図１に示した眼球運動検出装置における検出原
理を示す概略図である。

【図７】頭部運動における視線の動きを説明するための
概略図である。

【図８】検出された視線運動の表示例を示す画面図であ
る。

【符号の説明】

１　　演算処理装置 ３　　メモリ部 ４　　補正処理部 ５　　眼球運動検出装置 ６　　頭部運動検出装置 ７　　注視点処理部

Claims (1)

【特許請求の範囲】
1. 【請求項１】　　発生された磁界に歪を生じさせる環境
   に置かれた被観察者の視線を検出する視線検出装置であ
   って、前記被観察者の眼球運動を検出する眼球運動検出
   手段と、前記被観察者の頭部運動を検出するための基準
   磁界を発生する基準磁界発生手段と、前記被観察者の頭
   部に装着され、前記基準磁界発生手段から発生された磁
   界に応答して、前記被観察者の頭部運動を検出する頭部
   運動検出手段とを含み、前記基準磁界発生手段から発生
   された磁界は、前記環境により歪を受ける可能性があり
   、予め定められた頭部運動量が与えられたときに前記頭
   部運動検出手段によって検出される検出データに基づい
   て、前記磁界の歪の影響を打消すための補正データを記
   憶する補正データ記憶手段と、前記補正データ記憶手段
   に記憶された補正データに基づいて、前記頭部運動検出
   手段によって検出された検出データを補正する補正手段
   と、前記補正手段によって補正されたデータと前記眼球
   運動検出手段から出力される眼球運動データとに基づい
   て、前記被観察者の視線を演算により求める視線演算手
   段とを含む、視線検出装置。