JPH0377533A - 注視姿勢及び注視点絶対位置の計測装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、視野カメラから出力される視野画像信号と対
象視界内に置かれた特徴点の信号からアイカメラを装着
した被検者の頭部の姿勢を計測する装置に関し、更に、
これらの信号と注視点の視野画像上での座標から、頭部
の上下左右の回動を伴う場合における対象視界内での注
視点の絶対位置の計測を可能にした装置に関するもので
ある。

（従来の技術） 人の注視点を解析する装置として、アイカメラがある。

アイカメラは、視野カメラとアイマークカメラとを備え
ており、被検者の頭部に固定されて使用される。このと
き、視野カメラが被検者の正面の視野を撮影し、アイマ
ークカメラが眼球の正面からの偏倚を検出して、注視点
の位置を視野画像上の座標として出力する。

従って、被検者の頭部を固定して測定を行えば、被検者
が対象物を観察するときの対象視界内での注視点の動き
は、アイマークカメラから出力されるアイマークの座標
を追跡することによって、自動的に解析できる。しかし
、対象視界内の一点を注視しながら頭部を動かしたとき
や、頭部の移動や回動によって注視点を移動させたとき
には、アイマークカメラから出力される座標（相対座標
）の変化は、実際の対象視界内での注視点の座標（絶対
座標）の変化を示さなくなる。そのため、自然な頭部の
動きを伴う場合の注視点の解析を行う必要があるときに
は、注視点の位置を示すアイマークを表示した視野画像
を逐次追跡して、人間が対象視界の映像を基に注視点の
絶対座標を読み取っており、注視点の絶対座標の計測及
びその移動量や移動方向の解析を自動的に行うことはで
きなかった。

この問題を解決する方法として、対象視界内の定位置に
特徴点を複数個設置し、視野画像上での特徴点の座標を
検出することによって、視野画像の基準位置からの偏倚
を検出してアイマークカメラで検出された注視点の座標
を補正することにより、頭部が動いたときにも注視点の
絶対座標の変化を自動的に解析できるようにする方法が
提唱されている。

その一つとして特開昭６２−５３６３０号公報には、最
初の１フレームの基準画像に対する計測時の視野画像の
変換行列を求め、アイマーク信号を基準画像上の座標に
変換して絶対位置を算出することにより、頭部の動きを
伴う場合の注視点の絶対座標を検出する方法が提唱され
ている。

（発明が解決しようとする課題） しかし、上記公報に記載された方法は、被検者の頭部の
対象視界の面と平行な方向の移動、核部の法線方向の移
動及び該法線回りの回動には対応できるが、頭部の左右
又は上下方向の回動、即ち、頭部の垂直軸回りの回動又
は左右方向水平軸回りの回動を伴う動きには対応できな
い。そして実際の対象視界の観測においては、被検者が
頭部を上下左右に回動させて注視点を移動させることが
非常に多いので、上記方法では、被検者の動きを大幅に
制限しなければ注視点の自動解析ができない問題があっ
た。

そこでこの発明は、被検者が頭部を上下又は左右に回動
させて注視点を移動させた場合でも、アイカメラから出
力されるデータに基いて被検者の頭部の姿勢を検出し、
注視点の絶対位置の変化を自動的に解析できる装置を得
ることを課題としている。

（課題を解決するための手段） 本発明では、観察する対象視界ｌ内に４個以上の特徴点
Ｐ、〜Ｐ、を設置し、この特徴点の少なくとも任意の４
個が視野カメラ３ａが撮影した視野画像４内に入るよう
に特徴点Ｐ、〜Ｐ、相互の位置関係を決めである。この
特徴点は、周囲より十分に輝度を高くすることによって
、画像処理により視野画像４上における位置座標を検出
可能にする。各特徴点は、視野画像の一画面走査（例え
ばｌ／３０秒）ごとに垂直同期信号に同期させて順次発
光させるか、発光色を変えてカラー画像処理する等、検
出した特徴点の各々を識別できるようにする。

本発明の装置は、視野カメラ３ａの画像信号から上記特
徴点Ｐ＋”Ｐ＊の信号を分離する特徴点信号検出手段３
２と、検出された特徴点の像ｐｌ〜ｐ、の視野画像４上
での座標を求める特徴点座標検出手段３３と、隣接する
特徴点間の視野画像４上での距Ｍｄ□、ｄＸ□、ｄｙＩ
、ｄｙ！を求める特徴点間距離算出手段３４とを備えて
いる。

そして更にこの発明の装置は、対象視界ｌに対する頭部
２ａの左右及び上下方向の回動を含む姿勢変化の検出及
び注視点Ｑの絶対座標の計測を可能にする手段として、
４個の特徴点の像ｐ１〜ｐ４を頂点とする四辺形の対向
辺に対応する２個の特徴点間距離を比較する頭部位置・
姿勢算出手段３５を備えている。

（作用〉 被験者が対象視界１のある点Ｑを注視したとき、頭部２
ａに固定した視野カメラ３ａの画像信号から検出される
４個の特徴点の像ｐ１〜ｐ４の座標は、特徴点Ｐ、−Ｐ
４を設置した対象視界ｌと被験者の頭部２ａの位置関係
を表している。注視点Ｑの計測に当たっては、特徴点Ｐ
Ｉ−Ｐｑを設置した対象視界１から被検者の頭部２ａま
での距離と視野画像４上での各特徴点の像間距離ｄｘ、
ｄ、との関係をあらかじめ測定しておく。特徴点Ｐ１〜
Ｐ、を設置した面に平行な頭部２ａの移動や核部の法線
回りの頭部の回転や咳法線方向の頭部の移動は、それぞ
れ、特徴点の像ｐ＋−ｐ４の平行移動、旋回及び特徴点
の像相互の間隔の変化を測定することにより検出するこ
とができる。また、被検者の上下又は左右への頭部の回
動は、視野画像４上の４個の特徴点の像ｐＩ−ｐ４で形
成される四辺形の対向する辺の距離ｄ□、ｄイ２、ｄｙ
Ｉ、ｄｙｔ相互を比較することにより、検出可能である
。

従って、上記検出されたデータに従ってアイマークの相
対座標を絶対座標に換算することが可能である。

例えば、長方形の４隅の位置に特徴点を設置した場合、
対象視界面の法線が視野カメラ３ａの視線方向と一致す
る場合には、視野画像４上の各特徴点の像ｐＩ−ｐ４の
位置関係も長方形をなしく第４図）、視野カメラ３ａか
ら対象視界１までの距離が一定である限り、頭部２ａが
左右・上下に平行移動しても視野画像４上の長方形の形
状・大きさは同じである。このときの平行移動量は、１
個の特徴点に注目してその像の視野画像４上での移動量
から求められる。頭部２ａが前後に移動したときは、長
方形の形状は変わらないが、大きさが変化する。すなわ
ち、視野画像上における各特徴点の像間距離ｄＸ、ｄｙ
が同率で変化するため、この像間距離を計測することに
より、頭部と対象視界面との法線方向の距離が決定され
、アイマークの像ｑと特徴点の像ｐ１〜ｐ４との位置関
係から注視点の絶対位置が決定される。また、頭部２ａ
が左右の回転移動を伴った場合は、第５図に示すように
、特徴点の像間距離がｄ□＝ｄｘ！、ｄｙＩ≠ｄｙ２の
関係となり、上下の回転の場合はｄ訓≠ｄＸ２％　ｄｙ
Ｉ　＝　ｄ　ｙ２の関係となり、この像間距離の関係か
ら各々の特徴点Ｐ、−Ｐ４の視野カメラ３ａからの距離
、対象視界の法線とカメラ視線方向のなす角度が求めら
れるため、このときの注視点Ｑの絶対座標が求められる
。

（実施例） 以下この発明の一実施例を添付図面を参照して詳細に説
明する。

第２図は本発明の一実施システムの全景で、対象視界と
なる図板１に相対して作業する被検者２の図板ｌ上での
注視点Ｑの動きを解析するものである０図板ｌ上には、
特徴点となるＬＥＤ　（発光ダイオード）Ｐ、〜Ｐ、を
Ｘ方向、ｙ方向にそれぞれ一定間隔り、、Ｄ、で９個設
置する。ＬＥＤＰ、−Ｐ、の設置位置は、被検者２が主
に注視する箇所を中心に被検者の頭部２ａに固定した視
野カメラ３ａの撮影領域に最低４個のＬＥＤが入る位置
である。

被検者の頭部２ａには、１個の視野カメラ３ａと２個の
アイマークカメラ３ｂとを備えたアイカメラ３が固定さ
れる。視野カメラ３ａは、被検者２の顔が向いている方
向の図板１の画像信号を出力する。アイマークカメラ３
ｂは、被検者２の眼球の方向を左右側々に検出してその
座標信号を出力する。アイカメラ３の出力は、記録装置
２０とＬＥＤコントローラ１０に与えられ、ＬＥＤコン
トローラ１０はＬ　Ｅ　Ｄ　Ｐ　＋〜Ｐ、の点灯タイミ
ングをＭ御している。記録装置２０に記録された計測情
報は、解析装置３０で解析され、被検者の頭部２ａの位
置・姿勢及び注視点Ｑの絶対座標が算出される。

ＬＥＤＰ、〜Ｐ、の点灯タイミングを制御する手段及び
視野カメラ３ａの画像信号から被検者の位置・姿勢を検
出する手段をシステムブロック図（第１図）に従って説
明する。視野画像信号は、アイカメラ（例えばナック社
のアイマークレコーダ等）の視野カメラ３ａから出力さ
れ、アイマーク座標信号は、アイマークカメラ３ｂから
出力される。実際のアイカメラでは、アイマーク座標信
号を画像信号として視野画像信号と合威し、同時にディ
ジタル座標信号として出力している。記録装置２０は、
この両信号を記録媒体上に記録する。

ＬＥＤコントローラ１０は、視野画像信号から、同期信
号分離器１１で１／３０秒間隔の垂直同期信号を分離し
て出力し、ＬＥＤ点灯信号発生器１２で垂直同期信号を
分配して、第３図に示すタイよングでＬＥＤ点灯信号が
出力され、Ｌ　Ｅ　Ｄ　Ｐ　＋〜Ｐ、を順次点灯させる
。従って、■つのＬＥＤの点灯間隔は、９７３０秒であ
る。視野画像信号は、第４図に示すように、少なくとも
４個のＬＥＤの像ｐＩ−ｐ４及びアイマークの像ｑを含
んでおり、記録装置２０で磁気テープ等の記録媒体上に
記録される。

記録された視野画像信号は、解析装置３０の再生器３１
で再生されてＬＥＤ信号検出器３２に与えられ、画像信
号中にＬＥＤの像ｐ、〜ｐ４を検出したときのタイ壽ン
グ信号が、ＬＥＤ座標検出器３３に与えられる。ＬＥＤ
Ｐ、〜Ｐ、は、輝度を背景に比べて充分高くしておき、
ＬＥＤ信号検出器３２は、適当なしきい値で画像信号を
２値化してＬ　Ｅ　Ｄ　Ｐ　ｒ　−Ｐ　＊の像の信号を
検出し、その検出タイミングから、視野画像４上での座
標値をＬＥＤ座標検出器３３が検出する。視野画像上で
のＬＥＤの像ｐｌＮＰ９の座標は、Ｙ座標は走査線の数
で、Ｘ座標はｌ走査線を３２０分割するクロックパルス
を発生させその数で検出する。

なお図に示す実施例は、録画した画像信号を再生して注
視点を解析する例であるが、アイカメラの視野カメラ３
ａの視野画像信号を直接ＬＥＤ信号検出器３２へ転送し
てリアルタイムに解析することも可能である。

ＬＥＤ間距離算出手段３４では、ＬＥＤ座標検出器３３
で求めらた各ＬＥＤの像の座標から各１２０間の像間路
Ｍｄ□、ｄＸ□、ｄ、いｄｙ２を算出し、この像間距離
から頭部位置・姿勢算出手段３５で各Ｌ　Ｅ　Ｄ　Ｐ　
＋〜Ｐ４と頭部２ａとの距離を算出し、図板ｌに対する
頭部２ａの位置・姿勢を求める。注視点絶対座標算出手
段３６では、頭部位置・姿勢信号及び再生器３１から与
えられるアイマーク座標信号から注視点Ｑの絶対位置を
算出する。実施例では、ＬＥＤの像ｐ＋”ｌ）ｍの座標
検出までをハードウェアで処理し、検出した各座標値を
コンピュータへｌ／３０秒毎に転送し、９／３０秒間は
頭部は固定状態であるとして、ＬＥＤの像間距離の算出
以後の処理をソフトウェアで行っている。ソフトウェア
での処理内容の詳細は以下の通りである。

被検者２の顔が図板１と正対したときに視野カメラ３ａ
の方向が図板１の法線と一致するように視野カメラ３ａ
を頭部２ａに固定し、この基準姿勢のときの視野カメラ
３ａから図板１までの距離をｔｏとし、視野カメラ３ａ
から出力される視野画像４を第４図とすると、視野画像
４におけるＬＥＤの像間距離ｄｘｌ、ｄ　ＩＬ！％　ｄ
　７１、ｄｙｔと図板１上の絶対距離り、、Ｄ、との変
換係数はＸ方向、ｙ方向それぞれ ｄｘａ＝　ｄｘｔ＝　ｄｘｚ　　　ｄｙｏ＝　ｄ’ｙ＋
＝　ｄｙｚ　（２）で表される。

注視点絶対位置の算出は、変換係数をα８、α９、アイ
マークの像ｑの視野画像４上の座標を（ｘＬ、ｙｉ）、
特徴点の像ｐｌの座標を（ＸＬＩ、７ＬＩ）へ、図板上
の座標を（ＸＬＩ、Ｙ　ｔ、　ｒ　）とすると、絶対座
標（Ｘ、Ｙ）は、 Ｘ＝ＸＬ＋＋　（ＸＩ　　　ＸＬＩ）　　°Ｃｔｘ　　
　　（３）Ｙ−ＹＬＩ＋　　（）’Ｉ　　　Ｖｔ＋）　
　・αｙ　　　　（４）である。ここで、α８＝α８゜
、α、＝α、。である。

頭部２ａが図版との距離ｔ０を維持したまま図版１と平
行に左右・上下移動した時は、画像上の特徴点相互の位
置関係は変化しないから、絶対座標は式゛（１）〜（４
）で算出される。

頭部２ａが前後に移動し、図板１との距離ｔがｔｏから
変化したときは、画像上のＬＥＤの像間距離がＸ方向ｙ
方向同率で変化する。このときの変換係数は、ＬＥＤの
像間距離をそれぞれｄＸ、ｄ、とすると であり、同様に絶対座標は式（３）、（４〉で算出され
る。

距離ｔと変換係数との関係は一般に αＸ　１αｘｏ’ ０ α、＝α、。・　　　　　　　　　　　　　（６）０ であるが、個々の視野カメラに応じた補正が必要であり
、その係数をη（ｄｘ）、η（ｄｙ）とすると、距離ｔ
はＬＥＤの像間距離ｄｘ、ｄ、から次式で表わされる。

頭部２ａの回転が生じたときの画像は、第５図（垂直軸
回りの回動のとき）のように変化する。

つまり、特徴点の像９＋　９ｇ間とｐｓ　９１間のＸ方
向距離は等しいが、ｐ＋　　９２間とｐｚ　ｐａ間のｙ
方向距離は、頭部の回動角により変化する。特徴点ｐ１
及びｐ、の視野カメラ３ａからのカメラ視線方向の距離
をａｓｐｚ及びｐ４の距離をｂとすると、頭部の回動角
は第６図に示すようにり。

である、また、注視点Ｑの視野カメラ３ａからの距離は Ｓｖ　　＝ｄ、、　＋　　（ｄｙｚ　　ｄｌ＋）　　・
　λ　　　　（９）ここで λ＝　Ｓｘ　／ｄｘ　、　ｄｘ　＝ｄｘ＋−ｄｘｚ　　
　（１０）より式（７）から求められ、これをＣとする
と注視点の像ｑのＸ方向の絶対座標は 注視点の像ｑのＹ方向の絶対座標は Ｙ＝ＹＬＩ＋（ｙＩ　　　３’＋２）　　・αアＳ。

である。

頭部２ａの上下方向の回動が生したときは、上記におい
て、ｘ、ｙの位置関係が逆になり算出方法は同様である
。

（発明の効果） 以上説明したように本発明によれば、被験者が注視する
対象物に絶対位置を示す特徴点を４個以上設置すること
で、アイカメラによる注視点解析を被験者頭部の左右又
は垂直軸回りの回動を伴う場合でも自動的に行うことが
できる。また、注視点の絶対位置計測およびその追跡か
ら注視点の解析を自動で行うだけでなく、頭部の位置や
方向も常に求めることができるため、各種作業や運動の
解析に有用な装置を得ることができる。

【図面の簡単な説明】 第１図は本発明の一実施例の構成を示すプロンク図、第
２図はシステムの全景図、第３図は９個のＬＥＤの点灯
タイミングを示す図、第４図は視野画像上のＬＥＤの位
置関係を示す図、第５図は頭部の回転が生じたときの視
野画像上のＬＥＤの位置関係を示す図、第６図は頭部の
回転が生じたときの対象視界面と視野カメラとの位置関
係を示す図、第７図は基準位置における対象視界と視野
画像との関係を模式的に示す図である。 図中、 １：図板 ３ａ：視野カメラ ４：視野画像 ３３：ＬＥＤ座標検出器 ２ａ：頭部 ３ｂ：アイマークカメラ ３２：ＬＥＤ信号検出器 ３４： ＬＥＤ間距離算出手段 ３５：頭部位置・姿勢算出手段

Claims (2)

【特許請求の範囲】
1. （１）視野カメラ（３ａ）で撮影された視野画像（４）
   の画像情報から対象視界（１）に対する頭部（２ａ）の
   姿勢を計測する注視姿勢の計測装置において、 対象視界（１）内の定位置に設置した４個以上の特徴点
   （Ｐ＿１〜Ｐ＿９）と、視野カメラ（３ａ）の画像情報
   から上記特徴点の信号を検出する特徴点信号検出手段（
   ３２）と、検出された特徴点の信号の視野画像（４）上
   での座標を求める特徴点座標検出手段（３３）と、隣接
   する特徴点間の視野画像（４）上での距離を求める特徴
   点間距離算出手段（３４）と、視野画像（４）上での４
   個の特徴点を頂点とする四辺形の対向辺に対応する２個
   の特徴点間距離を比較する手段を含む頭部位置・姿勢算
   出手段（３５）とを備え、対象視界（１）に対する頭部
   （２ａ）の左右及び上下方向の回動を含む姿勢変化を検
   出可能にした、注視点姿勢の計測装置。
2. （２）アイカメラ（３）から出力される視野画像（４）
   の画像情報と該視野画像上での注視点（Ｑ）の位置を示
   すアイマーク座標信号とから視野画像（４）上での注視
   点の像（ｑ）の絶対座標を計測する注視点絶対位置の計
   測装置において、 対象視界（１）内の定位置に設置した４個以上の特徴点
   （Ｐ＿１〜Ｐ＿９）と、視野カメラ（３ａ）の画像情報
   から上記特徴点の信号を検出する特徴点信号検出手段（
   ３２）と、検出された特徴点の像の視野画像（４）上で
   の座標を求める特徴点座標検出手段（３３）と、隣接す
   る特徴点間の視野画像（４）上での距離を求める特徴点
   間距離算出手段（３４）と、視野画像（４）上での４個
   の特徴点を頂点とする四辺形の対向辺に対応する２個の
   特徴点間距離を比較する手段を含む頭部位置・姿勢算出
   手段（３５）とを備え、対象視界（１）に対する頭部（
   ２ａ）の左右及び上下方向の回動を含む姿勢変化時にお
   ける注視点（Ｑ）の絶対座標の計測を可能とした、注視
   点絶対位置の計測装置。