JP2001043382A

JP2001043382A - 目追跡装置

Info

Publication number: JP2001043382A
Application number: JP11212461A
Authority: JP
Inventors: Katsutoshi Shimizu; 勝敏清水
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-07-27
Filing date: 1999-07-27
Publication date: 2001-02-16

Abstract

(57)【要約】【課題】目の個人差を排除し、迅速に目や瞬きを検出
する目追跡装置を提供することを目的とする。【解決手段】時系列に変化する顔画像の目の候補位置を
抽出し、抽出した候補位置を基準に複数の位置で所定の
追跡テンプレートを用いてパターン照合により目を検出
して追跡する目追跡装置であって、１フレーム毎に顔画
像の目を検出した位置を記憶する目位置記憶手段と、１
フレーム毎に顔画像の変化から顔の動きベクトルを取得
する顔ベクトル取得手段と、目位置記憶手段により記憶
した１フレーム前の位置を顔ベクトル取得手段にて取得
した顔の動きベクトルにより補正を行い現フレームの目
の候補位置とするベクトル位置補正手段とを備えたこと
を特徴とする目追跡装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔画像から目、瞬
きを検出し追跡する目追跡装置の改良に関する。

【０００２】

【従来の技術】近年、車両運転者の目を監視し、まぶた
の動きによる瞬き等の検出により、居眠りなど運転者の
状態を検出してアラームを発生する居眠り検出装置等が
開発されつつあるが、確実に、且つ速やかに、目を検出
し、追跡し、正確に瞬きを検出することが必要とされて
いる。

【０００３】図９は従来例の目追跡装置の構成図であ
る。

【０００４】中央処理ユニット（以下ＣＰＵと呼ぶ）
２、撮像部３、メモリ４、目登録処理部５、目追跡処理
部６、瞬き検出部７、標準テンプレートメモリ８、参照
テンプレートメモリ９、追跡テンプレートメモリ10より
構成される。

【０００５】ＣＰＵ２は、撮像部３、メモリ４、目登録
処理部５，目追跡処理部６，瞬き検出部７等の各処理の
制御を実行する。

【０００６】撮像部３は、人の顔を撮像し、ビデオフレ
ームごとに顔画像をメモリ４に格納する。

【０００７】メモリ４は、撮像部３で得られた顔画像が
格納され、且つビデオレートで更新される。

【０００８】標準テンプレートメモリ８は、複数の人の
目を平均した目の画像から構成され標準テンプレートを
記憶するメモリである。

【０００９】参照テンプレートメモリ９は、標準テンプ
レートによって、初期時に目を発見した場合にその時の
目の画像から生成したテンプレートを位置情報とともに
記憶するメモリである。

【００１０】追跡テンプレートメモリ10は、目の追跡処
理を行うときに使用する追跡テンプレートと位置情報を
記憶するメモリである。

【００１１】目登録処理部５は、メモリ４に格納された
顔画像の中で、標準テンプレートを移動させつつパター
ン照合により目を探索し、目を発見した場合はその目の
画像を参照テンプレートとして参照テンプレートメモリ
９に登録する。

【００１２】目追跡処理部６は、追跡テンプレートを用
いて顔画像中を比較的狭い範囲で追跡し、目を見失った
場合は、参照テンプレートを使用して広範囲に再発見を
行う処理をする。

【００１３】瞬き検出部７は、追跡処理中にまぶたの動
きの追跡により瞬き検出を行う。

【００１４】以上の構成により、人の顔が撮像部３によ
り撮像され、メモリ４に格納されビデオレートで更新さ
れる顔画像から以下に示す目の登録，追跡、および瞬き
検出が行われる。

【００１５】図10に目の追跡方法の説明図を示す。

【００１６】自動車ドライバーの目をまず登録する。そ
のため、ドライバは、撮像部に向かって、開眼の状態を
しばらく保つことで、登録が終了する。

【００１７】このとき、標準テンプレートで目のパター
ン照合をしたパターン照合率が所定の閾値より最も高い
位置を探索し、その位置を目の検出位置としてその時の
目の画像を参照テンプレートとして生成して登録する。
（S50 ステッフ゜）その参照テンプレートと位置情報を追跡
テンプレートと位置情報として目の追跡処理を行う。

【００１８】まず次フレームの顔画像を取得する。（S5
1 ステッフ゜）追跡テンプレートを位置決めし、次フレームの顔画像の
目とをパターン照合する。（S52 ステッフ゜）パターン照合率を閾値ｂと比較する。（S53 ステッフ゜）パターン照合率が、閾値ｂより小さい場合は、目を見失
ったとして、最初に獲得した参照テンプレートを用いて
その参照テンプレートを獲得した位置近傍を広範囲に探
索する。この場合は許容する閾値をやや低めに設定す
る。（S57ステッフ゜) パターン照合率が、閾値ａより小さく閾値ｂより大きい
範囲の場合（S54 ステッフ゜）は、目に変化が生じたため、
実際の目の画像によって追跡テンプレートを更新する。
（S55ステッフ゜）パターン照合率が、閾値ａより大きい場合は、目と判定
し、瞬き検出処理を行う。（S56 ステッフ゜）図11に瞬き検出処理の流れ図を示す。

【００１９】瞬きの検出は、眉の下端と目の上側の間の
画素数と目の上下幅の間の画素数との差を所定時間計算
する。（S61 ステッフ゜）瞬きする場合は、その差は段々大きくなりその後に元の
値に戻る。この変化のピーク値を検出し（S62 ステッフ
゜）、所定の閾値以上の場合瞬きと判定する。（S63ステッフ
゜）

【００２０】

【発明が解決しようとする課題】従来技術では、パター
ン照合により目を追跡する場合、追跡中の顔の傾き等の
により目を見失うと、広範囲に探索を行うため、目の探
索に時間がかかるという問題があった。また、目の大き
さや睫毛の長さなどに個人差があるため、固定した閾値
で、正確に目や瞬きを認識することは、困難であった。

【００２１】本発明は、目を見失った時に、高速に目を
探索する目追跡装置、目を精度高く検出する目追跡装
置、瞬きを精度高く検出する目追跡装置を提供すること
を目的とする。

【００２２】

【課題を解決するための手段】時系列に変化する顔画像
の目の候補位置を抽出し、抽出した候補位置を基準に複
数の位置で所定の追跡テンプレートを用いてパターン照
合により目を検出して追跡する目追跡装置であって、１
フレーム毎に顔画像の目を検出した位置を記憶する目位
置記憶手段と、１フレーム毎に顔画像の変化から顔の動
きベクトルを取得する顔ベクトル取得手段と、目位置記
憶手段により記憶した１フレーム前の位置を顔ベクトル
取得手段にて取得した顔の動きベクトルにより補正を行
い現フレームの目の候補位置とするベクトル位置補正手
段とを備えた構成である。

【００２３】この構成により、顔を動かした為、目を見
失った後、顔が戻ってきた場合などに顔の動きを追跡し
ているので目を高速に見つけることが可能である。

【００２４】また、時系列に変化する顔画像の目の候補
位置を抽出し、抽出した候補位置を基準に複数の位置で
所定の追跡テンプレートを用いてパターン照合により目
を検出して追跡する目追跡装置であって、複数の位置で
のパターン照合によるパターン照合率を比較し、パター
ン照合率に従った評価点を与える照合率評価手段と、複
数の位置での濃淡情報を２値化した黒画素数が所定の範
囲内のときに、複数の位置での濃度のピーク値と濃度平
均値との差による濃度特徴を比較し、前記の差の値に従
った評価点を与える濃度特徴評価手段とを備え、複数の
位置での照合率評価結果と濃度特徴評価結果とに基づい
た総合評価で最も評価点が高く、かつパターン照合率が
所定の閾値を越えた位置のパターン画像を目と検出する
目検出手段を備えた構成である。

【００２５】この構成により、パターン照合率と目の濃
淡の濃度を計測することにより、目の特徴を抽出して照
合できるため、眉などとの誤認識が減少し、目を高精度
で検出できる。

【００２６】また、時系列に変化する顔画像の目の候補
位置を抽出し、抽出した候補位置を基準に複数の位置で
所定の追跡テンプレートを用いてパターン照合により目
を検出し、検出した目のまぶたの動きを追跡する目追跡
装置であって、１フレーム毎にまぶたの変化からまぶた
の動きベクトルを取得するまぶたベクトル取得手段と、
１フレーム毎に顔画像の変化から顔の動きベクトルを取
得する顔ベクトル取得手段と、まぶたベクトルと顔ベク
トルとの差を検出するまぶた変化検出手段と、まぶた変
化検出手段により検出したベクトルが下向きで所定値よ
り大きいときは、瞬きと判定する瞬き判定手段とを備え
た構成である。

【００２７】この構成により、まぶたの動きを検出でき
るので、まばたきを精度高く検出することが可能であ
る。

【００２８】また、瞬き判定手段により瞬きと判定され
た目の画像を閉眼テンプレートとして設定する閉眼テン
プレート設定手段と、設定した閉眼テンプレートと追跡
中の目とのパターン照合を行うことで、目の開眼、閉眼
の状態を判定する目状態判定手段とを備えた構成であ
る。

【００２９】この構成により、開眼と閉眼の状態を把握
できるので、居眠りなどの検出が容易となる。

【００３０】

【発明の実施の形態】実施例の目追跡装置１の構成図を
図１に示す。

【００３１】ＣＰＵ２、撮像部３、メモリ４、目登録処
理部５、目追跡処理部６、瞬き検出部７、標準テンプレ
ートメモリ８、参照テンプレートメモリ９、追跡テンプ
レートメモリ10、目再発見部12より構成される。

【００３２】ＣＰＵ２は、撮像部３、メモリ４、目登録
処理部５，目追跡処理部６，瞬き検出部７等の各処理の
制御を実行する。

【００３３】撮像部３は、人の顔を撮像し、ビデオフレ
ームごとに顔画像をメモリ４に格納する。

【００３４】メモリ４は、撮像部３で得られた顔画像が
格納され、且つビデオレートで更新される。

【００３５】標準テンプレートメモリ８は、複数の人の
目を平均した目の画像から構成され標準テンプレートを
蓄積するメモリである。

【００３６】参照テンプレートメモリ９は、追跡対象の
個人の開眼状態の目のテンプレート（以下個人テンプレ
ートと呼ぶ）と位置情報および標準テンプレートが初期
時に目を発見した時に生成したテンプレートと位置情報
および目再発見処理のためのテンプレートを記憶するメ
モリである。

【００３７】追跡テンプレートメモリ10は、目の追跡処
理を行うときに使用する追跡テンプレートと位置情報を
記憶するメモリである。

【００３８】目登録処理部５で、メモリ４に格納される
顔画像中、標準テンプレートを移動させつつパターン照
合により目を探索し、目を発見した場合はその目の画像
を個人テンプレートとして参照テンプレートメモリ９に
登録するとともに、追跡テンプレートとして追跡テンプ
レートメモリ10に登録する。

【００３９】目追跡処理部６で、追跡テンプレートを用
いて顔画像中を比較的狭い範囲で追跡する。

【００４０】瞬き検出部７は、追跡処理中に瞬き検出を
行う。

【００４１】目再発見部12は、見失った目を再発見する
処理を行う。

【００４２】図２に目追跡装置１の処理の流れ図を示
す。

【００４３】目追跡装置１は、処理の開始のときに、目
の登録処理を行う。

【００４４】自動車ドライバーなどの目をまず登録す
る。ドライバは、撮像部に向かって開眼の状態をしばら
く保つことで登録が終了する。

【００４５】このとき、標準テンプレートで目のパター
ン照合をした結果が所定の閾値より最も高い位置を探索
し、その位置を目を検出したとみてその時の目の画像を
個人テンプレート、追跡テンプレートとして各テンプレ
ートメモリに位置情報とともに登録する。（S1ステッ
プ）この処理が終わると、目の追跡処理に入る。

【００４６】まず、次の顔画像をメモリ４から読み出
す。（S2ステップ）次に追跡テンプレートの位置座標を読出し、その位置を
顔画像上の目の候補位置としてパターン照合を実施す
る。（S3ステップ）図３に目の誤認識と位置補正の説明図を示す。

【００４７】目の追跡では、候補位置が目の中心位置か
らずれたり、眉を目と誤認識することがある。これは１
フレーム前の追跡テンプレートを取得したもの（図３の
f-1）と現在の目の画像（図３のｆ）とで目の形状変化
が大きかったためである。そこで、目の候補位置および
その近傍であらかじめ取得してある本人の開眼時の個人
テンプレートを使用してパターン照合を行うことで、目
の位置を補正することが可能となる。

【００４８】目の候補位置の近傍でのパターン照合とは
個人テンプレートを位置合わせ後、上下左右に１画素ず
つずらしながらパターン照合を実施することをいう。そ
してそれを±８画素分実施する。（S4ステップ）追跡テンプレートと個人テンプレートによるパターン照
合率の最も高い位置を目の候補位置として再設定する。
（S5ステップ）次に目の候補位置を基に目の検出位置を確定する処理を
行う。

【００４９】目の追跡では、目の位置を予測して所定の
探査エリア内でパターン照合を行うが、目と他の部位で
似た結果がでるため誤認識することがある。そこで目の
周囲の濃淡データを取得し、探査結果について確認を行
う。

【００５０】図４に目の検出方法の説明図を示す。

【００５１】目の探索確認方法として、以下の方法をと
る。

【００５２】目の探索エリアは、再設定された目の候補
位置を中心として、縦横に３箇所、計９箇所にてテンプ
レートサイズのエリアを設定し追跡テンプレートとパタ
ーン照合を行う。パターン照合率の高いものを上から最
大３箇所選ぶ。図４(a)の場合は、２箇所の例である。

【００５３】そして、取得できた各箇所の目の候補位置
の中央に縦一本の濃淡データを取得する。縦の長さは、
例えば４８画素とする。

【００５４】濃淡データを２値化して、黒部の幅が３画
素以上２０画素以下の場合で、「パターン照合率」と
「黒の濃度のピーク値と濃淡データの平均値との差」に
応じて加点して、点数が、最大のものを選択する。（Ｓ
６ステップ）例えば、図４で５点を最高値として、パターンは、
「パターン照合率」４点、「濃度ピーク値−濃度平均の
差」４点で計８点、パターンは、「パターン照合率」
１点、「濃度ピーク値−濃度平均の差」１点で計２点と
なり、パターンを目と判定する。

【００５５】目の候補の判定が終了するとその目のパタ
ーン照合率を閾値ｂと比較する。（S7ステップ）パターン照合率が閾値ｂより大きい時は、目と確定し、
次の顔画像のための準備を行う。

【００５６】図５に顔の傾きによるテンプレートサイズ
変更の説明図を示す。

【００５７】まず、顔の傾きを両目の追跡結果より求め
る。すなわち右目のテンプレートと左目のテンプレート
により両追跡テンプレートの傾きを取得する。（図５
(b) ）その傾きから、目のテンプレートサイズを変更する。
（図５(c) ) その結果、パターン照合には、必ず目の全体像を使用す
ることができ、正確な追跡が可能となる。（S8ステッ
プ）次にパターン照合率が閾値がｂより大きく閾値ａより小
さい範囲か否かのチェックを行う。（S9ステップ）範囲内にあれば、現実の目を追跡テンプレートとして取
得し、顔の傾き検出によりテンプレートサイズに変更が
必要であれば変更して更新する。（S10 ステップ）そし
て処理をS2ステップよりやりなおす。

【００５８】パターン照合率が閾値ｂより小さい場合
は、目を見失ったとして、目の再発見処理を行う。

【００５９】図６に目の再発見処理の説明図を示す。

【００６０】目の再発見処理とは、ドライバーが後方確
認等で大きく顔を動かした場合画面から目が外れるため
追跡は不可能となることをいう。そして、再発見する
際、広範囲にパターン照合を行ったのでは動きのある目
を発見することは困難である。そこで、見失った位置を
基準として、狭い範囲で探査することで高速に処理する
ことが可能となる。

【００６１】例えば画面中に目があるにも関わらず見失
った場合は、動きが速いために顔が大きく動いており、
元の位置に目が戻らない場合もある。そのため、次フレ
ームの顔画像を取得後（S11 ステップ）、まず顔ベクト
ルを計測する。

【００６２】顔ベクトルとは、フレーム間での顔画像上
の顔ベクトル計測位置の変位のことを示す。

【００６３】顔ベクトルを計測後、見失ったフレームの
１フレーム前の追跡テンプレートの位置に顔ベクトル分
の補正をして探査範囲の基準となる目候補位置を設定す
る。（S12 ステップ）例えば、図６(c) で目を見失った
とすると、１フレーム前の図６(b) の追跡テンプレート
の座標位置を記憶しておく。

【００６４】次に顔を下げるとともに横向きとなった図
６(c) を経て、正面向きの図６(d)に戻ると、顔ベクト
ルを取得する。そして取得したベクトル変位により、見
失った目の座標位置を補正すると、現画像の目の候補位
置となる。

【００６５】また、参照テンプレートが正面向きしかな
い場合、正確さを要求すると顔が横向きの時には発見す
ることができず、また、閾値を低く設定すると短時間で
発見できるが誤認識の確率が高くなる。そこで、左右の
目それぞれについて、画面中央、画面左、画面右の３種
類の参照テンプレートを作成し目の候補位置に応じて、
参照テンプレートを使い分ける。

【００６６】さらに画面中央／、画面左、画面右の３種
類の分類に応じた参照テンプレートの中に傾斜した複数
のテンプレートを設ける。そして、見失うまでの経緯か
ら目の傾斜を求め、使用する傾斜に近い参照テンプレー
トを順番を決めて順次選択する。これにより、画面中央
／、画面左、画面右の３種類の分類の傾斜付き参照テン
プレートにより、高速でかつ正確な再発見が可能とな
る。（S13 ステップ）選択した参照テンプレートを追跡
テンプレートとして目の候補位置およびその近傍で、上
下左右に１画素ずつずらしながらパターン照合を行う。
そしてそれを±８画素分まで実施する。その後、Ｓ５ス
テップ、Ｓ６ステップと同様の処理を行って、目の検出
を行う。この結果が閾値ｃより大きければ、目を再発見
したとして、追跡テンプレートを更新して(S15ステッ
プ）、S2ステップに戻る。閾値ｃより小さければS11 ス
テップに戻る。

【００６７】これらの参照テンプレートは、各々の位置
で取得するか、既に取得したいずれかのテンプレートを
加工して作成する。

【００６８】次に瞬き検出処理を行う。（S15 ステッ
プ）図７に瞬き検出処理の流れ図を、図８に瞬き検出処理の
説明図を示す。

【００６９】瞬きの例として図８(a) の開眼から図８
(b) の閉眼に変化した例を示す。図８(c) は、まぶたベ
クトル、顔ベクトルのベクトル変位の図を示す。

【００７０】瞬き検出処理として、まず顔ベクトルを取
得する。（S21 ステップ）顔ベクトルの取得方法は、まず、目を検出したテンプレ
ート位置から顔ベクトル計測位置を設定し、その座標位
置を取得する。（図８(a）に示す）次に、顔画像のフレーム間の顔ベクトル計測位置の座標
位置の変位量Ｂを取得する。（図８(c）に示す）次に、まぶたベクトル計測位置を目を検出したテンプレ
ート位置から、所定の位置に設定し、その座標を取得す
る。顔画像のフレーム間のまぶたベクトル計測位置の座
標位置の変位量Ａを取得する。（図８(c）に示す）取得したまぶたベクトルＡから、顔ベクトルＢを差し引
くと真のまぶたベクトルの変位を取得できる。（S22 ス
テップ）（図８(c）に示す）まぶたベクトルを閾値ｆと比較する。（S23 ステップ）まぶたベクトルが下向きで、所定の閾値ｆより大きい場
合は、閉眼と推測し、瞬きと判定する。

【００７１】判定後、この目の状態を閉眼テンプレート
とする。（S24 ステップ）閾値ｆより小さければまぶたの動きが検出されない場合
と見て閉眼テンプレートとのパターン照合を行う。（S2
5 ステップ）パターン照合率を閾値ｇと比較して(S26ステップ）、閾
値ｇ以上なら閉眼と判定し、閾値ｇ以下なら開眼と判定
する。

【００７２】

【発明の効果】本発明により、ドライバー等の目の追跡
および目を見失った場合の再発見処理を高速かつ高精度
に実現することが可能となる。更に、高精度な瞬き検出
が可能となることから、ドライバーの首振りの検出、居
眠りの検出等が可能となる。

【図面の簡単な説明】

【図１】実施例の目追跡装置の構成図

【図２】実施例の目追跡装置の処理の流れ図

【図３】目の誤認識と位置補正の説明図

【図４】目の検出方法の説明図

【図５】顔の傾きによるテンプレートサイズの変更
説明図

【図６】目の再発見処理の説明図

【図７】瞬き検出処理の流れ図

【図８】瞬き検出処理の説明図

【図９】従来例の目追跡装置の構成図

【図１０】従来例の目の追跡装置の処理の流れ図

【図１１】従来例の瞬き検出処理の説明図

【符号の説明】

１目追跡装置２ＣＰＵ３撮像部４メモリ５目登録処理部６目追跡処理部７瞬き検出部８標準テンプレートメモリ９参照テンプレートメモリ１０追跡テンプレートメモリ１２目再発見部

Claims

【特許請求の範囲】

【請求項１】時系列に変化する顔画像の目の候補位置
を抽出し、抽出した候補位置を基準に複数の位置で所定
の追跡テンプレートを用いてパターン照合により目を検
出して追跡する目追跡装置であって、１フレーム毎に顔画像の目を検出した位置を記憶する目
位置記憶手段と、１フレーム毎に顔画像の変化から顔の動きベクトルを取
得する顔ベクトル取得手段と、目位置記憶手段により記憶した１フレーム前の位置を顔
ベクトル取得手段にて取得した顔の動きベクトルにより
補正を行い現フレームの目の候補位置とするベクトル位
置補正手段とを備えたことを特徴とする目追跡装置。
【請求項２】時系列に変化する顔画像の目の候補位置を
抽出し、抽出した候補位置を基準に複数の位置で所定の
追跡テンプレートを用いてパターン照合により目を検出
して追跡する目追跡装置であって、複数の位置でのパターン照合によるパターン照合率を比
較し、パターン照合率に従った評価点を与える照合率評
価手段と、複数の位置での濃淡情報を２値化した黒画素数が所定の
範囲内のときに、複数の位置での濃度のピーク値と濃度
平均値との差による濃度特徴を比較し、前記の差の値に
従った評価点を与える濃度特徴評価手段とを備え、複数の位置での照合率評価結果と濃度特徴評価結果とに
基づいた総合評価で最も評価点が高く、かつパターン照
合率が所定の閾値を越えた位置のパターン画像を目と検
出する目検出手段を備えたことを特徴とする目追跡装
置。
【請求項３】時系列に変化する顔画像の目の候補位置を
抽出し、抽出した候補位置を基準に複数の位置で所定の
追跡テンプレートを用いてパターン照合により目を検出
し、検出した目のまぶたの動きを追跡する目追跡装置で
あって、１フレーム毎に、まぶたの変化からまぶたの動きベクト
ルを取得するまぶたベクトル取得手段と、１フレーム毎に、顔画像の変化から顔の動きベクトルを
取得する顔ベクトル取得手段と、まぶたベクトルと顔ベクトルとの差を検出するまぶた変
化検出手段と、まぶた変化検出手段により検出したベクトルが下向きで
所定値より大きいときは、瞬きと判定する瞬き判定手段
とを備えたことを特徴とする目追跡装置。
【請求項４】瞬き判定手段により瞬きと判定された目の
画像を閉眼テンプレートとして設定する閉眼テンプレー
ト設定手段と、設定した閉眼テンプレートと追跡中の目とのパターン照
合を行うことで、目の開眼、閉眼の状態を判定する目状
態判定手段とを備えたことを特徴とする請求項３記載の
目追跡装置。