JPH1086696A

JPH1086696A - 顔画像における特徴部位の検出方法

Info

Publication number: JPH1086696A
Application number: JP24363596A
Authority: JP
Inventors: Makoto Nishida; 誠西田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1996-09-13
Filing date: 1996-09-13
Publication date: 1998-04-07

Abstract

(57)【要約】【課題】人の顔を撮影した顔画像から鼻穴などの特徴
的な部位を迅速に検出する。【解決手段】顔画像から鼻穴の位置を検出し、次回
は、この前回に発見された鼻穴の位置に基づき探索領域
を設定する。これによって、顔画像全体を対象として鼻
穴の探索をする必要がなくなり、処理負担が軽減され
る。さらに、運転者の意識レベルに応じて鼻穴の探索領
域が変更される。運転者の意識レベルが低い場合、顔の
動きが緩慢になるので、通常時の探索領域２０ｂ，２０
ｃが領域２０ｄ，２０ｅのように縮小される。これによ
って、より迅速に鼻穴を検出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人の顔を撮影して
得た顔画像における特徴的な部位を検出する方法に関す
る。

【０００２】

【従来の技術】近年、自動車など車両の運転者の居眠り
を防止する装置の開発が行われており、その一部は実用
に供されている。この居眠り運転防止装置の一例とし
て、運転者の顔の特徴的な部位の動き、たとえば目の閉
じている時間に基づき居眠り状態を判定する装置があ
る。この場合、運転者の目の動きを捕らえるために、運
転者の顔を撮影し、この顔の中から目を特定する必要が
ある。

【０００３】特開平７−１８１０１２号公報には、顔を
含む画像を２値化処理して顔領域を抽出し、この顔領域
の中にある黒画素の複数の塊どうしの相対位置および個
々の黒画素の塊の縦横比から目を特定する技術が開示さ
れている。黒画素の塊は、眉、目、鼻穴などであり、左
右の眉および目の幅より外に鼻穴は存在しない、目は眉
の下にある、などの相対位置から目の候補が選ばれ、さ
らにこの候補の縦横比から目が確定される。また、検出
時間を短縮するために、一旦、目が検出されると、次回
からは、その周囲の狭い範囲に探索領域を設定してい
る。

【０００４】

【発明が解決しようとする課題】上記公報によれば、一
旦、目が検出された後は、探索領域が狭く設定されるの
で、目の位置が大きく動いた場合など、追跡に失敗し、
目を見失う場合があった。

【０００５】本発明は前述の問題点を解決するためにな
されたものであり、顔画像における特徴的な部位を確実
に、かつ迅速に検出することのできる顔画像における特
徴部位の検出方法を提供することを目的とする。

【０００６】

【課題を解決するための手段】前述の目的を達成するた
めに、本発明にかかる顔画像における特徴部位の検出方
法は、人の顔を撮影して顔画像を得る撮像ステップと、
前記顔画像から所定の特徴部位を探索する領域を設定す
る探索領域設定ステップと、前記探索領域内で所定の特
徴部位の検出を行う特徴部位検出ステップと、撮影対象
となっている人の意識レベルを算出する意識レベル算出
ステップと、前記算出された意識レベルに基づき前記探
索領域設定ステップで設定される探索領域を変更する探
索領域変更ステップと、を有している。

【０００７】この構成によれば、撮影対象となっている
人の意識レベルに応じて探索領域が設定されるので、顔
の動きの活発さに適合した探索領域を設定することがで
きる。人の顔の動きの活発さ、すなわち動きの速度や頻
度は、人の意識レベルと相関があり、意識レベルが低下
するに従って動きが活発でなくなる、すなわち緩慢にな
る。顔の動きが緩慢になれば、特徴部位の位置が前回検
出された位置から大きく変化する可能性が低くなるの
で、探索領域を狭めることもできる。また、意識レベル
によって、特徴的な動きがあるので探索領域の形状を変
更することもできる。たとえば、意識レベルが低い場合
は、高い場合に比べて、横方向の顔の動きが減少するの
で、縦方向に比して横方向の幅をより縮めることも可能
となる。このように、意識レベルに応じた探索領域を設
定することによって、探索領域を狭めることが可能と判
断される場合には、領域を狭め演算処理時間が短縮され
る。また、探索領域が広いほうが好ましい状況において
は、探索領域を広く設定し特徴部位の消失が防止され
る。

【０００８】さらに、前記探索領域変更ステップを、前
記特徴部位を見失った後で行われる再探索に際し探索領
域を変更するステップとすることもできる。これによれ
ば、特徴部位を見失った時に、探索領域が意識レベルに
応じて適切に設定されるので、より確実に、かつ迅速に
特徴部位を再発見することができる。

【０００９】さらに、前記特徴部位を鼻穴とすることも
できる。鼻穴の形状は、顔画像中、二つの並列する略円
形の黒領域として表され、これは個人差が比較的少ない
ので顔の特徴部位として好適である。

【００１０】

【発明の実施の形態】以下、本発明にかかる顔画像にお
ける特徴部位の検出方法の好適な実施の形態（以下実施
形態と記す）を図面に従って説明する。

【００１１】図１は、本発明を用いた居眠り運転防止装
置の概略構成を示すブロック図である。赤外線投光器１
０は、運転者の顔を含む領域に赤外線を放射し、電荷結
合素子（ＣＣＤ）カメラ１２で運転者の顔を含む領域を
撮影する。このＣＣＤカメラ１２のレンズの前には赤外
線波長（８７０ｎｍ付近）を中心に透過する光学フィル
タが設置されている。ＣＣＤカメラ１２で撮られた画像
は瞬き認識部１４に送られ、１回の瞬きの時間すなわち
継続して目を閉じている時間（閉眼時間）が計時され
る。居眠り判定部１６は閉眼時間の長さから運転者の意
識レベルを推定し、閉眼時間が所定時間以上になった
ら、すなわち意識レベルが所定レベル以下に下がったら
運転者が居眠りしていると判定する。運転者が居眠りを
始めた場合、警報部１８により警報を発し運転者に注意
を促す。また、居眠り判定部１６は、推定した運転者の
意識レベルを瞬き認識部１４に送出し、瞬き認識部１４
ではこの意識レベルに応じた演算処理を行って運転者の
目を追跡し、閉眼時間の計測を行う。

【００１２】基本フロー図２は、本居眠り運転防止装置の、特に瞬き認識部１４
にかかる基本のフローチャートが示されている。本装置
が起動されると、運転者の目がどこにあるのかが検出さ
れる（Ｓ１００）。この初回探索のステップは、運転者
の体格、運転席の位置などにより運転者の顔の位置が大
きく変わるので、比較的広い探索領域を設定し、まず鼻
穴の検出が行われる。鼻穴と目の位置関係は、運転者に
よってそれほど変化しないので、鼻穴の位置から目があ
ると推定される領域を定め、この領域内で目の検出が行
われる。目が検出されると、このときの鼻穴の位置と、
鼻穴と目の位置関係が記憶される。

【００１３】目が検出されると、目の追跡探索が行われ
る（Ｓ２００）。一旦、鼻穴の位置が分かってしまえ
ば、運転者がよほど大きな動作をしない限り、鼻穴の位
置はさほど変わらないので、鼻穴探索の領域を大幅に狭
め鼻穴の探索を行う。鼻穴が検出された場合、鼻穴と目
の位置関係より目の探索領域を定め、目の検出を行う。
このときの、目の探索領域は、初回探索のときの領域よ
りも小さくすることができる。

【００１４】そして、目が検出されれば（Ｓ３００）、
この目が閉じているか、開いているかが判断される（Ｓ
４００）。一方、目が検出されなかった場合、目を再度
発見するための再探索制御が開始される（Ｓ５００）。
この再探索においては、鼻穴を見失ってからの経過時間
に対応して異ならせたいくつかの探索領域が設定され
る。鼻穴を見失ってからの経過時間が短い場合は、鼻穴
や目の探索領域を狭めに設定し、経過時間が長くなる
と、探索領域を広めに設定する。鼻穴を見失ってから時
間があまり経過していない場合には、鼻穴や目の位置が
大きく変化していることはないと思われるので、領域を
狭くすることによって、再発見までの時間を短縮するこ
とができる。さらに、再探索においては、そのときの運
転者の意識レベルに応じて探索領域の変更が行われる。
すなわち、運転者の意識レベルが低い場合には、顔の動
きが緩慢になるので探索領域を狭く設定し、探索に要す
る処理時間を短縮する。一方、意識レベルが高いときに
は、顔の動きが早くなるので、広めの探索領域によって
鼻穴を早期に発見できるようにする。

【００１５】そして、ステップＳ２００からステップＳ
５００が繰り返され、そのたびごとに目が閉じているか
判定される。そして、この閉じた状態が連続する時間が
居眠り判定部１６により計時され、この連続時間に基づ
き居眠り状態が判定される。以下、初回探索ステップＳ
１００、追跡ステップＳ２００、瞬き判定ステップＳ４
００および再探索ステップＳ５００の詳細を説明する。

【００１６】初回探索ルーチン図３には、本装置が起動した直後の初回探索ステップＳ
１００の詳細な制御フローチャートが示されている。ま
ず、鼻穴探索領域の設定が行われる（Ｓ１０２）。初回
の探索においては、運転者の鼻穴の位置は、運転者の体
格、シート位置などによって大きく異なるので、鼻穴探
索領域２０ａは図４（ａ）に示すように、運転者の顔全
体が含まれるように設定される。次に、第１タイマが所
定の値、たとえば２分にセットされる（Ｓ１０４）。こ
の第１タイマは、後述するように、目の探索において、
２値化しきい値を変更しながら同じ領域を検索する時間
を計時するタイマである。さらに、第２タイマが所定の
値、たとえば１０分にセットされる（Ｓ１０６）。第２
タイマは、初回探索の時間を計時するタイマであり、１
０分経過しても目を発見できなかった場合は、何らかの
異常があるので運転者に警告する。なお、初回探索時に
は、運転者はまだ居眠り状態とはなっていないと考えら
れるので、充分な時間をかけて目の探索が行われる。

【００１７】次に、顔画像を２値化する際のしきい値の
設定が行われる（Ｓ１０８）。一方、代表的な鼻穴の形
状のテンプレートと顔画像との一致性を見て、一致性が
所定値を超える候補を選出する（Ｓ１１０）。そして、
選出された各候補を含む領域でステップＳ１０８で設定
したしきい値を用いて２値化処理を行い、黒領域を抽出
する（Ｓ１１２）。そして、ほぼ水平に並ぶ２つの黒領
域を鼻穴として検出する（Ｓ１１４）。このとき、鼻穴
が見付からなかったらステップＳ１０８に戻り（Ｓ１１
６）、２値化のしきい値を設定し直して（変更して）再
び鼻穴を検索する。

【００１８】ステップＳ１１６で鼻穴が検出された場合
は、当該鼻穴の位置に基づき、目の探索領域２２が設定
される（Ｓ１１８）。鼻穴の位置が分かれば目の存在す
る領域は、個人差があるもののほぼ特定できる。したが
って、目の探索領域２２は、図５（ａ）に示すようにや
や広めの領域２２ａが設定される。また、眉が目として
誤検出されないように、最初の探索領域２２ａは眉に掛
からないようやや下ぎみに設定される。

【００１９】次に、前述の目の探索領域２２ａの中で、
上下方向に明度が急峻に変化するエッジを抽出する（Ｓ
１２０）。エッジは上から下に向けて明度が急峻に低下
する負エッジと、逆に上から下に向けて明度が急峻に上
昇する正エッジがあり、目の場合、上に負エッジ、下に
正エッジとなるペアが形成される。この正負エッジのペ
アを目の候補として選出する（Ｓ１２２）。そして、こ
の選出された候補が全体として略楕円形状となっている
かが判断される（Ｓ１２４）。略楕円形状であると判断
された場合は、これが目であると決定され、鼻穴に対す
る位置が記憶され（Ｓ１２６）、このルーチンが終了す
る。

【００２０】ステップＳ１２４で正負エッジペアが略楕
円形状でない場合、第１および第２タイマをカウントダ
ウンし（Ｓ１２８）、第１タイマが０となっていなけれ
ば（Ｓ１３０）、ステップＳ１０８に戻って、２値化の
しきい値を変更して再度鼻穴の検出からやり直す。第１
タイマが０、すなわち２分が経過しても目が検出できな
いときは（Ｓ１３０）、さらに第２タイマが０であるか
が判断される（Ｓ１３２）。そして、第２タイマが０、
すなわち１０分が経過しても目が検出できない場合に
は、運転者がサングラスやマスクをしているか、カメラ
前に障害物があるためであると考えられるので、運転者
にこの旨警告し（Ｓ１３４）、フローを終了する。

【００２１】第２タイマが０となっていなければ（Ｓ１
３２）、鼻穴位置に基づき設定される目の探索領域２２
ａを上にずらす処理が行われ（Ｓ１３６）、第１タイマ
に再び２分がセットされる（Ｓ１３８）。前述したよう
に、ステップＳ１１８で設定される目の探索領域２２ａ
は、眉を検出しないように下ぎみに設定されているの
で、運転者によっては目がもっと上にある可能性があ
る。そこで、ステップＳ１３６にて探索領域を上にずら
している。少しずつ上にずらすことによって、目のみを
抽出し、眉を目として誤検出しないようにしている。

【００２２】以上の初回探索ルーチンにおいては、２値
化画像において特徴的な鼻穴を検出し、この位置を基準
にして目を検出しているので確実に目の検出を行うこと
ができる。鼻穴は、ほぼ水平に並び、ほぼ丸い２つの黒
領域として検出することができ、また個人差も少ないの
で、検出が容易である。また、鼻穴と目の位置関係も、
鼻穴右斜め上には左目があるなどと、ある程度特定でき
るので、この位置関係をもって目の探索領域を精度よく
特定することができる。

【００２３】さらに、目の検出は、２値化処理を行わず
エッジ検出により行っている。これは、照明や車室外か
らの光の影響を受けてもエッジは残るので、確実に検出
ができるためである。このエッジ検出そのものは、やや
処理時間が長くなるが、前述のように鼻穴位置から目の
検索領域を限定しているので、全体としても処理時間に
大きな影響を与えることはない。

【００２４】また、ステップＳ１０８で設定している２
値化処理に用いられるしきい値は、目の検出をもって、
その値が適切であったかの判定がなされる。すなわち、
ある鼻穴の候補に対して目が検出されなければ、この候
補は鼻穴ではなかったと判断される。したがって、しき
い値を変更して初回探索を行い、目が検出できたときの
しきい値を採用することにより、適切なしきい値を設定
することができる。よって、しきい値が不適切で眼鏡の
縁や目を鼻穴と誤認することは、最終的には防止するこ
とができる。

【００２５】追跡探索ルーチン図６には、初回探索ステップＳ１００に続いて行われる
追跡探索ステップＳ２００の詳細なフローチャートが示
されている。初回探索で鼻穴および目が検出されると、
これらを追跡するルーチンが開始される。まず、居眠り
判定部１６で推定された運転者の意識レベルに基づき鼻
の探索を行う領域のサイズを変更する縮小率の設定を行
う。この縮小率は、図７に示すように、意識レベルが低
下すると低い値が設定されるようになっており、本実施
形態の場合は、通常時には「１」、意識がやや低下した
場合は「０．８」、さらに低下すると「０．６」と設定
される（Ｓ２０１）。意識レベルが低下している場合
は、この縮小率に従って、図８（ｂ）に示されるように
探索領域が狭められる。すなわち、意識レベルがやや低
下した場合、通常時に対して、探索領域の長方形の縦横
の辺の長さがそれぞれ０．８倍された長方形が新たな探
索領域として設定される。追跡探索ルーチンにおいて
は、通常の鼻探索領域２０ｃが、意識レベル低下時には
領域２０ｅのように縮小される。

【００２６】次に、前回の探索において、検出された鼻
穴の位置およびステップＳ２０１で設定された縮小率に
基づき、前回の鼻穴位置の周囲に鼻穴探索領域２０を設
定する（Ｓ２０２）。この領域は、図４（ｃ）または図
８（ｂ）に示されるように、鼻を含む横長の長方形の領
域である。この領域２０ｃは、前述の初回探索のときの
領域２０ａより小さく、また後述する再探索時の第２の
モードの領域２０ｂより小さく設定されている。これ
は、前回鼻穴が検出されているのであれば、今回それほ
ど大きな範囲を探索しなくても鼻穴を検出することがで
きるはず、という前提に基づいている。また、探索領域
２０ｃを横に広く設定しているのは、運転中の動作にお
いて、首を横に振る動作の方が縦に振る動作より早いの
で、横方向に広めに領域を採って、鼻穴の横の動きに対
応するためである。

【００２７】そして、この鼻穴探索領域２０ｃ内を２値
化処理し、黒領域を抽出する（Ｓ２０４）。そして、ほ
ぼ水平に並ぶ２つの黒領域を鼻穴として検出する（Ｓ２
０６）。鼻穴が検出されなかったならば（Ｓ２０８）、
追跡探索ルーチンを終了する。鼻穴が検出された場合、
前回の鼻穴と目の位置関係より目の探索領域２２ｂの設
定を行う（Ｓ２１０）。この探索領域２２ｂは、図５
（ｂ）に示されるように、目の大きさよりやや大きく、
初回探索時の領域２２ａよりやや小さい。これは前回の
探索において、鼻穴と目の位置関係が分かっているこ
と、そして前回の鼻穴位置が分かっているので目の位置
は、かなり正確に特定できるからである。そして、この
探索領域２２ｂ内で、初回探索と同様に、エッジの抽出
を行う（Ｓ２１２）。さらに、正負のエッジが上下方向
に隣接しているエッジペアを探し（Ｓ２１４）、このエ
ッジペアがあればこの位置および鼻穴の位置を記憶する
（Ｓ２１８）。エッジペアがなければ（Ｓ２１６）、追
跡探索ルーチンを終了する。

【００２８】以上、追跡探索ルーチンでは、前回の鼻穴
位置も目の位置およびこれらの関係も分かっているの
で、鼻穴および目の探索領域２０ｃ，２０ｅ，２２ｂを
初回探索時の領域２０ａ，２２ａより小さく設定するこ
とができる。初回探索時には、前述のように確実に鼻穴
および目を検出することが重要であったが、追跡時には
速やかに目を検出することが要求される。本装置におい
ては、閉眼状態の連続時間をもって居眠り判定を行って
いるので、追跡に時間がかかると、この判定が不正確ま
たは不可能になってしまう。そこで、速やかに目の検出
を行うために、まず２値化画像で最も特徴的な鼻穴の検
出を行い、この鼻穴を基準に目の探索領域２２ｂを絞り
込んでいる。そして、処理時間が長くなりがちなエッジ
検出の時間の短縮を図っている。さらに、運転者の意識
レベルが低い場合には、顔の動きすなわち鼻穴の動きが
緩慢になると考えられるので、意識レベルに応じて探索
領域を狭め、処理時間の短縮を図っている。

【００２９】瞬き判定ルーチン図９には、瞬き判定ステップＳ４００の制御フローチャ
ートが示されている。追跡探索ステップＳ２００におい
て検出された目のエッジペアが読み出され（Ｓ４０
２）、この各々のペアの上下方向の距離の最大値をその
ときの目の開度とする（Ｓ４０４）。そして、この目の
開度が所定のしきい値と比較され（Ｓ４０６）、しきい
値未満の場合は閉眼状態と判定され（Ｓ４０８）、しき
い値以上である場合は、開眼状態と判定される（Ｓ４１
０）。この開眼・閉眼の判定は、前述の居眠り判定部１
６に送られ、意識レベルの推定および居眠り判定が行わ
れる。

【００３０】再探索ルーチン図１０には、再探索ステップＳ５００の制御フローチャ
ートが示されている。追跡探索ステップＳ２００で、鼻
穴または目が検出できなかったとき、速やかに鼻穴や目
を発見して居眠り判定に支障がないようにしなければな
らない。したがって、初回探索ルーチンを用いて再度鼻
穴や目の検出を行うわけにはいかない。初回探索ルーチ
ンは、前述のように時間がかかっても確実に鼻穴および
目の検出を行うのが目的のルーチンであり、短時間で再
発見をするには不向きである。言い換えれば、再探索ル
ーチンを別途設けることによって、初回探索ルーチンに
時間をかけて確実に鼻穴および目の探索を行う。また、
再探索ルーチンにおいては、鼻穴の探索領域と目の探索
領域の設定の違いにより、３種類の探索モードを有して
おり、適切なモードを選択することにより、より早く、
より正確に鼻穴および目の発見がなされるようにしてい
る。さらに、運転者の意識レベルに応じた探索領域が設
定され、迅速に、また確実に鼻穴の発見がなされるよう
にしている。

【００３１】第１の再探索モードは、前回の追跡モード
で鼻穴が検出されているが、目が検出されなかった場合
に対応するモードである。このモードは、鼻穴が検出さ
れているので顔の動きはそれほど大きくない場合のもの
であり、主に照明の条件などにより瞬間的に目を検出す
ることができなかった場合に対応している。したがっ
て、鼻穴や目の探索領域も追跡ルーチンのときに用いら
れた狭い領域、図４（ｃ）および図５（ｂ）の領域２０
ｃ，２２ｂが用いられる。

【００３２】第２の再探索モードは、前回の追跡モード
で鼻穴が検出されなかった場合に対応するモードであ
る。このときには顔が動いている可能性が高く、鼻穴や
目の探索領域は、追跡ルーチンの場合より大きく設定さ
れる。すなわち、図４（ｂ）に示されるように、第２再
探索モード時の鼻穴の探索領域２０ｂは、第１再探索モ
ードの領域２０ｃより大きい。しかし、初回探索時の領
域２０ａよりは小さい。また、図５（ａ）に示されるよ
うに、第２再探索モード時の目の探索領域２２ａは、第
１再探索モードの領域２２ｂより大きく、また初回探索
時の領域と同じ大きさである。

【００３３】第３の再探索モードは、第１再探索モード
において所定時間探索したにもかかわらず、目を発見で
きなかった場合に対応するモードである。この場合、鼻
穴の探索領域は、第１再探索モードと同様の領域２０ｃ
に設定され、目の探索領域のみ拡大し、第２再探索モー
ドと同様の領域２２ａに設定される。

【００３４】さらに、居眠り判定部１６で推定された運
転者の意識レベルに応じて、前記各モードでの探索領域
が縮小される。縮小率は、前述した追跡探索ルーチンの
場合と同様に、図７に示すように設定される。そして、
第１および第３再探索モードにおいては、図８（ｂ）に
示すように、意識レベル通常時の探索領域２０ｃを縮小
率に応じて領域２０ｅのように縮小する。さらに、第２
再探索モードにおいては、図８（ａ）に示すように、意
識レベル通常時の探索領域２０ｂを縮小率に応じて領域
２０ｄのように縮小する。

【００３５】再探索ルーチンが開始されると、車体に設
置された加速度センサより上下方向の加速度が読み込ま
れ（Ｓ５０２）、上下方向加速度が予め定められたしき
い値と比較され（Ｓ５０４）、しきい値以下であると判
断された場合、さらに前回の追跡ルーチンにおいて、鼻
穴が検出されたかが判断される（Ｓ５０６）。そして、
鼻穴があった場合、すなわち前回追跡ルーチンで鼻穴は
検出されたにもかかわらず、ステップＳ２１６で目（エ
ッジペア）が検出できなかった場合は、第１再探索モー
ドが設定される（Ｓ５０８）。そして、第１再探索モー
ドタイマがセットされる（Ｓ５１０）。このときのセッ
ト時間は、第１再探索モードから第３探索モードに移行
する時間であり、運転者の意識レベルに応じて変えられ
る。運転者の動作は覚醒状態では早く、意識レベルの低
下に伴って遅くなるので、意識レベルの低下している場
合は、タイマの設定時間を長くとっても鼻穴を見失う可
能性は低い。第１再探索モードタイマのセット時間は、
通常状態の意識レベルにおいてはたとえば２００ｍ秒に
設定され、意識レベルが低くなるに従って長い時間にセ
ットされる。

【００３６】一方、ステップＳ５０４で車体の上下方向
の加速度が所定のしきい値より大きい場合、および前回
の追跡ルーチンにおいて鼻穴が検出されなかった場合
は、第２の再探索モードが設定される（Ｓ５１２）。

【００３７】次に、居眠り判定部１６で推定された運転
者の意識レベルに基づき鼻の探索を行う領域のサイズを
変更する縮小率の設定を行う（Ｓ５１３）。この縮小率
は、追跡探索ルーチンと同様、図７に示すように、意識
レベルが低下すると低い値が設定されるようになってい
る。この縮小率に従って、以後の鼻穴探索領域の変更が
行われる。

【００３８】ステップＳ５１３で探索領域の縮小率が設
定されると、次に、設定されている再探索モードが第２
再探索モードであるかが判断される（Ｓ５１４）。第２
再探索モードでない場合、前回の鼻穴位置を中心に、意
識レベルが通常状態ならば鼻穴探索領域２０ｃが、低下
していればより小さい領域２０ｅが設定される（Ｓ５１
６）。この領域２０ｃ，２０ｅは、前述のように追跡ル
ーチンの鼻穴探索領域と同じものである。そして、この
領域内で２値化処理を行い黒領域を抽出する（Ｓ５１
８）。

【００３９】一方、ステップＳ５１４にて第２再探索モ
ードであると判断された場合は、初回探索において、検
出された鼻穴の位置を中心に、意識レベルが通常状態な
らば鼻穴探索領域２０ｂを、低下していれば領域２０ｄ
を設定する（Ｓ５２０）。この領域２０ｂ，２０ｄは、
前述のように、追跡ルーチンや第１再探索モード時の領
域２０ｃ，２０ｅに対して各々やや大きく、初回探索時
に比べて小さく設定されている。そして、この領域２０
ｂ，２０ｄ内で、テンプレートマッチングにより鼻穴の
候補を選出し（Ｓ５２２）、各候補において２値化処理
を行い黒領域の抽出を行う（Ｓ５２４）。この２値化処
理時のしきい値は、初回探索ルーチンにおいて、目が発
見できたときの値を用いており、適切な値を用いて２値
化処理を行うことができる。

【００４０】そして、ステップＳ５１８，Ｓ５２４で抽
出された黒領域のうち、ほぼ水平に並ぶ二つの黒領域を
鼻穴として選定する（Ｓ５２６）。このとき、鼻穴を選
定することができなかった場合（Ｓ５２８）、第２探索
モードが設定され（Ｓ５３０）、ステップＳ５１４に戻
る。一方、ステップＳ５２８で鼻穴ありと判断された場
合、第１再探索モードが設定されているかが判断される
（Ｓ５３２）。第１再探索モードが設定されていれば、
目の探索領域を領域２２ｂすなわち小さい領域に設定す
る（Ｓ５３４）。また、第１再探索モード以外が設定さ
れている場合、領域２２ａすなわち大きい領域に設定す
る（Ｓ５３６）。よって、後述する第３再探索モードが
設定されている場合は、ステップＳ５３６において領域
２２ａに設定される。

【００４１】ステップＳ５３４，Ｓ５３６にて目の探索
領域が設定されると、初回探索ルーチンのステップＳ１
２０と同様にエッジ抽出が行われる（Ｓ５３８）。そし
て、第１再探索モードの場合は（Ｓ５４０）、追跡ルー
チンのステップＳ２１４〜Ｓ２１８と同様に、正負のエ
ッジペアを探索して（Ｓ５４２）、エッジペアがあった
場合（Ｓ５４４）これの位置および鼻穴の位置を記憶す
る（Ｓ５４６）。一方、ステップＳ５４０で第１再探索
モード以外のモードが設定されていると判断された場
合、初回探索ルーチンのステップＳ１２２〜Ｓ１２６と
同様に、正負のエッジペアが目の候補として選出され
（Ｓ５４８）、これらの候補が楕円形状に配列している
場合（Ｓ５５０）、この候補が目として検出され、その
位置および鼻穴の位置が記憶される（Ｓ５５２）。以
上、ステップＳ５４６，Ｓ５５２において鼻穴および目
の位置が検出されると、本ルーチンは終了する。

【００４２】一方、目が検出されなかった場合は、さら
に探索が続けられる。ステップＳ５４４において、エッ
ジペアがないと判断された場合、第１再探索モードタイ
マをカウントダウンし（Ｓ５５４）、このタイマが０と
なっているかが判断される（Ｓ５５６）。そして、タイ
マが０でない場合は、そのままステップＳ５１４に戻っ
て再度第１再探索モードで探索が行われる。タイマが０
となっていれば、第３探索モードが設定される（Ｓ５５
８）。第３再探索モードは、鼻穴が検出されているにも
かかわらず、第１探索モードで所定時間内に目が発見で
きなかったとき、目の探索領域を拡げるものであり、こ
れによって目を検出する可能性が高くなる。第３再探索
モード設定後、ステップＳ５１４に戻り再び探索が行わ
れる。また、第１再探索モード以外のモードで目が検出
できなかった場合は、ステップＳ５５０からステップＳ
５１４に戻り、再探索が行われる。

【００４３】以上のように、再探索ルーチンにおいて
は、前回まで鼻穴が検出されているか、また鼻穴が検出
されていても目が検出されない時間がどの程度継続して
いるかによって、鼻穴および目の探索領域の大きさを変
えている。また、運転者の意識レベルによって鼻穴の探
索領域の大きさを変えている。これによって、顔が大き
くは動いていないと考えられる時には、探索領域を絞り
込んで短時間で再発見ができるようにし、一方、顔が大
きく動いていると考えられるときには、探索領域を拡げ
て発見確率を増している。また、初回探索時と独立した
再探索ルーチンを設けることによって、再探索時の目の
発見までに要する時間を短縮することができる。

【００４４】顔が傾いたときの目の位置の推定本実施形
態においては、鼻穴の位置に基づき目の位置を推定し、
この推定された位置を中心に目の探索領域を設定してい
るが、特に運転者が顔を傾けたときの目の位置の推定方
法について以下に説明する。

【００４５】図１１には、顔が傾いたときの鼻穴の位置
と目の位置の関係が示されている。水平状態（ａ）にお
いて、二つの鼻穴の中点Ｎ₀（Ｘ_N0，Ｙ_N0）に対して目
の位置Ｅ₀（Ｘ_E0，Ｙ_E0）は、距離ｒで方向θ₀にあ
る。このとき、距離ｒ、方向θ₀は、次の式で表され
る。

【数１】ｒ＝｛（Ｘ_E0−Ｘ_N0）²＋（Ｙ_E0−Ｙ_N0）²｝^1/2 θ₀＝ｔａｎ^-1｛（Ｙ_N0−Ｙ_E0）／（Ｘ_E0−Ｘ_N0）｝顔が傾いた場合、（ｂ）に示すように、二つの鼻穴の配
列の向きが水平からややずれる。この場合、鼻穴位置Ｎ
₀が変化しなくても、目の位置がずれる。二つの鼻穴の
方向が水平から角度δずれたとすれば、鼻穴位置Ｎ
₁（Ｘ_N1，Ｙ_N1）と目の位置Ｅ₁（Ｘ_E1，Ｙ_E1）は次式
で示される関係となる。

【数２】Ｘ_E1＝Ｘ_N1＋ｒ・ｃｏｓ（θ₀−δ）Ｙ_E1＝Ｙ_N1−ｒ・ｓｉｎ（θ₀−δ）目の位置を上式のように推定し、ここを中心に目の探索
領域を設定することによって、より確実に目を検出する
ことができる。

【００４６】その他の実施形態前述の実施形態においては、追跡探索ルーチンおよび再
探索ルーチンの双方において、運転者の意識レベルに応
じて探索領域の大きさを変更したが、再探索ルーチンの
み前記の探索領域の変更を行うようにしても良い。この
場合、追跡探索ルーチンの制御フローは図６のフローチ
ャートに対してステップＳ２０１を削除したものとな
る。一旦見失った特徴部位の再発見が迅速に行われれ
ば、追跡探索ルーチンにおいて特徴部位を見失ったとし
ても即時当該ルーチンに復帰するので、追跡探索ルーチ
ンの処理負荷の低減を図ることができる。たとえば、追
跡探索ルーチンでは、運転者の意識レベルによらず狭い
領域で探索を行い、この領域で探索ができなかった場合
は、意識レベルを用いた再探索ルーチンで、より短時間
で再度特徴部位の発見を行うようにすることもできる。

【００４７】また、前述の実施形態においては、縮小率
が「１」「０．８」「０．６」の三段階に設定されてい
たが、これより少ない２段階、またより多い段階を設定
することも可能である。また、ルーチンごと、モードご
とに別個の縮小率を設定することも可能である。これに
より、より適切な探索領域を設定することができ、特徴
部位の追跡性能および再発見性能を向上させることがで
きる。

【００４８】さらに、顔画像の縦方向と横方向で縮小率
を異ならせることも可能である。これにより、意識レベ
ルによって特徴的な動きを示す運転者の顔の動きに対応
することができる。たとえば、意識レベルが低下する
と、顔の横方向の動きが減少するので、この方向をより
縮小するように設定することができる。

【００４９】また、前述の実施例においては目など顔画
像の特徴部位の挙動に基づき意識レベルを判定したが、
意識レベルは他の手段によって求められてもよく、たと
えばステアリング操作の頻度・速度などから判定するこ
ともできる。また心拍数・脳波などに基づき意識レベル
を求めることもできる。

【図面の簡単な説明】

【図１】本発明にかかる実施形態である居眠り運転防
止装置の概略構成を示すブロック図である。

【図２】本実施形態の瞬き判定および目を検出するた
めの基本となる制御フローチャートである。

【図３】本実施形態の初回の目探索ルーチンの制御フ
ローチャートである。

【図４】鼻穴の探索領域を示す図である。

【図５】目の探索領域を示す図である。

【図６】本実施形態の追跡ルーチンの制御フローチャ
ートである。

【図７】意識レベルと探索領域の縮小率の関係を示す
図である。

【図８】意識レベルに応じて変更される探索領域を示
す図である。

【図９】本実施形態の瞬き判定ルーチンの制御フロー
チャートである。

【図１０】本実施形態の再探索ルーチンの制御フロー
チャートである。

【図１１】本実施形態において、顔が傾いた場合の目
の位置の推定を説明するための図である。

【符号の説明】

１０赤外線投光器、１２ＣＣＤカメラ、１４瞬き
認識部、１６居眠り判定部、１８警報部。

Claims

【特許請求の範囲】

【請求項１】人の顔を撮影して顔画像を得る撮像ステ
ップと、前記顔画像から所定の特徴部位を探索する領域
を設定する探索領域設定ステップと、前記探索領域内で
所定の特徴部位の検出を行う特徴部位検出ステップと、
撮影対象となっている人の意識レベルを算出する意識レ
ベル算出ステップと、前記算出された意識レベルに基づ
き前記探索領域設定ステップで設定される探索領域を変
更する探索領域変更ステップと、を有する顔画像におけ
る特徴部位の検出方法。
【請求項２】請求項１に記載の顔画像における特徴部
位の検出方法であって、前記探索領域変更ステップは、
前記特徴部位を見失った後で行われる再探索に際し前記
探索領域を変更するステップである、顔画像における特
徴部位の検出方法。
【請求項３】前記特徴部位は鼻穴である、請求項１ま
たは２に記載の顔画像における特徴部位の検出方法。