JPH1086696A - 顔画像における特徴部位の検出方法 - Google Patents
顔画像における特徴部位の検出方法Info
- Publication number
- JPH1086696A JPH1086696A JP24363596A JP24363596A JPH1086696A JP H1086696 A JPH1086696 A JP H1086696A JP 24363596 A JP24363596 A JP 24363596A JP 24363596 A JP24363596 A JP 24363596A JP H1086696 A JPH1086696 A JP H1086696A
- Authority
- JP
- Japan
- Prior art keywords
- search
- nostrils
- area
- eye
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Collating Specific Patterns (AREA)
Abstract
(57)【要約】
【課題】 人の顔を撮影した顔画像から鼻穴などの特徴
的な部位を迅速に検出する。 【解決手段】 顔画像から鼻穴の位置を検出し、次回
は、この前回に発見された鼻穴の位置に基づき探索領域
を設定する。これによって、顔画像全体を対象として鼻
穴の探索をする必要がなくなり、処理負担が軽減され
る。さらに、運転者の意識レベルに応じて鼻穴の探索領
域が変更される。運転者の意識レベルが低い場合、顔の
動きが緩慢になるので、通常時の探索領域20b,20
cが領域20d,20eのように縮小される。これによ
って、より迅速に鼻穴を検出することができる。
的な部位を迅速に検出する。 【解決手段】 顔画像から鼻穴の位置を検出し、次回
は、この前回に発見された鼻穴の位置に基づき探索領域
を設定する。これによって、顔画像全体を対象として鼻
穴の探索をする必要がなくなり、処理負担が軽減され
る。さらに、運転者の意識レベルに応じて鼻穴の探索領
域が変更される。運転者の意識レベルが低い場合、顔の
動きが緩慢になるので、通常時の探索領域20b,20
cが領域20d,20eのように縮小される。これによ
って、より迅速に鼻穴を検出することができる。
Description
【0001】
【発明の属する技術分野】本発明は、人の顔を撮影して
得た顔画像における特徴的な部位を検出する方法に関す
る。
得た顔画像における特徴的な部位を検出する方法に関す
る。
【0002】
【従来の技術】近年、自動車など車両の運転者の居眠り
を防止する装置の開発が行われており、その一部は実用
に供されている。この居眠り運転防止装置の一例とし
て、運転者の顔の特徴的な部位の動き、たとえば目の閉
じている時間に基づき居眠り状態を判定する装置があ
る。この場合、運転者の目の動きを捕らえるために、運
転者の顔を撮影し、この顔の中から目を特定する必要が
ある。
を防止する装置の開発が行われており、その一部は実用
に供されている。この居眠り運転防止装置の一例とし
て、運転者の顔の特徴的な部位の動き、たとえば目の閉
じている時間に基づき居眠り状態を判定する装置があ
る。この場合、運転者の目の動きを捕らえるために、運
転者の顔を撮影し、この顔の中から目を特定する必要が
ある。
【0003】特開平7−181012号公報には、顔を
含む画像を2値化処理して顔領域を抽出し、この顔領域
の中にある黒画素の複数の塊どうしの相対位置および個
々の黒画素の塊の縦横比から目を特定する技術が開示さ
れている。黒画素の塊は、眉、目、鼻穴などであり、左
右の眉および目の幅より外に鼻穴は存在しない、目は眉
の下にある、などの相対位置から目の候補が選ばれ、さ
らにこの候補の縦横比から目が確定される。また、検出
時間を短縮するために、一旦、目が検出されると、次回
からは、その周囲の狭い範囲に探索領域を設定してい
る。
含む画像を2値化処理して顔領域を抽出し、この顔領域
の中にある黒画素の複数の塊どうしの相対位置および個
々の黒画素の塊の縦横比から目を特定する技術が開示さ
れている。黒画素の塊は、眉、目、鼻穴などであり、左
右の眉および目の幅より外に鼻穴は存在しない、目は眉
の下にある、などの相対位置から目の候補が選ばれ、さ
らにこの候補の縦横比から目が確定される。また、検出
時間を短縮するために、一旦、目が検出されると、次回
からは、その周囲の狭い範囲に探索領域を設定してい
る。
【0004】
【発明が解決しようとする課題】上記公報によれば、一
旦、目が検出された後は、探索領域が狭く設定されるの
で、目の位置が大きく動いた場合など、追跡に失敗し、
目を見失う場合があった。
旦、目が検出された後は、探索領域が狭く設定されるの
で、目の位置が大きく動いた場合など、追跡に失敗し、
目を見失う場合があった。
【0005】本発明は前述の問題点を解決するためにな
されたものであり、顔画像における特徴的な部位を確実
に、かつ迅速に検出することのできる顔画像における特
徴部位の検出方法を提供することを目的とする。
されたものであり、顔画像における特徴的な部位を確実
に、かつ迅速に検出することのできる顔画像における特
徴部位の検出方法を提供することを目的とする。
【0006】
【課題を解決するための手段】前述の目的を達成するた
めに、本発明にかかる顔画像における特徴部位の検出方
法は、人の顔を撮影して顔画像を得る撮像ステップと、
前記顔画像から所定の特徴部位を探索する領域を設定す
る探索領域設定ステップと、前記探索領域内で所定の特
徴部位の検出を行う特徴部位検出ステップと、撮影対象
となっている人の意識レベルを算出する意識レベル算出
ステップと、前記算出された意識レベルに基づき前記探
索領域設定ステップで設定される探索領域を変更する探
索領域変更ステップと、を有している。
めに、本発明にかかる顔画像における特徴部位の検出方
法は、人の顔を撮影して顔画像を得る撮像ステップと、
前記顔画像から所定の特徴部位を探索する領域を設定す
る探索領域設定ステップと、前記探索領域内で所定の特
徴部位の検出を行う特徴部位検出ステップと、撮影対象
となっている人の意識レベルを算出する意識レベル算出
ステップと、前記算出された意識レベルに基づき前記探
索領域設定ステップで設定される探索領域を変更する探
索領域変更ステップと、を有している。
【0007】この構成によれば、撮影対象となっている
人の意識レベルに応じて探索領域が設定されるので、顔
の動きの活発さに適合した探索領域を設定することがで
きる。人の顔の動きの活発さ、すなわち動きの速度や頻
度は、人の意識レベルと相関があり、意識レベルが低下
するに従って動きが活発でなくなる、すなわち緩慢にな
る。顔の動きが緩慢になれば、特徴部位の位置が前回検
出された位置から大きく変化する可能性が低くなるの
で、探索領域を狭めることもできる。また、意識レベル
によって、特徴的な動きがあるので探索領域の形状を変
更することもできる。たとえば、意識レベルが低い場合
は、高い場合に比べて、横方向の顔の動きが減少するの
で、縦方向に比して横方向の幅をより縮めることも可能
となる。このように、意識レベルに応じた探索領域を設
定することによって、探索領域を狭めることが可能と判
断される場合には、領域を狭め演算処理時間が短縮され
る。また、探索領域が広いほうが好ましい状況において
は、探索領域を広く設定し特徴部位の消失が防止され
る。
人の意識レベルに応じて探索領域が設定されるので、顔
の動きの活発さに適合した探索領域を設定することがで
きる。人の顔の動きの活発さ、すなわち動きの速度や頻
度は、人の意識レベルと相関があり、意識レベルが低下
するに従って動きが活発でなくなる、すなわち緩慢にな
る。顔の動きが緩慢になれば、特徴部位の位置が前回検
出された位置から大きく変化する可能性が低くなるの
で、探索領域を狭めることもできる。また、意識レベル
によって、特徴的な動きがあるので探索領域の形状を変
更することもできる。たとえば、意識レベルが低い場合
は、高い場合に比べて、横方向の顔の動きが減少するの
で、縦方向に比して横方向の幅をより縮めることも可能
となる。このように、意識レベルに応じた探索領域を設
定することによって、探索領域を狭めることが可能と判
断される場合には、領域を狭め演算処理時間が短縮され
る。また、探索領域が広いほうが好ましい状況において
は、探索領域を広く設定し特徴部位の消失が防止され
る。
【0008】さらに、前記探索領域変更ステップを、前
記特徴部位を見失った後で行われる再探索に際し探索領
域を変更するステップとすることもできる。これによれ
ば、特徴部位を見失った時に、探索領域が意識レベルに
応じて適切に設定されるので、より確実に、かつ迅速に
特徴部位を再発見することができる。
記特徴部位を見失った後で行われる再探索に際し探索領
域を変更するステップとすることもできる。これによれ
ば、特徴部位を見失った時に、探索領域が意識レベルに
応じて適切に設定されるので、より確実に、かつ迅速に
特徴部位を再発見することができる。
【0009】さらに、前記特徴部位を鼻穴とすることも
できる。鼻穴の形状は、顔画像中、二つの並列する略円
形の黒領域として表され、これは個人差が比較的少ない
ので顔の特徴部位として好適である。
できる。鼻穴の形状は、顔画像中、二つの並列する略円
形の黒領域として表され、これは個人差が比較的少ない
ので顔の特徴部位として好適である。
【0010】
【発明の実施の形態】以下、本発明にかかる顔画像にお
ける特徴部位の検出方法の好適な実施の形態(以下実施
形態と記す)を図面に従って説明する。
ける特徴部位の検出方法の好適な実施の形態(以下実施
形態と記す)を図面に従って説明する。
【0011】図1は、本発明を用いた居眠り運転防止装
置の概略構成を示すブロック図である。赤外線投光器1
0は、運転者の顔を含む領域に赤外線を放射し、電荷結
合素子(CCD)カメラ12で運転者の顔を含む領域を
撮影する。このCCDカメラ12のレンズの前には赤外
線波長(870nm付近)を中心に透過する光学フィル
タが設置されている。CCDカメラ12で撮られた画像
は瞬き認識部14に送られ、1回の瞬きの時間すなわち
継続して目を閉じている時間(閉眼時間)が計時され
る。居眠り判定部16は閉眼時間の長さから運転者の意
識レベルを推定し、閉眼時間が所定時間以上になった
ら、すなわち意識レベルが所定レベル以下に下がったら
運転者が居眠りしていると判定する。運転者が居眠りを
始めた場合、警報部18により警報を発し運転者に注意
を促す。また、居眠り判定部16は、推定した運転者の
意識レベルを瞬き認識部14に送出し、瞬き認識部14
ではこの意識レベルに応じた演算処理を行って運転者の
目を追跡し、閉眼時間の計測を行う。
置の概略構成を示すブロック図である。赤外線投光器1
0は、運転者の顔を含む領域に赤外線を放射し、電荷結
合素子(CCD)カメラ12で運転者の顔を含む領域を
撮影する。このCCDカメラ12のレンズの前には赤外
線波長(870nm付近)を中心に透過する光学フィル
タが設置されている。CCDカメラ12で撮られた画像
は瞬き認識部14に送られ、1回の瞬きの時間すなわち
継続して目を閉じている時間(閉眼時間)が計時され
る。居眠り判定部16は閉眼時間の長さから運転者の意
識レベルを推定し、閉眼時間が所定時間以上になった
ら、すなわち意識レベルが所定レベル以下に下がったら
運転者が居眠りしていると判定する。運転者が居眠りを
始めた場合、警報部18により警報を発し運転者に注意
を促す。また、居眠り判定部16は、推定した運転者の
意識レベルを瞬き認識部14に送出し、瞬き認識部14
ではこの意識レベルに応じた演算処理を行って運転者の
目を追跡し、閉眼時間の計測を行う。
【0012】基本フロー 図2は、本居眠り運転防止装置の、特に瞬き認識部14
にかかる基本のフローチャートが示されている。本装置
が起動されると、運転者の目がどこにあるのかが検出さ
れる(S100)。この初回探索のステップは、運転者
の体格、運転席の位置などにより運転者の顔の位置が大
きく変わるので、比較的広い探索領域を設定し、まず鼻
穴の検出が行われる。鼻穴と目の位置関係は、運転者に
よってそれほど変化しないので、鼻穴の位置から目があ
ると推定される領域を定め、この領域内で目の検出が行
われる。目が検出されると、このときの鼻穴の位置と、
鼻穴と目の位置関係が記憶される。
にかかる基本のフローチャートが示されている。本装置
が起動されると、運転者の目がどこにあるのかが検出さ
れる(S100)。この初回探索のステップは、運転者
の体格、運転席の位置などにより運転者の顔の位置が大
きく変わるので、比較的広い探索領域を設定し、まず鼻
穴の検出が行われる。鼻穴と目の位置関係は、運転者に
よってそれほど変化しないので、鼻穴の位置から目があ
ると推定される領域を定め、この領域内で目の検出が行
われる。目が検出されると、このときの鼻穴の位置と、
鼻穴と目の位置関係が記憶される。
【0013】目が検出されると、目の追跡探索が行われ
る(S200)。一旦、鼻穴の位置が分かってしまえ
ば、運転者がよほど大きな動作をしない限り、鼻穴の位
置はさほど変わらないので、鼻穴探索の領域を大幅に狭
め鼻穴の探索を行う。鼻穴が検出された場合、鼻穴と目
の位置関係より目の探索領域を定め、目の検出を行う。
このときの、目の探索領域は、初回探索のときの領域よ
りも小さくすることができる。
る(S200)。一旦、鼻穴の位置が分かってしまえ
ば、運転者がよほど大きな動作をしない限り、鼻穴の位
置はさほど変わらないので、鼻穴探索の領域を大幅に狭
め鼻穴の探索を行う。鼻穴が検出された場合、鼻穴と目
の位置関係より目の探索領域を定め、目の検出を行う。
このときの、目の探索領域は、初回探索のときの領域よ
りも小さくすることができる。
【0014】そして、目が検出されれば(S300)、
この目が閉じているか、開いているかが判断される(S
400)。一方、目が検出されなかった場合、目を再度
発見するための再探索制御が開始される(S500)。
この再探索においては、鼻穴を見失ってからの経過時間
に対応して異ならせたいくつかの探索領域が設定され
る。鼻穴を見失ってからの経過時間が短い場合は、鼻穴
や目の探索領域を狭めに設定し、経過時間が長くなる
と、探索領域を広めに設定する。鼻穴を見失ってから時
間があまり経過していない場合には、鼻穴や目の位置が
大きく変化していることはないと思われるので、領域を
狭くすることによって、再発見までの時間を短縮するこ
とができる。さらに、再探索においては、そのときの運
転者の意識レベルに応じて探索領域の変更が行われる。
すなわち、運転者の意識レベルが低い場合には、顔の動
きが緩慢になるので探索領域を狭く設定し、探索に要す
る処理時間を短縮する。一方、意識レベルが高いときに
は、顔の動きが早くなるので、広めの探索領域によって
鼻穴を早期に発見できるようにする。
この目が閉じているか、開いているかが判断される(S
400)。一方、目が検出されなかった場合、目を再度
発見するための再探索制御が開始される(S500)。
この再探索においては、鼻穴を見失ってからの経過時間
に対応して異ならせたいくつかの探索領域が設定され
る。鼻穴を見失ってからの経過時間が短い場合は、鼻穴
や目の探索領域を狭めに設定し、経過時間が長くなる
と、探索領域を広めに設定する。鼻穴を見失ってから時
間があまり経過していない場合には、鼻穴や目の位置が
大きく変化していることはないと思われるので、領域を
狭くすることによって、再発見までの時間を短縮するこ
とができる。さらに、再探索においては、そのときの運
転者の意識レベルに応じて探索領域の変更が行われる。
すなわち、運転者の意識レベルが低い場合には、顔の動
きが緩慢になるので探索領域を狭く設定し、探索に要す
る処理時間を短縮する。一方、意識レベルが高いときに
は、顔の動きが早くなるので、広めの探索領域によって
鼻穴を早期に発見できるようにする。
【0015】そして、ステップS200からステップS
500が繰り返され、そのたびごとに目が閉じているか
判定される。そして、この閉じた状態が連続する時間が
居眠り判定部16により計時され、この連続時間に基づ
き居眠り状態が判定される。以下、初回探索ステップS
100、追跡ステップS200、瞬き判定ステップS4
00および再探索ステップS500の詳細を説明する。
500が繰り返され、そのたびごとに目が閉じているか
判定される。そして、この閉じた状態が連続する時間が
居眠り判定部16により計時され、この連続時間に基づ
き居眠り状態が判定される。以下、初回探索ステップS
100、追跡ステップS200、瞬き判定ステップS4
00および再探索ステップS500の詳細を説明する。
【0016】初回探索ルーチン 図3には、本装置が起動した直後の初回探索ステップS
100の詳細な制御フローチャートが示されている。ま
ず、鼻穴探索領域の設定が行われる(S102)。初回
の探索においては、運転者の鼻穴の位置は、運転者の体
格、シート位置などによって大きく異なるので、鼻穴探
索領域20aは図4(a)に示すように、運転者の顔全
体が含まれるように設定される。次に、第1タイマが所
定の値、たとえば2分にセットされる(S104)。こ
の第1タイマは、後述するように、目の探索において、
2値化しきい値を変更しながら同じ領域を検索する時間
を計時するタイマである。さらに、第2タイマが所定の
値、たとえば10分にセットされる(S106)。第2
タイマは、初回探索の時間を計時するタイマであり、1
0分経過しても目を発見できなかった場合は、何らかの
異常があるので運転者に警告する。なお、初回探索時に
は、運転者はまだ居眠り状態とはなっていないと考えら
れるので、充分な時間をかけて目の探索が行われる。
100の詳細な制御フローチャートが示されている。ま
ず、鼻穴探索領域の設定が行われる(S102)。初回
の探索においては、運転者の鼻穴の位置は、運転者の体
格、シート位置などによって大きく異なるので、鼻穴探
索領域20aは図4(a)に示すように、運転者の顔全
体が含まれるように設定される。次に、第1タイマが所
定の値、たとえば2分にセットされる(S104)。こ
の第1タイマは、後述するように、目の探索において、
2値化しきい値を変更しながら同じ領域を検索する時間
を計時するタイマである。さらに、第2タイマが所定の
値、たとえば10分にセットされる(S106)。第2
タイマは、初回探索の時間を計時するタイマであり、1
0分経過しても目を発見できなかった場合は、何らかの
異常があるので運転者に警告する。なお、初回探索時に
は、運転者はまだ居眠り状態とはなっていないと考えら
れるので、充分な時間をかけて目の探索が行われる。
【0017】次に、顔画像を2値化する際のしきい値の
設定が行われる(S108)。一方、代表的な鼻穴の形
状のテンプレートと顔画像との一致性を見て、一致性が
所定値を超える候補を選出する(S110)。そして、
選出された各候補を含む領域でステップS108で設定
したしきい値を用いて2値化処理を行い、黒領域を抽出
する(S112)。そして、ほぼ水平に並ぶ2つの黒領
域を鼻穴として検出する(S114)。このとき、鼻穴
が見付からなかったらステップS108に戻り(S11
6)、2値化のしきい値を設定し直して(変更して)再
び鼻穴を検索する。
設定が行われる(S108)。一方、代表的な鼻穴の形
状のテンプレートと顔画像との一致性を見て、一致性が
所定値を超える候補を選出する(S110)。そして、
選出された各候補を含む領域でステップS108で設定
したしきい値を用いて2値化処理を行い、黒領域を抽出
する(S112)。そして、ほぼ水平に並ぶ2つの黒領
域を鼻穴として検出する(S114)。このとき、鼻穴
が見付からなかったらステップS108に戻り(S11
6)、2値化のしきい値を設定し直して(変更して)再
び鼻穴を検索する。
【0018】ステップS116で鼻穴が検出された場合
は、当該鼻穴の位置に基づき、目の探索領域22が設定
される(S118)。鼻穴の位置が分かれば目の存在す
る領域は、個人差があるもののほぼ特定できる。したが
って、目の探索領域22は、図5(a)に示すようにや
や広めの領域22aが設定される。また、眉が目として
誤検出されないように、最初の探索領域22aは眉に掛
からないようやや下ぎみに設定される。
は、当該鼻穴の位置に基づき、目の探索領域22が設定
される(S118)。鼻穴の位置が分かれば目の存在す
る領域は、個人差があるもののほぼ特定できる。したが
って、目の探索領域22は、図5(a)に示すようにや
や広めの領域22aが設定される。また、眉が目として
誤検出されないように、最初の探索領域22aは眉に掛
からないようやや下ぎみに設定される。
【0019】次に、前述の目の探索領域22aの中で、
上下方向に明度が急峻に変化するエッジを抽出する(S
120)。エッジは上から下に向けて明度が急峻に低下
する負エッジと、逆に上から下に向けて明度が急峻に上
昇する正エッジがあり、目の場合、上に負エッジ、下に
正エッジとなるペアが形成される。この正負エッジのペ
アを目の候補として選出する(S122)。そして、こ
の選出された候補が全体として略楕円形状となっている
かが判断される(S124)。略楕円形状であると判断
された場合は、これが目であると決定され、鼻穴に対す
る位置が記憶され(S126)、このルーチンが終了す
る。
上下方向に明度が急峻に変化するエッジを抽出する(S
120)。エッジは上から下に向けて明度が急峻に低下
する負エッジと、逆に上から下に向けて明度が急峻に上
昇する正エッジがあり、目の場合、上に負エッジ、下に
正エッジとなるペアが形成される。この正負エッジのペ
アを目の候補として選出する(S122)。そして、こ
の選出された候補が全体として略楕円形状となっている
かが判断される(S124)。略楕円形状であると判断
された場合は、これが目であると決定され、鼻穴に対す
る位置が記憶され(S126)、このルーチンが終了す
る。
【0020】ステップS124で正負エッジペアが略楕
円形状でない場合、第1および第2タイマをカウントダ
ウンし(S128)、第1タイマが0となっていなけれ
ば(S130)、ステップS108に戻って、2値化の
しきい値を変更して再度鼻穴の検出からやり直す。第1
タイマが0、すなわち2分が経過しても目が検出できな
いときは(S130)、さらに第2タイマが0であるか
が判断される(S132)。そして、第2タイマが0、
すなわち10分が経過しても目が検出できない場合に
は、運転者がサングラスやマスクをしているか、カメラ
前に障害物があるためであると考えられるので、運転者
にこの旨警告し(S134)、フローを終了する。
円形状でない場合、第1および第2タイマをカウントダ
ウンし(S128)、第1タイマが0となっていなけれ
ば(S130)、ステップS108に戻って、2値化の
しきい値を変更して再度鼻穴の検出からやり直す。第1
タイマが0、すなわち2分が経過しても目が検出できな
いときは(S130)、さらに第2タイマが0であるか
が判断される(S132)。そして、第2タイマが0、
すなわち10分が経過しても目が検出できない場合に
は、運転者がサングラスやマスクをしているか、カメラ
前に障害物があるためであると考えられるので、運転者
にこの旨警告し(S134)、フローを終了する。
【0021】第2タイマが0となっていなければ(S1
32)、鼻穴位置に基づき設定される目の探索領域22
aを上にずらす処理が行われ(S136)、第1タイマ
に再び2分がセットされる(S138)。前述したよう
に、ステップS118で設定される目の探索領域22a
は、眉を検出しないように下ぎみに設定されているの
で、運転者によっては目がもっと上にある可能性があ
る。そこで、ステップS136にて探索領域を上にずら
している。少しずつ上にずらすことによって、目のみを
抽出し、眉を目として誤検出しないようにしている。
32)、鼻穴位置に基づき設定される目の探索領域22
aを上にずらす処理が行われ(S136)、第1タイマ
に再び2分がセットされる(S138)。前述したよう
に、ステップS118で設定される目の探索領域22a
は、眉を検出しないように下ぎみに設定されているの
で、運転者によっては目がもっと上にある可能性があ
る。そこで、ステップS136にて探索領域を上にずら
している。少しずつ上にずらすことによって、目のみを
抽出し、眉を目として誤検出しないようにしている。
【0022】以上の初回探索ルーチンにおいては、2値
化画像において特徴的な鼻穴を検出し、この位置を基準
にして目を検出しているので確実に目の検出を行うこと
ができる。鼻穴は、ほぼ水平に並び、ほぼ丸い2つの黒
領域として検出することができ、また個人差も少ないの
で、検出が容易である。また、鼻穴と目の位置関係も、
鼻穴右斜め上には左目があるなどと、ある程度特定でき
るので、この位置関係をもって目の探索領域を精度よく
特定することができる。
化画像において特徴的な鼻穴を検出し、この位置を基準
にして目を検出しているので確実に目の検出を行うこと
ができる。鼻穴は、ほぼ水平に並び、ほぼ丸い2つの黒
領域として検出することができ、また個人差も少ないの
で、検出が容易である。また、鼻穴と目の位置関係も、
鼻穴右斜め上には左目があるなどと、ある程度特定でき
るので、この位置関係をもって目の探索領域を精度よく
特定することができる。
【0023】さらに、目の検出は、2値化処理を行わず
エッジ検出により行っている。これは、照明や車室外か
らの光の影響を受けてもエッジは残るので、確実に検出
ができるためである。このエッジ検出そのものは、やや
処理時間が長くなるが、前述のように鼻穴位置から目の
検索領域を限定しているので、全体としても処理時間に
大きな影響を与えることはない。
エッジ検出により行っている。これは、照明や車室外か
らの光の影響を受けてもエッジは残るので、確実に検出
ができるためである。このエッジ検出そのものは、やや
処理時間が長くなるが、前述のように鼻穴位置から目の
検索領域を限定しているので、全体としても処理時間に
大きな影響を与えることはない。
【0024】また、ステップS108で設定している2
値化処理に用いられるしきい値は、目の検出をもって、
その値が適切であったかの判定がなされる。すなわち、
ある鼻穴の候補に対して目が検出されなければ、この候
補は鼻穴ではなかったと判断される。したがって、しき
い値を変更して初回探索を行い、目が検出できたときの
しきい値を採用することにより、適切なしきい値を設定
することができる。よって、しきい値が不適切で眼鏡の
縁や目を鼻穴と誤認することは、最終的には防止するこ
とができる。
値化処理に用いられるしきい値は、目の検出をもって、
その値が適切であったかの判定がなされる。すなわち、
ある鼻穴の候補に対して目が検出されなければ、この候
補は鼻穴ではなかったと判断される。したがって、しき
い値を変更して初回探索を行い、目が検出できたときの
しきい値を採用することにより、適切なしきい値を設定
することができる。よって、しきい値が不適切で眼鏡の
縁や目を鼻穴と誤認することは、最終的には防止するこ
とができる。
【0025】追跡探索ルーチン 図6には、初回探索ステップS100に続いて行われる
追跡探索ステップS200の詳細なフローチャートが示
されている。初回探索で鼻穴および目が検出されると、
これらを追跡するルーチンが開始される。まず、居眠り
判定部16で推定された運転者の意識レベルに基づき鼻
の探索を行う領域のサイズを変更する縮小率の設定を行
う。この縮小率は、図7に示すように、意識レベルが低
下すると低い値が設定されるようになっており、本実施
形態の場合は、通常時には「1」、意識がやや低下した
場合は「0.8」、さらに低下すると「0.6」と設定
される(S201)。意識レベルが低下している場合
は、この縮小率に従って、図8(b)に示されるように
探索領域が狭められる。すなわち、意識レベルがやや低
下した場合、通常時に対して、探索領域の長方形の縦横
の辺の長さがそれぞれ0.8倍された長方形が新たな探
索領域として設定される。追跡探索ルーチンにおいて
は、通常の鼻探索領域20cが、意識レベル低下時には
領域20eのように縮小される。
追跡探索ステップS200の詳細なフローチャートが示
されている。初回探索で鼻穴および目が検出されると、
これらを追跡するルーチンが開始される。まず、居眠り
判定部16で推定された運転者の意識レベルに基づき鼻
の探索を行う領域のサイズを変更する縮小率の設定を行
う。この縮小率は、図7に示すように、意識レベルが低
下すると低い値が設定されるようになっており、本実施
形態の場合は、通常時には「1」、意識がやや低下した
場合は「0.8」、さらに低下すると「0.6」と設定
される(S201)。意識レベルが低下している場合
は、この縮小率に従って、図8(b)に示されるように
探索領域が狭められる。すなわち、意識レベルがやや低
下した場合、通常時に対して、探索領域の長方形の縦横
の辺の長さがそれぞれ0.8倍された長方形が新たな探
索領域として設定される。追跡探索ルーチンにおいて
は、通常の鼻探索領域20cが、意識レベル低下時には
領域20eのように縮小される。
【0026】次に、前回の探索において、検出された鼻
穴の位置およびステップS201で設定された縮小率に
基づき、前回の鼻穴位置の周囲に鼻穴探索領域20を設
定する(S202)。この領域は、図4(c)または図
8(b)に示されるように、鼻を含む横長の長方形の領
域である。この領域20cは、前述の初回探索のときの
領域20aより小さく、また後述する再探索時の第2の
モードの領域20bより小さく設定されている。これ
は、前回鼻穴が検出されているのであれば、今回それほ
ど大きな範囲を探索しなくても鼻穴を検出することがで
きるはず、という前提に基づいている。また、探索領域
20cを横に広く設定しているのは、運転中の動作にお
いて、首を横に振る動作の方が縦に振る動作より早いの
で、横方向に広めに領域を採って、鼻穴の横の動きに対
応するためである。
穴の位置およびステップS201で設定された縮小率に
基づき、前回の鼻穴位置の周囲に鼻穴探索領域20を設
定する(S202)。この領域は、図4(c)または図
8(b)に示されるように、鼻を含む横長の長方形の領
域である。この領域20cは、前述の初回探索のときの
領域20aより小さく、また後述する再探索時の第2の
モードの領域20bより小さく設定されている。これ
は、前回鼻穴が検出されているのであれば、今回それほ
ど大きな範囲を探索しなくても鼻穴を検出することがで
きるはず、という前提に基づいている。また、探索領域
20cを横に広く設定しているのは、運転中の動作にお
いて、首を横に振る動作の方が縦に振る動作より早いの
で、横方向に広めに領域を採って、鼻穴の横の動きに対
応するためである。
【0027】そして、この鼻穴探索領域20c内を2値
化処理し、黒領域を抽出する(S204)。そして、ほ
ぼ水平に並ぶ2つの黒領域を鼻穴として検出する(S2
06)。鼻穴が検出されなかったならば(S208)、
追跡探索ルーチンを終了する。鼻穴が検出された場合、
前回の鼻穴と目の位置関係より目の探索領域22bの設
定を行う(S210)。この探索領域22bは、図5
(b)に示されるように、目の大きさよりやや大きく、
初回探索時の領域22aよりやや小さい。これは前回の
探索において、鼻穴と目の位置関係が分かっているこ
と、そして前回の鼻穴位置が分かっているので目の位置
は、かなり正確に特定できるからである。そして、この
探索領域22b内で、初回探索と同様に、エッジの抽出
を行う(S212)。さらに、正負のエッジが上下方向
に隣接しているエッジペアを探し(S214)、このエ
ッジペアがあればこの位置および鼻穴の位置を記憶する
(S218)。エッジペアがなければ(S216)、追
跡探索ルーチンを終了する。
化処理し、黒領域を抽出する(S204)。そして、ほ
ぼ水平に並ぶ2つの黒領域を鼻穴として検出する(S2
06)。鼻穴が検出されなかったならば(S208)、
追跡探索ルーチンを終了する。鼻穴が検出された場合、
前回の鼻穴と目の位置関係より目の探索領域22bの設
定を行う(S210)。この探索領域22bは、図5
(b)に示されるように、目の大きさよりやや大きく、
初回探索時の領域22aよりやや小さい。これは前回の
探索において、鼻穴と目の位置関係が分かっているこ
と、そして前回の鼻穴位置が分かっているので目の位置
は、かなり正確に特定できるからである。そして、この
探索領域22b内で、初回探索と同様に、エッジの抽出
を行う(S212)。さらに、正負のエッジが上下方向
に隣接しているエッジペアを探し(S214)、このエ
ッジペアがあればこの位置および鼻穴の位置を記憶する
(S218)。エッジペアがなければ(S216)、追
跡探索ルーチンを終了する。
【0028】以上、追跡探索ルーチンでは、前回の鼻穴
位置も目の位置およびこれらの関係も分かっているの
で、鼻穴および目の探索領域20c,20e,22bを
初回探索時の領域20a,22aより小さく設定するこ
とができる。初回探索時には、前述のように確実に鼻穴
および目を検出することが重要であったが、追跡時には
速やかに目を検出することが要求される。本装置におい
ては、閉眼状態の連続時間をもって居眠り判定を行って
いるので、追跡に時間がかかると、この判定が不正確ま
たは不可能になってしまう。そこで、速やかに目の検出
を行うために、まず2値化画像で最も特徴的な鼻穴の検
出を行い、この鼻穴を基準に目の探索領域22bを絞り
込んでいる。そして、処理時間が長くなりがちなエッジ
検出の時間の短縮を図っている。さらに、運転者の意識
レベルが低い場合には、顔の動きすなわち鼻穴の動きが
緩慢になると考えられるので、意識レベルに応じて探索
領域を狭め、処理時間の短縮を図っている。
位置も目の位置およびこれらの関係も分かっているの
で、鼻穴および目の探索領域20c,20e,22bを
初回探索時の領域20a,22aより小さく設定するこ
とができる。初回探索時には、前述のように確実に鼻穴
および目を検出することが重要であったが、追跡時には
速やかに目を検出することが要求される。本装置におい
ては、閉眼状態の連続時間をもって居眠り判定を行って
いるので、追跡に時間がかかると、この判定が不正確ま
たは不可能になってしまう。そこで、速やかに目の検出
を行うために、まず2値化画像で最も特徴的な鼻穴の検
出を行い、この鼻穴を基準に目の探索領域22bを絞り
込んでいる。そして、処理時間が長くなりがちなエッジ
検出の時間の短縮を図っている。さらに、運転者の意識
レベルが低い場合には、顔の動きすなわち鼻穴の動きが
緩慢になると考えられるので、意識レベルに応じて探索
領域を狭め、処理時間の短縮を図っている。
【0029】瞬き判定ルーチン 図9には、瞬き判定ステップS400の制御フローチャ
ートが示されている。追跡探索ステップS200におい
て検出された目のエッジペアが読み出され(S40
2)、この各々のペアの上下方向の距離の最大値をその
ときの目の開度とする(S404)。そして、この目の
開度が所定のしきい値と比較され(S406)、しきい
値未満の場合は閉眼状態と判定され(S408)、しき
い値以上である場合は、開眼状態と判定される(S41
0)。この開眼・閉眼の判定は、前述の居眠り判定部1
6に送られ、意識レベルの推定および居眠り判定が行わ
れる。
ートが示されている。追跡探索ステップS200におい
て検出された目のエッジペアが読み出され(S40
2)、この各々のペアの上下方向の距離の最大値をその
ときの目の開度とする(S404)。そして、この目の
開度が所定のしきい値と比較され(S406)、しきい
値未満の場合は閉眼状態と判定され(S408)、しき
い値以上である場合は、開眼状態と判定される(S41
0)。この開眼・閉眼の判定は、前述の居眠り判定部1
6に送られ、意識レベルの推定および居眠り判定が行わ
れる。
【0030】再探索ルーチン 図10には、再探索ステップS500の制御フローチャ
ートが示されている。追跡探索ステップS200で、鼻
穴または目が検出できなかったとき、速やかに鼻穴や目
を発見して居眠り判定に支障がないようにしなければな
らない。したがって、初回探索ルーチンを用いて再度鼻
穴や目の検出を行うわけにはいかない。初回探索ルーチ
ンは、前述のように時間がかかっても確実に鼻穴および
目の検出を行うのが目的のルーチンであり、短時間で再
発見をするには不向きである。言い換えれば、再探索ル
ーチンを別途設けることによって、初回探索ルーチンに
時間をかけて確実に鼻穴および目の探索を行う。また、
再探索ルーチンにおいては、鼻穴の探索領域と目の探索
領域の設定の違いにより、3種類の探索モードを有して
おり、適切なモードを選択することにより、より早く、
より正確に鼻穴および目の発見がなされるようにしてい
る。さらに、運転者の意識レベルに応じた探索領域が設
定され、迅速に、また確実に鼻穴の発見がなされるよう
にしている。
ートが示されている。追跡探索ステップS200で、鼻
穴または目が検出できなかったとき、速やかに鼻穴や目
を発見して居眠り判定に支障がないようにしなければな
らない。したがって、初回探索ルーチンを用いて再度鼻
穴や目の検出を行うわけにはいかない。初回探索ルーチ
ンは、前述のように時間がかかっても確実に鼻穴および
目の検出を行うのが目的のルーチンであり、短時間で再
発見をするには不向きである。言い換えれば、再探索ル
ーチンを別途設けることによって、初回探索ルーチンに
時間をかけて確実に鼻穴および目の探索を行う。また、
再探索ルーチンにおいては、鼻穴の探索領域と目の探索
領域の設定の違いにより、3種類の探索モードを有して
おり、適切なモードを選択することにより、より早く、
より正確に鼻穴および目の発見がなされるようにしてい
る。さらに、運転者の意識レベルに応じた探索領域が設
定され、迅速に、また確実に鼻穴の発見がなされるよう
にしている。
【0031】第1の再探索モードは、前回の追跡モード
で鼻穴が検出されているが、目が検出されなかった場合
に対応するモードである。このモードは、鼻穴が検出さ
れているので顔の動きはそれほど大きくない場合のもの
であり、主に照明の条件などにより瞬間的に目を検出す
ることができなかった場合に対応している。したがっ
て、鼻穴や目の探索領域も追跡ルーチンのときに用いら
れた狭い領域、図4(c)および図5(b)の領域20
c,22bが用いられる。
で鼻穴が検出されているが、目が検出されなかった場合
に対応するモードである。このモードは、鼻穴が検出さ
れているので顔の動きはそれほど大きくない場合のもの
であり、主に照明の条件などにより瞬間的に目を検出す
ることができなかった場合に対応している。したがっ
て、鼻穴や目の探索領域も追跡ルーチンのときに用いら
れた狭い領域、図4(c)および図5(b)の領域20
c,22bが用いられる。
【0032】第2の再探索モードは、前回の追跡モード
で鼻穴が検出されなかった場合に対応するモードであ
る。このときには顔が動いている可能性が高く、鼻穴や
目の探索領域は、追跡ルーチンの場合より大きく設定さ
れる。すなわち、図4(b)に示されるように、第2再
探索モード時の鼻穴の探索領域20bは、第1再探索モ
ードの領域20cより大きい。しかし、初回探索時の領
域20aよりは小さい。また、図5(a)に示されるよ
うに、第2再探索モード時の目の探索領域22aは、第
1再探索モードの領域22bより大きく、また初回探索
時の領域と同じ大きさである。
で鼻穴が検出されなかった場合に対応するモードであ
る。このときには顔が動いている可能性が高く、鼻穴や
目の探索領域は、追跡ルーチンの場合より大きく設定さ
れる。すなわち、図4(b)に示されるように、第2再
探索モード時の鼻穴の探索領域20bは、第1再探索モ
ードの領域20cより大きい。しかし、初回探索時の領
域20aよりは小さい。また、図5(a)に示されるよ
うに、第2再探索モード時の目の探索領域22aは、第
1再探索モードの領域22bより大きく、また初回探索
時の領域と同じ大きさである。
【0033】第3の再探索モードは、第1再探索モード
において所定時間探索したにもかかわらず、目を発見で
きなかった場合に対応するモードである。この場合、鼻
穴の探索領域は、第1再探索モードと同様の領域20c
に設定され、目の探索領域のみ拡大し、第2再探索モー
ドと同様の領域22aに設定される。
において所定時間探索したにもかかわらず、目を発見で
きなかった場合に対応するモードである。この場合、鼻
穴の探索領域は、第1再探索モードと同様の領域20c
に設定され、目の探索領域のみ拡大し、第2再探索モー
ドと同様の領域22aに設定される。
【0034】さらに、居眠り判定部16で推定された運
転者の意識レベルに応じて、前記各モードでの探索領域
が縮小される。縮小率は、前述した追跡探索ルーチンの
場合と同様に、図7に示すように設定される。そして、
第1および第3再探索モードにおいては、図8(b)に
示すように、意識レベル通常時の探索領域20cを縮小
率に応じて領域20eのように縮小する。さらに、第2
再探索モードにおいては、図8(a)に示すように、意
識レベル通常時の探索領域20bを縮小率に応じて領域
20dのように縮小する。
転者の意識レベルに応じて、前記各モードでの探索領域
が縮小される。縮小率は、前述した追跡探索ルーチンの
場合と同様に、図7に示すように設定される。そして、
第1および第3再探索モードにおいては、図8(b)に
示すように、意識レベル通常時の探索領域20cを縮小
率に応じて領域20eのように縮小する。さらに、第2
再探索モードにおいては、図8(a)に示すように、意
識レベル通常時の探索領域20bを縮小率に応じて領域
20dのように縮小する。
【0035】再探索ルーチンが開始されると、車体に設
置された加速度センサより上下方向の加速度が読み込ま
れ(S502)、上下方向加速度が予め定められたしき
い値と比較され(S504)、しきい値以下であると判
断された場合、さらに前回の追跡ルーチンにおいて、鼻
穴が検出されたかが判断される(S506)。そして、
鼻穴があった場合、すなわち前回追跡ルーチンで鼻穴は
検出されたにもかかわらず、ステップS216で目(エ
ッジペア)が検出できなかった場合は、第1再探索モー
ドが設定される(S508)。そして、第1再探索モー
ドタイマがセットされる(S510)。このときのセッ
ト時間は、第1再探索モードから第3探索モードに移行
する時間であり、運転者の意識レベルに応じて変えられ
る。運転者の動作は覚醒状態では早く、意識レベルの低
下に伴って遅くなるので、意識レベルの低下している場
合は、タイマの設定時間を長くとっても鼻穴を見失う可
能性は低い。第1再探索モードタイマのセット時間は、
通常状態の意識レベルにおいてはたとえば200m秒に
設定され、意識レベルが低くなるに従って長い時間にセ
ットされる。
置された加速度センサより上下方向の加速度が読み込ま
れ(S502)、上下方向加速度が予め定められたしき
い値と比較され(S504)、しきい値以下であると判
断された場合、さらに前回の追跡ルーチンにおいて、鼻
穴が検出されたかが判断される(S506)。そして、
鼻穴があった場合、すなわち前回追跡ルーチンで鼻穴は
検出されたにもかかわらず、ステップS216で目(エ
ッジペア)が検出できなかった場合は、第1再探索モー
ドが設定される(S508)。そして、第1再探索モー
ドタイマがセットされる(S510)。このときのセッ
ト時間は、第1再探索モードから第3探索モードに移行
する時間であり、運転者の意識レベルに応じて変えられ
る。運転者の動作は覚醒状態では早く、意識レベルの低
下に伴って遅くなるので、意識レベルの低下している場
合は、タイマの設定時間を長くとっても鼻穴を見失う可
能性は低い。第1再探索モードタイマのセット時間は、
通常状態の意識レベルにおいてはたとえば200m秒に
設定され、意識レベルが低くなるに従って長い時間にセ
ットされる。
【0036】一方、ステップS504で車体の上下方向
の加速度が所定のしきい値より大きい場合、および前回
の追跡ルーチンにおいて鼻穴が検出されなかった場合
は、第2の再探索モードが設定される(S512)。
の加速度が所定のしきい値より大きい場合、および前回
の追跡ルーチンにおいて鼻穴が検出されなかった場合
は、第2の再探索モードが設定される(S512)。
【0037】次に、居眠り判定部16で推定された運転
者の意識レベルに基づき鼻の探索を行う領域のサイズを
変更する縮小率の設定を行う(S513)。この縮小率
は、追跡探索ルーチンと同様、図7に示すように、意識
レベルが低下すると低い値が設定されるようになってい
る。この縮小率に従って、以後の鼻穴探索領域の変更が
行われる。
者の意識レベルに基づき鼻の探索を行う領域のサイズを
変更する縮小率の設定を行う(S513)。この縮小率
は、追跡探索ルーチンと同様、図7に示すように、意識
レベルが低下すると低い値が設定されるようになってい
る。この縮小率に従って、以後の鼻穴探索領域の変更が
行われる。
【0038】ステップS513で探索領域の縮小率が設
定されると、次に、設定されている再探索モードが第2
再探索モードであるかが判断される(S514)。第2
再探索モードでない場合、前回の鼻穴位置を中心に、意
識レベルが通常状態ならば鼻穴探索領域20cが、低下
していればより小さい領域20eが設定される(S51
6)。この領域20c,20eは、前述のように追跡ル
ーチンの鼻穴探索領域と同じものである。そして、この
領域内で2値化処理を行い黒領域を抽出する(S51
8)。
定されると、次に、設定されている再探索モードが第2
再探索モードであるかが判断される(S514)。第2
再探索モードでない場合、前回の鼻穴位置を中心に、意
識レベルが通常状態ならば鼻穴探索領域20cが、低下
していればより小さい領域20eが設定される(S51
6)。この領域20c,20eは、前述のように追跡ル
ーチンの鼻穴探索領域と同じものである。そして、この
領域内で2値化処理を行い黒領域を抽出する(S51
8)。
【0039】一方、ステップS514にて第2再探索モ
ードであると判断された場合は、初回探索において、検
出された鼻穴の位置を中心に、意識レベルが通常状態な
らば鼻穴探索領域20bを、低下していれば領域20d
を設定する(S520)。この領域20b,20dは、
前述のように、追跡ルーチンや第1再探索モード時の領
域20c,20eに対して各々やや大きく、初回探索時
に比べて小さく設定されている。そして、この領域20
b,20d内で、テンプレートマッチングにより鼻穴の
候補を選出し(S522)、各候補において2値化処理
を行い黒領域の抽出を行う(S524)。この2値化処
理時のしきい値は、初回探索ルーチンにおいて、目が発
見できたときの値を用いており、適切な値を用いて2値
化処理を行うことができる。
ードであると判断された場合は、初回探索において、検
出された鼻穴の位置を中心に、意識レベルが通常状態な
らば鼻穴探索領域20bを、低下していれば領域20d
を設定する(S520)。この領域20b,20dは、
前述のように、追跡ルーチンや第1再探索モード時の領
域20c,20eに対して各々やや大きく、初回探索時
に比べて小さく設定されている。そして、この領域20
b,20d内で、テンプレートマッチングにより鼻穴の
候補を選出し(S522)、各候補において2値化処理
を行い黒領域の抽出を行う(S524)。この2値化処
理時のしきい値は、初回探索ルーチンにおいて、目が発
見できたときの値を用いており、適切な値を用いて2値
化処理を行うことができる。
【0040】そして、ステップS518,S524で抽
出された黒領域のうち、ほぼ水平に並ぶ二つの黒領域を
鼻穴として選定する(S526)。このとき、鼻穴を選
定することができなかった場合(S528)、第2探索
モードが設定され(S530)、ステップS514に戻
る。一方、ステップS528で鼻穴ありと判断された場
合、第1再探索モードが設定されているかが判断される
(S532)。第1再探索モードが設定されていれば、
目の探索領域を領域22bすなわち小さい領域に設定す
る(S534)。また、第1再探索モード以外が設定さ
れている場合、領域22aすなわち大きい領域に設定す
る(S536)。よって、後述する第3再探索モードが
設定されている場合は、ステップS536において領域
22aに設定される。
出された黒領域のうち、ほぼ水平に並ぶ二つの黒領域を
鼻穴として選定する(S526)。このとき、鼻穴を選
定することができなかった場合(S528)、第2探索
モードが設定され(S530)、ステップS514に戻
る。一方、ステップS528で鼻穴ありと判断された場
合、第1再探索モードが設定されているかが判断される
(S532)。第1再探索モードが設定されていれば、
目の探索領域を領域22bすなわち小さい領域に設定す
る(S534)。また、第1再探索モード以外が設定さ
れている場合、領域22aすなわち大きい領域に設定す
る(S536)。よって、後述する第3再探索モードが
設定されている場合は、ステップS536において領域
22aに設定される。
【0041】ステップS534,S536にて目の探索
領域が設定されると、初回探索ルーチンのステップS1
20と同様にエッジ抽出が行われる(S538)。そし
て、第1再探索モードの場合は(S540)、追跡ルー
チンのステップS214〜S218と同様に、正負のエ
ッジペアを探索して(S542)、エッジペアがあった
場合(S544)これの位置および鼻穴の位置を記憶す
る(S546)。一方、ステップS540で第1再探索
モード以外のモードが設定されていると判断された場
合、初回探索ルーチンのステップS122〜S126と
同様に、正負のエッジペアが目の候補として選出され
(S548)、これらの候補が楕円形状に配列している
場合(S550)、この候補が目として検出され、その
位置および鼻穴の位置が記憶される(S552)。以
上、ステップS546,S552において鼻穴および目
の位置が検出されると、本ルーチンは終了する。
領域が設定されると、初回探索ルーチンのステップS1
20と同様にエッジ抽出が行われる(S538)。そし
て、第1再探索モードの場合は(S540)、追跡ルー
チンのステップS214〜S218と同様に、正負のエ
ッジペアを探索して(S542)、エッジペアがあった
場合(S544)これの位置および鼻穴の位置を記憶す
る(S546)。一方、ステップS540で第1再探索
モード以外のモードが設定されていると判断された場
合、初回探索ルーチンのステップS122〜S126と
同様に、正負のエッジペアが目の候補として選出され
(S548)、これらの候補が楕円形状に配列している
場合(S550)、この候補が目として検出され、その
位置および鼻穴の位置が記憶される(S552)。以
上、ステップS546,S552において鼻穴および目
の位置が検出されると、本ルーチンは終了する。
【0042】一方、目が検出されなかった場合は、さら
に探索が続けられる。ステップS544において、エッ
ジペアがないと判断された場合、第1再探索モードタイ
マをカウントダウンし(S554)、このタイマが0と
なっているかが判断される(S556)。そして、タイ
マが0でない場合は、そのままステップS514に戻っ
て再度第1再探索モードで探索が行われる。タイマが0
となっていれば、第3探索モードが設定される(S55
8)。第3再探索モードは、鼻穴が検出されているにも
かかわらず、第1探索モードで所定時間内に目が発見で
きなかったとき、目の探索領域を拡げるものであり、こ
れによって目を検出する可能性が高くなる。第3再探索
モード設定後、ステップS514に戻り再び探索が行わ
れる。また、第1再探索モード以外のモードで目が検出
できなかった場合は、ステップS550からステップS
514に戻り、再探索が行われる。
に探索が続けられる。ステップS544において、エッ
ジペアがないと判断された場合、第1再探索モードタイ
マをカウントダウンし(S554)、このタイマが0と
なっているかが判断される(S556)。そして、タイ
マが0でない場合は、そのままステップS514に戻っ
て再度第1再探索モードで探索が行われる。タイマが0
となっていれば、第3探索モードが設定される(S55
8)。第3再探索モードは、鼻穴が検出されているにも
かかわらず、第1探索モードで所定時間内に目が発見で
きなかったとき、目の探索領域を拡げるものであり、こ
れによって目を検出する可能性が高くなる。第3再探索
モード設定後、ステップS514に戻り再び探索が行わ
れる。また、第1再探索モード以外のモードで目が検出
できなかった場合は、ステップS550からステップS
514に戻り、再探索が行われる。
【0043】以上のように、再探索ルーチンにおいて
は、前回まで鼻穴が検出されているか、また鼻穴が検出
されていても目が検出されない時間がどの程度継続して
いるかによって、鼻穴および目の探索領域の大きさを変
えている。また、運転者の意識レベルによって鼻穴の探
索領域の大きさを変えている。これによって、顔が大き
くは動いていないと考えられる時には、探索領域を絞り
込んで短時間で再発見ができるようにし、一方、顔が大
きく動いていると考えられるときには、探索領域を拡げ
て発見確率を増している。また、初回探索時と独立した
再探索ルーチンを設けることによって、再探索時の目の
発見までに要する時間を短縮することができる。
は、前回まで鼻穴が検出されているか、また鼻穴が検出
されていても目が検出されない時間がどの程度継続して
いるかによって、鼻穴および目の探索領域の大きさを変
えている。また、運転者の意識レベルによって鼻穴の探
索領域の大きさを変えている。これによって、顔が大き
くは動いていないと考えられる時には、探索領域を絞り
込んで短時間で再発見ができるようにし、一方、顔が大
きく動いていると考えられるときには、探索領域を拡げ
て発見確率を増している。また、初回探索時と独立した
再探索ルーチンを設けることによって、再探索時の目の
発見までに要する時間を短縮することができる。
【0044】顔が傾いたときの目の位置の推定本実施形
態においては、鼻穴の位置に基づき目の位置を推定し、
この推定された位置を中心に目の探索領域を設定してい
るが、特に運転者が顔を傾けたときの目の位置の推定方
法について以下に説明する。
態においては、鼻穴の位置に基づき目の位置を推定し、
この推定された位置を中心に目の探索領域を設定してい
るが、特に運転者が顔を傾けたときの目の位置の推定方
法について以下に説明する。
【0045】図11には、顔が傾いたときの鼻穴の位置
と目の位置の関係が示されている。水平状態(a)にお
いて、二つの鼻穴の中点N0 (XN0,YN0)に対して目
の位置E0 (XE0,YE0)は、距離rで方向θ0 にあ
る。このとき、距離r、方向θ0 は、次の式で表され
る。
と目の位置の関係が示されている。水平状態(a)にお
いて、二つの鼻穴の中点N0 (XN0,YN0)に対して目
の位置E0 (XE0,YE0)は、距離rで方向θ0 にあ
る。このとき、距離r、方向θ0 は、次の式で表され
る。
【数1】 r={(XE0−XN0)2 +(YE0−YN0)2 }1/2 θ0 =tan-1{(YN0−YE0)/(XE0−XN0)} 顔が傾いた場合、(b)に示すように、二つの鼻穴の配
列の向きが水平からややずれる。この場合、鼻穴位置N
0 が変化しなくても、目の位置がずれる。二つの鼻穴の
方向が水平から角度δずれたとすれば、鼻穴位置N
1 (XN1,YN1)と目の位置E1 (XE1,YE1)は次式
で示される関係となる。
列の向きが水平からややずれる。この場合、鼻穴位置N
0 が変化しなくても、目の位置がずれる。二つの鼻穴の
方向が水平から角度δずれたとすれば、鼻穴位置N
1 (XN1,YN1)と目の位置E1 (XE1,YE1)は次式
で示される関係となる。
【数2】XE1=XN1+r・cos(θ0 −δ) YE1=YN1−r・sin(θ0 −δ) 目の位置を上式のように推定し、ここを中心に目の探索
領域を設定することによって、より確実に目を検出する
ことができる。
領域を設定することによって、より確実に目を検出する
ことができる。
【0046】その他の実施形態 前述の実施形態においては、追跡探索ルーチンおよび再
探索ルーチンの双方において、運転者の意識レベルに応
じて探索領域の大きさを変更したが、再探索ルーチンの
み前記の探索領域の変更を行うようにしても良い。この
場合、追跡探索ルーチンの制御フローは図6のフローチ
ャートに対してステップS201を削除したものとな
る。一旦見失った特徴部位の再発見が迅速に行われれ
ば、追跡探索ルーチンにおいて特徴部位を見失ったとし
ても即時当該ルーチンに復帰するので、追跡探索ルーチ
ンの処理負荷の低減を図ることができる。たとえば、追
跡探索ルーチンでは、運転者の意識レベルによらず狭い
領域で探索を行い、この領域で探索ができなかった場合
は、意識レベルを用いた再探索ルーチンで、より短時間
で再度特徴部位の発見を行うようにすることもできる。
探索ルーチンの双方において、運転者の意識レベルに応
じて探索領域の大きさを変更したが、再探索ルーチンの
み前記の探索領域の変更を行うようにしても良い。この
場合、追跡探索ルーチンの制御フローは図6のフローチ
ャートに対してステップS201を削除したものとな
る。一旦見失った特徴部位の再発見が迅速に行われれ
ば、追跡探索ルーチンにおいて特徴部位を見失ったとし
ても即時当該ルーチンに復帰するので、追跡探索ルーチ
ンの処理負荷の低減を図ることができる。たとえば、追
跡探索ルーチンでは、運転者の意識レベルによらず狭い
領域で探索を行い、この領域で探索ができなかった場合
は、意識レベルを用いた再探索ルーチンで、より短時間
で再度特徴部位の発見を行うようにすることもできる。
【0047】また、前述の実施形態においては、縮小率
が「1」「0.8」「0.6」の三段階に設定されてい
たが、これより少ない2段階、またより多い段階を設定
することも可能である。また、ルーチンごと、モードご
とに別個の縮小率を設定することも可能である。これに
より、より適切な探索領域を設定することができ、特徴
部位の追跡性能および再発見性能を向上させることがで
きる。
が「1」「0.8」「0.6」の三段階に設定されてい
たが、これより少ない2段階、またより多い段階を設定
することも可能である。また、ルーチンごと、モードご
とに別個の縮小率を設定することも可能である。これに
より、より適切な探索領域を設定することができ、特徴
部位の追跡性能および再発見性能を向上させることがで
きる。
【0048】さらに、顔画像の縦方向と横方向で縮小率
を異ならせることも可能である。これにより、意識レベ
ルによって特徴的な動きを示す運転者の顔の動きに対応
することができる。たとえば、意識レベルが低下する
と、顔の横方向の動きが減少するので、この方向をより
縮小するように設定することができる。
を異ならせることも可能である。これにより、意識レベ
ルによって特徴的な動きを示す運転者の顔の動きに対応
することができる。たとえば、意識レベルが低下する
と、顔の横方向の動きが減少するので、この方向をより
縮小するように設定することができる。
【0049】また、前述の実施例においては目など顔画
像の特徴部位の挙動に基づき意識レベルを判定したが、
意識レベルは他の手段によって求められてもよく、たと
えばステアリング操作の頻度・速度などから判定するこ
ともできる。また心拍数・脳波などに基づき意識レベル
を求めることもできる。
像の特徴部位の挙動に基づき意識レベルを判定したが、
意識レベルは他の手段によって求められてもよく、たと
えばステアリング操作の頻度・速度などから判定するこ
ともできる。また心拍数・脳波などに基づき意識レベル
を求めることもできる。
【図1】 本発明にかかる実施形態である居眠り運転防
止装置の概略構成を示すブロック図である。
止装置の概略構成を示すブロック図である。
【図2】 本実施形態の瞬き判定および目を検出するた
めの基本となる制御フローチャートである。
めの基本となる制御フローチャートである。
【図3】 本実施形態の初回の目探索ルーチンの制御フ
ローチャートである。
ローチャートである。
【図4】 鼻穴の探索領域を示す図である。
【図5】 目の探索領域を示す図である。
【図6】 本実施形態の追跡ルーチンの制御フローチャ
ートである。
ートである。
【図7】 意識レベルと探索領域の縮小率の関係を示す
図である。
図である。
【図8】 意識レベルに応じて変更される探索領域を示
す図である。
す図である。
【図9】 本実施形態の瞬き判定ルーチンの制御フロー
チャートである。
チャートである。
【図10】 本実施形態の再探索ルーチンの制御フロー
チャートである。
チャートである。
【図11】 本実施形態において、顔が傾いた場合の目
の位置の推定を説明するための図である。
の位置の推定を説明するための図である。
10 赤外線投光器、12 CCDカメラ、14 瞬き
認識部、16 居眠り判定部、18 警報部。
認識部、16 居眠り判定部、18 警報部。
Claims (3)
- 【請求項1】 人の顔を撮影して顔画像を得る撮像ステ
ップと、前記顔画像から所定の特徴部位を探索する領域
を設定する探索領域設定ステップと、前記探索領域内で
所定の特徴部位の検出を行う特徴部位検出ステップと、
撮影対象となっている人の意識レベルを算出する意識レ
ベル算出ステップと、前記算出された意識レベルに基づ
き前記探索領域設定ステップで設定される探索領域を変
更する探索領域変更ステップと、を有する顔画像におけ
る特徴部位の検出方法。 - 【請求項2】 請求項1に記載の顔画像における特徴部
位の検出方法であって、前記探索領域変更ステップは、
前記特徴部位を見失った後で行われる再探索に際し前記
探索領域を変更するステップである、顔画像における特
徴部位の検出方法。 - 【請求項3】 前記特徴部位は鼻穴である、請求項1ま
たは2に記載の顔画像における特徴部位の検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24363596A JPH1086696A (ja) | 1996-09-13 | 1996-09-13 | 顔画像における特徴部位の検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24363596A JPH1086696A (ja) | 1996-09-13 | 1996-09-13 | 顔画像における特徴部位の検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1086696A true JPH1086696A (ja) | 1998-04-07 |
Family
ID=17106760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24363596A Pending JPH1086696A (ja) | 1996-09-13 | 1996-09-13 | 顔画像における特徴部位の検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1086696A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
JP2009279186A (ja) * | 2008-05-22 | 2009-12-03 | Toyota Motor Corp | 顔検出装置及び顔検出方法 |
JP2010008101A (ja) * | 2008-06-24 | 2010-01-14 | Toyota Motor Corp | 顔面の覆体及び顔面部位特定方法 |
US7848547B2 (en) | 2006-03-07 | 2010-12-07 | Kabushiki Kaisha Toshiba | Apparatus for detecting feature point and method of detecting feature point |
JP2013513155A (ja) * | 2009-12-02 | 2013-04-18 | タタ コンサルタンシー サービシズ リミテッド | 目の追跡及び運転者の覚醒度を識別する費用対効果が高くロバストなシステム及び方法 |
US8457364B2 (en) | 2010-10-07 | 2013-06-04 | Hyundai Motor Japan R&D Center, Inc. | Camera for detecting driver's state |
-
1996
- 1996-09-13 JP JP24363596A patent/JPH1086696A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7848547B2 (en) | 2006-03-07 | 2010-12-07 | Kabushiki Kaisha Toshiba | Apparatus for detecting feature point and method of detecting feature point |
JP2008194309A (ja) * | 2007-02-14 | 2008-08-28 | Toyota Motor Corp | 目検知装置、居眠り検知装置及び目検知装置の方法 |
JP2009279186A (ja) * | 2008-05-22 | 2009-12-03 | Toyota Motor Corp | 顔検出装置及び顔検出方法 |
JP2010008101A (ja) * | 2008-06-24 | 2010-01-14 | Toyota Motor Corp | 顔面の覆体及び顔面部位特定方法 |
JP2013513155A (ja) * | 2009-12-02 | 2013-04-18 | タタ コンサルタンシー サービシズ リミテッド | 目の追跡及び運転者の覚醒度を識別する費用対効果が高くロバストなシステム及び方法 |
US8457364B2 (en) | 2010-10-07 | 2013-06-04 | Hyundai Motor Japan R&D Center, Inc. | Camera for detecting driver's state |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3422183B2 (ja) | 顔画像における目の検出方法 | |
US8063786B2 (en) | Method of detecting drowsiness of a vehicle operator | |
US5795306A (en) | Bodily state detection apparatus | |
JP5207249B2 (ja) | 運転者状態監視システム | |
US20120070088A1 (en) | Picture image processor, method for processing picture image and method for processing picture image | |
JP4872897B2 (ja) | 車線維持支援装置 | |
US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
JPH0944685A (ja) | 顔画像処理装置 | |
JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
JP5466610B2 (ja) | 視線推定装置 | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
US11195108B2 (en) | Abnormality detection device and abnormality detection method for a user | |
JP2001043382A (ja) | 目追跡装置 | |
JPH1086696A (ja) | 顔画像における特徴部位の検出方法 | |
JP2004310397A (ja) | マスク着用判定装置 | |
JPH09326096A (ja) | 車両用人的障害物検知装置 | |
JP2005114588A (ja) | 追尾装置 | |
JP4415870B2 (ja) | 転倒転落検知システム、及びプログラム | |
JP5050794B2 (ja) | 眠気検知装置、眠気検知方法 | |
JP3988657B2 (ja) | 対象物検出装置 | |
JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
JP2011134119A (ja) | 車両周辺監視装置 | |
JP3812355B2 (ja) | 運転注意力検出装置および居眠り運転検出装置 | |
JP4123076B2 (ja) | 運転者状態検出装置 | |
JP2000326758A (ja) | 予防安全装置 |