JPH11161798A - 車両運転者監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラで得られた運転者画像から運転者の状
態を監視する。 【解決手段】 カメラ１０で順次運転者を撮影し、顔方
向検出装置１２に供給する。顔方向検出装置１２は、入
力した運転者画像間の差分を演算し、差分値が一定値以
上の部分を顔位置として切り出す。切り出された顔画像
に基づいて運転者の顔方向を検出し、脇見計算部１４に
出力する。脇見計算部１４は、顔方向と操舵角や車速か
ら、運転者の脇見の有無を判定する。また、有限の差分
値が得られない場合には、画像の時間間隔を増大させて
再び差分値を演算する。一定時間以上増大させても差分
値が得られない場合には、脇見計算部１４は運転者の意
識が低下していると判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は車両運転者監視装
置、特に運転者の顔画像を処理して運転者の状態を検出
する装置に関する。

【０００２】

【従来の技術】従来より、車両運転者の顔画像を撮影
し、得られた画像を処理して運転者の脇見や居眠りを検
出する装置が開発されている。

【０００３】例えば、特開平４−６８５００号公報に
は、運転者が存在しない状態で撮影された背景画像と、
運転者がいる状態で撮影された運転者画像との差分（背
景差分）を演算することで車両運転者の顔位置を算出
し、顔位置画像をニューラルネットワークに入力して運
転者の顔の向きや目の状態を検出する装置が開示されて
いる。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うに背景画像との差分を演算することにより運転者の顔
位置を算出する構成の場合、背景画像を記憶するための
メモリが必須となり、しかも背景の明るさの変化に対応
するため複数の背景画像を予めメモリに記憶しておく必
要が生じ、装置構成の複雑化を招く問題があった。

【０００５】また、運転者を撮影した画像に背景部分が
含まれており、この背景部分がメモリに記憶されている
背景画像の背景部分と異なる場合、この部分でも差分値
が発生するので、顔部分だけを抽出することが困難とな
る場合もあった。

【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、複数の背景画像を
予め記憶しておくメモリを不要とし、簡易な構成で確実
に運転者の顔位置を算出することができ、これにより運
転者の状態を容易に監視することができる装置を提供す
ることにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、所定の時間間隔で車室内の運転者を
順次撮影する撮影手段と、得られた画像の時間差分値を
算出する時間差分算出手段と、前記時間差分値に基づい
て前記運転者の顔位置を算出する顔位置算出手段と、前
記顔位置にある運転者画像を処理することにより前記運
転者の状態を検出する処理手段とを有することを特徴と
する。ここで、「時間差分値」とは、運転者の存在しな
い背景画像と運転者の存在する画像（運転者画像）との
差分値ではなく、時間的に異なる運転者画像同士の差分
値をいう。時間差分値を用いることで、複数の背景画像
を予め記憶しておく必要が無くなる。

【０００８】また、上記目的を達成するために、第２の
発明は、第１の発明において、前記運転者の頭頂部位置
を含み、かつ車外の背景を含まない背景画像を記憶する
記憶手段と、前記背景画像と前記撮影手段で得られた画
像との差分値を算出する背景差分算出手段とをさらに有
し、前記顔位置算出手段は、前記時間差分値及び前記背
景差分値に基づいて前記運転者の顔位置を算出すること
を特徴とする。ここで、「背景画像」は従来のように複
数ではなく、単一である。時間差分値のみでは運転者の
顔位置を正確に算出できない場合には、補充的に背景画
像を用いることで、確実に運転者の顔位置を算出するこ
とができる。

【０００９】また、第３の発明は、第１、第２の発明に
おいて、前記時間差分算出手段で有意の差分値が算出さ
れない場合には、前記時間間隔を増大させる制御手段を
さらに有することを特徴とする。時間間隔を増大させる
ことで、時間差分値を確実に算出することができる。

【００１０】また、第４の発明は、第３の発明におい
て、前記処理手段は、前記制御手段で前記時間間隔を一
定値以上に増大させても前記時間差分算出手段で有意の
差分値が算出されない場合には、前記運転者の意識低下
状態を検出することを特徴とする。時間差分値は、運転
者の動く量を反映しており、従って一定時間以上運転者
の動きが検出されなかった場合には、運転者の意識が低
下しているとみなすことができる。

【００１１】また、第５の発明は、第４の発明におい
て、前記処理手段は、所定時間内における前記意識低下
状態の検出回数に基づいて前記運転者の意識低下の度合
いを検出することを特徴とする。すなわち、検出回数が
多い程、意識低下の度合いが大きいとみなすことができ
る。

【００１２】また、第６の発明は、第１〜第３の発明に
おいて、前記処理手段は、算出された横方向差分値が縦
方向差分値に比べて所定値以上大きい場合には、前記運
転者の状態を居眠りと検出することを特徴とする。運転
者の居眠りの典型的なタイプは、いわゆる「こっくり」
であり、運転者の顔は上下方向に揺れることになる。顔
の上下方向の揺れは、時間差分値では横方向成分（特に
頭頂部と顎の位置）として現れるから、時間差分値の横
方向成分と縦方向を比較することで「こっくり」を検出
でき、運転者の居眠りを検出することができる。

【００１３】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００１４】図１には、本実施形態の構成ブロック図が
示されている。カメラ１０は、車室内の所定位置に設け
られ、車両運転者を撮影して得られた画像を顔方向検出
装置１２に出力する。撮影は、所定のサンプリング時間
で順次行われ、得られた運転者画像は順次顔方向検出装
置１２に供給される。サンプリングタイミングは、例え
ば０．２ｓｅｃに設定される。

【００１５】顔方向検出装置１２は、メモリを含む画像
処理コンピュータで構成され、入力した運転者画像の差
分演算を行うことで、運転者の顔位置を検出する。差分
演算は、あるサンプリングタイミングｔで得られた運転
者画像と、その次のサンプリングタイミングｔ＋１で得
られた運転者画像の差分であり、従来の背景画像との差
分（背景差分）に対して時間差分を行うものである。こ
の時間差分で得られる差分値は、サンプリング間隔にお
ける運転者の動きであり、この動きから運転者の顔位置
を検出する。そして、検出された顔位置における画像か
らさらに運転者の顔の向きを検出し、脇見計算部１４に
出力する。運転者の顔の向きを検出する方法としては、
例えば上述した特開平４−６８５００号公報と同様なニ
ューラルネットワークを用いることができる。なお、メ
モリは、時間差分を演算するための画像メモリとして機
能する他、単一の背景画像を記憶するためにも用いられ
るが、その詳細については後述する。

【００１６】脇見計算部１４は、コンピュータで構成さ
れ、顔方向検出装置１２からの顔方向信号及び図示しな
いセンサで検出された車両の操舵角や車速を入力し、運
転者の脇見を検出し、運転席に設けられた表示器やスピ
ーカを介してその旨を表示し、あるいは警報を発生す
る。

【００１７】これら各構成のうち、顔方向検出装置１２
が時間差算出手段及び顔位置算出手段として機能し、顔
方向検出装置１２及び脇見計算部１４が処理手段として
機能する。

【００１８】図２及び図３には、顔方向検出装置１２の
処理フローチャートが示されている。まず、カメラ１０
で撮影された画像を順次入力し（Ｓ１０１）、その差分
を演算する（Ｓ１０２）。この差分演算は、上述したよ
うにサンプリングタイミングｔで得られた運転者画像と
次のサンプリングタイミングｔ＋１で得られた運転者画
像との差分（時間差分）である。そして、時間差分して
得られた差分画像の内、有限の値を有する画素数をカウ
ントする（Ｓ１０３）。有限の値を有する画素とは、サ
ンプリング間隔で異なる画素値を有する画素であり、運
転者が動いた部分の画素である。カウント値をＰｔとす
る。なお、有限値をカウントする際には、ノイズ成分を
除去するために微小値（例えば最大値の５％程度）をゼ
ロとするのが好適である。

【００１９】差分画素値をカウントした後、現在のサン
プリング間隔Ｔが所定のしきい値Ｃｔ（例えば１ｓｅ
ｃ）より大きいか否かを判定する（Ｓ１０４）。当初は
例えば０．２ｓｅｃに設定されているのでＮＯと判定さ
れ、さらにＳ１０３で算出されたカウント値Ｐｃが所定
値Ｃoより大きいか否かを判定する（Ｓ１０６）。サン
プリング間隔Ｔにおいて算出された差分のカウント値Ｐ
ｃが所定値Ｃo以下である場合には、運転者は動きを示
さなかったことを意味するから、再びＳ１０１に戻って
新たに運転者画像を入力し、時間差分を演算する（Ｓ１
０２、Ｓ１０３）。この時の差分値は、サンプリングタ
イミングｔにおける運転者画像と、サンプリングタイミ
ングｔ＋２における運転者画像との差分値であり、サン
プリング間隔が２倍（例えば０．４ｓｅｃ）となった時
間差分値である。すなわち、顔方向検出装置１２は、有
意の差分値が算出されない場合には、サンプリングの時
間間隔を増大制御して再び時間差分を実行する。そし
て、再びサンプリング間隔が所定のしきい値Ｃｔを超え
たか否かを判定し（Ｓ１０４）、超えていない場合に
は、差分のカウント値Ｐｃが所定のしきい値Ｃoを超え
たか否かを判定する（Ｓ１０６）。サンプリング間隔を
２倍と増大させた場合のカウント値Ｐｃが所定値Ｃoを
超えている場合には、運転者が有意の動きを示したこと
を意味するから、次のステップに移行する。一方、サン
プリング間隔を増大させてもカウント値Ｐｃが所定値Ｃ
oを超えない場合には、再びＳ１０１に戻って画像を入
力し、時間差分を算出する。この時の時間差分は、サン
プリングタイミングｔの運転者画像と、サンプリングタ
イミングｔ＋３における運転者画像の差分であり、サン
プリング間隔がさらに増大した時間差分である。

【００２０】以上のようにして、差分のカウント値が所
定値Ｃ0を超えない場合には、顔方向検出装置１２は順
次サンプリング間隔を増大させてゆく。そして、カウン
ト値Ｐｃが所定値Ｃoを超えないままサンプリング間隔
が所定値Ｃｔを超えてしまった場合には（Ｓ１０４でＹ
ＥＳ）、時間差分を算出する際の基準となる画像（サン
プリングタイミングｔにおける運転者画像）を新たに入
力した画像と入れ替えて（Ｓ１０５）、再び時間差分を
演算する。従って、この時には再びサンプリング間隔Ｔ
が当初の値に戻ることになる。なお、基準画像を入れ替
えた場合には、顔方向検出装置１２はその旨の信号を脇
見計算部１４に出力し、脇見計算部１４では、この信号
に基づいて運転者の意識が低下していると判定する。所
定時間を超えても運転者の動きが検出されない場合に
は、運転者の意識が低下した結果その動きが著しく低下
していると考えられるからである。

【００２１】また、顔方向検出装置１２から基準画像を
入れ替えた旨の信号（つまり、所定時間を超えても有意
の差分値が得られない場合）が複数回出力された場合に
は、脇見計算部１４はその回数に比例して運転者の意識
低下の度合いが大きくなっていると判定し、表示や警報
を出力する。具体的には、意識低下の度合いを例えばレ
ベル１（軽度）、レベル２（中度）、レベル３（重度）
と３段階で評価し、１回出力された場合にはレベル１、
２回出力された場合にはレベル２、３回以上出力された
場合にはレベル３と判定する等である。運転者の動きが
ない時間が長時間続く程、運転者の意識はより低下して
いると考えられるからである。

【００２２】一方、差分のカウント値Ｐｃが所定値Ｃo
を超えている場合には、次に差分値の縦方向（上下方
向）及び横方向（左右方向）のヒストグラムを算出して
その積分値を演算し（Ｓ１０７、Ｓ１０９）、演算結果
に基づいて運転者の顔の横方向位置及び縦方向位置を決
定する（Ｓ１０８、Ｓ１１０）。

【００２３】図４には、時間差分して得られる差分画像
が模式的に示されている。図中、細線は差分値が小さい
画素を示し（ゼロではない）、実線はある程度以上大き
い（つまり所定値Ｃoを超えている）画素を示してい
る。

【００２４】図５（Ａ）には、縦方向及び横方向の差分
画素の積分値が模式的に示されている。縦方向の積分値
は、図に示すようにｘ１とｘ２でそれぞれピーク値ｐ及
びｑをとり、これらの位置で運転者の動きが最も大きい
ことを示している。また、横方向の積分値は、図に示す
ようにｙ１とｙ２でそれぞれピーク値ｒ及びｓをとり、
これらの位置で運転者の動きが最も大きいことを示して
いる。最も動きの大きい位置がとりもなおさず運転者の
顔の輪郭であると考えられるため、顔方向検出装置１２
は、これらの位置ｘ１、ｘ２、ｙ１、ｙ２に基づいて運
転者の顔位置を決定する。

【００２５】図５（Ｂ）には、以上のようにして決定さ
れた運転者の顔位置１００が示されている。この顔位置
１００は、図５（Ａ）で決定されたｘ１及びｘ２で横方
向が規定され、図５（Ａ）で決定されたｙ１及びｙ２で
縦方向が規定されたものである。なお、ｘ１及びｘ２を
決定するに際しても、ピーク値ｐ及びｑを複数求め、ピ
ーク値間の距離が最も大きい組の位置をｘ１及びｘ２と
することで、より確実に顔の位置を決定することができ
る。もちろん、前回検出されたｘ１及びｘ２を基準とし
て今回のヒストグラムを算出することも確実性の観点か
らは好適である。

【００２６】また、顔位置を決定する際に、ｘ１、ｘ２
をそのまま用いるのではなく、ｘ２−ｘ１の５％程度の
余裕を持たせた間隔のｘ１´、ｘ２´を顔の横方向位置
とするのも好適であり、さらに顔の縦方向位置も、まず
ｙ１を決定し、ｙ１から５％程度上方にある点ｙ１´を
頭頂部とし、そこから顔幅（ｘ２´−ｘ１´）だけ下が
った点をｙ２´として顔の縦方向位置を決定することも
望ましい。すなわち、顔の縦方向位置は、ｙ１のみに基
づいて決定してもよい。

【００２７】以上のようにして、時間差分から運転者の
顔位置を決定することが可能であるが、場合によっては
運転者の動きが十分ではなく、時間差分では運転者の顔
位置、特に縦方向位置（図５におけるｙ１）が決定でき
ない場合も生じ得る。通常の運転動作において、運転者
は左右に顔を振ることはあるが上下に振ることは比較的
少なく、また、頭頂部（髪の部分）と車室内の輝度差及
び顔の下端（あごの部分）と首の部分の輝度差があまり
ない場合もあるからである。

【００２８】そこで、時間差分により運転者の縦方向位
置、特に頭頂部位置（ｙ１）が検出できない場合には、
顔方向検出装置１２は、運転者の頭頂部位置を含み、か
つ車外の背景を含まない背景画像１個を顔方向検出装置
１２内のメモリに記憶しておき、この背景画像との差分
を算出することで、運転者の頭頂部を決定するのが望ま
しい。

【００２９】図６（Ａ）には、顔方向検出装置１２のメ
モリに予め記憶させておく背景画像２０が模式的に示さ
れている。この画像領域は、図４に示された画像領域を
全て含む必要はなく、運転者の頭頂部位置を含む領域で
あれば十分である。但し、車外の背景を含むと差分演算
を行った際に頭頂部以外にこの部分で有限の差分値が生
じてしまうため、これを除去すべく車外の背景部分は含
まない領域とすべきである。本実施形態では、カメラ１
０から得られる画像の上部１／３程度を背景画像領域と
している。

【００３０】図６（Ｂ）には、この背景画像（運転者が
存在しない画像）とカメラ１０から入力した運転者画像
との差分演算の様子が模式的に示されている。背景画像
は運転者を含まないため、差分値がそのまま運転者の頭
頂部の輪郭を示すことになる。

【００３１】従って、差分値のヒストグラムを算出し積
分することで、運転者の頭頂部位置、すなわちｙ１を決
定することができる。

【００３２】なお、顔方向検出装置１２のメモリに記憶
させておく背景画像は１個なので、背景画像撮影時の明
るさと運転者画像撮影時の明るさが異なることを考慮
し、図に示すような背景画像のモニタ領域Ｂ１、Ｂ２と
これに対応する入力画像の領域Ｂ１´、Ｂ２´の平均濃
度を比較し、両者の平均濃度がほぼ一致するように背景
画像の濃度を増減調整した上で差分演算を行うのが望ま
しい。背景画像を用いる目的は、単に運転者の頭頂位置
を決定するだけであるので、このような濃度の調整は厳
密に行う必要はなく、従って本実施形態の利点を損なう
ものではない。

【００３３】以上のようにして運転者の顔位置が決定さ
れた後、顔方向決定装置１２は、入力画像から顔部分を
切り出し（図３におけるＳ１１１）、特開平４−６８５
００号公報と同様にニューラルネットワークを用いて顔
方向を判定する（Ｓ１１２）。ここで、ニューラルネッ
トワークを用いて顔方向を判定するに際しては、ニュー
ラルネットワークの出力層に顔らしさの出力を設けて学
習させることにより、顔の切り出しに失敗した場合でも
顔方向を誤判定しないようにするのが望ましい。すなわ
ち、顔らしさが確からしい条件下でのみ、顔方向を判定
することが望ましい。判定した顔方向は、上述したよう
に脇見計算部１４に供給される。

【００３４】脇見計算部１４では、操舵角や車速に基づ
いて、まず脇見をしていない場合の正しい顔方向を計算
する（Ｓ１１３）。具体的には、操舵角に基づいて運転
者が見るべき方向を決定し、車速に基づいて見るべき距
離を決定する。見るべき方向と距離が定まれば、運転者
が本来向けるべき顔の方向がおおよそ定まることにな
る。そして、正しい顔方向と検出された顔方向のずれ量
を演算し（Ｓ１１４）、ずれ量が一定値以上の場合に脇
見運転と判定して表示や警報を出力する（Ｓ１１５）。

【００３５】このように、本実施形態では、時間差分を
用いて運転者の意識低下状態やその度合い、並びに運転
者の脇見を容易に検出することができる。

【００３６】なお、差分値の積分を用いて運転者の縦方
向位置と横方向位置を決定する際に、差分値の積分値が
特有のパターンを示した場合には、運転者の居眠りを判
定することも可能である。

【００３７】図７には、運転者がいわゆる「こっくり」
状態（意識が低下して顔を上下に振る行動）となった場
合に現れる差分値パターンが示されている。このパター
ンは、運転者の頭頂部と顎の部分に特に大きな差分値が
現れるもので、横方向の差分値が縦方向の差分値よりも
著しく大きくなる。そこで、このパターンが検出された
場合、具体的には横方向の差分値（積分値）が縦方向の
差分値（積分値）よりも所定値以上大きい場合には、顔
方向検出装置１２はその旨の信号を脇見計算部１４に出
力する。脇見計算部１４では、この信号を入力した場合
には運転者が居眠りしていると判定して警報を発生す
る。これにより、運転者の「こっくり」状態も抑制する
ことができる。

【００３８】

【発明の効果】以上説明したように、本発明によれば、
複数の背景画像を予め記憶しておくメモリを不要とし、
簡易な構成で確実に運転者の顔位置を算出することがで
き、これにより運転者の状態を容易に監視することがで
きる。

【図面の簡単な説明】

【図１】 本発明の実施形態の構成ブロック図である。

【図２】 実施形態の処理フローチャート（その１）で
ある。

【図３】 実施形態の処理フローチャート（その２）で
ある。

【図４】 実施形態の差分画像説明図である。

【図５】 実施形態の差分積分と顔部分切り出しの説明
図である。

【図６】 実施形態の頭頂部位置決定の説明図である。

【図７】 実施形態の「こっくり」状態の差分画像説明
図である。

【符号の説明】

１０ カメラ、１２ 顔方向検出装置、１４ 脇見計算
部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０８Ｂ 21/00 Ｇ０８Ｇ 1/16 Ｆ Ｇ０８Ｇ 1/16 Ｈ０４Ｎ 7/18 Ｚ Ｈ０４Ｎ 7/18 Ｇ０６Ｆ 15/62 ３８０

Claims (6)

【特許請求の範囲】
1. 【請求項１】 所定の時間間隔で車室内の運転者を順次
   撮影する撮影手段と、 得られた画像の時間差分値を算出する時間差分算出手段
   と、 前記時間差分値に基づいて前記運転者の顔位置を算出す
   る顔位置算出手段と、 前記顔位置にある運転者画像を処理することにより前記
   運転者の状態を検出する処理手段と、 を有することを特徴とする車両運転者監視装置。
2. 【請求項２】 前記運転者の頭頂部位置を含み、かつ車
   外の背景を含まない背景画像を記憶する記憶手段と、 前記背景画像と前記撮影手段で得られた画像との差分値
   を算出する背景差分算出手段と、 をさらに有し、前記顔位置算出手段は、前記時間差分値
   及び前記背景差分値に基づいて前記運転者の顔位置を算
   出することを特徴とする請求項１記載の車両運転者監視
   装置。
3. 【請求項３】 前記時間差分算出手段で有意の差分値が
   算出されない場合には、前記時間間隔を増大させる制御
   手段をさらに有することを特徴とする請求項１、２のい
   ずれかに記載の車両運転者監視装置。
4. 【請求項４】 前記処理手段は、前記制御手段で前記時
   間間隔を一定値以上に増大させても前記時間差分算出手
   段で有意の差分値が算出されない場合には、前記運転者
   の意識低下状態を検出することを特徴とする請求項３記
   載の車両運転者監視装置。
5. 【請求項５】 前記処理手段は、所定時間内における前
   記意識低下状態の検出回数に基づいて前記運転者の意識
   低下の度合いを検出することを特徴とする請求項４記載
   の車両運転者監視装置。
6. 【請求項６】 前記処理手段は、算出された横方向差分
   値が縦方向差分値に比べて所定値以上大きい場合には、
   前記運転者の状態を居眠りと検出することを特徴とする
   請求項１、２、３のいずれかに記載の車両運転者監視装
   置。