JPH0468500A - 車両運転者監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は車両運転者監視装置、特にニューラルネットワ
ークを用いて車両運転者の顔の向きや目の状態を監視す
る装置に関する。

［従来の技術］ 従来より、自動車等の車両の安全走行を確保するための
種々の支援システムが提案されている。

このような支援システムは、主に車両運転者の居眠り状
態や脇見状態を検出して運転者に警報を与え、安全走行
を可能とするものである。

このような安全走行のだめの支援システムとしては、例
えば特開昭６３−２２２９４０号公報に開示された自動
車安全走行支援方式がある。この支援方式においては、
運転者の目を監視する監視装置を設け、この監視装置か
らの情報により運転者の目の方向が正しい前方を向いて
いるか、また目の開き程度が所定値以上かどうかが判断
される。

この判断は、目の方向が前方方向中心線から一定以上離
れているか否か、また目の視野が所定範囲内か否かをＣ
ＰＵによって判断することにより行われる。そして、脇
見運転や居眠り運転が発生していると判断された時には
、警報や自動ブレーキを緩かにかけるものである。

あるいは、特に居眠り運転を検出するためのシステムと
して、特開昭６０−１７８５９６号公報に開示された居
眠り運転防止装置が知られている。

この装置においては、車両運転者の状態位置を検出する
検出手段を設け、検出された状態位置の周期的な変動か
ら居眠り運転を検知し運転者に警報を発するものである
。

［発明が解決しようとする課題］ しかしながら、特開昭６３−２２２９４０号公報に開示
された自動車安全走行支援方式においては、運転者の目
の状態のみを監視して脇見運転や居眠り運転を検出する
ものであり、特徴部分、すなわち眼球部分を正確に抽出
しなければならず、計７１１１１が容易でないという問
題があった。また、運転者は車両運転中宮に前方のみを
注視しているとは限らず、顔の向きを適宜左右いずれか
の方向に向けて運転することがしばしばあり、このよう
な場合には正確に視野を測定することが困難であるとい
う問題もあった。

勿論、このような問題を解決すべく計Δ−ｊすべき特徴
部分に予め光学的マーカを貼付することも提案されてい
るが（テレビジョン学会技報、Ｖｏｌ、１２、Ｎｏ、２
４、ｐｐ１３−１８）、実際の車両運転時にこのような
光学的マーカを貼イＮｊすることは実用的でない。ある
いは、顔の向きを検出するために目頭と唇の端点を基準
点とし、顔の構造の面対称性に着目して顔の向きを検出
する方法も考えられているが（情報処理学会、５Ｃ−２
、ｐｐ１６２−１６３）、車両運転者は不特定多数であ
り、全ての運転者に適用できない問題がある。

また、特開昭６０−１７８５９６号公報に開示された居
眠り運転防止装置においては、居眠り運転発生時に生じ
る運転者の特有のパターン、すなわち位置の周期的な変
動を検出して居眠り運転と判断するものであり、必ずし
も居眠り運転発生時にこのような特有のパターンが出現
するとは限らず、正確に検出することができないという
問題があった。

そこで、本願出願人は先に特願平２−５１３３２号にて
以下のような車両運転者監視装置を提案した。この車両
運転者監視装置においては、車両運転者の顔部を撮影す
る撮像手段と、この撮像手段からの顔部画像情報をニュ
ーラルネットワークを用いて処理することにより車両運
転者の顔の方向及び目の状態を検出するものである。

しかしながら、撮像手段にて得られた画像からニューラ
ルネットワークに入力すべき画像情報を抽出するために
行われるべき画像切り出しが困難でその処理に長時間を
要してしまうという課題があった。

本発明は上記従来技術の有する課題に鑑みなされたもの
であり、その目的は不特定多数の車両運転者の顔の向き
や目の状態を高速かつ確実に検出することが可能な改良
された車両運転者監視装置を提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明に係る車両運転者監
視装置は、車両内の所定位置に設けられた撮像手段と、
車両運転者の有無を検出する検出手段と、この検出手段
にて車両運転者が無と検出された時及び車両運転者が有
と検出された時に前記撮像手段を駆動してそれぞれ背景
画像及び車両運転者画像を得る撮像制御手段と、得られ
た背景画像と車両運転者画像との相違から車両運転者の
顔部位置を算出する位置算出手段と、この位置算出手段
にて算出された顔部位置の車両運転者画像を人力し、入
力の加重和に応じて出力するニューラルユニット群から
なる層を多層接続してなるニューラルネットワークを用
いて車両運転者の顔の方向及び目の状態を検出する状態
検出手段とを具備することを特徴としている。

［作用］ 本発明の車両運転者監視装置はこのような構成を有して
おり、検出手段にて車両運転者の有無が検出される。

そして、車両運転者が無と検出された時に撮像制御手段
が車両内の所定位置に設けられた撮像手段を駆動して撮
影し、車両運転者の存在しない背景画像を得る。

また、検出手段にて車両運転者が有りと検出された時に
撮像制御手段が撮像手段を駆動して撮影し、車両運転者
画像を得る。

このようにして得られた背景画像と車両運転者画像との
相違を求めることにより、車両運転者のみの画像が得ら
れることとなり、この車両運転者のみの画像からその顔
部位置を算出することが容易となる。

そして、車両運転者の顔部画像は予め学習されたニュー
ラルネットワークによって処理され、顔の方向及び目の
状態が検出される。

ニューラルネットワークは所定のアルゴリズムを考慮す
る必要がなく、多数のパラメータを高速処理することが
できるので、本発明のように短時間に多数の画像情報を
処理する必要がある場合に特に好適であり、また学習に
より種々の画像パターンに対応できる泥化能力を有する
ため、不特定多数の運転者にも対応できる。

そして、ニューラルネットワークを用いて検出された運
転者の顔の向き及び目の状態により脇見運転あるいは居
眠り運転の発生を検出することが可能となり、安全走行
を行うための有効な情報が得られることとなる。

［実施例］ 以下、図面を用いながら本発明に係る車両運転者監視装
置の好適な実施例を説明する。

第１実施例 第１図は本発明の第１実施例の構成ブロック図である。

撮像手段としてのＴＶ左カメラｏは車両内の所定位置、
例えばフロントパネル近傍に設置される。このＴＶ右カ
メラ０は例えばＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ
　Ｄｅｖｉｃｅ）固体撮像素子で構成される。

なお、このＴＶ右カメラ０にて明瞭な画像を得るために
、車両の所定位置に照明装置を設けて運転者の顔に照明
を当ててもよい。また、このＴＶ右カメラ０には、この
照明装置からの照射光のみが入射するようにフィルタを
かけてもよい。

そして、このＴＶ右カメラ０を駆動するための撮像制御
手段としてＣＰ　ＩＬ４が設けられている。

このＣＰＵ４には第１図に示されるように運転シート圧
力を検出する圧力センサ１、運転席側のドアの開閉を検
知するドアセンサ２及びイグニッションスイッチのＯＮ
、ＯＦＦを検出するイグニッションセンサ３からの各検
出信号が入力され、これら各センサからの検出信号に基
づき適宜タイマーを作動させ、車両運転者の有無を検出
する構成となっている。

以下、第２図を用いてこのＣＰＵ４の動作を詳細に説明
する。

第２図は本実施例におけるＣＰＵ４の動作フローチャー
トを示したものである。まず、ステップ１００にてドア
センサ２からの検出信号により運転席側のドアが開いて
いるか否かが判定される（ＳＷＩ？）。そして、このス
テップ１００にてＹＥＳ、すなわち運転席側のドアが開
いていると判定された場合には次のステップ１０２に移
行する。

このステップ１０２では圧力センサ１からの検出信号に
よりタイマーを作動させ、車両運転者が降車してから所
定時間、例えば１時間経過しているか否かが判断される
（ＳＷ２？）。このステップ１０２にてＹＥＳ、すなわ
ち車両運転者が降車してから所定時間経過していると判
断された時には、次のステップ１０４に移行し、ＴＶ右
カメラ０に駆動信号を送って背景画像Ｐ。を撮影する。

なお、前述のステップ１０ｏ１ステツプ１０２でいずれ
もＹＥＳと判断される状況は、以下の状況に対応するも
のである。すなわち、車両運転者が降車してから十分な
時間が経過し、がっ運転席側のドアが開いているという
ことは、車両運転者が乗車しようとして運転席側のドア
を開けている状況に対応している。そして、この時車両
運転者は未だシートに座っておらず、従ってＣＰＵ４が
らの駆動信号によりＴＶ右カメラ０が運転シート近傍を
撮影すると、車両運転者が存在しない状態での背景画像
Ｐ。を撮影することとなる。

そして、このようにして撮影された背景画像Ｐｏは第１
図に示されるように二値化回路１２にて各画素毎にＯま
たは１に二値化されて記憶装置５に記憶される。

一方、ステップ１００にてＮＯｌすなわちドアセンサ２
からの検出信号により運転席側のドアが開いていないと
判定されたとき、又はステップ１０２にてＮｏ、すなわ
ち車両運転者が降車してから所定時間が経過していない
と判断されたときにはいずれもステップ１０６に移行す
る。

このステップ１０６では圧力センサ１からの検出信号に
基づき車両運転者がシートに座っているか否かが判断さ
れる（ＳＷ５？）。そして、このステップ１０６にてＹ
ＥＳ、すなわち車両運転者がシートに座っていると判断
された場合には次のステップ１０８に移行し、車両運転
者が実際に車両を運転中か否かが判断される。すなわち
、このステップ１０８ではイグニッションセンサ３から
の検出信号に基づきタイマーを作動させ、イグニッショ
ンＯＮ後所定時間、例えば３０分経過しているか否かが
判定され（ＳＷ３？）、ＹＥＳすなわちイグニッション
ＯＮ後所定時間が経過していると判定された場合には車
両運転者が実際に車両を運転中であるとみなし、次のス
テップ１１．０に移行する。

このステップ１１０では後述する車両運転者画像の撮影
の可否が判断される。すなわち、このステップ１１０で
は前述のステップ１０４にて背景画像Ｐ。が撮影されて
から所定時間内か否か判定される（ＳＷ４７）。背景画
像Ｐｏが撮影されてからまだ十分な時間が経っていない
、すなわち今回の撮影が第１回目の撮影であると判断さ
れた場合には次のステップ１１２に移行し、ステップ１
０４と同様にＣＰＵ４からの駆動信号によりＴＶ左カメ
ラ０が画像Ｐ１を撮影する。なお、このステップ１１２
での撮影はステップ１０４で撮影された背景画像Ｐ。に
加え、車両運転者がシートに座った状態での車両運転者
画像が撮影されることとなる。

そして、このように車両運転者画像Ｐ１が撮影された後
、次のステップ１１４に移行して画像差分 △Ｐ−Ｐ、−Ｐ。

が計算される。

この差分は次のような物理的意味を有している。

すなわち、第４図（Ａ）に示されるように車両運転者の
存在しない背景画像Ｐ。と第４図（Ｂ）に示されるよう
にこの背景画像Ｐ。に加え車両運転者が存在する場合の
車両運転者画像Ｐ１との差分をとると、第４図（Ｃ）に
示されるように車両運転者のみが存在する画像△Ｐが得
られることとなる。

このようにステップ１１４で画像差分△Ｐが算出された
後、次のステップ１１６に移行して車両運転者の頭の位
置が特定される。

頭の位置の特定は次のような処理により達成される。す
なわち、前述のステップ１１４にて得られた画像差分△
Ｐの絶対値を算出し、この絶対値△Ｐの二次元プロファ
イルを算出する。例えば、第４図（Ｃ）において図示の
ごとくＸ方向、ｙ方向をとった場合、絶対値△Ｐのｙ方
向のプロファイルにおいて、 △Ｐ−０ となるのは車両運転者の頭頂部位に対応し、この位置を
ｙ。とする。

一方、Ｘ方向の絶対値△Ｐのプロファイルはほぼ対称形
となり、この対称形の中心位置をＸｏとする。そして、
このようにして定めた座標（ｘＯｌｙＯ）は車両運転者
の中心頭頂に対応し、これを基準座標として頭の位置が
特定されることとなる。

また、このように車両運転者の頭頂を検出するのではな
く、例えばｙ方向の絶対値△Ｐのプロファイルにおいて
極値となる部位は通常車両運転者の首の部位に相当し、
この首の部位に相当する極値と前述の絶対値△Ｐが０と
なる車両運転者の頭頂の座標との中間値をとることによ
り車両運転者の顔のほぼ中心を特定することができる。

このように、ステップ１１６にて車両運転者の頭の位置
が特定された後、次のステップ１１８に移行して頭の位
置座標を記憶装置５に記憶する。

そして、このように記憶装置５に格納された車両運転者
の頭の位置に関する情報は、ステップ１１０でＮｏと判
定された時に移行するステップ１２０にて読み出され、
第１図の構成ブロック図に示される切り出し回路１４に
送られて画像処理に必要な画素のみを切り出すための処
理に用いられる。

切出し回路１４では、処理すべき所定の顔部領域を送ら
れてきた位置座標に基づき切り出す。第５図にその一例
を示す。第５図（Ａ）はＴＶ左カメラ０にて撮影された
車両運転者の顔部であり、この顔部画像から記憶装置５
から送られてきた位置座標に基づき目の近傍の所定範囲
のウィンドウを設定し、第５図（Ｂ）に示すようにこの
部分の画像情報を切り出す。なお、前述したようにＣＯ
Ｄ固体撮像素子等をＴＶ左カメラ０として用いた場合、
顔部画像情報は第５図（Ｂ）に示されるように二次元配
列された複数の画素情報から構成されており、各画素情
報は白あるいは黒レベルに二値化されて出力されること
となる。今、このように二次元配列した複数の画素に番
号を付し、第ｉ行第ｊ列に位置する画素をａ＋ｊと記し
、その画素情報を１１ｊと記す。そして、このようにし
て切り出された顔部画像情報１．ｊ（白レベルに相当す
る論理レベル１あるいは黒レベルに相当する論理レベル
Ｏのいずれかの値を有する）はニューラルネットワーク
１６に入力され、後述の処理が行われる。なお、これら
二値化処理、切り出し処理及び以下に示すニューラルネ
ットワーク処理はＤＳＰ（Ｄｌｇｉｔａｌ　Ｓｉｇｎａ
ｌ　Ｐｒｏｃｅｓｓｏｒ）を用いて行っても良い。

以下、このニューラルネットワーク１６に行われる処理
を第６図を用いて詳細に説明する。周知の如く、ニュー
ラルネットワークは入力層、中間層及び出力層の階層構
造からなり、各層はニューラルユニット群から構成され
る。ニューラルユニットは所定の重み付け（結合係数）
　ｗ＋ｊが付加された入力の総和に応じて一定の規則で
変換し出ツノするユニットである。この規則としては種
々の関数が用いられるが、本実施例においては入力の総
和“ｎｅｔ”を ｎｅｔ−ΣＷ１ｊＩＩ とした時、 ｆ−１／　ｆｌ＋ｅｘｐ　［−（ｎｅｔ＋ａ）Ｅｌ但し
、αは定数 なるｓ１ｇＩＩｌｏｉｄ関数を用いることとした。この
関数の値域は０〜１で、入力値が大きくなるにつれ１に
、そして小さくなるにつれＯに近づく特性を示す。

さて、切出し回路１４からの二値化された顔部画像情報
、すなわち切り出された画像を構成する画素ａ１ｊの画
像情報１１ｊ（０または１）は第６図に示されたニュー
ラルネットワークの入力層を構成する各ニューラルユニ
ットに入力される。従って、切り出された画像情報が２
４０　Ｘ４０個の画素から構成されている場合には、こ
の画素数と同数の９６００個のニューラルユニットが存
在することとなる。なお、入力層におけるニューラルユ
ニットの数を減らしたい場合には、切り出された画像を
いくつかの小領域に分割し、分割された小領域内の画素
情報を足し合せる平均処理を行いニューラルユニットの
個数を減らせば良い。例えば、小領域を４×４に設定す
ると、ニューラルユニットは６０Ｘ１０−６００個に減
少する。

このように切り出された画像を構成する各画素の画素情
報ｌｌｊが入力層の各ニューラルユニットに入力された
後、同様のニューラルユニット群からなる中間層及び出
力層で所定の変換処理が行われる。すなわち、中間層の
第ｊ番目に位置するニューラルユニットに入力される入
力層の第１番目のニューラルユニットの出力値を１．こ
の時の重み付けすなわち結合係数をｗｌｊとすると、こ
の第ｊ番目のニューラルユニットに入力される人力値の
総和ｎｅｔ、は、 ｎｅｔ、−ΣＷ　・■。

Ｊ　　　　ｉｊ　　　ｌ であり、その出力は前述したようにｓ１ｇｍｏｉｄ関数
を用いて、 ｙ、−ｆ　　（ｎｅｔ、） Ｊコ となる。そして、中間層に存在する全ての二二一ラルユ
ニットにて前述の処理が行われ、その出力値が出力層の
各ニューラルユニットに人力される。

出力層のニューラルユニットにおいても、中間層と同様
の変換処理が行われる。すなわち、出力層に位置する第
ｊ番目のニューラルユニットに入力される中間層の第１
番目のニューラルユニットからの出力をｙｏ、この時の
重み付けをｗ、６′とすると、この第ｊ番目のニューラ
ルユニットに入力される入力値の総和ｎｅｔ、　　−は
ｎｅｔ、　　−Σ１・°゛ｙｌ Ｊ　　　　　　　　　ＩＪ となり、この時の出力値Ｏ０は、 Ｏ，ｍｆ　（ｎｅｔ、−） Ｊ　　　　　　　　　　　　　Ｊ となる。なお、入力層から中間層への重み付けＷ　ｉ　
ｊ及び中間層から出力層への重み付けｗＩｊ−の値は、
出力層からの実際の出力値と望ましい出力値との差が減
少するように予め学習により調整しておく。また、各ニ
ューラルユニットにて入力値の総和から出力値を変換す
る際に、その都度変換関数ｆを用いて演算するのではな
く、ＲＯＭ等に予め入力される総和値とその時の出力値
とをマツプとして記憶させ、演算処理を行うことなくこ
のＲＯＭから読み出すことにより変換処理を行っても良
い。

このようにニューラルネットワークを用いることにより
、−組の入力画像情報がらこれに対応した一組の出力値
が得られることとなるが、出力層を構成する各ニューラ
ルユニット１，２．・・・・・・ｌには所定の状態が対
応しており、この出方層からの出力値により車両運転者
の顔の方向及び１」の状態を判定することができる。

すなわち、第６図に示されるように出力層の第１番目の
ニューラルユニットがらの出力は運転者の顔が正面方向
を向いていることを意味し、第２番目のニューラルユニ
ットからの出方値は運転者の目が閉じている状態に対応
し、そして第１番目のニューラルユニットからの出力値
は運転者がインストルメントパネル方向に向いているこ
とに対応している。従って、出力層を構成する１個のニ
ューラルユニットからの出力値がそれぞれ（１゜０．０
．・・・・・・、０）である場合には、車両運転者の顔
は正面を向き、かつ開眼状態にあると検出される。そし
て、このようにして検出された車両運転者の顔の方向や
目の状態に関する情報は車両の電子制御を行うＥ　ＣＵ
　（Ｅｌｅｃｔｒｏｎｉｃ　ＣｏｎｔｒｏｌＵｎｉｔ　
）に入力される。

このＥＣＵ１８では入力した運転者の顔の向きや目の状
態に関する情報及びレーザレーダ等の障害物センサ２０
やカメラ等の車両が走行する道路環境を認識する環境認
識センサ２２からの情報に基づき車両を安全に走行させ
るべく、警報装置やアクセルアクチュエータ、ブレーキ
アクチュエータを制御する。例えば、 （イ）車両運転者の顔及び目が横を向いている場合には
、前方車両との車間距離を大きくすべくブレーキ操作を
行う。

（ロ）車両運転者の目が長時開閉じており居眠り運転と
検出された場合には、警報手段を介して運転者に警報を
与える。

（ハ）車両運転者の顔及び目が横を向いている場合であ
って、かつ車両がカーブを走行中の場合には警報手段を
介して警報を与えると共にブレーキ操作を行う。

（ニ）車両運転者の目がルームミラーまたは右サイドミ
ラ一方向に向いておらず、がっ車両が右折または右隣接
斜線への斜線変更を行う場合には、警報手段を介して警
報を与える。

などの制御を行い、車両を安全に走行させる。

なお、本第１実施例においては入力層から中間層、さら
には出力層へと順次出力される、いわゆる順方向結合タ
イプのニューラルネットワークを用いたが、出力層から
入力層への結線も存在するいわゆる相互結合タイプのニ
ューラルネットワークを用いても良い。

また、本第１実施例においては中間層は一層のみである
が、この中間層を複数層設けても同様の処理を行うこと
が可能である。

第２実施例 第３図は本発明の第２実施例におけるＣＰＵ４での処理
を表わすフロチャートである。前述の第１実施例におい
ては車両運転者が乗車直前の背景画像及びこの背景画像
を撮影後所定時間内の車両運転者画像を撮影し、その差
分を算出することにより車両運転者の頭の位置を特定し
たが、本第２実施例においては車両運転者が降車役所定
時間内の背景画像を撮影することとしている。

このため、本第２実施例においては以下のような処理フ
ローを採用している。すなわち、まず、ステップ２００
にてイグニッションセンサ３からの検出信号によりイグ
ニッションＯＦＦか否かが判断される。そして、このス
テップ２００にてＹＥＳ、すなわちイグニッションがＯ
ＦＦの時はステップ２０２に移行する。

このステップ２０２ではドアセンサ２からの検出信号に
よりタイマーが作動して運転席側のドアがロックしてか
ら所定時間内か否かが判断される（ＳＷ７？）。そして
、このステップ２０２でＹＥＳと判断された時にはＣＰ
Ｕ４からＴＶ左カメラ０へ駆動信号が送られ、ステップ
２０４に示されるようにＴＶ左カメラ０は背景画像Ｐ。

を撮影する。

ここで、これらステップ２００及び２０２にてＹＥＳと
判断された状況は、車両運転者が運転を中止してイグニ
ッションをＯＦＦとし、降車してドアをロックした後の
車両運転者の存在しない状況に対応しており、このよう
に車両運転者が降車後の背景画像がＴＶ左カメラ０によ
って撮影されるのである。

一方、ステップ２００でＮＯｌすなわちイグニッション
がＯＮと判断された時、及びステップ２０２にてＮＯｌ
すなわち運転席側のドアがロックされてから所定時間経
過した時には共にステップ１０８に移行する。

このステップ１０８では前述の第１実施例と同様にイグ
ニッションＯＮ後所定時間経過したが否かが判断され、
ＹＥＳすなわち所定時間経過していると判断された場合
には車両運転者が実際に車両を運転中であることを意味
し次のステップ２゜８に移行する。

このステップ２０８では車両のシフトレバ−がＰ（パー
キング）以外のレンジに設定されているか否かが判断さ
れ、ＹＥＳ、すなわちＰ以外のレンジにシフトレバ−が
設定されている場合には車両が運転中であることを意味
し以下第１実施例のステップ１１２〜ステツプ１１８と
同様のステップを経ることにより車両運転者画像Ｐ１が
撮影され、更に先に撮影された背景画像をＰ。との差分
が算出されて車両運転者の頭の位置が特定される。

このように、本第２実施例においてはイグニッションが
ＯＮか否か及びシフトレバ−がＰレンジ以外に設定され
ているか否かにより車両運転者の有無を判定するもので
あり、圧力センサ等の特殊なセンサを用いずに検出手段
を構成できる利点がある。

なお、前述の第１及び第２実施例においてはＣＰＵ４に
より算出された車両運転者の頭の位置に関する情報が切
出し回路１４に送られ所望の領域が切出されたが、この
ようにＴＶ左カメラ０を車両のフロントパネル近傍に設
置するのみでなく、補助的に第２のＴＶ左カメラ車両後
方のデツキルーム等に設置し、車両運転者の顔部が写し
出されているルームミラーを撮影するように構成しても
良い。

この場合、第２のＴＶ左カメラは既に車両運転者の顔部
のみが写し出されているため、この第２のＴＶ左カメラ
て得られた画像と前述の第１及び第２実施例におけるＴ
Ｖ左カメラ０にて撮影され、切出し回路１４で切出され
た画像と比較し、互いの画像の相違量が所定の許容範囲
以内であれば切り出された画像を採用するように構成す
ることにより、より一層の制度向上を図ることが可能で
ある。

［発明の効果］ 以上説明したように、本発明に係る車両運転者監視装置
によれば、不特定多数の車両運転者の顔の向きや目の状
態を高速かつ確実に検出することが可能となる。

【図面の簡単な説明】

第１図は実施例の構成ブロック図、 第２図は第１実施例のＣＰＵの処理フローチャ−ト図、 第３図は第２実施例のＣＰＵの処理フローチャート図、 第４図は実施例の画像差分の説明図、 第５図は実施例のウィンドウ設定説明図、第６図は実施
例のニューラルネットワークの構成図である。 １　　・・・　圧力センサ ２　　・・・　ドアセンサ ３　　・・・　イグニッションセンサ ４　　・・・　ＣＰＵ ５　　・・・　記憶装置 １４　・・・　切り出し回路 １６　・・・　ニューラルネットワーク１８　・・・　
ＥＣＵ

Claims (1)

1. 【特許請求の範囲】 車両内の所定位置に設けられた撮像手段と、車両運転者
   の有無を検出する検出手段と、 この検出手段にて車両運転者が無と検出された時及び車
   両運転者が有と検出された時に前記撮像手段を駆動して
   それぞれ背景画像及び車両運転者画像を得る撮像制御手
   段と、 得られた背景画像と車両運転者画像との相違から車両運
   転者の顔部位置を算出する位置算出手段と、 この位置算出手段にて算出された顔部位置の車両運転者
   画像を入力し、入力の加重和に応じて出力するニューラ
   ルユニット群からなる層を多層接続してなるニューラル
   ネットワークを用いて車両運転者の顔の方向及び目の状
   態を検出する状態検出手段と、 を具備することを特徴とする車両運転者監視装置。