JP2005018651A - 運転者状態検出装置 - Google Patents
運転者状態検出装置 Download PDFInfo
- Publication number
- JP2005018651A JP2005018651A JP2003185871A JP2003185871A JP2005018651A JP 2005018651 A JP2005018651 A JP 2005018651A JP 2003185871 A JP2003185871 A JP 2003185871A JP 2003185871 A JP2003185871 A JP 2003185871A JP 2005018651 A JP2005018651 A JP 2005018651A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- face
- driver state
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
Abstract
【課題】誤報知の頻度を低減させることが可能な運転者状態検出装置を提供する。
【解決手段】運転者状態検出装置１は、運転者の顔を撮影して得られた顔の画像から、運転者状態判定部２１にて運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出し、運転者状態を判定する。その一方、画像処理部３１は、撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算する。そして、報知禁止部３２は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定する。
【選択図】 図２
【解決手段】運転者状態検出装置１は、運転者の顔を撮影して得られた顔の画像から、運転者状態判定部２１にて運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出し、運転者状態を判定する。その一方、画像処理部３１は、撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算する。そして、報知禁止部３２は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、運転者状態検出装置に関する。
【０００２】
【従来の技術】
従来、車両運転者の顔画像を撮影し、顔の方向又は視線を監視して脇見判定を行う装置が知られている。この装置では、運転者の脇見を検出した場合、警報装置等により運転者に対し注意喚起するようにしている（特許文献１及び２参照）。
【０００３】
【特許文献１】
特開平６−２４３３６７号公報
【０００４】
【特許文献２】
特開２０００−１７２９６６号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記特許文献１及び２に記載の脇見検出装置では、運転者が鼻を触るなど、顔画像を撮影している画角内に運転者の手が入ってくることがある。このような場合において、従来の装置では、手が検出対象である鼻や眼などの顔部位を覆ってしまうと、画像認識処理が不安定となって、誤報知されてしまう可能性がある。このため、従来の装置では、誤報知の頻度が増加してしまうという問題があった。
【０００６】
なお、この問題は、画角内に手が進入する場合に限らず、顔以外の異物が進入する場合にも同様に発生する問題である。また、脇見検出装置のみならず、運転者の顔画像を取得して所定の処理を行う装置、例えば居眠検出装置においても同様に発生する問題である。
【０００７】
【課題を解決するための手段】
本発明によれば、撮像手段は運転者の顔を撮影し、運転者状態判定手段は、撮影手段により撮影された顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定し、報知手段は、運転者状態判定手段による判定結果に基づいて、運転者に報知するための報知信号を出力し、画像処理手段は、撮影手段により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算し、報知禁止手段は、画像処理手段の計算結果に応じて、報知手段からの報知を禁止する。
【０００８】
【発明の効果】
本発明によれば、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて報知動作を禁止している。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知を禁止するため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【０００９】
従って、誤報知の頻度を低減させることができる。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る運転者状態検出装置の構成図である。同図に示すように、本実施形態の運転者状態検出装置１は、運転者状態としての脇見及び居眠りなどを検出するに当たり、その検出が望ましくない状態、すなわち不可状態であるか否かを検出するものである。そして、運転者状態検出装置１は、不可状態であることを検出した場合には、運転者への報知を禁止するものである。
【００１１】
この運転者状態検出装置１は、車両の運転者の顔を撮影する撮影部（撮影手段）１０、及び撮影部１０により撮影された顔の画像（以下、顔画像という）に基づいて、運転者状態を判定する運転者状態判定装置２０を備えている。さらに、運転者状態検出装置１は、撮影部１０により撮像された顔画像に基づき、画角内への異物の進入等を検出する異物進入判定装置３０、及び運転者状態判定装置２０による判定結果に基づき、運転者に報知するための報知動作を行う報知器４０を備えている。
【００１２】
具体的に上記撮影部１０は、例えば可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。また、異物進入判定装置３０は、例えば、撮影部１０により撮像された画像内の顔以外の物体等（例えば運転者の手や雑誌）を異物として検出するものである。
【００１３】
次に、本装置１の詳細構成、特に運転者状態判定装置２０及び異物進入判定装置３０を図２を参照して説明する。図２は、本発明の第１実施形態に係る運転者状態検出装置１の詳細構成図である。
【００１４】
同図に示すように、上記運転者状態判定装置２０は、運転者状態判定部（運転者状態判定手段）２１と、報知部（報知手段）２２とを備えている。運転者状態判定部２１は、撮影部１０により撮影された顔画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定するものである。ここで、顔部位としては、例えば運転者の眼（いずれか一方だけでもよい）や、鼻や、口等が挙げられる。
【００１５】
また、報知部２２は、運転者状態判定部２１による判定結果に基づいて、運転者に報知するための報知信号を出力するものである。この報知部２２は、報知器４０に接続されており、報知信号を報知器４０に出力する構成とされている。従って、報知器４０は、報知信号を入力すると報知動作を行うこととなる。
【００１６】
また、上記異物進入判定装置３０は、画像処理部（画像処理手段）３１と、報知禁止部（報知禁止手段）３２とを備えている。画像処理部３１は、撮影部１０により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算するものである。詳しくは、画像処理部３１は、撮影部１０から画像データを順次入力し、それら画像データの少なくとも２枚分から、濃度差等に基づいて、画像内の物体の動き方向及び動きの速度を表すオプティカルフローを計算するものである。ここで、オプティカルフローの計算は、予め画像上に設定された参照領域（演算領域）を及び探索領域が利用される。これらについては、後述することとする。
【００１７】
また、報知禁止部３２は、画像処理部３１の計算結果に応じて、報知部２２からの報知信号の出力を禁止して、運転者への報知を禁止するものである。この報知禁止部３２は、画像処理部３１により計算されたオプティカルフローが異物の進入等を表す不可状態である場合、運転者状態判定部２１の判定結果が不正確である可能性があるため、報知信号の出力を禁止する。すなわち、画角内に手などが進入して運転者の顔部位を覆った場合など、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態が正確に判定されない可能性がある。よって、このような場合に報知動作を行うと、誤警報となる可能性があるため、報知信号の出力を禁止するようにしている。
【００１８】
なお、報知禁止部３２は、報知部２２の信号出力を禁止する構成に限られず、報知器４０に直接禁止指令を送出する構成であってもよい。すなわち、報知禁止部３２は、計算されたオプティカルフローが不可状態を示すものである場合に、報知を禁止できる構成であればよい。
【００１９】
次に、本装置１の動作の概略を説明する。図３は、本実施形態に係る運転者状態判定装置２０の動作の概略を示すデータフローダイヤグラムである。
【００２０】
まず、撮影部１０により運転者の顔を含む画像が撮影され（図３ａに示す画像）、その画像が運転者状態判定部２１及び画像処理部３１に入力される。入力後、運転者状態判定部２１は、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する。ここでの判定は、例えば特開平８−２０７６１７号公報、特開平１０−４０３６１号公報、特開平１０−４４８２４号公報、及び特開平１１−３３９２００号公報に記載されるようにして行われる。
【００２１】
そして、運転者状態の判定後、運転者状態判定部２１は、判定結果を報知部２２に送出する。報知部２２は、判定結果に従って運転者への報知の必要性を判断し、必要である場合には、報知信号を報知器４０に出力する。
【００２２】
一方、上記動作の間に、画像処理部３１は、撮影部１０からの画像のデータに基づいて、画像間のオプティカルフローを求める（図３ｂ）。このオプティカルフローは画像内の各領域における移動量等を表すものである。具体的に、オプティカルフローは、画像の所定箇所に存在した顔部位等が、後の画像においてどの方向にどれだけ速度で移動したかを表すものである。すなわち、オプティカルフローは、大きさ及び向きの情報を含むものである。
【００２３】
ここで、オプティカルフローの算出について、より詳細に説明する。オプティカルフローを求める際に、画像処理部３１は、参照領域及び探索領域のデータを入力する。
【００２４】
図４は、参照領域及び探索領域の説明図である。なお、参照領域が或る時刻の画像上に設定されるとすると、探索領域はその時刻よりも後の画像に設定されるものであるが、図４においては、便宜上、幅ｗ画素，高さｈ画素の１つの画像上に表して説明する。
【００２５】
同図に示すように、参照領域は、（ｔｘ，ｔｙ）の位置に設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、（ｓｘ，ｓｙ）の位置に設定される幅ｓｗ画素，高さｓｈ画素の領域である。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定される。また、この参照領域及び探索領域は、それぞれ大きさが異なるものの、中心位置に関しては特定の点Ｏで一致している。
【００２６】
このように、これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。なお、ここでの参照領域及び探索領域は、運転者の顔の位置等に依存せず、予め定められた位置及び大きさで設定される。
【００２７】
また、参照領域は、以下のように配置されることが望ましい。図５は、画像に配置される参照領域の説明図である。参照領域は、例えば図５に示すように、画像下端部に横方向に複数（例えば７つ）配置される。
【００２８】
再度、図３を参照して説明する。オプティカルフローの算出後、画像処理部３１は、求めた各領域毎のオプティカルフローから動きパターンを求める（図３ｃ）。この動きパターンとは、例えばオプティカルフローから得られる動きを時系列的なデータとして現したものである。また、動きパターンは、例えば画角内にハンドルのスポーク部が進入してきた場合、ハンドルが一定の動きしか示さないことから限られたものとなる。このように、動きパターンは、物体等の動きそれぞれによって、或る程度決まったものとなる。
【００２９】
動きパターンの算出後、画像処理部３１は、動きパターンのデータを報知禁止部３２に送出する。送出後、報知禁止部３２は、得られら動きパターンと予め記憶される記憶パターン（図３ｄ）とを照合する。そして、この照合により画角内に異物が進入してきたか否かを判断して結果を得る（図３ｅ）。
【００３０】
そして、異物の進入を判断した場合、報知禁止部３２は、報知部２２が出力するはずであった報知信号の出力を禁止して、報知動作が行われるのを防止する。このように、本装置１は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定している。以上が動作の概略である。
【００３１】
次に、本装置１の詳細な動作について説明する。図６は、本実施形態に係る運転者状態検出装置１の詳細な動作を示すフローチャートである。なお、図６では、運転者の顔部位の位置及び顔部位の移動状態として、運転者の眼の位置、及び眼の移動状態を検出するものとする。さらに、図６では、運転者の眼の位置及び眼の移動状態に基づいて、運転者の脇見を検出するものとし、運転者の眼の開閉状態に基づいて、運転者の居眠りを検出するものとする。
【００３２】
まず、撮影部１０は、運転者の顔を撮像し、得られた顔画像のデータを運転者状態判定部２１及び画像処理部３１に送出する。そして、運転者状態判定部２１及び画像処理部３１は、顔画像のデータを入力する（ＳＴ１０）。
【００３３】
入力後、運転者状態判定部２１は、眼の追跡領域が存在するか否かを判断する（ＳＴ１１）。ここで、追跡領域とは、顔画像上に設定された画像全体よりも小さい領域であって、顔画像から運転者の眼の位置を容易に探すために設けられたものである。また、追跡領域は、眼を含む小さな領域として設定されるため、画像全体からの眼の位置を検出する場合に比べ、画像解像度を上げることができ、眼の位置の検出精度を向上させることができるものである。このため、運転者状態判定部２１は、この追跡領域が設定されているときは、追跡領域内から運転者の眼を探索することなる。一方、追跡領域が設定されていない場合には、画像全体から運転者の眼の位置を探すこととなる。
【００３４】
また、追跡領域の大きさについては、眼の移動量を許容するように設定することで、眼を常に同領域内に捕らえることができる。この場合、眼の移動量を許容するように、眼の移動速度を１フレーム間で動く移動量に置き換えるなどの処理が必要となる。なお、上記許容する範囲の具体例としては、運転者が顔を所定方向に−４０°〜４０°程度動かしたときの範囲である。
【００３５】
眼の追跡領域が設定されていると判断した場合（ＳＴ１１：ＹＥＳ）、処理はステップＳＴ１４に移行する。一方、眼の追跡領域が設定されていないと判断した場合（ＳＴ１１：ＮＯ）、運転者状態判定部２１は、画像全体から眼の位置を検出する（ＳＴ１２）。そして、運転者状態判定部２１は、眼の位置のデータを取得する。
【００３６】
その後、運転者状態判定部２１は、眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ１３）。そして、運転者状態判定部２１は、新たに入力される顔画像については追跡領域内から眼を検出する（ＳＴ１４）。その後、運転者状態判定部２１は、眼の追跡が正しく行われているか否かを判断する（ＳＴ１５）。
【００３７】
眼の追跡が正しく行われていないと判断した場合（ＳＴ１５：ＮＯ）、運転者状態判定部２１は、眼の追跡領域をクリアし（ＳＴ１６）、処理はステップＳＴ１０に戻る。この場合、再度追跡領域の設定が行われることとなる。
【００３８】
一方、眼の追跡が正しく行われていると判断した場合（ＳＴ１５：ＹＥＳ）、運転者状態判定部２１は、眼の位置に基づき脇見検出処理を実行し（ＳＴ１７）、運転者が脇見状態であるか否かを判断する（ＳＴ１８）。ここで、脇見検出処理は、眼の位置そのものに基づいて行われる場合に限らず、眼の位置から求められる眼の移動状態に基づいて行われてもよい。また、眼の位置そのもの及び眼の移動状態の双方に基づくようにしてもよい。
【００３９】
運転者が脇見状態でないと判断した場合（ＳＴ１８：ＮＯ）、運転者状態判定部２１は、閉眼発生頻度に基づいて居眠りの検出処理を実行する（ＳＴ１９）。そして、運転者状態判定部２１は、運転者が居眠り状態であるか否かを判断する（ＳＴ２０）。運転者が居眠り状態でないと判断した場合（ＳＴ２０：ＮＯ）、処理はステップＳＴ１０に戻り、再度運転者状態の検出が行われていくこととなる。
【００４０】
一方、運転者が脇見状態であると判断した場合（ＳＴ１８：ＹＥＳ）、又は運転者が居眠り状態であると判断した場合（ＳＴ２０：ＹＥＳ）、処理はステップＳＴ２２に移行する。
【００４１】
また、上記処理の間に、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行している（ＳＴ２１）。そして、異物の進入を判定後、処理はステップＳＴ２２に移行する。
【００４２】
ステップＳＴ２２において、報知禁止部３２は、画角内への異物の進入が検出されたか否かを判断する（ＳＴ２２）。画角内への異物の進入が検出されたと判断した場合（ＳＴ２２：ＹＥＳ）、報知禁止部３２は、報知部２２による報知信号の出力を禁止する。このため、報知部２２は、報知信号を報知器４０に出力せず、処理はステップＳＴ１０に戻る。
【００４３】
一方、画角内への異物の進入が検出されなかったと判断した場合（ＳＴ２２：ＮＯ）、報知禁止部３２は、報知部２２による報知信号の出力を禁止しない。このため、報知部２２は、報知信号を報知器４０に出力し、運転者への注意喚起が行われることとなる（ＳＴ２３）。その後、処理はステップＳＴ１０に戻る。
【００４４】
なお、画角内に異物が進入して誤報知がなされる場合には、次のような場合である。例えば、車両がコーナーに差し掛かり、運転者のハンドル操作によって、画角内にハンドルのスポークが進入した場合や、道路マップ等を見るべく雑誌を持ち上げた場合である。これらの場合、運転者の眼にハンドルのスポークや雑誌等が覆い被さって正確な検出ができなくなることがあるからである。
【００４５】
次に、異物進入判定処理（ステップＳＴ２１）について詳細に説明する。図７は、図６に示した異物進入判定処理（ステップＳＴ２１）の詳細なフローチャートである。
【００４６】
顔画像のデータを入力した後、画像処理部３１は、顔画像にスムージングフィルタを適応し、所定の式にて画素値を変換する（ＳＴ３０）。ここで、スムージングフィルタは、以下に示す５行５列からなるフィルタである。
【００４７】
【数１】
所定の式は、以下に示すものである。
【００４８】
【数２】
なお、ｄ（ｘ，ｙ）は、撮像画像内の任意位置の画素値であり、ｄ’（ｘ，ｙ）は変換後の画素値である。
【００４９】
その後、画像処理部３１は、現在の顔画像の探索領域内から、前回の顔画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）、すなわちオプティカルフローを算出する（ＳＴ３１）。
【００５０】
具体的には、画像処理部３１は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部３１は、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出し、オプティカルフローとする。
【００５１】
ここで、ステップＳＴ３１について詳細に説明する。上述したように、顔画像上には予め参照領域が設定されている。また、探索領域は参照領域を取り囲むように設定される。また、参照領域と探索領域とは時間を異にして設定される。具体的には、図８に示すように、参照領域は時刻ｔにおいて設定され、探索領域は時刻ｔ後の時刻（ｔ＋１）において設定される。
【００５２】
図８は、図７に示すステップＳＴ３１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。ステップＳＴ３１の処理において、画像処理部３１は、まず、時刻ｔ＋１の探索領域内に候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。具体的には、探索領域内の任意の位置を（ｘｄ，ｙｄ）とした場合、−（ｓｗ−ｔｗ）／２＜ｘｄ＜（ｓｗ−ｔｗ）／２、且つ、−（ｓｈ−ｔｈ）／２＜ｙｄ＜（ｓｈ−ｔｈ）の範囲から切り出した領域である。
【００５３】
画像処理部３１は、探索領域内の所定箇所に上記のような候補領域を設定し、設定した候補領域と参照領域とを比較等して、類似度を求める。次に、画像処理部３１は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００５４】
その後、画像処理部３１は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００５５】
【数３】
上式においては、参照領域の濃淡データをＴとし、候補領域の濃淡データをＳとしている。また、ｘｄは、探索領域内のＸ座標値を示し、ｙｄは、探索領域内のＹ座標値を示している。
【００５６】
以上から、画像処理部３１は、類似度が最大となる位置Ｓを定め、点Ｓと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として取得し、これをオプティカルフローとする。
【００５７】
再度、図７を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部３１は、類似度の範囲が閾値以上か否かを判断する（ＳＴ３２）。すなわち、画像処理部３１は、まず、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。その後、画像処理部３１は、得られた類似度の分散を求め、この分散により類似度の範囲が閾値以上か否かを判断する。
【００５８】
ここで、類似度の範囲が小さい場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｓの検出が不正確になりやすい。このため、図７のステップＳＴ３２の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００５９】
類似度の範囲が閾値以上であると判断した場合（ＳＴ３２：ＹＥＳ）、画像処理部３１は、参照領域を有効な領域とし、ｆｄに「１」を代入する（ＳＴ３３）。そして、処理はステップＳＴ３５に移行する。
【００６０】
一方、類似度の範囲が閾値以上でないと判断した場合（ＳＴ３２：ＮＯ）、画像処理部３１は、参照領域を無効な領域とし、ｆｄに「０」を代入する（ＳＴ３４）。そして、処理はステップＳＴ３５に移行する。このように、画像処理部３１は、特徴量としての類似度の変化量と、予め設定される閾値とを比較することにより、有効か否かを判断している。そして、無効の場合には、得られたオプティカルフローを後の処理に用いないようにしている。なお、以下の説明において、参照領域はすべて有効領域であるとする。
【００６１】
ステップＳＴ３５において、画像処理部３１は、領域の数だけ上記のステップＳＴ３１〜ＳＴ３４を行ったか否かを判断する（ＳＴ３５）。すなわち、画像処理部３１は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００６２】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ３５：ＮＯ）、処理はステップＳＴ３１に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ３１〜ＳＴ３４の処理を繰り返すこととなる。
【００６３】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ３５：ＹＥＳ）、画像処理部３１は、図１２に示す処理を実行する。
【００６４】
なお、オプティカルフローの計算方法は本実施形態の他に、八木信行監修， ”ディジタル映像処理”， 映像情報メディア学会編， ｐｐ．１２９−１３９， ２０００， オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００６５】
ここで、オプティカルフローの検出例を説明する。図９は、画角内にハンドルのスポークが進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。なお、図９においては、図５と同様に、左から順に参照領域Ａ〜Ｇが配置されている。
【００６６】
まず、図９（ａ）に示すように、画角内にハンドルのスポークが進入し始める。このとき、参照領域Ｇのみから画像左上方に向けてオプティカルフローが検出されている。その後、図９（ｂ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の顔の一部を覆う状態となる。このとき、参照領域Ｄ〜Ｇから画像左上方に向けてオプティカルフローが検出されている。
【００６７】
そして、図９（ｃ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の顔の約半分を覆う状態となる。このとき、参照領域Ｂ〜Ｅから画像左上方に向けてオプティカルフローが検出されている。その後、図９（ｄ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の眼についても覆う状態となる。このとき、参照領域Ａ〜Ｄから画像左上方に向けてオプティカルフローが検出されている。
【００６８】
このオプティカルフローを図１０に示す。図１０は、図９に示す例にて得られたオプティカルフローを示すグラフであり、（ａ）は画像縦方向における移動量を示し、（ｂ）は画像横方向における移動量を示している。なお、図１０（ａ）において、縦軸は画像縦方向の移動量を示し、横軸は時刻を示している。また、図１０（ｂ）において、縦軸は画像横方向の移動量を示し、横軸は時刻を示している。
【００６９】
まず、図１０（ａ）に示すように、画像縦方向については、画像に向かって最も右側に位置する参照領域Ｇの移動量が大きく出力される。また、時間的な遅れと共に左側の領域Ａ〜Ｆで移動量が出力されるが、左側に位置する参照領域ほど小さい移動量が出力される。
【００７０】
また、図１０（ｂ）に示すように、画像横方向については、画像中央部に当たる参照領域Ｄの移動量が最大となり、参照領域Ｄから離れた参照領域ほど小さい移動量が検出される。
【００７１】
ここで、オプティカルフロー（移動量）を時系列的に現したものが動きパターンであるため、この図１０に示すデータを予め記憶パターンとして記憶しておくことで、画角内に進入するハンドルを異物として判定することが可能となる。
【００７２】
また、ハンドルを右に切り戻した場合、すなわち、ハンドルを左に切った場合は、図１０で説明した場合と逆に上下左右の反対成分の移動量が出力される。また、画像縦方向の移動量は、領域Ａが最大となり領域Ｇが最小となる。
【００７３】
次に、オプティカルフローの他の検出例及び画像例を説明する。図１１は、画角内にハンドルのスポーク以外の異物が進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は手が進入したときの画像例を示し、（ｂ）は手が進入したときのオプティカルフローの例を示し、（ｃ）は雑誌が進入したときの画像例を示し、（ｄ）は雑誌が進入したときのオプティカルフローの例を示している。なお、図１１においても、図５と同様に、左から順に参照領域Ａ〜Ｇが配置されている。
【００７４】
まず、図１１（ａ）に示すように、運転者が左を上げて左眼を擦る場合、図１１（ｂ）に示すように、画像上方に向けて参照領域Ｄ〜Ｇからオプティカルフローが検出される。また、図１１（ｃ）に示すように、運転者が雑誌等を下から持ち上げる場合、図１１（ｄ）に示すように、画像上方に向けて参照領域Ａ〜Ｇのすべてからオプティカルフローが検出される。
【００７５】
この図１１に示すオプティカルフロー（移動量）についても、時系列的にに示すデータとして、記憶しておくことで、画角内に進入する手や雑誌を異物として判定することが可能となる。
【００７６】
なお、図９〜図１１から明らかなように、異物の進入は、画像端部に設けられた参照領域に基づいて行われる。進入を検出するためには、端部において進入を判断すればよく、端部に限定することで、できるだけ計算負荷を軽減することができるからである。
【００７７】
図１２は、動きパターンに基づいて、異物の進入を判定する動作を示すフローチャートである。同図に示すように、画像処理部３１は、上記に示した動きパターンと、予め記憶される複数の記憶パターンそれぞれとの相関を求める（ＳＴ４０）。
【００７８】
相関を求める方法としては、例えば数３と同様にして求めたり、フーリエ変換やウェブレット変換により周波数解析した情報を用いて求めたりする。ここで具体的に、動きパターンＰ及び記憶パターンＤは、
【数４】
となっている。なお、上記「ｓｔａｔｅ ｃｏｄｅ」は進入した異物を表すコードである。また、「ｄａｔａ」は、移動量を示すものである。
【００７９】
その後、画像処理部３１は、複数の記憶パターンのうち、最も相関の高い記憶パターンを検出する（ＳＴ４１）。検出後、画像処理部３１は、検出された記憶パターンが示す状態を、現在画角内に進入した異物とする（ＳＴ４２）。そして、画像処理部３１は、この検出結果を報知禁止部３２に出力する。
【００８０】
なお、図１２の処理において、画像処理部３１は、最も相関の高い記憶パターンの相関値が所定の閾値を超えない場合には、異物の進入自体がなかったとして結果を得る。
【００８１】
そして、報知禁止部３２は、ここでの結果に基づいて報知の禁止をするか否かを決定し、禁止する場合には報知部２２に対し報知信号の出力を禁止すべく禁止信号等を出力することとなる。
【００８２】
このようにして、本実施形態に係る運転者状態検出装置１では、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて報知を禁止している。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知を禁止するため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【００８３】
従って、誤報知の頻度を低減させることができる。
【００８４】
また、画像端部からの異物の進入を検出している。すなわち、異物の進入を画像端部において検出している。このため、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。
【００８５】
また、オプティカルフローの計算は予め画像上に設定された７つの参照領域にて行われ、これら７つは画像下端部に配置されている。このため、画像内への異物の進入判定について高速化を図ることができる。
【００８６】
なお、上記参照領域は、画像下端部に７つ配置されていたが、これに限るものではない。例えば、図１３及び図１４に示すようにしてもよい。図１３及び図１４は、参照領域の配置例を示す図である。まず、図１３に示すように、参照領域は、画像下端部及び左右端部に配置されている。この場合であっても、同図に示すように、オプティカルフローが検出されている。
【００８７】
また、図１４に示すように、画像周囲部、すなわち画像の下端部、左右端部、上端部のそれぞれに配置するようにしてもよい。この場合であっても、同図に示すように、オプティカルフローが検出されている。ここで、参照領域の数が多い方が、より詳細にオプティカルフローを検出できる。
【００８８】
従って、画像下端部及び左右端部に参照領域を配置した場合、画像内に進入する異物の判定精度を向上させることができる。また、画像周囲部に参照領域を配置した場合には、画像内に進入する異物の判定精度を更に向上させることができる。
【００８９】
さらに、特許文献１に記載の装置では、蛇角センサを用いる構成が提案されている。すなわち、蛇角センサにより運転者の視認方向を推定し、その推定方向を向いていないときに脇見であると判定するようにして、誤報知を抑制している。ところが、本実施形態では、上記したように舵角センサを用いずとも誤報知が抑制でき、構成の簡素化及びコストの低減を図ることができる。
【００９０】
次に、本発明の第２実施形態を説明する。第２実施形態に係る運転者状態検出装置２は、第１実施形態のものと同様であるが、異物進入判定装置３０内に、報知禁止部３２に代えて演算処理中断部（演算処理中断手段）３３を備える点で、第１実施形態のものと異なっている。
【００９１】
以下、第２実施形態に係る運転者状態検出装置２について説明する。図１５は、本発明の第２実施形態に係る運転者状態検出装置２のブロック図である。同図に示す演算処理中断部３３は、画像処理部３１の計算結果に応じて、運転者状態判定部２１での演算処理を中断させるものである。すなわち、報知禁止部３２は報知部２２又は報知器４０に対して報知の禁止を行うものであるのに対し、演算処理中断部３３は、運転者状態判定部２１が実行する報知前段の処理を中断させて報知を禁止させるものである。このため、第２実施形態に係る装置２は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者状態の判定処理を継続するか否かを決定するものといえる。
【００９２】
図１６は、本実施形態に係る運転者状態検出装置２の詳細な動作を示すフローチャートである。まず、図１６に示すステップＳＴ５０〜ＳＴ５６については、図６に示したステップＳＴ１０〜ＳＴ１６と同様であるため、説明を省略する。
【００９３】
ステップＳＴ５７において、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行する（ＳＴ５７）。この処理は、上記ステップＳＴ５０〜ＳＴ５７の間に行われている。
【００９４】
その後、演算処理中断部３３は、画角内への異物の進入が検出されたか否かを判断する（ＳＴ５８）。画角内への異物の進入が検出されたと判断した場合（ＳＴ５８：ＹＥＳ）、処理はステップＳＴ５０に戻る。すなわち、演算処理中断部３３は、運転者状態判定部２１による演算処理を中断させ、処理をステップＳＴ５０に戻す。
【００９５】
一方、画角内への異物の進入が検出されなかったと判断した場合（ＳＴ５８：ＮＯ）、演算処理中断部３３は、運転者状態判定部２１による演算処理を中断させない。このため、以下の処理が実行される。
【００９６】
すなわち、運転者状態判定部２１は、眼の位置に基づき脇見検出処理を実行し（ＳＴ５９）、運転者が脇見状態であるか否かを判断する（ＳＴ６０）。運転者が脇見状態であると判断した場合（ＳＴ６０：ＹＥＳ）、処理はステップＳＴ６３に移行する。
【００９７】
一方、運転者が脇見状態でないと判断した場合（ＳＴ６０：ＮＯ）、運転者状態判定部２１は、閉眼発生頻度に基づいて居眠りの検出処理を実行する（ＳＴ６１）。そして、運転者状態判定部２１は、運転者が居眠り状態であるか否かを判断する（ＳＴ６２）。運転者が居眠り状態でないと判断した場合（ＳＴ６２：ＮＯ）、処理はステップＳＴ１０に戻り、再度運転者状態の検出が行われていくこととなる。
【００９８】
一方、運転者が居眠り状態であると判断した場合（ＳＴ６２：ＹＥＳ）、処理はステップＳＴ６３に移行する。ステップＳＴ６３において、報知部２２は、報知信号を報知器４０に出力し、運転者への注意喚起が行われることとなる（ＳＴ６３）。その後、処理はステップＳＴ１０に戻る。
【００９９】
このようにして、本実施形態に係る運転者状態検出装置２によれば、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて運転者状態判定部２１により演算処理を中断させている。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知前段の演算処理を中断させるため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【０１００】
従って、誤報知の頻度を低減させることができる。
【０１０１】
また、第１実施形態と同様に、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。また、画像内への異物の進入判定について高速化を図ることができる。また、構成の簡素化及びコストの低減を図ることができる。さらに、図１３及び図１４に示すように、進入判定の高速化を図ってもよい。
【０１０２】
また、従来技術では、異常処理が或る程度の時間継続して発生した場合、ステップＳＴ５５のような判段処理を行って、正常な運転者状態に復帰させるバックアップ処理が行われている。しかし、その状態が異常か否かを判定するに当たっては、ある程度の時間を要するという問題点があった。つまり、その間は、脇見検出も居眠り検出もできない時間が発生することになる。ところが、本実施形態では、ハンドルや手などの画角内への進入による処理の発散である場合、運転者状態検出ができないのは、実際にハンドルや手が画角内に入っている時間のみに限定でき、実質、運転者状態検出精度を向上させることができる。従って、判定を数秒内に行わなければならない脇見判定などに特に有効であり、効果的に誤報知の防止ができる。
【０１０３】
次に、本発明の第３実施形態を説明する。第３実施形態に係る運転者状態検出装置３は、第２実施形態のものと同様であるが、異物進入判定装置３０内に、演算切換部（演算切替手段）３４を備える点で、第２実施形態のものと異なっている。
【０１０４】
以下、第３実施形態に係る運転者状態検出装置３について説明する。図１７は、本発明の第３実施形態に係る運転者状態検出装置３のブロック図である。同図に示す演算処理切換部３４は、画角内にハンドルが進入してきた場合に、顔部位の移動状態を検出している処理から、顔部位の位置を検出する処理に切り換えるものである。
【０１０５】
すなわち、顔部位が眼である場合、眼の移動状態を検出して脇見を検出する処理から、眼の位置を検出する処理に切り換えるものである。ここで、眼の位置を検出する処理に切り換えるとは、追跡領域をクリアして再度画像全体から眼の位置を検出することをいう。
【０１０６】
図１８は、本実施形態に係る運転者状態検出装置３の詳細な動作を示すフローチャートである。まず、図１８に示すステップＳＴ７０〜ＳＴ７５については、図１６に示したステップＳＴ５０〜ＳＴ５５と同様であるため、説明を省略する。
【０１０７】
ステップＳＴ７６において、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行する（ＳＴ７６）。この処理は、上記ステップＳＴ７０〜ＳＴ７５の間に行われている。
【０１０８】
その後、画像処理部３１は、画角内へのハンドルの進入が検出されたか否かを判断する（ＳＴ７７）。画角内へのハンドルの進入が検出されたと判断した場合（ＳＴ７７：ＹＥＳ）、眼の追跡領域をクリアし（ＳＴ７８）、処理はステップＳＴ７０に戻る。すなわち、演算処理切換部３４は、眼の移動状態による脇見検出を行うべきところを、眼の位置の検出処理に戻す指令を送出し、処理の切換を行う。そして、この指令を受けた運転者状態判定部２１は、ステップＳＴ７８に示すように目の追跡領域をクリアする。
【０１０９】
画角内へのハンドルの進入が検出されなかったと判断した場合（ＳＴ７７：ＮＯ）、画像処理部３１は、画角内へのハンドル以外の進入が検出されたか否かを判断する（ＳＴ７９）。画角内へのハンドル以外の進入が検出されたと判断した場合（ＳＴ７９：ＹＥＳ）、処理はステップＳＴ７０に戻る。
【０１１０】
一方、画角内へのハンドル以外の進入が検出されなかったと判断した場合（ＳＴ７９：ＮＯ）、処理はステップＳＴ８０に移行する。ステップＳＴ８０〜ＳＴ８４は、図１６に示したステップＳＴ５９〜ＳＴ６３と同様であるため、省略する。
【０１１１】
このようにして、本実施形態に係る運転者状態検出装置３によれば、第２実施形態と同様に、誤報知の頻度を低減させることができる。
【０１１２】
また、異物がハンドルである場合には、例えば、顔部位を眼とした場合、ハンドルのスポーク部により眼が覆い隠されることがある。また、ハンドルのスポーク部により眼が隠れてしまう状態は運転者がハンドル操作をしている状態であるため、カーブ区間を走行中である可能性が高い。さらに、カーブ区間を走行する場合には、運転者はカーブの先を視認しており、正面方向を視認していない場合が多い。
【０１１３】
このような場合に、カーブ区間の走行が終わったときには、運転者は素早く正面方向を視認するが、依然としてスポーク部により眼が隠れていることがある。その後、運転者がハンドルを元に戻しスポーク部により眼が隠されなくなったとしても、スポーク部により眼が隠される前にカーブ方向の視認が検出されていた場合には、隠される前と後とで眼の位置が大きく異なってしまう。このため、検出が不正確になりやすく、誤報知の可能性が増加する。
【０１１４】
ところが、本実施形態によれば、異物がハンドルである場合に、顔部位の移動状態を検出する処理から顔部位の位置を検出処理に切り換えているので、上記問題が発生せず、誤報知の頻度を一層低減させることができる。
【０１１５】
また、第２実施形態と同様に、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。また、画像内への異物の進入判定について高速化を図ることができる。また、構成の簡素化及びコストの低減を図ることができ、効果的に誤報知の防止ができる。さらに、図１３及び図１４に示すように、進入判定の高速化を図ってもよい。
【０１１６】
なお、本実施形態では、異物の進入に対しての誤報知低減を図っているが、本発明はこれに限定されず、進入に限らず画角内からの異物の退出についても同様に行うことができる。例えば、手が眼を覆っているときは、正しい脇見判定や開閉眼判定を行うことができないが、画像認識処理が不安定になる要因は、その時間だけでなく、眼から手が離れる際にも発生する。つまり、眼の追跡処理の判定状態によっては、離れる手を眼のデータだと誤認識してしまう可能性がある。このため、誤報知を発する可能性もあることとなる。本発明は、この異物の退出の際の誤報知も防止できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る運転者状態検出装置の構成図である。
【図２】本発明の第１実施形態に係る運転者状態検出装置１の詳細構成図である。
【図３】本実施形態に係る運転者状態判定装置２０の動作の概略を示すデータフローダイヤグラムである。
【図４】参照領域及び探索領域の説明図である。
【図５】画像に配置される参照領域の説明図である。
【図６】本実施形態に係る運転者状態検出装置１の詳細な動作を示すフローチャートである。
【図７】図６に示した異物進入判定処理（ステップＳＴ２１）の詳細なフローチャートである。
【図８】図７に示すステップＳＴ３１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図９】画角内にハンドルのスポークが進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。
【図１０】図９に示す例にて得られたオプティカルフローを示すグラフであり、（ａ）は画像縦方向における移動量を示し、（ｂ）は画像横方向における移動量を示している。
【図１１】画角内にハンドルのスポーク以外の異物が進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は手が進入したときの画像例を示し、（ｂ）は手が進入したときのオプティカルフローの例を示し、（ｃ）は雑誌が進入したときの画像例を示し、（ｄ）は雑誌が進入したときのオプティカルフローの例を示している。
【図１２】動きパターンに基づいて、異物の進入を判定する動作を示すフローチャートである。
【図１３】参照領域の第１配置例を示す図である。
【図１４】参照領域の第２配置例を示す図である。
【図１５】本発明の第２実施形態に係る運転者状態検出装置２のブロック図である。
【図１６】本実施形態に係る運転者状態検出装置２の詳細な動作を示すフローチャートである。
【図１７】本発明の第３実施形態に係る運転者状態検出装置３のブロック図である。
【図１８】本実施形態に係る運転者状態検出装置３の詳細な動作を示すフローチャートである。
【符号の説明】
１〜３…運転者状態検出装置
１０…撮影部（撮影手段）
２１…運転者状態判定部（運転者状態判定手段）
２２…報知部（報知手段）
３１…画像処理部（画像処理手段）
３２…報知禁止部（報知禁止手段）
３３…演算処理中断部（演算処理中断手段）
３４…演算処理切換部（演算処理切換手段）
【発明の属する技術分野】
本発明は、運転者状態検出装置に関する。
【０００２】
【従来の技術】
従来、車両運転者の顔画像を撮影し、顔の方向又は視線を監視して脇見判定を行う装置が知られている。この装置では、運転者の脇見を検出した場合、警報装置等により運転者に対し注意喚起するようにしている（特許文献１及び２参照）。
【０００３】
【特許文献１】
特開平６−２４３３６７号公報
【０００４】
【特許文献２】
特開２０００−１７２９６６号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記特許文献１及び２に記載の脇見検出装置では、運転者が鼻を触るなど、顔画像を撮影している画角内に運転者の手が入ってくることがある。このような場合において、従来の装置では、手が検出対象である鼻や眼などの顔部位を覆ってしまうと、画像認識処理が不安定となって、誤報知されてしまう可能性がある。このため、従来の装置では、誤報知の頻度が増加してしまうという問題があった。
【０００６】
なお、この問題は、画角内に手が進入する場合に限らず、顔以外の異物が進入する場合にも同様に発生する問題である。また、脇見検出装置のみならず、運転者の顔画像を取得して所定の処理を行う装置、例えば居眠検出装置においても同様に発生する問題である。
【０００７】
【課題を解決するための手段】
本発明によれば、撮像手段は運転者の顔を撮影し、運転者状態判定手段は、撮影手段により撮影された顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定し、報知手段は、運転者状態判定手段による判定結果に基づいて、運転者に報知するための報知信号を出力し、画像処理手段は、撮影手段により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算し、報知禁止手段は、画像処理手段の計算結果に応じて、報知手段からの報知を禁止する。
【０００８】
【発明の効果】
本発明によれば、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて報知動作を禁止している。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知を禁止するため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【０００９】
従って、誤報知の頻度を低減させることができる。
【００１０】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る運転者状態検出装置の構成図である。同図に示すように、本実施形態の運転者状態検出装置１は、運転者状態としての脇見及び居眠りなどを検出するに当たり、その検出が望ましくない状態、すなわち不可状態であるか否かを検出するものである。そして、運転者状態検出装置１は、不可状態であることを検出した場合には、運転者への報知を禁止するものである。
【００１１】
この運転者状態検出装置１は、車両の運転者の顔を撮影する撮影部（撮影手段）１０、及び撮影部１０により撮影された顔の画像（以下、顔画像という）に基づいて、運転者状態を判定する運転者状態判定装置２０を備えている。さらに、運転者状態検出装置１は、撮影部１０により撮像された顔画像に基づき、画角内への異物の進入等を検出する異物進入判定装置３０、及び運転者状態判定装置２０による判定結果に基づき、運転者に報知するための報知動作を行う報知器４０を備えている。
【００１２】
具体的に上記撮影部１０は、例えば可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。また、異物進入判定装置３０は、例えば、撮影部１０により撮像された画像内の顔以外の物体等（例えば運転者の手や雑誌）を異物として検出するものである。
【００１３】
次に、本装置１の詳細構成、特に運転者状態判定装置２０及び異物進入判定装置３０を図２を参照して説明する。図２は、本発明の第１実施形態に係る運転者状態検出装置１の詳細構成図である。
【００１４】
同図に示すように、上記運転者状態判定装置２０は、運転者状態判定部（運転者状態判定手段）２１と、報知部（報知手段）２２とを備えている。運転者状態判定部２１は、撮影部１０により撮影された顔画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定するものである。ここで、顔部位としては、例えば運転者の眼（いずれか一方だけでもよい）や、鼻や、口等が挙げられる。
【００１５】
また、報知部２２は、運転者状態判定部２１による判定結果に基づいて、運転者に報知するための報知信号を出力するものである。この報知部２２は、報知器４０に接続されており、報知信号を報知器４０に出力する構成とされている。従って、報知器４０は、報知信号を入力すると報知動作を行うこととなる。
【００１６】
また、上記異物進入判定装置３０は、画像処理部（画像処理手段）３１と、報知禁止部（報知禁止手段）３２とを備えている。画像処理部３１は、撮影部１０により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算するものである。詳しくは、画像処理部３１は、撮影部１０から画像データを順次入力し、それら画像データの少なくとも２枚分から、濃度差等に基づいて、画像内の物体の動き方向及び動きの速度を表すオプティカルフローを計算するものである。ここで、オプティカルフローの計算は、予め画像上に設定された参照領域（演算領域）を及び探索領域が利用される。これらについては、後述することとする。
【００１７】
また、報知禁止部３２は、画像処理部３１の計算結果に応じて、報知部２２からの報知信号の出力を禁止して、運転者への報知を禁止するものである。この報知禁止部３２は、画像処理部３１により計算されたオプティカルフローが異物の進入等を表す不可状態である場合、運転者状態判定部２１の判定結果が不正確である可能性があるため、報知信号の出力を禁止する。すなわち、画角内に手などが進入して運転者の顔部位を覆った場合など、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態が正確に判定されない可能性がある。よって、このような場合に報知動作を行うと、誤警報となる可能性があるため、報知信号の出力を禁止するようにしている。
【００１８】
なお、報知禁止部３２は、報知部２２の信号出力を禁止する構成に限られず、報知器４０に直接禁止指令を送出する構成であってもよい。すなわち、報知禁止部３２は、計算されたオプティカルフローが不可状態を示すものである場合に、報知を禁止できる構成であればよい。
【００１９】
次に、本装置１の動作の概略を説明する。図３は、本実施形態に係る運転者状態判定装置２０の動作の概略を示すデータフローダイヤグラムである。
【００２０】
まず、撮影部１０により運転者の顔を含む画像が撮影され（図３ａに示す画像）、その画像が運転者状態判定部２１及び画像処理部３１に入力される。入力後、運転者状態判定部２１は、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する。ここでの判定は、例えば特開平８−２０７６１７号公報、特開平１０−４０３６１号公報、特開平１０−４４８２４号公報、及び特開平１１−３３９２００号公報に記載されるようにして行われる。
【００２１】
そして、運転者状態の判定後、運転者状態判定部２１は、判定結果を報知部２２に送出する。報知部２２は、判定結果に従って運転者への報知の必要性を判断し、必要である場合には、報知信号を報知器４０に出力する。
【００２２】
一方、上記動作の間に、画像処理部３１は、撮影部１０からの画像のデータに基づいて、画像間のオプティカルフローを求める（図３ｂ）。このオプティカルフローは画像内の各領域における移動量等を表すものである。具体的に、オプティカルフローは、画像の所定箇所に存在した顔部位等が、後の画像においてどの方向にどれだけ速度で移動したかを表すものである。すなわち、オプティカルフローは、大きさ及び向きの情報を含むものである。
【００２３】
ここで、オプティカルフローの算出について、より詳細に説明する。オプティカルフローを求める際に、画像処理部３１は、参照領域及び探索領域のデータを入力する。
【００２４】
図４は、参照領域及び探索領域の説明図である。なお、参照領域が或る時刻の画像上に設定されるとすると、探索領域はその時刻よりも後の画像に設定されるものであるが、図４においては、便宜上、幅ｗ画素，高さｈ画素の１つの画像上に表して説明する。
【００２５】
同図に示すように、参照領域は、（ｔｘ，ｔｙ）の位置に設定される幅ｔｗ画素，高さｔｈ画素の領域である。また、探索領域は、（ｓｘ，ｓｙ）の位置に設定される幅ｓｗ画素，高さｓｈ画素の領域である。この探索領域は、各参照領域を取り囲んで設定されるものであり、参照領域と同じ数だけ設定される。また、この参照領域及び探索領域は、それぞれ大きさが異なるものの、中心位置に関しては特定の点Ｏで一致している。
【００２６】
このように、これら両領域は中心を等しくし、ｓｗ＞ｔｗ且つｓｈ＞ｓｗの関係となるように設定される。なお、ここでの参照領域及び探索領域は、運転者の顔の位置等に依存せず、予め定められた位置及び大きさで設定される。
【００２７】
また、参照領域は、以下のように配置されることが望ましい。図５は、画像に配置される参照領域の説明図である。参照領域は、例えば図５に示すように、画像下端部に横方向に複数（例えば７つ）配置される。
【００２８】
再度、図３を参照して説明する。オプティカルフローの算出後、画像処理部３１は、求めた各領域毎のオプティカルフローから動きパターンを求める（図３ｃ）。この動きパターンとは、例えばオプティカルフローから得られる動きを時系列的なデータとして現したものである。また、動きパターンは、例えば画角内にハンドルのスポーク部が進入してきた場合、ハンドルが一定の動きしか示さないことから限られたものとなる。このように、動きパターンは、物体等の動きそれぞれによって、或る程度決まったものとなる。
【００２９】
動きパターンの算出後、画像処理部３１は、動きパターンのデータを報知禁止部３２に送出する。送出後、報知禁止部３２は、得られら動きパターンと予め記憶される記憶パターン（図３ｄ）とを照合する。そして、この照合により画角内に異物が進入してきたか否かを判断して結果を得る（図３ｅ）。
【００３０】
そして、異物の進入を判断した場合、報知禁止部３２は、報知部２２が出力するはずであった報知信号の出力を禁止して、報知動作が行われるのを防止する。このように、本装置１は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定している。以上が動作の概略である。
【００３１】
次に、本装置１の詳細な動作について説明する。図６は、本実施形態に係る運転者状態検出装置１の詳細な動作を示すフローチャートである。なお、図６では、運転者の顔部位の位置及び顔部位の移動状態として、運転者の眼の位置、及び眼の移動状態を検出するものとする。さらに、図６では、運転者の眼の位置及び眼の移動状態に基づいて、運転者の脇見を検出するものとし、運転者の眼の開閉状態に基づいて、運転者の居眠りを検出するものとする。
【００３２】
まず、撮影部１０は、運転者の顔を撮像し、得られた顔画像のデータを運転者状態判定部２１及び画像処理部３１に送出する。そして、運転者状態判定部２１及び画像処理部３１は、顔画像のデータを入力する（ＳＴ１０）。
【００３３】
入力後、運転者状態判定部２１は、眼の追跡領域が存在するか否かを判断する（ＳＴ１１）。ここで、追跡領域とは、顔画像上に設定された画像全体よりも小さい領域であって、顔画像から運転者の眼の位置を容易に探すために設けられたものである。また、追跡領域は、眼を含む小さな領域として設定されるため、画像全体からの眼の位置を検出する場合に比べ、画像解像度を上げることができ、眼の位置の検出精度を向上させることができるものである。このため、運転者状態判定部２１は、この追跡領域が設定されているときは、追跡領域内から運転者の眼を探索することなる。一方、追跡領域が設定されていない場合には、画像全体から運転者の眼の位置を探すこととなる。
【００３４】
また、追跡領域の大きさについては、眼の移動量を許容するように設定することで、眼を常に同領域内に捕らえることができる。この場合、眼の移動量を許容するように、眼の移動速度を１フレーム間で動く移動量に置き換えるなどの処理が必要となる。なお、上記許容する範囲の具体例としては、運転者が顔を所定方向に−４０°〜４０°程度動かしたときの範囲である。
【００３５】
眼の追跡領域が設定されていると判断した場合（ＳＴ１１：ＹＥＳ）、処理はステップＳＴ１４に移行する。一方、眼の追跡領域が設定されていないと判断した場合（ＳＴ１１：ＮＯ）、運転者状態判定部２１は、画像全体から眼の位置を検出する（ＳＴ１２）。そして、運転者状態判定部２１は、眼の位置のデータを取得する。
【００３６】
その後、運転者状態判定部２１は、眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ１３）。そして、運転者状態判定部２１は、新たに入力される顔画像については追跡領域内から眼を検出する（ＳＴ１４）。その後、運転者状態判定部２１は、眼の追跡が正しく行われているか否かを判断する（ＳＴ１５）。
【００３７】
眼の追跡が正しく行われていないと判断した場合（ＳＴ１５：ＮＯ）、運転者状態判定部２１は、眼の追跡領域をクリアし（ＳＴ１６）、処理はステップＳＴ１０に戻る。この場合、再度追跡領域の設定が行われることとなる。
【００３８】
一方、眼の追跡が正しく行われていると判断した場合（ＳＴ１５：ＹＥＳ）、運転者状態判定部２１は、眼の位置に基づき脇見検出処理を実行し（ＳＴ１７）、運転者が脇見状態であるか否かを判断する（ＳＴ１８）。ここで、脇見検出処理は、眼の位置そのものに基づいて行われる場合に限らず、眼の位置から求められる眼の移動状態に基づいて行われてもよい。また、眼の位置そのもの及び眼の移動状態の双方に基づくようにしてもよい。
【００３９】
運転者が脇見状態でないと判断した場合（ＳＴ１８：ＮＯ）、運転者状態判定部２１は、閉眼発生頻度に基づいて居眠りの検出処理を実行する（ＳＴ１９）。そして、運転者状態判定部２１は、運転者が居眠り状態であるか否かを判断する（ＳＴ２０）。運転者が居眠り状態でないと判断した場合（ＳＴ２０：ＮＯ）、処理はステップＳＴ１０に戻り、再度運転者状態の検出が行われていくこととなる。
【００４０】
一方、運転者が脇見状態であると判断した場合（ＳＴ１８：ＹＥＳ）、又は運転者が居眠り状態であると判断した場合（ＳＴ２０：ＹＥＳ）、処理はステップＳＴ２２に移行する。
【００４１】
また、上記処理の間に、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行している（ＳＴ２１）。そして、異物の進入を判定後、処理はステップＳＴ２２に移行する。
【００４２】
ステップＳＴ２２において、報知禁止部３２は、画角内への異物の進入が検出されたか否かを判断する（ＳＴ２２）。画角内への異物の進入が検出されたと判断した場合（ＳＴ２２：ＹＥＳ）、報知禁止部３２は、報知部２２による報知信号の出力を禁止する。このため、報知部２２は、報知信号を報知器４０に出力せず、処理はステップＳＴ１０に戻る。
【００４３】
一方、画角内への異物の進入が検出されなかったと判断した場合（ＳＴ２２：ＮＯ）、報知禁止部３２は、報知部２２による報知信号の出力を禁止しない。このため、報知部２２は、報知信号を報知器４０に出力し、運転者への注意喚起が行われることとなる（ＳＴ２３）。その後、処理はステップＳＴ１０に戻る。
【００４４】
なお、画角内に異物が進入して誤報知がなされる場合には、次のような場合である。例えば、車両がコーナーに差し掛かり、運転者のハンドル操作によって、画角内にハンドルのスポークが進入した場合や、道路マップ等を見るべく雑誌を持ち上げた場合である。これらの場合、運転者の眼にハンドルのスポークや雑誌等が覆い被さって正確な検出ができなくなることがあるからである。
【００４５】
次に、異物進入判定処理（ステップＳＴ２１）について詳細に説明する。図７は、図６に示した異物進入判定処理（ステップＳＴ２１）の詳細なフローチャートである。
【００４６】
顔画像のデータを入力した後、画像処理部３１は、顔画像にスムージングフィルタを適応し、所定の式にて画素値を変換する（ＳＴ３０）。ここで、スムージングフィルタは、以下に示す５行５列からなるフィルタである。
【００４７】
【数１】
【００４８】
【数２】
【００４９】
その後、画像処理部３１は、現在の顔画像の探索領域内から、前回の顔画像内の参照領域に最も類似する位置を求めて、移動量（ｘｄ，ｙｄ）、すなわちオプティカルフローを算出する（ＳＴ３１）。
【００５０】
具体的には、画像処理部３１は、まず、探索領域内から参照領域に最も類似する領域を求め、最も類似する領域の中心点を、参照領域に最も類似する位置とする。そして、画像処理部３１は、求められた最も類似する領域の中心点と、探索領域の中心点とから移動量（ｘｄ，ｙｄ）を算出し、オプティカルフローとする。
【００５１】
ここで、ステップＳＴ３１について詳細に説明する。上述したように、顔画像上には予め参照領域が設定されている。また、探索領域は参照領域を取り囲むように設定される。また、参照領域と探索領域とは時間を異にして設定される。具体的には、図８に示すように、参照領域は時刻ｔにおいて設定され、探索領域は時刻ｔ後の時刻（ｔ＋１）において設定される。
【００５２】
図８は、図７に示すステップＳＴ３１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。ステップＳＴ３１の処理において、画像処理部３１は、まず、時刻ｔ＋１の探索領域内に候補領域を作成する。この候補領域は、参照領域と同じ大きさを有する領域である。具体的には、探索領域内の任意の位置を（ｘｄ，ｙｄ）とした場合、−（ｓｗ−ｔｗ）／２＜ｘｄ＜（ｓｗ−ｔｗ）／２、且つ、−（ｓｈ−ｔｈ）／２＜ｙｄ＜（ｓｈ−ｔｈ）の範囲から切り出した領域である。
【００５３】
画像処理部３１は、探索領域内の所定箇所に上記のような候補領域を設定し、設定した候補領域と参照領域とを比較等して、類似度を求める。次に、画像処理部３１は、候補領域を他の位置に動かし、動かした位置の候補領域と参照領域とを比較等して類似度を求める。
【００５４】
その後、画像処理部３１は、候補領域を順次移動させていき、探索領域内での各箇所において参照領域との類似度を算出する。類似度は、例えば、濃淡データを基準に判断される。ここで、濃淡データを基準に類似度を算出する場合において、類似度をｃｏｓθとすると、類似度は以下の式にて表される。
【００５５】
【数３】
【００５６】
以上から、画像処理部３１は、類似度が最大となる位置Ｓを定め、点Ｓと点Ｏとの座標値の差を移動量（ｘｄ，ｙｄ）として取得し、これをオプティカルフローとする。
【００５７】
再度、図７を参照して説明する。移動量（ｘｄ，ｙｄ）の算出後、画像処理部３１は、類似度の範囲が閾値以上か否かを判断する（ＳＴ３２）。すなわち、画像処理部３１は、まず、候補領域によって探索領域内を走査していき、探索領域内の各箇所の類似度を算出する。その後、画像処理部３１は、得られた類似度の分散を求め、この分散により類似度の範囲が閾値以上か否かを判断する。
【００５８】
ここで、類似度の範囲が小さい場合とは、探索領域内の各箇所において、同じような類似度が検出される場合である。例えば、参照領域が真っ白な画像である場合など、特徴が少ない場合には探索領域内のどの箇所と比較しても似たような類似度の結果が得られることとなる。そして、このような場合、それぞれ類似度の差が小さいことから、類似度が最大となる点Ｓの検出が不正確になりやすい。このため、図７のステップＳＴ３２の処理では、所定の閾値と比較し、好適なものと不適なものとの選別するようにしている。
【００５９】
類似度の範囲が閾値以上であると判断した場合（ＳＴ３２：ＹＥＳ）、画像処理部３１は、参照領域を有効な領域とし、ｆｄに「１」を代入する（ＳＴ３３）。そして、処理はステップＳＴ３５に移行する。
【００６０】
一方、類似度の範囲が閾値以上でないと判断した場合（ＳＴ３２：ＮＯ）、画像処理部３１は、参照領域を無効な領域とし、ｆｄに「０」を代入する（ＳＴ３４）。そして、処理はステップＳＴ３５に移行する。このように、画像処理部３１は、特徴量としての類似度の変化量と、予め設定される閾値とを比較することにより、有効か否かを判断している。そして、無効の場合には、得られたオプティカルフローを後の処理に用いないようにしている。なお、以下の説明において、参照領域はすべて有効領域であるとする。
【００６１】
ステップＳＴ３５において、画像処理部３１は、領域の数だけ上記のステップＳＴ３１〜ＳＴ３４を行ったか否かを判断する（ＳＴ３５）。すなわち、画像処理部３１は、すべての参照領域について、探索領域内から類似する位置を特定したか否かを判断している。
【００６２】
いずれかの参照領域について、探索領域内から類似する位置を特定していないと判断した場合（ＳＴ３５：ＮＯ）、処理はステップＳＴ３１に戻り、類似する位置を特定していない参照領域について、上記ステップＳＴ３１〜ＳＴ３４の処理を繰り返すこととなる。
【００６３】
一方、すべての参照領域について、探索領域内から類似する位置を特定したと判断した場合（ＳＴ３５：ＹＥＳ）、画像処理部３１は、図１２に示す処理を実行する。
【００６４】
なお、オプティカルフローの計算方法は本実施形態の他に、八木信行監修， ”ディジタル映像処理”， 映像情報メディア学会編， ｐｐ．１２９−１３９， ２０００， オーム社 などにて動画像から動きを検出する手法が複数紹介されていおり、それらを用いることもできる。
【００６５】
ここで、オプティカルフローの検出例を説明する。図９は、画角内にハンドルのスポークが進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。なお、図９においては、図５と同様に、左から順に参照領域Ａ〜Ｇが配置されている。
【００６６】
まず、図９（ａ）に示すように、画角内にハンドルのスポークが進入し始める。このとき、参照領域Ｇのみから画像左上方に向けてオプティカルフローが検出されている。その後、図９（ｂ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の顔の一部を覆う状態となる。このとき、参照領域Ｄ〜Ｇから画像左上方に向けてオプティカルフローが検出されている。
【００６７】
そして、図９（ｃ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の顔の約半分を覆う状態となる。このとき、参照領域Ｂ〜Ｅから画像左上方に向けてオプティカルフローが検出されている。その後、図９（ｄ）に示すように、画角内にハンドルのスポークが更に進入して、運転者の眼についても覆う状態となる。このとき、参照領域Ａ〜Ｄから画像左上方に向けてオプティカルフローが検出されている。
【００６８】
このオプティカルフローを図１０に示す。図１０は、図９に示す例にて得られたオプティカルフローを示すグラフであり、（ａ）は画像縦方向における移動量を示し、（ｂ）は画像横方向における移動量を示している。なお、図１０（ａ）において、縦軸は画像縦方向の移動量を示し、横軸は時刻を示している。また、図１０（ｂ）において、縦軸は画像横方向の移動量を示し、横軸は時刻を示している。
【００６９】
まず、図１０（ａ）に示すように、画像縦方向については、画像に向かって最も右側に位置する参照領域Ｇの移動量が大きく出力される。また、時間的な遅れと共に左側の領域Ａ〜Ｆで移動量が出力されるが、左側に位置する参照領域ほど小さい移動量が出力される。
【００７０】
また、図１０（ｂ）に示すように、画像横方向については、画像中央部に当たる参照領域Ｄの移動量が最大となり、参照領域Ｄから離れた参照領域ほど小さい移動量が検出される。
【００７１】
ここで、オプティカルフロー（移動量）を時系列的に現したものが動きパターンであるため、この図１０に示すデータを予め記憶パターンとして記憶しておくことで、画角内に進入するハンドルを異物として判定することが可能となる。
【００７２】
また、ハンドルを右に切り戻した場合、すなわち、ハンドルを左に切った場合は、図１０で説明した場合と逆に上下左右の反対成分の移動量が出力される。また、画像縦方向の移動量は、領域Ａが最大となり領域Ｇが最小となる。
【００７３】
次に、オプティカルフローの他の検出例及び画像例を説明する。図１１は、画角内にハンドルのスポーク以外の異物が進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は手が進入したときの画像例を示し、（ｂ）は手が進入したときのオプティカルフローの例を示し、（ｃ）は雑誌が進入したときの画像例を示し、（ｄ）は雑誌が進入したときのオプティカルフローの例を示している。なお、図１１においても、図５と同様に、左から順に参照領域Ａ〜Ｇが配置されている。
【００７４】
まず、図１１（ａ）に示すように、運転者が左を上げて左眼を擦る場合、図１１（ｂ）に示すように、画像上方に向けて参照領域Ｄ〜Ｇからオプティカルフローが検出される。また、図１１（ｃ）に示すように、運転者が雑誌等を下から持ち上げる場合、図１１（ｄ）に示すように、画像上方に向けて参照領域Ａ〜Ｇのすべてからオプティカルフローが検出される。
【００７５】
この図１１に示すオプティカルフロー（移動量）についても、時系列的にに示すデータとして、記憶しておくことで、画角内に進入する手や雑誌を異物として判定することが可能となる。
【００７６】
なお、図９〜図１１から明らかなように、異物の進入は、画像端部に設けられた参照領域に基づいて行われる。進入を検出するためには、端部において進入を判断すればよく、端部に限定することで、できるだけ計算負荷を軽減することができるからである。
【００７７】
図１２は、動きパターンに基づいて、異物の進入を判定する動作を示すフローチャートである。同図に示すように、画像処理部３１は、上記に示した動きパターンと、予め記憶される複数の記憶パターンそれぞれとの相関を求める（ＳＴ４０）。
【００７８】
相関を求める方法としては、例えば数３と同様にして求めたり、フーリエ変換やウェブレット変換により周波数解析した情報を用いて求めたりする。ここで具体的に、動きパターンＰ及び記憶パターンＤは、
【数４】
【００７９】
その後、画像処理部３１は、複数の記憶パターンのうち、最も相関の高い記憶パターンを検出する（ＳＴ４１）。検出後、画像処理部３１は、検出された記憶パターンが示す状態を、現在画角内に進入した異物とする（ＳＴ４２）。そして、画像処理部３１は、この検出結果を報知禁止部３２に出力する。
【００８０】
なお、図１２の処理において、画像処理部３１は、最も相関の高い記憶パターンの相関値が所定の閾値を超えない場合には、異物の進入自体がなかったとして結果を得る。
【００８１】
そして、報知禁止部３２は、ここでの結果に基づいて報知の禁止をするか否かを決定し、禁止する場合には報知部２２に対し報知信号の出力を禁止すべく禁止信号等を出力することとなる。
【００８２】
このようにして、本実施形態に係る運転者状態検出装置１では、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて報知を禁止している。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知を禁止するため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【００８３】
従って、誤報知の頻度を低減させることができる。
【００８４】
また、画像端部からの異物の進入を検出している。すなわち、異物の進入を画像端部において検出している。このため、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。
【００８５】
また、オプティカルフローの計算は予め画像上に設定された７つの参照領域にて行われ、これら７つは画像下端部に配置されている。このため、画像内への異物の進入判定について高速化を図ることができる。
【００８６】
なお、上記参照領域は、画像下端部に７つ配置されていたが、これに限るものではない。例えば、図１３及び図１４に示すようにしてもよい。図１３及び図１４は、参照領域の配置例を示す図である。まず、図１３に示すように、参照領域は、画像下端部及び左右端部に配置されている。この場合であっても、同図に示すように、オプティカルフローが検出されている。
【００８７】
また、図１４に示すように、画像周囲部、すなわち画像の下端部、左右端部、上端部のそれぞれに配置するようにしてもよい。この場合であっても、同図に示すように、オプティカルフローが検出されている。ここで、参照領域の数が多い方が、より詳細にオプティカルフローを検出できる。
【００８８】
従って、画像下端部及び左右端部に参照領域を配置した場合、画像内に進入する異物の判定精度を向上させることができる。また、画像周囲部に参照領域を配置した場合には、画像内に進入する異物の判定精度を更に向上させることができる。
【００８９】
さらに、特許文献１に記載の装置では、蛇角センサを用いる構成が提案されている。すなわち、蛇角センサにより運転者の視認方向を推定し、その推定方向を向いていないときに脇見であると判定するようにして、誤報知を抑制している。ところが、本実施形態では、上記したように舵角センサを用いずとも誤報知が抑制でき、構成の簡素化及びコストの低減を図ることができる。
【００９０】
次に、本発明の第２実施形態を説明する。第２実施形態に係る運転者状態検出装置２は、第１実施形態のものと同様であるが、異物進入判定装置３０内に、報知禁止部３２に代えて演算処理中断部（演算処理中断手段）３３を備える点で、第１実施形態のものと異なっている。
【００９１】
以下、第２実施形態に係る運転者状態検出装置２について説明する。図１５は、本発明の第２実施形態に係る運転者状態検出装置２のブロック図である。同図に示す演算処理中断部３３は、画像処理部３１の計算結果に応じて、運転者状態判定部２１での演算処理を中断させるものである。すなわち、報知禁止部３２は報知部２２又は報知器４０に対して報知の禁止を行うものであるのに対し、演算処理中断部３３は、運転者状態判定部２１が実行する報知前段の処理を中断させて報知を禁止させるものである。このため、第２実施形態に係る装置２は、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者状態の判定処理を継続するか否かを決定するものといえる。
【００９２】
図１６は、本実施形態に係る運転者状態検出装置２の詳細な動作を示すフローチャートである。まず、図１６に示すステップＳＴ５０〜ＳＴ５６については、図６に示したステップＳＴ１０〜ＳＴ１６と同様であるため、説明を省略する。
【００９３】
ステップＳＴ５７において、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行する（ＳＴ５７）。この処理は、上記ステップＳＴ５０〜ＳＴ５７の間に行われている。
【００９４】
その後、演算処理中断部３３は、画角内への異物の進入が検出されたか否かを判断する（ＳＴ５８）。画角内への異物の進入が検出されたと判断した場合（ＳＴ５８：ＹＥＳ）、処理はステップＳＴ５０に戻る。すなわち、演算処理中断部３３は、運転者状態判定部２１による演算処理を中断させ、処理をステップＳＴ５０に戻す。
【００９５】
一方、画角内への異物の進入が検出されなかったと判断した場合（ＳＴ５８：ＮＯ）、演算処理中断部３３は、運転者状態判定部２１による演算処理を中断させない。このため、以下の処理が実行される。
【００９６】
すなわち、運転者状態判定部２１は、眼の位置に基づき脇見検出処理を実行し（ＳＴ５９）、運転者が脇見状態であるか否かを判断する（ＳＴ６０）。運転者が脇見状態であると判断した場合（ＳＴ６０：ＹＥＳ）、処理はステップＳＴ６３に移行する。
【００９７】
一方、運転者が脇見状態でないと判断した場合（ＳＴ６０：ＮＯ）、運転者状態判定部２１は、閉眼発生頻度に基づいて居眠りの検出処理を実行する（ＳＴ６１）。そして、運転者状態判定部２１は、運転者が居眠り状態であるか否かを判断する（ＳＴ６２）。運転者が居眠り状態でないと判断した場合（ＳＴ６２：ＮＯ）、処理はステップＳＴ１０に戻り、再度運転者状態の検出が行われていくこととなる。
【００９８】
一方、運転者が居眠り状態であると判断した場合（ＳＴ６２：ＹＥＳ）、処理はステップＳＴ６３に移行する。ステップＳＴ６３において、報知部２２は、報知信号を報知器４０に出力し、運転者への注意喚起が行われることとなる（ＳＴ６３）。その後、処理はステップＳＴ１０に戻る。
【００９９】
このようにして、本実施形態に係る運転者状態検出装置２によれば、２枚以上の顔の画像間のオプティカルフローを計算し、計算結果に応じて運転者状態判定部２１により演算処理を中断させている。まず、オプティカルフローを検出すると、運転者の顔周辺の物体等の動きを捕らえることができる。このため、運転者の手などの異物が画角内に進入してきた場合であっても、その動きを捕らえることができ、異物が顔部位を覆ってしまうなど、画像認識処理が不安定となる異常状態の検知が可能となる。そして、オプティカルフローの計算結果に応じて報知前段の演算処理を中断させるため、画像認識処理が不安定となる場合に、報知動作を禁止することができる。
【０１００】
従って、誤報知の頻度を低減させることができる。
【０１０１】
また、第１実施形態と同様に、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。また、画像内への異物の進入判定について高速化を図ることができる。また、構成の簡素化及びコストの低減を図ることができる。さらに、図１３及び図１４に示すように、進入判定の高速化を図ってもよい。
【０１０２】
また、従来技術では、異常処理が或る程度の時間継続して発生した場合、ステップＳＴ５５のような判段処理を行って、正常な運転者状態に復帰させるバックアップ処理が行われている。しかし、その状態が異常か否かを判定するに当たっては、ある程度の時間を要するという問題点があった。つまり、その間は、脇見検出も居眠り検出もできない時間が発生することになる。ところが、本実施形態では、ハンドルや手などの画角内への進入による処理の発散である場合、運転者状態検出ができないのは、実際にハンドルや手が画角内に入っている時間のみに限定でき、実質、運転者状態検出精度を向上させることができる。従って、判定を数秒内に行わなければならない脇見判定などに特に有効であり、効果的に誤報知の防止ができる。
【０１０３】
次に、本発明の第３実施形態を説明する。第３実施形態に係る運転者状態検出装置３は、第２実施形態のものと同様であるが、異物進入判定装置３０内に、演算切換部（演算切替手段）３４を備える点で、第２実施形態のものと異なっている。
【０１０４】
以下、第３実施形態に係る運転者状態検出装置３について説明する。図１７は、本発明の第３実施形態に係る運転者状態検出装置３のブロック図である。同図に示す演算処理切換部３４は、画角内にハンドルが進入してきた場合に、顔部位の移動状態を検出している処理から、顔部位の位置を検出する処理に切り換えるものである。
【０１０５】
すなわち、顔部位が眼である場合、眼の移動状態を検出して脇見を検出する処理から、眼の位置を検出する処理に切り換えるものである。ここで、眼の位置を検出する処理に切り換えるとは、追跡領域をクリアして再度画像全体から眼の位置を検出することをいう。
【０１０６】
図１８は、本実施形態に係る運転者状態検出装置３の詳細な動作を示すフローチャートである。まず、図１８に示すステップＳＴ７０〜ＳＴ７５については、図１６に示したステップＳＴ５０〜ＳＴ５５と同様であるため、説明を省略する。
【０１０７】
ステップＳＴ７６において、画像処理部３１は、オプティカルフローによる異物の進入判定処理を実行する（ＳＴ７６）。この処理は、上記ステップＳＴ７０〜ＳＴ７５の間に行われている。
【０１０８】
その後、画像処理部３１は、画角内へのハンドルの進入が検出されたか否かを判断する（ＳＴ７７）。画角内へのハンドルの進入が検出されたと判断した場合（ＳＴ７７：ＹＥＳ）、眼の追跡領域をクリアし（ＳＴ７８）、処理はステップＳＴ７０に戻る。すなわち、演算処理切換部３４は、眼の移動状態による脇見検出を行うべきところを、眼の位置の検出処理に戻す指令を送出し、処理の切換を行う。そして、この指令を受けた運転者状態判定部２１は、ステップＳＴ７８に示すように目の追跡領域をクリアする。
【０１０９】
画角内へのハンドルの進入が検出されなかったと判断した場合（ＳＴ７７：ＮＯ）、画像処理部３１は、画角内へのハンドル以外の進入が検出されたか否かを判断する（ＳＴ７９）。画角内へのハンドル以外の進入が検出されたと判断した場合（ＳＴ７９：ＹＥＳ）、処理はステップＳＴ７０に戻る。
【０１１０】
一方、画角内へのハンドル以外の進入が検出されなかったと判断した場合（ＳＴ７９：ＮＯ）、処理はステップＳＴ８０に移行する。ステップＳＴ８０〜ＳＴ８４は、図１６に示したステップＳＴ５９〜ＳＴ６３と同様であるため、省略する。
【０１１１】
このようにして、本実施形態に係る運転者状態検出装置３によれば、第２実施形態と同様に、誤報知の頻度を低減させることができる。
【０１１２】
また、異物がハンドルである場合には、例えば、顔部位を眼とした場合、ハンドルのスポーク部により眼が覆い隠されることがある。また、ハンドルのスポーク部により眼が隠れてしまう状態は運転者がハンドル操作をしている状態であるため、カーブ区間を走行中である可能性が高い。さらに、カーブ区間を走行する場合には、運転者はカーブの先を視認しており、正面方向を視認していない場合が多い。
【０１１３】
このような場合に、カーブ区間の走行が終わったときには、運転者は素早く正面方向を視認するが、依然としてスポーク部により眼が隠れていることがある。その後、運転者がハンドルを元に戻しスポーク部により眼が隠されなくなったとしても、スポーク部により眼が隠される前にカーブ方向の視認が検出されていた場合には、隠される前と後とで眼の位置が大きく異なってしまう。このため、検出が不正確になりやすく、誤報知の可能性が増加する。
【０１１４】
ところが、本実施形態によれば、異物がハンドルである場合に、顔部位の移動状態を検出する処理から顔部位の位置を検出処理に切り換えているので、上記問題が発生せず、誤報知の頻度を一層低減させることができる。
【０１１５】
また、第２実施形態と同様に、できるだけ計算負荷を軽減させ、且つ的確に異物の進入を判断して、不可状態を精度良く検出することができる。また、画像内への異物の進入判定について高速化を図ることができる。また、構成の簡素化及びコストの低減を図ることができ、効果的に誤報知の防止ができる。さらに、図１３及び図１４に示すように、進入判定の高速化を図ってもよい。
【０１１６】
なお、本実施形態では、異物の進入に対しての誤報知低減を図っているが、本発明はこれに限定されず、進入に限らず画角内からの異物の退出についても同様に行うことができる。例えば、手が眼を覆っているときは、正しい脇見判定や開閉眼判定を行うことができないが、画像認識処理が不安定になる要因は、その時間だけでなく、眼から手が離れる際にも発生する。つまり、眼の追跡処理の判定状態によっては、離れる手を眼のデータだと誤認識してしまう可能性がある。このため、誤報知を発する可能性もあることとなる。本発明は、この異物の退出の際の誤報知も防止できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る運転者状態検出装置の構成図である。
【図２】本発明の第１実施形態に係る運転者状態検出装置１の詳細構成図である。
【図３】本実施形態に係る運転者状態判定装置２０の動作の概略を示すデータフローダイヤグラムである。
【図４】参照領域及び探索領域の説明図である。
【図５】画像に配置される参照領域の説明図である。
【図６】本実施形態に係る運転者状態検出装置１の詳細な動作を示すフローチャートである。
【図７】図６に示した異物進入判定処理（ステップＳＴ２１）の詳細なフローチャートである。
【図８】図７に示すステップＳＴ３１における移動量（ｘｄ，ｙｄ）の算出方法の説明図である。
【図９】画角内にハンドルのスポークが進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は時刻ｔにおけるオプティカルフローの例を示し、（ｂ）は時刻（ｔ＋１）におけるオプティカルフローの例を示し、（ｃ）は時刻（ｔ＋２）におけるオプティカルフローの例を示し、（ｄ）は時刻（ｔ＋３）におけるオプティカルフローの例を示している。
【図１０】図９に示す例にて得られたオプティカルフローを示すグラフであり、（ａ）は画像縦方向における移動量を示し、（ｂ）は画像横方向における移動量を示している。
【図１１】画角内にハンドルのスポーク以外の異物が進入した場合のオプティカルフローの例を示す説明図であり、（ａ）は手が進入したときの画像例を示し、（ｂ）は手が進入したときのオプティカルフローの例を示し、（ｃ）は雑誌が進入したときの画像例を示し、（ｄ）は雑誌が進入したときのオプティカルフローの例を示している。
【図１２】動きパターンに基づいて、異物の進入を判定する動作を示すフローチャートである。
【図１３】参照領域の第１配置例を示す図である。
【図１４】参照領域の第２配置例を示す図である。
【図１５】本発明の第２実施形態に係る運転者状態検出装置２のブロック図である。
【図１６】本実施形態に係る運転者状態検出装置２の詳細な動作を示すフローチャートである。
【図１７】本発明の第３実施形態に係る運転者状態検出装置３のブロック図である。
【図１８】本実施形態に係る運転者状態検出装置３の詳細な動作を示すフローチャートである。
【符号の説明】
１〜３…運転者状態検出装置
１０…撮影部（撮影手段）
２１…運転者状態判定部（運転者状態判定手段）
２２…報知部（報知手段）
３１…画像処理部（画像処理手段）
３２…報知禁止部（報知禁止手段）
３３…演算処理中断部（演算処理中断手段）
３４…演算処理切換部（演算処理切換手段）
Claims (10)
- 運転者の顔を撮影する撮影手段と、
前記撮影手段により撮影された顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する運転者状態判定手段と、
前記運転者状態判定手段による判定結果に基づいて、前記運転者に報知するための報知信号を出力する報知手段と、
前記撮影手段により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算する画像処理手段と、
前記画像処理手段の計算結果に応じて、前記報知手段からの報知を禁止する報知禁止手段と、
を備えることを特徴とする運転者状態検出装置。 - 運転者の顔を撮影する撮影手段と、
前記撮影手段により撮影された顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する運転者状態判定手段と、
前記運転者状態判定手段による判定結果に基づいて、前記運転者に報知するための報知信号を出力する報知手段と、
前記撮影手段により撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算する画像処理手段と、
前記画像処理手段の計算結果に応じて、前記運転者状態判定手段での演算処理を中断させる演算処理中断手段と、
を備えることを特徴とする運転者状態検出装置。 - 前記演算処理中断手段により中断された演算処理の判定処理フローを他の判定処理フローに切り換える演算処理切換手段を更に備えることを特徴とする請求項２に記載の運転者状態検出装置。
- 前記画像処理手段は、画像端部からの異物の入出を検出することを特徴とする請求項１〜請求項３のいずれか１項に記載の運転者状態検出装置。
- 前記画像処理手段は、画像端部から入出する異物がハンドルであるか否かを検出し、
前記演算処理切換手段は、前記画像処理手段により異物がハンドルであると検出された場合、顔部位の移動状態を検出する処理から顔部位の位置を検出する処理に切り換える
ことを特徴とする請求項３の運転者状態検出装置。 - 前記画像処理手段によるオプティカルフローの計算は、予め画像上に設定された少なくとも２つの演算領域にて行なわれ、
それら演算領域は、画像下端部に配置されている
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の運転者状態検出装置。 - 前記画像処理手段によるオプティカルフローの計算は、予め画像上に設定された少なくとも２つの演算領域にて行なわれ、
それら演算領域は、画像下端部及び左右端部に配置されている
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の運転者状態検出装置。 - 前記画像処理手段によるオプティカルフローの計算は、予め画像上に設定された少なくとも２つの演算領域にて行なわれ、
それら演算領域は、画像周囲部に配置されている
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の運転者状態検出装置。 - 運転者の顔を撮影して得られた顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する一方、撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算し、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者への報知を行うか否かを決定することを特徴とする運転者状態検出装置。
- 運転者の顔を撮影して得られた顔の画像から、運転者の顔部位の位置、顔部位の移動状態、及び眼の開閉状態のうち少なくとも１つを検出して、運転者状態を判定する一方、撮影された２枚以上の顔の画像に基づいて画像間のオプティカルフローを計算し、運転者状態の判定結果及びオプティカルフローの計算結果に基づいて、運転者状態の判定処理を継続するか否かを決定することを特徴とする運転者状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003185871A JP4123076B2 (ja) | 2003-06-27 | 2003-06-27 | 運転者状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003185871A JP4123076B2 (ja) | 2003-06-27 | 2003-06-27 | 運転者状態検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005018651A true JP2005018651A (ja) | 2005-01-20 |
| JP4123076B2 JP4123076B2 (ja) | 2008-07-23 |
Family
ID=34185157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003185871A Expired - Fee Related JP4123076B2 (ja) | 2003-06-27 | 2003-06-27 | 運転者状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4123076B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007031018A (ja) * | 2005-07-22 | 2007-02-08 | Mitsubishi Electric Building Techno Service Co Ltd | エレベータの防犯運転装置及び防犯運転設定変更方法 |
| JP2007072631A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車載警報装置 |
| WO2013111819A1 (ja) * | 2012-01-26 | 2013-08-01 | 日産自動車株式会社 | 運転支援装置 |
-
2003
- 2003-06-27 JP JP2003185871A patent/JP4123076B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007031018A (ja) * | 2005-07-22 | 2007-02-08 | Mitsubishi Electric Building Techno Service Co Ltd | エレベータの防犯運転装置及び防犯運転設定変更方法 |
| JP2007072631A (ja) * | 2005-09-05 | 2007-03-22 | Toyota Motor Corp | 車載警報装置 |
| JP4696792B2 (ja) * | 2005-09-05 | 2011-06-08 | トヨタ自動車株式会社 | 車載警報装置 |
| WO2013111819A1 (ja) * | 2012-01-26 | 2013-08-01 | 日産自動車株式会社 | 運転支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4123076B2 (ja) | 2008-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3768735B2 (ja) | 顔画像処理装置 | |
| JP5786947B2 (ja) | 歩行者行動予測装置および歩行者行動予測方法 | |
| US7817848B2 (en) | Apparatus, method, and computer product for discriminating object | |
| JP3350296B2 (ja) | 顔画像処理装置 | |
| JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
| EP1426898A2 (en) | Human detection through face detection and motion detection | |
| JP5271227B2 (ja) | 群衆監視装置および方法ならびにプログラム | |
| JP2008108243A (ja) | 人物認識装置および人物認識方法 | |
| JP2016057839A (ja) | 顔向き検出装置及び車両用警告システム | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2010079716A (ja) | 車両の歩行者検出装置 | |
| JP4123077B2 (ja) | 運転者状態検出装置 | |
| JP2008226163A (ja) | 車両の安全装置 | |
| JP4123076B2 (ja) | 運転者状態検出装置 | |
| JP2005090974A (ja) | 先行車認識装置 | |
| JP2005066023A (ja) | 運転者状態検出装置 | |
| JP3088880B2 (ja) | 人物認識装置 | |
| JP2005018655A (ja) | 運転者行動推定装置 | |
| JP2009278185A (ja) | 画像認識装置 | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JP4281405B2 (ja) | 確認動作検出装置及び警報システム | |
| WO2020166129A1 (ja) | 状態認識装置 | |
| JP4107104B2 (ja) | 顔部位追跡装置 | |
| JPH1086696A (ja) | 顔画像における特徴部位の検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080421 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |