JP2004192345A - 運転者状態検出装置 - Google Patents
運転者状態検出装置 Download PDFInfo
- Publication number
- JP2004192345A JP2004192345A JP2002359760A JP2002359760A JP2004192345A JP 2004192345 A JP2004192345 A JP 2004192345A JP 2002359760 A JP2002359760 A JP 2002359760A JP 2002359760 A JP2002359760 A JP 2002359760A JP 2004192345 A JP2004192345 A JP 2004192345A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- driver
- eyes
- unit
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Emergency Alarm Devices (AREA)
Abstract
【課題】処理能力が少ない演算器であっても、走行状況や道路状況といった所定の状況に関係なく、運転者の複数の状態の判定を迅速且つ適切に行う。
【解決手段】運転者状態検出装置１は、顔画像取得部１１によって運転者の顔画像を取得し、眼座標検出部１２によって顔画像から運転者の眼の座標値を検出し、眼滞留判定部１３によって眼の移動量を算出することによって運転者の眼が滞留しているか否かを判定する。そして、運転者状態検出装置１は、この眼滞留判定部１３による判定結果に応じて、視方向判定部１５による運転者の視方向を判定する処理、又は開閉眼判定部１６による運転者の眼の開閉を判定する処理のうちいずれか一方を、処理選択部１４によって選択することにより、脇見判定部１７による脇見判定と、居眠り判定部１８による居眠り判定とを同時に動作させる必要をなくす。
【選択図】 図２
【解決手段】運転者状態検出装置１は、顔画像取得部１１によって運転者の顔画像を取得し、眼座標検出部１２によって顔画像から運転者の眼の座標値を検出し、眼滞留判定部１３によって眼の移動量を算出することによって運転者の眼が滞留しているか否かを判定する。そして、運転者状態検出装置１は、この眼滞留判定部１３による判定結果に応じて、視方向判定部１５による運転者の視方向を判定する処理、又は開閉眼判定部１６による運転者の眼の開閉を判定する処理のうちいずれか一方を、処理選択部１４によって選択することにより、脇見判定部１７による脇見判定と、居眠り判定部１８による居眠り判定とを同時に動作させる必要をなくす。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、車両等の移動体を運転している運転者の少なくとも２つ以上の状態の判定を行う運転者状態検出装置に関する。
【０００２】
【従来の技術】
従来より、車両等の移動体を運転している運転者の脇見や居眠りによる事故防止の手段として、運転者の状態を検出し、警報を行う装置の研究開発がすすめられている。特に近年では、運転者の脇見や居眠りといった複数の状態を検出するために、演算器の負荷を軽減し、実時間で処理を実現するために、複数の処理を切り替えて行う技術が、例えば下記の特許文献１や特許文献２にて提案されている。
【０００３】
この特許文献１には、脇見の予測判断処理と居眠りの予測判断処理とを、車両の走行状況等に応じて迅速に切り替え可能な予防安全装置が開示されている。具体的には、この予防安全装置は、走行状況を判断し、脇見運転をしやすい走行状況時には脇見の予測判断処理を行う一方で、居眠り運転をしやすい走行状況時には居眠りの予測判断処理を行うように、予測判断処理を切り替えるものである。これにより、この予防安全装置においては、脇見の報知と居眠りの報知とを、車両の走行状況に応じて迅速に切り替えることができるとしている。
【０００４】
【特許文献１】
特開２０００−３２６７５８号公報
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来の技術においては、所定の状況に応じて処理を切り替えることにより、演算器による処理の負荷を軽減するものである。
【０００６】
例えば、特許文献１に記載された技術は、走行状況に応じて、脇見と居眠りとの処理を切り替えることにより、演算器による処理の負荷を軽減するものである。しかしながら、この技術においては、道路状況によっては脇見と居眠りとの両方の状態を検出する必要のある場面であっても、いずれか一方の状態に対する処理しかできないという課題があった。
【０００７】
【課題を解決するための手段】
本発明では、運転者の顔画像を取得し、取得した顔画像から運転者の眼の座標値を検出し、検出した眼の移動量を算出することによって運転者の眼が滞留しているか否かを判定する。そして、本発明では、この滞留判定結果に応じて、運転者の視方向を判定する処理、又は運転者の眼の開閉を判定する処理のうちいずれか一方を選択することにより、運転者が脇見をしているか否かを判定する脇見判定と、運転者が居眠りをしているか否かを判定する居眠り判定とを同時に動作させる必要をなくすことで、上述の課題を解決する。
【０００８】
【発明の効果】
本発明に係る運転者状態検出装置によれば、運転者の眼の滞留判定を行うことによって処理を切り替えることにより、脇見判定と居眠り判定とが同時に動作することがなくなるので、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、走行状況や道路状況といった所定の状況に関係なく、運転者の眼の座標値を用いるのみで、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができる。
【０００９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００１０】
本発明は、図１に示すように、車両を運転している運転者の脇見や居眠りといった複数の状態の判定を行う運転者状態検出装置１に適用される。この運転者状態検出装置１は、運転者の顔画像をステアリング近傍のコラムモジュール等に取り付けられた少なくとも１つの撮像装置２からの映像信号を受け取ると共に、車両に関する車両信号や車両周囲の環境を示す環境信号を入力する。そして、運転者状態検出装置１では、映像信号に基づいて、運転者の状態を判断することによって脇見や居眠り等をしているか否かを判定し、状況に応じて、脇見報知信号や居眠り報知信号を報知装置３に供給することによって運転者に注意を促すものである。
【００１１】
特に、運転者状態検出装置１は、脇見と居眠りといった少なくとも２つ以上の状態に対する処理を見かけ上同時に行う場合に、演算器の処理能力が不足する事態に備え、これら複数の処理を切り替えて行うものである。このとき、運転者状態検出装置１は、少なくとも運転者の眼の滞留判定を行うことによって処理を切り替えることにより、処理能力が少ない演算器であっても、走行状況や道路状況といった所定の状況に関係なく、運転者の複数の状態の判定を迅速且つ適切に行うものである。
【００１２】
［第１実施形態］
まず、第１実施形態に係る運転者状態検出装置１について説明する。
【００１３】
［第１実施形態に係る運転者状態検出装置の構成］
第１実施形態に係る運転者状態検出装置１は、例えば図示しないＲＯＭ（ReadOnly Memory）等に運転者状態検出プログラムを格納しておき、当該運転者状態検出プログラムを図示しないＣＰＵ（Central Processing Unit）等により実行することにより、図２に示すような各部を実現する。
【００１４】
この運転者状態検出装置１は、上述の映像信号に相当する運転者の顔画像を取得する顔画像取得部１１（顔画像取得手段）と、運転者の眼の座標値を検出する眼座標検出部１２（眼座標検出手段）と、運転者の眼が滞留しているか否かを判定する眼滞留判定部１３（眼滞留判定手段）とを備える。
【００１５】
また、この運転者状態検出装置１は、眼滞留判定部１３による判定結果に応じて視方向判定処理又は開閉眼判定処理のうちいずれか一方の処理を選択する処理選択部１４（第１の処理選択手段）と、運転者の眼の移動方向に基づいて視方向を判定する視方向判定部１５（第１の視方向判定手段）と、運転者の眼の縦幅に基づいて眼の開閉を判定する開閉眼判定部１６（開閉眼判定手段）と、運転者が脇見をしているか否かを判定する脇見判定部１７（脇見判定手段）と、運転者が居眠りをしているか否かを判定する居眠り判定部１８（居眠り判定手段）と、脇見判定部１７及び居眠り判定部１８による判定結果に基づいて報知信号を出力する報知部１９（報知手段）とを備える。
【００１６】
顔画像取得部１１は、上述した撮像装置２によって撮像されて得られた運転者の顔画像からなる映像信号を取得する。ここで、撮像装置２としては、例えば、可視光に対応したＣＣＤ（Charge Coupled Devices）カメラ、Ｃ−ＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラ、近赤外光によって撮像するカメラ、又は遠赤外光によって撮像するカメラ等が挙げられる。
【００１７】
顔画像取得部１１は、取得した映像信号を、ディジタル画像として図示しない記憶領域に格納する。例えば、運転者状態検出装置１においては、運転者の顔画像を撮像して得られた信号としてビデオ信号を利用し、このビデオ信号を、横幅６４０画素、縦幅４８０画素、１画素あたり２５６階調の濃淡データを示すディジタルデータに顔画像取得部１１によって変換し、記憶領域に格納する。
【００１８】
眼座標検出部１２は、顔画像取得部１１によって取得されて記憶領域に格納されている顔画像から眼の領域を検出し、検出した眼の座標値を出力する。このとき、眼座標検出部１２は、例えば本件出願人が先に出願している特開平１１−９６３７９号公報等に記載された方法を用いて、運転者の左右の眼の座標値を取得する。
【００１９】
具体的には、眼座標検出部１２は、顔画像から眼の座標値を取得するために、図３（Ａ）に示すように、１画素列の縦ラインを顔画像上の横方向に走査することによって眼の座標値を取得する。すなわち、眼座標検出部１２は、図３（Ｂ）に示すように、顔画像の縦方向で顔画像の光量変化を調べ、光量が明るいところから暗いところへと変化する点を抽出する。これにより、眼座標検出部１２は、全ての縦ラインで光量が明るいところから暗いところへと変化する点（検出点）を抽出する。
【００２０】
そして、眼座標検出部１２では、検出点を図３（Ｃ）中の白丸で示すように、眼や口等の部分については横方向に長く連なった検出点の曲線として検出する。そして、眼座標検出部１２は、このように横方向に長く連なった検出点の曲線を眼の候補とし、これらの候補の中から、眼の長さとして予め設定された長さの線分に該当するものを選択したり、左右の眼の対称性等を利用したりすることにより、顔画像から眼画像領域を選択し、線分の中心座標値を眼座標値として取得する。
【００２１】
眼座標検出部１２は、このような方法を用いて顔画像から眼画像領域及び眼座標値を検出して眼滞留判定部１３に供給する。
【００２２】
眼滞留判定部１３は、眼座標検出部１２によって検出された眼座標値を時系列に蓄え、その移動量を算出することによって運転者の眼の滞留を判定する。
【００２３】
具体的には、眼滞留判定部１３は、眼座標検出部１２によって検出された所定のフレームにおける右眼の座標値を（Ｒｘ，Ｒｙ）とし、左眼の座標値を（Ｌｘ，Ｌｙ）とすると、これら両眼の座標値の中央値（Ｃｘ，Ｃｙ）を算出する。なお、Ｃｘ，Ｃｙは、それぞれ、Ｃｘ＝（Ｒｘ＋Ｌｘ）／２，Ｃｙ＝（Ｒｙ＋Ｌｙ）／２なる演算式を用いて算出する。
【００２４】
ここで、あるフレームにおける顔画像が、運転者が正面を見ているときのものである場合には、例えば図４（Ａ）に示すように、右眼の座標値Ｒ１及び左眼の座標値Ｌ１を用いて、中央値Ｃ１（＝（Ｒ１＋Ｌ１）／２）が眼滞留判定部１３によって算出される。これに対して、他のフレームにおける顔画像が、運転者が左方向を見ているときのものである場合には、例えば図４（Ｂ）に示すように、右眼の座標値Ｒ２及び左眼の座標値Ｌ２が、ともに、座標値Ｒ１，Ｌ１よりも右方向に移動することになる。これにともない、眼滞留判定部１３によって算出される中央値Ｃ２（＝（Ｒ２＋Ｌ２）／２）も右方向に移動した値となる。
【００２５】
眼滞留判定部１３は、眼座標検出部１２によって検出された時間的に直近の眼座標値を所定の記憶領域に少なくとも１つ以上格納しておき、中央値Ｃをフレーム毎に算出する。これにより、眼滞留判定部１３では、例えば図５に示すように、各フレームごとに、画素単位での中央値Ｃの移動量を算出して記憶領域に格納する。
【００２６】
ここで、この中央値Ｃの顔画像上での移動軌跡を描画すると、例えば図６に示すようになる。なお、図６においては、横軸に横方向の画素Ｘを表し、縦軸に縦方向の画素Ｙを表している。
【００２７】
眼滞留判定部１３は、図５に示したように、中央値Ｃの移動量に対して所定の閾値を設定し、閾値未満の移動量の場合を滞留と判定すると共に、閾値以上の移動量の場合を移動と判定することにより、眼の滞留状態と移動状態とを分離する。このとき、眼滞留判定部１３は、少なくとも１回以上の移動量について、滞留状態か移動状態かの判定を行えばよい。
【００２８】
このとき、眼滞留判定部１３は、中央値Ｃの移動軌跡が図６に示したものである場合には、この移動軌跡を、画像領域Ｒ１，Ｒ２，Ｒ３，Ｒ４で示す４つの滞留画像領域に区分し、１つの滞留画像領域内での移動については滞留状態と判定し、１つの滞留画像領域から他の滞留画像領域へと向かう移動については移動状態と判定することになる。
【００２９】
眼滞留判定部１３は、このような方法を用いて運転者の眼が滞留しているか否かを判定し、判定結果を処理選択部１４に供給する。
【００３０】
処理選択部１４は、眼滞留判定部１３による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、処理選択部１４は、眼滞留判定部１３による判定結果が、滞留状態から移動状態へと変化した場合には、視方向判定部１５による処理を行うべく、視方向判定部１５に対してその旨を示す情報を供給する。また、処理選択部１４は、眼滞留判定部１３による判定結果が、移動状態から滞留状態へと変化した場合には、開閉眼判定部１６による処理を行うべく、開閉眼判定部１６に対してその旨を示す情報を供給する。
【００３１】
視方向判定部１５は、処理選択部１４によって選択された旨の情報が供給されると、眼滞留判定部１３によって算出されて時系列に記憶領域に格納されている中央値Ｃに基づいて、この中央値Ｃの移動方向を求めることにより、運転者の視方向を判定する。
【００３２】
具体的には、視方向判定部１５は、図７に示すように、中央値Ｃの移動方向を求めることにより、図中の矢印にて示す視方向を判定する。ここで、視方向判定部１５は、運転者の眼が滞留状態から移動状態へと変化した場合にのみ処理選択部１４によって選択されるので、眼が滞留しているときには処理を行うことはなく、眼が滞留していないときにのみ処理を行うことになる。
【００３３】
このような視方向判定部１５は、判定した視方向を示す情報を脇見判定部１７に供給する。
【００３４】
開閉眼判定部１６は、処理選択部１４によって選択された旨の情報が供給されると、顔画像取得部１１によって取得されて記憶領域に格納されている顔画像に基づいて、運転者の眼の開閉を判定する。
【００３５】
具体的には、開閉眼判定部１６は、フレーム毎に、図８（Ａ）に示すような眼を開いている場合の眼の縦幅（開度）ｈ１や、図８（Ｂ）に示すような眼を閉じている場合の眼の縦幅（開度）ｈ２を算出する。そして、開閉眼判定部１６は、図８（Ｃ）に示すように、このような眼の縦幅ｈに対して所定の閾値を設定し、眼の縦幅ｈが閾値以上である場合には開眼状態と判定すると共に、眼の縦幅ｈが閾値未満である場合には閉眼状態と判定する。ここで、開閉眼判定部１６は、運転者の眼が移動状態から滞留状態へと変化した場合にのみ処理選択部１４によって選択されるので、眼が移動しているときには処理を行うことはなく、眼が移動していないときにのみ処理を行うことになる。
【００３６】
このような開閉眼判定部１６は、判定結果を示す情報を居眠り判定部１８に供給する。
【００３７】
脇見判定部１７は、視方向判定部１５によって判定された視方向に基づいて、運転者の第１の状態として、運転者が脇見をしているか否かを判定する。
【００３８】
具体的には、脇見判定部１７は、先に図７に示したように、視方向判定部１５によって判定された視方向が、滞留画像領域Ｒ１で示す正面方向から滞留画像領域Ｒ２，滞留画像領域Ｒ３，滞留画像領域Ｒ４で示すそれ以外の方向へと向かう場合について、それぞれ、脇見状態であると判定する。なお、脇見判定部１７は、正面方向へと戻る視方向の移動については、脇見状態と判定しない。このような脇見判定部１７は、判定結果を示す情報を報知部１９に供給する。
【００３９】
居眠り判定部１８は、開閉眼判定部１６による判定結果に基づいて、運転者の第２の状態として、運転者が居眠りをしているか否かを判定する。
【００４０】
具体的には、居眠り判定部１８は、開閉眼判定部１６によって閉眼と判定された継続時間、頻度、及び／又は回数等に基づいて、運転者が居眠りをしているか否かを判定する。このとき、居眠り判定部１８は、例えば本件出願人が先に出願している特開平１０−４０３６１号公報等に記載された方法を用いて、運転者が居眠りをしているか否かを判定する。このような居眠り判定部１８は、判定結果を示す情報を報知部１９に供給する。
【００４１】
報知部１９は、脇見判定部１７及び居眠り判定部１８による判定結果に基づいて、上述した報知装置３に対して報知させるための所定の報知信号を出力する。
【００４２】
具体的には、報知部１９は、脇見判定部１７によって脇見状態と判定された時間が所定時間経過した場合や、脇見の量、時間、方向、車両の状態、及び／又は環境の状態に応じて設定される所定の条件を満足した場合に、脇見報知信号を出力する。より具体的には、報知部１９は、例えば本件出願人による特許第２８２２５０８号公報等に記載された方法を用いて、脇見報知信号を出力すればよい。また、報知部１９は、居眠り判定部１８によって居眠りと判定された場合には、居眠り報知信号を報知装置３に出力する。
【００４３】
このような各部を備える運転者状態検出装置１は、以下に示す動作を行うことにより、運転者の脇見と居眠りとの判定を行う。
【００４４】
［運転者状態検出装置の動作］
つぎに、上述したように構成された運転者状態検出装置１により、脇見状態や居眠り状態に対して報知をする処理について図９のフローチャートを参照して説明する。なお、この処理は、例えば所定期間毎に撮像装置２により撮像した顔画像を顔画像取得部１１により取得して、フレームごとに実行される。
【００４５】
運転者状態検出装置１は、先ず、ステップＳ１において、顔画像取得部１１によって運転者の顔画像を撮像装置２から取得すると、ステップＳ２において、眼座標検出部１２によって運転者の眼座標値を検出する。
【００４６】
続いて、運転者状態検出装置１は、ステップＳ３において、眼滞留判定部１３により、眼座標検出部１２により検出した眼座標値から、運転者の眼が滞留状態であるか否かを判定する。
【００４７】
ここで、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留状態でないと判定した場合には、処理選択部１４による選択のもとにステップＳ５へと処理を移行し、視方向判定部１５によって運転者の視方向を判定する。
【００４８】
そして、運転者状態検出装置１は、ステップＳ６において、脇見判定部１７によって運転者の眼座標値と移動量とに基づいて脇見状態であるか否かを判定し、ステップＳ１０へと処理を移行する。
【００４９】
一方、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留状態であると判定した場合には、処理選択部１４による選択のもとにステップＳ７へと処理を移行し、開閉眼判定部１６によって運転者の眼の開閉状態を判定する。
【００５０】
ここで、運転者状態検出装置１は、ステップＳ８において、運転者の眼が開眼状態であると判定した場合には、ステップＳ１０へと処理を移行する一方で、運転者の眼が閉眼状態であると判定した場合には、ステップＳ９において、居眠り判定部１８によって運転者の眼の開閉判定結果に基づいて居眠りをしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００５１】
そして、運転者状態検出装置１は、ステップＳ１０において、報知部１９によって報知の必要があるか否かを判定し、報知の必要がないと判定した場合には、ステップＳ１からの処理を繰り返す一方で、報知の必要があるものと判定した場合には、ステップＳ１１において、報知部１９によって報知信号を報知装置３に出力し、ステップＳ１からの処理を繰り返す。
【００５２】
このような処理を行う運転者状態検出装置１においては、例えば図１０に示すタイミングで、各部が動作する。すなわち、運転者状態検出装置１においては、時刻ｔ１以前にて滞留状態と判定されており、ステップＳ７〜ステップＳ１１の処理を実行することで開閉眼判定部１６、居眠り判定部１８及び報知部１９が動作しているときに、時刻ｔ１にて眼滞留判定部１３によって運転者の眼が滞留状態から移動状態へと変化したと判定された場合には、処理選択部１４によって視方向判定部１５が選択される。これにより、運転者状態検出装置１では、ステップＳ５〜ステップＳ１１の処理を実行することで視方向判定部１５、脇見判定部１７及び報知部１９を動作させる。
【００５３】
更に、時刻ｔ２にて眼滞留判定部１３によって運転者の眼が移動状態から滞留状態へと変化したと判定された場合には、処理選択部１４によって開閉眼判定部１６が選択される。
【００５４】
このように、運転者状態検出装置１においては、眼滞留判定部１３による運転者の眼の滞留状態又は移動状態の変化に応じて、処理選択部１４によって視方向判定部１５と開閉眼判定部１６とを切り替えることにより、脇見判定部１７と居眠り判定部１８とが同時に動作することがない。
【００５５】
［第１実施形態の効果］
以上詳細に説明したように、第１実施形態に係る運転者状態検出装置１においては、運転者の眼の滞留判定を行うことによって処理を切り替えることにより、脇見判定部１７と居眠り判定部１８とが同時に動作することがなくなるので、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができる。
【００５６】
また、運転者状態検出装置１においては、眼滞留判定部１３により、眼座標検出部１２によって検出された時間的に直近の眼座標値を所定の記憶領域に少なくとも１つ以上格納し、記憶領域に格納した直近の眼座標値から眼の移動量を算出し、少なくとも１回以上の眼の移動量が所定の閾値未満の移動量の場合を滞留と判定することにより、走行状況等の車両の状態を示す車両信号や、走行している時間帯や場所や天候、さらには道路状況といった周囲の環境から与えられる環境信号等の所定の状況を示す情報を用いることなく、運転者の顔画像から検出される眼座標値を用いるのみで、脇見判定を行うための視方向判定を行うか、居眠り判定を行うための開閉眼判定を行うかを選択することができる。
【００５７】
更に、この運転者状態検出装置１によれば、車両に関する信号から道路状況を検出するための定義をする必要が無く、複雑な処理をする必要がないという効果を発揮することができる。
【００５８】
さらに、運転者状態検出装置１においては、運転者の眼が滞留状態から移動状態に変化した場合にのみ処理選択部１４によって視方向判定処理が選択されるので、眼が滞留している滞留画像領域と滞留していない画像領域とのうち、眼が滞留していない画像領域における眼座標値と眼の移動方向とを用いて、視方向判定部１５によって視方向を判定することになる。これにより、運転者状態検出装置１においては、眼が滞留しているときには視方向判定部１５による視方向の判定処理を行わないので、演算器の処理を軽減することができる。
【００５９】
同様に、運転者状態検出装置１においては、運転者の眼が移動状態から滞留状態に変化した場合にのみ処理選択部１４によって開閉眼判定処理が選択されるので、眼が滞留している画像領域と滞留していない画像領域とのうち、眼が滞留している画像領域における眼の縦幅（開度）ｈを用いて、開閉眼判定部１６によって眼の開閉を判定することになる。これにより、運転者状態検出装置１においては、眼が移動しているときには開閉眼判定部１６による眼の開閉の判定処理を行わないので、演算器の処理を軽減することができる。
【００６０】
［第２実施形態］
つぎに、第２実施形態に係る運転者状態検出装置について説明する。なお、上述の第１実施形態と同様の部分については同一符号及びステップ番号を付することによりその詳細な説明を省略する。
【００６１】
［第２実施形態に係る運転者状態検出装置の構成］
第２実施形態に係る運転者状態検出装置１は、図１１に示すように、第１の処理選択部２１（第１の処理選択手段）により眼滞留判定部１３による判定結果を受け、眼の滞留状態と移動状態との変化に応じて第１の視方向判定部２２（第１の視方向判定手段）と開閉眼判定部１６との間で処理を切り替え、更に、第２の処理選択部２３（第２の処理選択手段）により開閉眼判定部１６による判定結果を受け、眼の開閉状態の変化に応じて第２の視方向判定部２４（第２の視方向判定手段）と居眠り判定部１８との間で処理を切り替える点で、第１実施形態に係る運転者状態検出装置１とは異なる。
【００６２】
第１の処理選択部２１は、上述した処理選択部１４と同様に、眼滞留判定部１３による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、第１の処理選択部２１は、眼滞留判定部１３による判定結果が、滞留状態から移動状態に変化した場合には、第１の視方向判定部２２による処理を行うべく、第１の視方向判定部２２に対してその旨を示す情報を供給する。また、第１の処理選択部２１は、眼滞留判定部１３による判定結果が、移動状態から滞留状態に変化した場合には、開閉眼判定部１６による処理を行うべく、開閉眼判定部１６に対してその旨を示す情報を供給する。
【００６３】
第１の視方向判定部２２は、上述した視方向判定部１５と同様に、第１の処理選択部２１によって選択されると、眼滞留判定部１３によって算出されて時系列に記憶領域に格納されている中央値Ｃに基づいて、この中央値Ｃの移動方向を求めることにより、運転者の視方向を判定する。このとき、第１の視方向判定部２２は、運転者の眼が滞留状態から移動状態に変化した場合にのみ第１の処理選択部２１によって選択されるので、眼が滞留しているときには処理を行うことはなく、眼が滞留していないときにのみ処理を行うことになる。第１の視方向判定部２２は、判定した視方向を示す情報を脇見判定部１７に供給する。
【００６４】
第２の処理選択部２３は、開閉眼判定部１６による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、第２の処理選択部２３は、開閉眼判定部１６による判定結果が、閉状態から開状態に変化した場合には、第２の視方向判定部２４による処理を行うべく、第２の視方向判定部２４に対してその旨を示す情報を供給する。また、第２の処理選択部２３は、開閉眼判定部１６による判定結果が、開状態から閉状態に変化した場合には、居眠り判定部１８による処理を行うべく、居眠り判定部１８に対してその旨を示す情報を供給する。
【００６５】
第２の視方向判定部２４は、第２の処理選択部２３によって選択されると、眼滞留判定部１３によって求められて時系列に記憶領域に蓄えられた眼座標値の移動方向と、開閉眼判定部１６によって求められて時系列に記憶領域に蓄えられた眼の開閉情報とを用いて、視方向が下向きであるか否かを判定する。
【００６６】
具体的には、第２の視方向判定部２４は、図１２（Ａ）に示すように、あるフレームにおいて、眼滞留判定部１３によって両眼の中央値Ｃ１が求められると共に、開閉眼判定部１６によって眼の縦幅ｈ１が求められ、図１２（Ｂ）に示すように、他のフレームにおいて、眼滞留判定部１３によって両眼の中央値Ｃ２が求められると共に、開閉眼判定部１６によって眼の縦幅ｈ２が求められるものとすると、図１２（Ｃ）に示すように、眼の開度ｈと眼の縦方向の移動量ｄｙとに基づいて、眼の視方向を判定する。ここで、図１２（Ｃ）に示すように、両眼の中央値Ｃの縦方向の移動量ｄｙと、眼の縦幅ｈとに対応した眼の視方向を記したマップデータ等を予め第２の視方向判定部２４にて用意しておく。
【００６７】
図１２（Ｃ）によれば、第２の視方向判定部２４は、視方向が下方であると判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙ、眼を閉じていると判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙ、並びに視方向が正面と判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙの３つの状態を閾値にて区分している。
【００６８】
ここで、この各状態を区分する方法としては、線形分離として、それぞれの領域の重心を結ぶ直線を垂直２等分する線分を求める方法や、非線形分離として、領域を円等に近似する方法等を用いることができる。なお、非線形分離の方法としては、例えば図１３に示すように、運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する方法が考えられる。この場合、図１３（Ａ）及び図１３（Ｂ）に示すように、円弧の半径が所定の閾値未満である場合には、開眼していると判定され、図１３（Ｃ）に示すように、円弧の半径が所定の閾値以上である場合には、閉眼しているものと判定される。
【００６９】
第２の視方向判定部２４は、このような方法を用いて眼の開閉をともなう視方向を判定し、判定した視方向を示す情報を脇見判定部１７に供給する。
【００７０】
［運転者状態検出装置の動作］
つぎに、上述したように構成された運転者状態検出装置１により、脇見状態や居眠り状態に対して報知をする処理について図１４のフローチャートを参照して説明する。
【００７１】
運転者状態検出装置１は、ステップＳ１〜ステップＳ３の処理をした後のステップＳ４において、運転者の眼が滞留していないと判定した場合には、第１の処理選択部２１による選択のもとにステップＳ５へと処理を移行し、第１の視方向判定部２２によって運転者の視方向を判定する。
【００７２】
そして、運転者状態検出装置１は、ステップＳ６において、脇見判定部１７によって運転者の眼の座標値と移動量とに基づいて脇見をしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７３】
一方、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留していると判定した場合には、第１の処理選択部２１による選択のもとにステップＳ７へと処理を移行し、開閉眼判定部１６によって運転者の眼の開閉を判定する。
【００７４】
ここで、運転者状態検出装置１は、ステップＳ８において、運転者の眼が開眼していると判定した場合には、第２の処理選択部２３による選択のもとにステップＳ２１へと処理を移行し、第２の視方向判定部２４によって運転者の視方向が下方向であるか否かを判定する。
【００７５】
運転者状態検出装置１は、ステップＳ２２において、運転者の視方向が下方向でないと判定した場合には、ステップＳ１０へと処理を移行する一方で、運転者の視方向が下方向であると判定した場合には、ステップＳ６において、脇見判定部１７によって運転者の視方向が下向きであるとの情報を用いて脇見をしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７６】
また、運転者状態検出装置１は、ステップＳ８において、運転者の眼が閉眼していると判定した場合には、第２の処理選択部２３による選択のもとにステップＳ９へと処理を移行し、居眠り判定部１８によって運転者の眼の開閉判定結果に基づいて居眠りをしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７７】
そして、運転者状態検出装置１は、ステップＳ１０において、報知部１９によって報知の必要があるか否かを判定し、報知の必要がないと判定した場合には、ステップＳ１からの処理を繰り返す一方で、報知の必要があると判定した場合には、ステップＳ１１において、報知部１９によって報知信号を出力し、ステップＳ１からの処理を繰り返す。
【００７８】
運転者状態検出装置１は、このような一連の工程を経ることにより、運転者の脇見と居眠りとの判定を行うことができる。
【００７９】
このような処理を行う運転者状態検出装置１においては、例えば図１５に示すタイミングで、各部が動作する。すなわち、運転者状態検出装置１においては、時刻ｔ１１以前にて滞留状態であり、眼が開状態で視方向が下方向でないと判定されており、ステップＳ７、ステップＳ８、ステップＳ２１及びステップＳ２２の処理を実行している。そして、運転者状態検出装置１では、時刻ｔ１１にてステップＳ８の処理を行った結果、眼が閉状態になったと判定した場合にはステップＳ９にて居眠り判定処理を実行する。
【００８０】
次に、運転者状態検出装置１は、時刻ｔ１２にてステップＳ４の処理を行った結果、眼が移動状態であると判定した場合にはステップＳ５、ステップＳ６の処理を実行し、時刻ｔ１３にて再度滞留状態となり、眼が開状態で視方向が下方向であると判定した場合には、ステップＳ７、ステップＳ８、ステップＳ２１及びステップＳ６の処理を実行する。このように、運転者状態検出装置１においては、脇見判定部１７と居眠り判定部１８とが同時に動作させる必要がなくなる。
【００８１】
［第２実施形態の効果］
以上詳細に説明したように、第２実施形態に係る運転者状態検出装置１においては、開閉眼判定部１６による運転者の眼の開閉情報に基づいて、第２の処理選択部２３によって眼の開閉をともなう視方向を判定する第２の視方向判定部２４による処理と居眠り判定部１８による処理とを切り替えることにより、脇見判定部１７と、開閉眼判定部１６から居眠り判定部１８までとが同時に動作することがなくなり、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができるのに加え、眼の動きが小さく眼の開閉をともなう下方向への視方向を判定することができる。
【００８２】
さらに、運転者状態検出装置１においては、眼滞留判定部１３によって求められた眼の移動量と開閉眼判定部１６によって求められた眼の開度とに基づいて、運転者が正面方向を見ている状態を示す領域と、下方向を見ている状態を示す領域とを、第２の視方向判定部２４によって線形又は非線形に分離して、運転者の視方向が正面を見ているものであるか下方向を見ているものであるかを判定する。これにより、運転者状態検出装置１においては、眼の移動量だけでは、正面を見ているのか下方向を見ているのかが判別できない状態と、眼の開度だけでは、眼を閉じているのか下方向を見ているのかが判別できない状態とを、適切に分離することができる。
【００８３】
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る運転者状態検出装置を含む車両の概要構成を示す図である。
【図２】本発明の第１実施形態に係る運転者状態検出装置の構成を示すブロック図である。
【図３】第１実施形態に係る運転者状態検出装置における眼座標検出部によって眼を検出する様子を説明するための図である。
（Ａ） １画素列の縦ラインで顔画像上を横方向に走査する様子を説明する図である。
（Ｂ） （Ａ）に示す縦ラインで顔画像の光量変化を調べた結果を示す図である。
（Ｃ） 全ての縦ラインで光量が明るいところから暗いところへと変化する点を抽出していくことによって眼が検出される様子を説明する図である。
【図４】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって両眼の座標値の中央値を算出する様子を説明するための図である。
（Ａ） 運転者が正面を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の座標値と中央値とを示す図である。
（Ｂ） 運転者が左方向を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の座標値と中央値とを示す図である。
【図５】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって両眼の座標値の中央値の移動量を算出した結果例を示す図であり、中央値の移動量に対して所定の閾値を設定し、中央値の移動量から眼の滞留と移動とを分離する方法を説明するための図である。
【図６】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって算出された眼の座標値の中央値の画像上での移動軌跡を描画した例を示す図であり、眼が滞留している区間と滞留していない区間とを説明するための図である。
【図７】第１実施形態に係る運転者状態検出装置における視方向判定部によって視方向を判定する様子を説明するための図である。
【図８】第１実施形態に係る運転者状態検出装置における開閉眼判定部によって眼の開閉を判定する様子を説明するための図である。
（Ａ） 運転者が眼を開いているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の縦幅を示す図である。
（Ｂ） 運転者が眼を閉じているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の縦幅を示す図である。
（Ｃ） 眼の縦幅に対して所定の閾値を設定し、開眼であるか閉眼であるかを判定する方法を説明する図である。
【図９】第１実施形態に係る運転者状態検出装置において運転者の脇見と居眠りとの判定を行う際の一連の工程を示すフローチャートである。
【図１０】第１実施形態に係る運転者状態検出装置における各部の動作タイミングを示す図であり、処理選択部による処理の選択の様子を説明するための図である。
【図１１】本発明の第２実施形態に係る運転者状態検出装置の構成を示すブロック図である。
【図１２】第２実施形態に係る運転者状態検出装置における第２の視方向判定部によって視方向を判定する様子を説明するための図である。
（Ａ） 運転者が正面を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される両眼の座標値の中央値と眼の縦幅とを示す図である。
（Ｂ） 運転者が下方向を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される両眼の座標値の中央値と眼の縦幅とを示す図である。
（Ｃ） 中央値の縦方向の移動量と眼の縦幅との関係に対して所定の閾値を設定し、正面を見ている領域と下方向を見ている領域とを分離する方法を説明するための図である。
【図１３】第２実施形態に係る運転者状態検出装置における第２の視方向判定部によって正面を見ている領域と下方向を見ている領域とを分離する方法の例として、非線形分離の方法を説明するための図である。
（Ａ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値未満である場合を説明する図である。
（Ｂ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値未満であって（Ａ）に示す半径よりは大きい場合を説明する図である。
（Ｃ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値以上である場合を説明する図である。
【図１４】第２実施形態に係る運転者状態検出装置において運転者の脇見と居眠りとの判定を行う際の一連の工程を示すフローチャートである。
【図１５】第２実施形態に係る運転者状態検出装置における各部の動作タイミングを示す図であり、第１の処理選択部及び第２の処理選択部による処理の選択の様子を説明するための図である。
【符号の説明】
１ 運転者状態検出装置
２ 撮像装置
３ 報知装置
１１ 顔画像取得部
１２ 眼座標検出部
１３ 眼滞留判定部
１４ 処理選択部
１５ 視方向判定部
１６ 開閉眼判定部
１７ 脇見判定部
１８ 居眠り判定部
１９ 報知部
２１ 第１の処理選択部
２２ 第１の視方向判定部
２３ 第２の処理選択部
２４ 第２の視方向判定部
【発明の属する技術分野】
本発明は、車両等の移動体を運転している運転者の少なくとも２つ以上の状態の判定を行う運転者状態検出装置に関する。
【０００２】
【従来の技術】
従来より、車両等の移動体を運転している運転者の脇見や居眠りによる事故防止の手段として、運転者の状態を検出し、警報を行う装置の研究開発がすすめられている。特に近年では、運転者の脇見や居眠りといった複数の状態を検出するために、演算器の負荷を軽減し、実時間で処理を実現するために、複数の処理を切り替えて行う技術が、例えば下記の特許文献１や特許文献２にて提案されている。
【０００３】
この特許文献１には、脇見の予測判断処理と居眠りの予測判断処理とを、車両の走行状況等に応じて迅速に切り替え可能な予防安全装置が開示されている。具体的には、この予防安全装置は、走行状況を判断し、脇見運転をしやすい走行状況時には脇見の予測判断処理を行う一方で、居眠り運転をしやすい走行状況時には居眠りの予測判断処理を行うように、予測判断処理を切り替えるものである。これにより、この予防安全装置においては、脇見の報知と居眠りの報知とを、車両の走行状況に応じて迅速に切り替えることができるとしている。
【０００４】
【特許文献１】
特開２０００−３２６７５８号公報
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来の技術においては、所定の状況に応じて処理を切り替えることにより、演算器による処理の負荷を軽減するものである。
【０００６】
例えば、特許文献１に記載された技術は、走行状況に応じて、脇見と居眠りとの処理を切り替えることにより、演算器による処理の負荷を軽減するものである。しかしながら、この技術においては、道路状況によっては脇見と居眠りとの両方の状態を検出する必要のある場面であっても、いずれか一方の状態に対する処理しかできないという課題があった。
【０００７】
【課題を解決するための手段】
本発明では、運転者の顔画像を取得し、取得した顔画像から運転者の眼の座標値を検出し、検出した眼の移動量を算出することによって運転者の眼が滞留しているか否かを判定する。そして、本発明では、この滞留判定結果に応じて、運転者の視方向を判定する処理、又は運転者の眼の開閉を判定する処理のうちいずれか一方を選択することにより、運転者が脇見をしているか否かを判定する脇見判定と、運転者が居眠りをしているか否かを判定する居眠り判定とを同時に動作させる必要をなくすことで、上述の課題を解決する。
【０００８】
【発明の効果】
本発明に係る運転者状態検出装置によれば、運転者の眼の滞留判定を行うことによって処理を切り替えることにより、脇見判定と居眠り判定とが同時に動作することがなくなるので、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、走行状況や道路状況といった所定の状況に関係なく、運転者の眼の座標値を用いるのみで、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができる。
【０００９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００１０】
本発明は、図１に示すように、車両を運転している運転者の脇見や居眠りといった複数の状態の判定を行う運転者状態検出装置１に適用される。この運転者状態検出装置１は、運転者の顔画像をステアリング近傍のコラムモジュール等に取り付けられた少なくとも１つの撮像装置２からの映像信号を受け取ると共に、車両に関する車両信号や車両周囲の環境を示す環境信号を入力する。そして、運転者状態検出装置１では、映像信号に基づいて、運転者の状態を判断することによって脇見や居眠り等をしているか否かを判定し、状況に応じて、脇見報知信号や居眠り報知信号を報知装置３に供給することによって運転者に注意を促すものである。
【００１１】
特に、運転者状態検出装置１は、脇見と居眠りといった少なくとも２つ以上の状態に対する処理を見かけ上同時に行う場合に、演算器の処理能力が不足する事態に備え、これら複数の処理を切り替えて行うものである。このとき、運転者状態検出装置１は、少なくとも運転者の眼の滞留判定を行うことによって処理を切り替えることにより、処理能力が少ない演算器であっても、走行状況や道路状況といった所定の状況に関係なく、運転者の複数の状態の判定を迅速且つ適切に行うものである。
【００１２】
［第１実施形態］
まず、第１実施形態に係る運転者状態検出装置１について説明する。
【００１３】
［第１実施形態に係る運転者状態検出装置の構成］
第１実施形態に係る運転者状態検出装置１は、例えば図示しないＲＯＭ（ReadOnly Memory）等に運転者状態検出プログラムを格納しておき、当該運転者状態検出プログラムを図示しないＣＰＵ（Central Processing Unit）等により実行することにより、図２に示すような各部を実現する。
【００１４】
この運転者状態検出装置１は、上述の映像信号に相当する運転者の顔画像を取得する顔画像取得部１１（顔画像取得手段）と、運転者の眼の座標値を検出する眼座標検出部１２（眼座標検出手段）と、運転者の眼が滞留しているか否かを判定する眼滞留判定部１３（眼滞留判定手段）とを備える。
【００１５】
また、この運転者状態検出装置１は、眼滞留判定部１３による判定結果に応じて視方向判定処理又は開閉眼判定処理のうちいずれか一方の処理を選択する処理選択部１４（第１の処理選択手段）と、運転者の眼の移動方向に基づいて視方向を判定する視方向判定部１５（第１の視方向判定手段）と、運転者の眼の縦幅に基づいて眼の開閉を判定する開閉眼判定部１６（開閉眼判定手段）と、運転者が脇見をしているか否かを判定する脇見判定部１７（脇見判定手段）と、運転者が居眠りをしているか否かを判定する居眠り判定部１８（居眠り判定手段）と、脇見判定部１７及び居眠り判定部１８による判定結果に基づいて報知信号を出力する報知部１９（報知手段）とを備える。
【００１６】
顔画像取得部１１は、上述した撮像装置２によって撮像されて得られた運転者の顔画像からなる映像信号を取得する。ここで、撮像装置２としては、例えば、可視光に対応したＣＣＤ（Charge Coupled Devices）カメラ、Ｃ−ＭＯＳ（Complementary Metal-Oxide Semiconductor）カメラ、近赤外光によって撮像するカメラ、又は遠赤外光によって撮像するカメラ等が挙げられる。
【００１７】
顔画像取得部１１は、取得した映像信号を、ディジタル画像として図示しない記憶領域に格納する。例えば、運転者状態検出装置１においては、運転者の顔画像を撮像して得られた信号としてビデオ信号を利用し、このビデオ信号を、横幅６４０画素、縦幅４８０画素、１画素あたり２５６階調の濃淡データを示すディジタルデータに顔画像取得部１１によって変換し、記憶領域に格納する。
【００１８】
眼座標検出部１２は、顔画像取得部１１によって取得されて記憶領域に格納されている顔画像から眼の領域を検出し、検出した眼の座標値を出力する。このとき、眼座標検出部１２は、例えば本件出願人が先に出願している特開平１１−９６３７９号公報等に記載された方法を用いて、運転者の左右の眼の座標値を取得する。
【００１９】
具体的には、眼座標検出部１２は、顔画像から眼の座標値を取得するために、図３（Ａ）に示すように、１画素列の縦ラインを顔画像上の横方向に走査することによって眼の座標値を取得する。すなわち、眼座標検出部１２は、図３（Ｂ）に示すように、顔画像の縦方向で顔画像の光量変化を調べ、光量が明るいところから暗いところへと変化する点を抽出する。これにより、眼座標検出部１２は、全ての縦ラインで光量が明るいところから暗いところへと変化する点（検出点）を抽出する。
【００２０】
そして、眼座標検出部１２では、検出点を図３（Ｃ）中の白丸で示すように、眼や口等の部分については横方向に長く連なった検出点の曲線として検出する。そして、眼座標検出部１２は、このように横方向に長く連なった検出点の曲線を眼の候補とし、これらの候補の中から、眼の長さとして予め設定された長さの線分に該当するものを選択したり、左右の眼の対称性等を利用したりすることにより、顔画像から眼画像領域を選択し、線分の中心座標値を眼座標値として取得する。
【００２１】
眼座標検出部１２は、このような方法を用いて顔画像から眼画像領域及び眼座標値を検出して眼滞留判定部１３に供給する。
【００２２】
眼滞留判定部１３は、眼座標検出部１２によって検出された眼座標値を時系列に蓄え、その移動量を算出することによって運転者の眼の滞留を判定する。
【００２３】
具体的には、眼滞留判定部１３は、眼座標検出部１２によって検出された所定のフレームにおける右眼の座標値を（Ｒｘ，Ｒｙ）とし、左眼の座標値を（Ｌｘ，Ｌｙ）とすると、これら両眼の座標値の中央値（Ｃｘ，Ｃｙ）を算出する。なお、Ｃｘ，Ｃｙは、それぞれ、Ｃｘ＝（Ｒｘ＋Ｌｘ）／２，Ｃｙ＝（Ｒｙ＋Ｌｙ）／２なる演算式を用いて算出する。
【００２４】
ここで、あるフレームにおける顔画像が、運転者が正面を見ているときのものである場合には、例えば図４（Ａ）に示すように、右眼の座標値Ｒ１及び左眼の座標値Ｌ１を用いて、中央値Ｃ１（＝（Ｒ１＋Ｌ１）／２）が眼滞留判定部１３によって算出される。これに対して、他のフレームにおける顔画像が、運転者が左方向を見ているときのものである場合には、例えば図４（Ｂ）に示すように、右眼の座標値Ｒ２及び左眼の座標値Ｌ２が、ともに、座標値Ｒ１，Ｌ１よりも右方向に移動することになる。これにともない、眼滞留判定部１３によって算出される中央値Ｃ２（＝（Ｒ２＋Ｌ２）／２）も右方向に移動した値となる。
【００２５】
眼滞留判定部１３は、眼座標検出部１２によって検出された時間的に直近の眼座標値を所定の記憶領域に少なくとも１つ以上格納しておき、中央値Ｃをフレーム毎に算出する。これにより、眼滞留判定部１３では、例えば図５に示すように、各フレームごとに、画素単位での中央値Ｃの移動量を算出して記憶領域に格納する。
【００２６】
ここで、この中央値Ｃの顔画像上での移動軌跡を描画すると、例えば図６に示すようになる。なお、図６においては、横軸に横方向の画素Ｘを表し、縦軸に縦方向の画素Ｙを表している。
【００２７】
眼滞留判定部１３は、図５に示したように、中央値Ｃの移動量に対して所定の閾値を設定し、閾値未満の移動量の場合を滞留と判定すると共に、閾値以上の移動量の場合を移動と判定することにより、眼の滞留状態と移動状態とを分離する。このとき、眼滞留判定部１３は、少なくとも１回以上の移動量について、滞留状態か移動状態かの判定を行えばよい。
【００２８】
このとき、眼滞留判定部１３は、中央値Ｃの移動軌跡が図６に示したものである場合には、この移動軌跡を、画像領域Ｒ１，Ｒ２，Ｒ３，Ｒ４で示す４つの滞留画像領域に区分し、１つの滞留画像領域内での移動については滞留状態と判定し、１つの滞留画像領域から他の滞留画像領域へと向かう移動については移動状態と判定することになる。
【００２９】
眼滞留判定部１３は、このような方法を用いて運転者の眼が滞留しているか否かを判定し、判定結果を処理選択部１４に供給する。
【００３０】
処理選択部１４は、眼滞留判定部１３による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、処理選択部１４は、眼滞留判定部１３による判定結果が、滞留状態から移動状態へと変化した場合には、視方向判定部１５による処理を行うべく、視方向判定部１５に対してその旨を示す情報を供給する。また、処理選択部１４は、眼滞留判定部１３による判定結果が、移動状態から滞留状態へと変化した場合には、開閉眼判定部１６による処理を行うべく、開閉眼判定部１６に対してその旨を示す情報を供給する。
【００３１】
視方向判定部１５は、処理選択部１４によって選択された旨の情報が供給されると、眼滞留判定部１３によって算出されて時系列に記憶領域に格納されている中央値Ｃに基づいて、この中央値Ｃの移動方向を求めることにより、運転者の視方向を判定する。
【００３２】
具体的には、視方向判定部１５は、図７に示すように、中央値Ｃの移動方向を求めることにより、図中の矢印にて示す視方向を判定する。ここで、視方向判定部１５は、運転者の眼が滞留状態から移動状態へと変化した場合にのみ処理選択部１４によって選択されるので、眼が滞留しているときには処理を行うことはなく、眼が滞留していないときにのみ処理を行うことになる。
【００３３】
このような視方向判定部１５は、判定した視方向を示す情報を脇見判定部１７に供給する。
【００３４】
開閉眼判定部１６は、処理選択部１４によって選択された旨の情報が供給されると、顔画像取得部１１によって取得されて記憶領域に格納されている顔画像に基づいて、運転者の眼の開閉を判定する。
【００３５】
具体的には、開閉眼判定部１６は、フレーム毎に、図８（Ａ）に示すような眼を開いている場合の眼の縦幅（開度）ｈ１や、図８（Ｂ）に示すような眼を閉じている場合の眼の縦幅（開度）ｈ２を算出する。そして、開閉眼判定部１６は、図８（Ｃ）に示すように、このような眼の縦幅ｈに対して所定の閾値を設定し、眼の縦幅ｈが閾値以上である場合には開眼状態と判定すると共に、眼の縦幅ｈが閾値未満である場合には閉眼状態と判定する。ここで、開閉眼判定部１６は、運転者の眼が移動状態から滞留状態へと変化した場合にのみ処理選択部１４によって選択されるので、眼が移動しているときには処理を行うことはなく、眼が移動していないときにのみ処理を行うことになる。
【００３６】
このような開閉眼判定部１６は、判定結果を示す情報を居眠り判定部１８に供給する。
【００３７】
脇見判定部１７は、視方向判定部１５によって判定された視方向に基づいて、運転者の第１の状態として、運転者が脇見をしているか否かを判定する。
【００３８】
具体的には、脇見判定部１７は、先に図７に示したように、視方向判定部１５によって判定された視方向が、滞留画像領域Ｒ１で示す正面方向から滞留画像領域Ｒ２，滞留画像領域Ｒ３，滞留画像領域Ｒ４で示すそれ以外の方向へと向かう場合について、それぞれ、脇見状態であると判定する。なお、脇見判定部１７は、正面方向へと戻る視方向の移動については、脇見状態と判定しない。このような脇見判定部１７は、判定結果を示す情報を報知部１９に供給する。
【００３９】
居眠り判定部１８は、開閉眼判定部１６による判定結果に基づいて、運転者の第２の状態として、運転者が居眠りをしているか否かを判定する。
【００４０】
具体的には、居眠り判定部１８は、開閉眼判定部１６によって閉眼と判定された継続時間、頻度、及び／又は回数等に基づいて、運転者が居眠りをしているか否かを判定する。このとき、居眠り判定部１８は、例えば本件出願人が先に出願している特開平１０−４０３６１号公報等に記載された方法を用いて、運転者が居眠りをしているか否かを判定する。このような居眠り判定部１８は、判定結果を示す情報を報知部１９に供給する。
【００４１】
報知部１９は、脇見判定部１７及び居眠り判定部１８による判定結果に基づいて、上述した報知装置３に対して報知させるための所定の報知信号を出力する。
【００４２】
具体的には、報知部１９は、脇見判定部１７によって脇見状態と判定された時間が所定時間経過した場合や、脇見の量、時間、方向、車両の状態、及び／又は環境の状態に応じて設定される所定の条件を満足した場合に、脇見報知信号を出力する。より具体的には、報知部１９は、例えば本件出願人による特許第２８２２５０８号公報等に記載された方法を用いて、脇見報知信号を出力すればよい。また、報知部１９は、居眠り判定部１８によって居眠りと判定された場合には、居眠り報知信号を報知装置３に出力する。
【００４３】
このような各部を備える運転者状態検出装置１は、以下に示す動作を行うことにより、運転者の脇見と居眠りとの判定を行う。
【００４４】
［運転者状態検出装置の動作］
つぎに、上述したように構成された運転者状態検出装置１により、脇見状態や居眠り状態に対して報知をする処理について図９のフローチャートを参照して説明する。なお、この処理は、例えば所定期間毎に撮像装置２により撮像した顔画像を顔画像取得部１１により取得して、フレームごとに実行される。
【００４５】
運転者状態検出装置１は、先ず、ステップＳ１において、顔画像取得部１１によって運転者の顔画像を撮像装置２から取得すると、ステップＳ２において、眼座標検出部１２によって運転者の眼座標値を検出する。
【００４６】
続いて、運転者状態検出装置１は、ステップＳ３において、眼滞留判定部１３により、眼座標検出部１２により検出した眼座標値から、運転者の眼が滞留状態であるか否かを判定する。
【００４７】
ここで、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留状態でないと判定した場合には、処理選択部１４による選択のもとにステップＳ５へと処理を移行し、視方向判定部１５によって運転者の視方向を判定する。
【００４８】
そして、運転者状態検出装置１は、ステップＳ６において、脇見判定部１７によって運転者の眼座標値と移動量とに基づいて脇見状態であるか否かを判定し、ステップＳ１０へと処理を移行する。
【００４９】
一方、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留状態であると判定した場合には、処理選択部１４による選択のもとにステップＳ７へと処理を移行し、開閉眼判定部１６によって運転者の眼の開閉状態を判定する。
【００５０】
ここで、運転者状態検出装置１は、ステップＳ８において、運転者の眼が開眼状態であると判定した場合には、ステップＳ１０へと処理を移行する一方で、運転者の眼が閉眼状態であると判定した場合には、ステップＳ９において、居眠り判定部１８によって運転者の眼の開閉判定結果に基づいて居眠りをしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００５１】
そして、運転者状態検出装置１は、ステップＳ１０において、報知部１９によって報知の必要があるか否かを判定し、報知の必要がないと判定した場合には、ステップＳ１からの処理を繰り返す一方で、報知の必要があるものと判定した場合には、ステップＳ１１において、報知部１９によって報知信号を報知装置３に出力し、ステップＳ１からの処理を繰り返す。
【００５２】
このような処理を行う運転者状態検出装置１においては、例えば図１０に示すタイミングで、各部が動作する。すなわち、運転者状態検出装置１においては、時刻ｔ１以前にて滞留状態と判定されており、ステップＳ７〜ステップＳ１１の処理を実行することで開閉眼判定部１６、居眠り判定部１８及び報知部１９が動作しているときに、時刻ｔ１にて眼滞留判定部１３によって運転者の眼が滞留状態から移動状態へと変化したと判定された場合には、処理選択部１４によって視方向判定部１５が選択される。これにより、運転者状態検出装置１では、ステップＳ５〜ステップＳ１１の処理を実行することで視方向判定部１５、脇見判定部１７及び報知部１９を動作させる。
【００５３】
更に、時刻ｔ２にて眼滞留判定部１３によって運転者の眼が移動状態から滞留状態へと変化したと判定された場合には、処理選択部１４によって開閉眼判定部１６が選択される。
【００５４】
このように、運転者状態検出装置１においては、眼滞留判定部１３による運転者の眼の滞留状態又は移動状態の変化に応じて、処理選択部１４によって視方向判定部１５と開閉眼判定部１６とを切り替えることにより、脇見判定部１７と居眠り判定部１８とが同時に動作することがない。
【００５５】
［第１実施形態の効果］
以上詳細に説明したように、第１実施形態に係る運転者状態検出装置１においては、運転者の眼の滞留判定を行うことによって処理を切り替えることにより、脇見判定部１７と居眠り判定部１８とが同時に動作することがなくなるので、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができる。
【００５６】
また、運転者状態検出装置１においては、眼滞留判定部１３により、眼座標検出部１２によって検出された時間的に直近の眼座標値を所定の記憶領域に少なくとも１つ以上格納し、記憶領域に格納した直近の眼座標値から眼の移動量を算出し、少なくとも１回以上の眼の移動量が所定の閾値未満の移動量の場合を滞留と判定することにより、走行状況等の車両の状態を示す車両信号や、走行している時間帯や場所や天候、さらには道路状況といった周囲の環境から与えられる環境信号等の所定の状況を示す情報を用いることなく、運転者の顔画像から検出される眼座標値を用いるのみで、脇見判定を行うための視方向判定を行うか、居眠り判定を行うための開閉眼判定を行うかを選択することができる。
【００５７】
更に、この運転者状態検出装置１によれば、車両に関する信号から道路状況を検出するための定義をする必要が無く、複雑な処理をする必要がないという効果を発揮することができる。
【００５８】
さらに、運転者状態検出装置１においては、運転者の眼が滞留状態から移動状態に変化した場合にのみ処理選択部１４によって視方向判定処理が選択されるので、眼が滞留している滞留画像領域と滞留していない画像領域とのうち、眼が滞留していない画像領域における眼座標値と眼の移動方向とを用いて、視方向判定部１５によって視方向を判定することになる。これにより、運転者状態検出装置１においては、眼が滞留しているときには視方向判定部１５による視方向の判定処理を行わないので、演算器の処理を軽減することができる。
【００５９】
同様に、運転者状態検出装置１においては、運転者の眼が移動状態から滞留状態に変化した場合にのみ処理選択部１４によって開閉眼判定処理が選択されるので、眼が滞留している画像領域と滞留していない画像領域とのうち、眼が滞留している画像領域における眼の縦幅（開度）ｈを用いて、開閉眼判定部１６によって眼の開閉を判定することになる。これにより、運転者状態検出装置１においては、眼が移動しているときには開閉眼判定部１６による眼の開閉の判定処理を行わないので、演算器の処理を軽減することができる。
【００６０】
［第２実施形態］
つぎに、第２実施形態に係る運転者状態検出装置について説明する。なお、上述の第１実施形態と同様の部分については同一符号及びステップ番号を付することによりその詳細な説明を省略する。
【００６１】
［第２実施形態に係る運転者状態検出装置の構成］
第２実施形態に係る運転者状態検出装置１は、図１１に示すように、第１の処理選択部２１（第１の処理選択手段）により眼滞留判定部１３による判定結果を受け、眼の滞留状態と移動状態との変化に応じて第１の視方向判定部２２（第１の視方向判定手段）と開閉眼判定部１６との間で処理を切り替え、更に、第２の処理選択部２３（第２の処理選択手段）により開閉眼判定部１６による判定結果を受け、眼の開閉状態の変化に応じて第２の視方向判定部２４（第２の視方向判定手段）と居眠り判定部１８との間で処理を切り替える点で、第１実施形態に係る運転者状態検出装置１とは異なる。
【００６２】
第１の処理選択部２１は、上述した処理選択部１４と同様に、眼滞留判定部１３による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、第１の処理選択部２１は、眼滞留判定部１３による判定結果が、滞留状態から移動状態に変化した場合には、第１の視方向判定部２２による処理を行うべく、第１の視方向判定部２２に対してその旨を示す情報を供給する。また、第１の処理選択部２１は、眼滞留判定部１３による判定結果が、移動状態から滞留状態に変化した場合には、開閉眼判定部１６による処理を行うべく、開閉眼判定部１６に対してその旨を示す情報を供給する。
【００６３】
第１の視方向判定部２２は、上述した視方向判定部１５と同様に、第１の処理選択部２１によって選択されると、眼滞留判定部１３によって算出されて時系列に記憶領域に格納されている中央値Ｃに基づいて、この中央値Ｃの移動方向を求めることにより、運転者の視方向を判定する。このとき、第１の視方向判定部２２は、運転者の眼が滞留状態から移動状態に変化した場合にのみ第１の処理選択部２１によって選択されるので、眼が滞留しているときには処理を行うことはなく、眼が滞留していないときにのみ処理を行うことになる。第１の視方向判定部２２は、判定した視方向を示す情報を脇見判定部１７に供給する。
【００６４】
第２の処理選択部２３は、開閉眼判定部１６による判定結果に応じて、その後の処理を選択的に切り替える。すなわち、第２の処理選択部２３は、開閉眼判定部１６による判定結果が、閉状態から開状態に変化した場合には、第２の視方向判定部２４による処理を行うべく、第２の視方向判定部２４に対してその旨を示す情報を供給する。また、第２の処理選択部２３は、開閉眼判定部１６による判定結果が、開状態から閉状態に変化した場合には、居眠り判定部１８による処理を行うべく、居眠り判定部１８に対してその旨を示す情報を供給する。
【００６５】
第２の視方向判定部２４は、第２の処理選択部２３によって選択されると、眼滞留判定部１３によって求められて時系列に記憶領域に蓄えられた眼座標値の移動方向と、開閉眼判定部１６によって求められて時系列に記憶領域に蓄えられた眼の開閉情報とを用いて、視方向が下向きであるか否かを判定する。
【００６６】
具体的には、第２の視方向判定部２４は、図１２（Ａ）に示すように、あるフレームにおいて、眼滞留判定部１３によって両眼の中央値Ｃ１が求められると共に、開閉眼判定部１６によって眼の縦幅ｈ１が求められ、図１２（Ｂ）に示すように、他のフレームにおいて、眼滞留判定部１３によって両眼の中央値Ｃ２が求められると共に、開閉眼判定部１６によって眼の縦幅ｈ２が求められるものとすると、図１２（Ｃ）に示すように、眼の開度ｈと眼の縦方向の移動量ｄｙとに基づいて、眼の視方向を判定する。ここで、図１２（Ｃ）に示すように、両眼の中央値Ｃの縦方向の移動量ｄｙと、眼の縦幅ｈとに対応した眼の視方向を記したマップデータ等を予め第２の視方向判定部２４にて用意しておく。
【００６７】
図１２（Ｃ）によれば、第２の視方向判定部２４は、視方向が下方であると判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙ、眼を閉じていると判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙ、並びに視方向が正面と判定する場合の眼の縦幅ｈ及び両眼の中央値Ｃの縦方向の移動量ｄｙの３つの状態を閾値にて区分している。
【００６８】
ここで、この各状態を区分する方法としては、線形分離として、それぞれの領域の重心を結ぶ直線を垂直２等分する線分を求める方法や、非線形分離として、領域を円等に近似する方法等を用いることができる。なお、非線形分離の方法としては、例えば図１３に示すように、運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する方法が考えられる。この場合、図１３（Ａ）及び図１３（Ｂ）に示すように、円弧の半径が所定の閾値未満である場合には、開眼していると判定され、図１３（Ｃ）に示すように、円弧の半径が所定の閾値以上である場合には、閉眼しているものと判定される。
【００６９】
第２の視方向判定部２４は、このような方法を用いて眼の開閉をともなう視方向を判定し、判定した視方向を示す情報を脇見判定部１７に供給する。
【００７０】
［運転者状態検出装置の動作］
つぎに、上述したように構成された運転者状態検出装置１により、脇見状態や居眠り状態に対して報知をする処理について図１４のフローチャートを参照して説明する。
【００７１】
運転者状態検出装置１は、ステップＳ１〜ステップＳ３の処理をした後のステップＳ４において、運転者の眼が滞留していないと判定した場合には、第１の処理選択部２１による選択のもとにステップＳ５へと処理を移行し、第１の視方向判定部２２によって運転者の視方向を判定する。
【００７２】
そして、運転者状態検出装置１は、ステップＳ６において、脇見判定部１７によって運転者の眼の座標値と移動量とに基づいて脇見をしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７３】
一方、運転者状態検出装置１は、ステップＳ４において、運転者の眼が滞留していると判定した場合には、第１の処理選択部２１による選択のもとにステップＳ７へと処理を移行し、開閉眼判定部１６によって運転者の眼の開閉を判定する。
【００７４】
ここで、運転者状態検出装置１は、ステップＳ８において、運転者の眼が開眼していると判定した場合には、第２の処理選択部２３による選択のもとにステップＳ２１へと処理を移行し、第２の視方向判定部２４によって運転者の視方向が下方向であるか否かを判定する。
【００７５】
運転者状態検出装置１は、ステップＳ２２において、運転者の視方向が下方向でないと判定した場合には、ステップＳ１０へと処理を移行する一方で、運転者の視方向が下方向であると判定した場合には、ステップＳ６において、脇見判定部１７によって運転者の視方向が下向きであるとの情報を用いて脇見をしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７６】
また、運転者状態検出装置１は、ステップＳ８において、運転者の眼が閉眼していると判定した場合には、第２の処理選択部２３による選択のもとにステップＳ９へと処理を移行し、居眠り判定部１８によって運転者の眼の開閉判定結果に基づいて居眠りをしているか否かを判定し、ステップＳ１０へと処理を移行する。
【００７７】
そして、運転者状態検出装置１は、ステップＳ１０において、報知部１９によって報知の必要があるか否かを判定し、報知の必要がないと判定した場合には、ステップＳ１からの処理を繰り返す一方で、報知の必要があると判定した場合には、ステップＳ１１において、報知部１９によって報知信号を出力し、ステップＳ１からの処理を繰り返す。
【００７８】
運転者状態検出装置１は、このような一連の工程を経ることにより、運転者の脇見と居眠りとの判定を行うことができる。
【００７９】
このような処理を行う運転者状態検出装置１においては、例えば図１５に示すタイミングで、各部が動作する。すなわち、運転者状態検出装置１においては、時刻ｔ１１以前にて滞留状態であり、眼が開状態で視方向が下方向でないと判定されており、ステップＳ７、ステップＳ８、ステップＳ２１及びステップＳ２２の処理を実行している。そして、運転者状態検出装置１では、時刻ｔ１１にてステップＳ８の処理を行った結果、眼が閉状態になったと判定した場合にはステップＳ９にて居眠り判定処理を実行する。
【００８０】
次に、運転者状態検出装置１は、時刻ｔ１２にてステップＳ４の処理を行った結果、眼が移動状態であると判定した場合にはステップＳ５、ステップＳ６の処理を実行し、時刻ｔ１３にて再度滞留状態となり、眼が開状態で視方向が下方向であると判定した場合には、ステップＳ７、ステップＳ８、ステップＳ２１及びステップＳ６の処理を実行する。このように、運転者状態検出装置１においては、脇見判定部１７と居眠り判定部１８とが同時に動作させる必要がなくなる。
【００８１】
［第２実施形態の効果］
以上詳細に説明したように、第２実施形態に係る運転者状態検出装置１においては、開閉眼判定部１６による運転者の眼の開閉情報に基づいて、第２の処理選択部２３によって眼の開閉をともなう視方向を判定する第２の視方向判定部２４による処理と居眠り判定部１８による処理とを切り替えることにより、脇見判定部１７と、開閉眼判定部１６から居眠り判定部１８までとが同時に動作することがなくなり、脇見判定と居眠り判定とのうちいずれか一方の処理能力しかない演算器であっても、脇見と居眠りとの両者の判定を迅速且つ適切に行うことができるのに加え、眼の動きが小さく眼の開閉をともなう下方向への視方向を判定することができる。
【００８２】
さらに、運転者状態検出装置１においては、眼滞留判定部１３によって求められた眼の移動量と開閉眼判定部１６によって求められた眼の開度とに基づいて、運転者が正面方向を見ている状態を示す領域と、下方向を見ている状態を示す領域とを、第２の視方向判定部２４によって線形又は非線形に分離して、運転者の視方向が正面を見ているものであるか下方向を見ているものであるかを判定する。これにより、運転者状態検出装置１においては、眼の移動量だけでは、正面を見ているのか下方向を見ているのかが判別できない状態と、眼の開度だけでは、眼を閉じているのか下方向を見ているのかが判別できない状態とを、適切に分離することができる。
【００８３】
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る運転者状態検出装置を含む車両の概要構成を示す図である。
【図２】本発明の第１実施形態に係る運転者状態検出装置の構成を示すブロック図である。
【図３】第１実施形態に係る運転者状態検出装置における眼座標検出部によって眼を検出する様子を説明するための図である。
（Ａ） １画素列の縦ラインで顔画像上を横方向に走査する様子を説明する図である。
（Ｂ） （Ａ）に示す縦ラインで顔画像の光量変化を調べた結果を示す図である。
（Ｃ） 全ての縦ラインで光量が明るいところから暗いところへと変化する点を抽出していくことによって眼が検出される様子を説明する図である。
【図４】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって両眼の座標値の中央値を算出する様子を説明するための図である。
（Ａ） 運転者が正面を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の座標値と中央値とを示す図である。
（Ｂ） 運転者が左方向を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の座標値と中央値とを示す図である。
【図５】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって両眼の座標値の中央値の移動量を算出した結果例を示す図であり、中央値の移動量に対して所定の閾値を設定し、中央値の移動量から眼の滞留と移動とを分離する方法を説明するための図である。
【図６】第１実施形態に係る運転者状態検出装置における眼滞留判定部によって算出された眼の座標値の中央値の画像上での移動軌跡を描画した例を示す図であり、眼が滞留している区間と滞留していない区間とを説明するための図である。
【図７】第１実施形態に係る運転者状態検出装置における視方向判定部によって視方向を判定する様子を説明するための図である。
【図８】第１実施形態に係る運転者状態検出装置における開閉眼判定部によって眼の開閉を判定する様子を説明するための図である。
（Ａ） 運転者が眼を開いているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の縦幅を示す図である。
（Ｂ） 運転者が眼を閉じているときのフレームにおける顔画像を示す図であり、この顔画像から算出される眼の縦幅を示す図である。
（Ｃ） 眼の縦幅に対して所定の閾値を設定し、開眼であるか閉眼であるかを判定する方法を説明する図である。
【図９】第１実施形態に係る運転者状態検出装置において運転者の脇見と居眠りとの判定を行う際の一連の工程を示すフローチャートである。
【図１０】第１実施形態に係る運転者状態検出装置における各部の動作タイミングを示す図であり、処理選択部による処理の選択の様子を説明するための図である。
【図１１】本発明の第２実施形態に係る運転者状態検出装置の構成を示すブロック図である。
【図１２】第２実施形態に係る運転者状態検出装置における第２の視方向判定部によって視方向を判定する様子を説明するための図である。
（Ａ） 運転者が正面を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される両眼の座標値の中央値と眼の縦幅とを示す図である。
（Ｂ） 運転者が下方向を見ているときのフレームにおける顔画像を示す図であり、この顔画像から算出される両眼の座標値の中央値と眼の縦幅とを示す図である。
（Ｃ） 中央値の縦方向の移動量と眼の縦幅との関係に対して所定の閾値を設定し、正面を見ている領域と下方向を見ている領域とを分離する方法を説明するための図である。
【図１３】第２実施形態に係る運転者状態検出装置における第２の視方向判定部によって正面を見ている領域と下方向を見ている領域とを分離する方法の例として、非線形分離の方法を説明するための図である。
（Ａ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値未満である場合を説明する図である。
（Ｂ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値未満であって（Ａ）に示す半径よりは大きい場合を説明する図である。
（Ｃ） 運転者の上瞼の形状を円弧に近似し、その円弧の半径を求めることによって眼の開閉を判定する場合において、円弧の半径が所定の閾値以上である場合を説明する図である。
【図１４】第２実施形態に係る運転者状態検出装置において運転者の脇見と居眠りとの判定を行う際の一連の工程を示すフローチャートである。
【図１５】第２実施形態に係る運転者状態検出装置における各部の動作タイミングを示す図であり、第１の処理選択部及び第２の処理選択部による処理の選択の様子を説明するための図である。
【符号の説明】
１ 運転者状態検出装置
２ 撮像装置
３ 報知装置
１１ 顔画像取得部
１２ 眼座標検出部
１３ 眼滞留判定部
１４ 処理選択部
１５ 視方向判定部
１６ 開閉眼判定部
１７ 脇見判定部
１８ 居眠り判定部
１９ 報知部
２１ 第１の処理選択部
２２ 第１の視方向判定部
２３ 第２の処理選択部
２４ 第２の視方向判定部
Claims (6)
- 運転者の顔画像を取得する顔画像取得手段と、
前記顔画像取得手段によって取得された顔画像から前記運転者の眼の座標値を検出する眼座標検出手段と、
前記眼座標検出手段によって検出された眼の座標値を用いて眼の移動量を算出し、前記運転者の眼が滞留しているか否かを判定する眼滞留判定手段と、
前記眼座標検出手段によって検出された眼の座標値を用いて前記運転者の眼の移動方向を算出して、前記運転者の視方向を判定する第１の視方向判定手段と、
前記顔画像取得手段によって取得された顔画像に基づいて、前記運転者の眼の開閉を判定する開閉眼判定手段と、
前記第１の視方向判定手段によって判定された視方向に基づいて、前記運転者が脇見をしているか否かを判定する脇見判定手段と、
前記開閉眼判定手段による判定結果に基づいて、前記運転者が居眠りをしているか否かを判定する居眠り判定手段と、
前記脇見判定手段及び前記居眠り判定手段による判定結果に基づいて、前記運転者に報知するための報知信号を出力する報知手段と、
前記眼滞留判定手段による判定結果に応じて、前記第１の視方向判定手段による処理又は前記開閉眼判定手段による処理のうちいずれか一方を選択する第１の処理選択手段と
を備えることを特徴とする運転者状態検出装置。 - 前記眼滞留判定手段は、前記眼座標検出手段によって検出された時間的に直近の眼の座標値を少なくとも１つ以上格納し、当該格納した時間的に直近の眼の座標値から眼の移動量を算出し、眼の移動量が所定の閾値未満の移動量であった場合に、眼が滞留していると判定することを特徴とする請求項１に記載の運転者状態検出装置。
- 前記第１の視方向判定手段は、前記眼滞留判定手段によって分離された眼が滞留している画像領域と滞留していない画像領域とのうち、眼が滞留していない画像領域における眼の座標値と眼の移動方向とを用いて、前記運転者の視方向を判定することを特徴とする請求項１に記載の運転者状態検出装置。
- 前記開閉眼判定手段は、前記眼滞留判定手段によって分離された眼が滞留している画像領域と滞留していない画像領域とのうち、眼が滞留している画像領域における眼の開度を用いて、前記運転者の眼の開閉を判定することを特徴とする請求項１に記載の運転者状態検出装置。
- 前記眼の座標値の移動方向と、前記開閉眼判定手段によって求められた眼の開閉とを用いて、前記運転者の眼の開閉をともなう視方向を判定して、判定結果を前記脇見判定手段に供給する第２の視方向判定手段と、
前記開閉眼判定手段による判定結果に応じて、前記第２の視方向判定手段による処理又は前記居眠り判定手段による処理のうちいずれか一方を選択する第２の処理選択手段と
を更に備えることを特徴とする請求項１に記載の運転者状態検出装置。 - 前記第２の視方向判定手段は、前記眼滞留判定手段によって求められた眼の移動量及び前記開閉眼判定手段によって求められた眼の開閉に基づいて、前記運転者が正面方向を見ている状態を示す領域と、下方向を見ている状態を示す領域とを分離して、前記運転者の正面又は下方向の視方向を判定することを特徴とする請求項５に記載の運転者状態検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002359760A JP2004192345A (ja) | 2002-12-11 | 2002-12-11 | 運転者状態検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002359760A JP2004192345A (ja) | 2002-12-11 | 2002-12-11 | 運転者状態検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004192345A true JP2004192345A (ja) | 2004-07-08 |
Family
ID=32759062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002359760A Pending JP2004192345A (ja) | 2002-12-11 | 2002-12-11 | 運転者状態検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004192345A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171065A (ja) * | 2007-01-09 | 2008-07-24 | Denso Corp | 眠気検知装置 |
| JPWO2007111223A1 (ja) * | 2006-03-24 | 2009-08-13 | パイオニア株式会社 | 運転者の精神状態検出装置 |
| WO2009138828A1 (en) * | 2008-05-12 | 2009-11-19 | Toyota Jidosha Kabushiki Kaisha | Driver imaging apparatus and driver imaging method |
| WO2010029922A1 (ja) * | 2008-09-12 | 2010-03-18 | アイシン精機株式会社 | 開閉眼判定装置、開眼度推定装置、及びプログラム |
| CN109598899A (zh) * | 2018-11-09 | 2019-04-09 | 南京大学 | 一种个性化疲劳监测与提醒的***及方法 |
| JP2021037373A (ja) * | 2013-12-20 | 2021-03-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 計測装置および計測方法 |
| CN112740300A (zh) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | 车辆用监视装置 |
-
2002
- 2002-12-11 JP JP2002359760A patent/JP2004192345A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2007111223A1 (ja) * | 2006-03-24 | 2009-08-13 | パイオニア株式会社 | 運転者の精神状態検出装置 |
| JP4739407B2 (ja) * | 2006-03-24 | 2011-08-03 | パイオニア株式会社 | 運転者の精神状態検出装置 |
| JP2008171065A (ja) * | 2007-01-09 | 2008-07-24 | Denso Corp | 眠気検知装置 |
| RU2453884C1 (ru) * | 2008-05-12 | 2012-06-20 | Тойота Дзидося Кабусики Кайся | Устройство для формирования изображения водителя и способ формирования изображения водителя |
| WO2009138828A1 (en) * | 2008-05-12 | 2009-11-19 | Toyota Jidosha Kabushiki Kaisha | Driver imaging apparatus and driver imaging method |
| US8724858B2 (en) | 2008-05-12 | 2014-05-13 | Toyota Jidosha Kabushiki Kaisha | Driver imaging apparatus and driver imaging method |
| WO2010029922A1 (ja) * | 2008-09-12 | 2010-03-18 | アイシン精機株式会社 | 開閉眼判定装置、開眼度推定装置、及びプログラム |
| JP2010067137A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Central R&D Labs Inc | 開閉眼判定装置および開眼度推定装置 |
| JP2021037373A (ja) * | 2013-12-20 | 2021-03-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 計測装置および計測方法 |
| JP7246354B2 (ja) | 2013-12-20 | 2023-03-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 計測装置および計測方法 |
| CN112740300A (zh) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | 车辆用监视装置 |
| US11403858B2 (en) | 2018-09-20 | 2022-08-02 | Isuzu Motors Limited | Vehicular monitoring device |
| CN109598899A (zh) * | 2018-11-09 | 2019-04-09 | 南京大学 | 一种个性化疲劳监测与提醒的***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
| JP5706874B2 (ja) | 車両の周辺監視装置 | |
| JP5577398B2 (ja) | 車両の周辺監視装置 | |
| US20140226015A1 (en) | Apparatus for monitoring surroundings of vehicle | |
| JP3807331B2 (ja) | カメラの汚れ検出装置およびカメラの汚れ検出方法 | |
| JP2003134508A (ja) | 車両用情報提供装置 | |
| JP2008027309A (ja) | 衝突判定システム、及び衝突判定方法 | |
| US11669162B2 (en) | Eye event detection | |
| EP2863361A1 (en) | Object detection device for area around vehicle | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2007207274A (ja) | 発進報知装置 | |
| JP4322537B2 (ja) | マスク着用判定装置 | |
| JP2004192345A (ja) | 運転者状態検出装置 | |
| JP2008225216A (ja) | 情報表示装置 | |
| US20190124292A1 (en) | Image processing device | |
| JP3312562B2 (ja) | 居眠り状態検出装置 | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
| JP3444115B2 (ja) | 居眠り状態検出装置 | |
| JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
| JP4715604B2 (ja) | 周辺画像表示装置 | |
| US10926700B2 (en) | Image processing device | |
| JP4692447B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| JP3858534B2 (ja) | 眼の状態検出装置 | |
| JP2004334784A (ja) | 確認動作検出装置及び警報システム |