JP7024332B2 - ドライバモニタシステム - Google Patents

Description

本発明は、ドライバモニタシステムに関する。

従来から、ドライバの顔画像を撮像するカメラを備えたドライバモニタシステムが知られている。斯かるドライバモニタシステムでは、例えば、カメラによって撮像された顔画像に基づいてドライバの瞬きを検出すると共に、検出された瞬きの間隔に基づいてドライバが居眠り運転中であるか否かが判定される（例えば、特許文献１）。

特開２０００－３２６７５７号公報

ところで、急病等によってドライバに異常が生じた場合、ドライバは車両を適切に運転又は監視することができない。したがって、車両の安全を確保すべく、ドライバの異常診断を行うことが必要になる。

このようなドライバの異常診断を行うにあたり、ドライバの顔画像に基づいてドライバの顔のロール角（ドライバの顔が直立した状態に対して傾いている角度）を検出し、検出した顔のロール角が一定角度以上であるときにはドライバに異常が生じている判定することが検討されている。

しかしながら、ドライバは頬杖をついた状態で車両の運転又は監視を行うことがあり、この場合、ドライバの顔のロール角は比較的大きな角度に維持されることになる。したがって、上述したようにドライバの異常診断を行っていると、ドライバには実際には異常が生じていないにもかかわらず、ドライバに異常が生じていると誤判定されてしまう場合がある。

本発明は、上記課題に鑑みてなされたものであって、その目的は、ドライバの異常診断を行うにあたり、ドライバには実際には異常が生じていないにもかかわらずドライバに異常が生じていると誤判定してしまうのを抑制することにある。

本発明は、上記課題を解決するためになされたものであり、その要旨は以下のとおりである。

（１）ドライバの顔画像を撮像する撮像装置と、該撮像装置によって撮像された顔画像が送信される制御装置と、を備えるドライバモニタシステムであって、前記制御装置は、前記撮像装置によって撮像された顔画像に基づいてドライバの顔向きのロール角を検出する顔向き角度検出部と、前記顔向き角度検出部によって検出された顔向きのロール角の絶対値が所定時間以上に亘って所定角度以上に維持されるときにはドライバに異常があると判定する異常診断部と、前記撮像装置によって撮像された顔画像に基づいてドライバの顔の変化度合いを検出する変化度合い検出部と、を備え、前記異常診断部は、前記顔向きのロール角の絶対値が前記所定時間以上に亘って前記所定角度以上に維持されているときであっても、前記変化度合い検出部によって検出されたドライバの顔の変化度合いが所定の基準以上である場合には、ドライバに異常はないと判定する、ドライバモニタシステム。

本発明によれば、ドライバの異常診断を行うにあたり、ドライバには実際には異常が生じていないにもかかわらずドライバに異常が生じていると誤判定してしまうのが抑制される。

図１は、ドライバモニタシステムの構成を示す概略的なブロック図である。 図２は、ドライバモニタシステムを搭載した車両の内部を部分的に示す概略側面図である。 図３は、ドライバの頭を模式的に表した図である。 図４は、ドライバの顔向き角度を検出するのに用いられる特徴点を示す図である。 図５は、異常診断部によって行われる異常診断制御の制御ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜装置の構成＞
図１及び図２を参照して、一つの実施形態に係るドライバモニタシステム１の構成について説明する。図１は、本実施形態に係るドライバモニタシステム１の構成を示す概略的なブロック図である。図２は、本実施形態に係るドライバモニタシステム１を搭載した車両５０の内部を部分的に示す概略側面図である。

ドライバモニタシステム１は、車両５０に搭載され、車両５０のドライバの状態を監視する。図１に示したように、ドライバモニタシステム１は、ドライバの顔画像を撮像するドライバモニタカメラ（撮像装置）１０と、各種制御を行う制御装置として機能する電子制御装置（ＥＣＵ）２０と、ヒューマン・マシン・インターフェイス（Human Machine Interface（ＨＭＩ））３０とを備える。

まず、図２を参照して、ドライバモニタカメラ１０について説明する。図２に示したように、車両５０は、ステアリングコラム５１を介して取り付けられたステアリング５２と、ドライバの前方上方に配置されたルームミラー５３とを備える。

本実施形態では、ドライバモニタカメラ１０は、ステアリングコラム５１の上部に設けられ、ドライバを、具体的にはドライバの顔及び上半身の一部を撮像することができるようにドライバに向けて配置される。なお、ドライバモニタカメラ１０は、車両５０のドライバを撮像することができれば、ステアリングコラム５１の上部とは異なる位置に設けられてもよい。例えば、ドライバモニタカメラ１０は、車両５０のステアリング５２、ルームミラー５３、メータパネル、メータフード等に設けられてもよい。

ドライバモニタカメラ１０はカメラ及び投光器を備える。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができるように、投光器は近赤外ＬＥＤであることが好ましく、またカメラも近赤外線を検知することができることが好ましい。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。

ドライバモニタカメラ１０は、有線で又は無線で後述するＥＣＵ２０に接続される。したがって、ドライバモニタカメラ１０によって撮像された画像は、画像データとして、ＥＣＵ２０に送信される。

ＥＣＵ２０は、各種制御を行う制御装置として機能し、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ２０が設けられているが、ＣＡＮ等に準拠したバス等を介して互いに接続された複数のＥＣＵが機能毎に設けられていてもよい。図１に示したように、本実施形態では、ＥＣＵ２０は、顔向き角度検出部２１と、異常診断部２２と、変化度合い検出部２３とを備える。

顔向き角度検出部２１は、ドライバモニタカメラ１０によって撮像されたドライバの顔画像に基づいて、ドライバの顔向き角度を検出する。ドライバの顔向き角度は、ピッチ角θｘ、ヨー角θｙ及びロール角θｚ（これらをまとめて「顔向き角度」という）を含む。以下では、これらピッチ角θｘ、ヨー角θｙ及びロール角θｚについて簡単に説明する。

図３は、ドライバの頭を模式的に表した図である。図３に示すように、ドライバの顔の向きは、互いに直交する三つの軸線Ｘ、Ｙ、Ｚ回りの角度によって表すことができる。図中の軸線Ｘは、ドライバの頭を左右方向に延びる軸線であり、車両５０の進行方向と垂直に且つ水平方向に延びる軸線である。この軸線Ｘ回りのドライバの顔の角度θｘはピッチ角として表される。図中の軸線Ｙは、ドライバの頭を上下方向に延びる軸線であり、鉛直方向に延びる軸線である。この軸線Ｙ回りのドライバの顔の角度θｙはヨー角として表される。

図中の軸線Ｚは、ドライバの頭を前後方向に延びる軸線であり、車両５０の進行方向に延びる軸線である。この軸線Ｚ回りのドライバの顔の角度θｚはロール角として表される。したがって、ドライバが首をかしげたりするとドライバのロール角θｚが変化する。

次に、図４を参照して、顔向き角度検出部２１によるドライバの顔向き角度の具体的な検出方法について説明する。特に、本実施形態の顔向き角度検出部２１は、少なくともドライバの顔のロール角を検出するため、主にロール角の検出方法について説明する。図４は、ドライバの顔向き角度を検出するのに用いられる特徴点を示す図である。

ドライバの顔向き角度を検出するにあたり、顔の各パーツ（口、鼻、眼）のマッチング処理により各パーツが特徴点として抽出される。本実施形態では、顔向き角度検出部２１は、ドライバモニタカメラ１０によって撮像されたドライバの顔画像のうち目の外端及び鼻の先端を特徴点として抽出する。具体的には、顔向き角度検出部２１は、図４に示したように、左目の外端（左側の端）Ｌ、右目の外端（右側の端）Ｒ、及び鼻の頭Ｎを抽出する。そして、図４に示したように、点Ｎ（鼻の頭）から、線分ＲＬ（左右両目の外端同士を結んだ線分）に降ろした垂線と線分ＲＬとの交点を特徴点Ｃとして抽出する。

そして、顔向き角度検出部２１は、このようにして抽出した特徴点に基づいてドライバの顔向き角度を検出する。特に、ロール角θｚに関しては、ドライバの顔の向きが傾くと、ドライバモニタカメラ１０の水平線に対する線分ＲＬの角度（以下、単に「線分ＲＬの角度」ともいう）が変化する。よって、本実施形態では、顔向き角度検出部２１は、ドライバモニタカメラ１０の水平線に対する線分ＲＬの角度に基づいてドライバのロール角θｚを算出する。

また、このときロール角θｚは、例えば、水平線に対する線分ＲＬの角度が０°となる向きを基準として算出される。すなわち、ロール角θｚは、ドライバの顔が左右に傾いていない直立した状態を０°として算出される。したがって、ドライバが顔を右に傾けると線分ＲＬの角度が０°よりも大きくなってロール角θｚが正の値になると共に、顔を傾ける角度が大きくなるにつれてロール角θｚの絶対値が大きくなる。逆に、ドライバが顔を左に傾けると線分ＲＬの角度が０°よりも小さくなってロール角θｚが負の値になると共に、顔を傾ける角度が大きくなるにつれてロール角θｚの絶対値が大きくなる。

なお、図４に示した例では、顔向き角度検出部２１は、ドライバモニタカメラ１０によって撮像された顔画像に基づいて三つの特徴点を抽出し、これら特徴点に基づいてドライバの顔向き角度を検出している。しかしながら、顔向き角度検出部２１は、他の方法によってドライバの顔向き角度を検出するように構成されてもよい。したがって、顔向き角度検出部２１は、例えば、より多くの特徴点に基づいてドライバの顔向き角度を検出するように構成されてもよいし、顔画像を３Ｄモデルにフィッティング（マッチング）させ、この３Ｄモデルを用いて顔向き角度を検出するように構成されてもよい。

異常診断部２２は、顔向き角度検出部２１によって検出された顔向きのロール角に基づいて、ドライバの異常診断を行う。本実施形態では、異常診断部２２は、顔向きのロール角の絶対値が所定の基準時間以上に亘って所定の基準角度以上に維持されているときには、ドライバに異常が生じていると判定する。

ここで、急病等によってドライバに異常が生じた場合、ドライバは顔を直立させた状態で保持することができなくなる。この結果、ドライバの顔は左右に大きく傾き、よって顔向きのロール角の絶対値が大きくなる。したがって、急病等によってドライバに異常が生じた場合、顔向き角度検出部２１によって検出される顔向きのロール角の絶対値が大きい値に維持される。本実施形態の異常診断部２２は、顔向きのロール角の絶対値が基準時間以上に亘って基準角度以上に維持されているときには、ドライバに異常が生じていると判定するため、ドライバの異常を適切に診断することができる。

なお、基準時間は、異常が生じていないドライバが顔を傾け続けることがないような時間に設定され、例えば、十数秒、又は数十秒程度に設定される。また、基準角度は、異常が生じていないドライバが長時間に亘って顔を傾け続けることがないような角度に設定され、例えば、２０°以上、好ましくは、３０°以上、より好ましくは４０°以上に設定される。

変化度合い検出部２３は、ドライバモニタカメラによって撮像された顔画像に基づいてドライバの顔の変化度合いを検出する。ドライバの顔の変化は、ドライバが顔の少なくとも一部を動かしてドライバの顔の状態が変わることを意味する。したがって、ドライバの顔の変化には、例えば、ドライバが瞬きをすること（目の動き）、ドライバがしゃべること（口の動き）、ドライバの表情が変化すること（顔表面全体の動き）等が含まれる。

具体的には、変化度合い検出部２３では、まず、上述したように顔の各パーツ（口、鼻、眼）のマッチング処理により各パーツが特定される。そして、ドライバの瞬きを検出する場合には、目のパーツの境界線に基づいて上下の瞼間の最大距離、すなわち瞼の開き量が算出される。このようにして算出された瞼の開き量が所定の閾値以下の場合には、現在、瞼が閉じられていると判定され、閾値よりも大きい場合には、現在、瞼が開かれていると判定される。そして、このようにして算出された瞼の開き量が瞬間的に閾値以下になった後にすぐに閾値よりも大きい値に戻ったような場合に、ドライバが瞬きをしたことが検出される。なお、ドライバモニタカメラ１０から入力される画像を処理してドライバが瞬きをしたか否かを検出する手法としては、必ずしも上述した手法を用いる必要はなく、任意の適切な手法を用いることができる。

同様にして、ドライバがしゃべっていることや、ドライバの表情が変化したことが検出される。すなわち、口のパーツの境界線に基づいて口の開き量が算出され、この口の開き量が継続的に変化している場合にドライバがしゃべっていることが検出される。また、複数のパーツの相対位置関係等に基づいてドライバの表情が算出される。したがって、複数のパーツの相対位置関係等が変化しているときにドライバの表情が変化していることが検出される。ドライバモニタカメラ１０から入力される画像を処理してドライバがしゃべっているか否か及びドライバの表情が変化したか否かを検出する手法としては、必ずしも上述した手法を用いる必要はなく、任意の適切な手法を用いることができる。

また、ドライバの顔の変化度合いは、ドライバの顔の変化の程度を意味する。ドライバの顔の変化度合いとしては、例えば、ドライバが瞬きする回数、ドライバの口の開き量の変化量、及び顔のパーツの相対位置関係の変化量（表情の変化量）等が挙げられる。単位時間当たりにおける、ドライバが瞬きする回数、ドライバの口の開き量の変化量及び顔のパーツの相対位置関係の変化量がそれぞれ大きくなるほど、ドライバの顔の変化度合いが大きいといえる。なお、ドライバの顔の変化度合いは、他の手法によって算出されてもよい。

ＨＭＩ３０は、ドライバ又は車両乗員とドライバモニタシステム１との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ３０は、ドライバに各種情報を提供するための情報提供装置、具体的には、文字情報や画像情報を表示するためのディスプレイ、音声出力のためのスピーカを備える。加えて、ＨＭＩ３０は、ドライバの音声を認識するためのマイク、及びドライバが入力操作を行うための操作ボタン或いはタッチパネル等を備える。

ＨＭＩ３０は、有線で又は無線でＥＣＵ２０に接続される。したがって、ドライバ等によって入力された情報はＨＭＩ３０からＥＣＵ２０に送信され、また、ＨＭＩ３０の情報提供装置によってドライバに提供すべき情報がＥＣＵ２０からＨＭＩ３０に送信される。例えば、ＥＣＵ３０の異常診断部２２によってドライバに異常が生じていると判定された場合には、異常診断部２２からＨＭＩ３０に異常警報指令が送信される。このように異常警報指令が送信されると、ＨＭＩ３０は、例えば、スピーカから音声による案内を行ったり警報音を発生させたりすると共に、ディスプレイに姿勢を正すべき旨の警報を表示させる。このように、ＨＭＩ３０は、ドライバに異常が生じている場合にドライバに異常を警報する警報部として機能する。

なお、車両５０が自律的に運転可能な自動運転車両である場合、上述したような警報を行ってもなお異常診断部２２による異常判定が続くときには、車両５０は自動緊急退避走行を行う。自動緊急退避走行では、ドライバによる運転操作無しで車両５０を路肩に寄せて停止させるように車両５０が制御される。

＜異常診断における問題点＞
上述したように、異常診断部２２は、顔向きのロール角の絶対値が基準時間以上に亘って基準角度以上に維持されているときにドライバに異常が生じていると判定する。ところが、ドライバは例えば頬杖をついた状態で車両の運転又は監視を行うことがある。この場合、顔向きのロール角の絶対値は長時間に亘って比較的大きな角度に維持されることになる。このため、異常診断部２２は、ドライバが単に頬杖をついているだけでドライバに異常が生じていないときに、ドライバに異常が生じていると判定してしまう。この結果、ドライバに異常が生じていないにもかかわらず、ＨＭＩ３０による警報音の発生や、車両５０による自動緊急退避走行が行われてしまうことになる。

＜異常診断部における制御＞
ところで、急病等によってドライバに異常が生じている場合には、ドライバの顔が変化しなくなる。すなわち、このような場合、ドライバは瞬きをしなくなり、しゃべることもなくなり、表情も変化しなくなる。その一方で、ドライバが単に頬杖をついていてドライバに異常が生じていない場合には、通常、ドライバの顔は瞬きをすること等によって変化する。

そこで、本実施形態では、異常診断部２２は、変化度合い検出部２３によって顔向きのロール角の絶対値が基準時間以上に亘って基準角度以上に維持されているときであっても、変化度合い検出部２３によって検出されたドライバの顔の変化度合いが所定の基準以上である場合には、ドライバに異常は生じていないと判定する。

したがって、例えば、ドライバが瞬きする回数に基づいてドライバの顔の変化度合いを判断する場合、単位時間当たりにドライバが瞬きする回数が基準回数（例えば、１回）以上である場合には、ドライバに異常は生じていないと判定される。ドライバの口の開き量の変化量に基づいてドライバの顔の変化度合いを判断する場合、単位時間当たりのドライバの口の開き量の変化量が基準変化量（ゼロに近い量）以上である場合には、ドライバに異常は生じていないと判定される。また、顔のパーツの相対位置関係の変化量に基づいてドライバの顔の変化度合いを判断する場合、単位時間当たりの顔のパーツの相対位置関係の変化量が基準変化量（ゼロに近い量）以上である場合には、ドライバに異常は生じていないと判定される。

図５は、異常診断部２２によって行われる異常診断制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは一定時間間隔で行われる。

まず、ステップＳ１１では、顔向き角度検出部２１によって検出されたドライバの顔の現在のロール角θｚが異常診断部２２に取得される。次いで、ステップＳ１２では、ステップＳ１１にて取得されたロール角θｚの絶対値が基準角度θｚｒｅｆ以上であるか否かが判定される。ドライバの顔の傾きが小さくて、取得されたロール角θｚの絶対値が基準角度θｚｒｅｆ未満であると判定された場合には、ドライバに異常が生じていると判定されることなく、ステップＳ２０へと進む。一方、ドライバの顔が大きく傾いていて、取得されたロール角θｚの絶対値が基準角度θｚｒｅｆ以上であると判定された場合には、ステップＳ１３へと進む。

ステップＳ１３では、これまでのカウンタＣＴの値に１を加えたものが新たなカウンタＣＴの値とされる。カウンタＣＴは、ドライバの顔が大きく傾き始めてからの経過時間を表している。

次いで、ステップＳ１４では、変化度合い検出部２３によってドライバの瞬きが検出されたか否かが判定される。したがって、ステップＳ１４ではドライバの顔の変化度合いを瞬きの回数で判断している。そして、ステップＳ１４において、ドライバの瞬きが検出されたと判定された場合には、すなわち基準時間以内に瞬きの回数が１回以上である場合には、ドライバに異常が生じていると判定されることなく、ステップＳ２０へと進む。一方、ドライバの瞬きが検出されていないと判定された場合には、ステップＳ１５へと進む。

なお、本実施形態では、基準時間以内にドライバの瞬きの回数が１回以上である場合にドライバの顔の変化度合いが基準以上であると判断している。しかしながら、瞬きの回数が２回以上、又はそれ以上の回数以上である場合にドライバの顔の変化度合いが基準以上であると判断するようにしてもよい。

ステップＳ１５では、変化度合い検出部２３によって口の動きが検出されたか否か、より詳細には変化度合い検出部２３によって検出されたドライバの口の開き量の変化量が基準変化量以上であるか否かが判定される。ドライバがしゃべること等によりドライバの口の開き量が大きく変化している場合には、ステップＳ１５においてドライバの口の開き量の変化量が基準変化量以上であると判定され、ドライバに異常が生じていると判定されることなく、ステップＳ２０へと進む。一方、ステップＳ１５においてドライバの口の開き量の変化量が基準変化量未満であると判定された場合には、ステップＳ１６へと進む。

ステップＳ１６では、変化度合い検出部２３によってドライバの顔の表情の変化が検出されたか否か、より詳細には変化度合い検出部２３によって検出された顔パーツの相対位置関係の変化量が基準変化量以上であるか否かが判定される。ドライバの顔の表情が大きく変化した場合には、ステップＳ１６においてドライバの顔パーツの相対位置関係の変化量が基準変化量であると判定され、ドライバに異常が生じていると判定されることなく、ステップＳ２０へと進む。一方、ステップＳ１６においてドライバの顔パーツの相対位置関係の変化量が基準変化量未満であると判定された場合には、ステップＳ１７へと進む。

ステップＳ１７では、カウンタＣＴの値が予め定められた基準値ＣＴｒｅｆ以上であるか否か、すなわちドライバの顔が大きく傾き始めてからの経過時間が基準時間以上であるか否かが判定される。カウンタＣＴの値が基準値ＣＴｒｅｆ未満である場合には、制御ルーチンが終了せしめられる。一方、ステップＳ１７において、カウンタＣＴの値が基準値ＣＴｒｅｆ以上であると判定された場合には、ステップＳ１８へと進む。

ステップＳ１８では、ドライバに異常が生じていると判定される。この結果、異常診断部２２はＨＭＩ３０へ異常警報指令を送信する。次いで、ステップＳ１９では、カウンタＣＴが０にリセットされ、制御ルーチンが終了せしめられる。

一方、ステップＳ２０においても、ドライバに異常が生じていないことから、カウンタＣＴは０にリセットされ、制御ルーチンが終了せしめられる。

＜作用及び効果＞
本実施形態では、顔向きのロール角が大きい状態が維持されているときであっても、ドライバの顔の変化度合いが大きいときには、ドライバに異常は生じていないと判定される。ここで、ドライバの顔の変化度合いが大きいときには、基本的にドライバに急病等の異常が生じていないときであると考えられる。したがって、本実施形態によれば、ドライバが頬杖をついているとき等、ドライバに異常が生じていないにもかかわらず顔向きのロール角が大きくなるようなときに、ドライバの異常判定が行われてしまう事が抑制される。

＜変形例＞
なお、上記実施形態では、変化度合い検出部２３は、顔の変化度合いの検出として、瞬きの回数、ドライバの口の開き量の変化量、及びドライバの顔パーツの相対位置関係の変化量の全てを検出している。しかしながら、変化度合い検出部２３は、必ずしもこれら全てのパラメータを検出する必要はなく、これらパラメータのうち少なくともいずれか一つを検出すればよい。したがって、異常診断部２２は、これらパラメータのうち少なくともいずれか一つのパラメータに基づいてドライバの異常診断を行ってもよい。

また、上記実施形態では、顔の変化度合いが大きい場合に、ドライバの異常判定を中止するようにしている。しかしながら、例えば、ドライバがスイッチ類を操作しているような場合にもドライバには急病等の異常は生じていないと考えられる。したがって、ドライバ周りのスイッチ類が検知されているような場合にも、ドライバの異常判定を中止するようにしてもよい。

１ ドライバモニタシステム
１０ ドライバモニタカメラ
２０ ＥＣＵ
２１ 顔向き角度検出部
２２ 異常診断部
２３ 変化度合い検出部
３０ ＨＭＩ
５０ 車両

Claims (1)

1. ドライバの顔画像を撮像する撮像装置と、該撮像装置によって撮像された顔画像が送信される制御装置と、を備えるドライバモニタシステムであって、
   前記制御装置は、
   前記撮像装置によって撮像された顔画像に基づいてドライバの顔向きのロール角を検出する顔向き角度検出部と、
   前記顔向き角度検出部によって検出された顔向きのロール角の絶対値が所定時間以上に亘って所定角度以上に維持されるときにはドライバに異常があると判定する異常診断部と、
   前記撮像装置によって撮像された顔画像に基づいて、ドライバの顔のパーツの相対位置関係の変化量を含むドライバの顔の変化度合いを検出する変化度合い検出部と、を備え、
   前記異常診断部は、前記顔向きのロール角の絶対値が前記所定時間以上に亘って前記所定角度以上に維持されているときであっても、前記変化度合い検出部によって検出されたドライバの顔の変化度合いが所定の基準以上である場合には、ドライバに異常はないと判定する、ドライバモニタシステム。

Images