JP2004519788A - 運転に対するドライバーの注意力を監視するシステム - Google Patents

Abstract

車両の運転に対するドライバーの注意力を監視するためのシステムはドライバーの顔がカメラの視野の中に位置するような視野を持つカメラを含む。前記システムは、分析のため前記ドライバーの画像に対応する信号を受信する、前記カメラに結合した視線及び顔の向き決定部も含む。前記視線及び顔の向き決定部は該車両の前記ドライバーの視線及び顔の向きが進行方向前方に向いているかどうかを決定する。前記システムは、前記視線及び顔の向きが該車両の進行方向前方を向いていないことを前記ドライバーに忠告するために、前記視線及び顔の向き決定部に反応するアラームも含む。

Description

【０００１】
【発明の属する技術分野】
本発明は車両向けの視覚システム、特に運転に対するドライバーの注意力を監視するシステムに関する。
【０００２】
【従来の技術】
運転事故の大きな原因は運転という行為に対するドライバーの注意力の欠如である。これには、そのときの道路状況（例えば天候状況）を監視していなかったり、ドライバーの車に近接する道路上の他の車両を監視していなかったりするドライバーを含む。ドライバーは典型的に運転中に多くの注意散漫に遭遇する。ドライバーによって遭遇される注意散漫の例は、景色、歩行者、他のドライバー及び車両を眺めたりすること、ドライバーの疲労及び眠気、カーステレオのつまみの調整、携帯電話の利用、ミラーを見ること、並びに同乗者との会話に気をとられることを含む。上記注意散漫の全てはドライバーの注意力を運転からそらし、それ自体がドライバーの車両と道路上の他車両との間の関係の見通しを失わせる。
【０００３】
【発明が解決しようとする課題】
運転に対するドライバーの注意力を監視し、ある時間ドライバーが車両前方の運転状況を見ていなかった場合にドライバーに忠告するシステムを持つことは有益であろう。
【０００４】
それ故本発明の目的は、運転に対するドライバーの注意力を監視するシステムを提供することにある。
【０００５】
本発明の他の目的は、運転に対するドライバーの注意力を監視し、及び前記ドライバーの注意力を進行方向前方に向け直すよう前記ドライバーに忠告するための聴くこと、見ること、又は触知することが可能なアラームを提供するシステムを提供することにある。
【０００６】
本発明の他の目的は、運転に対するドライバーの注意力を監視するシステムであって、既に知られている運転監視システムの本質的な欠点を克服するものを提供することである。
【０００７】
【課題を解決するための手段】
本発明の一形態によれば、車両の運転に対するドライバーの注意力を監視するシステムは、ドライバーの視線及び顔の向きの画像を捕捉できるように、カメラの視野にドライバーの顔が位置するような視野を持つドライバー監視カメラを含む。該システムは、分析のためドライバーの顔を表示するドライバー監視カメラからの画像信号を受信する、ドライバー監視カメラに結合した視線及び顔の向き決定部をも含む。該視線及び顔の向き決定部は、ドライバーの視線と顔面とが車両の進行方向前方に向いているかどうかの表示を提供する。該システムは、ドライバーの視線及び顔の向きが車両の進行方向前方に向いていないことをドライバーに忠告するため、該視線及び顔の向き決定部に反応するアラームをも含む。
【０００８】
本発明の他の形態によれば、運転に対するドライバーの注意力を監視する該システムは、ドライバーの視線及び顔の向きの画像を捕捉できるように、該ドライバー監視カメラの視野にドライバーの顔が位置するような視野を持つドライバー監視カメラを含む。該システムは、分析のためドライバーの顔を表示するドライバー監視カメラからの画像信号を受信する、ドライバー監視カメラに結合した視線及び顔の向き決定部をも含む。該視線及び顔の向き決定部は、ドライバーの視線と顔の向きとが車両の進行方向前方に向いているかどうかを示す表示を提供する。該システムは、該車両の外部及び近接の領域を監視するため視野を持ち向きを合わせられている対象物監視カメラと、実施上該対象監視カメラに結合している対象物距離決定部とをも含む。対象物距離決定部は、対象物監視カメラの視野にある対象物を識別し、該識別された対象物のドライバーの車両からの距離を測定する。該システムは、該車両の速度を測定するためのスピードメーターとアラームとをも含む。ドライバーの視線及び顔の向きの少なくとも一方が車両の進行方向前方に向いておらず、かつ前記カメラの視野中にある対象物が予め定めた該車両との距離以内にあると対象物距離決定部が識別した場合、該アラームが潜在的な危険を警告するために作動させられ、またドライバーの視線及び顔の向きの少なくとも一方が、車両のスピードに応じた所定の時間の間、車両の進行方向前方に向いていない場合は、該アラームがドライバーの視線及び顔の向きを進行方向前方に向けるよう忠告するために作動させられる。
【０００９】
車両を運転中のドライバーの注意力を監視する該システムの好適な形態は、本発明の他の実施例、目的、特徴、及び利点と同様に、対応する図面と関連づけて読まれるべき以下の実施例の詳細な記述により明らかになろう。
【００１０】
【発明の実施の形態】
図を参照すると、車両１の運転に対するドライバーの注意力を監視するシステムが示されている。本システムは好ましくは、該カメラの視野１２’が少なくとも車両内に位置するドライバーの頭部１４を持つように車両内に設置されたドライバー監視カメラ１２を含む。ドライバー監視カメラ１２の出力は、少なくともドライバーの視線及び顔の向きを示すドライバー監視カメラ１２からの画像信号を受信する画像処理部１６と結合されている。ドライバーの視線はドライバーの目の方向と関連しており、それ故ドライバーの視覚の方向に対応している。ドライバーの顔の向きはドライバーの頭部の向き（即ち、該頭部が車両の進行方向から離れる方に向いているか、又は車両の進行方向に向かって向いているか）に対応している。
【００１１】
本システムは、少なくとも車両１の進行方向を監視するように配置された、視野１８’を持つ対象物監視カメラ１８をも含む。対象物監視カメラ１８は該車両の側部や後部の範囲を監視できるようにできることは予想できる。該車両に近接する範囲を監視するために、１つより多い対象物監視カメラが必要になるかも知れないことも予想できる。
【００１２】
対象物監視カメラ１８は該車両に近接する領域を監視し、それに応じて画像信号を供給する。対象物監視カメラ１８の出力は、視野１８’内にある車両１に近接した視界に対応する対象物監視カメラ１８からの画像信号を受信する画像処理部１６に結合される。該画像処理部は画像信号を処理し、車両１に近接する領域の視覚的な表示を該ドライバーに提供するためにディスプレイ２０へ出力信号を供給する。ドライバー監視カメラ１２及び対象物監視カメラ１８としての利用のために適切なカメラは、Ｋｉｎｏｓｈｉｔａ他による米国特許第ＵＳＰ６，１１４，９５１号（本参照によりこの文献の全開示内容は本明細書に取り込まれたものとする）に開示されている。
【００１３】
画像処理部１６には、対象物監視カメラ１８によって観測される対象物の該車両からの相対距離を測定する対象物距離決定部２２が結合されている。対象物距離決定部２２は、ドライバーに、対象物監視カメラ１８の視野１８’内に位置するそれぞれの対象物の、該ドライバーの車両からの距離の表示を提供するディスプレイ２０へ出力信号を供給する。
【００１４】
「Ｏｂｓｔａｃｌｅ Ｄｅｔｅｃｔｉｎｇ Ｓｙｓｔｅｍ Ｆｏｒ ａ Ｍｏｔｏｒ Ｖｅｈｉｃｌｅ」と題されたＡｓａｙａｍａによる米国特許第ＵＳＰ５，６３３，７０５号、「Ｄｉｓｔａｎｃｅ Ｄｅｔｅｃｔｉｎｇ Ａｐｐａｒａｔｕｓ Ｆｏｒ Ａ Ｖｅｈｉｃｌｅ」と題されたＭａｅｋａｗａ他による米国特許第ＵＳＰ５，３０４，９８０号、及び「Ｄｉｓｔａｎｃｅ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ Ｆｏｒ Ｖｅｈｉｃｌｅｓ」と題されたＳａｎｅｙｏｓｈｉによる米国特許第ＵＳＰ５，３０７，１３６号に開示されているような（参照することによってこれら文献の全開示内容は本明細書に組み込まれたものとする）、相対距離の決定のために信号が対象物に送信され送信器に返ってくるレーダーやソナー型のシステム、及び前記車両からの対象物の距離を決定するために前記カメラから得られる画像が分析されるステレオカメラ若しくはシングルカメラといった、当業者に知られた多くのシステムは、車両からの対象物の相対距離を提供することができる。
【００１５】
本システムは、画像処理部１６と結合した視線及び顔の向き決定部２４も含む。前記視線及び顔の向き決定部は、ドライバー監視カメラ１２により生成された画像信号を入力信号として受信する。前記視線及び顔の向き決定部は、前記ドライバー監視カメラによって捕捉された画像を分析し、ドライバーの視線及び顔の向き（即ち、ドライバーの視線及び顔の向きが車両の進行方向前方に向いているかどうか）を決定する。前記ドライバーの視線及び顔の向きは好ましくは、Ｔｈｏｍａｓ Ｄ． Ｒｉｋｅｒｔ、 Ｍｉｃｈａｅｌ Ｊ． Ｊｏｎｅｓによる、「Ｇａｚｅ Ｅｓｔｉｍａｔｉｏｎ Ｕｓｉｎｇ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ」（Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ、１９９８年４月１４〜１６日、４３６〜４４１頁）、及び／又はＳｒｉｎｉｖａｓ Ｇｕｔｔａ、 Ｊｅｆｆｒｅｙ Ｒ．Ｊ． Ｈｕａｎｇ、 Ｐ． Ｊｏｎａｔｈｏｎ Ｐｈｉｌｌｉｐｓ、 Ｈａｒｒｙ Ｗｅｃｈｓｌｅｒによる「Ｍｉｘｔｕｒｅ ｏｆ Ｅｘｐｅｒｔｓ ｆｏｒ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｇｅｎｄｅｒ， Ｅｔｈｎｉｃ Ｏｒｉｇｉｎ， ａｎｄ Ｐｏｓｅ ｏｆ Ｈｕｍａｎ Ｆａｃｅｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、Ｖｏｌ．１１、Ｎｏ．４（２００７年７月）、９４８〜９６０頁）と題された文献における教示に従って決定される（参照することによってこれら文献の全ての開示内容は本明細書に組み込まれたものとする）。
【００１６】
本システムは、視線及び顔の向き決定部２４からの出力信号、及び対象物距離決定部２２からの出力信号を入力信号として受信する中央演算ユニット（ＣＰＵ）２６も含む。前記ＣＰＵには、ドライバーの視線及び顔の向きが前記車両の進行方向前方に向いていない時間の表示を提供する（以下に説明する）ために使用されるタイマー２８、及び前記車両の走行速度の表示を提供するスピードメーター３０も結合されている。ＣＰＵ２６の出力には、所定の時間以上視線と顔の向きが進行方向前方に向いていないことをドライバーに警告するためのアラーム信号を提供するアラーム３２が結合されている（以下に説明する）。前記アラームはドライバーに視線及び顔の向きを前記車両の進行方向前方に向けるように忠告するために、聴くこと、見ること又は触知することが可能な信号をドライバーに提供する。好ましい実施例においては前記アラームは聴くこと及び見ること共に可能である。
【００１７】
ＣＰＵ２６は好ましくは、アラーム３２を利用して、危険な運転状況が発展している又は起ころうとしていることを忠告し、その結果前記車両の進行方向前方に注意を向け直すようにドライバーに忠告するために、スピードメーター３０、視線及び顔の向き決定部２４、及び対象物距離決定部２２により提供される入力信号を監視する。好適な実施例においてはＣＰＵ２６は、ドライバーの視線及び顔の向きの少なくとも一方が進行方向前方を向いていない場合にアラーム３２を作動させる。好ましくは、前記ＣＰＵは前記車両の走行速度を監視し、ある短い時間だけ進行方向前方から視線及び顔の向きをそむけることを許す。前記短い時間は走行速度によって決定される。例えば、前記車両が時速１０マイルで走行している場合、例えばステレオを調節したり電話をかけたり受信したりするために携帯電話を探すために、ドライバーは比較的長い時間（例えば２秒間）進行方向前方から視線及び顔の向きをそむけることが許される。前記時間が経過した後は、ドライバーがまだ視線及び顔の向きを進行方向前方に向けていない場合、ドライバーは前記アラームに介して視線及び顔の向きを進行方向前方に向けるように忠告される。走行速度が増すほど、システムによってユーザに進行方向前方から視線及び顔の向きをそらすことを許す時間としてシステムによって割り当てられる時間は減少する。これは、前記車両の速度が増せば、非常の場合に該車両を停止したり他の行動（障害物をよけるなど）を起こすために必要な時間が増えるからである。
【００１８】
上述したように、ＣＰＵ２６は対象物距離決定部２２から入力信号として前記車両に近い各対象物の距離を受信する。前記ＣＰＵが視線及び顔の向きの少なくとも一方が進行方向前方に向いていないと決定し、かつ前記対象物距離決定部が前記カメラの視野中の少なくとも１つの対象物を識別しかつ該少なくとも１つの対象物の前記車両からの距離が前記車両からの所定の距離より小さい場合、前記アラームがドライバーに潜在的な危険を警告するために作動させられる。前記所定の距離は前記車両の速度によって決定される（例えば、ドライバーの車両が時速３０マイルで走行している場合は、安全な後続距離が１００フィートに設定される）。
【００１９】
図２を参照すると、乗用車、トラック、軽トラック、スポーツユーティリティカー、バン、バス又はオートバイといった車両で使用される、車両を運転するドライバーの注意力を監視するためのシステムが示されている。ディスプレイ２０は好ましくは、ドライバーの車両からの対象物の距離の表示をドライバーに提供するため、ドライバーの前方向の視野の直前に配置される。ドライバー監視カメラ１２はダッシュボード、計器盤、ヘッダー又はフロントガラスの従来は室内用バックミラーによって占められている場所に据え付けられるか又は取り付けられる。前記カメラは好ましくは、ドライバーの視界を妨げないようなサイズと配置にされる。
【００２０】
前記ディスプレイ装置は好ましくは、ドライバーにとってできるだけ自然になるようなサイズである。該サイズは前記表示される画像のサイズと前記ドライバーと前記ディスプレイとの間の距離との如何による。前記ディスプレイは好ましくは、ドライバーの前方の視野を著しく妨げない、ドライバーの生理学的な視野内に配置される。前記ディスプレイは、バックライト型若しくは反射型液晶ディスプレイ、プラズマディスプレイ、電界放出ディスプレイ（ｆｉｅｌｄ ｅｍｉｓｓｉｏｎ ｄｉｓｐｌａｙ）、ＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）電子蛍光（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ）装置、発光ダイオード、又は可変形ミラーディスプレイ（ｄｅｆｏｒｍａｂｌｅ ｍｉｒｒｏｒ ｄｉｓｐｌａｙ）などの直視型フラットパネルディスプレイであっても良い。画像処理部によって生成される画像は、投影された画像又は虚像を提供するなどの他の表示技術を利用して表示されても良い。虚像は視野のすぐ前方の不透明なディスプレイに表示されるか、又は画像がドライバーの前方視野にスーパーインポーズされる透明なヘッドアップディスプレイに表示されても良い。
【００２１】
図３は、本発明によるドライバーの運転への注意力を監視するために据え付けられたドライバー監視カメラ１２を持つ車両の内部の座席空間の側面図である。
【００２２】
本発明の実施例は図に関連して上記に述べられたが、本発明は上述の正確な実施例に限定されるものではなく、本発明の範囲及び精神から離れない程度において当業者によって種々の修正が可能であることは理解されよう。例えば、前記システムはアクセルやブレーキシステムと結合させ、もしアラームが作動された場合でかつ続く特定の時間の間ドライバーの視線及び顔の向きが進行方向前方に戻されなかった場合、ドライバーの視線及び顔の向きが進行方向前方に戻るまで該車両の走行速度が徐々に減速されるようにしても良いことは予想できる。また、ドライバーの視線は進行方向前方に向いていないが顔の向きは進行方向に向いていると決定された場合、前記システムは該ドライバーが眠いと結論し、窓を開けることによりドライバーの注意力を増し、運転から休むようにドライバーに忠告する、聴くことができる若しくはテキストのメッセージを提供し、ハンドル若しくは座席を振動させ、及び／又はラジオのスイッチを入れる若しくは既にスイッチが入っている場合にはラジオの音量を上げるようにしても良いことも予想できる。
【図面の簡単な説明】
【図１】本発明による車両を運転中のドライバーの注意力を監視するシステムのブロック図である。
【図２】本発明によるドライバーの注意力を監視するシステムを持つ車両の平面図である。
【図３】座席空間内のドライバーを共に示した、本発明によるドライバーの注意力を監視するシステムを含む車両の一部分かつ省略された側面図である。

Claims (15)

1. ドライバーの視線及び顔の向きを観察するため、前記ドライバーの顔を視野の中に位置づけた当該視野を含むドライバー監視カメラと、
   前記ドライバー監視カメラと結合され、前記ドライバーの顔を示す前記カメラからの画像信号を受信し、前記ドライバーの視線及び顔の向きが車両の進行方向前方に向いているかどうかを決定する視線及び顔の向き決定部と、
   前記ドライバーの視線及び顔の向きのうち少なくとも一方が前記車両の進行方向前方に向いていないことを前記ドライバーに忠告するために、前記視線及び顔の向き決定部に応答するアラームとを有する、車両を運転中のドライバーの注意を監視するシステム。
2. 該車両の外部及び近接の領域を監視するため視野を持ち向きを合わせられている対象物監視カメラと、
   前記対象物監視カメラと実施上結合された対象物及び距離決定部とを有し、該対象物及び距離決定部は、前記対象物監視カメラの視野の中の少なくとも１つの対象物を識別し、当該少なくとも１つの対象物の該車両からの距離を決定する、請求項１に記載のシステム。
3. 前記視線及び顔の向き決定部は、前記ドライバーの前記視線及び顔の向きのうち少なくとも一方が前記車両の進行方向前方に向いていないことを決定し、前記対象物及び距離決定部は、前記カメラの視野の中の少なくとも１つの対象物及び当該少なくとも１つの対象物の該車両からの距離を識別するものであって、少なくとも１つの対象物の該車両からの距離が該車両からの所定の距離より小さいと決定して、前記ドライバーに潜在的な危険を警告し該ドライバーの視線及び顔の向きを該車両の進行方向前方に向け直すために前記アラームが作動する、請求項２に記載のシステム。
4. 前記対象物及び距離決定部は、前記カメラの視野の中の少なくとも１つの対象物及び少なくとも１つの対象物の該車両からの距離を識別するものであって、少なくとも１つの対象物の該車両からの距離が該車両からの所定の距離より小さいと決定して、前記ドライバーに潜在的な危険を警告する、請求項２に記載のシステム。
5. 前記視線及び顔の向き決定部及び前記アラームに実施上結合されるＣＰＵをさらに有し、該ＣＰＵは前記視線及び顔の向き決定部から受信される信号を監視し、前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていない場合に、前記信号に応じて前記アラームを作動させる、請求項２に記載のシステム。
6. 前記ドライバーの視線及び顔の向きが該車両の進行方向前方に向いていない時間を計数するために前記ＣＰＵに実施上結合されたタイマーをさらに有する、請求項５に記載のシステム。
7. 該車両の速度を計測するスピードメーターと、
   前記視線及び顔の向き決定部、前記スピードメーター、及び前記アラームに実施上結合されたＣＰＵをさらに有し、該ＣＰＵは該車両の速度を示す前記スピードメーターからの入力信号を受信し、該ＣＰＵは該車両の速度に基づき前記視線及び顔の向き決定部から受信される信号を監視するものであり、
   前記ＣＰＵが、所定の時間前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていないと決定した場合、該ＣＰＵは前記ドライバーの視線及び顔の向きを該車両の進行方向前方に向け直すよう該ドライバーに忠告するために前記アラームを作動させるものであって、前記所定の時間は該車両の速度に対応しているものである、請求項２に記載のシステム。
8. 前記ドライバーの視線及び顔の向きが該車両の進行方向前方に向いていない時間を計数するために前記ＣＰＵに実施上結合されたタイマーをさらに有する、請求項７に記載のシステム。
9. 該車両の速度を計測するためのスピードメーターをさらに有し、前記視線及び顔の向き決定部が所定の時間前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていないと決定した場合、前記ドライバーの視線及び顔の向きを進行方向前方に向けるよう該ドライバーに忠告するため前記アラームが作動する、請求項１に記載のシステム。
10. 前記所定の時間は該車両の速度によって決定される、請求項９に記載のシステム。
11. 前記アラームは、聴くことのできるアラーム、見ることができるアラーム又は触知することができるアラームのいずれか１つである、請求項１に記載のシステム。
12. ドライバーの視線及び顔の向きを監視するために、前記ドライバーの顔を視野の中に位置づけた当該視野を含むドライバー監視カメラと、
    前記ドライバー監視カメラと結合され、前記ドライバーの顔を示すカメラからの画像信号を受信し、前記ドライバーの視線及び顔の向きが車両の進行方向前方に向いているかどうかを決定する視線及び顔の向き決定部と、
    該車両の外部及び近接の領域を監視するため視野を持って向きを合わせられている対象物監視カメラと、
    前記対象物監視カメラと実施上結合され、前記対象物監視カメラの視野の中の少なくとも１つの対象物及び該対象物の該車両からの距離を識別する対象物及び距離決定部と、
    該車両の速度を計測するスピードメーターとを有し、
    所定の時間前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていないと決定され、かつ前記対象物及び距離決定部が該車両から所定の距離の範囲内にある前記カメラの視野内の対象物を識別した場合、前記ドライバーの視線及び顔の向きを該車両の進行方向前方に向け直すよう忠告するため前記アラームが作動し、
    所定の時間前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていないと決定された場合、前記ドライバーの視線及び顔の向きを該車両の進行方向前方に向け直すよう忠告するため前記アラームが作動する、車両を運転中のドライバーの注意を監視するシステム。
13. 前記所定の時間は該車両の速度によって決定される、請求項１２に記載のシステム。
14. 前記視線及び顔の向き決定部、前記スピードメーター、及び前記アラームに実施上結合されたＣＰＵをさらに有し、前記ＣＰＵは該車両の速度に基づき前記視線及び顔の向き決定部から受信される信号を監視するものであり、前記視線及び顔の向きの少なくとも一方が該車両の進行方向前方を向いていない場合に、前記信号に応じて前記アラームを作動させる、請求項１２に記載のシステム。
15. 前記ドライバーの視線及び顔の向きが該車両の進行方向前方に向いていない時間を計数するためのタイマーをさらに有する、請求項１２に記載のシステム。

Images