JP6242541B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP6242541B2
JP6242541B2 JP2017512473A JP2017512473A JP6242541B2 JP 6242541 B2 JP6242541 B2 JP 6242541B2 JP 2017512473 A JP2017512473 A JP 2017512473A JP 2017512473 A JP2017512473 A JP 2017512473A JP 6242541 B2 JP6242541 B2 JP 6242541B2
Authority
JP
Japan
Prior art keywords
driving support
information
line
safe driving
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017512473A
Other languages
English (en)
Other versions
JPWO2016166791A1 (ja
Inventor
友美 保科
友美 保科
朝子 重田
朝子 重田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016166791A1 publication Critical patent/JPWO2016166791A1/ja
Application granted granted Critical
Publication of JP6242541B2 publication Critical patent/JP6242541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Description

この発明は、運転者が行った運転内容を記憶しておき自身の行った運転を振り返らせる運転支援装置に関するものである。
従来、運転者の急発進または急停車を検出した際、メッセージを表示したり警告音を鳴らしたりして運転者に注意を促す運転支援装置が知られている。
例えば、特許文献1に係る運転支援装置は、実際の走行状態と理想の走行状態との乖離度合いにより運転評価を行い、危険運転が発生した箇所の情報を記憶しておき、運転を終了した際に危険箇所と危険運転の情報をまとめて表示する。さらに、次回運転時、過去に危険運転状態が発生した箇所に接近すると運転者に警告を行う。
特開2007−108926号公報
しかしながら、上記特許文献1のような従来の運転支援装置では、運転終了時等に危険箇所と危険運転の種類等の情報を簡潔な文字等で表示するのみであり、運転者が自ら行った運転を詳細に思い出すことが困難であるという課題があった。そのため、運転者は、具体的にどのような運転が良かったかまたは悪かったかを理解しにくく、効果的な安全運転教育ができなかった。
この発明は、上記のような課題を解決するためになされたもので、運転者が行った運転内容を具体的に表示し、効果的な安全運転教育を行うことが可能な運転支援装置を提供することを目的とする。
この発明に係る運転支援装置は、運転者の実際の視線分布を出力する視線分布出力部と、理想の視線分布を記憶している視線分布記憶部と、実際の視線分布および理想の視線分布の一致度合いに基づいて安全運転支援情報を生成するか否かを判定し、生成すると判定した場合に車両の前方風景を含む車外撮像画像に実際の視線分布を重畳した安全運転支援情報を生成し表示器に表示させる表示制御部とを備え、表示制御部は、実際の視線分布および理想の視線分布の一致度合いが閾値以下のとき安全運転支援情報を生成すると判定すると共に、当該一致度合いが閾値以下になった原因を判定し、判定した原因を運転者が留意すべき事項として安全運転支援情報と併せて表示器に表示させるものである。
この発明によれば、実際の視線分布および理想の視線分布の一致度合いに基づいて安全運転支援情報を生成するか否かを判定し、車両の前方風景を含む車外撮像画像に実際の視線分布を重畳した安全運転支援情報を生成して表示器に表示させるようにしたので、運転者が行った運転内容を具体的に表示することができ、効果的な安全運転教育を行うことが可能となる。
この発明の実施の形態1に係る運転支援装置の構成例を示すブロック図である。 車両の前方風景を含む車外撮像画像上での理想の視線分布と実際の視線分布との一致度合いを説明するための図である。 実施の形態1の安全運転支援情報の表示例を示す図である。 実施の形態1に係る運転支援装置とその周辺機器のハードウエア構成図である。 この発明の実施の形態2に係る運転支援装置の構成例を示すブロック図である。 実施の形態2に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態3に係る運転支援装置の構成例を示すブロック図である。 実施の形態3の留意事項が付与された安全運転支援情報の表示例を示す図である。 実施の形態3に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態4に係る運転支援装置の構成例を示すブロック図である。 実施の形態4の留意事項が付与された安全運転支援情報の表示例を示す図である。 実施の形態4に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態5に係る運転支援装置の構成例を示すブロック図である。 実施の形態5の留意事項が付与された安全運転支援情報の表示例を示す図である。 実施の形態5に係る運転支援装置の動作を示すフローチャートである。 この発明の実施の形態6に係る運転支援装置の構成例を示すブロック図である。 実施の形態6の留意事項が付与された安全運転支援情報の表示例を示す図である。 実施の形態6に係る運転支援装置の動作を示すフローチャートである。 留意事項として地図画像と運転状態を説明する内容とが付与された安全運転支援情報の表示例を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る運転支援装置10の構成例を示すブロック図である。運転支援装置10は、運転者の理想の視線分布を記憶している視線分布記憶部11と、運転者の実際の視線分布を出力する視線分布出力部12と、理想の視線分布および実際の視線分布を用いて運転者の安全運転を支援する安全運転支援情報を生成して表示器1に表示させる表示制御部13とを備えている。この運転支援装置10は、車両に搭載された車載機器、または車両に持ち込まれる携帯情報端末である。また、車両に搭載されたナビゲーション装置等に組み込まれていてもよい。
表示器1は、例えばLCD(Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイ、またはヘッドアップディスプレイ等である。この表示器1として、ナビゲーション装置等が有するディスプレイを利用してもよい。
運転支援装置10には、外部情報取得装置として、例えば視線検出装置2および車外撮像装置3が接続されている。
視線検出装置2は、運転者の視線を検出し、視線情報として視線分布出力部12へ出力する。この視線検出装置2は、例えば、運転者の正面に設置された可視光カメラまたは近赤外光カメラと、当該カメラが撮像した画像を処理して運転者の視線の座標または角度の少なくとも一方を算出して時系列データとして出力する画像処理装置とから構成される。画像処理装置は、画像認識した顔の向きに基づいて視線の座標または角度の少なくとも一方を推定してもよいし、画像認識した眼球の向きに基づいて視線の座標または角度の少なくとも一方を推定してもよい。なお、上記説明は一例であり、視線検出装置2は視線を検出できるものであればよい。
車外撮像装置3は、運転者から見える車両前方の風景を撮像するカメラであり、車外撮像画像を表示制御部13へ出力する。
視線分布記憶部11は、所定の運転環境における理想的な視線分布の範囲を示す情報を記憶している。所定の運転環境とは、例えば交差点、右左折地点、右左折地点で区切られた直進区間、踏切、および車載ナビゲーション装置が経路を案内誘導するときの案内地点などである。運転環境ごとに、運転者が運転中に見るべき箇所を見た場合の視線の移動範囲を表した理想の視線分布が生成され、視線分布記憶部11に予め記憶されている。
視線分布出力部12は、視線検出装置2が検出する運転者の実際の視線情報を取得し、運転者の実際の視線の移動範囲を表す視線分布を生成して表示制御部13へ出力する。
表示制御部13は、視線分布比較部14と表示情報制御部15を備えている。
視線分布比較部14は、視線分布記憶部11に記憶されている理想の視線分布と、視線分布出力部12から出力される実際の視線分布とを比較して視線分布の一致度合いを求める。視線分布比較部14は、理想の視線分布と実際の視線分布との一致度合いが高い場合、運転者の安全確認が十分であり、安全運転支援情報の表示は不要と判定する。一方、理想の視線分布と実際の視線分布との一致度合いが低い場合、視線分布比較部14は、運転者の安全確認が不十分であり、安全運転支援情報の表示が必要と判定する。
ここで、図2に、車両の前方風景を含む車外撮像画像上での理想の視線分布と実際の視線分布との一致度合いの例を示す。図2(a)は、理想の視線分布と実際の視線分布の一致度合いが高い状態である。図2(b)は、理想の視線分布に比べて実際の視線分布が小さく、一致度合いが低い状態である。図2(c)は、理想の視線分布と実際の視線分布は同じ大きさであるが、位置がずれており、一致度合いが低い状態である。
視線分布比較部14は、理想の視線分布と実際の視線分布との一致度合いを判定するために、例えば両視線分布の偏差を算出し、偏差が予め定められた閾値以上の場合に、一致度合いが低く安全確認が不十分であり安全運転支援情報の表示が必要と判定する。反対に、偏差が閾値より小さい場合、一致度合いが高く安全確認が十分であり安全運転支援情報の表示が必要ないと判定する。例えば、理想の視線分布の面積をA、理想の視線分布と実際の視線分布とが重なる面積をBとした場合に、(A−B)/Aの式より偏差を算出する。
以下では、視線分布の一致度合いの判定に偏差を用いることとする。
また、視線分布比較部14は、安全運転支援情報を生成すると判定した場合に、車外撮像装置3が撮像する車両の前方風景を含む車外撮像画像等を用いて安全運転支援情報を生成し、表示情報制御部15へ出力する。表示情報制御部15は、視線分布比較部14から安全運転支援情報を受け取り、表示器1に出力して表示させる。
ここで、図3に、表示器1に表示された安全運転支援情報の例を示す。図3(a)に示す安全運転支援情報は、車両の前方風景を含む車外撮像画像に、実際の視線分布が重畳された画像である。また、安全運転支援情報は、図3(b)のように車両の前方風景を含む車外撮像画像に、理想の視線分布と実際の視線分布とが重畳された画像であってもよい。さらに、図3の例では「実際の視線分布」「理想の視線分布」といったキャプションが付加されている。
なお、運転者が運転状況を鮮明に思い出せるように、車外撮像画像は静止画像より動画像が望ましい。安全確認が不十分な運転をしているときの実際の車外の映像上に、運転者の実際の視線分布を重畳表示することによって、運転者に運転中の視線移動を鮮明に思い出させることができる。これにより、運転者に安全運転を促すことができ、効果的な安全運転教育を行うことができる。さらに、実際の視線分布の範囲における視線移動の様子を、車外の映像と同期して表示してもよい。
図4に、運転支援装置10とその周辺機器のハードウエア構成例を説明する。
バス100には、CPU(Central Processing Unit)1010、ROM(Read Only Memory)102、RAM(Random Access Memory)103、入力装置104、外部記憶装置105および出力装置106が接続されている。
CPU101は、ROM102または外部記憶装置105に記憶された各種プログラムを読み出して実行することにより、各ハードウエアと協働して運転支援装置10の視線分布出力部12および表示制御部13としての機能を実現する。
RAM103は、プログラム実行時に使用するメモリである。
入力装置104は、視線検出装置2および車外撮像装置3である。
外部記憶装置105は、HDD、CDもしくはDVD等の記憶装置、またはUSBメモリもしくはSDカード等の半導体メモリを採用した記憶装置等である。この外部記憶装置105は、視線分布記憶部11である。
出力装置106は、表示器1である。
以上より、実施の形態1によれば、運転支援装置10は、運転者の実際の視線分布を出力する視線分布出力部12と、理想の視線分布を記憶している視線分布記憶部11と、理想の視線分布および実際の視線分布の一致度合いに基づいて安全運転支援情報を生成するか否かを判定し、生成すると判定した場合に車両の前方風景を含む車外撮像画像に実際の視線分布を重畳した安全運転支援情報を生成し表示器1に表示させる表示制御部13とを備える構成にしたので、運転者が行った運転を具体的に表示でき、効果的な安全運転教育を行うことができる。
また、実施の形態1によれば、表示制御部13は、理想の視線分布を、安全運転支援情報と併せて表示器1に表示させるようにしたので、運転中にどこを見るべきだったか運転者に知らせることができ、より効果的な安全運転教育を行うことができる。
実施の形態2.
図5は、この発明の実施の形態2に係る運転支援装置10の構成例を示すブロック図である。実施の形態2に係る運転支援装置10は、図1に示した実施の形態1の運転支援装置10に対して情報蓄積部20が追加された構成である。この情報蓄積部20は、図4に示したRAM103または外部記憶装置105である。
図5において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
また、実施の形態2の運転支援装置10には、外部情報取得装置として地図情報取得装置4と車両情報取得装置5が接続されている。これら地図情報取得装置4と車両情報取得装置5は、図4に示した入力装置104である。
地図情報取得装置4は、GPS(Global Positioning System)衛星の信号を用いて自車の現在位置を算出し、現在位置周辺の地図情報を参照して自車が走行中の地点情報または道路情報等を特定して運転支援装置10へ出力する。ここで、地点情報は、例えば踏切、案内地点、および急ブレーキが発生しやすい地点等である。道路情報は、例えば交差点、丁字路、直線道路および急カーブ地点等である。
車両情報取得装置5は、自車の車速、ギア、ステアリング操舵角、アクセル開度およびブレーキ操作量といった車両情報を、CAN(Controller Area Network)を通じて取得し、運転支援装置10へ出力する。
視線分布出力部12aは、地図情報取得装置4から受け取る現在の自車の地点情報または道路情報に基づいて、自車の運転環境が、視線分布記憶部11に記憶されている所定の運転環境に該当するか否かを判定する。そして視線分布出力部12aは、自車の運転環境が当該所定の運転環境に該当すると判定した場合、所定の時点から所定期間が経過するまでの間に視線検出装置2により検出された視線情報に基づいて、実際の視線分布を生成する。所定の運転環境とは、例えば、車両が交差点、右左折地点、右左折地点で区切られた直線区間、踏切もしくは案内地点などの予め定められた地点を走行している期間、または、車両が急ハンドル、急ブレーキ、急加速、蛇行走行、居眠り運転、脇見運転などの予め定められた運転状態になっている期間である。
例えば、視線分布出力部12aは、自車が交差点に進入した場合に所定の運転環境に該当したと判定し、交差点を通過し終えた時点で、交差点進入時から交差点を通過し終えた現時点までの視線情報に基づいて実際の視線分布を生成する。交差点の他、右左折地点、踏切、および案内点等に進入した場合も同様である。
また、例えば視線分布出力部12aは、自車が直線道路を走行している場合に所定の運転環境に該当したと判定し、所定の周期(例えば、10分)ごとに所定期間(例えば、30秒)の視線情報に基づいて実際の視線分布を生成する。
また、視線分布出力部12aは、車両情報取得装置5から受け取る現在の車両情報に基づいて、自車の運転環境が、視線分布記憶部11に記憶されている所定の運転環境に該当するか否かを判定してもよい。例えば、視線分布出力部12aは、車両情報に基づいて急ハンドルまたは急ブレーキ等の不安全運転を検出した場合に所定の運転環境に該当したと判定し、不安全運転が発生した時点から所定期間が経過するまでの視線情報に基づいて実際の視線分布を生成する。あるいは視線分布出力部12aは、不安全運転が発生した時点を含む所定期間の視線情報に基づいて実際の視線分布を生成し、不安全運転が発生する前の情報を含めてもよい。なお、不安全運転は、急ハンドルおよび急ブレーキに限定されるものではなく、急発進、急加速、蛇行走行などであってもよい。視線分布出力部12aは、例えば、自車の減速度が予め定められた閾値以上の場合に急ブレーキと判定し、加速度が予め定められた閾値以上の場合に急加速と判定し、ステアリング操舵角の変化量が予め定められた閾値以上の場合に急ハンドルと判定する。居眠り運転および脇見運転の判定方法については、実施の形態6で詳述する。
表示情報制御部15aは、視線分布比較部14が生成した安全運転支援情報を情報蓄積部20に格納する。そして表示情報制御部15aは、車両情報取得装置5から受け取った現在の車両情報に基づいて、視線分布比較部14が生成した安全運転支援情報を表示するタイミングか否かを判定し、表示するタイミングであると判定した場合に情報蓄積部20に蓄積されている安全運転支援情報を取得して表示器1へ出力する。
例えば、表示情報制御部15aは、車両情報取得装置5の車両情報に基づいて自車が駐車中であると判定した場合に、情報蓄積部20から安全運転支援情報を取得し、表示器1へ出力して表示させる。これにより、運転者が安全なタイミングで自身の行った運転内容を知ることができる。
なお、表示情報制御部15aは、不図示のカメラで車内を撮像した画像等に基づいて同乗者がいるか否かを判定し、同乗者がいると判定した場合に、車両が駐車中か否かにかかわらず安全運転支援情報を表示器1へ出力するようにしてもよい。これにより、同乗者に対して安全運転教育を行うことができる。
次に、図6に示すフローチャートを用いて、実施の形態2の運転支援装置10の動作を説明する。
まずステップST21にて、運転開始と共に、運転支援装置10は、視線検出装置2から受け取る視線情報、車外撮像装置3から受け取る車外撮像画像、地図情報取得装置4から受け取る地点情報または道路情報、ならびに車両情報取得装置5から受け取る車両情報の記憶を開始する。運転支援装置10は、受け取った各種情報を、例えば外部記憶装置105に記憶する。
続くステップST22にて、視線分布出力部12aは、地図情報取得装置4から受け取った現在の地点情報もしくは道路情報、または車両情報取得装置5から受け取った現在の車両情報に基づいて、自車の運転環境が所定の運転環境に該当するか否かを判定する。視線分布出力部12aは、所定の運転環境に該当すると判定した場合(ステップST22“YES”)、視線検出装置2から受け取った視線情報を用いて当該所定の運転環境における実際の視線分布を生成し、視線分布比較部14へ出力する(ステップST23)。
一方、自車の運転環境が所定の運転環境に該当しないと判定した場合(ステップST22“NO”)、視線分布出力部12aはステップST22の処理を繰り返す。
続くステップST24にて、視線分布比較部14は、視線分布出力部12aから所定の運転環境における実際の視線分布を受け取り、当該所定の運転環境における理想の視線分布を視線分布記憶部11から取得し、両視線分布を比較する。理想の視線分布と実際の視線分布との偏差が閾値以上である場合(ステップST24“YES”)、視線分布比較部14は、運転者の安全確認が不十分と判定し、当該所定の運転環境における車外撮像装置3の車外撮像画像に理想の視線分布と実際の視線分布とを重畳した安全運転支援情報を生成する(ステップST25)。この安全運転支援情報は、表示情報制御部15aに出力され、情報蓄積部20に蓄積される。
一方、理想の視線分布と実際の視線分布との偏差が閾値より小さい場合(ステップST24“NO”)、視線分布比較部14は、運転者が安全確認を十分に行ったと判定してステップST25の処理をスキップする。
続くステップST26にて、表示情報制御部15aは、車両情報取得装置5の車両情報に基づいて、自車が駐車中であるか否かを判定する。自車が駐車中でない場合(ステップST26“NO”)、ステップST22の処理へ戻る。
一方、自車が駐車中である場合(ステップST26“YES”)、表示情報制御部15aは情報蓄積部20に安全運転支援情報が蓄積されているか確認する(ステップST27)。情報蓄積部20に安全運転支援情報が蓄積されている場合(ステップST27“YES”)、表示情報制御部15aは、蓄積されている安全運転支援情報を取得して表示器1に表示させ(ステップST28)、処理を終了する。情報蓄積部20に安全運転支援情報が蓄積されていない場合(ステップST27“NO”)、表示情報制御部15aは安全運転支援情報の表示を行わずに、処理を終了する。
なお、ステップST21で外部記憶装置105に記憶を開始した各種情報は、例えば所定時間が経過したものから順に削除したり、ステップST25で安全運転支援情報を生成したときにこれより前の情報を削除したり、ステップST28で安全運転支援情報を表示したときにこれより前の情報を削除したりしてよい。
以上より、実施の形態2によれば、運転支援装置10は、安全運転支援情報を蓄積する情報蓄積部20を備え、表示制御部13は、車両が駐車した場合に情報蓄積部20に蓄積されている安全運転支援情報を表示器1に表示させるようにしたので、運転者の安全なタイミングで自身の行った運転内容を知らせることができる。
また、実施の形態2によれば、表示制御部13は、安全運転支援情報を生成すると判定した場合に、所定の運転環境に該当する期間に撮像された車外撮像画像と視線分布出力部12aから出力された実際の視線分布とを用いて安全運転支援情報を生成するようにしたので、交差点のような安全確認の必要性が高い運転環境において実際に運転者が行った運転内容を知らせることができる。また、運転者が脇見運転、居眠り運転、急ハンドルまたは急ブレーキといった危険な運転を行った際の実際の状況を知らせることができる。これにより、自身が行った運転を運転者に思い出させ、より効果的な安全運転教育を行うことができる。
実施の形態3.
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳した安全運転支援情報を表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、一目見ただけでは具体的に何が悪かったのか分からず、改善方法も分からない可能性がある。そこで、本実施の形態3では、運転者が留意すべき事項を、安全運転支援情報と併せて表示器1に表示させるようにして、運転がどう悪かったのかを具体的かつ分かりやすく運転者に知らせる。
図7は、この発明の実施の形態3に係る運転支援装置10の構成例を示すブロック図である。実施の形態3に係る運転支援装置10は、図5に示した実施の形態2の運転支援装置10に対して留意事項付与部30が追加された構成である。
図7において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
留意事項付与部30は、視線分布比較部14において理想の視線分布と実際の視線分布との偏差が閾値以上であり安全確認が不十分と判定された場合に、視線分布比較部14から理想の視線分布と実際の視線分布とを受け取り、運転者が留意すべき具体的な事項を判定し、運転がどう悪かったのか内容を説明したり改善方法を説明したりするコメントまたは画像等を生成する。そして、留意事項付与部30は、生成したコメント等を留意事項として、視線分布比較部14が生成した安全運転支援情報に付与する。表示情報制御部15aは、安全運転支援情報と留意事項とを紐づけて情報蓄積部20に蓄積する。
ここで、図8に、留意事項が付与された安全運転支援情報の表示例を示す。
留意事項付与部30は、運転者がどのような視線の動きをしていて悪かったのかを示すために、理想の視線分布において実際の視線分布が重なっていない領域を求め、この領域を明示する「次はこの範囲も気を付けましょう」というコメントを留意事項として安全運転支援情報に付与する。なお、図示は省略するが、理想の視線分布において実際の視線分布が重なっていない領域を強調表示する画像などを留意事項としてもよい。
また、留意事項付与部30は、交差点通過時の安全確認が不十分であったことを明示するために、「交差点での安全確認が不十分です」といったコメントを留意事項として安全運転支援情報に付与してもよい。例えば、運転環境ごとのコメントを予め定義しておき、留意事項付与部30は、自車の運転環境に対応したコメントを選択して付与する。
次に、図9に示すフローチャートを用いて、実施の形態3の運転支援装置10の動作を説明する。ここで、図9に示すステップST21〜ST28は、実施の形態2の図6に示したフローチャートと同一であるため説明を省略する。
所定の運転環境において理想の視線分布と実際の視線分布との偏差が閾値以上である場合(ステップST24“YES”)、続くステップST25にて、視線分布比較部14が安全運転支援情報を生成して、表示情報制御部15aに出力する。続くステップST31にて、表示情報制御部15a内の留意事項付与部30が留意事項を生成して、安全運転支援情報に付与する。留意事項は安全運転支援情報と共に情報蓄積部20に蓄積される。
表示情報制御部15aは、ステップST28にて情報蓄積部20から安全運転支援情報を取得する際にこの安全運転支援情報に付与されている留意事項も一緒に取得して、表示器1へ出力する。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
以上より、実施の形態3によれば、表示制御部13は、運転者が留意すべき事項を安全運転支援情報と併せて表示器1に表示させるようにしたので、運転者に、自身の行った運転が具体的にどう悪かったのかを分かりやすく知らせることができる。これにより、より効果的な安全運転教育を行うことができる。
実施の形態4.
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳して表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、例えば不慣れな道では、車両前方の車外撮像画像を見ただけではどこで安全確認を怠ったか、運転者が分からない可能性がある。そこで、本実施の形態4では、安全確認が不十分と判定された地点を示す地図画像を、安全運転支援情報と併せて表示器1に表示させるようにして、安全確認が不十分だった地点を分かりやすく知らせ、今後の運転で留意させる。
図10は、この発明の実施の形態4に係る運転支援装置10の構成例を示すブロック図である。実施の形態4に係る運転支援装置10は、図5に示した実施の形態2の運転支援装置10に対して留意事項付与部40が追加された構成である。
図7において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
留意事項付与部40は、安全運転支援情報に付与する留意事項として、当該安全運転支援情報の対象となる地点を示す地図画像を生成する。図11に、留意事項が付与された安全運転支援情報の表示例を示す。
留意事項付与部40は、視線分布比較部14において理想の視線分布と実際の視線分布との偏差が閾値以上であり安全確認が不十分であると判定された場合に、判定の対象となった地点を含む地図情報を地図情報取得装置4から取得し、安全確認が不十分と判定された地点を示すアイコン等を表示した地図画像を生成する。そして、留意事項付与部50は、生成した地図画像を留意事項として、視線分布比較部14が生成した安全運転支援情報に付与する。表示情報制御部15aは、安全運転支援情報と留意事項とを紐づけて情報蓄積部20に蓄積する。
次に、図12に示すフローチャートを用いて、実施の形態4の運転支援装置10の動作を説明する。ここで、図12に示すステップST21〜ST28は、実施の形態2の図6に示したフローチャートと同一であるため説明を省略する。
所定の運転環境において理想の視線分布と実際の視線分布との偏差が閾値以上である場合(ステップST24“YES”)、続くステップST25にて、視線分布比較部14が安全運転支援情報を生成し、表示情報制御部15aに出力する。続くステップST41にて、留意事項付与部40が地図情報取得装置4から地図情報を取得し、安全確認が不十分と判定された地点を明示した地図画像を生成し、安全運転支援情報に付与する。地図画像は安全運転支援情報と共に情報蓄積部20に蓄積される。
表示情報制御部15aは、ステップST28にて情報蓄積部20から安全運転支援情報を取得する際にこの安全運転支援情報に付与されている地図画像も一緒に取得して、表示器1へ出力する。
以上より、実施の形態4によれば、表示制御部13は、安全運転支援情報の対象となる地点を示す地図画像を、運転者が留意すべき事項として安全運転支援情報と併せて表示器1に表示させるようにしたので、運転者が不慣れな道においても安全確認が不十分と判定された地点を分かりやすく知らせることができ、運転者に運転中の視線移動を鮮明に思い出させるための一助となる。これにより、より効果的な安全運転教育を行うことができる。
実施の形態5.
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときのみ安全運転支援情報を表示器1に表示させるため、その後この運転者が安全確認を適切に行うようになり運転が改善された場合、運転者はどう改善したのか気付かず、成長に繋がらない可能性がある。そこで、本実施の形態5では、運転が改善された場合に運転者を褒め、どのように改善されたのか具体的に知らせる。
図13は、この発明の実施の形態5に係る運転支援装置10の構成例を示すブロック図である。実施の形態5に係る運転支援装置10は、図5に示した実施の形態2の運転支援装置10に対して留意事項付与部50および安全確認度判定部51が追加された構成である。
図13において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
安全確認度判定部51は、運転者が行った安全確認の程度を表す安全確認度を判定する。視線分布比較部14において自車の運転環境が所定の運転環境に該当すると判定した場合、安全確認度判定部51は、視線分布記憶部11と視線分布出力部12aから受け取った理想の視線分布と実際の視線分布との偏差に基づいて安全確認度を判定する。
視線分布比較部14は、安全確認度判定部51が判定した安全確認度を、安全運転支援情報と共に表示情報制御部15aへ出力する。
例えば、安全確認度判定部51は、理想の視線分布と実際の視線分布との偏差が閾値以上の場合に「安全確認が不十分」であることを表す安全確認度を判定し、当該偏差が閾値より小さい場合に「理想的な安全確認」であることを表す安全確認度を判定する。
なお、安全確認度は上述した「安全確認が不十分」と「理想的な安全確認」の2段階に限定されるものではなく、3段階以上としてもよい。例えば、理想の視線分布と実際の視線分布との偏差の範囲を0〜100とした場合に、0〜25を「理想的な安全確認」、26〜50を「十分な安全確認」、51〜75を「もう少し安全確認が必要」、76〜100を「安全確認が不十分」と判定してもよい。
以下の説明では、安全確認度が「理想的な安全確認」である場合(上述の例では偏差の範囲が0〜25のとき)、「安全確認度が高い」と表現する。
一方、安全確認度が「安全確認が不十分」である場合(上述の例では偏差の範囲が76〜100のとき)、「安全確認度が低い」と表現する。
留意事項付与部50は、安全運転支援情報に付与する留意事項として、過去の運転と比較して改善したか否かを表すコメントまたは画像等を生成する。図14に、留意事項が付与された安全運転支援情報の表示例を示す。
留意事項付与部50は、安全確認度判定部51から受け取った安全確認度が高く、安全確認が十分行われている場合には、情報蓄積部20に蓄積されている過去の安全運転支援情報を参照し、同地点を前回走行した際の安全運転支援情報に付与されている安全確認度を確認する。そして留意事項付与部50は、今回と前回の安全確認度を比較して、運転が改善されたか否かを判定し、判定結果に対応したコメント等を生成して、留意事項として今回の安全運転支援情報に付与する。図14の例では運転が改善されたので、「前回よりもよく確認ができています」というコメントが付与されている。また、留意事項付与部50は、前回の視線分布を留意事項として今回の安全運転支援情報に付与し、図14のように前回の視線分布と今回の視線分布を並べて配置してもよい。
表示情報制御部15aは、視線分布比較部14から受け取った安全運転支援情報と安全確認度、および留意事項付与部50が生成した留意事項を紐づけて情報蓄積部20に蓄積する。
なお、上記実施の形態1〜4の視線分布比較部14は、理想の視線分布と実際の視線分布との偏差が大きく安全確認度が低い場合にのみ安全運転支援情報を生成していた。これに対し、本実施の形態5の視線分布比較部14は、安全確認度が低い場合に加えて、前回の安全確認度が低いが今回の安全確認度が高い場合(つまり運転が改善された場合)にも安全運転支援情報を生成する。そのため、図13に示した構成例では、留意事項付与部50において運転が改善されたと判定された場合に、表示情報制御部15aが視線分布比較部14に対して安全運転支援情報生成の指示を出す構成としている。
次に、図15に示すフローチャートを用いて、実施の形態5の運転支援装置10の動作を説明する。ここで、図15に示すステップST21〜ST23,ST25〜ST28は、実施の形態2の図6に示したフローチャートと同一であるため説明を省略する。
ステップST51にて、安全確認度判定部51は、所定の運転環境における理想の視線分布と実際の視線分布との偏差を算出して、今回の安全確認度を判定する。今回の安全確認度が低い場合(ステップST51“YES”)、視線分布比較部14は、当該所定の運転環境における車外撮像装置3の車外撮像画像に理想の視線分布と実際の視線分布とを重畳した今回の安全運転支援情報を生成し、表示情報制御部15aに出力する(ステップST25)。今回の安全運転支援情報は情報蓄積部20に蓄積される。
続くステップST52にて、留意事項付与部50は、情報蓄積部20を参照して、自車の現在位置と同じ地点における過去の安全運転支援情報を抽出し、同地点を前回走行したときの安全確認度が高いか低いかを判定する。
今回の安全確認度は低いが前回の安全確認度は高い場合(ステップST52“NO”)、留意事項付与部50は、今回たまたま安全確認が不十分だったと判定して留意事項の付与は行わず、ステップST26の処理へ進む。なお、初めて走行する地点では前回の安全確認度は存在しないので、その場合も、留意事項付与部50は留意事項の付与を行わずにステップST26の処理へ進む。
一方、今回も前回も安全確認度が低い場合(ステップST52“YES”)、留意事項付与部50は、今回の安全運転支援情報に、運転の改善を促す留意事項を付与する(ステップST53)。改善を促す留意事項は今回の安全運転支援情報と共に情報蓄積部20に蓄積される。なお、ステップST52“YES”の場合と同様に、今回の安全確認度は低いが前回の安全確認度は高い場合にも(ステップST52“NO”)、改善を促す留意事項を付与してもよい。
今回の安全確認度が低くない場合(ステップST51“NO”)、留意事項付与部50は、情報蓄積部20を参照して、自車の現在位置と同じ地点における過去の安全運転支援情報を抽出し、同地点を前回走行したときの安全確認度より今回の安全確認度のほうが高いか否かを判定する(ステップST54)。
留意事項付与部50は、前回より今回の安全確認度が高いと判定した場合(ステップST54“YES”)、今回の安全運転支援情報を生成する指示を視線分布比較部14へ出力する。視線分布比較部14はこの指示に従い、当該所定の運転環境における車外撮像装置3の車外撮像画像に理想の視線分布と実際の視線分布とを重畳した今回の安全運転支援情報を生成し、表示情報制御部15aに出力する(ステップST25)。今回の安全運転支援情報は情報蓄積部20に蓄積される。続くステップST55にて、留意事項付与部50は、今回の安全運転支援情報に、運転が改善したことを示す留意事項を付与する。改善したことを示す留意事項は今回の安全運転支援情報と共に情報蓄積部20に蓄積される。
一方、前回より今回の安全確認度が低いか前回と今回の安全確認度が同じと判定した場合、または前回の安全確認度が存在しない場合(ステップST54“NO”)、視線分布比較部14と留意事項付与部50は今回の安全運転支援情報と留意事項を生成せずに、ステップST26の処理へ進む。
表示情報制御部15aは、ステップST28にて情報蓄積部20から安全運転支援情報を取得する際、この安全運転支援情報に留意事項が付与されている場合には一緒に取得して表示器1へ出力する。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
また、留意事項付与部50は、自車の現在位置と同じ地点における過去の安全運転支援情報を抽出するだけでなく、類似の地点における過去の安全運転支援情報を抽出してもよい。留意事項付与部50は、例えば、右折地点と左折地点を類似とみなしてもよいし、場所が違う交差点を類似とみなしてもよい。
以上より、実施の形態5によれば、運転支援装置10は、安全運転支援情報を蓄積する情報蓄積部20を備え、表示制御部13は、運転者が留意すべき事項を、情報蓄積部20に蓄積されている過去の安全運転支援情報を用いて生成するようにしたので、過去の運転も踏まえた現在の運転についての留意すべき事項を運転者に知らせることができる。
また、実施の形態5によれば、表示制御部13は、理想の視線分布および実際の視線分布の一致度合いに基づいて運転者が行った安全確認の程度を表す安全確認度を求め、安全確認度が閾値以下のとき安全運転支援情報を生成するようにしたので、安全確認の程度を踏まえたより細やかな内容の安全運転支援情報を生成することができる。
また、実施の形態5によれば、運転支援装置10は、安全運転支援情報と安全確認度とを紐づけて蓄積する情報蓄積部20を備え、表示制御部13は、新たに求めた安全確認度と情報蓄積部20に蓄積されている過去の安全運転支援情報の安全確認度とを比較して安全確認の程度が改善したと判定した場合、当該新たに求めた安全確認度が閾値以下でなくとも安全運転支援情報を生成すると判定するようにしたので、安全確認が不十分であった運転者が安全確認を適切に行うようになり運転に改善が見られた場合、運転者に改善を知らせることができる。これにより、より効果的な安全運転教育を行うことができる。
また、実施の形態5によれば、表示制御部13は、安全確認の程度が改善したことを示す留意事項を生成し、安全運転支援情報と併せて表示器1に表示させるようにしたので、運転者が安全確認を適切に行うようになり運転に改善が見られた場合、運転者を褒めどのように改善されたかを具体的に知らせることができる。これにより、より効果的な安全運転教育を行うことができる。
実施の形態6.
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳して表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、車両前方の車外撮像画像を見ただけでは、安全確認を怠ったときにどのような運転をしていたか思い出せない可能性がある。そこで、本実施の形態6では、安全運転支援情報と併せて運転状態を知らせるようにして、そのときの状況をより鮮明に思い出させる。
図16は、この発明の実施の形態6に係る運転支援装置10の構成例を示すブロック図である。実施の形態6に係る運転支援装置10は、図5に示した実施の形態2の運転支援装置10に対して留意事項付与部60、安全確認度判定部61および運転状態判定部62が追加された構成である。
図16において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
また、実施の形態6の運転支援装置10には、外部情報取得装置として車内撮像装置6が接続されている。この車内撮像装置6は、図4に示した入力装置104である。
車内撮像装置6は、運転者の顔を撮像するカメラであり、車内撮像画像を視線分布比較部14へ出力する。
安全確認度判定部61は、上記実施の形態5の安全確認度判定部51と同じ動作を行う。
運転状態判定部62は、車両の運転状態として、例えば脇見運転、居眠り運転、ならびに急ブレーキおよび急ハンドル等の不安全運転が行われている状態か否かを判定する。これにより、理想の視線分布と実際の視線分布との偏差が大きくなり安全確認度が低くなった原因を判定する。
脇見運転を判定する場合、運転状態判定部62は、視線分布記憶部11と視線分布出力部12aから受け取った理想の視線分布と実際の視線分布との偏差が予め定められた閾値以上である場合、運転者が脇見運転をしていると判定する。脇見運転を判定するための閾値は、安全運転支援情報の生成有無を判定するための閾値と同じ値であってもよいし、異なる値であってもよい。
居眠り運転を判定する場合、運転状態判定部62は、車内撮像装置6が撮像する運転者の顔画像を取得し、この顔画像から目の開閉度または瞬き等を検出し、予め定められた閾値と比較して運転者の居眠り運転および居眠り度合いを判定する。
また、運転状態判定部62は、視線分布出力部12aを経由して視線情報を取得し、運転者の視線が所定時間(例えば、0.5秒)検出されなかった場合に居眠り運転と判定してもよい。
不安全運転として例えば急ブレーキを判定する場合、運転状態判定部62は、車両情報取得装置5から車両情報を取得し、自車の減速度が予め定められた閾値以上の場合に急ブレーキと判定する。反対に、減速度が予め定められた閾値より小さい場合、理想的なブレーキと判定する。
視線分布比較部14は、安全確認度判定部61が判定した安全確認度と、運転状態判定部62が判定した運転状態とを、安全運転支援情報と共に表示情報制御部15aへ出力する。
なお、上記説明では運転状態の例として脇見運転、居眠り運転および不安全運転の3種類を示したが、この3種類に限定されるものではない。
留意事項付与部60は、安全確認度が低い場合に、安全運転支援情報に付与する留意事項として、安全確認度が低かったときの運転状態を説明したり改善方法を説明したりするコメントまたは画像等を生成する。図17に、留意事項が付与された安全運転支援情報の表示例を示す。
図17(a)は、運転状態判定部62が急ブレーキを判定した場合の安全運転支援情報と留意事項を示す表示例である。運転状態判定部62において急ブレーキと判定された場合、留意事項付与部60は、例えば情報蓄積部20に蓄積されている過去の安全運転支援情報を参照し、同地点または類似の地点で急ブレーキと判定された回数を検出して、急ブレーキを行った回数と「見通しが悪いので気を付けましょう」といったコメント等を留意事項として今回の安全運転支援情報に付与する。また、例えば留意事項付与部60は、急ブレーキと判定されたときの車外撮像画像から急ブレーキの原因となったものを検出して原因物を強調表示する画像を生成して留意事項とする。
図17(b)は、運転状態判定部62が脇見運転を判定した場合の安全運転支援情報と留意事項を示す表示例である。運転状態判定部62において脇見運転と判定された場合、留意事項付与部60は、例えば情報蓄積部20に蓄積されている過去の安全運転支援情報を参照し、同地点もしくは類似の地点、または現在から所定時間前までの期間において脇見運転と判定された回数を検出して、脇見運転を行った回数と「直進時の脇見に気を付けましょう」といったコメント等を留意事項として今回の安全運転支援情報に付与する。
図17(c)は、運転状態判定部62が居眠り運転を判定した場合の安全運転支援情報と留意事項を示す表示例である。運転状態判定部62において居眠り運転と判定された場合、留意事項付与部60は、例えば情報蓄積部20に蓄積されている過去の安全運転支援情報を参照し、同地点もしくは類似の地点、または現在から所定時間前までの期間において居眠り運転と判定された回数を検出して、居眠り運転を行った回数と「もう少し休憩を取るようにしましょう」といったコメント等を留意事項として今回の安全運転支援情報に付与する。また、例えば留意事項付与部60は、運転状態判定部62から脇見運転と判定されたときの車内撮像画像を受け取って留意事項とする。
表示情報制御部15aは、視線分布比較部14から受け取った安全運転支援情報と安全確認度と運転状態と、留意事項付与部60が生成した留意事項とを紐づけて情報蓄積部20に蓄積する。
次に、図18に示すフローチャートを用いて、実施の形態6の運転支援装置10の動作を説明する。ここで、図18に示すステップST21〜ST23,ST25〜ST28は、実施の形態2の図6に示したフローチャートと同一であるため説明を省略する。
ステップST61にて、安全確認度判定部61は、所定の運転環境における理想の視線分布と実際の視線分布との偏差を算出して、今回の安全確認度を判定する。今回の安全確認度が低い場合(ステップST61“YES”)、視線分布比較部14は、当該所定の運転環境における車外撮像装置3の車外撮像画像に理想の視線分布と実際の視線分布とを重畳した今回の安全運転支援情報を生成する(ステップST25)。一方、今回の安全確認度が低くない場合(ステップST61“NO”)、視線分布比較部14と留意事項付与部60は安全運転支援情報と留意事項を生成せず、ステップST26の処理へ進む。
続くステップST62にて、運転状態判定部62は、理想の視線分布と実際の視線分布とを用いて、脇見運転が行われたか否かを判定する。運転状態判定部62が脇見運転が行われたと判定した場合(ステップST62“YES”)、視線分布比較部14は今回の安全運転支援情報と脇見運転の判定結果と安全確認度等を、表示情報制御部15aへ出力する。続いて留意事項付与部60は、図17(b)に示したような脇見運転の内容を説明する留意事項を生成し、今回の安全運転支援情報に付与する(ステップST63)。表示情報制御部15aは、今回の安全運転支援情報と留意事項と安全確認度等を情報蓄積部20に蓄積する。
脇見運転ではない場合(ステップST62“NO”)、続くステップST64にて運転状態判定部62は、車内撮像装置6が撮像した車内撮像画像等を用いて、居眠り運転が行われたか否かを判定する。運転状態判定部62が居眠り運転が行われたと判定した場合(ステップST64“YES”)、視線分布比較部14は今回の安全運転支援情報と居眠り運転の判定結果と安全確認度等を、表示情報制御部15aへ出力する。続いて留意事項付与部60は、図17(c)に示したような居眠り運転の内容を説明する留意事項を生成し、今回の安全運転支援情報に付与する(ステップST65)。表示情報制御部15aは、今回の安全運転支援情報と留意事項と安全確認度等を情報蓄積部20に蓄積する。
居眠り運転ではない場合(ステップST64“NO”)、続くステップST66にて運転状態判定部62は、車両情報取得装置5の車両情報を用いて、急ブレーキまたは急ハンドル等の不安全運転が行われたか否かを判定する。運転状態判定部62が不安全運転が行われたと判定した場合(ステップST66“YES”)、視線分布比較部14は今回の安全運転支援情報と不安全運転の判定結果と安全確認度等を、表示情報制御部15aへ出力する。続いて留意事項付与部60は、図17(a)に示したような不安全運転の内容を説明する留意事項を生成し、今回の安全運転支援情報に付与する(ステップST67)。表示情報制御部15aは、今回の安全運転支援情報と留意事項と安全確認度等を情報蓄積部20に蓄積する。
不安全運転ではない場合(ステップST66“NO”)、視線分布比較部14は今回の安全運転支援情報と安全確認度等を表示情報制御部15aへ出力する。続いて留意事項付与部60は、例えば図8に示したような安全確認不足の内容を説明する留意事項を生成し、今回の安全運転支援情報に付与する(ステップST68)。表示情報制御部15aは、今回の安全運転支援情報と留意事項と安全確認度等を情報蓄積部20に蓄積する。
表示情報制御部15aは、ステップST28にて情報蓄積部20から安全運転支援情報を取得する際にこの安全運転支援情報に付与されている留意事項も一緒に取得して、表示器1へ出力する。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
なお、図18のフローチャートでは、運転状態判定部62が脇見運転、居眠り運転、不安全運転の順に運転状態を判定したが、判定の順番は自由である。
以上より、実施の形態6によれば、表示制御部13は、理想の視線分布および実際の視線分布の一致度合いが閾値以下のとき安全運転支援情報を生成すると判定すると共に、当該一致度合いが閾値以下になった原因を判定し、判定した原因を運転者が留意すべき事項として安全運転支援情報と併せて表示器1に表示させるようにしたので、運転者に、居眠り運転および脇見運転等の危険な運転をしているときの実際の状況を、より鮮明に思い出させることができる。これにより、より効果的な安全運転教育を行うことができる。
なお、上記実施の形態3〜6で説明した留意事項付与部30,40,50,60の各機能は自由に組み合わせ可能である。
例えば、実施の形態6の留意事項付与部60に対して、実施の形態4の留意事項付与部40の機能を組み合わせて、図19(a)のように急ブレーキが発生した地点の地図画像を留意事項として付与したり、図19(b)のように脇見運転が行われた地点の地図画像を留意事項として付与したり、図19(c)のように居眠り運転が行われた地点の地図画像を留意事項として付与したりしてもよい。
また、例えば実施の形態6の留意事項付与部60に対して、実施の形態5の留意事項付与部50の機能を組み合わせて、今回急ブレーキが発生した地点で前回走行時にも急ブレーキが発生していた場合に改善を促す留意事項を付与したり、前回走行時に急ブレーキが発生していた地点で今回は急ブレーキが発生しなかった場合に改善したことを示す留意事項を付与したりしてもよい。
また、上記実施の形態1〜6において、表示情報制御部15,15aが情報蓄積部20に蓄積されている安全運転支援情報を表示器1に表示させる際に、例えば走行した経路に沿って順番に安全運転支援情報を表示させたり、安全確認度が低い安全運転支援情報から順番に表示させたりしてもよい。また、全ての安全運転支援情報を表示させるのではなく、例えば安全確認度が低いものから順に所定数の安全運転支援情報を表示させたりしてもよい。
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
この発明に係る運転支援装置は、車両の前方風景を含む車外撮像画像に実際の視線分布を重畳した安全運転支援情報を運転者に提示するようにしたので、安全運転教育を行う運転支援装置などに用いるのに適している。
1 表示器、2 視線検出装置、3 車外撮像装置、4 地図情報取得装置、5 車両情報取得装置、6 車内撮像装置、10 運転支援装置、11 視線分布記憶部、12,12a 視線分布出力部、13 表示制御部、14 視線分布比較部、15,15a 表示情報制御部、20 情報蓄積部、30,40,50,60 留意事項付与部、51,61 安全確認度判定部、62 運転状態判定部、100 バス、101 CPU、102 ROM、103 RAM、104 入力装置、105 外部記憶装置、106 出力装置。

Claims (12)

  1. 運転者の実際の視線分布を出力する視線分布出力部と、
    理想の視線分布を記憶している視線分布記憶部と、
    前記実際の視線分布および前記理想の視線分布の一致度合いに基づいて安全運転支援情報を生成するか否かを判定し、生成すると判定した場合に車両の前方風景を含む車外撮像画像に前記実際の視線分布を重畳した安全運転支援情報を生成し、表示器に表示させる表示制御部とを備え
    前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いが閾値以下のとき前記安全運転支援情報を生成すると判定すると共に、当該一致度合いが閾値以下になった原因を判定し、判定した原因を前記運転者が留意すべき事項として前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする運転支援装置。
  2. 前記表示制御部は、前記理想の視線分布を前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする請求項1記載の運転支援装置。
  3. 前記安全運転支援情報を蓄積する情報蓄積部を備え、
    前記表示制御部は、前記運転者が留意すべき事項を、前記情報蓄積部に蓄積されている過去の安全運転支援情報を用いて生成することを特徴とする請求項記載の運転支援装置。
  4. 前記運転者が留意すべき事項は、前記表示制御部が生成した前記安全運転支援情報の対象となる地点を示す地図画像であることを特徴とする請求項記載の運転支援装置。
  5. 前記表示制御部は、安全運転支援情報を生成すると判定した場合に、前記車両が予め定められた地点を走行していた期間または予め定められた運転状態になっていた期間に撮像された前記車外撮像画像と前記視線分布出力部から出力された前記実際の視線分布とを用いて前記安全運転支援情報を生成することを特徴とする請求項1記載の運転支援装置。
  6. 前記予め定められた運転状態とは、脇見運転、居眠り運転、急ハンドルまたは急ブレーキが行われている状態のうちの少なくとも1つであることを特徴とする請求項記載の運転支援装置。
  7. 前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いが閾値以下になった原因が、脇見運転、居眠り運転、急ハンドルまたは急ブレーキのうちの少なくとも1つであるか否かを判定することを特徴とする請求項記載の運転支援装置。
  8. 前記安全運転支援情報を蓄積する情報蓄積部を備え、
    前記表示制御部は、前記車両が駐車した場合に、前記情報蓄積部に蓄積されている安全運転支援情報を前記表示器に表示させることを特徴とする請求項1記載の運転支援装置。
  9. 前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いに基づいて前記運転者が行った安全確認の程度を表す安全確認度を求め、前記安全確認度が閾値以下のとき前記安全運転支援情報を生成すると判定することを特徴とする請求項1記載の運転支援装置。
  10. 前記安全運転支援情報と前記安全確認度とを紐づけて蓄積する情報蓄積部を備え、
    前記表示制御部は、新たに求めた安全確認度と前記情報蓄積部に蓄積されている過去の安全運転支援情報の安全確認度とを比較して安全確認の程度が改善したと判定した場合、当該新たに求めた安全確認度が前記閾値以下でなくとも安全運転支援情報を生成すると判定することを特徴とする請求項記載の運転支援装置。
  11. 前記表示制御部は、安全確認の程度が改善したことを示す情報を生成し、前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする請求項10記載の運転支援装置。
  12. 前記視線分布出力部は、前記運転者の顔の向きに基づいて推定された視線情報から、前記実際の視線分布を生成することを特徴とする請求項1記載の運転支援装置。
JP2017512473A 2015-04-13 2015-04-13 運転支援装置 Active JP6242541B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061342 WO2016166791A1 (ja) 2015-04-13 2015-04-13 運転支援装置

Publications (2)

Publication Number Publication Date
JPWO2016166791A1 JPWO2016166791A1 (ja) 2017-07-06
JP6242541B2 true JP6242541B2 (ja) 2017-12-06

Family

ID=57127241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512473A Active JP6242541B2 (ja) 2015-04-13 2015-04-13 運転支援装置

Country Status (2)

Country Link
JP (1) JP6242541B2 (ja)
WO (1) WO2016166791A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6358270B2 (ja) * 2016-01-14 2018-07-18 マツダ株式会社 運転支援装置
EP3566069B1 (en) 2017-01-05 2023-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation and use of hd maps
WO2018180121A1 (ja) * 2017-03-30 2018-10-04 ソニー株式会社 情報処理装置と情報処理方法
JP7180067B2 (ja) 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
JP6598141B2 (ja) * 2017-11-16 2019-10-30 マツダ株式会社 認知時機推定装置及び認知時機推定方法
JP6583395B2 (ja) 2017-11-24 2019-10-02 マツダ株式会社 運転支援装置
JP6834997B2 (ja) 2018-01-25 2021-02-24 日本電気株式会社 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム
JP7235438B2 (ja) * 2018-03-14 2023-03-08 オムロン株式会社 運転評価装置、運転評価方法、及びコンピュータプログラム
JP7460362B2 (ja) 2019-12-19 2024-04-02 矢崎エナジーシステム株式会社 ドライバー状態推定装置
JP2021148506A (ja) 2020-03-17 2021-09-27 本田技研工業株式会社 表示制御装置、表示制御方法およびプログラム
JP7428076B2 (ja) * 2020-05-29 2024-02-06 トヨタ自動車株式会社 サーバ装置、制御装置、車両、及び情報処理システムの動作方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP4342708B2 (ja) * 2000-09-06 2009-10-14 本田技研工業株式会社 ドライバの視線領域の適合性を判定する車載情報処理装置
JP2005062911A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
JP4992764B2 (ja) * 2007-10-23 2012-08-08 株式会社デンソー 安全確認判定装置および運転教示支援システム
JP5363208B2 (ja) * 2009-06-18 2013-12-11 本田技研工業株式会社 視認行動情報提示装置
JP6160594B2 (ja) * 2014-10-27 2017-07-12 富士通株式会社 危険運転記録方法、危険運転記録プログラム及び危険運転記録装置

Also Published As

Publication number Publication date
WO2016166791A1 (ja) 2016-10-20
JPWO2016166791A1 (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
JP6242541B2 (ja) 運転支援装置
US10800424B2 (en) Driver condition detection system
JP6641916B2 (ja) 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
US10689008B2 (en) Method for assisting a driver of a single-track motor vehicle in order to drive through a bend safely
JP6497915B2 (ja) 運転支援システム
JP5300443B2 (ja) 画像処理装置
JP6218618B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
JP6075248B2 (ja) 情報表示装置
JP2008241309A (ja) 車両用サービス提示装置
US11535260B2 (en) Attention-based notifications
JP2005024507A (ja) ナビゲーション装置及びプログラム
JP2008070965A (ja) 車両制御装置および車両制御方法
US20200005636A1 (en) Method and Device for Reminding a Driver About an Approach to a Light Signal Apparatus
JP2020024551A (ja) 運転意識推定装置
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
JP5853897B2 (ja) 操作制御装置、及び、操作制御プログラム
JP2009217615A (ja) 運転評価装置
JP2018083441A (ja) 情報表示方法及び情報表示装置
JP2014013496A (ja) 運転支援装置及びプログラム
JP2018185654A (ja) ヘッドアップディスプレイ装置
JP4858094B2 (ja) ディスプレイ表示システム
JP2008084219A (ja) 前方カーブ警報装置
JP2012118804A (ja) 警報装置
JP2011043976A (ja) 安全運転診断装置
JP6552285B2 (ja) 車載表示装置及び車両後方映像表示方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170321

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170321

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171107

R150 Certificate of patent or registration of utility model

Ref document number: 6242541

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250