JP6242541B2 - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP6242541B2 JP6242541B2 JP2017512473A JP2017512473A JP6242541B2 JP 6242541 B2 JP6242541 B2 JP 6242541B2 JP 2017512473 A JP2017512473 A JP 2017512473A JP 2017512473 A JP2017512473 A JP 2017512473A JP 6242541 B2 JP6242541 B2 JP 6242541B2
- Authority
- JP
- Japan
- Prior art keywords
- driving support
- information
- line
- safe driving
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Instrument Panels (AREA)
Description
例えば、特許文献1に係る運転支援装置は、実際の走行状態と理想の走行状態との乖離度合いにより運転評価を行い、危険運転が発生した箇所の情報を記憶しておき、運転を終了した際に危険箇所と危険運転の情報をまとめて表示する。さらに、次回運転時、過去に危険運転状態が発生した箇所に接近すると運転者に警告を行う。
実施の形態1.
図1は、この発明の実施の形態1に係る運転支援装置10の構成例を示すブロック図である。運転支援装置10は、運転者の理想の視線分布を記憶している視線分布記憶部11と、運転者の実際の視線分布を出力する視線分布出力部12と、理想の視線分布および実際の視線分布を用いて運転者の安全運転を支援する安全運転支援情報を生成して表示器1に表示させる表示制御部13とを備えている。この運転支援装置10は、車両に搭載された車載機器、または車両に持ち込まれる携帯情報端末である。また、車両に搭載されたナビゲーション装置等に組み込まれていてもよい。
視線検出装置2は、運転者の視線を検出し、視線情報として視線分布出力部12へ出力する。この視線検出装置2は、例えば、運転者の正面に設置された可視光カメラまたは近赤外光カメラと、当該カメラが撮像した画像を処理して運転者の視線の座標または角度の少なくとも一方を算出して時系列データとして出力する画像処理装置とから構成される。画像処理装置は、画像認識した顔の向きに基づいて視線の座標または角度の少なくとも一方を推定してもよいし、画像認識した眼球の向きに基づいて視線の座標または角度の少なくとも一方を推定してもよい。なお、上記説明は一例であり、視線検出装置2は視線を検出できるものであればよい。
視線分布比較部14は、視線分布記憶部11に記憶されている理想の視線分布と、視線分布出力部12から出力される実際の視線分布とを比較して視線分布の一致度合いを求める。視線分布比較部14は、理想の視線分布と実際の視線分布との一致度合いが高い場合、運転者の安全確認が十分であり、安全運転支援情報の表示は不要と判定する。一方、理想の視線分布と実際の視線分布との一致度合いが低い場合、視線分布比較部14は、運転者の安全確認が不十分であり、安全運転支援情報の表示が必要と判定する。
以下では、視線分布の一致度合いの判定に偏差を用いることとする。
なお、運転者が運転状況を鮮明に思い出せるように、車外撮像画像は静止画像より動画像が望ましい。安全確認が不十分な運転をしているときの実際の車外の映像上に、運転者の実際の視線分布を重畳表示することによって、運転者に運転中の視線移動を鮮明に思い出させることができる。これにより、運転者に安全運転を促すことができ、効果的な安全運転教育を行うことができる。さらに、実際の視線分布の範囲における視線移動の様子を、車外の映像と同期して表示してもよい。
バス100には、CPU(Central Processing Unit)1010、ROM(Read Only Memory)102、RAM(Random Access Memory)103、入力装置104、外部記憶装置105および出力装置106が接続されている。
入力装置104は、視線検出装置2および車外撮像装置3である。
外部記憶装置105は、HDD、CDもしくはDVD等の記憶装置、またはUSBメモリもしくはSDカード等の半導体メモリを採用した記憶装置等である。この外部記憶装置105は、視線分布記憶部11である。
出力装置106は、表示器1である。
図5は、この発明の実施の形態2に係る運転支援装置10の構成例を示すブロック図である。実施の形態2に係る運転支援装置10は、図1に示した実施の形態1の運転支援装置10に対して情報蓄積部20が追加された構成である。この情報蓄積部20は、図4に示したRAM103または外部記憶装置105である。
図5において図1と同一または相当する部分は、同一の符号を付し説明を省略する。
また、例えば視線分布出力部12aは、自車が直線道路を走行している場合に所定の運転環境に該当したと判定し、所定の周期(例えば、10分)ごとに所定期間(例えば、30秒)の視線情報に基づいて実際の視線分布を生成する。
まずステップST21にて、運転開始と共に、運転支援装置10は、視線検出装置2から受け取る視線情報、車外撮像装置3から受け取る車外撮像画像、地図情報取得装置4から受け取る地点情報または道路情報、ならびに車両情報取得装置5から受け取る車両情報の記憶を開始する。運転支援装置10は、受け取った各種情報を、例えば外部記憶装置105に記憶する。
一方、自車の運転環境が所定の運転環境に該当しないと判定した場合(ステップST22“NO”)、視線分布出力部12aはステップST22の処理を繰り返す。
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳した安全運転支援情報を表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、一目見ただけでは具体的に何が悪かったのか分からず、改善方法も分からない可能性がある。そこで、本実施の形態3では、運転者が留意すべき事項を、安全運転支援情報と併せて表示器1に表示させるようにして、運転がどう悪かったのかを具体的かつ分かりやすく運転者に知らせる。
図7において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
留意事項付与部30は、運転者がどのような視線の動きをしていて悪かったのかを示すために、理想の視線分布において実際の視線分布が重なっていない領域を求め、この領域を明示する「次はこの範囲も気を付けましょう」というコメントを留意事項として安全運転支援情報に付与する。なお、図示は省略するが、理想の視線分布において実際の視線分布が重なっていない領域を強調表示する画像などを留意事項としてもよい。
また、留意事項付与部30は、交差点通過時の安全確認が不十分であったことを明示するために、「交差点での安全確認が不十分です」といったコメントを留意事項として安全運転支援情報に付与してもよい。例えば、運転環境ごとのコメントを予め定義しておき、留意事項付与部30は、自車の運転環境に対応したコメントを選択して付与する。
所定の運転環境において理想の視線分布と実際の視線分布との偏差が閾値以上である場合(ステップST24“YES”)、続くステップST25にて、視線分布比較部14が安全運転支援情報を生成して、表示情報制御部15aに出力する。続くステップST31にて、表示情報制御部15a内の留意事項付与部30が留意事項を生成して、安全運転支援情報に付与する。留意事項は安全運転支援情報と共に情報蓄積部20に蓄積される。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳して表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、例えば不慣れな道では、車両前方の車外撮像画像を見ただけではどこで安全確認を怠ったか、運転者が分からない可能性がある。そこで、本実施の形態4では、安全確認が不十分と判定された地点を示す地図画像を、安全運転支援情報と併せて表示器1に表示させるようにして、安全確認が不十分だった地点を分かりやすく知らせ、今後の運転で留意させる。
図7において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
留意事項付与部40は、視線分布比較部14において理想の視線分布と実際の視線分布との偏差が閾値以上であり安全確認が不十分であると判定された場合に、判定の対象となった地点を含む地図情報を地図情報取得装置4から取得し、安全確認が不十分と判定された地点を示すアイコン等を表示した地図画像を生成する。そして、留意事項付与部50は、生成した地図画像を留意事項として、視線分布比較部14が生成した安全運転支援情報に付与する。表示情報制御部15aは、安全運転支援情報と留意事項とを紐づけて情報蓄積部20に蓄積する。
所定の運転環境において理想の視線分布と実際の視線分布との偏差が閾値以上である場合(ステップST24“YES”)、続くステップST25にて、視線分布比較部14が安全運転支援情報を生成し、表示情報制御部15aに出力する。続くステップST41にて、留意事項付与部40が地図情報取得装置4から地図情報を取得し、安全確認が不十分と判定された地点を明示した地図画像を生成し、安全運転支援情報に付与する。地図画像は安全運転支援情報と共に情報蓄積部20に蓄積される。
表示情報制御部15aは、ステップST28にて情報蓄積部20から安全運転支援情報を取得する際にこの安全運転支援情報に付与されている地図画像も一緒に取得して、表示器1へ出力する。
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときのみ安全運転支援情報を表示器1に表示させるため、その後この運転者が安全確認を適切に行うようになり運転が改善された場合、運転者はどう改善したのか気付かず、成長に繋がらない可能性がある。そこで、本実施の形態5では、運転が改善された場合に運転者を褒め、どのように改善されたのか具体的に知らせる。
図13において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
一方、安全確認度が「安全確認が不十分」である場合(上述の例では偏差の範囲が76〜100のとき)、「安全確認度が低い」と表現する。
留意事項付与部50は、安全確認度判定部51から受け取った安全確認度が高く、安全確認が十分行われている場合には、情報蓄積部20に蓄積されている過去の安全運転支援情報を参照し、同地点を前回走行した際の安全運転支援情報に付与されている安全確認度を確認する。そして留意事項付与部50は、今回と前回の安全確認度を比較して、運転が改善されたか否かを判定し、判定結果に対応したコメント等を生成して、留意事項として今回の安全運転支援情報に付与する。図14の例では運転が改善されたので、「前回よりもよく確認ができています」というコメントが付与されている。また、留意事項付与部50は、前回の視線分布を留意事項として今回の安全運転支援情報に付与し、図14のように前回の視線分布と今回の視線分布を並べて配置してもよい。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
また、留意事項付与部50は、自車の現在位置と同じ地点における過去の安全運転支援情報を抽出するだけでなく、類似の地点における過去の安全運転支援情報を抽出してもよい。留意事項付与部50は、例えば、右折地点と左折地点を類似とみなしてもよいし、場所が違う交差点を類似とみなしてもよい。
上記実施の形態1,2に係る運転支援装置10は、運転者の安全確認が不十分だったときの視線分布を実際の車外撮像画像に重畳して表示器1に表示させるため、運転者は運転中に自身がどこを見ていたのかを知ることができる。しかし、車両前方の車外撮像画像を見ただけでは、安全確認を怠ったときにどのような運転をしていたか思い出せない可能性がある。そこで、本実施の形態6では、安全運転支援情報と併せて運転状態を知らせるようにして、そのときの状況をより鮮明に思い出させる。
図16において図1または図5と同一または相当する部分は、同一の符号を付し説明を省略する。
車内撮像装置6は、運転者の顔を撮像するカメラであり、車内撮像画像を視線分布比較部14へ出力する。
また、運転状態判定部62は、視線分布出力部12aを経由して視線情報を取得し、運転者の視線が所定時間(例えば、0.5秒)検出されなかった場合に居眠り運転と判定してもよい。
なお、上記説明では運転状態の例として脇見運転、居眠り運転および不安全運転の3種類を示したが、この3種類に限定されるものではない。
なお、表示情報制御部15aは、留意事項のコメント等を表示器1に表示させるだけでなく、不図示のスピーカから音声出力させてもよい。
例えば、実施の形態6の留意事項付与部60に対して、実施の形態4の留意事項付与部40の機能を組み合わせて、図19(a)のように急ブレーキが発生した地点の地図画像を留意事項として付与したり、図19(b)のように脇見運転が行われた地点の地図画像を留意事項として付与したり、図19(c)のように居眠り運転が行われた地点の地図画像を留意事項として付与したりしてもよい。
また、例えば実施の形態6の留意事項付与部60に対して、実施の形態5の留意事項付与部50の機能を組み合わせて、今回急ブレーキが発生した地点で前回走行時にも急ブレーキが発生していた場合に改善を促す留意事項を付与したり、前回走行時に急ブレーキが発生していた地点で今回は急ブレーキが発生しなかった場合に改善したことを示す留意事項を付与したりしてもよい。
Claims (12)
- 運転者の実際の視線分布を出力する視線分布出力部と、
理想の視線分布を記憶している視線分布記憶部と、
前記実際の視線分布および前記理想の視線分布の一致度合いに基づいて安全運転支援情報を生成するか否かを判定し、生成すると判定した場合に車両の前方風景を含む車外撮像画像に前記実際の視線分布を重畳した安全運転支援情報を生成し、表示器に表示させる表示制御部とを備え、
前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いが閾値以下のとき前記安全運転支援情報を生成すると判定すると共に、当該一致度合いが閾値以下になった原因を判定し、判定した原因を前記運転者が留意すべき事項として前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする運転支援装置。 - 前記表示制御部は、前記理想の視線分布を前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする請求項1記載の運転支援装置。
- 前記安全運転支援情報を蓄積する情報蓄積部を備え、
前記表示制御部は、前記運転者が留意すべき事項を、前記情報蓄積部に蓄積されている過去の安全運転支援情報を用いて生成することを特徴とする請求項1記載の運転支援装置。 - 前記運転者が留意すべき事項は、前記表示制御部が生成した前記安全運転支援情報の対象となる地点を示す地図画像であることを特徴とする請求項1記載の運転支援装置。
- 前記表示制御部は、安全運転支援情報を生成すると判定した場合に、前記車両が予め定められた地点を走行していた期間または予め定められた運転状態になっていた期間に撮像された前記車外撮像画像と前記視線分布出力部から出力された前記実際の視線分布とを用いて前記安全運転支援情報を生成することを特徴とする請求項1記載の運転支援装置。
- 前記予め定められた運転状態とは、脇見運転、居眠り運転、急ハンドルまたは急ブレーキが行われている状態のうちの少なくとも1つであることを特徴とする請求項5記載の運転支援装置。
- 前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いが閾値以下になった原因が、脇見運転、居眠り運転、急ハンドルまたは急ブレーキのうちの少なくとも1つであるか否かを判定することを特徴とする請求項1記載の運転支援装置。
- 前記安全運転支援情報を蓄積する情報蓄積部を備え、
前記表示制御部は、前記車両が駐車した場合に、前記情報蓄積部に蓄積されている安全運転支援情報を前記表示器に表示させることを特徴とする請求項1記載の運転支援装置。 - 前記表示制御部は、前記実際の視線分布および前記理想の視線分布の一致度合いに基づいて前記運転者が行った安全確認の程度を表す安全確認度を求め、前記安全確認度が閾値以下のとき前記安全運転支援情報を生成すると判定することを特徴とする請求項1記載の運転支援装置。
- 前記安全運転支援情報と前記安全確認度とを紐づけて蓄積する情報蓄積部を備え、
前記表示制御部は、新たに求めた安全確認度と前記情報蓄積部に蓄積されている過去の安全運転支援情報の安全確認度とを比較して安全確認の程度が改善したと判定した場合、当該新たに求めた安全確認度が前記閾値以下でなくとも安全運転支援情報を生成すると判定することを特徴とする請求項9記載の運転支援装置。 - 前記表示制御部は、安全確認の程度が改善したことを示す情報を生成し、前記安全運転支援情報と併せて前記表示器に表示させることを特徴とする請求項10記載の運転支援装置。
- 前記視線分布出力部は、前記運転者の顔の向きに基づいて推定された視線情報から、前記実際の視線分布を生成することを特徴とする請求項1記載の運転支援装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/061342 WO2016166791A1 (ja) | 2015-04-13 | 2015-04-13 | 運転支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016166791A1 JPWO2016166791A1 (ja) | 2017-07-06 |
JP6242541B2 true JP6242541B2 (ja) | 2017-12-06 |
Family
ID=57127241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017512473A Active JP6242541B2 (ja) | 2015-04-13 | 2015-04-13 | 運転支援装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6242541B2 (ja) |
WO (1) | WO2016166791A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6358270B2 (ja) * | 2016-01-14 | 2018-07-18 | マツダ株式会社 | 運転支援装置 |
EP3566069B1 (en) | 2017-01-05 | 2023-10-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Generation and use of hd maps |
WO2018180121A1 (ja) * | 2017-03-30 | 2018-10-04 | ソニー株式会社 | 情報処理装置と情報処理方法 |
JP7180067B2 (ja) | 2017-11-06 | 2022-11-30 | 日本電気株式会社 | 運転支援装置 |
JP6598141B2 (ja) * | 2017-11-16 | 2019-10-30 | マツダ株式会社 | 認知時機推定装置及び認知時機推定方法 |
JP6583395B2 (ja) | 2017-11-24 | 2019-10-02 | マツダ株式会社 | 運転支援装置 |
JP6834997B2 (ja) | 2018-01-25 | 2021-02-24 | 日本電気株式会社 | 運転状況監視装置、運転状況監視システム、運転状況監視方法、プログラム |
JP7235438B2 (ja) * | 2018-03-14 | 2023-03-08 | オムロン株式会社 | 運転評価装置、運転評価方法、及びコンピュータプログラム |
JP7460362B2 (ja) | 2019-12-19 | 2024-04-02 | 矢崎エナジーシステム株式会社 | ドライバー状態推定装置 |
JP2021148506A (ja) | 2020-03-17 | 2021-09-27 | 本田技研工業株式会社 | 表示制御装置、表示制御方法およびプログラム |
JP7428076B2 (ja) * | 2020-05-29 | 2024-02-06 | トヨタ自動車株式会社 | サーバ装置、制御装置、車両、及び情報処理システムの動作方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0761257A (ja) * | 1993-08-26 | 1995-03-07 | Nissan Motor Co Ltd | 車両用表示装置 |
JP4342708B2 (ja) * | 2000-09-06 | 2009-10-14 | 本田技研工業株式会社 | ドライバの視線領域の適合性を判定する車載情報処理装置 |
JP2005062911A (ja) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | 車両制御装置 |
JP4259587B2 (ja) * | 2007-03-30 | 2009-04-30 | 株式会社デンソー | データベース装置、注意喚起装置及び運転支援装置 |
JP4992764B2 (ja) * | 2007-10-23 | 2012-08-08 | 株式会社デンソー | 安全確認判定装置および運転教示支援システム |
JP5363208B2 (ja) * | 2009-06-18 | 2013-12-11 | 本田技研工業株式会社 | 視認行動情報提示装置 |
JP6160594B2 (ja) * | 2014-10-27 | 2017-07-12 | 富士通株式会社 | 危険運転記録方法、危険運転記録プログラム及び危険運転記録装置 |
-
2015
- 2015-04-13 JP JP2017512473A patent/JP6242541B2/ja active Active
- 2015-04-13 WO PCT/JP2015/061342 patent/WO2016166791A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2016166791A1 (ja) | 2016-10-20 |
JPWO2016166791A1 (ja) | 2017-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6242541B2 (ja) | 運転支援装置 | |
US10800424B2 (en) | Driver condition detection system | |
JP6641916B2 (ja) | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム | |
US10689008B2 (en) | Method for assisting a driver of a single-track motor vehicle in order to drive through a bend safely | |
JP6497915B2 (ja) | 運転支援システム | |
JP5300443B2 (ja) | 画像処理装置 | |
JP6218618B2 (ja) | 運転支援装置、運転支援方法及び運転支援プログラム | |
JP6075248B2 (ja) | 情報表示装置 | |
JP2008241309A (ja) | 車両用サービス提示装置 | |
US11535260B2 (en) | Attention-based notifications | |
JP2005024507A (ja) | ナビゲーション装置及びプログラム | |
JP2008070965A (ja) | 車両制御装置および車両制御方法 | |
US20200005636A1 (en) | Method and Device for Reminding a Driver About an Approach to a Light Signal Apparatus | |
JP2020024551A (ja) | 運転意識推定装置 | |
US20240000354A1 (en) | Driving characteristic determination device, driving characteristic determination method, and recording medium | |
JP5853897B2 (ja) | 操作制御装置、及び、操作制御プログラム | |
JP2009217615A (ja) | 運転評価装置 | |
JP2018083441A (ja) | 情報表示方法及び情報表示装置 | |
JP2014013496A (ja) | 運転支援装置及びプログラム | |
JP2018185654A (ja) | ヘッドアップディスプレイ装置 | |
JP4858094B2 (ja) | ディスプレイ表示システム | |
JP2008084219A (ja) | 前方カーブ警報装置 | |
JP2012118804A (ja) | 警報装置 | |
JP2011043976A (ja) | 安全運転診断装置 | |
JP6552285B2 (ja) | 車載表示装置及び車両後方映像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170321 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170321 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171107 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6242541 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |