JP2018169945A - 運転支援装置、運転支援方法及び運転支援プログラム - Google Patents

Abstract

【課題】他車両の進路変更を事前に予測して、予測結果を他車両の走行に関する運転支援情報として提示することにより、安全運転を支援できる運転支援装置、運転支援方法及び運転支援プログラムを提供する。【解決手段】運転支援装置は、車載カメラによって撮像された車両の前方視界のカメラ画像を取得する画像取得部と、通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する情報取得部と、車両特定情報に基づいて、カメラ画像における通信対象車両を特定する車両特定部と、目的地情報に基づいて、通信対象車両が次に行う進路変更の方向を予測する進路予測部と、進路予測部の予測結果を示す予測情報を、カメラ画像又は利用者が視認している実景に含まれる通信対象車両に関連付けて重畳表示させる表示制御部と、を備える。【選択図】図１

Description

本発明は、他車両の走行状況を事前に予測することにより、安全運転を支援する運転支援装置、運転支援方法及び運転支援プログラムに関する。

従来、車載カメラ等で車両の周辺環境（例えば、他車両の走行状況など）を監視しておき、運転者に対して安全運転を支援する情報（以下、「運転支援情報」と称する）を提供する運転支援装置が提案されている（例えば、特許文献１〜３）。

特許文献１には、自車両から視認困難な領域を走行している他車両の走行状況（例えば、走行位置、方向指示器の点灯状況、ブレーキランプの点灯状況など）を、周辺車両（例えば、自車両の先行車両）との通信によって取得し、視認困難領域を含めて自車両の周辺環境を把握することにより、安全に走行するための運転支援情報（例えば、車線変更を誘導する音声案内）を提供する装置が開示されている。

特許文献２には、センサーにより周辺車両の走行状況を取得して、周辺車両の将来的な走行状況を予測し、自車両が安全に車線変更するための運転支援情報を提供する装置が開示されている。

特許文献３には、車載カメラによって自車両の周辺環境を監視し、周辺の移動体（例えば、歩行者や自転車）の移動予測を行い、移動体との衝突を回避するための運転支援情報（例えば、警告メッセージ）を提供する装置が開示されている。

特開２００７−１６４３２８号公報 特開２０１５−２１５８７３号公報 特開２００９−１７５８１４号公報

通常、車両の運転者は、先行車両（走行車線が異なる車両を含む）が進路変更することを、進路変更のための事前動作（例えば、方向指示器の点灯や減速動作）によって察知する。本明細書では、車線変更、追い越し、右左折などを総称して「進路変更」と称する。先行車両の進路変更は、自車両の走行に影響を及ぼすこととなるため、事前に予測できることが好ましい。

しかしながら、特許文献１〜３に開示の技術は、他車両の走行状況を予測して運転支援情報を提供するものであるが、進路変更するための事前動作が検出されるまで、他車両の進路変更を予測することができない。そのため、他車両の急な車線変更や減速への対応が遅れる虞がある。

本発明の目的は、他車両の進路変更を事前に予測して、予測結果を他車両の走行に関する運転支援情報として提示することにより、安全運転を支援できる運転支援装置、運転支援方法及び運転支援プログラムを提供することである。

本発明に係る運転支援装置は、
車載カメラによって撮像された車両の前方視界のカメラ画像を取得する画像取得部と、
通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する情報取得部と、
前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する車両特定部と、
前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する進路予測部と、
前記進路予測部の予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる表示制御部と、
を備えることを特徴とする。

本発明に係る運転支援方法は、
車載カメラによって撮像された車両の前方視界のカメラ画像を取得する工程と、
通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する工程と、
前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する工程と、
前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する工程と、
予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる工程と、
を含むことを特徴とする。

本発明に係る運転支援プログラムは、
コンピューターに、
車載カメラによって撮像された車両の前方視界のカメラ画像を取得する処理と、
通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する処理と、
前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する処理と、
前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する処理と、
予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる処理と、
を実行させる。

本発明によれば、他車両の進路変更を事前に予測し、予測結果を他車両の走行に関する運転支援情報として提示するので、安全運転を支援することができる。

実施の形態に係る運転支援装置の構成例を示す図である。 運転支援処理の一例を示すフローチャートである。 進路方向予測を説明するための図である。 予測情報の表示例を示す図である。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。

図１は、実施の形態に係る運転支援装置１の構成例を示す図である。運転支援装置１は、道路を走行する車両に搭載され、車両の乗員に対して、他車両の走行に関する運転支援情報を提示する。運転支援装置１は、他車両に搭載された車載器２と車車間通信を行い、車載器２からの情報に基づいて、運転支援情報を生成し、提示する。以下において、車載器２を搭載し、自車両と車車間通信を行う他車両を「通信対象車両」と称する。

図１に示すように、運転支援装置１は、処理部１１、表示部１２、操作部１３、通信部１４及び車載カメラ２０等を備える。運転支援装置１は、例えば、カーナビゲーション連動型又はスマートフォン連動型のＥＴＣ２．０対応車載器である。

車載カメラ２０は、例えば、車両の前部（例えば、フロントグリル）に設置されるフロントカメラである。車載カメラ２０は、例えばＣＣＤ（charge-coupled device）型イメージセンサー、ＣＭＯＳ（complementary metal oxide semiconductor）型イメージセンサーなどの撮像素子を有する。撮像素子によって光電変換された前方視界の画像を示す電気信号は、無線通信又は有線通信によって処理部１１に送信される。なお、車載カメラ２０には、車両に既設の装備を利用することができる。

表示部１２は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイである。表示部１２は、例えば、車両のインストルメントパネルに配置される。表示部１２には、車載カメラ２０で撮像されたカメラ画像が表示される。なお、表示部１２には、カーナビゲーションシステムやスマートフォンのディスプレイを利用することができる。

操作部１３は、例えば、文字や数字を入力可能な入力デバイスである。表示部１２及び操作部１３は、タッチパネル付きのフラットパネルディスプレイで構成されてもよい。なお、操作部１３は必須ではなく、設けなくてもよい。

処理部１１は、演算／制御装置としてのＣＰＵ（Central Processing Unit）、主記憶装置としてのＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備える（いずれも図示略）。ＲＯＭには、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムを実行することにより、運転支援装置１の各ブロックの動作を集中制御する。

図示を省略するが、運転支援装置１は、地図データ等を記憶する記憶部を備えていてもよい。記憶部は、例えば、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。

通信部１４は、例えば、車車間通信用の通信インターフェースである。処理部１１は、通信部１４を介して、車車間通信により、通信対象車両の車載器２から送信された情報を受信する。通信部１４は、例えば、目的地情報を要求する電波を周囲に発信し、この要求に応答して通信対象車両から送信された情報（目的地情報及び車両特定情報）を受信する。

処理部１１は、運転支援プログラムを実行することにより、画像取得部１１１、情報取得部１１２、車両特定部１１３、進路予測部１１４及び表示制御部１１５として機能する。これらの機能については、図２のフローチャートに従って詳述する。運転支援プログラムは、例えば処理部１１のＲＯＭに記憶される。運転支援プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、運転支援プログラムは、当該プログラムを保有するサーバーから、ネットワークを介してダウンロードにより提供されてもよい。

図２は、処理部１１が実行する運転支援処理の一例を示すフローチャートである。この処理は、例えば車両の動力源（エンジン又はモーター）の始動に伴い運転支援装置１が起動され、ＣＰＵがＲＯＭに格納されている運転支援プログラムを呼び出して実行することで実現される。

なお、処理部１１は、車載カメラ２０からカメラ画像を１フレーム単位で連続して取得し、表示部１２にカメラ画像を表示させているものとする（画像取得部１１１、表示制御部１１５としての処理）。

図２のステップＳ１０１において、処理部１１は、自車両周辺に向けて、目的地情報を要求する電波を発信する（情報取得部１１２としての処理）。目的地情報の送信が許可されている他車両が自車両周辺を走行している場合、当該他車両（通信対象車両）から自車両に向けて前記要求に対する確認応答が発信される。

ステップＳ１０２において、処理部１１は、周辺車両からの確認応答を受信したか否かを判定する（情報取得部１１２としての処理）。確認応答を受信した場合（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。確認応答を受信しない場合（ステップＳ１０２で“ＮＯ”）、すなわち、通信対象車両となり得る他車両が周辺を走行していない場合、運転支援処理を終了する。

ステップＳ１０３において、処理部１１は、通信対象車両との車車間通信を確立し、目的地情報及び車両特定情報を取得する（情報取得部１１２としての処理）。

目的地情報は、目的地までの経路を示す経路情報であってもよいし、目的地の位置を示す位置情報（緯度、経度）であってもよい。経路情報は、例えば、通信対象車両に搭載されたカーナビゲーションシステムによって生成される推奨経路であり、右左折が行われる方向転換地点の位置情報及び方向転換地点における進行方向を示す方向情報を含む。

車両特定情報は、カメラ画像に含まれる他車両の中から通信対象車両を特定できる情報であれば特に限定されない。例えば、車両特定情報は、通信対象車両の走行位置を示す走行位置情報である。また例えば、車両特定情報は、通信対象車両の車種や車両ナンバー等のカメラ画像から認識できる車両に固有の情報（車両固有情報）であってもよい。

ステップＳ１０４において、処理部１１は、車両特定情報に基づいて、カメラ画像に含まれる他車両の中から通信対象車両を特定する（車両特定部１１３としての処理）。なお、通信対象車両が後続車両である場合など、カメラ画像に通信対象車両が含まれていない場合は、運転支援処理は終了される。

例えば、車両特定情報が走行位置情報であった場合、自車両の走行位置との相対的な位置関係からカメラ画像における通信対象車両の位置（座標）及び大きさを推定することにより、通信対象車両を特定することができる。また例えば、車両特定情報が車両固有情報であった場合、カメラ画像を解析して、カメラ画像に含まれる他車両の車種及び車両ナンバーを認識し、通信対象車両から取得した車両固有情報と比較することにより、通信対象車両を特定することができる。

ステップＳ１０５において、処理部１１は、取得した目的地情報に基づいて、通信対象車両の次の進路変更方向を予測する（進路予測部１１４としての処理）。例えば、図３に示すように、自車両Ｖ１の前方を通信対象車両Ｖ２が目的地Ｄに向かって推奨経路Ｒに沿って走行している場合、通信対象車両Ｖ２は、方向転換地点Ｐ１で右折することが予測される。この場合、処理部１１は、通信対象車両Ｖ２の次の進路変更方向が「右」であると予測する。

なお、取得した目的地情報が目的地の位置情報であった場合、処理部１１（進路予測部１１４）は、目的地に向かう経路を算出して、算出した経路に基づいて通信対象車両の次の進路変更方向を予測する。すなわち、処理部１１は、目的地の位置情報に基づいて、経路を算出する経路算出部としても機能する。

また、処理部１１（進路予測部１１４）は、目的地情報とともに、走行中の道路状況を示す道路情報に基づいて、通信対象車両の次の進路変更方向を予測するのが好ましい。道路情報は、例えば、自車両に搭載されるカーナビゲーションシステム（図示略）から取得することができる。

例えば、通信対象車両が次の方向転換地点で右折する場合であっても、方向転換地点が立体交差点である場合は、左側に車線変更して側道を走行した後、右折することになる。この場合、方向転換地点が立体交差点であるという道路情報を考慮することにより、通信対象車両の次の進路変更方向は「左」であると予測することができる。したがって、運転支援装置１は、道路状況に応じた適切な予測結果を乗員に対して提示することができる。また、道路工事などにより走行車線が規制される場合にも有効に対応することができる。

ステップＳ１０６において、処理部１１は、予測結果を示す予測情報を、カメラ画像に含まれる通信対象車両に関連付けて重畳表示させる（表示制御部１１５としての処理）。予測結果は、関連付けられた通信対象車両を識別できる領域であれば、予測対象車両自体に重ねて表示されてもよいし、予測対象車両の近傍に表示されてもよい。図４に示す表示例では、予測情報として、前方の通信対象車両Ｖ２が左側に車線変更することを示す矢印Ｉ１の図形が表示されている。

このようにして、通信対象車両の進路変更方向の予測結果が、当該通信対象車両に関連付けて提示される。自車両の運転者は、カメラ画像に重畳表示された予測情報により、通信対象車両のこれらからの走行状況を的確に把握できるので、急な車線変更や減速にも慌てることなく対応することができる。

ここで、処理部１１（表示制御部１１５）は、通信対象車両の次の方向転換地点の位置及び現在の走行位置に基づいて、予測情報の表示態様を変化させてもよい。例えば、処理部１１は、方向転換地点が近づくに伴い、予測情報の表示色を、青色→黄色→赤色と変化させる。これにより、自車両の運転者は、進路変更方向だけでなく、進路変更が行われる時期も把握できるので、より安全性が向上する。

さらに、処理部１１（表示制御部１１５）は、通信対象車両の方向指示器の点灯に伴い、目的地情報に基づいて予測された予測情報（第１の予測情報）に代えて、方向指示器の点灯状況に基づいて予測された予測情報（第２の予測情報）を表示させてもよい。つまり、処理部１１は、通信対象車両の方向指示器の点灯状況を取得する方向指示器情報取得部としての機能を有し、方向指示器が点灯した場合には、方向指示器で指示されている方向を進路変更方向として予測し、優先的に表示させる。この場合、第１の予測情報の表示態様と、第２の予測情報の表示態様とを異ならせることで、予測結果の確度を報知するようにしてもよい。また、第１の予測情報に加え、第２の予測情報を表示してもよい。

これにより、目的地情報に基づいて予測された進路変更方向が結果的に誤っていても、最終的には通信対象車両の実際の走行状況が予測情報として反映されるので、予測情報の誤りによる危険を回避することができる。

なお、通信対象車両の方向指示器の点灯状況は、例えば、車車間通信によって取得することができる。また例えば、カメラ画像を解析することにより、通信対象車両の方向指示器の点灯状況を取得することもできる。

ステップＳ１０７において、処理部１１は、通信対象車両の存否を判定する。具体的には、カメラ画像に通信対象車両が含まれている場合に、通信対象車両があると判定される。通信対象車両がある場合（ステップＳ１０７で“ＹＥＳ”）、ステップＳ１０５に移行する。通信対象車両がいなくなった場合（ステップＳ１０７で“ＮＯ”）、運転支援処理は終了される。

つまり、通信対象車両が進路変更を行うなどして、カメラ画像内から通信対象車両がいなくなるまで、カメラ画像内の通信対象車両が追尾され、予測情報が継続して表示される。通信対象車両において目的地情報が変更される場合に備えて、目的地情報は適宜更新されてもよい。

このように、運転支援装置１は、車載カメラ２０によって撮像された車両の前方視界のカメラ画像を取得する画像取得部１１１と、通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する情報取得部１１２と、車両特定情報に基づいて、カメラ画像における通信対象車両を特定する車両特定部１１３と、目的地情報に基づいて、通信対象車両が次に行う進路変更の方向を予測する進路予測部１１４と、進路予測部１１４の予測結果を示す予測情報を、カメラ画像に含まれる通信対象車両に関連付けて重畳表示させる表示制御部１１５と、を備える。

本実施の形態に係る運転支援方法は、車載カメラ２０によって撮像された車両の前方視界のカメラ画像を取得する工程と、通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する工程（図２のステップＳ１０３）と、車両特定情報に基づいて、カメラ画像における通信対象車両を特定する工程（ステップＳ１０４）と、目的地情報に基づいて、通信対象車両が次に行う進路変更の方向を予測する工程（ステップＳ１０５）と、予測結果を示す予測情報を、カメラ画像に含まれる通信対象車両に関連付けて重畳表示させる工程（ステップＳ１０６）と、を含む。

本実施の形態に係る運転支援プログラムは、処理部１１（コンピューター）に、車載カメラ２０によって撮像された車両の前方視界のカメラ画像を取得する処理と、通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する処理（図２のステップＳ１０３）と、車両特定情報に基づいて、カメラ画像における通信対象車両を特定する処理（ステップＳ１０４）と、目的地情報に基づいて、通信対象車両が次に行う進路変更の方向を予測する処理（ステップＳ１０５）と、予測結果を示す予測情報を、カメラ画像に含まれる通信対象車両に関連付けて重畳表示させる処理（ステップＳ１０６）と、を実行させる。

運転支援装置１によれば、通信対象車両の進路変更を事前に予測し、予測結果を通信対象車両の走行に関する運転支援情報として提示するので、安全運転を支援することができる。すなわち、運転者は、通信対象車両において方向指示器が点灯され進路変更の意思が示される前に、予測結果を参考にして通信対象車両のこれからの走行状況（車線変更や減速）を予測できるので、より安全に自車両の運転操作を行うことができる。

以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

例えば、通信対象車両から目的地情報が随時発信されるようにし、自車両が通信対象車両の通信可能領域に入った場合に、目的地情報が受信されるようにしてもよい。

また例えば、通信対象車両が複数ある場合は、それぞれに対応して予測結果が重畳表示されるようにしてもよい。また、予測情報の重畳表示が散在し、他車両の走行状況が認識しにくくなる場合は、優先順位の低い方（例えば、自車両から遠い方）から予測情報の重畳表示を行わないようにしてもよい。

また、実施の形態では、カメラ画像に予測情報を重畳表示しているが、ヘッドアップディスプレイ（ＨＵＤ）を利用して、利用者の視野（実景）に直接予測情報を重畳表示するようにしてもよい。

実施の形態では、処理部１１（コンピュータ）が、画像取得部１１１、情報取得部１１２、車両特定部１１３、進路予測部１１４及び表示制御部１１５として機能することにより、本発明を実現しているが、これらの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって構成することもできる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明は、他車両の走行状況を事前に予測することにより、安全運転を支援する運転支援技術に好適である。

１ 運転支援装置
１１ 処理部
１１１ 画像取得部
１１２ 情報取得部
１１３ 車両特定部
１１４ 進路予測部
１１５ 表示制御部
１２ 表示部
１３ 操作部
１４ 通信部
２０ 車載カメラ

Claims (8)

1. 車載カメラによって撮像された車両の前方視界のカメラ画像を取得する画像取得部と、
   通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する情報取得部と、
   前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する車両特定部と、
   前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する進路予測部と、
   前記進路予測部の予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる表示制御部と、
   を備えることを特徴とする運転支援装置。
2. 前記目的地情報は、前記通信対象車両の目的地までの経路情報を含み、
   前記進路予測部は、前記経路情報に含まれる方向転換情報に基づいて、前記進路変更の方向を予測することを特徴とする請求項１に記載の運転支援装置。
3. 前記目的地情報は、前記通信対象車両の目的地の位置を示す目的地情報を含み、
   前記進路予測部は、前記目的地情報に基づいて、前記通信対象車両の目的地までの経路を算出し、前記進路変更の方向を予測することを特徴とする請求項１又は２に記載の運転支援装置。
4. 前記進路予測部は、前記目的地情報とともに、走行中の道路状況を示す道路情報に基づいて、前記進路変更の方向を予測することを特徴とする請求項１から３のいずれか一項に記載の運転支援装置。
5. 前記表示制御部は、前記通信対象車両の次の方向転換地点の位置及び現在の走行位置に基づいて、前記予測情報の表示態様を変化させることを特徴とする請求項１から４のいずれか一項に記載の運転支援装置。
6. 前記通信対象車両の方向指示器の点灯状況を取得する方向指示情報取得部を備え、
   前記表示制御部は、前記方向指示器の点灯に伴い、前記方向指示器の点灯状況に基づいて予測された第２の予測情報を表示させることを特徴とする請求項１から５のいずれか一項に記載の運転支援装置。
7. 車載カメラによって撮像された車両の前方視界のカメラ画像を取得する工程と、
   通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する工程と、
   前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する工程と、
   前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する工程と、
   予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる工程と、
   を含むことを特徴とする運転支援方法。
8. コンピューターに、
   車載カメラによって撮像された車両の前方視界のカメラ画像を取得する処理と、
   通信対象車両との車車間通信によって、目的地までの経路を特定するための目的地情報及び当該通信対象車両を特定するための車両特定情報を取得する処理と、
   前記車両特定情報に基づいて、前記カメラ画像における前記通信対象車両を特定する処理と、
   前記目的地情報に基づいて、前記通信対象車両が次に行う進路変更の方向を予測する処理と、
   予測結果を示す予測情報を、前記カメラ画像又は利用者が視認している実景に含まれる前記通信対象車両に関連付けて重畳表示させる処理と、
   を実行させる運転支援プログラム。

Images