JPWO2018180756A1 - 運転支援システム - Google Patents

Abstract

実景の重畳表示を用いたより適切な運転支援を行うことを可能にした運転支援システムを提供する。具体的には、自車両と他車両においてそれぞれ取得された車両情報に基づいて、自車両と他車両のそれぞれの車両の今後の行動を予測し、予測された自車両と他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定し、自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示するように構成する。

Description

本発明は、車両の運転支援を行う運転支援システムに関する。

近年、車両に対する運転支援の一つとして、例えば特開２００９−６４０８８号公報には、自車両に搭載されたカメラやセンサ等によって自車両の周辺に位置する他車両の位置や移動速度等を検出し、その検出結果に基づいて他車両の今後の進路を予測し、他車両が所定値を超える確率で進路をとる可能性がある領域を表示する運転支援システムが開示されている。

特開２００９−６４０８８号公報（第７−１０頁、図５）

しかしながら、上記特許文献１では、実景上に他車両が今後に移動すると予測される領域（以下、移動予測領域という）を表示しているが、他車両の今後の移動の確率に基づいて候補となる複数の移動予測領域を予測し、予測された複数の移動予測領域を表示している。また、自車両への影響を考慮せずに移動予測領域を表示しているため、自車両の走行に影響のない他車両の移動予測領域も表示され、他車両が自車両に影響するかどうかについては運転者が表示された画像から判断しなければならなかった。

本発明は前記従来における問題点を解消するためになされたものであり、実景の重畳表示を用いたより適切な運転支援を行うことを可能にした運転支援システムを提供することを目的とする。

前記目的を達成するため本発明に係る運転支援システムは、自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段と、前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段と、前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段と、を有する。
尚、「自車両」及び「他車両」は特定の車両を指すものではなく、各車両は運転支援システムに含まれる車両のいずれかが該当する。また、「他車両」は複数の車両が該当する場合もある。

前記構成を有する本発明に係る運転支援システムによれば、個々の車両が予測した自身の行動予測に基づいて自車両の今後の行動に影響する他車両の今後の行動を特定し、自車両の今後の行動に影響する他車両の今後の行動を実景に重畳して表示するので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。

本実施形態に係る運転支援システムを示した概略構成図である。 本実施形態に係る運転支援システムの構成を示したブロック図である。 行動予測情報ＤＢに記憶される行動予測情報の一例を示した図である。 本実施形態に係るナビゲーション装置の制御系を模式的に示すブロック図である。 本実施形態に係る運転支援処理プログラムのフローチャートである。 他車両の今後の行動の案内例を示した図である。 影響度判定処理のサブ処理プログラムのフローチャートである。 影響度判定テーブルを示した図である。 自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する場合について説明した図である。

以下、本発明に係る運転支援システムについて具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係る運転支援システム１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る運転支援システム１を示した概略構成図である。図２は本実施形態に係る運転支援システム１の構成を示したブロック図である。

図１に示すように、本実施形態に係る運転支援システム１は、情報配信センタ２が備えるサーバ装置３と、車両４に搭載された通信端末であるナビゲーション装置５と、を基本的に有する。また、サーバ装置３とナビゲーション装置５は通信ネットワーク網６を介して互いに電子データを送受信可能に構成されている。尚、ナビゲーション装置５の代わりに、その他の車載器や、車両に接続された携帯電話機、スマートフォン、タブレット型端末、パーソナルコンピュータ等を用いても良い。

ここで、情報配信センタ２が備えるサーバ装置３は、国単位或いは国を区分する区画単位（例えば市区町村単位）で設置され、対象となるエリアを走行する各車両から、各車両で予測された自車の今後の行動を特定する情報（以下、行動予測情報という）を収集し、取集された行動予測情報を用いて他車両の今後の行動が自車両の今後の行動に影響する車両を特定し、当該車両に対して行動が影響すると判定された他車両の行動予測情報を配信する情報配信サーバである。

但し、上記処理については必ずしも全てをサーバ装置３で行う必要は無く、その一部をナビゲーション装置５で行っても良い。例えば、ナビゲーション装置５が他車両の行動予測情報を車車間の通信で直接或いはサーバ装置３を介して取得し、自車両の行動予測情報と比較することによって、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定しても良い。

一方、ナビゲーション装置５は、車両４に搭載され、格納する地図データに基づいて自車位置周辺の地図を表示したり、地図画像上において車両の現在位置を表示したり、設定された案内経路に沿った移動案内を行う車載機である。特に本実施形態では自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示することについても行う。尚、ナビゲーション装置５の詳細については後述する。

また、通信ネットワーク網６は全国各地に配置された多数の基地局と、各基地局を管理及び制御する通信会社とを含み、基地局及び通信会社を有線（光ファイバー、ＩＳＤＮ等）又は無線で互いに接続することにより構成されている。ここで、基地局はナビゲーション装置５との通信をするトランシーバー（送受信機）とアンテナを有する。そして、基地局は通信会社の間で無線通信を行う一方、通信ネットワーク網６の末端となり、基地局の電波が届く範囲（セル）にあるナビゲーション装置５の通信をサーバ装置３との間で中継する役割を持つ。

続いて、運転支援システム１におけるサーバ装置３の構成について図２を用いてより詳細に説明する。サーバ装置３は、図２に示すようにサーバ制御ＥＣＵ１１と、サーバ制御ＥＣＵ１１に接続された情報記録手段としての行動予測情報ＤＢ１２と、サーバ側地図ＤＢ１３と、サーバ側通信装置１４とを備える。

サーバ制御ＥＣＵ１１（エレクトロニック・コントロール・ユニット）は、サーバ装置３の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ２１、並びにＣＰＵ２１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ２２、制御用のプログラムのほか、後述の運転支援処理プログラム（図５）等が記録されたＲＯＭ２３、ＲＯＭ２３から読み出したプログラムを記憶するフラッシュメモリ２４等の内部記憶装置を備えている。尚、サーバ制御ＥＣＵ１１は、後述のナビゲーション装置５のＥＣＵとともに処理アルゴリズムとしての各種手段を有する。例えば、行動予測手段は、自車両と他車両においてそれぞれ取得された車両情報に基づいて、自車両と他車両のそれぞれの車両の今後の行動を予測する。影響判定手段は、行動予測手段により予測された自車両と他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する。行動表示手段は、影響判定手段によって自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する。

また、行動予測情報ＤＢ１２は、対象エリアを走行する各車両４から収集した行動予測情報を累積的に記憶する記憶手段である。尚、行動予測情報は、各車両が自ら取得した自車の車両情報に基づいて予測した、自車の今後の行動を特定する情報である。本実施形態では特に所定時間後（例えば３秒後）の自車の今後の行動を特定する情報とし、所定時間後の車両の位置、車速、所定時間後に車両で行われると予測される具体的な行動内容（例えば右左折、直進、レーン移動）を含む。また、後述のように各車両が今後の行動の予測を行う際において本実施形態では、特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いる。

例えば図３は、行動予測情報ＤＢ１２に記憶される行動予測情報の一例である。図３に示すように行動予測情報ＤＢ１２は、車両を識別する車両ＩＤと紐付けて車両の所定時間後の位置、車速、行われると予測される行動内容が記憶されている。例えば、車両ＩＤ『abc123』の車両は、所定時間後の位置が（ｘ１、ｙ１）であり、所定時間後の車速は４５ｋｍ／ｈで、所定時間後に右側の車線に移動することが予測されている。

そして、サーバ装置３は、行動予測情報ＤＢ１２に記憶される行動予測情報を車両間で比較することによって、他車両の今後の行動が自車両の今後の行動に影響する車両を特定する。そして、特定された車両に対して行動が影響すると判定された他車両の行動予測情報を配信する。

一方、サーバ側地図ＤＢ１３は、外部からの入力データや入力操作に基づいて登録された最新のバージョンの地図情報であるサーバ側地図情報２５が記憶される記憶手段である。ここで、サーバ側地図情報２５は、ナビゲーション装置５に格納されている地図情報と基本的に同一の構成を有しており、道路網を始めとして経路探索、経路案内及び地図表示に必要な各種情報から構成されている。例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、各交差点に関する交差点データ、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等からなる。

一方、サーバ側通信装置１４は行動予測情報の収集対象となる各車両４やナビゲーション装置５と通信ネットワーク網６を介して通信を行う為の通信装置である。また、ナビゲーション装置５以外にインターネット網や、交通情報センタ、例えば、ＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報の受信についても可能である。

次に、ナビゲーション装置５の概略構成について図４を用いて説明する。図４は本実施形態に係るナビゲーション装置５の制御系を模式的に示すブロック図である。

図４に示すように本実施形態に係るナビゲーション装置５は、ナビゲーション装置５が搭載された車両４の現在位置を検出する現在位置検出部３１と、各種のデータが記録されたデータ記録部３２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ３３と、ユーザからの操作を受け付ける操作部３４と、ユーザに対して地図や目的地までの案内経路を表示する液晶ディスプレイ３５と、経路案内に関する音声ガイダンスを出力するスピーカ３６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ３７と、サーバ装置３やＶＩＣＳセンタ等との間で通信を行う通信モジュール３８と、を有する。また、ナビゲーション装置５はＣＡＮ等の車載ネットワークを介して、車両ＥＣＵ３９、ＨＵＤ４０及びフロントカメラ４１等が接続されている。

以下に、ナビゲーション装置５を構成する各構成要素について順に説明する。
現在位置検出部３１は、ＧＰＳ４２、車速センサ４３、ステアリングセンサ４４、ジャイロセンサ４５等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ４３は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ３３に出力する。そして、ナビゲーションＥＣＵ３３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置５が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置５が備える構成としても良い。

また、データ記録部３２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された端末側地図ＤＢ４６、配信情報ＤＢ４７及び所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部３２をハードディスクの代わりに不揮発性メモリ、メモリーカード、ＣＤやＤＶＤ等の光ディスクにより構成しても良い。

ここで、端末側地図ＤＢ４６は、ナビゲーション装置５における経路探索や走行案内に用いられる地図情報が記憶される記憶手段である。尚、地図情報を外部のサーバから取得する場合については端末側地図ＤＢ４６は必ずしも必要でない。

また、配信情報ＤＢ４７は、サーバ装置３から配信された配信情報（道路に関する支援情報）が記憶される記憶手段である。特に本実施形態では、他車両の今後の行動が自車両の今後の行動に影響すると判定された場合に、自車両の今後の行動に影響すると判定された他車両の行動予測情報がサーバ装置３から配信され、配信情報ＤＢ４７に格納される。

一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）３３は、ナビゲーション装置５の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ５１、並びにＣＰＵ５１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ５２、制御用のプログラムの他、後述の運転支援処理プログラム（図５）等が記録されたＲＯＭ５３、ＲＯＭ５３から読み出したプログラムを記憶するフラッシュメモリ５４等の内部記憶装置を備えている。

操作部３４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ３３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部３４は液晶ディスプレイ３５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。

また、液晶ディスプレイ３５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。

また、スピーカ３６は、ナビゲーションＥＣＵ３３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。

また、ＤＶＤドライブ３７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、端末側地図ＤＢ４６の更新等が行われる。尚、ＤＶＤドライブ３７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。

また、通信モジュール３８は、例えば、サーバ装置３やＶＩＣＳセンタや地図配信センタ等から送信された地図更新情報、支援情報、交通情報等の各情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。

また、車両ＥＣＵ３９は、エンジン、ブレーキ等の車両に関する各種制御行う制御ユニットである。本実施形態ではナビゲーション装置５は、車両ＥＣＵ３９から今後の自車両の行動を予測する為の材料となる車両情報を取得する。

一方、ＨＵＤ４０は、車両４のダッシュボード内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイやスクリーンを有する。そして、液晶ディスプレイやスクリーンに表示された映像を、ＨＵＤ４０が備える凹面鏡等を介し、更に運転席の前方のフロントウィンドウに反射させて車両４の乗員に視認させるように構成されている。尚、フロントウィンドウを反射して乗員が液晶ディスプレイやスクリーンに表示された映像を視認した場合に、乗員にはフロントウィンドウの位置ではなく、フロントウィンドウの先の遠方の位置に液晶ディスプレイやスクリーンに表示された映像が虚像として視認されるように構成される。その結果、実景に虚像を重畳して乗員に視認させることが可能となる。

尚、液晶ディスプレイやスクリーンに表示される映像としては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。特に本実施形態では、自車両の今後の行動に影響すると判定された他車両の今後の行動が表示される。

また、フロントカメラ４１は、車両のフロントバンパの上方やルームミラーの裏側等に設置され、例えばＣＣＤ等の固体撮像素子を用いた撮像装置である。また、光軸方向は車両の進行方向前方に向けて設置される。そして、フロントカメラ４１により撮像された撮像画像に対して画像処理が行われることによって、フロントウィンドウ越しに乗員に視認される前方環境（即ち虚像が重畳される環境）の状況等が検出される。尚、フロントカメラ４１の代わりにミリ波レーダ等のセンサを用いても良い。

続いて、上記構成を有する本実施形態に係る運転支援システム１において、サーバ装置３及びナビゲーション装置５が実行する運転支援処理プログラムについて図５に基づき説明する。図５は本実施形態に係る運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両のＡＣＣ(accessory power supply)がＯＮされた後に所定間隔（例えば１秒間隔）で実行され、各車両での今後の行動を予測するとともに、予測された車両の今後の行動に基づく各種案内を行うプログラムである。また、以下の図５及び図７にフローチャートで示されるプログラムは、サーバ装置３が備えるＲＡＭ２２やＲＯＭ２３或いはナビゲーション装置５が備えるＲＡＭ５２やＲＯＭ５３等に記憶されており、ＣＰＵ２１又はＣＰＵ５１により実行される。尚、Ｓ１〜Ｓ４の処理を実施するナビゲーション装置５と、Ｓ２１及びＳ２２の処理を実施するナビゲーション装置５は同一のナビゲーション装置であっても良いし、異なるナビゲーション装置５であっても良い。

先ず、図５に基づいてナビゲーション装置５が実行する運転支援処理プログラムについて説明する。先ず、機械学習処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ５１は車両ＥＣＵ３９から自車両の車両情報を取得する。具体的には、“現在の車速”、“舵角（ステアリング角）”、“現在位置”を取得する。尚、上記３つの車両情報は必ずしも全て取得する必要は無く、１或いは２つの車両情報のみを取得するようにしても良い。また、上記３つの車両情報以外の車両情報（例えば加速度、案内経路）等について取得しても良い。

次に、Ｓ２においてＣＰＵ５１は、車両内に設置されたカメラで運転者を撮像した撮像画像を取得し、取得した撮像画像から運転者の現在の動作を取得する。特に本実施形態では車両の今後の行動を行う前の予備動作について取得対象とする。例えば、車両がレーン移動を行う際には、一般的に運転者は事前に右後方や左後方を視認したり、サイドミラーの視認を行う。従って、右後方や左後方を視認したり、サイドミラーの視認を行う動作が予備動作に該当する。他には、ブレーキ操作、アクセル操作、シフトレバーの操作、ウィンカーの操作、ルームミラーの視認、右側方や左側方の視認等が予備動作として挙げられる。尚、ブレーキ操作やアクセル操作などが行われたことは車両ＥＣＵ３９から取得することも可能である。

続いて、Ｓ３においてＣＰＵ５１は、前記Ｓ１で取得した自車両の車両情報及びＳ２で取得した運転者の予備動作に基づいて、今後の自車両の行動を予測する。具体的には、所定時間後（例えば３秒後）の自車の今後の行動を予測する。特に本実施形態では、多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いて車両の今後の行動を予測するのが望ましい。上記機械学習を用いることによって、学習段階が進むに従って車両のより正確な行動予測を行うことが可能となる。

また、前記Ｓ２の自車両の行動予測では、具体的に所定時間後の車両の位置、車速、所定時間後に車両で行われると予測される具体的な行動内容について予測する。また、行動内容としては右左折、直進及びレーン移動の少なくとも１つの行動を予測する。そして、予測された結果を示す情報を行動予測情報（図３参照）として生成し、フラッシュメモリ５４等に一旦格納する。

Ｓ４においてＣＰＵ５１は、前記Ｓ３で生成された行動予測情報をサーバ装置３に対して送信する。尚、行動予測情報には送信元の車両を識別する車両ＩＤが含まれる。また、車両の現在位置や現在の速度に関する情報についても行動予測情報とともに送信する。尚、前記Ｓ１〜Ｓ４の処理は全国を走行する各車両のナビゲーション装置５において所定時間間隔で繰り返し実施され、生成された行動予測情報が順次サーバ装置３へと送信されることとなる。

次に、図５に基づいてサーバ装置３が実行する運転支援処理プログラムについて説明する。先ず、Ｓ１１においてＣＰＵ２１は、対象エリアを走行する各車両から送信された行動予測情報を受信する。そして、図３に示すように車両ＩＤに紐付けて受信した行動予測情報を行動予測情報ＤＢ１２に順次格納する。尚、対象エリアは全国としても良いし、特定の地図区画（例えば市区町村）としても良い。

次に、Ｓ１２においてＣＰＵ２１は、後述の影響度判定処理（図７）を行う。尚、影響度判定処理は、前記Ｓ１１で各車両から取得した行動予測情報に基づいて、対象エリア内の各車両に対して他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する処理である。具体的には、対象エリア内の各車両に対して他車両の今後の行動が自車両の今後の行動に影響する影響度合い（以下、影響度という）を算出する。例えば、自車両において他車両を回避する為の運転操作（減速操作、旋回操作等）を強いられる場合、自車両と他車両が所定距離以内に接近したり、所定速度以上で接近することが予想される場合、自車両と他車両の進路が重複する場合等に、対象の車両（２台とは限らずに３台以上の場合もある）に対して、高い影響度を算出する。

その後、Ｓ１３においてＣＰＵ２１は、前記Ｓ１２で判定された影響度が閾値以上（例えば５０以上）の各車両、即ち他車両の今後の行動が自車両の今後の行動に影響すると判定された車両に対して、当該行動が影響すると判定された他車両（１台とは限らずに２台以上の場合もある）の行動予測情報を配信する。

次に、図５に基づいて再びナビゲーション装置５が実行する運転支援処理プログラムについて説明する。尚、Ｓ２１及びＳ２２の処理は、前記Ｓ１３において行動予測情報が配信されたナビゲーション装置５でのみ行われる。

先ず、Ｓ２１においてＣＰＵ５１は、サーバ装置３から送信された行動予測情報を受信する。

次に、Ｓ２２においてＣＰＵ５１は、前記Ｓ２１で受信した行動予測情報に基づいて、自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する。具体的には、他車両の所定時間後（例えば３秒後）の予測位置、進行方向の少なくとも１を表示する。

例えば、図６は前記Ｓ２２において他車両の今後の行動を案内する際の案対態様の一例を示した図である。例えば、図６に示す例では片側複数車線からなる道路において車両の前方で車両の右側の車線を自車両と同方向に走行する他車両６１が、所定時間後に左側（即ち自車両が走行する車線）にレーン移動すると予測された場合を示した図である。この場合においては、自車両の進路が他車両の進路と重複することになるので他車両６１の今後の行動が自車両の今後の行動に影響すると判定され、他車両６１の今後の行動を案内することとなる。具体的には、図６に示すように他車両６１の所定時間後の位置を示す位置マークの虚像６２と進行方向を示す矢印の虚像６３をそれぞれ生成する。そして、位置マークの虚像６２は、他車両６１が所定時間後に実施に位置すると予想される路面に対して重畳して表示する。また、進行方向を示す矢印の虚像６３は、他車両６１の現在位置付近の路面に対して重畳して表示する。その結果、乗員は他車両の今後の行動を実景と対応させてより正確に把握することが可能となる。

次に、前記Ｓ１２において実行される影響度判定処理のサブ処理について図７に基づき説明する。図７は影響度判定処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ３１において、ＣＰＵ２１は前記Ｓ１１で受信した各車両の行動予測情報に基づいて、行動予測情報を受信した各車両の今後の予測される位置を地図上にマッピングする。尚、行動予測情報は上述したように所定時間後（例えば３秒後）の自車の今後の行動を予測した情報であるが、現在の車両の位置や車速に関する情報と組み合わせることによって、所定時間後のみではなく現在時刻から所定時間後までの間の位置情報（即ち予想される走行軌跡や位置座標列）についてもマッピングするのが望ましい。

以降のＳ３２〜Ｓ３５の処理については前記Ｓ３１において行動予測情報を受信した車両毎に行う。そして、行動予測情報を受信した全ての車両に対してＳ３２〜Ｓ３５の処理を行った後にＳ１３へと移行する。

Ｓ３２においてＣＰＵ２１は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両が他車両を回避する為の運転操作を行う必要があるか否かを判定する。例えば、処理対象の車両と他車両の予測される位置が同タイミングで重複する場合、或いは前後方向の所定距離以内（例えば３ｍ以内）に接近する場合に、処理対象の車両が他車両を回避する為の運転操作を行う必要があると判定する。尚、他車両を回避する為の運転操作としては、所定の減速度より大きな減速度で減速する減速操作と、所定量以上のハンドル操作（より具体的には車線を変更する為の操作）を含む。

続いて、Ｓ３３においてＣＰＵ２１は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両が所定時間以内において他車両と最も接近する距離（最短距離）を取得する。

更に、Ｓ３４においてＣＰＵ２１は、処理対象の車両とその他の車両のマッピングされた位置情報や行動予測情報を比較することによって、処理対象の車両と該車両から最も近い位置を走行する他車両との接近（相対）速度を取得する。

その後、Ｓ３５においてＣＰＵ２１は、前記Ｓ３１〜Ｓ３４で取得した各情報に基づいて、処理対象の車両の影響度を算出する。具体的には、フラッシュメモリ２４等に格納された影響度判定テーブルを用いて影響度を算出する。ここで、図８は影響度判定テーブルの一例を示した図である。

図８に示すように影響度判定テーブルは、前記Ｓ３２で判定された回避する為の運転操作の必要有無、前記Ｓ３３で算出された他車両との最短距離、前記Ｓ３４で算出された他車両との接近速度に対応付けてそれぞれ影響度が設定されている。更に、自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複するか否かに対しても影響度が設定されている。尚、“自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する”場合とは、自車両と他車両の現在時刻から所定時間後までの走行軌跡が少なくとも一部重なったり交わる（重なったり交わる際の車両の位置関係は問わない）場合や、現在時刻から所定時間後までの間に自車両と他車両の走行車線が同一車線となる場合等がある。但し、現時点において既に自車両と他車両が同一車線を走行している場合や、自車両と他車両の間の距離が十分離れている場合については対象から除外しても良い。

例えば図９に示すように片側２車線の道路を自車両７１と他車両７２が走行する場合において、自車両７１が現在走行する車線７３を維持して走行すると予測され、他車両７２が現在走行する車線７４から左側の車線７３へとレーン変更すると予測された場合には、自車両７１の進路と他車両７２の進路が重複すると判定される。尚、図９に図示していないが、例えば片側２車線の道路を自車両７１と他車両７２が走行する場合において、自車両７１が現在走行する車線７３から右側の車線７４へとレーン変更して走行すると予測され、他車両７２が現在走行する車線７４を維持して走行すると予測された場合においても、自車両７１の進路と他車両７２の進路が重複すると判定する。更に、例えば片側２車線の道路を自車両７１と他車両７２が走行する場合において、自車両７１が現在走行する車線７３から右側の車線７４へとレーン変更して走行すると予測され、他車両７２が現在走行する車線７４から左側の車線７３へとレーン変更すると予測された場合においても、自車両７１の進路と他車両７２の進路が重複すると判定する。

また、影響度判定テーブルでは、他車両の今後の行動が自車両の今後の行動に影響する度合いが高い状況程、より高い影響度が対応付けられている。例えば、自車両が他車両を回避する為に所定の減速度より大きな減速度で減速する操作或いは所定量以上のハンドル操作を強いられる場合には、そのような操作を強いられない場合よりも明らかに他車両の行動が影響する度合いが高いので、影響度も高い値が対応付けられている。また、自車両と他車両との間の距離が狭いほど、他車両の行動が影響する度合いが高いので、影響度もより高い値が対応付けられている。また、自車両と他車両との接近速度が速いほど、他車両の行動が影響する度合いが高いので、影響度もより高い値が対応付けられている。更に、自車両の今後の行動に基づいて予測された進路に、他車両の今後の行動に基づいて予測された進路が重複する場合には、進路が重複しない場合よりも他車両の行動が影響する度合いが高いので、影響度も高い値が対応付けられている。

そして、前記Ｓ３５では処理対象の車両について影響度判定テーブルに含まれる４つの要因ごとに影響度を特定し、その内で最も高い影響度を当該車両の影響度として算出する。例えば、他車両を回避する為の運転操作を強いられず、他車両との最短距離は２５ｍであり、他車両との接近速度は５ｋｍ／ｈで、進路の重複は無い場合には、影響度が『３０』となる。尚、要因毎の影響度を合算した値や平均値を最終的な影響度として算出しても良い。その後、Ｓ１３へと移行し、算出された影響度が閾値以上（例えば５０以上）の車両に対して、行動が影響すると判定された他車両（即ち、自車両が回避する必要のある車両、接近する車両、進路が重複する車両等）の行動予測情報を配信する。

以上詳細に説明した通り、本実施形態に係る運転支援システム１では、自車両と他車両においてそれぞれ取得された車両情報に基づいて、自車両と他車両のそれぞれの車両の今後の行動を予測し（Ｓ３）、予測された自車両と他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定し（Ｓ１３）、自車両の今後の行動に影響すると判定された他車両の今後の行動を実景に重畳して表示する（Ｓ２２）ので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、車両の今後の行動を予測する（Ｓ３）処理において、所定時間後（例えば３秒後）の自車の今後の行動を予測しているが、現時刻から所定時間後までの期間における自車の今後の行動を予測しても良い。或いは、１秒後、２秒後、３秒後、・・・のように複数時点の行動を予測しても良い。

また、本実施形態では、車両の今後の行動を予測する（Ｓ３）処理において、自車両の車両情報及び運転者の予備動作に基づいて、今後の自車両の行動を予測しているが、自車両の車両情報のみ或いは運転者の予備動作のみに基づいて予測することも可能である。

また、本実施形態では、図８に示すように（１）他車両を回避する為の運転操作の必要有無、（２）他車両との最短距離、（３）他車両との接近速度、（４）自車両と他車両の進路の重複有無の全てを考慮して、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定しているが、必ずしも上記（１）〜（４）の全てを考慮する必要は無く一部のみを考慮して判定しても良い。例えば、（１）のみを考慮し、他車両を回避する為の運転操作を強いられる場合に、他車両の今後の行動が自車両の今後の行動に影響すると判定することも可能である。或いは、（４）のみを考慮し、自車両と他車両の進路の重複する場合に、他車両の今後の行動が自車両の今後の行動に影響すると判定することも可能である。

また、本実施形態では、ＨＵＤによって他車両の今後の行動を実景に重畳して表示しているが、実景に重畳させる案内方法としては、他にウィンドシールドディスプレイを用いることも可能である。

また、本実施形態では、車両の今後の行動を予測する（Ｓ３）処理において、機械学習として特に多層構造の畳み込みニューラルネットワークを用いた機械学習（Deep Learning）を用いているが、その他の機械学習を用いることも可能である。また、機械学習を用いずに予測することも可能である。

また、本実施形態では運転支援プログラム（図５）の内、Ｓ１〜Ｓ３、Ｓ２１、Ｓ２２の処理をナビゲーション装置５が実施し、Ｓ１１〜Ｓ１３の処理をサーバ装置３が実施しているが、Ｓ３の処理についてもサーバ装置３が実施しても良い。その場合には、本発明の“行動予測手段”をサーバ装置３が実施することとなり、対象エリア内にある各車両の車両情報を収集したサーバ装置３が、収集した各車両の車両情報に基づいて各車両の今後の行動を予測することとなる。

また、Ｓ１２及びＳ１３の処理をナビゲーション装置５が実施しても良い。その場合には、本発明の“影響判定手段”をナビゲーション装置５が実施することとなり、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、他車両の今後の行動が自車両の今後の行動に影響するか否かを判定する。尚、他車両の今後の行動に関する行動予測情報については車車間通信で直接取得しても良いし、サーバ装置３を介して取得しても良い。特に行動予測情報を車車間通信で取得すれば、運転支援システム１においてサーバ装置３は必須ではなくなる。

更に、Ｓ１〜Ｓ３、Ｓ２１、Ｓ２２の処理についてはナビゲーション装置ではなくナビゲーション装置以外の車載器が実施する構成としても良い。例えば車両ＥＣＵが実施しても良い。

また、本発明に係る運転支援システムを具体化した実施例について上記に説明したが、運転支援システムは以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段（２１、５１）と、前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段（２１、５１）と、前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段（５１）と、を有する。
上記構成を有する運転支援システムによれば、個々の車両が予測した自身の行動予測に基づいて自車両の今後の行動に影響する他車両の今後の行動を特定し、自車両の今後の行動に影響する他車両の今後の行動を実景に重畳して表示するので、自車両の走行に影響のない他車両の予測が表示される煩わしさがなくなり、より適切な運転支援を行うことを可能にした運転支援システムを提供することが可能となる。

また、第２の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両と前記他車両との間の距離又は接近速度に基づいて前記行動の影響を判定する。
上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを車間距離や相対速度を考慮することによって正確に判定することが可能となる。

また、第３の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両が前記他車両を回避する為の運転操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為の運転操作の必要有無を考慮することによって正確に判定することが可能となる。

また、第４の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両が前記他車両を回避する為に前記自車両が所定の減速度より大きな減速度で減速する減速操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為の減速操作の必要有無を考慮することによって正確に判定することが可能となる。

また、第５の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両が前記他車両を回避する為に前記自車両が所定量以上のハンドル操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを、他車両を回避する為のハンドル操作の必要有無を考慮することによって正確に判定することが可能となる。

また、第６の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両の今後の行動に基づいて予測された進路に、前記他車両の今後の行動に基づいて予測された進路が重複する場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する。
上記構成を有する運転支援システムによれば、他車両の今後の行動が自車両の今後の行動に影響するか否かを自車両と他車両の進路の重複を考慮することによって正確に判定することが可能となる。

また、第７の構成は以下のとおりである。
前記車両情報は、車速、舵角、位置情報の少なくとも１つの情報であり、前記行動予測手段（２１、５１）は、前記車両情報に基づいて前記自車両と前記他車両の行動として、右左折、直進及びレーン移動の少なくとも１つの行動を予測する。
上記構成を有する運転支援システムによれば、今後に自車両がどのような行動をするかについて右左折、直進及びレーン移動の候補を用いて明確に特定することが可能となる。従って、他車両の今後の行動が自車両の今後の行動に影響するか否かの判定についても容易に行うことが可能となる。

また、第８の構成は以下のとおりである。
前記自車両と前記他車両のそれぞれの車両で取得された車両情報に加えてそれぞれの車両を運転する運転者の動作についても取得され、前記行動予測手段（２１、５１）は、前記車両情報と前記運転者の動作とに基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する。
上記構成を有する運転支援システムによれば、運転者の動作についても考慮することによって車両の今後の行動の予測をより正確に行うことが可能となる。

また、第９の構成は以下のとおりである。
前記車両を運転する運転者の動作は、それぞれの車両の今後の行動を行う前の予備動作であり、運転者を撮像することによって取得する。
上記構成を有する運転支援システムによれば、運転者の動作として特に予備動作を対象とすることによって、車両の今後の行動の予測をより正確に行うことが可能となる。

また、第１０の構成は以下のとおりである。
前記行動表示手段（５１）によって実景に重畳して表示される前記他車両の今後の行動は、前記他車両の予測位置、進行方向の少なくとも１つである。
上記構成を有する運転支援システムによれば、他車両の予測位置又は進行方向を実景に重畳して案内することによって、自車両の運転者は他車両の予測位置や進行方向を視覚的により容易に把握することが可能となる。

また、第１１の構成は以下のとおりである。
前記行動予測手段は、多層構造のニューラルネットワークを用いた機械学習によって前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する。
上記構成を有する運転支援システムによれば、多層構造のニューラルネットワークを用いた機械学習によって、車両の今後の行動についてより正確な予測が可能となる。

また、第１２の構成は以下のとおりである。
前記行動予測手段は、前記自車両と前記他車両に載置された各車載器（５）が、それぞれの車両の車両情報に基づいて今後の行動を予測する。
上記構成を有する運転支援システムによれば、車載器において自車両や他車両の今後の行動を予測することが可能である。

また、第１３の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両と前記他車両から各車両で予測された今後の行動を収集したサーバ装置（３）が、前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
上記構成を有する運転支援システムによれば、サーバ装置において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。

また、第１４の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両に載置された各車載器（５）が、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
上記構成を有する運転支援システムによれば、車載器において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。

また、第１５の構成は以下のとおりである。
前記行動予測手段（２１、５１）は、前記自車両と前記他車両から各車両の車両情報を収集したサーバ装置（３）が、収集した各車両の車両情報に基づいて前記自車両と前記他車両の今後の行動を予測する。
上記構成を有する運転支援システムによれば、サーバ装置において自車両や他車両の今後の行動を予測することが可能である。

また、第１６の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記サーバ装置（３）が、予測した前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
上記構成を有する運転支援システムによれば、サーバ装置において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。

また、第１７の構成は以下のとおりである。
前記影響判定手段（２１、５１）は、前記自車両に載置された各車載器（５）が、自車両で予測された今後の行動と前記サーバ装置（３）から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する。
上記構成を有する運転支援システムによれば、車載器において他車両の今後の行動が自車両の今後の行動に影響するか否かを判定することが可能である。

１ 運転支援システム
２ 情報配信センタ
３ サーバ装置
４ 車両
５ ナビゲーション装置
１２ 行動予測情報ＤＢ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
３９ 車両ＥＣＵ
４０ フロントカメラ
４１ ＨＵＤ
５１ ＣＰＵ
５２ ＲＡＭ
５３ ＲＯＭ
６２、６３ 虚像

Claims (17)

1. 自車両と他車両においてそれぞれ取得された車両情報に基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する行動予測手段と、
   前記行動予測手段により予測された前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する影響判定手段と、
   前記影響判定手段によって前記自車両の今後の行動に影響すると判定された前記他車両の今後の行動を実景に重畳して表示する行動表示手段と、を有する運転支援システム。
2. 前記影響判定手段は、前記自車両と前記他車両との間の距離又は接近速度に基づいて前記行動の影響を判定する請求項１に記載の運転支援システム。
3. 前記影響判定手段は、前記自車両が前記他車両を回避する為の運転操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項１又は請求項２に記載の運転支援システム。
4. 前記影響判定手段は、前記自車両が前記他車両を回避する為に前記自車両が所定の減速度より大きな減速度で減速する減速操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項３に記載の運転支援システム。
5. 前記影響判定手段は、前記自車両が前記他車両を回避する為に前記自車両が所定量以上のハンドル操作を強いられる場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項３に記載の運転支援システム。
6. 前記影響判定手段は、前記自車両の今後の行動に基づいて予測された進路に、前記他車両の今後の行動に基づいて予測された進路が重複する場合に、前記他車両の今後の行動が前記自車両の今後の行動に影響すると判定する請求項１又乃至請求項３のいずれかに記載の運転支援システム。
7. 前記車両情報は、車速、舵角、位置情報の少なくとも１つの情報であり、
   前記行動予測手段は、前記車両情報に基づいて前記自車両と前記他車両の行動として、右左折、直進及びレーン移動の少なくとも１つの行動を予測する請求項１乃至請求項６のいずれかに記載の運転支援システム。
8. 前記自車両と前記他車両のそれぞれの車両で取得された車両情報に加えてそれぞれの車両を運転する運転者の動作についても取得され、
   前記行動予測手段は、前記車両情報と前記運転者の動作とに基づいて、前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する請求項１乃至請求項７のいずれかに記載の運転支援システム。
9. 前記車両を運転する運転者の動作は、それぞれの車両の今後の行動を行う前の予備動作であり、運転者を撮像することによって取得する請求項８に記載の運転支援システム。
10. 前記行動表示手段によって実景に重畳して表示される前記他車両の今後の行動は、前記他車両の予測位置、進行方向の少なくとも１つである請求項１乃至請求項９のいずれかに記載の運転支援システム。
11. 前記行動予測手段は、多層構造のニューラルネットワークを用いた機械学習によって前記自車両と前記他車両のそれぞれの車両の今後の行動を予測する請求項１乃至請求項１０のいずれかに記載の運転支援システム。
12. 前記行動予測手段は、前記自車両と前記他車両に載置された各車載器が、それぞれの車両の車両情報に基づいて今後の行動を予測する請求項１乃至請求項１１のいずれかに記載の運転支援システム。
13. 前記影響判定手段は、前記自車両と前記他車両から各車両で予測された今後の行動を収集したサーバ装置が、前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項１２に記載の運転支援システム。
14. 前記影響判定手段は、前記自車両に載置された各車載器が、自車両で予測された今後の行動と他車両から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項１２に記載の運転支援システム。
15. 前記行動予測手段は、前記自車両と前記他車両から各車両の車両情報を収集したサーバ装置が、収集した各車両の車両情報に基づいて前記自車両と前記他車両の今後の行動を予測する請求項１乃至請求項１１のいずれかに記載の運転支援システム。
16. 前記影響判定手段は、前記サーバ装置が、予測した前記自車両と前記他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項１５に記載の運転支援システム。
17. 前記影響判定手段は、前記自車両に載置された各車載器が、自車両で予測された今後の行動と前記サーバ装置から取得した他車両の今後の行動に基づいて、前記他車両の今後の行動が前記自車両の今後の行動に影響するか否かを判定する請求項１５に記載の運転支援システム。

Images