JP6681604B2 - 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両 - Google Patents

Description

本発明は、自動運転中に運転者が車両に対する運転操作の指示を支援する技術に関する。

近年、自動車の自動運転に関する開発が進められている。自動運転について、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）が２０１３年に定義した自動化レベルは、自動化なし（レベル０）、特定機能の自動化（レベル１）、複合機能の自動化（レベル２）、半自動運転（レベル３）、完全自動運転（レベル４）に分類される。レベル１は加速・減速・操舵の内、１つを自動的に行う運転支援システムであり、レベル２は加速・減速・操舵の内、２つ以上を調和して自動的に行う運転支援システムである。いずれの場合も運転者による運転操作の関与が残る。自動化レベル４は加速・減速・操舵の全てを自動的に行う完全自動走行システムであり、運転者が運転操作に関与しない。自動化レベル３は加速・減速・操舵の全てを自動的に行うが、必要に応じて運転者が運転操作を行う準完全自動走行システムである。

自動運転の一形態として、運転者はステアリングやアクセルペダル等の既存の運転操作部を操作しないが、車両側にコマンドを発行することにより、車線変更、追越、追従走行などの特定の運転操作を車両側に指示する形態が考えられる。この形態では、誤操作が少ないユーザインタフェースが求められる。

特開２０１５−０４９２２１号公報

従来では、進路案内を表示するが、運転者は進路を確認し、車両に特定の運転操作を指示するとき、更に一々特定のスイッチを操作したり、ステアリングを回したり、アクセルを踏んだりする必要があり、操作が煩雑になる。また、視線移動が発生するし、誤操作する可能性がある。また、車線変更、追越、追従走行などの特定の運転操作ごとにスイッチを設ける設計では、スイッチ操作と自動走行制御との対応づけが直感的でなく、多くのスイッチから指示を選択することやスイッチ数を減らして状況に応じて変更された機能を選択することは、複雑な作業であり、今まで運転していなかった人や、運転能力が低下してきていても運転を継続したい人などを含め幅広いユーザが、訓練をせずに自動運転車を利用できない、という課題がある。

本発明はこうした状況に鑑みなされたものであり、その目的は、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供することにある。

上記課題を解決するために、本発明のある態様の運転支援装置は、表示部に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像情報を出力する画像出力部と、前記表示部に表示された画像内の前記自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を備える。前記表示部に表示された画像内の前記自車オブジェクトの座標に接触するユーザの操作を前記操作信号入力部が受け付けると、前記画像出力部は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像情報を前記表示部に出力する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる。

本発明の実施の形態に係る車両の構成を示すブロック図である。 図１の検出部、自動運転コントローラ、ＨＭＩコントローラ、表示部、及び入力部の基本シーケンスの一例を示す図である。 図１のＨＭＩコントローラの処理を説明するための基本フローチャートの一例を示す図である。 受付モードの更新処理を説明するためのフローチャートである。 図３のステップＳ９において運転者からジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。 ジェスチャ操作によりコマンドを発行する第１処理例を示すフローチャートである。 図７（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の一例を示す図である。 図８（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の別の例を示す図である。 ジェスチャ操作によりコマンドを発行する第２処理例を示すフローチャートである。 図１０（ａ）−（ｄ）は、図９のフローチャートに係るジェスチャ操作の一例を示す図である。

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の実施の形態に係る車両１の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両１（自車）は、運転支援装置１０、自動運転制御装置２０、表示装置３０、検出部４０及び運転操作部５０を備える。

表示装置３０は、表示部３１及び入力部３２を含む。表示装置３０は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。

表示部３１は液晶ディスプレイや有機ＥＬディスプレイやヘッドアップディスプレイ（ＨＵＤ）である。入力部３２はユーザの入力を受け付けるユーザインタフェースである。表示部３１と入力部３２は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部３２は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを備えていてもよい。また可視光または赤外線を発光するペンを使用してもよい。

なお、表示部３１と入力部３２が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部３２は、カメラ等のセンサを備え、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。

運転支援装置１０と表示装置３０との間は、専用線やＣＡＮ（Controller Area Network）等の有線通信で接続されていても良いし、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の有線通信または無線通信で接続されていても良い。

検出部４０は、位置情報取得部４１、センサ４２、速度情報取得部４３及び地図情報取得部４４を含む。位置情報取得部４１はＧＰＳ受信機から車両１の現在位置を取得する。センサ４２は車外の状況および車両１の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、自車の走行する道路状況や天候を含む環境及び自車の周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。また車両１の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部４３は車速センサから車両１の現在速度を取得する。地図情報取得部４４は、地図データベースから車両１の現在位置周辺の地図情報を取得する。地図データベースは、車両１内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。

検出部４０と自動運転制御装置２０との間は、専用線やＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、ＣＡＮ（Controller Area Network）等の有線通信で接続される。なお検出部４０が取得および検出したデータを、検出部４０から運転支援装置１０に直接出力可能な構成であってもよい。

運転操作部５０は、ステアリング５１、ブレーキペダル５２、アクセルペダル５３、及びウインカスイッチ５４を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置２０による自動制御の対象であり、図１にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部５０を少し動かした情報を運転支援装置１０に出力してもよい。

ステアリング５１は車両を操舵するための操作部である。運転者によりステアリング５１が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングＥＣＵ(Electronic Control Unit)により電子制御が可能である。

ブレーキペダル５２は車両１を減速させるための操作部である。運転者によりブレーキペダル５２が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキＥＣＵにより電子制御が可能である。

アクセルペダル５３は車両１を加速させるための操作部である。運転者によりアクセルペダル５３が踏まれると、アクセルアクチュエータを介してエンジン回転数および／またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンＥＣＵおよび／またはモータＥＣＵにより電子制御が可能である。

ウインカスイッチ５４は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ５４がオン／オフされると、ウインカコントローラを介してウインカが点灯／消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を備える。

ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラのそれぞれと自動運転制御装置２０との間は、ＣＡＮや専用線等の有線通信で接続される。ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラはそれぞれ、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置２０に送信する。

自動運転モードにおいて、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵは、自動運転制御装置２０から供給される制御信号に応じて各アクチュエータを駆動する。手動運転モードにおいては、ステアリング５１、ブレーキペダル５２、アクセルペダル５３のそれぞれから各アクチュエータに直接機械的に指示が伝達される構成であってもよいし、各ＥＣＵを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置２０から供給される制御信号、又はウインカスイッチ５４からの指示信号に応じてウインカランプを点灯／消灯する。

自動運転制御装置２０は、自動運転制御機能を実装した自動運転コントローラであり、制御部２１、記憶部２２及び入出力部２３を備える。制御部２１の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部２２は、フラッシュメモリ等の不揮発性記録媒体を備える。入出力部２３は、各種の通信フォーマットに応じた各種の通信制御を実行する。

制御部２１は、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両１の進行方向等の自動制御対象を制御するための制御値を算出する。制御部２１は算出した制御値を、各制御対象のＥＣＵ又はコントローラに伝達する。本実施の形態ではステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンＥＣＵに代えて又は加えてモータＥＣＵに制御値を伝達する。

運転支援装置１０は、車両１と運転者との間のインタフェース機能を実行するためのＨＭＩ(Human Machine Interface)コントローラであり、判定部１１、生成部１２、指示部１３及び入出力部１４を備える。判定部１１、生成部１２及び指示部１３は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部１４は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部１４は、画像出力部１４ａ、操作信号入力部１４ｂ、コマンド出力部１４ｃ、及び車両情報入力部１４ｄを含む。画像出力部１４ａは、生成部１２が生成した画像を表示部３１に出力する。操作信号入力部１４ｂは、入力部３２に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部１１に出力する。コマンド出力部１４ｃは、指示部１３により指示されたコマンドを自動運転コントローラ２０に出力する。車両情報入力部１４ｄは、検出部４０が取得した検出データや自動運転コントローラ２０により生成された車両側の情報を受け付け、生成部１２に出力する。

自動運転コントローラ２０とＨＭＩコントローラ１０との間は直接、信号線で接続される。なおＣＡＮを介して接続する構成であってもよい。また自動運転コントローラ２０とＨＭＩコントローラ１０を統合して１つのコントローラとする構成も可能である。

図２は、図１の検出部４０、自動運転コントローラ２０、ＨＭＩコントローラ１０、表示部３１、及び入力部３２の基本シーケンスの一例を示す図である。検出部４０は、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１）。自動運転コントローラ２０は、検出部４０から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をＨＭＩコントローラ１０に出力する（Ｐ２）。ＨＭＩコントローラ１０は、自動運転コントローラ２０から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する（Ｐ３）。ＨＭＩコントローラ１０は、生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ４）。

表示部３１に表示された模式図を見たユーザは、入力部３２に接触する（Ｐ５）。表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ６）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとにコマンドの種別を判定する（Ｐ７）。ＨＭＩコントローラ１０は、一定時間が経過するまでは、追加入力の受け付けを行う（Ｐ８〜Ｐ１２）。ＨＭＩコントローラ１０はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する（Ｐ８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ９）。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置３０に出力し、表示部３１に表示させる。

コマンドの指示中であることを示す模式図を見たユーザが、入力部３２に接触すると（Ｐ１０）、表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ１１）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとに追加コマンド処理を実行する（Ｐ１２）。ＨＭＩコントローラ１０は、追加コマンド処理（Ｐ１２）で新たなコマンドの入力がなかった場合は、Ｐ７で判定したコマンドを自動運転コントローラ２０に発行する（Ｐ１３、Ｐ１４）。追加コマンド処理（Ｐ１２）で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ２０に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ２０で行ってもよく、その場合、ＨＭＩコントローラ１０は、Ｐ７、Ｐ１２におけるコマンド判定処理後に自動運転コントローラ２０へコマンドの送信を行い、自動運転コントローラ２０内部の状態に応じて上書き・キャンセル処理を行う。

検出部４０は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１５）。自動運転コントローラ２０は当該情報をもとに、ＨＭＩコントローラ１０から発行されたコマンドにより指示された制御が実行可能であるか否か判定する（Ｐ１６）。実行可能である場合、自動運転コントローラ２０は制御開始通知をＨＭＩコントローラ１０に出力する（Ｐ１７）。ＨＭＩコントローラ１０は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する（Ｐ１８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ１９）。図示しないが、自動運転コントローラ２０が、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するための車両１の進行方向等の自動制御対象となる運転操作部５０を制御する具体的な制御値を算出し、各制御対象のＥＣＵ又はコントローラに伝達する。運転操作部５０は具体的な制御値に基づき動作する。運転操作部５０は、所定の制御値または検出部４０の検出データが所定値（範囲）になり、自動運転コントローラ２０が、発行されたコマンドの条件に満たしたと判断したら、コマンド実行完了と判断する。

ＨＭＩコントローラ１０は、自動運転コントローラ２０から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置３０に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置３０に出力する。

図３は、図１のＨＭＩコントローラ１０の処理を説明するための基本フローチャートの一例を示す図である。ＨＭＩコントローラ１０の判定部１１は、運転モードが自動運転モードか手動運転モードであるかをチェックする（Ｓ１）。手動運転モードの場合（Ｓ２のＮ）、処理を終了する。自動運転モードの場合（Ｓ２のＹ）、以下のように処理される。

検出部４０から自動運転コントローラ２０に入力されるセンサ情報は随時更新されている（Ｓ３）。ＨＭＩコントローラ１０の生成部１２は、自動運転コントローラ２０から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部３１に描画する（Ｓ４）。判定部１１は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする（Ｓ５）。受付不可モードである場合（Ｓ６のＮ）、処理を終了する。受付可モードである場合（Ｓ６のＹ）、判定部１１は入力部３２に対するユーザによる接触があるか否か判定する（Ｓ７）。接触がない場合（Ｓ８のＮ）、後述する一定時間経過判定処理（Ｓ１２）を実行する。接触がある場合（Ｓ８のＹ）、判定部１１は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する（Ｓ９）。この決定処理の詳細は後述する。

ステップＳ９で決定された制御コマンドがキャンセルコマンドでない場合（Ｓ１０のＮ）、生成部１２は表示部３１にコマンド指示中を表示する（Ｓ１１）。制御コマンドが決定されてから一定時間経過すると（Ｓ１２のＹ）、ステップＳ９で決定された制御コマンドがある場合（Ｓ１３のＹ）、表示部３１に操作受付不可を表示し（Ｓ１４）、判定部１１は受付モードを受付可モードから受付不可モードに更新し（Ｓ１５）、指示部１３は、決定された制御コマンドを自動運転コントローラ２０に出力する（Ｓ１６）。一定時間が経過するまでは（Ｓ１２のＮ）、ステップＳ３に遷移する。

ステップＳ１０において、決定された制御コマンドがキャンセルコマンドである場合（Ｓ１０のＹ）、キャンセルを表示し（Ｓ１１０）、処理を終了する。ステップＳ１３において、ステップＳ９で決定された制御コマンドがない場合、入力エラーを表示し（Ｓ１１１）、処理を終了する。自動運転コントローラ２０は、検出部４０から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ２０に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ２０により制御コマンドが実行可能と判断された場合（Ｓ１７のＹ）、生成部１２は表示部３１に制御中であることを表示し（Ｓ１８）、タイマを発動してカウントを開始する（Ｓ１９）。自動運転コントローラ２０により制御不能と判断された場合（Ｓ１７のＮ）、生成部１２は表示部３１に制御不能エラーを表示する（Ｓ１１２）。

図４は、受付モードの更新処理を説明するためのフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タイマのカウント値が設定値（例えば、１０秒）に到達すると（Ｓ１１３のＹ）、受付モードを受付不可モードから受付可モードに更新する（Ｓ１１４）。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部１１は、自動運転コントローラ２０から制御完了を示す通知を受信するか、車両１の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。

図５は、図３のステップＳ９において運転者からジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、接触開始位置に自車マークが存在するか否か判定する（Ｓ９ａ）。自車マークが存在しない場合（Ｓ９ａのＮ）、判定部１１は、自車マークを起点とするジェスチャ操作に係る制御コマンド以外の制御コマンドと判定する（Ｓ９ｂ）。自車マークが存在する場合（Ｓ９ａのＹ）、判定部１１は、自車マークが接触された時点のセンサ情報に基づき、自動運転コントローラ２０から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に、自動運転可能な操作を特定する（Ｓ９ｃ）。例えば、同一進行方向に複数車線がある場合は車線変更操作が可能である。また追越車線がある場合は追越操作が可能である。また自車の前方に他車が存在する場合は追従走行の操作が可能である。なお同一進行方向に複数車線がある場合でも、他車が存在する他の車線であり当該他車が自車の近傍に位置する場合、その車線への車線変更操作およびその車線を使用した追越操作は、当該他車との距離が離れるまで不可能な操作となる。

生成部１２は、自動運転可能な操作に対応するドロップ可能エリアを模式図内に描画し、表示部３１に表示させる（Ｓ９ｄ）。判定部１１は、入力部３２で発生したタッチイベントを受信し（Ｓ９ｅ）、タッチイベントの種別を判定する（Ｓ９ｆ）。タッチイベントの種別が移動であった場合（Ｓ９ｆの移動）、生成部１２は車両１の予測軌道／ルートの候補を模式図内に描画し、表示部３１に表示させる（Ｓ９ｇ）。タッチイベントの種別が接触終了であった場合（Ｓ９ｆの接触終了）、判定部１１は、接触終了位置がドロップ可能エリア内であるか否か判定する（Ｓ９ｈ）。ドロップ可能エリア内である場合（Ｓ９ｈのＹ）、判定部１１は、自車マークがドロップされたエリアに応じた制御コマンドと判定する（Ｓ９ｉ）。ドロップ可能エリア外である場合（Ｓ９ｈのＮ）、生成部１２は表示部３１にエラーメッセージを表示させる（Ｓ９ｊ）。

以下、ドロップ可能エリアの表示方法の具体例を説明する。以下の例では表示部３１及び入力部３２が一体化したタッチパネルディスプレイを使用することを想定する。

図６は、ジェスチャ操作によりコマンドを発行する第１処理例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ６０）。タッチイベント（ＤＯＷＮ）は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ６１）。表示エリアの外である場合（Ｓ６１のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。

表示エリアの内部である場合（Ｓ６１のＹ）、判定部１１は自動運転コントローラ２０から取得される自車および周辺の情報を基に自動運転可能な操作を特定し、当該操作に対応する領域を探索する（Ｓ６２）。生成部１２は、探索された領域をドロップ可能エリアとして、当該領域にエフェクト及び／又は追加情報を表示する（Ｓ６３）。判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ６４）。タッチイベント（ＵＰ）は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。

判定部１１は、タッチイベント（ＵＰ）が検出された座標がドロップ可能エリアの内部であるか否か判定する（Ｓ６５）。ドロップ可能エリアの内部である場合（Ｓ６５のＹ）、指示部１３はタッチイベント（ＵＰ）が検出された座標に応じたコマンドを自動運転コントローラ２０に発行する（Ｓ６６）。生成部１２は、模式図内のエフェクト及び／又は追加情報を消去する（Ｓ６７）。タッチイベント（ＵＰ）が検出された座標がドロップ可能エリアの外である場合（Ｓ６５のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。

図７（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の一例を示す図である。図７（ａ）に示す模式図には自車アイコンＶ１、及び自車の周辺状況（交差点を含む）が表示されている。なお自車、及び周辺状況の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なＣＧ画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。

運転者が図７（ａ）に示すように自車アイコンＶ１にタッチすると、図７（ｂ）に示すように自車アイコンＶ１をドロップ可能なエリアが強調表示される。図７（ｂ）において自車アイコンＶ１をドロップ可能なエリアは、直進専用レーンエリアＤ１、右折専用レーンエリアＤ２、左折後の車線エリアＤ３、右折後の車線エリアＤ４、及び交差点直進通過後の車線エリアＤ５の５箇所である。

運転者が自車アイコンＶ１を直進専用レーンエリアＤ１にドロップした場合、直進専用レーンへの車線変更指示コマンドが発行される。運転者が自車アイコンＶ１を右折専用レーンエリアＤ２にドロップした場合、右折専用レーンへの車線変更指示コマンドと右折指示コマンドが発行される。運転者が自車アイコンＶ１を左折後の車線エリアＤ３にドロップした場合、左折指示コマンドが発行される。運転者が自車アイコンＶ１を右折後の車線エリアＤ４にドロップした場合、右折専用レーンへの車線変更指示コマンドと右折指示コマンドが発行される。運転者が自車アイコンＶ１を交差点直進通過後の車線エリアＤ５にドロップした場合、交差点直進通過指示コマンドが発行される。

図８（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の別の例を示す図である。運転者が図８（ａ）に示すように自車アイコンＶ１にタッチすると、図８（ｂ）に示すように自車アイコンＶ１をドロップ可能なエリアが強調表示される。図８（ｂ）において自車アイコンＶ１をドロップ可能なエリアは、右車線への車線変更を指示するためのエリアＤ６、先行車の追越を指示するためのエリアＤ７、先行車に追従走行することを指示するためのエリアＤ８の３箇所である。それぞれのエリアＤ６〜Ｄ８には、操作内容を運転者に直感的に認識させるためのアイコンが表示されている。なお、操作内容を表すものは、アイコンの他に文字や矢印であってもよい。

運転者が自車アイコンＶ１をエリアＤ６にドロップした場合、右車線への車線変更指示コマンドが発行される。運転者が自車アイコンＶ１をエリアＤ７にドロップした場合、追越指示コマンドが発行される。運転者が自車アイコンＶ１をエリアＤ８にドロップした場合、先行車への追従指示コマンドが発行される。

図９は、ジェスチャ操作によりコマンドを発行する第２処理例を示すフローチャートである。第２処理例はフリック入力を使用する例である。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ６７）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ６８）。表示エリアの外である場合（Ｓ６８のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。

表示エリアの内部である場合（Ｓ６８のＹ）、判定部１１は自車の進行方向に走行可能なレーンが複数あるか否か判定する（Ｓ６９）。複数のレーンがある場合（Ｓ６９のＹ）、生成部１２は自車アイコンの左および／または右に、走行可能なレーンへのレーン変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ６１０）。複数のレーンがない場合（Ｓ６９のＮ）、ステップＳ６１０の処理をスキップする。

判定部１１は、進行方向の一定距離内に交差点があるか否か判定する（Ｓ６１１）。交差点がある場合（Ｓ６１１のＹ）、生成部１２は自車アイコン若しくはレーン変更指示用のドロップエリアの左および／または右に、交差点で進路変更が可能な方向の進路変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ６１２）。交差点がない場合（Ｓ６１１のＮ）、ステップＳ６１２の処理をスキップする。

判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ６１３）。判定部１１は、タッチイベント（ＵＰ）が検出された座標がドロップエリア内であるか否か判定する（Ｓ６１４）。ドロップエリア内でない場合（Ｓ６１４のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。タッチイベント（ＵＰ）が検出された座標が車線変更指示用のドロップエリア内である場合（Ｓ６１４の車線変更指示用ドロップエリア）、指示部１３は車線変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ６１５）。タッチイベント（ＵＰ）が検出された座標が進路変更指示用のドロップエリア内である場合（Ｓ６１４の進路変更指示用ドロップエリア）、指示部１３は進路変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ６１６）。

図１０（ａ）−（ｄ）は、図９のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が第１レーンＬ１から第２レーンＬ２に車線変更したい場合、図１０（ａ）に示すように第１レーンＬ１上の自車アイコンＶ１にタッチする。自車アイコンＶ１がタッチされると、図１０（ｂ）に示すように第２レーンＬ２への車線変更指示用のドロップアイコンＡ１が表示される。運転者がこのドロップアイコンＡ１にフリックすると、第２レーンＬ２への車線変更指示コマンドが発行される。

図１０（ｃ）に示すように前方に交差点がある場合において運転者が自車アイコンＶ１にタッチすると、図１０（ｄ）に示すように右側レーンへの車線変更指示用のドロップアイコンＡ１、左側レーンへの車線変更指示用のドロップアイコンＡ２、右折指示用のドロップアイコンＡ３、及び左折指示用のドロップアイコンＡ４が表示される。運転者が、いずれかのドロップアイコンにフリックすることにより、対応するコマンドが発行される。

以上の例において、自車アイコンをドラッグしてからドロップするまでの間、生成部１２は元の画像（移動前の自車アイコン）を模式図内に残し、ドロップされた時点で元の画像を消してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は点線でドラッグの軌道を模式図内に描画してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は道路の色を反転させ、ドロップされた時点で元の色に戻してもよい。

また自車アイコンをドラッグしてからドロップするまでの間、生成部１２はドロップ不可エリア（反対車線など）があったり、操作（車線変更など）が不可なとき、自車アイコンの色を変更（反転、薄くなど）してもよい。ドロップされた時点で、元の自車位置に自車アイコンを戻し、「操作不可」などのエラーメッセージを表示してもよい。操作不可な場合の例として、後続車の接近、車線変更禁止エリア、制限速度オーバー等がある。

また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、操作が不可なとき、道路など背景の色を変更（反転、薄くなど）してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、ドロップ不可エリアの色を変更する。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、ドロップ不可エリアがあったり、操作が不可なとき、エラー音や、振動を通知する。

また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は自車アイコンの色を変更してもよい。またドラッグ操作（自車アイコンの移動）をできない状態にしてもよい。また「操作不可」などのエラーメッセージを表示してもよい。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は、道路など背景の色を変更してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は、ドラッグ操作（自車アイコンの移動）ができない状態で、エラー音や、振動を通知する。

自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、生成部１２は移動中の自車の状態をゴースト表示し、かつ自車の軌道を表示してもよい。また自車アイコンをドロップしてから自車が制御コマンドに応じた処理を完了するまでの間、生成部１２は自車アイコンの表示状態（点滅、色変更、サイズ、位置等）を変更してもよい。また自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、判定部１１は、追加操作で次の指示をキューイング(現在の制御が完了後に行われる制御の予約)してもよい。自車アイコンをドラッグ中、または、ドロップ時、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、予想軌道を自動運転コントローラ２０から受け取り、表示部３１に描画するようにしてもよい。信号待ちであったり車線変更不可区間であったりして一時的に制御コマンドに応じた処理が不可の場合、生成部１２は、制御コマンドに応じた処理が成立するまで「トライ中」などの表示を行い、実行可能になったタイミングで予想軌道を描画するようにしてもよい。自車アイコンをドラッグ中、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、生成部１２はドロップしてから制御コマンドに応じた処理が成立するまでの予想所要時間や所要残時間を表示したりするようにしてもよい。一時的に制御コマンドに応じた処理が不可の場合、可能になるまで制御を続けるか、あきらめて制御を中止するか、あらかじめ設定できるようにしてもよい。あやまってドラッグ開始してしまったり、ドラッグ後に取り消し操作をしたいときのため、取り消し用のドロップ領域を設けてもよい。自車をドラッグ後、取り消し用のドロップ領域にドロップすることで、コマンドの発行を取りやめることができる。

以上説明したように本実施の形態によれば、運転者が自車アイコンにタッチした際、自車アイコンを選択可能な操作や移動可能な領域を、運転者が容易に認識可能な態様で表示することにより、より直感的な操作が可能になる。また、操作内容を選択したり、アイコンを移動可能領域に移動させたりすることにより、タッチパネルに表示されたアイコンをジェスチャで選択や移動させることにより、自動運転コントローラ２０に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング５１を回す、アクセルペダル５３を踏み込むなどの従来の運転操作から解放される。例えば、複数のレーンと自車アイコンを含む模式図を表示し、自車アイコンを他のレーンに移動させることにより、簡易に車両変更の指示ができる。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。

なお、選択可能な操作と移動可能な領域を表示させるための操作と制御指示コマンドを発行するための操作は、上記以外の操作であってもよい。また、自車アイコンの選択可能な操作と移動可能な領域を表示させる例であったが、他車、歩行者、緊急車両、特定領域（レーン、路肩、交差点など）といったものを候補表示対象にしてもよい。その場合、自車が候補表示対象に対して実行可能な操作内容や候補表示対象までの移動可能な軌跡を表示してもよい。例えば、他車オブジェクトを長押しすると自車を追従させる／追越のメニューを表示し、路肩のどこかを長押しすると、縦列駐車か横列駐車の操作メニューや様々な駐車可能スペースや路肩に到達するための移動可能軌道を表示してもよい。また、ジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められたジェスチャや操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、ジェスチャ操作と制御コマンドの対応関係が分かるように、表示部３１で説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、ＨＭＩコントローラ１０は専用のＬＳＩで実装する例を想定したが、表示装置３０として使用するスマートフォンやタブレット等の携帯機器内のＣＰＵを用いてＨＭＩコントローラ１０の機能を実現してもよい。この場合、表示装置３０として使用する携帯機器と自動運転コントローラ２０とが直接接続されることになる。またＨＭＩコントローラ１０の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のＣＰＵで実現してもよい。またＨＭＩコントローラ１０を実装した専用のＬＳＩをヘッドユニット内に含める構成でもよい。

なお、実施の形態は、以下の項目によって特定されてもよい。

［項目１］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援装置（１０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目２］
前記画像出力部（１４ａ）は、前記自車の進入が許容される車線を強調表示した画像を前記表示部（３１）に出力することを特徴とする項目１に記載の運転支援装置（１０）。
これにより、車線変更または進路変更を指示する操作を直感的かつ簡便に行うことができる。
［項目３］
前記画像出力部（１４ａ）は、前記自車の周辺状況に基づき当該自車が実行可能な少なくとも１つの操作候補を表す少なくとも１つの操作候補オブジェクトを含む画像を前記表示部（３１）に出力し、
前記表示部（３１）に表示された画像内の前記自車オブジェクトを当該画像内の特定の操作候補オブジェクトに移動させるユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記コマンド出力部（１４ｃ）は、前記特定の操作候補オブジェクトが表す操作を指示するコマンドを前記自動運転制御部（２０）に出力することを特徴とする項目１または２に記載の運転支援装置（１０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目４］
画像を表示する表示装置（３０）と、
前記表示装置（３０）に画像を出力する運転支援装置（１０）と、を備え、
前記運転支援装置（１０）は、
前記表示装置（３０）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示装置（３０）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、を含み、
前記表示装置（３０）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示装置（３０）に出力することを特徴とする運転支援システム（１０、３０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目５］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力するステップと、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付けるステップと、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するステップと、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作を受け付けるステップが受け付けると、前記画像を出力するステップは、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援方法。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目６］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する処理と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける処理と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力する処理と、をコンピュータに実行させ、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作を受け付ける処理が受け付けると、前記画像を出力する処理は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援プログラム。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目７］
自車の周辺状況を検出する検出部（４０）と、
表示部（３１）に、前記自車を表す自車オブジェクトと前記自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを出力するコマンド出力部（１４ｃ）と、
前記出力されたコマンドを実行する自動運転制御部（２０）と、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、前記自車の周辺状況に基づいた選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする自動運転車両（１）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。

１ 車両、 １０ ＨＭＩコントローラ、 １１ 判定部、 １２ 生成部、 １３ 指示部、 １４ 入出力部、 ２０ 自動運転コントローラ、 ２１ 制御部、 ２２ 記憶部、 ２３ 入出力部、 ３０ 表示装置、 ３１ 表示部、 ３２ 入力部、 ４０ 検出部、 ４１ 位置情報取得部、 ４２ センサ、 ４３ 速度情報取得部、 ４４ 地図情報取得部、 ５０ 運転操作部、 ５１ ステアリング、 ５２ ブレーキペダル、 ５３ アクセルペダル、 ５４ ウインカスイッチ。

本発明は、自動運転モードを搭載した車両に利用可能である。

Claims (8)

1. 表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
   受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
   前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を備え、
   前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力し、
   前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される運転支援装置。
2. さらに、前記受付モードが前記受付不可モードに変更されたタイミングから第２の時間が経過した場合、前記自動運転制御コマンドに応じた制御の完了を示す通知が前記自動運転制御部から受信された場合、または、前記自動運転制御コマンドに応じた制御が完了したことが前記自車の挙動に基づいて判断された場合、前記受付モードは、前記受付不可モードから前記受付可モードへ変更される、請求項１に記載の運転支援装置。
3. 前記所定の対象は他車であり、
   前記表示部に表示された画像内の他車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、自車を追従させる／追越のメニューを表示した画像情報を前記表示部に出力する、
   請求項１または２に記載の運転支援装置。
4. 前記所定の対象は路肩であり、
   前記表示部に表示された画像内の路肩に接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、縦列駐車か横列駐車の操作メニュー、様々な駐車可能スペース、又は路肩に到達するための移動可能軌道を表示した画像情報を前記表示部に出力する、
   請求項１または２に記載の運転支援装置。
5. 画像を表示する表示装置と、
   前記表示装置に画像情報を出力する運転支援装置と、を備え、
   前記運転支援装置は、
   前記表示装置に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
   受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示装置に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
   前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を含み、
   前記表示装置に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示装置に出力し、
   前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される運転支援システム。
6. 表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力するステップと、
   受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付けるステップと、
   前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するステップと、
   前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を受け付けると、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力するステップと、
   前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードを、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更するステップと、
   を備える運転支援方法。
7. 表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する処理と、
   受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける処理と、
   前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力する処理と、
   前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を受け付けると、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力する処理と、
   前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードを、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更する処理と、
   をコンピュータに実行させる運転支援プログラム。
8. 自車の周辺状況を検出する検出部と、
   表示部に、前記自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
   受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
   前記受け付けた操作信号に応じた自動運転制御コマンドを出力するコマンド出力部と、
   前記出力されたコマンドを実行する自動運転制御部と、を備え、
   前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力し、
   前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される自動運転車両。