JP6681604B2 - Driving support device, driving support system, driving support method, driving support program, and autonomous driving vehicle - Google Patents

Description

本発明は、自動運転中に運転者が車両に対する運転操作の指示を支援する技術に関する。   The present invention relates to a technique for assisting a driver to instruct a vehicle to perform a driving operation during autonomous driving.

近年、自動車の自動運転に関する開発が進められている。自動運転について、ＮＨＴＳＡ（Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ）が２０１３年に定義した自動化レベルは、自動化なし（レベル０）、特定機能の自動化（レベル１）、複合機能の自動化（レベル２）、半自動運転（レベル３）、完全自動運転（レベル４）に分類される。レベル１は加速・減速・操舵の内、１つを自動的に行う運転支援システムであり、レベル２は加速・減速・操舵の内、２つ以上を調和して自動的に行う運転支援システムである。いずれの場合も運転者による運転操作の関与が残る。自動化レベル４は加速・減速・操舵の全てを自動的に行う完全自動走行システムであり、運転者が運転操作に関与しない。自動化レベル３は加速・減速・操舵の全てを自動的に行うが、必要に応じて運転者が運転操作を行う準完全自動走行システムである。   In recent years, development related to automatic driving of automobiles has been advanced. Regarding automated driving, the automation levels defined in 2013 by NHTSA (National Highway Traffic Safety Administration) are no automation (level 0), automation of specific functions (level 1), automation of complex functions (level 2), semi-automatic driving ( It is classified into Level 3) and fully automatic operation (Level 4). Level 1 is a driving support system that automatically performs one of acceleration, deceleration, and steering. Level 2 is a driving support system that automatically performs two or more of acceleration, deceleration, and steering in harmony. is there. In both cases, the driver's involvement in the driving operation remains. The automation level 4 is a fully automatic driving system that automatically performs all acceleration, deceleration, and steering, and the driver does not participate in the driving operation. The automation level 3 is a quasi-completely automatic traveling system in which all of the acceleration, deceleration, and steering are automatically performed, but the driver performs driving operation as necessary.

自動運転の一形態として、運転者はステアリングやアクセルペダル等の既存の運転操作部を操作しないが、車両側にコマンドを発行することにより、車線変更、追越、追従走行などの特定の運転操作を車両側に指示する形態が考えられる。この形態では、誤操作が少ないユーザインタフェースが求められる。   As one form of automatic driving, the driver does not operate the existing driving operation unit such as steering or accelerator pedal, but by issuing a command to the vehicle side, specific driving operation such as lane change, overtaking, follow-up driving, etc. It is conceivable that the vehicle side is instructed. In this form, a user interface with less erroneous operations is required.

特開２０１５−０４９２２１号公報Japanese Unexamined Patent Publication No. 2015-049221

従来では、進路案内を表示するが、運転者は進路を確認し、車両に特定の運転操作を指示するとき、更に一々特定のスイッチを操作したり、ステアリングを回したり、アクセルを踏んだりする必要があり、操作が煩雑になる。また、視線移動が発生するし、誤操作する可能性がある。また、車線変更、追越、追従走行などの特定の運転操作ごとにスイッチを設ける設計では、スイッチ操作と自動走行制御との対応づけが直感的でなく、多くのスイッチから指示を選択することやスイッチ数を減らして状況に応じて変更された機能を選択することは、複雑な作業であり、今まで運転していなかった人や、運転能力が低下してきていても運転を継続したい人などを含め幅広いユーザが、訓練をせずに自動運転車を利用できない、という課題がある。   Conventionally, the route guidance is displayed, but when the driver confirms the route and instructs the vehicle to perform a specific driving operation, it is necessary to further operate a specific switch, rotate the steering wheel, or step on the accelerator. Therefore, the operation becomes complicated. In addition, the line of sight may be moved, which may cause an erroneous operation. Also, in the design in which a switch is provided for each specific driving operation such as lane change, overtaking, and follow-up driving, the correspondence between the switch operation and the automatic travel control is not intuitive, and it is possible to select an instruction from many switches. It is a complicated task to reduce the number of switches and select a function that has been changed according to the situation, and it is recommended for people who have never driven before or who want to continue driving even if their driving ability is decreasing. There is a problem that a wide range of users including those cannot use the self-driving car without training.

本発明はこうした状況に鑑みなされたものであり、その目的は、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供することにある。   The present invention has been made in view of such circumstances, and an object thereof is to provide a technique that allows a driver to instruct a vehicle to perform a specific driving operation intuitively and easily.

上記課題を解決するために、本発明のある態様の運転支援装置は、表示部に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像情報を出力する画像出力部と、前記表示部に表示された画像内の前記自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を備える。前記表示部に表示された画像内の前記自車オブジェクトの座標に接触するユーザの操作を前記操作信号入力部が受け付けると、前記画像出力部は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像情報を前記表示部に出力する。   In order to solve the above-mentioned problems, a driving support apparatus according to an aspect of the present invention has an image output unit that outputs image information including a vehicle object representing a vehicle and a surrounding situation of the vehicle on a display unit, An operation signal input unit that receives an operation signal by the user for the vehicle object in the image displayed on the display unit, and an automatic driving control unit that controls an automatic driving according to the received operation signal. And a command output unit for outputting to. When the operation signal input unit receives an operation of the user touching the coordinates of the own vehicle object in the image displayed on the display unit, the image output unit causes the selectable operation candidate or the own vehicle object to be displayed. Image information including a movable area is output to the display unit.

なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described components, or any expression obtained by converting the expression of the present invention among a device, a system, a method, a program, a recording medium having the program recorded therein, an automatic driving vehicle equipped with them, and the like are also included in the present invention. Is effective as a mode of.

本発明によれば、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる。   According to the present invention, a driver can instruct a vehicle to perform a specific driving operation intuitively and easily.

本発明の実施の形態に係る車両の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a vehicle according to an embodiment of the present invention. 図１の検出部、自動運転コントローラ、ＨＭＩコントローラ、表示部、及び入力部の基本シーケンスの一例を示す図である。It is a figure which shows an example of the basic sequence of the detection part of FIG. 1, an automatic operation controller, an HMI controller, a display part, and an input part. 図１のＨＭＩコントローラの処理を説明するための基本フローチャートの一例を示す図である。It is a figure which shows an example of the basic flowchart for demonstrating the process of the HMI controller of FIG. 受付モードの更新処理を説明するためのフローチャートである。It is a flow chart for explaining update processing of a reception mode. 図３のステップＳ９において運転者からジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。6 is a flowchart showing an example of a determination process when a driver inputs a gesture operation in step S9 of FIG. 3. ジェスチャ操作によりコマンドを発行する第１処理例を示すフローチャートである。9 is a flowchart illustrating a first processing example of issuing a command by a gesture operation. 図７（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の一例を示す図である。7A and 7B are diagrams showing an example of the gesture operation according to the flowchart of FIG. 図８（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の別の例を示す図である。8A and 8B are diagrams showing another example of the gesture operation according to the flowchart of FIG. ジェスチャ操作によりコマンドを発行する第２処理例を示すフローチャートである。It is a flow chart which shows the 2nd example of processing which issues a command by gesture operation. 図１０（ａ）−（ｄ）は、図９のフローチャートに係るジェスチャ操作の一例を示す図である。10A to 10D are diagrams showing an example of the gesture operation according to the flowchart of FIG.

以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の実施の形態に係る車両１の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両１（自車）は、運転支援装置１０、自動運転制御装置２０、表示装置３０、検出部４０及び運転操作部５０を備える。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a vehicle 1 according to an embodiment of the present invention, which is a configuration related to automatic driving. A vehicle 1 (own vehicle) equipped with an automatic driving mode includes a driving support device 10, an automatic driving control device 20, a display device 30, a detection unit 40, and a driving operation unit 50.

表示装置３０は、表示部３１及び入力部３２を含む。表示装置３０は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。   The display device 30 includes a display unit 31 and an input unit 32. The display device 30 may be a head unit such as a car navigation system or a display audio device, a mobile terminal device such as a smartphone or a tablet, or a dedicated console terminal device.

表示部３１は液晶ディスプレイや有機ＥＬディスプレイやヘッドアップディスプレイ（ＨＵＤ）である。入力部３２はユーザの入力を受け付けるユーザインタフェースである。表示部３１と入力部３２は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部３２は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを備えていてもよい。また可視光または赤外線を発光するペンを使用してもよい。   The display unit 31 is a liquid crystal display, an organic EL display, or a head-up display (HUD). The input unit 32 is a user interface that receives user input. The display unit 31 and the input unit 32 may be an integrated touch panel display. It should be noted that, like a proximity touch panel capable of detecting proximity of a hand on a touch panel or touch pad and position detection of a finger by hover operation, it is capable of accepting a gesture input at a position away from a display unit by a predetermined distance. Good. Furthermore, the input unit 32 may include an input device such as a mouse, a stylus pen, and a trackball that assists gesture input. Alternatively, a pen that emits visible light or infrared light may be used.

なお、表示部３１と入力部３２が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部３２は、カメラ等のセンサを備え、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。   Note that the display unit 31 and the input unit 32 may be physically separate, instead of an integrated touch panel display. For example, the input unit 32 may be a non-contact type input device that includes a sensor such as a camera and is capable of inputting an aerial gesture operation. For example, an operation method in which the target is pointed with a finger and a thumb and forefinger are brought close to each other to start dragging and a gesture to release the thumb and forefinger to end dragging can be considered.

運転支援装置１０と表示装置３０との間は、専用線やＣＡＮ（Controller Area Network）等の有線通信で接続されていても良いし、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の有線通信または無線通信で接続されていても良い。   The driving support device 10 and the display device 30 may be connected to each other by a wired line such as a dedicated line or a CAN (Controller Area Network), or may be USB, Ethernet (registered trademark), Wi-Fi (registered trademark). , Bluetooth (registered trademark) or the like, or may be connected by wired communication or wireless communication.

検出部４０は、位置情報取得部４１、センサ４２、速度情報取得部４３及び地図情報取得部４４を含む。位置情報取得部４１はＧＰＳ受信機から車両１の現在位置を取得する。センサ４２は車外の状況および車両１の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、自車の走行する道路状況や天候を含む環境及び自車の周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。また車両１の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部４３は車速センサから車両１の現在速度を取得する。地図情報取得部４４は、地図データベースから車両１の現在位置周辺の地図情報を取得する。地図データベースは、車両１内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。   The detection unit 40 includes a position information acquisition unit 41, a sensor 42, a speed information acquisition unit 43, and a map information acquisition unit 44. The position information acquisition unit 41 acquires the current position of the vehicle 1 from the GPS receiver. The sensor 42 is a general term for various sensors for detecting the condition outside the vehicle and the condition of the vehicle 1. As a sensor for detecting the condition outside the vehicle, for example, a camera, a millimeter wave radar, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a temperature sensor, an atmospheric pressure sensor, a humidity sensor, an illuminance sensor and the like are mounted. The condition outside the vehicle may be the condition of the road on which the vehicle is traveling, the environment including the weather, and the surrounding conditions of the vehicle. Any information outside the vehicle that can be detected by the sensor may be used. Further, as a sensor for detecting the state of the vehicle 1, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a tilt sensor, etc. are mounted. The speed information acquisition unit 43 acquires the current speed of the vehicle 1 from the vehicle speed sensor. The map information acquisition unit 44 acquires map information around the current position of the vehicle 1 from the map database. The map database may be recorded in a recording medium in the vehicle 1 or may be downloaded from a map server via a network when used.

検出部４０と自動運転制御装置２０との間は、専用線やＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、ＣＡＮ（Controller Area Network）等の有線通信で接続される。なお検出部４０が取得および検出したデータを、検出部４０から運転支援装置１０に直接出力可能な構成であってもよい。   The detection unit 40 and the automatic driving control device 20 are connected by a dedicated line, wired communication such as USB, Ethernet (registered trademark), CAN (Controller Area Network), or the like. The data acquired and detected by the detection unit 40 may be directly output from the detection unit 40 to the driving support device 10.

運転操作部５０は、ステアリング５１、ブレーキペダル５２、アクセルペダル５３、及びウインカスイッチ５４を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置２０による自動制御の対象であり、図１にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部５０を少し動かした情報を運転支援装置１０に出力してもよい。   The driving operation unit 50 includes a steering wheel 51, a brake pedal 52, an accelerator pedal 53, and a turn signal switch 54. In the automatic driving mode according to the present embodiment, acceleration, deceleration, steering, and blinker blinking are targets of automatic control by the automatic driving control device 20, and FIG. 1 shows an operation unit when performing those controls manually. I am drawing. Information that the driver manually moves the driving operation unit 50 slightly may be output to the driving support device 10.

ステアリング５１は車両を操舵するための操作部である。運転者によりステアリング５１が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングＥＣＵ(Electronic Control Unit)により電子制御が可能である。   The steering wheel 51 is an operation unit for steering the vehicle. When the steering wheel 51 is rotated by the driver, the traveling direction of the vehicle is controlled via the steering actuator. The steering actuator can be electronically controlled by a steering ECU (Electronic Control Unit).

ブレーキペダル５２は車両１を減速させるための操作部である。運転者によりブレーキペダル５２が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキＥＣＵにより電子制御が可能である。   The brake pedal 52 is an operation unit for decelerating the vehicle 1. When the driver depresses the brake pedal 52, the vehicle is decelerated via the brake actuator. The brake actuator can be electronically controlled by the brake ECU.

アクセルペダル５３は車両１を加速させるための操作部である。運転者によりアクセルペダル５３が踏まれると、アクセルアクチュエータを介してエンジン回転数および／またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンＥＣＵおよび／またはモータＥＣＵにより電子制御が可能である。   The accelerator pedal 53 is an operation unit for accelerating the vehicle 1. When the driver steps on the accelerator pedal 53, the engine speed and / or the motor speed are controlled via the accelerator actuator. A pure engine car controls the engine speed, a pure electric car controls the motor speed, and a hybrid car controls both. The accelerator actuator can be electronically controlled by the engine ECU and / or the motor ECU.

ウインカスイッチ５４は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ５４がオン／オフされると、ウインカコントローラを介してウインカが点灯／消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を備える。   The turn signal switch 54 is an operation unit for blinking a turn signal for notifying the outside of the course of the vehicle. When the driver turns on / off the turn signal switch 54, the turn signal is turned on / off via the turn signal controller. The winker controller includes a drive circuit such as a relay that controls power supply to the winker lamp.

ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラのそれぞれと自動運転制御装置２０との間は、ＣＡＮや専用線等の有線通信で接続される。ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵ、ウインカコントローラはそれぞれ、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置２０に送信する。   Each of the steering ECU, the brake ECU, the engine ECU, the motor ECU, and the turn signal controller and the automatic driving control device 20 are connected by wire communication such as CAN or a dedicated line. The steering ECU, the brake ECU, the engine ECU, the motor ECU, and the turn signal controller respectively transmit state signals indicating the states of the steering, the brake, the engine, the motor, and the turn signal lamp to the automatic driving control device 20.

自動運転モードにおいて、ステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、モータＥＣＵは、自動運転制御装置２０から供給される制御信号に応じて各アクチュエータを駆動する。手動運転モードにおいては、ステアリング５１、ブレーキペダル５２、アクセルペダル５３のそれぞれから各アクチュエータに直接機械的に指示が伝達される構成であってもよいし、各ＥＣＵを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置２０から供給される制御信号、又はウインカスイッチ５４からの指示信号に応じてウインカランプを点灯／消灯する。   In the automatic driving mode, the steering ECU, the brake ECU, the engine ECU, and the motor ECU drive each actuator according to the control signal supplied from the automatic driving control device 20. In the manual operation mode, the steering 51, the brake pedal 52, and the accelerator pedal 53 may mechanically directly transmit instructions to the respective actuators, or electronic control via the respective ECUs may intervene. May be The turn signal controller turns on / turns off the turn signal lamp according to a control signal supplied from the automatic driving control device 20 or an instruction signal from the turn signal switch 54.

自動運転制御装置２０は、自動運転制御機能を実装した自動運転コントローラであり、制御部２１、記憶部２２及び入出力部２３を備える。制御部２１の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部２２は、フラッシュメモリ等の不揮発性記録媒体を備える。入出力部２３は、各種の通信フォーマットに応じた各種の通信制御を実行する。   The automatic driving control device 20 is an automatic driving controller having an automatic driving control function, and includes a control unit 21, a storage unit 22, and an input / output unit 23. The configuration of the control unit 21 can be realized by cooperation of hardware resources and software resources, or only by hardware resources. Processors, ROMs, RAMs, and other LSIs can be used as hardware resources, and programs such as operating systems, applications, and firmware can be used as software resources. The storage unit 22 includes a non-volatile recording medium such as a flash memory. The input / output unit 23 executes various communication controls according to various communication formats.

制御部２１は、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両１の進行方向等の自動制御対象を制御するための制御値を算出する。制御部２１は算出した制御値を、各制御対象のＥＣＵ又はコントローラに伝達する。本実施の形態ではステアリングＥＣＵ、ブレーキＥＣＵ、エンジンＥＣＵ、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンＥＣＵに代えて又は加えてモータＥＣＵに制御値を伝達する。   The control unit 21 applies various parameter values collected from the detection unit 40 and various ECUs to an automatic driving algorithm to calculate a control value for controlling an automatic control target such as the traveling direction of the vehicle 1. The control unit 21 transmits the calculated control value to each control target ECU or controller. In the present embodiment, it is transmitted to the steering ECU, the brake ECU, the engine ECU, and the turn signal controller. In the case of an electric vehicle or a hybrid car, the control value is transmitted to the motor ECU instead of or in addition to the engine ECU.

運転支援装置１０は、車両１と運転者との間のインタフェース機能を実行するためのＨＭＩ(Human Machine Interface)コントローラであり、判定部１１、生成部１２、指示部１３及び入出力部１４を備える。判定部１１、生成部１２及び指示部１３は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部１４は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部１４は、画像出力部１４ａ、操作信号入力部１４ｂ、コマンド出力部１４ｃ、及び車両情報入力部１４ｄを含む。画像出力部１４ａは、生成部１２が生成した画像を表示部３１に出力する。操作信号入力部１４ｂは、入力部３２に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部１１に出力する。コマンド出力部１４ｃは、指示部１３により指示されたコマンドを自動運転コントローラ２０に出力する。車両情報入力部１４ｄは、検出部４０が取得した検出データや自動運転コントローラ２０により生成された車両側の情報を受け付け、生成部１２に出力する。   The driving support device 10 is an HMI (Human Machine Interface) controller for executing an interface function between the vehicle 1 and the driver, and includes a determination unit 11, a generation unit 12, an instruction unit 13, and an input / output unit 14. . The determination unit 11, the generation unit 12, and the instruction unit 13 can be realized by cooperation of hardware resources and software resources, or only by hardware resources. Processors, ROMs, RAMs, and other LSIs can be used as hardware resources, and programs such as operating systems, applications, and firmware can be used as software resources. The input / output unit 14 executes various communication controls according to various communication formats. The input / output unit 14 includes an image output unit 14a, an operation signal input unit 14b, a command output unit 14c, and a vehicle information input unit 14d. The image output unit 14a outputs the image generated by the generation unit 12 to the display unit 31. The operation signal input unit 14 b receives an operation signal input to the input unit 32 by a driver, an occupant, or a user outside the vehicle, and outputs the operation signal to the determination unit 11. The command output unit 14c outputs the command instructed by the instruction unit 13 to the automatic driving controller 20. The vehicle information input unit 14 d receives the detection data acquired by the detection unit 40 and the vehicle-side information generated by the automatic driving controller 20, and outputs the information to the generation unit 12.

自動運転コントローラ２０とＨＭＩコントローラ１０との間は直接、信号線で接続される。なおＣＡＮを介して接続する構成であってもよい。また自動運転コントローラ２０とＨＭＩコントローラ１０を統合して１つのコントローラとする構成も可能である。   The automatic driving controller 20 and the HMI controller 10 are directly connected by a signal line. The configuration may be such that the connection is made via a CAN. It is also possible to integrate the automatic driving controller 20 and the HMI controller 10 into one controller.

図２は、図１の検出部４０、自動運転コントローラ２０、ＨＭＩコントローラ１０、表示部３１、及び入力部３２の基本シーケンスの一例を示す図である。検出部４０は、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１）。自動運転コントローラ２０は、検出部４０から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をＨＭＩコントローラ１０に出力する（Ｐ２）。ＨＭＩコントローラ１０は、自動運転コントローラ２０から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する（Ｐ３）。ＨＭＩコントローラ１０は、生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ４）。   FIG. 2 is a diagram showing an example of a basic sequence of the detection unit 40, the automatic driving controller 20, the HMI controller 10, the display unit 31, and the input unit 32 of FIG. The detection unit 40 detects the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information and outputs them to the automatic driving controller 20 (P1). The automatic driving controller 20 outputs the own vehicle position information, the own vehicle traveling road information, and the own vehicle peripheral information acquired from the detection unit 40 to the HMI controller 10 (P2). The HMI controller 10 generates a schematic diagram including the own vehicle and the surrounding situation of the own vehicle based on the information acquired from the automatic driving controller 20 (P3). The HMI controller 10 outputs the generated schematic diagram to the display device 30 and displays it on the display unit 31 (P4).

表示部３１に表示された模式図を見たユーザは、入力部３２に接触する（Ｐ５）。表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ６）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとにコマンドの種別を判定する（Ｐ７）。ＨＭＩコントローラ１０は、一定時間が経過するまでは、追加入力の受け付けを行う（Ｐ８〜Ｐ１２）。ＨＭＩコントローラ１０はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する（Ｐ８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ９）。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置３０に出力し、表示部３１に表示させる。   The user who sees the schematic diagram displayed on the display unit 31 contacts the input unit 32 (P5). The display unit 31 outputs the coordinate data in which the contact is detected to the HMI controller 10 (P6). The HMI controller 10 determines the command type based on the coordinate data acquired from the display device 30 (P7). The HMI controller 10 accepts additional input until a certain period of time elapses (P8 to P12). After determining the command, the HMI controller 10 regenerates a schematic diagram indicating that the command is being instructed (P8). The HMI controller 10 outputs the regenerated schematic diagram to the display device 30 and displays it on the display unit 31 (P9). If there is no command corresponding to the gesture operation by the contact of the user, a schematic diagram including an error message is generated, output to the display device 30, and displayed on the display unit 31.

コマンドの指示中であることを示す模式図を見たユーザが、入力部３２に接触すると（Ｐ１０）、表示部３１は、接触を検出した座標データをＨＭＩコントローラ１０に出力する（Ｐ１１）。ＨＭＩコントローラ１０は、表示装置３０から取得した座標データをもとに追加コマンド処理を実行する（Ｐ１２）。ＨＭＩコントローラ１０は、追加コマンド処理（Ｐ１２）で新たなコマンドの入力がなかった場合は、Ｐ７で判定したコマンドを自動運転コントローラ２０に発行する（Ｐ１３、Ｐ１４）。追加コマンド処理（Ｐ１２）で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ２０に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ２０で行ってもよく、その場合、ＨＭＩコントローラ１０は、Ｐ７、Ｐ１２におけるコマンド判定処理後に自動運転コントローラ２０へコマンドの送信を行い、自動運転コントローラ２０内部の状態に応じて上書き・キャンセル処理を行う。   When the user, who has seen the schematic diagram indicating that the command is being instructed, touches the input unit 32 (P10), the display unit 31 outputs the coordinate data in which the contact is detected to the HMI controller 10 (P11). The HMI controller 10 executes additional command processing based on the coordinate data acquired from the display device 30 (P12). When there is no new command input in the additional command processing (P12), the HMI controller 10 issues the command determined in P7 to the automatic driving controller 20 (P13, P14). When a new command is input in the additional command process (P12), the new command is issued to the automatic driving controller 20. If the newly input command is the cancel command, the command issuance is canceled. The original command overwrite / cancel processing by a new command may be performed by the automatic driving controller 20, and in that case, the HMI controller 10 transmits the command to the automatic driving controller 20 after the command determination processing in P7 and P12. The overwrite / cancel processing is performed according to the internal state of the automatic driving controller 20.

検出部４０は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ２０に出力する（Ｐ１５）。自動運転コントローラ２０は当該情報をもとに、ＨＭＩコントローラ１０から発行されたコマンドにより指示された制御が実行可能であるか否か判定する（Ｐ１６）。実行可能である場合、自動運転コントローラ２０は制御開始通知をＨＭＩコントローラ１０に出力する（Ｐ１７）。ＨＭＩコントローラ１０は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する（Ｐ１８）。ＨＭＩコントローラ１０は、再生成した模式図を表示装置３０に出力し、表示部３１に表示させる（Ｐ１９）。図示しないが、自動運転コントローラ２０が、検出部４０や各種ＥＣＵから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するための車両１の進行方向等の自動制御対象となる運転操作部５０を制御する具体的な制御値を算出し、各制御対象のＥＣＵ又はコントローラに伝達する。運転操作部５０は具体的な制御値に基づき動作する。運転操作部５０は、所定の制御値または検出部４０の検出データが所定値（範囲）になり、自動運転コントローラ２０が、発行されたコマンドの条件に満たしたと判断したら、コマンド実行完了と判断する。   The detection unit 40 periodically detects the own vehicle position information, the own vehicle traveling road information, and the own vehicle peripheral information and outputs them to the automatic driving controller 20 (P15). Based on this information, the automatic driving controller 20 determines whether the control instructed by the command issued from the HMI controller 10 can be executed (P16). When it is executable, the automatic driving controller 20 outputs a control start notification to the HMI controller 10 (P17). Upon receiving the control start notification, the HMI controller 10 regenerates a schematic diagram including a message indicating that control is in progress (P18). The HMI controller 10 outputs the regenerated schematic diagram to the display device 30 and displays it on the display unit 31 (P19). Although not shown, the automatic driving controller 20 applies various parameter values collected from the detection unit 40 and various ECUs to an automatic driving algorithm to automatically control the traveling direction of the vehicle 1 for executing the issued command. A specific control value for controlling the driving operation unit 50 is calculated and transmitted to each controlled ECU or controller. The driving operation unit 50 operates based on a specific control value. When the driving control unit 50 determines that the predetermined control value or the detection data of the detection unit 40 becomes the predetermined value (range) and the automatic driving controller 20 determines that the condition of the issued command is satisfied, it is determined that the command execution is completed. .

ＨＭＩコントローラ１０は、自動運転コントローラ２０から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置３０に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置３０に出力する。   Upon receiving the control completion notification from the automatic driving controller 20, the HMI controller 10 generates a schematic diagram including a message indicating that the control is completed and outputs the schematic diagram to the display device 30. In addition, during the period in which the operation is not accepted from the user, a schematic diagram including a message indicating that the operation is not accepted is generated and output to the display device 30.

図３は、図１のＨＭＩコントローラ１０の処理を説明するための基本フローチャートの一例を示す図である。ＨＭＩコントローラ１０の判定部１１は、運転モードが自動運転モードか手動運転モードであるかをチェックする（Ｓ１）。手動運転モードの場合（Ｓ２のＮ）、処理を終了する。自動運転モードの場合（Ｓ２のＹ）、以下のように処理される。   FIG. 3 is a diagram showing an example of a basic flowchart for explaining the processing of the HMI controller 10 of FIG. The determination unit 11 of the HMI controller 10 checks whether the operation mode is the automatic operation mode or the manual operation mode (S1). In the case of the manual operation mode (N of S2), the process ends. In the case of the automatic operation mode (Y of S2), the processing is performed as follows.

検出部４０から自動運転コントローラ２０に入力されるセンサ情報は随時更新されている（Ｓ３）。ＨＭＩコントローラ１０の生成部１２は、自動運転コントローラ２０から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部３１に描画する（Ｓ４）。判定部１１は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする（Ｓ５）。受付不可モードである場合（Ｓ６のＮ）、処理を終了する。受付可モードである場合（Ｓ６のＹ）、判定部１１は入力部３２に対するユーザによる接触があるか否か判定する（Ｓ７）。接触がない場合（Ｓ８のＮ）、後述する一定時間経過判定処理（Ｓ１２）を実行する。接触がある場合（Ｓ８のＹ）、判定部１１は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する（Ｓ９）。この決定処理の詳細は後述する。   The sensor information input from the detection unit 40 to the automatic driving controller 20 is updated at any time (S3). The generation unit 12 of the HMI controller 10 generates a schematic diagram including the host vehicle and the surrounding conditions of the host vehicle based on the host vehicle position information, the host vehicle traveling road information, and the host vehicle surrounding information input from the automatic driving controller 20. Then, the generated schematic diagram is drawn on the display unit 31 (S4). The determination unit 11 checks whether the acceptance mode is the acceptance mode in which the user operation can be accepted or the acceptance mode in which the user operation cannot be accepted (S5). If the mode is not acceptable (N in S6), the process ends. In the acceptable mode (Y of S6), the determination unit 11 determines whether or not the user has touched the input unit 32 (S7). When there is no contact (N of S8), a fixed time lapse determination process (S12) described later is executed. When there is a contact (Y in S8), the determination unit 11 determines the control command according to the gesture operation input by the user (S9). The details of this determination processing will be described later.

ステップＳ９で決定された制御コマンドがキャンセルコマンドでない場合（Ｓ１０のＮ）、生成部１２は表示部３１にコマンド指示中を表示する（Ｓ１１）。制御コマンドが決定されてから一定時間経過すると（Ｓ１２のＹ）、ステップＳ９で決定された制御コマンドがある場合（Ｓ１３のＹ）、表示部３１に操作受付不可を表示し（Ｓ１４）、判定部１１は受付モードを受付可モードから受付不可モードに更新し（Ｓ１５）、指示部１３は、決定された制御コマンドを自動運転コントローラ２０に出力する（Ｓ１６）。一定時間が経過するまでは（Ｓ１２のＮ）、ステップＳ３に遷移する。   When the control command determined in step S9 is not a cancel command (N in S10), the generation unit 12 displays on the display unit 31 that the command is instructed (S11). When a certain period of time has passed since the control command was determined (Y in S12), if there is a control command determined in step S9 (Y in S13), the operation acceptance is displayed on the display unit 31 (S14), and the determination unit 11 updates the acceptance mode from the acceptance mode to the acceptance mode (S15), and the instruction unit 13 outputs the determined control command to the automatic driving controller 20 (S16). Until a certain period of time has passed (N in S12), the process proceeds to step S3.

ステップＳ１０において、決定された制御コマンドがキャンセルコマンドである場合（Ｓ１０のＹ）、キャンセルを表示し（Ｓ１１０）、処理を終了する。ステップＳ１３において、ステップＳ９で決定された制御コマンドがない場合、入力エラーを表示し（Ｓ１１１）、処理を終了する。自動運転コントローラ２０は、検出部４０から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ２０に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ２０により制御コマンドが実行可能と判断された場合（Ｓ１７のＹ）、生成部１２は表示部３１に制御中であることを表示し（Ｓ１８）、タイマを発動してカウントを開始する（Ｓ１９）。自動運転コントローラ２０により制御不能と判断された場合（Ｓ１７のＮ）、生成部１２は表示部３１に制御不能エラーを表示する（Ｓ１１２）。   When the determined control command is the cancel command in step S10 (Y in S10), cancel is displayed (S110), and the process ends. In step S13, if there is no control command determined in step S9, an input error is displayed (S111), and the process ends. The automatic driving controller 20 regularly detects the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information from the detection unit 40. Since the peripheral condition changes from moment to moment, it may be determined that the control command cannot be executed after the control command is output to the automatic driving controller 20. For example, this is the case when another vehicle cuts in between the own vehicle and another vehicle after the follow-up instruction. When the automatic operation controller 20 determines that the control command can be executed (Y in S17), the generation unit 12 displays on the display unit 31 that the control is in progress (S18), activates the timer, and starts counting. (S19). When the automatic operation controller 20 determines that the control is impossible (N in S17), the generation unit 12 displays the control impossible error on the display unit 31 (S112).

図４は、受付モードの更新処理を説明するためのフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タイマのカウント値が設定値（例えば、１０秒）に到達すると（Ｓ１１３のＹ）、受付モードを受付不可モードから受付可モードに更新する（Ｓ１１４）。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部１１は、自動運転コントローラ２０から制御完了を示す通知を受信するか、車両１の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。   FIG. 4 is a flowchart for explaining the reception mode update process. When the count value of the timer reaches the set value (for example, 10 seconds) (Y of S113), the determination unit 11 of the HMI controller 10 updates the acceptance mode from the acceptance mode to the acceptance mode (S114). The count value of the timer may be changed according to the surrounding situation of the vehicle. In addition, when the determination unit 11 receives a notification indicating the completion of the control from the automatic driving controller 20 or determines from the behavior of the vehicle 1 that the control according to the control command is completed, the determination unit 11 can accept the reception mode from the non-reception mode. You may update to mode.

図５は、図３のステップＳ９において運転者からジェスチャ操作が入力される場合の決定処理の一例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、接触開始位置に自車マークが存在するか否か判定する（Ｓ９ａ）。自車マークが存在しない場合（Ｓ９ａのＮ）、判定部１１は、自車マークを起点とするジェスチャ操作に係る制御コマンド以外の制御コマンドと判定する（Ｓ９ｂ）。自車マークが存在する場合（Ｓ９ａのＹ）、判定部１１は、自車マークが接触された時点のセンサ情報に基づき、自動運転コントローラ２０から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に、自動運転可能な操作を特定する（Ｓ９ｃ）。例えば、同一進行方向に複数車線がある場合は車線変更操作が可能である。また追越車線がある場合は追越操作が可能である。また自車の前方に他車が存在する場合は追従走行の操作が可能である。なお同一進行方向に複数車線がある場合でも、他車が存在する他の車線であり当該他車が自車の近傍に位置する場合、その車線への車線変更操作およびその車線を使用した追越操作は、当該他車との距離が離れるまで不可能な操作となる。   FIG. 5 is a flowchart showing an example of a determination process when the driver inputs a gesture operation in step S9 of FIG. The determination unit 11 of the HMI controller 10 determines whether or not the vehicle mark is present at the contact start position (S9a). When the own vehicle mark does not exist (N of S9a), the determination part 11 determines that it is a control command other than the control command related to the gesture operation starting from the own vehicle mark (S9b). When the own vehicle mark is present (Y in S9a), the determination unit 11 is based on the sensor information at the time when the own vehicle mark is contacted, the own vehicle position information and the own vehicle traveling road information input from the automatic driving controller 20. , And the operation capable of automatic driving based on the vehicle surroundings information (S9c). For example, when there are multiple lanes in the same traveling direction, the lane change operation can be performed. If there is an overtaking lane, overtaking operation is possible. Further, when another vehicle is present in front of the own vehicle, the following traveling operation can be performed. Even if there are multiple lanes in the same traveling direction, if another lane is in the other lane and the other vehicle is located in the vicinity of the own vehicle, lane change operation to that lane and overtaking using that lane The operation is impossible until the distance from the other vehicle is increased.

生成部１２は、自動運転可能な操作に対応するドロップ可能エリアを模式図内に描画し、表示部３１に表示させる（Ｓ９ｄ）。判定部１１は、入力部３２で発生したタッチイベントを受信し（Ｓ９ｅ）、タッチイベントの種別を判定する（Ｓ９ｆ）。タッチイベントの種別が移動であった場合（Ｓ９ｆの移動）、生成部１２は車両１の予測軌道／ルートの候補を模式図内に描画し、表示部３１に表示させる（Ｓ９ｇ）。タッチイベントの種別が接触終了であった場合（Ｓ９ｆの接触終了）、判定部１１は、接触終了位置がドロップ可能エリア内であるか否か判定する（Ｓ９ｈ）。ドロップ可能エリア内である場合（Ｓ９ｈのＹ）、判定部１１は、自車マークがドロップされたエリアに応じた制御コマンドと判定する（Ｓ９ｉ）。ドロップ可能エリア外である場合（Ｓ９ｈのＮ）、生成部１２は表示部３１にエラーメッセージを表示させる（Ｓ９ｊ）。   The generation unit 12 draws a droppable area corresponding to an operation capable of automatic driving in the schematic diagram and displays it on the display unit 31 (S9d). The determination unit 11 receives the touch event generated by the input unit 32 (S9e) and determines the type of the touch event (S9f). When the type of the touch event is movement (movement in S9f), the generation unit 12 draws a candidate for the predicted trajectory / route of the vehicle 1 in the schematic diagram and displays it on the display unit 31 (S9g). When the type of touch event is contact end (contact end in S9f), the determination unit 11 determines whether or not the contact end position is within the drop possible area (S9h). If it is within the droppable area (Y in S9h), the determination unit 11 determines that the control mark is a control command corresponding to the area where the vehicle mark is dropped (S9i). When it is outside the droppable area (N in S9h), the generation unit 12 causes the display unit 31 to display an error message (S9j).

以下、ドロップ可能エリアの表示方法の具体例を説明する。以下の例では表示部３１及び入力部３２が一体化したタッチパネルディスプレイを使用することを想定する。   Hereinafter, a specific example of the display method of the droppable area will be described. In the following example, it is assumed that a touch panel display in which the display unit 31 and the input unit 32 are integrated is used.

図６は、ジェスチャ操作によりコマンドを発行する第１処理例を示すフローチャートである。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ６０）。タッチイベント（ＤＯＷＮ）は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ６１）。表示エリアの外である場合（Ｓ６１のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。   FIG. 6 is a flowchart showing a first processing example of issuing a command by a gesture operation. The determination unit 11 of the HMI controller 10 receives the touch event (DOWN) from the touch panel (S60). The touch event (DOWN) is an event that represents a change from a non-contact state to a contact state with a finger or a pen on the touch panel. The determination unit 11 determines whether the coordinates at which the touch event (DOWN) is detected are inside the display area of the vehicle icon (S61). If it is outside the display area (N in S61), it is determined that the gesture operation is not started from the own vehicle icon, and the process ends.

表示エリアの内部である場合（Ｓ６１のＹ）、判定部１１は自動運転コントローラ２０から取得される自車および周辺の情報を基に自動運転可能な操作を特定し、当該操作に対応する領域を探索する（Ｓ６２）。生成部１２は、探索された領域をドロップ可能エリアとして、当該領域にエフェクト及び／又は追加情報を表示する（Ｓ６３）。判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ６４）。タッチイベント（ＵＰ）は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。   When it is inside the display area (Y in S61), the determination unit 11 identifies an operation that can be automatically driven based on the information about the vehicle and the surroundings acquired from the automatic driving controller 20, and selects the area corresponding to the operation. Search (S62). The generation unit 12 sets the searched area as a droppable area and displays an effect and / or additional information in the area (S63). The determination unit 11 receives a touch event (UP) from the touch panel (S64). The touch event (UP) is an event that represents a change from a contact state with a finger or a pen on the touch panel to a non-contact state.

判定部１１は、タッチイベント（ＵＰ）が検出された座標がドロップ可能エリアの内部であるか否か判定する（Ｓ６５）。ドロップ可能エリアの内部である場合（Ｓ６５のＹ）、指示部１３はタッチイベント（ＵＰ）が検出された座標に応じたコマンドを自動運転コントローラ２０に発行する（Ｓ６６）。生成部１２は、模式図内のエフェクト及び／又は追加情報を消去する（Ｓ６７）。タッチイベント（ＵＰ）が検出された座標がドロップ可能エリアの外である場合（Ｓ６５のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。   The determination unit 11 determines whether the coordinates at which the touch event (UP) is detected are inside the droppable area (S65). When it is inside the droppable area (Y of S65), the instruction unit 13 issues a command according to the coordinates at which the touch event (UP) is detected to the automatic driving controller 20 (S66). The generation unit 12 erases the effect and / or the additional information in the schematic diagram (S67). If the coordinates at which the touch event (UP) is detected are outside the droppable area (N of S65), it is determined that the gesture operation is not based on the vehicle icon, and the process ends.

図７（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の一例を示す図である。図７（ａ）に示す模式図には自車アイコンＶ１、及び自車の周辺状況（交差点を含む）が表示されている。なお自車、及び周辺状況の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なＣＧ画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。   7A and 7B are diagrams showing an example of the gesture operation according to the flowchart of FIG. In the schematic diagram shown in FIG. 7A, the own vehicle icon V1 and the surrounding situation of the own vehicle (including an intersection) are displayed. Various display forms are possible for the display form of the own vehicle and the surrounding situation. A live-action image may be used, or a fine CG image or an animation image may be used. The display of the own vehicle is not limited to the icon, and may be displayed with simpler marks or characters, or may be displayed as a live-action image. That is, the object may be displayed on the screen in any display form.

運転者が図７（ａ）に示すように自車アイコンＶ１にタッチすると、図７（ｂ）に示すように自車アイコンＶ１をドロップ可能なエリアが強調表示される。図７（ｂ）において自車アイコンＶ１をドロップ可能なエリアは、直進専用レーンエリアＤ１、右折専用レーンエリアＤ２、左折後の車線エリアＤ３、右折後の車線エリアＤ４、及び交差点直進通過後の車線エリアＤ５の５箇所である。   When the driver touches the vehicle icon V1 as shown in FIG. 7A, the area where the vehicle icon V1 can be dropped is highlighted as shown in FIG. 7B. In FIG. 7B, the area where the vehicle icon V1 can be dropped is a straight-lane-only lane area D1, a right-turn-only lane area D2, a lane area D3 after a left turn, a lane area D4 after a right-turn, and a lane after passing an intersection straight. There are five locations in area D5.

運転者が自車アイコンＶ１を直進専用レーンエリアＤ１にドロップした場合、直進専用レーンへの車線変更指示コマンドが発行される。運転者が自車アイコンＶ１を右折専用レーンエリアＤ２にドロップした場合、右折専用レーンへの車線変更指示コマンドと右折指示コマンドが発行される。運転者が自車アイコンＶ１を左折後の車線エリアＤ３にドロップした場合、左折指示コマンドが発行される。運転者が自車アイコンＶ１を右折後の車線エリアＤ４にドロップした場合、右折専用レーンへの車線変更指示コマンドと右折指示コマンドが発行される。運転者が自車アイコンＶ１を交差点直進通過後の車線エリアＤ５にドロップした場合、交差点直進通過指示コマンドが発行される。   When the driver drops the vehicle icon V1 in the straight-ahead lane area D1, a lane change instruction command to the straight-ahead lane is issued. When the driver drops the vehicle icon V1 in the right turn dedicated lane area D2, a lane change instruction command and a right turn instruction command for the right turn dedicated lane are issued. When the driver drops the vehicle icon V1 in the lane area D3 after the left turn, the left turn instruction command is issued. When the driver drops the vehicle icon V1 in the lane area D4 after the right turn, the lane change instruction command and the right turn instruction command to the right turn dedicated lane are issued. When the driver drops the vehicle icon V1 in the lane area D5 after passing the intersection straight ahead, the intersection straight ahead passing instruction command is issued.

図８（ａ）−（ｂ）は、図６のフローチャートに係るジェスチャ操作の別の例を示す図である。運転者が図８（ａ）に示すように自車アイコンＶ１にタッチすると、図８（ｂ）に示すように自車アイコンＶ１をドロップ可能なエリアが強調表示される。図８（ｂ）において自車アイコンＶ１をドロップ可能なエリアは、右車線への車線変更を指示するためのエリアＤ６、先行車の追越を指示するためのエリアＤ７、先行車に追従走行することを指示するためのエリアＤ８の３箇所である。それぞれのエリアＤ６〜Ｄ８には、操作内容を運転者に直感的に認識させるためのアイコンが表示されている。なお、操作内容を表すものは、アイコンの他に文字や矢印であってもよい。   8A and 8B are diagrams showing another example of the gesture operation according to the flowchart of FIG. When the driver touches the vehicle icon V1 as shown in FIG. 8A, the area where the vehicle icon V1 can be dropped is highlighted as shown in FIG. 8B. In FIG. 8B, the area in which the vehicle icon V1 can be dropped is an area D6 for instructing a lane change to the right lane, an area D7 for instructing an overtaking of a preceding vehicle, and a vehicle that follows the preceding vehicle. There are three locations in area D8 for instructing that. In each of the areas D6 to D8, an icon for allowing the driver to intuitively recognize the operation content is displayed. Note that the operation content may be characters or arrows other than the icon.

運転者が自車アイコンＶ１をエリアＤ６にドロップした場合、右車線への車線変更指示コマンドが発行される。運転者が自車アイコンＶ１をエリアＤ７にドロップした場合、追越指示コマンドが発行される。運転者が自車アイコンＶ１をエリアＤ８にドロップした場合、先行車への追従指示コマンドが発行される。   When the driver drops the vehicle icon V1 in the area D6, a lane change instruction command to the right lane is issued. When the driver drops the vehicle icon V1 in the area D7, the overtaking instruction command is issued. When the driver drops the vehicle icon V1 in the area D8, a follow-up instruction command to the preceding vehicle is issued.

図９は、ジェスチャ操作によりコマンドを発行する第２処理例を示すフローチャートである。第２処理例はフリック入力を使用する例である。ＨＭＩコントローラ１０の判定部１１は、タッチパネルからタッチイベント（ＤＯＷＮ）を受信する（Ｓ６７）。判定部１１は、タッチイベント（ＤＯＷＮ）が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する（Ｓ６８）。表示エリアの外である場合（Ｓ６８のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。   FIG. 9 is a flowchart showing a second processing example of issuing a command by a gesture operation. The second processing example is an example using flick input. The determination unit 11 of the HMI controller 10 receives the touch event (DOWN) from the touch panel (S67). The determination unit 11 determines whether the coordinates at which the touch event (DOWN) is detected are inside the display area of the vehicle icon (S68). If it is outside the display area (N of S68), it is determined that it is not the gesture operation starting from the own vehicle icon, and the process ends.

表示エリアの内部である場合（Ｓ６８のＹ）、判定部１１は自車の進行方向に走行可能なレーンが複数あるか否か判定する（Ｓ６９）。複数のレーンがある場合（Ｓ６９のＹ）、生成部１２は自車アイコンの左および／または右に、走行可能なレーンへのレーン変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ６１０）。複数のレーンがない場合（Ｓ６９のＮ）、ステップＳ６１０の処理をスキップする。   When it is inside the display area (Y in S68), the determination unit 11 determines whether or not there are a plurality of lanes that can be traveled in the traveling direction of the vehicle (S69). When there are a plurality of lanes (Y of S69), the generation unit 12 generates a drop area for instructing to change lanes to the left and / or right of the own vehicle icon and displaying the drop area on the touch panel (S610). ). When there are no plural lanes (N of S69), the process of step S610 is skipped.

判定部１１は、進行方向の一定距離内に交差点があるか否か判定する（Ｓ６１１）。交差点がある場合（Ｓ６１１のＹ）、生成部１２は自車アイコン若しくはレーン変更指示用のドロップエリアの左および／または右に、交差点で進路変更が可能な方向の進路変更指示用のドロップエリアを生成し、タッチパネルに表示させる（Ｓ６１２）。交差点がない場合（Ｓ６１１のＮ）、ステップＳ６１２の処理をスキップする。   The determination unit 11 determines whether or not there is an intersection within a certain distance in the traveling direction (S611). When there is an intersection (Y in S611), the generation unit 12 sets the drop area for the route change instruction in the direction in which the route can be changed at the intersection to the left and / or the right of the drop area for the vehicle lane change instruction. It is generated and displayed on the touch panel (S612). When there is no intersection (N in S611), the process of step S612 is skipped.

判定部１１はタッチパネルからタッチイベント（ＵＰ）を受信する（Ｓ６１３）。判定部１１は、タッチイベント（ＵＰ）が検出された座標がドロップエリア内であるか否か判定する（Ｓ６１４）。ドロップエリア内でない場合（Ｓ６１４のＮ）、自車アイコンを起点としたジェスチャ操作でないと判定して処理を終了する。タッチイベント（ＵＰ）が検出された座標が車線変更指示用のドロップエリア内である場合（Ｓ６１４の車線変更指示用ドロップエリア）、指示部１３は車線変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ６１５）。タッチイベント（ＵＰ）が検出された座標が進路変更指示用のドロップエリア内である場合（Ｓ６１４の進路変更指示用ドロップエリア）、指示部１３は進路変更指示コマンドを自動運転コントローラ２０に発行する（Ｓ６１６）。   The determination unit 11 receives a touch event (UP) from the touch panel (S613). The determination unit 11 determines whether the coordinates at which the touch event (UP) is detected are within the drop area (S614). When it is not within the drop area (N in S614), it is determined that the gesture operation is not started from the own vehicle icon, and the process ends. When the coordinate at which the touch event (UP) is detected is within the lane change instruction drop area (lane change instruction drop area in S614), the instruction unit 13 issues a lane change instruction command to the automatic driving controller 20 ( S615). When the coordinates at which the touch event (UP) is detected are within the drop area for the route change instruction (the route change instruction drop area in S614), the instruction unit 13 issues a route change instruction command to the automatic driving controller 20 ( S616).

図１０（ａ）−（ｄ）は、図９のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が第１レーンＬ１から第２レーンＬ２に車線変更したい場合、図１０（ａ）に示すように第１レーンＬ１上の自車アイコンＶ１にタッチする。自車アイコンＶ１がタッチされると、図１０（ｂ）に示すように第２レーンＬ２への車線変更指示用のドロップアイコンＡ１が表示される。運転者がこのドロップアイコンＡ１にフリックすると、第２レーンＬ２への車線変更指示コマンドが発行される。   10A to 10D are diagrams showing an example of the gesture operation according to the flowchart of FIG. When the driver wants to change lanes from the first lane L1 to the second lane L2, he / she touches the vehicle icon V1 on the first lane L1 as shown in FIG. When the vehicle icon V1 is touched, a drop icon A1 for instructing the lane change to the second lane L2 is displayed as shown in FIG. 10 (b). When the driver flicks to the drop icon A1, a lane change instruction command for the second lane L2 is issued.

図１０（ｃ）に示すように前方に交差点がある場合において運転者が自車アイコンＶ１にタッチすると、図１０（ｄ）に示すように右側レーンへの車線変更指示用のドロップアイコンＡ１、左側レーンへの車線変更指示用のドロップアイコンＡ２、右折指示用のドロップアイコンＡ３、及び左折指示用のドロップアイコンＡ４が表示される。運転者が、いずれかのドロップアイコンにフリックすることにより、対応するコマンドが発行される。   When the driver touches the vehicle icon V1 in the case where there is an intersection ahead as shown in FIG. 10C, a drop icon A1 for lane change instruction to the right lane as shown in FIG. A drop icon A2 for lane change instruction, a drop icon A3 for right turn instruction, and a drop icon A4 for left turn instruction are displayed. When the driver flicks to one of the drop icons, the corresponding command is issued.

以上の例において、自車アイコンをドラッグしてからドロップするまでの間、生成部１２は元の画像（移動前の自車アイコン）を模式図内に残し、ドロップされた時点で元の画像を消してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は点線でドラッグの軌道を模式図内に描画してもよい。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は道路の色を反転させ、ドロップされた時点で元の色に戻してもよい。   In the above example, the generation unit 12 leaves the original image (the vehicle icon before the movement) in the schematic diagram from the time when the vehicle icon is dragged to the time when the vehicle image is dropped. You may erase it. Further, the generation unit 12 may draw a drag trajectory in the schematic diagram with a dotted line from the time when the vehicle icon is dragged to the time when the vehicle icon is dropped. Further, the generation unit 12 may invert the color of the road between the time of dragging the vehicle icon and the time of dropping the same, and restore the original color at the time of dropping.

また自車アイコンをドラッグしてからドロップするまでの間、生成部１２はドロップ不可エリア（反対車線など）があったり、操作（車線変更など）が不可なとき、自車アイコンの色を変更（反転、薄くなど）してもよい。ドロップされた時点で、元の自車位置に自車アイコンを戻し、「操作不可」などのエラーメッセージを表示してもよい。操作不可な場合の例として、後続車の接近、車線変更禁止エリア、制限速度オーバー等がある。   In addition, when the own vehicle icon is dragged and dropped, the generation unit 12 changes the color of the own vehicle icon when there is a drop-disabled area (an opposite lane, etc.) or an operation (lane change, etc.) is impossible ( Inversion, thinning, etc.) When the vehicle is dropped, the vehicle icon may be returned to the original vehicle position and an error message such as "operation not possible" may be displayed. Examples of cases in which the operation is not possible include an approaching vehicle, a lane change prohibited area, a speed limit over, and the like.

また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、操作が不可なとき、道路など背景の色を変更（反転、薄くなど）してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、ドロップ不可エリアの色を変更する。また自車アイコンをドラッグしてからドロップするまでの間、生成部１２は、ドロップ不可エリアがあったり、操作が不可なとき、エラー音や、振動を通知する。   In addition, during the period from dragging the vehicle icon to dropping the icon, the generation unit 12 may change (invert, lighten, etc.) the color of the background such as the road when the operation is impossible. When it becomes possible to operate, the original color is restored. In addition, the generation unit 12 changes the color of the non-drop area during the period from dragging the vehicle icon to dropping the icon. In addition, during the period from dragging the vehicle icon to dropping the icon, the generation unit 12 notifies an error sound or vibration when there is a drop-disabled area or operation is not possible.

また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は自車アイコンの色を変更してもよい。またドラッグ操作（自車アイコンの移動）をできない状態にしてもよい。また「操作不可」などのエラーメッセージを表示してもよい。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は、道路など背景の色を変更してもよい。操作が可能な状況になれば、元の色に戻す。また自車アイコンのドラッグを開始したとき操作開始が不可の場合、生成部１２は、ドラッグ操作（自車アイコンの移動）ができない状態で、エラー音や、振動を通知する。   If the operation cannot be started when the dragging of the vehicle icon is started, the generation unit 12 may change the color of the vehicle icon. Alternatively, the drag operation (movement of the own vehicle icon) may be disabled. Also, an error message such as "operation not possible" may be displayed. If the operation cannot be started when the dragging of the vehicle icon is started, the generation unit 12 may change the color of the background such as the road. When it becomes possible to operate, the original color is restored. If the operation cannot be started when the dragging of the vehicle icon is started, the generation unit 12 notifies an error sound or a vibration in a state where the drag operation (moving the vehicle icon) cannot be performed.

自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、生成部１２は移動中の自車の状態をゴースト表示し、かつ自車の軌道を表示してもよい。また自車アイコンをドロップしてから自車が制御コマンドに応じた処理を完了するまでの間、生成部１２は自車アイコンの表示状態（点滅、色変更、サイズ、位置等）を変更してもよい。また自車アイコンをドロップしてから制御コマンドに応じた処理が完了するまでの間、判定部１１は、追加操作で次の指示をキューイング(現在の制御が完了後に行われる制御の予約)してもよい。自車アイコンをドラッグ中、または、ドロップ時、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、予想軌道を自動運転コントローラ２０から受け取り、表示部３１に描画するようにしてもよい。信号待ちであったり車線変更不可区間であったりして一時的に制御コマンドに応じた処理が不可の場合、生成部１２は、制御コマンドに応じた処理が成立するまで「トライ中」などの表示を行い、実行可能になったタイミングで予想軌道を描画するようにしてもよい。自車アイコンをドラッグ中、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、生成部１２はドロップしてから制御コマンドに応じた処理が成立するまでの予想所要時間や所要残時間を表示したりするようにしてもよい。一時的に制御コマンドに応じた処理が不可の場合、可能になるまで制御を続けるか、あきらめて制御を中止するか、あらかじめ設定できるようにしてもよい。あやまってドラッグ開始してしまったり、ドラッグ後に取り消し操作をしたいときのため、取り消し用のドロップ領域を設けてもよい。自車をドラッグ後、取り消し用のドロップ領域にドロップすることで、コマンドの発行を取りやめることができる。   The generation unit 12 may display the state of the moving vehicle as a ghost and display the trajectory of the vehicle until the processing corresponding to the control command is completed after the vehicle icon is dropped. In addition, the generation unit 12 changes the display state (blinking, color change, size, position, etc.) of the own vehicle icon until the own vehicle completes the processing according to the control command after the own vehicle icon is dropped. Good. In addition, from the time the vehicle icon is dropped until the processing corresponding to the control command is completed, the determination unit 11 queues the next instruction by an additional operation (reservation of control performed after completion of the current control). May be. While dragging the vehicle icon, at the time of dropping, or until the processing corresponding to the control command is established after dropping, the expected trajectory is received from the automatic driving controller 20 and drawn on the display unit 31. Good. When the process corresponding to the control command is temporarily impossible due to a signal waiting or a lane change impossible section, the generation unit 12 displays “trying” or the like until the process corresponding to the control command is established. The predicted trajectory may be drawn at the timing when it becomes feasible. While the vehicle icon is being dragged or dropped, until the processing according to the control command is established, the generation unit 12 expects the required time from the dropping to the processing according to the control command or the required time. The remaining time may be displayed. When the process corresponding to the control command is temporarily impossible, the control may be continued until it becomes possible, or the control may be stopped and the control may be set in advance. A drop area for cancellation may be provided in case the user accidentally starts dragging or wants to perform a cancel operation after dragging. You can cancel issuing the command by dragging your vehicle and dropping it in the drop area for cancellation.

以上説明したように本実施の形態によれば、運転者が自車アイコンにタッチした際、自車アイコンを選択可能な操作や移動可能な領域を、運転者が容易に認識可能な態様で表示することにより、より直感的な操作が可能になる。また、操作内容を選択したり、アイコンを移動可能領域に移動させたりすることにより、タッチパネルに表示されたアイコンをジェスチャで選択や移動させることにより、自動運転コントローラ２０に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング５１を回す、アクセルペダル５３を踏み込むなどの従来の運転操作から解放される。例えば、複数のレーンと自車アイコンを含む模式図を表示し、自車アイコンを他のレーンに移動させることにより、簡易に車両変更の指示ができる。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。   As described above, according to the present embodiment, when the driver touches the vehicle icon, an operation that allows the vehicle icon to be selected and a movable area are displayed in a manner that the driver can easily recognize. By doing so, more intuitive operation becomes possible. In addition, various operation contents are transmitted to the automatic driving controller 20 by selecting the operation content or moving the icon to the movable area to select or move the icon displayed on the touch panel by gesture. be able to. The gesture operation of the icon is a simple operation, and is released from the conventional driving operation such as the driver turning the steering wheel 51 and depressing the accelerator pedal 53. For example, by displaying a schematic diagram including a plurality of lanes and the own vehicle icon and moving the own vehicle icon to another lane, it is possible to easily give an instruction to change the vehicle. Since the driver can confirm the surrounding situation and perform the operation instruction on the touch panel at the same time, the line of sight does not move. Therefore, the possibility of erroneous operation is reduced, and safer driving can be realized.

なお、選択可能な操作と移動可能な領域を表示させるための操作と制御指示コマンドを発行するための操作は、上記以外の操作であってもよい。また、自車アイコンの選択可能な操作と移動可能な領域を表示させる例であったが、他車、歩行者、緊急車両、特定領域（レーン、路肩、交差点など）といったものを候補表示対象にしてもよい。その場合、自車が候補表示対象に対して実行可能な操作内容や候補表示対象までの移動可能な軌跡を表示してもよい。例えば、他車オブジェクトを長押しすると自車を追従させる／追越のメニューを表示し、路肩のどこかを長押しすると、縦列駐車か横列駐車の操作メニューや様々な駐車可能スペースや路肩に到達するための移動可能軌道を表示してもよい。また、ジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められたジェスチャや操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、ジェスチャ操作と制御コマンドの対応関係が分かるように、表示部３１で説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。   The selectable operation, the operation for displaying the movable area, and the operation for issuing the control instruction command may be operations other than the above. Also, although it is an example of displaying the selectable operation of the own vehicle icon and the movable area, other vehicles, pedestrians, emergency vehicles, specific areas (lanes, shoulders, intersections, etc.) are candidates for display. May be. In that case, the content of the operation that the vehicle can perform on the candidate display target and the trajectory that can be moved to the candidate display target may be displayed. For example, if you press and hold another vehicle object to display a menu to follow / overpass your vehicle, press and hold somewhere on the shoulder to reach the operation menu of parallel parking or horizontal parking and reach various parking spaces and shoulders. You may display the movable trajectories to do. Further, the gesture operation has been described by dragging and dropping, but it may be touching and touching. It may be a predetermined gesture or operation, but may be customizable by the driver. Further, in order to understand the correspondence between the gesture operation and the control command, the display unit 31 may display a descriptive text, an icon or an arrow, display a guide, or give a voice guidance.

以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described above based on the embodiment. It is understood by those skilled in the art that these embodiments are mere examples, and that various modifications can be made to the combinations of the respective constituent elements and the respective processing processes, and such modifications are also within the scope of the present invention. By the way.

例えば、ＨＭＩコントローラ１０は専用のＬＳＩで実装する例を想定したが、表示装置３０として使用するスマートフォンやタブレット等の携帯機器内のＣＰＵを用いてＨＭＩコントローラ１０の機能を実現してもよい。この場合、表示装置３０として使用する携帯機器と自動運転コントローラ２０とが直接接続されることになる。またＨＭＩコントローラ１０の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のＣＰＵで実現してもよい。またＨＭＩコントローラ１０を実装した専用のＬＳＩをヘッドユニット内に含める構成でもよい。   For example, although it is assumed that the HMI controller 10 is implemented by a dedicated LSI, the function of the HMI controller 10 may be realized by using a CPU in a mobile device such as a smartphone or a tablet used as the display device 30. In this case, the mobile device used as the display device 30 and the automatic driving controller 20 are directly connected. Further, the function of the HMI controller 10 may be realized by a CPU in a head unit such as a car navigation device or a display audio. Alternatively, a dedicated LSI in which the HMI controller 10 is mounted may be included in the head unit.

なお、実施の形態は、以下の項目によって特定されてもよい。   The embodiment may be specified by the following items.

［項目１］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援装置（１０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目２］
前記画像出力部（１４ａ）は、前記自車の進入が許容される車線を強調表示した画像を前記表示部（３１）に出力することを特徴とする項目１に記載の運転支援装置（１０）。
これにより、車線変更または進路変更を指示する操作を直感的かつ簡便に行うことができる。
［項目３］
前記画像出力部（１４ａ）は、前記自車の周辺状況に基づき当該自車が実行可能な少なくとも１つの操作候補を表す少なくとも１つの操作候補オブジェクトを含む画像を前記表示部（３１）に出力し、
前記表示部（３１）に表示された画像内の前記自車オブジェクトを当該画像内の特定の操作候補オブジェクトに移動させるユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記コマンド出力部（１４ｃ）は、前記特定の操作候補オブジェクトが表す操作を指示するコマンドを前記自動運転制御部（２０）に出力することを特徴とする項目１または２に記載の運転支援装置（１０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目４］
画像を表示する表示装置（３０）と、
前記表示装置（３０）に画像を出力する運転支援装置（１０）と、を備え、
前記運転支援装置（１０）は、
前記表示装置（３０）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示装置（３０）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するコマンド出力部（１４ｃ）と、を含み、
前記表示装置（３０）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示装置（３０）に出力することを特徴とする運転支援システム（１０、３０）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目５］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力するステップと、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付けるステップと、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力するステップと、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作を受け付けるステップが受け付けると、前記画像を出力するステップは、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援方法。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目６］
表示部（３１）に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する処理と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける処理と、
受け付けた操作に応じたコマンドを、自動運転の制御を行う自動運転制御部（２０）に出力する処理と、をコンピュータに実行させ、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作を受け付ける処理が受け付けると、前記画像を出力する処理は、選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする運転支援プログラム。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。
［項目７］
自車の周辺状況を検出する検出部（４０）と、
表示部（３１）に、前記自車を表す自車オブジェクトと前記自車の周辺状況を含む画像を出力する画像出力部（１４ａ）と、
前記表示部（３１）に表示された画像内の前記自車オブジェクトに対するユーザによる操作を受け付ける操作信号入力部（１４ｂ）と、
受け付けた操作に応じたコマンドを出力するコマンド出力部（１４ｃ）と、
前記出力されたコマンドを実行する自動運転制御部（２０）と、を備え、
前記表示部（３１）に表示された画像内の前記自車オブジェクトの座標を指示するユーザの操作を前記操作信号入力部（１４ｂ）が受け付けると、前記画像出力部（１４ａ）は、前記自車の周辺状況に基づいた選択可能な操作の候補または前記自車オブジェクトの移動可能領域を含む画像を前記表示部（３１）に出力することを特徴とする自動運転車両（１）。
これにより、ユーザが自動運転に関する操作を直感的かつ簡便に行うことができる。 [Item 1]
An image output unit (14a) that outputs an image including a vehicle object representing the vehicle and a surrounding situation of the vehicle to the display unit (31);
An operation signal input unit (14b) that receives a user's operation on the vehicle object in the image displayed on the display unit (31);
A command output unit (14c) for outputting a command corresponding to the received operation to an automatic driving control unit (20) that controls automatic driving;
When the operation signal input unit (14b) receives a user's operation for instructing the coordinates of the vehicle object in the image displayed on the display unit (31), the image output unit (14a) is selectable. A driving support device (10), which outputs an image including a candidate for operation or a movable area of the vehicle object to the display unit (31).
This allows the user to intuitively and easily perform an operation related to automatic driving.
[Item 2]
The driving support device (10) according to item 1, wherein the image output unit (14a) outputs an image in which a lane in which the vehicle is allowed to enter is highlighted to the display unit (31). .
This makes it possible to intuitively and easily perform an operation for instructing a lane change or a course change.
[Item 3]
The image output unit (14a) outputs, to the display unit (31), an image including at least one operation candidate object representing at least one operation candidate that can be executed by the own vehicle based on the surrounding situation of the own vehicle. ,
When the operation signal input unit (14b) receives an operation by the user to move the vehicle object in the image displayed on the display unit (31) to a specific operation candidate object in the image, the command output unit (14c) outputs the command instructing the operation represented by the specific operation candidate object to the automatic driving control section (20), The driving support device (10) according to item 1 or 2.
This allows the user to intuitively and easily perform an operation related to automatic driving.
[Item 4]
A display device (30) for displaying an image,
A driving assistance device (10) for outputting an image to the display device (30),
The driving support device (10),
An image output unit (14a) for outputting an image including a vehicle object representing the vehicle and a surrounding situation of the vehicle to the display device (30),
An operation signal input unit (14b) that receives an operation by the user on the vehicle object in the image displayed on the display device (30);
A command output unit (14c) that outputs a command according to the received operation to an automatic driving control unit (20) that controls automatic driving;
When the operation signal input unit (14b) receives an operation by the user that indicates the coordinates of the vehicle object in the image displayed on the display device (30), the image output unit (14a) can select. A driving support system (10, 30) characterized by outputting an image including a candidate for an operation or a movable area of the own vehicle object to the display device (30).
This allows the user to intuitively and easily perform an operation related to automatic driving.
[Item 5]
Outputting to the display unit (31) an image including the own vehicle object representing the own vehicle and the surrounding situation of the own vehicle;
Accepting a user's operation on the vehicle object in the image displayed on the display unit (31),
Outputting a command according to the accepted operation to an automatic driving control unit (20) that controls automatic driving,
When the step of accepting the operation of the user instructing the coordinates of the own-vehicle object in the image displayed on the display unit (31) receives the operation, the step of outputting the image is a candidate for a selectable operation or A driving support method comprising outputting an image including a movable area of the vehicle object to the display unit (31).
This allows the user to intuitively and easily perform an operation related to automatic driving.
[Item 6]
A process of outputting to the display unit (31) an image including the own vehicle object representing the own vehicle and the surrounding situation of the own vehicle;
A process of accepting a user's operation on the vehicle object in the image displayed on the display unit (31);
Causing the computer to execute a process of outputting a command corresponding to the received operation to the automatic driving control unit (20) for controlling the automatic driving,
When the process of accepting the operation of the user instructing the coordinates of the vehicle object in the image displayed on the display unit (31) is accepted, the process of outputting the image is a candidate for a selectable operation or A driving support program, which outputs an image including a movable area of the vehicle object to the display unit (31).
This allows the user to intuitively and easily perform an operation related to automatic driving.
[Item 7]
A detection unit (40) for detecting the surroundings of the vehicle,
An image output unit (14a) that outputs an image including the own vehicle object representing the own vehicle and the surrounding situation of the own vehicle to the display unit (31);
An operation signal input unit (14b) that receives a user's operation on the vehicle object in the image displayed on the display unit (31);
A command output unit (14c) for outputting a command according to the accepted operation,
An automatic driving control unit (20) for executing the output command,
When the operation signal input unit (14b) receives an operation of the user that indicates the coordinates of the own vehicle object in the image displayed on the display unit (31), the image output unit (14a) causes the image output unit (14a) to A self-driving vehicle (1), wherein an image including a selectable operation candidate or a movable area of the vehicle object is output to the display unit (31) based on the surrounding situation of the vehicle.
This allows the user to intuitively and easily perform an operation related to automatic driving.

１ 車両、 １０ ＨＭＩコントローラ、 １１ 判定部、 １２ 生成部、 １３ 指示部、 １４ 入出力部、 ２０ 自動運転コントローラ、 ２１ 制御部、 ２２ 記憶部、 ２３ 入出力部、 ３０ 表示装置、 ３１ 表示部、 ３２ 入力部、 ４０ 検出部、 ４１ 位置情報取得部、 ４２ センサ、 ４３ 速度情報取得部、 ４４ 地図情報取得部、 ５０ 運転操作部、 ５１ ステアリング、 ５２ ブレーキペダル、 ５３ アクセルペダル、 ５４ ウインカスイッチ。   1 vehicle, 10 HMI controller, 11 determination unit, 12 generation unit, 13 instruction unit, 14 input / output unit, 20 automatic operation controller, 21 control unit, 22 storage unit, 23 input / output unit, 30 display device, 31 display unit, 32 input section, 40 detection section, 41 position information acquisition section, 42 sensor, 43 speed information acquisition section, 44 map information acquisition section, 50 driving operation section, 51 steering wheel, 52 brake pedal, 53 accelerator pedal, 54 turn signal switch.

本発明は、自動運転モードを搭載した車両に利用可能である。   INDUSTRIAL APPLICABILITY The present invention can be used for vehicles equipped with an automatic driving mode.

Claims (8)

表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を備え、
前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力し、
前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される運転支援装置。 On the display unit, an image output unit that outputs image information including a vehicle object representing the vehicle and a non-vehicle object representing a predetermined target other than the vehicle,
When the reception mode is a reception possible mode in which an operation from the user can be received, an operation signal input unit that receives an operation signal by the user for the non-vehicle object in the image displayed on the display unit,
An automatic driving control command according to the received operation signal, a command output unit for outputting to an automatic driving control unit for controlling automatic driving,
When the operation signal input unit receives an operation signal of the user who comes into contact with the non-vehicle object in the image displayed on the display unit, the image output unit causes the image output unit to output the non-vehicle object when the non-vehicle object is touched. Output to the display unit in a selectable state image information including one or more operations that can be automatically driven from the own vehicle to the predetermined target or a movable locus from the own vehicle to the predetermined target ,
When the first time from when the operation signal is received has elapsed, the reception mode, from said Ready mode, modified Ru driving support apparatus and an operation from the user to not be accepted that not be accepted modes. さらに、前記受付モードが前記受付不可モードに変更されたタイミングから第２の時間が経過した場合、前記自動運転制御コマンドに応じた制御の完了を示す通知が前記自動運転制御部から受信された場合、または、前記自動運転制御コマンドに応じた制御が完了したことが前記自車の挙動に基づいて判断された場合、前記受付モードは、前記受付不可モードから前記受付可モードへ変更される、請求項１に記載の運転支援装置。Furthermore, when a second time has elapsed from the timing when the reception mode is changed to the non-reception mode, and when a notification indicating the completion of control according to the automatic operation control command is received from the automatic operation control unit. Or, when it is determined that the control according to the automatic driving control command is completed based on the behavior of the host vehicle, the reception mode is changed from the non-acceptable mode to the receivable mode. Item 1. The driving support device according to item 1. 前記所定の対象は他車であり、
前記表示部に表示された画像内の他車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、自車を追従させる／追越のメニューを表示した画像情報を前記表示部に出力する、
請求項１または２に記載の運転支援装置。 The predetermined target is another vehicle,
When the operation signal input unit receives the operation signal of the user who comes into contact with another vehicle object in the image displayed on the display unit, the image output unit displays the image of displaying the menu of following / passing the own vehicle. Output information to the display unit,
Driving support apparatus according to claim 1 or 2. 前記所定の対象は路肩であり、
前記表示部に表示された画像内の路肩に接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、縦列駐車か横列駐車の操作メニュー、様々な駐車可能スペース、又は路肩に到達するための移動可能軌道を表示した画像情報を前記表示部に出力する、
請求項１または２に記載の運転支援装置。 The predetermined object is a shoulder,
When the operation signal input unit receives an operation signal of the user touching the road shoulder in the image displayed on the display unit, the image output unit, the operation menu of parallel parking or horizontal parking, various parking available space, or Outputting image information displaying a movable trajectory for reaching the shoulder to the display unit,
Driving support apparatus according to claim 1 or 2. 画像を表示する表示装置と、
前記表示装置に画像情報を出力する運転支援装置と、を備え、
前記運転支援装置は、
前記表示装置に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示装置に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、を含み、
前記表示装置に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示装置に出力し、
前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される運転支援システム。 A display device for displaying an image,
A driving support device that outputs image information to the display device;
The driving support device,
An image output unit that outputs, to the display device, image information including a vehicle object representing the vehicle and a non-vehicle object representing a predetermined target other than the vehicle,
When the reception mode is a reception-enabled mode capable of receiving an operation from the user, an operation signal input unit that receives an operation signal by the user for the non-vehicle object in the image displayed on the display device,
An automatic driving control command according to the accepted operation signal, including a command output unit for outputting to an automatic driving control unit for controlling automatic driving,
When the operation signal input unit receives an operation signal of a user who comes into contact with the non-vehicle object in the image displayed on the display device, the image output unit causes the non-vehicle object to touch when the non-vehicle object is touched. Output to the display device in a selectable state image information containing one or more movable loci from the own vehicle to the predetermined target or an operation capable of automatic driving from the own vehicle to the predetermined target ,
When the first time from when the operation signal is received has elapsed, the reception mode, from said Ready mode, the driving support system that will be changed operation from the user to not be accepted that not be accepted modes. 表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力するステップと、
受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付けるステップと、
前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力するステップと、
前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を受け付けると、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力するステップと、
前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードを、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更するステップと、
を備える運転支援方法。 A step of outputting image information including a vehicle object representing the vehicle and a non-vehicle object representing a predetermined target other than the vehicle to the display unit;
When the reception mode is a reception possible mode in which an operation from a user can be received, a step of receiving a user operation signal for the non-vehicle object in the image displayed on the display unit,
A step of outputting an automatic driving control command according to the received operation signal to an automatic driving control unit that controls automatic driving ;
When an operation signal of the user accepted give in contact with the non-vehicle objects in an image in which the displayed on the display unit, to said predetermined target from the vehicle when the front Stories non vehicle object is touched A step of outputting to the display unit in a selectable state image information that includes one or more movable operations that can be performed automatically or from the own vehicle to the predetermined target .
Changing a reception mode from the acceptance mode to an acceptance mode in which an operation from the user cannot be accepted when a first time period has elapsed since the operation signal was accepted;
Driving support method comprising a. 表示部に、自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する処理と、
受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける処理と、
前記受け付けた操作信号に応じた自動運転制御コマンドを、自動運転の制御を行う自動運転制御部に出力する処理と、
前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を受け付けると、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力する処理と、
前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードを、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更する処理と、
をコンピュータに実行させる運転支援プログラム。 A process of outputting image information including a vehicle object representing the vehicle and a non-vehicle object representing a predetermined target other than the vehicle to the display unit;
When the reception mode is a reception possible mode in which an operation from the user can be received, a process of receiving a user operation signal for the non-vehicle object in the image displayed on the display unit,
A process of outputting an automatic driving control command according to the received operation signal to an automatic driving control unit that controls automatic driving ,
When an operation signal of the user accepted give in contact with the non-vehicle objects in an image in which the displayed on the display unit, to said predetermined target from the vehicle when the front Stories non vehicle object is touched And a process of outputting to the display unit in a state in which image information including one or more movable loci from the own vehicle to the predetermined target can be selected ,
When a first time has elapsed from the time when the operation signal was accepted, a process of changing the acceptance mode from the acceptable mode to an unacceptable mode in which an operation from the user is unacceptable,
Driving support program that causes a computer to execute . 自車の周辺状況を検出する検出部と、
表示部に、前記自車を表す自車オブジェクトと自車以外の所定の対象を表す非自車オブジェクトを含む画像情報を出力する画像出力部と、
受付モードが、ユーザからの操作を受付可能な受付可モードである場合、前記表示部に表示された画像内の前記非自車オブジェクトに対するユーザによる操作信号を受け付ける操作信号入力部と、
前記受け付けた操作信号に応じた自動運転制御コマンドを出力するコマンド出力部と、
前記出力されたコマンドを実行する自動運転制御部と、を備え、
前記表示部に表示された画像内の前記非自車オブジェクトに接触するユーザの操作信号を前記操作信号入力部が受け付けると、前記画像出力部は、前記非自車オブジェクトが接触されたときに前記自車から前記所定の対象に対して自動運転可能な操作または前記自車から前記所定の対象までの移動可能軌跡を一以上含む画像情報を選択可能な状態で前記表示部に出力し、
前記操作信号が受け付けられたときから第１の時間が経過した場合、前記受付モードは、前記受付可モードから、前記ユーザからの操作を受付不可な受付不可モードへと変更される自動運転車両。 A detection unit that detects the surrounding situation of the vehicle,
An image output unit that outputs image information including a vehicle object representing the vehicle and a non-vehicle object representing a predetermined target other than the vehicle to the display unit,
When the reception mode is a reception possible mode in which an operation from the user can be received, an operation signal input unit that receives an operation signal by the user for the non-vehicle object in the image displayed on the display unit,
A command output unit that outputs an automatic driving control command according to the received operation signal,
An automatic operation control unit that executes the output command,
When the operation signal input unit receives an operation signal of the user who comes into contact with the non-vehicle object in the image displayed on the display unit, the image output unit causes the image output unit to output the non-vehicle object when the non-vehicle object is touched. Output to the display unit in a selectable state image information including one or more operations that can be automatically driven from the own vehicle to the predetermined target or a movable locus from the own vehicle to the predetermined target ,
When the first time from when the operation signal is received has elapsed, the reception mode, from said Ready mode, automatically driven vehicle that will be changed operation from the user to not be accepted that not be accepted modes.