JP6350596B2 - Display system - Google Patents

Display system Download PDF

Info

Publication number
JP6350596B2
JP6350596B2 JP2016108960A JP2016108960A JP6350596B2 JP 6350596 B2 JP6350596 B2 JP 6350596B2 JP 2016108960 A JP2016108960 A JP 2016108960A JP 2016108960 A JP2016108960 A JP 2016108960A JP 6350596 B2 JP6350596 B2 JP 6350596B2
Authority
JP
Japan
Prior art keywords
vehicle
image
driving
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016108960A
Other languages
Japanese (ja)
Other versions
JP2017037634A (en
Inventor
祥太 野尻
祥太 野尻
祐作 中村
祐作 中村
誉規 杉浦
誉規 杉浦
昌幸 安形
昌幸 安形
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to PCT/JP2016/070768 priority Critical patent/WO2017026223A1/en
Publication of JP2017037634A publication Critical patent/JP2017037634A/en
Application granted granted Critical
Publication of JP6350596B2 publication Critical patent/JP6350596B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両に搭載される表示システムに関する。   The present invention relates to a display system mounted on a vehicle.

特許文献１には、車車間通信を利用した走行制御を実行する際に、基準となる先行車両である基準先行車両を運転者に認識させるため、前方視界の画像を表示する表示装置の表示画面上に、基準先行車両を認識させるための表示を行う点が記載されている。   Patent Document 1 discloses a display screen of a display device that displays an image of a front field of view in order to make a driver recognize a reference preceding vehicle that is a reference preceding vehicle when running control using inter-vehicle communication is performed. The point which performs the display for making a reference | standard precedent vehicle recognized is described above.

特開２０１４−８９５１０号公報JP 2014-89510 A

しかし、上記特許文献１に記載の技術では、基準先行車両を運転者に認識させることはできるものの、基準先行車両を含めた各先行車両の運転モードや挙動などの走行状態までは運転者に認識させることはできなかった。   However, in the technique described in Patent Document 1, although the reference preceding vehicle can be recognized by the driver, the driver recognizes the driving mode and behavior of each preceding vehicle including the reference preceding vehicle. I couldn't make it.

本発明は、このような課題に鑑みなされたものであり、その目的とするところは、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させる技術を提供することにある。   This invention is made in view of such a subject, The place made into the objective is to provide the technique which makes a driver | operator recognize and identify the driving state of the other vehicle which exists around the own vehicle. is there.

本発明の表示システム（２０）は、車両（１）に搭載される。
表示システムは、検出部（２０）と、取得部（２０）と、表示部（２０）と、を備える。 The display system (20) of the present invention is mounted on a vehicle (1).
The display system includes a detection unit (20), an acquisition unit (20), and a display unit (20).

検出部は、車両の周囲に存在する他の車両である他車両（１００）を検出する。
取得部は、検出部によって他車両が検出された場合に、他車両の走行状態を示す情報である他車情報を取得する。 The detection unit detects another vehicle (100) that is another vehicle existing around the vehicle.
An acquisition part acquires the other vehicle information which is the information which shows the driving state of an other vehicle, when an other vehicle is detected by the detection part.

表示部は、取得部によって取得された他車情報に基づき他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、他車両と対応付けながら、車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する。   The display unit generates an other vehicle image that is an image representing the traveling state of the other vehicle based on the other vehicle information acquired by the acquisition unit, and associates the generated other vehicle image with the other vehicle while the driver's seat of the vehicle. It is displayed so as to be superimposed on the scenery seen through the windshield.

なお、表示部が、他車画像を、他車両と対応付けながら、車載カメラによって撮像される撮像画像に重畳するよう表示装置に表示するようにしてもよい。
本発明の表示システムによれば、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させることができる。 The display unit may display the other vehicle image on the display device so as to be superimposed on the captured image captured by the in-vehicle camera while being associated with the other vehicle.
According to the display system of the present invention, it is possible to identify the traveling state of other vehicles existing around the host vehicle and to recognize the driver.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   In addition, the code | symbol in the parenthesis described in this column and a claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is shown. It is not limited.

車両の構成を示すブロック図である。It is a block diagram which shows the structure of a vehicle. 車両の運転席を表す説明図である。It is explanatory drawing showing the driver's seat of a vehicle. ＨＵＤ表示処理を示すフローチャートである。It is a flowchart which shows a HUD display process. ディスプレイ表示処理を示すフローチャートである。It is a flowchart which shows a display display process. ＨＵＤ表示処理の説明図である。It is explanatory drawing of a HUD display process. ＨＵＤ表示処理の説明図である。It is explanatory drawing of a HUD display process. ＨＵＤ表示処理の説明図である。It is explanatory drawing of a HUD display process. ＨＵＤの構成を示す説明図である。It is explanatory drawing which shows the structure of HUD. ＨＵＤ表示処理の説明図である。It is explanatory drawing of a HUD display process.

以下、本発明の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示す車両１は、カメラ１１と、レーダ１２と、ソナー１３と、車速センサ１４と、ヨーレートセンサ１５と、通信部１６と、ＨＵＤ１８と、ＨＵＤ制御装置１９と、ＨＣＵ２０と、表示装置２１と、を備える。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings.
[1. Constitution]
A vehicle 1 illustrated in FIG. 1 includes a camera 11, a radar 12, a sonar 13, a vehicle speed sensor 14, a yaw rate sensor 15, a communication unit 16, a HUD 18, a HUD control device 19, an HCU 20, and a display device 21. And comprising.

カメラ１１は、１個または複数個備えられており、車両１の周囲を撮像する。カメラ１１は、撮像した画像をＨＣＵ２０へ出力する。
レーダ１２は、車両１の周囲に電波等の電磁波を送信し、その反射波を受信することによって、車両１の周囲に存在する物体を検知する。レーダ１２は、検知結果をＨＣＵ２０へ出力する。 One or a plurality of cameras 11 are provided, and images around the vehicle 1 are taken. The camera 11 outputs the captured image to the HCU 20.
The radar 12 detects an object existing around the vehicle 1 by transmitting electromagnetic waves such as radio waves around the vehicle 1 and receiving the reflected waves. The radar 12 outputs the detection result to the HCU 20.

ソナー１３は、車両１の周囲に音波を送信し、その反射波を受信することによって車両１の周囲に存在する物体を検知する。ソナー１３は、検知結果をＨＣＵ２０へ出力する。
車速センサ１４は、車両１の走行速度を検出する。車速センサ１４は、検出結果をＨＣＵ２０へ出力する。 The sonar 13 detects an object existing around the vehicle 1 by transmitting sound waves around the vehicle 1 and receiving the reflected waves. The sonar 13 outputs the detection result to the HCU 20.
The vehicle speed sensor 14 detects the traveling speed of the vehicle 1. The vehicle speed sensor 14 outputs the detection result to the HCU 20.

ヨーレートセンサ１５は、車両１の旋回方向への回転角速度であるヨーレートを検出する。ヨーレートセンサ１５は、検出結果をＨＣＵ２０へ出力する。
通信部１６は、他車両１００との間で車車間通信を実施する装置である。他車両１００は、車両１の周囲に存在する車両である。また、通信部１６は、センタ２００との間で通信を実施することも可能である。 The yaw rate sensor 15 detects a yaw rate that is a rotational angular velocity in the turning direction of the vehicle 1. The yaw rate sensor 15 outputs the detection result to the HCU 20.
The communication unit 16 is a device that performs vehicle-to-vehicle communication with the other vehicle 100. The other vehicle 100 is a vehicle that exists around the vehicle 1. The communication unit 16 can also perform communication with the center 200.

ＨＵＤ１８は、車両１のフロントガラス１ａに種々の画像を投影し、これらの画像を車両１の運転席からフロントガラス１ａの表示領域１９ａ越しに見える景色に重畳するように表示する装置である。ＨＵＤ１８は、液晶パネル、液晶パネルを透過照明するバックライト、液晶パネルを透過したバックライトの光によって生成される像をフロントガラス１ａに向けて反射する凹面鏡等によって構成される。そして、ＨＵＤ１８は、図２に示すように、運転席前方に位置する表示領域１９ａ越しに見える景色に画像を重畳するよう表示する。表示領域１９ａは、第一表示領域１９ｂと、第二表示領域１９ｃとを有する。第一表示領域１９ｂとは、フロントガラス１ａにおいて情報が反射される表示領域の一部分であり、アイレンジＥＲから注視点へと向かう経路上に規定された領域である。注視点とは、車両１の運転者が注視すべき進行方向上のポイントであり、例えば、進行方向上の空間や先行車両などである。第二表示領域１９ｃとは、フロントガラス１ａにおいて像を表す光が反射される表示領域の一部分であり、車両１の車高方向に沿って第一表示領域１９ｂの下側に規定された領域である。すなわち、第二表示領域１９ｃは、利用者の眼から注視点へと向かう光の経路上から外れ、且つ、第一表示領域１９ｂとは非重複となるように規定された領域である。   The HUD 18 is a device that projects various images on the windshield 1a of the vehicle 1 and displays these images so as to be superimposed on the scenery seen from the driver's seat of the vehicle 1 over the display area 19a of the windshield 1a. The HUD 18 includes a liquid crystal panel, a backlight that illuminates and transmits the liquid crystal panel, and a concave mirror that reflects an image generated by the light of the backlight transmitted through the liquid crystal panel toward the windshield 1a. Then, as shown in FIG. 2, the HUD 18 displays the image so as to be superimposed on the scenery seen through the display area 19 a located in front of the driver's seat. The display area 19a has a first display area 19b and a second display area 19c. The first display area 19b is a part of the display area where information is reflected on the windshield 1a, and is an area defined on a path from the eye range ER to the point of sight. The gazing point is a point in the traveling direction that the driver of the vehicle 1 should watch, for example, a space in the traveling direction or a preceding vehicle. The second display area 19c is a part of a display area where light representing an image is reflected on the windshield 1a, and is an area defined below the first display area 19b along the vehicle height direction of the vehicle 1. is there. In other words, the second display area 19c is an area defined so as to be out of the light path from the user's eye to the gazing point and to be non-overlapping with the first display area 19b.

ＨＵＤ１８は、図８に示すように、映像投射器１８ａと、光学部１８ｂと、制御装置１８ｃと、ケース１８ｄと、を備えている。
映像投射器１８ａは、各種情報を表す光を発光して投射する機器である。映像投射器１８ａは、一台の液晶ディスプレイである。液晶ディスプレイには、第１発光部および第２発光部が規定されている。第１発光部は、第一表示領域１９ｂに投射される光を発光する。第２発光部は、第二表示領域１９ｃに投射される光を発光する。 As shown in FIG. 8, the HUD 18 includes a video projector 18a, an optical unit 18b, a control device 18c, and a case 18d.
The video projector 18a is a device that emits and projects light representing various types of information. The video projector 18a is a single liquid crystal display. The liquid crystal display has a first light emitting unit and a second light emitting unit. The first light emitting unit emits light projected on the first display area 19b. The second light emitting unit emits light projected on the second display area 19c.

光学部１８ｂは、映像投射器１０からの映像を表す光が、特定の大きさでフロントガラス１ａに投影されるように設けられた構成である。光学部１８ｂは、反射鏡１８ｅと、レンズ１８ｆとを備えている。反射鏡１８ｅは、少なくとも一つの鏡を有し、映像投射器１８ａからの映像を表す光を反射する。レンズ１８ｆは、映像投射器１８ａからの映像を表す光を拡大または縮小する。   The optical unit 18b is configured so that light representing an image from the image projector 10 is projected onto the windshield 1a with a specific size. The optical unit 18b includes a reflecting mirror 18e and a lens 18f. The reflecting mirror 18e has at least one mirror and reflects light representing an image from the image projector 18a. The lens 18f enlarges or reduces the light representing the image from the image projector 18a.

ケース１８ｄは、車両１のダッシュボード１ｂ内に配置される。このケース１８ｄは、一部が開口した筐体である。ケース１８ｄには、映像投射器１８ａおよび光学部１８ｂが収納される。なお、ケース１８ｄには、開口を覆うようにカバーが設けられていても良い。ここで言うカバーは、光を透過するものである。   The case 18 d is disposed in the dashboard 1 b of the vehicle 1. The case 18d is a housing that is partially opened. The case 18d houses the image projector 18a and the optical unit 18b. The case 18d may be provided with a cover so as to cover the opening. The cover referred to here transmits light.

ＨＵＤ１８では、映像投射器１８ａから投射され、光学部１８ｂおよびケース１８ｄの開口を通過した映像がフロントガラス１ａに投影される。このフロントガラス１ａに投影される映像は、アイレンジＥＲにおいて車両１の前方に形成された虚像ＶＩとなる。第１発光部からの光は、第一表示領域１９ｂにて反射され、車両１の前方に虚像ＶＩ＿１として形成される。このようなＨＵＤ１８では、フロントガラス１ａに投影された虚像ＶＩ＿１を、車両１の進行路上に存在する注視物から視線を移動させることなく運転者に視認させることが可能となる。第２発光部からの光は、第二表示領域１９ｃにて反射され、虚像ＶＩ＿１の形成位置よりもアイレンジＥＲに近い位置にて虚像ＶＩ＿２として形成される。   In the HUD 18, an image projected from the image projector 18a and passing through the openings of the optical unit 18b and the case 18d is projected onto the windshield 1a. The image projected on the windshield 1a is a virtual image VI formed in front of the vehicle 1 in the eye range ER. The light from the first light emitting unit is reflected by the first display area 19b and is formed as a virtual image VI_1 in front of the vehicle 1. In such a HUD 18, the virtual image VI_1 projected on the windshield 1a can be visually recognized by the driver without moving the line of sight from the gaze object present on the traveling path of the vehicle 1. The light from the second light emitting unit is reflected by the second display region 19c, and is formed as a virtual image VI_2 at a position closer to the eye range ER than the formation position of the virtual image VI_1.

ＨＵＤ制御装置１９は、ＣＰＵ及びメモリを中心とする周知のマイクロコンピュータを備える。メモリは、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリである。ＨＵＤ制御装置１９は、ＨＣＵ２０からの指令に基づきＨＵＤ１８に画像を表示させる。   The HUD control device 19 includes a known microcomputer centered on a CPU and a memory. The memory is a semiconductor memory such as a RAM, a ROM, or a flash memory. The HUD control device 19 displays an image on the HUD 18 based on a command from the HCU 20.

ＨＵＤ制御装置１９の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ＨＵＤ制御装置１９を構成するマイクロコンピュータの数は１つでも複数でもよい。また、ＨＵＤ制御装置１９が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。   Various functions of the HUD control device 19 are realized by the CPU executing a program stored in a non-transitional physical recording medium. In this example, the memory corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed. The number of microcomputers constituting the HUD control device 19 may be one or plural. Further, some or all of the functions executed by the HUD control device 19 may be configured by hardware using one or a plurality of ICs.

ＨＣＵ２０は、ＣＰＵ及びメモリを中心とする周知のマイクロコンピュータを備える。メモリは、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリである。ＨＣＵ２０は、取得した各種信号に基づき、ＨＵＤ表示処理やディスプレイ表示処理などの各種処理を実行する。ＨＵＤ表示処理およびディスプレイ表示処理については後述する。   The HCU 20 includes a well-known microcomputer mainly including a CPU and a memory. The memory is a semiconductor memory such as a RAM, a ROM, or a flash memory. The HCU 20 executes various processes such as a HUD display process and a display display process based on the acquired various signals. The HUD display process and the display display process will be described later.

ＨＣＵ２０の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ＨＣＵ２０を構成するマイクロコンピュータの数は１つでも複数でもよい。また、ＨＣＵ２０が実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。   Various functions of the HCU 20 are realized by the CPU executing a program stored in a non-transitional physical recording medium. In this example, the memory corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed. The number of microcomputers constituting the HCU 20 may be one or more. Further, some or all of the functions executed by the HCU 20 may be configured by hardware using one or a plurality of ICs.

表示装置２１は、画像を表示可能である液晶ディスプレイ、有機ＥＬディスプレイ等の表示画面２１ａを有する装置である。表示装置２１は、車両１のドライバが視認可能な場所に設置される。   The display device 21 is a device having a display screen 21a such as a liquid crystal display or an organic EL display capable of displaying an image. The display device 21 is installed in a place where the driver of the vehicle 1 can visually recognize.

［２．処理］
次に、ＨＣＵ２０が実行するＨＵＤ表示処理およびディスプレイ表示処理について説明する。なお、ＨＵＤ表示処理およびディスプレイ表示処理は、例えば、ユーザによる指示により、何れか一方を選択して実行するようにしてもよいし、双方を同時に実行するようにしてもよい。 [2. processing]
Next, the HUD display process and display display process executed by the HCU 20 will be described. Note that either the HUD display process or the display display process may be selected and executed, for example, according to a user instruction, or both may be executed simultaneously.

［２．１．ＨＵＤ表示処理］
まず、ＨＣＵ２０が実行するＨＵＤ表示処理について図３のフローチャートを用いて説明する。 [2.1. HUD display processing]
First, the HUD display process executed by the HCU 20 will be described with reference to the flowchart of FIG.

ＨＵＤ表示処理は、障害物を回避しながら車両１を走行させるための走行ルートなどの各種情報を表示領域１９ａ越しに見える景色に重畳するよう表示する処理である。
最初のステップＳ１１０では、ＨＣＵ２０が、車両１の周囲に他車両１００が存在するか否かを判断する。例えば、カメラ１１による撮像画像から他車両１００を検知する。この際、周知の画像処理技術を用いる。また、レーダ１２やソナー１３による検知結果を用いて他車両１００を検知することもできる。なお、他車両１００の識別については、例えば検知した物体の大きさや移動速度等を用いて総合的に判断する。車両１の周囲に他車両１００が存在しないと判断された場合には、Ｓ１１０を再度実行する。一方、車両１の周囲に他車両１００が存在すると判断された場合には、Ｓ１２０に移行する。 The HUD display process is a process of displaying various information such as a travel route for causing the vehicle 1 to travel while avoiding an obstacle so as to be superimposed on the scenery seen through the display area 19a.
In the first step S <b> 110, the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. For example, the other vehicle 100 is detected from an image captured by the camera 11. At this time, a well-known image processing technique is used. Also, the other vehicle 100 can be detected using the detection results of the radar 12 and the sonar 13. Note that the identification of the other vehicle 100 is comprehensively determined using, for example, the detected size or moving speed of the object. If it is determined that there is no other vehicle 100 around the vehicle 1, S110 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1, the process proceeds to S120.

Ｓ１２０では、ＨＣＵ２０が、他車情報を通信にて入手可能か否かを判断する。ここでは、車両１と他車両１００とが車車間通信を用いて通信可能であり且つ他車両１００が他車情報を車両１に通信で送信可能である場合に他車情報を通信にて入手可能であると判断する。センタ２００との通信により他車情報を入手可能である場合も含まれる。他車情報とは、他車両１００の走行状態を示す情報である。車両の走行状態としては、車両の運転設定や、車両の挙動が挙げられる。車両の運転設定としては、車両の走行に係る運転操作の全部を自動的に行う自動運転、運転操作の一部を支援する運転支援、運転者の運転動作に基づいて走行を行う手動運転が挙げられる。車両の挙動としては、レーン変更、加減速、右左折などが挙げられる。他車情報を通信にて入手可能ではないと判断された場合には、Ｓ１６０に移行する。一方、他車情報を通信にて入手可能であると判断された場合には、他車情報として、他車両１００の運転モードに関する情報および他車両１００の挙動に関する情報を取得する。運転モードには、自動運転を行う自動運転モード、運転支援を行う運転支援モード、手動運転を行うマニュアルモードがある。その後、Ｓ１２５に移行する。   In S120, the HCU 20 determines whether other vehicle information can be obtained through communication. Here, when the vehicle 1 and the other vehicle 100 can communicate using inter-vehicle communication and the other vehicle 100 can transmit other vehicle information to the vehicle 1 by communication, the other vehicle information can be obtained by communication. It is judged that. The case where other vehicle information can be obtained through communication with the center 200 is also included. The other vehicle information is information indicating the traveling state of the other vehicle 100. Examples of the running state of the vehicle include vehicle driving settings and vehicle behavior. Examples of vehicle driving settings include automatic driving that automatically performs all driving operations related to vehicle driving, driving assistance that supports a part of driving operations, and manual driving that performs driving based on the driving operation of the driver. It is done. Examples of vehicle behavior include lane change, acceleration / deceleration, and right / left turn. If it is determined that other vehicle information is not available through communication, the process proceeds to S160. On the other hand, when it is determined that other vehicle information can be obtained through communication, information regarding the operation mode of the other vehicle 100 and information regarding the behavior of the other vehicle 100 are acquired as the other vehicle information. The operation modes include an automatic operation mode for performing automatic operation, a driving support mode for performing driving support, and a manual mode for performing manual operation. Thereafter, the process proceeds to S125.

Ｓ１２５では、ＨＣＵ２０が、他車情報を、車載センサを用いて入手可能であるか否かを判断する。例えば、カメラ１１による撮像画像から他車両１００の挙動を検知する。この際、周知の画像処理技術を用いる。また、レーダ１２やソナー１３による検知結果を用いて他車両１００の挙動を検知することもできる。例えば、ＨＣＵ２０は、車両１と他車両１００との相対位置が左右方向に所定値以上変化した場合に、他車両１００がレーン変更を行うと判断する。また、ＨＣＵ２０は、車両１と他車両１００との相対位置が前後方向に所定値以上変化した場合、または、車両１と他車両１００との相対速度が所定値以上変化した場合に、他車両１００が加減速を行うと判断する。また、ＨＣＵ２０は、撮像画像中からウインカー点滅を検出した場合に、他車両１００が右左折を行うと判断する。他車情報を、車載センサを用いて入手可能である場合には、Ｓ１８０に移行する。他車情報を、車載センサを用いて入手不可能である場合には、Ｓ１６０に移行する。   In S125, the HCU 20 determines whether other vehicle information is available using the on-vehicle sensor. For example, the behavior of the other vehicle 100 is detected from an image captured by the camera 11. At this time, a well-known image processing technique is used. In addition, the behavior of the other vehicle 100 can be detected using the detection results of the radar 12 and the sonar 13. For example, the HCU 20 determines that the other vehicle 100 performs a lane change when the relative position between the vehicle 1 and the other vehicle 100 changes by a predetermined value or more in the left-right direction. The HCU 20 also detects the other vehicle 100 when the relative position between the vehicle 1 and the other vehicle 100 changes in the front-rear direction by a predetermined value or more, or when the relative speed between the vehicle 1 and the other vehicle 100 changes by a predetermined value or more. Is determined to perform acceleration / deceleration. Also, the HCU 20 determines that the other vehicle 100 makes a right / left turn when blinking blinker is detected from the captured image. If other vehicle information is available using the in-vehicle sensor, the process proceeds to S180. If other vehicle information is not available using the in-vehicle sensor, the process proceeds to S160.

Ｓ１３０では、ＨＣＵ２０が、他車両１００が自動運転モードであるか否かを判断する。具体的には、ＨＣＵ２０が、Ｓ１２０で入手した他車情報に含まれる他車両１００の運転モードに関する情報を参照して、他車両１００が自動運転モードであるか否かを判断する。他車両１００が自動運転モードであると判断された場合には、Ｓ１４０に移行する。一方、他車両１００が自動運転モードではないと判断された場合には、Ｓ１３５に移行する。   In S130, the HCU 20 determines whether the other vehicle 100 is in the automatic driving mode. Specifically, the HCU 20 determines whether or not the other vehicle 100 is in the automatic driving mode with reference to the information related to the driving mode of the other vehicle 100 included in the other vehicle information obtained in S120. When it is determined that the other vehicle 100 is in the automatic driving mode, the process proceeds to S140. On the other hand, when it is determined that the other vehicle 100 is not in the automatic driving mode, the process proceeds to S135.

Ｓ１３５では、ＨＣＵ２０が、他車両１００が運転支援モードであるか否かを判断する。具体的には、ＨＣＵ２０が、Ｓ１２０で入手した他車情報に含まれる他車両１００の運転モードに関する情報を参照して、他車両１００が運転支援モードであるか否かを判断する。他車両１００が運転支援モードであると判断された場合には、Ｓ１７０に移行する。一方、他車両１００が運転支援モードではないと判断された場合には、Ｓ１５０に移行する。   In S135, the HCU 20 determines whether the other vehicle 100 is in the driving support mode. Specifically, the HCU 20 determines whether or not the other vehicle 100 is in the driving support mode with reference to information regarding the driving mode of the other vehicle 100 included in the other vehicle information obtained in S120. When it is determined that the other vehicle 100 is in the driving support mode, the process proceeds to S170. On the other hand, when it is determined that the other vehicle 100 is not in the driving support mode, the process proceeds to S150.

Ｓ１４０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００が自動運転モードで走行中である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。例えば、ＨＣＵ２０が、「ＡＵＴＯ ＭＯＤＥ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。運転モード画像は、図５に例示するように、例えば他車両１００近傍に配置することで他車両１００と対応付けながら、運転席前方に位置する表示領域１９ａ越しに見える景色に重畳するよう表示される。運転モード画像は、他車画像に該当する。   In S140, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the automatic operation mode, and displays the operation mode image on the HUD control device 19. For example, the HCU 20 creates an image representing the characters “AUTO MODE” as an operation mode image and causes the HUD control device 19 to display the image. As illustrated in FIG. 5, for example, the driving mode image is displayed so as to be superimposed on the scenery seen through the display area 19 a located in front of the driver's seat while being associated with the other vehicle 100 by being arranged in the vicinity of the other vehicle 100. The The driving mode image corresponds to the other vehicle image.

このとき、運転モード画像は、第一表示領域１９ｂに表示され、第二表示領域１９ｃには、自車画像が表示される。すなわち、ＨＣＵ２０が、自車情報を取得する。自車情報は、車両１の走行状態を示す情報である。ＨＣＵ２０が、自車情報に基づき自車画像を生成する。自車画像は、車両１の走行状態を示す画像であり、車両１の運転設定や挙動を表す。例えば、ＨＣＵ２０が、図５に例示するように、「ＡＣＣ」や「６０ｋｍ／ｈ」という文字を表す画像を自車画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。ＡＣＣは、アダプティブクルーズコントロールの略である。車両１の運転設定や挙動については、ＨＣＵ２０が、車両１が備える車載センサおよび各種ＥＣＵから取得する。   At this time, the driving mode image is displayed in the first display area 19b, and the host vehicle image is displayed in the second display area 19c. That is, the HCU 20 acquires the own vehicle information. The own vehicle information is information indicating the traveling state of the vehicle 1. The HCU 20 generates a vehicle image based on the vehicle information. The own vehicle image is an image showing the traveling state of the vehicle 1 and represents the driving setting and behavior of the vehicle 1. For example, as illustrated in FIG. 5, the HCU 20 creates an image representing the characters “ACC” and “60 km / h” as a vehicle image and causes the HUD control device 19 to display the image. ACC is an abbreviation for adaptive cruise control. About the driving | operation setting and behavior of the vehicle 1, HCU20 acquires from the vehicle-mounted sensor and various ECU with which the vehicle 1 is provided.

なお、他車情報として他車両１００の挙動に関する情報が入手された場合には、ＨＣＵ２０が、他車両１００の挙動に関する情報を表す挙動情報画像を作成してＨＵＤ制御装置１９に表示させる。挙動情報画像としては、図５に例示するような他車両１００のレーン変更に関する情報を表す画像、図６に例示するような他車両１００の加減速に関する情報、図７に例示するような他車両１００の右左折に関する情報が挙げられる。例えば、他車両１００のレーン変更に関する情報については、ＨＣＵ２０が、図５に例示するように、「まもなく右レーンへ」という文字を表す画像を挙動情報画像として作成してＨＵＤ制御装置１９に表示させる。また、他車両１００の加減速に関する情報については、ＨＣＵ２０が、図６に例示するように、「ＢＲＡＫＥ」という文字を表す画像を挙動情報画像として作成してＨＵＤ制御装置１９に表示させる。また、他車両１００の右左折に関する情報については、ＨＣＵ２０が、図７に例示するように、「まもなく右折」という文字を表す画像を挙動情報画像として作成してＨＵＤ制御装置１９に表示させる。挙動情報画像は、運転席前方に位置する表示領域１９ａ越しに見える景色に重畳するよう表示される。挙動情報画像は、他車画像に該当する。   When information related to the behavior of the other vehicle 100 is obtained as other vehicle information, the HCU 20 creates a behavior information image representing information related to the behavior of the other vehicle 100 and causes the HUD control device 19 to display the behavior information image. As the behavior information image, an image representing information related to the lane change of the other vehicle 100 as illustrated in FIG. 5, information regarding acceleration / deceleration of the other vehicle 100 as illustrated in FIG. 6, and another vehicle as illustrated in FIG. Information on 100 left and right turns. For example, as for the information related to the lane change of the other vehicle 100, the HCU 20 creates an image representing the characters “to the right lane soon” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG. 5. . Further, as to information on acceleration / deceleration of the other vehicle 100, the HCU 20 creates an image representing the characters “BRAKE” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG. 6. Further, as for the information related to the right / left turn of the other vehicle 100, the HCU 20 creates an image representing the characters “turn right soon” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG. The behavior information image is displayed so as to be superimposed on the scenery seen through the display area 19a located in front of the driver's seat. The behavior information image corresponds to the other vehicle image.

また、車両１が走行する車線上の前方に存在する複数台の他車両１００から他車情報をそれぞれ取得した場合には、ＨＣＵ２０が、図６に例示するように、複数台の他車両１００のそれぞれに対して挙動情報画像を表示する。例えば、先々行車両から他車情報を取得した場合には、ＨＣＵ２０が、図６に例示するように、「ＢＲＡＫＥ」という文字を表す画像と先々行車両の位置を示す矢印を表す画像とからなる挙動情報画像を作成してＨＵＤ制御装置１９に表示させる。先々行車両は、先行車両の前方を走行する車両である。また、先々行車両は、自車両の２台以上前を走行する車両でもある。このとき、ＨＣＵ２０が、表示装置２１を用いて鳥瞰図画像を表示するようにしてもよい。具体的には、図９に例示するように、ＨＣＵ２０が、カメラ１１によって撮像される撮像画像を予め設定された仮想視点から見た鳥瞰図に変換することで鳥瞰図画像を生成し、運転モード画像および挙動情報画像を鳥瞰図画像に重畳するよう表示装置２１に表示する。このように、前方に存在する複数台の他車両１００の情報を表示する際、ＨＣＵ２０には先々行車両の挙動情報画像を表示し、表示装置２１に表示する鳥瞰図には先々行車両の挙動情報画像及び運転モード画像を表示する。なお、先々行車両の運転モードが、自車両の走行に影響を与える可能性は低いため、ＨＣＵ２０に先々行車両の運転モード画像を表示しないことで、ドライバの視界の前方という注視しなければならない領域における情報量を抑えることができる。先々行車両の運転モード画像は第一画像に該当する。さらに、表示装置２１に鳥瞰画像図を表示する場合は、先々行車両の走行状態が取得できたとしても、ＨＣＵ２０には先々行車両の挙動情報画像を表示しなくてもよい。これにより、より一層ドライバの前方視界領域における情報量を抑制することができる。先々行車両の挙動情報画像は第二画像に該当する。その後、Ｓ１１０に移行する。   When the other vehicle information is acquired from a plurality of other vehicles 100 existing in front of the lane in which the vehicle 1 travels, the HCU 20 may be configured to display the plurality of other vehicles 100 as illustrated in FIG. A behavior information image is displayed for each. For example, when other vehicle information is acquired from the preceding vehicle, the HCU 20 performs behavior information including an image representing the characters “BRAKE” and an image representing an arrow indicating the position of the preceding vehicle, as illustrated in FIG. An image is created and displayed on the HUD control device 19. The preceding vehicle is a vehicle that travels ahead of the preceding vehicle. The preceding vehicle is also a vehicle that travels in front of two or more vehicles. At this time, the HCU 20 may display a bird's eye view image using the display device 21. Specifically, as illustrated in FIG. 9, the HCU 20 generates a bird's-eye view image by converting a captured image captured by the camera 11 into a bird's-eye view viewed from a preset virtual viewpoint, and generates an operation mode image and The behavior information image is displayed on the display device 21 so as to be superimposed on the bird's eye view image. As described above, when displaying information of a plurality of other vehicles 100 existing ahead, the behavior information image of the preceding vehicle is displayed on the HCU 20, and the behavior information image of the preceding vehicle and the bird's eye view displayed on the display device 21 are displayed. Displays the operation mode image. In addition, since it is unlikely that the driving mode of the vehicle ahead will affect the traveling of the host vehicle, the driving mode image of the vehicle ahead is not displayed on the HCU 20, so that in the area where the driver's field of view must be observed. The amount of information can be reduced. The driving mode image of the preceding vehicle corresponds to the first image. Further, when the bird's-eye view image map is displayed on the display device 21, even if the traveling state of the preceding vehicle can be acquired, the behavior information image of the preceding vehicle need not be displayed on the HCU 20. As a result, the amount of information in the front view area of the driver can be further suppressed. The behavior information image of the preceding vehicle corresponds to the second image. Thereafter, the process proceeds to S110.

Ｓ１５０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００が手動運転モードで走行中である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。例えば、ＨＣＵ２０が、図５に例示するように、「ＭＡＮＵＡＬ ＭＯＤＥ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。また、ＨＣＵ２０が、Ｓ１４０と同様に、自車画像および挙動情報画像をＨＵＤ制御装置１９に表示させる。また、ＨＣＵ２０が、Ｓ１４０と同様に、鳥瞰図画像を表示装置２１に表示させてもよい。その後、Ｓ１１０に移行する。   In S150, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the manual operation mode, and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 5, the HCU 20 creates an image representing characters “MANUAL MODE” as an operation mode image and causes the HUD control device 19 to display the image. Further, the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140. Moreover, HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.

Ｓ１６０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００の運転モードが不明である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。例えば、ＨＣＵ２０が、図７に例示するように、「ＵＮＫＮＯＷＮ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。また、何も表示しないことで他車両１００の運転モードが不明である旨を示すようにしてもよい。また、ＨＣＵ２０が、Ｓ１４０と同様に、自車画像をＨＵＤ制御装置１９に表示させる。なお、挙動情報画像については、他車両１００の挙動が不明であるため、表示させないが、ＨＣＵ２０が、他車両１００の挙動が不明である旨を示す情報を表す挙動情報画像を作成してＨＵＤ制御装置１９に表示させてもよい。その後、Ｓ１１０に移行する。   In S160, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 7, the HCU 20 creates an image representing the characters “UNKNOWN” as an operation mode image and causes the HUD control device 19 to display the image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. Further, the HCU 20 displays the vehicle image on the HUD control device 19 in the same manner as in S140. The behavior information image is not displayed because the behavior of the other vehicle 100 is unknown, but the HCU 20 creates a behavior information image representing information indicating that the behavior of the other vehicle 100 is unknown, and performs HUD control. It may be displayed on the device 19. Thereafter, the process proceeds to S110.

Ｓ１７０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００が運転支援モードで走行中である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。例えば、ＨＣＵ２０が、図６に例示するように、「ＳＥＭＩ ＡＵＴＯ ＭＯＤＥ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。運転支援としては、ＡＣＣおよびＬＫＡがある。ＬＫＡは、レーンキーピングアシストシステムの略である。ＡＣＣおよびＬＫＡの双方が行われている場合には、ＨＣＵ２０が、「ＳＥＭＩ ＡＵＴＯ ＭＯＤＥ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるようにしてもよい。ＡＣＣが行われている場合には、ＨＣＵ２０が、「ＡＣＣ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるようにしてもよい。ＬＫＡが行われている場合には、ＨＣＵ２０が、「ＬＫＡ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるようにしてもよい。また、ＨＣＵ２０が、Ｓ１４０と同様に、自車画像および挙動情報画像をＨＵＤ制御装置１９に表示させる。また、ＨＣＵ２０が、Ｓ１４０と同様に、鳥瞰図画像を表示装置２１に表示させてもよい。その後、Ｓ１１０に移行する。   In S170, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates a driving mode image representing information indicating that the other vehicle 100 is traveling in the driving support mode, and causes the HUD control device 19 to display the driving mode image. For example, as illustrated in FIG. 6, the HCU 20 creates an image representing characters “SEMI AUTO MODE” as an operation mode image and causes the HUD control device 19 to display the image. Driving assistance includes ACC and LKA. LKA is an abbreviation for Lane Keeping Assist System. When both ACC and LKA are performed, the HCU 20 may create an image representing the characters “SEMI AUTO MODE” as an operation mode image and display it on the HUD control device 19. When ACC is being performed, the HCU 20 may create an image representing the characters “ACC” as an operation mode image and cause the HUD control device 19 to display the image. When the LKA is being performed, the HCU 20 may create an image representing the characters “LKA” as an operation mode image and cause the HUD control device 19 to display the image. Further, the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140. Moreover, HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.

Ｓ１８０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００の運転モードが不明である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。例えば、ＨＣＵ２０が、図７に例示するように、「ＵＮＫＮＯＷＮ」という文字を表す画像を運転モード画像として作成してＨＵＤ制御装置１９に表示させるといった具合である。また、何も表示しないことで他車両１００の運転モードが不明である旨を示すようにしてもよい。また、ＨＣＵ２０が、Ｓ１４０と同様に、自車画像および挙動情報画像をＨＵＤ制御装置１９に表示させる。また、ＨＣＵ２０が、Ｓ１４０と同様に、鳥瞰図画像を表示装置２１に表示させてもよい。その後、Ｓ１１０に移行する。   In S180, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 7, the HCU 20 creates an image representing the characters “UNKNOWN” as an operation mode image and causes the HUD control device 19 to display the image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. Further, the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140. Moreover, HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.

なお、ＨＣＵ２０は、ＨＵＤ表示処理を実行することにより、表示システムとして機能する。また、ＨＣＵ２０は、ＨＵＤ表示処理のＳ１１０を実行することにより、検出部として機能する。また、ＨＣＵ２０は、ＨＵＤ表示処理のＳ１２０およびＳ１３０を実行することにより、取得部として機能する。また、ＨＣＵ２０は、ＨＵＤ表示処理のＳ１４０、Ｓ１５０、Ｓ１６０、Ｓ１７０およびＳ１８０を実行することにより、表示部として機能する。   The HCU 20 functions as a display system by executing HUD display processing. The HCU 20 functions as a detection unit by executing S110 of the HUD display process. Further, the HCU 20 functions as an acquisition unit by executing S120 and S130 of the HUD display process. Further, the HCU 20 functions as a display unit by executing the SUD, S150, S160, S170, and S180 of the HUD display process.

［２．２．ディスプレイ表示処理］
次に、ＨＣＵ２０が実行するディスプレイ表示処理について図４のフローチャートを用いて説明する。 [2.2. Display processing]
Next, display display processing executed by the HCU 20 will be described with reference to the flowchart of FIG.

ディスプレイ表示処理は、障害物を回避しながら車両１を走行させるための走行ルートなどの各種情報を、カメラ１１によって撮像される撮像画像に重畳するよう表示装置２１の表示画面２１ａに表示する処理である。   The display display process is a process of displaying various information such as a travel route for traveling the vehicle 1 while avoiding an obstacle on the display screen 21 a of the display device 21 so as to be superimposed on a captured image captured by the camera 11. is there.

最初のステップＳ２１０では、ＨＣＵ２０が、車両１の周囲に他車両１００が存在するか否かを判断する。なお、Ｓ２１０の処理内容については、Ｓ１１０の処理内容と同様である。車両１の周囲に他車両１００が存在しないと判断された場合には、Ｓ２１０を再度実行する。一方、車両１の周囲に他車両１００が存在すると判断された場合には、Ｓ２２０に移行する。   In the first step S210, the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. Note that the processing content of S210 is the same as the processing content of S110. If it is determined that there is no other vehicle 100 around the vehicle 1, S210 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1, the process proceeds to S220.

Ｓ２２０では、ＨＣＵ２０が、他車情報を通信にて入手可能か否かを判断する。なお、Ｓ２２０の処理内容については、Ｓ１２０の処理内容と同様である。他車情報を通信にて入手可能ではないと判断された場合には、Ｓ２６０に移行する。一方、他車情報を通信にて入手可能であると判断された場合には、他車情報として、他車両１００の運転モードに関する情報および他車両１００の挙動に関する情報を取得する。その後、Ｓ２２５に移行する。   In S220, HCU20 judges whether other vehicle information can be obtained by communication. Note that the processing content of S220 is the same as the processing content of S120. When it is determined that other vehicle information is not available through communication, the process proceeds to S260. On the other hand, when it is determined that other vehicle information can be obtained through communication, information regarding the operation mode of the other vehicle 100 and information regarding the behavior of the other vehicle 100 are acquired as the other vehicle information. Thereafter, the process proceeds to S225.

Ｓ２２５では、ＨＣＵ２０が、他車情報を、車載センサを用いて入手可能であるか否かを判断する。Ｓ２２５の処理内容については、Ｓ１２５の処理内容と同様である。他車情報を、車載センサを用いて入手可能である場合には、Ｓ２８０に移行する。他車情報を、車載センサを用いて入手不可能である場合には、Ｓ２６０に移行する。   In S225, the HCU 20 determines whether other vehicle information is available using the on-vehicle sensor. The processing content of S225 is the same as the processing content of S125. If other vehicle information is available using the in-vehicle sensor, the process proceeds to S280. If other vehicle information is not available using the in-vehicle sensor, the process proceeds to S260.

Ｓ２３０では、ＨＣＵ２０が、他車両１００が自動運転モードであるか否かを判断する。なお、Ｓ２３０の処理内容については、Ｓ１３０の処理内容と同様である。他車両１００が自動運転モードであると判断された場合には、Ｓ２４０に移行する。一方、他車両１００が自動運転モードではないと判断された場合には、Ｓ２３５に移行する。   In S230, the HCU 20 determines whether the other vehicle 100 is in the automatic driving mode. Note that the processing content of S230 is the same as the processing content of S130. When it is determined that the other vehicle 100 is in the automatic driving mode, the process proceeds to S240. On the other hand, when it is determined that the other vehicle 100 is not in the automatic driving mode, the process proceeds to S235.

Ｓ２３５では、ＨＣＵ２０が、他車両１００が運転支援モードであるか否かを判断する。Ｓ２３５の処理内容については、Ｓ１３５の処理内容と同様である。他車両１００が運転支援モードであると判断された場合には、Ｓ２７０に移行する。一方、他車両１００が運転支援モードではないと判断された場合には、Ｓ２５０に移行する。   In S235, the HCU 20 determines whether the other vehicle 100 is in the driving support mode. The processing content of S235 is the same as the processing content of S135. When it is determined that the other vehicle 100 is in the driving support mode, the process proceeds to S270. On the other hand, when it is determined that the other vehicle 100 is not in the driving support mode, the process proceeds to S250.

Ｓ２４０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００が自動運転モードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置２１に表示させる。なお、他車情報として他車両１００の挙動に関する情報が入手された場合には、ＨＣＵ２０が、他車両１００の挙動に関する情報を表す挙動情報画像を作成して表示装置２１に表示させる。また、車両１が走行する車線上の前方に存在する複数台の他車両１００から他車情報をそれぞれ取得した場合には、ＨＣＵ２０が、図６に例示するように、複数台の他車両１００のそれぞれに対して挙動情報画像を表示する。ＨＣＵ２０が、自車画像を作成して表示装置２１に表示させるようにしてもよい。その後、Ｓ２１０に移行する。   In S240, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the automatic operation mode, and causes the display device 21 to display the operation mode image. When information related to the behavior of the other vehicle 100 is obtained as other vehicle information, the HCU 20 creates a behavior information image representing information related to the behavior of the other vehicle 100 and causes the display device 21 to display the behavior information image. When the other vehicle information is acquired from a plurality of other vehicles 100 existing in front of the lane in which the vehicle 1 travels, the HCU 20 may be configured to display the plurality of other vehicles 100 as illustrated in FIG. A behavior information image is displayed for each. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.

Ｓ２５０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００がマニュアルモードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置２１に表示させる。また、ＨＣＵ２０が、Ｓ２４０と同様に、挙動情報画像を表示装置２１に表示させる。ＨＣＵ２０が、自車画像を作成して表示装置２１に表示させるようにしてもよい。その後、Ｓ２１０に移行する。   In S250, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the manual mode, and displays the operation mode image on the display device 21. Further, the HCU 20 displays the behavior information image on the display device 21 as in S240. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.

Ｓ２６０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００の運転モードが不明である旨を示す情報を表す運転モード画像を作成して表示装置２１に表示させる。また、何も表示しないことで他車両１００の運転モードが不明である旨を示すようにしてもよい。なお、挙動情報画像については、他車両１００の挙動が不明であるため、表示させないが、ＨＣＵ２０が、他車両１００の挙動が不明である旨を示す情報を表す挙動情報画像を作成して表示装置２１に表示させてもよい。ＨＣＵ２０が、自車画像を作成して表示装置２１に表示させるようにしてもよい。その後、Ｓ２１０に移行する。   In S260, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the display device 21 to display the operation mode image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. The behavior information image is not displayed because the behavior of the other vehicle 100 is unknown, but the HCU 20 creates a behavior information image representing information indicating that the behavior of the other vehicle 100 is unknown, and displays the behavior information image. 21 may be displayed. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.

Ｓ２７０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００が運転支援モードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置２１に表示させる。また、ＨＣＵ２０が、Ｓ２４０と同様に、挙動情報画像を表示装置２１に表示させる。ＨＣＵ２０が、自車画像を作成して表示装置２１に表示させるようにしてもよい。その後、Ｓ２１０に移行する。   In S270, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates a driving mode image representing information indicating that the other vehicle 100 is traveling in the driving support mode and causes the display device 21 to display the driving mode image. Further, the HCU 20 displays the behavior information image on the display device 21 as in S240. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.

Ｓ２８０では、ＨＣＵ２０が、運転モード画像を表示する。具体的には、ＨＣＵ２０が、他車両１００の運転モードが不明である旨を示す情報を表す運転モード画像を作成してＨＵＤ制御装置１９に表示させる。また、何も表示しないことで他車両１００の運転モードが不明である旨を示すようにしてもよい。ＨＣＵ２０が、Ｓ２４０と同様に、挙動情報画像を表示装置２１に表示させる。ＨＣＵ２０が、自車画像を作成して表示装置２１に表示させるようにしてもよい。その後、Ｓ２１０に移行する。   In S280, the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. The HCU 20 displays the behavior information image on the display device 21 as in S240. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.

なお、ＨＣＵ２０は、ディスプレイ表示処理を実行することにより、表示システムとして機能する。また、ＨＣＵ２０は、ディスプレイ表示処理のＳ２１０を実行することにより、検出部として機能する。また、ＨＣＵ２０は、ディスプレイ表示処理のＳ２２０およびＳ２３０を実行することにより、取得部として機能する。また、ＨＣＵ２０は、ディスプレイ表示処理のＳ２４０、Ｓ２５０、Ｓ２６０、Ｓ２７０およびＳ２８０を実行することにより、表示部として機能する。   The HCU 20 functions as a display system by executing display display processing. The HCU 20 functions as a detection unit by executing S210 of the display display process. Further, the HCU 20 functions as an acquisition unit by executing the display display processing S220 and S230. Further, the HCU 20 functions as a display unit by executing the display display processes S240, S250, S260, S270, and S280.

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
すなわち、本実施形態では、他車両１００の運転モードに関する情報を表す運転モード画像を表示領域１９ａ越しに見える景色に重畳するよう表示する。なお、運転モード画像を、カメラ１１によって撮像される撮像画像に重畳するよう表示装置２１の表示画面２１ａに表示するようにしてもよい。したがって、車両１の周囲に存在する他車両１００の走行状態を識別して運転者に認識させることができる。 [3. effect]
According to the embodiment detailed above, the following effects can be obtained.
In other words, in the present embodiment, the operation mode image representing the information related to the operation mode of the other vehicle 100 is displayed so as to be superimposed on the scenery seen through the display area 19a. The operation mode image may be displayed on the display screen 21 a of the display device 21 so as to be superimposed on the captured image captured by the camera 11. Therefore, the driving state of the other vehicle 100 existing around the vehicle 1 can be identified and recognized by the driver.

［４．他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。 [4. Other Embodiments]
As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, It is possible to implement in the following various aspects.

（１）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。   (1) A plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.

（２）上述した表示システムの他、当該表示システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、表示方法など、種々の形態で本発明を実現することもできる。   (2) In addition to the display system described above, the present invention can be realized in various forms such as a program for causing a computer to function as the display system, a medium on which the program is recorded, and a display method.

１…車両、１ａ…フロントガラス、１ｂ…ダッシュボード、１１…カメラ、１２…レーダ、１３…ソナー、１４…車速センサ、１５…ヨーレートセンサ、１６…通信部、１８…ＨＵＤ、１８ａ…映像投射器、１８ｂ…光学部、１８ｃ…制御装置、１８ｄ…ケース、１８ｅ…反射鏡、１８ｆ…レンズ、１９…ＨＵＤ制御装置、１９ａ…表示領域、１９ｂ…第一表示領域、１９ｃ…第二表示領域、２０…ＨＣＵ、２１…表示装置、２１ａ…表示画面、１００…車両、２００…センタ。   DESCRIPTION OF SYMBOLS 1 ... Vehicle, 1a ... Windshield, 1b ... Dashboard, 11 ... Camera, 12 ... Radar, 13 ... Sonar, 14 ... Vehicle speed sensor, 15 ... Yaw rate sensor, 16 ... Communication part, 18 ... HUD, 18a ... Video projector , 18b ... Optical unit, 18c ... Control device, 18d ... Case, 18e ... Reflector, 18f ... Lens, 19 ... HUD control device, 19a ... Display region, 19b ... First display region, 19c ... Second display region, 20 ... HCU, 21 ... display device, 21a ... display screen, 100 ... vehicle, 200 ... center.

Claims (7)

車両（１）に搭載される表示システム（２０）であって、
前記車両の周囲に存在する他の車両である他車両（１００）を検出する検出部（２０）と、
前記検出部によって前記他車両が検出された場合に、前記他車両の走行状態を示す情報である他車情報を取得する取得部（２０）と、
前記取得部によって取得された前記他車情報に基づき前記他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、前記他車両と対応付けながら、前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する表示部（２０）と、を備え、
前記表示部は、車載カメラ（１１）によって撮像される撮像画像を予め設定された仮想視点から見た鳥瞰図に変換することで鳥瞰図画像を生成し、前記他車画像を前記鳥瞰図画像に重畳するよう表示装置（２１）に表示する
表示システム。 A display system (20) mounted on a vehicle (1),
A detection unit (20) for detecting another vehicle (100) that is another vehicle existing around the vehicle;
An acquisition unit (20) that acquires other vehicle information that is information indicating a traveling state of the other vehicle when the other vehicle is detected by the detection unit;
Based on the other vehicle information acquired by the acquisition unit, an other vehicle image that is an image representing a traveling state of the other vehicle is generated, and the generated vehicle image is associated with the other vehicle while driving the vehicle. A display unit (20) for displaying the image so as to be superimposed on the scenery seen from the seat through the windshield ,
The display unit generates a bird's-eye view image by converting a captured image captured by the vehicle-mounted camera (11) into a bird's-eye view seen from a preset virtual viewpoint, and superimposes the other vehicle image on the bird's-eye view image. A display system for displaying on the display device (21) . 請求項１に記載の表示システムであって、
前記表示部は、前記自車両の２台以上前を走行する他車両を先々行車両とし、前記先々行車両から他車情報を取得した場合には、前記他車情報に対応する前記他車画像を前記鳥瞰図画像に重畳するよう前記表示装置に表示するとともに、前記他車画像を前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示するが、このとき、前記他車画像のうち前記先々行車両の走行状態としての運転モードを示す画像である第一画像および前記先々行車両の走行状態としての挙動に関する情報を表す画像である第二画像については、少なくとも前記第一画像を前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示することを行わない
表示システム。 The display system according to claim 1 ,
When the other vehicle that travels in front of two or more vehicles of the host vehicle is a preceding vehicle, and the other vehicle information is acquired from the preceding vehicle, the display unit displays the other vehicle image corresponding to the other vehicle information. While displaying on the display device so as to be superimposed on the bird's eye view image, the other vehicle image is displayed so as to be superimposed on the scenery seen through the windshield from the driver's seat of the vehicle. At least the first image is a driver's seat of the vehicle for a first image that is an image indicating a driving mode as a traveling state of the vehicle and a second image that is an image representing information regarding behavior as the traveling state of the preceding vehicle. A display system that does not superimpose on the scenery seen through the windshield. 請求項１または請求項２に記載の表示システムであって、
前記走行状態には、車両の走行に係る運転操作の全部を自動的に行う自動運転、前記運転操作の一部を支援する運転支援、または運転者の運転動作に基づいて走行を行う手動運転の少なくとも一つが含まれる
表示システム。 The display system according to claim 1 or 2 , wherein
The driving state includes automatic driving that automatically performs all driving operations relating to driving of the vehicle, driving assistance that supports a part of the driving operations, or manual driving that performs driving based on the driving operation of the driver. A display system that includes at least one. 車両（１）に搭載される表示システム（２０）であって、
前記車両の周囲に存在する他の車両である他車両（１００）を検出する検出部（２０）と、
前記検出部によって前記他車両が検出された場合に、前記他車両の走行状態を示す情報である他車情報を取得する取得部（２０）と、
前記取得部によって取得された前記他車情報に基づき前記他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、前記他車両と対応付けながら、前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する表示部（２０）と、を備え、
前記走行状態には、車両の走行に係る運転操作の全部を自動的に行う自動運転、前記運転操作の一部を支援する運転支援、または運転者の運転動作に基づいて走行を行う手動運転の少なくとも一つが含まれる
表示システム。 A display system (20) mounted on a vehicle (1),
A detection unit (20) for detecting another vehicle (100) that is another vehicle existing around the vehicle;
An acquisition unit (20) that acquires other vehicle information that is information indicating a traveling state of the other vehicle when the other vehicle is detected by the detection unit;
Based on the other vehicle information acquired by the acquisition unit, an other vehicle image that is an image representing a traveling state of the other vehicle is generated, and the generated vehicle image is associated with the other vehicle while driving the vehicle. A display unit (20) for displaying the image so as to be superimposed on the scenery seen from the seat through the windshield ,
The driving state includes automatic driving that automatically performs all driving operations relating to driving of the vehicle, driving assistance that supports a part of the driving operations, or manual driving that performs driving based on the driving operation of the driver. A display system that includes at least one . 請求項１〜請求項４の何れか１項に記載の表示システムであって、
前記取得部は、前記自車両の走行状態を示す情報である自車情報を取得し、
前記表示部は、前記取得部によって取得された前記自車情報に基づき前記自車両の走行状態を表す画像である自車画像を生成し、前記他車画像を、前記車両の運転席からフロントガラス越しに見える景色のうち相対的に遠距離の景色に重畳するよう表示し、前記自車画像を、前記車両の運転席からフロントガラス越しに見える景色のうち相対的に近距離の景色に重畳するよう表示する
表示システム。 The display system according to any one of claims 1 to 4 , wherein
The acquisition unit acquires host vehicle information that is information indicating a traveling state of the host vehicle,
The display unit generates a host vehicle image that is an image representing a traveling state of the host vehicle based on the host vehicle information acquired by the acquiring unit, and displays the other vehicle image from a driver's seat of the vehicle on a windshield. The vehicle image is displayed so as to be superimposed on a relatively distant view of the scenery seen through the vehicle, and the vehicle image is superimposed on a relatively close view of the scenery seen through the windshield from the driver's seat of the vehicle. Display system. 車両（１）に搭載される表示システム（２０）であって、
前記車両の周囲に存在する他の車両である他車両（１００）を検出する検出部（２０）と、
前記検出部によって前記他車両が検出された場合に、前記他車両の走行状態を示す情報である他車情報を取得する取得部（２０）と、
前記取得部によって取得された前記他車情報に基づき前記他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、前記他車両と対応付けながら、車載カメラ（１１）によって撮像される撮像画像に重畳するよう表示装置（２１）に表示する表示部（２０）と、を備え、
前記走行状態には、車両の走行に係る運転操作の全部を自動的に行う自動運転、前記運転操作の一部を支援する運転支援、または運転者の運転動作に基づいて走行を行う手動運転の少なくとも一つが含まれる
表示システム。 A display system (20) mounted on a vehicle (1),
A detection unit (20) for detecting another vehicle (100) that is another vehicle existing around the vehicle;
An acquisition unit (20) that acquires other vehicle information that is information indicating a traveling state of the other vehicle when the other vehicle is detected by the detection unit;
Based on the other vehicle information acquired by the acquisition unit, an other vehicle image that is an image representing a traveling state of the other vehicle is generated, and the generated other vehicle image is associated with the other vehicle while the in-vehicle camera (11 ) comprising a display unit for displaying on the display device (21) so as to be superimposed on the captured image captured and (20), the by
The driving state includes automatic driving that automatically performs all driving operations relating to driving of the vehicle, driving assistance that supports a part of the driving operations, or manual driving that performs driving based on the driving operation of the driver. A display system that includes at least one . 請求項１〜請求項６の何れか１項に記載の表示システムであって、
前記走行状態には、車両の挙動として、レーン変更、加減速または右左折のうちの少なくとも何れか一つが含まれる
表示システム。 The display system according to any one of claims 1 to 6,
The display system includes at least one of lane change, acceleration / deceleration, and right / left turn as the behavior of the vehicle.
JP2016108960A 2015-08-07 2016-05-31 Display system Active JP6350596B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070768 WO2017026223A1 (en) 2015-08-07 2016-07-14 Display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015157227 2015-08-07
JP2015157227 2015-08-07

Publications (2)

Publication Number Publication Date
JP2017037634A JP2017037634A (en) 2017-02-16
JP6350596B2 true JP6350596B2 (en) 2018-07-04

Family

ID=58049586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016108960A Active JP6350596B2 (en) 2015-08-07 2016-05-31 Display system

Country Status (1)

Country Link
JP (1) JP6350596B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6846624B2 (en) * 2017-02-23 2021-03-24 パナソニックＩｐマネジメント株式会社 Image display system, image display method and program
JP6610601B2 (en) * 2017-04-04 2019-11-27 トヨタ自動車株式会社 Vehicle identification device
WO2019049709A1 (en) * 2017-09-07 2019-03-14 ソニー株式会社 Image processing device, image processing method, and image display system
JP6991659B2 (en) 2017-12-08 2022-01-12 アルパイン株式会社 In-vehicle system and display control method
WO2019131735A1 (en) 2017-12-28 2019-07-04 株式会社小糸製作所 Head-up display device
KR102575717B1 (en) * 2018-07-26 2023-09-07 현대자동차주식회사 Apparatus for guiding state information of peripheral vehicle and method thereof
JP2021011235A (en) * 2019-07-09 2021-02-04 トヨタ自動車株式会社 Vehicle control system, vehicle control device, vehicle control method, and vehicle control program
JP7472491B2 (en) 2019-12-24 2024-04-23 株式会社Ｊｖｃケンウッド Display control device, display device, display control method and program
JP7207366B2 (en) * 2020-05-19 2023-01-18 トヨタ自動車株式会社 In-vehicle display system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4807263B2 (en) * 2006-09-14 2011-11-02 トヨタ自動車株式会社 Vehicle display device
JP4952421B2 (en) * 2007-07-18 2012-06-13 株式会社デンソー Driving support system
JP6201690B2 (en) * 2013-11-28 2017-09-27 日本精機株式会社 Vehicle information projection system

Also Published As

Publication number Publication date
JP2017037634A (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6350596B2 (en) Display system
US10254539B2 (en) On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium
JP6254554B2 (en) Information presentation system
JP6447468B2 (en) Driving assistance device
JP6327078B2 (en) Driving assistance device
JP2019206339A (en) Travel control device and on-vehicle system
KR20200016958A (en) Parking Assistance Method and Parking Assistance Device
JP6075248B2 (en) Information display device
JP2015003706A (en) Head-up display, and program
CN110914882B (en) Display system and display method
JP7014205B2 (en) Display control device and display control program
JP2017173903A (en) On-vehicle device
CN110462699B (en) Display control device for vehicle and display unit for vehicle
JP2017016200A (en) Image processing apparatus, image display system, and image processing method
JP2016078498A (en) Display control device and display system
US20230001985A1 (en) Display device for a vehicle
EP3173278B1 (en) Vehicle display control device
JP2024029051A (en) On-vehicle display device, method, and program
JP6448714B2 (en) Information display system
JP6825433B2 (en) Virtual image display device and computer program
WO2020208779A1 (en) Display control device, and display control method
JP2019011055A (en) Driving support device
WO2017026223A1 (en) Display system
JP7255429B2 (en) Display controller and display control program
JP6225504B2 (en) Head-up display and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R151 Written notification of patent or utility model registration

Ref document number: 6350596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250