JP7504327B2 - Display control device and display control method - Google Patents

Display control device and display control method Download PDF

Info

Publication number
JP7504327B2
JP7504327B2 JP2024519971A JP2024519971A JP7504327B2 JP 7504327 B2 JP7504327 B2 JP 7504327B2 JP 2024519971 A JP2024519971 A JP 2024519971A JP 2024519971 A JP2024519971 A JP 2024519971A JP 7504327 B2 JP7504327 B2 JP 7504327B2
Authority
JP
Japan
Prior art keywords
vehicle
display control
side rear
speed
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024519971A
Other languages
Japanese (ja)
Other versions
JPWO2023218545A1 (en
Inventor
剛 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2023218545A1 publication Critical patent/JPWO2023218545A1/ja
Application granted granted Critical
Publication of JP7504327B2 publication Critical patent/JP7504327B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、表示制御装置および表示制御方法に関する。 The present disclosure relates to a display control device and a display control method.

車載カメラを利用したシステムとして電子ミラーシステムがある。電子ミラーシステムは、従来、運転者がサイドミラーまたは目視で確認していた車両の側方から後方の領域の状態を車載カメラで撮像した側後方画像を車内モニタに表示するものである。車両の運転者は、車内モニタに表示された画像をみることにより、車両の側方から後方の状態を認識することが可能である。 One system that uses an onboard camera is the electronic mirror system. An electronic mirror system displays on an in-vehicle monitor side and rear images captured by an onboard camera of the conditions of the areas from the sides to the rear of the vehicle that drivers would previously have checked using side mirrors or with their eyes. By looking at the images displayed on the in-vehicle monitor, the driver of the vehicle can recognize the conditions of the areas from the sides to the rear of the vehicle.

電子ミラーシステムに関する従来の技術として、例えば、特許文献１には、車載カメラが撮像した側後方の車両との相対位置を取得し、側後方の車両を注意喚起対象車両とした注意喚起用の表示情報を生成して表示器に表示する注意換気装置が記載されている。運転者は、この表示により注意喚起対象車両の存在を認識することができる。As an example of conventional technology related to electronic mirror systems, Patent Document 1 describes an attention ventilation device that acquires the relative position of a vehicle to the side and rear, captured by an on-board camera, generates display information for calling attention to the vehicle to the side and rear as a vehicle to be alerted, and displays the information on a display. The driver can recognize the presence of the vehicle to be alerted by this display.

特開２０１８－１１６５１６号公報JP 2018-116516 A

電子ミラーシステムは、車両の左右のサイドミラーの位置に設けられた撮像部によって撮像された撮像画像を車室内に設けられた車内モニタに表示するものである。このため、車内モニタに表示された撮像画像を見た運転者は、当該撮像画像上の車両側後方の状況と実空間の車両側後方の状況とを対応付ける必要があり、サイドミラーを実際に見る場合に比べて実空間の車両側後方の状況を直感的に把握しにくいという課題があった。 An electronic mirror system displays images captured by imaging units installed in the position of the left and right side mirrors of a vehicle on an in-vehicle monitor installed inside the vehicle. For this reason, a driver viewing an image displayed on the in-vehicle monitor needs to match the situation behind the vehicle in the captured image with the situation behind the vehicle in real space, which makes it difficult to intuitively grasp the situation behind the vehicle in real space compared to when actually looking at the side mirrors.

なお、特許文献１に記載された装置は、車載カメラが撮像した画像とは別に作成された平面視画像を用いて、側後方の車両に関する情報を運転者に示すものである。このため、当該平面視画像では、走行時の臨場感が得られず、さらに、実空間の車両側後方の状況も直感的に把握しにくい。The device described in Patent Document 1 uses planar images created separately from images captured by the vehicle-mounted camera to show the driver information about vehicles on either side of the vehicle. For this reason, the planar images do not provide a sense of realism while driving, and furthermore, it is difficult to intuitively grasp the situation behind the vehicle in real space.

本開示は上記課題を解決するものであり、実空間の車両側後方の状況を把握する助けとなる情報を表示することができる、表示制御装置および表示制御方法を得ることを目的とする。 The present disclosure is intended to solve the above-mentioned problems, and aims to provide a display control device and a display control method that can display information that helps understand the situation behind the vehicle in real space.

本開示に係る表示制御装置は、第１の車両の側方および後方の領域が撮像された側後方撮像画像を用いて、第１の車両の側方または後方の領域を走行している第２の車両を検出する側後方車両検出部と、第２の車両の検出情報を用いて、第２の車両の速度、第２の車両と第１の車両との間の距離情報および第２の車両が第１の車両に到達する推定到達時間を計測する側後方車両計測部と、第１の車両の速度を取得する車速情報取得部と、第１の車両の速度および第２の車両の速度が閾値未満である場合、第１の車両および第２の車両が第１の走行状態であると判定し、第１の車両の速度および第２の車両の速度が閾値以上である場合、第１の車両および第２の車両が第２の走行状態であると判定する走行状態判定部と、第１の車両および第２の車両が第１の走行状態である場合、距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、第１の車両および第２の車両が第２の走行状態である場合、推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する表示制御部と、を備える。The display control device according to the present disclosure includes a side rear vehicle detection unit that detects a second vehicle traveling in the area to the side or rear of a first vehicle using a side rear captured image in which the areas to the side and rear of the first vehicle are captured, a side rear vehicle measurement unit that uses detection information of the second vehicle to measure the speed of the second vehicle, distance information between the second vehicle and the first vehicle, and an estimated arrival time for the second vehicle to arrive at the first vehicle, a vehicle speed information acquisition unit that acquires the speed of the first vehicle, and a vehicle speed information acquisition unit that, when the speed of the first vehicle and the speed of the second vehicle are less than a threshold value, measures the speed of the first vehicle. The vehicle control device includes a driving state determination unit that determines that both the first vehicle and the second vehicle are in a first driving state, and that, if the speed of the first vehicle and the speed of the second vehicle are equal to or greater than a threshold value, determines that the first vehicle and the second vehicle are in a second driving state; and a display control unit that generates display control information for superimposing and displaying distance information on a side rear captured image when the first vehicle and the second vehicle are in the first driving state, and generates display control information for superimposing and displaying an estimated arrival time on a side rear captured image when the first vehicle and the second vehicle are in the second driving state.

本開示によれば、第１の車両の速度と、第１の車両の側方または後方の領域を走行する第２の車両の速度とが閾値未満である場合に、第１の車両および第２の車両が第１の走行状態であると判定されて、第１の車両と第２の車両との間の距離情報を側後方撮像画像に重畳した画像が表示される。第１の車両の速度および第２の車両の速度が閾値以上である場合、第１の車両および第２の車両が第２の走行状態であると判定されて、第２の車両が第１の車両に到達する推定到達時間を側後方撮像画像に重畳した画像が表示される。
このように、本開示に係る表示制御装置は、実空間の車両側後方の状況を把握する助けとなる情報を表示することができる。 According to the present disclosure, when the speed of a first vehicle and the speed of a second vehicle traveling in an area to the side or rear of the first vehicle are less than a threshold, it is determined that the first vehicle and the second vehicle are in a first traveling state, and an image in which distance information between the first vehicle and the second vehicle is superimposed on a side rear captured image is displayed. When the speed of the first vehicle and the speed of the second vehicle are equal to or greater than a threshold, it is determined that the first vehicle and the second vehicle are in a second traveling state, and an image in which an estimated arrival time for the second vehicle to arrive at the first vehicle is superimposed on a side rear captured image is displayed.
In this way, the display control device according to the present disclosure can display information that helps to grasp the situation behind the vehicle in real space.

実施の形態１に係る表示制御システムの構成を示すブロック図である。1 is a block diagram showing a configuration of a display control system according to a first embodiment. 実施の形態１に係る表示制御装置の構成を示すブロック図である。1 is a block diagram showing a configuration of a display control device according to a first embodiment; 実施の形態１に係る表示制御方法を示すフローチャートである。4 is a flowchart showing a display control method according to the first embodiment. 渋滞走行モードの表示画面の例（１）を示す画面図である。FIG. 11 is a screen diagram showing an example (1) of a display screen in a traffic jam driving mode. 通常走行モードの表示画面の例（１）を示す画面図である。FIG. 11 is a screen diagram showing an example (1) of a display screen in a normal driving mode. 実施の形態１に係る表示制御方法の変形例を示すフローチャートである。10 is a flowchart showing a modification of the display control method according to the first embodiment. 車両同士の位置関係の例（１）を模式的に示す模式図である。FIG. 2 is a schematic diagram showing an example (1) of a positional relationship between vehicles. 渋滞走行モードの表示画面の例（２）を示す画面図である。FIG. 11 is a screen diagram showing an example (2) of a display screen in the traffic jam driving mode. 図９Ａおよび図９Ｂは、実施の形態１に係る表示制御装置の機能を実現するハードウェア構成を示すブロック図である。9A and 9B are block diagrams showing a hardware configuration for realizing the functions of the display control device according to the first embodiment. 実施の形態２に係る表示制御システムの構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of a display control system according to a second embodiment. 実施の形態２に係る表示制御方法を示すフローチャートである。10 is a flowchart showing a display control method according to a second embodiment. 車両同士の位置関係の例（２）を模式的に示す模式図である。FIG. 13 is a schematic diagram showing an example (2) of the positional relationship between vehicles. 通常走行モードの表示画面の例（２）を示す画面図である。FIG. 11 is a screen diagram showing an example (2) of a display screen in a normal driving mode. 実施の形態２に係る表示制御方法の変形例を示すフローチャートである。13 is a flowchart showing a modified example of the display control method according to the second embodiment. 車両同士の位置関係の例（３）を模式的に示す模式図である。FIG. 11 is a schematic diagram showing an example (3) of the positional relationship between vehicles. 渋滞走行モードの表示画面の例（３）を示す画面図である。FIG. 11 is a screen diagram showing an example (3) of a display screen in the traffic jam driving mode.

実施の形態１．
図１は、実施の形態１に係る表示制御システム１の構成を示すブロック図である。図１において、表示制御システム１は、車両１０が備える左右のサイドミラーの位置に設けられた撮像部２Ａまたは２Ｂによって撮像された画像（映像）を、車室内に設けられた表示部３Ａまたは３Ｂに表示するシステムである。撮像部２Ａは、右側のサイドミラーの位置に設けられ、車両１０の右側方および後方の領域を撮像する。撮像部２Ａによって撮像された画像（映像）は、表示部３Ａに表示される。撮像部２Ｂは、左側のサイドミラーの位置に設けられ、車両１０の左側方および後方の領域を撮像する。撮像部２Ｂによって撮像された画像（映像）は、表示部３Ｂに表示される。表示部３Ａは、車両１０の右側の領域の画像を表示し、表示部３Ｂは、車両１０の左側の領域の画像を表示する。 Embodiment 1.
FIG. 1 is a block diagram showing a configuration of a display control system 1 according to a first embodiment. In FIG. 1, the display control system 1 is a system that displays an image (video) captured by an imaging unit 2A or 2B provided at the position of the left and right side mirrors of a vehicle 10 on a display unit 3A or 3B provided in a vehicle cabin. The imaging unit 2A is provided at the position of the right side mirror and captures the right side and rear areas of the vehicle 10. The image (video) captured by the imaging unit 2A is displayed on the display unit 3A. The imaging unit 2B is provided at the position of the left side mirror and captures the left side and rear areas of the vehicle 10. The image (video) captured by the imaging unit 2B is displayed on the display unit 3B. The display unit 3A displays an image of the right side area of the vehicle 10, and the display unit 3B displays an image of the left side area of the vehicle 10.

表示制御装置４は、撮像部２Ａまたは２Ｂにより撮像された車両１０の左右側方および後方の撮像画像（以下、側後方撮像画像という。）を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、車両１０の側後方撮像画像を表示する。このように、表示制御システム１において、撮像部２Ａおよび２Ｂは、電子化されたサイドミラーとして機能する。The display control device 4 generates display control information for displaying captured images of the left and right sides and rear of the vehicle 10 captured by the imaging unit 2A or 2B (hereinafter referred to as side-rear captured images). The display unit 3A or 3B displays the side-rear captured images of the vehicle 10 based on the display control information. In this way, in the display control system 1, the imaging units 2A and 2B function as electronic side mirrors.

ただし、表示部３Ａまたは３Ｂに表示された画像では、サイドミラーを直接見る場合に比べて距離感が掴みにくく、車両１０の運転者は、実空間における車両１０の側方または後方の少なくとも一方（以下、側後方という。）の状況を直感的に把握しにくい。
そこで、表示制御システム１では、表示部３Ａまたは３Ｂに表示される側後方撮像画像に対して、運転者が実空間における車両１０の側後方の状況を把握する助けとなる情報を付与する。 However, it is difficult to get a sense of distance from the image displayed on display unit 3A or 3B compared to looking directly at the side mirror, and it is difficult for the driver of vehicle 10 to intuitively grasp the situation on at least one side or rear of vehicle 10 (hereinafter referred to as the side or rear) in real space.
Therefore, in the display control system 1, information that helps the driver to grasp the situation on the sides and rear of the vehicle 10 in real space is added to the side and rear captured image displayed on the display unit 3A or 3B.

例えば、実空間において車両の通行が渋滞している状況である場合は、車両１０および車両１０の側後方を走行する車両（以下、側後方車両という。）のそれぞれの動きの変化が遅く、車両１０の運転者は、実空間における車両同士の位置関係を把握すべき状況である。この場合、表示制御装置４は、車両１０と側後方車両との距離情報を側後方撮像画像に重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、上記表示制御情報に基づいて、車両１０と側後方車両との距離情報が重畳された側後方撮像画像を表示する。For example, when vehicle traffic is congested in real space, the movement of vehicle 10 and the vehicles traveling to the side and rear of vehicle 10 (hereinafter referred to as rear vehicles) changes slowly, and the driver of vehicle 10 needs to understand the positional relationship between the vehicles in real space. In this case, display control device 4 generates display control information for displaying an image in which distance information between vehicle 10 and the rear vehicles is superimposed on the rear captured image. Display unit 3A or 3B displays the rear captured image on which distance information between vehicle 10 and the rear vehicles is superimposed based on the display control information.

一方、実空間において車両が通常走行している状況である場合は、車両１０および側後方車両のそれぞれの動きの変化が速く、車両１０の運転者は、実空間において車両１０に接近してくる側後方車両の動きを把握すべき状況である。この場合、表示制御装置４は、側後方車両が車両１０に到達する推定到達時間を側後方撮像画像に重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、上記表示制御情報に基づいて、側後方車両が車両１０に到達する推定到達時間が重畳された側後方撮像画像を表示する。このように、表示制御装置４は、実空間の車両側後方の状況を把握する助けとなる情報（距離情報または推定到達時間）を、車両１０の運転者に提示するものである。On the other hand, when the vehicle is traveling normally in real space, the movement of the vehicle 10 and the vehicle at the rear changes quickly, and the driver of the vehicle 10 must grasp the movement of the vehicle at the rear approaching the vehicle 10 in real space. In this case, the display control device 4 generates display control information for displaying an image in which the estimated arrival time of the vehicle at the rear reaches the vehicle 10 is superimposed on the vehicle at the rear captured image. The display unit 3A or 3B displays the vehicle at the rear captured image on which the estimated arrival time of the vehicle at the rear reaches the vehicle 10 is superimposed based on the display control information. In this way, the display control device 4 presents the driver of the vehicle 10 with information (distance information or estimated arrival time) that helps the driver to grasp the situation behind the vehicle in real space.

図２は、実施の形態１に係る表示制御装置４の構成を示すブロック図である。例えば、図１に示した車両１０は、撮像部２Ａ、撮像部２Ｂ、表示部３Ａおよび表示部３Ｂに加えて、車載センサ５、および車載ＥＣＵ６を備えた第１の車両である。表示制御装置４は、車両１０に搭載される。車載センサ５は、各種のセンサから構成されるセンサ群であり、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ミリ波レーダおよび方位センサ等が含まれる。車載ＥＣＵ６は、車両１０の走行を制御する電子制御ユニットである。例えば、車載ＥＣＵ６は、運転者によるアクセルまたはブレーキ操作に応じて、車両１０の速度を制御する。 Figure 2 is a block diagram showing the configuration of the display control device 4 according to the first embodiment. For example, the vehicle 10 shown in Figure 1 is a first vehicle equipped with an on-board sensor 5 and an on-board ECU 6 in addition to the imaging unit 2A, the imaging unit 2B, the display unit 3A, and the display unit 3B. The display control device 4 is mounted on the vehicle 10. The on-board sensor 5 is a sensor group consisting of various sensors, and includes a GPS (Global Positioning System), a millimeter wave radar, a direction sensor, and the like. The on-board ECU 6 is an electronic control unit that controls the running of the vehicle 10. For example, the on-board ECU 6 controls the speed of the vehicle 10 in response to the accelerator or brake operation by the driver.

表示制御装置４は、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５を備える。側後方車両検出部４１は、車両１０の側方および後方の領域が撮像された側後方撮像画像を用いて、車両１０の側方または後方の領域を走行している側後方車両を検出する。例えば、側後方車両検出部４１は、撮像部２Ａまたは２Ｂが撮像する側後方撮像画像をフレームごとに画像解析し、車両１０の側後方車両を認識する。画像解析には、例えば、パターンマッチング等の画像解析技術が用いられる。なお、側後方車両は、車両１０の側方または後方を走行している第２の車両である。The display control device 4 includes a side rear vehicle detection unit 41, a side rear vehicle measurement unit 42, a vehicle speed information acquisition unit 43, a driving state determination unit 44, and a display control unit 45. The side rear vehicle detection unit 41 detects a side rear vehicle traveling in the side or rear area of the vehicle 10 using a side rear captured image in which the side and rear areas of the vehicle 10 are captured. For example, the side rear vehicle detection unit 41 performs image analysis on the side rear captured image captured by the imaging unit 2A or 2B for each frame to recognize a side rear vehicle of the vehicle 10. For example, an image analysis technique such as pattern matching is used for the image analysis. The side rear vehicle is a second vehicle traveling to the side or rear of the vehicle 10.

側後方車両計測部４２は、車載センサ５による側後方車両の検出情報を用いて、側後方車両の速度、側後方車両と車両１０との距離情報および側後方車両が車両１０に到達する推定到達時間を計測する。例えば、側後方車両計測部４２は、車載センサ５であるミリ波レーダが検出した周辺車両との距離の時間変化に基づいて、車両１０に対する側後方車両の相対速度を計測する。車両１０に対する側後方車両の相対速度が正の値である場合に、側後方車両計測部４２は、側後方車両の相対速度を用いて、側後方車両が車両１０に到達する推定到達時間を算出する。The side rear vehicle measurement unit 42 uses the detection information of the side rear vehicle by the on-board sensor 5 to measure the speed of the side rear vehicle, the distance information between the side rear vehicle and vehicle 10, and the estimated arrival time for the side rear vehicle to reach vehicle 10. For example, the side rear vehicle measurement unit 42 measures the relative speed of the side rear vehicle to vehicle 10 based on the change over time in the distance to the surrounding vehicles detected by the millimeter wave radar, which is the on-board sensor 5. When the relative speed of the side rear vehicle to vehicle 10 is a positive value, the side rear vehicle measurement unit 42 uses the relative speed of the side rear vehicle to calculate the estimated arrival time for the side rear vehicle to reach vehicle 10.

また、側後方車両計測部４２は、車車間通信で側後方車両から、側後方車両の速度（対地速度）、側後方車両と車両１０との距離情報、および側後方車両が車両１０に到達する推定到達時間の少なくとも一つを取得してもよい。
さらに、側後方車両計測部４２は、表示制御部４５により距離情報または推定到達時間情報を表示する側後方車両が決定された時点から、側後方車両と車両１０との距離情報を計測し、側後方車両が車両１０に到達する推定到達時間を計測する。 In addition, the side rear vehicle measurement unit 42 may obtain at least one of the following information from the side rear vehicle via vehicle-to-vehicle communication: the speed (ground speed) of the side rear vehicle, distance information between the side rear vehicle and vehicle 10, and an estimated arrival time for the side rear vehicle to reach vehicle 10.
Furthermore, the side rear vehicle measurement unit 42 measures the distance information between the side rear vehicle and vehicle 10 from the point in time when the side rear vehicle for which distance information or estimated arrival time information is displayed is determined by the display control unit 45, and measures the estimated arrival time for the side rear vehicle to arrive at vehicle 10.

車速情報取得部４３は、車両１０の速度を取得する。例えば、車速情報取得部４３は、車両１０の走行を制御する車載ＥＣＵ６から、車両１０の速度を取得する。車速情報取得部４３が取得した車両１０の車速情報は、走行状態判定部４４に出力される。また、車速情報取得部４３は、車載ＥＣＵ６ではなく、車両１０に搭載された車速センサから、車両１０の速度を取得してもよい。The vehicle speed information acquisition unit 43 acquires the speed of the vehicle 10. For example, the vehicle speed information acquisition unit 43 acquires the speed of the vehicle 10 from the on-board ECU 6 that controls the driving of the vehicle 10. The vehicle speed information of the vehicle 10 acquired by the vehicle speed information acquisition unit 43 is output to the driving state determination unit 44. In addition, the vehicle speed information acquisition unit 43 may acquire the speed of the vehicle 10 from a vehicle speed sensor mounted on the vehicle 10, instead of from the on-board ECU 6.

走行状態判定部４４は、車両１０の速度および側後方車両の速度が閾値未満である場合に、渋滞走行モードであると判定し、車両１０の速度および側後方車両の速度が閾値以上であれば、通常走行モードであると判定する。渋滞走行モードは、車両１０の速度および側後方車両の速度が閾値未満である第１の走行状態である。なお、車両１０の速度および側後方車両の速度は、絶対的な速度、すなわち対地速度である。通常走行モードは、車両１０の速度および側後方車両の速度が閾値以上である第２の走行状態である。The driving state determination unit 44 determines that the driving mode is in the traffic jam driving mode when the speed of the vehicle 10 and the speed of the vehicle on the side are less than a threshold value, and determines that the driving mode is in the normal driving mode when the speed of the vehicle 10 and the speed of the vehicle on the side are equal to or greater than the threshold value. The traffic jam driving mode is a first driving state in which the speed of the vehicle 10 and the speed of the vehicle on the side are less than a threshold value. Note that the speed of the vehicle 10 and the speed of the vehicle on the side are absolute speeds, i.e., ground speeds. The normal driving mode is a second driving state in which the speed of the vehicle 10 and the speed of the vehicle on the side are equal to or greater than a threshold value.

例えば、走行状態判定部４４は、車速情報取得部４３から車両１０の速度を示す車速情報を取得し、側後方車両計測部４２から側後方車両の速度を示す計測情報を取得すると、これらの速度を閾値（例えば、２０ｋｍ／ｈ）と比較する。走行状態判定部４４は、これらの速度がともに閾値未満であれば、渋滞走行モードであると判定し、閾値以上であると通常走行モードであると判定する。この走行状態の判定結果を示す情報は、走行状態判定部４４から表示制御部４５に出力される。また、走行状態判定部４４は、側後方車両計測部４２が計測した側後方車両の速度が、車両１０に対する側後方車両の相対速度であった場合、車両１０の車速情報を用いて側後方車両の対地速度を算出する。For example, when the driving state determination unit 44 acquires vehicle speed information indicating the speed of the vehicle 10 from the vehicle speed information acquisition unit 43 and acquires measurement information indicating the speed of the side rear vehicle from the side rear vehicle measurement unit 42, it compares these speeds with a threshold value (e.g., 20 km/h). If both of these speeds are less than the threshold value, the driving state determination unit 44 determines that the driving mode is a traffic jam driving mode, and if they are equal to or greater than the threshold value, it determines that the driving mode is a normal driving mode. Information indicating the determination result of this driving state is output from the driving state determination unit 44 to the display control unit 45. Furthermore, if the speed of the side rear vehicle measured by the side rear vehicle measurement unit 42 is the relative speed of the side rear vehicle to the vehicle 10, the driving state determination unit 44 calculates the ground speed of the side rear vehicle using the vehicle speed information of the vehicle 10.

表示制御部４５は、渋滞走行モードである場合に、車両１０との距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、通常走行モードである場合、推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する。例えば、表示制御部４５は、側後方車両計測部４２が計測した側後方車両の計測情報に基づいて、側後方車両検出部４１が側後方撮像画像から検出した側後方車両を特定することにより、側後方撮像画像における側後方車両の近傍に距離情報または推定到達時間情報を重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、距離情報または推定到達時間情報が重畳された側後方撮像画像を表示する。The display control unit 45 generates display control information for displaying distance information from the vehicle 10 superimposed on the side rear captured image when in the traffic jam driving mode, and generates display control information for displaying the estimated arrival time superimposed on the side rear captured image when in the normal driving mode. For example, the display control unit 45 generates display control information for displaying an image in which distance information or estimated arrival time information is superimposed near the side rear vehicle in the side rear captured image by identifying the side rear vehicle detected from the side rear captured image by the side rear vehicle detection unit 41 based on the measurement information of the side rear vehicle measured by the side rear vehicle measurement unit 42. The display unit 3A or 3B displays the side rear captured image on which the distance information or estimated arrival time information is superimposed based on the display control information.

このように、表示制御装置４は、テキストまたは画像の少なくとも一方で距離または推定到達時間を表した補助情報を、実写映像である側後方撮像画像に重畳させて表示する。これにより、表示部３Ａまたは３Ｂに表示された側後方撮像画像を見た運転者は、走行時の臨場感を損なわずに、実空間の車両側後方の状況を直感的に把握することができる。In this way, the display control device 4 displays auxiliary information, which is at least one of text and an image that indicates distance or estimated arrival time, superimposed on the side rear captured image, which is a real-life image. This allows the driver who sees the side rear captured image displayed on the display unit 3A or 3B to intuitively grasp the situation behind the vehicle in real space without losing the sense of realism while driving.

図３は、実施の形態１に係る表示制御方法を示すフローチャートである。
側後方車両検出部４１は、車両１０が走行している間、撮像部２Ａまたは２Ｂによって連続的に撮像された側後方撮像画像を用いて、車両１０の側後方車両の検出を行う。このとき、側後方車両検出部４１は側後方車両が存在するか否かの判定状態となる（ステップＳＴ１）。なお、撮像部２Ａまたは２Ｂにより撮像された側後方撮像画像は、表示部３Ａまたは３Ｂに順次表示される。車両１０の側後方車両が検出されない場合（ステップＳＴ１；ＮＯ）、図３の一連の処理が終了し、再びステップＳＴ１からの処理が実行される。 FIG. 3 is a flowchart showing a display control method according to the first embodiment.
While the vehicle 10 is traveling, the side rear vehicle detection unit 41 detects a vehicle at the side rear of the vehicle 10 using the side rear captured images continuously captured by the imaging unit 2A or 2B. At this time, the side rear vehicle detection unit 41 is in a state of determining whether or not a vehicle at the side rear exists (step ST1). The side rear captured images captured by the imaging unit 2A or 2B are displayed sequentially on the display unit 3A or 3B. If a vehicle at the side rear of the vehicle 10 is not detected (step ST1; NO), the series of processes in FIG. 3 ends, and the processes from step ST1 are executed again.

車両１０の側後方車両が検出された場合（ステップＳＴ１；ＹＥＳ）、側後方車両計測部４２が、側後方車両の検出情報を用いて側後方車両の速度を計測する。車速情報取得部４３は、車両１０の速度情報を取得する。走行状態判定部４４は、側後方車両計測部４２による側後方車両の計測情報と、車速情報取得部４３が取得した車両１０の車速情報とを用いて、車両１０の速度および側後方車両の速度がともに一定速度（閾値）未満であるか否かを判定する（ステップＳＴ２）。When a vehicle is detected at the rear of the vehicle 10 (step ST1; YES), the rear vehicle measurement unit 42 measures the speed of the vehicle using the detection information of the vehicle. The vehicle speed information acquisition unit 43 acquires the speed information of the vehicle 10. The driving state determination unit 44 uses the measurement information of the vehicle at the rear by the rear vehicle measurement unit 42 and the vehicle speed information of the vehicle 10 acquired by the vehicle speed information acquisition unit 43 to determine whether the speed of the vehicle 10 and the speed of the vehicle at the rear are both less than a certain speed (threshold) (step ST2).

車両１０の速度および側後方車両の速度がともに一定速度未満である場合（ステップＳＴ２；ＹＥＳ）、走行状態判定部４４は、車両１０および側後方車両が渋滞走行モードであると判定する。渋滞走行モードにおいて、走行状態判定部４４は、側後方車両計測部４２が計測した側後方車両と車両１０との距離情報を取得し（ステップＳＴ３）、当該距離情報を表示制御部４５に出力する。If the speed of the vehicle 10 and the speed of the vehicle at the rear are both less than a certain speed (step ST2; YES), the driving state determination unit 44 determines that the vehicle 10 and the vehicle at the rear are in a traffic jam driving mode. In the traffic jam driving mode, the driving state determination unit 44 acquires distance information between the vehicle 10 and the vehicle at the rear measured by the vehicle at the rear measurement unit 42 (step ST3) and outputs the distance information to the display control unit 45.

表示制御部４５は、渋滞走行モードであることを示す判定結果情報と、側後方車両と車両１０との距離情報とを取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像に距離情報を重畳した画像を表示するための表示制御情報を生成し、生成した表示制御情報を表示部３Ａまたは３Ｂに出力する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて距離情報が重畳された側後方撮像画像を表示する（ステップＳＴ４）。When the display control unit 45 acquires the determination result information indicating that the vehicle is in the traffic jam driving mode and the distance information between the vehicle 10 and the vehicle at the rear, the display control unit 45 generates display control information for displaying an image in which the distance information is superimposed on the rear side captured image being captured by the image capturing unit 2A or 2B, and outputs the generated display control information to the display unit 3A or 3B. The display unit 3A or 3B displays the rear side captured image with the distance information superimposed based on the display control information (step ST4).

また、表示制御部４５は、側後方撮像画像に距離情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する距離情報を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、側後方車両と車両１０との距離の時間変化を把握することができる。In addition, the display control unit 45 may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the distance information is superimposed and displayed on the side rear captured image, and superimpose the ever-changing distance information on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change over time in the distance between the side rear vehicle and the vehicle 10 without losing the sense of realism of the driving.

図４は、渋滞走行モードの表示画面の例（１）を示す画面図である。図４に示す側後方撮像画像５０Ａは、撮像部２Ｂによって撮像されて表示部３Ｂに表示された画像である。側後方撮像画像５０Ａには、車両１０Ａおよび車両１０Ｂを含む複数の側後方車両が撮像されている。表示制御部４５は、距離情報が第１表示条件を満たす場合、距離情報を側後方撮像画像５０Ａに重畳して表示するための表示制御情報を生成する。例えば、距離情報が示す距離が閾値未満である場合、表示制御部４５は、距離情報を側後方撮像画像５０Ａに重畳して表示するための表示制御情報を生成する。 Figure 4 is a screen diagram showing an example (1) of a display screen in traffic jam driving mode. The side rear captured image 50A shown in Figure 4 is an image captured by the imaging unit 2B and displayed on the display unit 3B. A plurality of side rear vehicles including vehicle 10A and vehicle 10B are captured in the side rear captured image 50A. When the distance information satisfies the first display condition, the display control unit 45 generates display control information for superimposing and displaying the distance information on the side rear captured image 50A. For example, when the distance indicated by the distance information is less than a threshold value, the display control unit 45 generates display control information for superimposing and displaying the distance information on the side rear captured image 50A.

上記閾値が「３ｍ」である場合、図４に示すように、側後方撮像画像５０Ａにおいて、車両１０との距離が「１ｍ」である車両１０Ａの近傍に距離情報５１Ａが表示され、車両１０との距離が「２ｍ」である車両１０Ｂの近傍に距離情報５１Ｂが表示される。これにより、多数の側後方車両に距離情報が表示されて、側後方撮像画像５０Ａが煩雑な表示になることを防止できる。 When the threshold value is "3 m", as shown in Fig. 4, in the side rear captured image 50A, distance information 51A is displayed near vehicle 10A whose distance from vehicle 10 is "1 m", and distance information 51B is displayed near vehicle 10B whose distance from vehicle 10 is "2 m". This prevents distance information from being displayed for a large number of side rear vehicles, causing the side rear captured image 50A to become cluttered.

また、表示制御部４５は、距離情報を表示しない車両と区別するため、距離情報を表示した車両を強調表示させてもよい。例えば、図４に示すように、車両１０Ａおよび車両１０Ｂをそれぞれ囲む枠線画像２０を表示させる。車両１０の運転者は、側後方撮像画像５０Ａを見ることにより、車両１０の近くを車両１０Ａおよび１０Ｂが走行していることを直感的に把握することができる。なお、強調表示には、枠線画像２０以外に、例えば、車両の色を変更する、車両に対して点滅パターンを重畳する、あるいは、枠線画像２０を点滅させる、といった表示処理を採用してもよい。
また、表示制御部４５は、渋滞走行モードにおいて、側後方撮像画像５０Ａに映る全ての側後方車両に対して車両１０との距離情報を重畳させてもよい。 The display control unit 45 may highlight the vehicle that displays the distance information to distinguish it from the vehicle that does not display the distance information. For example, as shown in FIG. 4, a frame image 20 that surrounds the vehicle 10A and the vehicle 10B is displayed. The driver of the vehicle 10 can intuitively understand that the vehicles 10A and 10B are traveling near the vehicle 10 by looking at the side rear captured image 50A. For highlighting, other display processing such as changing the color of the vehicle, superimposing a blinking pattern on the vehicle, or blinking the frame image 20 may be adopted in addition to the frame image 20.
In addition, in the traffic jam driving mode, the display control unit 45 may superimpose distance information from the vehicle 10 for all side rear vehicles captured in the side rear captured image 50A.

一方、車両１０の速度および側後方車両の速度がともに一定速度以上である場合（ステップＳＴ２；ＮＯ）、走行状態判定部４４は、車両１０および側後方車両が通常走行モードであると判定する。通常走行モードにおいて、走行状態判定部４４は、側後方車両計測部４２が計測した、側後方車両が車両１０に到達するまでの推定到達時間情報を取得し（ステップＳＴ５）、当該推定到達時間情報を表示制御部４５に出力する。On the other hand, if the speed of the vehicle 10 and the speed of the rear vehicle are both equal to or greater than a certain speed (step ST2; NO), the driving state determination unit 44 determines that the vehicle 10 and the rear vehicle are in the normal driving mode. In the normal driving mode, the driving state determination unit 44 acquires estimated arrival time information for the rear vehicle to reach the vehicle 10 measured by the rear vehicle measurement unit 42 (step ST5), and outputs the estimated arrival time information to the display control unit 45.

表示制御部４５は、通常走行モードであることを示す判定結果情報と、側後方車両が車両１０に到達する推定到達時間情報とを取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像に推定到達時間情報を重畳した画像を表示するための表示制御情報を生成して、表示制御情報を表示部３Ａまたは３Ｂに出力する。
表示部３Ａまたは３Ｂは、表示制御情報に基づいて、推定到達時間情報が重畳された側後方撮像画像を表示する（ステップＳＴ６）。 When the display control unit 45 acquires the determination result information indicating that the normal driving mode is being used and the estimated arrival time information for the side rear vehicle to reach vehicle 10, the display control unit 45 generates display control information for displaying an image in which the estimated arrival time information is superimposed on the side rear captured image being captured by the imaging unit 2A or 2B, and outputs the display control information to the display unit 3A or 3B.
The display unit 3A or 3B displays the side rear captured image on which the estimated arrival time information is superimposed based on the display control information (step ST6).

また、表示制御部４５は、側後方撮像画像に推定到達時間情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する推定到達時間を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、側後方車両が車両１０に到達する時間の変化を把握することができる。In addition, the display control unit 45 may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the estimated arrival time information is superimposed and displayed on the side rear captured image, and superimpose and display the ever-changing estimated arrival time on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change in the time it takes for the side rear vehicle to reach the vehicle 10 without losing the sense of realism of the drive.

図５は、通常走行モードの表示画面の例（１）を示す画面図である。図５に示す側後方撮像画像５０Ｂは、撮像部２Ｂによって撮像されて表示部３Ｂに表示された画像である。側後方撮像画像５０Ｂには、側後方車両である車両１０Ｃが撮像されている。表示制御部４５は、推定到達時間が第２表示条件を満たす場合、推定到達時間を側後方撮像画像５０Ｂに重畳して表示するための表示制御情報を生成する。例えば、推定到達情報が示す時間が閾値未満である場合、表示制御部４５は、推定到達時間情報を側後方撮像画像５０Ｂに重畳して表示するための表示制御情報を生成する。 Figure 5 is a screen diagram showing an example (1) of a display screen in normal driving mode. The side rear captured image 50B shown in Figure 5 is an image captured by the imaging unit 2B and displayed on the display unit 3B. Vehicle 10C, which is a side rear vehicle, is captured in the side rear captured image 50B. When the estimated arrival time satisfies the second display condition, the display control unit 45 generates display control information for superimposing and displaying the estimated arrival time on the side rear captured image 50B. For example, when the time indicated by the estimated arrival information is less than a threshold value, the display control unit 45 generates display control information for superimposing and displaying the estimated arrival time information on the side rear captured image 50B.

上記閾値が「１５ｓｅｃ」である場合、図５に示すように、側後方撮像画像５０Ｂにおいて、車両１０の推定到達時間が「１０ｓｅｃ」である車両１０Ｃの近傍に推定到達時間情報５２が表示される。これにより、多数の側後方車両に推定到達時間情報が表示され、側後方撮像画像５０Ｂが煩雑な表示になることを防止できる。 When the threshold value is "15 sec", as shown in Fig. 5, in the side rear captured image 50B, estimated arrival time information 52 is displayed near vehicle 10C, whose estimated arrival time is "10 sec". This prevents the side rear captured image 50B from becoming cluttered with estimated arrival time information being displayed for a large number of side rear vehicles.

また、表示制御部４５は、推定到達時間情報を表示しない車両と区別するため、推定到達時間情報を表示した車両を強調表示させてもよい。例えば、図５に示すように、車両１０Ｃを囲む枠線画像２０を表示させる。車両１０の運転者は、側後方撮像画像５０Ｂを見ることで、車両１０に接近している車両１０Ｃが存在することを、直感的に把握することができる。
なお、強調表示には、枠線画像２０以外に、例えば、車両の色を変更する、車両に対して点滅パターンを重畳する、あるいは、枠線画像２０を点滅させる、といった表示処理を採用してもよい。
また、表示制御部４５は、通常走行モードにおいて、側後方撮像画像５０Ｂに映る全ての側後方車両に対して推定到達時間情報を重畳させてもよい。 The display control unit 45 may highlight the vehicle that displays the estimated arrival time information to distinguish it from the vehicle that does not display the estimated arrival time information. For example, as shown in Fig. 5, a frame image 20 surrounding the vehicle 10C is displayed. The driver of the vehicle 10 can intuitively know that the vehicle 10C is approaching the vehicle 10 by looking at the side rear captured image 50B.
In addition, for highlighting, other display processes may be used besides the frame image 20, such as changing the color of the vehicle, superimposing a blinking pattern on the vehicle, or making the frame image 20 blink.
Furthermore, in the normal driving mode, the display control unit 45 may superimpose the estimated arrival time information for all side-rear vehicles captured in the side-rear captured image 50B.

また、第２表示条件は、推定到達時間情報が示す時間が上記閾値以上である側後方車両を特定するものであってもよい。この場合、表示制御部４５は、側後方撮像画像５０Ｂにおいて、推定到達時間情報が示す時間が上記閾値以上である側後方車両の近傍に推定到達時間情報を表示するための表示制御情報を生成することになる。The second display condition may also be to identify a side rear vehicle whose estimated arrival time information indicates a time equal to or greater than the threshold value. In this case, the display control unit 45 generates display control information for displaying the estimated arrival time information in the side rear captured image 50B near the side rear vehicle whose estimated arrival time information indicates a time equal to or greater than the threshold value.

次に、実施の形態１に係る表示制御方法の変形例について説明する。
図６は、実施の形態１に係る表示制御方法の変形例を示すフローチャートである。
側後方車両検出部４１は、車両１０が走行している間、撮像部２Ａまたは２Ｂによって連続的に撮像された側後方撮像画像を用いて、車両１０の側後方車両の検出を行う。このとき、側後方車両検出部４１は、車両１０と同一車線に後方車両が存在するか否かの判定状態となる（ステップＳＴ１Ａ）。なお、撮像部２Ａまたは２Ｂにより撮像された側後方撮像画像は、表示部３Ａまたは３Ｂに順次表示される。同一車線の後方車両が検出されない場合（ステップＳＴ１Ａ；ＮＯ）、図６の一連の処理が終了し、再びステップＳＴ１Ａからの処理が実行される。 Next, a modification of the display control method according to the first embodiment will be described.
FIG. 6 is a flowchart showing a modification of the display control method according to the first embodiment.
While the vehicle 10 is traveling, the side rear vehicle detection unit 41 detects a vehicle behind the vehicle 10 using side rear captured images continuously captured by the imaging unit 2A or 2B. At this time, the side rear vehicle detection unit 41 is in a state of determining whether or not a rear vehicle exists in the same lane as the vehicle 10 (step ST1A). The side rear captured images captured by the imaging unit 2A or 2B are displayed sequentially on the display unit 3A or 3B. If no rear vehicle in the same lane is detected (step ST1A; NO), the series of processes in FIG. 6 ends, and the processes from step ST1A are executed again.

車両１０と同一車線に後方車両が検出された場合（ステップＳＴ１Ａ；ＹＥＳ）、側後方車両計測部４２が、側後方車両の検出情報を用いて、車両１０と同一車線を走行している後方車両の速度を計測する。車速情報取得部４３は、車両１０の速度情報を取得する。走行状態判定部４４は、側後方車両計測部４２による後方車両の計測情報と車速情報取得部４３が取得した車両１０の車速情報とを用いて、車両１０の速度および後方車両の速度がともに一定速度（閾値）未満であるか否かが判定される（ステップＳＴ２Ａ）。If a rear vehicle is detected in the same lane as vehicle 10 (step ST1A; YES), the rear side vehicle measurement unit 42 uses the detection information of the rear side vehicle to measure the speed of the rear vehicle traveling in the same lane as vehicle 10. The vehicle speed information acquisition unit 43 acquires speed information of vehicle 10. The driving state determination unit 44 uses the measurement information of the rear vehicle by the rear side vehicle measurement unit 42 and the vehicle speed information of vehicle 10 acquired by the vehicle speed information acquisition unit 43 to determine whether the speed of vehicle 10 and the speed of the rear vehicle are both less than a certain speed (threshold) (step ST2A).

車両１０の速度および後方車両の速度がともに一定速度未満である場合（ステップＳＴ２Ａ；ＹＥＳ）、走行状態判定部４４は、車両１０および後方車両が渋滞走行モードであると判定する。渋滞走行モードにおいて、走行状態判定部４４は、同一車線を走行する後方車両と車両１０との距離情報を取得し、距離情報を表示制御部４５に出力する。If the speed of the vehicle 10 and the speed of the rear vehicle are both less than a certain speed (step ST2A; YES), the driving state determination unit 44 determines that the vehicle 10 and the rear vehicle are in a traffic jam driving mode. In the traffic jam driving mode, the driving state determination unit 44 acquires distance information between the vehicle 10 and the rear vehicle traveling in the same lane, and outputs the distance information to the display control unit 45.

表示制御部４５は、渋滞走行モードであることを示す判定結果情報と、後方車両と車両１０との距離情報を取得すると、撮像部２Ａまたは２Ｂが撮像中の後方撮像画像のうち、同一車線の後方を走行しかつ車両１０に最も近い後方車両にのみ、距離情報を重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、距離情報が重畳された側後方撮像画像を表示する（ステップＳＴ３Ａ）。When the display control unit 45 acquires the determination result information indicating that the vehicle is in the traffic jam driving mode and the distance information between the rear vehicle and the vehicle 10, the display control unit 45 generates display control information for displaying an image with distance information superimposed only on the rear captured image captured by the imaging unit 2A or 2B that is traveling rearward in the same lane and closest to the vehicle 10. The display unit 3A or 3B displays the side rear captured image with the distance information superimposed based on the display control information (step ST3A).

また、表示制御部４５は、側後方撮像画像に距離情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する距離情報を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、側後方車両と車両１０との距離の時間変化を把握することができる。In addition, the display control unit 45 may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the distance information is superimposed and displayed on the side rear captured image, and superimpose the ever-changing distance information on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change over time in the distance between the side rear vehicle and the vehicle 10 without losing the sense of realism of the driving.

図７は、車両同士の位置関係の例（１）を模式的に示す模式図である。図７に示すように、渋滞走行モードである場合、車両１０の運転者は、同一車線を走行する最も近い車両１０Ｄが適切な車両間隔で走行しているかどうかを把握したい。そこで、渋滞走行モードで、かつ、車両１０の同一車線を走行する車両１０Ｄの近傍に距離情報を表示する。 Figure 7 is a schematic diagram showing an example (1) of the positional relationship between vehicles. As shown in Figure 7, when the vehicle is in the congestion driving mode, the driver of the vehicle 10 wants to know whether the nearest vehicle 10D traveling in the same lane is traveling at an appropriate vehicle interval. Therefore, in the congestion driving mode, distance information is displayed near the vehicle 10D traveling in the same lane as the vehicle 10.

図８は、渋滞走行モードの表示画面の例（２）を示す画面図である。図８に示す側後方撮像画像５０Ｃは、撮像部２Ｂによって撮像されて表示部３Ｂに表示された画像である。側後方撮像画像５０Ｃには、車両１０Ｄを含む複数の側後方車両が撮像されている。表示制御部４５は、複数の側後方車両のうち、車両１０と同一車線を走行する車両１０Ｄに対して、距離情報を表示するための表示制御情報を生成する。例えば、側後方撮像画像５０Ｃにおいて、車両１０と同一車線を走行し、かつ車両１０に最も近い車両１０Ｄの近傍に距離情報５１が表示される。 Figure 8 is a screen diagram showing an example (2) of a display screen in the traffic jam driving mode. The side rear captured image 50C shown in Figure 8 is an image captured by the imaging unit 2B and displayed on the display unit 3B. A plurality of side rear vehicles including vehicle 10D are captured in the side rear captured image 50C. The display control unit 45 generates display control information for displaying distance information for vehicle 10D, which is traveling in the same lane as vehicle 10, among the plurality of side rear vehicles. For example, in the side rear captured image 50C, distance information 51 is displayed in the vicinity of vehicle 10D, which is traveling in the same lane as vehicle 10 and is closest to vehicle 10.

また、表示制御部４５は、距離情報を表示しない車両と区別するために距離情報を表示した車両を強調表示させてもよい。例えば、図８に示すように、車両１０Ｄを囲む枠線画像２０を表示させる。車両１０の運転者は、側後方撮像画像５０Ｃを見ることにより、車両１０に後続して走行する車両１０Ｄとの間隔を直感的に把握することができる。
なお、強調表示には、枠線画像２０以外に、例えば、車両の色を変更する、車両に対して点滅パターンを重畳する、あるいは、枠線画像２０を点滅させる、といった表示処理を採用してもよい。 The display control unit 45 may highlight the vehicle that displays the distance information to distinguish it from the vehicle that does not display the distance information. For example, as shown in Fig. 8, a frame image 20 surrounding the vehicle 10D is displayed. The driver of the vehicle 10 can intuitively grasp the distance between the vehicle 10 and the vehicle 10D that is following the vehicle 10 by looking at the side rear captured image 50C.
In addition, for highlighting, other display processes may be used besides the frame image 20, such as changing the color of the vehicle, superimposing a blinking pattern on the vehicle, or making the frame image 20 blink.

一方、車両１０の速度および後方車両の速度がともに一定速度以上である場合（ステップＳＴ２Ａ；ＮＯ）、走行状態判定部４４は、車両１０および側後方車両が通常走行モードであると判定する。通常走行モードにおいて、走行状態判定部４４は、側後方車両計測部４２が計測した、側後方車両が車両１０に到達するまでの推定到達時間情報を取得し（ステップＳＴ４Ａ）、当該推定到達時間情報を表示制御部４５に出力する。On the other hand, if the speed of the vehicle 10 and the speed of the rear vehicle are both equal to or greater than a certain speed (step ST2A; NO), the driving state determination unit 44 determines that the vehicle 10 and the rear vehicle are in the normal driving mode. In the normal driving mode, the driving state determination unit 44 acquires estimated arrival time information for the rear vehicle to reach the vehicle 10 measured by the rear vehicle measurement unit 42 (step ST4A), and outputs the estimated arrival time information to the display control unit 45.

表示制御部４５は、通常走行モードであることを示す判定結果情報と、側後方車両が車両１０に到達する推定到達時間情報を取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像に推定到達時間情報を重畳した画像を表示するための表示制御情報を生成し、生成した表示制御情報を表示部３Ａまたは３Ｂに出力する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、推定到達時間情報が重畳された側後方撮像画像を表示する（ステップＳＴ５Ａ）。When the display control unit 45 acquires the determination result information indicating that the normal driving mode is selected and the estimated arrival time information indicating that the vehicle at the rear will reach the vehicle 10, the display control unit 45 generates display control information for displaying an image in which the estimated arrival time information is superimposed on the rear side image being captured by the image capturing unit 2A or 2B, and outputs the generated display control information to the display unit 3A or 3B. The display unit 3A or 3B displays the rear side image on which the estimated arrival time information is superimposed based on the display control information (step ST5A).

また、表示制御部４５は、側後方撮像画像に推定到達時間情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する推定到達時間を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、側後方車両が車両１０に到達する時間の変化を把握することができる。In addition, the display control unit 45 may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the estimated arrival time information is superimposed and displayed on the side rear captured image, and superimpose and display the ever-changing estimated arrival time on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change in the time it takes for the side rear vehicle to reach the vehicle 10 without losing the sense of realism of the drive.

次に、表示制御装置の機能を実現するハードウェア構成について説明する。
表示制御装置４が備える、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５の機能は、処理回路により実現される。すなわち、表示制御装置４は、図３に示したステップＳＴ１からステップＳＴ６までの処理を実行するための処理回路を備える。処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。 Next, a hardware configuration for realizing the functions of the display control device will be described.
The functions of the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving state determination unit 44, and the display control unit 45 included in the display control device 4 are realized by a processing circuit. That is, the display control device 4 includes a processing circuit for executing the processes from step ST1 to step ST6 shown in Fig. 3. The processing circuit may be dedicated hardware, or may be a CPU (Central Processing Unit) that executes a program stored in a memory.

図９Ａは、表示制御装置４の機能を実現するハードウェア構成を示すブロック図である。図９Ｂは、表示制御装置４の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図９Ａおよび図９Ｂにおいて、入力インタフェース１００は、表示制御装置４が、撮像部２Ａおよび２Ｂ、車載センサ５および車載ＥＣＵ６から入力する情報を中継するインタフェースである。出力インタフェース１０１は、表示制御装置４から表示部３Ａおよび３Ｂへ出力される表示制御情報を中継するインタフェースである。 Figure 9A is a block diagram showing a hardware configuration that realizes the functions of the display control device 4. Figure 9B is a block diagram showing a hardware configuration that executes software that realizes the functions of the display control device 4. In Figures 9A and 9B, the input interface 100 is an interface that relays information input to the display control device 4 from the imaging units 2A and 2B, the on-board sensor 5 and the on-board ECU 6. The output interface 101 is an interface that relays display control information output from the display control device 4 to the display units 3A and 3B.

処理回路が図９Ａに示す専用のハードウェアの処理回路１０２である場合、処理回路１０２は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはこれらを組み合わせたものが該当する。
表示制御装置４が備える、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５の機能を別々の処理回路で実現してもよく、これらの機能をまとめて一つの処理回路で実現してもよい。 When the processing circuit is the dedicated hardware processing circuit 102 shown in FIG. 9A, the processing circuit 102 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
The functions of the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving condition determination unit 44 and the display control unit 45 provided in the display control device 4 may be realized by separate processing circuits, or these functions may be realized together by a single processing circuit.

処理回路が図９Ｂに示すプロセッサ１０３である場合、表示制御装置４が備える、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。なお、ソフトウェアまたはファームウェアは、プログラムとして記述されてメモリ１０４に記憶される。 When the processing circuit is the processor 103 shown in Fig. 9B, the functions of the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving state determination unit 44 and the display control unit 45 provided in the display control device 4 are realized by software, firmware or a combination of software and firmware. The software or firmware is written as a program and stored in the memory 104.

プロセッサ１０３は、メモリ１０４に記憶されたプログラムを読み出して実行することにより、表示制御装置４が備える、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５の機能を実現する。
例えば、表示制御装置４は、プロセッサ１０３によって実行されるときに、図３に示したステップＳＴ１からステップＳＴ６までの処理が結果的に実行されるプログラムを記憶するためのメモリ１０４を備える。
これらのプログラムは、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４、および表示制御部４５が行う処理の手順または方法を、コンピュータに実行させる。
メモリ１０４は、コンピュータを、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４、および表示制御部４５として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。 The processor 103 reads out and executes the programs stored in the memory 104, thereby realizing the functions of the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving condition determination unit 44 and the display control unit 45 provided in the display control device 4.
For example, the display control device 4 includes a memory 104 for storing a program which, when executed by the processor 103, results in the processing of steps ST1 to ST6 shown in FIG.
These programs cause the computer to execute the processing procedures or methods performed by the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving state determination unit 44, and the display control unit 45.
The memory 104 may be a computer-readable storage medium that stores programs for causing the computer to function as a side rear vehicle detection unit 41, a side rear vehicle measurement unit 42, a vehicle speed information acquisition unit 43, a driving condition determination unit 44, and a display control unit 45.

メモリ１０４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。 Memory 104 may be, for example, a non-volatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically-EPROM), a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, etc.

表示制御装置４が備える側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４および表示制御部４５の機能の一部を、専用のハードウェアで実現し、他の一部を、ソフトウェアまたはファームウェアで実現してもよい。
例えば、側後方車両検出部４１、側後方車両計測部４２、車速情報取得部４３および走行状態判定部４４は、専用のハードウェアである処理回路１０２によって機能を実現し、表示制御部４５は、プロセッサ１０３がメモリ１０４に記憶されたプログラムを読み出して実行することによって機能を実現する。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせにより上記機能を実現することが可能である。 Some of the functions of the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43, the driving condition determination unit 44 and the display control unit 45 provided in the display control device 4 may be realized by dedicated hardware, and some of the other functions may be realized by software or firmware.
For example, the side rear vehicle detection unit 41, the side rear vehicle measurement unit 42, the vehicle speed information acquisition unit 43 and the driving state determination unit 44 realize their functions by a processing circuit 102 which is dedicated hardware, and the display control unit 45 realizes its function by a processor 103 reading and executing a program stored in a memory 104. In this way, the processing circuit can realize the above functions by hardware, software, firmware or a combination of these.

以上のように、実施の形態１に係る表示制御装置４は、車両１０の側後方撮像画像を用いて、車両１０の側後方を走行する側後方車両を検出する側後方車両検出部４１と、側後方車両の検出情報を用いて、側後方車両の速度、車両１０との距離情報および車両１０に到達する推定到達時間を計測する側後方車両計測部４２と、車両１０の速度を取得する車速情報取得部４３と、車両１０の速度および側後方車両の速度が閾値未満である場合に、渋滞走行モードであると判定し、車両１０の速度および側後方車両の速度が閾値以上であれば、通常走行モードであると判定する走行状態判定部４４と、渋滞走行モードである場合に、車両１０との距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、通常走行モードである場合、推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する表示制御部４５を備える。
車両１０の速度および側後方車両の速度が閾値未満である渋滞走行モードでは、車両１０およびその周辺車両の動きの変化が遅く、車両１０の運転者が、実空間における車両同士の位置関係を把握すべき状況である。この場合、表示制御装置４は、車両１０と周辺車両との距離情報を側後方撮像画像に重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、上記表示制御情報に基づいて、車両１０と周辺車両との距離情報が重畳された側後方撮像画像を表示する。
一方、車両１０の速度および側後方車両の速度が閾値以上である通常走行モードでは、車両１０およびその周辺車両の動きの変化は速く、車両１０の運転者は、実空間において車両１０に接近してくる車両の動きを把握すべき状況である。この場合、表示制御装置４は、周辺車両が車両１０に到達する推定到達時間を側後方撮像画像に重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、上記表示制御情報に基づいて、周辺車両が車両１０に到達する推定到達時間が重畳された側後方撮像画像を表示する。このように、表示制御装置４は、車両１０の運転者が、実空間の車両側後方の状況を把握する助けとなる情報（距離情報または推定到達時間）を表示することが可能である。 As described above, the display control device 4 according to the first embodiment includes a side rear vehicle detection unit 41 that detects side rear vehicles traveling on the side rear of the vehicle 10 using a side rear captured image of the vehicle 10, a side rear vehicle measurement unit 42 that uses the detection information of the side rear vehicle to measure the speed of the side rear vehicle, distance information from the vehicle 10, and an estimated arrival time to reach the vehicle 10, a vehicle speed information acquisition unit 43 that acquires the speed of the vehicle 10, a driving state determination unit 44 that determines that the vehicle is in a traffic jam driving mode if the speed of the vehicle 10 and the speed of the side rear vehicle are less than a threshold value, and determines that the vehicle is in a normal driving mode if the speed of the vehicle 10 and the speed of the side rear vehicle are equal to or greater than the threshold value, and a display control unit 45 that generates display control information for superimposing and displaying the distance information from the vehicle 10 on the side rear captured image when the traffic jam driving mode is selected, and generates display control information for superimposing and displaying the estimated arrival time on the side rear captured image when the normal driving mode is selected.
In the traffic jam driving mode in which the speed of the vehicle 10 and the speed of the vehicle behind the vehicle are below the threshold, the movement of the vehicle 10 and the surrounding vehicles changes slowly, and the driver of the vehicle 10 must understand the positional relationship between the vehicles in real space. In this case, the display control device 4 generates display control information for displaying an image in which distance information between the vehicle 10 and the surrounding vehicles is superimposed on the side rear captured image. The display unit 3A or 3B displays the side rear captured image on which the distance information between the vehicle 10 and the surrounding vehicles is superimposed based on the display control information.
On the other hand, in the normal driving mode in which the speed of the vehicle 10 and the speed of the vehicle behind the vehicle are equal to or higher than the threshold value, the movement of the vehicle 10 and the surrounding vehicles changes quickly, and the driver of the vehicle 10 must grasp the movement of the vehicles approaching the vehicle 10 in real space. In this case, the display control device 4 generates display control information for displaying an image in which the estimated arrival time for the surrounding vehicles to reach the vehicle 10 is superimposed on the side rear captured image. The display unit 3A or 3B displays the side rear captured image on which the estimated arrival time for the surrounding vehicles to reach the vehicle 10 is superimposed based on the display control information. In this way, the display control device 4 can display information (distance information or estimated arrival time) that helps the driver of the vehicle 10 grasp the situation behind the vehicle in real space.

実施の形態１に係る表示制御装置４において、表示制御部４５は、車両１０と同一の車線を後続する車両１０Ｄおよび車両１０が渋滞走行モードである場合、車両１０に最も近く、かつ車両１０と同一の車線を後続している車両１０Ｄと車両１０との間の距離情報を側後方撮像画像５０Ｃに重畳して表示するための表示制御情報を生成する。車両１０の運転者は、側後方撮像画像５０Ｃを見ることで、車両１０に後続して走行する車両１０Ｄとの間隔を直感的に把握することができる。In the display control device 4 according to the first embodiment, when the vehicle 10D following behind the vehicle 10 in the same lane as the vehicle 10 and the vehicle 10 are in a congestion driving mode, the display control unit 45 generates display control information for superimposing and displaying distance information between the vehicle 10 and the vehicle 10D that is closest to the vehicle 10 and following behind the vehicle 10 in the same lane as the vehicle 10 on the side rear captured image 50C. By looking at the side rear captured image 50C, the driver of the vehicle 10 can intuitively grasp the distance between the vehicle 10D and the vehicle 10D that is following behind the vehicle 10.

実施の形態１に係る表示制御装方法は、側後方車両検出部４１が、側後方撮像画像を用いて側後方車両を検出し、側後方車両計測部４２が、側後方車両の検出情報を用いて側後方車両の速度、車両１０との距離情報および推定到達時間を計測し、車速情報取得部４３が、車両１０の速度情報を取得し、走行状態判定部４４が、車両１０の速度および側後方車両の速度が閾値未満である場合、渋滞走行モードであると判定し、車両１０の速度および側後方車両の速度が閾値以上である場合、通常走行モードであると判定し、表示制御部４５が、渋滞走行モードである場合、車両１０と側後方車両との間の距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、通常走行モードである場合に、側後方車両が車両１０に到達する推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する。表示制御装置４が当該表示制御方法を実行することにより、実空間の車両側後方の状況を把握する助けとなる情報を表示することができる。In the display control method according to the first embodiment, the side rear vehicle detection unit 41 detects a side rear vehicle using a side rear captured image, the side rear vehicle measurement unit 42 measures the speed of the side rear vehicle, the distance information from the vehicle 10, and the estimated arrival time using the detection information of the side rear vehicle, the vehicle speed information acquisition unit 43 acquires the speed information of the vehicle 10, the driving state determination unit 44 determines that the vehicle is in a traffic jam driving mode when the speed of the vehicle 10 and the speed of the side rear vehicle are less than a threshold value, and determines that the vehicle is in a normal driving mode when the speed of the vehicle 10 and the speed of the side rear vehicle are equal to or greater than a threshold value, and the display control unit 45 generates display control information for superimposing and displaying the distance information between the vehicle 10 and the side rear vehicle on the side rear captured image in the traffic jam driving mode, and generates display control information for superimposing and displaying the estimated arrival time for the side rear vehicle to reach the vehicle 10 on the side rear captured image in the normal driving mode. By the display control device 4 executing the display control method, information that helps to grasp the situation behind the vehicle in real space can be displayed.

実施の形態１に係る表示制御装置４において、表示制御部４５は、距離情報が第１表示条件を満たす場合、距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、推定到達時間が第２表示条件を満たす場合に、推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する。第１表示条件または第２表示条件を満たす情報のみが表示されるので、側後方撮像画像に重畳される情報の数が抑えられ、煩雑な表示となることを防止できる。In the display control device 4 according to the first embodiment, the display control unit 45 generates display control information for displaying the distance information superimposed on the side rear captured image when the distance information satisfies the first display condition, and generates display control information for displaying the estimated arrival time superimposed on the side rear captured image when the estimated arrival time satisfies the second display condition. Since only information that satisfies the first or second display condition is displayed, the amount of information superimposed on the side rear captured image is reduced, and a cluttered display can be prevented.

実施の形態２．
図１０は、実施の形態２に係る表示制御システム１Ａの構成を示すブロック図である。図１０において、図１に記載した構成要素と同一の構成要素には同一の符号を付して説明を省略する。表示制御装置４Ａは、側後方車両検出部４１Ａ、側後方車両計測部４２、車速情報取得部４３、走行状態判定部４４Ａ、表示制御部４５Ａ、およびウィンカ方向情報取得部４６を備える。 Embodiment 2.
Fig. 10 is a block diagram showing a configuration of a display control system 1A according to embodiment 2. In Fig. 10, the same components as those shown in Fig. 1 are denoted by the same reference numerals, and the description thereof will be omitted. The display control device 4A includes a side rear vehicle detection unit 41A, a side rear vehicle measurement unit 42, a vehicle speed information acquisition unit 43, a driving state determination unit 44A, a display control unit 45A, and a turn signal direction information acquisition unit 46.

側後方車両検出部４１Ａは、実施の形態１と同様に、車両１０の側方および後方の領域が撮像された側後方撮像画像を用いて、車両１０の側方または後方の領域を走行している側後方車両を検出する。さらに、側後方車両検出部４１Ａは、側後方車両に搭載されたウィンカの点灯方向を検出する。例えば、側後方車両検出部４１Ａは、撮像部２Ａまたは２Ｂが撮像する側後方撮像画像をフレームごとに画像解析し、車両１０の側後方車両および当該車両のウィンカの点灯を認識する。画像解析には、例えば、パターンマッチング等の画像解析技術が用いられる。The side rear vehicle detection unit 41A detects a side rear vehicle traveling in the side or rear area of the vehicle 10 using a side rear captured image in which the side and rear areas of the vehicle 10 are captured, as in the first embodiment. Furthermore, the side rear vehicle detection unit 41A detects the direction in which a turn signal mounted on the side rear vehicle is turned on. For example, the side rear vehicle detection unit 41A performs image analysis on the side rear captured image captured by the imaging unit 2A or 2B for each frame, and recognizes the side rear vehicle of the vehicle 10 and the turn signal of the vehicle. For example, an image analysis technique such as pattern matching is used for the image analysis.

走行状態判定部４４Ａは、車両１０のウィンカの点灯方向と、側後方車両に搭載されたウィンカの点灯方向に基づいて、車両１０および側後方車両が同一車線に車線変更しようとしていると判定された場合、車両１０の速度および側後方車両の速度が閾値未満であるか否かに基づいて、車両１０および側後方車両が渋滞走行モードまたは通常走行モードであるかを判定する。渋滞走行モードは、車両１０の速度および側後方車両の速度が閾値未満である第１の走行状態であり、通常走行モードは、車両１０の速度および側後方車両の速度が閾値以上である第２の走行状態である。When it is determined that the vehicle 10 and the vehicle at the rear are changing lanes to the same lane based on the lighting direction of the turn signal of the vehicle 10 and the turn signal of the vehicle at the rear, the driving state determination unit 44A determines whether the vehicle 10 and the vehicle at the rear are in a traffic jam driving mode or a normal driving mode based on whether the speed of the vehicle 10 and the vehicle at the rear are below a threshold. The traffic jam driving mode is a first driving state in which the speed of the vehicle 10 and the vehicle at the rear are below a threshold, and the normal driving mode is a second driving state in which the speed of the vehicle 10 and the vehicle at the rear are equal to or above a threshold.

表示制御部４５Ａは、渋滞走行モードである場合、車両１０との距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成し、通常走行モードである場合、推定到達時間を側後方撮像画像に重畳して表示するための表示制御情報を生成する。例えば、表示制御部４５Ａは、側後方車両検出部４１Ａによって検出された側後方車両のウィンカ方向情報に基づいて、車両１０の車線変更先と同一車線に車線変更しようとしている側後方車両がある場合、側後方撮像画像における当該側後方車両の近傍に距離情報または推定到達時間情報を重畳した画像を表示するための表示制御情報を生成する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、距離情報または推定到達時間情報が重畳された側後方撮像画像を表示する。The display control unit 45A generates display control information for displaying distance information from the vehicle 10 superimposed on the side rear captured image in the traffic jam driving mode, and generates display control information for displaying the estimated arrival time superimposed on the side rear captured image in the normal driving mode. For example, when there is a side rear vehicle that is about to change lanes into the same lane as the lane change destination of the vehicle 10 based on the turn signal direction information of the side rear vehicle detected by the side rear vehicle detection unit 41A, the display control unit 45A generates display control information for displaying an image with distance information or estimated arrival time information superimposed near the side rear vehicle in the side rear captured image. The display unit 3A or 3B displays the side rear captured image with the distance information or estimated arrival time information superimposed based on the display control information.

ウィンカ方向情報取得部４６は、車両１０に搭載されたウィンカの点灯方向を示すウィンカ方向情報を取得するものである。例えば、ウィンカ方向情報取得部４６は、車両１０の走行を制御する車載ＥＣＵ６から、車両１０のウィンカ方向情報を取得する。ウィンカ方向情報取得部４６により取得されたウィンカ方向情報は、走行状態判定部４４Ａおよび表示制御部４５Ａに出力される。The blinker direction information acquisition unit 46 acquires blinker direction information indicating the lighting direction of the blinkers mounted on the vehicle 10. For example, the blinker direction information acquisition unit 46 acquires the blinker direction information of the vehicle 10 from the on-board ECU 6 that controls the driving of the vehicle 10. The blinker direction information acquired by the blinker direction information acquisition unit 46 is output to the driving state determination unit 44A and the display control unit 45A.

このように、表示制御装置４Ａは、車両１０の車線変更先と同一車線に車線変更しようとしている側後方車両に対してのみ、テキストまたは画像の少なくとも一方で距離または推定到達時間を表した補助情報を側後方撮像画像に重畳させて表示する。これにより、表示部３Ａまたは３Ｂに表示された側後方撮像画像を見た運転者は、走行時の臨場感を損なわずに、実空間の車両側後方の状況を直感的に把握することができる。In this way, the display control device 4A displays auxiliary information, either in text or an image, indicating distance or estimated arrival time, superimposed on the side rear captured image only for the side rear vehicle that is about to change lanes into the same lane as the vehicle 10's lane change destination. This allows the driver who sees the side rear captured image displayed on the display unit 3A or 3B to intuitively grasp the situation behind the vehicle in real space, without losing the sense of realism while driving.

図１１は、実施の形態２に係る表示制御方法を示すフローチャートである。
走行状態判定部４４Ａは、ウィンカ方向情報取得部４６により取得されたウィンカ方向情報に基づいて、車両１０がウィンカを出しているか否か、すなわち車両１０がウィンカを点灯させているか否かを判定する（ステップＳＴ１Ｂ）。車両１０がウィンカを出していない場合（ステップＳＴ１Ｂ；ＮＯ）、表示制御装置４Ａは図１１の一連の処理を終了する。 FIG. 11 is a flowchart showing a display control method according to the second embodiment.
The driving state determination unit 44A determines whether the vehicle 10 is emitting a blinker, i.e., whether the vehicle 10 is turning on the blinker, based on the blinker direction information acquired by the blinker direction information acquisition unit 46 (step ST1B). If the vehicle 10 is not emitting a blinker (step ST1B; NO), the display control device 4A ends the series of processes in FIG.

車両１０がウィンカを出している場合（ステップＳＴ１Ｂ；ＹＥＳ）、側後方車両検出部４１Ａは、撮像部２Ａまたは２Ｂにより連続的に撮像された側後方撮像画像を用いて、車両１０が走行している車線の２車線隣の車線を走行しかつウィンカを出している側後方車両の検出を行う。このとき、側後方車両検出部４１Ａは、当該側後方車両が存在するか否かの判定状態となる（ステップＳＴ２Ｂ）。なお、撮像部２Ａまたは２Ｂにより撮像された側後方撮像画像は、表示部３Ａまたは３Ｂに順次表示される。車両１０が走行している車線の２車線隣の車線を走行しかつウィンカを出している側後方車両が検出されなかった場合（ステップＳＴ２Ｂ；ＮＯ）、表示制御装置４Ａは図１１の一連の処理を一旦終了し、ステップＳＴ１Ｂからの処理を再度繰り返す。If the vehicle 10 is emitting a blinker (step ST1B; YES), the side rear vehicle detection unit 41A uses the side rear captured images continuously captured by the imaging unit 2A or 2B to detect a side rear vehicle traveling in a lane two lanes away from the lane in which the vehicle 10 is traveling and emitting a blinker. At this time, the side rear vehicle detection unit 41A is in a state of determining whether or not the side rear vehicle exists (step ST2B). The side rear captured images captured by the imaging unit 2A or 2B are displayed sequentially on the display unit 3A or 3B. If a side rear vehicle traveling in a lane two lanes away from the lane in which the vehicle 10 is traveling and emitting a blinker is not detected (step ST2B; NO), the display control device 4A temporarily ends the series of processes in FIG. 11 and repeats the processes from step ST1B again.

車両１０が走行している車線の２車線隣の車線を走行しかつウィンカを出している側後方車両が検出された場合（ステップＳＴ２Ｂ；ＹＥＳ）、側後方車両計測部４２が、当該側後方車両の検出情報を用いて、当該側後方車両の速度を計測する。車速情報取得部４３は、車両１０の速度情報を取得する。走行状態判定部４４Ａは、側後方車両計測部４２による上記側後方車両の計測情報と、車速情報取得部４３が取得した車両１０の車速情報とを用いて、車両１０の速度および上記側後方車両の速度がともに一定速度（閾値）未満であるか否かを判定する（ステップＳＴ３Ｂ）。If a rear vehicle traveling in the lane two lanes away from the lane in which the vehicle 10 is traveling and activating a blinker is detected (step ST2B; YES), the rear vehicle measurement unit 42 measures the speed of the rear vehicle using the detection information of the rear vehicle. The vehicle speed information acquisition unit 43 acquires speed information of the vehicle 10. The driving state determination unit 44A uses the measurement information of the rear vehicle by the rear vehicle measurement unit 42 and the vehicle speed information of the vehicle 10 acquired by the vehicle speed information acquisition unit 43 to determine whether the speed of the vehicle 10 and the speed of the rear vehicle are both less than a certain speed (threshold) (step ST3B).

図１２は、車両同士の位置関係の例（２）を模式的に示す模式図である。車線変更先の車線と同一車線に車線変更しようとしている車両１０Ｅが存在する場合、車両１０の運転者は、車両１０Ｅが車両１０と衝突する虞のある走行をしているかどうかを把握したい。例えば、図１２において、車両１０は、左側のウィンカ５３Ａを点灯させて中央の車線に変更しようとしている。側後方車両である車両１０Ｆは、車両１０から遠い位置で中央の車線を走行している。車両１０Ｅは、右側のウィンカ５３Ｂを点灯させて中央の車線に変更しようとしている。 Figure 12 is a schematic diagram showing an example (2) of the positional relationship between vehicles. When vehicle 10E is attempting to change lanes into the same lane as the lane to which vehicle 10 is attempting to change lanes, the driver of vehicle 10 wants to know whether vehicle 10E is traveling in a manner that may cause a collision with vehicle 10. For example, in Figure 12, vehicle 10 is attempting to change into the center lane by turning on the left turn signal 53A. Vehicle 10F, which is the vehicle behind vehicle 10, is traveling in the center lane at a position far from vehicle 10. Vehicle 10E is attempting to change into the center lane by turning on the right turn signal 53B.

車両１０が中央の車線に変更しようとしている状況において、中央の車線では、車両１０Ｆが車両１０から遠い位置を走行している場合、車両１０が走行している車線から中央の車線を挟んで２車線隣の車線を走行している車両１０Ｅが、中央の車線に車線変更すると、車両１０と衝突する可能性がある。そこで、表示制御装置４Ａは、車両１０が車線変更しようとしている場合、車両１０の車線変更先と同一車線に車線変更しようとしている車両１０Ｅに対して距離情報または推定到達時間を表示する。この表示を見ることで、車両１０の運転者は、車線変更に際して衝突する可能性がある側後方車両の存在を直感的に把握することができる。In a situation where vehicle 10 is about to change to the center lane, if vehicle 10F is traveling far from vehicle 10 in the center lane, vehicle 10E traveling in the lane two lanes away from the lane in which vehicle 10 is traveling across the center lane may collide with vehicle 10 if it changes lanes to the center lane. Therefore, when vehicle 10 is about to change lanes, display control device 4A displays distance information or estimated arrival time for vehicle 10E that is about to change lanes to the same lane as vehicle 10's lane change destination. By looking at this display, the driver of vehicle 10 can intuitively grasp the presence of a vehicle on the side rear that may collide when changing lanes.

車両１０の速度および車両１０Ｅの速度がともに一定速度未満である場合（ステップＳＴ３Ｂ；ＹＥＳ）、走行状態判定部４４Ａは、車両１０および車両１０Ｅが渋滞走行モードであると判定する。渋滞走行モードにおいて、走行状態判定部４４Ａは、側後方車両計測部４２が計測した車両１０Ｅと車両１０との距離情報を取得し（ステップＳＴ４Ｂ）、当該距離情報を表示制御部４５Ａに出力する。If the speed of vehicle 10 and the speed of vehicle 10E are both less than a certain speed (step ST3B; YES), the driving state determination unit 44A determines that vehicle 10 and vehicle 10E are in a traffic jam driving mode. In the traffic jam driving mode, the driving state determination unit 44A acquires distance information between vehicle 10E and vehicle 10 measured by the side rear vehicle measurement unit 42 (step ST4B) and outputs the distance information to the display control unit 45A.

表示制御部４５Ａは、渋滞走行モードであることを示す判定結果情報と、車両１０Ｅと車両１０との距離情報を取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像に距離情報を重畳した画像を表示するための表示制御情報を生成し、表示制御情報を表示部３Ａまたは３Ｂに出力する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、距離情報が重畳された側後方撮像画像を表示する（ステップＳＴ５Ｂ）。When the display control unit 45A acquires the determination result information indicating that the vehicle is in the traffic jam driving mode and the distance information between the vehicle 10E and the vehicle 10, the display control unit 45A generates display control information for displaying an image in which the distance information is superimposed on the side rear captured image being captured by the imaging unit 2A or 2B, and outputs the display control information to the display unit 3A or 3B. The display unit 3A or 3B displays the side rear captured image with the distance information superimposed based on the display control information (step ST5B).

表示制御部４５Ａは、側後方撮像画像に距離情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する距離情報を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、車両１０Ｅと車両１０との距離の時間変化を把握することができる。The display control unit 45A may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the distance information is superimposed and displayed on the side rear captured image, and may superimpose and display the distance information that changes from moment to moment on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change over time in the distance between the vehicle 10E and the vehicle 10 without losing the sense of realism of the driving.

一方、車両１０の速度および車両１０Ｅの速度がともに一定速度以上である場合（ステップＳＴ３Ｂ；ＮＯ）、走行状態判定部４４Ａは、車両１０および車両１０Ｅが通常走行モードであると判定する。通常走行モードにおいて、走行状態判定部４４Ａは、側後方車両計測部４２が計測した車両１０Ｅが車両１０に到達するまでの推定到達時間情報を取得し（ステップＳＴ６Ｂ）、当該推定到達時間情報を表示制御部４５Ａに出力する。On the other hand, if the speeds of the vehicles 10 and 10E are both equal to or greater than a certain speed (step ST3B; NO), the driving state determination unit 44A determines that the vehicles 10 and 10E are in the normal driving mode. In the normal driving mode, the driving state determination unit 44A acquires estimated arrival time information measured by the side rear vehicle measurement unit 42 for the vehicle 10E to reach the vehicle 10 (step ST6B), and outputs the estimated arrival time information to the display control unit 45A.

表示制御部４５Ａは、通常走行モードであることを示す判定結果情報と、車両１０Ｅが車両１０に到達する推定到達時間情報とを取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像に推定到達時間情報を重畳した画像を表示するための表示制御情報を生成し、表示制御情報を表示部３Ａまたは３Ｂに出力する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、推定到達時間情報が重畳された側後方撮像画像を表示する（ステップＳＴ７Ｂ）。When the display control unit 45A acquires the determination result information indicating that the normal driving mode is selected and the estimated arrival time information for the vehicle 10E to reach the vehicle 10, the display control unit 45A generates display control information for displaying an image in which the estimated arrival time information is superimposed on the side rear captured image being captured by the imaging unit 2A or 2B, and outputs the display control information to the display unit 3A or 3B. The display unit 3A or 3B displays the side rear captured image on which the estimated arrival time information is superimposed based on the display control information (step ST7B).

また、表示制御部４５Ａは、側後方撮像画像に推定到達時間情報を重畳して表示させた時点から、側後方車両計測部４２による側後方車両の計測情報を順次取得して、時々刻々と変化する推定到達時間を側後方撮像画像に重畳して表示させてもよい。この側後方撮像画像を見ることにより、車両１０の運転者は、走行の臨場感を損なうことなく、車両１０Ｅが車両１０に到達する時間の変化を把握することができる。In addition, the display control unit 45A may sequentially acquire measurement information of the side rear vehicle by the side rear vehicle measurement unit 42 from the point in time when the estimated arrival time information is superimposed and displayed on the side rear captured image, and superimpose the ever-changing estimated arrival time on the side rear captured image. By viewing this side rear captured image, the driver of the vehicle 10 can grasp the change in the time it takes for the vehicle 10E to reach the vehicle 10 without losing the sense of realism of the drive.

また、表示制御部４５Ａは、距離情報が第１表示条件を満たす場合に、距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成してもよい。例えば、距離情報が示す距離が閾値未満である場合に、表示制御部４５Ａは、距離情報を側後方撮像画像に重畳して表示するための表示制御情報を生成する。表示部３Ａおよび３Ｂは、この表示制御情報に基づいて、側後方撮像画像において距離情報が第１表示条件を満たす側後方車両にのみ、当該距離情報を重畳して表示する。In addition, the display control unit 45A may generate display control information for superimposing and displaying the distance information on the side rear captured image when the distance information satisfies the first display condition. For example, when the distance indicated by the distance information is less than a threshold, the display control unit 45A generates display control information for superimposing and displaying the distance information on the side rear captured image. Based on this display control information, the display units 3A and 3B superimpose and display the distance information only for the side rear vehicle whose distance information satisfies the first display condition in the side rear captured image.

図１３は、通常走行モードの表示画面の例（２）を示す画面図である。図１３に示す側後方撮像画像５０Ｄは、撮像部２Ｂによって撮像されて表示部３Ｂに表示された画像である。側後方撮像画像５０Ｄには、車両１０Ｅと車両１０Ｆが撮像されている。
表示制御部４５Ａは、側後方撮像画像５０Ｄにおいて、車両１０の車線変更先と同一車線に車線変更しようとしている車両１０Ｅの近傍に推定到達時間情報５２を表示するための表示制御情報を生成する。表示部３Ａおよび３Ｂは、この表示制御情報に基づいて、側後方撮像画像５０Ｄにおける車両１０Ｅの近傍に、推定到達時間情報５２を重畳して表示する。 Fig. 13 is a screen diagram showing an example (2) of a display screen in the normal driving mode. The side rear captured image 50D shown in Fig. 13 is an image captured by the imaging unit 2B and displayed on the display unit 3B. The side rear captured image 50D includes images of the vehicles 10E and 10F.
The display control unit 45A generates display control information for displaying, in the side rear captured image 50D, the estimated arrival time information 52 in the vicinity of the vehicle 10E that is about to change lanes into the same lane as the lane to which the vehicle 10 is changing lanes. Based on this display control information, the display units 3A and 3B display the estimated arrival time information 52 superimposed near the vehicle 10E in the side rear captured image 50D.

なお、表示制御部４５Ａは、推定到達時間が第２表示条件を満たす場合に、推定到達時間を側後方撮像画像５０Ｄに重畳して表示するための表示制御情報を生成してもよい。
例えば、表示制御部４５Ａは、閾値未満の推定到達時間情報を側後方撮像画像５０Ｄに重畳して表示するための表示制御情報を生成する。 When the estimated arrival time satisfies the second display condition, the display control unit 45A may generate display control information for superimposing and displaying the estimated arrival time on the side rear captured image 50D.
For example, the display control unit 45A generates display control information for superimposing and displaying estimated arrival time information less than the threshold on the side rear captured image 50D.

また、表示制御部４５Ａは、推定到達時間情報を表示しない車両と区別するため、推定到達時間情報を表示した車両を強調表示させてもよい。例えば、図１３に示すように、車両１０Ｅを囲む枠線画像２０を表示させる。車両１０の運転者は、側後方撮像画像５０Ｄを見ることで、車両１０の車線変更先と同一車線に車線変更しようとしている車両１０Ｅが存在することを、直感的に把握することができる。
なお、強調表示には、枠線画像２０以外に、例えば、車両の色を変更する、車両に対して点滅パターンを重畳する、あるいは、枠線画像２０を点滅させる、といった表示処理を採用してもよい。 The display control unit 45A may highlight the vehicle that displays the estimated arrival time information to distinguish it from the vehicle that does not display the estimated arrival time information. For example, as shown in Fig. 13, a frame line image 20 surrounding the vehicle 10E is displayed. By looking at the side rear captured image 50D, the driver of the vehicle 10 can intuitively understand that there is a vehicle 10E that is about to change lanes into the same lane as the lane into which the vehicle 10 is about to change lanes.
In addition, for highlighting, other display processes may be used besides the frame image 20, such as changing the color of the vehicle, superimposing a blinking pattern on the vehicle, or making the frame image 20 blink.

また、表示制御部４５Ａは、通常走行モードにおいて、側後方撮像画像５０Ｄに映る全ての側後方車両に対して推定到達時間情報を重畳させてもよい。
さらに、第２表示条件は、推定到達時間情報が示す時間が上記閾値以上である側後方車両を特定するものであってもよい。この場合、表示制御部４５Ａは、側後方撮像画像５０Ｄにおいて、推定到達時間情報が示す時間が上記閾値以上である側後方車両の近傍に推定到達時間情報を表示するための表示制御情報を生成する。 Furthermore, in the normal driving mode, the display control unit 45A may superimpose the estimated arrival time information for all side rear vehicles captured in the side rear captured image 50D.
Furthermore, the second display condition may specify a side rear vehicle whose estimated arrival time information indicates a time equal to or longer than the threshold value. In this case, the display control unit 45A generates display control information for displaying the estimated arrival time information in the side rear captured image 50D near the side rear vehicle whose estimated arrival time information indicates a time equal to or longer than the threshold value.

次に、実施の形態２に係る表示制御方法の変形例について説明する。
図１４は、実施の形態２に係る表示制御方法の変形例を示すフローチャートであって、車両１０とその側後方車両がともに一定速度未満で走行、すなわち渋滞走行モードである場合を示している。走行状態判定部４４Ａは、側後方車両計測部４２による側後方車両の計測情報と、車速情報取得部４３が取得した車両１０の車速情報とを用いて、車両１０の速度および側後方車両の速度がともに一定速度（閾値）未満であると判定する（ステップＳＴ１Ｃ）。 Next, a modification of the display control method according to the second embodiment will be described.
14 is a flowchart showing a modified example of the display control method according to the second embodiment, and shows a case where the vehicle 10 and the vehicle behind it are both traveling at less than a certain speed, i.e., in a traffic jam driving mode. The driving state determination unit 44A uses the measurement information of the vehicle behind it by the vehicle behind it measurement unit 42 and the vehicle speed information of the vehicle 10 acquired by the vehicle speed information acquisition unit 43 to determine that the speed of the vehicle 10 and the speed of the vehicle behind it are both less than a certain speed (threshold) (step ST1C).

走行状態判定部４４Ａは、ウィンカ方向情報取得部４６により取得されたウィンカ方向情報に基づいて、車両１０がウィンカを出しているか否か、すなわち車両１０がウィンカを点灯させているか否かを判定する（ステップＳＴ２Ｃ）。車両１０がウィンカを出していない場合（ステップＳＴ２Ｃ；ＮＯ）、表示制御装置４Ａは図１４の一連の処理を終了する。Based on the turn signal direction information acquired by the turn signal direction information acquisition unit 46, the driving state determination unit 44A determines whether the vehicle 10 is emitting a turn signal, i.e., whether the vehicle 10 has turned on the turn signal (step ST2C). If the vehicle 10 is not emitting a turn signal (step ST2C; NO), the display control device 4A ends the series of processes in FIG.

車両１０がウィンカを出している場合（ステップＳＴ２Ｃ；ＹＥＳ）、側後方車両検出部４１Ａは、撮像部２Ａまたは２Ｂにより連続的に撮像された側後方撮像画像を用いて、車両１０が走行している車線の隣接車線を走行している側後方車両の検出を行う。このとき、側後方車両検出部４１Ａは、当該側後方車両が存在するか否かの判定状態となる（ステップＳＴ３Ｃ）。なお、撮像部２Ａまたは２Ｂにより撮像された側後方撮像画像は、表示部３Ａまたは３Ｂに順次表示される。隣接車線を走行している側後方車両が検出されなかった場合（ステップＳＴ３Ｃ；ＮＯ）、表示制御装置４Ａは図１４の一連の処理を一旦終了し、ステップＳＴ１Ｃからの処理を再度繰り返す。If the vehicle 10 is using a blinker (step ST2C; YES), the side rear vehicle detection unit 41A uses the side rear captured images continuously captured by the imaging unit 2A or 2B to detect a side rear vehicle traveling in an adjacent lane to the lane in which the vehicle 10 is traveling. At this time, the side rear vehicle detection unit 41A is in a state of determining whether or not the side rear vehicle exists (step ST3C). The side rear captured images captured by the imaging unit 2A or 2B are displayed sequentially on the display unit 3A or 3B. If a side rear vehicle traveling in an adjacent lane is not detected (step ST3C; NO), the display control device 4A temporarily ends the series of processes in FIG. 14 and repeats the processes from step ST1C again.

隣接車線を走行している側後方車両が検出された場合（ステップＳＴ３Ｃ；ＹＥＳ）、走行状態判定部４４Ａは、側後方車両計測部４２により計測された、隣接車線を走行している側後方車両のうち、車両１０に最も近い側後方車両を特定し、特定した側後方車両と車両１０との距離情報を取得し（ステップＳＴ４Ｃ）、当該距離情報を表示制御部４５Ａに出力する。If a rear vehicle traveling in the adjacent lane is detected (step ST3C; YES), the driving condition determination unit 44A identifies the rear vehicle closest to vehicle 10 among the rear vehicles traveling in the adjacent lane measured by the rear vehicle measurement unit 42, obtains distance information between the identified rear vehicle and vehicle 10 (step ST4C), and outputs the distance information to the display control unit 45A.

表示制御部４５Ａは、渋滞走行モードであることを示す判定結果情報と、上記距離情報を取得すると、撮像部２Ａまたは２Ｂが撮像中の側後方撮像画像における、車両１０に最も近い側後方車両の近傍に距離情報を重畳した画像を表示するための表示制御情報を生成し、表示制御情報を表示部３Ａまたは３Ｂに出力する。表示部３Ａまたは３Ｂは、表示制御情報に基づいて、車両１０に最も近い側後方車両の近傍に距離情報が重畳された側後方撮像画像を表示する（ステップＳＴ５Ｃ）。When the display control unit 45A acquires the determination result information indicating that the vehicle is in the traffic jam driving mode and the distance information, the display control unit 45A generates display control information for displaying an image in which the distance information is superimposed near the side rear vehicle closest to the vehicle 10 in the side rear captured image being captured by the imaging unit 2A or 2B, and outputs the display control information to the display unit 3A or 3B. The display unit 3A or 3B displays the side rear captured image in which the distance information is superimposed near the side rear vehicle closest to the vehicle 10 based on the display control information (step ST5C).

図１５は、車両同士の位置関係の例（３）を模式的に示す模式図である。隣接車線を走行している車両１０Ｇが存在する場合、車両１０の運転者は、車両１０が車線変更するときに、車両１０Ｇとの衝突が回避可能な車両間隔が空いているかどうかを把握したい。例えば、図１５において、車両１０は、左側のウィンカ５３Ａを点灯させて中央の車線に変更しようとしている。隣接車線の側後方車両である車両１０Ｇは、車両１０に近い位置を走行している。 Figure 15 is a schematic diagram showing an example (3) of the positional relationship between vehicles. When vehicle 10G traveling in an adjacent lane is present, the driver of vehicle 10 wants to know whether there is enough space between the vehicles to avoid a collision with vehicle 10G when vehicle 10 changes lanes. For example, in Figure 15, vehicle 10 turns on the left turn signal 53A and is attempting to change to the center lane. Vehicle 10G, which is a vehicle on the side behind vehicle 10 in the adjacent lane, is traveling close to vehicle 10.

車両１０が中央の車線に変更しようとしている状況において、中央の車線では、車両１０Ｇが車両１０に近い位置を走行している場合、車両１０が中央の車線に車線変更したときに、車両１０Ｇと車両１０とが衝突する可能性がある。そこで、表示制御装置４Ａは、渋滞走行モードにおいて車両１０が隣接車線に車線変更しようとしている場合、隣接車線を走行しかつ車両１０に最も近い車両１０Ｇに対して距離情報を表示する。この表示を見ることで、車両１０の運転者は、車線変更に際して衝突する可能性がある側後方車両の存在を直感的に把握することができる。In a situation where vehicle 10 is about to change to the center lane, if vehicle 10G is traveling close to vehicle 10 in the center lane, there is a possibility that vehicle 10G and vehicle 10 may collide when vehicle 10 changes to the center lane. Therefore, when vehicle 10 is about to change to an adjacent lane in the congestion driving mode, display control device 4A displays distance information for vehicle 10G traveling in the adjacent lane and closest to vehicle 10. By looking at this display, the driver of vehicle 10 can intuitively grasp the presence of a vehicle on the side rear that may collide when changing lanes.

図１６は、渋滞走行モードの表示画面の例（３）を示す画面図である。図１６に示す側後方撮像画像５０Ｅは、撮像部２Ｂによって撮像されて表示部３Ｂに表示された画像である。側後方撮像画像５０Ｅには、車両１０Ｇを含む複数の側後方車両が撮像されている。表示制御部４５Ａは、複数の側後方車両のうち、車両１０が車線変更しようとしている隣接車線を走行し、かつ車両１０に最も近い車両１０Ｇを特定し、車両１０Ｇの近傍に距離情報５１を表示するための表示制御情報を生成する。表示部３Ｂは、この表示制御情報に基づいて、側後方撮像画像５０Ｅを表示する。 Figure 16 is a screen diagram showing an example (3) of a display screen in the traffic jam driving mode. The side rear captured image 50E shown in Figure 16 is an image captured by the imaging unit 2B and displayed on the display unit 3B. A plurality of side rear vehicles including vehicle 10G are captured in the side rear captured image 50E. The display control unit 45A identifies vehicle 10G, of the plurality of side rear vehicles, that is traveling in the adjacent lane to which vehicle 10 is about to change lanes and is closest to vehicle 10, and generates display control information for displaying distance information 51 in the vicinity of vehicle 10G. The display unit 3B displays the side rear captured image 50E based on this display control information.

また、表示制御部４５Ａは、距離情報を表示しない車両と区別するために、距離情報を表示した車両を強調表示させてもよい。例えば、図１６に示すように、車両１０Ｇを囲む枠線画像２０を表示させる。車両１０の運転者は、側後方撮像画像５０Ｅを見ることで、渋滞走行モードにおいて車両１０が車線変更しようとしている隣接車線を走行しかつ車両１０に最も近い車両１０Ｇとの車両間隔を直感的に把握することができる。
なお、強調表示には、枠線画像２０以外に、例えば、車両の色を変更する、車両に対して点滅パターンを重畳する、あるいは、枠線画像２０を点滅させる、といった表示処理を採用してもよい。 The display control unit 45A may highlight the vehicle that displays the distance information to distinguish it from the vehicle that does not display the distance information. For example, as shown in Fig. 16, a frame line image 20 surrounding the vehicle 10G is displayed. By looking at the side rear captured image 50E, the driver of the vehicle 10 can intuitively grasp the vehicle distance between the vehicle 10G that is traveling in the adjacent lane and is closest to the vehicle 10 and about to change lanes in the congestion driving mode.
In addition, for highlighting, other display processes may be used besides the frame image 20, such as changing the color of the vehicle, superimposing a blinking pattern on the vehicle, or making the frame image 20 blink.

以上のように、実施の形態２に係る表示制御装置４Ａは、車両１０に搭載されたウィンカの点灯方向を示すウィンカ方向情報を取得するウィンカ方向情報取得部４６を備える。
側後方車両検出部４１Ａは、側後方車両に搭載されたウィンカの点灯方向を検出する。
走行状態判定部４４Ａは、車両１０のウィンカの点灯方向と、側後方車両に搭載されたウィンカの点灯方向とに基づいて、車両１０と側後方車両が同一の車線に車線変更しようとしていると判定された場合に、車両１０の速度および側後方車両の速度が閾値未満であるか否かに基づいて、車両１０および側後方車両が渋滞走行モードまたは通常走行モードであるかを判定する。これにより、車両１０の運転者は、車線変更に際して衝突する可能性がある側後方車両の存在を直感的に把握することができる。 As described above, the display control device 4A according to the second embodiment includes the blinker direction information acquisition unit 46 that acquires blinker direction information indicating the lighting direction of the blinker mounted on the vehicle 10.
The side rear vehicle detection unit 41A detects the lighting direction of a turn signal mounted on a side rear vehicle.
When it is determined that the vehicle 10 and the vehicle at the rear are changing lanes to the same lane based on the lighting direction of the turn signal of the vehicle 10 and the lighting direction of the turn signal mounted on the vehicle at the rear, the driving state determination unit 44A determines whether the vehicle 10 and the vehicle at the rear are in a traffic jam driving mode or a normal driving mode based on whether the speed of the vehicle 10 and the speed of the vehicle at the rear are less than a threshold value. This allows the driver of the vehicle 10 to intuitively grasp the presence of a vehicle at the rear with which there is a possibility of collision when changing lanes.

実施の形態２に係る表示制御装置４Ａにおいて、走行状態判定部４４Ａは、ウィンカ方向情報が示す車両１０のウィンカの点灯方向と、車両１０Ｅに搭載されたウィンカの点灯方向とに基づいて、車両１０が走行している車線から２車線隣の車線を走行している車両１０Ｅが同一の車線に車線変更しようとしていると判定された場合に、車両１０の速度および車両１０Ｅの速度が閾値未満であるか否かに基づいて、車両１０および車両１０Ｅが渋滞走行モードまたは通常走行モードであるかを判定する。これにより、車両１０の運転者は、車線変更に際して衝突する可能性がある車両１０Ｅの存在を直感的に把握することができる。In the display control device 4A according to the second embodiment, when it is determined that the vehicle 10E traveling in the lane two lanes away from the lane in which the vehicle 10 is traveling is about to change lanes to the same lane based on the turn signal direction information of the vehicle 10 and the turn signal direction mounted on the vehicle 10E, the driving state determination unit 44A determines whether the vehicle 10 and the vehicle 10E are in a traffic jam driving mode or a normal driving mode based on whether the speed of the vehicle 10 and the speed of the vehicle 10E are less than a threshold value. This allows the driver of the vehicle 10 to intuitively grasp the presence of the vehicle 10E with which there is a possibility of collision when changing lanes.

なお、実施の形態１に係る表示制御装置４および実施の形態２に係る表示制御装置４Ａが、車両１０に搭載されている場合を示したが、この構成に限定されるものではない。
例えば、外部装置であるサーバが表示制御装置４または４Ａを備え、車両１０が、表示制御装置４または４Ａの代わりに当該サーバと通信する通信部を備えてもよい。車両１０では、通信部がサーバで生成された表示制御情報を取得し、表示部３Ａおよび３Ｂは、通信部が取得した表示制御情報に基づいて側後方撮像画像を表示する。
また、車両１０に搭載された車載端末が表示制御装置４または４Ａの構成要素の一部を備え、当該車載端末と表示制御装置４または４Ａとが協働して側後方撮像画像を表示してもよい。 Although the display control device 4 according to the first embodiment and the display control device 4A according to the second embodiment are mounted on the vehicle 10, the present invention is not limited to this configuration.
For example, a server, which is an external device, may include the display control device 4 or 4A, and the vehicle 10 may include a communication unit that communicates with the server instead of the display control device 4 or 4A. In the vehicle 10, the communication unit acquires display control information generated by the server, and the display units 3A and 3B display the side rear captured images based on the display control information acquired by the communication unit.
Also, an in-vehicle terminal mounted on the vehicle 10 may include some of the components of the display control device 4 or 4A, and the in-vehicle terminal and the display control device 4 or 4A may cooperate to display the side rear captured image.

なお、各実施の形態の組み合わせまたは実施の形態のそれぞれの任意の構成要素の変形もしくは実施の形態のそれぞれにおいて任意の構成要素の省略が可能である。 In addition, it is possible to combine the embodiments or modify any of the components of each embodiment, or omit any of the components of each embodiment.

本開示に係る表示制御装置は、例えば、車両の電子ミラーシステムに利用可能である。 The display control device disclosed herein can be used, for example, in a vehicle electronic mirror system.

１，１Ａ 表示制御システム、２Ａ，２Ｂ 撮像部、３Ａ，３Ｂ 表示部、４，４Ａ 表示制御装置、５ 車載センサ、６ 車載ＥＣＵ、１０，１０Ａ～１０Ｇ 車両、２０ 枠線画像、４１，４１Ａ 側後方車両検出部、４２ 側後方車両計測部、４３ 車速情報取得部、４４，４４Ａ 走行状態判定部、４５，４５Ａ 表示制御部、４６ ウィンカ方向情報取得部、５０Ａ～５０Ｅ 側後方撮像画像、５１，５１Ａ，５１Ｂ 距離情報、５２ 推定到達時間情報、５３Ａ，５３Ｂ ウィンカ、１００ 入力インタフェース、１０１ 出力インタフェース、１０２ 処理回路、１０３ プロセッサ、１０４ メモリ。1, 1A display control system, 2A, 2B imaging unit, 3A, 3B display unit, 4, 4A display control device, 5 on-board sensor, 6 on-board ECU, 10, 10A to 10G vehicle, 20 frame line image, 41, 41A side rear vehicle detection unit, 42 side rear vehicle measurement unit, 43 vehicle speed information acquisition unit, 44, 44A driving state determination unit, 45, 45A display control unit, 46 turn signal direction information acquisition unit, 50A to 50E side rear captured image, 51, 51A, 51B distance information, 52 estimated arrival time information, 53A, 53B turn signal, 100 input interface, 101 output interface, 102 processing circuit, 103 processor, 104 memory.

Claims (7)

第１の車両の側方および後方の領域が撮像された側後方撮像画像を用いて、前記第１の車両の側方または後方の領域を走行している第２の車両を検出する側後方車両検出部と、
前記第２の車両の検出情報を用いて、前記第２の車両の速度、前記第２の車両と前記第１の車両との間の距離情報および前記第２の車両が前記第１の車両に到達する推定到達時間を計測する側後方車両計測部と、
前記第１の車両の速度を取得する車速情報取得部と、
前記第１の車両の速度および前記第２の車両の速度が閾値未満である場合、前記第１の車両および前記第２の車両が第１の走行状態であると判定し、前記第１の車両の速度および前記第２の車両の速度が前記閾値以上である場合、前記第１の車両および前記第２の車両が第２の走行状態であると判定する走行状態判定部と、
前記第１の車両および前記第２の車両が前記第１の走行状態である場合、前記距離情報を前記側後方撮像画像に重畳して表示するための表示制御情報を生成し、前記第１の車両および前記第２の車両が前記第２の走行状態である場合、前記推定到達時間を前記側後方撮像画像に重畳して表示するための表示制御情報を生成する表示制御部と、を備えた
ことを特徴とする表示制御装置。 a side rear vehicle detection unit that detects a second vehicle traveling in a side or rear area of a first vehicle by using a side rear captured image in which a side and rear area of the first vehicle is captured;
a side rear vehicle measurement unit that measures a speed of the second vehicle, distance information between the second vehicle and the first vehicle, and an estimated arrival time for the second vehicle to arrive at the first vehicle using detection information of the second vehicle;
A vehicle speed information acquisition unit that acquires a speed of the first vehicle;
a running state determination unit that determines that the first vehicle and the second vehicle are in a first running state when the speed of the first vehicle and the speed of the second vehicle are less than a threshold value, and that determines that the first vehicle and the second vehicle are in a second running state when the speed of the first vehicle and the speed of the second vehicle are equal to or greater than the threshold value;
a display control unit that generates display control information for superimposing the distance information on the side rear captured image when the first vehicle and the second vehicle are in the first driving state, and generates display control information for superimposing the estimated arrival time on the side rear captured image when the first vehicle and the second vehicle are in the second driving state. 前記表示制御部は、前記第１の車両と同一の車線を後続する前記第２の車両と前記第１の車両とが前記第１の走行状態である場合、前記第１の車両に最も近く、かつ前記第１の車両と同一の車線を後続している前記第２の車両と前記第１の車両との間の前記距離情報を前記側後方撮像画像に重畳して表示するための表示制御情報を生成する
ことを特徴とする請求項１に記載の表示制御装置。 2. The display control device according to claim 1, wherein, when the second vehicle following behind the first vehicle in the same lane as the first vehicle and the first vehicle are in the first driving state, the display control unit generates display control information for superimposing and displaying the distance information between the second vehicle, which is closest to the first vehicle and following behind the first vehicle in the same lane as the first vehicle, on the side rear captured image. 前記第１の車両に搭載されたウィンカの点灯方向を示すウィンカ方向情報を取得するウィンカ方向情報取得部を備え、
前記側後方車両検出部は、前記第２の車両に搭載されたウィンカの点灯方向を検出し、
前記走行状態判定部は、前記ウィンカ方向情報が示す前記第１の車両のウィンカの点灯方向と前記第２の車両に搭載されたウィンカの点灯方向とに基づいて、前記第１の車両と前記第２の車両が同一の車線に車線変更しようとしていると判定された場合に、前記第１の車両の速度および前記第２の車両の速度が前記閾値未満であるか否かに基づいて、前記第１の車両および前記第２の車両が前記第１の走行状態または前記第２の走行状態であるかを判定する
ことを特徴とする請求項１に記載の表示制御装置。 a turn signal direction information acquisition unit that acquires turn signal direction information indicating a turn signal direction of a turn signal mounted on the first vehicle;
the side rear vehicle detection unit detects a lighting direction of a turn signal mounted on the second vehicle,
The display control device according to claim 1, characterized in that when it is determined that the first vehicle and the second vehicle are attempting to change lanes into the same lane based on the lighting direction of the blinker of the first vehicle and the lighting direction of the blinker mounted on the second vehicle indicated by the blinker direction information, the driving state determination unit determines whether the first vehicle and the second vehicle are in the first driving state or the second driving state based on whether the speed of the first vehicle and the speed of the second vehicle are less than the threshold value. 前記走行状態判定部は、前記ウィンカ方向情報が示す前記第１の車両のウィンカの点灯方向と前記第２の車両に搭載されたウィンカの点灯方向とに基づいて、前記第１の車両が走行している車線から２車線隣の車線を走行している前記第２の車両が同一の車線に車線変更しようとしていると判定された場合に、前記第１の車両の速度および前記第２の車両の速度が前記閾値未満であるか否かに基づいて、前記第１の車両および前記第２の車両が前記第１の走行状態または前記第２の走行状態であるかを判定する
ことを特徴とする請求項３に記載の表示制御装置。 The display control device according to claim 3, characterized in that when it is determined that the second vehicle traveling in a lane two lanes away from the lane in which the first vehicle is traveling is attempting to change lanes to the same lane based on the lighting direction of the blinker of the first vehicle indicated by the blinker direction information and the lighting direction of the blinker mounted on the second vehicle, the driving state determination unit determines whether the first vehicle and the second vehicle are in the first driving state or the second driving state based on whether the speed of the first vehicle and the speed of the second vehicle are less than the threshold value. 前記走行状態判定部は、前記第１の車両に最も近く、かつ前記第１の車両が変更しようとしている車線を走行している前記第２の車両と前記第１の車両の速度とが前記閾値未満であるか否かに基づいて、前記第１の車両および前記第２の車両が前記第１の走行状態または前記第２の走行状態であるかを判定する
ことを特徴とする請求項３に記載の表示制御装置。 The display control device according to claim 3, characterized in that the driving state determination unit determines whether the first vehicle and the second vehicle are in the first driving state or the second driving state based on whether a speed of the second vehicle that is closest to the first vehicle and traveling in the lane to which the first vehicle is trying to change and a speed of the first vehicle are less than the threshold value. 前記表示制御部は、前記距離情報が第１表示条件を満たす場合、前記距離情報を前記側後方撮像画像に重畳して表示するための表示制御情報を生成し、前記推定到達時間が第２表示条件を満たす場合、前記推定到達時間を前記側後方撮像画像に重畳して表示するための表示制御情報を生成する
ことを特徴とする請求項１から請求項５のいずれか１項に記載の表示制御装置。 6. The display control device according to claim 1, wherein the display control unit generates display control information for superimposing and displaying the distance information on the side rear captured image when the distance information satisfies a first display condition, and generates display control information for superimposing and displaying the estimated arrival time on the side rear captured image when the estimated arrival time satisfies a second display condition. 表示制御装置による表示制御方法であって、
側後方車両検出部が、第１の車両の側方および後方の領域が撮像された側後方撮像画像を用いて、前記第１の車両の側方または後方の領域を走行している第２の車両を検出するステップと、
側後方車両計測部が、前記第２の車両の検出情報を用いて、前記第２の車両の速度、前記第２の車両と前記第１の車両との間の距離情報および前記第２の車両が前記第１の車両に到達する推定到達時間を計測するステップと、
車速情報取得部が、前記第１の車両の速度を取得するステップと、
走行状態判定部が、前記第１の車両の速度および前記第２の車両の速度が閾値未満である場合に、前記第１の車両および前記第２の車両が第１の走行状態であると判定し、前記第１の車両の速度および前記第２の車両の速度が前記閾値以上である場合、前記第１の車両および前記第２の車両が第２の走行状態であると判定するステップと、
表示制御部が、前記第１の車両および前記第２の車両が前記第１の走行状態である場合、前記距離情報を前記側後方撮像画像に重畳して表示するための表示制御情報を生成し、前記第１の車両および前記第２の車両が前記第２の走行状態である場合、前記推定到達時間を前記側後方撮像画像に重畳して表示するための表示制御情報を生成するステップと、を備えた
ことを特徴とする表示制御方法。 A display control method by a display control device, comprising:
a side rear vehicle detection unit detecting a second vehicle traveling in a side or rear area of the first vehicle by using a side rear captured image in which the side and rear areas of the first vehicle are captured;
a side rear vehicle measurement unit measuring a speed of the second vehicle, distance information between the second vehicle and the first vehicle, and an estimated arrival time for the second vehicle to arrive at the first vehicle using detection information of the second vehicle;
A vehicle speed information acquisition unit acquires a speed of the first vehicle;
a running state determination unit determining that the first vehicle and the second vehicle are in a first running state when the speed of the first vehicle and the speed of the second vehicle are less than a threshold value, and determining that the first vehicle and the second vehicle are in a second running state when the speed of the first vehicle and the speed of the second vehicle are equal to or greater than the threshold value;
a display control unit generating display control information for superimposing the distance information on the side rear captured image when the first vehicle and the second vehicle are in the first driving state, and generating display control information for superimposing the estimated arrival time on the side rear captured image when the first vehicle and the second vehicle are in the second driving state.
JP2024519971A 2022-05-11 2022-05-11 Display control device and display control method Active JP7504327B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019883 WO2023218545A1 (en) 2022-05-11 2022-05-11 Display control device and display control method

Publications (2)

Publication Number Publication Date
JPWO2023218545A1 JPWO2023218545A1 (en) 2023-11-16
JP7504327B2 true JP7504327B2 (en) 2024-06-21

Family

ID=88729954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024519971A Active JP7504327B2 (en) 2022-05-11 2022-05-11 Display control device and display control method

Country Status (2)

Country Link
JP (1) JP7504327B2 (en)
WO (1) WO2023218545A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193339A (en) 2007-02-02 2008-08-21 Toyota Motor Corp Rear monitoring system
JP2016103249A (en) 2014-11-28 2016-06-02 富士通株式会社 Driving support device and driving support method
JP2018116516A (en) 2017-01-19 2018-07-26 トヨタ自動車株式会社 Vehicle warning device
JP2021106327A (en) 2019-12-26 2021-07-26 三菱電機株式会社 Video display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193339A (en) 2007-02-02 2008-08-21 Toyota Motor Corp Rear monitoring system
JP2016103249A (en) 2014-11-28 2016-06-02 富士通株式会社 Driving support device and driving support method
JP2018116516A (en) 2017-01-19 2018-07-26 トヨタ自動車株式会社 Vehicle warning device
JP2021106327A (en) 2019-12-26 2021-07-26 三菱電機株式会社 Video display device

Also Published As

Publication number Publication date
JPWO2023218545A1 (en) 2023-11-16
WO2023218545A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
CN111880533B (en) Driving scene reconstruction method, device, system, vehicle, equipment and storage medium
US10163016B2 (en) Parking space detection method and device
JP5070809B2 (en) Driving support device, driving support method, and program
US9475420B2 (en) Display apparatus
CN108621943B (en) System and method for dynamically displaying images on a vehicle electronic display
JP6137081B2 (en) Car equipment
JP2018537329A (en) Method and apparatus for determining a covered area in a vehicle periphery of a vehicle
US20220063406A1 (en) Onboard display device, onboard display method, and computer readable storage medium
US20230001985A1 (en) Display device for a vehicle
US20200084395A1 (en) Periphery monitoring device
US20230373309A1 (en) Display control device
JPH1148828A (en) Vehicle circumference monitoring device
WO2020148957A1 (en) Vehicle control device and method
JP7504327B2 (en) Display control device and display control method
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
CN112449625B (en) Method, system and trailer combination for assisting in scheduling operation of trailer combination
JP2022041286A (en) Display control device, display control method, and display control program
CN113538965A (en) Display control device, display control method, and recording medium having program recorded thereon
JP2007249324A (en) Vehicle surroundings monitoring system and program, vehicle, and method for configuring vehicle surroundings system
WO2014090957A1 (en) Method for switching a camera system to a supporting mode, camera system and motor vehicle
JP7342926B2 (en) Display control device and display control program
US20230311865A1 (en) Control device
JP7213279B2 (en) Driving support device
EP4279316A1 (en) Apparatus and method for message notification
CN116868251A (en) Display control device and display control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240402

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240611

R150 Certificate of patent or registration of utility model

Ref document number: 7504327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150