WO2022044768A1 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
WO2022044768A1
WO2022044768A1 PCT/JP2021/029254 JP2021029254W WO2022044768A1 WO 2022044768 A1 WO2022044768 A1 WO 2022044768A1 JP 2021029254 W JP2021029254 W JP 2021029254W WO 2022044768 A1 WO2022044768 A1 WO 2022044768A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
automatic driving
display
image
peripheral
Prior art date
Application number
PCT/JP2021/029254
Other languages
English (en)
French (fr)
Inventor
一輝 和泉
拓弥 久米
敬久 藤野
敏治 白土
俊太朗 福井
しおり 間根山
兼靖 小出
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021069887A external-priority patent/JP7310851B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112021004492.3T priority Critical patent/DE112021004492T5/de
Priority to CN202180052566.7A priority patent/CN115943101A/zh
Publication of WO2022044768A1 publication Critical patent/WO2022044768A1/ja
Priority to US18/165,297 priority patent/US20230191911A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/171Vehicle or relevant part thereof displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1876Displaying information according to relevancy according to vehicle situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays

Definitions

  • the present disclosure relates to a vehicle display device used for a vehicle having an automatic driving function.
  • Patent Document 1 As a display device for a vehicle, for example, the one described in Patent Document 1 is known.
  • the vehicle display device (driving support system) of Patent Document 1 is mounted on a vehicle having an automatic driving function, and when switching from automatic driving to manual driving, the own vehicle and other vehicles around the own vehicle A peripheral situation presentation screen showing the positional relationship is displayed. As a result, the driver can quickly grasp the traffic situation around the own vehicle when switching from the automatic driving to the manual driving.
  • the purpose of the present disclosure is to provide a vehicle display device capable of presenting information on a following vehicle during automatic driving in relation to the own vehicle in view of the above problems.
  • the vehicle display device of the first disclosure is A display unit that displays vehicle driving information and An acquisition unit that acquires vehicle position information and vehicle peripheral information, Based on the position information and surrounding information, when the automatic driving function of the vehicle is not exerted, the image of the front area including the vehicle is displayed on the display unit, and when the automatic driving function is exerted, the following vehicle is displayed. It is provided with a display control unit for adding an image of the rear area including the image to the image of the front area so as to be continuous with the image of the front area and displaying the image on the display unit.
  • the image of the rear area including the vehicle and the following vehicle is displayed on the display unit, so that the own vehicle and the following vehicle can be displayed. You can grasp the relationship.
  • the vehicle display device of the second disclosure is A display unit that displays vehicle driving information and An acquisition unit that acquires vehicle position information, driving conditions, and surrounding information, A peripheral image of the vehicle is displayed on the display as one of the driving information, and the level of automatic driving set based on the position information, the driving state, and the peripheral information, the driving state, and the peripheral vehicle as the peripheral information. It is provided with a display control unit that switches a display mode relating to the relationship between the vehicle and the peripheral vehicle in the peripheral image according to the situation.
  • the display form relating to the relationship between the vehicle and the peripheral vehicle is switched and displayed according to the automatic driving level of the vehicle, the driving state, and the situation of the peripheral vehicle. Can properly grasp the relationship between.
  • FIG. 1 It is a block diagram which shows the whole structure of the display device for a vehicle. It is explanatory drawing which shows that when there is a following vehicle, it switches to the display which added the image of the rear area to the image of the front area including the own vehicle (when the distance to the following vehicle is small). It is explanatory drawing which shows the display form when the distance between the own vehicle and the following vehicle is less than a predetermined distance. It is explanatory drawing which shows the display form when the distance between the own vehicle and the following vehicle is more than a predetermined distance. It is explanatory drawing which shows how the distance between a own vehicle and a following vehicle fluctuates. It is explanatory drawing which shows the case where the size of the rear area is fixed. FIG.
  • FIG. 6 is an explanatory diagram showing that the size of the rear area is changed when the fluctuation of the distance between the own vehicle and the following vehicle becomes small. It is a flowchart which shows the control procedure for changing the display form according to the situation of the following vehicle. It is explanatory drawing which shows the display form (emergency vehicle and a message) when there is an emergency vehicle in a rear area. It is explanatory drawing which shows the display form (simple display and message) when there is an emergency vehicle in the rear area. It is explanatory drawing which shows the display form (simple display only) when there is an emergency vehicle in the rear area. It is explanatory drawing which shows the sense of unity display (color display on the road surface) when the following vehicle is driving by automatic follow-up.
  • the vehicle display device 100 of the first embodiment will be described with reference to FIGS. 1 to 4.
  • the vehicle display device 100 of the first embodiment is mounted (applied) to a vehicle having an automatic driving function (hereinafter, own vehicle 10).
  • the vehicle display device 100 will be referred to as a display device 100.
  • the display device 100 includes an HCU (Human Machine Interface Control Unit) 160.
  • the display device 100 displays vehicle traveling information such as vehicle speed, engine speed, transmission shift position, and navigation information by a navigation system (here, locator 30) on a display unit (a plurality of display devices described later). Is displayed. Further, the display device 100 displays the image of the own vehicle 10 and the periphery of the own vehicle 10 on the display unit.
  • the display device 100 is via a locator 30, a peripheral monitoring sensor 40, an in-vehicle communication device 50, a first automatic driving ECU 60, a second automatic driving ECU 70, a vehicle control ECU 80, a communication bus 90, etc. mounted on the own vehicle 10. It is connected.
  • the locator 30 forms a navigation system, and generates own vehicle position information (position information) and the like by compound positioning that combines a plurality of acquired information.
  • the locator 30 includes a GNSS (Global Navigation Satellite System) receiver 31, an inertial sensor 32, a map database (hereinafter, “map DB”) 33, a locator ECU 34, and the like.
  • the locator 30 corresponds to the acquisition unit of the present disclosure.
  • the GNSS receiver 31 receives positioning signals from a plurality of positioning satellites.
  • the inertial sensor 32 is a sensor that detects the inertial force acting on the own vehicle 10.
  • the inertial sensor 32 includes, for example, a gyro sensor and an acceleration sensor.
  • the map DB 33 is a non-volatile memory and stores map data such as link data, node data, road shape, and structures.
  • the map data may be a three-dimensional map composed of point clouds of road shapes and feature points of structures.
  • the three-dimensional map may be generated by REM (Road Experience Management) based on the captured image. Further, the map data may include traffic regulation information, road construction information, weather information, signal information and the like.
  • the map data stored in the map DB 33 is updated periodically or at any time based on the latest information received by the in-vehicle communication device 50 described later.
  • the locator ECU 34 has a configuration mainly including a microcomputer provided with a processor, a memory, an input / output interface, a bus connecting these, and the like.
  • the locator ECU 34 combines the positioning signal received by the GNSS receiver 31, the measurement result of the inertial sensor 32, and the map data of the map DB 33 to obtain the position of the own vehicle 10 (hereinafter referred to as the own vehicle position) and the traveling speed (traveling state). ) Sequentially.
  • the position of the own vehicle may be, for example, configured to be represented by the coordinates of latitude and longitude.
  • the mileage obtained from the signals sequentially output from the vehicle-mounted sensor 81 (vehicle speed sensor or the like) mounted on the vehicle 10 may be used.
  • the locator ECU 34 detects the three-dimensional map and the peripheral monitoring sensor 40 without using the GNSS receiver 31. It may be configured to specify the position of the own vehicle by using the result.
  • the peripheral monitoring sensor 40 is an autonomous sensor that monitors the surrounding environment of the own vehicle 10. From the detection range around the own vehicle 10, the peripheral monitoring sensor 40 includes pedestrians, cyclists, animals other than humans, moving objects such as other vehicles 20 (front vehicle 21, following vehicle 22), and falling objects on the road. , Guardrails, curbs, road signs, lanes, lane markings, road surface markings such as central separation zones, and stationary objects such as roadside structures can be detected.
  • the peripheral monitoring sensor 40 provides the detection information of detecting an object around the own vehicle 10 to the first automatic driving ECU 60, the second automatic driving ECU 70, and the like through the communication bus 90.
  • the peripheral monitoring sensor 40 has, for example, a camera 41, a millimeter wave radar 42, a sound sensing sensor 43, and the like as detection configurations for object detection.
  • the peripheral monitoring sensor 40 corresponds to the acquisition unit of the present disclosure.
  • the camera 41 has a front camera and a rear camera.
  • the front camera outputs at least one of the image pickup data obtained by photographing the front range (front area) of the own vehicle 10 and the analysis result of the image pickup data as detection information.
  • the rear camera outputs at least one of the image pickup data obtained by photographing the rear range (rear area) of the own vehicle 10 and the analysis result of the image pickup data as detection information.
  • a plurality of millimeter wave radars 42 are arranged at intervals between the front and rear bumpers of the own vehicle 10.
  • the millimeter wave radar 42 irradiates the millimeter wave or the quasi-millimeter wave toward the front range, the front side range, the rear range, the rear side range, and the like of the own vehicle 10.
  • the millimeter wave radar 42 generates detection information by a process of receiving reflected waves reflected by a moving object, a stationary object, or the like.
  • the peripheral monitoring sensor 40 includes other detection configurations such as LiDAR (Light Detection and Ringing / Laser Imaging Detection and Ringing) that detects a point cloud of feature points of a feature, and sonar that receives reflected waves of ultrasonic waves. It may be.
  • LiDAR Light Detection and Ringing / Laser Imaging Detection and Ringing
  • the sound sensing sensor 43 is a sensing unit that senses the sound around the own vehicle 10, for example, the siren sound of the emergency vehicle 23 approaching the own vehicle 10 and the direction of the siren sound.
  • the emergency vehicle 23 corresponds to the predetermined high-priority following vehicle 22 (priority following vehicle) of the present disclosure, and corresponds to, for example, a police car, an ambulance, a fire engine, or the like.
  • the in-vehicle communication device 50 is a communication module mounted on the own vehicle 10.
  • the in-vehicle communication device 50 has at least a V2N (Vehicle to cellular Network) communication function in line with communication standards such as LTE (Long Term Evolution) and 5G, and is connected to a base station or the like around the own vehicle 10. Send and receive radio waves with.
  • the in-vehicle communication device 50 may further have functions such as road-to-vehicle (Vehicle to roadside Infrastructure, hereinafter “V2I”) communication and vehicle-to-vehicle (Vehicle to Vehicle, hereinafter “V2V”) communication.
  • V2I road-to-vehicle to roadside Infrastructure
  • V2V2V vehicle-to-vehicle to Vehicle
  • the in-vehicle communication device 50 enables cooperation (Cloud to Car) between the cloud and the in-vehicle system by V2N communication.
  • the own vehicle 10 becomes a connected car that can be connected to the Internet.
  • the in-vehicle communication device 50 corresponds to the acquisition unit of the present disclosure.
  • the in-vehicle communication device 50 acquires road traffic information such as traffic congestion status and traffic regulation on the road from FM multiplex broadcasting and a beacon provided on the road by using, for example, VICS (Vehicle information and communication System registered trademark). do.
  • VICS Vehicle information and communication System registered trademark
  • the in-vehicle communication device 50 uses, for example, DCM (Data Communication Module) or vehicle-to-vehicle communication, through a predetermined center base station or between vehicles, and a plurality of front vehicles 21 and a following vehicle 22. Communicate with. Then, the in-vehicle communication device 50 obtains information such as the vehicle speed, position, and the execution status of automatic driving of the other vehicle 20 traveling on the front side and the rear side of the own vehicle 10.
  • DCM Data Communication Module
  • vehicle-to-vehicle communication through a predetermined center base station or between vehicles, and a plurality of front vehicles 21 and a following vehicle 22. Communicate with. Then, the in-vehicle communication device 50 obtains information such as the vehicle speed, position, and the execution status of automatic driving of the other vehicle 20 traveling on the front side and the rear side of the own vehicle 10.
  • the in-vehicle communication device 50 provides information (peripheral information) of another vehicle 20 based on VICS and DCM to the first and second automatic driving ECUs 60, 70, HCU 160, and the like.
  • the first automatic operation ECU 60 and the second automatic operation ECU 70 are configured to mainly include a computer provided with memories 61, 71, processors 62, 72, input / output interfaces, a bus connecting them, and the like, respectively.
  • the first automatic driving ECU 60 and the second automatic driving ECU 70 are ECUs capable of executing automatic driving control that partially or substantially completely controls the traveling of the own vehicle 10.
  • the first automatic driving ECU 60 has a partially automatic driving function that partially substitutes for the driving operation of the driver.
  • the first automatic driving ECU 60 enables partial automatic driving control (advanced driving support) of level 2 or lower with manual or peripheral monitoring obligations.
  • the first automatic driving ECU 60 constructs a plurality of functional units that realize the above-mentioned advanced driving support by causing the processor 62 to execute a plurality of instructions by the driving support program stored in the memory 61.
  • the first automatic driving ECU 60 recognizes the traveling environment around the own vehicle 10 based on the detection information acquired from the peripheral monitoring sensor 40.
  • the first autonomous driving ECU 60 has already analyzed information (lane information) indicating the relative position and shape of the left and right lane markings or roadsides of the lane in which the own vehicle 10 is currently traveling (hereinafter referred to as the current lane). Generate as information.
  • the first automatic driving ECU 60 provides information (forward) indicating the presence or absence of the vehicle ahead 21 (other vehicle 20) ahead of the own vehicle 10 in the current lane, and the position and speed of the vehicle ahead 21 when present. Vehicle information) is generated as analyzed detection information.
  • the first automatic driving ECU 60 executes ACC (Adaptive Cruise Control) control that realizes constant speed running of the own vehicle 10 at a target speed or following running of the preceding vehicle based on the information of the vehicle ahead.
  • the first automatic driving ECU 60 executes LTA (Lane Tracing Assist) control for maintaining the traveling in the lane of the own vehicle 10 based on the lane information.
  • the first automatic driving ECU 60 generates acceleration / deceleration or steering angle control commands and sequentially provides them to the vehicle control ECU 80 described later.
  • ACC control is an example of vertical control
  • LTA control is an example of horizontal control.
  • the first automatic operation ECU 60 realizes level 2 automatic operation by executing both ACC control and LTA control.
  • the first automatic operation ECU 60 may be capable of realizing level 1 automatic operation by executing either ACC control or LTA control.
  • the second automatic driving ECU 70 has an automatic driving function capable of acting as a driver's driving operation.
  • the second automatic driving ECU 70 enables automatic driving control of level 3 or higher at the above-mentioned automatic driving level. That is, the second automatic driving ECU 70 enables the driver to perform automatic driving in which interruption of peripheral monitoring is permitted (peripheral monitoring obligation is unnecessary). In other words, the second automatic operation ECU 70 enables automatic operation in which the second task is permitted.
  • the second task is an act other than driving permitted to the driver, and is a predetermined specific act.
  • the second automatic operation ECU 70 constructs a plurality of functional units that realize the above automatic operation by causing the processor 72 to execute a plurality of instructions by the automatic operation program stored in the memory 71.
  • the second automatic driving ECU 70 is based on the vehicle position and map data acquired from the locator ECU 34, the detection information acquired from the peripheral monitoring sensor 40, the communication information acquired from the in-vehicle communication device 50, and the like, and the traveling environment around the vehicle 10. Recognize. For example, the second automatic driving ECU 70 recognizes the position of the current lane of the own vehicle 10, the shape of the current lane, and the relative position and speed of the moving body (other vehicle 20) around the own vehicle 10, the traffic jam situation, and the like.
  • the second automatic driving ECU 70 discriminates between the manual driving area (MD area) and the automatic driving area (AD area) in the traveling area of the own vehicle 10, and discriminates between the ST section and the non-ST section in the AD area.
  • the recognition results are sequentially provided to the HCU 160 described later.
  • the MD area is an area where automatic driving is prohibited.
  • the MD area is an area defined by the driver to perform all of the vertical control, the horizontal control, and the peripheral monitoring of the own vehicle 10.
  • the MD area is an area where the travel path is a general road.
  • the AD area is an area where automatic driving is permitted.
  • the AD area is an area in which the own vehicle 10 can substitute one or more of the vertical direction (front-back direction) control, the horizontal direction (width direction) control, and the peripheral monitoring.
  • the AD area is an area where the driveway is a highway or a motorway.
  • the AD area is divided into a non-ST section where automatic operation of level 2 or lower is possible and an ST section where automatic operation of level 3 or higher is possible.
  • the non-ST section where the level 1 automatic operation is permitted and the non-ST section where the level 2 automatic operation is permitted are equivalent.
  • the ST section is, for example, a traveling section (traffic jam section) in which traffic jam occurs. Further, the ST section is, for example, a traveling section in which a high-precision map is prepared.
  • the HCU 160 determines that the vehicle is in the ST section when the traveling speed of the own vehicle 10 is within the range of the determination speed or less for a predetermined period of time. Alternatively, the HCU 160 may determine whether or not it is an ST section by using the position of the own vehicle and the congestion information obtained from the in-vehicle communication device 50 by VICS or the like.
  • another vehicle 20 in addition to the traveling speed of the own vehicle 10 (congestion traveling section condition), another vehicle 20 is located around the own vehicle 10 (the same diagonal line and the adjacent lane) where the driving road is two or more lanes. It may be determined whether or not the vehicle is an ST section on the condition that there is a median strip on the driving road and that high-precision map data is possessed.
  • the HCU 160 is a section in which specific conditions other than traffic jam are satisfied with respect to the surrounding environment of the own vehicle 10 (constant speed running without traffic jam, follow-up running, LTA (lane keeping running) on the highway). Such possible sections may be set as ST sections.
  • At least level 2 or lower and level 3 equivalent (or higher) automatic driving can be executed in the own vehicle 10.
  • the vehicle control ECU 80 is an electronic control device that controls acceleration / deceleration of the own vehicle 10 and steering control.
  • the vehicle control ECU 80 includes a power unit control ECU and a brake ECU that perform acceleration / deceleration control, a steering ECU that performs steering control, and the like.
  • the vehicle control ECU 80 acquires detection signals output from each sensor such as a vehicle speed sensor and a steering angle sensor mounted on the own vehicle 10, and travels on an electronically controlled throttle, a brake actuator, an EPS (Electric Power Steering) motor, and the like. Output a control signal to the control device.
  • the vehicle control ECU 80 controls each driving control device so as to realize automatic driving according to the control instruction by acquiring the control instruction of the own vehicle 10 from the first automatic driving ECU 60 or the second automatic driving ECU 70.
  • the vehicle control ECU 80 is connected to an in-vehicle sensor 81 that detects driving operation information of a driving member by a driver.
  • the in-vehicle sensor 81 includes, for example, a pedal sensor that detects the amount of depression of the accelerator pedal, a steering sensor that detects the amount of steering of the steering wheel, and the like.
  • the in-vehicle sensor 81 includes a vehicle speed sensor that detects the traveling speed of the own vehicle 10, a rotation sensor that detects the operating rotation speed of the traveling drive unit (engine, traveling motor, etc.), and a shift sensor that detects the shift position of the transmission. Etc. are also included.
  • the vehicle control ECU 80 sequentially provides the detected driving operation information, vehicle operation information, and the like to the HCU 160.
  • the display device 100 includes a plurality of display devices as display units and an HCU 160 as display control units.
  • the display device 100 is provided with an audio device 140, an operation device 150, and the like.
  • the plurality of display devices include a head-up display (hereinafter, HUD) 110, a meter display 120, a center information display (hereinafter, CID) 130, and the like.
  • the plurality of display devices may further include each display EML (left display), EMR (right display) of the electronic mirror system.
  • the HUD 110, the meter display 120, and the CID 130 are display units that present image contents such as still images or moving images to the driver as visual information.
  • As the image content for example, images of a traveling road (traveling lane), own vehicle 10, other vehicle 20, and the like are used.
  • the other vehicle 20 includes a front vehicle 21 traveling beside and in front of the own vehicle 10, a following vehicle 22 traveling behind the own vehicle 10, an emergency vehicle 23, and the like.
  • the HUD 110 projects the light of the image formed in front of the driver onto the projection area defined by the front windshield or the like of the own vehicle 10 based on the control signal and the video data acquired from the HCU 160.
  • the light of the image reflected on the vehicle interior side by the front windshield is perceived by the driver sitting in the driver's seat.
  • the HUD 110 displays a virtual image in the space in front of the projection area.
  • the driver visually recognizes the virtual image in the angle of view displayed by the HUD 110 so as to overlap the foreground of the own vehicle 10.
  • the meter display 120 and the CID 130 are mainly composed of, for example, a liquid crystal display or an OLED (Organic Light Emitting Diode) display.
  • the meter display 120 and the CID 130 display various images on the display screen based on the control signal and the video data acquired from the HCU 160.
  • the meter display 120 is, for example, a main display unit installed in front of the driver's seat.
  • the CID 130 is a sub-display unit provided in the central region in the vehicle width direction in front of the driver.
  • the CID 130 is installed above the center cluster in the instrument panel.
  • the CID 130 has a touch panel function, and detects, for example, a touch operation on the display screen by a driver or the like, a swipe operation, or the like.
  • a meter display 120 main display unit
  • a display unit main display unit
  • the audio device 140 has a plurality of speakers installed in the vehicle interior.
  • the audio device 140 presents a notification sound, a voice message, or the like as auditory information to the driver based on the control signal and voice data acquired from the HCU 160. That is, the audio device 140 is an information presentation device capable of presenting information in a mode different from visual information.
  • the operation device 150 is an input unit that accepts user operations by a driver or the like. For example, user operations related to the start and stop of each level of the automatic driving function are input to the operation device 150.
  • the operation device 150 includes, for example, a steering switch provided on the spoke portion of the steering wheel, an operation lever provided on the steering column portion, a voice input device for recognizing the utterance content of the driver, and an icon for touch operation in the CID 130. Switch) etc. are included.
  • the HCU 160 controls the display on the meter display 120 based on the information acquired by the locator 30, the peripheral monitoring sensor 40, the in-vehicle communication device 50, the first automatic driving ECU 60, the second automatic driving ECU 70, the vehicle control ECU 80, and the like. Do (details below).
  • the HCU 160 mainly includes a computer including a memory 161, a processor 162, a virtual camera 163, an input / output interface, and a bus connecting them.
  • the memory 161 non-transiently stores or stores a computer-readable program, data, or the like, for example, at least one type of non-transitional substantive storage medium (non-transitional memory, magnetic medium, optical medium, or the like, etc.). transitory tangible storage medium).
  • the memory 161 stores various programs executed by the processor 162, such as a presentation control program described later.
  • the processor 162 is hardware for arithmetic processing.
  • the processor 162 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a RISC (Reduced Instruction Set Computer) -CPU, and the like as a core.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • RISC Reduced Instruction Set Computer
  • the processor 162 executes a plurality of instructions included in the presentation control program stored in the memory 161.
  • the HCU 160 constructs a plurality of functional units for controlling the presentation to the driver.
  • a plurality of functional units are constructed by causing the processor 162 to execute a plurality of instructions by the presentation control program stored in the memory 161.
  • the virtual camera 163 is a camera set in a 3D space created by software.
  • the virtual camera 163 is based on information from the locator 30, the peripheral monitoring sensor 40 (camera 41), the in-vehicle communication device 50, and the like, and is based on the coordinate position of the own vehicle 10 and the other vehicle 20 (front vehicle 21, following vehicle 22).
  • the position is estimated to form an image of the own vehicle 10 and another vehicle 20 (for example, a bird's-eye view image, FIGS. 2 to 4).
  • the virtual camera 163 can also be formed as an image (plan view) in which the images of the own vehicle 10 and the other vehicle 20 are captured in a bird's-eye view or in a plane.
  • the HCU 160 acquires the recognition result of the driving environment from the first automatic driving ECU 60 or the second automatic driving ECU 70.
  • the HCU 160 grasps the peripheral state of the own vehicle 10 based on the acquired recognition result. Specifically, the HCU 160 grasps the approach to the AD area, the approach to the AD area, the approach to the ST section (congestion section, high-speed section, etc.), the approach to the ST section, and the like.
  • the HCU 160 may grasp the peripheral state based on the information directly acquired from the locator ECU 34, the peripheral monitoring sensor 40, etc., instead of the recognition results acquired from the first and second automatic operation ECUs 60 and 70.
  • HCU160 determines that automatic driving cannot be permitted when the own vehicle 10 is traveling in the MD area. On the other hand, the HCU 160 determines that automatic driving of level 2 or higher can be permitted when traveling in the AD area. Further, the HCU 160 determines that automatic driving of level 2 or lower can be permitted when traveling in a non-ST section of the AD area, and automatic driving of level 3 or higher when traveling in an ST section. Is determined to be permitted.
  • the HCU 160 determines the automatic driving level to be actually executed based on the position of the own vehicle 10, the traveling speed, the peripheral state, the driver's state, the currently permitted automatic driving level, the input information to the operation device 150, and the like. to decide. That is, the HCU 160 determines the execution of the currently permitted automatic driving level when the currently permitted start instruction of the automatic driving level is acquired as input information.
  • the HCU 160 controls the presentation of content related to autonomous driving. Specifically, the HCU 160 selects content to be presented to each display device 110, 120, 130 based on various information.
  • the HCU 160 generates control signals and video data provided to each display device 110, 120, 130, and control signals and audio data provided to the audio device 140.
  • the HCU 160 outputs the generated control signal and each data to each presentation device to present information on each display device 110, 120, 130.
  • the configuration of the display device 100 is as described above, and the operation and the effect will be described below with reference to FIGS. 2 to 4.
  • automatic driving level 3 (traffic jam following driving, high-speed following driving, constant-speed driving driving,) in a traffic jam occurrence section or a high-speed driving possible section, while the automatic driving level 2 or less.
  • the case where driving in the lane, etc.) is carried out is taken as an example.
  • the conditions for enabling the automatic driving level 3 are, for example, satisfying a predetermined vehicle speed condition, having a plurality of traveling lanes, having a median strip, and the like.
  • the HCU 160 switches the display of the peripheral image of the own vehicle 10 on the meter display 120 according to whether it is a normal driving (non-automatic driving driving) or an automatic driving driving.
  • the HCU 160 is based on the information obtained by the locator 30, the peripheral monitoring sensor 40 (mainly the front camera), and the in-vehicle communication device 50 when the automatic operation is not executed.
  • the image FP other vehicle 20, that is, the vehicle in front 21
  • the image displayed on the meter display 120 for example, a bird's-eye view taken from the rear upper side of the own vehicle 10 toward the traveling direction is used.
  • the image may be a plan view instead of the bird's-eye view.
  • the HCU 160 (virtual camera 163) is based on the information obtained by the locator 30, the peripheral monitoring sensor 40 (mainly the camera 41), and the in-vehicle communication device 50 when the automatic driving is being executed.
  • the image RP of the rear area including the following vehicle 22 is added to the image FP of the front area so as to be continuous with the image FP of the front area, and is added to the meter display 120. indicate.
  • the whole image shown in FIGS. 2 (b), 3 (b), and 4 (b) is, for example, drawn as a dynamic graphic model by receiving the coordinate information of another vehicle 20 around the own vehicle 10. ..
  • the HCU 160 expands the rear area so that the grasped following vehicle 22 enters the rear area (so that it can be visually recognized). That is, the HCU 160 sets the rear area larger as the distance D between the own vehicle 10 and the following vehicle 22 increases.
  • the size of the rear area of the HCU 160 is set as the maximum setting of the following vehicle 22.
  • the display is a simple display S (for example, a triangular mark display) for simply indicating the existence. In the simple display S, the distance D (distance between the two in the image) between the own vehicle 10 and the following vehicle 22 is not clearly displayed.
  • the HCU 160 moves the position of the virtual camera 163, expands or contracts the angle of view of the virtual camera 163, or orients the virtual camera 163 in the display in FIGS. 2 (b), 3 (b), and 4 (b). It corresponds by moving or enlarging the display area on the plane (in the case of two-dimensional display).
  • the HCU 160 is highlighted E (for example, a rectangular frame-shaped mark) so as to surround the following vehicle 22 in order to emphasize the following vehicle 22. Is added.
  • the HCU 160 measures the image FP of the front area including the own vehicle 10 when the automatic driving function is not exhibited in the own vehicle 10 based on the position information and the peripheral information. It is displayed on the display 120. Then, when the automatic driving function is exhibited in the own vehicle 10, the HCU 160 adds an image RP of the rear area including the following vehicle 22 so as to be continuous with the image FP of the front area and displays it on the meter display 120. Display in the section.
  • the image RP of the rear area including the own vehicle 10 and the following vehicle 22 is displayed on the meter display 120, so that the own vehicle 10 and the following vehicle 22 are displayed. It is possible to grasp the relationship with.
  • the HCU 160 expands the rear area so that the grasped following vehicle 22 enters the rear area (so that it can be visually recognized), the following vehicle 22 with respect to the own vehicle 10 is surely displayed. Can be done.
  • the HCU 160 sets the size of the rear area to the maximum setting and merely indicates the existence of the following vehicle 22 as a display.
  • the simple display S is used.
  • the HCU 160 is designed to add the highlight E to the following vehicle 22, it is possible to increase the recognition level of the following vehicle 22.
  • the second embodiment is shown in FIGS. 5 to 7.
  • the second embodiment is a modification of the first embodiment in which the display mode of the following vehicle 22 on the meter display 120 is changed.
  • the figures of the reference numerals (a) of FIGS. 5 and 6 show the case where the distance D between the own vehicle 10 and the following vehicle 22 is relatively long during automatic driving, and the reference numerals (b) of FIGS.
  • the figure shows a case where the distance D between the own vehicle 10 and the following vehicle 22 is relatively short during automatic driving.
  • the highlighting E is added as in the first embodiment.
  • the HCU 160 controls the position, angle of view, orientation, etc. of the virtual camera 163 on the 3D space created by software to shoot the front area and the rear area with respect to the own vehicle 10. ..
  • the distance D is relatively long as shown in FIG. 5B. If it becomes shorter, the position of the own vehicle 10 will fluctuate downward in the display area, which may make the display difficult for the driver to see.
  • the actual camera 41 may be used to synthesize and output the images of the front and rear areas.
  • the HCU 160 fixes the setting of the virtual camera 163 and fixes the rear area to a size that can absorb the fluctuation of the distance D as shown in FIG. That is, the HCU 160 sets the rear area where the following vehicle 22 is displayed as the fixed area FA. Then, the HCU 160 fixes the position of the own vehicle 10 in the front area and changes the position of the following vehicle 22 accompanied by the fluctuation of the distance D with respect to the own vehicle 10 in the rear area (in the fixed area FA). indicate.
  • the display may be returned to the display in which the fixed area FA setting is canceled.
  • FIGS. 8 to 16 The third embodiment is shown in FIGS. 8 to 16.
  • the third embodiment controls the display mode according to the type of the following vehicle 22.
  • FIG. 8 is a flowchart showing the procedure of display form control during automatic operation.
  • the automatic driving mode is, for example, follow-up driving (including high speed and low speed), constant speed driving, driving in a lane, etc. on a highway.
  • the display form control performed by the HCU 160 will be described below.
  • the start and the end are repeatedly executed at predetermined time intervals.
  • step S100 of the flowchart the HCU 160 determines whether or not there is a following vehicle 22 from the information of the peripheral monitoring sensor 40 (camera 41).
  • the process proceeds to step S110, and when it is determined to be negative, the HCU 160 ends this control.
  • step S110 the HCU 160 determines whether the following vehicle 22 is an emergency vehicle 23 (priority following vehicle).
  • the HCU 160 determines whether or not the following vehicle 22 is an emergency vehicle 23 (patrol car, ambulance vehicle, fire engine, etc.) based on information from the sound sensing sensor 43 in the peripheral monitoring sensor 40, for example, siren sound, siren sound direction, and the like. To judge. If the affirmative determination is made in step S110, the HCU 160 proceeds to step S120, and if the negative determination is made, the HCU 160 proceeds to step S150.
  • steps S120 to S141 the following vehicle 22 is a step determined to be an emergency vehicle 23, and the following vehicle 22 is referred to as an emergency vehicle 23.
  • step S120 the HCU 160 determines whether or not the distance between the own vehicle 10 and the emergency vehicle 23 is less than a predetermined distance (for example, 100 m) from the information of the peripheral monitoring sensor 40 (for example, the camera 41).
  • a predetermined distance for example, 100 m
  • step S120 If affirmative judgment is made in step S120 (distance is less than 100 m), the HCU 160 displays the emergency vehicle 23 relatively large in step S130 as shown in FIG. Specifically, in step S131, the HCU 160 expands the rear area and displays up to the emergency vehicle 23 among a plurality of following vehicles 22 even if there are a plurality of following vehicles 22. The HCU 160 displays the image of the emergency vehicle 23 with the highlighting E added.
  • the HCU 160 displays a message M indicating the relationship between the own vehicle 10 and the emergency vehicle 23.
  • the HCU 160 sets the position of the message M to a position that does not overlap with the image of the own vehicle 10 and the image of the emergency vehicle 23 among the displayed images.
  • the message M is, for example, "There is an emergency vehicle behind and give way.”
  • the HCU 160 informs the driver of the existence of the emergency vehicle 23 by highlighting E on the image of the emergency vehicle 23 and a message M.
  • the HCU 160 issues an instruction to the second automatic driving ECU 70 to change lanes by automatic driving so that the emergency vehicle 23 can be passed promptly.
  • step S120 determines whether a negative determination is made in step S120 (distance is 100 m or more).
  • the HCU 160 displays the emergency vehicle 23 relatively small in step S140 as shown in FIG.
  • step S141 the HCU 160 sets the rear area to a range of 100 m and uses the simple display S (without clearly displaying the distance) to indicate that the emergency vehicle 23 is in the rear area. do.
  • the message M as shown in the above (FIG. 9) is not displayed.
  • FIG. 10 shows an example of a display form in the intermediate case between FIGS. 9 and 11. For example, when the determination result in step S120 is set to three stages, the determination in the intermediate stage is performed. Is applicable.
  • FIG. 10 shows an example in which the message M is displayed with the emergency vehicle 23 as the simple display S.
  • step S150 the HCU 160 is automatically driving from the information of the in-vehicle communication device 50, the following vehicle 22 is automatically driving, and the own vehicle 10 is based on the information of the peripheral monitoring sensor 40. It is determined whether or not the distance to and from is less than 20 m.
  • step S150 the HCU 160 determines that the following vehicle 22 is following the own vehicle 10 by automatic driving. Then, in step S160, as shown in FIGS. 12 to 14, the HCU 160 performs a sense of unity display U with a sense of unity between the own vehicle 10 and the following vehicle 22.
  • the sense of unity display U is a display showing that the own vehicle 10 and the following vehicle 22 immediately behind it are paired by following running.
  • a frame is provided so as to surround the own vehicle 10 and the following vehicle 22, and the inside of the frame (road surface) is displayed with a predetermined color.
  • the own vehicle 10 and the following vehicle 22 are vehicle images having the same design.
  • the display is such that the own vehicle 10 and the following vehicle 22 are connected (towed).
  • the message M may be displayed in the same manner as in steps S130 and S131.
  • the message M can be, for example, a content such as "The following vehicle 22 is automatically following the own vehicle 10".
  • step S150 the HCU 160 determines in step S170 whether the following vehicle 22 is a driving vehicle or not.
  • the HCU 160 has information from the peripheral monitoring sensor 40, for example, the current vehicle speed, the distance between the own vehicle 10 and the following vehicle 22, the presence or absence of meandering driving of the following vehicle 22, the presence or absence of a high beam from the following vehicle 22, and the surroundings of the own vehicle 10. From the number of other vehicles 20 (whether there is only one following vehicle 22), the position of the lane in which the following vehicle 22 travels (the lane is changed frequently), and the like, it is determined whether or not the following vehicle 22 is a fan-driving vehicle.
  • step S170 the HCU 160 displays a caution to the driver in step S180 as shown in FIGS. 15 and 16. Specifically, the HCU 160 displays the following vehicle 22 (driving vehicle) with the highlighting E added to the rear area. Further, the HCU 160 displays a message M so as not to overlap the own vehicle 10 and the following vehicle 22.
  • FIG. 15 shows an example in which the message M is displayed in the front area on the front side of the own vehicle 10
  • FIG. 16 shows an example in which the message M is displayed between the own vehicle 10 and the following vehicle 22.
  • the message M is, for example, a content such as "There is a high possibility of driving in a hurry. Recording is in progress.” (Fig. 15) or “Maybe driving in a hurry. Recording is in progress.” (Fig. 16). ..
  • step S170 If a negative determination is made in step S170, the HCU 160 ends this control.
  • the display mode is controlled according to the type of the following vehicle 22, and the driver needs to recognize the following vehicle 22 even during automatic driving. It becomes possible to carry out the measures to be taken.
  • the HCU 160 displays up to the emergency vehicle 23 in the rear area when there is a predetermined high priority emergency vehicle 23 (priority following vehicle) among the following vehicles 22. As a result, the driver can surely recognize the existence of the emergency vehicle 23.
  • the HCU 160 performs a highlighting E that emphasizes the emergency vehicle 23. This allows the driver to reliably recognize the emergency vehicle 23. Even when the following vehicle 22 is a driving vehicle, the driver's recognition level can be increased by performing the highlighting E in the same manner.
  • the HCU 160 displays the own vehicle 10 and the following vehicle 22 with a sense of unity. As a result, the driver can recognize that the following vehicle 22 is automatically following the vehicle.
  • the HCU 160 displays a message M indicating the relationship between the own vehicle 10 and the following vehicle 22. As a result, the driver can recognize the relationship with the following vehicle 22 in detail.
  • the HCU 160 displays the image so as not to overlap the own vehicle 10 and the following vehicle 22. As a result, the display of the positional relationship between the own vehicle 10 and the following vehicle 22 is not obstructed.
  • the display form is controlled (display of the following vehicle 22) by starting the process according to the flowchart shown in FIG.
  • a driver camera that captures the driver's face is provided, and when the number of times the driver's line of sight looks at the rear-view mirror exceeds the threshold value per unit time, the display process of the following vehicle 22 is executed. You may try to (start).
  • the HCU 160 acquires various information from the locator 30, the peripheral monitoring sensor 40, the in-vehicle communication device 50, the first and second automatic driving ECUs 60 and 70, the vehicle control ECU 80, and the like.
  • the HCU 160 particularly includes the level of automatic driving (levels 1, 2, 3 and higher) set based on the position information, the driving state, and the surrounding information of the own vehicle 10 and the running state of the own vehicle 10.
  • the display form of the peripheral image to be displayed on the display unit is switched according to the situation (traffic jam driving, high-speed driving, etc.) and the surrounding vehicles (front vehicle 21, following vehicle 22).
  • the peripheral image is an image around the own vehicle 10, and is an image showing the relationship between the own vehicle 10 and the peripheral vehicles 21 and 22.
  • a meter display 120 is used for the display unit.
  • the HCU 160 displays an image FP of the front area including the own vehicle 10. ..
  • the image FP in the front area uses a bird's-eye view representation captured from the rear upper part of the own vehicle 10.
  • the HCU 160 displays the image FP of the front area and the image RP of the rear area.
  • the HCU 160 sets the image RP of the rear area to the rear end of the following vehicle 22 when there is a following vehicle 22. If there is no following vehicle 22, the area is displayed so as to be wider than the area assuming the following vehicle 22. A bird's-eye view is used for the peripheral image at this time. When the following vehicle 22 approaches from behind at high speed, the rear area may be displayed widely. Further, the peripheral image may be displayed on the CID 130.
  • the level of automatic driving is area-limited level 3 (area-limited automatic) in which automatic driving is permitted in a predetermined area set in advance (for example, a specified section of a highway).
  • the HCU 160 captures the vehicle 10 from above the vehicle 10 as a peripheral image and displays the vehicle 10 as a flat image arranged in the center of the image.
  • the peripheral image may be displayed on the CID 130.
  • the own vehicle 10 may be displayed at a position corresponding to the rear (lower side of the image) in the peripheral image.
  • a dangerous vehicle 24 that may pose a danger to the own vehicle 10 (for example, a fanning vehicle, a vehicle approaching at high speed, or a vehicle approaching at a position close to the lane of the own vehicle 10).
  • the HCU 160 displays the dangerous vehicle 24 so as to enter the image RP in the rear area.
  • the HCU 160 arranges the own vehicle 10 in the center of the peripheral image before the dangerous vehicle 24 approaches, and when the dangerous vehicle 24 approaches, the position of the own vehicle 10 is shifted from the center to ensure that the dangerous vehicle 24 moves. Display so that it fits inside the peripheral image.
  • the HCU 160 is adapted to perform an identification display (here, AUTO25 display) for indicating (identifying) the transition to the automatic operation level 3 during the automatic operation level 3.
  • an identification display here, AUTO25 display
  • the relationship between the own vehicle 10 and the peripheral vehicles 21 and 22 depends on the automatic driving level of the own vehicle 10, the driving condition (traffic jam driving, high-speed driving, etc.), and the situation of the peripheral vehicles 21 and 22. Since the display form related to the sex is switched and displayed, the relationship between the own vehicle 10 and the peripheral vehicles 21 and 22 can be appropriately grasped.
  • the surrounding image is displayed in a bird's-eye view, and the size of the rear area is changed according to the presence or absence of the following vehicle 22, so that it becomes easier to grasp the approaching following vehicle 22.
  • the surrounding vehicles 21 and 22 can be grasped in a wide range, and in particular, the following vehicle 22 approaching at high speed and the preceding vehicle 21 in front and left and right can be grasped. It becomes easier to grasp the trend.
  • FIG. 160 A fifth embodiment is shown in FIG.
  • the HCU 160 adjusts the switching timing of the display form of the peripheral image based on the timing at which the level of automatic driving, the traveling state of the own vehicle 10, and the conditions of the peripheral vehicles 21 and 22 are determined.
  • the HCU 160 displays the image FP of the front area in a bird's-eye view. Switch to the display of.
  • This peripheral image includes both the case of traffic jam driving and the case of area-limited driving.
  • the HCU 160 switches to the display of the peripheral image (overhead view) at the time of the traffic jam at that timing. Or, switch to the display of the peripheral image (planar expression) limited to the area.
  • the peripheral image in this case includes an image FP in the front area and an image RP in the rear area.
  • the HCU 160 when the HCU 160 receives a signal from the first and second automatic driving ECUs 60 and 70 that the traffic jam time limited level 3 or the area limited level 3 is permitted in the automatic driving level 2, the HCU 160 is congested. At the time-limited level 3, the display is switched to the image FP in the front area in the bird's-eye view. Alternatively, when the area is limited to level 3, the HCU 160 switches to the display of the image FP in the front area in a planar representation.
  • the HCU 160 switches to the display of the image FP in the front area and the image RP in the rear area at the time of traffic congestion, or at that timing, the display of the image RP in the front area is limited. Switch to the display of the image FP and the image RP in the rear area.
  • the HUC 160 can reasonably switch the display form according to the timing of the signal related to the automatic operation received from the first and second automatic operation ECUs 60 and 70.
  • FIGS. 19 and 20 The sixth embodiment is shown in FIGS. 19 and 20.
  • the HCU 160 is manually operated (automatic operation level 0) for switching the display mode from the state of automatic operation level 2 to the automatic operation level 3 as described above. Or, the case where the display mode is switched when shifting from the state of the automatic operation level 1 to the automatic operation level 3 is shown.
  • the HCU 160 displays the original meter (speedometer, tachometer, etc.) on the meter display 120. Then, when the automatic driving level becomes the traffic jam limited level 3, the HCU 160 switches to the display of the image FP in the front area and the image RP in the rear area by the bird's-eye view expression. In this example, the case where the following vehicle 22 is present and the case where the following vehicle 22 is not present are shown.
  • the HCU 160 switches to the display of the image FP of the front area and the image RP of the rear area by the plane representation or the bird's-eye view representation. In this example, the case where there is a following vehicle 22 is shown.
  • the HCU 160 displays the preceding vehicle 21 to follow-up running on the meter display 120. Then, similarly to the above, when the automatic driving level becomes the traffic jam limited level 3, the HCU 160 switches to the display of the image FP in the front area and the image RP in the rear area by the bird's-eye view representation. In this example, the case where the following vehicle 22 is present and the case where the following vehicle 22 is not present are shown.
  • the HCU 160 switches to the display of the image FP of the front area and the image RP of the rear area by the plane representation or the bird's-eye view representation. In this example, the case where there is a following vehicle 22 is shown.
  • the automatic driving level is level 0 or level 1
  • the image FP in the front area and the peripheral image including the image RP in the rear area are switched to, so that the own vehicle 10 It is possible to appropriately grasp the relationship between the vehicle and the peripheral vehicles 21 and 22.
  • the bird's-eye view expression can express a realistic image
  • the load on the image processing increases due to the large amount of image data, which may hinder smooth image expression. Therefore, if you are pursuing reality, a two-dimensional expression will suffice. Therefore, it is better to use the bird's-eye view expression and the planar expression properly according to the surrounding situation. In this case, when switching between the bird's-eye view expression and the planar expression, it is preferable to perform smooth switching.
  • FIG. 21 shows a case where the peripheral image is switched between the bird's-eye view expression and the planar expression according to the peripheral situation of the own vehicle 10.
  • FIG. 21 shows, for example, a peripheral image at a traffic jam limited level 3 and a peripheral image at an area limited level 3.
  • the traffic jam limited level 3 for example, when there is no traffic jam other than the own lane, it is advisable to switch to the plane expression as in the area limited level 3. Further, when a traffic jam occurs at the area limited level 3, it is preferable to switch to a bird's-eye view expression as in the traffic jam limited level 3.
  • the HCU 160 increases the frequency of use of the bird's-eye view expression among the bird's-eye view expression and the plane expression by lowering the determination threshold value for making the bird's-eye view expression, for example, as the vehicle speed of the own vehicle 10 and the following vehicle 22 increases. You should try to do it.
  • the HCU 160 may increase the range of the image RP in the rear area as the distance between the own vehicle 10 and the following vehicle 22 increases.
  • the eighth embodiment is shown in FIGS. 22 to 25.
  • the HCU 160 displays, as the level of automatic driving, a peripheral image corresponding to the traffic jam limited level 3 during traffic jam driving, which does not require the driver's duty to monitor the surroundings. Then, the HCU 160 continues to display the peripheral image of the traffic jam limited level 3 when the traffic jam is not resolved even if the driver shifts to the automatic driving level 2 or less during the traffic jam with the obligation to monitor the surroundings of the driver.
  • the peripheral image corresponding to the automatic driving level 2 or lower is displayed.
  • FIG. 22 shows a case where the level 3 is limited to traffic jams and the level is 2 for automatic driving.
  • the HCU 160 displays the image FP in the front area and the image RP in the rear area as peripheral images in a bird's-eye view (whether or not the following vehicle 22 is present). include).
  • the HCU 160 is adapted to perform an identification display (display of AUTO 25) for indicating (identifying) the transition to the automatic operation level 3 during the traffic jam limited level 3.
  • the HUC160 continues the display mode at the traffic jam limited level 3 as it is. During the transition to the automatic operation level 2, the display of AUTO 25 is hidden.
  • a display form that includes not only the image FP in the front area but also the image RP in the rear area.
  • the AUTO 25 is displayed at the time of the traffic jam limited level 3, so that the traffic jam limited level 3 and the automatic driving level 2 can be distinguished from each other. ..
  • the HCU 160 switches to the display of the image FP in the front area according to the automatic driving level 2. During the transition to the automatic operation level 2, the display of AUTO 25 is hidden.
  • FIG. 23 shows the case of shifting from the traffic jam limited level 3 to the automatic driving level 1.
  • the display form when the traffic congestion is not resolved is the same as in the case of FIG. 22 above.
  • the traffic jam is resolved, for example, the vehicle ahead 21 in the following running is displayed as the image FP of the front area.
  • FIG. 24 shows a case where the level 3 is limited to the time of traffic congestion and the level is 0 (manual operation).
  • the display form when the traffic congestion is not resolved is the same as in the case of FIG. 22 above.
  • the original meter display speedometer, tachometer, etc.
  • FIG. 25 shows a case where the area-limited level 3 is changed to the automatic operation level 2, level 1, and level 0 (manual operation) for reference.
  • the image FP in the front area and the image RP in the rear area are displayed by the plane representation or the bird's-eye view representation (with the display of AUTO25).
  • the image FP (a plurality of vehicles ahead 21) in the front area is displayed, and when the vehicle shifts to the automatic driving level 1, the image FP (the vehicle ahead 21 in the following driving) in the front area is displayed.
  • the automatic operation level is changed to 0, the original meter display is displayed.
  • level 1, and level 0 the display of AUTO25 is hidden.
  • the HCU 160 When the HCU160 shifts to the automatic driving level 3 where the driver's peripheral monitoring obligation is not required as the automatic driving level, the HCU 160 displays the second task permitted as an act other than driving to the driver. Then, the HCU 160 switches the display related to the second task to the peripheral image when there is another vehicle 20 approaching or when there is another vehicle 20 at a rapid speed.
  • the display unit that displays the second task can be a meter display 120 or a CID 130.
  • the CID 130 displays the display related to the second task (playing a movie, etc.) and there is another vehicle 20 approaching or another vehicle 20 at a rapid speed
  • the HCU 160 switches the display of the CID 130 to a peripheral image.
  • the peripheral image may be the image FP of the front area and the image RP of the rear area, or may be only the image RP of the rear area.
  • the HCU 160 shifts to the automatic driving level 3 where the driver's peripheral monitoring obligation is not required as the automatic driving level, and the driver starts a second task (smartphone operation, etc.) permitted as an act other than driving.
  • the peripheral image is set to the minimum display content determined in advance. Further, the HCU 160 displays the minimum when the driver interrupts the second task (when the face is raised, etc.), when there is another vehicle 20 approaching, or when there is another vehicle 20 at a rapid speed. Switch the content to the peripheral image.
  • the peripheral image may be the image FP of the front area and the image RP of the rear area, or may be only the image RP of the rear area.
  • the HCU 160 displays the display related to the second task on the display unit (meter display 120, CID 130, etc.) or the minimum display content associated with the second task in the situation of the peripheral vehicles 21 and 22. , Switch to the peripheral image due to interruption of the second task of the driver. Therefore, even at the automatic driving level 3, the relationship between the own vehicle 10 and the peripheral vehicles 21 and 22 can be appropriately grasped.
  • the display unit includes an electronic mirror display unit 170 that displays peripheral vehicles 21 and 22 on the rear side of the own vehicle 10.
  • the electronic mirror display unit 170 is provided adjacent to the meter display 120, for example.
  • the HCU 160 displays the meter display 120 and the electronic mirror when the dangerous vehicle 24, which may pose a danger to the own vehicle 10, is approaching.
  • the dangerous vehicle 24 is highlighted and displayed on both of the units 170.
  • the peripheral image on the meter display 120 can be, for example, an image FP in the front area and an image RP in the rear area in a planar representation.
  • the highlighting can be, for example, the highlighting E or the like described in the first embodiment.
  • both the meter display 120 and the electronic mirror display unit 170 display the dangerous vehicle 24, so that anxiety can be removed.
  • the eleventh embodiment is shown in FIG. 27.
  • the HCU 160 switches to a bird's-eye view view captured from the rear upper part of the own vehicle 10 as a display form of the peripheral image (as a display form of the peripheral image).
  • the plane representation is switched to the plane representation captured from the upper part of the own vehicle 10 (FIG. 27 (b)).
  • the twelfth embodiment is shown in FIGS. 28 to 31.
  • the HCU 160 displays the other vehicle 20 in addition to the peripheral image.
  • FIG. 28 shows a case where there is no following vehicle 22 due to traffic congestion.
  • FIG. 28A shows a peripheral image expressed from a bird's-eye view at level 3 limited to traffic jams.
  • the position of the own vehicle 10 can be the lower side of the peripheral image or the center of the peripheral image.
  • FIG. 28B shows a peripheral image at the confluence. At the confluence, the traffic jam limited level 3 is changed to the automatic driving level 2.
  • the peripheral image another vehicle 20 that is about to join is displayed. At this time, the position of the own vehicle 10 may be slightly moved to the right side so that the other vehicle 20 on the left side, which is the merging side, is surely displayed. Further, the peripheral image may be changed from a bird's-eye view to a plane.
  • FIG. 28 (c) shows the peripheral image after merging.
  • the display is the same as in FIG. 28 (a) (after merging, there is no following vehicle 22).
  • FIG. 29 shows a case where there is a following vehicle 22 in a traffic jam.
  • FIG. 29 (a) shows a peripheral image expressed from a bird's-eye view at level 3 limited to traffic jams. The position of the own vehicle 10 can be set to the center of the peripheral image.
  • FIG. 29B shows a peripheral image at the confluence. At the confluence, the traffic jam limited level 3 is changed to the automatic driving level 2.
  • the peripheral image another vehicle 20 that is about to join is displayed.
  • the position of the own vehicle 10 may be slightly moved to the right side so that the other vehicle 20 on the left side, which is the merging side, is surely displayed.
  • the peripheral image may be changed from a bird's-eye view to a plane.
  • FIG. 29 (c) shows the peripheral image after merging.
  • the display is the same as in FIG. 29 (a) (there is a following vehicle 22 after merging).
  • FIG. 30 shows a case where there is no following vehicle 22 in the area limited driving.
  • FIG. 30A shows a peripheral image represented in a plane at the area limitation level 3.
  • the position of the own vehicle 10 can be the lower side of the peripheral image.
  • FIG. 30B shows a peripheral image at the confluence. At the confluence, area-limited level 3 is changed to automatic driving level 2.
  • the peripheral image another vehicle 20 that is about to join is displayed.
  • the position of the own vehicle 10 may be slightly moved to the right side so that the other vehicle 20 on the left side, which is the merging side, is surely displayed.
  • the peripheral image may be a panoramic representation or a bird's-eye view representation.
  • FIG. 30C shows the peripheral image after merging.
  • the display is the same as in FIG. 30 (a) (after merging, there is no following vehicle 22).
  • FIG. 31 shows a case where there is a following vehicle 22 in area-limited driving.
  • FIG. 31A shows a peripheral image represented in a plane at the area limitation level 3.
  • the position of the own vehicle 10 can be set to the center of the peripheral image.
  • FIG. 31B shows a peripheral image at the confluence. At the confluence, area-limited level 3 is changed to automatic driving level 2.
  • the peripheral image another vehicle 20 that is about to join is displayed.
  • the position of the own vehicle 10 may be slightly moved to the right side so that the other vehicle 20 on the left side, which is the merging side, is surely displayed.
  • the peripheral image may be a panoramic representation or a bird's-eye view representation.
  • FIG. 31 (c) shows the peripheral image after merging.
  • the display is the same as in FIG. 31 (a) (there is a following vehicle 22 after merging).
  • the thirteenth embodiment is shown in FIG.
  • the peripheral vehicle 21 when the driver fails to switch from automatic driving to manual driving, the peripheral vehicle 21 is centered on the position of the own vehicle 10 in the peripheral image until the driver is stopped urgently as an emergency evacuation. , 22 is displayed.
  • the peripheral image is displayed by a bird's-eye view.
  • the upper part of FIG. 32A shows a case where the own vehicle 10 does not have a following vehicle 22 and the own vehicle 10 is displayed at the lower part of the peripheral image.
  • the middle part of FIG. 32A shows a case where the own vehicle 10 does not have a following vehicle 22 and the own vehicle 10 is displayed in the center of the peripheral image.
  • the lower part of FIG. 32A shows a case where the own vehicle 10 has a following vehicle 22 and the own vehicle 10 is displayed in the center of the peripheral image.
  • the HCU 160 When shifting from the traffic jam limited level 3 to the automatic driving level 2, the HCU 160 displays a message M for driving change in the peripheral image as shown in FIG. 32 (b).
  • the message M can be, for example, a content such as "Please change driving".
  • the HCU 160 is in an emergency stop (decelerating) as shown in FIG. 32 (c). ) That is displayed.
  • the HCH 160 arranges the position of the own vehicle 10 in the center of the peripheral image, and displays the peripheral vehicles 21 and 22 around the position.
  • the fourteenth embodiment is shown in FIG. 33.
  • the second automatic driving ECU 70 adds a condition that the preceding vehicle 21 (the preceding vehicle ahead) and the following vehicle 22 exist as a condition for permitting the automatic driving level 3 or higher, and automatically controls the driving. I do.
  • the HCU 160 owns the vehicle 10 when it becomes possible to shift from an automatic driving level 2 or less that involves a driver's peripheral monitoring obligation to an automatic driving level 3 or higher that does not require a peripheral monitoring obligation (for example, a traffic jam limited level 3).
  • the following vehicle 22 is displayed in the peripheral image of (center of FIG. 33). Then, for example, the HCU 160 hides the following vehicle 22 in the peripheral image after the driver performs an input operation to the operation device 150 to shift to the automatic driving level 3 or higher (right side of FIG. 33).
  • the HCU 160 stops the output of the acquired image data of the following vehicle 22 itself by the camera 41 or the like so that the HCU 160 is not displayed on the display unit such as the meter display 120.
  • the HCU 160 changes the camera angle of the camera 41 or the like (acquisition unit) to cut the image RP of the rear area of the own vehicle 10 as the display area of the peripheral image (the own vehicle 10 is the most in the peripheral image). (At the bottom), the following vehicle 22 is hidden.
  • the following vehicle 22 basically captures the following vehicle 22 in the own vehicle lane (lane of the own vehicle 10), but the following vehicle 22 in the own vehicle lane and the following vehicle 22 in the adjacent lane are used. It may include the case of capturing (middle of FIG. 33).
  • the HCU 160 performs an identification display (display of AUTO25) to indicate (identify) that it is an automatic driving level 3.
  • the present embodiment at the stage when it becomes possible to shift to the automatic driving level 3, it is possible to inform the driver that the following vehicle 22 exists as a condition for permitting the automatic driving in the peripheral image. Then, after shifting to the automatic driving level 3 or higher, by hiding the following vehicle 22 in the peripheral image, it is possible to reduce the amount of information behind the driver during automatic driving, which is convenient for the driver. Can be improved.
  • the HCU 160 shifts from the automatic driving level 2 or lower, which involves the driver's peripheral monitoring obligation, to the automatic driving level 3 or higher (for example, the traffic jam limited level 3), which does not require the peripheral monitoring obligation, the own vehicle 10
  • the following vehicle 22 is displayed in the peripheral image (middle of FIG. 34).
  • the HCU 160 hides the following vehicle 22 in the peripheral image after the driver performs an input operation to the operation device 150 to shift to the automatic driving level 3 or higher (right side of FIG. 34).
  • the sixteenth embodiment is shown in FIG. In the sixteenth embodiment, under the condition that the preceding vehicle 21 and the following vehicle 22 are present, the automatic driving level 3 or higher is set, and the case where the automatic following driving that follows the preceding vehicle 21 is performed is taken as an example.
  • the HCU 160 highlights the first content C1 that highlights the vehicle ahead 21 and the following vehicle 22 that exists behind the vehicle 10 and is detected by the vehicle 10 after the transition to the automatic driving level 3.
  • 2 Content C2 is displayed on the peripheral image (right side of FIG. 35).
  • the mark image is, for example, a U-shaped mark as shown in FIG. 35, and can be displayed so as to surround the preceding vehicle 21 and the following vehicle 22 from below.
  • the first and second contents C1 and C2 are not limited to U-shaped marks, but are not limited to U-shaped marks, but are those that surround the entire front vehicle 21 and the following vehicle 22, such as squares and circles, and dot marks that serve as markers. May be. Further, the first and second contents C1 and C2 may be used either when they have similar designs or when they have different designs.
  • the HCU 160 may be set so that the degree of emphasis by the second content C2 is set lower than the degree of emphasis by the first content C1.
  • the driver can improve the recognition degree between the preceding vehicle 21 and the following vehicle 22, which are the automatic driving conditions.
  • the degree of emphasis of the second content C2 with respect to the first content C1 is suppressed from being overemphasized, and the degree of recognition of the own vehicle 10 is lowered. Can be suppressed.
  • the 17th embodiment is shown in FIG.
  • the 17th embodiment is an example of automatic driving control based on the conditions when there are a front vehicle 21 and a following vehicle 22 as in the 14th to 16th embodiments.
  • the third content C3 is, for example, a mark image indicating that there is no following vehicle 22, and can be, for example, a quadrangular mark.
  • the third content C3 may be a pictogram or the like indicating that there is no following vehicle 22.
  • the HCU 160 hides the third content C3 when the driving change to the automatic driving level 2 or lower is completed (upper right in FIG. 36).
  • the HCU 160 switches to a display form in which the own vehicle 10 is displayed at the bottom in the peripheral image (lower right of FIG. 36).
  • the HCU 160 changes the camera angle of the camera 41 or the like, cuts the image RP of the rear area of the own vehicle 10 as a display area of the peripheral image, and displays the own vehicle 10 at the bottom.
  • the driver can recognize that the following vehicle 22 has disappeared by displaying the third content C3, and recognizes that the automatic driving level 3 or higher up to that point is canceled. be able to.
  • the third content C3 is hidden, so that the driver can confirm the normal peripheral image without the following vehicle 22. Further, after the third content C3 is hidden, the own vehicle 10 is displayed at the bottom in the peripheral image, so that there is no unnecessary image information of the rear area, and the driver can use the own vehicle 10 and the front. You just have to be careful on the side.
  • the eighteenth embodiment is shown in FIG. 37.
  • the eighteenth embodiment is an example of the case where the automatic driving control is performed when there are a front vehicle 21 and a following vehicle 22 as in the fourteenth to seventeenth embodiments.
  • the HCU 160 shifts to the automatic driving level 3 or higher (traffic jam limited level 3) and hides the following vehicle 22 (left in FIG. 37). Then, after that, when the following vehicle 22 is not detected, the HCU 160 puts a notification mark N indicating (notifying) that the following vehicle 22 is not detected temporarily in the peripheral image of the own vehicle 10. It is displayed behind (in the middle of FIG. 37).
  • the notification mark N is a mark image indicating that there is no following vehicle 22, and can be, for example, a quadrangular mark. In addition to this, the notification mark N may be a pictogram or the like indicating that there is no following vehicle 22.
  • the HCU 160 displays the following vehicle 22 in the peripheral image (upper right in FIG. 37), and further hides the display of the following vehicle 22 after that (upper right in FIG. 37). Lower right of FIG. 37).
  • the HCU 160 stops the output of the image data of the following vehicle 22 itself acquired by the camera 41 or the like as described in the above embodiment, and displays the meter. It should not be displayed on 120 etc. (lower right of FIG. 37).
  • the HCU 160 changes the bird's-eye view angle of the acquisition unit with respect to the following vehicle 22 when hiding the following vehicle 22. That is, as described in the above embodiment, the HCU 160 changes the camera angle of the camera 41 (acquisition unit) or the like, and cuts the image RP of the rear area of the own vehicle 10 as the display area of the peripheral image.
  • the own vehicle 10 is displayed at the bottom (corresponding to the lower right of FIG. 36).
  • the notification mark N is displayed, so that the driver can notify this notification.
  • the mark N makes it possible to recognize that the following vehicle 22 has disappeared.
  • the following vehicle 22 is detected again after that, the following vehicle 22 is displayed in the peripheral image, so that the driver can recognize the substantially rearward situation. Further, after that, since the following vehicle 22 is hidden in the peripheral image, the amount of information behind the driver during automatic driving can be reduced, and the convenience of the driver can be improved.
  • the 19th embodiment is shown in FIG. 38.
  • the nineteenth embodiment is an example of automatic driving control when there are a front vehicle 21 and a following vehicle 22 as in the fourteenth to eighteenth embodiments.
  • the pre-shift image R is displayed at a position corresponding to the following vehicle 22 in the peripheral image (middle of FIG. 38).
  • the image R before migration can be, for example, a square mark.
  • the pre-transition image R may be a pictogram or the like indicating that the pre-transition state is possible.
  • the pre-migration image R is displayed when it is possible to shift to automatic operation if one more condition is met, which corresponds to the "reach" state referred to in games and the like, and the pre-transition image R is changed to "". It can also be called a "reach image”.
  • the driver can easily recognize whether the possibility of transition to automatic driving is high or low by the pre-migration image R.
  • the display unit is the meter display 120, but the display unit is not limited to this, and another HUD 110 or CID 130 may be used as the display unit.
  • the CID 130 is used as a display unit, the display related to the automatic operation and the operation of switching to the automatic operation (touch operation) can be realized by the CID 130.
  • the CID 130 may be formed from, for example, a plurality of CIDs, and the meter display 120 and the plurality of CIDs may be a pillar-to-pillar type display unit arranged in a horizontal row on the instrument panel.
  • Disclosures include exemplary embodiments and modifications by those skilled in the art based on them.
  • the disclosure is not limited to the parts and / or combinations of elements shown in the embodiments. Disclosure can be carried out in various combinations.
  • the disclosure can have additional parts that can be added to the embodiment. Disclosures include those in which the parts and / or elements of the embodiment are omitted. Disclosures include the replacement or combination of parts and / or elements between one embodiment and another.
  • the technical scope disclosed is not limited to the description of the embodiments. Some technical scopes disclosed are indicated by the claims description and should be understood to include all modifications within the meaning and scope equivalent to the claims description.
  • the controls and techniques described herein are by means of a processor programmed to perform one or more functions embodied by a computer program, and a dedicated computer provided by configuring memory. I made it happen.
  • control unit and its method described in the present disclosure may be realized by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits.
  • controls and methods described herein are a combination of a processor and memory programmed to perform one or more functions and a processor configured by one or more hardware logic circuits. It may be realized by one or more dedicated computers configured by.
  • the computer program may be stored in a computer-readable non-transition tangible recording medium as an instruction executed by the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両用表示装置は、車両の走行情報を表示するメータディスプレイ(120)と、車両の位置情報および車両の周辺情報を取得するロケータ(30)、周辺監視センサ(40)、車載通信器(50)と、位置情報および周辺情報を基に、車両の自動運転機能が発揮されていないときに、車両を含む前方エリアの画像(FP)をメータディスプレイ(120)に表示すると共に、自動運転機能が発揮されているときには、後続車(22)を含む後方エリアの画像(RP)を前方エリアの画像(FP)に連続するように追加して、メータディスプレイ(120)に表示するHCU(160)と、を備える。

Description

車両用表示装置 関連出願の相互参照
 この出願は、2020年8月27日に日本に出願された特許出願第2020-143764号、2021年2月25日に日本に出願された特許出願第2021-028873号、および、2021年4月16日に日本に出願された特許出願第2021-069887号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 本開示は、自動走行機能を有する車両に用いられる車両用表示装置に関するものである。
 車両用表示装置として、例えば、特許文献1に記載されたものが知られている。特許文献1の車両用表示装置(運転支援システム)は、自動運転機能を備える車両に搭載されており、自動運転から手動運転に切り替えられる際に、自車両と、自車両周辺の他車両との位置関係を表す周辺状況提示画面を表示するようになっている。これにより、運転者は、自動運転から手動運転に切り替わるときに、すみやかに自車両周辺の交通状況を把握することができるようになっている。
特許第6425597号公報
 しかしながら、自動運転から手動運転への切替えに限らず、自動運転中では、周辺監視義務がないといっても、走行状況に応じては、例えば、自動追従走行によって後続車が近接しているのか、あるいは、あおり運転等によって後続車が近接しているのか、というように、自車と後続車との関係性を含めた情報提供が望まれる。
 本開示の目的は、上記問題に鑑み、自動運転中における後続車情報を、自車との関係性を持って提示可能な車両用表示装置を提供することにある。
 第1の開示の車両用表示装置は、
 車両の走行情報を表示する表示部と、
 車両の位置情報および車両の周辺情報を取得する取得部と、
 位置情報および周辺情報を基に、車両の自動運転機能が発揮されていないときに、車両を含む前方エリアの画像を表示部に表示すると共に、自動運転機能が発揮されているときには、後続車を含む後方エリアの画像を前方エリアの画像に連続するように追加して、表示部に表示する表示制御部と、を備える。
 第1の開示によれば、周辺監視義務が不要となる自動運転中であっても、表示部に、車両および後続車を含む後方エリアの画像が表示されるので、自車と後続車との関係性を把握することができる。
 第2の開示の車両用表示装置は、
 車両の走行情報を表示する表示部と、
 車両の位置情報、走行状態、および周辺情報を取得する取得部と、
 走行情報の1つとして車両の周辺画像を表示部に表示すると共に、位置情報、走行状態、および周辺情報を基に設定される自動運転のレベルと、走行状態と、周辺情報としての周辺車両の状況とに応じて、周辺画像における車両と周辺車両との関係性にかかる表示形態を切替える表示制御部と、を備える。
 第2の開示によれば、車両の自動運転レベル、走行状態、および周辺車両の状況に応じて、車両と周辺車両との関係性にかかる表示形態が切替え表示されるので、車両と周辺車両との関係性を適切に把握することができる。
車両用表示装置の全体構成を示すブロック図である。 後続車があると、自車を含む前方エリアの画像に、後方エリアの画像を加えた表示に切替えることを示す説明図である(後続車との距離小の場合)。 自車と後続車との距離が所定距離未満の場合の表示形態を示す説明図である。 自車と後続車との距離が所定距離以上の場合の表示形態を示す説明図である。 自車と後続車との距離が変動する様子を示す説明図である。 後方エリアの大きさを固定した場合を示す説明図である。 図6において、自車と後続車との距離の変動が小さくなった場合に、後方エリアの大きさを変更することを示す説明図である。 後続車の状況に応じて、表示形態を変更するための制御要領を示すフローチャートである。 後方エリアに緊急車がある場合の表示形態(緊急車とメッセージ)を示す説明図である。 後方エリアに緊急車がある場合の表示形態(簡易表示とメッセージ)を示す説明図である。 後方エリアに緊急車がある場合の表示形態(簡易表示のみ)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(道路面に色表示)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(同一車両表示)を示す説明図である。 後続車が自動追従運転をしている場合の一体感表示(牽引表現)を示す説明図である。 後続車が煽り運転車の可能性がある場合の表示形態1を示す説明図である。 後続車が煽り運転車の可能性がある場合の表示形態2を示す説明図である。 自動運転レベル2からレベル3に移行した際の表示形態を示す説明図である。 周辺画像の表示形態が切替えられるタイミングの違いを示す説明図である。 自動運転レベル0からレベル3に移行した際の表示形態を示す説明図である。 自動運転レベル1からレベル3に移行した際の表示形態を示す説明図である。 俯瞰表示と平面表示との切替えを示す説明図である。 渋滞時限定レベル3からレベル2へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 渋滞時限定レベル3からレベル1へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 渋滞時限定レベル3からレベル0へ移行しても渋滞が解消していないときの表示形態を示す説明図である。 エリア限定レベル3からレベル2、1、0へ移行したときの表示形態を示す説明図である。 メータディスプレイと電子ミラー表示部とで危険車両を強調表示することを示す説明図である。 隣の車線が渋滞している場合、渋滞していない場合での表示形態を示す説明図である。 渋滞時限定レベル3のときに、合流地点で後続車がいない場合の表示形態を示す説明図である。 渋滞時限定レベル3のときに、合流地点で後続車がいる場合の表示形態を示す説明図である。 エリア限定レベル3のときに、合流地点で後続車がいない場合の表示形態を示す説明図である。 エリア限定レベル3のときに、合流地点で後続車がいる場合の表示形態を示す説明図である。 運転交代失敗時の表示形態を示す説明図である。 渋滞時限定レベル3への移行可能後に、後続車を非表示とすることを示す説明図である。 渋滞時限定レベル3への移行時に、後続車を非表示とすることを示す説明図である。 渋滞時限定レベル3への移行後に、第1、第2のコンテンツを表示した状態を示す説明図である。 後続車が不検知、あるいは不在となった場合に表示される第3のコンテンツを示す説明図である。 報知マークを示す説明図である。 移行前画像を示す説明図である。
 以下に、図面を参照しながら本開示を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。各実施形態で具体的に組み合わせが可能であることを明示している部分同士の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても実施形態同士を部分的に組み合せることも可能である。
 (第1実施形態)
 第1実施形態の車両用表示装置100について、図1~図4を参照しながら説明する。第1実施形態の車両用表示装置100は、自動運転機能を有する車両(以下、自車10)に搭載(適用)されている。以下、車両用表示装置100を表示装置100と呼ぶ。
 表示装置100は、図1に示すように、HCU(Human Machine Interface Control Unit)160を備えている。表示装置100は、表示部(後述する複数の表示デバイス)に、例えば、車速、エンジン回転数、トランスミッションのシフト位置、更には、ナビゲーションシステム(ここでは、ロケータ30)によるナビゲーション情報等の車両走行情報を表示する。また、表示装置100は、表示部に、自車10および自車10の周辺の画像を表示する。
 表示装置100は、自車10に搭載されたロケータ30、周辺監視センサ40、車載通信器50、第1自動運転ECU60、第2自動運転ECU70、および車両制御ECU80と、通信バス90等を介して接続されている。
 ロケータ30は、ナビゲーションシステムを形成するものであり、複数の取得情報を組み合わせる複合測位により、自車位置情報(位置情報)等を生成する。ロケータ30は、GNSS(Global Navigation Satellite System)受信機31、慣性センサ32、地図データベース(以下、「地図DB」)33、およびロケータECU34等を備えている。ロケータ30は、本開示の取得部に対応する。
 GNSS受信機31は、複数の測位衛星からの測位信号を受信する。
 慣性センサ32は、自車10に作用する慣性力を検出するセンサである。慣性センサ32は、例えばジャイロセンサおよび加速度センサを備える。
 地図DB33は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状、構造物等の地図データを格納している。地図データは、道路形状および構造物の特徴点の点群からなる三次元地図であってもよい。尚、3次元地図は、REM(Road Experience Management)によって撮像画像をもとに生成されたものであってもよい。また、地図データには、交通規制情報、道路工事情報、気象情報、および信号情報等が含まれていてもよい。地図DB33に格納された地図データは、後述の車載通信器50にて受信される最新の情報に基づいて、定期的または随時に更新される。
 ロケータECU34は、プロセッサ、メモリ、入出力インターフェース、およびこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータECU34は、GNSS受信機31で受信する測位信号、慣性センサ32の計測結果、および地図DB33の地図データを組み合わせることにより、自車10の位置(以下、自車位置)、走行速度(走行状態)を逐次測位する。
 自車位置は、例えば緯度経度の座標で表される構成とすればよい。尚、自車位置の測位には、自車10に搭載された車載センサ81(車速センサ等)から逐次出力される信号から求めた走行距離を用いる構成としてもよい。地図データとして、道路形状および構造物の特徴点の点群からなる3次元地図を用いる場合、ロケータECU34は、GNSS受信機31を用いずに、この3次元地図と、周辺監視センサ40での検出結果とを用いて、自車位置を特定する構成としてもよい。
 周辺監視センサ40は、自車10の周辺環境を監視する自律センサである。周辺監視センサ40は、自車10の周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、および他車両20(前方車21、後続車22)等の移動物体、更に、路上の落下物、ガードレール、縁石、道路標識、車線、走行区画線、中央分離帯等の路面表示、および道路脇の構造物等の静止物体などを検出可能である。周辺監視センサ40は、自車10の周囲の物体を検出した検出情報を、通信バス90を通じて、第1自動運転ECU60、第2自動運転ECU70等に提供する。周辺監視センサ40は、物体検出のための検出構成として、例えば、カメラ41、ミリ波レーダ42、および音感知センサ43等を有している。周辺監視センサ40は、本開示の取得部に対応する。
 カメラ41は、フロントカメラおよびリアカメラを有している。フロントカメラは、自車10の前方範囲(前方エリア)を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。同様に、リアカメラは、自車10の後方範囲(後方エリア)を撮影した撮像データ、および撮像データの解析結果の少なくとも一方を、検出情報として出力する。
 ミリ波レーダ42は、例えば、自車10の前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ42は、ミリ波または準ミリ波を、自車10の前方範囲、前側方範囲、後方範囲および後側方範囲等へ向けて照射する。ミリ波レーダ42は、移動物体および静止物体等で反射された反射波を受信する処理により、検出情報を生成する。尚、地物の特徴点の点群を検出するLiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)、超音波の反射波を受信するソナー等の他の検出構成が、周辺監視センサ40に含まれていてもよい。
 音感知センサ43は、自車10の周辺の音を感知する感知部であり、例えば、自車10に接近する緊急車23のサイレン音、更にはサイレン音の方向を感知する。緊急車23は、本開示の予め定めた優先度の高い後続車22(優先後続車)に対応し、例えば、パトカー、救急車、消防車等が該当する。
 車載通信器50は、自車10に搭載される通信モジュールである。車載通信器50は、LTE(Long Term Evolution)および5G等の通信規格に沿ったV2N(Vehicle to cellular Network)通信の機能を少なくとも有しており、自車10の周囲の基地局等との間で電波を送受信する。車載通信器50は、路車間(Vehicle to roadside Infrastructure,以下「V2I」)通信、および車車間(Vehicle to Vehicle,以下「V2V」)通信等の機能を更に有していてもよい。車載通信器50は、V2N通信により、クラウドと車載システムとの連携(Cloud to Car)を可能にする。車載通信器50の搭載により、自車10は、インターネットに接続可能なコネクテッドカーとなる。車載通信器50は、本開示の取得部に対応する。
 車載通信器50は、例えば、VICS(Vehicle information and communication System 登録商標)を用いることによって、FM多重放送や道路に設けられたビーコンから、道路上の渋滞状況や交通規制等の道路交通情報を取得する。
 また、車載通信器50は、例えば、DCM(Data Communication Module)、あるいは車車間通信を用いることによって、所定のセンタ基地局を介して、あるいは車車間で、複数の前方車21、および後続車22との通信を行う。そして、車載通信器50は、自車10の前方側、および後方側を走行する他車両20の車速、位置、更には自動運転の実行状況等の情報を入手する。
 車載通信器50は、VICSやDCMに基づく他車両20の情報(周辺情報)を第1、第2自動運転ECU60、70、およびHCU160等に提供する。
 第1自動運転ECU60、および第2自動運転ECU70は、それぞれメモリ61、71、プロセッサ62、72、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。第1自動運転ECU60、および第2自動運転ECU70は、自車10の走行を部分的または実質全て制御する自動走行制御を実行可能なECUである。
 第1自動運転ECU60は、ドライバの運転操作を部分的に代行する部分的自動運転機能を備えている。一例として、米国自動車技術会の規定する自動運転レベルにおいて、第1自動運転ECU60は、手動または周辺監視義務を伴うレベル2以下の部分的な自動走行制御(高度運転支援)を可能にする。
 第1自動運転ECU60は、メモリ61に記憶された運転支援プログラムが、複数の命令をプロセッサ62に実行させることで、上記の高度運転支援を実現する複数の機能部を構築する。
 第1自動運転ECU60は、周辺監視センサ40から取得する検出情報に基づき、自車10の周囲の走行環境を認識する。一例として、第1自動運転ECU60は、自車10が現在走行する車線(以下、現在車線)の左右の区画線または道路端の相対位置および形状を示す情報(車線情報)を、解析済みの検出情報として生成する。加えて、第1自動運転ECU60は、現在車線にて自車10に先行する前方車21(他車両20)の有無と、前方車21が有る場合のその位置および速度と、を示す情報(前方車情報)を、解析済みの検出情報として生成する。
 第1自動運転ECU60は、前方車情報に基づいて、目標速度での自車10の定速走行、または先行車への追従走行を実現するACC(Adaptive Cruise Control)制御を実行する。第1自動運転ECU60は、車線情報に基づいて、自車10の車線内走行を維持するLTA(Lane Tracing Assist)制御を実行する。具体的には、第1自動運転ECU60は、加減速または舵角の制御指令を生成し、後述する車両制御ECU80へと逐次提供する。ACC制御が縦方向制御の一例であり、LTA制御が横方向制御の一例である。
 第1自動運転ECU60は、ACC制御およびLTA制御の両方を実行することで、レベル2の自動運転を実現する。尚、第1自動運転ECU60は、ACC制御およびLTA制御のいずれか一方を実行することで、レベル1の自動運転を実現可能であってもよい。
 一方、第2自動運転ECU70は、ドライバの運転操作を代行可能な自動運転機能を備えている。第2自動運転ECU70は、上記の自動運転レベルにおいて、レベル3以上の自動走行制御を可能にする。すなわち、第2自動運転ECU70は、周辺監視の中断がドライバに許可される(周辺監視義務が不要な)自動運転を実施可能にする。換言すると、第2自動運転ECU70は、セカンドタスクが許可される自動運転を実施可能にする。
 セカンドタスクとは、ドライバに対して許可される運転以外の行為であって、予め規定された特定行為である。
 第2自動運転ECU70は、メモリ71に記憶された自動運転プログラムが、複数の命令をプロセッサ72に実行させることで、上記の自動運転を実現する複数の機能部を構築する。
 第2自動運転ECU70は、ロケータECU34から取得する自車位置および地図データ、周辺監視センサ40から取得する検出情報、車載通信器50から取得する通信情報等に基づき、自車10の周囲の走行環境を認識する。例えば、第2自動運転ECU70は、自車10の現在車線の位置、現在車線の形状、並びに自車10周辺の移動体(他車両20)の相対位置および相対速度、渋滞状況等を認識する。
 加えて、第2自動運転ECU70は、自車10の走行地域における手動運転エリア(MDエリア)および自動運転エリア(ADエリア)の判別、ADエリアにおけるST区間および非ST区間の判別を行い、その認識結果を後述のHCU160に逐次提供する。
 MDエリアは、自動運転が禁止されるエリアである。換言すれば、MDエリアは、自車10の縦方向制御、横方向制御および周辺監視の全てをドライバが実行すると規定されたエリアである。例えば、MDエリアは、走行路が一般道路であるエリアとされる。
 ADエリアは、自動運転が許可されるエリアである。換言すれば、ADエリアは、縦方向(前後方向)制御、横方向(幅方向)制御および周辺監視のうち1つ以上を、自車10が代替可能なエリアである。例えば、ADエリアは、走行路が高速道路または自動車専用道路であるエリアとされる。
 ADエリアは、レベル2以下の自動運転が可能な非ST区間と、レベル3以上の自動運転が可能なST区間とに区分される。尚、本実施形態において、レベル1の自動運転が許可される非ST区間と、レベル2の自動運転が許可される非ST区間は、同等であるとする。
 ST区間は、例えば、渋滞が発生している走行区間(渋滞区間)であるとされる。また、ST区間は、例えば、高精度地図が整備された走行区間であるとされる。後述のHCU160は、自車10の走行速度が判定速度以下となる範囲内である状態が所定期間継続している場合に、ST区間であると判断する。または、HCU160は、自車位置と、VICS等によって車載通信器50から得られる渋滞情報とを用いてST区間であるか否かを判断してもよい。更には、HCU160は、自車10の走行速度(渋滞走行区間条件)に加えて、走行道路が2車線以上である、自車10の周囲(同一斜線、および隣の車線)に他車両20がいる、走行道路に中央分離帯がある、また、高精度地図データを保有している等の条件をもって、ST区間であるか否かを判断してもよい。
 尚、HCU160は、渋滞区間に加えて、自車10の周辺環境に関して渋滞以外の特定の条件が成立する区間(高速道路で渋滞を伴わない定速走行、追従走行、LTA(レーンキープ走行))等の可能な区間をST区間としてもよい。
 以上の第1、第2自動運転ECU60、70を含んで構成される自動運転システムにより、自車10においてレベル2以下、およびレベル3相当(以上)の自動運転が少なくとも実行可能となる。
 車両制御ECU80は、自車10の加減速制御、および操舵制御を行う電子制御装置である。車両制御ECU80としては、加減速制御を行うパワーユニット制御ECUおよびブレーキECU、更に、操舵制御を行う操舵ECU等がある。車両制御ECU80は、自車10に搭載された車速センサ、舵角センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。車両制御ECU80は、自車10の制御指示を第1自動運転ECU60、または第2自動運転ECU70から取得することで、当該制御指示に従う自動走行を実現するように、各走行制御デバイスを制御する。
 また、車両制御ECU80は、ドライバによる運転部材の運転操作情報を検出する車載センサ81と接続されている。車載センサ81は、例えば、アクセルペダルの踏込量を検出するペダルセンサ、およびステアリングの操舵量を検出するステアセンサ等を含んでいる。加えて、車載センサ81は、自車10の走行速度を検出する車速センサ、走行駆動部(エンジンや走行モータ等)の作動回転数を検出する回転センサ、およびトランスミッションのシフト位置を検出するシフトセンサ等も含んでいる。車両制御ECU80は、検出されたこれら運転操作情報、車両作動情報等を、HCU160へと逐次提供する。
 次に、表示装置100の構成について説明する。表示装置100は、表示部としての複数の表示デバイスと、表示制御部としてのHCU160とを備えている。加えて、表示装置100には、オーディオ装置140、操作デバイス150等が設けられている。
 複数の表示デバイスは、ヘッドアップディスプレイ(以下、HUD)110、メータディスプレイ120、およびセンタインフォメーションディスプレイ(以下、CID)130等を含んでいる。複数の表示デバイスには、電子ミラーシステムの各ディスプレイEML(左方表示)、EMR(右方表示)が更に含まれていてもよい。HUD110、メータディスプレイ120、およびCID130は、静止画または動画等の画像コンテンツを、視覚情報としてドライバに提示する表示部である。画像コンテンツは、例えば、走行道路(走行レーン)、自車10、および他車両20等の画像が使用される。他車両20には、自車10の横、および前方を走行する前方車21、自車10の後方を走行する後続車22、および緊急車23等が含まれる。
 HUD110は、HCU160から取得する制御信号および映像データに基づき、ドライバ前方に結像される画像の光を、自車10のフロントウィンドシールド等に規定された投影領域に投影する。フロントウィンドシールドにて車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。こうしてHUD110は、投影領域よりも前方の空間中に虚像を表示させる。ドライバは、HUD110によって表示される画角内の虚像を、自車10の前景と重ねて視認する。
 メータディスプレイ120、およびCID130は、例えば、液晶ディスプレイまたはOLED(Organic Light Emitting Diode)ディスプレイ等を主体とする構成である。メータディスプレイ120、およびCID130は、HCU160から取得する制御信号および映像データに基づき、種々の画像を表示画面に表示させる。メータディスプレイ120は、例えば、運転席の正面に設置されたメイン表示部である。CID130は、ドライバの前方において車幅方向の中央領域に設けられたサブ表示部である。例えば、CID130は、インストルメントパネルにおけるセンタクラスタの上方に設置されている。CID130は、タッチパネルの機能を有しており、例えばドライバ等による表示画面へのタッチ操作、およびスワイプ操作等を検出する。
 本実施形態では、表示部として、メータディスプレイ120(メイン表示部)を使用した場合を例にして説明する。
 オーディオ装置140は、車室内に設置された複数のスピーカを有している。オーディオ装置140は、HCU160から取得する制御信号および音声データに基づき、報知音または音声メッセージ等を、聴覚情報としてドライバに提示する。すなわち、オーディオ装置140は、視覚情報と異なる態様の情報を提示可能な情報提示デバイスである。
 操作デバイス150は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス150には、例えば自動運転機能の各レベルの開始および停止に関連するユーザ操作等が入力される。操作デバイス150には、例えば、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、ドライバの発話内容を認識する音声入力装置、およびCID130におけるタッチ操作用のアイコン(スイッチ)等が含まれる。
 HCU160は、上記のロケータ30、周辺監視センサ40、車載通信器50、第1自動運転ECU60、第2自動運転ECU70、および車両制御ECU80等が取得した情報に基づき、メータディスプレイ120における表示の制御を行う(詳細後述)。HCU160は、メモリ161、プロセッサ162、仮想カメラ163、入出力インターフェース、およびこれらを接続するバス等を備えたコンピュータを主体として含む構成である。
 メモリ161は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する、例えば半導体メモリ、磁気媒体および光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。メモリ161は、後述の提示制御プログラム等、プロセッサ162によって実行される種々のプログラムを格納している。
 プロセッサ162は、演算処理のためのハードウエアである。プロセッサ162は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、およびRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
 プロセッサ162は、メモリ161に格納された提示制御プログラムに含まれる複数の命令を、実行する。これによりHCU160は、ドライバへの提示制御ための機能部を、複数構築する。このようにHCU160では、メモリ161に格納された提示制御プログラムが複数の命令をプロセッサ162に実行させることで、複数の機能部が構築される。
 仮想カメラ163は、ソフトウェアで作成された3D空間上に設定されたカメラである。仮想カメラ163は、ロケータ30、周辺監視センサ40(カメラ41)、および車載通信器50等の情報から、自車10の座標位置を基準にして他車両20(前方車21、後続車22)の位置を推定して、自車10、および他車両20の画像(例えば、俯瞰的に捉えた画像、図2~図4)を形成する。尚、仮想カメラ163は、自車10、および他車両20の画像を俯瞰的、あるいは平面的に捉えた画像(平面図)として形成することも可能である。
 HCU160は、第1自動運転ECU60、または第2自動運転ECU70から、走行環境の認識結果を取得する。HCU160は、取得した認識結果に基づいて、自車10の周辺状態を把握する。具体的には、HCU160は、ADエリアへの接近、ADエリアへの進入、ST区間(渋滞区間、高速区間等)への接近およびST区間への進入等を把握する。HCU160は、第1、第2自動運転ECU60、70から取得した認識結果に代えて、ロケータECU34や周辺監視センサ40等から直接取得した情報に基づいて周辺状態を把握してもよい。
 HCU160は、自車10がMDエリアを走行している場合に、自動運転を許可できないと判断する。一方で、HCU160は、ADエリアを走行している場合に、レベル2以上の自動運転を許可できると判断する。更に、HCU160は、ADエリアのうち非ST区間を走行している場合に、レベル2以下の自動運転を許可できると判定し、ST区間を走行している場合には、レベル3以上の自動運転を許可できると判定する。
 HCU160は、自車10の位置、走行速度、周辺状態、ドライバの状態、および現在許可されている自動運転レベル、および操作デバイス150への入力情報等に基づいて、実際に実行する自動運転レベルを判断する。即ち、HCU160は、現在許可されている自動運転レベルの開始指示が入力情報として取得された場合に、当該自動運転レベルの実行を決定する。
 HCU160は、自動運転に関するコンテンツの提示を制御する。具体的には、HCU160は、各種情報に基づき各表示デバイス110、120、130に提示させるコンテンツを選定する。
 HCU160は、各表示デバイス110、120、130に提供する制御信号および映像データと、オーディオ装置140に提供する制御信号および音声データとを生成する。HCU160は、生成した制御信号および各データを各提示デバイスへと出力することで、各表示デバイス110、120、130にて情報提示を実施する。
 表示装置100の構成は、以上のようになっており、以下、図2~図4を加えて、作動および作用効果について説明する。
 本実施形態では、主に、高速道路走行において、自動運転レベル2以下に対して、渋滞発生区間や高速走行可能区間での自動運転レベル3(渋滞追従運転、高速追従運転、定速走行運転、車線内走行等)が実施される場合を例にしている。自動運転レベル3が可能となる条件(所定の自動運転可能条件)は、例えば、予め定めた車速条件を満たしている、複数の走行車線がある、中央分離帯がある、等となっている。HCU160は、通常走行(非自動運転走行)か、自動運転走行かに応じて、メータディスプレイ120における自車10の周辺画像の表示を切替える。
 1.通常運転時(非自動運転時)の表示
 HCU160は、自動運転が実行されていないとき、ロケータ30、周辺監視センサ40(主にフロントカメラ)、および車載通信器50によって得られる情報を基に、図2(a)、図3(a)、図4(a)に示すように、主に、自車10を含む前方エリアの画像FP(他車両20、即ち前方車21)をメータディスプレイ120に表示する。メータディスプレイ120に表示される画像は、例えば、自車10の後方上側から進行方向に向けて俯瞰される俯瞰図が用いられている。尚、画像は、俯瞰図に代えて、平面図を用いたものとしてもよい。
 2.自動運転時の表示
 HCU160(仮想カメラ163)は、自動運転が実行されているとき、ロケータ30、周辺監視センサ40(主にカメラ41)、および車載通信器50によって得られる情報を基に、図2(b)、図3(b)、図4(b)に示すように、後続車22を含む後方エリアの画像RPを前方エリアの画像FPに連続するように追加して、メータディスプレイ120に表示する。図2(b)、図3(b)、図4(b)に示す全体画像は、例えば、自車10周辺の他車両20の座標情報をもらい、動的なグラフィックモデルとして描画したものである。
 また、HCU160は、図3(b)に示すように、把握された後続車22が後方エリアに入るように(視認されるように)後方エリアを拡大させる。つまり、HCU160は、自車10と後続車22との距離Dが大きくなる程、後方エリアを大きく設定する。
 また、HCU160は、図4(b)に示すように、自車10と後続車22との距離Dが予め定めた所定距離以上となると、後方エリアの大きさを最大設定として、後続車22の表示としては、単なる存在を示すための簡易表示S(例えば、三角マーク表示)とする。簡易表示Sにおいては、自車10と後続車22との距離D(画像中の両者の間隔)は、明確には表示されない。
 HCU160は、図2(b)、図3(b)、図4(b)における表示において、仮想カメラ163の位置を移動する、あるいは仮想カメラ163の画角を拡縮する、あるいは仮想カメラ163の向きを移動する、あるいは平面上の表示エリアを拡大(2次元表示の場合)することで対応する。
 更に、HCU160は、図2(b)、図3(b)に示すように、後続車22を強調するために、後続車22を囲むように、強調表示E(例えば、矩形枠状のマーク)を付加する。
 以上のように、本実施形態では、HCU160は、自車10において、位置情報および周辺情報を基に、自動運転機能が発揮されていないときに、自車10を含む前方エリアの画像FPをメータディスプレイ120に表示する。そして、HCU160は、自車10において、自動運転機能が発揮されているときには、後続車22を含む後方エリアの画像RPを前方エリアの画像FPに連続するように追加して、メータディスプレイ120に表示部に表示する。
 これにより、周辺監視義務が不要となる自動運転中であっても、メータディスプレイ120に、自車10および後続車22を含む後方エリアの画像RPが表示されるので、自車10と後続車22との関係性を把握することができる。
 また、HCU160は、把握された後続車22が後方エリアに入るように(視認されるように)、後方エリアを拡大させるようにしているので、自車10に対する後続車22を確実に表示することができる。
 また、HCU160は、自車10と後続車22との距離Dが予め定めた所定距離以上となると、後方エリアの大きさを最大設定として、後続車22の表示としては、単なる存在を示すための簡易表示Sとしている。これにより、自車10に対して、後続車22がさほど近くない場合には、自車10との距離感は明確にせずとも、その存在を提示することで、ドライバに対して、後続車22があることを認識させることができる。
 また、HCU160は、後続車22に対して強調表示Eを付加するようにしているので、後続車22に対する認識度を高めることができる。
 (第2実施形態)
 第2実施形態を図5~図7に示す。第2実施形態は、上記第1実施形態に対して、メータディスプレイ120における後続車22の表示形態を変更したものである。図5、図6の符号(a)の図は、自動運転時において、自車10と後続車22との距離Dが相対的に長い場合、また、図5、図6の符号(b)の図は、自動運転時において、自車10と後続車22との距離Dが相対的に短い場合を示している。尚、後続車22については、上記第1実施形態と同様に強調表示Eを付加している。
 HCU160は、距離Dが変動する場合、ソフトウェアで作成された3D空間上で、仮想カメラ163の位置、画角、向き等を制御して、自車10に対する前方エリア、および後方エリアの撮影をする。図5(a)に示すように、距離Dが相対的に長い場合の後続車22の表示を表示エリアの下側に設定すると、図5(b)に示すように、距離Dが相対的に短くなった場合、自車10の位置が、表示エリア内で下側に変動することになり、ドライバにとっては、見にくい表示となり得る。尚、自車10に対する前方エリア、および後方エリアの撮影にあたっては、実際のカメラ41を用いて、前方、後方のエリアの映像を合成して出力してもよい。
 よって、HCU160は、このように距離Dが変動する場合に、仮想カメラ163の設定を固定して、図6に示すように、後方エリアを距離Dの変動を吸収可能な大きさに固定する。つまり、HCU160は、後続車22が表示される後方エリアを固定エリアFAとして設定する。そして、HCU160は、前方エリアにおける自車10の位置を固定し、自車10に対して距離Dの変動を伴う後続車22の位置を、後方エリア内(固定エリアFA内)で変動させるように表示する。
 これにより、ドライバに対して、自車10の位置を基準にして、距離Dの変動を伴う後続車22の表示を、見やすいものにすることができる。
 尚、図7に示すように、距離Dが所定距離以下となったときに、固定エリアFAの設定を解除した表示に戻すようにしてもよい。
 (第3実施形態)
 第3実施形態を図8~図16に示す。第3実施形態は、後続車22の種類に応じて、表示形態を制御する。図8は、自動運転時における表示形態制御の要領を示すフローチャートである。自動運転モードは、例えば、高速道路における追従走行(高速、低速含む)、定速走行、車線内走行等である。HCU160が行う表示形態制御について、以下説明する。図8のフローチャートにおいては、所定時間ごとに、スタートからエンドが繰り返し実行される。
 自動運転制御が実行される中で、まず、フローチャートのステップS100において、HCU160は、周辺監視センサ40(カメラ41)の情報から、後続車22があるか否かを判定する。HCU160は、後続車22ありと判定すると、ステップS110に進み、否定判定すると本制御を終了する。
 ステップS110では、HCU160は、後続車22は、緊急車23(優先後続車)か否かを判定する。HCU160は、周辺監視センサ40における音感知センサ43による情報、例えば、サイレン音、サイレン音の方向等の情報から、後続車22が緊急車23(パトカー、救急車、消防車等)であるか否かを判定する。HCU160は、ステップS110で、肯定判定すると、ステップS120に進み、また、否定判定すると、ステップS150に進む。尚、ステップS120~ステップS141においては、後続車22は、緊急車23と判定しているステップになり、後続車22を緊急車23と呼ぶことにする。
 ステップS120では、HCU160は、周辺監視センサ40(例えばカメラ41)の情報から、自車10と緊急車23との距離が、所定距離(例えば100m)未満であるか否かを判定する。
 ステップS120で、肯定判定すると(距離は100m未満)、HCU160は、ステップS130で、図9に示すように、緊急車23を、相対的に大きく表示する。具体的には、ステップS131で、HCU160は、後方エリアを拡張して、複数の後続車22があっても、そのうちの緊急車23までを表示する。尚、HCU160は、緊急車23の画像に、強調表示Eを付加して表示する。
 更に、HCU160は、自車10と、緊急車23との関係性を示すメッセージMを表示する。HCU160は、メッセージMを表示するにあたって、メッセージMの位置は、表示画像のうち、自車10の画像、および緊急車23の画像には、重ならない位置に設定する。メッセージMは、例えば、「後方に緊急車両あり、道を譲ります。」といった内容である。HCU160は、緊急車23の画像に対する強調表示Eと、メッセージMとによって緊急車23の存在をドライバに知らせる。
 そして、緊急車23を優先するために、HCU160は、第2自動運転ECU70に指示を出して、自動運転によって車線を変更して、速やかに緊急車23を通過させるようにする。
 一方、ステップS120で、否定判定すると(距離は100m以上)、HCU160は、ステップS140で、図11に示すように、緊急車23を、相対的に小さく表示する。具体的には、ステップS141で、HCU160は、後方エリアを100mの範囲までとし、簡易表示Sを用いて(距離は明確には表示せずに)、後方エリアに緊急車23がいることを表示する。尚、ここでは、緊急車23を優先して通過させるには、まだ時間がかかるため、上記(図9)のようなメッセージMは、表示していない。
 尚、図10は、図9と図11の中間的な場合の表示形態の例を示したものであり、例えば、ステップS120での判定結果を3段階に設定した場合、中間段階の判定に対して適用可能である。図10では、緊急車23を簡易表示Sとして、メッセージMを表示する例を示している。
 次に、ステップS110で否定判定の後、ステップS150で、HCU160は、車載通信器50の情報から、後続車22は自動運転をしており、且つ、周辺監視センサ40の情報から、自車10との距離が20m未満か否かを判定する。
 ステップS150で、肯定判定すると、HCU160は、後続車22は自車10に対して自動運転による追従走行を行っていると判断する。そして、ステップS160で、HCU160は、図12~図14に示すように、自車10と後続車22との一体感を伴う一体感表示Uを行う。
 一体感表示Uは、自車10とすぐ後ろの後続車22が、追従走行によって対になっている様子を示す表示となっている。例えば、図12では、一体感表示Uとして、自車10と後続車22とを囲うように枠を設けて、枠内(道路面)に所定の色を付けた表示としている。また、図13では、一体感表示Uとして、自車10と後続車22とを同一のデザインの車両画像としている。また、図14では、自車10と後続車22とが接続(牽引)された表示としている。
 尚、ステップS160において、ステップS130、S131と同様に、メッセージMを表示してもよい。メッセージMは、例えば、「後続車22は、自車10に対して自動追従走行しています。」といった内容とすることができる。
 一方、ステップS150で、否定判定すると、HCU160は、ステップS170で、後続車22は、煽り運転車か否かを判定する。HCU160は、周辺監視センサ40からの情報、例えば、現在の車速、自車10と後続車22との車間距離、後続車22の蛇行走行有無、後続車22からのハイビーム有無、自車10の周囲における他車両20の台数(後続車22が1台のみか)、後続車22の走行する車線位置(車線を頻繁に変更)等から、後続車22が煽り運転車両か否かを判定する。
 ステップS170で、肯定判定すると、HCU160は、ステップS180で、図15、図16に示すように、ドライバに対する注意表示を行う。具体的には、HCU160は、後方エリアに強調表示Eを付加した後続車22(煽り運転車)を表示する。また、HCU160は、自車10、および後続車22に重ならないように、メッセージMを表示する。図15では、自車10よりも前側となる前方エリアにメッセージMを表示し、また、図16では、自車10と後続車22との間にメッセージMを表示する例を示している。
 メッセージMは、例えば、「煽り運転の可能性が高いです。録画中です。」といった内容(図15)や、「煽り運転かもしれません。録画中です。」といった内容(図16)である。
 尚、ステップS170で、否定判定すると、HCU160は、本制御を終了する。
 以上のように、本実施形態では、後続車22の種類に応じて、表示形態を制御しており、ドライバは、自動運転中であっても、後続車22を認識すること、更には必要とされる処置を行うことが可能となる。
 HCU160は、後続車22の中に、予め定めた優先度の高い緊急車23(優先後続車)があると、後方エリアにおいて、緊急車23までを表示するようにしている。これにより、ドライバは、確実に緊急車23の存在を認識することができる。
 また、HCU160は、緊急車23を強調する強調表示Eを行う。これにより、ドライバは、緊急車23を確実に認識することができる。尚、後続車22が煽り運転車の場合も、同様に強調表示Eを行うことによって、ドライバの認識度を高めることができる。
 また、HCU160は、後続車22が、自車10に対して自動追従走行を行っている場合、自車10と後続車22とを、一体感を伴う一体感表示Uを行う。これにより、ドライバは、後続車22が、自動追従走行をしていることを認識することができる。
 また、HCU160は、自車10と後続車22との関係性を示すメッセージMを表示する。これにより、ドライバは、後続車22との関係性を詳細に認識することができる。
 また、HCU160は、メッセージMを表示するにあたって、画像のうち、自車10および後続車22に重ならないように表示する。これにより、自車10と後続車22との位置関係の表示を阻害することがない。
 尚、上記実施形態において、図8に示すフローチャートによる処理をスタートさせることによって、表示形態の制御(後続車22の表示)を行うようにした。しかしながら、これに限らず、ドライバの顔を撮影するドライバカメラを設けて、ドライバの視線がバックミラーを見ている回数が単位時間当たりの閾値を超えた場合に、後続車22の表示処理を実行(スタート)するようにしてもよい。
 (第4実施形態)
 第4実施形態を図17に示す。第4実施形態では、HCU160は、ロケータ30、周辺監視センサ40、車載通信器50、第1、第2自動運転ECU60、70、および車両制御ECU80等から各種情報を取得する。HCU160は、各種情報のうち、特に、自車10の位置情報、走行状態、および周辺情報を基に設定される自動運転のレベル(レベル1、2、3以上)と、自車10の走行状態(渋滞走行、高速走行等)と、周辺車両(前方車21、後続車22)の状況とに応じて、表示部に表示する周辺画像の表示形態を切替える。周辺画像は、自車10周りの画像であり、自車10と周辺車両21、22との関係性を示す画像である。表示部は、例えば、メータディスプレイ120が使用される。
 図17の左側に示すように、自車10が自動運転レベル2(あるいは自動運転レベル1も含む)で走行している場合に、HCU160は、自車10を含む前方エリアの画像FPを表示する。このとき、前方エリアの画像FPは、自車10の後方上部から捉えた俯瞰表現が使用されている。
 一方、図17の右側に示すように、自車10が、自動運転のレベル3以上となると、HCU160は、前方エリアの画像FPに、後方エリアの画像RPを加えて表示する。
 図17の右側上段に示すように、自動運転のレベルが、渋滞時限定レベル3のときに、HCU160は、後続車22があると、後方エリアの画像RPを、後続車22の後端までとして表示し、後続車22がないと、後続車22を想定したエリアよりも更に広いエリアとなるように表示する。このときの周辺画像は、俯瞰表現が使用されている。尚、後方から高速で後続車22が近づいてきたときに、後方エリアを広く表示してもよい。また、周辺画像は、CID130に表示するようにしてもよい。
 また、図17の右側中段に示すように、自動運転のレベルが、予め設定された所定のエリア(例えば、高速道路の規定区間)での自動運転が許可されるエリア限定レベル3(エリア限定自動運転)のときに、HCU160は、周辺画像として、自車10の上方から捉え、自車10を画像の中央に配置した平面的な画像として表示する。周辺画像は、CID130に表示するようにしてもよい。また、後続車22がない場合は、周辺画像内において、自車10は、後方に対応する位置(画像の下側)に表示されるようにしてもよい。
 また、図17の右側下段に示すように、自車10にとって、危険を及ぼす可能性のある危険車24(例えば、煽り車両や、高速で接近する車両、自車10の車線に近い位置で接近する車両など)の接近があると、HCU160は、危険車24が後方エリアの画像RP内に入るように表示する。HCU160は、危険車24が接近する前の段階では、自車10を周辺画像の中央に配置し、危険車24が接近すると、自車10の位置を中央からずらして、危険車24が確実に周辺画像内に入るように表示する。
 尚、HCU160は、自動運転レベル3の間は、自動運転レベル3に移行していることを示す(識別をする)ための識別表示(ここでは、AUTO25の表示)を行うようになっている。
 本実施形態によれば、自車10の自動運転レベル、走行状態(渋滞走行、高速走行等)、および周辺車両21、22の状況に応じて、自車10と周辺車両21、22との関係性にかかる表示形態が切替え表示されるので、自車10と周辺車両21、22との関係性を適切に把握することができる。
 渋滞時限定レベル3では、周辺画像は俯瞰表示され、また、後続車22の有無に応じて、後方エリアの広さが変更されるので、接近する後続車22を把握しやすくなる。
 また、エリア限定レベル3では、平面表示とされるので、周辺車両21、22を広い範囲で把握でき、特に、高速で接近してくる後続車22や、また、前方、左右における前方車21の動向を把握しやすくなる。
 また、危険車24の接近があると、後方エリアの画像RP内に入るように表示されるので、不安を取り除くことができる。
 (第5実施形態)
 第5実施形態を図18に示す。第5実施形態では、HCU160は、自動運転のレベル、自車10の走行状態、および周辺車両21、22の状況が判定されたタイミングに基づいて、周辺画像の表示形態の切替えタイミングを調整する。
 図18のパターン1では、自動運転レベル2において、第1、第2自動運転ECU60、70から自動運転レベル3が許可された信号を受けると、HCU160は、俯瞰表現にて、前方エリアの画像FPの表示に切替える。この周辺画像は、渋滞走行である場合、あるいはエリア限定走行である場合の両方を含む。
 その後に、自動運転レベル3は、渋滞時限定レベル3である、あるいはエリア限定レベル3であることを受けると、HCU160は、そのタイミングで、渋滞時での周辺画像(俯瞰表現)の表示に切替える、あるいは、エリア限定での周辺画像(平面表現)の表示に切替える。この場合の周辺画像は、前方エリアの画像FPと後方エリアの画像RPとが含まれる。
 一方、図18のパターン2では、自動運転レベル2において、第1、第2自動運転ECU60、70から渋滞時限定レベル3、あるいはエリア限定レベル3が許可された信号を受けると、HCU160は、渋滞時限定レベル3のときは、俯瞰表現にて、前方エリアの画像FPの表示に切替える。あるいは、HCU160は、エリア限定レベル3のときは、平面表現にて、前方エリアの画像FPの表示に切替える。
 その後に、後続車22ありの信号を受けると、HCU160は、そのタイミングで、渋滞時での前方エリアの画像FPおよび後方エリアの画像RPの表示に切替える、あるいは、エリア限定時での前方エリアの画像FPおよび後方エリアの画像RPの表示に切替える。
 これにより、HUC160は、第1、第2自動運転ECU60、70から受け取る自動運転にかかる信号のタイミングに応じて、無理なく表示形態の切替えを行うことができる。
 (第6実施形態)
 第6実施形態を図19、図20に示す。第6実施形態では、HCU160は、自動運転のレベルとして、上記で説明したように自動運転レベル2の状態から自動運転レベル3への表示形態の切替えに対して、手動運転(自動運転レベル0)、あるいは自動運転レベル1の状態から自動運転レベル3に移行するときの表示形態の切替えを行う場合を示している。
 図19に示すように、自動運転レベル0において、HCU160は、メータディスプレイ120には、本来のメータ(速度計、回転計等)の表示を行う。そして、自動運転レベルが、渋滞時限定レベル3になると、HCU160は、俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合と、ない場合とを示している。
 また、自動運転レベル0において、自動運転レベルが、エリア限定レベル3になると、HCU160は、平面表現、あるいは俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合を示している。
 一方、図20に示すように、自動運転レベル1において(例えば、追従走行)、HCU160は、メータディスプレイ120には、追従走行にかかる前方車21の表示を行っている。そして、上記と同様に、自動運転レベルが、渋滞時限定レベル3になると、HCU160は、俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合と、ない場合とを示している。
 また、自動運転レベル1において、自動運転レベルが、エリア限定レベル3になると、HCU160は、平面表現、あるいは俯瞰表現による前方エリアの画像FP、および後方エリアの画像RPの表示に切替える。この例では、後続車22がある場合を示している。
 これにより、自動運転レベルがレベル0、あるいはレベル1であっても、自動運転レベル3に移行すると、前方エリアの画像FP、および後方エリアの画像RPを含む周辺画像に切替えられるので、自車10と周辺車両21、22との関係性を適切に把握することができる。
 (第7実施形態)
 上記実施形態(第4実施形態)では、自動運転レベル3における周辺画像の表示形態として、俯瞰表現を用いた場合、あるいは平面表現を用いた場合、更には、俯瞰表現における表示エリアよりも広くする場合に、平面表現を用いることを説明した。
 俯瞰表現は、リアリティのある画像表現ができる反面、画像データ量が多い分、画像処理における負荷が増大し、滑らかな画像表現に支障をきたす場合がある。よって、リアリティを追求しなのであれば、平面表現で事足りることになる。よって、周辺の状況に応じて、俯瞰表現と平面表現とを使いわけるのがよい。この場合、俯瞰表現と平面表現とを切替える際に、滑らかな切替えが行われるようにするとよい。
 図21は、自車10の周辺状況に応じて、俯瞰表現と平面表現との間で、周辺画像を切替える場合を示している。図21では、例えば、渋滞時限定レベル3での周辺画像と、エリア限定レベル3での周辺画像を示している。
 渋滞時限定レベル3において、例えば、自車線以外が渋滞でないときは、エリア限定レベル3のように平面表現に切替えるとよい。また、エリア限定レベル3において、渋滞が発生したときは、渋滞時限定レベル3のように俯瞰表現に切替えるとよい。
 また、HCU160は、自車10、および後続車22の車速が高いほど、例えば、俯瞰表現にするための判定閾値を下げることで、俯瞰表現と平面表現とのうち、俯瞰表現の使用頻度を高くするようにするとよい。
 また、HCU160は、自車10と後続車22との距離が大きいほど、後方エリアの画像RPの範囲を大きくするとよい。
 (第8実施形態)
 第8実施形態を図22~図25に示す。第8実施形態では、HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる渋滞走行時の渋滞時限定レベル3に応じた周辺画像を表示する。そして、HCU160は、ドライバの周辺監視義務を伴う渋滞走行時の自動運転レベル2以下に移行しても、渋滞が解消しないときに、渋滞時限定レベル3の周辺画像の表示を継続し、その後に渋滞が解消して、自動運転レベル2以下に移行すると、自動運転レベル2以下に応じた周辺画像を表示する。
 図22は、渋滞時限定レベル3から自動運転レベル2に移行した場合を示している。
 図22の左側に示すように、渋滞時限定レベル3では、HCU160は、周辺画像として、俯瞰表現にて、前方エリアの画像FPと、後方エリアの画像RPとを表示する(後続車22有無を含む)。このとき、HCU160は、渋滞時限定レベル3の間は、自動運転レベル3に移行していることを示す(識別をする)ための識別表示(AUTO25の表示)を行うようになっている。
 そして、図22の右側上段に示すように、自動運転レベル2に移行しても渋滞が解消しないとき、HUC160は、渋滞時限定レベル3での表示形態をそのまま継続する。尚、自動運転レベル2に移行している間は、AUTO25の表示は、非表示とされる。
 渋滞時限定レベル3から自動運転レベル2に移行されても、渋滞が解消しない場合は、車線数の減少、他車両20の合流等が考えられ、自車10の周辺への割込み等の可能性が高いため、前方エリアの画像FPのみではなくて、後方エリアの画像RPも含む表示形態にするのがよい。
 渋滞時限定レベル3と、自動運転レベル2とでは、渋滞時限定レベル3のときに、AUTO25の表示が行われることで、渋滞時限定レベル3と、自動運転レベル2との識別が可能となる。
 一方、図22の右側下段に示すように、自動運転レベル2に移行して、渋滞が解消したときは、HCU160は、自動運転レベル2に応じた、前方エリアの画像FPの表示に切替える。尚、自動運転レベル2に移行している間は、AUTO25の表示は、非表示とされる。
 図23は、渋滞時限定レベル3から自動運転レベル1に移行した場合を示している。渋滞が解消しない場合の表示形態は、上記図22の場合と同様である。また、渋滞が解消した場合は、前方エリアの画像FPとして、例えば、追従走行における前方車21が表示される。
 また、図24は、渋滞時限定レベル3から自動運転レベル0(手動運転)に移行した場合を示している。渋滞が解消しない場合の表示形態は、上記図22の場合と同様である。また、渋滞が解消した場合は、本来のメータ表示(速度計、回転計等)とされる。
 尚、図25は、参考として、エリア限定レベル3から自動運転レベル2、レベル1、レベル0(手動運転)に移行した場合を示している。エリア限定レベル3では、平面表現、あるいは俯瞰表現によって、前方エリアの画像FPと後方エリアの画像RPとが表示されている(AUTO25の表示あり)。そして、自動運転レベル2に移行すると、前方エリアの画像FP(複数の前方車21)が表示され、自動運転レベル1に移行すると、前方エリアの画像FP(追従走行における前方車21)が表示され、自動運転レベル0に移行すると、本来のメータ表示とされる。自動運転レベル2、レベル1、レベル0では、AUTO25の表示は、非表示とされる。
 (第9実施形態)
 第9実施形態では、自動運転レベル3におけるセカンドタクスにかかる表示と、周辺画像の表示との切替えについて説明する。
 HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行すると、ドライバに対して運転以外の行為として許可されるセカンドタスクにかかる表示を行う。そして、HCU160は、接近する他車両20があったとき、あるいは、急速度の他車両20があったときに、セカンドタスクにかかる表示を周辺画像に切替える。
 セカンドタスクを表示する表示部は、メータディスプレイ120や、CID130とすることができる。例えば、CID130にセカンドタスクにかかる表示(映画の再生等)をしており、接近する他車両20や、急速度の他車両20があると、HCU160は、CID130の表示を周辺画像に切替える。周辺画像は、前方エリアの画像FPおよび後方エリアの画像RPとしたり、後方エリアの画像RPのみとしてもよい。
 また、HCU160は、自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行して、ドライバが、運転以外の行為として許可されるセカンドタスク(スマートフォンの操作等)を始めると、周辺画像を、予め定めた最小限度の表示内容にする。また、HCU160は、ドライバがセカンドタスクを中断したとき(顔を上げたとき等)、接近する他車両20があったとき、あるいは、急速度の他車両20があったときに、最小限度の表示内容を周辺画像に切替える。周辺画像は、前方エリアの画像FPおよび後方エリアの画像RPとしたり、後方エリアの画像RPのみとしてもよい。
 このように、HCU160は、自動運転レベル3において、表示部(メータディスプレイ120、CID130等)におけるセカンドタスクにかかる表示、あるいは、セカンドタスクに伴う最小限度の表示内容を、周辺車両21、22の状況、ドライバのセカンドタスク中断等によって、周辺画像に切替える。よって、自動運転レベル3であっても、自車10と周辺車両21、22との関係性を適切に把握することができる。
 (第10実施形態)
 第10実施形態を図26に示す。第10実施形態では、表示部として、自車10の後側方における周辺車両21、22を表示する電子ミラー表示部170を備えている。電子ミラー表示部170は、例えば、メータディスプレイ120に隣接して設けられている。そして、HCU160は、自動運転レベル3において(メータディスプレイ120にAUTO25の表示あり)、自車10にとって、危険を及ぼす可能性のある危険車24の接近があると、メータディスプレイ120、および電子ミラー表示部170の両者に、危険車24を強調して表示する。
 メータディスプレイ120における周辺画像は、例えば、平面表現による、前方エリアの画像FPと、後方エリアの画像RPとすることができる。また、強調表示は、例えば、上記第1実施形態で説明した強調表示E等とすることができる。
 これにより、危険車24の接近があると、メータディスプレイ120と電子ミラー表示部170の両者によって、危険車24が表示されるので、不安を取り除くことができる。
 (第11実施形態)
 第11実施形態を図27に示す。第11実施形態では、HCU160は、自動運転レベル3において、自車10の隣の車線が渋滞していると、周辺画像の表示形態として、自車10の後方上部から捉えた俯瞰表現に切替え(図27(a))、自車10の隣の車線が渋滞していないと、自車10の上部から捉えた平面表現に切替える(図27(b))。
 これにより、隣の車線が渋滞していると、割込みの可能性は低いと思われる。このとき周辺画像が俯瞰表現されるので、主に、後方側の他車両20に注意を向けることができる。また、隣の車線が渋滞していないと、高速度の車両が接近して割込みをかける可能性があると思われる。このとき、周辺画像が平面表現されるので、より広い領域について、注意を向けることができる。
 (第12実施形態)
 第12実施形態を図28~図31に示す。第12実施形態では、HCU160は、合流地点において、合流しようとする他車両20があると、周辺画像に他車両20を加えて表示する。
 図28は、渋滞走行で後続車22がいない場合を示している。図28(a)は、渋滞時限定レベル3にて、俯瞰表現された周辺画像を示している。自車10の位置は、周辺画像の下側、あるいは、周辺画像の中央とすることができる。図28(b)は、合流地点での周辺画像を示している。合流地点では、渋滞時限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、俯瞰表現から平面表現としてもよい。そして、図28(c)は、合流後の周辺画像を示している。ここでは、図28(a)と同様の表示となる(合流後、後続車22なし)。
 図29は、渋滞走行で後続車22がいる場合を示している。図29(a)は、渋滞時限定レベル3にて、俯瞰表現された周辺画像を示している。自車10の位置は、周辺画像の中央とすることができる。図29(b)は、合流地点での周辺画像を示している。合流地点では、渋滞時限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、俯瞰表現から平面表現としてもよい。そして、図29(c)は、合流後の周辺画像を示している。ここでは、図29(a)と同様の表示となる(合流後、後続車22あり)。
 図30は、エリア限定走行で後続車22がいない場合を示している。図30(a)は、エリア限定レベル3にて、平面表現された周辺画像を示している。自車10の位置は、周辺画像の下側とすることができる。図30(b)は、合流地点での周辺画像を示している。合流地点では、エリア限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、平面表現から俯瞰表現としてもよい。そして、図30(c)は、合流後の周辺画像を示している。ここでは、図30(a)と同様の表示となる(合流後、後続車22なし)。
 図31は、エリア限定走行で後続車22がいる場合を示している。図31(a)は、エリア限定レベル3にて、平面表現された周辺画像を示している。自車10の位置は、周辺画像の中央とすることができる。図31(b)は、合流地点での周辺画像を示している。合流地点では、エリア限定レベル3は、自動運転レベル2に変更される。周辺画像には、合流しようとする他車両20が表示される。このとき、自車10の位置は、多少、右側に移動され、合流側となる左側の他車両20が確実に表示されるようにするとよい。また、周辺画像としては、平面表現から俯瞰表現としてもよい。そして、図31(c)は、合流後の周辺画像を示している。ここでは、図31(a)と同様の表示となる(合流後、後続車22あり)。
 これにより、各自動運転レベル3の走行状態に応じて、合流地点で合流しようとする他車両20、および後続車22(いる場合)の状況を的確に把握することができる。
 (第13実施形態)
 第13実施形態を図32に示す。第13実施形態では、HCU160は、ドライバが自動運転から手動運転への交代に失敗すると、緊急避難として緊急停止されるまでの間に、周辺画像において自車10の位置を中央にして周辺車両21、22を表示する。
 図32(a)に示すように、例えば、渋滞時限定レベル3にて、周辺画像が俯瞰表現によって表示される。図32(a)の上段は、自車10に後続車22がなく、自車10が周辺画像の下部に表示された場合を示している。図32(a)の中段は、自車10に後続車22がなく、自車10が周辺画像の中央に表示された場合を示している。図32(a)の下段は、自車10に後続車22があり、自車10が周辺画像の中央に表示された場合を示している。
 渋滞時限定レベル3から自動運転レベル2へ移行すると、HCU160は、図32(b)に示すように、周辺画像に運転交代のためのメッセージMを表示する。メッセージMは、例えば、「運転交代してください」といった内容とすることができる。ここで、ドライバが、よそ見をしていたり、気づくのが遅れたり等して、運転交代に失敗すると、HCU160は、図32(c)に示すように、緊急停止中である(減速中である)こと表示する。このとき、HCH160は、自車10の位置を周辺画像の中央に配置して、その周りに周辺車両21、22を表示する。
 これにより、運転交代に失敗しても、自車10の周辺車両21、22の状況を的確に把握することができる。
 (第14実施形態)
 第14実施形態を図33に示す。第14実施形態では、第2自動運転ECU70は、自動運転レベル3以上を許可する条件として、前方車21(前方の先行車)と後続車22とが存在するという条件を加えて、自動運転制御を行う。
 HCU160は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、周辺監視義務が不要となる自動運転レベル3以上(例えば、渋滞時限定レベル3)に移行可能となったときに、自車10の周辺画像に後続車22を表示する(図33の真中)。そして、HCU160は、例えば、ドライバによって操作デバイス150への入力操作が行われて、自動運転レベル3以上に移行した後に、周辺画像における後続車22を非表示とする(図33の右)。
 HCU160は、周辺画像において、後続車22を非表示とするにあたって、カメラ41等によって、取得された後続車22自体の画像データの出力を停止して、メータディスプレイ120等の表示部に表示されないようにする。あるいは、HCU160は、カメラ41等(取得部)のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして(自車10を周辺画像内の最下部にして)、後続車22を非表示とする。
 尚、後続車22としては、基本的に自車レーン(自車10のレーン)における後続車22を捉えるものとするが、自車レーンにおける後続車22と、隣のレーンにおける後続車22とを捉える場合(図33の真中)を含むようにしてもよい。
 また、HCU160は、渋滞時限定レベル3に移行した後は、自動運転レベル3であることを示す(識別をする)ための識別表示(AUTO25の表示)を行う。
 本実施形態によれば、自動運転レベル3に移行可能となった段階では、周辺画像において、自動運転を許可する条件として後続車22が存在することをドライバに知らせることができる。そして、自動運転レベル3以上に移行した後は、周辺画像において、後続車22を非表示とすることで、ドライバに対して自動運転中における後方の情報量を減らすことができ、ドライバの利便性を向上させることができる。
 (第15実施形態)
 第15実施形態を図34に示す。第15実施形態では、上記第14実施形態に対して、周辺画像において、後続車22を非表示とするタイミングを変更したものである。
 即ち、HCU160は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、周辺監視義務が不要となる自動運転レベル3以上(例えば、渋滞時限定レベル3)に移行するときに、自車10の周辺画像に後続車22を表示する(図34の真中)。そして、HCU160は、例えば、ドライバによって操作デバイス150への入力操作が行われて、自動運転レベル3以上に移行した後に、周辺画像における後続車22を非表示とする(図34の右)。
 これにより、自動運転レベル3に移行する段階では、周辺画像において、自動運転を許可する条件として後続車22が存在することをドライバに知らせることができる。そして、自動運転レベル3以上に移行した後は、周辺画像において、後続車22を非表示とすることで、ドライバに対して自動運転中における情報量を減らすことができ、ドライバの利便性を向上させることができる。
 (第16実施形態)
 第16実施形態を図35に示す。第16実施形態では、前方車21と後続車22とが存在する条件で、自動運転レベル3以上として、前方車21に追従する自動追従走行を行う場合を例としている。
 HCU160は、自動運転レベル3への移行後に、前方車21を強調表示する第1コンテンツC1と、自車10の後方に存在し、自車10によって検知されている後続車22を強調表示する第2コンテンツC2とを、周辺画像に表示する(図35の右)。
 第1コンテンツC1、および第2コンテンツC2として、種々のマーク画像が使用される。マーク画像は、例えば、図35に示すように、U字状のマークであって、前方車21および後続車22を下側から囲むような表示とすることができる。尚、第1、第2コンテンツC1、C2は、U字状のマークに限らず、四角形や丸形のように、前方車21および後続車22の全体を囲むものや、目印となるドットマーク等としてもよい。また、第1、第2コンテンツC1、C2は、両者が類似のデザインとする場合、あるいは、両者が異なるデザインとする場合のいずれを用いてもよい。
 加えて、HCU160は、第2コンテンツC2による強調度合いは、第1コンテンツC1による強調度合いよりも低く設定されるようにするとよい。
 これにより、第1、第2コンテンツC1、C2を周辺画像に表示することによって、ドライバは、自動運転条件となる前方車21と後続車22との認識度合いを向上させることができる。
 また、第1コンテンツC1に対して、第2コンテンツC2の強調度合いを低くすることで、周辺画像の下端側における後続車22が強調され過ぎることを抑制して、自車10に対する認識度合いが低下することを抑制できる。
 (第17実施形態)
 第17実施形態を図36に示す。第17実施形態は、上記第14~第16実施形態と同様に、前方車21と後続車22がある場合の条件を踏まえて、自動運転制御する場合の例である。
 HCU160は、後続車22の不検知、あるいは後続車22の不在によって、ドライバの周辺監視義務が不要となる自動運転レベル3以上から、周辺監視義務を伴う自動運転レベル2以下に運転交代するときに、後続車22の不検知あるいは後続車22の不在を示す第3コンテンツC3を周辺画像に表示する(図36の真中)。
 第3コンテンツC3は、例えば、後続車22がいないことを示すマーク画像であって、例えば、四角形のマークとすることができる。第3コンテンツC3は、この他にも、後続車22がいないことを示す絵文字等としてもよい。
 そして、HCU160は、自動運転レベル2以下への運転交代が完了したときに、第3コンテンツC3を非表示とする(図36の右上)。
 更に、HCU160は、第3コンテンツC3を非表示とした後に、周辺画像において、自車10が最下部に表示される表示形態に切替える(図36の右下)。尚、HCU160は、カメラ41等のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして、自車10を最下部に表示する。
 これにより、ドライバは、第3コンテンツC3が表示されることで、後続車22がなくなったことを認識することができ、それまでの自動運転レベル3以上が解除されることになることを認識することができる。
 そして、自動運転レベル2以下への運転交代が完了したときに、第3コンテンツC3は非表示とされるので、ドライバは、後続車22のいないノーマルな周辺画像を確認できる。更に、第3コンテンツC3が非表示とされた後は、周辺画像において、自車10が最下部に表示されるので、不要な後方エリアの画像の情報がなくなり、ドライバは、自車10および前方側を注意すればよくなる。
 (第18実施形態)
 第18実施形態を図37に示す。第18実施形態は、上記第14~第17実施形態と同様に、前方車21と後続車22とがある場合に、自動運転制御する場合の例である。
 HCU160は、上記の第14実施形態で説明したように、自動運転レベル3以上(渋滞限定レベル3)に移行して、後続車22を非表示とする(図37の左)。そして、その後に、HCU160は、後続車22が不検知となったときに、周辺画像において、一時的に後続車22が不検知であることを示す(報知する)報知マークNを、自車10の後方に表示する(図37の真中)。
 報知マークNは、後続車22がいないことを示すマーク画像であって、例えば、四角形のマークとすることができる。報知マークNは、この他にも、後続車22がいないことを示す絵文字等としてもよい。
 また、HCU160は、再度、後続車22が検知されたときに、周辺画像に後続車22を表示する(図37の右上)と共に、更に、その後に、後続車22の表示を非表示とする(図37の右下)。
 HCU160は、周辺画像において、後続車22を非表示とするにあたって、上記実施形態で説明したように、カメラ41等によって、取得された後続車22自体の画像データの出力を停止して、メータディスプレイ120等に表示されないようにする(図37の右下)。
 更に、HCU160は、後続車22を非表示するにあたって、後続車22に対する取得部の鳥瞰アングルを変更する。つまり、上記実施形態で説明したように、HCU160は、カメラ41(取得部)等のカメラアングルを変更して、周辺画像の表示エリアとして、自車10の後方エリアの画像RPをカットして、自車10を最下部に表示する(図36の右下に相当)。
 これにより、自動運転レベル3以上において、存在しているものの非表示とされた後続車22が、不検知となると(存在しなくなると)、報知マークNが表示されるので、ドライバは、この報知マークNによって、後続車22がいなくなったことを認識することができる。
 そして、その後に、再度、後続車22が検知されると、周辺画像に後続車22が表示されるので、ドライバは、実質的な後方の状況を認識することができる。更に、その後に、周辺画像において、後続車22が非表示とされるので、ドライバに対して自動運転中における後方の情報量を減らすことができ、ドライバの利便性を向上させることができる。
 (第19実施形態)
 第19実施形態を図38に示す。第19実施形態は、上記第14~第18実施形態と同様に、前方車21と後続車22とがある場合に、自動運転制御する場合の例である。
 HCU160は、前方車21がすでに存在しており、あと、後続車22が存在すれば、自動運転レベル3以上に移行可能となる状況であると、自動運転への移行可能前状態であるとして、移行前画像Rを周辺画像内の後続車22に相当する位置に表示する(図38の真中)。
 移行前画像Rは、例えば、四角形のマークとすることができる。移行前画像Rは、この他にも、移行可能前状態であることを示す絵文字等としてもよい。
 尚、移行前画像Rが表示されるのは、あと一つ条件が揃えば自動運転に移行できる場合であって、ゲーム等で言われる「リーチ」の状態に相当し、移行前画像Rを「リーチ画像」と呼ぶこともできる。
 尚、後続車22が存在して、自動運転レベル3以上に移行した後は、上記第14実施形態と同様に、後続車22は、非表示とされる(図38の右)。
 これにより、ドライバは、移行前画像Rによって、自動運転への移行可能性が高いのか、低いのかを容易に認識することができる。
 (その他の実施形態)
 上記各実施形態では、表示部をメータディスプレイ120としたが、これに限定されることなく、他のHUD110、あるいはCID130を表示部としてもよい。CID130を表示部として使用すると、自動運転に関する表示と、自動運転に切替える操作(タッチ操作)とが、CID130にて実現できる。
 また、CID130が、例えば複数のCIDから形成されて、メータディスプレイ120、および複数のCIDが、インストルメントパネル上で横一列に配置されるピラートゥーピラータイプの表示部としてもよい。
 この明細書および図面等における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および/または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および/または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および/または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、請求の範囲の記載によって示され、更に請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。
 本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された一つないしは複数の機能を実行するようにプログラムされたプロセッサ、およびメモリを構成することによって提供された専用コンピュータにより、実現されるようにした。
 しかしながら、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウエア理論回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。
 もしくは、本開示に記載の制御部およびその手法は、一つないしは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと、一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合せにより構成された一つ以上の専用コンピュータにより、実現されてもよい。
 また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (40)

  1.  車両の走行情報を表示する表示部(120)と、
     前記車両の位置情報および前記車両の周辺情報を取得する取得部(30、40、50)と、
     前記位置情報および前記周辺情報を基に、前記車両の自動運転機能が発揮されていないときに、前記車両を含む前方エリアの画像(FP)を前記表示部に表示すると共に、前記自動運転機能が発揮されているときには、後続車(22)を含む後方エリアの画像(RP)を前記前方エリアの画像に連続するように追加して、前記表示部に表示する表示制御部(160)と、を備える車両用表示装置。
  2.  前記表示制御部は、前記車両と前記後続車との距離(D)が大きい程、前記後方エリアを大きくする請求項1に記載の車両用表示装置。
  3.  前記表示制御部は、前記距離が所定距離以上となると、前記後方エリアを最大設定にして、前記後続車の表示を、存在を示すための簡易表示(S)にする請求項2に記載の車両用表示装置。
  4.  前記表示制御部は、前記車両と前記後続車との距離が変動するとき、前記後方エリアを前記距離の変動を吸収可能な大きさに固定する請求項1に記載の車両用表示装置。
  5.  前記表示制御部は、前記後続車の中に、予め定めた優先度の高い優先後続車(23)があると、前記後方エリアにおいて、前記優先後続車までを表示する請求項1に記載の車両用表示装置。
  6.  前記表示制御部は、前記優先後続車を強調する強調表示(E)を行う請求項5に記載の車両用表示装置。
  7.  前記表示制御部は、前記後続車が、前記車両に対して自動追従走行を行っている場合、前記車両と前記後続車とを、一体感を伴う一体感表示(U)する請求項1に記載の車両用表示装置。
  8.  前記表示制御部は、前記車両と前記後続車との関係性を示すメッセージ(M)を表示する請求項1~請求項7のいずれか1つに記載の車両用表示装置。
  9.  前記表示制御部は、前記メッセージを表示するにあたって、前記画像のうち、前記車両および前記後続車に重ならないように表示する請求項8に記載の車両用表示装置。
  10.  車両の走行情報を表示する表示部(120)と、
     前記車両の位置情報、走行状態、および周辺情報を取得する取得部(30、40、50)と、
     前記走行情報の1つとして前記車両の周辺画像を前記表示部に表示すると共に、前記位置情報、前記走行状態、および前記周辺情報を基に設定される前記車両の自動運転のレベルと、前記走行状態と、前記周辺情報としての周辺車両(21、22)の状況とに応じて、前記周辺画像における前記車両と前記周辺車両との関係性にかかる表示形態を切替える表示制御部(160)と、を備える車両用表示装置。
  11.  前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル1、あるいは自動運転レベル2のときに、前記車両を含む前方エリアの画像(FP)を表示すると共に、前記ドライバの周辺監視義務が不要となる自動運転レベル3以上のときに、前記前方エリアの画像に加えて、前記車両の後方エリアの画像(RP)を表示する請求項10に記載の車両用表示装置。
  12.  前記表示制御部は、渋滞走行時における前記自動運転レベル3以上のときに、後続車(22)があると、前記後方エリアの画像を、前記後続車の後端までとして表示し、前記後続車がないと、前記後続車を想定したエリアよりも広いエリアとなるように表示する請求項11に記載の車両用表示装置。
  13.  前記表示制御部は、予め設定された所定のエリアでの自動運転が許可されるエリア限定自動運転において、前記自動運転レベル3以上のときに、前記周辺画像として、前記車両の上方から捉え、前記車両を中央に配置した平面的な画像として表示する請求項11に記載の車両用表示装置。
  14.  前記表示制御部は、前記車両にとって、危険を及ぼす可能性のある危険車(24)の接近があると、前記危険車が前記後方エリアの画像内に入るように表示する請求項11に記載の車両用表示装置。
  15.  前記表示制御部は、前記自動運転のレベル、前記車両の走行状態、および前記周辺車両の状況が判定されたタイミングに基づいて、前記周辺画像の表示形態の切替えタイミングを調整する請求項10に記載の車両用表示装置。
  16.  前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務を伴う自動運転レベル0、自動運転レベル1、あるいは自動運転レベル2の状態から、前記ドライバの周辺監視義務が不要となる自動運転レベル3に移行するときに、前記表示形態の切替えを行う請求項10に記載の車両用表示装置。
  17.  前記表示制御部は、前記表示形態として、前記車両の後方上部から捉えた俯瞰表現と、前記車両の上部から捉えた平面表現とを可能としており、前記俯瞰表現における表示エリアよりも広くする場合に、前記平面表現を用いる請求項10に記載の車両用表示装置。
  18.  前記表示制御部は、ドライバの周辺監視義務が不要となる前記自動運転のレベルとして、渋滞走行時の自動運転レベル3のときに、前記俯瞰表現を用い、予め設定された所定のエリアにおいて前記自動運転が許可されるエリア限定での自動運転レベル3のときに、前記平面表現を用い、前記周辺車両の状況に応じて、前記俯瞰表現を前記平面表現に、あるいは前記平面表現を前記俯瞰表現に切替える請求項17に記載の車両用表示装置。
  19.  前記表示制御部は、前記車両、および後続車の車速が高いほど、前記俯瞰表現と前記平面表現とのうち、前記俯瞰表現の使用頻度を高くする請求項17に記載の車両用表示装置。
  20.  前記表示制御部は、前記車両と後続車との距離が大きいほど、後方エリアの画像の範囲を大きくする請求項10に記載の車両用表示装置。
  21.  前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる渋滞走行時の自動運転レベル3に応じた前記周辺画像を表示し、前記ドライバの周辺監視義務を伴う渋滞走行時の自動運転レベル2以下に移行しても、渋滞が解消しないときに、前記自動運転レベル3の前記周辺画像の表示を継続し、渋滞が解消して、前記自動運転レベル2以下に移行すると、前記自動運転レベル2以下に応じた前記周辺画像を表示する請求項10に記載の車両用表示装置。
  22.  前記表示制御部は、前記自動運転レベル3のときに、前記自動運転レベル3が実行されていることを示す識別表示(25)を行う請求項21に記載の車両用表示装置。
  23.  前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行すると、前記ドライバに対して運転以外の行為として許可されるセカンドタスクにかかる表示を行い、接近する他車両(20)があったとき、あるいは、急速度の前記他車両があったときに、前記セカンドタスクにかかる表示を前記周辺画像に切替える請求項10に記載の車両用表示装置。
  24.  前記表示制御部は、前記自動運転のレベルとして、ドライバの周辺監視義務が不要となる自動運転レベル3に移行して、前記ドライバが、運転以外の行為として許可されるセカンドタスクを始めると、前記周辺画像を、予め定めた最小限度の表示内容にし、前記ドライバが前記セカンドタスクを中断したとき、接近する他車両(20)があったとき、あるいは、急速度の前記他車両があったとき、前記最小限度の表示内容を前記周辺画像に切替える請求項10に記載の車両用表示装置。
  25.  前記車両の後側方における周辺車両を表示する電子ミラー表示部(140)を備え、
     前記表示制御部は、前記車両にとって、危険を及ぼす可能性のある危険車(24)の接近があると、前記表示部、および前記電子ミラー表示部の両者に、前記危険車を強調して表示する請求項10に記載の車両用表示装置。
  26.  前記表示制御部は、前記車両の隣の車線が渋滞していると、前記表示形態として、前記車両の後方上部から捉えた俯瞰表現に切替え、前記車両の隣の車線が渋滞していないと、前記車両の上部から捉えた平面表現に切替える請求項10に記載の車両用表示装置。
  27.  前記表示制御部は、合流地点において、合流しようとする他車両(20)があると、前記周辺画像に前記他車両を加えて表示する請求項10に記載の車両用表示装置。
  28.  前記表示制御部は、ドライバが自動運転から手動運転への交代に失敗すると、緊急停止されるまでの間に、前記周辺画像において、前記車両の位置を中央にして前記周辺車両を表示する請求項10に記載の車両用表示装置。
  29.  前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、前記周辺監視義務が不要となる自動運転レベル3以上に移行可能となったときに、前記周辺画像に後続車(22)を表示し、前記自動運転レベル3以上に移行した後に、前記周辺画像における前記後続車を非表示とする請求項10に記載の車両用表示装置。
  30.  前記表示制御部は、ドライバの周辺監視義務を伴う自動運転レベル2以下から、前記周辺監視義務が不要となる自動運転レベル3以上に移行するときに、前記周辺画像に後続車(22)を表示し、前記自動運転レベル3以上に移行した後に、前記周辺画像における前記後続車を非表示とする請求項10に記載の車両用表示装置。
  31.  前記表示制御部は、ドライバの周辺監視義務を不要とする自動運転レベル3以上であって、前方車(21)に追従する自動追従走行を行っているときに、前記前方車を強調表示する第1コンテンツ(C1)と、前記車両の後方に存在し、前記車両によって検知されている後続車(22)を強調表示する第2コンテンツ(C2)と、を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  32.  前記第2コンテンツの強調度合いは、前記第1コンテンツの前記強調度合いよりも低く設定された請求項31に記載の車両用表示装置。
  33.  前記表示制御部は、後続車(22)の不検知、あるいは前記後続車の不在によって、ドライバの周辺監視義務が不要となる自動運転レベル3以上から、前記周辺監視義務を伴う自動運転レベル2以下に運転交代するときに、前記後続車の不検知あるいは前記後続車の不在を示す第3コンテンツ(C3)を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  34.  前記表示制御部は、前記運転交代が完了したときに、前記第3コンテンツを非表示とする請求項33に記載の車両用表示装置。
  35.  前記表示制御部は、前記第3コンテンツを非表示とした後に、前記周辺画像において、前記車両が最下部に表示される表示形態に切替える請求項34に記載の車両用表示装置。
  36.  前記表示制御部は、ドライバの周辺監視義務が不要となる自動運転レベル3以上のときに、後続車(22)が不検知となったときに、前記周辺画像において、一時的に前記後続車が不検知であることを示す報知マーク(N)を前記車両の後方に表示する請求項10に記載の車両用表示装置。
  37.  前記表示制御部は、再度、前記後続車が検知されたときに、前記周辺画像に前記後続車を表示すると共に、更に、その後に、前記後続車の表示を非表示とする請求項36に記載の車両用表示装置。
  38.  前記表示制御部は、前記後続車の表示を非表示とするときに、前記後続車に対する前記取得部の鳥瞰アングルを変更する請求項37に記載の車両用表示装置。
  39.  前記表示制御部は、後続車が存在すれば、ドライバの周辺監視義務が不要となる自動運転レベル3に移行可能となることを示す移行前画像(R)を前記周辺画像に表示する請求項10に記載の車両用表示装置。
  40.  前記自動運転レベル3以上は、前記車両が走行する走行レーンに、前方の先行車および前記後続車が存在するときに実行される請求項29~請求項39のいずれか1つに記載の車両用表示装置。
PCT/JP2021/029254 2020-08-27 2021-08-06 車両用表示装置 WO2022044768A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021004492.3T DE112021004492T5 (de) 2020-08-27 2021-08-06 Fahrzeuganzeigevorrichtung
CN202180052566.7A CN115943101A (zh) 2020-08-27 2021-08-06 车辆用显示装置
US18/165,297 US20230191911A1 (en) 2020-08-27 2023-02-06 Vehicle display apparatus

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2020143764 2020-08-27
JP2020-143764 2020-08-27
JP2021028873 2021-02-25
JP2021-028873 2021-02-25
JP2021069887A JP7310851B2 (ja) 2020-08-27 2021-04-16 車両用表示装置
JP2021-069887 2021-04-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/165,297 Continuation US20230191911A1 (en) 2020-08-27 2023-02-06 Vehicle display apparatus

Publications (1)

Publication Number Publication Date
WO2022044768A1 true WO2022044768A1 (ja) 2022-03-03

Family

ID=80353132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029254 WO2022044768A1 (ja) 2020-08-27 2021-08-06 車両用表示装置

Country Status (5)

Country Link
US (1) US20230191911A1 (ja)
JP (1) JP7480894B2 (ja)
CN (1) CN115943101A (ja)
DE (1) DE112021004492T5 (ja)
WO (1) WO2022044768A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233455A1 (ja) * 2022-05-30 2023-12-07 三菱電機株式会社 運転支援装置及び運転支援方法
WO2024022945A1 (de) * 2022-07-25 2024-02-01 Volkswagen Aktiengesellschaft Verfahren zum vorausschauenden warnen eines benutzers

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022150368A (ja) * 2021-03-26 2022-10-07 パナソニックIpマネジメント株式会社 支援装置
JP2023047174A (ja) * 2021-09-24 2023-04-05 トヨタ自動車株式会社 車両用表示制御装置、車両用表示装置、車両、車両用表示制御方法及びプログラム
US20230256995A1 (en) * 2022-02-16 2023-08-17 Chan Duk Park Metaverse autonomous driving system and cluster driving

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091058A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 運転情報表示装置および運転情報表示方法
WO2017046938A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017102739A (ja) * 2015-12-02 2017-06-08 株式会社デンソー 車両制御装置
JP2017206133A (ja) * 2016-05-19 2017-11-24 カルソニックカンセイ株式会社 車両用表示システム
JP2019006280A (ja) * 2017-06-26 2019-01-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019043176A (ja) * 2017-08-29 2019-03-22 日本精機株式会社 車載表示装置
DE102018215292A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2517726B2 (ja) 1987-07-22 1996-07-24 ソニー株式会社 多層配線基板の製造方法
JP6988368B2 (ja) 2017-10-25 2022-01-05 日本精機株式会社 ヘッドアップディスプレイ装置
JP7182495B6 (ja) 2019-03-08 2024-02-06 日立Astemo株式会社 シリンダ装置
JP7240607B2 (ja) 2019-08-09 2023-03-16 株式会社オートネットワーク技術研究所 ケーブル付きコネクタ
JP7185294B2 (ja) 2019-11-01 2022-12-07 ブルネエズ株式会社 掌握体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016091058A (ja) * 2014-10-29 2016-05-23 株式会社デンソー 運転情報表示装置および運転情報表示方法
WO2017046938A1 (ja) * 2015-09-18 2017-03-23 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017102739A (ja) * 2015-12-02 2017-06-08 株式会社デンソー 車両制御装置
JP2017206133A (ja) * 2016-05-19 2017-11-24 カルソニックカンセイ株式会社 車両用表示システム
JP2019006280A (ja) * 2017-06-26 2019-01-17 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP2019043176A (ja) * 2017-08-29 2019-03-22 日本精機株式会社 車載表示装置
DE102018215292A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen einer Fahrzeugumgebung in einem Fahrzeug und zugehörige Vorrichtung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023233455A1 (ja) * 2022-05-30 2023-12-07 三菱電機株式会社 運転支援装置及び運転支援方法
WO2024022945A1 (de) * 2022-07-25 2024-02-01 Volkswagen Aktiengesellschaft Verfahren zum vorausschauenden warnen eines benutzers

Also Published As

Publication number Publication date
JP2023112082A (ja) 2023-08-10
JP7480894B2 (ja) 2024-05-10
CN115943101A (zh) 2023-04-07
US20230191911A1 (en) 2023-06-22
DE112021004492T5 (de) 2023-07-06

Similar Documents

Publication Publication Date Title
US10663315B2 (en) Vehicle display control device and vehicle display control method
WO2022044768A1 (ja) 車両用表示装置
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6665605B2 (ja) 表示制御装置及び表示制御方法
JP2017088133A (ja) 運転支援装置
WO2022038962A1 (ja) 車両用表示装置
JP2016112987A (ja) 車両用表示制御装置及び車両用表示制御方法
US20230373309A1 (en) Display control device
JP6962397B2 (ja) 表示制御装置及び表示制御方法
JP7363833B2 (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
JP7355057B2 (ja) 車両用制御装置及び車両用制御方法
JP7310851B2 (ja) 車両用表示装置
JP7347476B2 (ja) 車両用表示装置
WO2023085064A1 (ja) 車両制御装置
JP7384126B2 (ja) 車両用渋滞判断装置、および車両用表示制御装置
WO2022107466A1 (ja) 車両制御装置、および車両用報知装置
WO2021199964A1 (ja) 提示制御装置、提示制御プログラム、自動走行制御システムおよび自動走行制御プログラム
US12030514B2 (en) Presentation control device and non-transitory computer readable storage medium
JP7342926B2 (ja) 表示制御装置及び表示制御プログラム
WO2022030317A1 (ja) 車両用表示装置、および車両用表示方法
US20230013492A1 (en) Presentation control device and non-transitory computer readable storage medium
US20230019934A1 (en) Presentation control apparatus
WO2023021930A1 (ja) 車両用制御装置及び車両用制御方法
JP2023073198A (ja) 車両制御装置
JP2022080260A (ja) 車両制御装置、および車両用報知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21861196

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21861196

Country of ref document: EP

Kind code of ref document: A1