WO2021210316A1 - 制御装置及び制御プログラム - Google Patents

制御装置及び制御プログラム Download PDF

Info

Publication number
WO2021210316A1
WO2021210316A1 PCT/JP2021/010173 JP2021010173W WO2021210316A1 WO 2021210316 A1 WO2021210316 A1 WO 2021210316A1 JP 2021010173 W JP2021010173 W JP 2021010173W WO 2021210316 A1 WO2021210316 A1 WO 2021210316A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
emergency vehicle
driver
automatic driving
continuation
Prior art date
Application number
PCT/JP2021/010173
Other languages
English (en)
French (fr)
Inventor
雄大 松本
晋彦 千葉
一輝 小島
しおり 間根山
有華里 伊藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021031852A external-priority patent/JP7347459B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to DE112021002344.6T priority Critical patent/DE112021002344T5/de
Publication of WO2021210316A1 publication Critical patent/WO2021210316A1/ja
Priority to US17/963,677 priority patent/US20230030288A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • B60W30/143Speed control
    • B60W30/146Speed limiting
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0013Planning or execution of driving tasks specially adapted for occupant comfort
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0051Handover processes from occupants to vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/195Blocking or enabling display functions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4046Behavior, e.g. aggressive or erratic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/406Traffic density
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects

Definitions

  • the disclosure in this specification relates to a control device and a control program used in a vehicle capable of autonomous driving.
  • Patent Document 1 describes that the driver is in a state of a second task such as operating a smartphone or watching a TV broadcast during automatic driving by the automatic driving ECU.
  • the purpose of the present disclosure is to provide a control device and a control program that do not cause anxiety to the driver even if an emergency vehicle approaches during automatic driving.
  • one aspect disclosed is a control device used in a vehicle capable of performing automatic driving without obligation to monitor the surroundings by the driver, and the vehicle is in the automatic driving period in which the automatic driving is performed.
  • the continuation judgment unit that determines whether or not the state in which the driver is permitted to perform a specific action other than driving continues, and the continuation judgment unit permits the specific action.
  • It is a control device including a provision restriction unit that restricts the display of the content provided to the driver when it is determined that the state does not continue.
  • one aspect disclosed is a control program used in a vehicle capable of performing automatic driving without obligation to monitor the surroundings by a driver, and is used in an automatic driving period in which at least one processing unit is automatically driven.
  • a control program that executes a process including limiting the display of the content provided to the driver.
  • one aspect disclosed is a control device used in a vehicle capable of performing automatic driving without the obligation of the driver to monitor the surroundings, and the vehicle is a vehicle during the automatic driving period in which the automatic driving is performed.
  • the driver is allowed to continue automatic driving and perform specific actions other than driving.
  • It is a control device including a continuation determination unit that determines whether or not the state can be continued.
  • one aspect disclosed is a control program used in a vehicle capable of performing automatic driving without obligation of peripheral monitoring by a driver, and is used in an automatic driving period in which at least one processing unit is automatically driven.
  • a control program that executes processing including determining whether or not the vehicle is possible.
  • the function of the control device according to the first embodiment of the present disclosure is realized by an automatic operation ECU (Electronic Control Unit) 50b and an HCU (Human Machine Interface Control Unit) 100.
  • the automatic driving ECU 50b shown in FIG. 1 constitutes an automatic driving system 50 used in the vehicle Am together with a driving support ECU 50a and the like. By installing the automatic driving system 50, the vehicle Am becomes an automatic driving vehicle having an automatic driving function.
  • the HCU 100 comprises an HMI (Human Machine Interface) system used in the vehicle Am together with a plurality of display devices, an audio device 24, an operation device 26, and the like.
  • the HMI system has an input interface function that accepts operations by an occupant (for example, a driver) of the vehicle Am, and an output interface function that presents information to the driver.
  • the automatic driving ECU 50b and the HCU 100 are communicably connected to the communication bus 99 of the vehicle-mounted network 1 mounted on the vehicle Am.
  • the automatic driving ECU 50b and the HCU 100 are each one of a plurality of nodes provided in the vehicle-mounted network 1.
  • a driver monitor 29, a peripheral monitoring sensor 30, a locator 35, a vehicle-to-vehicle communication device 37, a road-to-vehicle communication device 38, a travel control ECU 40, a driving support ECU 50a, and the like are further connected to the communication bus 99.
  • These nodes connected to the communication bus 99 of the vehicle-mounted network 1 can communicate with each other.
  • the specific nodes of these devices and ECUs may be directly electrically connected to each other and can communicate with each other without going through the communication bus 99.
  • the driver monitor 29 has a configuration including a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the driver monitor 29 is installed in a posture in which the near-infrared camera is directed toward the headrest portion of the driver's seat, for example, on the upper surface of the steering column portion or the upper surface of the instrument panel 9.
  • the near-infrared camera may be integrally configured with the meter display 21 or the center information display (hereinafter, CID) 22 described later, and may be embedded in either screen.
  • the driver monitor 29 uses a near-infrared camera to photograph the head of the driver irradiated with near-infrared light by a near-infrared light source.
  • the image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit extracts information such as the position of the driver's eye point and the line-of-sight direction from the captured image, and provides the extracted driver state information to the HCU 100 and the like via the communication bus 99.
  • the peripheral monitoring sensor 30 is an autonomous sensor that monitors the surrounding environment of the vehicle Am.
  • the peripheral monitoring sensor 30 can detect a predetermined moving object and a stationary object from the detection range around the own vehicle.
  • the peripheral monitoring sensor 30 can at least detect a front vehicle, a rear vehicle, front and rear side vehicles, and the like traveling around the own vehicle.
  • the peripheral monitoring sensor 30 provides detection information of an object around the vehicle to the driving support ECU 50a, the automatic driving ECU 50b, and the like through the communication bus 99.
  • the peripheral monitoring sensor 30 includes, for example, a camera unit 31, a millimeter wave radar 32, and a microphone 33. Peripheral monitoring sensor 30 may further include detection configurations such as rider and sonar.
  • the camera unit 31 includes a plurality of camera modules mounted on the vehicle Am so that the front range, the side range, the rear range, etc. of the vehicle Am can be photographed.
  • Each camera module may be configured to include a monocular camera, or may be configured to include a compound eye camera.
  • the camera unit 31 outputs at least one of the imaging data obtained by photographing the surroundings of the vehicle by each camera module and the analysis result of the imaging data as detection information.
  • the millimeter wave radar 32 irradiates the millimeter wave or the quasi-millimeter wave toward the surroundings of the own vehicle.
  • the millimeter wave radar 32 outputs the detection information generated by the process of receiving the reflected wave reflected by a moving object, a stationary object, or the like.
  • the microphone 33 is a sound collector that collects environmental sounds around the vehicle Am.
  • the microphone 33 collects a specific siren sound sounded by the emergency vehicle Qs and an environmental sound including the sound of the loudspeaker. ..
  • the microphone 33 outputs at least one of the environmental sound and the information that the siren sound is extracted from the environmental sound as the detection information.
  • the locator 35 has a configuration including a GNSS (Global Navigation Satellite System) receiver, an inertial sensor, and the like.
  • the locator 35 combines the positioning signal received by the GNSS receiver, the measurement result of the inertia sensor, the vehicle speed information output to the communication bus 99, and the like, and sequentially positions the own vehicle position and the traveling direction of the vehicle Am.
  • the locator 35 sequentially outputs the position information and the direction information of the vehicle Am based on the positioning result to the communication bus 99 as the locator information.
  • GNSS Global Navigation Satellite System
  • the locator 35 further has a map database 36.
  • the map database 36 is mainly composed of a large-capacity storage medium that stores a large number of three-dimensional map data and two-dimensional map data.
  • the three-dimensional map data is so-called high-precision map data, and includes information necessary for advanced driving support and automatic driving, such as three-dimensional shape information of roads and detailed information of each lane.
  • the locator 35 reads the map data around the current position from the map database 36 and provides the map data to the driving support ECU 50a, the automatic driving ECU 50b, and the like together with the locator information.
  • the vehicle-to-vehicle communication device 37 is mainly composed of a communication module for wireless communication with an in-vehicle device mounted on another vehicle.
  • the vehicle-to-vehicle communication device 37 can directly or indirectly transmit and receive information to and from the on-board unit of another vehicle, and acquires information such as the position and speed of the other vehicle.
  • the vehicle-to-vehicle communication device 37 receives the information transmitted from the on-board unit of the emergency vehicle Qs, that is, the position and the moving speed of the emergency vehicle Qs. It is possible.
  • the road-to-vehicle communication device 38 is mainly composed of a communication module for receiving information distributed from a roadside device installed on the side of the road.
  • the road-to-vehicle communication device 38 receives signal information, congestion information, regulation information, and the like of the road near the roadside unit by means such as FM multiplex broadcasting, radio wave beacon, and optical beacon.
  • the road-to-vehicle communication device 38 can receive information regarding the approach of the emergency vehicle Qs (see FIG. 8 and the like) from the roadside unit.
  • the travel control ECU 40 is an electronic control device mainly including a microprocessor.
  • the travel control ECU 40 has at least the functions of a brake control ECU, a drive control ECU, and a steering control ECU.
  • the travel control ECU 40 controls the braking force of each wheel, controls the output of the in-vehicle power source, and steers based on any one of an operation command based on the driver's driving operation, a control command of the driving support ECU 50a, and a control command of the automatic driving ECU 50b.
  • Angle control is continuously performed.
  • the travel control ECU 40 generates vehicle speed information indicating the current travel speed of the vehicle Am based on the detection signal of the wheel speed sensor provided on the hub portion of each wheel, and sequentially outputs the vehicle speed information to the communication bus 99.
  • the driving support ECU 50a is an in-vehicle ECU that realizes a driving support function that supports the driving operation of the driver.
  • the driving support ECU 50a enables advanced driving support or partial automatic driving control of about level 2 which requires peripheral monitoring of the driver at the automatic driving level specified by the American Society of Automotive Engineers of Japan.
  • the operation support ECU 50a is a computer mainly including a control circuit including a processing unit, a RAM, a storage unit, an input / output interface, and a bus connecting them.
  • the driving support ECU 50a has a plurality of functional units that realize advanced driving support by executing a program by the processing unit. Specifically, the driving support ECU 50a has an ACC (Adaptive Cruise Control) function unit, an LTA (Lane Tracing Assist) function unit, and an LCA (Lane Change Assist) function unit.
  • ACC Adaptive Cruise Control
  • LTA Longe Tracing Assist
  • LCA Lane Change Assist
  • the automatic driving ECU 50b is an in-vehicle ECU that realizes an automatic driving function capable of acting as a driver's driving operation.
  • the automatic driving ECU 50b enables autonomous driving of level 3 or higher in which the system is the main control body only in a preset limited area (Operational Design Domain, ODD).
  • ODD Operational Design Domain
  • the automatic driving ECU 50b enables eye-off automatic driving that does not require the driver to visually monitor the surroundings around the vehicle.
  • the automatic operation ECU 50b may be capable of realizing an automatic operation function of level 4 or higher.
  • the automatic operation ECU 50b is a computer mainly including a control circuit including a processing unit 51, a RAM 52, a storage unit 53, an input / output interface 54, and a bus connecting them.
  • the automatic driving ECU 50b has a higher computing power than the driving support ECU 50a, and can at least perform traveling control corresponding to ACC, LTA, and LCA.
  • the processing unit 51 is hardware for arithmetic processing combined with the RAM 52.
  • the processing unit 51 is configured to include at least one arithmetic core such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processing unit 51 may further include an FPGA (Field-Programmable Gate Array), an NPU (Neural network Processing Unit), an IP core having other dedicated functions, and the like.
  • the processing unit 51 executes various processes for realizing the control method of the present disclosure by accessing the RAM 52.
  • the storage unit 53 is configured to include a non-volatile storage medium.
  • the storage unit 53 stores various programs (automatic operation control programs, etc.) executed by the processing unit 51.
  • the automatic operation ECU 50b has an environment recognition unit 61, an action judgment unit 62, and an operation execution as a plurality of functional units that realize automatic operation without a driver's obligation to monitor the surroundings by executing a program (automatic operation control program) by the processing unit 51. It has a part 63.
  • the environment recognition unit 61 recognizes the running environment of the vehicle Am based on the locator information and map data acquired from the locator 35 and the detection information acquired from the peripheral monitoring sensor 30. Specifically, the environment recognition unit 61 determines the position of the own vehicle lane Lns (see FIG. 8) on which the own vehicle travels among the plurality of lanes, the lane shape of the own vehicle lane Lns, and the relative position of other vehicles around the own vehicle. And grasp the relative speed, etc. The position of the own vehicle lane Lns may be specified by the locator 35. Further, the recognition result of the traveling environment by the environment recognition unit 61 may be provided to the HCU 100 as recognition information.
  • the action judgment unit 62 generates a planned driving line on which the vehicle Am is driven based on the recognition result of the driving environment by the environment recognition unit 61.
  • the action determination unit 62 refers to the route information generated by the navigation device and sequentially generates a planned traveling line for heading to the destination.
  • the operation execution unit 63 executes acceleration / deceleration control and steering control of the vehicle Am according to the scheduled travel line generated by the action determination unit 62 in cooperation with the travel control ECU 40. Specifically, the operation execution unit 63 generates a control command based on the scheduled travel line and sequentially outputs the control command to the travel control ECU 40.
  • the plurality of display devices include a meter display 21, a CID 22, a head-up display (hereinafter, HUD) 23, and the like.
  • the plurality of display devices may further include each display EMB, EML, EMR of the electronic mirror system (see FIG. 2).
  • the meter display 21, CID22 and HUD23 present information through the driver's vision.
  • the meter display 21 and the CID 22 are mainly composed of, for example, a liquid crystal display or an OLED (Organic Light Emitting Diode) display.
  • the meter display 21 and the CID 22 display various images on the display screen based on the control signal and the video data acquired from the HCU 100.
  • the meter display 21 is installed, for example, in front of the driver's seat.
  • the CID 22 is installed in the central portion of the instrument panel 9.
  • the CID 22 is a vertically long display of 10 inches or more.
  • the display screen of the CID 22 may be curved in a curved surface. Further, the display screen of the CID 22 may be continuous with the display screen of the meter display 21.
  • the CID 22 has a touch panel function, and detects, for example, a touch operation on the display screen by a driver or the like, specifically, an operation such as tapping, flicking, pinching, and swiping.
  • the HUD 23 Based on the control signal and video data acquired from the HCU 100, the HUD 23 projects the light of the image formed in front of the driver onto the projection area PA defined by the windshield WS or the like. The light of the image reflected on the vehicle interior side by the windshield WS is perceived by the driver sitting in the driver's seat. In this way, the HUD 23 displays a virtual image in the space in front of the projection area PA. The driver visually recognizes the virtual image in the angle of view VA displayed by the HUD23 on top of the foreground of the vehicle Am.
  • the audio device 24 has a plurality of speakers installed in the vehicle interior in an arrangement surrounding the driver's seat.
  • the audio device 24 reproduces a notification sound, a voice message, or the like in the vehicle interior by a speaker based on the control signal and voice data acquired from the HCU 100.
  • the audio device 24 presents information through the driver's hearing.
  • the operation device 26 is an input unit that accepts user operations by a driver or the like. For example, user operations related to the operation and stop of the automatic driving function are input to the operation device 26.
  • the operating device 26 includes a steering switch provided on the spoke portion of the steering wheel, an operating lever provided on the steering column portion, a voice input device for recognizing the utterance content of the driver, and the like.
  • a user terminal such as a smartphone may be connected to the in-vehicle network 1 or the HCU 100.
  • the user terminal functions as an interface device and can replace at least one of the display device, the audio device 24, and the operation device 26.
  • the user terminal may provide position information, direction information, map data, and the like to the driving support ECU 50a and the automatic driving ECU 50b instead of the locator 35.
  • the HCU 100 is an in-vehicle computer that controls a meter display 21, a CID 22, a HUD 23, and an audio device 24 in an HMI system.
  • the HCU 100 functions as a control device that integrally manages the presentation of information to the driver.
  • the HCU 100 mainly includes a control circuit including a processing unit 11, a RAM 52, a storage unit 13, an input / output interface 14, and a bus connecting them.
  • the processing unit 11 is hardware for arithmetic processing combined with the RAM 12.
  • the processing unit 11 has a configuration including at least one arithmetic core such as a CPU and a GPU.
  • the processing unit 11 may be configured to further include an FPGA, an NPU, an IP core having other dedicated functions, and the like.
  • the RAM 12 may be configured to include a video RAM for generating video data.
  • the processing unit 11 executes various processes for realizing the control method of the present disclosure by accessing the RAM 12.
  • the storage unit 13 is configured to include a non-volatile storage medium.
  • the storage unit 13 stores various programs (presentation control programs, etc.) executed by the processing unit 11.
  • the HCU 100 has a plurality of functional units that integrally control the presentation of information to the driver using each display device and the audio device 24 by executing the presentation control program stored in the storage unit 13 by the processing unit 11.
  • the HCU 100 is constructed with functional units such as an information acquisition unit 71, an integrated state estimation unit 73, and a provision control unit 74.
  • the information acquisition unit 71 acquires vehicle information indicating the state of the vehicle Am from the communication bus 99.
  • vehicle information includes, for example, vehicle speed information, status information indicating the state of the automatic driving function, and the like.
  • the information acquisition unit 71 acquires operation information indicating the content of the user operation from the CID 22, the operation device 26, and the like.
  • the information acquisition unit 71 acquires the driver status information from the driver monitor 29.
  • the information acquisition unit 71 acquires information necessary for generating video data to be displayed on the display device. Specifically, the information acquisition unit 71 acquires video data to be displayed as a back monitor video BM (see FIG. 5 and the like) from the camera unit 31 that captures the rear or rear side. The information acquisition unit 71 acquires locator information, map data, route information, and the like necessary for generating the navigation map MP (see FIG. 4 and the like). The video data of the navigation map MP may be generated at a predetermined resolution by a navigation device or a smartphone connected to the communication bus 99 and provided to the information acquisition unit 71.
  • the information acquisition unit 71 acquires content data (video files, etc.) necessary for entertainment-related display, such as video content CTV (see FIG. 4 etc.).
  • the content data is provided to the information acquisition unit 71 by a TV tuner mounted on the vehicle Am, an external medium electrically connected to the HCU 100, and a user terminal such as a smartphone paired with the HCU 100.
  • the integrated state estimation unit 73 acquires the driver state information generated by the driver monitor 29 from the information acquisition unit 71.
  • the integrated state estimation unit 73 determines the type of the second task performed by the driver at least during the automatic driving period. Specifically, the integrated state estimation unit 73 identifies the second task currently being executed by the driver among the plurality of types of second tasks assumed in advance.
  • the automatic driving ECU 50b and the HCU 100 temporarily allow the driver to perform an act other than driving. More specifically, the level 3 automatic driving function of the automatic driving ECU 50b enables the driver who is not obliged to monitor the surroundings to perform an act other than driving during the automatic driving period in which the vehicle Am automatically travels.
  • the act (second task) can be permitted.
  • the driver in this case is a person (passenger) who takes over the control right of driving from the automatic driving system 50 when leaving the limited area or in an emergency.
  • the driver may be legally permitted to perform a second task until a request for execution of a driving operation by the automatic driving system 50, that is, a request for a driving change (Take Over Request) is generated.
  • the second task can be called a secondary activity or another activity.
  • the second task must not prevent the driver from responding to the request to take over the driving operation from the automatic driving system 50. For example, viewing of entertainment-related contents such as video content CTV (see FIG. 4 and the like) and audio books, operation of smartphones and the like, and other actions (meals, etc.) are assumed in advance as second tasks.
  • the integrated state estimation unit 73 refers to the content playback information by the provision control unit 74, the operation information transmitted from the smartphone or the like, and combines with the state information of the driver monitor 29 to specify the second task being executed.
  • the integrated state estimation unit 73 may be able to estimate the second task to be performed by the driver from the image captured by the near-infrared camera by using, for example, a determination device (determination logic) generated by machine learning or the like.
  • the process of specifying the second task to be executed by the driver may be executed by the driver monitor 29.
  • the integrated state estimation unit 73 acquires the information indicating the type of the second task generated by the driver monitor 29 through the communication bus 99 and the information acquisition unit 71.
  • the provision control unit 74 integratedly controls the provision of information to the driver using each display device and the audio device 24.
  • the provision control unit 74 can change the display size and display layout of each content to be displayed on each display device according to the priority set for each content. As an example, the provision control unit 74 causes the content having a higher priority to have a larger display size or to be displayed on the front side of the screen in appearance.
  • the provision control unit 74 has an arbitration function for arbitrating the information presented to the driver and a data generation function for generating video data and audio data based on the arbitration result.
  • the provision control unit 74 sets the above-mentioned priority for each content that is a provision candidate based on various acquisition information acquired by the information acquisition unit 71.
  • the provision control unit 74 selects the content determined to have a high priority as the content to be provided to the driver.
  • the provision control unit 74 generates control signals and video data to be provided to each display device and control signals and audio data to be provided to the audio device 24 based on the content selection result.
  • the providing control unit 74 sequentially outputs the generated control signal, video data, audio data, and the like to each presentation device.
  • the provision control unit 74 displays the video of the second task mode DMn including the entertainment content such as the video content CTV as shown in FIG. 4 of the CID 22. Display on the screen.
  • the display of the second task mode DMn includes a moving image content CTV and a navigation map MP.
  • the provision control unit 74 divides the vertically long screen of the CID 22 into two upper and lower screen areas for use.
  • the moving image content CTV is displayed in the upper screen area (hereinafter, main display area DA1) so that the driver can easily see it.
  • the navigation map MP is displayed in the lower screen area (hereinafter, sub display area DA2).
  • the content displayed together with the video content CTV and the like may be changed as appropriate. Further, in the second task mode DMn, the moving image content CTV may be displayed on the entire screen of the CID 22. Further, the content displayed in the second task mode DMn may be preset by a driver or the like.
  • the driver When the driver is performing such a second task, the driver's attention is away from the driving operation. Therefore, during the execution of the second task, the driver tends to be anxious about the behavior change due to the automatic driving control of the automatic driving ECU 50b.
  • the emergency vehicle Qs see FIG. 8 etc.
  • the vehicle Am hereinafter, also referred to as the own vehicle
  • the driver in the state of the second task approaches the emergency vehicle Qs. It becomes difficult to notice.
  • the behavior change corresponding to the approach of the emergency vehicle Qs may cause anxiety to the driver.
  • the HCU 100 and the automatic driving ECU 50b carry out processing corresponding to the emergency vehicle Qs approaching the own vehicle.
  • the details of the operation of the HCU 100 and the automatic driving ECU 50b related to the response to the emergency vehicle Qs will be described in order with reference to FIGS. 1 to 3.
  • the emergency vehicle Qs includes, for example, at least one of a fire-fighting vehicle, an emergency vehicle, a police vehicle, and the like. Further, "emergency vehicle Qs" in the present disclosure indicates an emergency vehicle Qs traveling for emergency business unless otherwise specified.
  • the provision control unit 74 limits the provision of entertainment content by the second task mode DMn by the arbitration function.
  • the provision control unit 74 gradually limits the provision of entertainment-related contents.
  • the provision control unit 74 switches the strength of the content provision restriction in four stages including the state where there is no restriction (see FIG. 4).
  • the restricted display mode DMr1 shown in FIG. 5 is a display mode when the restriction on the provision of entertainment content is the weakest.
  • the restricted display mode DMr1 is selected in a scene in which level 3 automatic driving is continued in the future and the behavior of the own vehicle is unlikely to change due to the approach of the emergency vehicle Qs.
  • the emergency vehicle notification MWq is displayed in the main display area DA1.
  • the emergency vehicle notification MWq is a display object including a warning message such as "Be careful when approaching an emergency vehicle".
  • the emergency vehicle notification MWq is displayed in a horizontally long strip near the upper edge of the main display area DA1.
  • the emergency vehicle notification MWq is superimposed on a part of the video content CTV in the main display area DA1. Most of the video content CTV is displayed without being hidden by the emergency vehicle notification MWq.
  • the reproduction of the video and audio of the moving image content CTV is continued. Therefore, the viewing of the moving image content CTV by the driver can be continued without being substantially hindered by the additional display of the emergency vehicle notification MWq.
  • the back monitor image BM is displayed in the sub display area DA2 instead of the navigation map MP (see FIG. 4).
  • the back monitor image BM is a rear or rear side image taken by the camera unit 31.
  • the providing control unit 74 can appropriately switch the camera unit 31 that is the source of the back monitor image BM so that the emergency vehicle Qs approaching the own vehicle is displayed on the screen.
  • the providing control unit 74 may generate the back monitor video BM by connecting the video data of the plurality of camera units 31.
  • the back monitor image BM notifies the driver of the approach of the emergency vehicle Qs together with the emergency vehicle notification MWq.
  • the driver does not actually look around the vehicle, in other words, without interrupting the viewing of the video content CTV, in an emergency vehicle. You can grasp the approach status of Qs.
  • the restricted display mode DMr2 shown in FIG. 6 is a display mode when the restriction on the provision of entertainment content is moderate.
  • the restricted display mode DMr2 is selected in a scene in which the behavior of the own vehicle is likely to change due to the approach of the emergency vehicle Qs while the level 3 automatic driving is continued in the future.
  • the restricted display mode DMr2 is a display mode that guides the driver's attention to watch the moving image content CTV to the surroundings of the own vehicle.
  • the emergency vehicle notification MWq is displayed in the main display area DA1 as in the restricted display mode DMr1 (see FIG. 5). At this time, a voice message such as "Be careful when approaching an emergency vehicle" is reproduced by the audio device 24.
  • the limited display mode DMr1 in the limited display mode DMr2, the reproduction of the video of the moving image content CTV is temporarily stopped.
  • the display is not switched from the navigation map MP to the back monitor image BM (see FIG. 5). If the back monitor image BM is displayed on the CID 22, it becomes difficult for the driver to pay attention to the surroundings of the vehicle. Therefore, in the restricted display mode DMr2, the display of the navigation map MP is continued.
  • the audio reproduction of these contents is performed in consideration of the convenience of the user by reproducing an audio message that alerts the emergency vehicle Qs. It may be restarted after completion. In this case, it is desirable that the playback volume be lower than before switching to the limited display mode DMr2 so that the siren sound of the emergency vehicle Qs can be easily heard by the driver.
  • the restricted display mode DMr3 shown in FIG. 7 is a display mode when the restriction on the provision of entertainment content is the strongest.
  • the restricted display mode DMr3 is selected when the level 3 automatic operation ends, in other words, in the scene where the request for driving change occurs or in the scene where the request for driving change occurs.
  • both video and audio playback of the video content CTV are stopped.
  • the viewing of the moving image content CTV by the driver is forcibly terminated at the discretion of the system side.
  • the provision control unit 74 replaces the display content of the main display area DA1 with the display content of the sub display area DA2.
  • the paused moving image content CTV moves to the sub display area DA2.
  • the navigation map MP moves to the main display area DA1.
  • the provision control unit 74 displays the emergency vehicle warning MWa by at least one of the meter display 21 and the HUD23 (see FIG. 1).
  • the emergency vehicle warning MWa is a display object including a warning message such as "an emergency vehicle is approaching".
  • the warning by the emergency vehicle warning MWa is stronger than the warning by the emergency vehicle notification MWq (see FIG. 6).
  • the emergency vehicle warning MWa is displayed at the center of the screen of the meter display 21 or the center of the angle of view VA (see FIG. 1) of the HUD 23 so that the driver who has turned his / her line of sight around the vehicle can easily see the vehicle.
  • the providing control unit 74 causes the audio device 24 to reproduce a voice message such as "an emergency vehicle is approaching".
  • the provision control unit 74 can change the method of notifying or warning the approach of the emergency vehicle Qs according to the type of the second task being executed determined by the integrated state estimation unit 73. As an example, when it is determined that the integrated state estimation unit 73 is operating a smartphone or the like, the provision control unit 74 displays a display object corresponding to the emergency vehicle notification MWq or the emergency vehicle warning MWa on the screen of the smartphone. Display. In addition, when the driver is performing an act such as eating, the provision control unit 74 notifies the approach of the emergency vehicle Qs by a method such as playing a voice message or lowering the volume of the video content CTV or the like. Further, the provision control unit 74 may change whether the second task itself is terminated or a part of the second task is restricted depending on the type of the second task being executed.
  • the display mode switching control by the HCU 100 described so far is realized by cooperation with the automatic operation ECU 50b shown in FIGS. 1 and 3.
  • the details of the functions of the environment recognition unit 61 and the action judgment unit 62 related to the response to the emergency vehicle Qs will be described.
  • the environment recognition unit 61 determines whether or not the emergency vehicle Qs is approaching the own vehicle at least during the automatic driving period in which level 3 automatic driving is performed.
  • the environment recognition unit 61 has an emergency vehicle detection unit 65, a lane grasping unit 66, and a road condition grasping unit 67 as auxiliary functional units based on the automatic driving control program in order to grasp the approach status of the emergency vehicle Qs to the own vehicle. Has.
  • the emergency vehicle detection unit 65 detects the approach of the emergency vehicle Qs to the own vehicle by using the acquired information acquired from a plurality of information sources. In addition, when the emergency vehicle detection unit 65 detects the approach of the emergency vehicle Qs, the emergency vehicle detection unit 65 further detects the type, relative position, movement direction, etc. of the emergency vehicle Qs as detailed information of the emergency vehicle Qs. The emergency vehicle detection unit 65 provides the detection result and detailed information of the emergency vehicle Qs to the action determination unit 62 as emergency vehicle information.
  • the emergency vehicle detection unit 65 can acquire emergency vehicle information by vehicle-to-vehicle communication and road-to-vehicle communication.
  • the emergency vehicle Qs uses at least one of vehicle-to-vehicle communication, road-to-vehicle communication, and mobile communication to provide information such as the current position, traveling speed, and planned traveling route to the traffic management center and other surrounding areas. It can be transmitted to vehicles and the like. Therefore, the vehicle-to-vehicle communication device 37 receives the emergency vehicle information by vehicle-to-vehicle communication with the emergency vehicle Qs.
  • the road-to-vehicle communication device 38 receives emergency vehicle information regarding the approaching emergency vehicle Qs delivered by, for example, the traffic management center by road-to-vehicle communication with the roadside unit.
  • the vehicle-to-vehicle communication device 37 and the road-to-vehicle communication device 38 receive the emergency vehicle information
  • the vehicle-to-vehicle communication device 37 provides the received emergency vehicle information to the emergency vehicle detection unit 65.
  • the emergency vehicle detection unit 65 can acquire the emergency vehicle information based on the detection information of the peripheral monitoring sensor 30.
  • the emergency vehicle detection unit 65 detects the approach of the emergency vehicle Qs by extracting the emergency vehicle Qs captured in the image data captured by the camera unit 31, for example, by using a technique such as pattern matching.
  • the emergency vehicle detection unit 65 tracks changes in the position and size of the emergency vehicle Qs reflected in the captured data over time, and generates detailed information about the emergency vehicle Qs.
  • the emergency vehicle detection unit 65 extracts the sound of the siren emitted by the emergency vehicle Qs from the environmental sound collected by the microphone 33.
  • the emergency vehicle detection unit 65 detects the approach of the emergency vehicle Qs.
  • the emergency vehicle detection unit 65 generates detailed information about the emergency vehicle Qs from changes in the volume and frequency of the siren sound.
  • the emergency vehicle detection unit 65 recognizes voices such as "ambulance passes” and “enters an intersection” emitted from the loudspeaker of the emergency vehicle Qs.
  • the emergency vehicle detection unit 65 can generate character data in which the recognized voice is converted into characters and provide the HCU 100 with character data.
  • the lane grasping unit 66 identifies the emergency vehicle lane Lnq (see FIG. 8) on which the emergency vehicle Qs travels based on the position information of the emergency vehicle Qs grasped by the emergency vehicle detecting unit 65.
  • the lane grasping unit 66 grasps the positional relationship between the own vehicle lane Lns (see FIG. 8) in which the own vehicle travels and the emergency vehicle lane Lnq based on the locator information of the own vehicle.
  • the own vehicle lane Lns is an emergency vehicle lane Lnq (see FIG. 13), an adjacent lane Lna (see FIGS. 8 and 11), a separated lane Lnz (see FIG.
  • the adjacent lane Lna is a lane adjacent to the emergency vehicle lane Lnq.
  • the separated lane Lnz is a lane separated from the emergency vehicle lane Lnq. There is at least one lane between the separation lane Lnz and the emergency vehicle lane Lnq.
  • the road condition grasping unit 67 grasps the road condition around the own vehicle by combining the traffic congestion information acquired through the road-to-vehicle communication, the detection information of the peripheral monitoring sensor 30, the vehicle speed information, and the like. Specifically, the road condition grasping unit 67 determines whether or not the own vehicle is traveling in a traffic jam. As an example, the road condition grasping unit 67 is traveling in a traffic jam when there is a vehicle in front traveling in the same lane and the traveling speed is a predetermined speed (for example, 10 km / h or less). Is determined. After determining the traffic jam, the road condition grasping unit 67 determines that the traffic jam has been resolved when the traveling speed exceeds a predetermined speed (for example, 50 km / h).
  • a predetermined speed for example, 50 km / h
  • the road condition grasping unit 67 determines whether all the lanes heading in the same direction are congested, or whether only the own vehicle lane Lns is congested. In other words, the road condition grasping unit 67 determines whether or not there is a non-congested lane Lmp (see FIG. 15) in which the emergency vehicle Qs can travel.
  • the road condition grasping unit 67 may be able to grasp the state of the roadside zone RST (see FIG. 14). As an example, the road condition grasping unit 67 grasps the width of the roadside zone RST and the presence or absence of other vehicles on the roadside zone RST, and determines whether or not the emergency vehicle Qs can travel on the roadside zone RST. In this case, the road condition grasping unit 67 determines whether or not the roadside zone RST can be a non-congested lane.
  • the action judgment unit 62 determines whether or not the level 3 automatic driving restriction is necessary, that is, whether or not the driver is requested to change the driving. ..
  • the action judgment unit 62 sets the automation level control unit 68 and the permission range control unit 69 as auxiliary functional units based on the automatic driving control program in order to judge the future behavior of the own vehicle in response to the approach of the emergency vehicle Qs. Have.
  • the automation level control unit 68 determines whether or not the ongoing automatic driving can be continued when the approach of the emergency vehicle Qs to the own vehicle is detected during the automatic driving period in which the level 3 automatic driving is performed.
  • the automation level control unit 68 performs level 3 automatic driving based on the relative position of the emergency vehicle lane Lnq grasped by the lane grasping unit 66 and the road condition around the own vehicle grasped by the road condition grasping unit 67. Judge whether to continue.
  • the automation level control unit 68 determines that the level 3 automatic driving is restricted, the automation level control unit 68 further determines the control state of the automatic driving after canceling the level 3 automatic driving. Specifically, the automation level control unit 68 further determines whether to end all automatic operation control and switch to manual operation, or to switch to level 1 or level 2 automatic operation or the like. Among the processes for limiting the level 3 automatic operation, the process for switching to the manual operation is referred to as "interruption".
  • the automation level control unit 68 determines whether or not to maintain the traveling speed of the vehicle set for the automatic driving.
  • the emergency vehicle Qs travels in the adjacent lane of the vehicle Am, that is, when the lane grasping unit 66 grasps that the own vehicle lane Lns is the adjacent lane Lna
  • the automation level control unit 68 determines. Decrease the set speed of automatic operation by a predetermined amount. As a result, the set speed after the approach of the emergency vehicle Qs is changed to be lower than the set speed before the approach of the emergency vehicle Qs.
  • the automation level control unit 68 can change the set speed to or less than the legal minimum speed of the expressway.
  • the automation level control unit 68 can avoid deceleration control and perform control according to the speed of the other vehicle Ax in front. This prevents unnecessary risk from occurring due to sudden deceleration of only the vehicle Am.
  • the permission range control unit 69 controls the permission range of the second task permitted to the driver.
  • the permission range control unit 69 continues the permission state in which the second task is permitted to the driver when the approach of the emergency vehicle Qs to the own vehicle is detected during the automatic driving period in which the level 3 automatic driving is performed. Judge whether it is possible or not. Similar to the automation level control unit 68, the permission range control unit 69 has the relative position of the emergency vehicle lane Lnq grasped by the lane grasping unit 66 and the road condition around the own vehicle grasped by the road condition grasping unit 67. Based on, it is judged whether or not the second task can be continued.
  • the permission range control unit 69 determines the interruption of all types of second tasks when the level 3 automatic operation is interrupted. In addition, the permission range control unit 69 determines that the second task is interrupted even when it is determined that the scene is likely to cause a sudden change in behavior of the own vehicle. Further, the permission range control unit 69 may be able to specify a second task to be permitted and a second task not to be permitted among the plurality of types of second tasks.
  • the permission range control unit 69 determines that the second task is interrupted, it further determines that the condition for canceling the interruption is satisfied based on the positional relationship between the vehicle Am, the emergency vehicle Qs, and the other vehicle Ax, the running state, and the like.
  • the permission range control unit 69 can set one or a plurality of cancellation conditions.
  • the permission range control unit 69 can be set as a release condition that a predetermined time has elapsed after the emergency vehicle Qs has overtaken (or overtaken) the vehicle Am.
  • the permission range control unit 69 can set the release condition that the emergency vehicle Qs that has overtaken the vehicle Am is separated from the vehicle Am by a predetermined distance (hereinafter, separation distance DSq, see FIG. 9) or more.
  • the permission range control unit 69 can be set on the condition that the behavior of the other vehicle Ax traveling around the vehicle Am has settled down as a release condition.
  • the permission range control unit 69 can be set on the condition that the emergency vehicle Qs overtakes the vehicle Am and then the vehicle Am overtakes the emergency vehicle Qs again as a release condition (see FIG. 10).
  • the above automation level control unit 68 determines whether or not automatic operation can be continued, the permission range control unit 69 determines whether or not the permission state of the second task can be continued, and the result of determining whether or not the cancellation condition is satisfied is transmitted to the HCU 100 by the action judgment unit 62.
  • the determination result of the approach detection of the emergency vehicle Qs by the emergency vehicle detection unit 65 is also provided to the HCU 100 together with the determination result of whether or not to continue.
  • the determination result of whether or not to continue and the determination result of approach detection provided by the automatic operation ECU 50b are collectively referred to as "continuation determination result”. Further, the judgment result of the establishment of the cancellation condition is described as "the cancellation judgment result”.
  • the HCU 100 implements display control for switching between the second task mode DMn and the restricted display modes DMr1 to DMr3 based on the continuation determination result and the release determination result provided by the automatic operation ECU 50b.
  • the task continuation determination unit 72 is further constructed in the HCU 100 as a functional unit for processing the continuation determination result based on the provided control program.
  • the task continuation determination unit 72 acquires the continuation determination result and the cancellation determination result output from the automatic operation ECU 50b through the communication bus 99 and the information acquisition unit 71.
  • the task continuation determination unit 72 grasps whether or not the approach of the emergency vehicle Qs is detected based on the determination result of the approach detection included in the continuation determination result.
  • the task continuation determination unit 72 refers to the continuation determination result and determines whether or not the permission state in which the second task is permitted to the driver continues. Further, the task continuation determination unit 72 further determines whether or not the level 3 automatic operation is continued by the automatic operation ECU 50b with reference to the continuation determination result.
  • the provision control unit 74 controls the display of each display device.
  • the provision control unit 74 displays the entertainment content provided to the driver in relation to the second task.
  • Such restrictions on the display of the content include, as will be described later, interrupting the reproduction of at least one of the video and audio, hiding a part of the video, lowering the volume, ending the display of the content itself, and the like.
  • the provision control unit 74 switches the display mode of the CID 22 from the second task mode DMn (see FIG. 4) to the restricted display mode DMr1 (see FIG. 5) when the permission state of the second task continues. Further, the providing control unit 74 switches the display mode of the CID 22 from the second task mode DMn to the restricted display mode DMr2 (see FIG. 6) when the level 3 automatic operation continues while the second task permission state does not continue. Further, the providing control unit 74 switches the display mode of the CID 22 from the second task mode DMn to the restricted display mode DMr3 (see FIG. 7) when the level 3 automatic operation does not continue.
  • FIGS. A plurality of specific examples of the approach pattern of the emergency vehicle Qs in which the content display is restricted as described above and the approach pattern of the emergency vehicle Qs in which the content display is not restricted are shown in FIGS. Will be explained in order with reference to.
  • the own vehicle (vehicle Am) is traveling in the adjacent lane Lna adjacent to the emergency vehicle lane Lnq.
  • level 3 autonomous driving is allowed to continue.
  • the continuation of the second task is restricted.
  • another vehicle Ax traveling in the emergency vehicle lane Lnq changes lanes from the emergency vehicle lane Lnq to the own vehicle lane Lns toward the front of the own vehicle (vehicle Am) in order to secure the course of the emergency vehicle Qs. Is expected.
  • the automatic driving ECU 50b changes the set speed of the level 3 automatic driving to a low level, and implements running control for decelerating the own vehicle.
  • the automatic driving ECU 50b causes the own vehicle to follow the other vehicle Ax that has moved to the own vehicle lane Lns, the change for lowering the set speed may be canceled.
  • the permission range control unit 69 determines to interrupt the second task.
  • the provided control unit 74 executes a notification that the traveling speed is lowered due to the approach of the emergency vehicle Qs before the start of the deceleration control.
  • the provision control unit 74 sets the display mode of the CID 22 to the restricted display mode DMr2 (see FIG. 6) in response to the continuation determination result of the action determination unit 62 described above.
  • the provision control unit 74 limits the display of the moving image content CTV by stopping the reproduction of the moving image content CTV and displaying the emergency vehicle notification MWq.
  • level 3 automatic driving is permitted, while the use of the second task is at least restricted for a predetermined time.
  • the provision control unit 74 continues to limit the display of the moving image content CTV until at least one cancellation condition is satisfied by the automation level control unit 68.
  • the provision control unit 74 can appropriately combine a plurality of release conditions.
  • the provision control unit 74 sets the release condition that the emergency vehicle Qs overtaking the own vehicle is separated by the separation distance DSq (see FIG. 9) or more, and displays the video content CTV until the emergency vehicle Qs is separated from the own vehicle by the separation distance DSq or more. Continue to limit.
  • the provision control unit 74 notifies the driver that the second task can be used based on the establishment of the release condition accompanying the securing of the separation distance DSq.
  • the provision control unit 74 starts playing the moving image content CTV based on the user operation instructing the restart of the second task.
  • the provision control unit 74 sets the release condition that the emergency vehicle Qs overtakes the own vehicle and then the own vehicle again overtakes the emergency vehicle Qs that has stopped in the vicinity of the failed vehicle Ab or the accident vehicle or the like. (See FIG. 10).
  • the provision control unit 74 continues to limit the display of the video content CTV until the own vehicle overtakes the emergency vehicle Qs again, and executes the permission notification of the second task at the timing when the own vehicle overtakes the emergency vehicle Qs.
  • the provision control unit 74 continues to limit the display of the video content CTV until the elapse of the predetermined time, with the elapse of the predetermined time after the emergency vehicle Qs overtakes the own vehicle as the cancellation condition.
  • the provision control unit 74 sets the release condition that the behavior of the other vehicle Ax traveling around the own vehicle has settled down, and limits the display of the content until the behavior of the other vehicle Ax has settled down.
  • the automation level control unit 68 is a target of follow-up travel control when the speed of the other vehicle Ax becomes substantially constant in a scene where the other vehicle Ax changes lanes in front of the own vehicle, or the inter-vehicle distance to the other vehicle Ax is the target of the follow-up travel control. When the distance between vehicles is reached, it is determined that the behavior of the other vehicle Ax has settled down.
  • the own vehicle (vehicle Am) is traveling in the adjacent lane Lna, as in the above-mentioned emergency vehicle approach pattern 1 (see FIG. 8).
  • the automation level control unit 68 and the permission range control unit 69 may be used, for example, in the running state of another vehicle Ax traveling in front of the emergency vehicle Qs in the emergency vehicle lane Lnq, or preset by the user. Therefore, it is possible to change the judgment result of whether or not to continue.
  • the display mode of the CID 22 is set to the restricted display mode DMr3 (see FIG. 7).
  • the provision control unit 74 limits the display of the moving image content CTV by stopping the reproduction of the moving image content CTV, moving the sub display area DA2 of the moving image content CTV, and the like.
  • the providing control unit 74 warns the driver of the existence of the approaching emergency vehicle Qs by displaying the emergency vehicle warning MWa using the meter display 21 and the HUD 23. After the emergency vehicle Qs overtakes the vehicle Am, the provision control unit 74 notifies the driver that the level 3 automatic driving has become available, for example, at the timing when the separation distance DSq is secured.
  • the own vehicle (vehicle Am) is traveling in the separated lane Lnz away from the emergency vehicle lane Lnq.
  • level 3 autonomous driving is allowed to continue.
  • the second task is also allowed to continue.
  • the display mode of the CID 22 is set to the restricted display mode DMr1 (see FIG. 5).
  • the reproduction of the moving image content CTV is continued.
  • the presence of the approaching emergency vehicle Qs is notified to the driver by the additional display of the emergency vehicle notification MWq in the main display area DA1 and the display of the back monitor image BM in the sub display area DA2.
  • the own vehicle (vehicle Am) is traveling in the emergency vehicle lane Lnq.
  • this emergency vehicle approach pattern 4 it is considered that it is a desirable behavior of the own vehicle to evacuate from the emergency vehicle lane Lnq by changing the lane to the adjacent lane Lna. Therefore, in the action judgment unit 62, not only the continuation of the second task but also the continuation of the level 3 automatic driving is restricted.
  • the automation level control unit 68 limits the activation of the LCA function by the automatic operation ECU 50b or the operation support ECU 50a. This is because changing lanes by the automatic driving function requires a longer time than changing lanes by manual driving, and the use of the LCA function hinders quick evacuation from the emergency vehicle lane Lnq.
  • the display mode of the CID 22 is set to the restricted display mode DMr3 (see FIG. 7) in response to the continuous determination result that limits both the automatic driving and the second task.
  • the display of the moving image content CTV is restricted.
  • the display of the emergency vehicle warning MWa by the meter display 21 and the HUD 23 warns the driver of the existence of the approaching emergency vehicle Qs.
  • the driver can change the lane to evacuate to the adjacent lane Lna by overriding to voluntarily acquire the control right before the request for taking over the driving operation occurs.
  • the level 3 automatic operation is in the paused state, and the action determination unit 62 shifts the control state to the level 1 operation control by the manual operation or the ACC function.
  • the own vehicle (vehicle Am) is traveling in a traffic jam.
  • the emergency vehicle approach pattern 5 all lanes included in the traveling road are congested.
  • the action determination unit 62 is permitted to continue the second task in addition to the continuation of the level 3 automatic driving.
  • the display mode of the CID 22 is set to the restricted display mode DMr1 (see FIG. 5).
  • the approaching emergency vehicle Qs is displayed by the additional display of the emergency vehicle notification MWq in the main display area DA1 and the display of the back monitor image BM in the sub display area DA2. The existence of is notified to the driver.
  • the action judgment unit 62 changes the judgment as to whether or not the automatic driving and the second task can be continued depending on the positional relationship between the own vehicle and the emergency vehicle Qs. Specifically, the action determination unit 62 limits the continuation of the automatic driving and the second task when the emergency vehicle Qs approaches the own vehicle. As an example, the emergency vehicle Qs can pass through a congested section by traveling on the roadside zone RST. Assuming such a scene, when the emergency vehicle Qs heading for the roadside zone RST approaches the own vehicle, the action judgment unit 62 limits both the continuation of the second task and the automatic driving, and switches to a state corresponding to the driver.
  • the display mode of the CID 22 is set to the restricted display mode DMr3 (see FIG. 7).
  • the display of the moving image content CTV is restricted.
  • the meter display 21 and the HUD 23 display an emergency vehicle warning MWa. In this way, the driver is urged to take action such as evacuating from the path of the emergency vehicle Qs heading for the roadside zone RST.
  • the own vehicle (vehicle Am) is traveling in a traffic jam.
  • the emergency vehicle approach pattern 6 only the own vehicle lane Lns is congested among the plurality of lanes included in the road, and there is a non-congested lane Lnp in which the emergency vehicle Qs can travel. In this case, level 3 autonomous driving is allowed to continue. On the other hand, the continuation of the second task is restricted.
  • the permit range control unit 69 limits the continuation of the second task in order to direct the driver's attention to the outside of the vehicle.
  • the display mode of the CID 22 is set to the restricted display mode DMr2 (see FIG. 6).
  • the provision control unit 74 displays the emergency vehicle notification MWq while stopping the reproduction of the moving image content CTV, and guides the driver's attention to the approaching emergency vehicle Qs.
  • the emergency vehicle Qs is scheduled to leave the main road.
  • the own vehicle vehicle Am
  • the action determination unit 62 determines whether or not the own vehicle can be evacuated from the planned travel route of the emergency vehicle Qs.
  • the action determination unit 62 continues both the level 3 automatic driving and the permission state of the second task.
  • the display mode of the CID 22 is set to the restricted display mode DMr1 as shown in FIG.
  • the emergency vehicle notification MWq additionally displayed in the main display area DA1 and the back monitor image BM displayed in the sub display area DA2 notify the driver of the existence of the approaching emergency vehicle Qs.
  • the imaging data of the camera unit 31 (for example, the left side) including the emergency vehicle Qs is automatically selected and displayed as the back monitor image BM.
  • the emergency vehicle Qs is approaching from the front of the own vehicle (vehicle Am). That is, the own vehicle lane Lns is the opposite lane Lno of the emergency vehicle lane Lnq.
  • the action judgment unit 62 recognizes that the emergency vehicle Qs is approaching from the front of the own vehicle and the traveling direction of the emergency vehicle Qs is opposite to the traveling direction of the own vehicle, the level 3 automatic driving and the second Continue the permission status of the task together.
  • the display mode of the CID 22 is set to the second task mode DMn without limitation as shown in FIG.
  • the emergency vehicle notification MWq is temporarily displayed so as to overlap a part of the moving image content CTV.
  • the emergency vehicle notification MWq is displayed in a horizontally long strip near the upper edge of the main display area DA1 as in the restricted display mode DMr1.
  • the emergency vehicle notification MWq includes a message such as "an emergency vehicle is approaching from the front" so as to notify the presence of the emergency vehicle Qs traveling in the oncoming lane.
  • the display of the emergency vehicle notification MWq when the emergency vehicle Qs is approaching from the front ends after a lapse of a predetermined time (for example, about several seconds). Even with such a short display, the driver can grasp the state outside the vehicle through the emergency vehicle notification MWq while continuing to watch the video content CTV, in other words, without performing peripheral monitoring. Therefore, the emergency vehicle notification MWq can give the driver a sense of security.
  • the automatic driving ECU 50b restarts the level 3 automatic driving based on the input of the return operation by the driver. .. Further, the automatic driving ECU 50b can automatically restart the level 3 automatic driving based on the recognition of the driving environment around the own vehicle by the environment recognition unit 61. Specifically, when the emergency vehicle Qs moves ahead of the vehicle, the automatic driving ECU 50b raises the automatic driving restricted to, for example, level 2 (running in the lane by the LTA function) to level 3.
  • the automatic driving ECU 50b when the own vehicle changes lanes from the emergency vehicle lane Lnq to the adjacent lane Lna, the automatic driving ECU 50b returns to the original lane and then restarts the level 3 automatic driving. Further, the automatic driving ECU 50b monitors the situation of one or a plurality of vehicles in front (other vehicle Ax) traveling in the own vehicle lane Lns, and if the lane change of the vehicle in front is not detected for a certain period of time, the behavior of the vehicle in front It is estimated that the vehicle has settled down, and level 3 automatic operation is resumed. As described above, the automatic operation ECU 50b may automatically return from the manual operation to the level 3 automatic operation, or may return from the level 1 or 2 automatic operation to the level 3 automatic operation.
  • FIGS. 20 to 20 show the details of each process for discriminating the emergency vehicle approach pattern and determining whether or not to continue, and the details of each process for switching the display mode based on the continuation judgment result and the cancellation judgment result. 23 will be described below with reference to FIGS. 3 to 19.
  • the automatic operation continuation determination process shown in FIG. 20 is started by the automatic operation ECU 50b based on the start of the level 3 automatic driving period.
  • the automatic operation ECU 50b continues the automatic operation continuation determination process until the level 3 automatic operation is restricted.
  • S101 it is determined whether or not the emergency vehicle Qs is approaching the own vehicle. If it is determined in S101 that the emergency vehicle Qs is not approaching, the process proceeds to S109, it is determined that the level 3 automatic driving is to be continued, and the process returns to S101. On the other hand, if it is determined in S101 that the emergency vehicle Qs is approaching, the process proceeds to S102. In S102, the latest vehicle information related to the vehicle such as locator information, vehicle speed information, and recognition information around the vehicle is acquired, and the process proceeds to S103. In S103, the emergency vehicle information is acquired, and the process proceeds to S104.
  • S102 the latest vehicle information related to the vehicle such as locator information, vehicle speed information, and recognition information around the vehicle is acquired, and the process proceeds to S103.
  • S103 the emergency vehicle information is acquired, and the process proceeds to S104.
  • S104 the positional relationship between the emergency vehicle Qs and the own vehicle is grasped, and it is determined whether or not the vehicle is traveling in the opposite lane Lno of the emergency vehicle lane Lnq.
  • the own vehicle is traveling in the opposite lane Lno as in the above "emergency vehicle approach pattern 8 (see FIG. 18)", and the emergency vehicle Qs traveling in the oncoming lane approaches from the front of the own vehicle. If it is determined that the vehicle is present, the process proceeds to S110 and it is determined that the automatic operation is continued. On the other hand, if it is determined in S104 that the emergency vehicle Qs is approaching from behind the own vehicle, the process proceeds to S105.
  • S105 it is determined whether or not the own vehicle can be evacuated outside the planned route of the emergency vehicle Qs. In S105, it is determined whether or not the planned travel line of the own vehicle can be removed from the planned travel route based on the planned travel route of the emergency vehicle Qs acquired in S103. If the planned travel line of the own vehicle cannot be removed from the planned travel route of the emergency vehicle Qs, it is determined in S105 that it is impossible to evacuate to the outside of the planned travel route, and the process proceeds to S106.
  • the operation execution unit 63 executes the evacuation travel outside the planned travel route according to the scheduled travel line generated by the action determination unit 62.
  • S106 the road condition around the own vehicle is determined.
  • S106 when it is determined that the own vehicle is traveling in a traffic jam and all the lanes are in a traffic jam, for example, as in "Emergency vehicle approach pattern 5 (see FIG. 14)", the process proceeds to S107. ..
  • S107 it is determined whether or not the distance from the own vehicle to the emergency vehicle Qs is secured.
  • S107 for example, it is determined that the emergency vehicle Qs trying to travel on the roadside zone RST is approaching directly behind or beside the own vehicle, in other words, the own vehicle and the emergency vehicle Qs are adjacent to each other on the road. In that case, it is determined that the distance is not secured, and the process proceeds to S111.
  • S111 it is determined that the level 3 automatic operation is restricted, and a series of continuous determination processes is terminated.
  • the process proceeds to S110 and it is determined that the automatic driving is continued. do.
  • S106 it is determined that there is a non-congested lane Lnp through which the emergency vehicle Qs can pass while the own vehicle lane Lns is congested, for example, as in "Emergency vehicle approach pattern 6 (see FIG. 15)". In that case, it is determined that the process proceeds to S110 and the automatic operation is continued. On the other hand, if it is determined in S106 that the surroundings of the own vehicle are not congested (non-congestion determination), the process proceeds to S108.
  • the positional relationship between the emergency vehicle lane Lnq and the own vehicle is determined. If it is determined in S108 that the own vehicle and the emergency vehicle Qs are traveling in the same lane as in "emergency vehicle approach pattern 4 (see FIG. 13)", the process proceeds to S111 and level 3 automatic driving is performed. Is determined to be restricted, and a series of continuous determination processes are terminated.
  • S109 may be omitted in the case of setting to continue automatic driving even if the own vehicle is traveling in the adjacent lane Lna, for example, as in "Emergency vehicle approach pattern 1 (see FIG. 8)". In this case, unless the own vehicle and the emergency vehicle Qs are located in the same lane, it is determined in S110 that the automatic driving is continued.
  • the continuation determination process of the second task shown in FIG. 21 is started by the automatic operation ECU 50b based on the start of the automatic driving period, similarly to the continuation determination process of the automatic operation.
  • the automatic operation ECU 50b repeatedly starts the continuation determination process of the second task in parallel with the continuation determination process of the automatic operation until the automatic operation of the level 3 is restricted.
  • S131 it is determined whether or not the emergency vehicle Qs is approaching the own vehicle. In S131, it is also determined whether or not the emergency vehicle Qs is approaching from behind the own vehicle. If it is determined in S131 that the emergency vehicle Qs is approaching from behind, the process proceeds to S132. On the other hand, if it is determined in S131 that the emergency vehicle Qs is not approaching, or if it is determined that the emergency vehicle Qs is approaching from the front of the own vehicle, the process proceeds to S140.
  • the action judgment unit 62 gives a notification indicating that the emergency vehicle Qs is not approaching, or a notification indicating that the emergency vehicle Qs is approaching from the front, and a notification indicating permission to continue the automatic driving and the second task.
  • the continuation judgment result including with is generated and output to the HCU 100.
  • S132 it is determined whether or not the level 3 automatic operation has been canceled by the continuation determination process of the automatic operation or the like. If it is determined in S132 that the level 3 automatic operation is continuing, the process proceeds to S133. On the other hand, if it is determined in S132 that the level 3 automatic operation has been interrupted (released), the process proceeds to S142. In S142, it is determined that the second task is restricted (interrupted), and the continuation determination process is terminated. In this case, the action determination unit 62 generates a continuation determination result including a notification instructing the automatic driving and interruption of the second task together with a notification indicating the approach of the emergency vehicle Qs from behind, and outputs the notification to the HCU 100.
  • S133 the latest vehicle information related to the vehicle is acquired, and the process proceeds to S134.
  • S134 the emergency vehicle information is acquired and the process proceeds to S135.
  • S135 it is determined whether or not the own vehicle can be evacuated outside the planned route of the emergency vehicle Qs.
  • the process proceeds to S141.
  • S141 it is determined that the permission state of the second task is to be continued, and the continuation determination process is temporarily terminated.
  • the action determination unit 62 generates a continuation determination result including a notification indicating the permission to continue the automatic driving and the second task together with the notification indicating the approach of the emergency vehicle Qs, and outputs the notification to the HCU 100.
  • S135 determines whether the own vehicle cannot be evacuated from the planned travel route of the emergency vehicle Qs. If it is determined in S135 that the own vehicle cannot be evacuated from the planned travel route of the emergency vehicle Qs, the process proceeds to S136. In S136, the road condition around the own vehicle is determined. If it is determined in S136 that the own vehicle is traveling in a traffic jam and all the lanes are in a traffic jam (see FIG. 14), the process proceeds to S137.
  • S137 it is determined whether or not the distance from the own vehicle to the emergency vehicle Qs is secured. If it is determined in S137 that the emergency vehicle Qs is approaching the close distance of the own vehicle, the process proceeds to S142, it is determined that the second task is restricted, and the continuation determination process is temporarily terminated. On the other hand, if it is determined in S137 that the distance to the emergency vehicle Qs is secured, the process proceeds to S141, it is determined that the second task is to be continued, and the continuation determination process is temporarily terminated.
  • S138 the positional relationship between the emergency vehicle lane Lnq and the own vehicle is determined. If it is determined in S138 that the own vehicle and the emergency vehicle Qs are traveling in the same lane (see FIG. 13), the process proceeds to S142, it is determined that the second task is interrupted, and the continuation determination process is temporarily terminated. On the other hand, if it is determined in S138 that the own vehicle is not traveling in the emergency vehicle lane Lnq, the process proceeds to S139.
  • S139 the positional relationship between the adjacent lane Lna and the own vehicle is determined.
  • the process proceeds to S141, it is determined that the permission state of the second task is to be continued, and the continuation determination process is temporarily terminated.
  • the second task is interrupted by proceeding to S142, and the continuation determination process is temporarily terminated. ..
  • the display control process shown in FIG. 22 is started by the HCU 100 based on the start of display of entertainment content such as video content CTV.
  • the HCU 100 repeatedly starts the display control process until the second task is interrupted or the end operation of the moving image content CTV by the driver is input.
  • S151 the continuation determination result provided by the automatic operation ECU 50b is acquired, and the process proceeds to S152.
  • S152 the presence / absence of the notification indicating the approach of the emergency vehicle Qs is determined with reference to the continuation determination result acquired in S151. If it is determined in S152 that there is no notification indicating the approach of the emergency vehicle Qs, the display control process is temporarily terminated. On the other hand, if it is determined in S152 that there is a notification indicating the approach of the emergency vehicle Qs, the process proceeds to S153.
  • S153 With reference to the continuation determination result acquired in S151, it is determined whether or not there is a notification indicating the approach of the emergency vehicle Qs from the front of the own vehicle. If it is determined in S153 that the emergency vehicle Qs is approaching from the front of the own vehicle, the process proceeds to S154.
  • the emergency vehicle notification MWq is temporarily additionally displayed in the main display area DA1 of the normal second task mode DMn (see FIG. 19), and the driver is notified of the approach of the emergency vehicle Qs from the front.
  • the emergency vehicle notification MWq is terminated based on the elapse of a predetermined time, and the display control process is temporarily terminated.
  • the process proceeds to S155.
  • the continuation determination result acquired in S151 is referred to, and it is determined whether or not the state in which the second task is permitted to the driver continues. If it is determined in S155 that the permission state of the second task continues, the process proceeds to S156.
  • the driver is notified of the approach of the emergency vehicle Qs by the additional display of the emergency vehicle notification MWq by switching to the restricted display mode DMr1 (see FIG. 5), and the display control process is temporarily terminated.
  • S155 if it is determined in S155 that the permission status of the second task does not continue, the process proceeds to S157.
  • S157 the continuation determination result acquired in S151 is referred to, and it is further determined whether or not the level 3 automatic operation is continued. If it is determined in S157 that the automatic operation will continue, the process proceeds to S158.
  • S158 the provision of the moving image content CTV is terminated by switching to the restricted display mode DMr2 (see FIG. 6).
  • the driver is notified of the approach of the emergency vehicle Qs by the additional display of the emergency vehicle notification MWq, and the display control process is temporarily terminated.
  • S156 determines whether the automatic operation does not continue. If it is determined in S156 that the automatic operation does not continue, the process proceeds to S159.
  • S159 by switching to the restricted display mode DMr3 (see FIG. 7), the provision of the moving image content CTV is terminated, and the display layout is changed to replace the contents of the main display area DA1 and the sub display area DA2. move on.
  • S160 an emergency vehicle warning MWa is displayed on at least one of the meter display 21 and the HUD 23 to warn the driver of the approach of the emergency vehicle Qs, and the display control process is temporarily terminated.
  • the display control process shown in FIG. 23 is started by the HCU 100 based on switching the display mode to the restricted display modes DMr1 to DMr3.
  • the release determination result provided by the automatic operation ECU 50b is acquired, and the process proceeds to S172.
  • the cancellation determination result acquired in S171 is referred to, and it is determined whether or not the cancellation condition for permitting the cancellation of the display restriction of the moving image content CTV is satisfied. If it is determined in S172 that at least one preset release condition is satisfied, the process proceeds to S173.
  • the restriction display modes DMr1 to DMr3 are allowed to be released, and the display control process is terminated. In this case, the display mode is switched from the restricted display modes DMr1 to DMr3 to the normal second task mode DMn automatically or based on the user operation.
  • the HCU 100 of the first embodiment described so far displays the video content CTV when it is determined that the permission state of the second task does not continue due to the approach of the emergency vehicle Qs to the own vehicle when the driver is performing the second task. To limit. Therefore, even during the second task, the driver can easily notice the approach of the emergency vehicle Qs due to the display limitation that occurs in the moving image content CTV. According to the above, even if the emergency vehicle Qs approaches during the level 3 automatic driving, it is possible to make it difficult for the driver to be anxious.
  • the provision control unit 74 of the first embodiment continues to restrict the display of the video content CTV until at least one cancellation condition is satisfied. Therefore, the driver can pay appropriate attention to the emergency vehicle Qs without being hindered by the continuation of the provision of the moving image content CTV.
  • the provision control unit 74 of the first embodiment sets the lapse of a predetermined time after the emergency vehicle Qs overtakes the own vehicle as a release condition, and continues to limit the display of the content until the lapse of the predetermined time. According to the above, the display restriction of the moving image content CTV is not released during the period when the behavior change caused by the emergency vehicle Qs is likely to occur. Therefore, the situation where the driver becomes uneasy due to the early resumption of the second task can be avoided.
  • the provision control unit 74 of the first embodiment sets the release condition that the emergency vehicle Qs overtaking the own vehicle is separated by the separation distance DSq or more, and restricts the display of the video content CTV until the emergency vehicle Qs is separated by the separation distance DSq or more. continue. Even with such display restrictions, the display restrictions of the moving image content CTV are not released during the period in which the behavior change due to the emergency vehicle Qs is likely to occur. Therefore, the situation where the driver becomes uneasy due to the early resumption of the second task can be avoided.
  • the provision control unit 74 of the first embodiment continues to limit the display of the video content CTV until the behavior of the other vehicle Ax settles down on the condition that the behavior of the other vehicle Ax traveling around the own vehicle has settled down. do. According to the above, the display restriction of the moving image content CTV is not released during the period in which the behavior change due to the movement of the other vehicle Ax is likely to occur. Therefore, the situation where the driver becomes uneasy due to the early resumption of the second task can be avoided.
  • the provision control unit 74 of the first embodiment displays the content until the emergency vehicle Qs overtakes the emergency vehicle Qs again, on the condition that the own vehicle overtakes the emergency vehicle Qs again. Continue the restrictions. According to the setting of such a release condition, in a scene where the emergency vehicle Qs stops at the scene of a failure or an accident, the display restriction can be released after having the driver confirm the stop of the emergency vehicle Qs. As a result, the driver can safely resume the second task.
  • the approach of the emergency vehicle Qs is notified. According to such notification, the driver can grasp the state outside the vehicle such as the approach of the emergency vehicle Qs while continuing the second task. As a result, it becomes possible to increase the sense of security of the driver.
  • the task continuation determination unit 72 of the first embodiment detects the approach of the emergency vehicle Qs to the own vehicle by the automatic driving ECU 50b, the task continuation determination unit 72 automatically of level 3 based on the continuation determination result acquired from the automatic driving ECU 50b. Further determine whether the operation will continue. Then, when it is determined that the automatic driving does not continue (see FIG. 7), the display of the moving image content CTV is restricted as compared with the case where it is determined that the automatic driving continues (see FIG. 6). As described above, according to the display control that strongly limits the display of the moving image content CTV when the automatic driving is restricted, the driver can be strongly urged to voluntarily perform peripheral monitoring. As a result, it becomes possible to provide the moving image content CTV that does not interfere with the driver's response to the request for taking over the driving operation from the automatic driving system 50.
  • the automatic driving ECU 50b of the first embodiment determines whether the emergency vehicle Qs is approaching the own vehicle, it determines whether or not the level 3 automatic driving can be continued and whether or not the permitted state of the second task can be continued. Therefore, even during the second task, the driver is more likely to notice the approach of the emergency vehicle Qs because the level 3 automatic driving or the permission state of the second task is not continued. According to the above, even if the emergency vehicle Qs approaches during automatic driving, it is possible to make it difficult for the driver to be anxious.
  • the level 3 automatic driving and the continuation of the second task can be continued based on the relative position of the emergency vehicle lane Lnq with respect to the own vehicle. Based on the above, the continuation of automatic driving and the second task can be appropriately restricted depending on the approaching situation of the emergency vehicle Qs. Therefore, the convenience of the driver can be ensured while not giving anxiety to the driver.
  • the continuation of the level 3 automatic driving is permitted.
  • the continuation of the second task is restricted. Based on the above, the driver's attention can be smoothly transitioned from the second task to the peripheral monitoring of the own vehicle. As a result, the driver is less likely to feel anxious about a change in behavior caused by, for example, an interruption of another vehicle Ax in front of the own vehicle.
  • the traveling speed of the vehicle Am set for the automatic driving is changed to be lower than before the approach of the emergency vehicle Qs.
  • the driver can grasp that the traveling control corresponding to the approach of the emergency vehicle Qs has been started. Based on the above, the anxiety of the driver who recognizes the approach of the emergency vehicle Qs can be further reduced.
  • the emergency vehicle approach pattern 2 when the own vehicle travels in the adjacent lane Lna, the continuation of the level 3 automatic driving is restricted. After that, the driver is notified of the existence of the emergency vehicle Qs. As described above, when the emergency vehicle Qs passes very close to the own vehicle, by terminating the automatic driving and urging the driver to monitor the surroundings, the effect of making the driver less anxious can be further exerted. ..
  • the continuation of the second task is permitted.
  • the driver's high convenience can be ensured by allowing the continuation of the second task.
  • the presence of the emergency vehicle Qs is notified to the driver even if the continuation of the second task is permitted. Therefore, even if a behavior change occurs, the driver is less likely to feel anxiety because he / she knows the cause of the behavior change.
  • the continuation of autonomous driving and the continuation of the second task can be continued based on the road conditions around the own vehicle. Therefore, the continuation of autonomous driving and second tasks can be appropriately restricted depending on the road conditions. As a result, the convenience of the driver can be ensured while not giving anxiety to the driver.
  • the emergency vehicle approach pattern 5 when all the lanes included in the road are congested, the continuation of the second task is permitted.
  • the additional display of the emergency vehicle notification MWq notifies the driver of the approach of the emergency vehicle Qs. According to the above, the driver can continue to watch the video content CTV while recognizing the approach of the emergency vehicle Qs. As a result, the convenience of the driver can be easily ensured.
  • the driver can take flexible measures such as transferring the traveling space to the emergency vehicle Qs who intends to travel on the roadside zone RST.
  • the emergency vehicle approach pattern 6 As shown in the emergency vehicle approach pattern 6 (see FIG. 15), even if the own vehicle lane Lns is congested, when there is a non-congested lane Lnp in which the emergency vehicle Qs can travel, Continued Level 3 autonomous driving is permitted. Therefore, the driving load of the driver traveling in the traffic jam can be reduced. On the other hand, the continuation of the second task is restricted. Therefore, the driver's attention will be directed to the surroundings of the vehicle. Therefore, the driver is less likely to feel anxious about the behavior change caused by the situation such as the other vehicle Ax interrupting the front of the own vehicle.
  • the second embodiment when the planned travel route of the emergency vehicle Qs is known and the own vehicle can be evacuated from this planned travel route, the second embodiment is used. Task continuation is allowed. According to the above, since the occurrence of excessive restrictions on the second task is avoided, the convenience of the driver can be easily ensured.
  • the environment recognition unit 61 corresponds to the "approach determination unit”
  • the action determination unit 62 and the task continuation determination unit 72 correspond to the “continuation determination unit”, respectively
  • the integrated state estimation unit 73 “sleeps”.
  • the provision control unit 74 corresponds to the "estimation unit” and corresponds to the “provision restriction unit”.
  • the automatic driving ECU 50b and the HCU 100 correspond to the "control device”
  • the video content CTV corresponds to the "content”
  • the second task corresponds to the "specific action other than driving”
  • the separation distance DSq corresponds to the "predetermined distance”. Corresponds to.
  • the automatic operation ECU 50b shown in FIG. 3 can perform level 4 automatic operation.
  • the permission range control unit 69 takes an action such as removing the seat bell and sleeping in addition to the act of watching the video content CTV and operating the smartphone. Allow to.
  • the permission range control unit 69 determines whether or not to continue the state in which the driver is permitted to sleep.
  • the automation level control unit 68 continues the level 4 automatic driving even in the scene where the emergency vehicle Qs approaches.
  • the permission range control unit 69 does not allow the continuation of the state in which sleep is permitted in each approach scene of the emergency vehicle Qs in which the level 3 automatic driving or the second task is restricted in the first embodiment.
  • the permission range control unit 69 disallows the driver's sleep in the emergency vehicle approach patterns 1, 2, 4 to 6 of the first embodiment.
  • the permission range control unit 69 permits the driver to continue sleeping. That is, the permission range control unit 69 permits the continuation of sleep when there is no other vehicle Ax around the own vehicle and the emergency vehicle Qs is in a lane different from that of the own vehicle.
  • the permission range control unit 69 permits the continuation of sleep under substantially any situation as long as the emergency vehicle Qs is traveling in the oncoming lane of the own vehicle.
  • the result of determining whether or not to continue sleeping by the permission range control unit 69 is provided to the HCU 100 in the same manner as the result of the continuation determination and the result of the cancellation determination.
  • the HCU 100 starts the sleep monitoring process (see FIG. 24) based on the activation of the level 4 automatic operation by the automatic operation ECU 50b.
  • the sleep monitoring process is executed by the task continuation determination unit 72, the integrated state estimation unit 73, and the provision control unit 74.
  • awakening notification notification for promoting awakening from the sleep state (hereinafter referred to as awakening notification) is performed as needed.
  • the task continuation determination unit 72 acquires the sleep continuation possibility determination result output from the automatic driving ECU 50b through the information acquisition unit 71 (S283).
  • the task continuation determination unit 72 refers to the result of determining whether or not to continue sleeping, and determines whether or not the permitted state in which the driver is allowed to sleep will continue in the future (S284).
  • the integrated state estimation unit 73 acquires driver state information (hereinafter, driver sleep information) indicating whether or not the driver is in a sleep state from the driver monitor 29 through the information acquisition unit 71 (S281 and S286).
  • driver sleep information may be information that indicates whether or not the driver is in a sleep state in a binary manner, or may be information that indicates the driver's sleep state in multiple stages, a score, or the like.
  • the integrated state estimation unit 73 refers to the driver sleep information and estimates whether the driver is in the sleep state or the awake state (S282 and S287).
  • the integrated state estimation unit 73 determines that the driver is in the sleep state (S282: YES), and the task continuation determination unit 72 determines that the sleep permission state does not continue (S282: YES).
  • Awakening notification is performed in S284: NO) (S285).
  • the awakening notification is, for example, an act that mainly reproduces a message voice by the audio device 24.
  • the providing control unit 74 may further perform an operation of raising the backrest of the driver's seat as an awakening notification.
  • the provision control unit 74 ends the awakening notification when the integrated state estimation unit 73 determines that the driver is in the awake state (S287: YES) or when the time-out occurs (S287: YES). S288).
  • the provision control unit 74 sets the start timing of the awakening notification at the time of executing the level 4 automatic driving earlier than the start timing of the display restriction at the time of executing the level 3 automatic driving. do.
  • the threshold value for determining the approach of the emergency vehicle Qs is relaxed when the driver is in a sleeping state when the level 4 automatic driving is performed, as compared with the time when the level 3 automatic driving is performed.
  • the threshold value for determining the approach of the emergency vehicle Qs may be substantially the same timing when the level 4 automatic driving is performed and when the level 3 automatic driving is performed.
  • the second embodiment described so far also has the same effect as that of the first embodiment, and the driver's anxiety at the time of implementing the level 4 automatic driving can be reduced.
  • the sleep permission state when it is determined that the sleep permission state does not continue due to the approach of the emergency vehicle Qs under the condition presumed that the driver is in the sleeping state, an awakening notification for urging the driver to awaken is performed. Will be done.
  • the driver can watch the response to the emergency vehicle Qs by the automatic driving ECU 50b in a state of being awake to some extent. Therefore, the situation where the behavior change of the vehicle Am due to the approach of the emergency vehicle Qs is encountered in the sleeping state is avoided.
  • the provision control unit 74 of the second embodiment provides an awakening notification for urging the driver in the sleeping state to awaken, and an approach notification for notifying the driver in the awake state of the approach of the emergency vehicle Qs when the level 3 automatic driving is performed (FIG. 22). It is carried out at an earlier timing than (see S156 etc.). According to the adjustment of the notification timing, the driver can secure a sufficient time from the sleeping state to awakening and grasping the approach of the emergency vehicle Qs. As a result, it becomes possible to increase the sense of security of the driver.
  • the permission range control unit 69 continues the sleep permission state. Let me. As described above, if the scene is very unlikely to request the driver to respond to the emergency vehicle Qs, the state in which the driver is allowed to sleep may be continued. By omitting such an awakening notification, the convenience of level 4 automatic driving is further improved.
  • the integrated state estimation unit 73 corresponds to the “sleep determination unit”.
  • the determination result of whether or not the second task can be continued is output from the automatic operation ECU 50b to the HCU 100.
  • the provision control unit 74 interrupts the display of the moving image content CTV when the task continuation determination unit 72 determines that the permission state of the second task does not continue.
  • the provision control unit 74 sets the restriction display mode DMr3 and ends the second task being executed by the driver regardless of whether or not the level 3 automatic operation continues.
  • the positional relationship between the emergency vehicle lane Lnq and the own vehicle is used for determining whether or not the level 3 automatic driving and the second task can be continued, while the road condition around the own vehicle is used.
  • the road condition around the own vehicle is used for determining whether or not the automatic driving and the second task can be continued, while the positional relationship between the emergency vehicle lane Lnq and the own vehicle is used. No.
  • the timing of notifying the approach of the emergency vehicle Qs is changed depending on whether or not the own vehicle is traveling in a traffic jam.
  • the timing for notifying the approach of the emergency vehicle Qs is a timing at which the driver can secure a time (for example, about 13 seconds) corresponding to the request for a driving change from the automatic driving system 50. Therefore, when the own vehicle travels in a traffic jam, the provision control unit 74 delays the timing of notifying the approach of the emergency vehicle Qs later than usual.
  • the provision control unit 74 may change the timing of notifying the approach of the emergency vehicle Qs according to the acquisition route of the emergency vehicle information. As an example, when the approach of the emergency vehicle Qs is determined from the detection information of the peripheral monitoring sensor 30, the provision control unit 74 immediately notifies the driver of the approach of the emergency vehicle Qs. On the other hand, when the approach of the emergency vehicle Qs is determined based on the information acquired by the road-to-vehicle communication, the provision control unit 74 determines the approach of the emergency vehicle Qs at the timing when the distance from the emergency vehicle Qs to the own vehicle becomes less than a predetermined distance (for example, about 1 km). , Notifies the driver of the approach of the emergency vehicle Qs.
  • a predetermined distance for example, about 1 km
  • a character message other than the specified is displayed in the emergency vehicle notification MWq and the emergency vehicle warning MWa. More specifically, the emergency vehicle detection unit 65 can recognize the voice emitted from the emergency vehicle Qs and provide the character data to the HCU 100. The provision control unit 74 displays the message text based on the acquired character data on the emergency vehicle notification MWq and the emergency vehicle warning MWa.
  • the display of the content is restricted by the process of pausing the playback of the video content CTV.
  • the method of restricting the display of the content can be changed as appropriate.
  • the display process of graying down the moving image content CTV is performed as a restriction on the display of the content.
  • a window including a warning message is overlapped so as to cover the display center of the moving image content CTV.
  • the combination of conditions for releasing the display restriction set in the first embodiment may be changed as appropriate. For example, when at least one of the above four release conditions is satisfied, the display restriction of the moving image content CTV may be released. In addition, some cancellation conditions may be omitted.
  • the display restriction is released when the predetermined time elapses and the separation distance DSq is secured or when the emergency vehicle Qs is overtaken.
  • the display restriction is released regardless of the elapsed time after overtaking and the distance to the emergency vehicle Qs.
  • the awakening notification when the driver is in the sleeping state is executed at substantially the same timing as the approach notification of the emergency vehicle Qs.
  • the approach notification of the emergency vehicle Qs may also serve as the awakening notification.
  • the continuation of sleep is not permitted regardless of the position of the own vehicle rail or the presence or absence of the other vehicle Ax. Will be done.
  • the notification of the emergency vehicle Qs approaching from the front of the own vehicle is omitted.
  • the display device that displays the content related to the second task is not limited to CID22.
  • the meter display 21 and the HUD 23 may be used to provide entertainment content.
  • each display EMB, EML, EMR of the electronic mirror system may be used to provide the content.
  • the display device for displaying the content may be selectable by the driver.
  • each image displayed on each display device may be changed as appropriate.
  • the language type of the message displayed on each display device may be appropriately changed based on the user settings such as the driver and the settings such as the country and region where the vehicle Am is used.
  • the language type of the voice message reproduced by the audio device 24 may be changed as appropriate.
  • the second task permitted to the driver is not limited to the above-mentioned actions, and may be appropriately changed according to the regulations such as the Road Traffic Act of the country and region where the vehicle Am is used.
  • any one of the meter display 21, the CID 22 and the HUD 23 is integrally configured with the HCU 100.
  • the processing function of the HCU 100 is implemented in the control circuit of any one display device.
  • the display device including the processing function of the HCU 100 corresponds to the “control device”.
  • the automatic driving system 50 of the above embodiment is provided with two in-vehicle ECUs, a driving support ECU 50a and an automatic driving ECU 50b.
  • a driving support ECU 50a may construct the automatic driving system 50.
  • each function of the automatic driving ECU 50b and the HCU 100 of the above embodiment may be mounted on one in-vehicle ECU.
  • each function provided by each of the automatic operation ECU 50b and the HCU 100 can be provided by the software and the hardware for executing the software, the hardware only, the hardware only, or a combination thereof. be. Further, when such a function is provided by an electronic circuit as hardware, each function can also be provided by a digital circuit including a large number of logic circuits or an analog circuit.
  • the form of the storage medium for storing a program or the like capable of realizing the above control method may be changed as appropriate.
  • the storage medium is not limited to the configuration provided on the circuit board, but is provided in the form of a memory card or the like, is inserted into the slot portion, and is electrically connected to the control circuit of the automatic operation ECU or the HCU. It may be.
  • the storage medium may be an automatic operation ECU, an optical disk as a copy base of the program to the HCU, a hard disk drive, or the like.
  • control unit and its method described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

HCUは、ドライバによる周辺監視義務のないレベル3の自動運転を実施可能な車両において用いられる制御装置である。HCUは、レベル3の自動運転が行われる自動走行期間にて、自車への緊急車両の接近が検知された場合に、セカンドタスクをドライバに許可した状態が継続するか否かを判断する。HCUは、セカンドタスクの許可状態が継続しないと判断した場合に、ドライバに提供されるコンテンツの表示を制限する。

Description

制御装置及び制御プログラム 関連出願の相互参照
 この出願は、2020年4月16日に日本に出願された特許出願第2020-73643号、及び、2021年3月1日に日本に出願された特許出願第2021-31852号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 この明細書による開示は、自動走行可能な車両において用いられる制御装置及び制御プログラムに関する。
 特許文献1には、自動運転ECUによる自動走行中に、ドライバがスマートフォンを操作したり、テレビ放送を視聴したりしているセカンドタスクの状態になることが記載されている。
特開2017-107502号公報
 特許文献1のように、自動走行中において、緊急車両が自車に近づく可能性がある。こうした状況では、セカンドタスクの状態にあるドライバが、緊急車両の接近に気づき難い。その結果、緊急車両への対応について、ドライバに不安を与える虞があった。
 本開示は、自動走行中に緊急車両の接近があっても、ドライバに不安を与え難い制御装置及び制御プログラムの提供を目的とする。
 上記目的を達成するため、開示された一つの態様は、ドライバによる周辺監視義務のない自動運転を実施可能な車両において用いられる制御装置であって、自動運転が行われる自動走行期間にて、車両である自車への緊急車両の接近が検知された場合に、運転以外の特定行為をドライバに許可した状態が継続するか否かを判断する継続判断部と、継続判断部により特定行為の許可状態が継続しないと判断された場合に、ドライバに提供されるコンテンツの表示を制限する提供制限部と、を備える制御装置とされる。
 また開示された一つの態様は、ドライバによる周辺監視義務のない自動運転を実施可能な車両において用いられる制御プログラムであって、少なくとも一つの処理部に、自動運転が行われる自動走行期間にて、車両である自車への緊急車両の接近が検知された場合に、運転以外の特定行為をドライバに許可した状態が継続するか否かを判断し、特定行為の許可状態が継続しないと判断した場合に、ドライバに提供されるコンテンツの表示を制限する、ことを含む処理を実行させる制御プログラムとされる。
 これらの態様では、周辺監視義務のない自動走行期間にて運転以外の特定行為をドライバが行っているとき、自車への緊急車両の接近により、特定行為の許可状態が継続しないと判断された場合、提供されるコンテンツの表示が制限される。故に、ドライバは、特定行為を実施中であっても、コンテンツの表示の制限から、緊急車両の接近に気づき易くなる。以上によれば、自動走行中に緊急車両の接近があっても、ドライバに不安を与え難くすることが可能になる。
 加えて、開示された一つの態様は、ドライバによる周辺監視義務のない自動運転を実施可能な車両において用いられる制御装置であって、自動運転が行われる自動走行期間にて、車両である自車への緊急車両の接近の有無を判定する接近判定部と、接近判定部により緊急車両の接近が判定された場合に、自動運転の継続の可否と、運転以外の特定行為がドライバに許可された状態の継続の可否とを判断する継続判断部と、を備える制御装置とされる。
 また開示された一つの態様は、ドライバによる周辺監視義務のない自動運転を実施可能な車両において用いられる制御プログラムであって、少なくとも一つの処理部に、自動運転が行われる自動走行期間にて、車両である自車への緊急車両の接近の有無を判定しと、緊急車両の接近を判定した場合に、自動運転の継続の可否と、運転以外の特定行為がドライバに許可された状態の継続の可否とを判断する、ことを含む処理を実行させる制御プログラムとされる。
 これらの態様では、周辺監視義務のない自動走行期間にて運転以外の特定行為をドライバが行っているとき、自車への緊急車両の接近が判定された場合、自動運転の継続の可否と、特定行為を許可した状態の継続の可否とが判断される。故に、ドライバは、特定行為を実施中であっても、自動運転又は特定行為の許可状態が継続されないことにより、緊急車両の接近に気づき易くなる。以上によれば、自動走行中に緊急車両の接近があっても、ドライバに不安を与え難くすることが可能になる。
 尚、請求の範囲における括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
本開示の第一実施形態による車載ネットワークの全体像を示す図である。 運転席周辺のインターフェースのレイアウトの一例を示す図である。 自動運転ECU及びHCUに構築される機能部の一例を関連構成と共に示す図である。 セカンドタスクモードにおけるCIDの表示例を示す図である。 緊急車両が接近するシーンにおいて、セカンドタスクの継続が許容される場合のCIDの表示例を示す図である。 緊急車両が接近するシーンにおいて、セカンドタスクの継続が許容されない場合のCIDの表示例を示す図である。 緊急車両が接近するシーンにおいて、レベル3の自動運転が制限される場合のCIDの表示例を示す図である。 緊急車両が接近するシーンの一例を示す図である。 接近した緊急車両が自車から遠ざかるシーンの一例を示す図である。 接近した緊急車両が自車から遠ざかるシーンの一例を示す図である。 緊急車両が接近するシーンの一例を示す図である。 緊急車両が接近するシーンの一例を示す図である。 緊急車両が接近するシーンの一例を示す図である。 渋滞中に緊急車両が接近するシーンの一例を示す図である。 渋滞中に緊急車両が接近するシーンの一例を示す図である。 接近する緊急車両の予定走行経路から自車が退避可能なシーンの一例を示す図である。 図16に示すシーンでのCIDの表示例であって、図5に示す表示の変形例を示す図である。 対向車線を走行する緊急車両が前方から接近するシーンの一例を示す図である。 図18に示すシーンでのCIDの表示例を示す図である。 緊急車両が接近するシーンにおいて、レベル3の自動運転の継続可否を判断する継続判断処理の詳細を示すフローチャートである。 緊急車両が接近するシーンにおいて、セカンドタスクの継続の可否を判断する継続判断処理の詳細を示すフローチャートである。 自動運転及びセカンドタスクの継続可否判断に基づき、CIDの表示モードを切り替える表示制御処理の詳細を示すフローチャートである。 CIDの表示モードを切り替え前の状態に戻す表示制御処理の詳細を示すフローチャートである。 本開示の第二実施形態のHCUによって実施される睡眠監視処理の詳細を示すフローチャートである。
 以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
 (第一実施形態)
 本開示の第一実施形態による制御装置の機能は、自動運転ECU(Electronic Control Unit)50bと、HCU(Human Machine Interface Control Unit)100とによって実現されている。図1に示す自動運転ECU50bは、車両Amにおいて用いられる自動運転システム50を、運転支援ECU50a等と共に構成している。自動運転システム50の搭載により、車両Amは、自動運転機能を備えた自動運転車両となる。
 HCU100は、図1~図3に示すように、車両Amにおいて用いられるHMI(Human Machine Interface)システムを、複数の表示デバイス、オーディオ装置24及び操作デバイス26等と共に構成している。HMIシステムは、車両Amの乗員(例えばドライバ等)による操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。
 自動運転ECU50b及びHCU100は、車両Amに搭載された車載ネットワーク1の通信バス99に、通信可能に接続されている。自動運転ECU50b及びHCU100は、それぞれ車載ネットワーク1に設けられた複数のノードのうちの一つである。通信バス99には、ドライバモニタ29、周辺監視センサ30、ロケータ35、車車間通信機37、路車間通信機38、走行制御ECU40及び運転支援ECU50a等がさらに接続されている。車載ネットワーク1の通信バス99に接続されたこれらのノードは、相互に通信可能である。これら装置及びECUのうちの特定ノード同士は、相互に直接的に電気接続され、通信バス99を介することなく通信を実施可能であってよい。
 ドライバモニタ29は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。ドライバモニタ29は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部の上面又はインスツルメントパネル9の上面等に設置されている。近赤外カメラは、後述するメータディスプレイ21又はセンターインフォメーションディスプレイ(以下、CID)22と一体的に構成され、いずれかの画面に埋め込まれていてもよい。
 ドライバモニタ29は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、ドライバのアイポイントの位置及び視線方向等の情報を撮像画像から抽出し、抽出したドライバの状態情報を、通信バス99を通じて、HCU100等に提供する。
 周辺監視センサ30は、車両Amの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から予め規定された移動物体及び静止物体を検出可能である。周辺監視センサ30は、自車の周囲を走行する前方車両、後方車両、前後の側方車両等を少なくとも検出可能である。周辺監視センサ30は、車両周囲の物体の検出情報を、通信バス99を通じて、運転支援ECU50a及び自動運転ECU50b等に提供する。
 周辺監視センサ30には、例えばカメラユニット31、ミリ波レーダ32及びマイクロフォン33が含まれている。周辺監視センサ30には、ライダ及びソナー等の検出構成がさらに含まれていてもよい。
 カメラユニット31は、車両Amの前方範囲、側方範囲及び後方範囲等を撮影可能なように車両Amに搭載された複数のカメラモジュールを備えている。各カメラモジュールは、単眼カメラを含む構成であってもよく、又は複眼カメラを含む構成であってもよい。カメラユニット31は、各カメラモジュールによって車両周囲を撮影した撮像データ及び撮像データの解析結果の少なくとも一方を、検出情報として出力する。
 ミリ波レーダ32は、ミリ波又は準ミリ波を自車周囲へ向けて照射する。ミリ波レーダ32は、移動物体及び静止物体等で反射された反射波を受信する処理によって生成した検出情報を出力する。
 マイクロフォン33は、車両Amの周囲の環境音を集音する集音器である。車両Amに緊急車両Qs(図8等参照)が接近している場合、マイクロフォン33は、緊急車両Qsによって鳴らされている特定のサイレン音、及び拡声器の音声を含んだ環境音を集音する。マイクロフォン33は、環境音、又は環境音からサイレン音が抽出されている旨の情報の少なくとも一方を、検出情報として出力する。
 ロケータ35は、GNSS(Global Navigation Satellite System)受信器及び慣性センサ等を含む構成である。ロケータ35は、GNSS受信器で受信する測位信号、慣性センサの計測結果、及び通信バス99に出力された車速情報等を組み合わせ、車両Amの自車位置及び進行方向等を逐次測位する。ロケータ35は、測位結果に基づく車両Amの位置情報及び方角情報を、ロケータ情報として、通信バス99に逐次出力する。
 ロケータ35は、地図データベース36をさらに有している。地図データベース36は、多数の3次元地図データ及び2次元地図データを格納した大容量の記憶媒体を主体とする構成である。3次元地図データは、いわゆる高精度地図データであり、道路の3次元形状情報及び各レーンの詳細情報等、高度運転支援及び自動運転に必要な情報を含んでいる。ロケータ35は、現在位置周辺の地図データを地図データベース36から読み出し、運転支援ECU50a及び自動運転ECU50b等に、ロケータ情報と共に提供する。
 車車間通信機37は、他車両に搭載された車載器と無線通信するための通信モジュールを主体に構成されている。車車間通信機37は、他車両の車載器と直接的又は間接的に情報を送受信可能であり、他車両の位置及び速度等の情報を取得する。車車間通信機37は、車両Amに緊急車両Qs(図8等参照)が接近している場合、緊急車両Qsの車載器から送信された情報、即ち、緊急車両Qsの位置及び移動速度を受信可能である。
 路車間通信機38は、道路脇に設置された路側機から配信される情報を受信するための通信モジュールを主体に構成されている。路車間通信機38は、FM多重放送、電波ビーコン及び光ビーコン等の手段により、路側機近傍の道路の信号情報、渋滞情報及び規制情報等を受信する。加えて路車間通信機38は、緊急車両Qs(図8等参照)の接近に関する情報を路側機から受信可能である。
 走行制御ECU40は、マイクロコントローラを主体として含む電子制御装置である。走行制御ECU40は、ブレーキ制御ECU、駆動制御ECU及び操舵制御ECUの機能を少なくとも有している。走行制御ECU40は、ドライバの運転操作に基づく操作指令、運転支援ECU50aの制御指令及び自動運転ECU50bの制御指令のいずれか一つに基づき、各輪のブレーキ力制御、車載動力源の出力制御及び操舵角制御を継続的に実施する。加えて走行制御ECU40は、各輪のハブ部分に設けられた車輪速センサの検出信号に基づき、車両Amの現在の走行速度を示す車速情報を生成し、通信バス99に逐次出力する。
 運転支援ECU50aは、ドライバの運転操作を支援する運転支援機能を実現させる車載ECUである。運転支援ECU50aは、米国自動車技術会の規定する自動運転レベルにおいて、ドライバの周辺監視を必要とするレベル2程度の高度運転支援又は部分的な自動走行制御を可能にする。
 運転支援ECU50aは、処理部、RAM、記憶部、入出力インターフェース及びこれらを接続するバス等を備えた制御回路を主体として含むコンピュータである。運転支援ECU50aは、処理部によるプログラムの実行により、高度運転支援を実現する複数の機能部を有する。具体的に、運転支援ECU50aは、ACC(Adaptive Cruise Control)機能部、LTA(Lane Tracing Assist)機能部及びLCA(Lane Change Assist)機能部を有する。
 こうした運転支援ECU50aに対し、自動運転ECU50bは、ドライバの運転操作を代行可能な自動運転機能を実現させる車載ECUである。自動運転ECU50bは、予め設定された限定領域(Operational Design Domain,ODD)に限り、システムが制御主体となるレベル3以上の自律走行を可能にする。自動運転ECU50bは、ドライバの目視による車両周辺の周辺監視が不要なアイズオフの自動運転を可能にしている。尚、自動運転ECU50bは、レベル4以上の自動運転機能を実現可能であってもよい。
 自動運転ECU50bは、処理部51、RAM52、記憶部53、入出力インターフェース54及びこれらを接続するバス等を備えた制御回路を主体として含むコンピュータである。自動運転ECU50bは、運転支援ECU50aよりも高い演算能力を備えており、ACC、LTA及びLCAに相当する走行制御を少なくとも実施できる。
 処理部51は、RAM52と結合された演算処理のためのハードウェアである。処理部51は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部51は、FPGA(Field-Programmable Gate Array)、NPU(Neural network Processing Unit)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。処理部51は、RAM52へのアクセスにより、本開示の制御方法を実現するための種々の処理を実行する。記憶部53は、不揮発性の記憶媒体を含む構成である。記憶部53には、処理部51によって実行される種々のプログラム(自動運転制御プログラム等)が格納されている。
 自動運転ECU50bは、処理部51によるプログラム(自動運転制御プログラム)の実行により、ドライバによる周辺監視義務のない自動運転を実現する複数の機能部として、環境認識部61、行動判断部62及び操作実行部63を有する。
 環境認識部61は、ロケータ35より取得するロケータ情報及び地図データと、周辺監視センサ30より取得する検出情報とに基づき、車両Amの走行環境を認識する。具体的に、環境認識部61は、複数レーンのうちで自車が走行する自車レーンLns(図8参照)の位置、自車レーンLnsのレーン形状、並びに自車周囲の他車両の相対位置及び相対速度等を把握する。尚、自車レーンLnsの位置の特定は、ロケータ35にて実施されてもよい。また、環境認識部61による走行環境の認識結果は、認識情報としてHCU100に提供されてもよい。
 行動判断部62は、環境認識部61による走行環境の認識結果に基づき、車両Amを走行させる予定走行ラインを生成する。行動判断部62は、車両Amに搭載されたナビゲーションに目的地が設定されている場合、ナビゲーション装置にて生成される経路情報を参照し、目的地へ向かうための予定走行ラインを逐次生成する。
 操作実行部63は、走行制御ECU40との連携により、行動判断部62にて生成された予定走行ラインに従って、車両Amの加減速制御及び操舵制御等を実行する。具体的に、操作実行部63は、予定走行ラインに基づく制御指令を生成し、走行制御ECU40へ向けて逐次出力する。
 次に、HMIシステムに含まれる複数の表示デバイス、オーディオ装置24、操作デバイス26及びHCU100の各詳細を順に説明する。
 複数の表示デバイスには、メータディスプレイ21、CID22、ヘッドアップディスプレイ(以下、HUD)23及び等が含まれている。複数の表示デバイスには、電子ミラーシステムの各ディスプレイEMB,EML,EMRがさらに含まれていてもよい(図2参照)。メータディスプレイ21、CID22及びHUD23は、ドライバの視覚を通じて情報を提示する。
 メータディスプレイ21及びCID22は、例えば液晶ディスプレイ又はOLED(Organic Light Emitting Diode)ディスプレイ等を主体とする構成である。メータディスプレイ21及びCID22は、HCU100から取得する制御信号及び映像データに基づき、種々の画像を表示画面に表示させる。メータディスプレイ21は、例えば運転席の正面に設置されている。CID22は、インスツルメントパネル9の中央部に設置されている。CID22は、一例として、10インチ以上の縦長のディスプレイとされる。CID22の表示画面は、曲面状に湾曲していてもよい。さらに、CID22の表示画面は、メータディスプレイ21の表示画面と連続していてもよい。CID22は、タッチパネルの機能を有しており、例えばドライバ等による表示画面へのタッチ操作、具体的には、タップ、フリック、ピンチ及びスワイプ等の操作等を検出する。
 HUD23は、HCU100から取得する制御信号及び映像データに基づき、ドライバ前方に結像される画像の光を、ウィンドシールドWS等に規定された投影領域PAに投影する。ウィンドシールドWSにて車室内側に反射された画像の光は、運転席に着座するドライバによって知覚される。こうしてHUD23は、投影領域PAよりも前方の空間中に虚像を表示させる。ドライバは、HUD23によって表示される画角VA内の虚像を、車両Amの前景と重ねて視認する。
 オーディオ装置24は、運転席を囲む配置にて車室内に設置された複数のスピーカを有している。オーディオ装置24は、HCU100から取得する制御信号及び音声データに基づき、報知音又は音声メッセージ等をスピーカによって車室内に再生させる。オーディオ装置24は、ドライバの聴覚を通じて情報を提示する。
 操作デバイス26は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス26には、例えば自動運転機能の作動及び停止に関連するユーザ操作等が入力される。ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部に設けられた操作レバー、及びドライバの発話内容を認識する音声入力装置等が、操作デバイス26に含まれる。
 尚、スマートフォン等のユーザ端末等が、車載ネットワーク1又はHCU100に接続されていてもよい。ユーザ端末は、インターフェースデバイスとして機能し、表示デバイス、オーディオ装置24及び操作デバイス26の少なくとも一つを代替可能である。加えてユーザ端末は、ロケータ35に替わって、位置情報、方角情報及び地図データ等を運転支援ECU50a及び自動運転ECU50bに提供してもよい。
 HCU100は、HMIシステムにおいて、メータディスプレイ21、CID22、HUD23及びオーディオ装置24を制御する車載コンピュータである。HCU100は、ドライバへ向けた情報提示を統合的に管理する制御装置として機能する。HCU100は、処理部11、RAM52、記憶部13、入出力インターフェース14及びこれらを接続するバス等を備えた制御回路を主体として含む構成である。
 処理部11は、RAM12と結合された演算処理のためのハードウェアである。処理部11は、CPU及びGPU等の演算コアを少なくとも一つ含む構成である。処理部11は、FPGA、NPU及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。RAM12は、映像データ生成のためのビデオRAMを含む構成であってよい。処理部11は、RAM12へのアクセスにより、本開示の制御方法を実現するための種々の処理を実行する。記憶部13は、不揮発性の記憶媒体を含む構成である。記憶部13には、処理部11によって実行される種々のプログラム(提示制御プログラム等)が格納されている。
 HCU100は、記憶部13に記憶された提示制御プログラムを処理部11によって実行することで、各表示デバイス及びオーディオ装置24を用いたドライバへの情報提示を統合制御する複数の機能部を有する。具体的に、HCU100には、情報取得部71、統合状態推定部73及び提供制御部74等の機能部が構築される。
 情報取得部71は、車両Amの状態を示す車両情報を、通信バス99から取得する。車両情報には、例えば車速情報、及び自動運転機能の状態を示すステータス情報等が含まれる。情報取得部71は、ユーザ操作の内容を示す操作情報を、CID22及び操作デバイス26等から取得する。情報取得部71は、ドライバの状態情報を、ドライバモニタ29から取得する。
 加えて情報取得部71は、表示デバイスに表示させる映像データの生成に必要な情報を取得する。具体的に、情報取得部71は、バックモニタ映像BM(図5等参照)として表示させる映像データを、後方又は後側方を写すカメラユニット31から取得する。情報取得部71は、ナビマップMP(図4等参照)の生成に必要なロケータ情報、地図データ及び経路情報等を取得する。尚、ナビマップMPの映像データは、通信バス99に接続されたナビゲーション装置又はスマートフォン等にて所定の解像度で生成され、情報取得部71に提供されてもよい。
 また情報取得部71は、動画コンテンツCTV(図4等参照)等、エンターテイメント系の表示に必要なコンテンツデータ(動画ファイル等)を取得する。コンテンツデータは、車両Amに搭載されたテレビチューナ、HCU100に電気的に接続された外部メディア、及びHCU100とペアリングされたスマートフォン等のユーザ端末により、情報取得部71に提供される。
 統合状態推定部73は、ドライバモニタ29にて生成されたドライバの状態情報を情報取得部71から取得する。統合状態推定部73は、少なくとも自動走行期間において、ドライバが実施しているセカンドタスクの種別を判別する。具体的に、統合状態推定部73は、予め想定された複数種類のセカンドタスクの種別の中で、ドライバが現在実施しているセカンドタスクを特定する。
 ここで、セカンドタスクについてさらに説明する。自動運転ECU50b及びHCU100は、ドライバによる運転以外の行為の実施を一時的に許容する。詳記すると、自動運転ECU50bによるレベル3の自動運転機能により、車両Amが自動走行する自動走行期間にて、周辺監視義務のないドライバには、運転以外の行為であって、予め規定された特定行為(セカンドタスク)が許可され得る。この場合のドライバは、限定領域から出るとき又は緊急時において、自動運転システム50から運転の制御権を引き継ぐ者(搭乗者)である。自動運転システム50による運転操作の実施要求、即ち、運転交代の要請(Take Over Request)が発生するまで、ドライバには、セカンドタスクの実施が法規的に許可され得る。
 セカンドタスクは、セカンダリアクティビティ又はアザーアクティビティ等と呼ばれ得る。セカンドタスクは、自動運転システム50からの運転操作の引き継ぎ要求にドライバが対応することを妨げてはならないとされる。例えば、動画コンテンツCTV(図4等参照)及びオーディオブック等のエンターテイメント系のコンテンツの視聴、スマートフォン等の操作、並びにこれら以外の行為(食事等)が、セカンドタスクとして予め想定されている。
 統合状態推定部73は、提供制御部74によるコンテンツの再生情報、及びスマートフォン等から送信される操作情報等を参照し、ドライバモニタ29の状態情報と組み合わせて、実施中のセカンドタスクを特定する。統合状態推定部73は、例えば機械学習等によって生成された判定器(判定ロジック)等を用いて、近赤外カメラによる撮像画像から、ドライバの実施するセカンドタスクを推定可能であってもよい。
 尚、ドライバの実施するセカンドタスクを特定する処理は、ドライバモニタ29にて実施されてもよい。こうした形態であれば、統合状態推定部73は、ドライバモニタ29にて生成されたセカンドタスクの種類を示す情報を、通信バス99及び情報取得部71を通じて取得する。
 提供制御部74は、各表示デバイス及びオーディオ装置24を用いたドライバへの情報の提供を統合制御する。提供制御部74は、各表示デバイスに表示させる各コンテンツの表示サイズ及び表示レイアウトを、各コンテンツに設定された優先度に応じて変更可能である。一例として、提供制御部74は、優先度の高いコンテンツほど、表示サイズを大きくするか、又は見た目上での画面手前側に表示させる。
 具体的に、提供制御部74は、ドライバへ向けて提示する情報を調停する調停機能と、調停結果に基づき映像データ及び音声データを生成するデータ生成機能とを有している。提供制御部74は、調停機能として、情報取得部71にて取得される種々の取得情報に基づき、提供候補となる各コンテンツに、上述の優先度を設定する。提供制御部74は、優先度が高いと判断したコンテンツを、ドライバへの提供対象に選定する。提供制御部74は、データ生成機能として、コンテンツの選定結果に基づき、各表示デバイスに提供する制御信号及び映像データと、オーディオ装置24に提供する制御信号及び音声データとを生成する。提供制御部74は、生成した制御信号、映像データ及び音声データ等を、各提示デバイスへ向けて逐次出力する。
 提供制御部74は、セカンドタスクの実施が許可された自動走行期間にて、例えば図4に示すように、動画コンテンツCTV等のエンターテイメント系のコンテンツを含んだセカンドタスクモードDMnの映像を、CID22の画面に表示させる。一例として、セカンドタスクモードDMnの表示には、動画コンテンツCTV及びナビマップMPが含まれている。提供制御部74は、縦長であるCID22の画面を、上下2つの画面領域に分割して用いる。動画コンテンツCTVは、ドライバから視認され易いように、上側の画面領域(以下、メイン表示域DA1)に表示される。一方で、ナビマップMPは、下側の画面領域(以下、サブ表示域DA2)に表示される。
 尚、セカンドタスクモードDMnにて、動画コンテンツCTV等と共に表示されるコンテンツは、適宜変更されてよい。またセカンドタスクモードDMnでは、CID22の画面全体に、動画コンテンツCTVが表示されてもよい。さらに、セカンドタスクモードDMnにおいて表示されるコンテンツは、ドライバ等により予め設定可能であってよい。
 このようなセカンドタスクをドライバが実施している場合、ドライバの注意は、運転操作から離れている。故に、セカンドタスクの実施中、自動運転ECU50bの自動走行制御による挙動変化に対し、ドライバは、不安を抱き易くなる。一例として、自動走行期間にて、緊急車両Qs(図8等参照)が車両Am(以下、自車とも記載)に接近する状況では、セカンドタスクの状態にあるドライバは、緊急車両Qsの接近に気づき難くなる。その結果、緊急車両Qsの接近に対応する挙動変化がドライバに不安を与える可能性がある。
 こうした事態を回避するため、HCU100及び自動運転ECU50bは、自車に接近中の緊急車両Qsに対応する処理を実施する。以下、緊急車両Qsへの対応に関連するHCU100及び自動運転ECU50bの作動の詳細を、図1~図3を参照しつつ順に説明する。
 尚、緊急車両Qsには、例えば消防用自動車、救急用自動車、及び警察車両等の少なくとも一つが含まれる。また、本開示における「緊急車両Qs」は、特に説明が無い場合には、緊急用務のために走行している緊急車両Qsを示す。
 提供制御部74は、図5~図7に示すように、セカンドタスクモードDMnによるエンターテイメント系のコンテンツの提供を調停機能によって制限する。提供制御部74は、エンターテイメント系のコンテンツの提供を段階的に制限する。一例として、提供制御部74は、コンテンツの提供制限の強さが、制限なしの状態(図4参照)を含めて、四段階のうちで切り替える。
 図5に示す制限表示モードDMr1は、エンターテイメント系のコンテンツの提供制限が最も弱い場合の表示モードである。制限表示モードDMr1は、レベル3の自動運転が今後も継続され、且つ、緊急車両Qsの接近に伴う自車の挙動変化も発生し難いシーンにおいて選択される。
 制限表示モードDMr1では、メイン表示域DA1に、緊急車両通知MWqが表示される。緊急車両通知MWqは、例えば「緊急車両の接近に注意してください」等の注意喚起のメッセージを含む表示物である。緊急車両通知MWqは、メイン表示域DA1の上縁近傍に、横長の帯状に表示される。緊急車両通知MWqは、メイン表示域DA1の動画コンテンツCTVの一部に重ねられている。動画コンテンツCTVの大部分は、緊急車両通知MWqに隠されることなく表示される。加えて、緊急車両通知MWqが表示されても、動画コンテンツCTVの映像及び音声の再生は、継続される。そのため、ドライバによる動画コンテンツCTVの視聴は、緊急車両通知MWqの追加表示によって実質的に妨げられることなく、継続され得る。
 加えて制限表示モードDMr1では、ナビマップMP(図4参照)に替えて、バックモニタ映像BMがサブ表示域DA2に表示される。バックモニタ映像BMは、カメラユニット31にて撮影された後方又は後側方の映像である。提供制御部74は、自車に接近する緊急車両Qsが画面に写るように、バックモニタ映像BMの提供元となるカメラユニット31を適宜切り替え可能である。提供制御部74は、複数のカメラユニット31の映像データを繋ぎ合わせて、バックモニタ映像BMを生成してもよい。バックモニタ映像BMは、緊急車両通知MWqと共に、緊急車両Qsの接近をドライバに報知する。加えて、バックモニタ映像BMが動画コンテンツCTVと並べて表示されれば、ドライバは、実際に自車の周囲に視線を向けることなく、言い替えれば、動画コンテンツCTVの視聴を中断することなく、緊急車両Qsの接近状況を把握できる。
 図6に示す制限表示モードDMr2は、エンターテイメント系のコンテンツの提供制限が中程度とされた場合の表示モードである。制限表示モードDMr2は、レベル3の自動運転が今後も継続される一方で、緊急車両Qsの接近に伴う自車の挙動変化が発生し易いシーンにおいて選択される。制限表示モードDMr2は、動画コンテンツCTVを視聴するドライバの注意を、自車の周囲に誘導する表示モードである。
 制限表示モードDMr2では、制限表示モードDMr1(図5参照)と同様に、メイン表示域DA1に緊急車両通知MWqが表示される。このとき、「緊急車両の接近に注意してください」等の音声メッセージが、オーディオ装置24によって再生される。一方で、制限表示モードDMr1とは異なり、制限表示モードDMr2では、動画コンテンツCTVの映像の再生が一時的に停止される。
 加えて制限表示モードDMr2では、ナビマップMPからバックモニタ映像BM(図5参照)への表示切り替えは実施されない。CID22にバックモニタ映像BMを表示させてしまうと、ドライバの注意が自車の周囲に向き難くなる。故に、制限表示モードDMr2では、ナビマップMPの表示が継続される。
 尚、エンターテイメント系のコンテンツとして、テレビ映像又はオーディオブック等が提供されていた場合、これらのコンテンツの音声の再生は、ユーザの利便性を考慮して、緊急車両Qsを注意喚起する音声メッセージの再生完了後に、再開されてもよい。この場合、緊急車両Qsのサイレン音等がドライバに聞き取られ易いように、再生音量は、制限表示モードDMr2への切り替え前よりも小さくされるのが望ましい。
 図7に示す制限表示モードDMr3は、エンターテイメント系のコンテンツの提供制限が最も強くされた場合の表示モードである。制限表示モードDMr3は、レベル3の自動運転が終了する場合、言い替えれば、運転交代の要請が発生するシーン又は発生したシーンにおいて選択される。
 制限表示モードDMr3では、動画コンテンツCTVの映像及び音声の再生が共に停止される。その結果、ドライバによる動画コンテンツCTVの視聴は、システム側の判断で強制的に終了される。加えて、提供制御部74は、メイン表示域DA1の表示コンテンツとサブ表示域DA2の表示コンテンツとを入れ替える。これにより、一時停止された動画コンテンツCTVは、サブ表示域DA2に移動する。一方で、ナビマップMPがメイン表示域DA1に移動する。
 さらに、提供制御部74は、メータディスプレイ21及びHUD23(図1参照)の少なくとも一方により、緊急車両警告MWaを表示させる。緊急車両警告MWaは、例えば「緊急車両接近中」等の警告メッセージを含む表示物である。緊急車両警告MWaによる警告は、緊急車両通知MWq(図6参照)による注意喚起よりも、強い内容とされる。緊急車両警告MWaは、自車の周囲に視線を向けたドライバに視認され易いよう、メータディスプレイ21の画面中央又はHUD23の画角VA(図1参照)中央に表示される。加えて提供制御部74は、「緊急車両が接近中です」等の音声メッセージを、オーディオ装置24によって再生させる。
 提供制御部74は、統合状態推定部73にて判別される実施中のセカンドタスクの種別に応じて、緊急車両Qsの接近を報知又は警告する手法を変更可能である。一例として、統合状態推定部73にてスマートフォン等を操作していると判定されている場合、提供制御部74は、緊急車両通知MWq又は緊急車両警告MWaに相当する表示物を、スマートフォンの画面に表示させる。加えて、食事等の行為をドライバが実施中の場合、提供制御部74は、音声メッセージの再生、又は動画コンテンツCTV等の音量を下げる等の手法により、緊急車両Qsの接近を報知する。さらに、提供制御部74は、実施中のセカンドタスクの種別に応じて、セカンドタスク自体を終了させるのか、又は一部を制限するのかを変更してもよい。
 ここまで説明したHCU100による表示モードの切り替え制御は、図1及び図3に示す自動運転ECU50bとの連携によって実現される。以下、緊急車両Qsへの対応に関連する環境認識部61及び行動判断部62の機能の詳細を説明する。
 環境認識部61は、少なくともレベル3の自動運転が行われる自動走行期間にて、自車への緊急車両Qsの接近の有無を判定する。環境認識部61は、自車への緊急車両Qsの接近状況を把握するため、自動運転制御プログラムに基づく補助的な機能部として、緊急車両検出部65、レーン把握部66、道路状況把握部67を有する。
 緊急車両検出部65は、複数の情報源から取得する取得情報を用いて、自車への緊急車両Qsの接近を検知する。加えて緊急車両検出部65は、緊急車両Qsの接近を検知した場合、緊急車両Qsの種別、相対位置及び移動方向等を、緊急車両Qsの詳細情報としてさらに検出する。緊急車両検出部65は、緊急車両Qsの検知結果及び詳細情報を、緊急車情報として行動判断部62に提供する。
 緊急車両検出部65は、車車間通信及び路車間通信によって緊急車情報を取得可能である。緊急車両Qsは、緊急用務中において、車車間通信、路車間通信及び移動体通信の少なくとも一つを用いて、現在位置、走行速度及び予定走行経路等の情報を、交通管理センター及び周囲の他車両等へ向けて送信可能である。そのため、車車間通信機37は、緊急車両Qsとの車車間通信によって緊急車情報を受信する。また、路車間通信機38は、路側機との路車間通信により、例えば交通管理センターによって配信された接近中の緊急車両Qsに関する緊急車情報を受信する。車車間通信機37及び路車間通信機38は、緊急車情報を受信した場合、受信した緊急車情報を緊急車両検出部65に提供する。
 加えて緊急車両検出部65は、周辺監視センサ30の検出情報に基づき、緊急車両情を取得可能である。緊急車両検出部65は、例えばパターンマッチング等の手法を用いて、カメラユニット31による撮像データに写る緊急車両Qsを抽出することで、緊急車両Qsの接近を検知する。緊急車両検出部65は、撮像データに写る緊急車両Qsの位置及びサイズの変化を経時的に追跡し、緊急車両Qsについての詳細情報を生成する。
 さらに、緊急車両検出部65は、マイクロフォン33によって集音された環境音から、緊急車両Qsの発するサイレンの音を抽出する。緊急車両検出部65は、予め規定されたパターンのサイレン音を環境音から抽出した場合、緊急車両Qsの接近を検知する。緊急車両検出部65は、サイレン音の音量及び周波数の変化から、緊急車両Qsについて詳細情報を生成する。
 また緊急車両検出部65は、緊急車両Qsの拡声器から発せられた「救急車が通ります」及び「交差点に進入します」等の音声を認識する。緊急車両検出部65は、認識した音声を文字化した文字データを生成し、HCU100に提供可能である。
 レーン把握部66は、緊急車両検出部65にて把握された緊急車両Qsの位置情報に基づき、緊急車両Qsが走行する緊急車レーンLnq(図8参照)を特定する。レーン把握部66は、自車のロケータ情報に基づき、自車の走行する自車レーンLns(図8参照)と緊急車レーンLnqとの位置関係を把握する。具体的に、レーン把握部66は、自車レーンLnsが緊急車レーンLnq(図13参照)、隣接レーンLna(図8及び図11参照)、離間レーンLnz(図12参照)及び反対レーンLno(図18参照)のいずれであるのかを把握する。隣接レーンLnaは、緊急車レーンLnqと隣り合うレーンである。離間レーンLnzは、緊急車レーンLnqから離間したレーンである。離間レーンLnzと緊急車レーンLnqとの間には、少なくとも一つのレーンが存在している。尚、走行中の道路において、同一方向へ向かうレーンが一つである場合、緊急車レーンLnqと自車との位置関係を把握する処理は、実施されなくてもよい。この場合、緊急車レーンLnqを自車が走行中であると一義的に判定する。
 道路状況把握部67は、路車間通信を通じて取得される渋滞情報、周辺監視センサ30の検出情報及び車速情報等を組み合わせて、自車の周囲の道路状況を把握する。具体的に、道路状況把握部67は、自車が渋滞中を走行しているか否かを判定する。一例として、道路状況把握部67は、同一レーンを走行する前走車が存在しており、且つ、走行速度が所定速度(例えば、10km/h以下)である場合、渋滞中を走行していると判定する。道路状況把握部67は、渋滞判定の後、走行速度が所定速度(例えば、50km/h)を越えた場合、渋滞が解消したと判定する。
 加えて道路状況把握部67は、同一方向へ向かうレーンの全てが渋滞中であるのか、又自車レーンLnsのみが渋滞しているか否かを判定する。言い替えれば、道路状況把握部67は、緊急車両Qsの走行可能な非渋滞レーンLnp(図15参照)の有無を判定する。
 さらに道路状況把握部67は、路側帯RST(図14参照)の状態を把握可能であってもよい。一例として、道路状況把握部67は、路側帯RSTの幅及び路側帯RST上の他車両の有無を把握し、路側帯RSTを緊急車両Qsが走行できるか否かを判断する。この場合、道路状況把握部67は、路側帯RSTが非渋滞レーンとなり得るか否かを判断している。
 行動判断部62は、環境認識部61にて緊急車両Qsの接近が検知された場合、レベル3の自動運転の制限の要否、即ち、ドライバへ向けた運転交代の要請の要否を判断する。行動判断部62は、緊急車両Qsの接近に対応して自車の将来行動を判断するため、自動運転制御プログラムに基づく補助的な機能部として、自動化レベル制御部68及び許可範囲制御部69を有する。
 自動化レベル制御部68は、レベル3の自動運転が行われる自動走行期間にて、自車への緊急車両Qsの接近が検知された場合に、実施中の自動運転の継続の可否を判断する。自動化レベル制御部68は、レーン把握部66にて把握された緊急車レーンLnqの相対位置、及び道路状況把握部67にて把握された自車周囲の道路状況に基づき、レベル3の自動運転の継続可否を判断する。
 自動化レベル制御部68は、レベル3の自動運転を制限すると判断した場合、レベル3の自動走行を解除した後の自動運転の制御状態をさらに決定する。具体的に、自動化レベル制御部68は、全ての自動運転制御を終了し手動運転に切り替えるのか、或いはレベル1又はレベル2の自動運転等に切り替えるのかを、さらに判断する。尚、レベル3の自動運転を制限する処理のうちで、手動運転に切り替える処理を「中断」とする。
 自動化レベル制御部68は、レベル3の自動運転を継続すると判断した場合、自動運転に設定される車両の走行速度を維持するか否かをさらに判断する。一例として、緊急車両Qsが車両Amの隣接レーンを走行する場合、即ち、レーン把握部66にて、自車レーンLnsが隣接レーンLnaであると把握されている場合、自動化レベル制御部68は、自動運転の設定速度を所定量下げる。これにより、緊急車両Qsの接近後の設定速度は、緊急車両Qsの接近以前の設定速度よりも低く変更される。例えば高速道路を走行する場合、自動化レベル制御部68は、高速道路の法定最低速度以下に設定速度を変更可能である。ただし、車両Amの前方に他車両Axが存在する場合、自動化レベル制御部68は、減速制御を回避し、前方の他車両Axの速度に合わせる制御を行うことができる。これにより、車両Amのみが急に減速することによる不要なリスク発生が防止される。
 許可範囲制御部69は、ドライバに許可するセカンドタスクの許容範囲を制御する。許可範囲制御部69は、レベル3の自動運転が行われる自動走行期間にて、自車への緊急車両Qsの接近が検知された場合に、セカンドタスクがドライバに許可された許可状態の継続の可否を判断する。許可範囲制御部69は、自動化レベル制御部68と同様に、レーン把握部66にて把握された緊急車レーンLnqの相対位置、及び道路状況把握部67にて把握された自車周囲の道路状況に基づき、セカンドタスクの継続の可否を判断する。
 具体的に、許可範囲制御部69は、レベル3の自動運転が中断される場合、全ての種類のセカンドタスクの中断を判断する。加えて許可範囲制御部69は、自車に急な挙動変化が生じ易いシーンと判断した場合も、セカンドタスクの中断を判断する。さらに、許可範囲制御部69は、複数種類のセカンドタスクのうちで、許可対象とするセカンドタスクと、許可対象としないセカンドタスクとを指定可能であってもよい。
 許可範囲制御部69は、セカンドタスクの中断を判断した場合、車両Am、緊急車両Qs及び他車両Axの位置関係及び走行状態等に基づき、当該中断の解除条件の成立をさらに判断する。許可範囲制御部69は、一つ又は複数の解除条件を設定可能である。許可範囲制御部69は、緊急車両Qsが車両Amを追い抜いた(又は追い越した)後に所定時間が経過したことを解除条件として設定可能である。許可範囲制御部69は、車両Amを追い抜いた緊急車両Qsが当該車両Amから所定距離(以下、離間距離DSq,図9参照)以上離れたことを解除条件として設定可能である。許可範囲制御部69は、車両Amの周囲を走行する他車両Axの挙動が落ち着いたことを解除条件として設定可能である。許可範囲制御部69は、緊急車両Qsが車両Amを追い抜いた後に、車両Amが再び緊急車両Qsを追い抜いたことを解除条件として設定可能である(図10参照)。
 以上の自動化レベル制御部68による自動運転の継続可否の判断結果、許可範囲制御部69によるセカンドタスクの許可状態の継続可否の判断結果及び解除条件成立の判断結果は、行動判断部62によってHCU100に提供される。加えて、緊急車両検出部65による緊急車両Qsの接近検知の判定結果も、継続可否の判断結果と共にHCU100に提供される。尚、以下の説明では、自動運転ECU50bより提供される継続可否の判断結果と、接近検知の判定結果とを、纏めて「継続判断結果」と記載する。また、解除条件成立の判断結果を、「解除判断結果」と記載する。
 HCU100は、自動運転ECU50bより提供される継続判断結果及び解除判断結果に基づき、セカンドタスクモードDMn及び各制限表示モードDMr1~DMr3を切り替える表示制御を実施する。こうした表示制御のため、HCU100には、継続判定結果を処理する機能部として、タスク継続判断部72が提供制御プログラムに基づき、さらに構築される。
 タスク継続判断部72は、通信バス99及び情報取得部71を通じて、自動運転ECU50bより出力される継続判断結果及び解除判断結果を取得する。タスク継続判断部72は、継続判断結果に含まれた接近検知の判定結果に基づき、緊急車両Qsの接近が検知されたか否かを把握する。加えてタスク継続判断部72は、継続判断結果を参照し、セカンドタスクをドライバに許可した許可状態が継続するか否かを判断する。さらにタスク継続判断部72は、継続判断結果を参照し、自動運転ECU50bにてレベル3の自動運転が継続するか否かをさらに判断する。
 こうしたタスク継続判断部72の判断に従い、提供制御部74は、各表示デバイスの表示を制御する。提供制御部74は、タスク継続判断部72にてレベル3の自動運転又はセカンドタスクの許可状態が継続しないと判断された場合、セカンドタスクに関連してドライバに提供されるエンターテイメント系のコンテンツの表示を制限する。こうしたコンテンツの表示の制限には、後述するように、映像及び音声の少なくとも一方の再生を中断する、映像の一部を隠す、音量を下げる、並びにコンテンツそのものの表示を終了する等が含まれる。
 具体的に、提供制御部74は、セカンドタスクの許可状態が継続する場合、CID22の表示モードをセカンドタスクモードDMn(図4参照)から制限表示モードDMr1(図5参照)に切り替える。また提供制御部74は、セカンドタスクの許可状態が継続しない一方で、レベル3の自動運転が継続する場合、CID22の表示モードをセカンドタスクモードDMnから制限表示モードDMr2(図6参照)に切り替える。さらに、提供制御部74は、レベル3の自動運転が継続しない場合、CID22の表示モードをセカンドタスクモードDMnから制限表示モードDMr3(図7参照)に切り替える。
 以上のようなコンテンツ表示の制限が発生する緊急車両Qsの接近パターン及びコンテンツの表示が制限されない緊急車両Qsの接近パターンの複数の具体例を、図8~図16,図18に基づき、図3を参照しつつ、順に説明する。
 図8に示す緊急車両接近パターン1において、自車(車両Am)は、緊急車レーンLnqに隣接する隣接レーンLnaを走行している。この場合、レベル3の自動運転は、継続が許可される。一方で、セカンドタスクの継続は、制限される。一例として、緊急車レーンLnqを走行する他車両Axは、緊急車両Qsの進路確保のために、自車(車両Am)の前方へ向けて、緊急車レーンLnqから自車レーンLnsに車線変更することが想定される。こうした他車両Axの動きに対し、自動運転ECU50bは、レベル3の自動運転の設定速度を低く変更し、自車を減速させる走行制御を実施する。自動運転ECU50bは、自車レーンLnsに移動した他車両Axに自車を追従走行させるため、設定速度を下げる変更を解除してもよい。このような挙動変化の発生を予見させるべく、ドライバの注意を車外に向けさせるため、許可範囲制御部69は、セカンドタスクを中断させる判断を行う。
 提供制御部74は、自動運転ECU50bにて減速制御が実施される場合、緊急車両Qsの接近によって走行速度が下がることを伝える報知を、減速制御の開始前に実施する。加えて提供制御部74は、上記の行動判断部62の継続判断結果を受けて、CID22の表示モードを、制限表示モードDMr2(図6参照)に設定する。その結果、提供制御部74は、動画コンテンツCTVの再生の停止と、緊急車両通知MWqの表示とにより、動画コンテンツCTVの表示を制限する。
 図9及び図10に示すように、緊急車両Qsが車両Amを追い抜いた後、レベル3の自動運転が許可される一方で、セカンドタスクの利用は、所定時間、少なくとも制限される。提供制御部74は、動画コンテンツCTVの表示を制限した場合、自動化レベル制御部68にて少なくとも一つの解除条件が成立するまで、動画コンテンツCTVの表示の制限を継続する。提供制御部74は、複数の解除条件を適宜組み合わせることが可能である。
 提供制御部74は、自車を追い抜いた緊急車両Qsが離間距離DSq(図9参照)以上離れたことを解除条件とし、緊急車両Qsが自車から離間距離DSq以上離れるまで動画コンテンツCTVの表示の制限を継続する。提供制御部74は、離間距離DSqの確保に伴う解除条件の成立に基づき、セカンドタスクの利用が可能となったことをドライバに報知する。提供制御部74は、セカンドタスクの再開を指示するユーザ操作に基づき、動画コンテンツCTVの再生を開始する。
 提供制御部74は、別の一例として、緊急車両Qsが自車を追い抜いた後、故障車Ab又は事故車等の近傍に停止した緊急車両Qsを自車が再び追い抜いたことを解除条件とする(図10参照)。提供制御部74は、自車が緊急車両Qsを再び追い抜くまで動画コンテンツCTVの表示の制限を継続し、緊急車両Qsを自車が追い抜いたタイミングでセカンドタスクの許可報知を実施する。
 さらに、提供制御部74は、緊急車両Qsが自車を追い抜いた後の所定時間の経過を解除条件とし、所定時間の経過まで動画コンテンツCTVの表示の制限を継続する。加えて、提供制御部74は、自車周囲を走行する他車両Axの挙動が落ち着いたことを解除条件とし、他車両Axの挙動が落ち着くまでコンテンツの表示を制限する。例えば自動化レベル制御部68は、自車前方に他車両Axが車線変更するシーンにて、他車両Axの速度が実質一定になった場合、又は他車両Axまでの車間距離が追従走行制御の目標車間距離となった場合に、他車両Axの挙動が落ち着いたと判断する。
 図11に示す緊急車両接近パターン2では、上述の緊急車両接近パターン1(図8参照)と同様に、自車(車両Am)は隣接レーンLnaを走行している。こうした同一のシーンであっても、自動化レベル制御部68及び許可範囲制御部69は、例えば緊急車レーンLnqにて緊急車両Qsの前方を走行する他車両Axの走行状態、又はユーザによる事前設定等により、継続可否の判断結果を変更可能である。
 具体的に、緊急車両接近パターン2では、セカンドタスクの継続だけでなく、レベル3の自動運転の継続も制限される。これにより、CID22の表示モードは、制限表示モードDMr3(図7参照)に設定される。その結果、提供制御部74は、動画コンテンツCTVの再生の停止、及び動画コンテンツCTVのサブ表示域DA2の移動等により、動画コンテンツCTVの表示を制限する。加えて提供制御部74は、メータディスプレイ21及びHUD23を用いた緊急車両警告MWaの表示により、接近する緊急車両Qsの存在をドライバに警告する。提供制御部74は、緊急車両Qsが車両Amを追い抜いた後、例えば離間距離DSqが確保されたタイミングで、レベル3の自動運転が利用可能になったことを、ドライバに通知する。
 図12に示す緊急車両接近パターン3において、自車(車両Am)は、緊急車レーンLnqから離れた離間レーンLnzを走行している。この場合、レベル3の自動運転は、継続が許可される。加えて、セカンドタスクも継続が許可される。これにより、CID22の表示モードは、制限表示モードDMr1(図5参照)に設定される。以上により、動画コンテンツCTVの再生が継続される。加えて、メイン表示域DA1への緊急車両通知MWqの追加表示と、サブ表示域DA2へのバックモニタ映像BMの表示とにより、接近する緊急車両Qsの存在がドライバに報知される。
 図13に示す緊急車両接近パターン4において、自車(車両Am)は、緊急車レーンLnqを走行している。この緊急車両接近パターン4では、隣接レーンLnaへの車線変更により、緊急車レーンLnqから退避することが、自車の望ましい行動と考えられる。故に、行動判断部62では、セカンドタスクの継続だけでなく、レベル3の自動運転の継続も制限される。加えて、自動化レベル制御部68は、自動運転ECU50b又は運転支援ECU50aによるLCA機能の起動を制限する。これは、自動運転機能による車線変更には、手動運転による車線変更よりも長い時間が必要であり、LCA機能の使用が緊急車レーンLnqからの迅速な退避を妨げるためである。
 以上の緊急車両接近パターン4では、自動運転及びセカンドタスクの両方を制限する継続判断結果を受けて、CID22の表示モードは、制限表示モードDMr3(図7参照)に設定される。その結果、動画コンテンツCTVの表示が制限される。加えて、メータディスプレイ21及びHUD23による緊急車両警告MWaの表示により、接近する緊急車両Qsの存在がドライバに警告される。
 ここで、緊急車両接近パターン4において、ドライバは、運転操作の引き継ぎ要請の発生前に、自発的に制御権を取得するオーバーライドにより、隣接レーンLnaに退避する車線変更を実施し得る。この場合、レベル3の自動運転が一時停止の状態となり、行動判断部62は、手動運転又はACC機能によるレベル1の運転制御に制御状態を遷移させる。
 図14に示す緊急車両接近パターン5において、自車(車両Am)は、渋滞中を走行している。加えて緊急車両接近パターン5では、走行中の道路に含まれる全てのレーンが渋滞している。この場合、行動判断部62では、レベル3の自動運転の継続に加えて、セカンドタスクの継続も許可される。以上により、CID22の表示モードは、制限表示モードDMr1(図5参照)に設定される。その結果、動画コンテンツCTVの再生が継続される一方で、メイン表示域DA1への緊急車両通知MWqの追加表示と、サブ表示域DA2へのバックモニタ映像BMの表示とにより、接近する緊急車両Qsの存在がドライバに報知される。
 さらに、緊急車両接近パターン5では、自車と緊急車両Qsとの位置関係により、行動判断部62は、自動運転及びセカンドタスクの継続可否判断を変更する。具体的に、行動判断部62は、緊急車両Qsが自車に接近した場合、自動運転及びセカンドタスクの継続を制限する。一例として、緊急車両Qsは、路側帯RSTの走行により渋滞区間を通過できる。こうしたシーンを想定し、路側帯RSTへ向かう緊急車両Qsが自車に接近した場合、行動判断部62は、セカンドタスク及び自動運転の継続を共に制限し、ドライバに対応させる状態に切り替える。
 以上の継続判断結果を受けて、CID22の表示モードは、制限表示モードDMr3(図7参照)に設定される。その結果、動画コンテンツCTVの表示が制限される。加えて、メータディスプレイ21及びHUD23には、緊急車両警告MWaが表示される。こうしてドライバには、路側帯RSTへ向かう緊急車両Qsの進路上から退避するような対応が促される。
 図15に示す緊急車両接近パターン6において、自車(車両Am)は、渋滞中を走行している。加えて緊急車両接近パターン6では、道路に含まれる複数のレーンのうちで、自車レーンLnsのみが渋滞しており、緊急車両Qsの走行可能な非渋滞レーンLnpが存在している。この場合、レベル3の自動運転は、継続が許可される。一方で、セカンドタスクの継続は、制限される。
 一例として、緊急車両Qsが非渋滞レーンLnpに移動すると、非渋滞レーンLnpを走行していた他車両が、緊急車両Qsの進路確保のために、自車前方の渋滞列中に割り込もうとする。こうした他車両の動きがあると、自車には、急な挙動変化が生じ易い。故に、ドライバの注意を車外に向けさせるべく、許可範囲制御部69は、セカンドタスクの継続を制限する。
 以上の継続判断結果を受けて、CID22の表示モードは、制限表示モードDMr2(図6参照)に設定される。その結果、提供制御部74は、動画コンテンツCTVの再生を停止しつつ、緊急車両通知MWqを表示させて、接近する緊急車両Qsにドライバの注意を誘導する。
 図16に示す緊急車両接近パターン7において、緊急車両Qsは、本線車道から離脱予定である。一方で、自車(車両Am)は、本線車道の走行を継続する。行動判断部62は、緊急車両Qsの予定走行経路を取得している場合、緊急車両Qsの予定走行経路から自車が退避可能か否かを判断する。行動判断部62は、緊急車両Qsの予定走行経路から自車が退避可能と判断した場合、レベル3の自動運転及びセカンドタスクの許可状態を共に継続させる。
 以上の継続判断結果を受けて、CID22の表示モードは、図17に示すような制限表示モードDMr1に設定される。その結果、メイン表示域DA1に追加表示される緊急車両通知MWqと、サブ表示域DA2に表示されるバックモニタ映像BMとが、接近する緊急車両Qsの存在をドライバに報知する。緊急車両接近パターン7でも、緊急車両Qsを含んだカメラユニット31(例えば、左側方)の撮像データが自動的に選択され、バックモニタ映像BMとして表示される。
 図18に示す緊急車両接近パターン8において、緊急車両Qsは、自車(車両Am)の前方から接近している。即ち、自車レーンLnsは、緊急車レーンLnqの反対レーンLnoとなっている。行動判断部62は、緊急車両Qsが自車前方から接近しており、緊急車両Qsの走行方向が自車の走行方向と真逆であると認識している場合、レベル3の自動運転及びセカンドタスクの許可状態を共に継続させる。
 以上の継続判断結果を受けて、CID22の表示モードは、図18に示すように、制限なしのセカンドタスクモードDMnに設定される。この場合、動画コンテンツCTVの一部と重なるように、緊急車両通知MWqが一時的に表示される。緊急車両通知MWqは、制限表示モードDMr1と同様に、メイン表示域DA1の上縁近傍に横長の帯状に表示される。緊急車両通知MWqには、対向レーンを走行する緊急車両Qsの存在を報知するように、例えば「緊急車両が前方から接近しています」等のメッセージが含まれている。緊急車両Qsが前方から接近している場合の緊急車両通知MWqの表示は、所定時間(例えば、数秒程度)の経過によって終了される。こうした短時間の表示であっても、ドライバは、動画コンテンツCTVの視聴を継続しつつ、言い替えれば、周辺監視を実施することなく、緊急車両通知MWqを通じて車外の状態を把握できる。故に、緊急車両通知MWqは、ドライバに安心感を与えることができる。
 ここまで説明した各シーンにて緊急車両Qsの接近によってレベル3の自動運転が一時的に制限された場合、自動運転ECU50bは、ドライバによる復帰操作の入力に基づき、レベル3の自動運転を再開させる。また自動運転ECU50bは、環境認識部61による自車周囲の走行環境の認識に基づき、レベル3の自動運転を自動的に再開可能である。具体的に、自動運転ECU50bは、車よりも緊急車両Qsが前方に移動した場合、例えばレベル2(LTA機能による車線内走行)に制限された自動運転を、レベル3に引き上げる。また自動運転ECU50bは、緊急車レーンLnqから隣接レーンLnaに自車が車線変更した場合、元のレーンに戻った後、レベル3の自動運転を再開する。さらに、自動運転ECU50bは、自車レーンLnsを走行する一台又は複数台の前方車両(他車両Ax)の状況を監視し、一定時間、前方車両の車線変更が検知されない場合、前方車両の挙動が落ち着いたと推定し、レベル3の自動運転を再開する。以上のように、自動運転ECU50bは、手動運転からレベル3の自動運転に自動で復帰させてもよく、或いはレベル1又は2の自動運転からレベル3の自動運転に復帰させてもよい。
 次に、ここまで説明した緊急車両接近パターンを判別して継続可否を判断する各処理の詳細と、継続判断結果及び解除判断結果に基づき表示モードを切り替える各処理の詳細とを、図20~図23に基づき、図3~図19を参照しつつ、以下説明する。
 図20に示す自動運転の継続判断処理は、レベル3の自動走行期間の開始に基づき、自動運転ECU50bによって開始される。自動運転ECU50bは、レベル3の自動運転が制限されるまで、自動運転の継続判断処理を継続する。
 S101では、自車への緊急車両Qsの接近の有無を判定する。S101にて、緊急車両Qsが接近していないと判定した場合、S109に進み、レベル3の自動運転を継続させると判断し、S101に戻る。一方、S101にて、緊急車両Qsが接近していると判定した場合、S102に進む。S102では、ロケータ情報、車速情報、及び自車周囲の認識情報等、自車に関連する最新の自車情報を取得し、S103に進む。S103では、緊急車情報を取得し、S104に進む。
 S104では、緊急車両Qsと自車との位置関係を把握し、緊急車レーンLnqの反対レーンLnoを走行しているか否かを判定する。S104にて、上記の「緊急車両接近パターン8(図18参照)」のように自車が反対レーンLnoを走行しており、自車の前方から対向レーンを走行する緊急車両Qsが接近していると判定した場合、S110に進み、自動運転を継続させると判断する。一方で、S104にて、自車の後方から緊急車両Qsが接近していると判定した場合、S105に進む。
 S105では、緊急車両Qsの予定経路外に自車が退避可能か否かを判断する。S105では、S103にて取得した緊急車両Qsの予定走行経路に基づき、自車の予定走行ラインを、予定走行経路から外すことができるか否かを判定する。自車の予定走行ラインを緊急車両Qsの予定走行経路から外すことができない場合、S105にて、予定走行経路外への退避が不可能であると判定し、S106に進む。
 一方、上記の「緊急車両接近パターン7(図16参照)」のように、緊急車両Qsの予定走行経路から自車が退避可能である場合、S110に進み、自動運転を継続させると判断する。例えば交差点等において、自車が右左折等によって緊急車両Qsの予定走行経路外に退避できる場合、又は緊急車両Qsの右左折等によって自車が緊急車両Qsの予定走行経路外に退避となる場合等でも、S105からS110に進む。S110の継続判断によれば、操作実行部63は、行動判断部62にて生成された予定走行ラインに従い、予定走行経路外への退避走行を実施する。
 S106では、自車周囲の道路状況を判定する。S106にて、例えば「緊急車両接近パターン5(図14参照)」のように、自車が渋滞中を走行しており、且つ、全てのレーンが渋滞中であると判定した場合、S107に進む。
 S107では、自車から緊急車両Qsまでの距離が確保された状態か否かを判定する。S107にて、例えば路側帯RSTを走行しようとする緊急車両Qsが自車の真後ろ又は真横に接近している、言い替えれば、自車と緊急車両Qsとが道路上で隣接していると判定した場合、距離が確保されないと判定し、S111に進む。S111では、レベル3の自動運転を制限すると判断し、一連の継続判断処理を終了する。一方、S107にて、自車と緊急車両Qsとが道路上で隣接しておらず、緊急車両Qsまでの距離が確保されていると判定した場合、S110に進み、自動運転を継続させると判断する。
 またS106にて、例えば「緊急車両接近パターン6(図15参照)」のように、自車レーンLnsが渋滞している一方で、緊急車両Qsが通り抜け可能な非渋滞レーンLnpが存在すると判定した場合、S110に進み、自動運転を継続させると判断する。一方、S106にて、自車の周囲が渋滞していないと判定(非渋滞判定)した場合、S108に進む。
 S108では、緊急車レーンLnqと自車との位置関係を判定する。S108にて、例えば「緊急車両接近パターン4(図13参照)」のように、自車と緊急車両Qsとが同一レーンを走行していると判定した場合、S111に進み、レベル3の自動運転を制限すると判断し、一連の継続判断処理を終了する。
 対して、S108にて、自車が緊急車レーンLnqを走行していないと判定した場合、S109に進む。S109では、隣接レーンLnaと自車との位置関係を判定する。S109にて、例えば「緊急車両接近パターン3(図12参照)」のように、自車が離間レーンLnzを走行していると判定した場合、S110に進み、自動運転を継続させると判断する。
 尚、例えば「緊急車両接近パターン1(図8参照)」のように、自車が隣接レーンLnaを走行していても、自動運転を継続させる設定の場合、S109は、省略されてよい。この場合、自車及び緊急車両Qsが同一レーンに位置しない限り、S110にて、自動運転を継続させると判断する。
 一方、S109にて、例えば「緊急車両接近パターン2(図11参照)」のように、自車が隣接レーンLnaを走行していると判定した場合、S111に進み、レベル3の自動運転を制限すると判断し、一連の継続判断処理を終了する。
 図21に示すセカンドタスクの継続判断処理は、自動運転の継続判断処理と同様に、自動走行期間の開始に基づき、自動運転ECU50bによって開始される。自動運転ECU50bは、レベル3の自動運転が制限されるまで、自動運転の継続判断処理と併行して、セカンドタスクの継続判断処理を繰り返し開始する。
 S131では、自車への緊急車両Qsの接近の有無を判定する。S131では、緊急車両Qsが自車の後方から接近しているか否かもさらに判定する。S131にて、緊急車両Qsが後方から接近していると判定した場合、S132に進む。一方、S131にて、緊急車両Qsが接近していないと判定した場合、又は緊急車両Qsが自車の前方から接近していると判定した場合、S140に進む。
 S140では、セカンドタスクの許可状態を継続すると判断し、継続判断処理を一旦終了する。この場合、行動判断部62は、緊急車両Qsが接近していないことを示す通知、又は緊急車両Qsが前方から接近していることを示す通知を、自動運転及びセカンドタスクの継続許可を示す通知と共に含む継続判断結果を生成し、HCU100へ向けて出力する。
 S132では、自動運転の継続判断処理等により、レベル3の自動運転が解除されたか否かを判定する。S132にて、レベル3の自動運転が継続していると判定した場合、S133に進む。一方、S132にて、レベル3の自動運転が中断(解除)されたと判定した場合、S142に進む。S142では、セカンドタスクを制限(中断)させると判断し、継続判断処理を終了する。この場合、行動判断部62は、自動運転及びセカンドタスクの中断を指示する通知を、後方からの緊急車両Qsの接近を示す通知と共に含む継続判断結果を生成し、HCU100へ向けて出力する。
 S133では、自車に関連する最新の自車情報を取得し、S134に進む。S134では、緊急車情報を取得し、S135に進む。S135では、緊急車両Qsの予定経路外に自車が退避可能か否かを判断する。S135にて、緊急車両Qsの予定走行経路から自車が退避可能であると判定した場合(図16参照)、S141に進む。S141では、セカンドタスクの許可状態を継続すると判断し、継続判断処理を一旦終了する。この場合、行動判断部62は、自動運転及びセカンドタスクの継続許可を示す通知を、緊急車両Qsの接近を示す通知と共に含む継続判断結果を生成し、HCU100へ向けて出力する。
 一方、S135にて、緊急車両Qsの予定走行経路から自車が退避できないと判定した場合、S136に進む。S136では、自車周囲の道路状況を判定する。S136にて、自車が渋滞中を走行しており、且つ、全てのレーンが渋滞中であると判定した場合(図14参照)、S137に進む。
 S137では、自車から緊急車両Qsまでの距離が確保された状態か否かを判定する。S137にて、緊急車両Qsが自車の至近距離に接近していると判定した場合、S142に進み、セカンドタスクを制限させると判断し、継続判断処理を一旦終了する。一方、S137にて、緊急車両Qsまでの距離が確保されていると判定した場合、S141に進み、セカンドタスクを継続させると判断し、継続判断処理を一旦終了する。
 またS136にて、自車レーンLnsが渋滞している一方で、緊急車両Qsが通り抜け可能な非渋滞レーンLnpが存在すると判定した場合(図15参照)、S142に進み、セカンドタスクを制限させると判断する。一方、S136にて、自車の周囲の非渋滞判定を行った場合、S138に進む。
 S138では、緊急車レーンLnqと自車との位置関係を判定する。S138にて、自車と緊急車両Qsとが同一レーンを走行していると判定した場合(図13参照)、S142に進み、セカンドタスクを中断させると判断し、継続判断処理を一旦終了する。一方、S138にて、自車が緊急車レーンLnqを走行していないと判定した場合、S139に進む。
 S139では、隣接レーンLnaと自車との位置関係を判定する。S139にて自車が離間レーンLnzを走行していると判定した場合(図12参照)、S141に進み、セカンドタスクの許可状態を継続すると判断し、継続判断処理を一旦終了する。一方、S139にて、自車が隣接レーンLnaを走行していると判定した場合(図8及び図11参照)、S142に進み、セカンドタスクを中断させると判断し、継続判断処理を一旦終了する。
 図22に示す表示制御処理は、動画コンテンツCTV等のエンターテイメント系のコンテンツの表示開始に基づき、HCU100によって開始される。HCU100は、セカンドタスクが中断されるか、又はドライバによる動画コンテンツCTVの終了操作が入力されるまで、表示制御処理を繰り返し開始する。
 S151では、自動運転ECU50bより提供される継続判断結果を取得し、S152に進む。S152では、S151にて取得した継続判断結果を参照し、緊急車両Qsの接近を示す通知の有無を判定する。S152にて、緊急車両Qsの接近を示す通知がないと判定した場合、表示制御処理を一旦終了する。一方、S152にて、緊急車両Qsの接近を示す通知があると判定した場合、S153に進む。
 S153では、S151にて取得した継続判断結果を参照し、自車前方からの緊急車両Qsの接近を示す通知の有無を判定する。S153にて、緊急車両Qsが自車前方から接近していると判定した場合、S154に進む。S154では、通常のセカンドタスクモードDMnのメイン表示域DA1に緊急車両通知MWqを一時的に追加表示し(図19参照)、前方からの緊急車両Qsの接近をドライバに報知する。S154では、所定時間の経過に基づいて緊急車両通知MWqを終了し、表示制御処理を一旦終了する。
 一方、S153にて、緊急車両Qsが自車後方から接近していると判定した場合、S155に進む。S155では、S151にて取得した継続判断結果を参照し、セカンドタスクをドライバに許可した状態が継続するか否かを判断する。S155にて、セカンドタスクの許可状態が継続すると判断した場合、S156に進む。S156では、制限表示モードDMr1(図5参照)への切り替えによる緊急車両通知MWqの追加表示により、緊急車両Qsの接近をドライバに報知し、表示制御処理を一旦終了する。
 一方、S155にて、セカンドタスクの許可状態が継続しないと判断した場合、S157に進む。S157では、S151にて取得した継続判断結果を参照し、レベル3の自動運転が継続するか否かをさらに判断する。S157にて、自動運転が継続すると判断した場合、S158に進む。S158では、制限表示モードDMr2(図6参照)への切り替えにより、動画コンテンツCTVの提供を終了させる。加えてS158では、緊急車両通知MWqの追加表示により、緊急車両Qsの接近をドライバに報知し、表示制御処理を一旦終了する。
 対して、S156にて、自動運転が継続しないと判断した場合、S159に進む。S159では、制限表示モードDMr3(図7参照)への切り替えにより、動画コンテンツCTVの提供を終了させると共に、メイン表示域DA1及びサブ表示域DA2のコンテンツを入れ替える表示レイアウトの変更を実施し、S160に進む。S160では、メータディスプレイ21及びHUD23の少なくとも一方に緊急車両警告MWaを表示させて、緊急車両Qsの接近をドライバに警告し、表示制御処理を一旦終了する。
 図23に示す表示制御処理は、制限表示モードDMr1~DMr3への表示モードを切り替えに基づき、HCU100によって開始される。
 S171では、自動運転ECU50bより提供される解除判断結果を取得し、S172に進む。S172では、S171にて取得した解除判断結果を参照し、動画コンテンツCTVの表示制限の解除を許可する解除条件が成立したか否かを判定する。S172にて、予め設定された少なくとも一つの解除条件が成立していると判定した場合、S173に進む。S173では、制限表示モードDMr1~DMr3の解除を許可し、表示制御処理を終了する。この場合、自動的に又はユーザ操作に基づき、各制限表示モードDMr1~DMr3から通常のセカンドタスクモードDMnへと、表示モードが切り替えられる。一方、S172にて、解除条件が成立していないと判定した場合、S174にて制限表示モードDMr1~DMr3の継続を判定し、S171に戻る。以上により、特定の解除条件が成立するまで、動画コンテンツCTVの表示の制限が継続される。
 ここまで説明した第一実施形態のHCU100は、セカンドタスクをドライバが行っているとき、自車への緊急車両Qsの接近によってセカンドタスクの許可状態が継続しないと判断した場合、動画コンテンツCTVの表示を制限する。故に、ドライバは、セカンドタスクを実施中であっても、動画コンテンツCTVに生じる表示の制限から、緊急車両Qsの接近に気づき易くなる。以上によれば、レベル3の自動走行中に緊急車両Qsの接近があっても、ドライバに不安を与え難くすることが可能になる。
 加えて第一実施形態の提供制御部74は、動画コンテンツCTVの表示を制限した場合、少なくとも一つの解除条件が成立するまで動画コンテンツCTVの表示の制限を継続する。故に、ドライバは、動画コンテンツCTVの提供継続によって妨げられることなく、緊急車両Qsに適切な注意を向けることができる。
 また第一実施形態の提供制御部74は、緊急車両Qsが自車を追い抜いた後の所定時間の経過を解除条件とし、所定時間の経過までコンテンツの表示の制限を継続する。以上によれば、緊急車両Qsの起因する挙動変化が発生し易い期間のうちは、動画コンテンツCTVの表示制限が解除されない。故に、早期のセカンドタスクの再開によってドライバが不安になる事態は、回避され得る。
 さらに第一実施形態の提供制御部74は、自車を追い越した緊急車両Qsが離間距離DSq以上離れたことを解除条件とし、緊急車両Qsが離間距離DSq以上離れるまで動画コンテンツCTVの表示制限を継続する。こうした表示制限によっても、緊急車両Qsの起因する挙動変化が発生し易い期間のうちは、動画コンテンツCTVの表示制限が解除されない。したがって、早期のセカンドタスクの再開によってドライバが不安になる事態は、回避され得る。
 加えて第一実施形態の提供制御部74は、自車の周囲を走行する他車両Axの挙動が落ち着いたことを解除条件とし、他車両Axの挙動が落ち着くまで動画コンテンツCTVの表示制限を継続する。以上によれば、他車両Axの動きに起因した挙動変化が発生し易い期間のうちは、動画コンテンツCTVの表示制限が解除されない。したがって、早期のセカンドタスクの再開によってドライバが不安になる事態は、回避され得る。
 また第一実施形態の提供制御部74は、緊急車両Qsが自車を追い抜いた後、自車が再び緊急車両Qsを追い抜いたことを解除条件とし、緊急車両Qsを再び追い抜くまでコンテンツの表示の制限を継続する。こうした解除条件の設定によれば、故障又は事故の現場等で緊急車両Qsが停止するシーンでは、緊急車両Qsの停止をドライバに確認させたうえで、表示制限が解除され得る。その結果、ドライバは、安心してセカンドタスクを再開することができる。
 さらに第一実施形態では、対向レーンを走行する緊急車両Qsが自車の前方から接近する場合でも、この緊急車両Qsの接近が報知される。こうした報知によれば、ドライバは、セカンドタスクを継続しつつ、緊急車両Qsの接近という車外の状態を把握できる。その結果、ドライバの安心感を高めることが可能になる。
 加えて第一実施形態のタスク継続判断部72は、自動運転ECU50bにて自車への緊急車両Qsの接近が検知されると、自動運転ECU50bより取得する継続判断結果に基づき、レベル3の自動運転が継続するか否かをさらに判断する。そして、自動運転が継続しないと判断された場合(図7参照)、自動運転が継続すると判断された場合(図6参照)よりも、動画コンテンツCTVの表示が制限される。以上のように、自動運転が制限された場合に、動画コンテンツCTVの表示に強い制限をかける表示制御によれば、自発的な周辺監視の実施がドライバに強く促され得る。その結果、自動運転システム50からの運転操作の引き継ぎ要求に対し、ドライバの対応を妨げないような動画コンテンツCTVの提供が可能になる。
 また第一実施形態の自動運転ECU50bは、自車への緊急車両Qsの接近を判定した場合、レベル3の自動運転の継続可否と、セカンドタスクの許可状態の継続の可否とを判断する。故に、ドライバは、セカンドタスクを実施中であっても、レベル3の自動運転又はセカンドタスクの許可状態が継続されないことにより、緊急車両Qsの接近に気づき易くなる。以上によれば、自動走行中に緊急車両Qsの接近があっても、ドライバに不安を与え難くすることが可能になる。
 さらに第一実施形態では、自車に対する緊急車レーンLnqの相対位置に基づき、レベル3の自動運転及びセカンドタスクの継続の可否が判断される。以上によれば、緊急車両Qsの接近状況に応じて、自動運転及びセカンドタスクの継続が、適切に制限され得る。故に、ドライバに不安を与えないようにしつつ、ドライバの利便性が確保可能になる。
 具体的に第一実施形態では、緊急車両接近パターン1(図8参照)に示すように、隣接レーンLnaを自車が走行する場合、レベル3の自動運転の継続が許可される。一方で、セカンドタスクの継続は、制限される。以上によれば、ドライバの注意対象は、セカンドタスクから自車の周辺監視へと円滑に遷移し得る。その結果、例えば自車前方への他車両Axの割り込み等に起因する挙動変化に対しても、ドライバは不安を感じに難くなる。
 加えて第一実施形態では、レベル3の自動運転の継続が許可された場合でも、自動運転に設定される車両Amの走行速度が緊急車両Qsの接近以前よりも低く変更される。こうした速度抑制制御によれば、ドライバは、緊急車両Qsの接近に対応した走行制御が開始されたことを把握できる。以上によれば、緊急車両Qsの接近を認知したドライバの不安がいっそう低減され得る。
 また第一実施形態では、緊急車両接近パターン2(図11参照)に示すように、隣接レーンLnaを自車が走行する場合、レベル3の自動運転の継続が制限される。そうしたうえで、緊急車両Qsの存在がドライバに報知される。以上のように、緊急車両Qsが自車のごく近くを通過する場合、自動運転を終了させて、ドライバに周辺監視を促すことによれば、ドライバに不安を与え難くする効果がいっそう発揮され得る。
 さらに第一実施形態では、緊急車両接近パターン3(図12参照)に示すように、緊急車レーンLnqから離れた離間レーンLnzを自車が走行する場合、セカンドタスクの継続が許可される。このように、急な挙動変化の発生リスクが低いシーンでは、セカンドタスクの継続を許容することで、ドライバの高い利便性が確保され得る。加えて、セカンドタスクの継続が許可されても、緊急車両Qsの存在は、ドライバに報知される。故に、仮に挙動変化が生じた場合でも、ドライバは、挙動変化の原因を把握しているため、不安を感じ難くなる。
 加えて第一実施形態では、緊急車両接近パターン4(図13参照)に示すように、緊急車レーンLnqを自車が走行する場合、セカンドタスクの継続だけでなく、自動運転の継続も制限される。以上によれば、急な挙動変化の発生リスクが高いシーンでは、ドライバに運転操作の権限を予め引き継ぐことで、ドライバの不安が軽減され得る。
 また第一実施形態では、自車の周囲の道路状況に基づき、レベル3の自動運転及びセカンドタスクの継続の可否が判断される。故に、自動運転及びセカンドタスクの継続が、道路状況に応じて適切に制限され得る。その結果、ドライバに不安を与えないようにしつつ、ドライバの利便性も確保できる。
 具体的に、第一実施形態では、緊急車両接近パターン5(図14参照)に示すように、道路に含まれる全てのレーンが渋滞している場合、セカンドタスクの継続が許可される。加えて、緊急車両通知MWqの追加表示によって緊急車両Qsの接近がドライバに報知される。以上によれば、ドライバは、緊急車両Qsの接近を認識しつつ、動画コンテンツCTVの視聴を継続できる。その結果、ドライバの利便性が確保され易くなる。
 一方で、緊急車両Qsが自車に非常に接近すると、セカンドタスクだけでなく、レベル3の自動運転も制限される。以上のように、運転操作の権限を速やかにドライバに移譲させる処理によれば、例えば路側帯RSTを走行しようする緊急車両Qsに走行スペースを譲る等の柔軟な対応が、ドライバによって実施され得る。
 加えて第一実施形態では、緊急車両接近パターン6(図15参照)に示すように、自車レーンLnsが渋滞していても、緊急車両Qsが走行可能な非渋滞レーンLnpが存在する場合、レベル3の自動運転の継続が許可される。故に、渋滞中を走行するドライバの運転負荷が軽減され得る。一方で、セカンドタスクの継続は、制限される。故に、ドライバの注意は、自車の周囲に向くようになる。そのため、例えば自車の前方に他車両Axが割り込む等の状況に起因した挙動変化にも、ドライバは不安を感じ難くなる。
 また第一実施形態では、緊急車両接近パターン7(図16参照)に示すように、緊急車両Qsの予定走行経路が把握できており、この予定走行経路から自車が退避可能である場合、セカンドタスクの継続が許可される。以上によれば、過度なセカンドタスクの制限発生が回避されるため、ドライバの利便性が確保され易くなる。
 尚、上記実施形態では、環境認識部61が「接近判定部」に相当し、行動判断部62及びタスク継続判断部72がそれぞれ「継続判断部」に相当し、統合状態推定部73が「睡眠推定部」に相当し、提供制御部74が「提供制限部」に相当する。さらに、自動運転ECU50b及びHCU100がそれぞれ「制御装置」に相当し、動画コンテンツCTVが「コンテンツ」に相当し、セカンドタスクが「運転以外の特定行為」に相当し、離間距離DSqが「所定距離」に相当する。
 (第二実施形態)
 本開示の第二実施形態では、図3に示す自動運転ECU50bがレベル4の自動運転を実施可能である。レベル4の自動運転期間中にて、許可範囲制御部69は、動画コンテンツCTVの視聴及びスマートフォンの操等作の行為に加えて、シートベルを外した姿勢をとること及び睡眠等の行為をドライバに許可する。許可範囲制御部69は、レベル4の自動運転で走行する自車に緊急車両Qsが接近する場合、睡眠をドライバに許可した状態の継続可否を判断する。尚、自動化レベル制御部68は、緊急車両Qsが接近するシーンでも、原則的にレベル4の自動運転を継続させる。
 許可範囲制御部69は、第一実施形態にてレベル3の自動運転又はセカンドタスクが制限される緊急車両Qsの各接近シーンにおいて、睡眠を許可した状態の継続を不許可とする。許可範囲制御部69は、第一実施形態の緊急車両接近パターン1,2,4~6において、ドライバの睡眠を不許可とする。一方、セカンドタスクの実施が制限されない第一実施形態の緊急車両接近パターン3,7,8等では、許可範囲制御部69は、ドライバの睡眠の継続を許可する。即ち、許可範囲制御部69は、自車の周囲に他車両Axが存在せず、かつ、緊急車両Qsが自車両と異なる車線に存在している場合、睡眠の継続を許可する。加えて許可範囲制御部69は、緊急車両Qsが自車の対向レーンを走行していれば、実質的にどんな状況であっても、睡眠の継続を許可する。許可範囲制御部69による睡眠継続の可否判断結果は、継続判断結果及び解除判断結果等と同様に、HCU100に提供される。
 HCU100は、自動運転ECU50bによるレベル4の自動運転の起動に基づき、睡眠監視処理(図24参照)を開始する。睡眠監視処理は、タスク継続判断部72、統合状態推定部73及び提供制御部74によって実施される。睡眠監視処理により、睡眠状態からの覚醒を促す報知(以下、覚醒報知)が必要に応じて実施される。
 タスク継続判断部72は、情報取得部71を通じて、自動運転ECU50bより出力される睡眠継続の可否判断結果を取得する(S283)。タスク継続判断部72は、睡眠継続の可否判断結果を参照し、ドライバに睡眠を許可した許可状態が今後も継続するか否かを判断する(S284)。
 統合状態推定部73は、情報取得部71を通じて、睡眠状態にあるか否かを示すドライバの状態情報(以下、ドライバ睡眠情報)をドライバモニタ29より取得する(S281及びS286)。ドライバ睡眠情報は、ドライバが睡眠状態か否かを2値的に示す情報であってもよく、ドライバの睡眠状態を多段階又はスコア等で示す情報であってもよい。統合状態推定部73は、ドライバ睡眠情報を参照し、ドライバが睡眠状態にあるか覚醒状態にあるかを推定する(S282及びS287)。
 提供制御部74は、統合状態推定部73にてドライバが睡眠状態にあると判定され(S282:YES)、かつ、タスク継続判断部72にて睡眠の許可状態が継続しないと判断された場合(S284:NO)に、覚醒報知を実施する(S285)。覚醒報知は、例えばオーディオ装置24によるメッセージ音声の再生を主体としたアクチュエーションとされる。提供制御部74は、運転席の背もたれを起こす作動等を、覚醒報知としてさらに実施してもよい。提供制御部74は、覚醒報知の開始後、統合状態推定部73にてドライバが覚醒状態になったと判定された場合(S287:YES)、又はタイムアウトとなった場合に、覚醒報知を終了する(S288)。
 提供制御部74は、緊急車両Qsが接近するシーンにおいて、レベル4の自動運転の実施時における覚醒報知の開始タイミングを、レベル3の自動運転の実施時における表示制限の開始タイミングよりも早期に設定する。具体的に、緊急車両Qsの接近を判断する閾値は、レベル4の自動運転の実施時にてドライバが睡眠状態にある場合、レベル3の自動運転の実施時よりも緩和される。一例として、自車から緊急車両Qsまでの距離に基づき緊急車両Qsの接近が判断される場合、当該距離は、ドライバが睡眠状態にある場合に、レベル3の自動運転の実施時よりも長く設定される。尚、ドライバが睡眠状態にない場合、緊急車両Qsの接近を判断する閾値は、レベル4自動運転の実施時と、レベル3自動運転の実施時とで、実質同じタイミングとされてよい。
 ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏し、レベル4の自動運転の実施時におけるドライバの不安が軽減可能になる。
 加えて第二実施形態では、ドライバが睡眠状態であると推定された条件下、緊急車両Qsの接近によって睡眠の許可状態が継続しないと判断された場合に、ドライバに覚醒を促す覚醒報知が実施される。その結果、ドライバは、自動運転ECU50bによる緊急車両Qsへの対処を、ある程度覚醒した状態で見守ることができる。したがって、緊急車両Qsの接近に起因する車両Amの挙動変化に睡眠状態で遭遇してしまう事態は、回避される。
 また第二実施形態の提供制御部74は、睡眠状態にあるドライバに覚醒を促す覚醒報知を、レベル3自動運転の実施時に覚醒状態にあるドライバに緊急車両Qsの接近を知らせる接近報知(図22 S156等参照)よりも早いタイミングで実施する。こうした報知タイミングの調整によれば、ドライバには、睡眠状態から覚醒し、緊急車両Qsの接近を把握するまでの時間が十分に確保され得る。その結果、ドライバの安心感を高めることが可能になる。
 さらに第二実施形態では、自車が緊急車レーンLnqとは異なるレーンを走行し、かつ、自車の周囲に他車両Axが存在しない場合、許可範囲制御部69は、睡眠の許可状態を継続させる。以上のように、緊急車両Qsへの対応をドライバに要請する可能性が非常に低いシーンであれば、ドライバに睡眠を許可した状態が継続されてよい。こうした覚醒報知の省略によれば、レベル4の自動運転の利便性がいっそう向上する。尚、第二実施形態では、統合状態推定部73が「睡眠判定部」に相当する。
 (他の実施形態)
 以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態の変形例1では、自動運転ECU50bからHCU100に、セカンドタスクの継続可否の判断結果が出力される。提供制御部74は、タスク継続判断部72によりセカンドタスクの許可状態が継続しないと判断された場合に、動画コンテンツCTVの表示を中断する。変形例1では、レベル3の自動運転が継続するか否かに関わらず、提供制御部74は、制限表示モードDMr3に設定し、ドライバにて実施中のセカンドタスクを終了させる。以上の変形例1のように、エンターテイメント系のコンテンツの再生を中断させる表示モードは、一つのみであってもよい。又は、エンターテイメント系のコンテンツの再生を中断させる表示モードは、三つ以上準備されていてもよい。
 上記実施形態の変形例2では、レベル3の自動運転及びセカンドタスクの継続可否の判断に、緊急車レーンLnqと自車との位置関係が用いられる一方で、自車周囲の道路状況は用いられない。対して、上記実施形態の変形例3では、自動運転及びセカンドタスクの継続可否の判断に、自車周囲の道路状況が用いられる一方で、緊急車レーンLnqと自車との位置関係は用いられない。
 上記実施形態の変形例4では、緊急車両Qsの接近を報知するタイミングが、自車が渋滞中を走行しているか否かによって変更される。緊急車両Qsの接近を報知するタイミングは、自動運転システム50からの運転交代の要請にドライバが対応する時間(例えば、13秒程度)を確保可能なタイミングとされる。故に、自車が渋滞中を走行する場合、提供制御部74は、通常よりも、緊急車両Qsの接近を報知するタイミングを遅くする。
 さらに、提供制御部74は、緊急車情報の取得経路に応じて、緊急車両Qsの接近を報知するタイミングを変更してもよい。一例として、周辺監視センサ30の検出情報から緊急車両Qsの接近を判定した場合、提供制御部74は、直ちに緊急車両Qsの接近をドライバに報知する。一方で、路車間通信による取得情報に基づき緊急車両Qsの接近を判定した場合、提供制御部74は、緊急車両Qsから自車までの距離が所定距離(例えば1km程度)未満となったタイミングで、緊急車両Qsの接近をドライバに報知する。
 上記実施形態の変形例5では、緊急車両通知MWq及び緊急車両警告MWaに規定以外の文字メッセージが表示される。詳記すると、緊急車両検出部65は、緊急車両Qsから発せられた音声を認識し、その文字データをHCU100に提供可能である。提供制御部74は、取得した文字データに基づくメッセージ文を、緊急車両通知MWq及び緊急車両警告MWaに表示させる。
 上記実施形態では、動画コンテンツCTVの再生を一時停止させる処理により、コンテンツの表示が制限されていた。しかし、コンテンツの表示を制限する手法は、適宜変更可能である。一例として、上記実施形態の変形例6では、制限表示モードDMr2にて、動画コンテンツCTVをグレーダウンさせる表示処理が、コンテンツの表示の制限として実施される。また、上記実施形態の変形例7では、制限表示モードDMr2及び制限表示モードDMr3の少なくとも一方にて、動画コンテンツCTVの表示中央を覆い隠すように、警告メッセージを含んだウィンドウが重ねられる。
 上記第一実施形態にて設定された表示制限を解除する条件の組み合わせは、適宜変更されてよい。例えば、上述した四つの解除条件の少なくとも一つが成立した場合に、動画コンテンツCTVの表示制限が解除されてよい。また、一部の解除条件が省略されてもよい。一例として、上記実施形態の変形例8では、所定時間が経過し、かつ、離間距離DSqが確保された場合、又は緊急車両Qsを追い越した場合に、表示制限が解除される。さらに、上記実施形態の変形例9では、自車周囲の他車両Axの挙動が落ち着いた場合、追い越し後の経過時間及び緊急車両Qsまでの距離に関係なく、表示制限が解除される。
 上記第二実施形態の変形例10では、ドライバが睡眠状態にある場合の覚醒報知が、緊急車両Qsの接近報知と実質同じタイミングで実施される。この場合、緊急車両Qsの接近報知が、覚醒報知を兼ねていてもよい。また、上記第二実施形態の変形例11では、緊急車両Qsが自車の後方から接近している場合、自車レールの位置や他車両Axの有無に関わらず、睡眠の継続が不許可とされる。さらに、上記実施形態の変形例12では、自車前方から接近する緊急車両Qsの報知が省略される。
 セカンドタスクに関連するコンテンツを表示する表示デバイスは、CID22に限定されない。例えば、メータディスプレイ21及びHUD23が、エンターテイメント系のコンテンツの提供に用いられてよい。さらに、電子ミラーシステムの各ディスプレイEMB,EML,EMRが、コンテンツの提供に用いられてよい。また、コンテンツを表示させる表示デバイスは、ドライバによって選択可能であってもよい。
 加えて、各表示デバイスに表示される各画像の形状、発光色、表示位置等は、適宜変更されてよい。また、各表示デバイスに表示されるメッセージの言語の種類は、ドライバ等のユーザ設定、並びに車両Amが使用される国及び地域等の設定に基づき、適宜変更されてよい。同様に、オーディオ装置24によって再生される音声メッセージの言語の種類も、適宜変更されてよい。
 ドライバに許可されるセカンドタスクは、上述の行為に限定されず、車両Amが使用される国及び地域の道路交通法等の法規に応じて、適宜変更されてよい。
 上記実施形態の変形例13では、メータディスプレイ21、CID22及びHUD23のいずれか一つが、HCU100と一体的に構成されている。言い替えれば、HCU100の処理機能は、いずれか一つの表示デバイスの制御回路に実装されている。こうした変形例13では、HCU100の処理機能を含んだ表示デバイスが「制御装置」に相当する。
 上記実施形態の自動運転システム50には、運転支援ECU50a及び自動運転ECU50bという2つの車載ECUが設けられていた。しかし、運転支援ECU50a及び自動運転ECU50bの各機能を備えた一つの車載ECUが、自動運転システム50を構築していてもよい。さらに、上記実施形態の自動運転ECU50b及びHCU100の各機能は、一つの車載ECUに実装されていてもよい。
 上記実施形態にて、自動運転ECU50b及びHCU100のそれぞれによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
 また、上記の制御方法を実現可能なプログラム等を記憶する記憶媒体(持続的有形コンピュータ読み取り媒体,non-transitory tangible storage medium)の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、自動運転ECU又はHCUの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、自動運転ECU又はHCUへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
 本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (23)

  1.  ドライバによる周辺監視義務のない自動運転を実施可能な車両(Am)において用いられる制御装置であって、
     前記自動運転が行われる自動走行期間にて、前記車両である自車への緊急車両(Qs)の接近が検知された場合に、運転以外の特定行為を前記ドライバに許可した状態が継続するか否かを判断する継続判断部(72)と、
     前記継続判断部により前記特定行為の許可状態が継続しないと判断された場合に、前記ドライバに提供されるコンテンツ(CTV)の表示を制限する提供制限部(74)と、
     を備える制御装置。
  2.  前記提供制限部は、前記コンテンツの表示を制限した場合、少なくとも一つの解除条件が成立するまで前記コンテンツの表示の制限を継続する請求項1に記載の制御装置。
  3.  前記提供制限部は、前記緊急車両が前記自車を追い抜いた後の所定時間の経過を前記解除条件とし、前記所定時間の経過まで前記コンテンツの表示の制限を継続する請求項2に記載の制御装置。
  4.  前記提供制限部は、前記自車を追い抜いた前記緊急車両が所定距離(DSq)以上離れたことを前記解除条件とし、前記緊急車両が前記所定距離以上離れるまで前記コンテンツの表示の制限を継続する請求項2又は3に記載の制御装置。
  5.  前記提供制限部は、前記自車の周囲を走行する他車両の挙動が落ち着いたことを前記解除条件とし、前記他車両の挙動が落ち着くまで前記コンテンツの表示の制限を継続する請求項2~4のいずれか一項に記載の制御装置。
  6.  前記提供制限部は、前記緊急車両が前記自車を追い抜いた後、前記自車が再び前記緊急車両を追い抜いたことを前記解除条件とし、前記緊急車両を再び追い抜くまで前記コンテンツの表示の制限を継続する請求項2~5のいずれか一項に記載の制御装置。
  7.  前記ドライバが睡眠状態にあるか否かを推定する睡眠推定部(73)、をさらに備え、
     前記継続判断部は、前記ドライバに睡眠を許可した状態が継続するか否かを判断し、
     前記提供制限部は、前記ドライバが睡眠状態にあると推定された条件下、前記緊急車両の接近によって睡眠の許可状態が継続しないと判断された場合に、前記ドライバに覚醒を促す報知を実施する請求項1~6のいずれか一項に記載の制御装置。
  8.  前記提供制限部は、睡眠状態にある前記ドライバに覚醒を促す報知を、覚醒状態にある前記ドライバに前記緊急車両の接近を知らせる報知よりも早いタイミングで実施する請求項7に記載の制御装置。
  9.  前記提供制限部は、対向レーンを走行する前記緊急車両が前記自車の前方から接近する場合、前記緊急車両の接近を報知する請求項1~8のいずれか一項に記載の制御装置。
  10.  前記継続判断部は、前記自車への前記緊急車両の接近が検知された場合に、前記自動運転が継続するか否かをさらに判断し、
     前記提供制限部は、前記継続判断部により前記自動運転が継続しないと判断された場合に、前記自動運転が継続すると判断された場合よりも、前記コンテンツの表示を制限する請求項1~9のいずれか一項に記載の制御装置。
  11.  ドライバによる周辺監視義務のない自動運転を実施可能な車両(Am)において用いられる制御装置であって、
     前記自動運転が行われる自動走行期間にて、前記車両である自車への緊急車両(Qs)の接近の有無を判定する接近判定部(61)と、
     前記接近判定部により前記緊急車両の接近が判定された場合に、前記自動運転の継続の可否と、運転以外の特定行為が前記ドライバに許可された状態の継続の可否とを判断する継続判断部(62)と、
     を備える制御装置。
  12.  前記特定行為の継続の可否及び前記自動運転の継続の可否の少なくとも一方は、前記緊急車両が走行する緊急車レーン(Lnq)の相対位置に基づき判断される請求項10又は11に記載の制御装置。
  13.  前記緊急車レーンに隣接する隣接レーン(Lna)を前記自車が走行する場合、前記特定行為の継続が制限され、且つ、前記自動運転の継続が許可される請求項12に記載の制御装置。
  14.  前記自動運転の継続が許可された場合、前記自動運転に設定される前記車両の走行速度が前記緊急車両の接近以前よりも低く変更される請求項13に記載の制御装置。
  15.  前記緊急車レーンに隣接する隣接レーン(Lna)を前記自車が走行する場合、前記自動運転の継続が制限され、且つ、前記緊急車両の存在が前記ドライバに報知される請求項12に記載の制御装置。
  16.  前記緊急車レーンから離れた離間レーン(Lnz)を前記自車が走行する場合、前記特定行為の継続が許可され、且つ、前記緊急車両の存在が前記ドライバに報知される請求項12~15のいずれか一項に記載の制御装置。
  17.  前記緊急車レーンを前記自車が走行する場合、前記特定行為の継続が制限され、且つ、前記自動運転の継続が制限される請求項12~16のいずれか一項に記載の制御装置。
  18.  前記自車が前記緊急車レーンとは異なるレーンを走行し、かつ、前記自車の周囲に他車両が存在しない場合、睡眠の許可状態が継続される請求項12~17のいずれか一項に記載の制御装置。
  19.  前記特定行為の継続の可否及び前記自動運転の継続の可否の少なくとも一方は、前記自車が走行する道路の状況に基づき判断される請求項10~18のいずれか一項に記載の制御装置。
  20.  前記道路に含まれる全てのレーンが渋滞している場合、前記特定行為の継続が許可され、且つ、前記緊急車両の存在が前記ドライバに報知される請求項19に記載の制御装置。
  21.  前記道路に含まれるレーンのうちで前記自車が走行する自車レーンが渋滞しており、且つ、前記緊急車両が走行可能な非渋滞レーン(Lnp)が前記道路に存在する場合、前記特定行為の継続が制限され、且つ、前記自動運転の継続が許可される請求項19又は20に記載の制御装置。
  22.  ドライバによる周辺監視義務のない自動運転を実施可能な車両(Am)において用いられる制御プログラムであって、
     少なくとも一つの処理部(11)に、
     前記自動運転が行われる自動走行期間にて、前記車両である自車への緊急車両(Qs)の接近が検知された場合に、運転以外の特定行為を前記ドライバに許可した状態が継続するか否かを判断し(S155)、
     前記特定行為の許可状態が継続しないと判断した場合に、前記ドライバに提供されるコンテンツ(CTV)の表示を制限する(S158,S159)、
     ことを含む処理を実行させる制御プログラム。
  23.  ドライバによる周辺監視義務のない自動運転を実施可能な車両(Am)において用いられる制御プログラムであって、
     少なくとも一つの処理部(51)に、
     前記自動運転が行われる自動走行期間にて、前記車両である自車への緊急車両(Qs)の接近の有無を判定し(S101,S131)と、
     前記緊急車両の接近を判定した場合に、前記自動運転の継続の可否と、運転以外の特定行為が前記ドライバに許可された状態の継続の可否とを判断する(S106~S109,S136~S139)、
     ことを含む処理を実行させる制御プログラム。
PCT/JP2021/010173 2020-04-16 2021-03-12 制御装置及び制御プログラム WO2021210316A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112021002344.6T DE112021002344T5 (de) 2020-04-16 2021-03-12 Steuervorrichtung und steuerprogramm
US17/963,677 US20230030288A1 (en) 2020-04-16 2022-10-11 Control device and control program product

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020073643 2020-04-16
JP2020-073643 2020-04-16
JP2021031852A JP7347459B2 (ja) 2020-04-16 2021-03-01 制御装置及び制御プログラム
JP2021-031852 2021-03-01

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/963,677 Continuation US20230030288A1 (en) 2020-04-16 2022-10-11 Control device and control program product

Publications (1)

Publication Number Publication Date
WO2021210316A1 true WO2021210316A1 (ja) 2021-10-21

Family

ID=78084776

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010173 WO2021210316A1 (ja) 2020-04-16 2021-03-12 制御装置及び制御プログラム

Country Status (4)

Country Link
US (1) US20230030288A1 (ja)
JP (1) JP2023160924A (ja)
DE (1) DE112021002344T5 (ja)
WO (1) WO2021210316A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200166924A1 (en) * 2017-08-07 2020-05-28 Nissan North America, Inc. Autonomous vehicle notification system and method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210103747A1 (en) * 2020-12-17 2021-04-08 Hassnaa Moustafa Audio-visual and cooperative recognition of vehicles
US11964611B2 (en) * 2022-01-04 2024-04-23 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous cabin lighting systems for vehicles

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306329A (ja) * 2007-06-06 2008-12-18 Nec Corp サウンド出力システム及びこのシステムの制御方法
JP2017024521A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 運転支援制御装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017102664A (ja) * 2015-12-01 2017-06-08 株式会社デンソー 情報伝達装置及びプログラム
JP2018041383A (ja) * 2016-09-09 2018-03-15 株式会社 ミックウェア 通信装置、通信プログラム及び通信プログラムを記録した記録媒体
US20180268690A1 (en) * 2017-03-17 2018-09-20 Echostar Technologies International Corporation Emergency vehicle notification system
JP2020050109A (ja) * 2018-09-26 2020-04-02 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4159795A1 (en) 2014-05-21 2023-04-05 ICD-Therapeutics GmbH Therapeutic conjugates with sulfated dendrimers for intracellular targeting
JP6439667B2 (ja) 2015-12-11 2018-12-19 トヨタ自動車株式会社 車載警告システム
JP6664765B1 (ja) 2019-08-16 2020-03-13 朝日企業株式会社 スクリーン回転式除塵機

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306329A (ja) * 2007-06-06 2008-12-18 Nec Corp サウンド出力システム及びこのシステムの制御方法
JP2017024521A (ja) * 2015-07-21 2017-02-02 株式会社デンソー 運転支援制御装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017102664A (ja) * 2015-12-01 2017-06-08 株式会社デンソー 情報伝達装置及びプログラム
JP2018041383A (ja) * 2016-09-09 2018-03-15 株式会社 ミックウェア 通信装置、通信プログラム及び通信プログラムを記録した記録媒体
US20180268690A1 (en) * 2017-03-17 2018-09-20 Echostar Technologies International Corporation Emergency vehicle notification system
JP2020050109A (ja) * 2018-09-26 2020-04-02 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200166924A1 (en) * 2017-08-07 2020-05-28 Nissan North America, Inc. Autonomous vehicle notification system and method

Also Published As

Publication number Publication date
JP2023160924A (ja) 2023-11-02
US20230030288A1 (en) 2023-02-02
DE112021002344T5 (de) 2023-03-09

Similar Documents

Publication Publication Date Title
JP7024806B2 (ja) 情報提示装置
WO2021210316A1 (ja) 制御装置及び制御プログラム
JP6519435B2 (ja) 報知管理装置及び報知管理方法
US20220340166A1 (en) Presentation control device, presentation control program, and driving control device
JP7119653B2 (ja) 車両制御装置
WO2021200340A1 (ja) 提示制御装置及び提示制御プログラム
CN117203112A (zh) 提示控制装置、提示控制程序、自动驾驶控制装置以及自动驾驶控制程序
US20240010216A1 (en) Automated driving control device, non-transitory computer-readable storage medium storing automated driving control program, presentation control device, and non-transitory computer-readable storage medium storing presentation control program
US20230356746A1 (en) Presentation control device and non-transitory computer readable medium
JP7347459B2 (ja) 制御装置及び制御プログラム
JP7338653B2 (ja) 提示制御装置及び提示制御プログラム
WO2022209459A1 (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
JP7512998B2 (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
WO2022244548A1 (ja) 自動運転制御装置、及び自動運転制御プログラム
JP7334768B2 (ja) 提示制御装置及び提示制御プログラム
US20230311950A1 (en) Automated driving control device and storage medium storing automated driving control program
US20240190465A1 (en) Autonomous driving control device and computer readable medium
WO2022215443A1 (ja) 機能制御装置、及び機能制御プログラム
WO2022249837A1 (ja) 機能制御装置、機能制御プログラム、自動運転制御装置、及び自動運転制御プログラム
JP2022151544A (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
JP2022176869A (ja) 自動運転制御装置、及び自動運転制御プログラム
JP2022155463A (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
WO2022220051A1 (ja) 自動運転制御装置、及び自動運転制御プログラム
WO2022255075A1 (ja) シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム
CN117136157A (zh) 自动驾驶控制装置、自动驾驶控制程序、提示控制装置以及提示控制程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21787536

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21787536

Country of ref document: EP

Kind code of ref document: A1