WO2018051816A1 - 撮像装置、信号処理装置、及び、車両制御システム - Google Patents

撮像装置、信号処理装置、及び、車両制御システム Download PDF

Info

Publication number
WO2018051816A1
WO2018051816A1 PCT/JP2017/031588 JP2017031588W WO2018051816A1 WO 2018051816 A1 WO2018051816 A1 WO 2018051816A1 JP 2017031588 W JP2017031588 W JP 2017031588W WO 2018051816 A1 WO2018051816 A1 WO 2018051816A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
object detection
road
unit
detection
Prior art date
Application number
PCT/JP2017/031588
Other languages
English (en)
French (fr)
Inventor
新之介 速水
和幸 丸川
至 清水
法子 田中
麻子 金子
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/327,011 priority Critical patent/US11142192B2/en
Priority to EP17850719.0A priority patent/EP3514780A4/en
Publication of WO2018051816A1 publication Critical patent/WO2018051816A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present technology relates to an imaging device, a signal processing device, and a vehicle control system, and in particular, an imaging device, a signal processing device, and a device that are suitable for driving support when entering the road from outside the road, and
  • the present invention relates to a vehicle control system.
  • the present technology has been made in view of such a situation, and makes it possible to appropriately support driving when a vehicle enters the road from outside the road.
  • An imaging device includes an imaging unit that images the front of a vehicle, and an object detection unit that performs an object detection process based on a captured image captured by the imaging unit, the object detection unit Changes the object detection method based on the positional relationship between the vehicle and the road on which the vehicle enters from the outside.
  • the object detection unit changes at least one of a priority detection range in which detection of an object is preferentially performed and a priority detection target in which detection is preferentially performed based on a positional relationship between the vehicle and the road. Can be made.
  • the object detection unit includes at least one of a detection process in which the road is the priority detection range and a detection process in which another vehicle is the priority detection target before the vehicle enters the road in the road. One can be done.
  • the object detection unit may be configured to approach the position where the vehicle joins in the first lane before the vehicle enters the roadway.
  • the vehicle detection process can be preferentially performed.
  • the object detection unit when the vehicle crosses the second lane in the road before joining the first lane, the second lane is further added before the vehicle enters the road. In this case, it is possible to preferentially perform the detection process of another vehicle approaching the position where the vehicle crosses.
  • the object detection unit can preferentially perform a process of detecting a situation of a joining destination where the vehicle joins the roadway.
  • the object detection unit includes at least one of a detection process in which the sidewalk is the priority detection range and a detection process in which a pedestrian is the priority detection target before the vehicle enters the sidewalk in the road. One can be done.
  • the imaging unit is provided with a plurality of cameras having different imaging ranges, and the object detection unit is configured to preferentially change the camera used for object detection processing based on a positional relationship between the vehicle and the road. Can do.
  • the object detection unit can change the object detection method based on the distance between the vehicle and the road.
  • a signal processing device includes an object detection unit that performs an object detection process based on a captured image obtained by capturing the front of the vehicle, and the object detection unit includes the vehicle and the vehicle from outside.
  • the object detection method is changed based on the positional relationship with the approaching road.
  • a vehicle control system includes an imaging unit that images the front of a vehicle, an object detection unit that performs an object detection process based on a captured image captured by the imaging unit, and the object detection unit.
  • a vehicle control unit that controls the vehicle based on a detection result of the object, and the object detection unit detects the object based on a positional relationship between the vehicle and a road from which the vehicle enters from the outside. To change.
  • the object detection unit changes at least one of a priority detection range in which detection of an object is preferentially performed and a priority detection target in which detection is preferentially performed based on a positional relationship between the vehicle and the road. Can be made.
  • the object detection unit includes at least one of a detection process in which the road is the priority detection range and a detection process in which another vehicle is the priority detection target before the vehicle enters the road in the road. And when the obstacle is detected on the roadway, the vehicle control unit performs at least one of stopping the vehicle from entering the roadway and warning the driver. Can control the vehicle.
  • the vehicle control unit may control the vehicle so as to present guidance for joining the vehicle to the roadway when no obstacle is detected on the roadway.
  • the vehicle control unit can change the content of the guidance based on the driving skill of the driver.
  • the object detection unit preferentially performs a process of detecting a situation of the joining destination where the vehicle joins the roadway, and the vehicle control unit causes the vehicle control unit to detect the joining destination. Based on the situation, the vehicle can be controlled to perform at least one of control of traveling of the vehicle and warning to the driver.
  • the object detection unit includes at least one of a detection process in which the sidewalk is the priority detection range and a detection process in which a pedestrian is the priority detection target before the vehicle enters the sidewalk in the road.
  • the vehicle control unit performs at least one of stopping the entry of the vehicle to the sidewalk and warning the driver. The vehicle can be controlled.
  • a plurality of object detection sensors having different detection ranges are further provided, and the object detection unit is further configured to perform object detection processing based on sensor data from the plurality of object detection sensors, and the vehicle, the road, Based on the positional relationship, the object detection sensor used for the object detection process can be changed preferentially.
  • the front of the vehicle is imaged, object detection processing is performed based on the captured image, and based on the positional relationship between the vehicle and the road on which the vehicle enters from the outside.
  • the object detection method is changed.
  • object detection processing is performed based on a captured image obtained by imaging the front of the vehicle, and object detection is performed based on a positional relationship between the vehicle and a road on which the vehicle enters from the outside.
  • the method is changed.
  • the front of the vehicle is imaged, object detection processing is performed based on the captured image, the vehicle is controlled based on the detection result of the object, and the vehicle The object detection method is changed based on the positional relationship between the vehicle and the road where the vehicle enters from the outside.
  • an object in front of the vehicle can be detected.
  • an object in front of the vehicle is detected by a different detection method depending on the positional relationship between the vehicle and the road. As a result, driving assistance can be performed appropriately.
  • Driving support refers to travel control performed when driving a vehicle in any driving mode such as support driving or autonomous driving, but in the following, when the vehicle to which this technology is applied is performing support driving, The description will be continued by taking the case where the driving support process is executed as appropriate as an example.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a vehicle to which the present technology is applied.
  • a front sensing camera 21 includes a front sensing camera 21, a front camera ECU (Electronic Control Unit) 22, a position information acquisition unit 23, a display unit 24, an audio output unit 25, a communication unit 26, a steering mechanism 27, a sensor unit 28, Side view camera 29, side view camera ECU 30, integrated ECU 31, front view camera 32, front view camera ECU 33, braking device 34, engine 35, generator 36, drive motor 37, battery 38, rear view camera 39, rear view camera ECU 40, A vehicle speed detector 41 and a headlight 42 are provided.
  • a front sensing camera 21 includes a front camera ECU (Electronic Control Unit) 22, a position information acquisition unit 23, a display unit 24, an audio output unit 25, a communication unit 26, a steering mechanism 27, a sensor unit 28, Side view camera 29, side view camera ECU 30, integrated ECU 31, front view camera 32, front view camera ECU 33, braking device 34, engine 35, generator 36, drive motor 37, battery 38, rear view camera 39, rear view camera ECU 40, A vehicle speed detector 41 and a headlight 42
  • Each unit provided in the vehicle 11 is connected to each other via a bus for CAN (Controller Area Network) communication or other connection lines.
  • CAN Controller Area Network
  • these buses and connection lines are connected to each other. It is drawn without distinction.
  • the front sensing camera 21 is composed of, for example, a camera dedicated to sensing disposed in the vicinity of a rearview mirror in a vehicle interior, and images the front of the vehicle 11 as a subject, and outputs a sensing image obtained as a result to the front camera ECU 22.
  • a plurality of front sensing cameras 21 can be provided.
  • the front camera ECU 22 appropriately performs a process for improving the image quality on the sensing image supplied from the front sensing camera 21, and then performs image recognition on the sensing image, and detects road marking lines and the like from the sensing image. An arbitrary object such as a pedestrian is detected.
  • the front camera ECU 22 outputs the detection result of the object to the CAN communication bus.
  • the position information acquisition unit 23 includes a position information measurement system such as GPS (Global Positioning System), for example, detects the position of the vehicle 11, and outputs position information indicating the detection result to a bus for CAN communication.
  • GPS Global Positioning System
  • the display unit 24 includes, for example, a liquid crystal display panel, and is disposed at a predetermined position in the vehicle interior such as the center portion of the instrument panel and the interior of the room mirror.
  • the display unit 24 may be a transmissive display or a head-up display provided so as to overlap a windshield (front glass), or a display of a car navigation system.
  • a combiner-type head-up display may also be used.
  • the display unit 24 displays various images according to the control of the integrated ECU 31.
  • the audio output unit 25 includes, for example, a speaker and a buzzer.
  • the sound output unit 25 outputs various sounds according to the control of the integrated ECU 31.
  • the communication unit 26 communicates information with peripheral vehicles, portable terminal devices owned by pedestrians, roadside devices, and external servers through various types of wireless communication such as vehicle-to-vehicle communication, vehicle-to-vehicle communication, and road-to-vehicle communication. Send and receive.
  • the communication unit 26 performs vehicle-to-vehicle communication with the surrounding vehicle, receives surrounding vehicle information including information indicating the number of passengers and the traveling state from the surrounding vehicle, and supplies the information to the integrated ECU 31.
  • the steering mechanism 27 performs control of the traveling direction of the vehicle 11, that is, steering angle control, according to the operation of the steering wheel by the driver or the control signal supplied from the integrated ECU 31.
  • the sensor unit 28 includes a plurality of object detection sensors that detect the presence / absence of an object around the vehicle 11 and the distance to the object.
  • the sensor unit 28 includes a short-range sensor (for example, an ultrasonic sensor) that detects an object close to the vehicle 11 and a long-range sensor (for example, a radar or a lidar) that detects an object far from the vehicle 11.
  • TOF Time of Flight
  • Each object detection sensor has a different detection range, detection method, application, and the like, and is used as needed.
  • Each object detection sensor of the sensor unit 28 outputs sensor data indicating the detection result to a bus for CAN communication.
  • the side view camera 29 is, for example, a camera disposed in the case of the side mirror or in the vicinity of the side mirror.
  • the side view camera 29 is an image of a side of the vehicle 11 including an area that is a driver's blind spot (hereinafter also referred to as a side image). An image is taken and supplied to the side view camera ECU 30.
  • the side view camera ECU 30 performs image processing for improving the image quality such as white balance adjustment on the side image supplied from the side view camera 29, and the obtained side image is a CAN communication bus.
  • the integrated ECU 31 is supplied via a different cable.
  • the integrated ECU 31 includes a plurality of ECUs arranged at the center of the vehicle 11 such as the operation control ECU 51 and the battery ECU 52, and controls the operation of the entire vehicle 11.
  • the operation control ECU 51 is an ECU that realizes an ADAS (Advanced Driving Assistant System) function and an autonomous driving function, and includes an object detection result from the front camera ECU 22, position information from the position information acquisition unit 23, and a communication unit.
  • the driving (running) of the vehicle 11 is controlled based on various information such as surrounding vehicle information supplied from the vehicle 26, sensor data from the sensor unit 28, vehicle speed detection result from the vehicle speed detection unit 41, and the like. That is, the operation control ECU 51 controls the operation of the vehicle 11 by controlling the steering mechanism 27, the braking device 34, the engine 35, the drive motor 37, and the like.
  • the operation control ECU 51 controls the headlight 42 based on the presence or absence of the headlight of the oncoming vehicle, which is supplied as the detection result of the object from the front camera ECU 22, and performs beam irradiation by the headlight 42 such as switching between a high beam and a low beam. To control.
  • a dedicated ECU may be provided for each function such as the ADAS function, the autonomous driving function, and the beam control.
  • the battery ECU 52 controls the power supply by the battery 38 and the like.
  • the front view camera 32 is composed of, for example, a camera disposed in the vicinity of the front grille.
  • the front view camera 32 captures a front image (hereinafter also referred to as a front image) of the vehicle 11 including an area that is a driver's blind spot, and the front view camera ECU 33 receives the image. Supply.
  • the front view camera ECU 33 performs image processing for improving the image quality such as white balance adjustment on the front image supplied from the front view camera 32, and the obtained front image is a cable different from the CAN communication bus. To the integrated ECU 31.
  • the braking device 34 operates in response to a brake operation by the driver or a control signal supplied from the integrated ECU 31 to stop or decelerate the vehicle 11.
  • the engine 35 is a power source of the vehicle 11 and is driven according to a control signal supplied from the integrated ECU 31.
  • the generator 36 is controlled by the integrated ECU 31 and generates electricity in accordance with the driving of the engine 35.
  • the driving motor 37 is a power source of the vehicle 11, receives power supplied from the generator 36 and the battery 38, and drives according to a control signal supplied from the integrated ECU 31. Whether the engine 35 is driven or the drive motor 37 is driven when the vehicle 11 is traveling is appropriately switched by the integrated ECU 31.
  • the battery 38 has, for example, a 12V battery, a 200V battery, and the like, and supplies power to each part of the vehicle 11 according to the control of the battery ECU 52.
  • the rear view camera 39 is composed of, for example, a camera arranged in the vicinity of the license plate of the tailgate.
  • the rear view camera 39 captures a rear image of the vehicle 11 (hereinafter also referred to as a rear image) including an area that is a driver's blind spot, and the rear view camera ECU 40 To supply.
  • the rear view camera 39 is activated when a shift lever (not shown) is moved to the reverse (R) position.
  • the rear view camera ECU 40 performs image processing for improving the image quality such as white balance adjustment on the rear image supplied from the rear view camera 39, and the obtained rear image via a cable different from the CAN communication bus. To the integrated ECU 31.
  • the vehicle speed detection unit 41 is a sensor that detects the vehicle speed of the vehicle 11 and supplies the detection result of the vehicle speed to the integrated ECU 31.
  • the vehicle speed detection unit 41 may calculate acceleration or a differential of acceleration (jerk) from the detection result of the vehicle speed. For example, the calculated acceleration is used for estimating the time until the vehicle 11 collides with an object.
  • the calculated jerk is used as a parameter related to the ride comfort of the occupant.
  • the headlight 42 operates according to a control signal supplied from the integrated ECU 31 and illuminates the front of the vehicle 11 by outputting a beam.
  • a front camera module 71 a communication unit 26, an operation control ECU 51, a steering mechanism 27, a sensor unit 28, a braking device 34, an engine 35, a drive motor 37, and a headlight 42 are provided.
  • a plurality of units are connected to each other by a CAN communication bus 72 to constitute a vehicle control system.
  • a CAN communication bus 72 to constitute a vehicle control system.
  • FIG. 2 the same reference numerals are given to portions corresponding to those in FIG. 1, and description thereof will be omitted as appropriate.
  • the front camera module 71 includes a lens 81, an image sensor 82, a front camera ECU 22, and an MCU (Module Control Unit) 83.
  • the front sensing camera 21 is configured by the lens 81 and the image sensor 82.
  • the image sensor 82 includes, for example, a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor.
  • a plurality of front sensing cameras 21 can be provided in the front camera module 71 by providing a plurality of sets of lenses 81 and image sensors 82.
  • the image sensor 82 captures a sensing image by photoelectrically converting light incident from the lens 81 and supplies the sensing image to the front camera ECU 22.
  • the color filter of the image sensor 82 may be a Bayer array, or an RCCC array in which three clear pixels are arrayed for one Red pixel. In the case of the RCCC array, image data specialized for sensing can be obtained.
  • the front camera ECU 22 performs image quality adjustment processing such as gain adjustment, white balance adjustment, HDR (High Dynamic Range) processing, traffic signal flicker correction processing, etc. on the sensing image supplied from the image sensor 82, Image recognition is performed on the sensing image.
  • image quality adjustment process is not limited to being executed by the front camera ECU 22, and may be executed inside the image sensor 82.
  • the image sensor 82 is preferably a stacked image sensor.
  • image recognition for example, light vehicles such as pedestrians and bicycles, vehicles, headlights, brake lights, road markings such as lane markings, detection of arbitrary objects such as curbs, road shoulders, guardrails, road signs, etc. The time until the collision is detected.
  • the detection results obtained by these image recognitions are converted into signals in a CAN communication format by the MCU 83 and output to the bus 72.
  • the information supplied from the bus 72 is converted into a signal in a format defined for the front camera module 71 by the MCU 83 and supplied to the front camera ECU 22.
  • the MCU 83 is not limited to the micro control unit, and various controllers can be applied.
  • the operation control ECU 51 appropriately controls the steering mechanism 27, the braking device 34, the engine 35, the driving motor 37, the headlight based on the detection result of the object output from the MCU 83 to the bus 72, the sensor data from the sensor unit 28, and the like. 42 and the like are controlled. As a result, operation control such as change of traveling direction, braking, acceleration, and starting, warning notification control, beam switching control, and the like are realized.
  • the driving control ECU 51 realizes an autonomous driving function or the like, for example, from the image recognition result at each time obtained by the front camera ECU 22, the driving control ECU 51 further recognizes the locus of the position of the target object.
  • the recognition result may be transmitted to an external server via the communication unit 26.
  • the server learns a deep neural network or the like, generates a necessary dictionary or the like, and transmits it to the vehicle 11.
  • the dictionary and the like thus obtained are received by the communication unit 26, and the received dictionary and the like are used for various predictions in the operation control ECU 51.
  • the driving control ECU 51 learns the driving skill and driving tendency of the driver based on the history of driving operations performed on the vehicle 11 by the driver.
  • control performed by the operation control ECU 51 control that can be realized only from the result of image recognition on the sensing image may be performed by the front camera ECU 22 instead of the operation control ECU 51.
  • the front camera ECU 22 may control the headlight 42 based on the presence or absence of the headlight of the oncoming vehicle obtained by image recognition on the sensing image.
  • the front camera ECU 22 generates a control signal instructing switching between a low beam and a high beam, and supplies the control signal to the headlight 42 via the MCU 83 and the bus 72, thereby switching the beam by the headlight 42. Control.
  • the front camera ECU 22 detects a collision warning to a target object or a driving lane (lane) based on detection results of road markings, curbs, pedestrians, and the like obtained by image recognition on the sensing image.
  • a warning notification of deviation may be generated and output to the bus 72 via the MCU 83 to control the warning notification.
  • the warning notification output from the front camera ECU 22 is supplied to the display unit 24, the audio output unit 25, and the like, for example.
  • a warning message can be displayed on the display unit 24 or a warning message can be output by the voice output unit 25.
  • an around view monitor function is realized by displaying a composite image on the display unit 24, for example, during parking.
  • the front image, the rear image, and the side image obtained by each unit are supplied to the image synthesis ECU 101 provided in the integrated ECU 31 via a cable different from the CAN communication bus. Then, a composite image is generated from these images.
  • the same reference numerals are given to portions corresponding to those in FIG. 1, and description thereof will be omitted as appropriate.
  • a side view camera 29 ⁇ / b> L disposed on the left side of the vehicle 11 and a side view camera 29 ⁇ / b> R disposed on the right side of the vehicle 11 are provided.
  • a side view camera ECU 30 ⁇ / b> L disposed on the left side of the vehicle 11 and a side view camera ECU 30 ⁇ / b> R disposed on the right side of the vehicle 11 are provided.
  • the front image obtained by the front view camera 32 is supplied from the front view camera ECU 33 to the image composition ECU 101, and the rear image obtained by the rear view camera 39 is supplied from the rear view camera ECU 40.
  • a side image obtained by the side view camera 29L (hereinafter, also referred to as a left side image in particular) is supplied from the side view camera ECU 30L to the image synthesis ECU 101, and a side image obtained by the side view camera 29R ( Hereinafter, the right side image in particular is also supplied from the side view camera ECU 30R.
  • the image composition ECU 101 Based on these supplied images, the image composition ECU 101 generates a composite image in which the front image, the rear image, the left side image, and the right side image are arranged in the corresponding regions, and displays the obtained composite image. This is supplied to the unit 24 and displayed. The driver can park safely and easily by driving the vehicle 11 while confirming the composite image displayed in this way.
  • the integrated ECU 31 may control the driving of the vehicle 11 based on the composite image and perform parking.
  • a control unit may be provided for each control content, that is, for each function. 4 that are the same as those in FIG. 2 are denoted by the same reference numerals, and description thereof is omitted as appropriate.
  • the CAN communication bus 72 includes a front camera module 71, a communication unit 26, a steering mechanism 27, a sensor unit 28, a braking device 34, an engine 35, a drive motor 37, a headlight 42, and beam control.
  • a plurality of units including a unit 111, a warning notification control unit 112, a steering control unit 113, a brake control unit 114, an accelerator control unit 115, and a learning unit 116 are connected.
  • the control performed by the operation control ECU 51 in the example of FIG. 2 includes a beam control unit 111, a warning notification control unit 112, a steering control unit 113, a brake control unit 114, an accelerator control unit 115, and a learning unit. 116 is performed in a shared manner.
  • the beam control unit 111 performs switching control between the low beam and the high beam by controlling the headlight 42 based on the result of image recognition obtained by the front camera ECU 22 or the like.
  • the warning notification control unit 112 based on the detection result of the object obtained by the front camera ECU 22, etc., displays various warnings and guidance on the display unit 24, and outputs warning messages and guidance messages on the voice output unit 25. , Control notification of warnings and various information.
  • the steering control unit 113 controls the traveling direction of the vehicle 11 by controlling the steering mechanism 27 based on the detection result of the object obtained by the front camera ECU 22, the sensor data from the sensor unit 28, and the like.
  • the brake control unit 114 controls the stopping and deceleration of the vehicle 11 by controlling the braking device 34 based on the detection result of the object obtained by the front camera ECU 22, the sensor data from the sensor unit 28, and the like.
  • the accelerator control unit 115 controls the start and acceleration of the vehicle 11 by controlling the engine 35 and the driving motor 37 based on the detection result of the object obtained by the front camera ECU 22, the sensor data from the sensor unit 28, and the like. I do.
  • the learning unit 116 learns the driving skill and driving tendency of the driver based on the history of driving operations performed on the vehicle 11 by the driver.
  • the beam control unit 111, the warning notification control unit 112, the steering control unit 113, the brake control unit 114, and the accelerator control unit 115 are collectively referred to as a vehicle control unit 121.
  • FIG. 5 and 6 schematically show a configuration example of the appearance of the front camera module 71.
  • FIG. FIG. 5 is a schematic view of the appearance of the front camera module 71 in a state where it is installed in the vicinity of the windshield 141 of the vehicle 11, and
  • FIG. 6 is a schematic view of the configuration of the main board 152 of the front camera module 71. It is a perspective view shown in FIG. In FIG. 5, for easy understanding of the drawing, the side surface of the casing 151 of the front camera module 71 is transmitted and the inside of the casing 151 is illustrated.
  • the right side of FIG. 5, that is, the windshield 141 side is the front side of the front camera module 71.
  • the front camera module 71 is installed close to the windshield 141 in the vicinity of a room mirror (not shown) of the vehicle 11.
  • the front of the housing 151 of the front camera module 71 has a shape that matches the windshield 141.
  • Each part such as the main board 152 is stored in the housing 151.
  • an image sensor substrate 153 extends vertically and horizontally from the upper surface of the main substrate 152 via flexible printed circuits (FPCs) 154-1 to 154-n. is set up.
  • FPCs flexible printed circuits
  • the image sensors 82-1 to 82-n are arranged side by side in accordance with the positions of the FPCs 154-1 to 154-n.
  • lenses 81-1 to 81-n are arranged in front of the image sensors 82-1 to 82-n and to the left and right according to the positions of the image sensors 82-1 to 82-n.
  • Incident light that has entered the lenses 81-1 to 81-n forms images on the imaging surfaces of the image sensors 82-1 to 82-n, respectively.
  • the lenses 81-1 to 81-n and the image sensors 82-1 to 82-n constitute front sensing cameras 21-1 to 21-n. Therefore, the front camera module 71 can simultaneously capture n sensing images by the front sensing cameras 21-1 to 21-n.
  • a front camera ECU 22 and an MCU 83 are arranged behind the image sensor substrate 153 on the upper surface of the main substrate 152.
  • the image sensors 82-1 to 82-n are individually electrically connected to the front camera ECU 22 via the FPCs 154-1 to 154-n.
  • the front sensing cameras 21-1 to 21-n are simply referred to as front sensing cameras 21, respectively. These are referred to as a lens 81 and an image sensor 82.
  • FIG. 7 shows an example of the detection range (imaging range) of each front sensing camera 21.
  • FIG. 7 shows an example of a detection range when three front sensing cameras 21 of the front sensing cameras 21-1 to 21-3 are provided in the front camera module 71.
  • Detection ranges A1 to A3 indicate detection ranges of the front sensing cameras 21-1 to 21-3, respectively.
  • the viewing angle of the front sensing camera 21-1 is the widest, for example, set to about 150 degrees.
  • the detection distance of the front sensing camera 21-1 is the shortest, for example, set to about 20 m.
  • the viewing angle of the front sensing camera 21-2 is the second widest, for example, set to about 50 degrees.
  • the detection distance of the front sensing camera 21-2 is the second longest, for example, set to about 120 m.
  • the viewing angle of the front sensing camera 21-3 is the narrowest, for example, set to about 25 degrees.
  • the detection distance of the front sensing camera 21-3 is the longest, for example, set to about 150 m.
  • the detection range (hereinafter referred to as the priority detection range) for preferentially detecting an object in front of the vehicle 11 can be changed. It becomes possible.
  • FIG. 8 shows an example of the functional configuration of the front camera ECU 22.
  • the front camera ECU 22 includes an image processing unit 171, an object detection unit 172, and a learning unit 173.
  • the image processing unit 171 performs, for example, gain adjustment, white balance adjustment, HDR processing, and the like on the sensing image supplied from each image sensor 82.
  • the object detection unit 172 performs image recognition on each sensing image that has been subjected to image processing by the image processing unit 171, and performs object detection processing around the vehicle 11 based on sensor data from the sensor unit 28. .
  • the object detection unit 172 detects pedestrians, light vehicles such as bicycles, vehicles, headlights, brake lights, road markings such as lane markings, curbs, road shoulders, guardrails, road signs, etc., and obstacles ahead ( For example, the time until the collision with the vehicle ahead is detected.
  • the object detection unit 172 supplies the detection result to the MCU 83.
  • the learning unit 173 performs a learning process for improving the detection accuracy of objects around the vehicle 11 based on the detection result of the object detection unit 172 and the like.
  • the object detection unit 172 performs object detection processing using the learning result from the learning unit 173 as necessary.
  • FIGS. 11 and 12 description will be made with reference to FIGS. 11 and 12 as specific examples.
  • the present technology is not limited to application to Japan and the region where vehicles are on the left side, and can also be applied to regions where the vehicle is on the right side.
  • the present technology is applied in an area where the vehicle is on the right side, for example, it can be applied by reversing the left and right of this specific example.
  • FIG. 11 and 12 show an example in which the vehicle 11 enters the road 201 from outside the road 201 ahead and merges with the roadway 212 inside the road 201.
  • FIG. 11 and 12 show an example in which the vehicle 11 enters the road 201 from outside the road 201 ahead and merges with the roadway 212 inside the road 201.
  • the road 201 extends in the left-right direction in front of the vehicle 11.
  • the road 201 includes a sidewalk 211, a roadway 212, and a sidewalk 213 from the side closer to the vehicle 11.
  • the roadway 212 is composed of four lanes of lanes 221-1 to 221-4.
  • Lane 221-1 and lane 221-2 are lanes for running from right to left in the figure, and lane 221-3 and lane 221-4 are lanes for running from left to right in the figure. is there.
  • FIG. 11 shows an example in which the vehicle 11 joins the lane 221-1 after crossing the sidewalk 211 while turning left.
  • FIG. 12 shows an example in which the vehicle 11 joins the lane 221-3 after crossing the sidewalk 211, the lane 221-1, and the lane 221-2 while making a right turn.
  • the lane where the vehicle 11 merges is referred to as a merge lane.
  • the lane 221-1 is a merge lane
  • the lane 221-3 is a merge lane.
  • a lane that traverses before the vehicle 11 joins the merge lane is referred to as a cross lane.
  • there is no crossing lane and in the example of FIG. 12, the lane 221-1 and the lane 221-2 are crossing lanes.
  • the roadway is a part of the road where the vehicle is supposed to pass. That is, in this specification, the roadway includes not only a legal roadway but also a part of the road regarded as a roadway.
  • the sidewalk is assumed to be a part of the road where pedestrians are supposed to pass. Therefore, in this specification, the sidewalk includes not only a legal sidewalk and a roadside belt but also a portion of a road that is regarded as a sidewalk. There are some sidewalks that do not assume the passage of pedestrians (for example, light vehicles such as bicycles).
  • the bicycle road is a portion of the road on which bicycles are preferentially passed. Therefore, in this specification, the bicycle road includes not only a legal bicycle road but also a portion of the road regarded as a bicycle road. There are bicycle paths that are presumed to be used not only by bicycles but also by light vehicles other than bicycles.
  • pedestrians and pedestrians are collectively referred to as pedestrians.
  • an operation for starting the vehicle 11 and starting driving for example, an ignition switch, a power switch, or a start switch of the vehicle 11 is turned on. It starts when it is done. Thereafter, the vehicle 11 starts moving forward and approaches the junction road.
  • an operation for starting the vehicle 11 and starting driving for example, an ignition switch, a power switch, or a start switch of the vehicle 11 is turned on. It starts when it is done. Thereafter, the vehicle 11 starts moving forward and approaches the junction road.
  • step S1 the vehicle 11 starts monitoring ahead. Specifically, each front sensing camera 21 starts the process of imaging the front of the vehicle 11 and supplying the sensing image to the front camera ECU 22. Each object detection sensor of the sensor unit 28 detects the presence or absence of an object around the vehicle 11 and the distance to the object, and supplies sensor data indicating the detection result to the front camera ECU 22 via the bus 72 and the MCU 83. Or the process of supplying to the beam control unit 111, the warning notification control unit 112, the steering control unit 113, the brake control unit 114, the accelerator control unit 115, the learning unit 116, and the like via the bus 72 is started. .
  • the object detection unit 172 starts the object detection process in front of the vehicle 11 based on the sensing image from each front sensing camera 21 and the sensor data from the sensor unit 28. For example, the object detection unit 172 starts a process of detecting the road configuration by detecting a road ahead of the vehicle 11 and detecting road markings such as lane markings, curbs, shoulders, guardrails, and the like. Further, the object detection unit 172 is connected to the beam control unit 111, the warning notification control unit 112, the steering control unit 113, the brake control unit 114, the accelerator control unit 115, the learning unit 116, and the like via the MCU 83 and the bus 72. The process for supplying the detection result is started.
  • step S2 the object detection unit 172 determines whether there is a sidewalk before the roadway. If the object detection unit 172 determines that there is a sidewalk in front of the roadway in front of the vehicle 11, the process proceeds to step S3. This is the case when the vehicle 11 needs to cross the sidewalk before joining the roadway.
  • step S3 the object detection unit 172 determines whether or not the distance to the sidewalk is within a predetermined range. For example, the object detection unit 172 detects the shortest distance between the sidewalk ahead of the vehicle 11 and the vehicle 11 based on the sensing image and the sensor data from the sensor unit 28. Then, the object detection unit 172 repeatedly executes the determination process in step S3 until the detected shortest distance is within a predetermined range. If it is determined that the detected shortest distance is within the predetermined range, the process proceeds to step S4.
  • step S4 the object detection unit 172 prioritizes monitoring of the sidewalk.
  • the object detection unit 172 performs at least one of detection processing for setting a sidewalk as a priority detection range and detection processing for detecting a pedestrian or the like as a detection target (hereinafter referred to as priority detection target). Start.
  • the object detection unit 172 preferentially uses a sensing image suitable for the detection processing of the object on the sidewalk among the sensing images of each front sensing camera 21, for example, an image including many sidewalks in the image. Do.
  • the object detection unit 172 also includes sensor data such as a sensor suitable for sidewalk object detection processing, for example, a sensor having a short detection distance, a sensor including a lot of sidewalks in the detection range, among the object detection sensors of the sensor unit 28.
  • the detection process is performed with priority.
  • the object detection unit 172 changes the detection range of the sensor to an area centered on the sidewalk. As a result, the sidewalk is set as the priority detection range.
  • the object detection unit 172 sets a pedestrian who may pass the sidewalk and a pedestrian equivalent (for example, a light vehicle such as a bicycle) as a target to be preferentially recognized in the image recognition. .
  • a pedestrian or the like is set as a priority detection target.
  • the detection range may or may not be limited to the priority detection range. In the latter, detection processing in the priority detection range is performed with priority, but detection processing in other ranges is also performed.
  • the detection target may or may not be limited to the priority detection range target depending on the situation, settings, and the like. In the latter, priority detection target detection processing is performed with priority, but other target detection processing is also performed.
  • step S5 the object detection unit 172 determines whether there is an obstacle on the sidewalk. For example, the object detection unit 172 detects the position, moving direction, and moving speed of an object existing on the sidewalk and in the vicinity thereof. Then, when there is an object that may collide or come into contact when the vehicle 11 enters the sidewalk as it is, the object detection unit 172 determines that there is an obstacle on the sidewalk, and the process proceeds to step S6.
  • This obstacle is assumed to be mainly pedestrians and bicycles on the sidewalk.
  • This obstacle is assumed to be mainly pedestrians and bicycles on the sidewalk.
  • a pedestrian or bicycle when a pedestrian or bicycle is moving in the direction approaching the vehicle 11 on the sidewalk 211, it is determined that there is an obstacle on the sidewalk, and the process proceeds to step S6.
  • the object detection unit 172 moves in a direction in which the pedestrian or the bicycle moves away from the vehicle 11 in the sidewalk 211 as compared to a case in which the pedestrian or the bicycle moves in the direction in which the vehicle 11 approaches in the sidewalk 211.
  • the detection range of pedestrians and bicycles in the case of being used may be set narrow. Specifically, for example, when the object detection unit 172 moves in a direction in which a pedestrian or a bicycle approaches the vehicle 11, an obstacle on the sidewalk due to the presence of the pedestrian or the like within a range of 20m from the vehicle. If there are pedestrians and bicycles moving away from the vehicle 11, it is determined that there are obstacles on the sidewalk due to the presence of pedestrians within a range of 10m from the vehicle. Also good.
  • the determination as to whether the pedestrian or bicycle is moving in a direction approaching from the vehicle 11 or moving away from the vehicle 11 is performed by, for example, the difference between a plurality of frames of the sensing image captured by each front sensing camera 21. It is executed using
  • step S6 the display unit 24 and the voice output unit 25 perform a warning to the driver by a display image, a voice message, a warning sound, or the like under the control of the warning notification control unit 112. For example, a warning is given to notify that the vehicle cannot cross the sidewalk or to alert the driver to an obstacle.
  • FIG. 13 shows an example of a method for warning the driver.
  • a pedestrian 251 is approaching from the left front of the vehicle 11.
  • the display unit 24 is configured by a transmissive display or a combiner-type head-up display that is provided above the steering wheel 261 and the dashboard 262 of the vehicle 11 so as to overlap the windshield 141. Yes. Therefore, the display unit 24 enters the driver's field of view, and the driver can easily see while driving. And the arrow which shows the position of a pedestrian is displayed on the display part 24 with the message which calls attention to a pedestrian. Thus, the driver is aware of the presence of the pedestrian 251 and the vehicle 11 is prevented from colliding with or contacting the pedestrian 251.
  • the front camera module 71 is installed under the rearview mirror 263.
  • step S7 the vehicle control unit 121 prohibits entry to the sidewalk.
  • the brake control unit 114 controls the braking device 34 to stop the vehicle 11. Thereby, the approach to the sidewalk of the vehicle 11 is stopped, and the vehicle 11 is prevented from colliding with or contacting an obstacle (for example, a pedestrian or a bicycle) on the sidewalk.
  • the accelerator control unit 115 controls the engine 35 and the drive motor 37 to prohibit the vehicle 11 from starting.
  • the brake control unit 114 may adjust the operation degree of the braking device 34 in accordance with the predicted collision time with the obstacle. For example, the brake control unit 114 controls the braking device 34 so that the maximum braking force is output when the predicted collision time to the obstacle is short. On the other hand, the brake control unit 114 controls the braking device 34 with a braking force that does not deteriorate the ride comfort of the occupant when the predicted collision time with the obstacle is relatively long.
  • the braking force that does not deteriorate the riding comfort is, for example, a braking force at which the jerk value calculated by the vehicle speed detection unit 41 is equal to or less than a predetermined threshold.
  • the predicted collision time with the obstacle is calculated based on the distance between the vehicle 11 and the obstacle, the vehicle speed of the vehicle 11, and the acceleration of the vehicle 11.
  • step S5 Thereafter, the process returns to step S5, and the processes of steps S5 to S7 are repeatedly executed until it is determined in step S5 that there is no obstacle on the sidewalk. This prohibits the vehicle 11 from entering the sidewalk while it is determined that there is an obstacle.
  • step S5 determines whether there are no obstacles on the sidewalk. If it is determined in step S5 that there are no obstacles on the sidewalk, the process proceeds to step S8.
  • step S8 the display unit 24 and the voice output unit 25 provide guidance for crossing the sidewalk using a display image, a voice message, a sound effect, and the like under the control of the warning notification control unit 112. For example, guidance for notifying that it is possible to cross the sidewalk, presentation of timing for starting the vehicle 11, and the like are performed.
  • step S9 the vehicle control unit 121 permits entry to the sidewalk. Specifically, in step S ⁇ b> 7, when entry to the sidewalk is prohibited, the accelerator control unit 115 controls the engine 35 and the drive motor 37 to cancel the prohibition of starting of the vehicle 11. Thereby, the approach to the sidewalk of the vehicle 11 is permitted. Thereafter, the vehicle 11 resumes moving forward, enters the sidewalk, and approaches the destination road.
  • step S9 if entry to the sidewalk is not prohibited, no particular processing is performed in step S9.
  • step S2 determines whether there is no sidewalk in front of the roadway. If it is determined in step S2 that there is no sidewalk in front of the roadway, the processes in steps S3 to S9 are skipped, and the process proceeds to step S10.
  • step S10 the object detection unit 172 determines whether the distance to the roadway is within a predetermined range. For example, the object detection unit 172 calculates the shortest distance between the vehicle road ahead of the vehicle 11 and the vehicle 11 based on the sensing image and the sensor data from the sensor unit 28 before the vehicle 11 enters the roadway. To detect. Then, the object detection unit 172 repeatedly executes the determination process in step S10 until the detected shortest distance is within a predetermined range. If it is determined that the detected shortest distance is within the predetermined range, the process proceeds to step S11.
  • the object detection unit 172 determines whether to cross a lane other than the merged lane. Specifically, the object detection unit 172 detects whether the vehicle 11 makes a left turn or a right turn based on the position of a direction instruction switch of the vehicle 11 (not shown). For example, the object detection unit 172 determines that the vehicle does not cross a lane other than the merged lane when making a left turn in a left-hand traffic region or when making a right turn in a right-hand traffic region.
  • the object detection unit 172 determines to cross a lane other than the merged lane when making a right turn in a left-hand traffic area or when making a left turn in a right-hand traffic area, for example, in the example of FIG.
  • a lane other than the merged lane even when making a left turn in a left-hand traffic area or right turn in a right-hand traffic area.
  • the vehicle 11 merges with a lane on the inner side of two or more lanes on one side, for example, the case where the vehicle 11 merges with the lane 221-2 across the lane 221-1 in the example of FIG.
  • the road where the vehicles 11 meet is one-way.
  • step S12 when it determines with not crossing lanes other than a merge lane, a process progresses to step S12.
  • the object detection unit 172 preferentially uses a sensing image suitable for the detection process of the object in the merged lane, for example, an image including many merged lanes in the image, from the sensing images of each front sensing camera 21.
  • the object detection unit 172 is a sensor suitable for object detection processing of the merge lane among the object detection sensors of the sensor unit 28, for example, a sensor having a long detection distance, a sensor including many merge lanes in the detection range, or the like. Detection processing is performed using data preferentially.
  • the object detection unit 172 changes the detection range of the sensor to a region centered on the merged lane when there is a sensor whose detection range can be changed among the object detection sensors of the sensor unit 28. Thereby, the merge lane is set as the priority detection range.
  • the object detection unit 172 sets a target for preferentially recognizing other vehicles in image recognition. Thereby, another vehicle is set as a priority detection target.
  • an approaching vehicle another vehicle approaching the vehicle 11 (hereinafter referred to as an approaching vehicle) in the merge lane, that is, an area behind the position where the vehicle 11 merges in the merge lane is given priority. Therefore, it is desirable to set the range in which the object is detected. Thereby, the detection process of the approaching vehicle approaching the position where the vehicle 11 joins in the merge lane is preferentially performed.
  • this obstacle is an approaching vehicle that approaches the position where the vehicle 11 joins mainly in the merging lane.
  • this obstacle is an approaching vehicle that approaches the position where the vehicle 11 joins mainly in the merging lane.
  • the object detection unit 172 gives priority to the monitoring of the crossing lane and the merged lane. Specifically, the object detection unit 172 starts at least one of a detection process in which a crossing lane and a merged lane are set as a priority detection range, and a detection process in which another vehicle is a priority detection target.
  • the detection range may or may not be limited to the priority detection range depending on the situation and settings.
  • the detection target is limited to the priority detection range target and not limited depending on the situation, settings, and the like.
  • the object to be preferentially monitored after entry to the sidewalk is permitted in step S9 until priority is given to monitoring of the merged lane in step S12 or until priority is given to monitoring of the crossing lane and the merged lane in step S14. May or may not be determined.
  • the sidewalk is preferentially monitored until the vehicle 11 enters the sidewalk, and after the vehicle 11 enters the sidewalk, the junction lane or the crossing lane is joined. You may make it preferentially monitor a lane. Or you may continue the process which gives priority to the monitoring of a sidewalk until it determines with the distance to a roadway being in the predetermined range in step S10.
  • This obstacle is assumed to be an approaching vehicle approaching a position where the vehicle 11 crosses mainly in a crossing lane and an approaching vehicle approaching a position where the vehicle 11 joins in a merging lane.
  • an approaching vehicle approaching a position where the vehicle 11 crosses mainly in a crossing lane and an approaching vehicle approaching a position where the vehicle 11 joins in a merging lane.
  • the process proceeds to step S16.
  • step S16 the display unit 24 and the voice output unit 25 warn the driver by a display image, a voice message, a warning sound, or the like under the control of the warning notification control unit 112. For example, a warning for notifying that the vehicle cannot be entered or for alerting the driver to an obstacle is given.
  • step S17 the vehicle control unit 121 prohibits entry into the roadway.
  • the brake control unit 114 controls the braking device 34 to stop the vehicle 11.
  • the vehicle 11 is prevented from entering the roadway, and the vehicle 11 is prevented from colliding with or contacting an obstacle (for example, another vehicle) on the roadway.
  • the accelerator control unit 115 controls the engine 35 and the drive motor 37 to prohibit the vehicle 11 from starting.
  • step S11 is performed until it is determined in step S13 that there are no obstacles in the merging lane, or in step S15, it is determined that there are no obstacles in the crossing lane and the merging lane.
  • the processes from S17 to S17 are repeatedly executed. Thereby, while it is determined that there is an obstacle, the vehicle 11 is prohibited from entering the roadway. In addition, when the direction in which the vehicle 11 merges is changed while entry of the vehicle 11 into the roadway is prohibited, the region to be preferentially monitored is changed.
  • step S13 if it is determined in step S13 that no obstacle exists in the merge lane, or if it is determined in step S15 that no obstacle exists in the crossing lane and the merge lane, the process proceeds to step S18.
  • step S18 the vehicle 11 permits entry into the roadway. Specifically, when entry into the roadway is prohibited in step S17, the accelerator control unit 115 controls the engine 35 and the drive motor 37 to cancel the prohibition of starting of the vehicle 11. Thereby, approach to the roadway of the vehicle 11 is permitted.
  • step S18 when entry into the roadway is not prohibited, no particular processing is performed in step S18.
  • step S19 the object detection unit 172 prioritizes monitoring of the joining destination.
  • the joining destination is a region in front of the position where the vehicles 11 join in the joining lane.
  • the object detection unit 172 starts detection processing for preferentially detecting the state of the joining destination.
  • the object detection unit 172 preferentially uses a sensing image suitable for monitoring the joining destination among the sensing images of each front sensing camera 21, for example, an image including many joining destinations in the image.
  • the object detection unit 172 is a sensor suitable for object detection processing at the joining destination among the sensor for detecting each object of the sensor unit 28, for example, a sensor having a long detection distance, a sensor including many joining destinations in the detection range, etc. Detection processing is performed using data preferentially.
  • the object detection unit 172 changes the detection range of the sensor to a region centered on the merge destination. Thereby, the merge destination is set to the priority detection range.
  • the object detection unit 172 is set as a priority detection target for vehicles, pedestrians, traffic signals, crossing roads, and the like that may exist at the junction.
  • detection processing of a vehicle, a pedestrian, a traffic signal, a pedestrian crossing, and the like ahead of the position where the vehicle 11 on the lane 221-1 joins is performed preferentially.
  • detection processing of a vehicle ahead, a pedestrian, a traffic signal, a pedestrian crossing, and the like is preferentially performed from a position where the vehicles 11 in the lane 221-3 meet.
  • step S20 the object detection unit 172 determines whether there is a parked vehicle at the junction. If it is determined that there is a parked vehicle at the junction, the process proceeds to step S21.
  • step S21 the warning notification control unit 112 generates warning information indicating that there is a parked vehicle.
  • step S20 when it is determined in step S20 that there is no parked vehicle at the joining destination, the process of step S21 is skipped, and the process proceeds to step S22.
  • step S22 the object detection unit 172 determines whether or not the joining destination is congested. If it is determined that the joining destination is congested, the process proceeds to step S23.
  • step S23 the warning notification control unit 112 generates warning information indicating that there is a traffic jam.
  • step S22 when it is determined in step S22 that the joining destination is not congested, the process of step S23 is skipped, and the process proceeds to step S24.
  • step S24 the object detection unit 172 determines whether or not there is a pedestrian or the like on the pedestrian crossing at the junction. If there is a pedestrian crossing at the junction and there are pedestrians or the like at the pedestrian crossing, the object detection unit 172 determines that there are pedestrians or the like at the pedestrian crossing at the junction, and the process proceeds to step S25.
  • step S25 the warning notification control unit 112 generates warning information indicating that there is a pedestrian or the like.
  • step S24 determines whether there are no pedestrians or the like at the pedestrian crossing at the joining destination, or if it is determined that there is no pedestrian crossing at the joining destination. Proceed to
  • step S26 the object detection unit 172 determines whether or not the traffic signal at the joining destination is permitted to pass.
  • the object detection unit 172 determines that the traffic signal at the junction is not permitted to pass when there is a traffic signal at the junction and the traffic signal is not permitted to pass (for example, when the traffic signal is yellow or red), The process proceeds to step S27.
  • step S27 the warning notification control unit 112 generates warning information indicating that the traffic signal is not permitted to pass.
  • step S26 when it is determined in step S26 that the traffic signal at the joining destination is permitted to pass (for example, when the traffic signal at the joining destination is blue), or when it is determined that there is no traffic signal at the joining destination.
  • the process of step S27 is skipped, and the process proceeds to step S28.
  • step S28 the warning notification control unit 112 determines whether there is warning information.
  • the warning notification control unit 112 determines that there is no warning information when all the processes of step S21, step S23, step S25, and step S27 are skipped, and the process proceeds to step S29.
  • step S29 the display unit 24 and the audio output unit 25 provide guidance for merging with display images, audio messages, sound effects, and the like under the control of the warning notification control unit 112. For example, the driver is notified that it is possible to join the merge lane.
  • the timing at which the vehicles 11 are merged, the speed, the direction of turning left or right, and the like are presented to the driver on the display unit 24 of FIG.
  • the merging timing is presented in a countdown format (for example, after 3 seconds, after 1 second, etc.) for the remaining time until the timing suitable for starting the vehicle 11 to join the merging lane.
  • the merging timing is presented in a sensory expression such as “soon” or “immediately”.
  • a direction to turn left or right for example, a recommended rotation angle of the steering wheel is presented.
  • the start timing, speed, direction to turn left or right for example, based on the width of the merging lane and the crossing lane, the speed of the approaching vehicle in the merging lane or the crossing lane, the step between the sidewalk and the roadway, etc. Is set. Furthermore, the starting speed may be set based on the acceleration differential (jerk) detected by the vehicle speed detector 41 in consideration of the ride comfort of the occupant.
  • jerk acceleration differential
  • step S18 It is also possible to present part or all of the guidance for joining the vehicle 11 to the joining lane before and after the process of step S18.
  • step S28 the warning notification control unit 112 determines that there is warning information when warning information is generated in at least one of steps S21, S23, S25, and S27. The process proceeds to step S30.
  • step S30 the display unit 24 and the voice output unit 25 perform a corresponding warning by using a display image, a voice message, a warning sound, or the like under the control of the warning notification control unit 112. For example, notify that there is a parked vehicle at the junction, that the junction is congested, that there is a pedestrian on the pedestrian crossing at the junction, or that the traffic signal at the junction is not permitted to drive, A warning is issued to alert the person.
  • step S29 guidance for joining the vehicle 11 to the merge lane is presented.
  • the vehicle control unit 121 controls the traveling of the vehicle 11 so as to avoid a risk factor as necessary.
  • the risk factor is, for example, collision or contact with a pedestrian parked vehicle, a congested vehicle at a merge destination, or a pedestrian crossing at a merge destination, or ignoring a traffic signal at a merge destination.
  • the brake control unit 114 controls the braking device 34 to decelerate or stop the vehicle 11, or the steering control unit 113 controls the steering mechanism 27 to control the traveling direction of the vehicle 11. This avoids risk factors.
  • the warning notification control unit 112 controls the display unit 24 and the audio output unit 25 to guide the vehicle to merge into a lane different from the traffic lane. Also good. For example, in the case of the example in FIG. 11, when the lane 221-1 is congested and the lane 221-2 is not congested, guidance is performed so as to join the lane 221-2. In the case of the example of FIG. 12, when the lane 221-3 is congested and the lane 221-4 is not congested, guidance is performed so as to join the lane 221-4.
  • step S19 may be performed at any timing before or after the vehicle 11 enters the roadway.
  • driving assistance is appropriately performed when a vehicle enters the road from outside the road.
  • the driver can easily join the vehicle 11 from the outside of the road to a desired lane in the road.
  • the object detection method may be changed based on the positional relationship between the vehicle 11 and the road other than the distance. For example, when there is a sidewalk on the road on which the vehicle 11 enters, a process of preferentially detecting a pedestrian or the like on the sidewalk, regardless of the distance between the vehicle 11 and the sidewalk, until the vehicle 11 enters the sidewalk. It may be performed. After the vehicle 11 enters the sidewalk (after the distance between the vehicle 11 and the sidewalk becomes zero), priority is given to other vehicles on the roadway regardless of the distance between the vehicle 11 and the roadway. The process of detecting automatically may be performed.
  • the priority detection area depends on whether the vehicle 11 crosses another lane. May not be changed. For example, regardless of whether or not the vehicle 11 crosses another lane, all lanes of the roadway on which the vehicle 11 enters may be set as the priority detection area.
  • the object detection process may be performed using a front image, a rear image, a side image, and the like as necessary.
  • the present technology can be applied to the case where the object detection process is performed using either the front sensing camera 21 or the object detection sensor. Further, for example, the present technology can be applied to a case where the object detection process is performed using one front sensing camera 21 without using the plurality of front sensing cameras 21. Similarly, the present technology can also be applied to a case where object detection processing is performed using a single object detection sensor without using a plurality of object detection sensors.
  • a bicycle path may be provided between a sidewalk and a roadway.
  • the road 301 in FIG. 14 includes a sidewalk 311, a bicycle path 312, a roadway 313, a bicycleway 314, and a sidewalk 315 from the side closer to the vehicle 11.
  • the road 313 includes four lanes, lanes 321-1 to 321-4.
  • the bicycle road is preferentially monitored before entering the bicycle path 312. For example, at least one of a detection process in which a bicycle path is set as a priority detection range and a detection process in which a bicycle or a similar object is set as a priority detection target is performed. If it is determined that there is an obstacle on the bicycle road, the vehicle 11 is prohibited from entering the bicycle road. If it is determined that there is no obstacle on the bicycle road, the vehicle 11 does not enter the bicycle road. Allowed.
  • the road 15 is composed of a sidewalk 361, a roadway 362, and a sidewalk 363 from the side closer to the vehicle 11.
  • the road 362 includes four lanes, lanes 371-1 to 371-4.
  • entrances 352-1 and 352-2 are provided as entrances to the road 351 on the sidewalk 361 side.
  • the lane 371-1 or 371-2 is congested on the left side of the entrance / exit 352-2.
  • the object detection unit 172 detects the positions of the entrances 352-1 and 352-2 and the traffic congestion state of the lanes 371-1 and 371-2. Then, the warning notification control unit 112 controls the display unit 24 and the audio output unit 25 based on the detection result, and presents guidance for guiding the driver to exit from the entrance 352-2.
  • the doorway may be guided to a doorway with good visibility, a pedestrian approaching on a sidewalk, or the like, which is easy to detect.
  • the vehicle 11 may perform guidance for joining the merge lane.
  • the object detection unit 172 detects an inter-vehicle distance of a vehicle traveling in a merged lane or a crossing lane, a speed of the vehicle, a vehicle that stops to give way, and the like.
  • the warning notification control part 112 controls the display part 24 and the audio
  • the 16 is composed of a sidewalk 411, a roadway 412 and a sidewalk 413 from the side closer to the vehicle 11.
  • the roadway 412 includes four lanes of lanes 421-1 to 421-4.
  • the guard rail 402 is installed outside the sidewalk 411, and the vehicle 11 needs to enter the road 401 through the gap 402 ⁇ / b> A of the guard rail 402.
  • the object detection unit 172 detects the position of the guard rail 402 and the like. Whether or not the steering control unit 113 can enter the road 401 from the gap 402 ⁇ / b> A without contacting the guard rail 402 when the steering is fully cut based on the position and posture of the vehicle 11 and the position of the guard rail 402. Determine. And when it determines with contacting the guardrail 402, the warning notification control part 112 controls the display part 24 and the audio
  • the present technology is, for example, as shown in FIG.
  • the present invention can also be applied to a case where the intersection turns left or right and merges with another intersecting road.
  • the vehicle 11 is traveling on the road 452.
  • a road 451 intersects perpendicularly to the road 452.
  • the road 451 includes a sidewalk 461, a roadway 462, and a sidewalk 463 from the side closer to the vehicle 11.
  • the roadway 462 is composed of four lanes, lanes 471-1 to 471-4.
  • a crosswalk 464 is displayed on the sidewalk 461 at a portion where the road 451 and the road 452 are connected.
  • the driving of the vehicle 11 can be supported by the processing described above with reference to FIGS. That is, before the vehicle 11 enters the pedestrian crossing 464 (the sidewalk 461), the same processing as before entering the sidewalk 211 of FIG. 11 or FIG. 12 is performed, and before the vehicle 11 enters the roadway 461, FIG. Or what is necessary is just to make it perform the process similar to before entering the roadway 212 of FIG.
  • warnings or guidance may be changed. For example, guidance for joining the merge lane may be presented only to drivers with low driving skills, and guidance may not be presented to other drivers.
  • the driving skill of the driver may be learned by the learning unit 116 as described above, or may be set by the driver himself.
  • data such as a history of driving operation of the driver may be provided from the vehicle 11 to a server (not shown), and the driving skill of the driver may be learned in the server.
  • the driver recognition camera installed in the passenger compartment the driver information registered in advance and the captured image of the driver recognition camera may be compared to set the driving skill of the driver. .
  • the object detection unit 172 may detect a staff member who performs traffic control based on the movement of the arm or the like. Then, when an attendant is detected, the driving support process is stopped, the object detection unit 172 recognizes the gesture of the attendant, and the vehicle control unit 121 travels the vehicle 11 according to the instruction by the recognized gesture. You may make it control.
  • various sensors or front cameras can be used, but it is most desirable to use a TOF sensor.
  • the learning process for the learning unit 173 of the front camera ECU 22 to determine whether or not each pedestrian or the like stops to give way to the vehicle 11 based on the way of walking, facial expression, line-of-sight direction, and the like. May be performed.
  • the object detection unit 172 detects a pedestrian or the like approaching the direction of the vehicle 11 when the vehicle 11 enters the sidewalk, whether the pedestrian or the like stops based on the learning result. It may be determined whether or not.
  • the vehicle control unit 121 may cause the vehicle 11 to enter the sidewalk without stopping the vehicle 11 from entering the sidewalk.
  • the warning notification control unit 112 may send a signal to the pedestrian by sounding a car horn (horn). Further, the warning notification control unit 112 may notify the driver that the detected pedestrian or the like is expected to stop.
  • the learning unit 173 may perform a learning process for detecting a road configuration (for example, a learning process for identifying a roadway and a sidewalk).
  • the object detection part 172 may detect the structure of the road to merge based on a learning result. Thereby, for example, it is possible to accurately detect a sidewalk on which a pedestrian or the like substantially passes on a road where the boundary between the sidewalk and the roadway is difficult to understand or a roadway where no legal sidewalk is provided.
  • the above learning process is not necessarily performed by the vehicle 11 alone.
  • data may be provided from each vehicle to a server (not shown), a learning process may be performed in the server, and a learning result may be provided from the server to each vehicle.
  • learning processing can be performed based on more data, and the detection accuracy of the road configuration can be improved.
  • the present technology can be applied to various vehicles regardless of the power source or energy supply source of the vehicle.
  • the present technology can be applied to gasoline vehicles, hybrid vehicles, plug-in hybrid vehicles, electric vehicles, fuel cell vehicles, and the like.
  • the present technology can be applied to various vehicles that travel on roadways such as buses, trucks, and motorcycles.
  • the present technology can be applied to a vehicle that performs autonomous driving (hereinafter referred to as an autonomous driving vehicle). That is, even in an autonomous vehicle, by applying the above-described technology, it is possible to avoid collision or contact with an obstacle and merge into the merge lane at an appropriate timing.
  • an autonomous driving vehicle a vehicle that performs autonomous driving
  • the start of a vehicle and control of braking are performed automatically, but about braking, you may set so that priority may be given to control by a driver
  • the passenger controls the timing of starting the autonomous driving vehicle by pressing a button for starting the autonomous driving according to the guidance by the warning notification control unit 112 or the like. You may do it.
  • FIG. 18 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 505 is further connected to the bus 504.
  • An input unit 506, an output unit 507, a recording unit 508, a communication unit 509, and a drive 510 are connected to the input / output interface 505.
  • the input unit 506 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 507 includes a display, a speaker, and the like.
  • the recording unit 508 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 509 includes a network interface or the like.
  • the drive 510 drives a removable recording medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 501 loads the program recorded in the recording unit 508 to the RAM 503 via the input / output interface 505 and the bus 504 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 501) can be provided by being recorded in a removable recording medium 511 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 508 via the input / output interface 505 by attaching the removable recording medium 511 to the drive 510. Further, the program can be received by the communication unit 509 via a wired or wireless transmission medium and installed in the recording unit 508. In addition, the program can be installed in the ROM 502 or the recording unit 508 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing. Further, the above-described processing may be performed in cooperation with a plurality of computers.
  • a computer system is composed of one or more computers that perform the above-described processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above-described flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • An imaging unit for imaging the front of the vehicle An object detection unit that performs object detection processing based on a captured image captured by the imaging unit, The object detection unit changes an object detection method based on a positional relationship between the vehicle and a road on which the vehicle enters from outside.
  • the object detection unit changes at least one of a priority detection range for preferentially detecting an object and a priority detection target for preferential detection based on a positional relationship between the vehicle and the road.
  • the object detection unit includes at least one of a detection process in which the roadway is the priority detection range and a detection process in which another vehicle is the priority detection target before the vehicle enters the roadway in the road.
  • the object detection unit may approach the position where the vehicle joins in the first lane before the vehicle enters the roadway.
  • the object detection unit In the case where the object detection unit crosses the second lane in the road before the vehicle joins the first lane, the object detection unit further includes the second lane before the vehicle enters the road.
  • the imaging apparatus according to (4), wherein the detection process of another vehicle approaching a position where the vehicle crosses is preferentially performed.
  • the object detection unit preferentially performs a process of detecting a situation of a joining destination where the vehicle joins the roadway when no obstacle is detected on the roadway. (3) to (5) Imaging device.
  • the object detection unit is at least one of a detection process in which the sidewalk is set as the priority detection range and a detection process in which a pedestrian is set as the priority detection target before the vehicle enters the sidewalk in the road.
  • the imaging device according to any one of (2) to (6).
  • the imaging unit includes a plurality of cameras with different imaging ranges, The imaging device according to any one of (1) to (7), wherein the object detection unit preferentially changes the camera used for object detection processing based on a positional relationship between the vehicle and the road. (9) The imaging apparatus according to any one of (1) to (8), wherein the object detection unit changes an object detection method based on a distance between the vehicle and the road.
  • An object detection unit that performs object detection processing based on a captured image obtained by imaging the front of the vehicle; The said object detection part changes the detection method of an object based on the positional relationship of the said vehicle and the road where the said vehicle approachs from the outside.
  • Signal processing apparatus (11) An imaging unit for imaging the front of the vehicle; An object detection unit that performs object detection processing based on a captured image captured by the imaging unit; A vehicle control unit that controls the vehicle based on the detection result of the object by the object detection unit; The object detection unit changes an object detection method based on a positional relationship between the vehicle and a road from which the vehicle enters from outside.
  • the object detection unit changes at least one of a priority detection range for preferentially detecting an object and a priority detection target for preferential detection based on a positional relationship between the vehicle and the road.
  • the object detection unit includes at least one of a detection process in which the roadway is the priority detection range and a detection process in which another vehicle is the priority detection target before the vehicle enters the roadway in the road. Perform When an obstacle is detected on the roadway, the vehicle control unit controls the vehicle to perform at least one of stopping the vehicle from entering the roadway and warning the driver.
  • the vehicle control system changes the content of the guidance based on the driving skill of the driver.
  • the object detection unit preferentially performs detection processing of a situation of a joining destination where the vehicle joins the roadway when no obstacle is detected on the roadway, The vehicle control unit controls the vehicle to perform at least one of control of traveling of the vehicle and warning to a driver based on the situation of the joining destination.
  • the vehicle control system according to any one of the above.
  • the object detection unit is at least one of a detection process in which the sidewalk is set as the priority detection range and a detection process in which a pedestrian is set as the priority detection target before the vehicle enters the sidewalk in the road.
  • the vehicle control unit controls the vehicle to perform at least one of stopping the vehicle from entering the sidewalk and warning the driver.
  • the vehicle control system according to any one of (16).
  • the imaging unit includes a plurality of cameras with different imaging ranges, The vehicle control system according to any one of (11) to (17), wherein the object detection unit preferentially changes the camera used for object detection processing based on a positional relationship between the vehicle and the road.
  • It further comprises a plurality of object detection sensors with different detection ranges, The object detection unit further performs object detection processing based on sensor data from the plurality of object detection sensors, and uses the object detection processing preferentially based on a positional relationship between the vehicle and the road.
  • the vehicle control system according to any one of (11) to (18), wherein the object detection sensor is changed.
  • 11 vehicles 21 front sensing cameras, 22 front camera ECUs, 23 position information acquisition units, 24 display units, 25 audio output units, 27 steering mechanisms, 28 sensor units, 31 integrated ECUs, 34 braking devices, 35 engines, 37 drives Motor, 51 operation control ECU, 71 front camera module, 81, 81-1 to 81-n lens, 82, 82-1 to 82-n image sensor, 101 image processing ECU, 112 warning notification control unit, 113 steering control unit , 114 brake control unit, 115 accelerator control unit, 116 learning unit, 121 vehicle control unit, 171 image processing unit, 172 object detection unit, 173 learning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本技術は、車両が道路の外から道路に進入する場合の運転の支援を適切に行うことができるようにする撮像装置、信号処理装置、及び、車両制御システムに関する。 撮像装置は、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。本技術は、例えば、運転支援を行う各種の車両に搭載する撮像装置に適用することができる。

Description

撮像装置、信号処理装置、及び、車両制御システム
　本技術は、撮像装置、信号処理装置、及び、車両制御システムに関し、特に、道路の外から道路に進入する場合の運転の支援を行う場合に用いて好適な撮像装置、信号処理装置、及び、車両制御システムに関する。
　従来、交差点に接近してから通過するまでの運転の診断を行い、交差点においてリスクの高い運転をしたと判定された場合に、交差点の通過後に、リスクの対象物の方向を表示するとともに音声メッセージを出力する技術が提案されている（例えば、特許文献１参照）。
特開２０１５－１２５５６０号公報
　しかしながら、特許文献１に記載の技術では、車両が道路の外から道路に進入する場合は想定されていない。
　本技術は、このような状況に鑑みてなされたものであり、車両が道路の外から道路に進入する場合の運転の支援を適切に行うことができるようにするものである。
　本技術の第１の側面の撮像装置は、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。
　前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更させることができる。
　前記物体検出部には、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行わせることができる。
　前記物体検出部には、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行わせることができる。
　前記物体検出部には、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行わせることができる。
　前記物体検出部には、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行わせることができる。
　前記物体検出部には、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行わせることができる。
　前記撮像部には、撮像範囲が異なる複数のカメラを設け、前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更させることができる。
　前記物体検出部には、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更させることができる。
　本技術の第２の側面の信号処理装置は、車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を備え、前記物体検出部には、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。
　本技術の第３の側面の車両制御システムは、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。
　前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更させることができる。
　前記物体検出部には、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行わせ、前記車両制御部には、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。
　前記車両制御部には、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御させることができる。
　前記車両制御部には、前記運転者の運転技量に基づいて前記案内の内容を変更させることができる。
　前記物体検出部には、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行わせ、前記車両制御部には、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。
　前記物体検出部には、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行わせ、前記車両制御部には、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。
　前記撮像部には、撮像範囲が異なる複数のカメラを設け、前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更させることができる。
　検出範囲が異なる複数の物体検出用センサをさらに設け、前記物体検出部には、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行わせるとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更させることができる。
　前記物体検出部には、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更させることができる。
　本技術の第１の側面においては、車両の前方が撮像され、撮像された撮像画像に基づいて物体検出処理が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。
　本技術の第２の側面においては、車両の前方を撮像した撮像画像に基づいて物体検出処理が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。
　本技術の第３の側面においては、車両の前方が撮像され、撮像された撮像画像に基づいて物体検出処理が行われ、物体の検出結果に基づいて、前記車両の制御が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。
　本技術の第１の側面又は第２の側面によれば、車両の前方の物体を検出することができる。特に、本技術の第１の側面又は第２の側面によれば、車両が道路の外から道路に進入する場合に、車両と道路との位置関係に応じて異なる検出方法で車両の前方の物体を検出することができ、その結果、運転の支援を適切に行うことができる。
　本技術の第３の側面によれば、車両の前方の物体の検出結果に基づいて、車両の制御を行うことができる。特に、本技術の第３の側面によれば、車両が道路の外から道路に進入する場合に、車両と道路との位置関係に応じて異なる検出方法で車両の前方の物体を検出することができ、その結果、運転の支援を適切に行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
車両の構成例を示す図である。 CAN通信用のバスに接続されるブロックについて説明する図である。 アラウンドビューモニタ機能について説明する図である。 CAN通信用のバスに接続されるブロックの他の例について説明する図である。 フロントカメラモジュールの外観の構成例を示す模式図である。 フロントカメラモジュールの外観の構成例を示す模式図である。 各フロントセンシングカメラの検出範囲の例を示す図である。 フロントカメラECUの機能の構成例を示す図である。 運転支援処理を説明するためのフローチャートである。 運転支援処理を説明するためのフローチャートである。 運転支援処理の具体例を説明するための図である。 運転支援処理の具体例を説明するための図である。 運転者に警告する方法を示す図である。 自転車道を備える道路の構成例を示す図である。 出入口が２カ所ある道路の構成例を示す図である。 ガードレールが設けられた道路の構成例を示す図である。 交差点に進入する場合の運転支援処理を説明するための図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　なお、本技術は、例えば、車両が道路の外から道路に進入し、合流する場合に適切な運転支援を実現することができるようにするものである。ここでいう運転支援とは支援運転や自律運転など任意の運転モードでの車両の運転時に行われる走行制御をいうが、以下では本技術が適用された車両が支援運転を行っているときに、適宜、運転支援処理が実行される場合を例として説明を続ける。
　＜＜１．実施の形態＞＞
　＜１－１．車両の構成例＞
　図１は、本技術を適用した車両の一実施の形態の構成例を示す図である。
　図１に示す車両１１は、フロントセンシングカメラ２１、フロントカメラECU（Electronic Control Unit）２２、位置情報取得部２３、表示部２４、音声出力部２５、通信部２６、ステアリング機構２７、センサ部２８、サイドビューカメラ２９、サイドビューカメラECU３０、統合ECU３１、フロントビューカメラ３２、フロントビューカメラECU３３、制動装置３４、エンジン３５、発電機３６、駆動用モータ３７、バッテリ３８、リアビューカメラ３９、リアビューカメラECU４０、車速検出部４１、及び、ヘッドライト４２を有している。
　車両１１に設けられた各ユニットは、CAN（Controller Area Network）通信用のバスや他の接続線などにより相互に接続されているが、ここでは図を見やすくするため、それらのバスや接続線が特に区別されずに描かれている。
　フロントセンシングカメラ２１は、例えば車室内のルームミラー近傍に配置されたセンシング専用のカメラからなり、車両１１の前方を被写体として撮像し、その結果得られたセンシング画像をフロントカメラECU２２に出力する。
　なお、図５乃至図７を参照して後述するように、フロントセンシングカメラ２１を複数設けることも可能である。
　フロントカメラECU２２は、フロントセンシングカメラ２１から供給されたセンシング画像に対して適宜、画質を向上させる処理等を施した後、センシング画像に対して画像認識を行って、センシング画像から道路の区画線や歩行者などの任意の物体を検出する。フロントカメラECU２２は、物体の検出結果をCAN通信用のバスに出力する。
　位置情報取得部２３は、例えばGPS（Global Positioning System）などの位置情報計測システムからなり、車両１１の位置を検出して、その検出結果を示す位置情報をCAN通信用のバスに出力する。
　表示部２４は、例えば液晶表示パネルなどからなり、インストルメントパネルの中央部分、ルームミラー内部などの車室内の所定位置に配置されている。また、表示部２４はウィンドシールド（フロントガラス）に重畳して設けられた透過型ディスプレイやヘッドアップディスプレイであってもよいし、カーナビゲーションシステムのディスプレイであってもよい。また、コンバイナ式のヘッドアップディスプレイであってもよい。表示部２４は、統合ECU３１の制御に従って各種の画像を表示する。
　音声出力部２５は、例えばスピーカ、ブザーなどからなる。音声出力部２５は、統合ECU３１の制御に従って各種の音声を出力する。
　通信部２６は、車車間通信や車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバとの間で情報の送受信を行う。例えば通信部２６は周辺車両と車車間通信を行って、周辺車両から乗員数や走行状態を示す情報を含む周辺車両情報を受信し、統合ECU３１に供給する。
　ステアリング機構２７は、運転者によるステアリングホイールの操作、又は、統合ECU３１から供給された制御信号に応じて車両１１の走行方向の制御、すなわち舵角制御を行う。
　センサ部２８は、車両１１の周囲の物体の有無、物体までの距離等を検出する複数の物体検出用センサを備える。例えば、センサ部２８は、車両１１に近い物体の検出を行う近距離センサ（例えば、超音波センサ等）、並びに、車両１１から遠い距離の物体の検出を行う遠距離センサ（例えば、レーダ、ライダ、TOF（Time of Flight）センサ等）を備える。各物体検出用センサは、検出範囲、検出方式、用途等が異なり、必要に応じて使い分けられる。センサ部２８の各物体検出用センサは、その検出結果を示すセンサデータをCAN通信用のバスに出力する。
　サイドビューカメラ２９は、例えばサイドミラーの筐体内やサイドミラー近傍に配置されたカメラであり、運転者の死角となる領域を含む車両１１の側方の画像（以下、側方画像とも称する）を撮像し、サイドビューカメラECU３０に供給する。
　サイドビューカメラECU３０は、サイドビューカメラ２９から供給された側方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた側方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。
　統合ECU３１は、運転制御ECU５１やバッテリECU５２などの車両１１の中央に配置された複数のECUからなり、車両１１全体の動作を制御する。
　例えば運転制御ECU５１は、ADAS（Advanced Driving Assistant System）機能や自律運転（Self driving）機能を実現するECUであり、フロントカメラECU２２からの物体検出結果、位置情報取得部２３からの位置情報、通信部２６から供給された周辺車両情報等の各種の情報、センサ部２８からのセンサデータ、車速検出部４１からの車速の検出結果などに基づいて、車両１１の運転（走行）を制御する。すなわち、運転制御ECU５１は、ステアリング機構２７や、制動装置３４、エンジン３５、駆動用モータ３７等を制御して車両１１の運転を制御する。また、運転制御ECU５１は、フロントカメラECU２２から物体の検出結果として供給された、対向車のヘッドライトの有無等に基づいてヘッドライト４２を制御してハイビームとロービームの切り替えなどヘッドライト４２によるビーム照射を制御する。
　なお、統合ECU３１では、ADAS機能や自律運転機能、ビーム制御などの機能ごとに専用のECUを設けるようにしてもよい。
　バッテリECU５２は、バッテリ３８による電力の供給等を制御する。
　フロントビューカメラ３２は、例えばフロントグリル近傍に配置されたカメラからなり、運転者の死角となる領域を含む車両１１の前方の画像（以下、前方画像とも称する）を撮像し、フロントビューカメラECU３３に供給する。
　フロントビューカメラECU３３は、フロントビューカメラ３２から供給された前方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた前方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。
　制動装置３４は、運転者によるブレーキ操作、または統合ECU３１から供給された制御信号に応じて動作し、車両１１を停止させたり減速させたりする。
　エンジン３５は、車両１１の動力源であり、統合ECU３１から供給された制御信号に応じて駆動する。
　発電機３６は、統合ECU３１により制御され、エンジン３５の駆動に応じて発電する。
　駆動用モータ３７は、車両１１の動力源であり、発電機３６やバッテリ３８から電力の供給を受け、統合ECU３１から供給された制御信号に応じて駆動する。なお、車両１１の走行時にエンジン３５を駆動させるか、または駆動用モータ３７を駆動させるかは、適宜、統合ECU３１により切り替えられる。
　バッテリ３８は、例えば12Vのバッテリや200Vのバッテリなどを有しており、バッテリECU５２の制御に従って車両１１の各部に電力を供給する。
　リアビューカメラ３９は、例えばテールゲートのナンバープレート近傍に配置されるカメラからなり、運転者の死角となる領域を含む車両１１の後方の画像（以下、後方画像とも称する）を撮像し、リアビューカメラECU４０に供給する。例えばリアビューカメラ３９は、図示せぬシフトレバーがリバース（Ｒ）の位置に移動されると起動される。
　リアビューカメラECU４０は、リアビューカメラ３９から供給された後方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた後方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。
　車速検出部４１は、車両１１の車速を検出するセンサであり、車速の検出結果を統合ECU３１に供給する。なお、車速検出部４１において、車速の検出結果から加速度や加速度の微分（ジャーク、jerk）が算出されるようにしてもよい。例えば算出された加速度は、車両１１の物体との衝突までの時間の推定などに用いられる。算出されたジャークは、乗員の乗り心地に関わるパラメータとして用いられる。
　ヘッドライト４２は、統合ECU３１から供給された制御信号に応じて動作し、ビームを出力することで車両１１の前方を照明する。
　また、車両１１では、図２に示すようにフロントカメラモジュール７１、通信部２６、運転制御ECU５１、ステアリング機構２７、センサ部２８、制動装置３４、エンジン３５、駆動用モータ３７、およびヘッドライト４２を含む複数のユニットがCAN通信用のバス７２により相互に接続され、車両制御システムを構成している。なお、図２において図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　この例では、フロントカメラモジュール７１はレンズ８１、イメージセンサ８２、フロントカメラECU２２、およびMCU（Module Control Unit）８３を有している。
　また、レンズ８１およびイメージセンサ８２によってフロントセンシングカメラ２１が構成されている。イメージセンサ８２は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。
　なお、図５乃至図７を参照して後述するように、レンズ８１およびイメージセンサ８２を複数組設けることにより、フロントカメラモジュール７１にフロントセンシングカメラ２１を複数設けることも可能である。
　フロントカメラモジュール７１では、被写体からの光がレンズ８１によってイメージセンサ８２の撮像面上に集光される。イメージセンサ８２は、レンズ８１から入射した光を光電変換することでセンシング画像を撮像し、フロントカメラECU２２に供給する。なお、イメージセンサ８２のカラーフィルタはベイヤ配列でもよいし、Red画素１つに対してクリア画素が３つ配列されるRCCC配列であってもよい。RCCC配列である場合、センシングに特化した画像データを得ることができる。
　フロントカメラECU２２は、イメージセンサ８２から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理、交通信号のフリッカ補正処理などの画質調整処理を施した後、センシング画像に対して画像認識を行う。なお、画質調整処理は、フロントカメラECU２２で実行されることに限定されず、イメージセンサ８２内部で実行されてもよい。画質調整処理がイメージセンサ８２内部で実行される場合、イメージセンサ８２は積層型イメージセンサであることが望ましい。
　画像認識では、例えば、歩行者、自転車等の軽車両、車両、ヘッドライト、ブレーキライト、区画線等の道路標示、縁石、路肩、ガードレール、道路標識等の任意の物体の検出や、前方車両との衝突までの時間の検出等が行われる。これらの画像認識による検出結果は、MCU８３でCAN通信用の形式の信号に変換され、バス７２へと出力される。
　また、バス７２から供給された情報は、MCU８３でフロントカメラモジュール７１用に定められた形式の信号に変換され、フロントカメラECU２２へと供給される。なお、MCU８３は、マイクロコントロールユニットに限定されず、種々のコントローラが適用可能である。
　運転制御ECU５１は、MCU８３からバス７２に出力された物体の検出結果、センサ部２８からのセンサデータ等に基づいて、適宜、ステアリング機構２７や制動装置３４、エンジン３５、駆動用モータ３７、ヘッドライト４２などを制御する。これにより走行方向の変更、ブレーキ、加速、発進等の運転制御や、警告通知制御、ビームの切り替え制御などが実現される。
　また、運転制御ECU５１が自律運転機能等を実現する場合には、例えばフロントカメラECU２２で得られた各時刻の画像認識結果から、運転制御ECU５１において、さらに対象物体の位置の軌跡が認識され、その認識結果が通信部２６を介して外部のサーバに送信されるようにしてもよい。そのような場合、例えばサーバではディープニューラルネット等の学習が行われて必要な辞書等が生成され、車両１１へと送信される。車両１１では、このようにして得られた辞書等が通信部２６により受信され、受信された辞書等が運転制御ECU５１での各種の予測などに用いられる。
　さらに、運転制御ECU５１は、運転者が車両１１に対して行った運転操作の履歴等に基づいて、運転者の運転技量や運転の傾向等の学習を行う。
　なお、運転制御ECU５１により行われる制御のうち、センシング画像に対する画像認識の結果のみから実現できる制御については、運転制御ECU５１ではなくフロントカメラECU２２により行われるようにしてもよい。
　具体的には、例えばフロントカメラECU２２は、センシング画像に対する画像認識により得られた対向車のヘッドライトの有無に基づいて、ヘッドライト４２を制御してもよい。この場合、例えばフロントカメラECU２２は、ロービームとハイビームの切り替え等を指示する制御信号を生成し、MCU８３およびバス７２を介してヘッドライト４２に制御信号を供給することで、ヘッドライト４２によるビーム切り替えを制御する。
　その他、例えばフロントカメラECU２２が、センシング画像に対する画像認識により得られた道路の区画線や縁石、歩行者などの検出結果に基づいて、対象物への衝突の警告通知や走行車線（レーン）からの逸脱の警告通知等を生成し、MCU８３を介してバス７２に出力することで、警告通知の制御を行うようにしてもよい。この場合、フロントカメラECU２２から出力された警告通知は、例えば表示部２４や音声出力部２５等に供給される。これにより、表示部２４において警告表示を行ったり、音声出力部２５により警告メッセージを出力したりすることができる。
　さらに、車両１１では、例えば駐車時などにおいて表示部２４に合成画像を表示することでアラウンドビューモニタ機能が実現される。
　すなわち、例えば図３に示すように各部で得られた前方画像、後方画像、及び、側方画像がCAN通信用のバスとは異なるケーブルを介して、統合ECU３１に設けられた画像合成ECU１０１に供給され、それらの画像から合成画像が生成される。なお、図３において図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図３では、図１に示したサイドビューカメラ２９として、車両１１の左側に配置されたサイドビューカメラ２９Ｌと、車両１１の右側に配置されたサイドビューカメラ２９Ｒとが設けられている。また、サイドビューカメラECU３０として、車両１１の左側に配置されたサイドビューカメラECU３０Ｌと、車両１１の右側に配置されたサイドビューカメラECU３０Ｒとが設けられている。
　画像合成ECU１０１には、フロントビューカメラ３２で得られた前方画像がフロントビューカメラECU３３から供給され、リアビューカメラ３９で得られた後方画像がリアビューカメラECU４０から供給される。また、画像合成ECU１０１には、サイドビューカメラ２９Ｌで得られた側方画像（以下、特に左側方画像とも称する）がサイドビューカメラECU３０Ｌから供給され、サイドビューカメラ２９Ｒで得られた側方画像（以下、特に右側方画像とも称する）がサイドビューカメラECU３０Ｒから供給される。
　画像合成ECU１０１は、供給されたこれらの画像に基づいて前方画像、後方画像、左側方画像、及び、右側方画像を対応する領域に配置した合成画像を生成するとともに、得られた合成画像を表示部２４に供給し、表示させる。運転者は、このようにして表示された合成画像を確認しながら車両１１を運転することで、安全かつ容易に駐車を行うことができる。なお、統合ECU３１が合成画像に基づいて車両１１の駆動を制御し、駐車を行うようにしてもよい。
　また、運転制御ECU５１により複数の異なる機能の制御を行うのではなく、例えば図４に示すように制御内容ごとに、すなわち機能ごとに制御部を設けるようにしてもよい。なお、図４において図２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図４に示す例では、CAN通信用のバス７２にはフロントカメラモジュール７１、通信部２６、ステアリング機構２７、センサ部２８、制動装置３４、エンジン３５、駆動用モータ３７、ヘッドライト４２、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６を含む複数のユニットが接続されている。
　この例では、図２の例において運転制御ECU５１により行われていた制御が、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６により分担されて行われる。
　具体的には、例えばビーム制御部１１１は、フロントカメラECU２２で得られた画像認識の結果等に基づいてヘッドライト４２を制御することでロービームとハイビームの切り替え制御を行う。
　警告通知制御部１１２は、フロントカメラECU２２で得られた物体の検出結果等に基づいて、表示部２４での各種の警告表示やガイダンス表示、音声出力部２５での警告メッセージや案内メッセージの出力など、警告や各種の情報の通知の制御を行う。
　ステアリング制御部１１３は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいてステアリング機構２７を制御することで、車両１１の走行方向の制御を行う。
　ブレーキ制御部１１４は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいて制動装置３４を制御することで、車両１１の走行停止や減速の制御を行う。
　アクセル制御部１１５は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいてエンジン３５や駆動用モータ３７を制御することで、車両１１の発進や加速の制御を行う。
　学習部１１６は、運転者が車両１１に対して行った運転操作の履歴等に基づいて、運転者の運転技量や運転の傾向等の学習を行う。
　なお、以下、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、及び、アクセル制御部１１５をまとめて、車両制御部１２１と称する。
　また、以下、図２及び図４のうち、図４の構成例を用いて説明を行う。
　＜１－２．フロントカメラモジュールの構成例＞
　次に、図５乃至図８を参照して、フロントカメラモジュール７１の構成例について説明する。
　図５及び図６は、フロントカメラモジュール７１の外観の構成例を模式的に示している。図５は、車両１１のウィンドシールド１４１近傍に設置された状態のフロントカメラモジュール７１の外観を横から見た模式図であり、図６は、フロントカメラモジュール７１のメイン基板１５２の構成を模式的に示す斜視図である。なお、図５では、図を分かりやすくするために、フロントカメラモジュール７１の筐体１５１の側面が透過され、筐体１５１の内部が図示されている。
　なお、以下、図５の右側、すなわち、ウィンドシールド１４１側をフロントカメラモジュール７１の前側とする。
　フロントカメラモジュール７１は、車両１１のルームミラー（不図示）近傍において、ウィンドシールド１４１に近接するように設置される。フロントカメラモジュール７１の筐体１５１の前方は、ウィンドシールド１４１に合わせた形状となっている。筐体１５１内には、メイン基板１５２等の各部が格納されている。
　メイン基板１５２の上面には、イメージセンサ用基板１５３が、ＦＰＣ（Flexible printed circuits）１５４－１乃至１５４－ｎを介して、メイン基板１５２の上面に対して垂直、かつ、左右方向に延びるように設置されている。イメージセンサ用基板１５３の前面には、イメージセンサ８２－１乃至８２－ｎが、ＦＰＣ１５４－１乃至１５４－ｎの位置に合わせて、左右に並ぶように配置されている。
　また、メイン基板１５２の上面には、レンズ８１－１乃至８１－ｎが、イメージセンサ８２－１乃至８２－ｎの前方に、イメージセンサ８２－１乃至８２－ｎの位置に合わせて左右に並ぶように配置されている。レンズ８１－１乃至８１－ｎに入射した入射光は、イメージセンサ８２－１乃至８２－ｎの撮像面において、それぞれ結像する。このレンズ８１－１乃至８１－ｎ、及び、イメージセンサ８２－１乃至８２－ｎにより、フロントセンシングカメラ２１－１乃至２１－ｎが構成される。従って、フロントカメラモジュール７１は、フロントセンシングカメラ２１－１乃至２１－ｎによりｎ枚のセンシング画像を同時に撮像することが可能である。
　さらに、メイン基板１５２の上面のイメージセンサ用基板１５３の後方には、フロントカメラECU２２及びMCU８３が配置されている。イメージセンサ８２－１乃至８２－ｎは、ＦＰＣ１５４－１乃至１５４－ｎを介して、個別にフロントカメラECU２２に電気的に接続されている。
　なお、以下、フロントセンシングカメラ２１－１乃至２１－ｎ、レンズ８１－１乃至８１－ｎ、イメージセンサ８２－１乃至８２－ｎを個々に区別する必要がない場合、それぞれ単に、フロントセンシングカメラ２１、レンズ８１、イメージセンサ８２と称する。
　図７は、各フロントセンシングカメラ２１の検出範囲（撮像範囲）の例を示している。図７は、フロントセンシングカメラ２１－１乃至２１－３の３台のフロントセンシングカメラ２１が、フロントカメラモジュール７１に設けられている場合の検出範囲の例を示している。
　検出範囲Ａ１乃至Ａ３は、フロントセンシングカメラ２１－１乃至２１－３の検出範囲をそれぞれ示している。フロントセンシングカメラ２１－１の視野角は最も広く、例えば約１５０度に設定される。一方、フロントセンシングカメラ２１－１の検出距離は最も短く、例えば約２０ｍに設定される。フロントセンシングカメラ２１－２の視野角は２番目に広く、例えば約５０度に設定される。フロントセンシングカメラ２１－２の検出距離は２番目に長く、例えば約１２０ｍに設定される。フロントセンシングカメラ２１－３の視野角は最も狭く、例えば約２５度に設定される。フロントセンシングカメラ２１－３の検出距離は最も長く、例えば約１５０ｍに設定される。
　従って、フロントセンシングカメラ２１－１乃至２１－３（のセンシング画像）を使い分けることにより、車両１１の前方において優先的に物体を検出する検出範囲（以下、優先検出範囲と称する）を変更することが可能になる。
　図８は、フロントカメラECU２２の機能の構成例を示している。フロントカメラECU２２は、画像処理部１７１、物体検出部１７２、及び、学習部１７３を備える。
　画像処理部１７１は、各イメージセンサ８２から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR処理などを施す。
　物体検出部１７２は、画像処理部１７１により画像処理が施された各センシング画像に対して画像認識を行うとともに、センサ部２８からのセンサデータに基づいて、車両１１の周囲の物体検出処理を行う。例えば、物体検出部１７２は、歩行者、自転車等の軽車両、車両、ヘッドライト、ブレーキライト、区画線等の道路標示、縁石、路肩、ガードレール、道路標識等の検出や、前方の障害物（例えば、前方車両等）との衝突までの時間の検出等を行う。物体検出部１７２は、検出結果をMCU８３に供給する。
　学習部１７３は、物体検出部１７２の検出結果等に基づいて、車両１１の周囲の物体の検出精度を向上させるための学習処理を行う。物体検出部１７２は、必要に応じて、学習部１７３による学習結果を用いて、物体検出処理を行う。
　＜１－３．合流支援処理＞
　次に、図９及び図１０のフローチャートを参照して、車両１１により実行される運転支援処理について説明する。この処理は、例えば、車両１１が、道路の外から道路に進入し、道路内の車道に合流する場合（例えば、駐車場等から車道に合流する場合）の運転の支援を行う場合に実行される。
　なお、以下、図１１及び図１２を具体例として挙げながら説明を行う。なお、本具体例においては、日本における法規を想定しているため車両は左側通行、歩行者は右側通行となっている。しかしながら、本技術は日本及び車両が左側通行の地域のみへの適用に限定されず、車両が右側通行の地域においても適用可能である。車両が右側通行の地域において本技術を適用する場合、例えば、本具体例の左右を反転させることで適用可能である。
　図１１及び図１２は、車両１１が、前方の道路２０１の外から道路２０１に進入し、道路２０１内の車道２１２に合流する場合の例を示している。
　道路２０１は、車両１１の前方に左右方向に延びている。道路２０１は、車両１１に近い方から、歩道２１１、車道２１２、及び、歩道２１３により構成される。車道２１２は、車線２２１－１乃至２２１－４の４車線からなる。車線２２１－１及び車線２２１－２が、図内の右から左へ走行するための車線であり、車線２２１－３及び車線２２１－４が、図内の左から右へ走行するための車線である。
　図１１は、車両１１が、左折しながら、歩道２１１を横断した後、車線２２１－１に合流する例を示している。図１２は、車両１１が、右折をしながら、歩道２１１、車線２２１－１、及び、車線２２１－２を横断した後、車線２２１－３に合流する例を示している。
　なお、以下、車両１１が合流する車線を合流車線と称する。例えば、図１１の例では、車線２２１－１が合流車線となり、図１２の例では、車線２２１－３が合流車線となる。また、以下、車両１１が合流車線に合流する前に横断する車線を横断車線と称する。例えば、図１１の例では、横断車線はなく、図１２の例では、車線２２１－１及び車線２２１－２が横断車線となる。
　なお、本明細書において、車道は、車両が通行することが想定される道路の部分とする。すなわち、本明細書において、車道は、法令上の車道だけでなく、車道とみなされる道路の部分も含む。
　また、本明細書において、歩道は、歩行者が通行することが想定される道路の部分とする。従って、本明細書において、歩道は、法令上の歩道及び路側帯だけでなく、歩道とみなされる道路の部分も含む。なお、歩道には、歩行者に準ずるもの（例えば、自転車等の軽車両）の通行が想定されるものと想定されないものがある。
　さらに、本明細書において、自転車道は、自転車が優先して通行することが想定される道路の部分とする。従って、本明細書において、自転車道は、法令上の自転車道だけでなく、自転車道とみなされる道路の部分も含む。なお、自転車道には、自転車だけでなく、自転車以外の軽車両が優先して通行することが想定されるものがある。
　なお、以下、歩行者及び歩行者に準ずるものを合わせて、歩行者等と称する。
　図９及び図１０の運転支援処理は、例えば、車両１１を起動し、運転を開始するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。その後、車両１１は、前進を開始し、合流先の道路に近づいていく。
　ステップＳ１において、車両１１は、前方の監視を開始する。具体的には、各フロントセンシングカメラ２１は、車両１１の前方を撮像し、センシング画像をフロントカメラECU２２に供給する処理を開始する。センサ部２８の各物体検出用センサは、車両１１の周囲の物体の有無及び物体までの距離等の検出を行い、検出結果を示すセンサデータを、バス７２及びMCU８３を介してフロントカメラECU２２に供給したり、バス７２を介して、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６等に供給したりする処理を開始する。
　物体検出部１７２は、各フロントセンシングカメラ２１からのセンシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の物体の検出処理を開始する。例えば、物体検出部１７２は、車両１１の前方の道路を検出するとともに、区画線等の道路標示、縁石、路肩、ガードレール等を検出することにより、道路の構成を検出する処理を開始する。また、物体検出部１７２は、MCU８３及びバス７２を介して、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６等に、検出結果を供給する処理を開始する。
　ステップＳ２において、物体検出部１７２は、車道の手前に歩道があるか否かを判定する。物体検出部１７２は、車両１１の前方において、車道の手前に歩道があると判定した場合、処理はステップＳ３に進む。これは、車両１１が車道に合流する前に歩道を横断する必要がある場合である。
　ステップＳ３において、物体検出部１７２は、歩道までの距離が所定の範囲内であるか否かを判定する。例えば、物体検出部１７２は、センシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の歩道と車両１１との間の最短距離を検出する。そして、物体検出部１７２は、検出した最短距離が所定の範囲内になるまで、ステップＳ３の判定処理を繰り返し実行する。そして、検出した最短距離が所定の範囲内であると判定された場合、処理はステップＳ４に進む。
　ステップＳ４において、物体検出部１７２は、歩道の監視を優先する。例えば、物体検出部１７２は、歩道を優先検出範囲とする検出処理、並びに、歩行者等を優先的に検出する検出対象（以下、優先検出対象と称する）とする検出処理のうち少なくとも１つを開始する。
　例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、歩道の物体の検出処理に適したセンシング画像、例えば、画像内に歩道を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち歩道の物体検出処理に適したセンサ、例えば、検出距離の短いセンサ、歩道を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、歩道を中心とする領域に変更する。これにより、歩道が優先検出範囲に設定される。
　また、例えば、物体検出部１７２は、画像認識において、歩道を通行する可能性のある歩行者及び歩行者に準ずるもの（例えば、自転車等の軽車両等）を優先的に認識する対象に設定する。これにより、歩行者等が優先検出対象に設定される。
　その結果、例えば、図１１及び図１２の例において、車両１１が歩道２１１に所定の距離の範囲内に近づいたとき、歩道２１１を通行する歩行者等の検出処理が優先的に行われるようになる。
　なお、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。後者においては、優先検出範囲における検出処理が重点的に行われるが、その他の範囲における検出処理も行われる。同様に、状況や設定等により、検出対象が優先検出範囲対象に限定される場合と限定されない場合がある。後者においては、優先検出対象の検出処理が重点的に行われるが、その他の対象の検出処理も行われる。
　ステップＳ５において、物体検出部１７２は、歩道に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、歩道及びその近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、車両１１がこのまま歩道に進入した場合に衝突又は接触する可能性がある物体が存在する場合、歩道に障害物が存在すると判定し、処理はステップＳ６に進む。
　この障害物は、主に歩道を通行する歩行者や自転車等が想定される。例えば、図１１又は図１２の例において、歩道２１１内を歩行者や自転車が車両１１に接近する方向に移動している場合、歩道に障害物が存在すると判定され、処理はステップＳ６に進む。
　なお、物体検出部１７２は、歩道２１１内を歩行者や自転車が車両１１に接近する方向に移動している場合と比較して、歩道２１１内を歩行者や自転車が車両１１から遠ざかる方向に移動している場合の歩行者や自転車の検出範囲を狭く設定してもよい。具体的には、例えば、物体検出部１７２が、歩行者や自転車が車両１１に接近する方向に移動している場合、車両から２０ｍの範囲内に歩行者等が存在することで歩道に障害物が存在すると判定し、歩行者や自転車が車両１１から遠ざかる方向に移動している場合、車両から１０ｍの範囲内に歩行者等が存在することで歩道に障害物が存在すると判定するようにしてもよい。これは、車両１１から遠ざかる方向に移動している歩行者等は、車両１１との衝突可能性が比較的低いためである。これにより、車両１１は円滑に車道へ進入することが可能となる。なお、歩行者や自転車が車両１１からに接近する方向に移動しているか、遠ざかる方向に移動しているかの判定は、例えば、各フロントセンシングカメラ２１が撮像したセンシング画像の複数のフレーム間の差分を用いて実行される。
　ステップＳ６において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、運転者への警告を行う。例えば、歩道を横断できない旨を通知したり、障害物に対する運転者の注意を喚起したりするための警告が行われる。
　図１３は、運転者に警告する方法の一例を示している。この例では、車両１１の左前方から歩行者２５１が接近している例が示されている。
　また、この例では、表示部２４は、車両１１のステアリングホイール２６１及びダッシュボード２６２の上方において、ウィンドシールド１４１に重畳して設けられた透過型ディスプレイ、又は、コンバイナ式ヘッドアップディスプレイにより構成されている。従って、表示部２４が運転者の視界に入り、運転者が運転中に容易に視認することができる。そして、表示部２４には、歩行者への注意を促すメッセージとともに歩行者の位置を示す矢印が表示されている。これにより、運転者が歩行者２５１の存在に気付き、車両１１が歩行者２５１に衝突又は接触することが防止される。
　なお、この例では、ルームミラー２６３の下にフロントカメラモジュール７１が設置されている。
　ステップＳ７において、車両制御部１２１は、歩道への進入を禁止する。例えば、ブレーキ制御部１１４は、制動装置３４を制御して、車両１１を停止させる。これにより、車両１１の歩道への進入が制止され、車両１１が歩道の障害物（例えば、歩行者、自転車等）に衝突又は接触することが防止される。また、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進を禁止する。
　なお、このとき、ブレーキ制御部１１４は、障害物への衝突予測時間に応じて制動装置３４の動作度合いを調整してもよい。例えば、ブレーキ制御部１１４は、障害物への衝突予測時間が短い場合、最大の制動力が出るように制動装置３４を制御する。一方、ブレーキ制御部１１４は、障害物への衝突予測時間が比較的長い場合、乗員の乗り心地が悪化しない程度の制動力で制動装置３４を制御する。乗り心地が悪化しない程度の制動力とは、例えば、車速検出部４１において算出されたジャーク値が所定閾値以下となる制動力である。なお、障害物への衝突予測時間は、車両１１と障害物との距離、車両１１の車速、及び、車両１１の加速度に基づいて算出される。
　その後、処理はステップＳ５に戻り、ステップＳ５において、歩道に障害物が存在しないと判定されるまで、ステップＳ５乃至Ｓ７の処理が繰り返し実行される。これにより、障害物が存在すると判定されている間、車両１１の歩道への進入が禁止される。
　一方、ステップＳ５において、歩道に障害物が存在しないと判定された場合、処理はステップＳ８に進む。
　ステップＳ８において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、効果音等により、歩道横断可の案内を行う。例えば、歩道を横断可能である旨を通知するための案内や、車両１１を発進させるタイミングの提示等が行われる。
　ステップＳ９において、車両制御部１２１は、歩道への進入を許可する。具体的には、ステップＳ７において、歩道への進入が禁止されている場合、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進の禁止を解除する。これにより、車両１１の歩道への進入が許可される。その後、車両１１は、前進を再開し、歩道に進入し、合流先の車道に近づいていく。
　一方、歩道への進入が禁止されていない場合、ステップＳ９において、特に処理は行われない。
　その後、処理はステップＳ１０に進む。
　一方、ステップＳ２において、車道の手前に歩道がないと判定された場合、ステップＳ３乃至Ｓ９の処理はスキップされ、処理はステップＳ１０に進む。
　ステップＳ１０において、物体検出部１７２は、車道までの距離が所定の範囲内であるか否かを判定する。例えば、物体検出部１７２は、車両１１が車道に進入する前に、センシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の車道と車両１１との間の最短距離を検出する。そして、物体検出部１７２は、検出した最短距離が所定の範囲内になるまで、ステップＳ１０の判定処理を繰り返し実行する。そして、検出した最短距離が所定の範囲内であると判定された場合、処理はステップＳ１１に進む。
　ステップＳ１１において、物体検出部１７２は、合流車線以外の車線を横断するか否かを判定する。具体的には、物体検出部１７２は、図示せぬ車両１１の方向指示スイッチの位置に基づいて、車両１１が左折又は右折のいずれを行うかを検出する。そして、例えば、物体検出部１７２は、左側通行の地域で左折する場合、又は、右側通行の地域で右折する場合、例えば図１１の例の場合、合流車線以外の車線を横断しないと判定する。一方、物体検出部１７２は、左側通行の地域で右折する場合、又は、右側通行の地域で左折する場合、例えば図１２の例の場合、合流車線以外の車線を横断すると判定する。
　なお、道路の構成等によっては、左側通行の地域で左折する場合、又は、右側通行の地域で右折する場合でも、合流車線以外の車線を横断すると判定される場合がある。例えば、車両１１が片側２車線以上の車道の内側の車線に合流する場合、例えば、図１１の例において、車線２２１－１を横断して車線２２１－２に合流する場合等である。
　また、道路の構成等によっては、左側通行の地域で右折する場合、又は、右側通行の地域で左折する場合でも、合流車線以外の車線を横断しないと判定される場合がある。例えば、車両１１が合流する道路が一方通行である場合等である。
　そして、合流車線以外の車線を横断しないと判定された場合、処理はステップＳ１２に進む。
　ステップＳ１２において、物体検出部１７２は、合流車線の監視を優先する。具体的には、物体検出部１７２は、合流車線を優先検出範囲とする検出処理、及び、他の車両を優先検出対象とする検出処理のうち少なくとも１つを開始する。
　例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、合流車線の物体の検出処理に適したセンシング画像、例えば、画像内に合流車線を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち合流車線の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、合流車線を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、合流車線を中心とする領域に変更する。これにより、合流車線が優先検出範囲に設定される。
　また、例えば、物体検出部１７２は、画像認識において、他の車両を優先的に認識する対象に設定する。これにより、他の車両が優先検出対象に設定される。
　その結果、例えば、図１１の例において、車両１１が車道２１２に所定の距離の範囲内に近づいたとき、合流車線である車線２２１－１の車両の検出が優先的に行われるようになる。
　なお、合流車線のうち車両１１に接近する他の車両（以下、接近車と称する）が存在する可能性のある領域、すなわち、合流車線において車両１１が合流する位置より後方の領域を、特に優先的に物体の検出を行う範囲に設定することが望ましい。これにより、合流車線において車両１１が合流する位置に接近する接近車の検出処理が優先的に行われるようになる。
　また、ステップＳ４の処理と同様に、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。同様に、状況や設定等により、検出対象が優先検出範対象に限定される場合と限定されない場合がある。
　ステップＳ１３において、物体検出部１７２は、合流車線に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、合流車線及びその近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、車両１１がこのまま合流車線に進入した場合に衝突又は接触する可能性がある物体が存在する場合、合流車線に障害物が存在すると判定し、処理はステップＳ１６に進む。
　この障害物は、主に合流車線において車両１１が合流する位置に接近する接近車が想定される。例えば、図１１の例において、他の車両が車線２２１－１内を右側から車両１１が合流する位置に接近している場合、合流車線に障害物が存在すると判定され、処理はステップＳ１６に進む。
　一方、ステップＳ１１において、合流車線以外の車線を横断すると判定された場合、処理はステップＳ１４に進む。
　ステップＳ１４において、物体検出部１７２は、横断車線及び合流車線の監視を優先する。具体的には、物体検出部１７２は、横断車線及び合流車線を優先検出範囲とする検出処理、及び、他の車両を優先検出対象とする検出処理のうち少なくとも１つを開始する。
　例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、横断車線又は合流車線の物体の検出処理に適したセンシング画像、例えば、画像内に横断車線又は合流車線を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち横断車線又は合流車線の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、横断車線又は合流車線を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、横断車線及び合流車線を中心とする領域に変更する。これにより、横断車線及び合流車線が優先検出範囲に設定される。
　また、例えば、物体検出部１７２は、画像認識において、他の車両を優先的に認識する対象に設定する。これにより、他の車両が優先検出対象に設定される。
　その結果、例えば、図１２の例において、車両１１が車道２１２に所定の距離の範囲内に近づいたとき、横断車線である車線２２１－１及び２２１－２、並びに、合流車線である車線２２１－３の車両の検出が優先的に行われるようになる。
　なお、横断車線及び合流車線のうち車両１１に接近する接近車が存在する可能性のある領域、すなわち、横断車線において車両１１が横断する位置より後方の領域、並びに、合流車線において車両１１が合流する位置より後方の領域を、特に優先的に物体の検出を行う範囲に設定することが望ましい。これにより、横断車線及び合流車線において車両１１が横断又は合流する位置に接近する接近車の検出処理が優先的に行われるようになる。
　また、ステップＳ４及びＳ１２の処理と同様に、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。同様に、状況や設定等により、検出対象が優先検出範対象に限定される場合と限定されない場合がある。
　なお、ステップＳ９において歩道への進入が許可されてから、ステップＳ１２において合流車線の監視を優先するか、ステップＳ１４において横断車線及び合流車線の監視が優先するまでの間、優先的に監視する対象を定めてもよいし、定めなくてもよい。例えば、優先的に監視する対象を定める場合、車両１１が歩道に進入するまでは、歩道の監視を優先的に行い、車両１１が歩道に進入した後は、合流車線、又は、横断車線と合流車線の監視を優先的に行うようにしてもよい。或いは、ステップＳ１０において、車道までの距離が所定の範囲内であると判定されるまで、歩道の監視を優先する処理を継続してもよい。
　ステップＳ１５において、物体検出部１７２は、横断車線又は合流車線に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、横断車線及び合流車線、並びに、それらの近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、検出結果に基づいて、車両１１がこのまま横断車線又は合流車線に進入した場合に衝突又は接触する可能性がある物体が存在する場合、横断車線又は合流車線に障害物が存在すると判定し、処理はステップＳ１６に進む。
　この障害物は、主に横断車線において車両１１が横断する位置に接近する接近車、及び、合流車線において車両１１が合流する位置に接近する接近車が想定される。例えば、図１２の例において、他の車両が車線２２１－１又は２２１－２内を右側から車両１１が横断する位置に接近している場合、或いは、他の車両が車線２２１－３内を左側から車両１１が合流する位置に接近している場合、横断車線又は合流車線に障害物が存在すると判定され、処理はステップＳ１６に進む。
　ステップＳ１６において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、運転者への警告を行う。例えば、車道に進入できない旨を通知したり、障害物に対する運転者の注意を喚起したりするための警告が行われる。
　ステップＳ１７において、車両制御部１２１は、車道への進入を禁止する。例えば、ブレーキ制御部１１４は、制動装置３４を制御して、車両１１を停止させる。これにより、車両１１の車道への進入が制止され、車両１１が車道の障害物（例えば、他の車両等）に衝突又は接触することが防止される。また、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進を禁止する。
　その後、処理はステップＳ１１に戻り、ステップＳ１３において、合流車線に障害物が存在しないと判定されるか、ステップＳ１５において、横断車線及び合流車線に障害物が存在しないと判定されるまで、ステップＳ１１乃至Ｓ１７の処理が繰り返し実行される。これにより、障害物が存在すると判定されている間、車両１１の車道への進入が禁止される。また、車両１１の車道への進入が禁止されている間に、車両１１が合流する方向が変更された場合、優先的に監視する領域が変更される。
　一方、ステップＳ１３において、合流車線に障害物が存在しないと判定された場合、又は、ステップＳ１５において、横断車線及び合流車線に障害物が存在しないと判定された場合、処理はステップＳ１８に進む。
　ステップＳ１８において、車両１１は、車道への進入を許可する。具体的には、ステップＳ１７において、車道への進入が禁止されている場合、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進の禁止を解除する。これにより、車両１１の車道への進入が許可される。
　一方、車道への進入が禁止されていない場合、ステップＳ１８において、特に処理は行われない。
　ステップＳ１９において、物体検出部１７２は、合流先の監視を優先する。ここで、合流先とは、合流車線において車両１１が合流する位置より前方の領域である。物体検出部１７２は、合流先の状況を優先的に検出する検出処理を開始する。
　例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、合流先の監視に適したセンシング画像、例えば、画像内に合流先を多く含む画像を優先的に用いて監視を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち合流先の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、合流先を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、合流先を中心とする領域に変更する。これにより、合流先が優先検出範囲に設定される。
　また、物体検出部１７２は、合流先に存在する可能性のある車両、歩行者、交通信号、横断法道等を優先検出対象に設定される。
　これにより、合流先の状況の検出処理が優先的に行われるようになる。例えば、図１１の例において、車線２２１－１の車両１１が合流する位置より前方の車両、歩行者、交通信号、横断歩道等の検出処理が優先的に行われるようになる。また、例えば、図１２の例において、車線２２１－３の車両１１が合流する位置より前方の車両、歩行者、交通信号、横断歩道等の検出処理が優先的に行われるようになる。
　ステップＳ２０において、物体検出部１７２は、合流先に駐車車両があるか否かを判定する。合流先に駐車車両があると判定された場合、処理はステップＳ２１に進む。
　ステップＳ２１において、警告通知制御部１１２は、駐車車両ありの警告情報を生成する。
　その後、処理はステップＳ２２に進む。
　一方、ステップＳ２０において、合流先に駐車車両がないと判定された場合、ステップＳ２１の処理はスキップされ、処理はステップＳ２２に進む。
　ステップＳ２２において、物体検出部１７２は、合流先が渋滞しているか否かを判定する。合流先が渋滞していると判定された場合、処理はステップＳ２３に進む。
　ステップＳ２３において、警告通知制御部１１２は、渋滞ありの警告情報を生成する。
　その後、処理はステップＳ２４に進む。
　一方、ステップＳ２２において、合流先が渋滞していないと判定された場合、ステップＳ２３の処理はスキップされ、処理はステップＳ２４に進む。
　ステップＳ２４において、物体検出部１７２は、合流先の横断歩道に歩行者等がいるか否かを判定する。物体検出部１７２は、合流先に横断歩道があり、かつ、横断歩道に歩行者等がいる場合、合流先の横断歩道に歩行者等がいると判定し、処理はステップＳ２５に進む。
　ステップＳ２５において、警告通知制御部１１２は、歩行者等ありの警告情報を生成する。
　その後、処理はステップＳ２６に進む。
　一方、ステップＳ２４において、合流先の横断歩道に歩行者等がいないと判定された場合、又は、合流先に横断歩道がないと判定された場合、ステップＳ２５の処理はスキップされ、処理はステップＳ２６に進む。
　ステップＳ２６において、物体検出部１７２は、合流先の交通信号が通行許可であるか否かを判定する。物体検出部１７２は、合流先に交通信号があり、かつ、交通信号が通行許可でない場合（例えば、交通信号が黄又は赤である場合）、合流先の交通信号が通行許可でないと判定し、処理はステップＳ２７に進む。
　なお、合流先の交通信号を検出する際は、フロントカメラECU２２またはイメージセンサ８２の少なくともいずれか一方が、交通信号のフリッカ補正処理を実行することが望ましい。これにより、確実に交通信号の点灯状態を判定することができる。
　ステップＳ２７において、警告通知制御部１１２は、交通信号が通行許可でない旨の警告情報を生成する。
　その後、処理はステップＳ２８に進む。
　一方、ステップＳ２６において、合流先の交通信号が通行許可であると判定された場合（例えば、合流先の交通信号が青である場合）、又は、合流先に交通信号がないと判定された場合、ステップＳ２７の処理はスキップされ、処理はステップＳ２８に進む。
　ステップＳ２８において、警告通知制御部１１２は、警告情報があるか否かを判定する。警告通知制御部１１２は、ステップＳ２１、ステップＳ２３、ステップＳ２５、及び、ステップＳ２７の全ての処理をスキップした場合、警告情報がないと判定し、処理はステップＳ２９に進む。
　ステップＳ２９において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、効果音等により、合流可の案内を行う。例えば、運転者に合流車線への合流が可能である旨が通知される。
　また、例えば、必要に応じて、車両１１を合流車線に合流させるための案内が提示される。例えば、車両１１を合流させるタイミング、速度、左折又は右折する方向等が、図１３の表示部２４において運転者に提示される。例えば、合流タイミングは、車両１１を合流車線に合流させるために発進させるのに適したタイミングまでの残り時間が、カウントダウン形式（例えば、３秒後、１秒後等）で提示される。或いは、合流タイミングは、”まもなく”、”すぐ”等の感覚的な表現で提示される。また、左折又は右折する方向として、例えば、推奨するステアリングホイールの回転角が提示される。これにより、運転技量が低い運転者でも、楽に車両１１を合流車線に合流させることができる。
　なお、この発進タイミング、速度、左折又は右折する方向は、例えば、合流車線及び横断車線の幅、合流車線又は横断車線の接近車の速度、並びに、歩道と車道との間の段差等に基づいて設定される。さらに、この発進速度は、車速検出部４１において検出される加速度の微分（ジャーク）に基づいて、乗員の乗り心地を考慮した発進速度が設定されてもよい。
　また、車両１１を合流車線に合流させるための案内の一部又は全部を、ステップＳ１８の処理の前後に提示するようにすることも可能である。
　その後、運転支援処理は終了する。
　一方、ステップＳ２８において、警告通知制御部１１２は、ステップＳ２１、ステップＳ２３、ステップＳ２５、及び、ステップＳ２７の少なくとも１つの処理において、警告情報を生成している場合、警告情報があると判定し、処理はステップＳ３０に進む。
　ステップＳ３０おいて、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、該当する警告を行う。例えば、合流先に駐車車両がある旨、合流先が渋滞している旨、合流先の横断歩道に歩行者がいる旨、又は、合流先の交通信号が通行許可でない旨を通知したり、運転者に注意を喚起したりするための警告が行われる。
　また、例えば、ステップＳ２９の処理と同様に、車両１１を合流車線に合流させるための案内が提示される。
　さらに、例えば、車両制御部１２１は、必要に応じて、危険要因を避けるように車両１１の走行を制御する。ここで、危険要因とは、例えば、合流先の駐車車両、合流先の渋滞車両、若しくは、合流先の横断歩道の歩行者への衝突や接触、又は、合流先の交通信号の無視等である。例えば、ブレーキ制御部１１４が、制動装置３４を制御して、車両１１を減速又は停止させたり、ステアリング制御部１１３が、ステアリング機構２７を制御して、車両１１の走行方向を制御したりすることにより、危険要因が回避される。
　また、片側二車線以上の車道に合流する場合、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、渋滞している車線と異なる車線に合流するよう案内するようにしてもよい。例えば、図１１の例の場合、車線２２１－１が渋滞しており、車線２２１－２が渋滞していない場合、車線２２１－２に合流するように案内が行われる。また、図１２の例の場合、車線２２１－３が渋滞しており、車線２２１－４が渋滞していない場合、車線２２１－４に合流するように案内が行われる。
　その後、運転支援処理は終了する。
　なお、ステップＳ１９以降の処理は、車両１１が車道に進入する前又は進入した後のいずれのタイミングで行われてもよい。ただし、運転者の運転技能が低い場合には、ステップＳ２９又はＳ３０において、車両１１を車道に進入及び合流させるための案内を提示してから、車道に進入するようにすることが望ましい。
　以上のようにして、車両が道路の外から道路に進入する場合の運転の支援が適切に行われる。その結果、運転者は、道路の外から道路内の所望の車線に車両１１を容易に合流させることができる。
　＜＜２．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
　＜２－１．物体検出処理に関する変形例＞
　以上の説明では、車両１１と道路との間の距離に基づいて、物体の検出方法を変更する例を示した。具体的には、車両１１と歩道との間の距離が所定の範囲内である場合、歩道の歩行者等を優先的に検出する処理が行われ、車両１１と車道との間の距離が所定の範囲内である場合、車道（合流車線又は横断車線と合流車線）の他の車両を優先的に検出する処理が行われる例を示した。
　一方、距離以外の車両１１と道路との位置関係に基づいて、物体の検出方法を変更するようにしてもよい。例えば、車両１１が進入する道路に歩道がある場合、車両１１が歩道に進入するまでは、車両１１と歩道との間の距離に関わらず、歩道の歩行者等を優先的に検出する処理が行われるようにしてもよい。そして、車両１１が歩道に進入した後は（車両１１と歩道との間の距離が０になった後は）、車両１１と車道との間の距離に関わらず、車道の他の車両を優先的に検出する処理が行われるようにしてもよい。
　また、例えば、車両１１が進入する道路に歩道がない場合、車両１１が車道に進入するまで、車両１１と車道との間の距離に関わらず、車道の他の車両を優先的に検出する処理が行われるようにしてもよい。
　さらに、以上の説明では、車両１１が他の車線を横断するか否かで、優先検出領域を変更する例を示したが、車両１１が他の車線を横断するか否かで、優先検出領域を変更しないようにしてもよい。例えば、車両１１が他の車線を横断するか否かに関わらず、車両１１が進入する車道の全ての車線を優先検出領域に設定するようにしてもよい。
　また、例えば、センシング画像以外にも、必要に応じて、前方画像、後方画像、及び、側方画像等を用いて、物体検出処理を行うようにしてもよい。
　さらに、例えば、本技術は、フロントセンシングカメラ２１又は物体検出用センサのいずれかを用いて物体検出処理を行う場合にも適用することができる。また、例えば、本技術は、複数のフロントセンシングカメラ２１を用いずに、１台のフロントセンシングカメラ２１を用いて物体検出処理を行う場合にも適用することができる。同様に、本技術は、複数の物体検出用センサを用いずに、１つの物体検出用センサを用いて物体検出処理を行う場合にも適用することができる。
　＜２－２．運転支援に関する変形例＞
　例えば、図１４に示されるように、歩道と車道の間に自転車道が設けられる場合がある。具体的には、図１４の道路３０１は、車両１１に近い方から、歩道３１１、自転車道３１２、車道３１３、自転車道３１４、及び、歩道３１５により構成される。車道３１３は、車線３２１－１乃至３２１－４の４車線からなる。
　この場合、例えば、車両１１が歩道３１１に進入した後、自転車道３１２に進入する前に、自転車道の監視が優先的に行われる。例えば、自転車道を優先検出範囲とする検出処理、並びに、自転車及び自転車に準ずるものを優先検出対象とする検出処理のうち少なくとも１つが行われる。そして、自転車道に障害物が存在すると判定された場合、車両１１の自転車道への進入が禁止され、自転車道に障害物が存在しないと判定された場合、車両１１の自転車道への進入が許可される。
　また、例えば、図１５に示されるように、駐車場等において、車道に合流するための出入口が２つ以上設けられている場合、より車道に合流しやすい出入口に誘導するようにしてもよい。
　図１５の道路３５１は、車両１１に近い方から、歩道３６１、車道３６２、及び、歩道３６３により構成される。車道３６２は、車線３７１－１乃至３７１－４の４車線からなる。また、出入口３５２－１及び３５２－２が、歩道３６１側の道路３５１への出入口として設けられている。さらに、車線３７１－１又は３７１－２は、出入口３５２－２より左側において渋滞している。
　例えば、車両１１が、車線３７１－１に合流する場合に出入口３５２－１から出ると、渋滞中の車両により車線３７１－１に合流することが難しくなる。一方、車両１１が、出入口３５２－２から出ると、渋滞中の車両がないため、出入口３５２－１から出た場合と比べて、車線３７１－２に合流しやすくなる。
　そこで、例えば、物体検出部１７２が、出入口３５２－１及び３５２－２の位置、並びに、車線３７１－１及び３７１－２の渋滞状況を検出する。そして、警告通知制御部１１２は、検出結果に基づいて、表示部２４及び音声出力部２５を制御して、出入口３５２－２から出るように運転者を誘導するための案内等を提示する。
　なお、上記の例以外にも、例えば、見通しの良い出入口、歩道において接近してくる歩行者等を検出しやすい出入口等に誘導するようにしてもよい。
　また、合流車線や横断車線が渋滞している場合、運転技量の低い運転者にとって、渋滞中の車両の合間を縫って、合流車線に合流することは難しい。そこで、車両１１が、合流車線に合流するための案内を行うようにしてもよい。例えば、物体検出部１７２が、合流車線又は横断車線を走行中の車両の車間距離、車両の速度、及び、道を譲るために停止する車両等を検出する。そして、警告通知制御部１１２は、検出結果に基づいて、表示部２４及び音声出力部２５を制御して、渋滞中の車両の合間を縫って、合流車線に合流するタイミング等の案内を提示するようにしてもよい。
　さらに、例えば、図１６に示されるように、道路に進入する前にガードレール等の障害物が存在する場合、障害物を避けて道路に進入するように運転者を誘導するようにしてもよい。
　図１６の道路４０１は、車両１１に近い方から、歩道４１１、車道４１２、及び、歩道４１３により構成される。車道４１２は、車線４２１－１乃至４２１－４の４車線からなる。また、歩道４１１の外側にガードレール４０２が設置されており、車両１１は、ガードレール４０２の隙間４０２Ａから道路４０１に進入する必要がある。
　この場合、例えば、物体検出部１７２は、ガードレール４０２の位置等を検出する。ステアリング制御部１１３は、車両１１の位置及び姿勢、並びに、ガードレール４０２の位置に基づいて、ステアリングを目一杯切った場合、ガードレール４０２に接触せずに、隙間４０２Ａから道路４０１に進入できるか否かを判定する。そして、ガードレール４０２に接触すると判定された場合、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、運転者に対して警告を行ったり、運転を支援するための案内を提示したりする。その後、車両１１がガードレール４０２に接触せずに、隙間４０２Ａから道路４０１に進入できる状態になったとき、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、道路４０１に進入することが可能である旨を通知する。
　また、以上の説明では、車両１１が道路の外から道路に進入し、合流する場合の例を示したが、本技術は、例えば、図１７に示されるように、車両１１が道路を走行中に、交差点を左折又は右折して、交差する他の道路に合流する場合にも適用することができる。
　図１７の例では、車両１１は、道路４５２を走行中である。そして、車両１１の前方には、道路４５２に対して垂直に道路４５１が交差している。道路４５１は、車両１１に近い方から、歩道４６１、車道４６２、及び、歩道４６３により構成される。車道４６２は、車線４７１－１乃至４７１－４の４車線からなる。道路４５１と道路４５２が接続する部分において、歩道４６１上に横断歩道４６４が表示されている。
　この場合も、図１０及び図１１を参照して上述した処理により、車両１１の運転を支援することができる。すなわち、車両１１が横断歩道４６４（歩道４６１）に進入する前に、図１１又は図１２の歩道２１１に進入する前と同様の処理を行い、車両１１が車道４６１に進入する前に、図１１又は図１２の車道２１２に進入する前と同様の処理を行うようにすればよい。
　さらに、運転者の運転技量に応じて、警告や案内等の提示の有無や内容を変更するようにしてもよい。例えば、運転技量の低い運転者のみに合流車線に合流するための案内を提示し、それ以外の運転者には、案内を提示しないようにしてもよい。
　なお、運転者の運転技量は、上述したように学習部１１６が学習するようにしてもよいし、運転者が自ら設定するようにしてもよい。或いは、例えば、車両１１からサーバ（不図示）に運転者の運転操作の履歴等のデータを提供し、サーバにおいて運転者の運転技量を学習するようにしてもよい。さらに、車室内に設置された運転者認識用カメラを用いて、予め登録された運転者情報と運転者認識用カメラの撮像画像との比較を行い、運転者の運転技量を設定してもよい。
　また、例えば、物体検出部１７２が、腕の動き等に基づいて交通整理を行う係員を検出するようにしてもよい。そして、係員が検出された場合には、上記の運転支援処理を停止し、物体検出部１７２が係員のジェスチャを認識し、車両制御部１２１は、認識したジェスチャによる指示に従って、車両１１の走行を制御するようにしてもよい。ジェスチャの認識については、種々のセンサまたはフロントカメラを用いることができるが、TOFセンサを用いることが最も望ましい。
　さらに、例えば、フロントカメラECU２２の学習部１７３が、歩き方、表情、視線方向等に基づいて、各歩行者等が車両１１に道を譲るために停止するか否かを判別するための学習処理を行うようにしてもよい。そして、例えば、物体検出部１７２は、車両１１が歩道に進入する際に車両１１の方向に接近している歩行者等を検出した場合、学習結果に基づいて、その歩行者等が停止するか否か判定するようにしてもよい。そして、歩行者等が停止すると判定された場合、例えば、車両制御部１２１は、車両１１の歩道への進入を制止せずに、車両１１を歩道に進入させるようにしてもよい。また、その際、例えば、警告通知制御部１１２は、カーホーン（クラクション）を鳴らす等により、その歩行者に対して何らかの合図を送るようにしてもよい。さらに、警告通知制御部１１２は、検出された歩行者等が停止することが予想される旨等を運転者に通知するようにしてもよい。
　＜２－３．その他の変形例＞
　例えば、学習部１７３が、道路の構成を検出するための学習処理（例えば、車道と歩道とを識別するための学習処理）を行うようにしてもよい。そして、物体検出部１７２は、学習結果に基づいて、合流する道路の構成を検出するようにしてもよい。これにより、例えば、歩道と車道の境界が分かりにくい道路や、法令上の歩道が設けられていない車道において、実質的に歩行者等が通行する歩道を正確に検出することが可能になる。
　なお、上記の学習処理は、必ずしも車両１１単独で行う必要はない。例えば、各車両からサーバ（不図示）にデータを提供し、サーバにおいて学習処理を行い、サーバから各車両に学習結果を提供するようにしてもよい。これにより、より多くのデータに基づいて学習処理を行うことができ、道路の構成の検出精度を向上させることができる。
　＜２－４．適用例＞
　本技術は、車両の動力源やエネルギー供給源に関わらず、各種の車両に適用することができる。例えば、本技術は、ガソリン車、ハイブリッド車、プラグインハイブリッド車、電気自動車、燃料電池車等に適用することができる。また、本技術は、一般的な自動車以外にも、バス、トラック、自動二輪車等の車道を走行する各種の車両に適用することができる。
　また、本技術は、自律運転を行う車両（以下、自動運転車と称する）にも適用することができる。すなわち、自動運転車においても、上記の技術を適用することにより、障害物への衝突又は接触を避け、適切なタイミングで合流車線に合流することができる。なお、上記の技術を自動運転車に適用する場合、車両の発進や制動の制御が自動で行われるが、制動については運転者の操作による制御を優先させるように設定されていてもよい。
　なお、自動運転車に本技術を適用する場合、搭乗者が、警告通知制御部１１２による案内等に従って、自動運転を開始するボタンを押下する等により、自動運転車を発進させるタイミング等を制御するようにしてもよい。
　＜＜３．その他＞＞
　＜３－１　コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
　入力部５０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、複数のコンピュータが連携して上述した処理が行われるようにしてもよい。上述した処理を行う単数または複数のコンピュータから、コンピュータシステムが構成される。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜３－２．構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　車両の前方を撮像する撮像部と、
　前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と
　を備え、
　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
　撮像装置。
（２）
　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
　前記（１）に記載の撮像装置。
（３）
　前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行う
　前記（２）に記載の撮像装置。
（４）
　前記物体検出部は、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行う
　前記（３）に記載の撮像装置。
（５）
　前記物体検出部は、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行う
　前記（４）に記載の撮像装置。
（６）
　前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行う
　前記（３）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行う
　前記（２）乃至（６）のいずれかに記載の撮像装置。
（８）
　前記撮像部は、撮像範囲が異なる複数のカメラを備え、
　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
　前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
　前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
　前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
　車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を
　備え、
　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
　信号処理装置。
（１１）
　車両の前方を撮像する撮像部と、
　前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、
　前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部と
　を備え、
　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
　車両制御システム。
（１２）
　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
　前記（１１）に記載の車両制御システム。
（１３）
　前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
　前記車両制御部は、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
　前記（１２）に記載の車両制御システム。
（１４）
　前記車両制御部は、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御する
　前記（１３）に記載の車両制御システム。
（１５）
　前記車両制御部は、前記運転者の運転技量に基づいて前記案内の内容を変更する
　前記（１４）に記載の車両制御システム。
（１６）
　前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行い、
　前記車両制御部は、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
　前記（１３）乃至（１５）のいずれかに記載の車両制御システム。
（１７）
　前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
　前記車両制御部は、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
　前記（１２）乃至（１６）のいずれかに記載の車両制御システム。
（１８）
　前記撮像部は、撮像範囲が異なる複数のカメラを備え、
　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
　前記（１１）乃至（１７）のいずれかに記載の車両制御システム。
（１９）
　検出範囲が異なる複数の物体検出用センサを
　さらに備え、
　前記物体検出部は、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行うとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更する
　前記（１１）乃至（１８）のいずれかに記載の車両制御システム。
（２０）
　前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
　前記（１１）乃至（１９）のいずれかに記載の車両制御システム。
　１１　車両，　２１　フロントセンシングカメラ，　２２　フロントカメラECU，　２３　位置情報取得部，　２４　表示部，　２５　音声出力部，　２７　ステアリング機構，　２８　センサ部，　３１　統合ECU，　３４　制動装置，　３５　エンジン，　３７　駆動用モータ，　５１　運転制御ECU，　７１　フロントカメラモジュール，　８１，８１－１乃至８１－ｎ　レンズ，　８２，８２－１乃至８２－ｎ　イメージセンサ，　１０１　画像処理ECU，　１１２　警告通知制御部，　１１３　ステアリング制御部，　１１４　ブレーキ制御部，　１１５　アクセル制御部，　１１６　学習部，　１２１　車両制御部，　１７１　画像処理部，　１７２　物体検出部，　１７３　学習部

Claims (20)

  1. 　車両の前方を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と
    　を備え、
    　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
    　撮像装置。
  2. 　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
    　請求項１に記載の撮像装置。
  3. 　前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行う
    　請求項２に記載の撮像装置。
  4. 　前記物体検出部は、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行う
    　請求項３に記載の撮像装置。
  5. 　前記物体検出部は、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行う
    　請求項４に記載の撮像装置。
  6. 　前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行う
    　請求項３に記載の撮像装置。
  7. 　前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行う
    　請求項２に記載の撮像装置。
  8. 　前記撮像部は、撮像範囲が異なる複数のカメラを備え、
    　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
    　請求項１に記載の撮像装置。
  9. 　前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
    　請求項１に記載の撮像装置。
  10. 　車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を
    　備え、
    　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
    　信号処理装置。
  11. 　車両の前方を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、
    　前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部と
    　を備え、
    　前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
    　車両制御システム。
  12. 　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
    　請求項１１に記載の車両制御システム。
  13. 　前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
    　前記車両制御部は、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    　請求項１２に記載の車両制御システム。
  14. 　前記車両制御部は、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御する
    　請求項１３に記載の車両制御システム。
  15. 　前記車両制御部は、前記運転者の運転技量に基づいて前記案内の内容を変更する
    　請求項１４に記載の車両制御システム。
  16. 　前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行い、
    　前記車両制御部は、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    　請求項１３に記載の車両制御システム。
  17. 　前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
    　前記車両制御部は、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    　請求項１２に記載の車両制御システム。
  18. 　前記撮像部は、撮像範囲が異なる複数のカメラを備え、
    　前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
    　請求項１１に記載の車両制御システム。
  19. 　検出範囲が異なる複数の物体検出用センサを
    　さらに備え、
    　前記物体検出部は、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行うとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更する
    　請求項１１に記載の車両制御システム。
  20. 　前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
    　請求項１１に記載の車両制御システム。
PCT/JP2017/031588 2016-09-15 2017-09-01 撮像装置、信号処理装置、及び、車両制御システム WO2018051816A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/327,011 US11142192B2 (en) 2016-09-15 2017-09-01 Imaging device, signal processing device, and vehicle control system
EP17850719.0A EP3514780A4 (en) 2016-09-15 2017-09-01 IMAGE CAPTURE DEVICE, SIGNAL PROCESSING DEVICE, AND VEHICLE CONTROL SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016180208A JP2018045482A (ja) 2016-09-15 2016-09-15 撮像装置、信号処理装置、及び、車両制御システム
JP2016-180208 2016-09-15

Publications (1)

Publication Number Publication Date
WO2018051816A1 true WO2018051816A1 (ja) 2018-03-22

Family

ID=61619420

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031588 WO2018051816A1 (ja) 2016-09-15 2017-09-01 撮像装置、信号処理装置、及び、車両制御システム

Country Status (4)

Country Link
US (1) US11142192B2 (ja)
EP (1) EP3514780A4 (ja)
JP (1) JP2018045482A (ja)
WO (1) WO2018051816A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
WO2018212538A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
JP6728268B2 (ja) 2018-04-26 2020-07-22 キヤノン株式会社 撮像装置、撮像システム、および、移動体
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
US10551840B2 (en) * 2018-07-02 2020-02-04 Baidu Usa Llc Planning driven perception system for autonomous driving vehicles
JP7082545B2 (ja) * 2018-08-01 2022-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、情報処理装置およびプログラム
CN109367544B (zh) * 2018-09-07 2021-01-05 百度在线网络技术（北京）有限公司 自动驾驶车辆控制方法、装置及存储介质
WO2020053612A1 (ja) * 2018-09-13 2020-03-19 日産自動車株式会社 車両挙動予測方法及び車両挙動予測装置
JP7151393B2 (ja) * 2018-11-08 2022-10-12 トヨタ自動車株式会社 車両情報提供装置、車両情報提供方法及びプログラム
WO2020100740A1 (ja) 2018-11-15 2020-05-22 ソニーセミコンダクタソリューションズ株式会社 車載カメラ
JP2022028092A (ja) * 2018-12-20 2022-02-15 ソニーグループ株式会社 車両制御装置、車両制御方法、プログラム、及び、車両
US11161504B2 (en) 2019-03-19 2021-11-02 Honda Motor Co., Ltd. Vehicle control apparatus and method
CN113474827B (zh) * 2019-03-22 2023-06-16 本田技研工业株式会社 交通环境识别装置和车辆控制装置
JP7215961B2 (ja) * 2019-05-24 2023-01-31 日立Astemo株式会社 車載装置および捜索システム
JP7121715B2 (ja) * 2019-09-19 2022-08-18 本田技研工業株式会社 推定装置、推定方法、及びプログラム
US11511576B2 (en) * 2020-01-24 2022-11-29 Ford Global Technologies, Llc Remote trailer maneuver assist system
KR20210124603A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
TWI809401B (zh) * 2021-05-24 2023-07-21 宏佳騰動力科技股份有限公司 車輛後視警示系統
KR20230021457A (ko) * 2021-08-05 2023-02-14 현대모비스 주식회사 차량의 장애물 감지 시스템 및 방법
JP7501470B2 (ja) * 2021-08-19 2024-06-18 トヨタ自動車株式会社 走行映像表示方法、走行映像表示システム
US11541910B1 (en) * 2022-01-07 2023-01-03 Plusai, Inc. Methods and apparatus for navigation of an autonomous vehicle based on a location of the autonomous vehicle relative to shouldered objects
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder
KR102664455B1 (ko) * 2023-12-18 2024-05-08 주식회사 코스모인터 자율주행 자동차용 카메라 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2007017340A (ja) * 2005-07-08 2007-01-25 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2010210477A (ja) * 2009-03-11 2010-09-24 Clarion Co Ltd ナビゲーション装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
JP2013164688A (ja) * 2012-02-09 2013-08-22 Nissan Motor Co Ltd 車両運転支援装置及び車両運転支援方法
JP2015125560A (ja) 2013-12-26 2015-07-06 日産自動車株式会社 運転診断装置および運転診断方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7102496B1 (en) * 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
CN101287626A (zh) 2004-11-26 2008-10-15 日产自动车株式会社 摄像装置和摄像方法
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
JP5178276B2 (ja) * 2008-03-27 2013-04-10 ダイハツ工業株式会社 画像認識装置
JP5004865B2 (ja) * 2008-05-08 2012-08-22 日立オートモティブシステムズ株式会社 自動車用障害物検知装置
DE102013010983B4 (de) * 2013-07-01 2023-02-23 Audi Ag Verfahren zum Betreiben eines Kraftwagens bei einem Spurwechsel und Kraftwagen
JP6032163B2 (ja) * 2013-09-11 2016-11-24 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
US10318823B2 (en) * 2013-10-14 2019-06-11 Mobileye Vision Technologies Ltd. Forward-facing multi-imaging system for navigating a vehicle
US10210399B2 (en) * 2013-12-20 2019-02-19 Magna Electronics Inc. Vehicle vision system with image processing
JP6550881B2 (ja) * 2014-07-14 2019-07-31 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US10614726B2 (en) * 2014-12-08 2020-04-07 Life Long Driver, Llc Behaviorally-based crash avoidance system
US20160180158A1 (en) * 2014-12-18 2016-06-23 Magna Electronics Inc. Vehicle vision system with pedestrian detection
JP6470039B2 (ja) * 2014-12-26 2019-02-13 日立オートモティブシステムズ株式会社 車両制御システム
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2007017340A (ja) * 2005-07-08 2007-01-25 Aisin Aw Co Ltd ナビゲーション装置及びナビゲーション方法
JP2010210477A (ja) * 2009-03-11 2010-09-24 Clarion Co Ltd ナビゲーション装置
JP2012123470A (ja) * 2010-12-06 2012-06-28 Fujitsu Ten Ltd 物体検出装置及び物体検出方法
JP2013164688A (ja) * 2012-02-09 2013-08-22 Nissan Motor Co Ltd 車両運転支援装置及び車両運転支援方法
JP2015125560A (ja) 2013-12-26 2015-07-06 日産自動車株式会社 運転診断装置および運転診断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3514780A4

Also Published As

Publication number Publication date
JP2018045482A (ja) 2018-03-22
EP3514780A4 (en) 2019-09-25
US20190202451A1 (en) 2019-07-04
US11142192B2 (en) 2021-10-12
EP3514780A1 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
WO2018051816A1 (ja) 撮像装置、信号処理装置、及び、車両制御システム
JP6617534B2 (ja) 運転支援装置
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
WO2017119170A1 (ja) 運転支援装置
JP6922919B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
WO2018056103A1 (ja) 車両制御装置、車両制御方法、および移動体
JP2006227811A (ja) 運転支援装置
CN111278702A (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
CN111830859A (zh) 车辆远程指示***
CN113044035B (zh) 自动驾驶车辆用信息提示装置
CN112874513A (zh) 驾驶支援装置
CN114194105B (zh) 自动驾驶车用信息提示装置
CN112937566B (zh) 自动驾驶车辆用信息提示装置
CN112937565B (zh) 自动驾驶车辆用信息提示装置
US20210197863A1 (en) Vehicle control device, method, and program
CN113401056A (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
JP6471707B2 (ja) 運転教示装置
JP7101161B2 (ja) 車両制御装置、車両制御方法及びプログラム
WO2024122302A1 (ja) 通知制御装置、通知制御方法
CN112937568A (zh) 自动驾驶车辆用信息提示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17850719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017850719

Country of ref document: EP

Effective date: 20190415