WO2022054532A1 - 車両制御装置、車両制御方法、車両制御プログラム - Google Patents

車両制御装置、車両制御方法、車両制御プログラム Download PDF

Info

Publication number
WO2022054532A1
WO2022054532A1 PCT/JP2021/030490 JP2021030490W WO2022054532A1 WO 2022054532 A1 WO2022054532 A1 WO 2022054532A1 JP 2021030490 W JP2021030490 W JP 2021030490W WO 2022054532 A1 WO2022054532 A1 WO 2022054532A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
control
pixel group
reflected light
Prior art date
Application number
PCT/JP2021/030490
Other languages
English (en)
French (fr)
Inventor
晴継 福本
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021124655A external-priority patent/JP2022047499A/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202180055171.2A priority Critical patent/CN116076078A/zh
Publication of WO2022054532A1 publication Critical patent/WO2022054532A1/ja
Priority to US18/179,958 priority patent/US20230219532A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/52Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction

Definitions

  • This disclosure relates to a control technology for using a sensor system in a vehicle.
  • Patent Document 1 discloses a determination technique for determining stains such as water droplets adhering to an incident surface on which light is incident from a sensing region in a sensor system.
  • the contamination of the incident surface is determined based on the change in the intensity of the reflected light with respect to the light irradiation.
  • Patent Document 1 the existence of the water-related substance cannot be determined unless it adheres to the incident surface. Therefore, it is feared that it is difficult to prevent the situation where the appropriateness of vehicle control deteriorates due to the deterioration of the sensing accuracy by the sensor system after the water-related substance adheres to the incident surface.
  • An object of the present disclosure is to provide a vehicle control device that enhances the appropriateness of vehicle control. Another object of the present disclosure is to provide a vehicle control method for enhancing the appropriateness of vehicle control. Yet another subject of the present disclosure is to provide a vehicle control program that enhances the appropriateness of vehicle control.
  • the first aspect of the present disclosure is A vehicle that controls a vehicle equipped with an optical sensor that acquires a reflected light image by sensing the reflected light for light irradiation and a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor. It ’s a control device, An extraction unit that extracts unmatched pixel groups by comparing the reflected light image with the camera image, It is provided with a control unit that commands the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the second aspect of the present disclosure is A vehicle that controls a vehicle equipped with an optical sensor that acquires a reflected light image by sensing the reflected light for light irradiation and a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor. It ’s a control method, An extraction process that extracts unmatched pixel groups by comparing the reflected light image with the camera image, It includes a control step of instructing the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the third aspect of the present disclosure is To control a vehicle equipped with an optical sensor that acquires a reflected light image by sensing the reflected light for light irradiation and a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor.
  • a vehicle control program that includes instructions to be executed by the processor.
  • the order is An extraction process that extracts unmatched pixel groups by comparing the reflected light image with the camera image, It includes a control step of instructing the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the reflected light image acquired by the optical sensor by sensing the reflected light for light irradiation and the external light intensity in the sensing region overlapping with the sensor are acquired by the sensing camera.
  • the camera image is contrasted. It can be accurately estimated that the unmatched pixel group extracted by such a comparison corresponds to a water-related substance whose reflected light is easily sensed, that is, a water-related substance which is easily reflected in the reflected light image. Therefore, if the vehicle is instructed to control according to the water-related substance as a result of the estimation, it is possible to improve the appropriateness of the vehicle control.
  • the fourth aspect of the present disclosure is A vehicle control device that controls a vehicle equipped with an optical sensor that acquires a reflected light image by sensing the reflected light with respect to light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped.
  • An extraction unit that extracts unmatched pixel groups by comparing the reflected light image and the external light image, It is provided with a control unit that commands the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the fifth aspect of the present disclosure is It is a vehicle control method that controls a vehicle equipped with an optical sensor that acquires a reflected light image by sensing the reflected light with respect to light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped.
  • An extraction process that extracts unmatched pixel groups by comparing the reflected light image and the external light image, It includes a control step of instructing the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the sixth aspect of the present disclosure is An optical sensor that acquires a reflected light image by sensing the reflected light with respect to the light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped is executed by a processor in order to control the mounted vehicle.
  • a vehicle control program that includes instructions The order is An extraction process that extracts unmatched pixel groups by comparing the reflected light image and the external light image, It includes a control step of instructing the vehicle to control according to the water-related substance presumed to correspond to the unmatched pixel group.
  • the reflected light image acquired by the optical sensor by sensing the reflected light with respect to the light irradiation and the outside acquired by the sensor according to the external light intensity while the light irradiation is stopped.
  • the optical image is contrasted. It can be accurately estimated that the unmatched pixel group extracted by such a comparison corresponds to a water-related substance whose reflected light is easily sensed, that is, a water-related substance which is easily reflected in the reflected light image. Therefore, if the vehicle is instructed to control according to the water-related substance as a result of the estimation, it is possible to improve the appropriateness of the vehicle control.
  • the automatic driving unit ADU including the vehicle control device 1 of the first embodiment is mounted on the vehicle 2.
  • the vehicle 2 is capable of steady or temporary automatic driving in an automatic driving mode by autonomous driving control or advanced driving support control.
  • the automatic driving unit ADU includes a housing 3, a sensor system 4, and a cleaning system 5 together with a vehicle control device 1.
  • front, rear, left, right, top and bottom are defined with reference to the vehicle 2 on the horizontal plane.
  • the housing 3 is formed in a hollow flat box shape by, for example, metal or the like.
  • the housing 3 is installed on the roof 20 of the vehicle 2.
  • a plurality of sensor windows 31 are open on the wall 30 of the housing 3.
  • Each sensor window 31 is covered with a plate-shaped translucent cover 32.
  • the outer surface of each translucent cover 32 constitutes an incident surface 33 to which light is incident from the outside world of the vehicle 2.
  • the sensor system 4 includes an optical sensor 40.
  • the optical sensor 40 is a so-called LiDAR (Light Detection and Ringing / Laser Imaging Detection and Ringing) that acquires optical information that can be used in the automatic driving mode in the vehicle 2.
  • the optical sensor 40 includes a light emitting element 400, an image pickup element 401, and an image pickup circuit 402.
  • the light emitting element 400 is a semiconductor element that emits directional laser light, such as a laser diode.
  • the light emitting element 400 irradiates the laser beam toward the outside world of the vehicle 2 in the form of an intermittent pulse beam.
  • the image pickup device 401 is a semiconductor device having high sensitivity to light, such as a SPAD (Single Photon Avalanche Diode).
  • An incident surface 33o dedicated to the optical sensor 40 is arranged on the outside world side (front side in this embodiment) of the image pickup device 401. In the outside world, the light incident on the incident surface 33o from the sensing region Ao determined by the angle of view of the image sensor 401 exposes the element 401.
  • the image pickup circuit 402 is an integrated circuit that controls exposure and scanning of a plurality of pixels in the image pickup element 401 and processes signals from the element 401 to convert them into data.
  • the image pickup circuit 402 In the reflected light mode in which the image pickup circuit 402 exposes the image pickup element 401 by irradiating light from the light emitting element 400, a physical point in the sensing region Ao becomes a reflection point of the laser beam. As a result, the laser light reflected at the reflection point (hereinafter referred to as reflected light) is incident on the image pickup device 401 through the incident surface 33o. At this time, the image pickup circuit 402 senses the reflected light by scanning a plurality of pixels of the image pickup element 401.
  • the image pickup circuit 402 converts the distance value acquired for each of a plurality of pixels according to the reflection point distance dr of the reflected light sensed as shown in FIG. 4 into three-dimensional data as each pixel value, thereby FIG.
  • the distance image Iord as the reflected light image Ior as shown in the above is acquired.
  • the sensor system 4 includes a sensing camera 41 in addition to the optical sensor 40.
  • the sensing camera 41 is a so-called external camera that acquires optical information that can be used in the automatic driving mode in the vehicle 2.
  • the sensing camera 41 has an image pickup device 411 and an image pickup circuit 402.
  • the image sensor 411 is, for example, a semiconductor element such as CMOS.
  • An incident surface 33c dedicated to the sensing camera 41 is arranged on the outside world side (front side in this embodiment) of the image pickup device 411. In the outside world, the light incident on the incident surface 33c from the sensing region Ac determined by the angle of view of the image sensor 411 exposes the element 411.
  • the sensing region Ac of the sensing camera 41 partially overlaps with the sensing region Ao of the optical sensor 40.
  • the overlap rate of the sensing regions Ac and Ao that is, the ratio of the overlapping region Aoc in each of the regions Ac and Ao is, for example, 50% or more, preferably 70% or more, and more preferably 90% or more.
  • the image pickup circuit 412 is an integrated circuit that controls exposure and scanning of a plurality of pixels in the image pickup element 411 and processes signals from the element 411 to convert them into data.
  • an object point in the sensing region Ac becomes a reflection point of external light.
  • the external light reflected at the reflection point is incident on the image pickup device 411 through the incident surface 33c.
  • the image pickup circuit 412 senses the reflected external light by scanning a plurality of pixels of the image pickup element 411.
  • the image pickup circuit 412 acquires the camera image Ic as shown in FIG. 6 by converting the luminance value acquired for each of a plurality of pixels according to the intensity of the sensed external light into two-dimensional data as each pixel value. do.
  • the cleaning system 5 shown in FIGS. 1 to 3 cleans a plurality of incident surfaces 33 including incident surfaces 33o and 33c in which light is incident from the sensing regions Ao and Ac in the optical sensor 40 and the sensing camera 41.
  • the cleaning system 5 includes a cleaning module 50 for each incident surface 33.
  • Each cleaning module 50 may have a cleaning nozzle for injecting a cleaning gas such as air onto the incident surface 33 as a cleaning fluid for cleaning the incident surface 33.
  • Each cleaning module 50 may have a cleaning nozzle for injecting a cleaning liquid onto the incident surface 33 as a cleaning fluid for cleaning the incident surface 33.
  • Each cleaning module 50 may have a cleaning wiper that cleans the incident surface 33 by wiping.
  • the vehicle control device 1 shown in FIGS. 2 and 3 is connected to the electrical components 4 and 5 of the automatic driving unit ADU via at least one of a LAN (Local Area Network), a wire harness, an internal bus, and the like. Ru.
  • the vehicle control device 1 includes at least one dedicated computer.
  • the dedicated computer constituting the vehicle control device 1 may be an operation control ECU that controls the automatic operation mode in cooperation with the ECU (Electronic Control Unit) in the vehicle 2.
  • the dedicated computer constituting the vehicle control device 1 may be an actuator ECU that individually controls the traveling actuator of the vehicle 2.
  • the dedicated computer constituting the vehicle control device 1 may be a locator ECU that estimates the state quantity of the vehicle 2 including its own position.
  • the dedicated computer constituting the vehicle control device 1 may be a navigation ECU that navigates the traveling route of the vehicle 2.
  • the dedicated computer constituting the vehicle control device 1 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls the information presentation of the information presentation system of the vehicle 2.
  • HCU Human Machine Interface
  • the vehicle control device 1 includes at least one memory 10 and one processor 12 by being configured to include such a dedicated computer.
  • the memory 10 non-transitory tangible, for example, at least one kind of non-transitory substantive storage medium (non-transitory tangible) among semiconductor memories, magnetic media, optical media, and the like, which stores programs and data that can be read by a computer non-temporarily. storage medium).
  • the processor 12 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a RISC (Reduced Instruction Set Computer) -CPU, and the like as a core.
  • the processor 12 executes a plurality of instructions included in the vehicle control program stored in the memory 10.
  • the vehicle control device 1 constructs a plurality of functional units (that is, functional blocks) for controlling the vehicle 2.
  • a plurality of functional units are constructed by causing the processor 12 to execute a plurality of instructions by the vehicle control program stored in the memory 10 in order to control the vehicle 2.
  • the plurality of functional units constructed by the vehicle control device 1 include an extraction unit 100 and a control unit 120.
  • the distance image Iord as the reflected light image Ior is input from the optical sensor 40, and the camera image Ic is input from the sensing camera 41 to the extraction unit 100.
  • the extraction unit 100 extracts the unmatched pixel group Po by comparing the distance image Iord and the camera image Ic. Therefore, the extraction unit 100 has a pixel interpolation unit 102, an edge detection unit 104, and a matching determination unit 106 as sub-functional units.
  • the pixel interpolation unit 102 pixel-interpolates the high-resolution side of the distance image Iord as the reflected light image Ior and the camera image Ic according to the low-resolution side.
  • the number of pixel groups for photographing the overlapping region Aoc in the sensing regions Ao and Ac is set to be larger in the camera image Ic than in the distance image Iord. That is, the camera image Ic is on the high resolution side, while the distance image Iord is on the low resolution side. Therefore, the pixel interpolation unit 102 internally interpolates the pixel value of each pixel coordinate in the camera image Ic according to each pixel coordinate in the distance image Iord. As a result of the interpolation, the pixel interpolation unit 102 generates a camera image Ic having substantially the same resolution as the distance image Iord with respect to the overlapping region Aoc, as shown in FIG. 7.
  • the edge detection unit 104 detects an edge from the pixel-interpolated camera image Ic by performing at least one type of edge filter processing on the pixel-interpolated camera image Ic.
  • the edge detection unit 104 also performs at least one type of edge filter processing on the distance image Iord, which is the reflected light image Ior of the overlapping region Aoc whose resolution is substantially the same as that of the camera image Ic by pixel interpolation. Edges are detected from the image Iord.
  • the matching determination unit 106 determines the matching state of the image Iord and Ic by comparing the detected edges with each other in the distance image Iord as the reflected light image Ior and the camera image Ic. At this time, the matching determination unit 106 determines that the pixel group is unmatched, for example, by normalizing the constituent pixel values of the edges to each other and calculating the difference, when a pixel group whose difference is out of the matching range is confirmed. Give it down.
  • the determination of unmatching by the water-related substance Mw (detailed later) that exists in the distance image Iord and does not exist in the camera image Ic is, for example, the past and present of the images Iord, Ic.
  • the matching determination unit 106 extracts the pixel group Po corresponding to the edge unmatched with the camera image Ic in the distance image Iord as shown in FIG.
  • the pixel group means a group of a plurality of pixels, and in particular, the pixel group Po when it is determined to be unmatched may be a group of a plurality of pixels that are adjacent to each other and are continuous. Further, for convenience of explanation, in FIG. 5, an unmatched pixel group Po is shown by adding a reference numeral Po to a thick solid line circle.
  • the pixel group Po extracted by the unmatching determination by the matching determination unit 106 in the distance image Iord as the reflected light image Ior is input to the control unit 120.
  • the unmatched pixel group Po corresponds to the presence of the water-related substance Mw, which is easily sensed by the reflected light of the laser beam having high intensity in the control unit 120.
  • the water-related substance Mw is at least one of, for example, rain (including water droplets), fog, water vapor (including components in exhaust gas), and water-containing sludge.
  • FIG. 5 schematically shows the existence of fog as a water-related substance Mw in an easy-to-understand manner for convenience.
  • the value of the reflection point distance dr which is the pixel value in the unmatched pixel group Po of the distance image Iord, is also input to the control unit 120 from the matching determination unit 106. Therefore, the control unit 120 determines the short length of the reflection point distance dr in the unmatched pixel group Po by comparison with a predetermined set range.
  • the set range is defined as a range below the threshold value for the reflection point distance dr or below the threshold value.
  • the threshold value that defines the setting range is set to an appropriate value such as 1 to 3 m when stopped and 3 to 10 m when traveling. Of course, the threshold value that defines the setting range may be set to an appropriate value of such an exemplary value.
  • the control unit 120 when the reflection point distance dr is within the set range, the water-related substance Mw, which is estimated to correspond to the unmatched pixel group Po, is incident on the optical sensor 40. It is predicted that there is a high possibility that it will adhere to the surface 33o.
  • the water-related substance Mw that is predicted to adhere to the incident surface 33o as described above rain, fog, water vapor, sludge, and the like are assumed as the above-mentioned exemplary substances.
  • the control unit 120 determines that the incident surface 33o of the optical sensor 40 is attached.
  • the cleaning control is instructed to the cleaning system 5 of the vehicle 2 in the automatic operation mode so as to perform cleaning.
  • the cleaning system 5 executes the cleaning process of the incident surface 33o by driving and controlling the cleaning module 50o corresponding to the incident surface 33o as shown in FIG.
  • the command for cleaning control regarding the incident surface 33c of the sensing camera 41 is not essential, and therefore the cleaning module 50c is not an essential element.
  • the adhesion prediction of the water-related substance Mw is established on the incident surface 33o of the optical sensor 40
  • the adhesion prediction is also established on the incident surface 33c of the sensing camera 41 which is arranged as close as possible to the sensor 40. As such, cleaning control regarding the same surface 33c may be instructed.
  • each "S" in this flow means a plurality of steps executed by a plurality of instructions included in a vehicle control program.
  • the pixel interpolation unit 102 of the extraction unit 100 pixel-interpolates the high-resolution camera image Ic according to the distance image Iord as the reflected light image Ior on the low-resolution side.
  • the edge detection unit 104 of the extraction unit 100 detects an edge from each of the distance image Iord and the camera image Ic.
  • the matching determination unit 106 of the extraction unit 100 determines the matching state of the images Iord and Ic by comparing the edges detected in the distance image Iord and the camera image Ic.
  • the control unit 120 commands the cleaning system 5 to execute cleaning control for the incident surface 33o of the optical sensor 40 as the control of the vehicle 2 in the automatic driving mode.
  • the acquired camera image Ic is compared with the acquired camera image Ic. It can be accurately estimated that the unmatched pixel group Po extracted by such a comparison corresponds to the water-related substance Mw in which the reflected light is easily sensed, that is, the water-related substance Mw in which the reflected light image Ior is easily reflected. Therefore, if the vehicle 2 is instructed to control the water-related substance Mw as a result of the estimation, it is possible to increase the appropriateness of the vehicle control.
  • the cleaning system 5 is mounted on the vehicle 2 so as to clean the incident surface 33o on which light is incident from the sensing region Ao in the optical sensor 40. According to this, it is accurately estimated that the unmatched pixel group Po extracted from the comparison of the reflected light image Ior and the camera image Ic acquired by the optical sensor 40 and the sensing camera 41 respectively corresponds to the water-related substance Mw. obtain. Therefore, according to the fact that the cleaning control is instructed to the cleaning system 5 of the vehicle 2 in the automatic driving mode for the incident surface 33o, which is predicted to have a high possibility of the water-related substance Mw adhering as a result of the estimation. , It is possible to increase the appropriateness of the cleaning control.
  • the distance image Ior is compared with the camera image Ic as the reflected light image Ior corresponding to the reflection point distance dr of the reflected light with respect to the light irradiation. It can be accurately estimated that the unmatched pixel group Po extracted by such a comparison corresponds to the water-related substance Mw whose reflection point distance dr is easily sensed, that is, the water-related substance Mw which is easily reflected in the distance image Iord. Therefore, as a result of the estimation, it is possible to instruct the cleaning control according to the water-related substance Mw and enhance the appropriateness of the cleaning control.
  • the pixel group Po in which the reflection point distance dr in the distance image Iord as the reflected light image Ior is within the set range is located within the set range and is optical. It is possible to accurately estimate the correspondence with the water-related substance Mw which is predicted to easily adhere to the incident surface 33o of the sensor 40. Therefore, it is possible to appropriately command and control the cleaning of the incident surface 33o in a situation where the water-related substance Mw is likely to adhere.
  • the high resolution side of the reflected light image Ior and the camera image Ic is pixel-interoperated according to the low resolution side, and then the images Ior and Ic are compared. According to such a comparison, it is possible to prevent a situation in which a pixel group that should be originally matched is erroneously extracted due to a difference in resolution. Therefore, it is possible to appropriately command and execute the control according to the water-related substance Mw presumed to correspond to the unmatched pixel group Po.
  • the second embodiment is a modification of the first embodiment.
  • the travel control device 6 is mounted in the vehicle 2 of the second embodiment.
  • the travel control device 6, in collaboration with the automatic driving unit ADU, executes travel control of the vehicle 2 including the automatic mode based on various sensing information by the sensor system 4. Therefore, the travel control device 6 includes at least one dedicated computer such as an ECU in the vehicle 2 described in the first embodiment.
  • the cleaning system 5 of the second embodiment is not indispensable, and the illustration of the system 5 is omitted in FIG.
  • the control unit 2120 of the second embodiment commands the travel control device 6 of the vehicle 2 to control the travel in the automatic driving mode so as to exclude the unmatched pixel group Po, which is presumed to correspond to the water-related substance Mw, from being recognized as an obstacle. do.
  • S101, S102, and S103 are executed according to the first embodiment, while S205 and S206 instead of S104, S105, and S106 are executed. Will be done.
  • the control unit 2120 commands the travel control device 6 of the vehicle 2 to control the travel in the automatic operation mode so as to exclude the water-related substance Mw from being recognized as an obstacle.
  • the control unit 2120 instructs the travel control device 6 to stop the travel control that removes the water-related substance Mw from the obstacle recognition.
  • S101, S102, and S103 correspond to the extraction step
  • S205 and S206 correspond to the control step.
  • the water-related substance Mw presumed to correspond to the unmatched pixel group Po extracted from the comparison of the reflected light image Ior and the camera image Ic is automatically excluded from the recognition as an obstacle.
  • the travel control in the operation mode is instructed to the vehicle 2. According to this, it is possible to ensure the continuity of the automatic operation mode by appropriate traveling control that suppresses the situation where the water-related substance Mw is erroneously recognized as an obstacle.
  • the third embodiment is a modification of the first embodiment.
  • the optical sensor 3040 of the third embodiment has a function of acquiring a reflected light image Ior during light irradiation according to the first embodiment and a function of acquiring an image while the light irradiation is stopped.
  • the object point in the sensing region Ao becomes the reflection point of the outside light.
  • the external light reflected at the reflection point is incident on the image pickup device 401 through the incident surface 33o.
  • the image pickup circuit 3402 senses the reflected external light by scanning a plurality of pixels of the image pickup element 401.
  • the image pickup circuit 3402 converts the luminance value acquired for each of a plurality of pixels according to the intensity of the sensed external light into two-dimensional data as each pixel value, thereby producing an external light image Ioo as shown in FIG. get.
  • the sensing of the external light in the acquisition function of the external light image Ioo is realized by the same image pickup device 401 as the sensing of the reflected light in the acquisition function of the reflected light image Ior.
  • the sensing camera 41 of the third embodiment is not indispensable, and the camera 41 is not shown in FIG.
  • the distance image Iord as the reflected light image Ior and the external light image Ioo are sequentially input from the optical sensor 3040 for each control cycle.
  • the pixel interpolation unit 102 as a sub-functional unit is omitted due to the sensing by the same element 401 described above.
  • the extraction unit 3100 realizes each function of the edge detection unit 104 and the matching determination unit 106 between the external light image Ioo instead of the camera image Ic and the reflected light image Ior according to the first embodiment.
  • the edge detection unit 104 of the extraction unit 3100 has the distance image Iord as the reflected light image Ior and the external light image Ioo. Edges are detected from each.
  • the matching determination unit 106 of the extraction unit 3100 determines the matching state of the images Iord and Ioo by comparing the edges detected in the distance image Iord and the external light image Ioo.
  • S104, S105, and S106 after S303 are executed according to the first embodiment. From the above, in the third embodiment, S302 and S303 correspond to the extraction step, and S104, S105 and S106 correspond to the control step.
  • the reflected light image Ior acquired by the optical sensor 3040 by sensing the reflected light with respect to the light irradiation, and the outside acquired by the sensor 3040 according to the external light intensity while the light irradiation is stopped.
  • the optical image Ioo is contrasted. It can be accurately estimated that the unmatched pixel group Po extracted by such a comparison corresponds to the water-related substance Mw in which the reflected light is easily sensed, that is, the water-related substance Mw in which the reflected light image Ior is easily reflected. Therefore, if the vehicle 2 is instructed to control the water-related substance Mw as a result of the estimation, it is possible to increase the appropriateness of the vehicle control.
  • the cleaning system 5 is mounted on the vehicle 2 so as to clean the incident surface 33o on which light is incident from the sensing region Ao in the optical sensor 3040.
  • the unmatched pixel group Po extracted from the contrast between the reflected light image Ior and the external light image Ioo acquired by the optical sensor 3040 can be accurately estimated to correspond to the water-related substance Mw. Therefore, for the incident surface 33o where the possibility of the water-related substance Mw adhering as a result of the estimation is predicted, the cleaning control is instructed to the cleaning system 5 of the vehicle 2 in the automatic driving mode. It is possible to increase the appropriateness of cleaning control.
  • the distance image Iord is compared with the external light image Ioo as the reflected light image Ior corresponding to the reflection point distance dr of the reflected light with respect to the light irradiation. It can be accurately estimated that the unmatched pixel group Po extracted by such a comparison corresponds to the water-related substance Mw whose reflection point distance dr is easily sensed, that is, the water-related substance Mw which is easily reflected in the distance image Iord. Therefore, as a result of the estimation, it is possible to instruct the cleaning control according to the water-related substance Mw and enhance the appropriateness of the cleaning control.
  • the pixel group Po in which the reflection point distance dr in the distance image Iord as the reflected light image Ior is within the set range is located within the set range and is optical. It can be accurately estimated to correspond to the water-related substance Mw which is predicted to easily adhere to the incident surface 33o of the sensor 3040. Therefore, it is possible to appropriately command and control the cleaning of the incident surface 33c in a situation where the water-related substance Mw is likely to adhere.
  • the reflection point distance dr sensed by the same element 401 as the external light intensity in the optical sensor 3040, an error occurs in the internal / external determination with the set range due to the axis deviation between the sensing.
  • the situation can be deterred. Therefore, it is possible to appropriately command and control the cleaning of the incident surface 33o where the water-related substance Mw is expected to adhere to the pixel group Po in which the reflection point distance dr is within the set range.
  • the fourth embodiment is a modification of the third embodiment.
  • a traveling control device 6 according to the second embodiment is mounted in the vehicle 2 of the fourth embodiment.
  • the control unit 4120 of the fourth embodiment has a driving control command function according to the second embodiment.
  • the cleaning system 5 of the fourth embodiment is not essential, and the illustration of the system 5 is omitted in FIG.
  • S302 and S303 are executed according to the third embodiment, while S205 of the second embodiment is replaced with S104, S105 and S106.
  • S405 and S406 according to S206 are executed. That is, in S405, the control unit 4120 commands the travel control device 6 of the vehicle 2 to control the travel in the automatic operation mode so as to remove the water-related substance Mw from being recognized as an obstacle.
  • the control unit 4120 runs and commands the row control device 6 to stop the running control that removes the water-related substance Mw from the obstacle recognition.
  • S302 and S303 correspond to the extraction step
  • S405 and S406 correspond to the control step.
  • the water-related substance Mw presumed to correspond to the unmatched pixel group Po extracted from the contrast between the reflected light image Ior and the external light image Ioo is excluded from the recognition as an obstacle.
  • the traveling control in the automatic driving mode is instructed to the vehicle 2. According to this, it is possible to ensure the continuity of the automatic operation mode by appropriate traveling control that suppresses the situation where the water-related substance Mw is erroneously recognized as an obstacle.
  • the fifth embodiment is a modification of the first embodiment.
  • the incident surface 33c of the sensing camera 41 is referred to as the incident surface 33c of the camera
  • the incident surface 33o of the optical sensor 40 is referred to as the optical incident surface 33o.
  • the camera incident surface 33c in which light is incident from the sensing region Ac overlapping with the optical sensor 40 captures the incident light as an image sensor. It is arranged on the inner world side on the optical axis L from the outer world side focal position pf of the image pickup lens system 413 that forms an image on 411. That is, the camera incident surface 33c is located within the focal length df on the sensing region Ac side in the imaging lens system 413.
  • the focal length df there is a high possibility that the edge of the water-related substance Mw will not be detected even by the edge filter processing in the camera image Ic by the sensing camera 41.
  • the extraction unit 5100 of the fifth embodiment has a pixel interpolation unit 102, an edge detection unit 104, a matching determination unit 106, and a search unit 5108 as sub-functional units.
  • the search unit 5108 searches for a target (hereinafter, also referred to as a target within the set range) in which the reflection point distance dr is within the set range ⁇ d in the distance image Iord by the optical sensor 40. This means searching for a physical point near the optical incident surface 33o in which the reflection point distance dr is within the set range ⁇ d.
  • the setting range ⁇ d in the fifth embodiment means that the edge of the water-related substance Mw is processed by the edge filter in the distance image Iord by the optical sensor 40 according to the focal length df on the sensing region Ac side in the imaging lens system 413. It is set within the detectable range.
  • the distance image Iord including the target within the set range of the search by the search unit 5108 and the camera image Ic pixel-interpolated by the pixel interpolation unit 102 are edge-detected by the edge detection unit 104, respectively.
  • the matching determination unit 106 compares the edges with each other.
  • the matching determination unit 106 that determines the matching state can extract the pixel group Po representing the edge of the target within the set range as the pixel group Po that is unmatched with the camera image Ic in the distance image Iord.
  • the control unit 5120 of the fifth embodiment is a water-related substance that is presumed to correspond to the unmatched pixel group Po when the unmatched pixel group Po representing the edge of the target within the set range is extracted. It is determined that the adhesion of Mw to the optical incident surface 33o is predicted. That is, when the reflection point distance dr in the unmatched pixel group Po is within the set range ⁇ d corresponding to the focal length df, the control unit 5120 predicts that the water-related substance Mw adheres to the optical incident surface 33o. It will be.
  • control unit 5120 which is determined to be expected to adhere the water-related substance Mw to the optical incident surface 33o when the reflection point distance dr in the unmatched pixel group Po is within the set range ⁇ d, is cleaned.
  • the cleaning system 5 is instructed to control the cleaning of the optical incident surface 33o by the gas.
  • the unit 5120 further controls the cleaning of the optical incident surface 33o with the cleaning liquid. Is instructed to the cleaning system 5.
  • the unmatched pixel group Po in the distance image Iord before the cleaning control command by the cleaning gas is edge-detected by the edge detection unit 104 also in the latest distance image Iord after the command. By doing so, it will be realized.
  • the control unit 5120 stops the cleaning control in the cleaning system 5. Be ordered.
  • the search unit 5108 of the extraction unit 5100 is a target, that is, a target in which the reflection point distance dr is within the set range ⁇ d in the distance image Iord. Search for targets within range. As a result, when the target within the set range is searched, this flow shifts to S501.
  • the pixel interpolation unit 102 of the extraction unit 5100 pixel-interpolates the high-resolution camera image Ic in accordance with the distance image Iord as the reflected light image Ior on the low-resolution side.
  • the edge detection unit 104 of the extraction unit 5100 detects an edge from each of the distance image Iord and the camera image Ic.
  • the matching determination unit 106 of the extraction unit 5100 determines the matching state of the image Iord and Ic by comparing the edges detected in the distance image Iord and the camera image Ic.
  • the pixel group Po representing the edge of the target within the set range is extracted as the pixel group Po unmatched with the camera image Ic in the distance image Iord, this flow shifts to S504.
  • the control unit 5120 estimates that the unmatched pixel group Po representing the edge of the target within the set range corresponds to the water-related substance Mw predicted to adhere to the optical incident surface 33o. In other words, the adhesion of the water-related substance Mw, which is presumed to correspond to the unmatched pixel group Po, to the optical incident surface 33o is predicted. Therefore, in the subsequent S505, the control unit 5120 instructs the cleaning system 5 to execute cleaning control of the optical incident surface 33o by the cleaning gas as the control of the vehicle 2 in the automatic driving mode.
  • the camera incident surface 33c on which light is incident from the sensing region Ac overlapping the optical sensor 40 in the sensing camera 41 is the image pickup lens system 413 in which the incident light is imaged on the image pickup element 411. It is located within the focal length df on the sensing region Ac side. According to this, when the reflection point distance dr in the unmatched pixel group Po is within the set range ⁇ d corresponding to the focal length df, the judgment that the adhesion of the water-related substance Mw is predicted is accurate. obtain. Therefore, it is possible to appropriately command and control the cleaning of the incident surface 33o in a situation where the water-related substance Mw is likely to adhere.
  • the pixel group Po having the reflection point distance dr within the set range ⁇ d is
  • the cleaning control by the cleaning liquid is instructed to the cleaning system 5.
  • the dedicated computer constituting the vehicle control device 1 may be at least one external center computer capable of communicating with the vehicle 2.
  • the dedicated computer constituting the vehicle control device 1 may include at least one of a digital circuit and an analog circuit as a processor.
  • the digital circuit is, for example, among ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), CPLD (Complex Programmable Logic Device), and the like. At least one type. Further, such a digital circuit may have a memory for storing a program.
  • the translucent cover 32 forming the incident surface 33o may be provided on the optical sensors 40 and 3040.
  • the incident surface 33o may be formed by an optical member such as a lens in the optical sensors 40 and 3040.
  • the intensity image obtained by converting the luminance value acquired for each of a plurality of pixels according to the reflected light intensity into two-dimensional data as each pixel value may be acquired as the reflected light image Ior. ..
  • the functions of the sub-functional units constituting the extraction units 100 and 3100 are realized between the camera image Ic or the external light image Ioo and the intensity image as the reflected light image Ior.
  • the function of determining the reflection point distance dr by the control unit 120 of the first and third embodiments may be performed based on the distance image Iord as the reflected light image Ior, or may be omitted. ..
  • S104 of the first and third embodiments may be omitted as shown in FIGS. 19 and 20. That is, in the flow of the vehicle control method, S105 may be executed assuming that the possibility of adhesion of the water-related substance Mw to the incident surface 33o is predicted only by the unmatching determination in S103 or S303.
  • the first embodiment and the second embodiment may be realized in combination as shown in FIG. 21. That is, when the adhesion of the water-related substance Mw to the incident surface 33o is not predicted as a result of S104, the flow of the vehicle control method shifts to S205, and in the case of perfect matching as a result of S103, the same. The flow may sequentially shift to S106 and S206.
  • the third embodiment and the fourth embodiment may be realized in combination as shown in FIG. 22. That is, when the adhesion of the water-related substance Mw to the incident surface 33o is not predicted as a result of S104, the flow of the vehicle control method shifts to S405, and in the case of perfect matching as a result of S303, the same. The flow may sequentially shift to S106 and S406.
  • the running control according to the second embodiment may be executed in place of or in addition to the cleaning control according to the fifth embodiment.
  • a step in which the control unit 5120 commands the cleaning system 5 to control cleaning by at least one of the cleaning gas and the cleaning liquid may be executed.
  • the extraction determination of the pixel group Po may be realized by the edge detection unit 104 of the extraction unit 5100 by executing the processing according to S500 to S503.
  • the steps according to S506 to S508 of the fifth embodiment (however, the setting range is the range defined in the first embodiment) may be executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、光学センサ(40)と重複するセンシング領域での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両を制御する車両制御装置(1)は、反射光画像(Ior)とカメラ画像(Ic)とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(100)と、アンマッチングの画素群(Po)に対応すると推定される水関連物質(Mw)に応じた制御を、車両に指令する制御部(120)とを、備える。

Description

車両制御装置、車両制御方法、車両制御プログラム 関連出願の相互参照
 この出願は、2020年9月11日に日本に出願された特許出願第2020-153238号、および、2021年7月29日に日本に出願された特許出願第2021-124655号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 本開示は、車両におけるセンサ系利用の制御技術に、関する。
 車両のセンサ系によるセンシング領域において、例えば雨、霧、又は水蒸気等の水関連物質の存在は、センシング精度の低下を招くことが知られている。そのため、水関連物質の存在判断は、車両の制御に影響する。特に近年、車両の自動運転モードにおける水関連物質の存在は、自動運転の継続性を左右するため、重要な制御要因となっている。
 ここで特許文献1には、センサ系においてセンシング領域から光の入射する入射面に付着した、例えば水滴等の汚れを判定するための、判定技術が開示されている。この開示技術では、光照射に対する反射光の強度変化に基づくことで、入射面の汚れが判定されている。
特開2005-10094号公報
 しかし、特許文献1の開示技術では、水関連物質が入射面に付着しない限り、同物質の存在を判断できない。そのため、入射面に水関連物質が付着してからでは、センサ系によるセンシング精度の低下に起因して車両制御の適正度が悪化する事態を、抑止することは難しいと懸念される。
 本開示の課題は、車両制御の適正度を高める車両制御装置を、提供することにある。本開示の別の課題は、車両制御の適正度を高める車両制御方法を、提供することにある。本開示のさらに別の課題は、車両制御の適正度を高める車両制御プログラムを、提供することにある。
 以下、課題を解決するための本開示の技術的手段について、説明する。
 本開示の第一態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラとを、搭載した車両を制御する車両制御装置であって、
 反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群を抽出する抽出部と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令する制御部とを、備える。
 本開示の第二態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラとを、搭載した車両を制御する車両制御方法であって、
 反射光画像とカメラ画像とを対比することにより、アンマッチングの画素群を抽出する抽出工程と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令する制御工程とを、含む。
 本開示の第三態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラとを、搭載した車両を制御するために、プロセッサに実行させる命令を含む車両制御プログラムであって、
 命令は、
 反射光画像とカメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令させる制御工程とを、含む。
 これら第一~第三態様によると、光照射に対する反射光のセンシングにより光学センサにて取得される反射光画像と、同センサと重複するセンシング領域での外光強度に応じてセンシングカメラにより取得されるカメラ画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、反射光がセンシングされ易い水関連物質、即ち反射光画像には写り易い水関連物質に対応すると正確に推定され得る。故に、推定の結果として水関連物質に応じた制御が車両に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
 本開示の第四態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサを、搭載した車両を制御する車両制御装置であって、
 反射光画像と外光画像とを対比することにより、アンマッチングの画素群を抽出する抽出部と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令する制御部とを、備える。
 本開示の第五態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサを、搭載した車両を制御する車両制御方法であって、
 反射光画像と外光画像とを対比することにより、アンマッチングの画素群を抽出する抽出工程と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令する制御工程とを、含む。
 本開示の第六態様は、
 光照射に対する反射光のセンシングにより反射光画像を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサを、搭載した車両を制御するために、プロセッサに実行させる命令を含む車両制御プログラムであって、
 命令は、
 反射光画像と外光画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程と、
 アンマッチングの画素群に対応すると推定される水関連物質に応じた制御を、車両に指令させる制御工程とを、含む。
 これら第四~第六態様によると、光照射に対する反射光のセンシングにより光学センサにて取得される反射光画像と、当該光照射の停止中に外光強度に応じて同センサにより取得される外光画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、反射光がセンシングされ易い水関連物質、即ち反射光画像には写り易い水関連物質に対応すると正確に推定され得る。故に、推定の結果として水関連物質に応じた制御が車両に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
第一実施形態による自動運転ユニットの車両への搭載状態を示す側面図である。 第一実施形態による自動運転ユニットの全体構成を示す横断面模式図である。 第一実施形態による車両制御装置の機能構成を示すブロック図である。 第一実施形態による光学センサ及びセンシングカメラのセンシング範囲を示す横断面模式図である。 第一実施形態による光学センサの取得画像を説明するための模式図である。 第一実施形態によるセンシングカメラの取得画像を説明するための模式図である。 第一実施形態によるセンシングカメラの補間後画像を説明するための模式図である。 第一実施形態による車両制御方法を示すフローチャートである。 第二実施形態による車両制御装置の機能構成を示すブロック図である。 第二実施形態による車両制御方法を示すフローチャートである。 第三実施形態による車両制御装置の機能構成を示すブロック図である。 第三実施形態による光学センサの取得画像を説明するための模式図である。 第三実施形態による車両制御方法を示すフローチャートである。 第四実施形態による車両制御装置の機能構成を示すブロック図である。 第四実施形態による車両制御方法を示すフローチャートである。 第五実施形態によるセンシングカメラの詳細構成を示す模式図である。 第五実施形態による車両制御装置の機能構成を示すブロック図である。 第五実施形態による車両制御方法を示すフローチャートである。 変形例による車両制御方法を示すフローチャートである。 変形例による車両制御方法を示すフローチャートである。 変形例による車両制御方法を示すフローチャートである。 変形例による車両制御方法を示すフローチャートである。
 以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
 (第一実施形態)
 図1に示すように、第一実施形態の車両制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、車両制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
 図1,2に示すようにハウジング3は、例えば金属等により中空状の扁平箱形に形成されている。ハウジング3は、車両2のルーフ20上に設置される。ハウジング3の壁30には、複数のセンサ窓31が開口している。各センサ窓31は、それぞれ板状の透光カバー32により覆われている。各透光カバー32の外面は、車両2の外界から光の入射する入射面33を、構成している。
 図2~4に示すようにセンサ系4は、光学センサ40を備えている。光学センサ40は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ40は、発光素子400、撮像素子401及び撮像回路402を有している。
 発光素子400は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子400は、車両2の外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子401は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な半導体素子である。撮像素子401の外界側(本実施形態では前側)には、光学センサ40専用の入射面33oが、配置されている。外界のうち、撮像素子401の画角により決まるセンシング領域Aoから、入射面33oへ入射する光により、同素子401が露光される。撮像回路402は、撮像素子401における複数画素の露光及び走査を制御すると共に、同素子401からの信号を処理してデータ化する、集積回路である。
 撮像回路402が発光素子400からの光照射により撮像素子401を露光する反射光モードでは、センシング領域Ao内の物点がレーザ光の反射点となる。その結果、反射点での反射されたレーザ光(以下、反射光という)が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射光をセンシングする。ここで特に撮像回路402は、図4に示す如くセンシングした反射光の反射点距離drに応じて複数画素毎に取得される距離値を、各画素値として三次元データ化することで、図5に示す如き反射光画像Iorとしての距離画像Iordを取得する。
 図2~4に示すようにセンサ系4は、こうした光学センサ40に加えて、センシングカメラ41も備えている。センシングカメラ41は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂外界カメラである。センシングカメラ41は、撮像素子411及び撮像回路402を有している。
 撮像素子411は、例えばCMOS等の半導体素子である。撮像素子411の外界側(本実施形態では前側)には、センシングカメラ41専用の入射面33cが、配置されている。外界のうち、撮像素子411の画角により決まるセンシング領域Acから、入射面33cへ入射する光により、同素子411が露光される。ここで図4に示すようにセンシングカメラ41のセンシング領域Acは、光学センサ40のセンシング領域Aoと部分的、重複する。センシング領域Ac,Aoの重複率、即ちそれら各領域Ac,Aoにおいて重複領域Aocの占める割合は、例えば50%以上、好ましくは70%以上、さらに好ましくは90%以上である。撮像回路412は、撮像素子411における複数画素の露光及び走査を制御すると共に、同素子411からの信号を処理してデータ化する、集積回路である。
 撮像回路412が撮像素子411を露光する露光モードでは、センシング領域Ac内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33cを通して撮像素子411に入射する。このとき撮像回路412は、撮像素子411の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路412は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図6に示す如きカメラ画像Icを取得する。
 図1~3に示す洗浄系5は、光学センサ40及びセンシングカメラ41においてセンシング領域Ao,Acから光の入射する入射面33o,33cを含んだ、複数入射面33を洗浄する。洗浄系5は、入射面33毎に洗浄モジュール50を備えている。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、例えば空気等の洗浄ガスを入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄液を入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を払拭により洗浄する、洗浄ワイパを有していてもよい。
 図2,3に示す車両制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットADUの電気的構成要素4,5と接続される。車両制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。車両制御装置1を構成する専用コンピュータは、車両2内のECU(Electronic Control Unit)と共同して自動運転モードを制御する、運転制御ECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の走行アクチュエータを個別制御する、アクチュエータECUであってもよい。車両制御装置1を構成する専用コンピュータは、自己位置を含んだ車両2の状態量を推定する、ロケータECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の走行経路をナビゲートする、ナビゲーションECUであってもよい。車両制御装置1を構成する専用コンピュータは、車両2の情報提示系の情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。
 車両制御装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
 プロセッサ12は、メモリ10に記憶された車両制御プログラムに含まれる複数の命令を、実行する。これにより車両制御装置1は、車両2を制御するための機能部(即ち、機能ブロック)を、複数構築する。このように車両制御装置1では、車両2を制御するためにメモリ10に記憶された車両制御プログラムが複数の命令をプロセッサ12に実行させることで、複数の機能部が構築される。車両制御装置1により構築される複数の機能部には、図3に示すように抽出部100及び制御部120が含まれる。
 制御サイクル毎に抽出部100には、光学センサ40から反射光画像Iorとしての距離画像Iordが入力されると共に、センシングカメラ41からカメラ画像Icが入力される。抽出部100は、距離画像Iordとカメラ画像Icとを対比することで、アンマッチングの画素群Poを抽出する。そのために抽出部100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106を有している。
 画素補間部102は、反射光画像Iorとしての距離画像Iordと、カメラ画像Icとのうち、高解像度側を低解像度側に合わせて画素補間する。ここで本実施形態では、センシング領域Ao,Acのうち重複領域Aocを撮影する画素群の数が、距離画像Iordよりもカメラ画像Icにて多く設定されている。即ち、カメラ画像Icが高解像度側となっている一方、距離画像Iordが低解像度側となっている。そこで画素補間部102は、カメラ画像Icにおいて各画素座標の画素値を、距離画像Iordにおける各画素座標に合わせて内分補間する。補間の結果として画素補間部102は、重複領域Aocに関して距離画像Iordと実質同一解像度のカメラ画像Icを、図7に示すように生成する。
 エッジ検出部104は、画素補間されたカメラ画像Icに対して、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Icからエッジを検出する。エッジ検出部104は、画素補間によりカメラ画像Icとは実質同一解像度となった重複領域Aocの反射光画像Iorである距離画像Iordに対しても、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Iordからエッジを検出する。
 マッチング判定部106は、反射光画像Iorとしての距離画像Iordと、カメラ画像Icとにおいて、それぞれ検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。このときマッチング判定部106は、例えばエッジの構成画素値を互いに正規化して差分を演算することで、当該差分がマッチング範囲外となる画素群が確認された場合等に、アンマッチングとの判定を下す。ここで特に第一実施形態では、距離画像Iordに存在し且つカメラ画像Icに存在しない水関連物質Mw(後に詳述)によるアンマッチングの判定が、例えば画像Iord,Icについての過去と現在との対比、及び物体認識等のうち少なくとも一種類に基づくことで、下される。これは、カメラ画像Icに存在し且つ距離画像Iordに存在しない物体として水関連物質Mw以外の、例えば黒い車体等といった鏡面反射物体によりアンマッチングの判定が下されるのを、回避するためである。こうした判定によりマッチング判定部106は、距離画像Iordにおいてカメラ画像Icとはアンマッチングなエッジに対応する画素群Poを、図5の如く抽出する。尚、画素群とは複数画素の群を意味し、特にアンマッチングと判定される場合の画素群Poは、隣り合って連続する複数画素の群であるとよい。また説明の便宜上、図5は、アンマッチングな画素群Poが、太実線の円に符号Poを付して示されている。
 図3に示すように制御部120には、反射光画像Iorとしての距離画像Iordにおいてマッチング判定部106でのアンマッチング判定により抽出された画素群Poが、入力される。制御部120では図5に示すように、強度があるレーザ光の反射光ではセンシングが容易となる水関連物質Mwの存在に、こうしたアンマッチングな画素群Poが対応すると推定される。ここで水関連物質Mwは、例えば雨(水滴を含む)、霧、水蒸気(排ガス中の成分も含む)、及び水分含有の汚泥等のうち、少なくとも一種類である。尚、図5の例は、水関連物質Mwとしての霧の存在を便宜上、分かり易く模式的に示している。
 制御部120には、距離画像Iordのアンマッチングな画素群Poでの画素値となっている反射点距離drの値も、マッチング判定部106から入力される。そこで制御部120は、アンマッチングの画素群Poにおける反射点距離drの短長を、所定の設定範囲との対比により判定する。ここで設定範囲とは、反射点距離drに関する閾値未満、又は当該閾値以下の範囲に規定される。また、設定範囲を規定する閾値は、例えば停止時は1~3m、走行時は3~10m等の適値に設定される。勿論、設定範囲を規定する閾値は、そうした例示値の適値に設定されてもよい。こうした規定及び設定の下にて制御部120では、反射点距離drが設定範囲内となる場合に、アンマッチングな画素群Poとの対応が推定される水関連物質Mwは、光学センサ40の入射面33oに付着する可能性が高いと予測される。このように入射面33oへの付着が予測される水関連物質Mwには、上述した例示物質として雨、霧、水蒸気、及び汚泥等が想定される。
 こうしたことから、アンマッチングな画素群Poと対応推定の水関連物質Mwが光学センサ40の入射面33oに付着すると予測されると判断した場合に制御部120は、光学センサ40の入射面33oを洗浄するように、自動運転モードにおける車両2の洗浄系5に対して洗浄制御を、指令する。指令を受けて洗浄系5は、図2の如く入射面33oに対応する洗浄モジュール50oを駆動制御することで、当該入射面33oの洗浄処理を実行する。このとき、センシングカメラ41の入射面33cに関する洗浄制御の指令は必須でなく、故に洗浄モジュール50cも必須要素ではない。但し、光学センサ40の入射面33oに対して水関連物質Mwの付着予測が成立する場合、同センサ40とは可及的に近接配置されるセンシングカメラ41の入射面33cにも付着予測が成立するとして、同面33cに関する洗浄制御が指令されてもよい。
 このような機能部100,120の共同により、車両制御装置1が車両2を制御する車両制御方法のフローを、図8に従って以下に説明する。尚、本フローにおける各「S」は、車両制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
 まず、S101において抽出部100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側となる反射光画像Iorとしての距離画像Iordに合わせて画素補間する。次に、S102において抽出部100のエッジ検出部104は、距離画像Iord及びカメラ画像Icの各々から、エッジを検出する。続いて、S103において抽出部100のマッチング判定部106は、距離画像Iord及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。
 S103の結果、反射光画像Iorとしての距離画像Iordにおいてカメラ画像Icとはアンマッチングと判定の画素群Poが抽出された場合には、本フローがS104へ移行する。S104において制御部120は、アンマッチングな画素群Poに対応すると推定される水関連物質Mwが光学センサ40の入射面33oに付着すると予測されるか否かを、当該アンマッチングな画素群Poの反射点距離drに基づき判定する。
 S104の結果、アンマッチングな画素群Poの反射点距離drが設定範囲内であることで、水関連物質Mwの入射面33oへの付着が予測される場合には、本フローがS105へ移行する。S105において制御部120は、自動運転モードにおける車両2の制御として、光学センサ40の入射面33oに対する洗浄制御の実行を、洗浄系5に指令する。
 さて、S103の結果、アンマッチングと判定の画素群Poが抽出されなかった完全マッチングの場合と、S104の結果、水関連物質Mwの入射面33oへの付着が予測されなかった場合とには、本フローがS106へ移行する。S106において制御部120は、洗浄制御の停止を洗浄系5に指令する。以上より第一実施形態では、S101,S102,S103が抽出工程に相当し、S104,S105,S106が制御工程に相当する。
 (作用効果)
 以上説明した第一実施形態の作用効果を、以下に説明する。
 第一実施形態によると、光照射に対する反射光のセンシングにより光学センサ40にて取得される反射光画像Iorと、同センサ40と重複するセンシング領域Acでの外光強度に応じてセンシングカメラ41により取得されるカメラ画像Icとが、対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射光がセンシングされ易い水関連物質Mw、即ち反射光画像Iorには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた制御が車両2に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
 第一実施形態によると、光学センサ40においてセンシング領域Aoから光の入射する入射面33oを洗浄するように、洗浄系5が車両2に搭載される。これによれば、光学センサ40及びセンシングカメラ41によりそれぞれ取得される反射光画像Ior及びカメラ画像Icの対比から抽出されるアンマッチングの画素群Poは、水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwの付着する可能性が高いと予測される入射面33oに対しては、洗浄制御が自動運転モードにおける車両2の洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 第一実施形態によると、光照射に対する反射光の反射点距離drに応じた反射光画像Iorとして、距離画像Iordがカメラ画像Icと対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射点距離drがセンシングされ易い水関連物質Mw、即ち距離画像Iordには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた洗浄制御を指令して、当該洗浄制御の適正度を高めることが可能となる。
 第一実施形態によると、アンマッチングの画素群Poの中でも特に、反射光画像Iorとしての距離画像Iordにおける反射点距離drが設定範囲内の画素群Poは、当該設定範囲内に位置して光学センサ40の入射面33oに付着し易いと予測される水関連物質Mwに、正確に対応推定され得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33oの洗浄を、適正に指令して制御することが可能となる。
 第一実施形態のような反射光画像Iorとカメラ画像Icとのエッジ同士の対比によれば、それらエッジからアンマッチングな画素群Poを正確に捉えて抽出することが容易となる。故に、アンマッチングの画素群Poに対応すると推定される水関連物質Mwに応じた制御を、適正に指令して実行することが可能となる。
 第一実施形態によると、反射光画像Iorとカメラ画像Icとのうち高解像度側が低解像度側に合わせて画素補間されてから、それら画像Ior,Icが対比される。こうした対比によれば、本来マッチングしているはずの画素群が解像度の違いに起因して誤抽出される事態を、抑止することができる。故に、アンマッチングの画素群Poに対応すると推定される水関連物質Mwに応じた制御を、適正に指令して実行することが可能となる。
 (第二実施形態)
 第二実施形態は、第一実施形態の変形例である。
 図9に示すように第二実施形態の車両2内には、走行制御装置6が搭載されている。走行制御装置6は、自動運転ユニットADUと共同することで、自動モードを含む車両2の走行制御を、センサ系4による各種センシング情報に基づき実行する。そのために走行制御装置6は、例えば第一実施形態で説明した車両2内のECU等、少なくとも一つの専用コンピュータを含んで構成される。尚、第二実施形態の洗浄系5は必須でなく、図9では、同系5の図示が省かれている。
 第二実施形態の制御部2120では、アンマッチングの画素群Poにおける反射点距離drが入力されず、当該距離dr短長判定が省かれる。そこで制御部2120は、水関連物質Mwと対応すると推定されるアンマッチングな画素群Poを、障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。
 こうした第二実施形態による車両制御方法のフローでは、図10に示すように、S101,S102,S103が第一実施形態に準じて実行される一方、S104,S105,S106に代わるS205,S206が実行される。具体的にS205において制御部2120は、水関連物質Mwを障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。これに対し、S206において制御部2120は、水関連物質Mwを障害物認識から外す走行制御の停止を、走行制御装置6に指令する。以上より第二実施形態では、S101,S102,S103が抽出工程に相当し、S205,S206が制御工程に相当する。
 (作用効果)
 以上説明した第二実施形態の作用効果を、以下に説明する。
 第二実施形態によると、反射光画像Ior及びカメラ画像Icの対比から抽出されるアンマッチングの画素群Poに対応すると推定される水関連物質Mwを、障害物としての認識から外すように、自動運転モードにおける走行制御が車両2に指令される。これによれば、水関連物質Mwが障害物として誤認識される事態を抑止した適正な走行制御により、自動運転モードの継続性を担保することが可能となる。
 (第三実施形態)
 第三実施形態は、第一実施形態の変形例である。
 図11に示すように第三実施形態の光学センサ3040は、第一実施形態に準じた光照射中での反射光画像Iorの取得機能と共に、当該光照射の停止中での画像取得機能を、有している。具体的には、撮像回路3402が発光素子400からの断続的な光照射の停止中に撮像素子401を露光する外光モードでは、センシング領域Ao内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33oを通して撮像素子401に入射する。このとき撮像回路3402は、撮像素子401の複数画素を走査することで、反射された外光をセンシングする。
 ここで特に撮像回路3402は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図12に示す如き外光画像Iooを取得する。このとき、外光画像Iooの取得機能における外光のセンシングは、反射光画像Iorの取得機能における反射光のセンシングと、同一の撮像素子401により実現されることとなる。尚、第三実施形態のセンシングカメラ41は必須でなく、図11では、当該カメラ41の図示が省かれている。
 第三実施形態の抽出部3100には、制御サイクル毎に光学センサ3040から、反射光画像Iorとしての距離画像Iordと、外光画像Iooとが順次入力される。抽出部3100では、上述した同一素子401でのセンシングにより、サブ機能部としての画素補間部102が省かれている。尚、エッジ検出部104及びマッチング判定部106での各機能を抽出部3100は、カメラ画像Icに代わる外光画像Iooと、反射光画像Iorとの間で第一実施形態に準じて実現する。
 こうした第三実施形態による車両制御方法のフローでは、図13に示すようにまず、S302において抽出部3100のエッジ検出部104が、反射光画像Iorとしての距離画像Iordと、外光画像Iooとの各々から、エッジを検出する。次に、S303において抽出部3100のマッチング判定部106は、距離画像Iord及び外光画像Iooにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Iooのマッチング状態を判定する。
 尚、S303後のS104,S105,S106は、第一実施形態に準じて実行される。以上より第三実施形態では、S302,S303が抽出工程に相当し、S104,S105,S106が制御工程に相当する。
 (作用効果)
 以上説明した第三実施形態の作用効果を、以下に説明する。
 第三実施形態によると、光照射に対する反射光のセンシングにより光学センサ3040にて取得される反射光画像Iorと、当該光照射の停止中に外光強度に応じて同センサ3040により取得される外光画像Iooとが、対比される。こうした対比により抽出されるアンマッチングの画素群Poは、反射光がセンシングされ易い水関連物質Mw、即ち反射光画像Iorには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた制御が車両2に指令されることによれば、当該車両制御の適正度を高めることが可能となる。
 第三実施形態によると、光学センサ3040においてセンシング領域Aoから光の入射する入射面33oを洗浄するように、洗浄系5が車両2に搭載される。これによれば、光学センサ3040により取得される反射光画像Ior及び外光画像Iooの対比から抽出されるアンマッチングの画素群Poは、水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwの付着する可能性が予測される入射面33oに対しては、洗浄制御が自動運転モードにおける車両2の洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 第三実施形態によると、光照射に対する反射光の反射点距離drに応じた反射光画像Iorとして、距離画像Iordが外光画像Iooと対比される。こうした対比により抽出されるアンマッチングの画素群Poは反射点距離drがセンシングされ易い水関連物質Mw、即ち距離画像Iordには写り易い水関連物質Mwに対応すると正確に推定され得る。故に、推定の結果として水関連物質Mwに応じた洗浄制御を指令して、当該洗浄制御の適正度を高めることが可能となる。
 第三実施形態によると、アンマッチングの画素群Poの中でも特に、反射光画像Iorとしての距離画像Iordにおける反射点距離drが設定範囲内の画素群Poは、当該設定範囲内に位置して光学センサ3040の入射面33oに付着し易いと予測される水関連物質Mwに、正確に対応推定され得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33cの洗浄を、適正に指令して制御することが可能となる。
 第三実施形態によると、光学センサ3040において外光強度と同一素子401によりセンシングされた反射点距離drについては、それらセンシング間での軸ズレに起因して設定範囲との内外判定に誤りが生じる事態を、抑止され得る。故に、反射点距離drが設定範囲内となる画素群Poに対応して水関連物質Mwの付着が予想される入射面33oの洗浄を、適正に指令して制御することが可能となる。
 (第四実施形態)
 第四実施形態は、第三実施形態の変形例である。
 図14に示すように第四実施形態の車両2内には、第二実施形態に準ずる走行制御装置6が、搭載されている。それと共に、第四実施形態の制御部4120は、第二実施形態に準ずる走行制御の指令機能を有している。尚、第四実施形態の洗浄系5も必須でなく、図14では、同系5の図示が省かれている。
 こうした第四実施形態による車両制御方法のフローでは、図15に示すように、S302,S303が第三実施形態に準じて実行される一方、S104,S105,S106に代えて第二実施形態のS205,S206に準ずるS405,S406が実行される。即ちS405において制御部4120は、水関連物質Mwを障害物としての認識から外すように、自動運転モードにおける走行制御を車両2の走行制御装置6に指令する。これに対し、S406において制御部4120は、水関連物質Mwを障害物認識から外す走行制御の停止を走、行制御装置6に指令する。以上より第四実施形態では、S302,S303が抽出工程に相当し、S405,S406が制御工程に相当する。
 (作用効果)
 以上説明した第四実施形態の作用効果を、以下に説明する。
 第四実施形態によると、反射光画像Ior及び外光画像Iooの対比から抽出されるアンマッチングの画素群Poに対応すると推定される水関連物質Mwを、障害物としての認識から外すように、自動運転モードにおける走行制御が車両2に指令される。これによれば、水関連物質Mwが障害物として誤認識される事態を抑止した適正な走行制御により、自動運転モードの継続性を担保することが可能となる。
 (第五実施形態)
 第五実施形態は、第一実施形態の変形例である。以下、第五実施形態の説明では、センシングカメラ41の入射面33cをカメラ入射面33cという一方、光学センサ40の入射面33oを光学入射面33oというものとする。
 図16に示すように第五実施形態に適用される第一実施形態のセンシングカメラ41では、光学センサ40と重複するセンシング領域Acから光の入射するカメラ入射面33cが、当該入射光を撮像素子411へ結像する結像レンズ系413の外界側焦点位置pfよりも、光軸L上において内界側に配置されている。即ちカメラ入射面33cは、結像レンズ系413におけるセンシング領域Ac側の焦点距離df内に、位置している。ここで焦点距離df内では、センシングカメラ41によるカメラ画像Icにおいて、エッジフィルタ処理によっても水関連物質Mwのエッジが未検出となる可能性が、高くなっている。
 図17に示すように第五実施形態の抽出部5100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106に加え、探索部5108を有している。探索部5108は、光学センサ40による距離画像Iordにおいて反射点距離drが設定範囲Δd内となる物標(以下、設定範囲内物標ともいう)を、探索する。これは、反射点距離drが設定範囲Δd内となる光学入射面33o近傍の物点を、探索することを意味する。ここで第五実施形態における設定範囲Δdとは、結像レンズ系413におけるセンシング領域Ac側の焦点距離dfに応じて、光学センサ40による距離画像Iordではエッジフィルタ処理により水関連物質Mwのエッジを検出可能な範囲に、設定される。
 このような第五実施形態では、探索部5108により探索の設定範囲内物標を含む距離画像Iordと、画素補間部102により画素補間されたカメラ画像Icとが、それぞれエッジ検出部104によるエッジ検出後、マッチング判定部106によりエッジ同士を対比される。これによりマッチング状態の判定をするマッチング判定部106は、距離画像Iordにおいて設定範囲内物標のエッジを表す画素群Poを、カメラ画像Icとはアンマッチングな画素群Poとして抽出可能となる。
 そこで第五実施形態の制御部5120は、設定範囲内物標のエッジを表すアンマッチングな画素群Poが抽出された場合に、当該アンマッチングな画素群Poとの対応が推定される水関連物質Mwの、光学入射面33oへの付着が予測されると判断する。即ち、アンマッチングの画素群Poにおける反射点距離drが焦点距離dfに応じた設定範囲Δd内となる場合には、光学入射面33oへの水関連物質Mwの付着が制御部5120により予測されることになる。
 このように、アンマッチングの画素群Poにおける反射点距離drが設定範囲Δd内となることで、光学入射面33oへの水関連物質Mwの付着が予想されると判断した制御部5120は、洗浄ガスによる光学入射面33oの洗浄制御を洗浄系5に指令する。この洗浄制御指令後に御部5120は、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordから抽出部5100によって抽出された場合には、さらに洗浄液による光学入射面33oの洗浄制御を洗浄系5に指令する。このとき画素群Poの抽出は、洗浄ガスによる洗浄制御指令前の距離画像Iordにおけるアンマッチングな画素群Poが、当該指令後となる最新の距離画像Iordにおいてもエッジ検出部104によりエッジ検出されることで、実現される。尚、洗浄ガスによる洗浄制御指令後に、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordに存在しなくなった場合には、制御部5120から洗浄制御の停止が洗浄系5に指令される。
 こうした第五実施形態による車両制御方法のフローでは、図18に示すように、S500において抽出部5100の探索部5108は、距離画像Iordにおいて反射点距離drが設定範囲Δd内の物標、即ち設定範囲内物標を探索する。その結果、設定範囲内物標が探索された場合には、本フローがS501へ移行する。
 S501において抽出部5100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側となる反射光画像Iorとしての距離画像Iordに合わせて画素補間する。次に、S502において抽出部5100のエッジ検出部104は、距離画像Iord及びカメラ画像Icの各々から、エッジを検出する。
 続いて、S503において抽出部5100のマッチング判定部106は、距離画像Iord及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Iord,Icのマッチング状態を判定する。その結果、距離画像Iordにおいて設定範囲内物標のエッジを表す画素群Poが、カメラ画像Icとはアンマッチングな画素群Poとして抽出された場合には、本フローがS504へ移行する。
 S504において制御部5120は、設定範囲内物標のエッジを表すアンマッチングな画素群Poが、光学入射面33oへの付着の予測される水関連物質Mwに対応する、と推定する。換言すれば、アンマッチングな画素群Poとの対応が推定される水関連物質Mwの、光学入射面33oへの付着が予測される。そこで、続くS505において制御部5120は、自動運転モードにおける車両2の制御として、洗浄ガスによる光学入射面33oへの洗浄制御の実行を、洗浄系5に指令する。
 洗浄ガスによる光学入射面33oへの洗浄制御指令後となるS506において抽出部5100のエッジ検出部104は、設定範囲Δd内の反射点距離drとなる画素群Poを、距離画像Iordから抽出できたか否かを、判定する。その結果、設定範囲Δd内の反射点距離drとなる画素群Poをエッジ検出部104が抽出できた場合には、本フローがS507へ移行する。S507において制御部5120は、自動運転モードにおける車両2の制御として、洗浄液による光学入射面33oへの洗浄制御の実行を、洗浄系5に指令する。
 一方でS506の結果、設定範囲Δd内の反射点距離drとなる画素群Poをエッジ検出部104が抽出できなかった場合には、本フローがS508へ移行することで、制御部5120が洗浄制御の停止を洗浄系5に指令する。また、S500の結果、設定範囲内の物標が探索されなかった場合と、S503の結果、設定範囲内物標のエッジを表す画素群Poが抽出されなかった完全マッチングの場合とにも、本フローがS508へ移行することで、制御部5120が洗浄制御の停止を洗浄系5に指令する。以上より第五実施形態では、S500,S501,S502,S503,S506が抽出工程に相当し、S504,S505,S507,S508が制御工程に相当する。
 (作用効果)
 以上説明した第五実施形態の作用効果を、以下に説明する。
 第五実施形態によると、センシングカメラ41において光学センサ40と重複するセンシング領域Acから光の入射するカメラ入射面33cは、当該入射光を撮像素子411へと結像する結像レンズ系413における、当該センシング領域Ac側の焦点距離df内に位置する。これによれば、アンマッチングの画素群Poにおける反射点距離drが焦点距離dfに応じた設定範囲Δd内となる場合には、水関連物質Mwの付着が予測されるとの判断は、正確となり得る。故に、水関連物質Mwの付着する可能性が高い状況における入射面33oの洗浄を、適正に指令して制御することが可能となる。
 第五実施形態によると、反射点距離drが設定範囲Δd内となる場合に洗浄ガスによる洗浄制御が洗浄系5に指令された後、設定範囲Δd内の反射点距離drとなる画素群Poが距離画像Iordから抽出部抽出された場合には、洗浄液による洗浄制御が洗浄系5に指令される。これによれば、水関連物質Mwの種類又は付着状態に合わせて洗浄ガスと洗浄液とを使い分けることで、洗浄液の節約を図ることが可能となる。例えば、水関連物質Mwが雨、霧、又は水蒸気等であれば、洗浄ガスでも洗浄が完了し易いことから、洗浄液は水関連物質Mwとしての汚泥等の洗浄に有効活用され得る。
 (他の実施形態)
 以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 変形例において車両制御装置1を構成する専用コンピュータは、車両2との間にて通信可能な少なくとも一つの外部センターコンピュータであってもよい。変形例において車両制御装置1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、有していてもよい。
 変形例において入射面33oを形成する透光カバー32は、光学センサ40,3040に設けられていてもよい。変形例において入射面33oは、光学センサ40,3040における例えばレンズ等の光学部材により、形成されていてもよい。
 変形例において光学センサ40,3040では、複数画素毎に反射光強度に応じて取得される輝度値を、各画素値として二次元データ化した強度画像が、反射光画像Iorとして取得されてもよい。この場合、抽出部100,3100を構成する各サブ機能部の機能は、カメラ画像Ic又は外光画像Iooと、反射光画像Iorとしての強度画像との間で実現される。但し、この場合に、第一及び第三実施形態の制御部120による反射点距離drの判定機能は、反射光画像Iorとしての距離画像Iordに基づき実施されてもよいし、省かれてもよい。
 変形例において第一及び第三実施形態のS104は、図19,20に示すように省かれてもよい。即ち車両制御方法のフローでは、S103又はS303でのアンマッチング判定のみで、水関連物質Mwの入射面33oへの付着可能性が予測されるとして、S105が実行されてもよい。
 変形例において第一実施形態と第二実施形態とは、図21に示すように組み合わせて実現されてもよい。即ち、S104の結果として水関連物質Mwの入射面33oへの付着が予測されなかった場合には、車両制御方法のフローがS205へ移行すると共に、S103の結果として完全マッチングの場合には、同フローがS106,S206へ順次移行してもよい。
 変形例において第三実施形態と第四実施形態とは、図22に示すように組み合わせて実現されてもよい。即ち、S104の結果として水関連物質Mwの入射面33oへの付着が予測されなかった場合には、車両制御方法のフローがS405へ移行すると共に、S303の結果として完全マッチングの場合には、同フローがS106,S406へ順次移行してもよい。
 変形例において第二実施形態に準ずる走行制御が、第五実施形態による洗浄制御に代えて又は加えて実行されてもよい。変形例において第五実施形態のS505~S507が実行される代わりに、洗浄ガス及び洗浄液の少なくとも一方による洗浄制御を制御部5120が洗浄系5へ指令するステップが、実行されてもよい。変形例において第五実施形態のS506では、S500~S503に準ずる処理が実行されることで、画素群Poの抽出判定が抽出部5100のエッジ検出部104により実現されてもよい。変形例において第一及び第三実施形態のS105では、第五実施形態のS506~S508に準ずるステップ(但し、設定範囲は第一実施形態において定義の範囲)が、実行されてもよい。

Claims (27)

  1.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御装置(1)であって、
     前記反射光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(100,5100)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御部(120,2120,5120)とを、備える車両制御装置。
  2.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御部(120)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項1に記載の車両制御装置。
  3.  前記抽出部は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比し、
     前記制御部は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項2に記載の車両制御装置。
  4.  前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
     前記制御部(5120)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項3に記載の車両制御装置。
  5.  前記制御部(5120)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令した後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出部(5100)により抽出された場合に、洗浄液による洗浄制御を前記洗浄系に指令する請求項3又は4に記載の車両制御装置。
  6.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御装置(1)であって、
     前記反射光画像と前記外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出部(3100)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御部(120,4120)とを、備える車両制御装置。
  7.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御部(120)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項6に記載の車両制御装置。
  8.  前記抽出部は、前記光照射に対する反射光の反射点距離に応じた前記反射光画像としての距離画像(Iord)を前記外光画像と対比し、
     前記制御部は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項7に記載の車両制御装置。
  9.  前記制御部(2120,4120)は、前記アンマッチングの画素群に対応すると推定される前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項1~8のいずれか一項に記載の車両制御装置。
  10.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御する車両制御方法であって、
     前記反射光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む車両制御方法。
  11.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御工程(S104,S105,S106,S504,S505,S507,S508)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項10に記載の車両制御方法。
  12.  前記抽出工程は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比し、
     前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項11に記載の車両制御方法。
  13.  前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
     前記制御工程(S504,S505,S507,S508)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項12に記載の車両制御方法。
  14.  前記制御工程(S504,S505,S507,S508)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令した後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出工程(S506)により抽出される場合に、洗浄液による洗浄制御を前記洗浄系に指令する請求項12又は13に記載の車両制御方法。
  15.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御する車両制御方法であって、
     前記反射光画像と前記外光画像とを対比することにより、アンマッチングの画素群(Po)を抽出する抽出工程(S302,S303)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令する制御工程(S104,S105,S106,S405,S406)とを、含む車両制御方法。
  16.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御工程(S104,S105,S106)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令する請求項15に記載の車両制御方法。
  17.  前記抽出工程は、前記光照射に対する反射光の反射点距離に応じた、前記反射光画像としての距離画像(Iord)を前記外光画像と対比し、
     前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断する請求項16に記載の車両制御方法。
  18.  前記制御工程(S205,S206,S405,S406)は、前記アンマッチングの画素群に対応する前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項10~17のいずれか一項に記載の車両制御方法。
  19.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得する光学センサ(40)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)とを、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
     前記命令は、
     前記反射光画像と前記カメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S101,S102,S103,S500,S501,S502,S503,S506)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令させる制御工程(S104,S105,S106,S205,S206,S504,S505,S507,S508)とを、含む車両制御プログラム。
  20.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御工程(S104,S105,S106,S504,S505,S507,S508)は、前記アンマッチングの画素群に対応する前記水関連物質の前記入射面への付着が予測される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令させる請求項19に記載の車両制御プログラム。
  21.  前記抽出工程は、前記光照射に対する反射光の反射点距離(dr)に応じた前記反射光画像としての距離画像(Iord)を前記カメラ画像と対比させ、
     前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項20に記載の車両制御プログラム。
  22.  前記センシングカメラにおいて、前記光学センサと重複するセンシング領域(Ac)から光の入射する入射面(33c)は、当該入射光を撮像素子(411)へ結像する結像レンズ系(413)における、当該センシング領域(Ac)側の焦点距離(df)内に位置し、
     前記制御工程(S504,S505,S507,S508)は、前記アンマッチングの画素群における前記反射点距離が前記焦点距離に応じた前記設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項21に記載の車両制御プログラム。
  23.  前記制御工程(S504,S505,S507,S508)は、前記反射点距離が前記設定範囲内となる場合に、洗浄ガスによる洗浄制御を前記洗浄系に指令させた後、前記設定範囲内の前記反射点距離となる画素群が前記距離画像から前記抽出工程(S506)により抽出される場合に、洗浄液による洗浄制御を前記洗浄系に指令させる請求項21又は22に記載の車両制御プログラム。
  24.  光照射に対する反射光のセンシングにより反射光画像(Ior)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)を、搭載した車両(2)を制御するために、プロセッサ(12)に実行させる命令を含む車両制御プログラムであって、
     前記命令は、
     前記反射光画像と前記外光画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程(S302,S303)と、
     前記アンマッチングの画素群に対応すると推定される水関連物質(Mw)に応じた制御を、前記車両に指令させる制御工程(S104,S105,S106,S405,S406)とを、含む車両制御プログラム。
  25.  前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄するように、洗浄系(5)が前記車両に搭載され、
     前記制御工程(S104,S105,S106)は、前記アンマッチングの画素群に対応する前記水関連物質が前記入射面に付着したと推定される場合に、前記入射面に対する洗浄制御を、自動運転モードにおける前記車両の前記洗浄系に指令させる請求項24に記載の車両制御プログラム。
  26.  前記抽出工程は、前記光照射に対する反射光の反射点距離に応じた前記反射光画像としての距離画像(Iord)を前記外光画像と対比させ、
     前記制御工程は、前記アンマッチングの画素群における前記反射点距離が設定範囲内となる場合に、前記水関連物質の付着が予測されると判断させる請求項25に記載の車両制御プログラム。
  27.  前記制御工程(S205,S206,S405,S406)は、前記アンマッチングの画素群に対応する前記水関連物質を、障害物としての認識から外すように、自動運転モードにおける前記車両の走行制御を指令する請求項19~26のいずれか一項に記載の車両制御プログラム。
PCT/JP2021/030490 2020-09-11 2021-08-20 車両制御装置、車両制御方法、車両制御プログラム WO2022054532A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180055171.2A CN116076078A (zh) 2020-09-11 2021-08-20 车辆控制装置、车辆控制方法、车辆控制程序
US18/179,958 US20230219532A1 (en) 2020-09-11 2023-03-07 Vehicle control device, vehicle control method, and computer program product

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2020-153238 2020-09-11
JP2020153238 2020-09-11
JP2021-124655 2021-07-29
JP2021124655A JP2022047499A (ja) 2020-09-11 2021-07-29 車両制御装置、車両制御方法、車両制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/179,958 Continuation US20230219532A1 (en) 2020-09-11 2023-03-07 Vehicle control device, vehicle control method, and computer program product

Publications (1)

Publication Number Publication Date
WO2022054532A1 true WO2022054532A1 (ja) 2022-03-17

Family

ID=80631603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030490 WO2022054532A1 (ja) 2020-09-11 2021-08-20 車両制御装置、車両制御方法、車両制御プログラム

Country Status (3)

Country Link
US (1) US20230219532A1 (ja)
CN (1) CN116076078A (ja)
WO (1) WO2022054532A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020005343A1 (de) * 2020-08-31 2022-03-03 Daimler Ag Verfahren zur Objektverfolgung von mindestens einem Objekt, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Objektverfolgungsvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Objektverfolgungsvorrichtung
JP2022152402A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 認識装置、車両システム、認識方法、およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114277A (ja) * 2001-10-04 2003-04-18 Nissan Motor Co Ltd 車間距離計測装置
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2014041106A (ja) * 2012-08-23 2014-03-06 Mazda Motor Corp 撮像装置、車載用監視装置および対象物検知方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
JP2020076589A (ja) * 2018-11-06 2020-05-21 日本電産モビリティ株式会社 対象物検出装置
US20200271823A1 (en) * 2019-02-26 2020-08-27 Ford Global Technologies, Llc Illuminator obstruction detection
WO2021075299A1 (ja) * 2019-10-18 2021-04-22 株式会社小糸製作所 車両用灯具システム、異物判定装置および異物判定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114277A (ja) * 2001-10-04 2003-04-18 Nissan Motor Co Ltd 車間距離計測装置
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2014041106A (ja) * 2012-08-23 2014-03-06 Mazda Motor Corp 撮像装置、車載用監視装置および対象物検知方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
JP2020076589A (ja) * 2018-11-06 2020-05-21 日本電産モビリティ株式会社 対象物検出装置
US20200271823A1 (en) * 2019-02-26 2020-08-27 Ford Global Technologies, Llc Illuminator obstruction detection
WO2021075299A1 (ja) * 2019-10-18 2021-04-22 株式会社小糸製作所 車両用灯具システム、異物判定装置および異物判定方法

Also Published As

Publication number Publication date
US20230219532A1 (en) 2023-07-13
CN116076078A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
WO2022054532A1 (ja) 車両制御装置、車両制御方法、車両制御プログラム
CN112315383B (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
EP2682896B1 (en) In-vehicle apparatus
CN108140323B (zh) 用于机动车中的环境检测时改进的数据融合的方法和设备
KR102604453B1 (ko) 레이더 데이터의 자동 라벨링 방법 및 시스템
US20170030722A1 (en) Vehicle localization system
CN112836633A (zh) 停车位检测方法以及停车位检测***
CN110969655A (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
US10007268B2 (en) Method for detecting objects on a parking area
JP6902899B2 (ja) レーン線認識装置およびレーン線認識プログラム
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
CN112287834A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
CN104883553A (zh) 视差值导出设备及方法、装备控制***、可移动装置
US20210394761A1 (en) Method and Processing Unit for Determining Information With Respect to an Object in an Environment of a Vehicle
CN113496617B (zh) 检测空置停车位的***和方法
US11657624B2 (en) Image processor and image processing method for parking frame estimation on a road surface
JP2016170708A (ja) 道路状態判定装置および道路状態判定方法
JP4767052B2 (ja) 光軸ずれ検出装置
JP2008160635A (ja) カメラ状態検出方法
JP2022047499A (ja) 車両制御装置、車両制御方法、車両制御プログラム
WO2022054531A1 (ja) 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
JP4023333B2 (ja) 車線検出装置
JP2022075247A (ja) 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム
US20190304123A1 (en) Identification apparatus, identification method, and non-transitory recording medium storing identification program
JP7525936B2 (ja) 確信度推定値を有する深度マップを提供するための方法およびシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866492

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866492

Country of ref document: EP

Kind code of ref document: A1