WO2022054531A1 - 洗浄制御装置、洗浄制御方法、洗浄制御プログラム - Google Patents

洗浄制御装置、洗浄制御方法、洗浄制御プログラム Download PDF

Info

Publication number
WO2022054531A1
WO2022054531A1 PCT/JP2021/030489 JP2021030489W WO2022054531A1 WO 2022054531 A1 WO2022054531 A1 WO 2022054531A1 JP 2021030489 W JP2021030489 W JP 2021030489W WO 2022054531 A1 WO2022054531 A1 WO 2022054531A1
Authority
WO
WIPO (PCT)
Prior art keywords
cleaning
light intensity
optical sensor
cleaning control
image
Prior art date
Application number
PCT/JP2021/030489
Other languages
English (en)
French (fr)
Inventor
晴継 福本
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN202180055180.1A priority Critical patent/CN116133910A/zh
Publication of WO2022054531A1 publication Critical patent/WO2022054531A1/ja
Priority to US18/179,972 priority patent/US20230219533A1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S2007/4975Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
    • G01S2007/4977Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen including means to prevent or remove the obstruction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • This disclosure relates to a cleaning system control technology for a vehicle sensor system.
  • Patent Document 1 discloses a technique for determining the contamination of the incident surface.
  • the contamination of the incident surface is determined based on the change in the intensity of the reflected light with respect to the light irradiation.
  • An object of the present disclosure is to provide a cleaning control device that enhances the appropriateness of cleaning control. Another object of the present disclosure is to provide a cleaning control method that enhances the appropriateness of cleaning control. Yet another subject of the present disclosure is to provide a cleaning control program that enhances the appropriateness of cleaning control.
  • the first aspect of the present disclosure is The optical sensor and the sensing camera overlap with the optical sensor that acquires the external light image according to the external light intensity while the light irradiation that senses the reflected light is stopped, and the sensing camera that acquires the camera image according to the external light intensity.
  • It is a cleaning control device that controls the cleaning system of the vehicle equipped with the cleaning system that cleans the incident surface where light is incident from the sensing area.
  • An extraction unit that extracts unmatched pixel groups by comparing an external light image with a camera image, It is provided with a control unit that commands the cleaning system to control the cleaning of stains that are presumed to correspond to the unmatched pixel group on the incident surface.
  • the second aspect of the present disclosure is The optical sensor and the sensing camera overlap with the optical sensor that acquires the external light image according to the external light intensity while the light irradiation that senses the reflected light is stopped, and the sensing camera that acquires the camera image according to the external light intensity.
  • It is a cleaning control method that controls the cleaning system of the vehicle on which the cleaning system that cleans the incident surface where light is incident from the sensing area is installed.
  • An extraction process that extracts unmatched pixel groups by comparing an external light image with a camera image, It includes a control step of instructing the cleaning system to control the cleaning of stains that are presumed to correspond to the unmatched pixel group on the incident surface.
  • the third aspect of the present disclosure is The optical sensor and the sensing camera overlap with the optical sensor that acquires the external light image according to the external light intensity while the light irradiation that senses the reflected light is stopped, and the sensing camera that acquires the camera image according to the external light intensity.
  • a cleaning control program that includes instructions to be executed by a processor to control the cleaning system of a vehicle equipped with a cleaning system that cleans the incident surface where light is incident from the sensing region.
  • the order is An extraction process that extracts unmatched pixel groups by comparing an external light image with a camera image, It includes a control step of instructing the cleaning system to control the cleaning of stains that are presumed to correspond to the unmatched pixel group on the incident surface.
  • the camera image acquired according to the light intensity is compared.
  • the unmatched pixel group extracted by such a comparison can be accurately estimated to correspond to the dirt adhering to any of the incident surfaces of the optical sensor and the sensing camera. Therefore, if the cleaning control of dirt is instructed to the cleaning system as a result of the estimation, it is possible to increase the appropriateness of the cleaning control.
  • the fourth aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation, a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor, and an incident surface where light is incident from the sensing area in the optical sensor.
  • a cleaning control device that controls the cleaning system of the vehicle on which the cleaning system is installed.
  • An extraction unit that extracts the object of interest in the camera image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, a control unit that commands the cleaning system to perform cleaning control of dirt that is presumed to correspond to the amount of change outside the permissible range on the incident surface. Be prepared.
  • the fifth aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation, a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor, and an incident surface where light is incident from the sensing area in the optical sensor. It is a cleaning control method that controls the cleaning system of the vehicle on which the cleaning system is installed.
  • An extraction process that extracts the object of interest in the camera image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, the control step of instructing the cleaning system to control the cleaning of dirt that is presumed to correspond to the amount of change out of the permissible range on the incident surface.
  • the sixth aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation, a sensing camera that acquires a camera image according to the external light intensity in the sensing area that overlaps with the optical sensor, and an incident surface where light is incident from the sensing area in the optical sensor.
  • a cleaning control program including instructions to be executed by a processor to control the cleaning system of the vehicle on which the cleaning system is to be cleaned.
  • the order is An extraction process that extracts the object of interest in the camera image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, the control step of instructing the cleaning system to control the cleaning of dirt that is presumed to correspond to the amount of change out of the permissible range on the incident surface. include.
  • the object of interest is extracted from the camera image acquired by the sensing camera according to the external light intensity in the sensing region overlapping with the optical sensor.
  • the amount of change in the reflected light intensity acquired by the optical sensor from the object of interest thus extracted by light irradiation is out of the permissible range, it can be accurately estimated that it corresponds to the dirt adhering to the incident surface of the optical sensor. Therefore, if the cleaning control of dirt is instructed to the cleaning system as a result of the estimation, it is possible to increase the appropriateness of the cleaning control.
  • the seventh aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped, and a cleaning system that cleans the incident surface where light is incident from the sensing region in the optical sensor.
  • a cleaning control device that controls the cleaning system of the mounted vehicle.
  • An extraction unit that extracts the object of interest in an external light image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, a control unit that commands the cleaning system to perform cleaning control of dirt that is presumed to correspond to the amount of change outside the permissible range on the incident surface. Be prepared.
  • the eighth aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped, and a cleaning system that cleans the incident surface where light is incident from the sensing region in the optical sensor.
  • a cleaning control method that controls the cleaning system of the mounted vehicle. Extraction process to extract the object of interest in the external light image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, the control step of instructing the cleaning system to control the cleaning of dirt that is presumed to correspond to the amount of change out of the permissible range on the incident surface. include.
  • the ninth aspect of the present disclosure is An optical sensor that acquires the reflected light intensity for light irradiation and acquires an external light image according to the external light intensity while the light irradiation is stopped, and a cleaning system that cleans the incident surface where light is incident from the sensing region in the optical sensor.
  • a cleaning control program that includes instructions to be executed by the processor to control the cleaning system of the mounted vehicle.
  • the order is An extraction process that extracts the object of interest in an external light image, When the amount of change in the reflected light intensity from the object of interest is out of the permissible range, the control step of instructing the cleaning system to control the cleaning of dirt that is presumed to correspond to the amount of change out of the permissible range on the incident surface.
  • the object of interest is extracted from the external light image acquired by the optical sensor according to the external light intensity while the light irradiation for acquiring the reflected light intensity is stopped.
  • the amount of change in the reflected light intensity acquired by the optical sensor from the object of interest thus extracted by light irradiation is out of the permissible range, it can be accurately estimated that it corresponds to the dirt adhering to the incident surface of the optical sensor. Therefore, if the cleaning control of dirt is instructed to the cleaning system as a result of the estimation, it is possible to increase the appropriateness of the cleaning control.
  • the automatic driving unit ADU including the cleaning control device 1 of the first embodiment is mounted on the vehicle 2.
  • the vehicle 2 is capable of steady or temporary automatic driving in an automatic driving mode by autonomous driving control or advanced driving support control.
  • the automatic operation unit ADU includes a housing 3, a sensor system 4, and a cleaning system 5 together with a cleaning control device 1.
  • front, rear, left, right, top and bottom are defined with reference to the vehicle 2 on the horizontal plane.
  • the housing 3 is formed in a hollow flat box shape by, for example, metal or the like.
  • the housing 3 is installed on the roof 20 of the vehicle 2.
  • a plurality of sensor windows 31 are open on the wall 30 of the housing 3.
  • Each sensor window 31 is covered with a plate-shaped translucent cover 32.
  • the outer surface of each translucent cover 32 constitutes an incident surface 33 to which light is incident from the outside world of the vehicle 2.
  • the sensor system 4 includes an optical sensor 40.
  • the optical sensor 40 is a so-called LiDAR (Light Detection and Ringing / Laser Imaging Detection and Ringing) that acquires optical information that can be used in the automatic driving mode in the vehicle 2.
  • the optical sensor 40 includes a light emitting element 400, an image pickup element 401, and an image pickup circuit 402.
  • the light emitting element 400 is a semiconductor element that emits directional laser light, such as a laser diode.
  • the light emitting element 400 irradiates the laser beam toward the outside world of the vehicle 2 in the form of an intermittent pulse beam.
  • the image pickup device 401 is a semiconductor device having high sensitivity to light, such as a SPAD (Single Photon Avalanche Diode).
  • An incident surface 33o dedicated to the optical sensor 40 is arranged on the outside world side (front side in this embodiment) of the image pickup device 401. In the outside world, the light incident on the incident surface 33o from the sensing region Ao determined by the angle of view of the image sensor 401 exposes the element 401.
  • the image pickup circuit 402 is an integrated circuit that controls exposure and scanning of a plurality of pixels in the image pickup element 401 and processes signals from the element 401 to convert them into data.
  • the image pickup circuit 402 In the reflected light mode in which the image pickup circuit 402 exposes the image pickup element 401 by irradiating light from the light emitting element 400, a physical point in the sensing region Ao becomes a reflection point of the laser beam. As a result, the laser light reflected at the reflection point (hereinafter referred to as reflected light) is incident on the image pickup device 401 through the incident surface 33o. At this time, the image pickup circuit 402 senses the reflected light by scanning a plurality of pixels of the image pickup element 401.
  • the image pickup circuit 402 senses the reflected external light by scanning a plurality of pixels of the image pickup element 401.
  • the image pickup circuit 402 converts the luminance value acquired for each of a plurality of pixels according to the intensity of the sensed external light into two-dimensional data as each pixel value, thereby producing an external light image Ioo as shown in FIG. get.
  • the sensor system 4 includes a sensing camera 41 in addition to the optical sensor 40.
  • the sensing camera 41 is a so-called external camera that acquires optical information that can be used in the automatic driving mode in the vehicle 2.
  • the sensing camera 41 has an image pickup device 411 and an image pickup circuit 402.
  • the image sensor 411 is, for example, a semiconductor element such as CMOS.
  • An incident surface 33c dedicated to the sensing camera 41 is arranged on the outside world side (front side in this embodiment) of the image pickup device 411. In the outside world, the light incident on the incident surface 33c from the sensing region Ac determined by the angle of view of the image sensor 411 exposes the element 411.
  • the sensing region Ac of the sensing camera 41 partially overlaps with the sensing region Ao of the optical sensor 40.
  • the overlap rate of the sensing regions Ac and Ao that is, the ratio of the overlapping region Aoc in each of the regions Ac and Ao is, for example, 50% or more, preferably 70% or more, and more preferably 90% or more.
  • the image pickup circuit 412 is an integrated circuit that controls exposure and scanning of a plurality of pixels in the image pickup element 411 and processes signals from the element 411 to convert them into data.
  • an object point in the sensing region Ac becomes a reflection point of external light.
  • the external light reflected at the reflection point is incident on the image pickup device 411 through the incident surface 33c.
  • the image pickup circuit 412 senses the reflected external light by scanning a plurality of pixels of the image pickup element 411.
  • the image pickup circuit 412 acquires the camera image Ic as shown in FIG. 6 by converting the luminance value acquired for each of a plurality of pixels according to the intensity of the sensed external light into two-dimensional data as each pixel value. do.
  • the cleaning system 5 shown in FIGS. 1 to 3 cleans a plurality of incident surfaces 33 including incident surfaces 33o and 33c in which light is incident from the sensing regions Ao and Ac in the optical sensor 40 and the sensing camera 41.
  • the cleaning system 5 includes a cleaning module 50 for each incident surface 33.
  • Each cleaning module 50 may have a cleaning nozzle that injects cleaning gas onto the incident surface 33 as a cleaning fluid for cleaning the incident surface 33.
  • Each cleaning module 50 may have a cleaning nozzle for injecting a cleaning liquid onto the incident surface 33 as a cleaning fluid for cleaning the incident surface 33.
  • Each cleaning module 50 may have a cleaning wiper that cleans the incident surface 33 by wiping.
  • the cleaning control device 1 shown in FIGS. 2 and 3 is connected to the electrical components 4 and 5 of the automatic operation unit ADU via at least one of a LAN (Local Area Network), a wire harness, an internal bus, and the like. Ru.
  • the cleaning control device 1 includes at least one dedicated computer.
  • the dedicated computer constituting the cleaning control device 1 may be an operation control ECU that controls the automatic operation mode in cooperation with the ECU (Electronic Control Unit) in the vehicle 2.
  • the dedicated computer constituting the cleaning control device 1 may be an actuator ECU that individually controls the traveling actuator of the vehicle 2.
  • the dedicated computer constituting the cleaning control device 1 may be a locator ECU that estimates the state quantity of the vehicle 2 including its own position.
  • the dedicated computer constituting the cleaning control device 1 may be a navigation ECU that navigates the traveling route of the vehicle 2.
  • the dedicated computer constituting the cleaning control device 1 may be an HCU (HMI (Human Machine Interface) Control Unit) that controls the information presentation of the information presentation system of the vehicle 2.
  • HCU Human Machine Interface
  • the cleaning control device 1 includes at least one memory 10 and one processor 12 by being configured to include such a dedicated computer.
  • the memory 10 non-transitory tangible, for example, at least one kind of non-transitory substantive storage medium (non-transitory tangible) among semiconductor memories, magnetic media, optical media, and the like, which stores programs and data that can be read by a computer non-temporarily. storage medium).
  • the processor 12 includes, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a RISC (Reduced Instruction Set Computer) -CPU, and the like as a core.
  • the processor 12 executes a plurality of instructions included in the cleaning control program stored in the memory 10.
  • the cleaning control device 1 constructs a plurality of functional units (that is, functional blocks) for controlling the cleaning system 5.
  • a plurality of functional units are constructed by causing the processor 12 to execute a plurality of instructions by the cleaning control program stored in the memory 10 in order to control the cleaning system 5.
  • the plurality of functional units constructed by the cleaning control device 1 include an extraction unit 100 and a control unit 120.
  • the extraction unit 100 extracts an unmatched pixel group by comparing the external light image Ioo with the camera image Ic. Therefore, the extraction unit 100 has a pixel interpolation unit 102, an edge detection unit 104, and a matching determination unit 106 as sub-functional units.
  • the pixel interpolation unit 102 performs pixel interpolation by matching the high resolution side of the external light image Ioo and the camera image Ic to the low resolution side.
  • the number of pixel groups for photographing the overlapping region Aoc in the sensing regions Ao and Ac is set to be larger in the camera image Ic than in the external light image Ioo. That is, the camera image Ic is on the high resolution side, while the external light image Ioo is on the low resolution side. Therefore, the pixel interpolation unit 102 internally interpolates the pixel value of each pixel coordinate in the camera image Ic according to each pixel coordinate in the external light image Ioo. As a result of the interpolation, the pixel interpolation unit 102 generates a camera image Ic having substantially the same resolution as the external light image Ioo with respect to the overlapping region Aoc, as shown in FIG. 7.
  • the edge detection unit 104 detects an edge from the pixel-interpolated camera image Ic by performing at least one type of edge filter processing on the pixel-interpolated camera image Ic.
  • the edge detection unit 104 applies at least one type of edge filter processing to the external light image Ioo of the overlapping region Aoc whose resolution is substantially the same as that of the camera image Ic by pixel interpolation, thereby performing an edge from the image Ioo. Is detected.
  • the matching determination unit 106 determines the matching state of the images Ioo and Ic by comparing the edges detected in the external light image Ioo and the camera image Ic, respectively. At this time, the matching determination unit 106 determines that the pixel group is unmatched, for example, by normalizing the constituent pixel values of the edges to each other and calculating the difference, when a pixel group whose difference is out of the matching range is confirmed. Give it down. Based on such a determination, the matching determination unit 106 extracts the pixel groups Po and Pc corresponding to the edges that are unmatched between the external light image Ioo and the camera image Ic as shown in FIGS. 5 and 7.
  • the pixel group means a group of a plurality of pixels, and in particular, the pixel groups Po and Pc when it is determined to be unmatched may be a group of a plurality of pixels that are adjacent to each other and are continuous. Further, for convenience of explanation, FIGS. 5 and 7 show unmatched pixel groups Po and Pc with reference numerals Po and Pc attached to thick solid circles.
  • the pixel groups Po and Pc extracted by the unmatching determination by the matching determination unit 106 in each image Ioo and Ic are input to the control unit 120.
  • the control unit 120 commands the cleaning system 5 in the vehicle 2 in the automatic operation mode to perform cleaning control so as to clean the dirty Do and Dc that are presumed to correspond to the unmatched pixel groups Po and Pc.
  • the cleaning system 5 executes the cleaning process of the surfaces 33o and 33c by driving and controlling the cleaning modules 50o and 50c corresponding to the incident surfaces 33o and 33c, respectively, as shown in FIG.
  • each "S" in this flow means a plurality of steps executed by a plurality of instructions included in a cleaning control program.
  • the pixel interpolation unit 102 of the extraction unit 100 pixel-interpolates the high-resolution camera image Ic in accordance with the external light image Ioo on the low-resolution side.
  • the edge detection unit 104 of the extraction unit 100 detects an edge from each of the external light image Ioo and the camera image Ic.
  • the matching determination unit 106 of the extraction unit 100 determines the matching state of the images Ioo and Ic by comparing the edges detected in the external light image Ioo and the camera image Ic.
  • the camera image Ic acquired by the camera 41 according to the external light intensity is compared with the camera image Ic.
  • the unmatched pixel groups Po and Pc extracted by such comparison can be accurately estimated to correspond to the dirt Do and Dc adhering to any of the incident surfaces 33o and 33c of the optical sensor 40 and the sensing camera 41. Therefore, when the cleaning control of dirt is instructed to the cleaning system 5 as a result of the estimation, it is possible to increase the appropriateness of the cleaning control. It can be said that this is particularly effective as a cleaning control that affects the continuity of the automatic driving mode in the vehicle 2.
  • the high-resolution side of the external light image Ioo and the camera image Ic is pixel-interpolated according to the low-resolution side, and then the images Ioo and Ic are compared. According to such a comparison, it is possible to prevent a situation in which a pixel group that should be originally matched is erroneously extracted due to a difference in resolution. Therefore, it is possible to appropriately command and control the cleaning of the stains Do and Dc, which are presumed to correspond to the unmatched pixel groups Po and Pc.
  • the second embodiment is a modification of the first embodiment.
  • the image pickup circuit 2402 in the reflected light mode acquires the intensity of the reflected light sensed with respect to the light irradiation as the reflected light intensity ir as shown in FIG.
  • the image pickup circuit 2402 may output the reflected light intensity ir of the designated pixel specified as described later.
  • the image pickup circuit 2402 may acquire the reflected light image Ior as shown in FIG. 11 by converting the luminance value acquired according to the reflected light intensity ir for each of a plurality of pixels into two-dimensional data as each pixel value. good.
  • the function of acquiring the external light image Ioo is not essential, and the illustration of the function is omitted in FIG.
  • the camera image Ic is input from the sensing camera 41 to the extraction unit 2100 of the second embodiment every control cycle.
  • the extraction unit 2100 extracts at least one object of interest Oa of interest in the camera image Ic.
  • the extraction of the object of interest Oa is executed by pattern recognition using, for example, an image filter or a machine learning model.
  • one attention object Oa having a clear feature amount may be extracted, or a plurality of attention objects Oa scattered on the camera image Ic may be extracted.
  • the extraction unit 2100 generates pixel coordinate information Ca of the constituent pixels for the pixels corresponding to each of the objects of interest Oa extracted in this way in the camera image Ic.
  • the pixel coordinate information Ca of the object of interest Oa extracted by the extraction unit 2100 is input to the control unit 2120 of the second embodiment.
  • the control unit 2120 has a strength determination unit 2122 and a cleaning command unit 2124 as sub-functional units.
  • the intensity determination unit 2122 determines the amount of change ⁇ i with respect to the reflected light intensity ir from the object of interest Oa, as shown in FIG. At this time, the intensity determination unit 2122 designates a pixel corresponding to the pixel coordinate information Ca of the object of interest Oa to the optical sensor 2040 for each control cycle, so that the reflected light intensity ir at the designated pixel is determined from the object Oa. It may be acquired as the reflected light intensity ir of. Alternatively, the intensity determination unit 2122 sets the reflected light intensity ir represented by the luminance value of the pixel corresponding to the pixel coordinate information Ca of the object Oa of interest in the reflected light image Ior input from the optical sensor 2040 to the reflected light from the object Oa. It may be acquired as the intensity ir.
  • the intensity determination unit 2122 thus determines the amount of change ⁇ i of the reflected light intensity ir acquired in the current control cycle from the previous control cycle as shown in FIG. 10 by comparison with a predetermined allowable range.
  • the permissible range is defined as a range less than or equal to a threshold value regarding the amount of change ⁇ i of the reflected light intensity ir. Therefore, in the intensity determination unit 2122, when the change amount ⁇ i of the reflected light intensity ir from the object of interest Oa increases beyond the permissible range, the incident surface 33o of the optical sensor 2040 corresponds to the dirt Do attached as shown in FIG. It is estimated that the out-of-allowable change amount ⁇ i corresponds. This estimation is based on the finding that the reflected light intensity ir during sensing becomes substantially constant due to the unique reflectance of the same object of interest Oa.
  • the pixels to be acquired and the determination target of the change amount ⁇ i of the reflected light intensity ir in the reflected light image Io are set in the pixel coordinate information Ca of the object of interest Oa given by the extraction unit 2100 in FIG. Correspond as. Therefore, for the same object of interest Oa, the amount of change ⁇ i of the reflected light intensity ir in a single pixel may be determined, or the average amount of change ⁇ i of the reflected light intensity ir in the pixel group having a plurality of pixels. The total change amount ⁇ i may be determined.
  • the cleaning command unit 2124 cleans the dirt Do that is presumed to correspond to the change amount ⁇ i outside the permissible range.
  • the cleaning control is instructed to the cleaning system 5 in the vehicle 2 in the automatic operation mode.
  • the cleaning system 5 executes the cleaning process of the surface 33o by driving and controlling the cleaning module 50o corresponding to the incident surface 33o of the optical sensor 2040.
  • the command for cleaning control regarding the incident surface 33c of the sensing camera 41 is not essential, and therefore the cleaning module 50c is not an essential element.
  • the extraction unit 2100 extracts the object of interest Oa from the camera image Ic in S201.
  • the intensity determination unit 2122 of the control unit 2120 determines whether the amount of change ⁇ i of the reflected light intensity ir from the object of interest Oa is within or outside the permissible range.
  • the object of interest Oa is extracted from the camera image Ic acquired by the sensing camera 41 according to the external light intensity in the sensing region Ac overlapping with the optical sensor 2040.
  • the change amount ⁇ i of the reflected light intensity ir acquired by the optical sensor 2040 from the object of interest Oa extracted in this way by light irradiation is out of the permissible range, the dirt Do Do adhering to the incident surface 33o of the optical sensor 2040 (see FIG. 11). ) Can be accurately estimated. Therefore, when the cleaning control of the dirt Do is instructed to the cleaning system 5 as a result of the estimation, it is possible to increase the appropriateness of the cleaning control.
  • the reflected light image Ior acquired by the optical sensor 2040 as in the second embodiment it is easy to accurately identify the pixel corresponding to the object of interest Oa extracted from the camera image Ic acquired by the sensing camera 41. Become. According to this, when the change amount ⁇ i of the reflected light intensity ir in the pixel corresponding to the object Oa of interest in the reflected light image Ior is out of the permissible range, it is estimated that the change amount ⁇ i is out of the permissible range. It is possible to properly command and control the cleaning of dirty Do.
  • the third embodiment is a modification of the second embodiment.
  • the optical sensor 3040 of the third embodiment has the function of acquiring the reflected light intensity ir during light irradiation according to the second embodiment and the acquisition of the external light image Ioo while the light irradiation is stopped according to the first embodiment.
  • the function is mandatory.
  • the sensing of the reflected light in the acquisition function of the reflected light intensity ir and the sensing of the external light in the acquisition function of the external light image Ioo are realized by the same image pickup device 401.
  • the sensing camera 41 of the third embodiment is not indispensable, and the camera 41 is not shown in FIG.
  • the external light image Ioo is input from the optical sensor 3040 to the extraction unit 3100 of the third embodiment every control cycle. As shown in FIG. 15, the extraction unit 3100 extracts at least one object of interest Oa of interest in the external light image Ioo.
  • the specific extraction function of the object of interest Oa is realized by the extraction unit 3100 according to the second embodiment.
  • the extraction unit 3100 extracts the object of interest Oa from the external light image Ioo.
  • S202, S203, and S204 after S301 are executed according to the second embodiment. From the above, in this flow, S301 corresponds to the extraction process, and S202, S203, and S204 correspond to the control process.
  • the object of interest Oa is extracted in the external light image Ioo acquired by the optical sensor 3040 according to the external light intensity while the light irradiation for acquiring the reflected light intensity ir is stopped.
  • the change amount ⁇ i of the reflected light intensity ir acquired by the optical sensor 3040 by light irradiation from the object of interest Oa extracted in this way is out of the permissible range, the dirt Do (see FIG. 15) adhering to the incident surface 33o of the optical sensor 3040. ) Can be accurately estimated. Therefore, when the cleaning control of the dirt Do is instructed to the cleaning system 5 as a result of the estimation, it is possible to increase the appropriateness of the cleaning control.
  • the pixel corresponding to the object of interest Oa extracted from the external light image Ioo acquired by the sensor 3040 is accurately specified. It will be easier. According to this, when the change amount ⁇ i of the reflected light intensity ir in the pixel corresponding to the object Oa of interest in the reflected light image Ior is out of the permissible range, it is estimated that the change amount ⁇ i is out of the permissible range. It is possible to properly command and control the cleaning of dirty Do.
  • the change amount ⁇ i of the reflected light intensity ir from the object of interest Oa sensed by the same element 401 as the external light intensity in the optical sensor 3040 is due to the axis deviation between the intensity sensing. Situations that are out of the permissible range can be deterred. Therefore, it is possible to properly command and control the cleaning of dirt that is presumed to correspond to the change amount ⁇ i outside the permissible range.
  • the dedicated computer constituting the cleaning control device 1 may be at least one external center computer capable of communicating with the vehicle 2.
  • the dedicated computer constituting the cleaning control device 1 may include at least one of a digital circuit and an analog circuit as a processor.
  • the digital circuit is, for example, among ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), SOC (System on a Chip), PGA (Programmable Gate Array), CPLD (Complex Programmable Logic Device), and the like. At least one type. Further, such a digital circuit may have a memory for storing a program.
  • the translucent cover 32 forming the incident surface 33o may be provided on the optical sensors 40, 2040, and 3040.
  • the incident surface 33o may be formed by an optical member such as a lens in the optical sensors 40, 2040, and 3040.
  • the translucent cover 32 forming the incident surface 33c may be provided on the sensing camera 41.
  • the incident surface 33c may be formed by an optical member such as a lens in the sensing camera 41.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、光学センサ(40)及びセンシングカメラ(41)において重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の洗浄系(5)を制御する洗浄制御装置(1)は、外光画像(Ioo)とカメラ画像(Ic)とを対比することにより、アンマッチングの画素群を抽出する抽出部(100)と、入射面(33o,33c)においてアンマッチングの画素群(Po,Pc)に対応すると推定される汚れ(Do,Dc)の洗浄制御を、洗浄系(5)に指令する制御部(120)とを、備える。

Description

洗浄制御装置、洗浄制御方法、洗浄制御プログラム 関連出願の相互参照
 この出願は、2020年9月11日に日本に出願された特許出願第2020-153237号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 本開示は、車両のセンサ系に対する洗浄系の制御技術に、関する。
 車両のセンサ系では、センシング領域から光の入射する入射面に汚れが付着すると、センシング精度の低下を招くことが知られている。そこで、入射面に汚れが付着した場合には、当該入射面を洗浄する必要がある。特に近年、車両の自動運転モードにおける入射面の洗浄は、自動運転の継続性を左右するため、重要となっている。
 ここで特許文献1には、入射面の汚れを判定する技術が、開示されている。この開示技術では、光照射に対する反射光の強度変化に基づくことで、入射面の汚れが判定されている。
特開2005-10094号公報
 しかし、特許文献1の開示技術では、入射面に近接する物体からの反射光強度と、入射面に付着の汚れ物質からの反射光強度とを、正確に判別することは難しいという懸念がある。そのため、特許文献1の開示技術による判定結果に基づき、入射面の洗浄が制御されるとすると、無駄な洗浄を招く事態が予想される。
 本開示の課題は、洗浄制御の適正度を高める洗浄制御装置を、提供することにある。本開示の別の課題は、洗浄制御の適正度を高める洗浄制御方法を、提供することにある。本開示のさらに別の課題は、洗浄制御の適正度を高める洗浄制御プログラムを、提供することにある。
 以下、課題を解決するための本開示の技術的手段について、説明する。
 本開示の第一態様は、
 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサ及びセンシングカメラにおいて重複するセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御装置であって、
 外光画像とカメラ画像とを対比することにより、アンマッチングの画素群を抽出する抽出部と、
 入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部とを、備える。
 本開示の第二態様は、
 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサ及びセンシングカメラにおいて重複するセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御方法であって、
 外光画像とカメラ画像とを対比することにより、アンマッチングの画素群を抽出する抽出工程と、
 入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程とを、含む。
 本開示の第三態様は、
 反射光をセンシングする光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサ及びセンシングカメラにおいて重複するセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御するために、プロセッサに実行させる命令を含む洗浄制御プログラムであって、
 命令は、
 外光画像とカメラ画像とを対比させることにより、アンマッチングの画素群を抽出させる抽出工程と、
 入射面においてアンマッチングの画素群に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程とを、含む。
 これら第一~第三態様によると、反射光をセンシングする光照射の停止中に外光強度に応じて光学センサにより取得される外光画像と、同センサとセンシング領域の重複するセンシングカメラにより外光強度に応じて取得されるカメラ画像とが、対比される。こうした対比により抽出されるアンマッチングの画素群は、光学センサ及びセンシングカメラの入射面のうち、いずれかにおいて付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 本開示の第四態様は、
 光照射に対する反射光強度を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御装置であって、
 カメラ画像において注目する注目物体を抽出する抽出部と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部とを、備える。
 本開示の第五態様は、
 光照射に対する反射光強度を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御方法であって、
 カメラ画像において注目する注目物体を抽出する抽出工程と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程とを、含む。
 本開示の第六態様は、
 光照射に対する反射光強度を取得する光学センサと、光学センサと重複するセンシング領域での外光強度に応じたカメラ画像を取得するセンシングカメラと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御するために、プロセッサに実行させる命令を含む洗浄制御プログラムであって、
 命令は、
 カメラ画像において注目する注目物体を抽出させる抽出工程と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程とを、含む。
 これら第四~第六態様によると、光学センサと重複するセンシング領域での外光強度に応じてセンシングカメラにより取得されるカメラ画像においては、注目する注目物体が抽出される。こうして抽出される注目物体から光学センサが光照射によって取得する反射光強度の変化量は、許容範囲外となる場合、光学センサの入射面において付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 本開示の第七態様は、
 光照射に対する反射光強度を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御装置であって、
 外光画像において注目する注目物体を抽出する抽出部と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御部とを、備える。
 本開示の第八態様は、
 光照射に対する反射光強度を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御する洗浄制御方法であって、
 外光画像において注目する注目物体を抽出する抽出工程と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令する制御工程とを、含む。
 本開示の第九態様は、
 光照射に対する反射光強度を取得し且つ光照射の停止中に外光強度に応じた外光画像を取得する光学センサと、光学センサにおいてセンシング領域から光の入射する入射面を洗浄する洗浄系とを、搭載した車両の洗浄系を制御するために、プロセッサに実行させる命令を含む洗浄制御プログラムであって、
 命令は、
 外光画像において注目する注目物体を抽出させる抽出工程と、
 注目物体からの反射光強度の変化量が許容範囲外となる場合に、入射面において許容範囲外の変化量に対応すると推定される汚れの洗浄制御を、洗浄系に指令させる制御工程とを、含む。
 これら第七~第九態様によると、反射光強度を取得する光照射の停止中に外光強度に応じて光学センサにより取得される外光画像においては、注目する注目物体が抽出される。こうして抽出される注目物体から光学センサが光照射によって取得する反射光強度の変化量は、許容範囲外となる場合、光学センサの入射面において付着した汚れに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
第一実施形態による自動運転ユニットの車両への搭載状態を示す側面図である。 第一実施形態による自動運転ユニットの全体構成を示す横断面模式図である。 第一実施形態による洗浄制御装置の詳細構成を示すブロック図である。 第一実施形態による光学センサ及びセンシングカメラのセンシング範囲を示す横断面模式図である。 第一実施形態による光学センサの取得画像を説明するための模式図である。 第一実施形態によるセンシングカメラの取得画像を説明するための模式図である。 第一実施形態によるセンシングカメラの補間後画像を説明するための模式図である。 第一実施形態による洗浄制御方法を示すフローチャートである。 第二実施形態による洗浄制御装置の詳細構成を示すブロック図である。 第二実施形態による光学センサの取得強度を説明するためのグラフである。 第二実施形態による光学センサの取得画像を説明するための模式図である。 第二実施形態によるセンシングカメラの取得画像を説明するための模式図である。 第二実施形態による洗浄制御方法を示すフローチャートである。 第三実施形態による洗浄制御装置の詳細構成を示すブロック図である。 第三実施形態による光学センサの取得画像を説明するための模式図である。 第三実施形態による洗浄制御方法を示すフローチャートである。
 以下、複数の実施形態を図面に基づき説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことで、重複する説明を省略する場合がある。また、各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。さらに、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。
 (第一実施形態)
 図1に示すように、第一実施形態の洗浄制御装置1を備える自動運転ユニットADUは、車両2に搭載される。車両2は、自律運転制御又は高度運転支援制御による自動運転モードにおいて、定常的若しくは一時的に自動走行可能となっている。自動運転ユニットADUは、洗浄制御装置1と共に、ハウジング3、センサ系4及び洗浄系5を含んで構成されている。尚、以下の説明において、前、後、左、右、上及び下とは、水平面上の車両2を基準に定義されている。
 図1,2に示すようにハウジング3は、例えば金属等により中空状の扁平箱形に形成されている。ハウジング3は、車両2のルーフ20上に設置される。ハウジング3の壁30には、複数のセンサ窓31が開口している。各センサ窓31は、それぞれ板状の透光カバー32により覆われている。各透光カバー32の外面は、車両2の外界から光の入射する入射面33を、構成している。
 図2~4に示すようにセンサ系4は、光学センサ40を備えている。光学センサ40は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂LiDAR(Light Detection and Ranging / Laser Imaging Detection and Ranging)である。光学センサ40は、発光素子400、撮像素子401及び撮像回路402を有している。
 発光素子400は、例えばレーザダイオード等の、指向性レーザ光を発する半導体素子である。発光素子400は、車両2の外界へ向かうレーザ光を、断続的なパルスビーム状に照射する。撮像素子401は、例えばSPAD(Single Photon Avalanche Diode)等の、光に対して高感度な半導体素子である。撮像素子401の外界側(本実施形態では前側)には、光学センサ40専用の入射面33oが、配置されている。外界のうち、撮像素子401の画角により決まるセンシング領域Aoから、入射面33oへ入射する光により、同素子401が露光される。撮像回路402は、撮像素子401における複数画素の露光及び走査を制御すると共に、同素子401からの信号を処理してデータ化する、集積回路である。
 撮像回路402が発光素子400からの光照射により撮像素子401を露光する反射光モードでは、センシング領域Ao内の物点がレーザ光の反射点となる。その結果、反射点での反射されたレーザ光(以下、反射光という)が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射光をセンシングする。
 一方、撮像回路402が発光素子400からの断続的な光照射の停止中に撮像素子401を露光する外光モードでは、センシング領域Ao内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33oを通して撮像素子401に入射する。このとき撮像回路402は、撮像素子401の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路402は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図5に示す如き外光画像Iooを取得する。
 図2~4に示すようにセンサ系4は、こうした光学センサ40に加えて、センシングカメラ41も備えている。センシングカメラ41は、車両2において自動運転モードに活用可能な光学情報を取得する、所謂外界カメラである。センシングカメラ41は、撮像素子411及び撮像回路402を有している。
 撮像素子411は、例えばCMOS等の半導体素子である。撮像素子411の外界側(本実施形態では前側)には、センシングカメラ41専用の入射面33cが、配置されている。外界のうち、撮像素子411の画角により決まるセンシング領域Acから、入射面33cへ入射する光により、同素子411が露光される。ここで図4に示すようにセンシングカメラ41のセンシング領域Acは、光学センサ40のセンシング領域Aoと部分的に、重複する。センシング領域Ac,Aoの重複率、即ちそれら各領域Ac,Aoにおいて重複領域Aocの占める割合は、例えば50%以上、好ましくは70%以上、さらに好ましくは90%以上である。撮像回路412は、撮像素子411における複数画素の露光及び走査を制御すると共に、同素子411からの信号を処理してデータ化する、集積回路である。
 撮像回路412が撮像素子411を露光する露光モードでは、センシング領域Ac内の物点が外光の反射点となる。その結果、反射点で反射された外光が、入射面33cを通して撮像素子411に入射する。このとき撮像回路412は、撮像素子411の複数画素を走査することで、反射された外光をセンシングする。ここで特に撮像回路412は、センシングした外光の強度に応じて複数画素毎に取得される輝度値を、各画素値として二次元データ化することで、図6に示す如きカメラ画像Icを取得する。
 図1~3に示す洗浄系5は、光学センサ40及びセンシングカメラ41においてセンシング領域Ao,Acから光の入射する入射面33o,33cを含んだ、複数入射面33を洗浄する。洗浄系5は、入射面33毎に洗浄モジュール50を備えている。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄ガスを入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を洗浄するための洗浄流体として、洗浄液を入射面33へ噴射する、洗浄ノズルを有していてもよい。各洗浄モジュール50は、入射面33を払拭により洗浄する、洗浄ワイパを有していてもよい。
 図2,3に示す洗浄制御装置1は、例えばLAN(Local Area Network)、ワイヤハーネス及び内部バス等のうち、少なくとも一種類を介して自動運転ユニットADUの電気的構成要素4,5と接続される。洗浄制御装置1は、少なくとも一つの専用コンピュータを含んで構成される。洗浄制御装置1を構成する専用コンピュータは、車両2内のECU(Electronic Control Unit)と共同して自動運転モードを制御する、運転制御ECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の走行アクチュエータを個別制御する、アクチュエータECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、自己位置を含んだ車両2の状態量を推定する、ロケータECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の走行経路をナビゲートする、ナビゲーションECUであってもよい。洗浄制御装置1を構成する専用コンピュータは、車両2の情報提示系の情報提示を制御する、HCU(HMI(Human Machine Interface) Control Unit)であってもよい。
 洗浄制御装置1は、こうした専用コンピュータを含んで構成されることで、メモリ10及びプロセッサ12を少なくとも一つずつ有している。メモリ10は、コンピュータにより読み取り可能なプログラム及びデータ等を非一時的に記憶する、例えば半導体メモリ、磁気媒体及び光学媒体等のうち、少なくとも一種類の非遷移的実体的記憶媒体(non-transitory tangible storage medium)である。プロセッサ12は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びRISC(Reduced Instruction Set Computer)-CPU等のうち、少なくとも一種類をコアとして含む。
 プロセッサ12は、メモリ10に記憶された洗浄制御プログラムに含まれる複数の命令を、実行する。これにより洗浄制御装置1は、洗浄系5を制御するための機能部(即ち、機能ブロック)を、複数構築する。このように洗浄制御装置1では、洗浄系5を制御するためにメモリ10に記憶された洗浄制御プログラムが複数の命令をプロセッサ12に実行させることで、複数の機能部が構築される。洗浄制御装置1により構築される複数の機能部には、図3に示すように抽出部100及び制御部120が含まれる。
 制御サイクル毎に抽出部100には、光学センサ40から外光画像Iooが入力されると共に、センシングカメラ41からカメラ画像Icが入力される。抽出部100は、外光画像Iooとカメラ画像Icとを対比することで、アンマッチングの画素群を抽出する。そのために抽出部100は、サブ機能部として画素補間部102、エッジ検出部104及びマッチング判定部106を有している。
 画素補間部102は、外光画像Iooとカメラ画像Icとのうち、高解像度側を低解像度側に合わせて画素補間する。ここで本実施形態では、センシング領域Ao,Acのうち重複領域Aocを撮影する画素群の数が、外光画像Iooよりもカメラ画像Icにて多く設定されている。即ち、カメラ画像Icが高解像度側となっている一方、外光画像Iooが低解像度側となっている。そこで画素補間部102は、カメラ画像Icにおいて各画素座標の画素値を、外光画像Iooにおける各画素座標に合わせて内分補間する。補間の結果として画素補間部102は、重複領域Aocに関して外光画像Iooと実質同一解像度のカメラ画像Icを、図7に示すように生成する。
 エッジ検出部104は、画素補間されたカメラ画像Icに対して、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Icからエッジを検出する。エッジ検出部104は、画素補間によりカメラ画像Icとは実質同一解像度となった重複領域Aocの外光画像Iooに対しても、少なくとも一種類のエッジフィルタ処理を施すことで、当該画像Iooからエッジを検出する。
 マッチング判定部106は、外光画像Ioo及びカメラ画像Icにおいてそれぞれ検出されたエッジ同士を対比させることで、それら画像Ioo,Icのマッチング状態を判定する。このときマッチング判定部106は、例えばエッジの構成画素値を互いに正規化して差分を演算することで、当該差分がマッチング範囲外となる画素群が確認された場合等に、アンマッチングとの判定を下す。このような判定によりマッチング判定部106は、外光画像Iooとカメラ画像Icとでアンマッチングなエッジに対応する画素群Po,Pcを、図5,7の如く抽出する。尚、画素群とは複数画素の群を意味し、特にアンマッチングと判定される場合の画素群Po,Pcは、隣り合って連続する複数画素の群であるとよい。また説明の便宜上、図5,7は、アンマッチングな画素群Po,Pcが、太実線の円に符号Po,Pcをそれぞれ付して示されている。
 図3に示すように制御部120には、各画像Ioo,Icにおいてマッチング判定部106でのアンマッチング判定により抽出された画素群Po,Pcが、入力される。制御部120では、こうしたアンマッチングな画素群Po,Pcが、光学センサ40及びセンシングカメラ41の入射面33o,33cのうちいずれかにおいて、図5~7の如く付着した汚れDo,Dcに対応すると推定される。そこで制御部120は、アンマッチングな画素群Po,Pcと対応推定される汚れDo,Dcを洗浄するように、自動運転モードの車両2における洗浄系5に対して洗浄制御を指令する。指令を受けて洗浄系5は、図2の如く入射面33o,33cにそれぞれ対応する洗浄モジュール50o,50cを駆動制御することで、それらの面33o,33cの洗浄処理を実行する。
 このような機能部100,120の共同により、洗浄制御装置1が洗浄系5を制御する洗浄制御方法のフローを、図8に従って以下に説明する。尚、本フローにおける各「S」は、洗浄制御プログラムに含まれた複数命令によって実行される複数ステップを、それぞれ意味する。
 まず、S101において抽出部100の画素補間部102は、高解像度のカメラ画像Icを、低解像度側の外光画像Iooに合わせて画素補間する。次に、S102において抽出部100のエッジ検出部104は、外光画像Ioo及びカメラ画像Icの各々から、エッジを検出する。続いて、S103において抽出部100のマッチング判定部106は、外光画像Ioo及びカメラ画像Icにおいて検出されたエッジ同士を対比させることで、それら画像Ioo,Icのマッチング状態を判定する。
 S103の結果、外光画像Iooとカメラ画像Icとでアンマッチングと判定の画素群Po,Pcが抽出された場合には、本フローがS104へ移行する。S104において制御部120は、アンマッチングな画素群Po,Pcに対応すると推定される汚れDo,Dcへの洗浄制御の実行を、自動運転モードの車両2において洗浄系5に指令する。
 一方でS103の結果、アンマッチングと判定の画素群Po,Pcが抽出されなかった完全マッチングの場合には、本フローがS105へ移行する。S105において制御部120は、洗浄制御の停止を洗浄系5に指令する。以上より本フローでは、S101,S102,S103が抽出工程に相当し、S104,S105が制御工程に相当する。
 (作用効果)
 以上説明した第一実施形態の作用効果を、以下に説明する。
 第一実施形態によると、反射光をセンシングする光照射の停止中に外光強度に応じて光学センサ40により取得される外光画像Iooと、同センサ40とセンシング領域Ao,Acの重複するセンシングカメラ41により外光強度に応じて取得されるカメラ画像Icとが、対比される。こうした対比により抽出されるアンマッチングの画素群Po,Pcは、光学センサ40及びセンシングカメラ41の入射面33o,33cのうち、いずれかにおいて付着した汚れDo,Dcに対応すると正確に推定され得る。故に、推定の結果として汚れの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。これは、車両2において自動運転モードの継続性を左右する洗浄制御として、特に有効であるといえる。
 第一実施形態のような外光画像Iooとカメラ画像Icとのエッジ同士の対比によれば、アンマッチングの画素群Po,Pcを、それらエッジから正確に捉えて抽出することが容易となる。故に、アンマッチングの画素群Po,Pcに対応すると推定される汚れDo,Dcの洗浄を、適正に指令して制御することが可能となる。
 第一実施形態によると、外光画像Iooとカメラ画像Icとのうち高解像度側が低解像度側に合わせて画素補間されてから、それら画像Ioo,Icが対比される。こうした対比によれば、本来マッチングしているはずの画素群が解像度の違いに起因して誤抽出される事態を、抑止することができる。故に、アンマッチングの画素群Po,Pcに対応すると推定される汚れDo,Dcの洗浄を、適正に指令して制御することが可能となる。
 (第二実施形態)
 図9に示すように第二実施形態は、第一実施形態の変形例である。
 第二実施形態の光学センサ2040では、反射光モードの撮像回路2402が、光照射に対してセンシングした反射光の強度を、図10に示す如き反射光強度irとして取得する。このとき撮像回路2402は、後述の如く指定される指定画素の反射光強度irを、出力してもよい。あるいは撮像回路2402は、複数画素毎に反射光強度irに応じて取得される輝度値を、各画素値として二次元データ化することで、図11に示す如き反射光画像Iorを取得してもよい。尚、第二実施形態の光学センサ2040において外光画像Iooを取得する機能は必須でなく、図9では、当該機能の図示が省かれている。
 第二実施形態の抽出部2100には、制御サイクル毎にセンシングカメラ41からカメラ画像Icが入力される。抽出部2100は、図12に示すようにカメラ画像Icにおいて注目する注目物体Oaを、少なくとも一つ抽出する。このとき注目物体Oaの抽出は、例えば画像フィルタ又は機械学習モデル等を用いたパターン認識により、実行される。その結果、特徴量の明確な一つの注目物体Oaが抽出されてもよいし、カメラ画像Icに点在する複数の注目物体Oaが抽出されてもよい。抽出部2100は、カメラ画像Icのうち、こうして抽出される各注目物体Oaにそれぞれ対応した画素に関して、構成画素の画素座標情報Caを生成する。
 第二実施形態の制御部2120には、図9に示すように、抽出部2100によって抽出された注目物体Oaの画素座標情報Caが、入力される。制御部2120は、サブ機能部として強度判定部2122及び洗浄指令部2124を有している。
 強度判定部2122は、注目物体Oaからの反射光強度irに関して、図10に示すように変化量δiを判定する。このとき強度判定部2122は、注目物体Oaの画素座標情報Caに対応する画素を制御サイクル毎に光学センサ2040に対して指定することで、当該指定画素での反射光強度irを同物体Oaからの反射光強度irとして取得してもよい。あるいは強度判定部2122は、光学センサ2040から入力される反射光画像Iorにおいて、注目物体Oaの画素座標情報Caに対応する画素の輝度値が表す反射光強度irを、同物体Oaからの反射光強度irとして取得してもよい。
 強度判定部2122は、このようにして図10の如く今回制御サイクルにて取得される反射光強度irの前回制御サイクルからの変化量δiを、所定の許容範囲との対比により判定する。ここで許容範囲とは、反射光強度irの変化量δiに関する閾値未満、又は当該閾値以下の範囲に規定される。そこで強度判定部2122では、注目物体Oaからの反射光強度irの変化量δiが許容範囲外に増大する場合には、光学センサ2040の入射面33oにおいて、図11の如く付着した汚れDoに当該許容範囲外変化量δiが対応すると推定される。この推定は、同一の注目物体Oaであれば固有の反射率により、センシングされる間の反射光強度irが実質一定になるという知見に基づく。
 こうした強度判定部2122では、反射光画像Ioにおいて反射光強度irの取得対象且つ変化量δiの判定対象となる画素は、抽出部2100から与えられる注目物体Oaの画素座標情報Caに、図11の如く対応する。そこで、同じ注目物体Oaに対しては、単一画素での反射光強度irの変化量δiが判定されてもよいし、複数画素となる画素群での反射光強度irの平均変化量δi又は総和変化量δiが判定されてもよい。
 図9に示すように洗浄指令部2124は、注目物体Oaからの反射光強度irの変化量δiが許容範囲外の場合には、当該許容範囲外変化量δiと対応推定される汚れDoを洗浄するように、自動運転モードの車両2における洗浄系5に対して洗浄制御を指令する。指令を受けて洗浄系5は、光学センサ2040の入射面33oに対応する洗浄モジュール50oを駆動制御することで、同面33oの洗浄処理を実行する。このとき、センシングカメラ41の入射面33cに関する洗浄制御の指令は必須でなく、故に洗浄モジュール50cも必須要素ではない。但し、光学センサ2040の入射面33oに汚れ推定が成立する場合、同センサ2040とは可及的に近接配置されるセンシングカメラ41の入射面33cにも汚れ推定が成立するとして、同面33cに関する洗浄制御が指令されてもよい。
 こうした第二実施形態による洗浄制御方法のフローでは、図13に示すように、S201において抽出部2100が、注目する注目物体Oaをカメラ画像Icから抽出する。次に、S202において制御部2120の強度判定部2122は、注目物体Oaからの反射光強度irの変化量δiが許容範囲内外のいずれであるかを、判定する。
 S202の結果、注目物体Oaからの反射光強度irの変化量δiが許容範囲外である場合には、本フローがS203へ移行する。S203において制御部2120の洗浄指令部2124は、許容範囲外の変化量δiに対応すると推定される汚れDoの洗浄制御を、自動運転モードの車両2において洗浄系5に指令する。
 一方でS202の結果、変化量δiが許容範囲内である場合には、本フローがS204へ移行する。S204において制御部2120の洗浄指令部2124は、洗浄制御の停止を洗浄系5に指令する。以上より本フローでは、S201が抽出工程に相当し、S202,S203,S204が制御工程に相当する。
 (作用効果)
 以上説明した第二実施形態の作用効果を、以下に説明する。
 第二実施形態によると、光学センサ2040と重複するセンシング領域Acでの外光強度に応じてセンシングカメラ41により取得されるカメラ画像Icにおいては、注目する注目物体Oaが抽出される。こうして抽出される注目物体Oaから光学センサ2040が光照射によって取得する反射光強度irの変化量δiは、許容範囲外となる場合、光学センサ2040の入射面33oにおいて付着した汚れDo(図11参照)に対応すると正確に推定され得る。故に、推定の結果として汚れDoの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 第二実施形態のように光学センサ2040により取得される場合の反射光画像Iorにおいては、センシングカメラ41により取得されるカメラ画像Icから抽出の注目物体Oaに対応する画素を、正確に特定し易くなる。これによれば、反射光画像Iorにおいて注目物体Oaに対応する画素での反射光強度irの変化量δiが許容範囲外となった場合に、当該許容範囲外変化量δiとの対応が推定される汚れDoの洗浄を、適正に指令して制御することが可能となる。
 (第三実施形態)
 図14に示すように第三実施形態は、第二実施形態の変形例である。
 第三実施形態の光学センサ3040では、第二実施形態に準じた光照射中での反射光強度irの取得機能と共に、第一実施形態に準じた光照射停止中での外光画像Iooの取得機能が、必須となっている。ここで、反射光強度irの取得機能における反射光のセンシングと、外光画像Iooの取得機能における外光のセンシングとは、同一の撮像素子401により実現される。尚、第三実施形態のセンシングカメラ41は必須でなく、図14では、同カメラ41の図示が省かれている。
 第三実施形態の抽出部3100には、制御サイクル毎に光学センサ3040から外光画像Iooが入力される。抽出部3100は、図15に示す如く外光画像Iooにおいて注目する注目物体Oaを、少なくとも一つ抽出する。尚、注目物体Oaの具体的抽出機能は、抽出部3100により第二実施形態に準じて実現される。
 こうした第三実施形態による洗浄制御方法のフローでは、図16に示すように、S301において抽出部3100が、注目する注目物体Oaを外光画像Iooから抽出する。尚、S301後のS202,S203,S204は、第二実施形態に準じて実行される。以上より本フローでは、S301が抽出工程に相当し、S202,S203,S204が制御工程に相当する。
 (作用効果)
 以上説明した第三実施形態の作用効果を、以下に説明する。
 第三実施形態によると、反射光強度irを取得する光照射の停止中に外光強度に応じて光学センサ3040により取得される外光画像Iooにおいては、注目する注目物体Oaが抽出される。こうして抽出される注目物体Oaから光照射によって光学センサ3040が取得する反射光強度irの変化量δiは、許容範囲外となる場合、光学センサ3040の入射面33oにおいて付着した汚れDo(図15参照)に対応すると正確に推定され得る。故に、推定の結果として汚れDoの洗浄制御が洗浄系5に指令されることによれば、当該洗浄制御の適正度を高めることが可能となる。
 第三実施形態のように光学センサ3040により取得される場合の反射光画像Iorにおいては、同センサ3040により取得される外光画像Iooから抽出の注目物体Oaに対応する画素を、正確に特定し易くなる。これによれば、反射光画像Iorにおいて注目物体Oaに対応する画素での反射光強度irの変化量δiが許容範囲外となった場合に、当該許容範囲外変化量δiとの対応が推定される汚れDoの洗浄を、適正に指令して制御することが可能となる。
 第三実施形態によると、光学センサ3040において外光強度と同一素子401によりセンシングされた、注目物体Oaからの反射光強度irの変化量δiは、それら強度センシング間での軸ズレに起因して許容範囲外となる事態を、抑止され得る。故に、許容範囲外変化量δiに対応すると推定される汚れの洗浄を、適正に指令して制御することが可能となる。
 (他の実施形態)
 以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 変形例において洗浄制御装置1を構成する専用コンピュータは、車両2との間にて通信可能な少なくとも一つの外部センターコンピュータであってもよい。変形例において洗浄制御装置1を構成する専用コンピュータは、デジタル回路及びアナログ回路のうち、少なくとも一方をプロセッサとして含んでいてもよい。ここでデジタル回路とは、例えばASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、SOC(System on a Chip)、PGA(Programmable Gate Array)及びCPLD(Complex Programmable Logic Device)等のうち、少なくとも一種類である。またこうしたデジタル回路は、プログラムを格納したメモリを、有していてもよい。
 変形例において入射面33oを形成する透光カバー32は、光学センサ40,2040,3040に設けられていてもよい。変形例において入射面33oは、光学センサ40,2040,3040における例えばレンズ等の光学部材により、形成されていてもよい。変形例において入射面33cを形成する透光カバー32は、センシングカメラ41に設けられていてもよい。変形例において入射面33cは、センシングカメラ41における例えばレンズ等の光学部材により、形成されていてもよい。

Claims (24)

  1.  反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
     前記外光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出部(100)と、
     前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(120)とを、備える洗浄制御装置。
  2.  前記抽出部は、前記外光画像と前記カメラ画像とのエッジ同士を対比する請求項1に記載の洗浄制御装置。
  3.  前記抽出部は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間してから、それら画像を対比する請求項1又は2に記載の洗浄制御装置。
  4.  光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
     前記カメラ画像において注目する注目物体を抽出する抽出部(2100)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(2120)とを、備える洗浄制御装置。
  5.  光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御装置(1)であって、
     前記外光画像において注目する注目物体を抽出する抽出部(3100)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御部(2120)とを、備える洗浄制御装置。
  6.  前記制御部は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項5に記載の洗浄制御装置。
  7.  前記制御部は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項4~6のいずれか一項に記載の洗浄制御装置。
  8.  前記制御部は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令する請求項1~7のいずれか一項に記載の洗浄制御装置。
  9.  反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
     前記外光画像と前記カメラ画像とを対比することにより、アンマッチングの画素群(Po,Pc)を抽出する抽出工程(S101,S102,S103)と、
     前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S104,S105)とを、含む洗浄制御方法。
  10.  前記抽出工程は、前記外光画像と前記カメラ画像とのエッジ同士を対比する請求項9に記載の洗浄制御方法。
  11.  前記抽出工程は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間してから、それら画像を対比する請求項9又は10に記載の洗浄制御方法。
  12.  光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
     前記カメラ画像において注目する注目物体を抽出する抽出工程(S201)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S202,S203,S204)とを、含む洗浄制御方法。
  13.  光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御する洗浄制御方法であって、
     前記外光画像において注目する注目物体を抽出する抽出工程(S301)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令する制御工程(S202,S203,S204)とを、含む洗浄制御方法。
  14.  前記制御工程は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項13に記載の洗浄制御方法。
  15.  前記制御工程は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令する請求項12~14のいずれか一項に記載の洗浄制御方法。
  16.  前記制御工程は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令する請求項9~15のいずれか一項に記載の洗浄制御方法。
  17.  反射光をセンシングする光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(40)と、外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサ及び前記センシングカメラにおいて重複するセンシング領域(Ao,Ac)から光の入射する入射面(33o,33c)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
     前記命令は、
     前記外光画像と前記カメラ画像とを対比させることにより、アンマッチングの画素群(Po,Pc)を抽出させる抽出工程(S101,S102,S103)と、
     前記入射面において前記アンマッチングの前記画素群に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S104,S105)とを、含む洗浄制御プログラム。
  18.  前記抽出工程は、前記外光画像と前記カメラ画像とのエッジ同士を対比させる請求項17に記載の洗浄制御プログラム。
  19.  前記抽出工程は、前記外光画像と前記カメラ画像とのうち高解像度側を低解像度側に合わせて画素補間させてから、それら画像を対比させる請求項17又は18に記載の洗浄制御プログラム。
  20.  光照射に対する反射光強度(ir)を取得する光学センサ(2040)と、前記光学センサと重複するセンシング領域(Ac)での外光強度に応じたカメラ画像(Ic)を取得するセンシングカメラ(41)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
     前記命令は、
     前記カメラ画像において注目する注目物体を抽出させる抽出工程(S201)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S202,S203,S204)とを、含む洗浄制御プログラム。
  21.  光照射に対する反射光強度(ir)を取得し且つ前記光照射の停止中に外光強度に応じた外光画像(Ioo)を取得する光学センサ(3040)と、前記光学センサにおいてセンシング領域(Ao)から光の入射する入射面(33o)を洗浄する洗浄系(5)とを、搭載した車両(2)の前記洗浄系を制御するために、プロセッサ(12)に実行させる命令を含む洗浄制御プログラムであって、
     前記命令は、
     前記外光画像において注目する注目物体を抽出させる抽出工程(S301)と、
     前記注目物体からの前記反射光強度の変化量(δi)が許容範囲外となる場合に、前記入射面において前記許容範囲外の前記変化量に対応すると推定される汚れの洗浄制御を、前記洗浄系に指令させる制御工程(S202,S203,S204)とを、含む洗浄制御プログラム。
  22.  前記制御工程は、前記光学センサにおいて前記外光強度と同一素子によりセンシングされた、前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令させる請求項21に記載の洗浄制御プログラム。
  23.  前記制御工程は、前記光学センサにより前記反射光強度に応じて取得された反射光画像(Ior)において前記注目物体からの前記反射光強度の前記変化量が前記許容範囲外となる場合に、前記洗浄制御を前記洗浄系に指令させる請求項20~22のいずれか一項に記載の洗浄制御プログラム。
  24.  前記制御工程は、自動運転モードの前記車両において前記洗浄制御を前記洗浄系に指令させる請求項17~23のいずれか一項に記載の洗浄制御プログラム。
PCT/JP2021/030489 2020-09-11 2021-08-20 洗浄制御装置、洗浄制御方法、洗浄制御プログラム WO2022054531A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180055180.1A CN116133910A (zh) 2020-09-11 2021-08-20 清洗控制装置、清洗控制方法、清洗控制程序
US18/179,972 US20230219533A1 (en) 2020-09-11 2023-03-07 Cleaning control device, cleaning control method, and cleaning control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-153237 2020-09-11
JP2020153237A JP7452341B2 (ja) 2020-09-11 2020-09-11 洗浄制御装置、洗浄制御方法、洗浄制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/179,972 Continuation US20230219533A1 (en) 2020-09-11 2023-03-07 Cleaning control device, cleaning control method, and cleaning control program

Publications (1)

Publication Number Publication Date
WO2022054531A1 true WO2022054531A1 (ja) 2022-03-17

Family

ID=80631610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030489 WO2022054531A1 (ja) 2020-09-11 2021-08-20 洗浄制御装置、洗浄制御方法、洗浄制御プログラム

Country Status (4)

Country Link
US (1) US20230219533A1 (ja)
JP (1) JP7452341B2 (ja)
CN (1) CN116133910A (ja)
WO (1) WO2022054531A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114277A (ja) * 2001-10-04 2003-04-18 Nissan Motor Co Ltd 車間距離計測装置
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2014041106A (ja) * 2012-08-23 2014-03-06 Mazda Motor Corp 撮像装置、車載用監視装置および対象物検知方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
JP2020076589A (ja) * 2018-11-06 2020-05-21 日本電産モビリティ株式会社 対象物検出装置
US20200271823A1 (en) * 2019-02-26 2020-08-27 Ford Global Technologies, Llc Illuminator obstruction detection
WO2021075299A1 (ja) * 2019-10-18 2021-04-22 株式会社小糸製作所 車両用灯具システム、異物判定装置および異物判定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003114277A (ja) * 2001-10-04 2003-04-18 Nissan Motor Co Ltd 車間距離計測装置
JP2013120076A (ja) * 2011-12-06 2013-06-17 Ricoh Co Ltd 付着物検出装置及び付着物検出方法
JP2014041106A (ja) * 2012-08-23 2014-03-06 Mazda Motor Corp 撮像装置、車載用監視装置および対象物検知方法
JP2017173298A (ja) * 2016-03-16 2017-09-28 株式会社リコー 物体検出装置及び移動体装置
US20190208111A1 (en) * 2017-12-28 2019-07-04 Waymo Llc Multiple Operating Modes to Expand Dynamic Range
JP2020076589A (ja) * 2018-11-06 2020-05-21 日本電産モビリティ株式会社 対象物検出装置
US20200271823A1 (en) * 2019-02-26 2020-08-27 Ford Global Technologies, Llc Illuminator obstruction detection
WO2021075299A1 (ja) * 2019-10-18 2021-04-22 株式会社小糸製作所 車両用灯具システム、異物判定装置および異物判定方法

Also Published As

Publication number Publication date
US20230219533A1 (en) 2023-07-13
JP2022047363A (ja) 2022-03-24
JP7452341B2 (ja) 2024-03-19
CN116133910A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN112315383B (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
US10591277B2 (en) Method and system for measuring outermost dimension of a vehicle positioned at an inspection station
WO2022054532A1 (ja) 車両制御装置、車両制御方法、車両制御プログラム
CN110969655A (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
CN112287834A (zh) 机器人的巡检清洁方法、装置、机器人和存储介质
US20230080178A1 (en) Automated assessment of cracks using lidar and camera data
CN111409070A (zh) 检测方法及装置、智能机器人及存储介质
US20210272289A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
WO2022054531A1 (ja) 洗浄制御装置、洗浄制御方法、洗浄制御プログラム
JP7419846B2 (ja) 液面検出方法及び液面検出装置
JP2008160635A (ja) カメラ状態検出方法
US20220244394A1 (en) Movement amount estimation device, movement amount estimation method, movement amount estimation program, and movement amount estimation system
CN116833639A (zh) 一种自动焊接***及其控制方法、装置、设备及介质
JP7375838B2 (ja) 測距補正装置、測距補正方法、測距補正プログラム、および測距装置
US20220207884A1 (en) Object recognition apparatus and object recognition program product
JP2022047499A (ja) 車両制御装置、車両制御方法、車両制御プログラム
AU2020317303B2 (en) Information processing device, data generation method, and program
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP2022075247A (ja) 汚れ検出装置、汚れ検出方法、及び汚れ検出プログラム
CN114365189A (zh) 影像配准装置、图像生成***、影像配准方法及影像配准程序
Fardi et al. Road border recognition using fir images and lidar signal processing
US20230286467A1 (en) Vehicle control device, vehicle control method, and storage medium storing vehicle control program
JP2022131226A (ja) 車両用制御装置、車両用制御方法、車両用制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866491

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866491

Country of ref document: EP

Kind code of ref document: A1