WO2018029925A1 - 車載装置 - Google Patents
車載装置 Download PDFInfo
- Publication number
- WO2018029925A1 WO2018029925A1 PCT/JP2017/017746 JP2017017746W WO2018029925A1 WO 2018029925 A1 WO2018029925 A1 WO 2018029925A1 JP 2017017746 W JP2017017746 W JP 2017017746W WO 2018029925 A1 WO2018029925 A1 WO 2018029925A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- dirt
- region
- information
- detection unit
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 341
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 160
- 238000012544 monitoring process Methods 0.000 claims description 76
- 238000004140 cleaning Methods 0.000 claims description 69
- 230000008859 change Effects 0.000 claims description 28
- 230000001464 adherent effect Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 53
- 238000000034 method Methods 0.000 description 30
- 238000012986 modification Methods 0.000 description 30
- 230000004048 modification Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 26
- 230000008030 elimination Effects 0.000 description 21
- 238000003379 elimination reaction Methods 0.000 description 21
- 230000008034 disappearance Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000010354 integration Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 101150002629 TAS1 gene Proteins 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
Definitions
- the present invention relates to an in-vehicle device.
- Patent Document 1 discloses an apparatus for detecting an object attached to a lens.
- An in-vehicle device detects a stain on the lens based on an image acquisition unit that acquires an image captured by a camera including a lens, a storage unit, and an image acquired by the image acquisition unit.
- a dirt detection unit that stores in the storage unit dirt region information indicating a region where dirt exists in the image, and a stain removal information generation unit that generates stain removal information indicating a region where the lens stain is removed,
- a rewriting unit that rewrites the dirt area information based on the dirt removal information.
- the dirt area information based on the dirt removal information indicating the area from which the dirt has been removed, the dirt area can be accurately recognized even when the dirt cannot be detected.
- FIG. 1 is a hardware configuration diagram of the vehicle 1.
- the vehicle 1 includes a camera 2, a vehicle monitoring unit 3, an in-vehicle device 4, and a notification unit 5.
- the camera 2 is installed outward in the vehicle 1 and includes the road surface around the vehicle 1 in the shooting range.
- the camera 2 captures images at predetermined time intervals and outputs an image (hereinafter referred to as a captured image) obtained by capturing to the in-vehicle device 4.
- the camera 2 includes a lens. If the lens is soiled by mud or water droplets, the area corresponding to the soiled image is affected.
- the vehicle monitoring unit 3 acquires information related to the traveling state of the vehicle 1.
- the vehicle monitoring unit 3 includes a rudder angle monitoring unit 31 and a vehicle speed monitoring unit 32.
- the rudder angle monitoring unit 31 is, for example, an angle sensor, and acquires rudder angle information of the vehicle 1.
- the vehicle speed monitoring unit 32 is, for example, a rotary encoder, and acquires the traveling speed of the vehicle 1, that is, the vehicle speed.
- the vehicle monitoring unit 3 outputs vehicle information such as the obtained steering angle and vehicle speed to the in-vehicle device 4.
- the in-vehicle device 4 includes an arithmetic processing unit 41 and an image acquisition unit 42.
- the arithmetic processing unit 41 includes a CPU, a RAM, and a ROM, and the CPU performs a process described later by expanding a program stored in the ROM into the RAM and executing the program.
- the image acquisition unit 42 acquires a captured image from the camera 2 and outputs the acquired image to the arithmetic processing unit 41.
- the arithmetic processing unit 41 stores the input captured image in the RAM, and performs predetermined image processing on the stored captured image. For example, there are processes such as pedestrian detection for detecting a person shape from a captured image, vehicle detection for detecting a vehicle, and attachment detection for detecting a lens attachment reflected in the captured image. The output of these image processes is appropriately stored in the RAM. And the arithmetic processing part 41 controls the alerting
- the notification unit 5 notifies a vehicle occupant.
- the notification unit 5 includes an alarm output unit 51 and a state display unit 52.
- the alarm output unit 51 is a device that issues an alarm to a vehicle occupant using at least one of sound and light, and is, for example, an alarm lamp or an alarm buzzer.
- the operation of the alarm output unit 51 is controlled by the arithmetic processing unit 41 of the in-vehicle device 4. For example, when the arithmetic processing unit 41 detects the attachment of the lens of the camera 2 by the attachment detection process, an alarm buzzer can be issued to warn the vehicle occupant to clean the lens of the camera 2.
- the state display unit 52 is a screen display device such as a display, and outputs visual information to a vehicle occupant.
- the operation of the state display unit 52 is controlled by the arithmetic processing unit 41 of the in-vehicle device 4.
- the state display unit 52 displays the position of the pedestrian on the captured image detected by the arithmetic processing unit 41 through the pedestrian detection process on the captured image of the camera 2 based on the operation command of the CPU.
- FIG. 2 is a control block diagram of the arithmetic processing unit 41 according to the first embodiment.
- the arithmetic processing unit 41 is configured such that the CPU executes a program stored in the ROM so that the deposit detection unit 6, the deposit region storage unit 7, the deposit erasure monitoring unit 8, the deposit region integration unit 9, and the control signal output. Functions as a unit 10, a deposit detection control unit 11, and a deposit erasure management unit 12.
- the adhering matter detection unit 6 detects the adhering matter to the lens of the camera 2 using the photographed image output from the camera 2.
- the adhering matter detection unit 6 includes a water droplet detection unit 61 that detects water droplets and a mud detection unit 62 that detects mud.
- Each of the water drop detection unit 61 and the mud detection unit 62 operates based on the operation command of the attached matter detection control unit 11. In other words, each of the water droplet detection unit 61 and the mud detection unit 62 is switched between the operation state and the stop state based on the operation command of the attached matter detection control unit 11.
- the water droplet detection unit 61 detects water droplets attached to the lens, and outputs information (hereinafter referred to as water droplet region information) indicating a region (hereinafter referred to as a water droplet region) to which the water droplets are attached in the photographed image to the attachment region storage unit 7. To do.
- water droplet region information information indicating a region (hereinafter referred to as a water droplet region) to which the water droplets are attached in the photographed image to the attachment region storage unit 7. To do.
- the specific operation of the water droplet detection unit 61 will be described later.
- the mud detection unit 62 detects mud adhering to the lens, and outputs information (hereinafter referred to as mud region information) indicating a region (hereinafter referred to as mud region) to which mud adheres in the photographed image to the adhering material region storage unit 7. To do.
- mud region information information indicating a region (hereinafter referred to as mud region) to which mud adheres in the photographed image to the adhering material region storage unit 7.
- the water droplet region and the mud region are collectively referred to as an “attachment region”.
- the water droplet area information and the mud area information are collectively referred to as “attachment area information”.
- the specific operation of the mud detection unit 62 will be described later.
- the deposit area storage unit 7 stores the deposit area information input from the deposit detection section 6.
- the attached matter area storage unit 7 includes a water droplet area storage unit 71 corresponding to the water drop detection unit 61 and a mud area storage unit 72 corresponding to the mud detection unit 62.
- the water droplet region storage unit 71 stores information on the deposits input from the water droplet detection unit 61, that is, water droplet region information.
- the mud area storage unit 72 stores attached matter information input from the mud detection unit 62, that is, mud area information.
- the attached region information is not input to the water droplet region storage unit 71 and the mud region storage unit 72, respectively. Kimono information continues to be retained.
- FIG. 3 is a diagram illustrating an example of the deposit area information stored in the deposit area storage unit 7.
- the region 14 where the attached matter is detected is shown.
- the region 14 where the deposit is detected is a region specified by the deposit region information.
- the adhering matter erasure monitoring unit 8 monitors the adhering region information stored in each storage unit of the adhering region storage unit 7 and detects a region where the adhering matter on the lens of the camera 2 has been removed.
- the attached matter erasure monitoring unit 8 outputs information (hereinafter referred to as attached matter erasure region information) indicating a region where removal of the attached matter is detected to the attached matter erasure management unit 12.
- the attached matter erasure monitoring unit 8 includes a monitoring unit corresponding to each storage unit of the attached matter region storage unit 7, that is, a water droplet erasure monitoring unit 81 and a mud removal monitoring unit 82.
- the water droplet erasure monitoring unit 81 monitors the water droplet region information stored in the water droplet region storage unit 71 and detects a region where the water droplet has disappeared (hereinafter referred to as a water droplet disappearing region) from the time change of the water droplet region information. Then, the water drop erasure monitoring unit 81 outputs information indicating the water drop disappearance area (hereinafter, water drop disappearance area information).
- the mud erasure monitoring unit 82 monitors the mud region information stored in the mud region storage unit 72 and detects a region where mud disappeared (hereinafter, mud disappearing region) from the time change of the mud region information.
- the mud erasure monitoring unit 82 outputs information indicating the mud disappearance area (hereinafter, mud disappearance area information).
- the adhering matter detection control unit 11 includes a state switching table 17 in which conditions for switching the operation of the water droplet detection unit 61 and the mud detection unit 62 are described.
- the attached matter detection control unit 11 determines that the condition described in the state switching table 17 is satisfied, the attached matter detection control unit 11 performs the following two operations.
- the first operation is an output of a command for switching the operation to the adhering matter detection unit 6, that is, an operation command indicating switching to the operating state, or an operation command indicating switching to the stopped state.
- the second operation is an output of information on the operating state of the deposit detection unit 6 to the deposit elimination management unit 12.
- the conditions described in the state switching table 17 include the vehicle speed of the vehicle 1.
- FIG. 4 is a diagram illustrating an example of the state switching table 17.
- the state switching table 17 includes a process name 171 column, a state 172 column, and a state switching condition 173 column.
- the process to be controlled is described.
- Water drop detection indicates that the water drop detection unit 61 is the control target
- mud detection indicates that the mud detection unit 62 is the control target.
- the state 172 column describes the state after switching, “stop” indicates switching to the stop state, and “operation” indicates switching to the operation state.
- the second line in FIG. 4 indicates that the water droplet detection unit 61 is stopped when the vehicle speed of the vehicle 1 exceeds 2 km / h.
- the adhering matter detection control unit 11 may refer to a clock (not shown) provided in the vehicle 1 or the in-vehicle device 4 in the determination of day and night, or uses the illuminance detected by the camera 2 or the average luminance of the photographed image. May be. The time used as a reference for determining day and night may be different for each season.
- the attached matter erasure management unit 12 based on the operation state of the attached matter detection unit 6 input from the attached matter detection control unit 11, the attached region information in the attached region storage unit 7 corresponding to the detection unit in the stopped state. Then, rewrite using the deposit disappearance area information. For example, when the water droplet detection unit 61 is in the operating state and the mud detection unit 62 is in the stopped state, the mud region information stored in the mud region storage unit 72 corresponding to the mud detection unit 62 in the stopped state is attached. Rewrite using lost area information. That is, in this case, the mud area information is rewritten using the water drop disappearance area information. The rewriting of the deposit area information will be specifically described with reference to FIGS. 3, 5, and 6.
- FIG. 5 is a diagram illustrating the mud regions 151 and 152 previously detected by the mud detection unit 62 in a stopped state.
- the mud areas 151 and 152 are represented as areas on the detection surface 132 obtained by dividing the captured image in a grid pattern.
- FIG. 6 is a diagram showing a mud area indicated by the mud area information rewritten by the deposit elimination management unit 12.
- FIG. 6 is generated through the following processing.
- the mud detection unit 62 detects the mud region from the photographed image, and outputs the mud region information to the deposit region storage unit 7.
- the mud area information is illustrated in the area 151 and the area 152 in FIG.
- the mud detection unit 62 is switched to the stopped state by the attached matter detection control unit 11.
- the water drop erasure monitoring unit 81 detects the area 14 shown in FIG. 3 as a water drop disappearance area.
- the deposit elimination management unit 12 excludes the area 14 that is the water droplet disappearing area from the mud area 151 and the area 152 shown in FIG.
- the mud area 151 shown in FIG. 5 is rewritten to the mud area 151A in FIG. 6, and the mud area 152 that has not been rewritten is output to the deposit area storage unit 7 as new mud area information.
- the deposit area integration unit 9 acquires water drop area information and mud area information from the deposit area storage unit 7.
- the deposit area integration unit 9 integrates the water droplet area and the mud area included in the acquired information into an integrated deposit area, and the integrated deposit area information, which is information indicating the integrated deposit area, is output to the control signal output unit 10. Output.
- the control signal output unit 10 generates a control signal for driving the notification unit 5 based on the input integrated deposit region information and outputs the control signal to the notification unit 5. For example, the control signal output unit 10 generates a specific control signal when the area of the integrated deposit region indicated by the integrated deposit region information is wider than a predetermined area. This specific control signal is a control signal for the alarm unit 5 to issue an alarm to the vehicle occupant so that the lens deposits of the camera 2 are wiped away.
- FIG. 7 is a flowchart showing the processing of the water droplet detection unit 61.
- the execution subject of each step described below is the CPU of the arithmetic processing unit 41.
- the CPU performs edge extraction processing on the captured image output from the camera 2 to generate an edge image.
- Various means for extracting the amount of change in the image can be used for the edge extraction processing.
- a Prewitt filter or a Sobel filter can be used.
- the CPU extracts a pixel whose edge intensity is weakly blurred from the edge image generated in step S181.
- the CPU extracts edges whose edge intensity included in the edge image is a predetermined threshold Th1 or more and a threshold Th2 or less.
- step S183 the CPU accumulates the extraction result in step S182 for each pixel a predetermined number N.
- the CPU specifies a pixel whose edge intensity accumulated in step S183 is equal to or greater than a predetermined threshold Th3, and outputs information indicating the pixel to the attached matter region storage unit 7 as water droplet region information.
- FIG. 8 is a flowchart showing the processing of the mud detection unit 62.
- the execution subject of each step described below is the CPU of the arithmetic processing unit 41.
- the CPU extracts pixels whose luminance is equal to or less than a predetermined threshold Th4 from the captured image output by the camera 2.
- the CPU accumulates the extraction result in step S191 for each pixel a predetermined number of times M.
- the CPU outputs information indicating pixels whose luminance value accumulated in step S192 is equal to or greater than a predetermined threshold Th5 to the deposit area storage unit 7 as mud area information.
- FIG. 9 is a flowchart showing the processing of the deposit elimination management unit 12.
- the execution subject of each step described below is the CPU of the arithmetic processing unit 41.
- step S161 the CPU determines whether or not the attached matter erasure management unit 12 has received the water drop disappearance region information from the water drop erasure monitoring unit 81. If it is determined that the water drop disappearance area information has been received, the process proceeds to step S162. If it is determined that the water drop disappearance area information has not been received, the process proceeds to step S164. In step S162, the CPU determines whether or not the mud detection unit 62 is in a stopped state based on the output of the attached matter detection control unit 11. This determination is made based on information on the operating state of the deposit detection unit 6 output by the deposit detection control unit 11.
- step S163 When it is determined that the mud detection unit 62 is in the stopped state, the process proceeds to step S163, and when it is determined that the mud detection unit 62 is not in the stopped state, that is, the mud detection unit 62 is in the operating state, the process proceeds to step S164.
- step S163 the CPU rewrites the mud area information based on the water drop disappearance area information and proceeds to step S164.
- step S164 the CPU determines whether or not the deposit elimination management unit 12 has received the mud disappearance area information from the mud elimination monitoring unit 82. If it is determined that the mud disappearance area information has been received, the process proceeds to step S165. If it is determined that the water drop disappearance area information has not been received, the process shown in FIG. In step S165, the CPU determines whether or not the water droplet detection unit 61 is in a stopped state based on the output of the attached matter detection control unit 11. When it is determined that the water droplet detection unit 61 is in the stopped state, the process proceeds to step S166.
- step S166 the CPU rewrites the water droplet region information based on the mud disappearance region information and ends the process shown in FIG.
- the in-vehicle device 4 includes an image acquisition unit 42 that acquires an image captured by the camera 2 including a lens, a storage unit, that is, an arithmetic processing unit 41, and a lens stain based on the image acquired by the image acquisition unit 42. Is detected, and a dirt detection unit that stores dirt area information indicating an area where dirt exists in the image is stored in the storage unit, that is, an adhering matter detection unit 6, and dirt removal information indicating an area where the lens dirt is removed are generated.
- a dirt removal information generation unit that is, an attached matter erasure monitoring unit 8, and a rewrite unit that rewrites dirt region information based on the dirt removal information, that is, an attached matter erasure management unit 12 are provided.
- the dirt region information can be rewritten based on the dirt removal information even when the dirt detection unit cannot detect the dirt. For example, even if the mud detection unit 62 cannot operate because the vehicle speed is less than 1 km / hour in the daytime, the attached matter erasure area information output by the water drop erasure monitoring unit 81 using the detection result of the water drop detection unit 61, that is, the dirt removal information
- the mud area storage unit 72 can be rewritten based on the above.
- the water droplet detection unit 61 and the mud detection unit 62 operate as a dirt detection unit in some cases, and operate as a part of the dirt removal information generation unit in some cases. That is, different algorithms are used for the stain detection unit and the stain removal information generation unit. For example, the operation of the mud detection unit 62 is stopped, and the water droplet erasure monitoring unit 81 outputs the adhered material erasure region information based on the detection result of the water droplet detection unit 61, and the adhered material erasure management unit 12 performs the mud region When rewriting the storage unit 72, the mud detection unit 62 is a dirt detection unit, and the water droplet detection unit 61 is a part of the dirt removal information generation unit.
- the stain detection unit and the stain removal information generation unit operate using different algorithms. Therefore, when the stain detection unit algorithm cannot detect the stain, that is, the stain detection unit algorithm has removed the stain. Even if the detection is impossible, the stain removal information generation unit can generate the stain removal information.
- the dirt removal information generation unit that is, the attached matter erasure monitoring unit 8 generates the dirt removal information based on the detection result of the different kind of dirt detection unit that detects the type of dirt different from the dirt detectable by the dirt detection unit. .
- the in-vehicle device 4 includes two types of dirt detection units, and the dirt detection area detected by one dirt detection unit can be rewritten with dirt removal information using the detection result of the other dirt detection unit.
- the dirt detection unit for example, the mud detection unit 62 detects mud
- the different kind of dirt detection unit for example, the water droplet detection unit 61 detects water droplets.
- the mud area detected by the mud detection unit 62 can be rewritten using the mud disappearance area using the detection result of the water drop detection unit 61.
- the rewrite unit that is, the attached matter erasure management unit 12, the dirt region information output by the dirt detector not operating when the dirt detector, ie, the water droplet detector 61 or the mud detector 62 is not operating. That is, the water droplet area information or the mud area information is rewritten based on the dirt removal information. Therefore, it is possible to rewrite the dirty area detected by the other non-operating deposit detection unit 6 using the detection result of the one depositing detection unit 6 that is operating.
- the in-vehicle device 4 includes a state switching table 17 indicating correspondence between the vehicle speed of the vehicle 1 on which the camera 2 is mounted and the presence or absence of the operation of the dirt detection unit, and the vehicle speed and state of the vehicle 1 input from the vehicle monitoring unit 3.
- An operation switching unit that operates or stops the dirt detection unit based on the switching table 17, that is, an attached matter detection control unit 11 is provided.
- the rewriting unit, that is, the attached matter erasure management unit 12 determines whether the attached matter detection unit 6 is operating based on the operation state of the vehicle 1 and the state switching table 17.
- the deposit elimination management unit 12 can determine which of the water droplet area information and the mud area information is to be rewritten.
- the vehicle monitoring unit 3 of the vehicle 1 and the attached matter detection control unit 11 of the in-vehicle device 4 may be omitted.
- the adhering matter erasure management unit 12 is based on the adhering matter erasing region information, regardless of the operation state of the water droplet detecting unit 61 and the mud detecting unit 62, and the adhering region of the water droplet region storing unit 71 and the mud region storing unit 72. Rewrite information.
- the attached matter detection control unit 11 refers to the state of the manual switch that can be operated by the occupant of the vehicle 1 to control the operation of the water droplet detection unit 61 and the mud detection unit 62. Also good.
- the in-vehicle device 4 may not include any one of the water droplet erasure monitoring unit 81 and the mud erasure monitoring unit 82. That is, the attached matter erasure monitoring unit 8 may generate the attached matter erasure region information using only the detection result of either the water droplet detection unit 61 or the mud detection unit 62.
- the attached matter erasure monitoring unit 8 preferably includes a water droplet erasure monitoring unit 81.
- FIGS. A second embodiment of the in-vehicle device according to the present invention will be described with reference to FIGS.
- the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
- the present embodiment mainly the point where the attached matter erasure area information is generated based on the result of the image recognition, and whether the attached matter erasure area information is rewritten using the attached matter erasure area information by which generation method. It differs from the first embodiment in that it changes depending on conditions.
- the hardware configurations of the vehicle 1 and the in-vehicle device 4 in the second embodiment are the same as those in the first embodiment.
- the program stored in the ROM of the arithmetic processing unit 41 is different from that of the first embodiment.
- FIG. 10 is a control block diagram of the in-vehicle device 4 in the second embodiment of the present invention.
- the arithmetic processing unit 41 includes an image recognition unit 20, an image recognition region storage unit 21, an attached matter detection unit 6, an attached matter region storage unit 7, an attached matter erasure monitoring unit 8, and an attached matter region integration unit 9. , Function as a control signal output unit 10 and a deposit elimination management unit 12.
- the control block diagram shown in FIG. 10 is different from the control block diagram in the first embodiment in that an image recognition unit 20 and an image recognition region storage unit 21 are added, and an image recognition region storage unit 21 and The output of the vehicle monitoring unit 3 is input to the deposit elimination management unit 12.
- a line connecting the vehicle monitoring unit 3 and the deposit detection control unit 11 is omitted, but the output of the vehicle monitoring unit 3 is sent to the deposit detection control unit 11 as in the first embodiment. Entered.
- the point that the attached matter detection control unit 11 includes the state switching table 17 is the same as that in the first embodiment. In the following, these differences will be described.
- the image recognition unit 20 includes a pedestrian detection unit 201 that detects a pedestrian from a captured image, and a vehicle detection unit 202 that detects a vehicle from the captured image.
- the area on the captured image of the pedestrian detected by the pedestrian detection unit 201 and the area on the captured image of the vehicle detected by the vehicle detection unit 202 are hereinafter referred to as “image recognition area”.
- the pedestrian detection unit 201 and the vehicle detection unit 202 detect a pedestrian and a vehicle from a captured image using a known image processing method.
- image processing for example, a method of extracting a Hog feature amount from an image and extracting a region that matches a feature amount of a pedestrian or a vehicle, or a method of detecting a pedestrian or a vehicle using deep learning is used. it can.
- the pedestrian detection unit 201 and the vehicle detection unit 202 output information of the image recognition area such as the position, shape, and size of the detected object on the captured image to the image recognition area storage unit 21 as image recognition information.
- the image recognition area storage unit 21 includes a pedestrian area storage unit 211 and a vehicle area storage unit 212.
- the pedestrian area storage unit 211 stores the latest image recognition information input from the pedestrian detection unit 201.
- the vehicle area storage unit 212 stores the latest image recognition information input from the vehicle detection unit 202.
- the image recognition area storage unit 21 deletes the image recognition information. This is because holding the previously recognized image recognition information causes an erroneous determination that the pedestrian or vehicle is currently recognized even though the pedestrian or vehicle is not currently recognized.
- the attached matter erasure management unit 12 includes image recognition information stored in the image recognition region storage unit 21, and vehicle speed from the vehicle monitoring unit 3. The operation status of the vehicle is input.
- the attached matter erasure management unit 12 includes an erasure relation table 22.
- the attached matter erasure management unit 12 rewrites the water droplet region information and the mud region information stored in the attached matter region storage unit 7 based on the erasure relation table 22.
- the erasure relation table 22 specifies information to be rewritten based on the processing results of the adhering matter detection unit 6 and the image recognition unit 20 based on the time zone and the operation state of the vehicle input from the vehicle monitoring unit 3. It is a table. It can be said that the erasure relation table 22 indicates the conditions under which the deposit erasure management unit 12 operates.
- FIG. 11 is a diagram showing an example of the erasure relation table 22.
- the deletion relation table 22 includes a column of time zone 221, a column of vehicle speed 222, a column of process name 223, and a column of deletion area reflection target 224.
- the column of the time zone 221 information indicating the time division, for example, day or night is described.
- the column of the vehicle speed 222 describes the vehicle speed conditions of the vehicle 1.
- the column of the process name 223 the name of any one of the adhering matter detection unit 6 and the image recognition unit 20 is described.
- the erase region reflection target 224 a storage region to be rewritten, that is, one of the water droplet region storage unit 71 and the mud region storage unit 72 is described.
- the water droplet erasure monitoring unit 81 out of the mud regions stored in the mud region storage unit 72. It is assumed that the mud in the area corresponding to the water drop erasing area detected in (2) is removed, and the mud area information that mud is attached to the area is erased from the mud area storage unit 72.
- the time zone 221 and the vehicle speed 222 are used as the conditions for changing the deletion area reflection target, but the present invention is not limited to these.
- the operation state of each detection unit of the attached matter detection unit 6 can be used.
- the erasing relationship table 22 can reflect the wiping relationship according to the type of deposit. For example, since water droplets float and wash off many deposits including mud, it is easy to use the water droplet erasure area obtained by the water droplet detection process for erasing the dirt area obtained by other dirt detection processes. It has the property of being easily mixed with other deposits, and it is difficult to use the mud removal area obtained by the mud detection process for erasing the dirt area obtained by the other dirt detection process.
- the dirt detection unit of the in-vehicle device 4, that is, the adhering matter detection unit 6, includes a water droplet detection unit 61 and a mud detection unit 62, which are different types of dirt to be detected.
- the water drop detection unit 61 stores the detected dirt as water drop region information in the storage unit
- the mud detection unit 62 stores the detected dirt as mud region information.
- the in-vehicle device 4 is rewritten with water droplet region information, a water droplet erasure monitoring unit 81 that generates water droplet disappearing region information based on the water droplet region information, a mud erasing monitoring unit 82 that generates mud disappearing region information based on the mud region information.
- a table storage unit that stores an erasure relation table 22 in which conditions and conditions for rewriting mud area information are stored, that is, an arithmetic processing unit 41 is provided.
- the rewriting unit that is, the attached matter erasure management unit 12 rewrites the mud area information based on the conditions and the water drop disappearance area information described in the erasure relation table 22, and based on the conditions and the mud disappearance area information described in the erasure relation table 22. Rewrite water drop area information.
- each of the water droplet region information and the mud region information can be rewritten based on the respective detection results of the mud detection unit 62 and the water droplet detection unit 61.
- the conditions for rewriting the water droplet area information and the conditions for rewriting the mud area information described in the erasure relation table 22 include at least the speed of the vehicle 1 on which the camera 2 is mounted.
- the deposit area to be rewritten can be changed according to the speed of the vehicle 1.
- the in-vehicle device 4 includes an image recognition unit 20 that recognizes an object from an image captured by the camera 2 and generates dirt removal information in which the area where the object is recognized is the area where the dirt on the lens is removed.
- the in-vehicle device 4 includes a table storage unit, that is, an arithmetic processing unit 41 in which an erasure relation table 22 indicating a condition for operating the deposit erasure management unit 12 is stored.
- the erasure relation table 22 includes at least the speed of the vehicle 1 on which the camera 2 is mounted.
- the attached matter deletion management unit 12 operates based on the speed of the vehicle 1 and the deletion relation table 22.
- the in-vehicle device 4 can rewrite the deposit area information using the recognition result of the image recognition unit 20 and the detection result of the deposit detection unit 6 based on the speed of the vehicle 1 and the erasure relation table 22.
- the in-vehicle device 4 may not include the image recognition unit 20 and the image recognition area storage unit 21.
- the difference from the first embodiment is that the attached matter erasure management unit 12 is stored in the attached matter region storage unit 7 based on the erasure relation table 22 instead of the operation state of the attached matter detection unit 6. This is a point to rewrite the attached region information.
- the deposit erasure monitoring unit 8 can be omitted.
- the attached matter erasure management unit 12 determines the image recognition information input from the image recognition region storage unit 21 from the attached matter region information described in the attached matter region storage unit 7 based on the erasure relation table 22. Erase the area.
- the attached matter erasure management unit 12 does not need to refer to the column of the vehicle speed 222 in the erasure relation table 22. Further, the attached matter erasure management unit 12 does not need to refer to the time zone column of the erasure relation table 22. In these cases, the erasure relation table 22 may not include a column that is not referred to by the deposit erasure management unit 12.
- the accuracy of the detection result that is, the accuracy is different. Further, in each detection result, the accuracy differs for each pixel. Therefore, the accuracy of the detection result is added to the outputs of the adhering matter detection unit 6, the adhering matter erasure monitoring unit 8, and the image recognition unit 20. Then, the attached matter erasure management unit 12 may consider the accuracy when erasing the attached matter information stored in the attached matter region storage unit 7.
- the water droplet detection unit 61 of the attached matter detection unit 6 sets the pixel having a cumulative value equal to or greater than Th3 in step S184 of FIG. 7 as a water droplet region, and can determine the accuracy using the cumulative value.
- the water droplet detection unit 61 sets the accuracy to be higher as the cumulative value is larger, that is, the detection result is more probable.
- the mud detection unit 62 of the adhering matter detection unit 6 uses the accumulated value as a mud region in step S193 in FIG. 8, and can determine the accuracy using the accumulated value.
- the mud detection unit 62 sets the accuracy to be higher as the accumulated value is larger, that is, the detection result is more likely.
- the accuracy set for that pixel before erasure is set as the accuracy that the water droplet has disappeared at that pixel. To do.
- the mud erasure monitoring unit 82 determines that mud of a certain pixel has disappeared, the accuracy set for that pixel before erasure is set as the probability that mud has disappeared at that pixel.
- Each detection unit of the image recognition unit 20 assigns the probability of the detection to the detected image recognition region as accuracy information, and stores it in each storage unit of the image recognition region storage unit 21. 12 is input.
- the adhering matter erasure management unit 12 assigns a positive weight corresponding to the accuracy to each of the image recognition regions, and assigns a negative weight corresponding to the accuracy to each of the adhering matter erasing regions.
- the attached matter erasure management unit 12 extracts a region where the sum of the weights is equal to or less than a predetermined value, and erases the extracted region from the attached matter region storage unit 7 based on the erasure relation table 22 as described above.
- the image recognition unit 20 only needs to be able to detect any object from the captured image of the camera 2, and the type and number of detection targets are not limited to the above configuration.
- the image recognition unit 20 may include only the pedestrian detection unit 201 or may include a detection unit that detects a traffic light or a guard rail in addition to the pedestrian or the vehicle.
- FIGS. A third embodiment of the in-vehicle apparatus according to the present invention will be described with reference to FIGS.
- the same components as those in the second embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the second embodiment.
- the present embodiment is different from the second embodiment in that it mainly includes an adhering matter detection unit that detects an erasing point of the adhering matter without being limited to a specific type of dirt.
- the hardware configuration of the vehicle 1 and the in-vehicle device 4 in the third embodiment is the same as that in the second embodiment.
- the program stored in the ROM of the arithmetic processing unit 41 is different from that of the second embodiment.
- FIG. 12 is a control block diagram of the in-vehicle device 4 according to the third embodiment of the present invention.
- the arithmetic processing unit 41 includes an attached matter erasure detection unit 23, an attached matter detection unit 6, an attached matter region storage unit 7, an attached matter erasure monitoring unit 8, an attached matter region integration unit 9, and a control signal output unit 10. And a deposit elimination management unit 12.
- the difference from the control block diagram in the second embodiment is that the image recognition unit 20 and the image recognition area storage unit 21 are deleted, and the attached matter erasure detection unit 23 is added.
- the output of the kimono erasure detection unit 23 is input to the deposit erasure management unit 12.
- the line connecting the vehicle monitoring unit 3 and the attached matter detection control unit 11 is omitted, but the output of the vehicle monitoring unit 3 is sent to the attached matter detection control unit 11 as in the second embodiment. Entered.
- the point that the attached matter detection control unit 11 includes the state switching table 17 is the same as that in the second embodiment. In the following, these differences will be described.
- the adhering matter erasure detecting unit 23 detects an area where the adhering matter is removed from the photographed image input from the camera 2.
- the attached matter erasure detecting unit 23 detects, for example, a region from which the attached matter has been removed (hereinafter referred to as an attached matter erasure detection region) using a time change of a photographed image input from the camera 2, and an attached matter indicating the region.
- the erasure detection area information is output to the deposit erasure management unit 12.
- the adhering matter erasure management unit 12 refers to the operation status of the vehicle 1 input from the vehicle monitoring unit 3 and the erasing relation table 22, and the adhering matter erasing area information and the adhering matter erasure detection input from the adhering matter erasing monitoring unit 8. Based on the attached matter erasure detection region information input from the unit 23, the water droplet region and the mud region of the attached matter region storage unit 7 are rewritten. In other words, in the present embodiment, the deposit removal area information and the deposit removal detection area information are the dirt removal information.
- the erasure area reflection target 224 of the adhering matter erasure detecting unit 23 is set to both water droplet detection and mud detection. That is, both the water droplet region information and the mud region information are rewritten based on the adhered material erasure detection region information output by the adhered material erasure detection unit 23.
- FIG. 13 is a flowchart showing the operation of the deposit erasure detection unit 23.
- the execution subject of each step described below is the CPU of the arithmetic processing unit 41.
- the CPU accumulates the captured images output from the camera 2 for a long period of time and estimates that there is no change in the area where the deposit is attached and extracts the area as a non-change area.
- the processing in this step is processing for the purpose of detecting the deposit on the lens of the camera 2, and the processing result of the deposit detection unit 6 can also be used.
- the CPU evaluates a difference for each pixel of two consecutive captured images output from the camera 2, for example, a luminance difference.
- the CPU extracts a set of pixels having a difference larger than a predetermined threshold as an instantaneous change region.
- the extraction of the instantaneous change area in this step is intended as follows. That is, if the shooting period of the camera 2 is sufficiently short, there is almost no change in two consecutive shot images, and therefore, the difference area is not normally extracted in the process of step 242. However, at the moment when the deposit adheres to the lens of the camera 2 or when the deposit is removed, a large change occurs in the position where the deposit adheres, and the region is extracted as an instantaneous change region.
- the CPU outputs the region included in the instantaneous change region extracted in step 242 and extracted as the non-change region in step 241 as the attached matter erasure detection region.
- the in-vehicle device 4 has a luminance difference larger than a predetermined value in a non-change area that does not change for a long time and two captured images obtained by continuously capturing images from the captured image.
- the instantaneous change area is detected, and the instantaneous change detection section for generating the dirt removal information that uses the area included in the non-change area of the instantaneous change area as the area from which the dirt on the lens is removed, that is, the attached matter erasure detection section 23 Is provided.
- the deposit area information can be rewritten using the output of the deposit erasure detection unit 23 which is simple in operation.
- the attached matter erasure detecting unit 23 detects a region where the attached matter has been removed. In other words, an area where no deposit was detected in the latest photographed image, and an area where an deposit was detected in the previous photographed image was detected. However, a region where no adhering matter is detected (hereinafter, a non-adhering matter region) may be detected without considering the presence or absence of the existing adhering matter.
- the detection of the non-adherent substance region by the adhering substance erasure detecting unit 23 can be detected by utilizing, for example, that the photographed image output from the camera 2 changes according to the traveling of the vehicle.
- FIG. 14 is a flowchart showing the operation of the deposit elimination detection unit 23 in the present modification.
- the execution subject of each step of the flowchart described below is the CPU of the arithmetic processing unit 41.
- the CPU accumulates the captured images output from the camera 2 for a certain period of time.
- the CPU divides each of a plurality of consecutive captured images accumulated in step 251 into a plurality of regions, and outputs a luminance dispersion value, that is, a temporal luminance variation magnitude for each region.
- the plurality of areas are, for example, a total of 100 areas obtained by dividing the captured image into 10 equal parts in the vertical and horizontal directions.
- the CPU refers to the output of step 252 and outputs a region where the luminance dispersion value is not less than a predetermined threshold Th6 as a non-adherent region. This is because the luminance of the region in the captured image changes according to the travel of the vehicle 1 if the region has no deposit.
- the in-vehicle device 4 includes a non-adherent matter detection unit that detects a region without an adhering substance from a photographed image and generates dirt removal information based on the detected region, that is, an adhering matter erasure detecting unit 23.
- the in-vehicle device 4 Since the in-vehicle device 4 does not determine whether or not the deposit has been present, it is possible to generate the dirt removal information more easily.
- the in-vehicle device 4 may include the image recognition unit 20 and the image recognition region storage unit 21 according to the second embodiment as the attached matter erasure detection unit 23.
- the image recognition unit 20 outputs the region of the object detected from the captured image, that is, the image recognition region to the attached matter erasure management unit 12 as a non-attached matter region.
- the reason why the image recognition area is output as the non-attachment area is as follows. That is, since the image recognition area is an area where an object is detected by the image recognition unit 20, it can be estimated that there is no deposit in the image recognition area.
- FIGS. A fourth embodiment of the in-vehicle device according to the present invention will be described with reference to FIGS.
- the same components as those in the second embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the second embodiment.
- the present embodiment is different from the second embodiment in that the area where the lens is cleaned is mainly handled as the area where the deposits are erased.
- the hardware configuration of the in-vehicle device 4 in the fourth embodiment is the same as that in the second embodiment.
- the program stored in the ROM of the arithmetic processing unit 41 is different from that of the second embodiment.
- the hardware configuration of the vehicle 1 controls the vehicle 1 by detecting a white line from the captured image of the camera 2 (hereinafter referred to as an image utilization program), for example, the captured image.
- a device (not shown) for executing the program is provided.
- FIG. 15 is a control block diagram of the in-vehicle device 4 according to the fourth embodiment of the present invention.
- the arithmetic processing unit 41 executes the program stored in the ROM by the CPU, so that the lens cleaning control unit 26, the adhering matter detection unit 6, the adhering region storage unit 7, the adhering matter erasure monitoring unit 8, and the adhering region integration unit. 9, the control signal output unit 10, and the attached matter erasure management unit 12.
- the vehicle 1 includes a lens cleaning unit 27 that cleans the lens of the camera 2.
- the lens cleaning unit 27 includes a wiper 271 that scrapes (wipes off) lens deposits and a washer 272 that sprays a cleaning liquid on the lens to wash away lens deposits.
- the lens cleaning unit 27 operates based on a cleaning operation command from a lens cleaning control unit 26 described later.
- the control block diagram shown in FIG. 15 is different from the control block diagram in the second embodiment in the following five points. That is, the point that the vehicle 1 includes the lens cleaning unit 27, the point that the image recognition unit 20 and the image recognition region storage unit 21 are deleted, the point that the vehicle-mounted device 4 includes the lens cleaning control unit 26, and the lens cleaning control unit 26
- the output is input to the deposit elimination management unit 12 and the output of the control signal output unit 10 is input to the lens cleaning control unit 26.
- the line connecting the vehicle monitoring unit 3 and the attached matter detection control unit 11 is omitted, but the output of the vehicle monitoring unit 3 is sent to the attached matter detection control unit 11 as in the second embodiment. Entered.
- the point that the attached matter detection control unit 11 includes the state switching table 17 is the same as that in the second embodiment. Hereinafter, these differences will be described.
- the control signal output unit 10 determines whether or not the captured image of the camera 2 conforms to the above-described image use program based on the integrated deposit region input from the deposit region integration unit 9. When the control signal output unit 10 determines that the photographed image does not conform to the image use program, the control signal output unit 10 outputs a control operation command to the lens cleaning control unit 26.
- the determination as to whether or not the captured image by the control signal output unit 10 conforms to the image utilization program is based on, for example, the ratio of the area occupied by the integrated deposit area to the captured image or the position of the integrated deposit area in the captured image. It is done.
- the control operation command that the control signal output unit 10 outputs to the lens cleaning control unit 26 may be a control operation command that always operates both the wiper 271 and the washer 272, or one of the wiper 271 and the washer 272 based on the integrated deposit region. It is also possible to use a control operation command that operates only.
- control signal output unit 10 may switch the function of the lens cleaning unit 27 that is operated according to the type of the adhered matter on the lens of the camera 2. For example, the control signal output unit 10 outputs a control operation command for operating the wiper 271 when it is determined that water droplets are attached. Further, when it is determined that mud is attached, the control signal output unit 10 outputs a control operation command for operating the washer 272 to float mud in addition to the wiper 271.
- the lens cleaning control unit 26 When the lens cleaning control unit 26 receives the control operation command from the control signal output unit 10, the lens cleaning control unit 26 outputs a cleaning operation command to the lens cleaning unit 27 and also outputs cleaning area information to the deposit elimination management unit 12.
- the cleaning area information is information indicating an area (hereinafter referred to as a cleaning area) on a photographed image from which deposits are removed by the lens cleaning unit 27 cleaning the lens of the camera 2. For example, when the wiper 271 operates, the area where the wiper 271 rubs off the attached material becomes the cleaning area, and when the washer 272 operates, the entire area of the photographed image becomes the cleaning area.
- FIG. 16 is a diagram illustrating an example of a cleaning area when the wiper 271 operates.
- the cleaning area 28 is an area where the wiper 271 operates on the detection surface 133 obtained by dividing the captured image in a lattice shape.
- the cleaning area information is stored in the lens cleaning control unit 26 in advance.
- the cleaning operation command and the cleaning area information output by the lens cleaning control unit 26 correspond to the received control operation command. For example, when a control operation command for operating only the wiper 271 is received, a cleaning operation command for operating only the wiper 271 and cleaning area information when only the wiper 271 is operated are output.
- the adhering matter erasure management unit 12 refers to the operation status of the vehicle 1 input from the vehicle monitoring unit 3 and the erasing relation table 22, and the adhering matter erasing region information and lens cleaning control unit input from the adhering matter erasing monitoring unit 8.
- the cleaning area information input from 26 the water droplet area and the mud area of the deposit area storage unit 7 are rewritten. That is, in the present embodiment, the deposit removal area information and the cleaning area information are dirt removal information.
- an erasure region reflection target 224 is described for each function of the lens cleaning unit 27 controlled by the lens cleaning control unit 26.
- the wiper 271 can wipe off water droplets, but it is difficult to remove mud unless the lens is wet. Therefore, the erasure area reflection target 224 of the wiper 271 in the erasure relation table 22 is basically only water droplet detection. Further, since the washer 272 can wash away water droplets and mud, the erasure area reflection target 224 of the washer 272 is water droplet detection and mud detection.
- the lens cleaning control unit 26 switches the function of the lens cleaning unit 27 to be operated in accordance with the type of lens deposit on the camera 2. For example, when water droplets are attached, the wiper 271 is operated, and when mud is attached, the washer 272 and the wiper 271 are operated. In this case, the control signal output unit 10 inputs the degree and type of the deposit on the lens of the camera 2 to the lens cleaning control unit 26 based on the integrated deposit region input from the deposit region integration unit 9.
- the effects (1) to (5) of the first embodiment and the (1), (2), and (4) of the second embodiment are obtained.
- the on-vehicle device 4 includes a lens cleaning control unit 26 that generates dirt removal information based on the cleaning operation of the lens cleaning unit 27 and the target range of the cleaning operation is an area where the dirt is removed.
- the in-vehicle device 4 can output an operation command to the lens cleaning unit 27 and generate dirt removal information in which a region cleaned by the wiper 271 and / or the washer 272 operated by the operation command is a region from which the dirt is removed. .
- the lens cleaning control unit 26 Since the lens cleaning control unit 26 cannot confirm that the attached matter is actually removed, the attached matter may remain in the attached matter cleaning region even if the lens cleaning unit 27 is operated. Therefore, the lens cleaning control unit 26 may not input the deposit cleaning area to the deposit erasure management unit 12. Instead, the lens cleaning control unit 26 shortens the execution interval of the adhering matter erasure monitoring unit 8 before and after operating the lens cleaning unit 27, that is, speeds up the processing, so that the adhering matter is generated by the operation of the lens cleaning unit 27. To ensure that removal is detected.
- the lens cleaning control unit 26 operates the adhering matter erasure monitoring unit 8 only when the lens cleaning unit 27 is operated, thereby reducing the load on the arithmetic processing unit 41 due to the processing of the adhering matter erasing monitoring unit 8. Also good.
- the attached matter erasure monitoring unit 8 is operated only when the lens cleaning unit 27 is operated, the fact that the attached matter has been removed is not detected due to the operation of the lens cleaning unit 27, so that the camera 2 is missed. It is preferable to apply in the situation where the adhered matter on the lens is not naturally removed.
- the lens cleaning control unit 26 operates any of the monitoring units of the deposit elimination monitoring unit 8 according to the function of the lens cleaning unit 27 to be operated.
- the water droplet erasure monitoring unit 81 corresponds to the operation of the wiper 271
- the water droplet erasure monitoring unit 81 and the mud erasure monitoring unit 82 correspond to the operation of the washer 272. For example, when the wiper 271 is operated, since water droplets are removed, the water droplet erasure monitoring unit 81 is operated or the operation of the water droplet erasure monitoring unit 81 is accelerated.
- the vehicle 1 may further include a manual switch (not shown), and a control operation command may be output to the lens cleaning control unit 26 based on an operation of the manual switch by an occupant.
- the adhering matter detection unit 6 includes the water droplet detection unit 61 and the mud detection unit 62, but may further include a detection unit that detects other types of dirt, such as a cloudiness detection unit.
- a detection unit that detects other types of dirt, such as a cloudiness detection unit.
- at least any two dirt detectors for example, a water droplet detector 61 and a cloudiness detector, may be provided.
- at least one dirt detector is provided. You should prepare.
- the white turbidity detection unit detects white turbidity, which is one of the dirt, for example, as follows.
- the cloudiness detection unit sets an upper left detection area 941, an upper detection area 942, and an upper right detection area 943 at positions where a horizon line is to appear in the captured image.
- the upper detection area 942 is set at a position where vanishing points of two lane marks provided in parallel with each other on the road surface are included.
- vanishing points 947 of two lane marks 946 are included inside the upper detection area 942.
- the upper left detection area 941 is set on the left side of the upper detection area 942
- the upper right detection area 943 is set on the right side of the upper detection area 942.
- the white turbidity detection unit sets a lower left detection area 944 and a lower right detection area 945 at positions where lane marks are expected to appear in the captured image.
- the white turbidity detection unit performs horizontal edge detection processing on the pixels in each of the upper left detection region 941, the upper detection region 942, the upper right detection region 943, the lower left detection region 944, and the lower right detection region 945.
- edge detection for the upper left detection area 941, the upper detection area 942, and the upper right detection area 943 an edge such as a horizon is detected.
- edge detection for the lower left detection area 944 and the lower right detection area 945 an edge such as the lane mark 946 is detected.
- the cloudiness detection unit calculates the edge intensity for each pixel included in each of the detection regions 941 to 945.
- the cloudiness detection unit calculates an average value AE2 of the edge intensity for each of the detection regions 941 to 945, and determines whether the average value AE2 is less than a predetermined threshold ⁇ .
- the white turbidity detection unit determines that the detection region in which the average value AE2 of the edge intensity is less than the threshold ⁇ is white turbid.
- the cloudiness detection unit can calculate the probability of cloudiness, that is, the accuracy as follows.
- the white turbidity detection unit calculates the number of detection regions in which the average value AE2 of the edge intensity is less than the threshold ⁇ in each of the detection regions 941 to 945, that is, the number N2 of detection regions detected as being cloudy. Thereafter, the white turbidity detection unit calculates a time t2 when it is continuously determined that each of the detection areas 941 to 945 is cloudy. Then, the white turbidity detection unit calculates the average duration t3 by dividing the sum of the times t2 of the detection regions 941 to 945 by the number of detection regions, that is, five. The cloudiness detection unit converts the average duration t3 into the accuracy R2 of the detection result of the cloudiness detection unit.
- the accuracy R2 indicates that the longer the average turbidity duration t3, the higher the accuracy and the white turbidity.
- t3 itself is the average white turbidity duration of the five detection areas 941 to 945, the accuracy of white turbidity increases as the duration of all the five detection areas 941 to 945 increases.
- the accuracy R2 is expressed as a numerical value from 0 to 1, and when TTHR3 ⁇ t3, it is expressed as all 1 and is a numerical value indicating a high degree of accuracy and cloudiness.
- the water droplet detection unit 61 may detect a water droplet as follows.
- the water droplet detection unit 61 divides the image area of the captured image 930 into a plurality of blocks B (x, y). Each block B (x, y) includes a plurality of pixels of the captured image.
- the water droplet detection unit 61 calculates a score S1 (x, y) representing the water droplet adhesion time for each block B (x, y).
- the score S1 (x, y) has an initial value of zero and is incremented by a predetermined value every time it is determined by the determination described below that a water droplet is attached in the block B (x, y). .
- FIG. 18B is a diagram with an arbitrary pixel 931 as a point of interest.
- the water droplet detection unit 61 sets, as internal reference points 932, pixels that are predetermined distances, for example, three pixels away from the point of interest 931 in the upward direction, the upper right direction, the lower right direction, the upper left direction, and the lower left direction, respectively.
- a pixel further away by a predetermined distance in the direction, for example, 3 pixels, is set as the external reference point 933.
- the water droplet detection unit 61 calculates the luminance for each internal reference point 932 and each external reference point 933.
- the water drop detection unit 61 determines whether the luminance of the internal reference point 932 is higher than the luminance of the external reference point 933 for each of the five directions. In other words, the water droplet detection unit 61 determines whether or not the point of interest 931 is the central portion of the water droplet.
- the water droplet detection unit 61 has a score S1 (x, y) of B (x, y) to which the point of interest 931 belongs. Is increased by a predetermined value, for example, 1.
- the water droplet detection unit 61 determines a block having a score S1 (x, y) equal to or greater than a predetermined value as a region where a water droplet is detected. Further, the water droplet detection unit 61 can calculate the accuracy of water droplet detection as follows.
- the water droplet detection unit 61 calculates the elapsed time t1 after initializing the score S1 (x, y) of each block B (x, y) after performing the above-described determination for all pixels in the captured image. Then, the water droplet detection unit 61 divides the score S1 (x, y) of each block B (x, y) by the elapsed time t1, and the time average S1 (x, y) of the score S1 (x, y) / T1 is calculated.
- the water droplet detection unit 61 calculates the sum of the time average S1 (x, y) / t1 of all blocks B (x, y), and divides it by the total number of blocks in the captured image 930 to obtain the score average AS1. calculate.
- the score average AS1 increases for each frame.
- the score average AS1 is large, there is a high probability that water droplets have adhered to the lens for a long time.
- the water droplet detection unit 61 generates the accuracy R1 of the detection result of the water droplet detection unit 61 using the score average AS1.
- the score S1 x, y
- the score average AS1 is used for the amount of water droplets on the current lens.
- the accuracy R1 in the case of raindrops, unlike in the case of mud and cloudiness, the lens state changes inevitably, and even if it is raining, the score S1 (x, y) may temporarily decrease. Therefore, the count CS1 of the time when the score average AS1 has exceeded a certain value TAS1 is used.
- the water droplet detection unit 61 holds the time count CS1 even if the score average AS1 for a predetermined period falls below a certain value TAS1, and subtracts the score S1 (x, y) when it falls below a predetermined period.
- the water droplet detection unit 61 expresses the accuracy R1 as 1 when the time count CS1 exceeds AS1THR. The closer the accuracy R1 is to 1, the more reliable the adhesion of the detected water droplets.
- the mud detection unit 62 may detect mud as follows.
- the mud detection unit 62 divides the image area of the captured image 930 into a plurality of blocks B (x, y) as shown in FIG.
- the mud detection unit 62 calculates the value of the score S4 (x, y) whose initial value is zero for each block B (x, y) as follows.
- the mud detection unit 62 detects the luminance of each pixel of the captured image 930. Then, the mud detection unit 62 calculates the total luminance I t (x, y) of each pixel included in the block B (x, y) for each block B (x, y). The mud detection unit 62 calculates a difference ⁇ I (x, y) between I t (x, y) calculated for the captured image of the current frame and I t ⁇ 1 (x, y) calculated similarly for the captured image of the previous frame. Is calculated for each block B (x, y).
- the mud detection unit 62 detects a block B (x, y) having a small ⁇ I (x, y) and a smaller I t (x, y) than the surrounding blocks, and detects the block B (x , Y), the score S4 (x, y) corresponding to the predetermined value, for example, 1 is increased.
- the mud detection unit 62 determines that a block having a score S4 (x, y) equal to or greater than a predetermined value is an area where mud is detected.
- the mud detection unit 62 can further calculate the accuracy of mud detection as follows.
- the mud detection unit 62 performs the above-described determination for all pixels in the captured image, and then obtains a score integrated value during a predetermined period t5 of the score S4 (x, y) of each block B (x, y). To do. Then, the mud detection unit 62 divides the score S4 (x, y) of each block B (x, y) by the predetermined period t5, and calculates the time average S4 (x, y) of the score S4 (x, y). ) / T5 is calculated.
- the mud detection unit 62 calculates the sum of the time average S4 (x, y) / t5 of all blocks B (x, y), and divides it by the total number of blocks in the captured image 930 to obtain the score average AR S4 Is calculated.
- the score average AR S4 has a meaning close to the amount of mud adhering to the lens during a predetermined period.
- the score average AR S4 increases for each sequentially captured frame. In other words, when the score average AR S4 is large, there is a high probability that a lot of mud is attached to the lens. Further, as the accuracy, the time when the score A S4 is larger than the threshold value TA S4 is used.
- the vehicle 1 may further include a vehicle control unit that controls traveling of the vehicle.
- the vehicle operation unit has a function of controlling the accelerator, brake, and steering wheel angle of the vehicle.
- the control signal output unit 10 generates a control signal based on the integrated deposit region input from the deposit region integration unit 9 and inputs the control signal to the vehicle operation unit. For example, when the integrated adhering region is larger than an area corresponding to a predetermined ratio in the captured image, it is determined that the recognition performance of the surrounding environment using the captured image of the camera 2 is low, and the vehicle speed is set to a certain level or less. Or control the accelerator or brake to stop.
- the in-vehicle device 4 includes an object recognition unit that performs image processing for detecting an object such as a lane mark or a pedestrian using a captured image of the camera 2, and the control signal output unit 10 performs additional processing shown below. Also good.
- the control signal output unit 10 generates the integrated deposit region input from the deposit region integration unit 9 as a mask image and inputs it to the object recognition unit.
- the object recognition unit excludes the integrated attachment region indicated by the input mask image from the captured image of the camera 2 and performs image processing for detecting an object such as a lane mark or a pedestrian.
- control signal output unit 10 determines that the captured image of the camera 2 does not have sufficient quality for the image processing of the object recognition unit based on the integrated deposit region input from the deposit region integration unit 9
- a fail signal is output to the object recognition unit.
- the control signal output unit 10 outputs a fail signal when the size of the integrated deposit region exceeds a threshold value.
- the object recognition unit stops the image processing while receiving the fail signal. Further, the control signal output unit 10 may notify the notification unit 5 that the image processing of the object recognition unit is stopped.
- the attached matter erasure management unit 12 deletes all attached regions when the following condition is satisfied when erasing the region indicated by the dirt removal information from the attached region information stored in the attached region storage unit 7.
- the deposit region information may be rewritten. That is, the area indicated by the dirt removal information is an area that is equal to or larger than a predetermined ratio of the adhered area, for example, the area indicated by the dirt removal information is 80% or more of the adhered area.
- the rewriting unit that is, the deposit elimination management part 12 deletes all the deposit areas on the assumption that all the dirt on the lens has been removed. Rewrite the deposit area information. For this reason, it is possible to prevent a situation in which the deposit area is scattered sparsely.
- the object attached to the lens of the camera 2 is targeted.
- the object attached to the window in front of the camera 2 may be the object.
- the lens cleaning unit 27 is a device that removes deposits on the front window.
- the attached matter detection control unit 11 may not be provided. In that case, the water droplet detection unit 61 and the mud detection unit 62 always operate. According to the modified example 8, even if the water drop detection unit 61 and the mud detection unit 62 are in operation, the attached matter erasure management unit 12 rewrites the water drop region information and the mud region information and updates the integrated attached region quickly. Has the advantage of being able to.
- the in-vehicle device 4 may output information on a region where the water droplet detection unit 61 or the mud detection unit 62 did not detect the attached matter to the attached matter erasure management unit 12 as attached matter erasure region information. Specifically, a region where the water droplet detection unit 61 did not detect the adhering matter and a region where the mud detection unit 62 did not detect the adhering matter, that is, a region not stored in each storage unit of the adhering matter region storage unit 7.
- the attached matter erasing area is input to the attached matter erasing management unit 12.
- the vehicle speed monitoring unit 32 of the vehicle monitoring unit 3 outputs the vehicle speed as approximately zero when determining that the vehicle 1 is in a parking lot from position information obtained from a GPS receiver (not shown) and map information (not shown). May be. In this case, when the vehicle 1 enters the parking lot, the vehicle speed is output to the deposit detection control unit 11 as approximately zero, and the operation of the mud detection unit 62 is stopped according to the description of the state switching table 17.
- the embodiments and modifications of the present invention described above are merely examples, and the present invention is not limited to these contents as long as the features of the invention are not impaired. Further, the embodiments and modifications described above may be combined and executed as long as the features of the invention are not impaired.
- the functions of the image recognition unit 20 and the image recognition area storage unit 21 included in the second embodiment can be incorporated into the in-vehicle device 4 in the first embodiment.
- the in-vehicle device 4 includes an input / output interface (not shown), and the program is read from another device via a medium that can be used by the input / output interface and the in-vehicle device 4.
- the medium refers to, for example, a storage medium that can be attached to and detached from the input / output interface, or a communication medium, that is, a wired, wireless, or optical network, or a carrier wave or digital signal that propagates through the network.
- part or all of the functions realized by the program may be realized by a hardware circuit or FPGA.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
車載装置4は、レンズを備えるカメラ2で撮影された画像を取得する画像取得部42と、記憶部7と、画像取得部42が取得した画像に基づきレンズの汚れを検出して画像における汚れが存在する領域を示す汚れ領域情報を記憶部7に格納する汚れ検出部6と、レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部8と、汚れ除去情報に基づいて汚れ領域情報を書き換える書換え部12とを備える。これにより、汚れ除去情報に基づいて汚れ領域情報を書き換えることができる。
Description
本発明は、車載装置に関する。
車両にカメラを搭載し、そのカメラから得られた画像に画像認識処理などを行い、車両の運転支援に用いる技術が知られている。カメラのレンズに水滴や泥などの異物が付着すると画像認識処理に悪影響を及ぼす。レンズへの付着物を検出する装置がたとえば特許文献1に開示されている。
特許文献1に記載されている発明では、汚れ検出ができない場合は汚れが除去されたことを検出できない。
本発明の第1の態様による車載装置は、レンズを備えるカメラで撮影された画像を取得する画像取得部と、記憶部と、前記画像取得部が取得した画像に基づき前記レンズの汚れを検出して前記画像における汚れが存在する領域を示す汚れ領域情報を前記記憶部に格納する汚れ検出部と、前記レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部と、前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える書換え部とを備える。
本発明によれば、汚れが除去された領域を示す汚れ除去情報に基づいて汚れ領域情報を書き換えることにより、汚れ検出ができない場合でも汚れの領域を精度良く認識することができる。
(第1の実施の形態)
以下、図1~図8を参照して、本発明に係る車載装置の第1の実施の形態を説明する。
以下、図1~図8を参照して、本発明に係る車載装置の第1の実施の形態を説明する。
(ハードウエア構成)
図1は、車両1のハードウエア構成図である。車両1は、カメラ2と、車両監視部3と、車載装置4と、報知部5とを備える。
図1は、車両1のハードウエア構成図である。車両1は、カメラ2と、車両監視部3と、車載装置4と、報知部5とを備える。
カメラ2は、外向きに車両1に設置され、車両1の周辺の路面を撮影範囲に含む。カメラ2は所定の時間間隔ごとに撮影し、撮影して得られた画像(以下、撮影画像)を車載装置4に出力する。カメラ2はレンズを備え、レンズが泥や水滴により汚れると撮影画像の汚れに対応する領域が影響を受ける。
車両監視部3は、車両1の走行状態に関する情報を取得する。車両監視部3は、舵角監視部31と車速監視部32とを備える。舵角監視部31は、たとえば角度センサであり、車両1の舵角情報を取得する。車速監視部32は、たとえばロータリエンコーダであり、車両1の走行速度、すなわち車速を取得する。車両監視部3は、取得した舵角や車速などの車両情報を車載装置4に出力する。
車載装置4は、演算処理部41と画像取得部42とを備える。演算処理部41は、CPUとRAMとROMとを備え、CPUはROMに格納されたプログラムをRAMに展開して実行することにより、後述する処理を行う。画像取得部42は、カメラ2から撮影画像を取得して演算処理部41に出力する。演算処理部41は入力された撮影画像をRAMに記憶し、記憶した撮影画像に所定の画像処理を行う。たとえば、撮影画像から人物形状を検出する歩行者検出や、車両を検出する車両検出、撮影画像に映り込むレンズの付着物を検出する付着物検出などの処理である。これらの画像処理の出力はRAMに適宜記憶される。そして演算処理部41はこれらの画像処理の出力に基づいて報知部5を制御する。
報知部5は、車両の乗員へ報知を行う。報知部5は、警報出力部51と状態表示部52とを備える。警報出力部51は、音および光の少なくとも一方を用いて車両の乗員に対して警報を発報する装置であり、たとえば警報ランプや警報ブザーである。警報出力部51の動作は、車載装置4の演算処理部41によって制御される。たとえば、演算処理部41が付着物検出処理によってカメラ2のレンズの付着物を検出した場合に、警報ブザーを発報して車両の乗員にカメラ2のレンズを清掃するように警告することができる。状態表示部52は、ディスプレイなどの画面表示装置であり、車両の乗員に対して視覚的な情報を出力する。状態表示部52の動作は、車載装置4の演算処理部41によって制御される。たとえば状態表示部52は、CPUの動作指令に基づき、演算処理部41が歩行者検出処理によって検出した撮影画像上の歩行者の位置をカメラ2の撮影画像に合成して表示させる。
(制御ブロック)
図2は、第1の実施の形態による演算処理部41の制御ブロック図である。演算処理部41は、ROMに格納されたプログラムをCPUが実行することにより、付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物検出制御部11と付着物消去管理部12として機能する。
図2は、第1の実施の形態による演算処理部41の制御ブロック図である。演算処理部41は、ROMに格納されたプログラムをCPUが実行することにより、付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物検出制御部11と付着物消去管理部12として機能する。
付着物検出部6は、カメラ2が出力する撮影画像を用いてカメラ2のレンズへの付着物を検出する。付着物検出部6は、水滴を検出する水滴検出部61と、泥を検出する泥検出部62とを備える。水滴検出部61および泥検出部62はそれぞれ、付着物検出制御部11の動作指令に基づき動作する。換言すると、水滴検出部61および泥検出部62はそれぞれ、付着物検出制御部11の動作指令に基づき、稼働状態と停止状態とに切り替えられる。
水滴検出部61は、レンズに付着した水滴を検出し、撮影画像において水滴が付着している領域(以下、水滴領域)を示す情報(以下、水滴領域情報)を付着物領域記憶部7に出力する。水滴検出部61の具体的な動作は後述する。
泥検出部62は、レンズに付着した泥を検出し、撮影画像において泥が付着している領域(以下、泥領域)を示す情報(以下、泥領域情報)を付着物領域記憶部7に出力する。以下では、水滴領域と泥領域とをあわせて「付着物領域」と呼ぶ。また以下では、水滴領域情報と泥領域情報とをあわせて「付着物領域情報」と呼ぶ。泥検出部62の具体的な動作は後述する。
付着物領域記憶部7は、付着物検出部6から入力される付着物領域情報を記憶する。付着物領域記憶部7は、水滴検出部61に対応する水滴領域記憶部71と、泥検出部62に対応する泥領域記憶部72とを備える。水滴領域記憶部71は、水滴検出部61から入力される付着物の情報、すなわち水滴領域情報を記憶する。泥領域記憶部72は、泥検出部62から入力される付着物情報、すなわち泥領域情報を記憶する。
水滴検出部61と泥検出部62の動作がそれぞれ停止している場合には、水滴領域記憶部71と泥領域記憶部72にはそれぞれ付着物領域情報が入力されず、最後に記憶された付着物情報が保持され続ける。
図3は、付着物領域記憶部7で記憶される付着物領域情報の一例を示す図である。撮影画像を格子状に区切った検出面131において、付着物が検出された領域14が示されている。付着物が検出された領域14は、付着物領域情報により特定される領域である。
付着物消去監視部8は、付着物領域記憶部7の各記憶部が記憶する付着物領域情報を監視し、カメラ2のレンズの付着物が除去された領域を検出する。付着物消去監視部8は、付着物の除去が検出された領域を示す情報(以下、付着物消去領域情報)を付着物消去管理部12に出力する。付着物消去監視部8は、付着物領域記憶部7の各記憶部に対応した監視部、すなわち水滴消去監視部81と泥消去監視部82とを備える。水滴消去監視部81は、水滴領域記憶部71に記憶される水滴領域情報を監視し、水滴領域情報の時間変化から水滴が消失した領域(以下、水滴消失領域)を検出する。そして水滴消去監視部81は、水滴消失領域を示す情報(以下、水滴消失領域情報)を出力する。
泥消去監視部82は、泥領域記憶部72に記憶される泥領域情報を監視し、泥領域情報の時間変化から泥が消失した領域(以下、泥消失領域)を検出する。そして泥消去監視部82は、泥消失領域を示す情報(以下、泥消失領域情報)を出力する。
付着物検出制御部11は、水滴検出部61および泥検出部62の動作を切り替える条件が記載された状態切替テーブル17を備える。付着物検出制御部11は、状態切替テーブル17に記載された条件に該当すると判断すると次の2つの動作を行う。第1の動作は、付着物検出部6への動作を切り替える指令、すなわち稼働状態への切り替えを示す動作指令、または停止状態への切り替えを示す動作指令の出力である。第2の動作は、付着物消去管理部12への付着物検出部6の動作状態の情報の出力である。後述するように、状態切替テーブル17に記載される条件は車両1の車速が含まれる。
図4は、状態切替テーブル17の一例を示す図である。状態切替テーブル17は、処理名171の列と、状態172の列と、状態切替条件173の列とから構成される。処理名171の列には制御対象の処理が記載され、「水滴検出」は水滴検出部61が制御対象であり、「泥検出」は泥検出部62が制御対象であることを示す。状態172の列には切り替え後の状態が記載され、「停止」は停止状態に切り替えられ、「稼働」は稼働状態に切り替えられることを示す。状態切替条件173の列には切り替え条件が記載される。たとえば図4の2行目は、車両1の車速が時速2kmを超過したら水滴検出部61を停止させることを示している。なお付着物検出制御部11は、昼夜の判断において、車両1または車載装置4に備えられる不図示の時計を参照してもよいし、カメラ2が検出した照度や撮影画像の平均輝度を利用してもよい。また昼夜を判断する基準となる時刻は季節ごとに異なってもよい。
図2に戻って車載装置4の制御ブロック図の説明を続ける。
付着物消去管理部12は、付着物検出制御部11から入力される付着物検出部6の動作状態に基づき、停止状態にある検出部に対応する付着物領域記憶部7の付着物領域情報を、付着物消失領域情報を用いて書き換える。たとえば、水滴検出部61が稼働状態にあり泥検出部62が停止状態にある場合は、停止状態にある泥検出部62に対応する泥領域記憶部72に格納される泥領域情報を、付着物消失領域情報を用いて書き換える。すなわちこの場合は、泥領域情報を水滴消失領域情報を用いて書き換える。図3、図5、図6を用いて付着物領域情報の書き換えを具体的に説明する。
図5は、停止状態にある泥検出部62により従前に検出された泥領域151,152を示す図である。泥領域151,152は、撮影画像を格子状に区切った検出面132上の領域として表される。
図6は、付着物消去管理部12により書き換えられた泥領域情報により示される泥領域を示す図である。図6は、以下のような処理を経て生成される。
まず、泥検出部62が撮影画像から泥領域を検出し、泥領域情報を付着物領域記憶部7に出力する。この泥領域情報を図示したのが図5の領域151および領域152である。次に付着物検出制御部11により泥検出部62が停止状態に切り替えられる。そして、水滴消去監視部81が図3に示す領域14を水滴消失領域として検出する。すると付着物消去管理部12は、図5に示す泥領域151および領域152から水滴消失領域である領域14を除外する。これにより、図5に示す泥領域151は図6において泥領域151Aに書き換えられ、書き換えられなかった泥領域152とともに新たな泥領域情報として付着物領域記憶部7に出力される。
図2に戻って車載装置4の制御ブロック図の説明を続ける。
付着物領域統合部9は、付着物領域記憶部7から水滴領域情報および泥領域情報を取得する。付着物領域統合部9は、取得した情報に含まれる水滴領域および泥領域を統合して統合付着物領域とし、統合付着物領域を示す情報である統合付着物領域情報を制御信号出力部10に出力する。
制御信号出力部10は、入力された統合付着物領域情報に基づいて報知部5を駆動する制御信号を生成し、報知部5に出力する。たとえば制御信号出力部10は、統合付着物領域情報により示される統合付着物領域の面積が、あらかじめ定められた面積よりも広い場合に特定の制御信号を生成する。この特定の制御信号は、報知部5がカメラ2のレンズ付着物を払拭するよう車両の乗員に警報を発報するための制御信号である。
(水滴検出処理)
図7は、水滴検出部61の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS181では、CPUはカメラ2が出力した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する。エッジ抽出処理には、画像中の変化量を抽出する様々な手段を用いることができる。たとえば、PrewittフィルタやSobelフィルタを用いることができる。続くステップS182では、CPUはステップS181で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。CPUは、エッジ画像に含まれるエッジ強度が所定の閾値Th1以上閾値Th2以下のエッジを抽出する。続くステップS183では、CPUは、ステップS182の抽出結果を所定の回数Nだけ画素ごとに累積させる。続くステップS184では、CPUは、ステップS183で累積させたエッジ強度が所定の閾値Th3以上となる画素を特定し、その画素を示す情報を水滴領域情報として付着物領域記憶部7に出力する。
図7は、水滴検出部61の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS181では、CPUはカメラ2が出力した撮影画像に対してエッジ抽出処理を行い、エッジ画像を生成する。エッジ抽出処理には、画像中の変化量を抽出する様々な手段を用いることができる。たとえば、PrewittフィルタやSobelフィルタを用いることができる。続くステップS182では、CPUはステップS181で生成されたエッジ画像の中からエッジ強度が弱くぼけた画素を抽出する。CPUは、エッジ画像に含まれるエッジ強度が所定の閾値Th1以上閾値Th2以下のエッジを抽出する。続くステップS183では、CPUは、ステップS182の抽出結果を所定の回数Nだけ画素ごとに累積させる。続くステップS184では、CPUは、ステップS183で累積させたエッジ強度が所定の閾値Th3以上となる画素を特定し、その画素を示す情報を水滴領域情報として付着物領域記憶部7に出力する。
(泥検出処理)
図8は、泥検出部62の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS191では、CPUは、カメラ2が出力した撮影画像に対して輝度が所定の閾値Th4以下の画素を抽出する。続くステップS192では、CPUは、ステップS191の抽出結果を所定の回数Mだけ画素ごとに累積させる。続くステップS193では、CPUは、ステップS192で累積させた輝度値が所定の閾値Th5以上の画素を示す情報を、泥領域情報として付着物領域記憶部7に出力する。
図8は、泥検出部62の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップS191では、CPUは、カメラ2が出力した撮影画像に対して輝度が所定の閾値Th4以下の画素を抽出する。続くステップS192では、CPUは、ステップS191の抽出結果を所定の回数Mだけ画素ごとに累積させる。続くステップS193では、CPUは、ステップS192で累積させた輝度値が所定の閾値Th5以上の画素を示す情報を、泥領域情報として付着物領域記憶部7に出力する。
(付着物消去管理部の動作)
図9は、付着物消去管理部12の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。
図9は、付着物消去管理部12の処理を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。
ステップS161では、CPUは、付着物消去管理部12が水滴消去監視部81から水滴消失領域情報を受信したか否かを判断する。水滴消失領域情報を受信したと判断する場合はステップS162に進み、水滴消失領域情報を受信していないと判断する場合はステップS164に進む。ステップS162では、CPUは、付着物検出制御部11の出力に基づき泥検出部62が停止状態にあるか否かを判断する。この判断は、付着物検出制御部11が出力する付着物検出部6の動作状態の情報に基づき行われる。泥検出部62が停止状態にあると判断する場合はステップS163に進み、泥検出部62が停止状態にない、すなわち泥検出部62が稼働状態にあると判断する場合はステップS164に進む。ステップS163では、CPUは、水滴消失領域情報に基づき泥領域情報を書き換えてステップS164に進む。
ステップS164では、CPUは、付着物消去管理部12が泥消去監視部82から泥消失領域情報を受信したか否かを判断する。泥消失領域情報を受信したと判断する場合はステップS165に進み、水滴消失領域情報を受信していないと判断する場合は図9に示す処理を終了する。ステップS165では、CPUは、付着物検出制御部11の出力に基づき水滴検出部61が停止状態にあるか否かを判断する。水滴検出部61が停止状態にあると判断する場合はステップS166に進み、水滴検出部61が停止状態にない、すなわち水滴検出部61が稼働状態にあると判断する場合は図9に示す処理を終了する。ステップS166では、CPUは、泥消失領域情報に基づき水滴領域情報を書き換えて図9に示す処理を終了する。
上述した第1の実施の形態によれば、次の作用効果が得られる。
(1)車載装置4は、レンズを備えるカメラ2で撮影された画像を取得する画像取得部42と、記憶部、すなわち演算処理部41と、画像取得部42が取得した画像に基づきレンズの汚れを検出して画像における汚れが存在する領域を示す汚れ領域情報を記憶部に格納する汚れ検出部、すなわち付着物検出部6と、レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部、すなわち付着物消去監視部8と、汚れ除去情報に基づいて汚れ領域情報を書き換える書換え部、すなわち付着物消去管理部12と、を備える。
車載装置4をこのように構成したので、汚れ検出部により汚れ検出ができない状態であっても、汚れ除去情報に基づいて汚れ領域情報を書き換えることができる。たとえば昼間に車速が時速1km未満であるために泥検出部62が動作できない場合でも、水滴検出部61の検出結果を利用する水滴消去監視部81が出力する付着物消去領域情報、すなわち汚れ除去情報に基づき泥領域記憶部72を書き換えることができる。
(2)水滴検出部61および泥検出部62は、ある時は汚れ検出部として動作し、ある時は汚れ除去情報生成部の一部として動作する。すなわち、汚れ検出部、および汚れ除去情報生成部は、それぞれ異なるアルゴリズムが用いられる。たとえば、泥検出部62の動作が停止しており、水滴検出部61の検出結果に基づき水滴消去監視部81が付着物消去領域情報を出力し、これに基づき付着物消去管理部12が泥領域記憶部72を書き換える場合は、泥検出部62が汚れ検出部であり水滴検出部61が汚れ除去情報生成部の一部である。
このように、汚れ検出部と汚れ除去情報生成部は異なるアルゴリズムにより動作するので、汚れ検出部のアルゴリズムでは汚れの検出が不可能な場合、すなわち汚れ検出部のアルゴリズムでは汚れが除去されたことの検出が不可能な場合であっても、汚れ除去情報生成部により汚れ除去情報を生成することができる。
(3)汚れ除去情報生成部、すなわち付着物消去監視部8は、汚れ検出部により検出可能な汚れとは異なる種類の汚れを検出する異種汚れ検出部の検出結果に基づき汚れ除去情報を生成する。
車載装置4は、2種類の汚れ検出部を備え、一方の汚れ検出部が検出した汚れ検出領域を、他方の汚れ検出部の検出結果を利用した汚れ除去情報により書き換えることができる。
(4)汚れ検出部、たとえば泥検出部62は泥を検出し、異種汚れ検出部、たとえば水滴検出部61は水滴を検出する。
そのため、泥検出部62が検出した泥領域を水滴検出部61の検出結果を利用した泥消失領域を利用して書き換えることができる。
(5)書換え部、すなわち付着物消去管理部12は、汚れ検出部、すなわち水滴検出部61または泥検出部62が動作していない場合に、動作していない汚れ検出部が出力した汚れ領域情報、すなわち水滴領域情報または泥領域情報を汚れ除去情報に基づいて書き換える。そのため、動作している一方の付着物検出部6の検出結果を用いて、動作していない他方の付着物検出部6が検出した汚れ領域を書き換えることができる。
(6)車載装置4は、カメラ2を搭載する車両1の車速と汚れ検出部の動作の有無との対応を示す状態切替テーブル17と、車両監視部3から入力される車両1の車速および状態切替テーブル17に基づき汚れ検出部を動作または停止させる動作切り替え部、すなわち付着物検出制御部11を備える。書換え部、すなわち付着物消去管理部12は、車両1の動作状態および状態切替テーブル17に基づき付着物検出部6の動作の有無を判断する。
そのため付着物消去管理部12は、水滴領域情報と泥領域情報のいずれを書き換えるかを判断できる。
以上で説明した実施の形態は、以下のように変形してもよい。
(第1の実施の形態の変形例1)
車両1の車両監視部3、および車載装置4の付着物検出制御部11を省略してもよい。この場合は付着物消去管理部12は、水滴検出部61および泥検出部62の稼働状態に関わらず、付着物消去領域情報に基づき、水滴領域記憶部71および泥領域記憶部72の付着物領域情報を書き換える。
車両1の車両監視部3、および車載装置4の付着物検出制御部11を省略してもよい。この場合は付着物消去管理部12は、水滴検出部61および泥検出部62の稼働状態に関わらず、付着物消去領域情報に基づき、水滴領域記憶部71および泥領域記憶部72の付着物領域情報を書き換える。
(第1の実施の形態の変形例2)
付着物検出制御部11は、状態切替テーブル17を参照する代わりに、車両1の乗員が操作可能な手動スイッチの状態を参照して、水滴検出部61および泥検出部62の動作を制御してもよい。
付着物検出制御部11は、状態切替テーブル17を参照する代わりに、車両1の乗員が操作可能な手動スイッチの状態を参照して、水滴検出部61および泥検出部62の動作を制御してもよい。
(第1の実施の形態の変形例3)
車載装置4は、水滴消去監視部81および泥消去監視部82のいずれか一方を備えなくてもよい。すなわち付着物消去監視部8は、水滴検出部61および泥検出部62のいずれか一方の検出結果のみを用いて付着物消去領域情報を生成してもよい。
車載装置4は、水滴消去監視部81および泥消去監視部82のいずれか一方を備えなくてもよい。すなわち付着物消去監視部8は、水滴検出部61および泥検出部62のいずれか一方の検出結果のみを用いて付着物消去領域情報を生成してもよい。
なお付着物消去監視部8は、水滴消去監視部81を備えることが好ましい。
(第2の実施の形態)
図10~図11を参照して、本発明に係る車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、画像認識の結果に基づき付着物消去領域情報が生成される点、およびいずれの生成手法による付着物消去領域情報を用いて付着物領域記憶部7を書き換えるかが条件により変化する点で第1の実施の形態と異なる。
図10~図11を参照して、本発明に係る車載装置の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、画像認識の結果に基づき付着物消去領域情報が生成される点、およびいずれの生成手法による付着物消去領域情報を用いて付着物領域記憶部7を書き換えるかが条件により変化する点で第1の実施の形態と異なる。
第2の実施の形態における車両1および車載装置4のハードウエア構成は第1の実施の形態と同様である。演算処理部41のROMに格納されるプログラムが第1の実施の形態と異なる。
(制御ブロック)
図10は、本発明の第2の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、画像認識部20と、画像認識領域記憶部21と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12として機能する。
図10は、本発明の第2の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、画像認識部20と、画像認識領域記憶部21と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12として機能する。
図10に示す制御ブロック図の第1の実施の形態における制御ブロック図との相違点は、画像認識部20および画像認識領域記憶部21が追加されている点と、画像認識領域記憶部21および車両監視部3の出力が付着物消去管理部12に入力されている点である。なお図10では車両監視部3と付着物検出制御部11とを接続する線が省略されているが、第1の実施の形態と同様に車両監視部3の出力が付着物検出制御部11に入力される。また付着物検出制御部11が状態切替テーブル17を備える点も第1の実施の形態と同様である。以下では、これらの相違点を説明する。
画像認識部20は、撮影画像から歩行者を検出する歩行者検出部201と、撮影画像から車両を検出する車両検出部202とを備える。歩行者検出部201が検出した歩行者の撮影画像上の領域、および車両検出部202が検出した車両の撮影画像上の領域を、以下では「画像認識領域」と呼ぶ。
歩行者検出部201および車両検出部202は、既知の画像処理手法を用いて撮影画像から歩行者および車両を検出する。この画像処理にはたとえば、画像からHog特徴量を抽出して歩行者や車両の特徴量と合致する領域を抽出する手法や、深層学習を用いて歩行者や車両を検出する手法を用いることができる。歩行者検出部201および車両検出部202は、検出した物体の撮影画像上の位置、形状、サイズなどの画像認識領域の情報を画像認識情報として画像認識領域記憶部21に出力する。
画像認識領域記憶部21は、歩行者領域記憶部211と車両領域記憶部212とを備える。歩行者領域記憶部211には、歩行者検出部201から入力される最新の画像認識情報が記憶される。車両領域記憶部212には、車両検出部202から入力される最新の画像認識情報が記憶される。画像認識部20の動作が停止している場合には、画像認識領域記憶部21は画像認識情報を消去する。従前に出力された画像認識情報を保持すると、現在は歩行者や車両を認識していないにもかかわらず、現在もそれらを認識しているとの誤った判断を生じさせるからである。
付着物消去管理部12には、付着物消去監視部8が検出した付着物消去領域情報の他に、画像認識領域記憶部21に記憶される画像認識情報と、車両監視部3から車速などの車両の動作状況が入力される。
付着物消去管理部12は、消去関係テーブル22を備える。付着物消去管理部12は、消去関係テーブル22に基づいて、付着物領域記憶部7に格納される水滴領域情報および泥領域情報を書き換える。消去関係テーブル22は、時間帯、および車両監視部3から入力される車両の動作状況に基づき、付着物検出部6および画像認識部20のそれぞれの処理結果により書き換えられる対象となる情報を特定するテーブルである。なお消去関係テーブル22は、付着物消去管理部12が動作する条件を示しているともいえる。
図11は、消去関係テーブル22の一例を示す図である。消去関係テーブル22は、時間帯221の列と、車速222の列と、処理名223の列と、消去領域反映対象224の列とから構成される。時間帯221の列には、時刻の区分を表す情報、たとえば昼または夜が記載される。車速222の列には、車両1の車速の条件が記載される。処理名223の列には、付着物検出部6および画像認識部20のいずれかの検出部の名称が記載される。消去領域反映対象224の列には、書き換え対象となる記憶領域、すなわち水滴領域記憶部71および泥領域記憶部72のいずれかが記載される。
たとえば、図11の消去関係テーブル22の2行目によれば、昼に車速20km/hで走行している場合、泥領域記憶部72に記憶されている泥領域のうち、水滴消去監視部81で検出した水滴消去領域に対応する領域の泥は除去されたものと見做し、当該領域に泥が付着されているという泥領域情報を泥領域記憶部72から消去することを示している。なお、この例では消去領域反映対象の変更条件として時間帯221と車速222を用いているが、これらに限定されない。他にも付着物検出部6の各検出部の動作状態などを使用することができる。
消去関係テーブル22を適切に設定することで、図4の状態切替条件に該当して現在は停止している付着物検出部が停止前の稼働中に記憶した付着物領域を、図4の状態切替条件に該当して現在稼働している別の付着物検出部が検出した付着物の消去領域で消去することができる。また、消去関係テーブル22には、付着物の種類に応じた払拭関係を反映することも可能である。たとえば、水滴は泥をはじめとする多くの付着物を浮かして洗い流すため、水滴検出処理で得られた水滴消去領域を他の汚れ検出処理で得た汚れ領域の消去に使用し易いが、泥は他の付着物と混合しやすい性質をもち、泥検出処理で得られた泥消去領域を他の汚れ検出処理で得た汚れ領域の消去に使用しにくい。
上述した第2の実施の形態によれば、第1の実施の形態の(1)~(5)の作用効果に加えて次の作用効果が得られる。
(1)車載装置4の汚れ検出部、すなわち付着物検出部6は、検出する汚れの種類が異なる水滴検出部61と泥検出部62とを含む。水滴検出部61は検出した汚れを水滴領域情報として記憶部に格納し、泥検出部62は検出した汚れを泥領域情報として記憶部に格納する。車載装置4は、水滴領域情報に基づき水滴消失領域情報を生成する水滴消去監視部81と、泥領域情報に基づき泥消失領域情報を生成する泥消去監視部82と、水滴領域情報が書き換られる条件および泥領域情報が書き換られる条件が記載された消去関係テーブル22が格納されるテーブル記憶部、すなわち演算処理部41とを備える。書換え部、すなわち付着物消去管理部12は、消去関係テーブル22に記載された条件および水滴消失領域情報に基づき泥領域情報を書き換え、消去関係テーブル22に記載された条件および泥消失領域情報に基づき水滴領域情報を書き換える。
そのため、水滴領域情報および泥領域情報のそれぞれを、泥検出部62および水滴検出部61のそれぞれの検出結果に基づき書き換えることができる。
(2)消去関係テーブル22に記載される、水滴領域情報が書き換られる条件および泥領域情報が書き換られる条件には、少なくともカメラ2を搭載する車両1の速度が含まれる。
そのため、車両1の速度に応じて書き換え対象となる付着物領域を変更することができる。
(3)車載装置4は、カメラ2の撮影画像から物体を認識し物体が認識された領域をレンズの汚れが除去された領域とする汚れ除去情報を生成する画像認識部20を備える。
そのため、画像認識部20の認識結果を用いて、付着物領域情報を書き換えることができる。
(4)車載装置4は、付着物消去管理部12が動作する条件を示す消去関係テーブル22が格納されるテーブル記憶部、すなわち演算処理部41を備える。消去関係テーブル22には、カメラ2を搭載する車両1の速度が少なくとも含まれる。付着物消去管理部12は、車両1の速度、および消去関係テーブル22に基づき動作する。
そのため車載装置4は、車両1の速度、および消去関係テーブル22に基づき、画像認識部20の認識結果や付着物検出部6の検出結果を用いて付着物領域情報を書き換えることができる。
以上で説明した第2の実施の形態は、以下のように変形して実行できる。
(第2の実施の形態の変形例1)
車載装置4は、画像認識部20、および画像認識領域記憶部21を備えなくてもよい。この場合、第1の実施の形態との相違点は、付着物消去管理部12が、付着物検出部6の動作状態ではなく消去関係テーブル22に基づいて、付着物領域記憶部7に格納される付着物領域情報を書き換える点である。同様に、車載装置4において、付着物消去監視部8を省略することができる。この場合、付着物消去管理部12は、消去関係テーブル22に基づいて、付着物領域記憶部7に記載されている付着物領域情報から、画像認識領域記憶部21から入力された画像認識情報の領域を消去する。
車載装置4は、画像認識部20、および画像認識領域記憶部21を備えなくてもよい。この場合、第1の実施の形態との相違点は、付着物消去管理部12が、付着物検出部6の動作状態ではなく消去関係テーブル22に基づいて、付着物領域記憶部7に格納される付着物領域情報を書き換える点である。同様に、車載装置4において、付着物消去監視部8を省略することができる。この場合、付着物消去管理部12は、消去関係テーブル22に基づいて、付着物領域記憶部7に記載されている付着物領域情報から、画像認識領域記憶部21から入力された画像認識情報の領域を消去する。
(第2の実施の形態の変形例2)
付着物消去管理部12は、消去関係テーブル22の車速222の列を参照しなくてもよい。さらに付着物消去管理部12は、消去関係テーブル22の時間帯の列も参照しなくてもよい。これらの場合は、消去関係テーブル22は付着物消去管理部12から参照されない列を含まなくてもよい。
付着物消去管理部12は、消去関係テーブル22の車速222の列を参照しなくてもよい。さらに付着物消去管理部12は、消去関係テーブル22の時間帯の列も参照しなくてもよい。これらの場合は、消去関係テーブル22は付着物消去管理部12から参照されない列を含まなくてもよい。
(第2の実施の形態の変形例3)
付着物検出部6、および画像認識部20のそれぞれにおいて、検出結果の確からしさ、すなわち確度は異なる。さらにそれぞれの検出結果においても、画素ごとに確度は異なる。そこで、付着物検出部6、付着物消去監視部8、画像認識部20のそれぞれの出力に検出結果の確度を追加する。そして、付着物消去管理部12が、付着物領域記憶部7に記憶された付着物情報を消去する際に、確度を考慮してもよい。
付着物検出部6、および画像認識部20のそれぞれにおいて、検出結果の確からしさ、すなわち確度は異なる。さらにそれぞれの検出結果においても、画素ごとに確度は異なる。そこで、付着物検出部6、付着物消去監視部8、画像認識部20のそれぞれの出力に検出結果の確度を追加する。そして、付着物消去管理部12が、付着物領域記憶部7に記憶された付着物情報を消去する際に、確度を考慮してもよい。
付着物検出部6の水滴検出部61は、図7のステップS184において累積値がTh3以上である画素を水滴領域としたが、その累積値を用いて確度を決定することができる。水滴検出部61は、累積値の値が大きいほど確度を高く、すなわちより確からしい検出結果であると設定する。
付着物検出部6の泥検出部62は、図8のステップS193において累積値がTh5以上である画素を泥領域としたが、その累積値を用いて確度を決定することができる。泥検出部62は、累積値が大きいほど確度を高く、すなわちより確からしい検出結果であると設定する。
付着物消去監視部8の水滴消去監視部81は、ある画素の水滴が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において水滴が消失した確度と設定する。泥消去監視部82も同様に、ある画素の泥が消失したと判断した際に、消去前にその画素に設定されていた確度を、その画素において泥が消失した確度と設定する。
画像認識部20の各検出部は、検出した画像認識領域に、その検出の確からしさを確度情報として付与し、画像認識領域記憶部21の各記憶部に記憶させ、これを付着物消去管理部12に入力する。付着物消去管理部12は、画像認識領域のそれぞれに確度に応じた正の重みを付与し、付着物消去領域のそれぞれに確度に応じた負の重みを付与する。そして付着物消去管理部12は、重みの和が所定の値以下となった領域を抽出し、前述のように消去関係テーブル22に基づき、抽出した領域を付着物領域記憶部7から消去する。
この変形例によれば、次の作用効果が得られる。
(1)汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、付着物消去管理部12は、確度情報に基づき汚れ領域情報を書き換える。
そのため、確度を考慮して汚れ領域情報を書き換えることができる。
(第2の実施の形態の変形例4)
画像認識部20はカメラ2の撮影画像から何らかの物体を検出できればよく、検出対象の種類や数は上記の構成に限定されない。たとえば画像認識部20は歩行者検出部201のみを備えてもよいし、歩行者や車両以外に信号機やガードレールを検出する検出部を備えてもよい。
画像認識部20はカメラ2の撮影画像から何らかの物体を検出できればよく、検出対象の種類や数は上記の構成に限定されない。たとえば画像認識部20は歩行者検出部201のみを備えてもよいし、歩行者や車両以外に信号機やガードレールを検出する検出部を備えてもよい。
(第3の実施の形態)
図12~図13を参照して、本発明に係る車載装置の第3の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、特定の汚れの種類に限定せず付着物の消去点を検出する付着物検出部を備える点で、第2の実施の形態と異なる。
図12~図13を参照して、本発明に係る車載装置の第3の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、特定の汚れの種類に限定せず付着物の消去点を検出する付着物検出部を備える点で、第2の実施の形態と異なる。
第3の実施の形態における車両1および車載装置4のハードウエア構成は第2の実施の形態と同様である。演算処理部41のROMに格納されるプログラムが第2の実施の形態と異なる。
(制御ブロック)
図12は、本発明の第3の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、付着物消去検出部23と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12とを備える。
図12は、本発明の第3の実施の形態における車載装置4の制御ブロック図である。演算処理部41は、付着物消去検出部23と、付着物検出部6と、付着物領域記憶部7と、付着物消去監視部8と、付着物領域統合部9と、制御信号出力部10と、付着物消去管理部12とを備える。
第2の実施の形態における制御ブロック図との相違点は、画像認識部20および画像認識領域記憶部21が削除されている点と、付着物消去検出部23が追加されている点と、付着物消去検出部23の出力が付着物消去管理部12に入力されている点である。なお図12では車両監視部3と付着物検出制御部11とを接続する線が省略されているが、第2の実施の形態と同様に車両監視部3の出力が付着物検出制御部11に入力される。また付着物検出制御部11が状態切替テーブル17を備える点も第2の実施の形態と同様である。以下では、これらの相違点を説明する。
付着物消去検出部23は、カメラ2から入力される撮影画像から付着物が除去された領域を検出する。付着物消去検出部23はたとえば、カメラ2から入力される撮影画像の時間変化を利用して付着物が除去された領域(以下、付着物消去検出領域)を検出し、その領域を示す付着物消去検出領域情報を付着物消去管理部12に出力する。
付着物消去管理部12は、車両監視部3から入力される車両1の動作状況と消去関係テーブル22を参照し、付着物消去監視部8から入力される付着物消去領域情報と付着物消去検出部23から入力される付着物消去検出領域情報に基づき付着物領域記憶部7の水滴領域および泥領域を書き換える。すなわち、本実施の形態では付着物消去領域情報と付着物消去検出領域情報とが汚れ除去情報である。
付着物消去管理部12が参照する消去関係テーブル22において、付着物消去検出部23の消去領域反映対象224は、水滴検出と泥検出の両方に設定される。すなわち、付着物消去検出部23が出力する付着物消去検出領域情報に基づき、水滴領域情報と泥領域情報の両方が書き換えられる。
(付着物消去検出部23のフローチャート)
図13は、付着物消去検出部23の動作を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップ241では、CPUは、カメラ2が出力した撮影画像を長時間蓄積して変化のない領域を付着物が付着していると推定し無変化領域として抽出する。なお、本ステップの処理は、カメラ2のレンズへの付着物を検出することを目的とした処理であり、付着物検出部6の処理結果を用いることもできる。
図13は、付着物消去検出部23の動作を表すフローチャートである。以下に説明する各ステップの実行主体は演算処理部41のCPUである。ステップ241では、CPUは、カメラ2が出力した撮影画像を長時間蓄積して変化のない領域を付着物が付着していると推定し無変化領域として抽出する。なお、本ステップの処理は、カメラ2のレンズへの付着物を検出することを目的とした処理であり、付着物検出部6の処理結果を用いることもできる。
続くステップ242では、CPUは、カメラ2が出力した連続する2枚の撮影画像の画素ごとの差分、たとえば輝度差を評価する。CPUは、差分があらかじめ定めた閾値よりも大きな画素の集合を瞬時変化領域として抽出する。本ステップにおける瞬時変化領域の抽出は以下のことを意図している。すなわち、カメラ2の撮影周期が十分短ければ、連続する2枚の撮影画像にはほとんど変化がないため、通常、ステップ242の処理で差分領域は抽出されない。しかし、カメラ2のレンズに付着物が付着した瞬間、または付着物が除去された瞬間には、付着物が付着した位置に大きな変化が生じ、その領域が瞬時変化領域として抽出される。
続くステップ243では、CPUは、ステップ242において抽出された瞬時変化領域に含まれ、かつステップ241において無変化領域として抽出されていた領域を付着物消去検出領域として出力する。
上述した第3の実施の形態によれば、第1の実施の形態の(1)~(5)の作用効果、および第2の実施の形態の(1)、(2)、(4)の作用効果に加えて次の作用効果が得られる。
(1)車載装置4は、撮影画像から、長時間変化のない無変化領域と、カメラ2が連続して撮影することにより得られた2枚の撮影画像において輝度差が予め定めた値より大きい瞬時変化領域とを検出し、瞬時変化領域のうち無変化領域に含まれる領域を、レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬間変化検出部、すなわち付着物消去検出部23を備える。
そのため、動作が簡便な付着物消去検出部23の出力を用いて、付着物領域情報を書き換えることができる。
以上で説明した第3の実施の形態は、以下のように変形して実行できる。
(第3の実施の形態の変形例1)
第3の実施の形態では、付着物消去検出部23は付着物が除去された領域を検出した。換言すると、最新の撮影画像において付着物が検出されない領域であって、さらに従前の撮影画像においては付着物が検出されていた領域を検出した。しかし、従前の付着物の有無を考慮せず、付着物が検出されない領域(以下、非付着物領域)を検出してもよい。付着物消去検出部23による非付着物領域の検出は、たとえば、カメラ2から出力される撮影画像が車両の走行に応じて変化することを利用して検出することができる。
第3の実施の形態では、付着物消去検出部23は付着物が除去された領域を検出した。換言すると、最新の撮影画像において付着物が検出されない領域であって、さらに従前の撮影画像においては付着物が検出されていた領域を検出した。しかし、従前の付着物の有無を考慮せず、付着物が検出されない領域(以下、非付着物領域)を検出してもよい。付着物消去検出部23による非付着物領域の検出は、たとえば、カメラ2から出力される撮影画像が車両の走行に応じて変化することを利用して検出することができる。
図14は、本変形例における付着物消去検出部23の動作を表すフローチャートである。以下に説明するフローチャートの各ステップの実行主体は、演算処理部41のCPUである。ステップ251では、CPUはカメラ2が出力した撮影画像を一定時間蓄積する。続くステップ252では、CPUはステップ251で蓄積した連続する複数枚の撮影画像のそれぞれを複数の領域に分割し、その領域ごとに輝度の分散値、すなわち時間的な輝度のばらつきの大きさを出力する。複数の領域とはたとえば、撮影画像を縦方向および横方向にそれぞれ10等分した合計100個の領域である。続くステップ253では、CPUはステップ252の出力を参照し、輝度の分散値があらかじめ定めた閾値Th6以上となる領域を非付着物領域として出力する。付着物のない領域であれば車両1の走行に応じて撮影画像におけるその領域の輝度が変化するからである。
上述した変形例によれば、次の作用効果が得られる。
(1)車載装置4は、撮影画像から付着物のない領域を検出し、検出した領域に基づき汚れ除去情報を生成する非付着物検出部、すなわち付着物消去検出部23を備える。
車載装置4は従前に付着物が存在していたか否かを判断しないため、より簡便に汚れ除去情報を生成することができる。
(第3の実施の形態の変形例2)
車載装置4は、第2の実施の形態における画像認識部20と画像認識領域記憶部21とを付着物消去検出部23として備えてもよい。この場合は、画像認識部20が撮影画像から検出した物体の領域、すなわち画像認識領域を非付着物領域として付着物消去管理部12に出力する。画像認識領域を非付着物領域として出力する理由は、以下のとおりである。すなわち、画像認識領域は画像認識部20によって物体が検出された領域なので、画像認識領域には付着物がないと推測できるからである。
車載装置4は、第2の実施の形態における画像認識部20と画像認識領域記憶部21とを付着物消去検出部23として備えてもよい。この場合は、画像認識部20が撮影画像から検出した物体の領域、すなわち画像認識領域を非付着物領域として付着物消去管理部12に出力する。画像認識領域を非付着物領域として出力する理由は、以下のとおりである。すなわち、画像認識領域は画像認識部20によって物体が検出された領域なので、画像認識領域には付着物がないと推測できるからである。
(第4の実施の形態)
図15~図16を参照して、本発明に係る車載装置の第4の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、レンズが清掃された領域を付着物が消去された領域として扱う点で、第2の実施の形態と異なる。
図15~図16を参照して、本発明に係る車載装置の第4の実施の形態を説明する。以下の説明では、第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第2の実施の形態と同じである。本実施の形態では、主に、レンズが清掃された領域を付着物が消去された領域として扱う点で、第2の実施の形態と異なる。
第4の実施の形態における車載装置4のハードウエア構成は第2の実施の形態と同様である。演算処理部41のROMに格納されるプログラムが第2の実施の形態と異なる。車両1のハードウエア構成は、第2の実施の形態における構成に加えて、カメラ2の撮影画像を利用するプログラム(以下、画像利用プログラム)、たとえば撮影画像から白線を検出し車両1を制御するプログラムを実行する不図示の装置を備える。
(制御ブロック)
図15は、本発明の第4の実施の形態による車載装置4の制御ブロック図である。演算処理部41はROMに格納されたプログラムをCPUが実行することにより、レンズ清掃制御部26と付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物消去管理部12として機能する。車両1は、カメラ2のレンズを清掃するレンズ清掃部27を備える。レンズ清掃部27は、レンズの付着物をこすり落とす(払拭する)ワイパー271と、レンズに洗浄液を吹きかけてレンズの付着物を洗い流すウォッシャー272とを備える。レンズ清掃部27は、後述するレンズ清掃制御部26の清掃動作指令に基づき動作する。
図15は、本発明の第4の実施の形態による車載装置4の制御ブロック図である。演算処理部41はROMに格納されたプログラムをCPUが実行することにより、レンズ清掃制御部26と付着物検出部6と付着物領域記憶部7と付着物消去監視部8と付着物領域統合部9と制御信号出力部10と付着物消去管理部12として機能する。車両1は、カメラ2のレンズを清掃するレンズ清掃部27を備える。レンズ清掃部27は、レンズの付着物をこすり落とす(払拭する)ワイパー271と、レンズに洗浄液を吹きかけてレンズの付着物を洗い流すウォッシャー272とを備える。レンズ清掃部27は、後述するレンズ清掃制御部26の清掃動作指令に基づき動作する。
図15に示す制御ブロック図の第2の実施の形態における制御ブロック図との相違点は、以下の5つである。すなわち、車両1がレンズ清掃部27を備える点、画像認識部20および画像認識領域記憶部21が削除されている点、車載装置4がレンズ清掃制御部26を備える点、レンズ清掃制御部26の出力が付着物消去管理部12に入力されている点、および制御信号出力部10の出力がレンズ清掃制御部26に入力されている点である。なお図15では車両監視部3と付着物検出制御部11とを接続する線が省略されているが、第2の実施の形態と同様に車両監視部3の出力が付着物検出制御部11に入力される。また付着物検出制御部11が状態切替テーブル17を備える点も第2の実施の形態と同様である。以下、これらの相違点について説明する。
制御信号出力部10は、付着物領域統合部9から入力された統合付着物領域に基づき、カメラ2の撮影画像が前述の画像利用プログラムに適合するか否かを判断する。制御信号出力部10は、撮影画像が画像利用プログラムに適合しないと判断すると、レンズ清掃制御部26に制御動作指令を出力する。
制御信号出力部10による撮影画像が画像利用プログラムに適合するか否かの判断は、たとえば、統合付着物領域が撮影画像に占める面積の割合や、統合付着物領域の撮影画像中の位置に基づいてなされる。制御信号出力部10がレンズ清掃制御部26に出力する制御動作指令は、常にワイパー271とウォッシャー272の両方を動作させる制御動作指令でもよいし、統合付着物領域に基づきワイパー271やウォッシャー272の一方のみを動作させる制御動作指令でもよい。
また制御信号出力部10は、カメラ2のレンズの付着物の種類に応じて作動させるレンズ清掃部27の機能を切り替えてもよい。たとえば制御信号出力部10は、水滴が付着していると判断する場合にはワイパー271を動作させる制御動作指令を出力する。また制御信号出力部10は、泥が付着していると判断する場合にはワイパー271に加えて泥を浮かすためにウォッシャー272を作動させる制御動作指令を出力する。
レンズ清掃制御部26は、制御信号出力部10から制御動作指令を受信すると、レンズ清掃部27に清掃動作指令を出力するとともに、付着物消去管理部12に清掃領域情報を出力する。清掃領域情報とは、レンズ清掃部27がカメラ2のレンズを清掃することにより付着物が除去される撮影画像上の領域(以下、清掃領域)を示す情報である。たとえばワイパー271が動作する場合はワイパー271が付着物をこすり落とす領域が清掃領域となり、ウォッシャー272が動作する場合は撮影画像の全域が清掃領域となる。
図16は、ワイパー271が動作する場合の清掃領域の一例を示す図である。清掃領域28は、撮影画像を格子状に区切った検出面133において、ワイパー271が動作する領域である。図15に戻りレンズ清掃制御部26の説明を続ける。
清掃領域情報は、レンズ清掃制御部26にあらかじめ記憶されている。レンズ清掃制御部26が出力する清掃動作指令および清掃領域情報は、受信する制御動作指令に対応するものである。たとえば、ワイパー271のみを動作させる制御動作指令を受信すると、ワイパー271のみを動作させる清掃動作指令およびワイパー271のみが作動した場合の清掃領域情報を出力する。
付着物消去管理部12は、車両監視部3から入力される車両1の動作状況と消去関係テーブル22を参照し、付着物消去監視部8から入力される付着物消去領域情報とレンズ清掃制御部26から入力される清掃領域情報に基づき付着物領域記憶部7の水滴領域および泥領域を書き換える。すなわち、本実施の形態では付着物消去領域情報と清掃領域情報とが汚れ除去情報である。
付着物消去管理部12が参照する消去関係テーブル22には、レンズ清掃制御部26が制御するレンズ清掃部27の機能ごとに消去領域反映対象224が記載される。たとえば、ワイパー271は、水滴を払い落とすことができるがレンズが濡れていなければ泥を取り除くことは難しいため、消去関係テーブル22におけるワイパー271の消去領域反映対象224は原則として水滴検出のみである。また、ウォッシャー272は、水滴と泥を洗い流すことができるため、ウォッシャー272の消去領域反映対象224は水滴検出および泥検出である。
またレンズ清掃制御部26は、カメラ2のレンズの付着物の種類に応じて、作動させるレンズ清掃部27の機能を切り替えることが好ましい。たとえば、水滴が付着している場合にはワイパー271を作動させ、泥が付着している場合にはウォッシャー272およびワイパー271を作動させる。この場合、制御信号出力部10が、付着物領域統合部9から入力される統合付着物領域に基づいて、カメラ2のレンズの付着物の程度と種類をレンズ清掃制御部26に入力する。
上述した第4の実施の形態によれば、第1の実施の形態の(1)~(5)の作用効果、および第2の実施の形態の(1)、(2)、(4)の作用効果に加えて次の作用効果が得られる。
(1)車載装置4は、レンズ清掃部27の清掃動作に基づき、清掃動作の対象範囲が汚れが除去された領域として汚れ除去情報を生成するレンズ清掃制御部26を備える。
そのため、車載装置4はレンズ清掃部27へ動作指令を出力するとともに、動作指令により動作するワイパー271または/およびウォッシャー272により清掃される領域を汚れが除去された領域とする汚れ除去情報を生成できる。
以上で説明した第4の実施の形態は、以下のように変形して実行できる。
(第4の実施の形態の変形例1)
レンズ清掃制御部26は、付着物が実際に除去されていることを確認できないため、レンズ清掃部27が稼働しても付着物清掃領域に付着物が残留している可能性がある。そのため、レンズ清掃制御部26は、付着物清掃領域を付着物消去管理部12に入力しなくてもよい。その代わりにレンズ清掃制御部26は、レンズ清掃部27を作動させる前後で付着物消去監視部8の実行間隔を短くする、すなわち処理を高速化させることで、レンズ清掃部27の動作による付着物の除去が確実に検出されるようにする。もしくは、レンズ清掃制御部26は、レンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させることで、付着物消去監視部8の処理による演算処理部41の負荷を低減してもよい。ただしレンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させる場合は、レンズ清掃部27の動作に起因せず付着物が除去されたことを検出し逃してしまうため、カメラ2のレンズの付着物が自然に除去されない状況下で適用することが好ましい。
レンズ清掃制御部26は、付着物が実際に除去されていることを確認できないため、レンズ清掃部27が稼働しても付着物清掃領域に付着物が残留している可能性がある。そのため、レンズ清掃制御部26は、付着物清掃領域を付着物消去管理部12に入力しなくてもよい。その代わりにレンズ清掃制御部26は、レンズ清掃部27を作動させる前後で付着物消去監視部8の実行間隔を短くする、すなわち処理を高速化させることで、レンズ清掃部27の動作による付着物の除去が確実に検出されるようにする。もしくは、レンズ清掃制御部26は、レンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させることで、付着物消去監視部8の処理による演算処理部41の負荷を低減してもよい。ただしレンズ清掃部27を動作させた時のみ付着物消去監視部8を動作させる場合は、レンズ清掃部27の動作に起因せず付着物が除去されたことを検出し逃してしまうため、カメラ2のレンズの付着物が自然に除去されない状況下で適用することが好ましい。
(第4の実施の形態の変形例2)
第4の実施の形態の変形例1において、レンズ清掃制御部26は、動作させるレンズ清掃部27の機能に応じて付着物消去監視部8の各監視部のいずれかを動作させるか、またはいずれの動作を高速化させるか、が定められたテーブルを備えてもよい。このテーブルでは、ワイパー271の動作には水滴消去監視部81が対応し、ウォッシャー272の動作には水滴消去監視部81および泥消去監視部82が対応する。たとえば、ワイパー271を動作させる場合は水滴が除去されるため、水滴消去監視部81を動作させる、または水滴消去監視部81の動作を高速化させる。
第4の実施の形態の変形例1において、レンズ清掃制御部26は、動作させるレンズ清掃部27の機能に応じて付着物消去監視部8の各監視部のいずれかを動作させるか、またはいずれの動作を高速化させるか、が定められたテーブルを備えてもよい。このテーブルでは、ワイパー271の動作には水滴消去監視部81が対応し、ウォッシャー272の動作には水滴消去監視部81および泥消去監視部82が対応する。たとえば、ワイパー271を動作させる場合は水滴が除去されるため、水滴消去監視部81を動作させる、または水滴消去監視部81の動作を高速化させる。
(第4の実施の形態の変形例3)
車両1は不図示の手動スイッチをさらに備え、乗員による手動スイッチの操作に基づき制御動作指令がレンズ清掃制御部26に出力されてもよい。
車両1は不図示の手動スイッチをさらに備え、乗員による手動スイッチの操作に基づき制御動作指令がレンズ清掃制御部26に出力されてもよい。
以上で説明した第1~第4の実施の形態は、以下のように変形して実行できる。
(変形例1)
付着物検出部6は、水滴検出部61と泥検出部62とから構成されたが、他の種類の汚れを検出する検出部、たとえば白濁検出部をさらに備えてもよい。また、第1の実施の形態では少なくともいずれか2つの汚れ検出部、たとえば水滴検出部61と白濁検出部を備えればよく、第2~第4の実施の形態では少なくとも1つの汚れ検出部を備えればよい。
付着物検出部6は、水滴検出部61と泥検出部62とから構成されたが、他の種類の汚れを検出する検出部、たとえば白濁検出部をさらに備えてもよい。また、第1の実施の形態では少なくともいずれか2つの汚れ検出部、たとえば水滴検出部61と白濁検出部を備えればよく、第2~第4の実施の形態では少なくとも1つの汚れ検出部を備えればよい。
白濁検出部は、たとえば以下のように汚れの1つである白濁を検出する。
図17を用いて白濁検出部の動作について説明する。図17に示されるように、白濁検出部は、撮影画像中に地平線が写り込む予定の位置に左上検知領域941と上検知領域942と右上検知領域943とを設定する。上検知領域942は、路面に互いに平行に設けられた2本のレーンマークの消失点が含まれるような位置に設定される。図17では、2本のレーンマーク946の消失点947が上検知領域942の内側に含まれている。左上検知領域941は上検知領域942よりも左側に設定され、右上検知領域943は上検知領域942よりも右側に設定される。また、白濁検出部は、撮影画像中にレーンマークが写る予定の位置に左下検知領域944と右下検知領域945とを設定する。
白濁検出部は、左上検知領域941と上検知領域942と右上検知領域943と左下検知領域944と右下検知領域945のそれぞれの領域内の画素に対して、水平方向のエッジ検出処理を行う。左上検知領域941と上検知領域942と右上検知領域943に対するエッジ検出では、地平線などのエッジが検出される。また、左下検知領域944と右下検知領域945とに対するエッジ検出では、レーンマーク946などのエッジが検出される。白濁検出部は、各検知領域941~945に含まれる各画素についてそれぞれエッジ強度を算出する。そして、白濁検出部は、各検知領域941~945ごとにエッジ強度の平均値AE2を算出して、その平均値AE2が所定の閾値ε未満か否かを判定する。白濁検出部は、エッジ強度の平均値AE2が閾値ε未満の検知領域は白濁していると判断する。
さらに白濁検出部は、以下のように白濁の確からしさ、すなわち確度を算出できる。
白濁検出部は、各検知領域941~945の中でエッジ強度の平均値AE2が閾値ε未満の検知領域の個数、すなわち白濁していると検知された検知領域の個数N2を算出する。その後、白濁検出部は、各検知領域941~945が白濁していると継続的に判断された時間t2を算出する。そして、白濁検出部は、各検知領域941~945の時間t2の総和を検知領域の個数、すなわち、5個で除して平均継続時間t3を算出する。白濁検出部は、この平均継続時間t3を、白濁検出部の検知結果の確度R2に変換する。たとえば、白濁検出部は、ある所定期間TTHR3をあらかじめ設定して、R2=t3/TTHR3を算出する。確度R2は、白濁の平均継続時間t3が長ければ長いほど、確度が高く白濁していることを表す。また、t3自体が5個の検知領域941~945の平均白濁継続時間であるため、5個の検知領域941~945の全ての継続時間が長くなるほど、白濁の確度も上がる。確度R2は、0から1の数値で表現し、TTHR3<t3の場合には、全て1として表現し、確度が高く白濁している様子を示す数値とする。
(変形例2)
水滴検出部61は、以下のように水滴を検出してもよい。
水滴検出部61は、以下のように水滴を検出してもよい。
図18(a)および(b)を用いて水滴検出部61の動作について説明する。図18(a)に示されるように、水滴検出部61は、撮影画像930の画像領域を複数のブロックB(x,y)に分割する。各ブロックB(x,y)には、撮影画像の複数の画素が含まれている。
水滴検出部61は、各ブロックB(x,y)ごとに水滴の付着時間を表すスコアS1(x,y)を算出する。スコアS1(x,y)は、初期値がゼロであって、以下に説明する判定によりそのブロックB(x,y)内に水滴が付着していると判定されるたびに所定値増加される。
水滴検出部61による各画素ごとのスコア計算は以下のとおりである。図18(b)は、任意の画素931を着目点とした図である。水滴検出部61は、その着目点931から上方向、右上方向、右下方向、左上方向、左下方向にそれぞれ所定距離、たとえば3画素離れた画素を内部参照点932に設定して、それらの5方向にさらに所定距離、たとえば3画素離れた画素を外部参照点933に設定する。次に、水滴検出部61は、各内部参照点932と各外部参照点933のそれぞれについて、輝度を算出する。
水滴の中心部は、縁部よりもレンズ効果で明るい可能性が高い。そこで、水滴検出部61は、5方向の各々について、内部参照点932の輝度が外部参照点933の輝度よりも高いか否かを判定する。換言すると、水滴検出部61は、着目点931が水滴の中心部であるか否かを判定する。水滴検出部61は、各方向の内部参照点932の輝度が同方向の外部参照点933の輝度よりも高い場合、その着目点931が属するB(x,y)のスコアS1(x,y)を所定値、たとえば、1だけ増加させる。
水滴検出部61は、スコアS1(x,y)が所定値以上のブロックを水滴が検出された領域と判断する。水滴検出部61はさらに、以下のように水滴検出の確度を算出することができる。
水滴検出部61は、撮影画像中の全画素について上述の判定を行った後、各ブロックB(x,y)のスコアS1(x,y)を初期化してからの経過時間t1を算出する。そして、水滴検出部61は、各ブロックB(x,y)のスコアS1(x,y)をその経過時間t1で除して、スコアS1(x,y)の時間平均S1(x,y)/t1を算出する。水滴検出部61は、全ブロックB(x,y)の時間平均S1(x,y)/t1の総和を算出して、それを撮影画像930中の全ブロック数で除してスコア平均AS1を算出する。
レンズに水滴が継続的に付着していると、フレームごとにスコア平均AS1が増加する。換言すると、スコア平均AS1が大きい場合、レンズに水滴が長時間付着している確率が高い。水滴検出部61は、このスコア平均AS1を利用して、水滴検出部61の検知結果の確度R1を生成する。水滴の場合には、雨が付着し易いような走行状況においてもレンズ上の水が流れ落ちる等の影響によりスコアS1(x,y)の上下変動が見受けられる。このため、現在のレンズ上の水滴の付着量はスコア平均AS1を利用する。確度R1については、雨滴の場合には、泥や白濁の場合と違い、どうしてもレンズ状態の変化が激しく、雨天であったとしても一時的にスコアS1(x,y)が低下することがある。そこで、スコア平均AS1がある一定値TAS1を超えていた時間のカウントCS1を利用する。水滴検出部61は、ある所定期間スコア平均AS1が一定値TAS1を下回ったとしても時間のカウントCS1を保留し、所定期間以上に下回った際には、スコアS1(x,y)を減算させる。水滴検出部61は、閾値AS1THRを決定し、確度R1=CS1/AS1THRを算出する。水滴検出部61は、時間のカウントCS1がAS1THRを超えた場合には確度R1を1で表現する。確度R1が1に近いほど、検知された水滴の付着が信頼できる。
(変形例3)
泥検出部62は、以下のように泥を検出してもよい。
泥検出部62は、以下のように泥を検出してもよい。
泥検出部62は、前述の図18(a)に示されるように、撮影画像930の画像領域を複数のブロックB(x,y)に分割する。泥検出部62は、以下のように各ブロックB(x,y)ごとに初期値がゼロであるスコアS4(x,y)の値を算出する。
次に、泥検出部62は、撮影画像930の各画素の輝度を検出する。そして、泥検出部62は、各ブロックB(x,y)ごとにそのブロックB(x,y)に含まれる各画素の輝度の総和It(x,y)を算出する。泥検出部62は、現フレームの撮影画像について算出したIt(x,y)と前フレームの撮影画像について同様に算出したIt-1(x,y)との差ΔI(x,y)を各ブロックB(x,y)ごとに算出する。
泥検出部62は、このΔI(x,y)が小さく、更にIt(x,y)が周囲のブロックと比較して小さなブロックB(x,y)を検出して、そのブロックB(x,y)に対応するスコアS4(x,y)を所定値、たとえば、1増加させる。
泥検出部62は、スコアS4(x,y)が所定値以上のブロックを泥が検出された領域と判断する。泥検出部62はさらに、以下のように泥検出の確度を算出することができる。
泥検出部62は、撮影画像中の全画素について上述の判定を行った後、各ブロックB(x,y)のスコアS4(x,y)のある所定期間t5の間におけるスコア積算値を取得する。そして、泥検出部62は、各ブロックB(x,y)のスコアS4(x,y)を、その所定期間t5で除して、スコアS4(x,y)の時間平均S4(x,y)/t5を算出する。泥検出部62は、全ブロックB(x,y)の時間平均S4(x,y)/t5の総和を算出して、それを撮影画像930中の全ブロック数で除してスコア平均ARS4を算出する。スコア平均ARS4は、ある所定期間中にレンズに付着した泥の量に近い意味合いを持つ。そのため、泥検出部62は、ΔI(x,y)の所定期間t5における平均値と、周囲の光源環境から予測した画面上での輝度変化量の予測値とを求め、AS4=ΔI(x,y)の所定期間t5における平均値/輝度変化量の予測値を求め、これを透過率とする。
レンズに泥が継続的に付着していると、順次に撮像されたフレームごとにスコア平均ARS4が増加する。換言すると、スコア平均ARS4が大きい場合、レンズに多くの泥が付着している確率が高い。また、確度としては、スコアAS4が、閾値TAS4より大きくなった時間を利用する。泥検出部62は、閾値AS4THRを決定し、確度R4=TAS4/AS4THRを算出する。泥検出部62は、TAS4がAS4THRを超えた場合には確度R4を1で表現する。確度R4が1に近いほど、検知された泥の付着が信頼できる。
(変形例4)
車両1は、車両の走行を制御する車両制御部をさらに備えてもよい。たとえば、車両操作部は、車両のアクセルやブレーキ、ハンドルの角度を制御する機能などを有する。そして制御信号出力部10は、付着物領域統合部9から入力された統合付着物領域に基づいて制御信号を生成し、車両操作部に入力する。たとえば、統合付着物領域が撮影画像における所定の割合に相当する面積よりも大きい場合には、カメラ2の撮影画像を用いた周囲環境の認識性能が低いと判断し、車速が一定以下になるように、もしくは停車するようにアクセルやブレーキを制御する。
車両1は、車両の走行を制御する車両制御部をさらに備えてもよい。たとえば、車両操作部は、車両のアクセルやブレーキ、ハンドルの角度を制御する機能などを有する。そして制御信号出力部10は、付着物領域統合部9から入力された統合付着物領域に基づいて制御信号を生成し、車両操作部に入力する。たとえば、統合付着物領域が撮影画像における所定の割合に相当する面積よりも大きい場合には、カメラ2の撮影画像を用いた周囲環境の認識性能が低いと判断し、車速が一定以下になるように、もしくは停車するようにアクセルやブレーキを制御する。
(変形例5)
車載装置4は、カメラ2の撮影画像を用いてレーンマークや歩行者などの物体を検出する画像処理を行う物体認識部を備え、制御信号出力部10が以下に示す付加的な処理を行ってもよい。
車載装置4は、カメラ2の撮影画像を用いてレーンマークや歩行者などの物体を検出する画像処理を行う物体認識部を備え、制御信号出力部10が以下に示す付加的な処理を行ってもよい。
撮影画像においてカメラ2のレンズの付着物が映る付着物領域は被写体を隠すため、付着物領域では物体検出が正しく行えない。そこで、制御信号出力部10が付着物領域統合部9から入力された統合付着物領域をマスク画像として生成し、物体認識部に入力する。物体認識部は入力されたマスク画像が示す統合付着物領域をカメラ2の撮影画像から除外し、レーンマークや歩行者などの物体を検出するための画像処理を行う。
もしくは制御信号出力部10は、付着物領域統合部9から入力された統合付着物領域に基づき、カメラ2の撮影画像が物体認識部の画像処理に対して十分な品質に満たないと判断した場合に、物体認識部にフェール信号を出力する。たとえば、制御信号出力部10は、統合付着物領域の大きさが閾値を超えた場合にフェール信号を出力する。物体認識部はフェール信号を受けている間、画像処理を停止する。また、制御信号出力部10は物体認識部の画像処理が停止していることを報知部5に伝達してもよい。
(変形例6)
付着物消去管理部12は、付着物領域記憶部7に記憶された付着物領域情報から、汚れ除去情報が示す領域を消去する際に、次の条件を満たす場合に付着物領域をすべて削除するように付着物領域情報を書き換えてもよい。すなわち、汚れ除去情報が示す領域が付着物領域の所定の割合以上の面積の場合、たとえば汚れ除去情報が示す領域が付着物領域の80%以上の場合である。
付着物消去管理部12は、付着物領域記憶部7に記憶された付着物領域情報から、汚れ除去情報が示す領域を消去する際に、次の条件を満たす場合に付着物領域をすべて削除するように付着物領域情報を書き換えてもよい。すなわち、汚れ除去情報が示す領域が付着物領域の所定の割合以上の面積の場合、たとえば汚れ除去情報が示す領域が付着物領域の80%以上の場合である。
本変形例によれば次の作用効果が得られる。
(1)書換え部、すなわち付着物消去管理部12は、汚れ除去情報と汚れ領域情報との関係が所定の条件を満たすと、レンズの汚れがすべて除去されたとして付着物領域をすべて削除するように付着物領域情報を書き換える。そのため、付着物領域が疎らに点在する状況を防止することができる。
(変形例7)
上述したいずれの実施の形態でも、カメラ2のレンズへの付着物を対象としたが、カメラ2が車室内に設置される場合には、カメラ2の前方のウィンドウの付着物を対象としてもよい。この場合、レンズ清掃部27は前方のウィンドウの付着物を除去する装置とする。
上述したいずれの実施の形態でも、カメラ2のレンズへの付着物を対象としたが、カメラ2が車室内に設置される場合には、カメラ2の前方のウィンドウの付着物を対象としてもよい。この場合、レンズ清掃部27は前方のウィンドウの付着物を除去する装置とする。
(変形例8)
第2~第4の実施の形態では付着物検出制御部11を備えなくてもよい。その場合は、水滴検出部61および泥検出部62は常時稼働する。本変形例8によれば、水滴検出部61および泥検出部62が稼働中であっても水滴領域情報や泥領域情報を付着物消去管理部12が書き換えて、統合付着物領域を迅速に更新できる利点を有する。
第2~第4の実施の形態では付着物検出制御部11を備えなくてもよい。その場合は、水滴検出部61および泥検出部62は常時稼働する。本変形例8によれば、水滴検出部61および泥検出部62が稼働中であっても水滴領域情報や泥領域情報を付着物消去管理部12が書き換えて、統合付着物領域を迅速に更新できる利点を有する。
(変形例9)
車載装置4は、水滴検出部61または泥検出部62が付着物を検出しなかった領域の情報を付着物消去領域情報として付着物消去管理部12に出力してもよい。具体的には、水滴検出部61が付着物を検出しなかった領域、および泥検出部62が付着物を検出しなかった領域、すなわち付着物領域記憶部7の各記憶部に記憶されない領域を付着物消去領域として付着物消去管理部12に入力する。
車載装置4は、水滴検出部61または泥検出部62が付着物を検出しなかった領域の情報を付着物消去領域情報として付着物消去管理部12に出力してもよい。具体的には、水滴検出部61が付着物を検出しなかった領域、および泥検出部62が付着物を検出しなかった領域、すなわち付着物領域記憶部7の各記憶部に記憶されない領域を付着物消去領域として付着物消去管理部12に入力する。
(変形例10)
車両監視部3の車速監視部32は、不図示のGPS受信機から得られる位置情報、および不図示の地図情報から車両1が駐車場に居ると判断する場合は、車速をおおよそゼロとして出力してもよい。この場合は車両1が駐車場に侵入すると、車速がおおよそゼロとして付着物検出制御部11に出力され、状態切り替えテーブル17の記述に従って泥検出部62の動作が停止される。
車両監視部3の車速監視部32は、不図示のGPS受信機から得られる位置情報、および不図示の地図情報から車両1が駐車場に居ると判断する場合は、車速をおおよそゼロとして出力してもよい。この場合は車両1が駐車場に侵入すると、車速がおおよそゼロとして付着物検出制御部11に出力され、状態切り替えテーブル17の記述に従って泥検出部62の動作が停止される。
以上説明した本発明の実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。たとえば、第2の実施の形態に含まれる画像認識部20や画像認識領域記憶部21の機能を、第1の実施の形態にある車載装置4に組み込むことができる。
プログラムは不図示のROMに格納されるとしたが、車載装置4が不図示の入出力インタフェースを備え、入出力インタフェースと車載装置4が利用可能な媒体を介して、他の装置からプログラムが読み込まれてもよい。ここで媒体とは、たとえば入出力インタフェースに着脱可能な記憶媒体、または通信媒体、すなわち有線、無線、光などのネットワーク、または当該ネットワークを伝搬する搬送波やディジタル信号、を指す。また、プログラムにより実現される機能の一部または全部がハードウエア回路やFPGAにより実現されてもよい。
1 … 車両
2 … カメラ
4 … 車載装置
6 … 付着物検出部
61 … 水滴検出部
62 … 泥検出部
7 … 付着物領域記憶部
71 … 水滴領域記憶部
72 … 泥領域記憶部
8 … 付着物消去監視部
81 … 水滴消去監視部
82 … 泥消去監視部
11 … 付着物検出制御部
12 … 付着物消去管理部
17 … 状態切替テーブル
20 … 画像認識部
201 … 歩行者検出部
202 … 車両検出部
22 … 消去関係テーブル
23 … 付着物消去検出部
26 … レンズ清掃制御部
41 … 演算処理部
42 … 画像取得部
2 … カメラ
4 … 車載装置
6 … 付着物検出部
61 … 水滴検出部
62 … 泥検出部
7 … 付着物領域記憶部
71 … 水滴領域記憶部
72 … 泥領域記憶部
8 … 付着物消去監視部
81 … 水滴消去監視部
82 … 泥消去監視部
11 … 付着物検出制御部
12 … 付着物消去管理部
17 … 状態切替テーブル
20 … 画像認識部
201 … 歩行者検出部
202 … 車両検出部
22 … 消去関係テーブル
23 … 付着物消去検出部
26 … レンズ清掃制御部
41 … 演算処理部
42 … 画像取得部
Claims (15)
- レンズを備えるカメラで撮影された画像を取得する画像取得部と、
記憶部と、
前記画像取得部が取得した画像に基づき前記レンズの汚れを検出して前記画像における汚れが存在する領域を示す汚れ領域情報を前記記憶部に格納する汚れ検出部と、
前記レンズの汚れが除去された領域を示す汚れ除去情報を生成する汚れ除去情報生成部と、
前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える書換え部と、を備える車載装置。 - 請求項1に記載の車載装置において、
前記汚れ検出部、および前記汚れ除去情報生成部は、それぞれ異なるアルゴリズムを用いる車載装置。 - 請求項1に記載の車載装置において、
前記汚れ除去情報生成部は、前記汚れ検出部により検出可能な汚れとは異なる種類の汚れを検出する異種汚れ検出部の検出結果に基づき前記汚れ除去情報を生成する車載装置。 - 請求項3に記載の車載装置において、
前記汚れ検出部は泥を検出し、前記異種汚れ検出部は水滴を検出する車載装置。 - 請求項1に記載の車載装置において、
前記汚れ検出部は、検出する汚れの種類が異なる第1汚れ検出部と第2汚れ検出部とを含み、
前記第1汚れ検出部は検出した汚れを第1汚れ領域情報として前記記憶部に格納し、
前記第2汚れ検出部は検出した汚れを第2汚れ領域情報として前記記憶部に格納し、
前記第1汚れ領域情報に基づき第1汚れ除去情報を生成する第1監視部と、
前記第2汚れ領域情報に基づき第2汚れ除去情報を生成する第2監視部と、
前記第1汚れ領域情報が書き換られる条件および前記第2汚れ領域情報が書き換られる条件が記載された消去関係テーブルが格納されるテーブル記憶部と、をさらに備え、
前記書換え部は、前記消去関係テーブルに記載された条件および前記第1汚れ除去情報に基づき前記第2汚れ領域情報を書き換え、前記消去関係テーブルに記載された条件および前記第2汚れ除去情報に基づき前記第1汚れ領域情報を書き換える車載装置。 - 請求項5に記載の車載装置において、
前記消去関係テーブルに記載される、前記第1汚れ領域情報が書き換られる条件および前記第2汚れ領域情報が書き換られる条件は、少なくとも前記カメラを搭載する車両の速度が含まれる車載装置。 - 請求項1に記載の車載装置において、
前記レンズの清掃動作に基づき、前記清掃動作の対象範囲が汚れが除去された領域として前記汚れ除去情報を生成するレンズ清掃制御部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から付着物のない領域を検出し、前記検出した領域に基づき前記汚れ除去情報を生成する非付着物検出部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から物体を認識し物体が認識された領域を前記レンズの汚れが除去された領域とする汚れ除去情報を生成する物体認識部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記画像から、長時間変化のない無変化領域と、連続して得られた前記画像において輝度差が予め定められた値よりも大きい瞬時変化領域とを検出し、前記瞬時変化領域のうち前記無変化領域に含まれる領域を、前記レンズの汚れが除去された領域とする汚れ除去情報を生成する瞬時変化検出部をさらに備える車載装置。 - 請求項1に記載の車載装置において、
前記書換え部は、前記汚れ検出部が動作していない場合に前記汚れ除去情報に基づいて前記汚れ領域情報を書き換える車載装置。 - 請求項11に記載の車載装置において、
前記カメラを搭載する車両の動作状態と前記汚れ検出部の動作の有無との対応を示す状態切替テーブルと、
前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部を動作または停止させる動作切り替え部とをさらに備え、
前記書換え部は、前記車両の動作状態および前記状態切替テーブルに基づき前記汚れ検出部の動作の有無を判断する車載装置。 - 請求項1に記載の車載装置において、
前記書換え部が動作する条件を示す消去関係テーブルが格納されるテーブル記憶部をさらに備え、
前記消去関係テーブルには、前記カメラを搭載する車両の動作状況が少なくとも含まれ、
前記書換え部は、前記車両の動作状況、および前記消去関係テーブルに基づき動作する車載装置。 - 請求項1に記載の車載装置において、
前記書換え部は、前記汚れ除去情報と前記汚れ領域情報との関係が所定の条件を満たすと、前記レンズの汚れがすべて除去されたとして前記汚れ領域情報を書き換える車載装置。 - 請求項1に記載の車載装置において、
前記汚れ除去情報には汚れが除去された確からしさを示す確度情報が領域ごとに付加されており、
前記書換え部は、前記確度情報に基づき前記汚れ領域情報を書き換える車載装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201780047106.9A CN109565536B (zh) | 2016-08-09 | 2017-05-10 | 车载装置 |
US16/324,316 US10972639B2 (en) | 2016-08-09 | 2017-05-10 | In-vehicle device |
EP17839000.1A EP3499862B1 (en) | 2016-08-09 | 2017-05-10 | Vehicle-mounted device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-156627 | 2016-08-09 | ||
JP2016156627A JP6576887B2 (ja) | 2016-08-09 | 2016-08-09 | 車載装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018029925A1 true WO2018029925A1 (ja) | 2018-02-15 |
Family
ID=61162066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/017746 WO2018029925A1 (ja) | 2016-08-09 | 2017-05-10 | 車載装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10972639B2 (ja) |
EP (1) | EP3499862B1 (ja) |
JP (1) | JP6576887B2 (ja) |
CN (1) | CN109565536B (ja) |
WO (1) | WO2018029925A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6832224B2 (ja) * | 2017-04-28 | 2021-02-24 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2019018661A (ja) * | 2017-07-13 | 2019-02-07 | 株式会社デンソーテン | 付着物除去装置および付着物除去方法 |
JP7055624B2 (ja) * | 2017-12-01 | 2022-04-18 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用撮像装置 |
US10752218B2 (en) * | 2018-02-22 | 2020-08-25 | Ford Global Technologies, Llc | Camera with cleaning system |
JP6973298B2 (ja) * | 2018-05-31 | 2021-11-24 | トヨタ自動車株式会社 | 物体監視装置 |
JP7200572B2 (ja) | 2018-09-27 | 2023-01-10 | 株式会社アイシン | 付着物検出装置 |
JP7271908B2 (ja) * | 2018-11-08 | 2023-05-12 | 株式会社アイシン | 周辺監視装置 |
JP7265693B2 (ja) * | 2018-12-28 | 2023-04-27 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP2020138569A (ja) * | 2019-02-26 | 2020-09-03 | アイシン精機株式会社 | 周辺監視装置 |
US10771665B1 (en) * | 2019-02-27 | 2020-09-08 | Ford Global Technologies, Llc | Determination of illuminator obstruction by known optical properties |
JP7251425B2 (ja) * | 2019-09-20 | 2023-04-04 | 株式会社デンソーテン | 付着物検出装置および付着物検出方法 |
JP2021050932A (ja) * | 2019-09-20 | 2021-04-01 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP7188336B2 (ja) * | 2019-09-20 | 2022-12-13 | 株式会社デンソーテン | 付着物検出装置、および付着物検出方法 |
JP7319597B2 (ja) * | 2020-09-23 | 2023-08-02 | トヨタ自動車株式会社 | 車両運転支援装置 |
US20230274554A1 (en) * | 2022-02-28 | 2023-08-31 | Continental Autonomous Mobility US, LLC | System and method for vehicle image correction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201637A (ja) * | 2006-01-24 | 2007-08-09 | Canon Inc | 撮像装置及びその制御方法とプログラム |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
WO2014007294A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012038048A (ja) | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | 車両用障害物検出装置 |
JP6120395B2 (ja) * | 2012-07-03 | 2017-04-26 | クラリオン株式会社 | 車載装置 |
US9922258B2 (en) * | 2012-11-27 | 2018-03-20 | Clarion Co., Ltd. | On-vehicle image processing apparatus |
CN105009561A (zh) * | 2013-02-18 | 2015-10-28 | 松下知识产权经营株式会社 | 摄像装置的异物信息检测装置以及异物信息检测方法 |
JP6231345B2 (ja) * | 2013-10-18 | 2017-11-15 | クラリオン株式会社 | 車両用発進支援装置 |
EP3149656B1 (en) * | 2014-05-27 | 2020-01-15 | Robert Bosch GmbH | Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems |
JP6374238B2 (ja) * | 2014-07-01 | 2018-08-15 | クラリオン株式会社 | 車載装置 |
-
2016
- 2016-08-09 JP JP2016156627A patent/JP6576887B2/ja not_active Expired - Fee Related
-
2017
- 2017-05-10 WO PCT/JP2017/017746 patent/WO2018029925A1/ja unknown
- 2017-05-10 US US16/324,316 patent/US10972639B2/en active Active
- 2017-05-10 CN CN201780047106.9A patent/CN109565536B/zh not_active Expired - Fee Related
- 2017-05-10 EP EP17839000.1A patent/EP3499862B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007201637A (ja) * | 2006-01-24 | 2007-08-09 | Canon Inc | 撮像装置及びその制御方法とプログラム |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
WO2014007294A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車載装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3499862A4 * |
Also Published As
Publication number | Publication date |
---|---|
CN109565536B (zh) | 2020-11-17 |
US20190174029A1 (en) | 2019-06-06 |
US10972639B2 (en) | 2021-04-06 |
JP2018026671A (ja) | 2018-02-15 |
EP3499862A1 (en) | 2019-06-19 |
EP3499862B1 (en) | 2021-07-28 |
CN109565536A (zh) | 2019-04-02 |
EP3499862A4 (en) | 2020-03-04 |
JP6576887B2 (ja) | 2019-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576887B2 (ja) | 車載装置 | |
JP6117634B2 (ja) | レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム | |
US9956941B2 (en) | On-board device controlling accumulation removing units | |
JP5925314B2 (ja) | 車両周囲監視装置 | |
CN110999273B (zh) | 附着物检测装置和具有其的车辆*** | |
JP6055224B2 (ja) | レンズ洗浄装置 | |
EP3070928B1 (en) | Surrounding environment recognition device | |
US9205810B2 (en) | Method of fog and raindrop detection on a windscreen and driving assistance device | |
US20140241589A1 (en) | Method and apparatus for the detection of visibility impairment of a pane | |
JP5902049B2 (ja) | レンズ白濁状態診断装置 | |
JP2014013454A (ja) | 車載用環境認識装置 | |
US9230189B2 (en) | Method of raindrop detection on a vehicle windscreen and driving assistance device | |
EP2945116A1 (en) | Method and apparatus for providing an augmented image of a vehicle's surrounding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17839000 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017839000 Country of ref document: EP Effective date: 20190311 |