CN109565536B - 车载装置 - Google Patents

车载装置 Download PDF

Info

Publication number
CN109565536B
CN109565536B CN201780047106.9A CN201780047106A CN109565536B CN 109565536 B CN109565536 B CN 109565536B CN 201780047106 A CN201780047106 A CN 201780047106A CN 109565536 B CN109565536 B CN 109565536B
Authority
CN
China
Prior art keywords
dirt
unit
area
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780047106.9A
Other languages
English (en)
Other versions
CN109565536A (zh
Inventor
万代浩平
福田大辅
金子修造
安藤宽哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN109565536A publication Critical patent/CN109565536A/zh
Application granted granted Critical
Publication of CN109565536B publication Critical patent/CN109565536B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Abstract

车载装置(4)包括：获取由包括透镜的摄像机(2)拍摄的图像的图像获取部(42)；存储部(7)；基于图像获取部(42)获取到的图像检测透镜的污垢，将表示图像的污垢存在的区域的污垢区域信息保存于存储部(7)的污垢检测部(6)；生成表示透镜的污垢已被除去的区域的污垢除去信息的污垢除去信息生成部(8)；和基于污垢除去信息更改污垢区域信息的更改部(12)。由此，能够基于污垢除去信息更改污垢区域信息。

Description

车载装置
技术领域
本发明涉及车载装置。
背景技术
已知有一种技术，在车辆上装载摄像机，对从该摄像机得到的图像进行图像识别处理等，并用于车辆的驾驶辅助。当水滴或泥等的异物附着于摄像机的透镜时，对图像识别处理造成不良影响。例如专利文献1中公开有检测附着到透镜的附着物的装置。
现有技术文献
专利文献
专利文献1：日本特开2012-38048号公报
发明内容
发明要解决的课题
在专利文献1记载的发明中，在不能进行污垢检测的情况下，不能检测出污垢已被除去的情况。
用于解决课题的方法
本发明的第1方式的车载装置包括：图像获取部，其获取由具有透镜的摄像机拍摄的图像；存储部；污垢检测部，其基于上述图像获取部获取到的图像检测上述透镜的污垢，并将表示上述图像中的存在污垢的区域的污垢区域信息保存于上述存储部；污垢除去信息生成部，其生成表示上述透镜的污垢已被除去的区域的污垢除去信息；和更改部，其基于上述污垢除去信息更改上述污垢区域信息。
发明效果
根据本发明，通过基于表示污垢已被除去的区域的污垢除去信息更改污垢区域信息，即使在不能进行污垢检测的情况下，也能够高精度地识别污垢的区域。
附图说明
图1是第1实施方式的车辆的硬件结构图。
图2是第1实施方式的车载装置的控制框图。
图3是表示附着物区域信息的一例的图。
图4是表示状态切换条件表的一例的图。
图5是表示泥区域的图。
图6是表示由附着物消除存储部更改的泥区域的图。
图7是表示水滴检测部的处理的流程图。
图8是表示泥检测部的处理的流程图。
图9是表示附着物消除管理部的处理的流程图。
图10是第2实施方式的车载装置的控制框图。
图11是表示消除关系表的一例的图。
图12是第3实施方式的车载装置的控制框图。
图13是表示附着物消除检测部的动作的流程图。
图14是表示第3实施方式的变形例1的附着物消除检测部的动作的流程图。
图15是第4实施方式的车载装置的控制框图。
图16是表示雨刷进行动作时的清扫区域的一例的图。
图17是说明白浊检测的图。
图18是说明水滴检测的图。
具体实施方式
(第1实施方式)
以下，参照图1～图8说明本发明的车载装置的第1实施方式。
(硬件结构)
图1是车辆1的硬件结构图。车辆1包括：摄像机2、车辆监视部3、车载装置4、和报知部5。
摄像机2向外设置于车辆1，将车辆1的周边的路面包含于拍摄范围中。摄像机2每隔规定的时间间隔进行拍摄，并将拍摄而得到的图像(以下称为拍摄图像)输出至车载装置4。摄像机2具有透镜，当透镜被泥或水滴污染时，与拍摄图像的污垢对应的区域受到影响。
车辆监视部3获取关于车辆1的行驶状态的信息。车辆监视部3包括转向角监视部31和车速监视部32。转向角监视部31例如为角度传感器，获取车辆1的转向角信息。车速监视部32例如为旋转编码器，获取车辆1的行驶速度即车速。车辆监视部3将获取到的转向角和车速等车辆信息输出至车载装置4。
车载装置4包括运算处理部41和图像获取部42。运算处理部41包括CPU、RAM、ROM，CPU通过将保存于ROM的程序部署到RAM执行，来进行后述的处理。图像获取部42从摄像机2获取拍摄图像并将其输出至运算处理部41。运算处理部41将所输入的拍摄图像存储于RAM，并对存储的拍摄图像进行规定的图像处理。例如，是从拍摄图像检测人物形状的行人检测、或检测车辆的车辆检测、检测映入于拍摄图像的透镜的附着物的附着物检测等的处理。这些图像处理的输出适宜存储于RAM。而且，运算处理部41基于这些图像处理的输出来控制报知部5。
报知部5向车辆的乘坐者进行报知。报知部5包括警报输出部51和状态显示部52。警报输出部51是使用声音和光的至少一者对车辆的乘坐者发出警报的装置，例如为警报灯或警报蜂鸣器。警报输出部51的动作由车载装置4的运算处理部41控制。例如，在运算处理部41通过附着物检测处理检测到摄像机2的透镜的附着物的情况下，能够发出警报蜂鸣，来对车辆的乘坐者进行警告以使得清扫摄像机2的透镜。状态显示部52为显示屏等画面显示装置，对车辆的乘坐者输出视觉性信息。状态显示部52的动作由车载装置4的运算处理部41控制。例如状态显示部52基于CPU的动作指令，将运算处理部41通过行人检测处理检测出的拍摄图像上的行人的位置合成到摄像机2的拍摄图像上进行显示。
(控制块)
图2是第1实施方式的运算处理部41的控制框图。运算处理部41通过CPU执行保存于ROM的程序，作为附着物检测部6、附着物区域存储部7、附着物消除监视部8、附着物区域整合部9、控制信号输出部10、附着物检测控制部11和附着物消除管理部12发挥作用。
附着物检测部6使用摄像机2输出的拍摄图像，检测附着到摄像机2的透镜上的附着物。附着物检测部6包括检测水滴的水滴检测部61和检测泥的泥检测部62。水滴检测部61和泥检测部62分别基于附着物检测控制部11的动作指令进行动作。换言之，水滴检测部61和泥检测部62分别基于附着物检测控制部11的动作指令切换运转状态和停止状态。
水滴检测部61检测附着于透镜的水滴，并将表示拍摄图像上附着有水滴的区域(以下称为水滴区域)的信息(以下称为水滴区域信息)输出至附着物区域存储部7。水滴检测部61的具体动作在后面叙述。
泥检测部62检测附着于透镜的泥，并将表示拍摄图像中附着有泥的区域(以下称为泥区域)的信息(以下称为泥区域信息)输出至附着物区域存储部7。以下将水滴区域和泥区域合称为“附着物区域”。另外，以下将水滴区域信息和泥区域信息合称为“附着物区域信息”。泥检测部62的具体动作在后面叙述。
附着物区域存储部7存储从附着物检测部6输入的附着物区域信息。附着物区域存储部7包括与水滴检测部61对应的水滴区域存储部71和与泥检测部62对应的泥区域存储部72。水滴区域存储部71存储从水滴检测部61输入的附着物的信息，即水滴区域信息。泥区域存储部72存储从泥检测部62输入的附着物信息，即泥区域信息。
在水滴检测部61和泥检测部62的动作分别停止的情况下，不对水滴区域存储部71和泥区域存储部72分别输入附着物区域信息，而持续保持最后存储的附着物信息。
图3是表示附着物区域存储部7中存储的附着物区域信息的一例的图。将拍摄图像划分成格子状的检测面131上，表示了检测到附着物的区域14。检测到附着物的区域14是由附着物区域信息确定的区域。
附着物消除监视部8检测附着物区域存储部7的各存储部存储的附着物区域信息，检测摄像机2的透镜的附着物已被除去的区域。附着物消除监视部8将表示检测到附着物的除去的区域的信息(以下称为附着物消除区域信息)输出至附着物消除管理部12。附着物消除监视部8包括与附着物区域存储部7的各存储部对应的监视部，即水滴消除监视部81和泥消除监视部82。水滴消除监视部81监视存储于水滴区域存储部71的水滴区域信息，检测水滴随着水滴区域信息的时间变化而消失的区域(以下称为水滴消失区域)。然后，水滴消除监视部81输出表示水滴消失区域的信息(以下称为水滴消失区域信息)。
泥消除监视部82监视存储于泥区域存储部72的泥区域信息，检测泥随着泥区域信息的时间变化而消失的区域(以下称为泥消失区域)。然后，泥消除监视部82输出表示泥消失区域的信息(以下称为泥消失区域信息)。
附着物检测控制部11包括记载有切换水滴检测部61和泥检测部62的动作的条件的状态切换表17。附着物检测控制部11在判断为符合记载于状态切换表17的条件时，进行下面2个动作。第1动作是切换到附着物检测部6的动作的指令，即表示切换到运转状态的动作指令，或表示切换到停止状态的动作指令的输出。第2动作是附着物检测部6的动作状态的信息向附着物消除管理部12的输出。如后所述，记载于状态切换表17的条件包含车辆1的车速。
图4是表示状态切换表17的一例的图。状态切换表17由处理名171的列、状态172的列、和状态切换条件173的列构成。处理名171的列中记载控制对象的处理，“水滴检测”表示水滴检测部61为控制对象，“泥检测”表示泥检测部62为控制对象。状态172的列中记载切换后的状态，“停止”表示切换为停止状态，“运转”表示切换为运转状态。状态切换条件173的列中记载切换条件。例如图4的第2行表示，如果车辆1的车速超过时速2km，则使水滴检测部61停止。此外，附着物检测控制部11也可以在昼夜的判断中参照设置于车辆1或车载装置4的未图示的时钟，也可以利用摄像机2检测出的照度和拍摄图像的平均亮度。另外，作为判断昼夜的基准的时刻也可以按季节而不同。
返回图2，继续进行车载装置4的控制框图的说明。
附着物消除管理部12基于从附着物检测控制部11输入的附着物检测部6的动作状态，使用附着物消失区域信息更改与处于停止状态的检测部对应的附着物区域存储部7的附着物区域信息。例如，在水滴检测部61处于运转状态且泥检测部62处于停止状态的情况下，使用附着物消失区域信息更改与处于停止状态的泥检测部62对应的泥区域存储部72中保存的泥区域信息。即在该情况下，使用水滴消失区域信息更改泥区域信息。使用图3、图5、图6具体地说明附着物区域信息的更改。
图5是表示由处于停止状态的泥检测部62以前检测的泥区域151、152的图。泥区域151、152作为将拍摄图像划分成格子状的检测面132上的区域表示。
图6是表示通过由附着物消除管理部12更改后的泥区域信息表示的泥区域的图。图6经由如下所述的处理生成。
首先，泥检测部62从拍摄图像检测泥区域，并将泥区域信息输出至附着物区域存储部7。图示了该泥区域信息的是图5的区域151和区域152。接着，利用附着物检测控制部11将泥检测部62切换为停止状态。然后，水滴消除监视部81将图3所示的区域14作为水滴消失区域进行检测。于是，附着物消除管理部12将作为水滴消失区域的区域14从图5所示的泥区域151和区域152排除。由此，图5所示的泥区域151在图6被更改为泥区域151A，并与未被更改的泥区域152一起作为新的泥区域信息输出至附着物区域存储部7。
返回图2，继续进行车载装置4的控制框图的说明。
附着物区域整合部9从附着物区域存储部7获取水滴区域信息和泥区域信息。附着物区域整合部9将获取到的信息中包含的水滴区域和泥区域进行整合而作为整合附着物区域，并将表示整合附着物区域的信息即整合附着物区域信息输出至控制信号输出部10。
控制信号输出部10基于所输入的整合附着物区域信息生成驱动报知部5的控制信号，并将其输出至报知部5。例如控制信号输出部10在由整合附着物区域信息表示的整合附着物区域的面积比预先决定的面积大的情况下生成特定的控制信号。该特定的控制信号是报知部5用于向车辆的乘坐者发出警报以使得擦拭摄像机2的透镜附着物的控制信号。
(水滴检测处理)
图7是表示水滴检测部61的处理的流程图。以下说明的各步骤的执行主体为运算处理部41的CPU。步骤S181中，CPU对摄像机2输出的拍摄图像进行边缘提取处理，生成边缘图像。边缘提取处理中能够使用提取图像中的变化量的各种单元。例如，能够适应Prewitt过滤器和Sobel过滤器。接着，步骤S182中，CPU从步骤S181中生成的边缘图像中提取边缘强度变弱的模糊像素。CPU提取边缘图像中包含的边缘强度为规定的阈值Th1以上阈值Th2以下的边缘。接着，步骤S183中，CPU将步骤S182的提取结果以规定的次数N按每个像素进行累积。接着，步骤S184中，CPU确定步骤S183中累积的边缘强度为规定的阈值Th3以上的像素，并将表示该像素的信息作为水滴区域信息输出至附着物区域存储部7。
(泥检测处理)
图8是表示泥检测部62的处理的流程图。以下说明的各步骤的执行主体为运算处理部41的CPU。步骤S191中，CPU对摄像机2输出的拍摄图像提取亮度为规定的阈值Th4以下的像素。接着，步骤S192中，CPU将步骤S191的提取结果以规定的次数M按每个像素进行累积。接着，步骤S193中，CPU将表示步骤S192中累积的亮度值为规定的阈值Th5以上的像素的信息作为泥区域信息输出至附着物区域存储部7。
(附着物消除管理部的动作)
图9是表示附着物消除管理部12的处理的流程图。以下说明的各步骤的执行主体为运算处理部41的CPU。
步骤S161中，CPU判断附着物消除管理部12是否从水滴消除监视部81接收到水滴消失区域信息。在判断为接收到水滴消失区域信息的情况下进入步骤S162，在判断为未接收水滴消失区域信息的情况下进入步骤S164。步骤S162中，CPU基于附着物检测控制部11的输出判断泥检测部62是否处于停止状态。该判断基于附着物检测控制部11输出的附着物检测部6的动作状态的信息进行。在判断为泥检测部62处于停止状态的情况下进入步骤S163，在判断为泥检测部62没有处于停止状态，即泥检测部62处于运转状态的情况下，进入步骤S164。在步骤S163中，CPU基于水滴消失区域信息更改泥区域信息并进入步骤S164。
步骤S164中，CPU判断附着物消除管理部12是否从泥消除监视部82接收到泥消失区域信息。在判断为接收到泥消失区域信息的情况下进入步骤S165，在判断为未接收水滴消失区域信息的情况下，结束图9所示的处理。在步骤S165中，CPU基于附着物检测控制部11的输出判断水滴检测部61是否处于停止状态。在判断为水滴检测部61处于停止状态的情况下进入步骤S166，在判断为水滴检测部61没有处于停止状态，即水滴检测部61处于运转状态的情况下，结束图9所示的处理。步骤S166中，CPU基于泥消失区域信息更改水滴区域信息，并结束图9所示的处理。
根据上述的第1实施方式，可得到下面的作用效果。
(1)车载装置4包括：获取由具有透镜的摄像机2拍摄的图像的图像获取部42；存储部，即运算处理部41；基于图像获取部42获取到的图像检测透镜的污垢并将表示图像中的存在污垢的区域的污垢区域信息保存于存储部的污垢检测部，即附着物检测部6；生成表示透镜的污垢已被除去的区域的污垢除去信息的污垢除去信息生成部，即附着物消除监视部8；和基于污垢除去信息更改污垢区域信息的更改部，即附着物消除管理部12。
由于这样构成车载装置4，所以即使在利用污垢检测部不能进行污垢检测的状态下，也能够基于污垢除去信息更改污垢区域信息。例如在因为车速在白天低于时速1km而泥检测部62不能动作的情况下，也能够基于利用水滴检测部61的检测结果的水滴消除监视部81输出的附着物消除区域信息，即污垢除去信息来更改泥区域存储部72。
(2)水滴检测部61和泥检测部62有时作为污垢检测部进行动作，有时作为污垢除去信息生成部的一部分进行动作。即，污垢检测部和污垢除去信息生成部分别使用不同的算法。例如，在泥检测部62的动作停止，水滴消除监视部81基于水滴检测部61的检测结果输出附着物消除区域信息，附着物消除管理部12基于该信息更改泥区域存储部72的情况下，泥检测部62为污垢检测部，水滴检测部61为污垢除去信息生成部的一部分。
这样，污垢检测部和污垢除去信息生成部通过不同的算法进行动作，所以即使在用污垢检测部的算法不能检测污垢的情况下，即不能用污垢检测部的算法检测污垢已被除去的情况下，也能够利用污垢除去信息生成部生成污垢除去信息。
(3)污垢除去信息生成部即附着物消除监视部8，基于检测与污垢检测部可检测的污垢不同种类的污垢的不同种污垢检测部的检测结果生成污垢除去信息。
车载装置4包括2种污垢检测部，能够将一个污垢检测部检测出的污垢检测区域通过利用了另一个污垢检测部的检测结果的污垢除去信息进行更改。
(4)污垢检测部、例如泥检测部62检测泥，不同种污垢检测部、例如水滴检测部61检测水滴。
因此，能够将泥检测部62检测出的泥区域通过利用了水滴检测部61的检测结果的泥消失区域进行更改。
(5)更改部，即附着物消除管理部12在污垢检测部即水滴检测部61或泥检测部62没有动作的情况下，将没有动作的污垢检测部输出的污垢区域信息，即水滴区域信息或泥区域信息基于污垢除去信息进行更改。因此，能够使用进行动作的一个附着物检测部6的检测结果，更改没有动作的另一个附着物检测部6检测出的污垢区域。
(6)车载装置4包括：表示装载摄像机2的车辆1的车速与污垢检测部有无动作的对应的状态切换表17；和基于从车辆监视部3输入的车辆1的车速和状态切换表17，使污垢检测部动作或停止的动作切换部，即附着物检测控制部11。更改部、即附着物消除管理部12，基于车辆1的动作状态和状态切换表17判断附着物检测部6有无动作。
因此，附着物消除管理部12能够判断更改水滴区域信息和泥区域信息的哪一个。
以上说明的实施方式也可以以如下方式变形。
(第1实施方式的变形例1)
也可以省略车辆1的车辆监视部3、和车载装置4的附着物检测控制部11。在该情况下，附着物消除管理部12与水滴检测部61和泥检测部62的运转状态无关地，基于附着物消除区域信息更改水滴区域存储部71和泥区域存储部72的附着物区域信息。
(第1实施方式的变形例2)
附着物检测控制部11也可以代替参照状态切换表17，而参照车辆1的乘坐者可操作的手动开关的状态，来控制水滴检测部61和泥检测部62的动作。
(第1实施方式的变形例3)
车载装置4也可以不包括水滴消除监视部81和泥消除监视部82的任一者。即附着物消除监视部8也可以仅使用水滴检测部61和泥检测部62的任一者的检测结果生成附着物消除区域信息。
此外，附着物消除监视部8优选包括水滴消除监视部81。
(第2实施方式)
参照图10～图11说明本发明的车载装置的第2实施方式。以下的说明中，对与第1实施方式相同的构成要素标注相同的符号，且主要说明不同点。特别是未说明的点与第1实施方式相同。本实施方式中，主要与第1实施方式的不同点在于，基于图像识别的结果生成附着物消除区域信息；和是否使用任一生成方法的附着物消除区域信息更改附着物区域存储部7，根据条件而变化。
第2实施方式的车辆1和车载装置4的硬件结构与第1实施方式相同。保存于运算处理部41的ROM的程序与第1实施方式不同。
(控制块)
图10是本发明的第2实施方式的车载装置4的控制框图。运算处理部41作为图像识别部20、图像识别区域存储部21、附着物检测部6、附着物区域存储部7、附着物消除监视部8、附着物区域整合部9、控制信号输出部10、和附着物消除管理部12发挥作用。
图10所示的控制框图的与第1实施方式的控制框图的不同点在于，追加了图像识别部20和图像识别区域存储部21；和图像识别区域存储部21和车辆监视部3的输出被输入到附着物消除管理部12。此外图10中省略连接车辆监视部3和附着物检测控制部11的线，但与第1实施方式同样，车辆监视部3的输出被输入到附着物检测控制部11。另外，附着物检测控制部11包括状态切换表17的点也与第1实施方式同样。以下，说明它们的不同点。
图像识别部20包括根据拍摄图像检测行人的行人检测部201和从拍摄图像检测车辆的车辆检测部202。以下，将行人检测部201检测出的行人的拍摄图像上的区域、和车辆检测部202检测出的车辆的拍摄图像上的区域称为“图像识别区域”。
行人检测部201和车辆检测部202使用已知的图像处理方法从拍摄图像检测行人和车辆。该图像处理中能够使用例如从图像提取Hog特征量来提取与行人或车辆的特征量一致的区域的方法、和使用深度学习检测行人或车辆的方法。行人检测部201和车辆检测部202将检测出的物体的拍摄图像上的位置、形状、尺寸等图像识别区域的信息作为图像识别信息输出至图像识别区域存储部21。
图像识别区域存储部21包括行人区域存储部211和车辆区域存储部212。行人区域存储部211中存储从行人检测部201输入的最新的图像识别信息。车辆区域存储部212中存储从车辆检测部202输入的最新的图像识别信息。在图像识别部20的动作停止的情况下，图像识别区域存储部21消除图像识别信息。这是因为，如果保持以前输出的图像识别信息，则尽管当前没有识别到行人或车辆，也会产生当前也识别到它们的错误的判断。
附着物消除管理部12除了附着物消除监视部8检测出的附着物消除区域信息之外，还输入存储于图像识别区域存储部21的图像识别信息和来自车辆监视部3的车速等车辆的动作状况。
附着物消除管理部12具有消除关系表22。附着物消除管理部12基于消除关系表22，更改保存于附着物区域存储部7的水滴区域信息和泥区域信息。消除关系表22是基于时间段、和从车辆监视部3输入的车辆的动作状况，确定成为根据附着物检测部6和图像识别部20各自的处理结果进行更改的对象的信息的表。此外，也可以说消除关系表22表示附着物消除管理部12动作的条件。
图11是表示消除关系表22的一例的图。消除关系表22由时间段221的列、车速222的列、处理名223的列、消除区域反映对象224的列构成。时间段221的列中记载表示时刻的区分的信息、例如白天或晚上。车速222的列中记载车辆1的车速的条件。处理名223的列中记载附着物检测部6和图像识别部20的任一检测部的名称。消除区域反映对象224的列中记载成为更改对象的存储区域，即水滴区域存储部71和泥区域存储部72的任一个。
例如，根据图11的消除关系表22的第2行，在白天以车速20km/h行驶的情况下，视作存储于泥区域存储部72的泥区域中的、与由水滴消除监视部81检测出的水滴消除区域对应的区域的泥已被除去，表示将在该区域附着有泥的泥区域信息从泥区域存储部72删除。此外，该例中，作为消除区域反映对象的变更条件使用时间段221和车速222，但不限定于这些。除此之外，也能够使用附着物检测部6的各检测部的动作状态等。
通过适当设定消除关系表22，能够将符合图4的状态切换条件且当前停止的附着物检测部在停止前的运转中存储的附着物区域、在符合图4的状态切换条件且当前运转的其它附着物检测部检测出的附着物的消除区域中删除。另外，消除关系表22中也能够反映与附着物的种类相应的擦拭关系。例如，水滴将以泥为代表的大量附着物浮起并冲走，所以容易将水滴检测处理中得到的水滴消除区域用于其它的污垢检测处理中得到的污垢区域的消除，但泥具有容易与其它附着物混合的性质，难以将泥检测处理中得到的泥消除区域用于其它污垢检测处理中得到的污垢区域的消除。
根据上述的第2实施方式，除了第1实施方式的(1)～(5)的作用效果之外，还可得到下面的作用效果。
(1)车载装置4的污垢检测部、即附着物检测部6，包括检测的污垢的种类不同的水滴检测部61和泥检测部62。水滴检测部61将检测出的污垢作为水滴区域信息保存于存储部，将泥检测部62检测出的污垢作为泥区域信息保存于存储部。车载装置4包括：基于水滴区域信息生成水滴消失区域信息的水滴消除监视部81；基于泥区域信息生成泥消失区域信息的泥消除监视部82；和保存记载有更改水滴区域信息的条件和更改泥区域信息的条件的消除关系表22的表存储部，即运算处理部41。更改部、即附着物消除管理部12，基于消除关系表22中记载的条件和水滴消失区域信息更改泥区域信息，并基于消除关系表22中记载的条件和泥消失区域信息更改水滴区域信息。
因此，能够基于泥检测部62和水滴检测部61各自的检测结果更改各水滴区域信息和泥区域信息。
(2)消除关系表22中记载的、更改水滴区域信息的条件和更改泥区域信息的条件中至少包含装载摄像机2的车辆1的速度。
因此，能够根据车辆1的速度变更成为更改对象的附着物区域。
(3)车载装置4包括从摄像机2的拍摄图像识别物体且生成将识别了物体的区域作为透镜的污垢已被除去的区域的污垢除去信息的图像识别部20。
因此，能够使用图像识别部20的识别结果，更改附着物区域信息。
(4)车载装置4包括保存表示附着物消除管理部12进行动作的条件的消除关系表22的表存储部，即运算处理部41。消除关系表22中至少包含装载摄像机2的车辆1的速度。附着物消除管理部12基于车辆1的速度和消除关系表22进行动作。
因此，车载装置4能够基于车辆1的速度和消除关系表22，使用图像识别部20的识别结果或附着物检测部6的检测结果更改附着物区域信息。
以上说明的第2实施方式能够以如下方式变形并执行。
(第2实施方式的变形例1)
车载装置4也可以不包括图像识别部20和图像识别区域存储部21。在该情况下，与第1实施方式的不同点在于，附着物消除管理部12不是基于附着物检测部6的动作状态而是基于消除关系表22，更改保存于附着物区域存储部7的附着物区域信息。同样，车载装置4中能够省略附着物消除监视部8。在该情况下，附着物消除管理部12基于消除关系表22，从附着物区域存储部7中记载的附着物区域信息删除从图像识别区域存储部21输入的图像识别信息的区域。
(第2实施方式的变形例2)
附着物消除管理部12也可以参照消除关系表22的车速222的列。另外，附着物消除管理部12也可以不参照消除关系表22的时间段的列。在这些情况下，消除关系表22也可以不包含不从附着物消除管理部12参照的列。
(第2实施方式的变形例3)
在附着物检测部6和图像识别部20各自中，检测结果的确定性即准确性不同。另外，各个检测结果中，按每个像素准确性也不同。因此，对附着物检测部6、附着物消除监视部8、图像识别部20各自的输出追加检测结果的准确性。然后，附着物消除管理部12也可以在消除存储于附着物区域存储部7的附着物信息时，考虑准确性。
附着物检测部6的水滴检测部61将图7的步骤S184中累积值为Th3以上的像素设为水滴区域，但能够使用其累积值决定准确性。水滴检测部61设定成累积值的值越大准确性越高，即为更准确的检测结果。
附着物检测部6的泥检测部62将图8的步骤S193中累积值为Th5以上的像素设为泥区域，但能够使用其累积值决定准确性。泥检测部62设定为累积值越大准确性越高，即为更准确的检测结果。
附着物消除监视部8的水滴消除监视部81在判断为某个像素的水滴消失时，将消除前设定于该像素的准确性设定为该像素中水滴消失的准确性。泥消除监视部82也同样，在判断为某个像素的泥消失时，将消除前设定于该像素的准确性设定为该像素中泥消失的准确性。
图像识别部20的各检测部将该检测的确定性作为准确性信息赋予检测出的图像识别区域，并将其存储于图像识别区域存储部21的各存储部，将其输入到附着物消除管理部12。附着物消除管理部12对图像识别区域各自赋予与准确性相应的正的加权，并对附着物消除区域各自赋予与准确性相应的负的加权。然后，附着物消除管理部12提取加权的和成为规定的值以下的区域，并如上所述基于消除关系表22将提取出的区域从附着物区域存储部7删除。
根据该变形例，可得到下面的作用效果。
(1)对污垢除去信息按每个区域附加表示污垢已被除去的确定性的准确性信息，附着物消除管理部12基于准确性信息更改污垢区域信息。
因此，能够考虑准确性地更改污垢区域信息。
(第2实施方式的变形例4)
图像识别部20只要从摄像机2的拍摄图像能够检测一些物体即可，检测对象的种类和数不限定于上述的结构。例如图像识别部20也可以仅包括行人检测部201，也可以包括除了行人或车辆以外检测信号机和护栏的检测部。
(第3实施方式)
参照图12～图13说明本发明的车载装置的第3实施方式。以下的说明中，对与第2实施方式相同的构成要素标注相同的符号，并主要说明不同点。特别是未说明的点与第2实施方式相同。本实施方式中，主要与第2实施方式不同点在于，包括不限定于特定的污垢的种类地检测附着物的消除点的附着物检测部。
第3实施方式的车辆1和车载装置4的硬件结构与第2实施方式同样。保存于运算处理部41的ROM的程序与第2实施方式不同。
(控制块)
图12是本发明的第3实施方式的车载装置4的控制框图。运算处理部41包括：附着物消除检测部23、附着物检测部6、附着物区域存储部7、附着物消除监视部8、附着物区域整合部9、控制信号输出部10、和附着物消除管理部12。
与第2实施方式的控制框图的不同点在于，删除了图像识别部20和图像识别区域存储部21；追加了附着物消除检测部23；和附着物消除检测部23的输出被输入到附着物消除管理部12。此外，图12中，省略连接车辆监视部3和附着物检测控制部11的线，但与第2实施方式同样，车辆监视部3的输出被输入到附着物检测控制部11。另外，附着物检测控制部11包括状态切换表17的点与第2实施方式同样。以下，说明它们的不同点。
附着物消除检测部23检测从由摄像机2输入的拍摄图像除去附着物的区域。附着物消除检测部23检测例如利用由摄像机2输入的拍摄图像的时间变化除去附着物的区域(以下称为附着物消除检测区域)，并将表示该区域的附着物消除检测区域信息输出至附着物消除管理部12。
附着物消除管理部12参照从车辆监视部3输入的车辆1的动作状况和消除关系表22，基于从附着物消除监视部8输入的附着物消除区域信息和从附着物消除检测部23输入的附着物消除检测区域信息，更改附着物区域存储部7的水滴区域和泥区域。即，本实施方式中，附着物消除区域信息和附着物消除检测区域信息为污垢除去信息。
附着物消除管理部12参照的消除关系表22中，附着物消除检测部23的消除区域反映对象224设定为水滴检测和泥检测两者。即，基于附着物消除检测部23输出的附着物消除检测区域信息，更改水滴区域信息和泥区域信息两者。
(附着物消除检测部23的流程图)
图13是表示附着物消除检测部23的动作的流程图。以下说明的各步骤的执行主体为运算处理部41的CPU。步骤241中，CPU将摄像机2输出的拍摄图像进行长时间积累并将没有变化的区域推定为附着有附着物且作为无变化区域进行提取。此外，本步骤的处理是以检测附着到摄像机2的透镜上的附着物为目的的处理，也能够使用附着物检测部6的处理结果。
接着，步骤242中，CPU评价摄像机2输出的连续的两个拍摄图像的每个像素的差，例如亮度差。CPU将差比预先决定的阈值大的像素的集合作为瞬时变化区域进行提取。本步骤的瞬时变化区域的提取的意图如下。即，如果摄像机2的拍摄周期充分短，则连续的两个拍摄图像中几何没有变化，所以通常在步骤242的处理中不提取差区域。但是，在摄像机2的透镜上附着有附着物的瞬间，或除去附着物的瞬间，在附着有附着物的位置产生较大的变化，该区域作为瞬时变化区域被提取。
接着，步骤243中，CPU将包含在步骤242中提取出的瞬时变化区域中、且在步骤241中作为无变化区域提取出的区域作为附着物消除检测区域输出。
根据上述的第3实施方式，除了第1实施方式的(1)～(5)的作用效果、和第2实施方式的(1)、(2)、(4)的作用效果之外，还可得到下面的作用效果。
(1)车载装置4包括从拍摄图像检测长时间没有变化的无变化区域、和通过摄像机2连续地拍摄而得到的两个拍摄图像中亮度差比预先决定的值大的瞬时变化区域，并生成将瞬时变化区域中无变化区域所包含的区域设为透镜的污垢已被除去的区域的污垢除去信息的瞬间变化检测部，即附着物消除检测部23。
因此，能够使用动作简单的附着物消除检测部23的输出，更改附着物区域信息。
以上说明的第3实施方式能够以如下方式变形并执行。
(第3实施方式的变形例1)
第3实施方式中，附着物消除检测部23检测附着物已被除去的区域。换言之，检测最新的拍摄图像中没有检测到附着物的区域、且以前的拍摄图像中检测到附着物的区域。但是，也可以不考虑以前的附着物的有无地检测没有检测到附着物的区域(以下称为非附着物区域)。附着物消除检测部23进行的非附着物区域的检测，能够利用例如从摄像机2输出的拍摄图像随着车辆的行驶发生变化的情况进行检测。
图14是表示本变形例的附着物消除检测部23的动作的流程图。以下说明的流程图的各步骤的执行主体是运算处理部41的CPU。步骤251中，CPU对摄像机2输出的拍摄图像进行一定时间积累。接着，步骤252中，CPU将步骤251中积累的连续的多个拍摄图像各自分割成多个区域，按该每个区域输出亮度的分散值、即时间上的亮度偏差的大小。多个区域是例如将拍摄图像在纵向和横向分别进行10等分的合计100个区域。接着，步骤253中，CPU参照步骤252的输出，将亮度的分散值为预先决定的阈值Th6以上的区域作为非附着物区域输出。这是因为，如果是没有附着物的区域，则拍摄图像的该区域的亮度随着车辆1的行驶发生变化。
根据上述的变形例，可得到下面的作用效果。
(1)车载装置4包括从拍摄图像检测没有附着物的区域、且基于检测出的区域生成污垢除去信息的非附着物检测部，即附着物消除检测部23。
车载装置4由于不判断在以前是否存在附着物，所以能够更简单地生成污垢除去信息。
(第3实施方式的变形例2)
车载装置4也可以包括第2实施方式的图像识别部20和图像识别区域存储部21作为附着物消除检测部23。在该情况下，图像识别部20将从拍摄图像检测出的物体的区域即图像识别区域作为非附着物区域输出至附着物消除管理部12。将图像识别区域作为非附着物区域输出的原因如下。即，这是因为，由于图像识别区域是利用图像识别部20检测出物体的区域，所以能够推测为在图像识别区域中没有附着物。
(第4实施方式)
参照图15～图16说明本发明的车载装置的第4实施方式。以下的说明中，对与第2实施方式相同的构成要素标注相同的符号，并主要说明不同点。特别是未说明的点与第2实施方式相同。本实施方式中，主要与第2实施方式不同点在于，将透镜已被清扫的区域作为附着物已被消除的区域处理。
第4实施方式的车载装置4的硬件结构与第2实施方式同样。保存于运算处理部41的ROM的程序与第2实施方式不同。车辆1的硬件结构除了第2实施方式的结构之外，还包括执行利用摄像机2的拍摄图像的程序(以下称为图像利用程序)、例如从拍摄图像检测白线来控制车辆1的程序的未图示的装置。
(控制块)
图15是本发明的第4实施方式的车载装置4的控制框图。运算处理部41通过CPU执行保存于ROM的程序，而作为透镜清扫控制部26、附着物检测部6、附着物区域存储部7、附着物消除监视部8、附着物区域整合部9、控制信号输出部10、和附着物消除管理部12发挥作用。车辆1包括清扫摄像机2的透镜的透镜清扫部27。透镜清扫部27包括将透镜的附着物擦落(擦拭)的雨刷271和向透镜喷射清洗液来洗掉透镜的附着物的清洗器272。透镜清扫部27基于后述的透镜清扫控制部26的清扫动作指令进行动作。
图15所示的控制框图的与第2实施方式的控制框图的不同点为以下5点。即，是车辆1具有透镜清扫部27的点、删除了图像识别部20和图像识别区域存储部21的点、车载装置4具有透镜清扫控制部26的点、透镜清扫控制部26的输出被输入到附着物消除管理部12的点、和控制信号输出部10的输出被输入到透镜清扫控制部26的点。此外，图15中，省略连接车辆监视部3和附着物检测控制部11的线，但与第2实施方式同样，车辆监视部3的输出被输入到附着物检测控制部11。另外，附着物检测控制部11包括状态切换表17的点与第2实施方式同样。以下，对它们的不同点进行说明。
控制信号输出部10基于从附着物区域整合部9输入的整合附着物区域，判断摄像机2的拍摄图像是否适合上述的图像利用程序。控制信号输出部10在判断为拍摄图像不适合图像利用程序时，向透镜清扫控制部26输出控制动作指令。
控制信号输出部10的拍摄图像是否适合图像利用程序的判断，基于例如整合附着物区域占据拍摄图像的面积的比例或整合附着物区域的拍摄图像中的位置进行。控制信号输出部10向透镜清扫控制部26输出的控制动作指令，可以是总是使雨刷271和清洗器272两者进行动作的控制动作指令，也可以是基于整合附着物区域仅使雨刷271或清洗器272的一者进行动作的控制动作指令。
另外，控制信号输出部10也可以根据摄像机2的透镜的附着物的种类切换工作的透镜清扫部27的功能。例如控制信号输出部10在判断为附着了水滴的情况下，输出使雨刷271动作的控制动作指令。另外，控制信号输出部10在判断为附着了泥的情况下，输出不仅使雨刷271工作，为了使泥浮起还使清洗器272工作的控制动作指令。
透镜清扫控制部26从控制信号输出部10接收控制动作指令时，向透镜清扫部27输出清扫动作指令，并且向附着物消除管理部12输出清扫区域信息。清扫区域信息是表示通过透镜清扫部27清扫摄像机2的透镜来除去附着物的拍摄图像上的区域(以下称为清扫区域)的信息。例如在雨刷271进行动作的情况下，雨刷271擦落附着物的区域成为清扫区域，在清洗器272进行动作的情况下，拍摄图像的整个区域成为清扫区域。
图16是表示雨刷271进行动作的情况下的清扫区域的一例的图。清扫区域28是将拍摄图像划分成格子状的检测面133中，雨刷271进行动作的区域。返回图15，继续进行透镜清扫控制部26的说明。
清扫区域信息预先存储于透镜清扫控制部26。透镜清扫控制部26输出的清扫动作指令和清扫区域信息与接收的控制动作指令对应。例如，当接收到仅使雨刷271动作的控制动作指令时，输出仅使雨刷271动作的清扫动作指令和仅雨刷271工作时的清扫区域信息。
附着物消除管理部12参照从车辆监视部3输入的车辆1的动作状况和消除关系表22，基于从附着物消除监视部8输入的附着物消除区域信息和从透镜清扫控制部26输入的清扫区域信息，更改附着物区域存储部7的水滴区域和泥区域。即，本实施方式中，附着物消除区域信息和清扫区域信息是污垢除去信息。
附着物消除管理部12参照的消除关系表22中，对透镜清扫控制部26控制的透镜清扫部27的每个功能记载消除区域反映对象224。例如，雨刷271能够擦落水滴但如果不弄湿透镜，则难以去除泥，所以消除关系表22的雨刷271的消除区域反映对象224原则上仅进行水滴检测。另外，清洗器272能够冲走水滴和泥，所以清洗器272的消除区域反映对象224是水滴检测和泥检测。
另外，透镜清扫控制部26优选根据摄像机2的透镜的附着物的种类，切换工作的透镜清扫部27的功能。例如，在附着有水滴的情况下使雨刷271工作，在附着有泥的情况下使清洗器272和雨刷271工作。在该情况下，控制信号输出部10基于从附着物区域整合部9输入的整合附着物区域，将摄像机2的透镜的附着物的程度和种类输入到透镜清扫控制部26。
根据上述的第4实施方式，除了第1实施方式的(1)～(5)的作用效果、和第2实施方式的(1)、(2)、(4)的作用效果之外，可得到下面的作用效果。
(1)车载装置4包括基于透镜清扫部27的清扫动作，将清扫动作的对象范围作为污垢已被除去的区域生成污垢除去信息的透镜清扫控制部26。
因此，车载装置4向透镜清扫部27输出动作指令，并且生成将利用根据动作指令进行动作的雨刷271或/和清洗器272清扫的区域设为污垢已被除去的区域的污垢除去信息。
以上说明的第4实施方式能够以如下方式变形并执行。
(第4实施方式的变形例1)
透镜清扫控制部26由于不能确认附着物实际上已被除去，所以即使透镜清扫部27运转，也可能在附着物清扫区域残留附着物。因此，透镜清扫控制部26也可以不将附着物清扫区域输入到附着物消除管理部12。取而代之，透镜清扫控制部26通过使透镜清扫部27工作的前后缩短附着物消除监视部8的执行间隔，即，将处理高速化，可靠地检测透镜清扫部27的动作进行的附着物的除去。或者，透镜清扫控制部26也可以通过仅在使透镜清扫部27动作时使附着物消除监视部8进行动作，降低附着物消除监视部8的处理产生的运算处理部41的负荷。但是，在仅使透镜清扫部27动作时使附着物消除监视部8动作的情况下，由于透镜清扫部27的动作，会漏检附着物已被除去的情况，所以优选在摄像机2的透镜的附着物没有被自然除去的状况下应用。
(第4实施方式的变形例2)
第4实施方式的变形例1中，透镜清扫控制部26也可以包括根据动作的透镜清扫部27的功能，决定使附着物消除监视部8的各监视部的任一项动作或使任一动作高速化的表。该表中，水滴消除监视部81与雨刷271的动作对应，水滴消除监视部81和泥消除监视部82与清洗器272的动作对应。例如，在使雨刷271动作的情况下，水滴被除去，所以使水滴消除监视部81动作，或使水滴消除监视部81的动作高速化。
(第4实施方式的变形例3)
车辆1也可以还包括未图示的手动开关，基于乘坐者进行的手动开关的操作，将控制动作指令输出至透镜清扫控制部26。
以上说明的第1～第4实施方式能够以如下方式变形并执行。
(变形例1)
附着物检测部6由水滴检测部61和泥检测部62构成，但也可以还包括检测其它种类的污垢的检测部、例如白浊检测部。另外，第1实施方式中只要包括至少任一两个污垢检测部、例如水滴检测部61和白浊检测部即可，第2～第4实施方式中只要包括至少一个污垢检测部即可。
白浊检测部如例以如下方式检测污垢之一的白浊。
使用图17对白浊检测部的动作进行说明。如图17所示，白浊检测部在拍摄图像中写入地平线的预先决定的位置设定左上检测区域941、上检测区域942和右上检测区域943。上检测区域942设定于包含相互平行地设置于路面的两个车道标志的消失点那样的位置。图17中，两个车道标志946的消失点947包含于上检测区域942的内侧。左上检测区域941设定于比上检测区域942靠左侧，右上检测区域943设定于比上检测区域942靠右侧。另外，白浊检测部在拍摄图像中写入车道标志的预先决定的位置设定左下检测区域944和右下检测区域945。
白浊检测部对于左上检测区域941、上检测区域942、右上检测区域943、左下检测区域944、右下检测区域945各自的区域内的像素，进行水平方向的边缘检测处理。在对于左上检测区域941、上检测区域942、右上检测区域943的边缘检测中，检测地平线等的边缘。另外，相对于左下检测区域944、右下检测区域945的边缘检测中，检测车道标志946等的边缘。白浊检测部对各检测区域941～945中包含的各像素分别计算边缘强度。然后，白浊检测部对各个检测区域941～945计算边缘强度的平均值AE2，判定该平均值AE2是否低于规定的阈值ε。白浊检测部将边缘强度的平均值AE2低于阈值ε的检测区域判断为白浊。
另外，白浊检测部以如下方式能够计算白浊的确定性即准确性。
白浊检测部计算各检测区域941～945中边缘强度的平均值AE2低于阈值ε的检测区域的个数即检测为白浊的检测区域的个数N2。然后，白浊检测部计算持续判断为各检测区域941～945白浊的时间t2。然后，白浊检测部将各检测区域941～945的时间t2的总和除以检测区域的个数即5个来计算平均持续时间t3。白浊检测部将该平均持续时间t3转换为白浊检测部的检测结果的准确性R2。例如，白浊检测部预先设定某个规定期间TTHR3，计算R2＝t3/TTHR3。准确性R2表示，白浊的平均持续时间t3越长，准确性越高地白浊。另外，t3本身为5个检测区域941～945的平均白浊持续时间，所以5个检测区域941～945的全部的持续时间越长，白浊的准确性也越高。准确性R2以0～1的数值表达，在TTHR3＜t3的情况下，全部表达为1，是表示准确性高地白浊的情形的数值。
(变形例2)
水滴检测部61也可以以如下方式检测水滴。
使用图18(a)和(b)对水滴检测部61的动作进行说明。如图18(a)中所示，水滴检测部61将拍摄图像930的图像区域分割成多个块B(x,y)。各块B(x,y)中包含拍摄图像的多个像素。
水滴检测部61按各个块B(x,y)计算表示水滴的附着时间的得分S1(x,y)。得分S1(x,y)的初始值为零，每当通过以下说明的判定，判定为在该块B(x,y)内附着有水滴时，增加规定值。
水滴检测部61进行的各像素的得分计算如下。图18(b)是以任意的像素931为着眼点的图。水滴检测部61将从该着眼点931起向上方向、右上方向、右下方向、左上方向、左下方向分别离开规定距离、例如3个像素的像素设定成内部参照点932，将向这些5个方向进一步离开规定距离、例如3个像素的像素设定成外部参照点933。接着，水滴检测部61对各内部参照点932和各外部参照点933各自计算亮度。
水滴的中心部因透镜效应比缘部明亮的可能性高。因此，水滴检测部61对5个方向分别判定内部参照点932的亮度是否比外部参照点933的亮度高。换言之，水滴检测部61判定着眼点931是否为水滴的中心部。水滴检测部61在各方向的内部参照点932的亮度比同方向的外部参照点933的亮度高的情况下，将该着眼点931所属的B(x,y)的得分S1(x,y)增加规定值例如1。
水滴检测部61将得分S1(x,y)为规定值以上的块判断为检测出水滴的区域。水滴检测部61能够进一步以如下方式计算水滴检测的准确性。
水滴检测部61对拍摄图像中的全部像素进行上述的判定之后，计算对各块B(x,y)的得分S1(x,y)进行初始化之后的经过时间t1。然后，水滴检测部61将各块B(x,y)的得分S1(x,y)除以该经过时间t1，计算得分S1(x,y)的时间平均S1(x,y)/t1。水滴检测部61计算全部块B(x,y)的时间平均S1(x,y)/t1的总和，将其除以拍摄图像930中的全部块数来计算得分平均AS1。
当在透镜上持续附着有水滴时，对每个帧增加得分平均AS1。换言之，在得分平均AS1较大的情况下，水滴在透镜上长时间附着的概率高。水滴检测部61利用该得分平均AS1，生成水滴检测部61的检测结果的准确性R1。在水滴的情况下，即使在雨容易附着那样的行驶状况下，由于透镜上的水流下等的影响，也看到得分S1(x,y)的上下变动。因此，当前的透镜上的水滴的附着量利用得分平均AS1。对于准确性R1，在雨滴的情况下，与泥或白浊的情况不同，透镜状态的变化均剧烈，即使是雨天，有时得分S1(x,y)也暂时性地降低。于是，得分平均AS1利用超过某个一定值TAS1的时间的计数CS1。水滴检测部61即使某个规定期间得分平均AS1低于一定值TAS1，也保留时间的计数CS1，在低于规定期间以上时使得分S1(x,y)减少。水滴检测部61决定阈值AS1THR，并计算准确性R1＝CS1/AS1THR。水滴检测部61在时间的计数CS1超过AS1THR的情况下，将准确性R1表达为1。准确性R1越接近1，检测的水滴的附着越能够可靠。
(变形例3)
泥检测部62也可以以如下方式检测泥。
如上述的图18(a)所示，泥检测部62将拍摄图像930的图像区域分割成多个块B(x,y)。泥检测部62以如下方式对各个块B(x,y)计算初始值为零的得分S4(x,y)的值。
接着，泥检测部62检测拍摄图像930的各像素的亮度。然后，泥检测部62对各个块B(x,y)计算该块B(x,y)中包含的各像素的亮度的总和It(x,y)。泥检测部62对各个块B(x,y)计算对当前帧的拍摄图像计算的It(x,y)与对前一帧的拍摄图像同样计算的It-1(x,y)之差ΔI(x,y)。
泥检测部62检测该ΔI(x,y)较小、且It(x,y)比周围的块小的块B(x,y)，使与该块B(x,y)对应的得分S4(x,y)增加规定值、例如1。
泥检测部62将得分S4(x,y)为规定值以上的块判断为检测到泥的区域。泥检测部62能够进一步以如下方式计算泥检测的准确性。
泥检测部62对拍摄图像中的全部像素进行上述的判定后，获取各块B(x,y)的得分S4(x,y)的某个规定期间t5期间的得分累计值。然后，泥检测部62将各块B(x,y)的得分S4(x,y)除以该规定期间t5，计算得分S4(x,y)的时间平均S4(x,y)/t5。泥检测部62计算全部块B(x,y)的时间平均S4(x,y)/t5的总和，将其除以拍摄图像930中的全部块数来计算得分平均ARS4。得分平均ARS4具有接近某个规定期间中附着于透镜的泥的量的含义。因此，泥检测部62求得ΔI(x,y)的规定期间t5的平均值和根据周围的光源环境预测的画面上的亮度变化量的预测值，并求得AS4＝ΔI(x,y)的规定期间t5的平均值/亮度变化量的预测值，将其设为透射率。
当泥持续附着于透镜时，得分平均ARS4按依次拍摄的每个帧增加。换言之，在得分平均ARS4较大的情况下，大量泥附着于透镜的概率高。另外，作为准确性，得分AS4利用比阈值TAS4大的时间。泥检测部62决定阈值AS4THR，并计算准确性R4＝TAS4/AS4THR。泥检测部62在TAS4超过AS4THR的情况下，将准确性R4表达为1。准确性R4越接近1，检测出的泥的附着越可靠。
(变形例4)
车辆1也可以还包括控制车辆的行驶的车辆控制部。例如，车辆操作部具有控制车辆的加速器和制动器、方向盘的角度的功能等。然后，控制信号输出部10基于从附着物区域整合部9输入的整合附着物区域生成控制信号，并将其输入到车辆操作部。例如，在整合附着物区域比与拍摄图像的规定的比例相当的面积大的情况下，判断为使用摄像机2的拍摄图像的周围环境的识别性能较低，控制加速器和制动器以使得车速成为一定以下或停车。
(变形例5)
车载装置4也可以包括进行使用摄像机2的拍摄图像检测车道标志和行人等的物体的图像处理的物体识别部，控制信号输出部10进行以下所示的附加性的处理。
拍摄图像中映出摄像机2的透镜的附着物的附着物区域隐藏被摄体，所以在附着物区域中不能正确地进行物体检测。因此，控制信号输出部10将从附着物区域整合部9输入的整合附着物区域作为掩模图像生成，并将其输入到物体识别部。物体识别部将所输入的掩模图像表示的整合附着物区域从摄像机2的拍摄图像排除，进行用于检测车道标志和行人等的物体的图像处理。
或者，控制信号输出部10在基于从附着物区域整合部9输入的整合附着物区域，判断为摄像机2的拍摄图像对于物体识别部的图像处理不满足充分的质量的情况下，向物体识别部输出故障信号。例如，控制信号输出部10在整合附着物区域的大小超过阈值的情况下输出故障信号。物体识别部在接收故障信号的期间停止图像处理。另外，控制信号输出部10也可以将物体识别部的图像处理停止的情况传达给报知部5。
(变形例6)
附着物消除管理部12也可以在从存储于附着物区域存储部7的附着物区域信息消除污垢除去信息表示的区域时，在满足下面的条件的情况下以全部删除附着物区域的方式更改附着物区域信息。即，是污垢除去信息表示的区域为附着物区域的规定的比例以上的面积的情况，例如污垢除去信息表示的区域为附着物区域的80％以上的情况。
根据本变形例，可得到下面的作用效果。
(1)更改部、即附着物消除管理部12，当污垢除去信息与污垢区域信息的关系满足规定的条件时，以全部除去透镜的污垢且全部删除附着物区域的方式更改附着物区域信息。因此，能够防止附着物区域稀疏地散布的状况。
(变形例7)
在上述的任一实施方式中，均以附着到摄像机2的透镜上的附着物为对象，但在摄像机2设置于车厢内的情况下，也可以将摄像机2的前方的车窗的附着物设为对象。在该情况下，透镜清扫部27设为除去前方的车窗的附着物的装置。
(变形例8)
在第2～第4实施方式中，也可以不包括附着物检测控制部11。在该情况下，水滴检测部61和泥检测部62总是运转。根据本变形例8，即使水滴检测部61和泥检测部62在运转中，附着物消除管理部12也可更改水滴区域信息和泥区域信息，具有能够迅速地更新整合附着物区域的优点。
(变形例9)
车载装置4也可以将水滴检测部61或泥检测部62没有检测出附着物的区域的信息作为附着物消除区域信息输出至附着物消除管理部12。具体而言，将水滴检测部61没有检测出附着物的区域、和泥检测部62没有检测出附着物的区域、即没有存储于附着物区域存储部7的各存储部中的区域作为附着物消除区域输入到附着物消除管理部12。
(变形例10)
车辆监视部3的车速监视部32也可以在根据从未图示的GPS接收机得到的位置信息、和未图示的地图信息判断为车辆1处于停车场的情况下，将车速大致设为零输出。在该情况下，当车辆1进入停车场时，车速大致设为零并被输出至附着物检测控制部11，根据状态切换表17的描述，停止泥检测部62的动作。
以上说明的本发明的实施方式和变形例终究只不过是示例，只要不损坏发明的特征，本发明就不限定于这些内容。另外，以上说明的实施方式和变形例只要不损坏发明的特征，就可以组合执行。例如，能够将第2实施方式中包含的图像识别部20和图像识别区域存储部21的功能装入第1实施方式的车载装置4中。
程序保存于未图示的ROM，但车载装置4也可以包括未图示的输入输出接口，通过输入输出接口和车载装置4可利用的介质从其它装置读入程序。在此，介质是指例如可拆装于输入输出接口的存储介质、或通信介质、即有线、无线、光等的网络、或在该网络上传播的载波和数字信号。另外，通过程序实现的功能的一部分或全部也可以由硬件电路和FPGA实现。
附图标记说明
1…车辆
2…摄像机
4…车载装置
6…附着物检测部
61…水滴检测部
62…泥检测部
7…附着物区域存储部
71…水滴区域存储部
72…泥区域存储部
8…附着物消除监视部
81…水滴消除监视部
82…泥消除监视部
11…附着物检测控制部
12…附着物消除管理部
17…状态切换表
20…图像识别部
201…行人检测部
202…车辆检测部
22…消除关系表
23…附着物消除检测部
26…透镜清扫控制部
41…运算处理部
42…图像获取部。

Claims (14)

1.一种车载装置，其特征在于，包括：
图像获取部，其获取由具有透镜的摄像机拍摄的图像；
存储部；
污垢检测部，其基于所述图像获取部获取到的图像检测所述透镜的污垢，并将表示所述图像中的存在污垢的区域的污垢区域信息保存于所述存储部；
污垢除去信息生成部，其生成表示所述透镜的污垢已被除去的区域的污垢除去信息；和
更改部，其基于所述污垢除去信息更改所述污垢区域信息，
所述污垢检测部包括检测的污垢的种类不同的第1污垢检测部和第2污垢检测部，
所述第1污垢检测部将检测出的污垢作为第1污垢区域信息保存于所述存储部，
所述第2污垢检测部将检测出的污垢作为第2污垢区域信息保存于所述存储部，
所述车载装置还包括：
第1监视部，其基于所述第1污垢区域信息生成第1污垢除去信息；
第2监视部，其基于所述第2污垢区域信息生成第2污垢除去信息；和
表存储部，其保存记载有更改所述第1污垢区域信息的条件和更改所述第2污垢区域信息的条件的消除关系表，
所述更改部，能够基于所述消除关系表中记载的条件和所述第1污垢除去信息更改所述第2污垢区域信息，且能够基于所述消除关系表中记载的条件和所述第2污垢除去信息更改所述第1污垢区域信息。
2.如权利要求1所述的车载装置，其特征在于：
所述污垢检测部和所述污垢除去信息生成部分别使用不同的算法。
3.如权利要求1所述的车载装置，其特征在于：
所述污垢除去信息生成部，基于检测与所述污垢检测部可检测的污垢不同种类的污垢的不同种污垢检测部的检测结果，生成所述污垢除去信息。
4.如权利要求3所述的车载装置，其特征在于：
所述污垢检测部检测泥，所述不同种污垢检测部检测水滴。
5.如权利要求1所述的车载装置，其特征在于：
所述消除关系表中记载的、更改所述第1污垢区域信息的条件和更改所述第2污垢区域信息的条件，至少包含装载所述摄像机的车辆的速度。
6.如权利要求1所述的车载装置，其特征在于：
还包括透镜清扫控制部，其基于所述透镜的清扫动作，将所述清扫动作的对象范围作为污垢已被除去的区域来生成所述污垢除去信息。
7.如权利要求1所述的车载装置，其特征在于：
还包括非附着物检测部，其从所述图像检测没有附着物的区域，基于所述检测出的区域生成所述污垢除去信息。
8.如权利要求1所述的车载装置，其特征在于：
还包括物体识别部，其从所述图像识别物体且生成将识别到物体的区域作为所述透镜的污垢已被除去的区域的污垢除去信息。
9.如权利要求1所述的车载装置，其特征在于：
还包括瞬时变化检测部，其从所述图像检测长时间没有变化的无变化区域、和连续得到的所述图像中亮度差比预先决定的值大的瞬时变化区域，生成将所述瞬时变化区域中的包含于所述无变化区域的区域作为所述透镜的污垢已被除去的区域的污垢除去信息。
10.如权利要求1所述的车载装置，其特征在于：
所述更改部在所述污垢检测部没有动作的情况下，基于所述污垢除去信息更改所述污垢区域信息。
11.如权利要求10所述的车载装置，其特征在于，还包括：
状态切换表，其表示装载所述摄像机的车辆的动作状态与所述污垢检测部有无动作的对应；和
动作切换部，其基于所述车辆的动作状态和所述状态切换表，使所述污垢检测部动作或停止，
所述更改部基于所述车辆的动作状态和所述状态切换表，判断所述污垢检测部有无动作。
12.如权利要求1所述的车载装置，其特征在于：
还包括表存储部，其保存表示所述更改部进行动作的条件的消除关系表，
所述消除关系表中至少包含装载所述摄像机的车辆的动作状况，
所述更改部基于所述车辆的动作状况和所述消除关系表进行动作。
13.如权利要求1所述的车载装置，其特征在于：
所述更改部当所述污垢除去信息与所述污垢区域信息的关系满足规定的条件时，将所述污垢区域信息更改为所述透镜的污垢已被全部除去。
14.如权利要求1所述的车载装置，其特征在于：
所述污垢除去信息中按每个区域附加表示污垢已被除去的确定性的准确性信息，
所述更改部基于所述准确性信息更改所述污垢区域信息。
CN201780047106.9A 2016-08-09 2017-05-10 车载装置 Expired - Fee Related CN109565536B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016156627A JP6576887B2 (ja) 2016-08-09 2016-08-09 車載装置
JP2016-156627 2016-08-09
PCT/JP2017/017746 WO2018029925A1 (ja) 2016-08-09 2017-05-10 車載装置

Publications (2)

Publication Number Publication Date
CN109565536A CN109565536A (zh) 2019-04-02
CN109565536B true CN109565536B (zh) 2020-11-17

Family

ID=61162066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780047106.9A Expired - Fee Related CN109565536B (zh) 2016-08-09 2017-05-10 车载装置

Country Status (5)

Country Link
US (1) US10972639B2 (zh)
EP (1) EP3499862B1 (zh)
JP (1) JP6576887B2 (zh)
CN (1) CN109565536B (zh)
WO (1) WO2018029925A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP2019018661A (ja) * 2017-07-13 2019-02-07 株式会社デンソーテン 付着物除去装置および付着物除去方法
JP7055624B2 (ja) * 2017-12-01 2022-04-18 ソニー・オリンパスメディカルソリューションズ株式会社 医療用撮像装置
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
JP7200572B2 (ja) 2018-09-27 2023-01-10 株式会社アイシン 付着物検出装置
JP7271908B2 (ja) * 2018-11-08 2023-05-12 株式会社アイシン 周辺監視装置
JP7265693B2 (ja) * 2018-12-28 2023-04-27 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP2020138569A (ja) * 2019-02-26 2020-09-03 アイシン精機株式会社 周辺監視装置
US10771665B1 (en) * 2019-02-27 2020-09-08 Ford Global Technologies, Llc Determination of illuminator obstruction by known optical properties
JP7188336B2 (ja) * 2019-09-20 2022-12-13 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP2021050932A (ja) * 2019-09-20 2021-04-01 株式会社デンソーテン 付着物検出装置、および付着物検出方法
JP7251425B2 (ja) * 2019-09-20 2023-04-04 株式会社デンソーテン 付着物検出装置および付着物検出方法
JP7319597B2 (ja) * 2020-09-23 2023-08-02 トヨタ自動車株式会社 車両運転支援装置
US20230274554A1 (en) * 2022-02-28 2023-08-31 Continental Autonomous Mobility US, LLC System and method for vehicle image correction

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103523014A (zh) * 2012-07-03 2014-01-22 歌乐株式会社 车载装置
CN104412573A (zh) * 2012-07-03 2015-03-11 歌乐株式会社 车载装置
CN104798368A (zh) * 2012-11-27 2015-07-22 歌乐株式会社 车载图像处理装置
WO2015183889A1 (en) * 2014-05-27 2015-12-03 Robert Bosch Gmbh Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
WO2016002308A1 (ja) * 2014-07-01 2016-01-07 クラリオン株式会社 車載用撮像装置
CN105612568A (zh) * 2013-10-18 2016-05-25 歌乐牌株式会社 车辆用起步辅助装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4678860B2 (ja) 2006-01-24 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法とプログラム
JP2012038048A (ja) 2010-08-06 2012-02-23 Alpine Electronics Inc 車両用障害物検出装置
EP2871101B1 (en) * 2012-07-03 2020-06-17 Clarion Co., Ltd. Vehicle surrounding monitoring device
JP5610106B1 (ja) 2013-02-18 2014-10-22 パナソニック株式会社 撮像装置の異物情報検出装置および異物情報検出方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103523014A (zh) * 2012-07-03 2014-01-22 歌乐株式会社 车载装置
CN104412573A (zh) * 2012-07-03 2015-03-11 歌乐株式会社 车载装置
CN104798368A (zh) * 2012-11-27 2015-07-22 歌乐株式会社 车载图像处理装置
CN105612568A (zh) * 2013-10-18 2016-05-25 歌乐牌株式会社 车辆用起步辅助装置
WO2015183889A1 (en) * 2014-05-27 2015-12-03 Robert Bosch Gmbh Detection, identification, and mitigation of lens contamination for vehicle mounted camera systems
WO2016002308A1 (ja) * 2014-07-01 2016-01-07 クラリオン株式会社 車載用撮像装置

Also Published As

Publication number Publication date
EP3499862B1 (en) 2021-07-28
JP6576887B2 (ja) 2019-09-18
WO2018029925A1 (ja) 2018-02-15
CN109565536A (zh) 2019-04-02
US20190174029A1 (en) 2019-06-06
JP2018026671A (ja) 2018-02-15
EP3499862A4 (en) 2020-03-04
EP3499862A1 (en) 2019-06-19
US10972639B2 (en) 2021-04-06

Similar Documents

Publication Publication Date Title
CN109565536B (zh) 车载装置
US9956941B2 (en) On-board device controlling accumulation removing units
JP6117634B2 (ja) レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
US11142124B2 (en) Adhered-substance detecting apparatus and vehicle system equipped with the same
CN102883925B (zh) 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置
EP2871101B1 (en) Vehicle surrounding monitoring device
JP6174975B2 (ja) 周囲環境認識装置
US20140241589A1 (en) Method and apparatus for the detection of visibility impairment of a pane
JP2014013454A (ja) 車載用環境認識装置
EP2945116A1 (en) Method and apparatus for providing an augmented image of a vehicle's surrounding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201117

CF01 Termination of patent right due to non-payment of annual fee