CN105830428A - 目标检测设备、移动体设备控制***及其程序 - Google Patents

目标检测设备、移动体设备控制***及其程序 Download PDF

Info

Publication number
CN105830428A
CN105830428A CN201480068131.1A CN201480068131A CN105830428A CN 105830428 A CN105830428 A CN 105830428A CN 201480068131 A CN201480068131 A CN 201480068131A CN 105830428 A CN105830428 A CN 105830428A
Authority
CN
China
Prior art keywords
light
image
detection
imaging
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480068131.1A
Other languages
English (en)
Inventor
笠原亮介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN105830428A publication Critical patent/CN105830428A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • B60Q1/143—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic combined with another condition, e.g. using vehicle recognition from camera images or activation of wipers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/312—Adverse weather
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/41—Indexing codes relating to other road users or special conditions preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/42—Indexing codes relating to other road users or special conditions oncoming vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

一种目标检测设备，包括∶发射照明光的光照明单元；成像单元，其通过检测来自摄影被摄体的光，捕获远处摄影被摄体的第一图像，通过检测从异物反射的照明光，捕获附着于监视区域的异物的第二图像，并且产生图像帧；目标检测单元，其根据第一图像，在远处摄影被摄体之中检测检测目标；异物检测单元，其根据第二图像检测异物；以及曝光量改变单元，其改变该成像单元的曝光量。该目标检测单元使用具有不同曝光量的多个成像帧检测该检测目标。该异物检测单元使用除了具有最大曝光量的成像帧之外的成像帧，检测该异物。

Description

目标检测设备、移动体设备控制***及其程序
技术领域
本发明涉及一种目标检测设备、一种提供有此目标检测设备的移动体设备控制***和一种目标检测程序，用于检测如附着于光透射构件(如前风挡)的雨滴之类的附着物，或者存在于围绕移动体等的图像捕获区域中的检测目标。
背景技术
专利文献1公开一种设备，其通过使用相机(捕获装置)检测附着于车辆的前风挡的雨滴，该相机用于检测围绕该车辆的信息。在这个设备中，捕获帧的区域被分成用于检测围绕该车辆的信息的图像区域(捕获区域图像)和用于检测雨滴的图像区域(附着物观察图像)。对于检测围绕车辆的信息的过程，使用用于检测围绕该车辆的信息的该图像区域的捕获的图像数据。对于检测雨滴的过程，使用用于检测雨滴的图像区域的捕获的图像数据。此外，对于检测雨滴的过程，通过以来自专用的光源的照射，照射前风挡中的附着物观察部分，获得捕获图像数据。
在专利文献1中公开的设备中，对于被用于检测围绕车辆的信息的过程的捕获的图像数据，使用以适合于检测围绕车辆的信息的曝光量捕获的捕获帧的图像数据，并且对于被用于检测雨滴的过程的捕获的图像数据，使用以适合于检测雨滴的曝光量捕获的捕获帧的图像数据。具体地，遵循规则(在连续地捕获预定次数之后，具有适合于检测围绕车辆的信息的曝光量的用于检测围绕车辆的信息的捕获帧)，该曝光量切换到适合于检测雨滴的量，并且用于检测雨滴的捕获帧仅捕获一次；然后重复地执行该捕获过程。按照以上过程，在检测围绕车辆的信息的过程和检测雨滴的过程两者中，都保证了高检测准确度。
专利文献1∶日本公布专利申请No.2013-115625。
发明内容
发明要解决的问题
传统地，在检测存在于图像捕获区域(围绕车辆)中的检测目标的过程中提高检测准确度，比在检测附着物(雨滴等)的过程中提高检测准确度，被给予优先级。因此，在使用相同的捕获帧都执行过程的情况下，用于捕获捕获帧的曝光量设置为适合于检测检测目标的过程的量。通常，适合于检测附着物的过程的曝光量最好设置为尽可能小的量，以便最小化来自透镜的闪光或者重影、或者来自光源的除了照射光之外的干扰光的影响。另一方面，适合于检测围绕车辆的信息的过程的曝光量最好设置为尽可能大的量，因为重要的是防止通过检测来自车辆周围的相对弱的光检测检测目标的失败。因此，在以适合于检测围绕车辆的信息的过程的曝光量捕获的捕获帧中，该曝光量对于检测雨滴的过程太大，并且来自该光源的光受干扰光的显著影响，并且用于检测雨滴的精度不能提高。
本发明的发明人已经发现，使用以不同曝光量捕获的捕获帧，不仅在检测围绕车辆的信息的过程和检测雨滴的过程之间，而且在检测围绕车辆本身的信息的过程中，对于通过检测围绕车辆的信息的过程检测的多个检测目标，对于提高各自的检测准确度是有效的。按照以上，因为多个检测目标的每一个可以从以适合于该检测目标的曝光量捕获的每个捕获帧检测，所以各自的检测目标的检测准确度可以提高。此外，在检测目标之中，存在当曝光量小时为其获得较高检测准确度的检测目标。例如，在前车辆的尾灯或者迎面车辆的头灯是高强度检测目标。对于这样的检测目标，当曝光量小时，和如在路或者路边缘上的白线之类的低强度检测目标相比，可以获得较高检测准确度。
以这种方式，在从以适合于检测目标的曝光量捕获该检测目标的捕获帧检测多个检测目标的每一个的配置中，存在曝光量小的捕获帧。在这样的一种捕获帧中，对于在检测雨滴的过程中检测附着物，可以保证充分的检测准确度。此外，当对于与被用于以这种方式检测检测目标的过程的相同的捕获帧，执行检测附着物的过程时，与分开地***用于检测附着物的专用的捕获帧的情况相比较，对于检测目标捕获帧的帧速率没有减少。因为帧速率的减少变为用于减少用于检测目标的检测准确度的因素，所以重要的是不减少用于检测目标的捕获帧的帧速率。
上述的说明用于以下情形：其中在使用两个或更多捕获帧(每个捕获帧以适合于该检测目标的曝光量捕获检测目标)检测多个检测目标的配置中，曝光量相对小的捕获帧从两个或更多捕获帧选择，并且被用于检测附着物的过程。
另一方面，也在单个检测目标通过使用两个或更多捕获帧(以彼此不同的曝光量分别捕获)检测的配置中，与用于通过仅使用以单个曝光量捕获的捕获帧的检测的配置相比较，可以经常获得高检测准确度。也在这样的一种配置中，当曝光量相对小的曝光条件的捕获帧从两个或更多捕获帧选择，并且被用于检测附着物的过程时，充分的检测准确度可以在检测附着物中保证。
无论如何，在使用两个或更多捕获帧的配置中，其中对于检测检测目标的过程曝光量彼此不同，当曝光量相对小的捕获帧从两个或更多捕获帧选择并且被用于检测附着物的过程时，充分的检测准确度可以在检测附着物中保证。
鉴于以上主题，本发明的至少一个实施例的一般目的在于提供一种目标检测设备、提供有此的移动体设备控制***和目标检测程序，其实质上排除由有关技术的限制和劣势所引起的一个或多个问题。
解决问题的手段
按照本发明的一方面，一种目标检测设备，包括∶光照明单元，配置为发射照明光用于照明光透射构件上定义的监视区域；成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧；目标检测单元，配置为根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；异物检测单元，配置为根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及曝光量改变单元，配置为从成像帧到成像帧改变该成像单元的曝光量。该目标检测单元使用其曝光量彼此不同的两个或更多成像帧中的第一图像，检测该检测目标。该异物检测单元使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的两个或更多成像帧的成像帧中的第二图像，检测该异物。
按照本发明的另一方面，一种目标检测设备，包括∶光照明单元，配置为发射照明光用于照明光透射构件上定义的监视区域；成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧；目标检测单元，配置为根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；异物检测单元，配置为根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及曝光条件改变单元，配置为从成像帧到成像帧改变该成像单元的曝光条件。该目标检测单元根据在分别对应多个种类的检测目标的曝光条件成像的成像帧群中的第一图像，检测分别对应该成像帧群的种类的检测目标。该异物检测单元使用除了对应于其曝光量在成像帧群之中最大的曝光条件的成像帧群之外的成像帧群的成像帧群中的第二图像，检测该异物。
按照本发明的又一方面，一种移动体设备控制***，包括∶目标检测单元，配置为检测附着于在移动体中的光透射构件上定义的监视区域的异物，和在该移动体周围的远处摄影被摄体之中存在的检测目标；以及移动体设备控制单元，配置为根据该目标检测单元的该异物的检测结果和该检测目标的检测结果，控制安装在该移动体上的预定设备。该目标检测设备包括∶光照明单元，配置为发射照明光用于照明光透射构件上定义的监视区域；成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧；目标检测单元，配置为根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；异物检测单元，配置为根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及曝光量改变单元，配置为从成像帧到成像帧改变该成像单元的曝光量。该目标检测单元使用其曝光量彼此不同的该成像帧的两个或更多中的第一图像，检测检测目标。该异物检测单元使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的两个或更多成像帧的成像帧中的第二图像，检测该异物。
按照本发明的又一方面，一种非暂时计算机可读存储介质，存储用于使得目标检测设备的计算机执行目标检测过程的程序，该目标检测设备包括光照明单元，配置为发射照明光，用于照明在光透射构件上定义的监视区域；和成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过该光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧。该目标检测过程包括∶目标检测步骤，用于根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；异物检测步骤，用于根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及曝光量改变步骤，用于从成像帧到成像帧改变该成像单元的曝光量。在该目标检测步骤中，使用其曝光量彼此不同的两个或更多成像帧中的第一图像，检测检测目标。在该异物检测步骤中，使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的两个或更多成像帧的成像帧中的第二图像，检测该异物。按照本发明的又一方面，一种非暂时计算机可读存储介质，存储用于使得目标检测设备的计算机执行目标检测过程的程序，该目标检测设备包括光照明单元，配置为发射照明光，用于照明在光透射构件上定义的监视区域；和成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过该光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧。该目标检测过程包括∶目标检测步骤，用于根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；异物检测步骤，用于根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及曝光条件改变步骤，用于从成像帧到成像帧改变该成像单元的曝光条件。在该目标检测步骤中，根据在分别对应多个种类的检测目标的曝光条件成像的成像帧群中的第一图像，检测分别对应该成像帧群的种类的检测目标。在该异物检测步骤中，使用除了对应于其曝光量在成像帧群之中最大的曝光条件的成像帧群之外的成像帧群的该成像帧群中的第二图像，检测该异物。
按照本发明的各实施例，提供一种附着物检测设备、一种提供有此的移动体设备控制***和一种附着物检测程序，其可以在检测检测目标的过程和在检测附着物的过程两者中，实现高检测准确度，而没有分开地***专用的捕获帧用于检测附着物。
附图说明
图1是示意地图示按照本实施例的车辆上设备控制***的配置的示例的示意图；
图2是示意地图示按照本实施例的车辆上设备控制***中的成像单元的配置的示例的示意图；
图3是示意地图示按照本实施例的成像单元中提供的成像设备的示意的配置的示例的说明图；
图4是图示红外光图像数据的示例的说明图，该红外光图像数据是在成像透镜聚焦于按照本实施例的自己车辆的前风挡外壁表面上的雨滴的情形用于检测雨滴的捕获的图像数据；
图5是图示红外光图像数据的示例的说明图，该红外光图像数据是在按照本实施例无限远调焦成像透镜的情形用于检测雨滴的捕获的图像数据；
图6是图示按照本实施例的截止滤波器的滤波器特性的示例的曲线图，该截止滤波器可应用到用于检测雨滴的捕获的图像数据；
图7是图示按照本实施例的带通滤波器的滤波器特性的示例的曲线图，该带通滤波器可应用到用于检测雨滴的捕获的图像数据；
图8是图示按照本实施例的提供于成像设备的滤光器的前级滤波器的正视图的示例的图；
图9是图示按照本实施例的成像设备捕获的图像数据的图像的示例的说明图；
图10是详细地图示按照本实施例的目标检测设备的示例的说明图；
图11是图示从垂直于光透射方向的方向观察的按照本实施例的成像设备的滤光器和图像传感器的示例的放大示意图；
图12是图示按照本实施例的滤光器的偏振滤波器层和光谱滤波器层的区域划分模式的示例的说明图；
图13是示意地图示按照第一配置示例的滤光器的各层的配置的示例的截面图；
图14是图示对应于光的量的信息的内容的说明图，该光透射通过按照本实施例的滤光器中的用于检测车辆的滤波器单元，并且由图像传感器上的每个光电二极管接收(每个成像像素的信息)；
图15A是示意地图示按照本实施例的滤光器的用于检测车辆的滤波器单元和图像传感器的示例的截面图，沿着图14中显示的基准线A-A切开；
图15B是示意地图示按照本实施例的滤光器的用于检测车辆的滤波器单元和图像传感器的示例的截面图，沿着图14中显示的基准线B-B切开；
图16是图示对应于光的量的信息的内容的说明图，该光透射通过按照本实施例的滤光器中的用于检测雨滴的滤波器单元，并且由图像传感器上的每个光电二极管接收(每个成像像素的信息)；
图17A是示意地图示按照本实施例的滤光器的用于检测雨滴的滤波器单元和图像传感器的示例的截面图，沿着图16中显示的基准线A-A切开；
图17B是示意地图示按照本实施例的滤光器的用于检测雨滴的滤波器单元和图像传感器的示例的截面图，沿着图16中显示的基准线B-B切开；
图18是图示按照本实施例的与雨滴检测相关的各种光的示例的说明图；
图19是图示按照本实施例的滤光器的用于检测雨滴的滤波器单元的示例的说明图，其中线格栅结构的金属线的纵向在偏振滤波器层上的各自的点彼此不同；
图20是图示对应于光的量的信息的内容的示例的说明图，该光透射通过按照第二配置示例的滤光器，并且由图像传感器上的每个光电二极管接收(每个成像像素的信息)；
图21A是示意地图示按照本实施例的滤光器和图像传感器的示例的截面图，沿着图20中显示的基准线A-A切开；
图21B是示意地图示按照本实施例的滤光器和图像传感器的示例的截面图，沿着图20中显示的基准线B-B切开；
图22是图示对应于光的量的信息的内容的示例的说明图，该光透射通过按照第三配置示例的滤光器，并且由图像传感器上的每个光电二极管接收(每个成像像素的信息)；
图23A是示意地图示按照本实施例的滤光器和图像传感器的示例的截面图，沿着图22中显示的基准线A-A切开；
图23B是示意地图示按照本实施例的滤光器和图像传感器的示例的截面图，沿着图22中显示的基准线B-B切开；
图24是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的示例的说明图；
图25是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的另一个示例的说明图；
图26是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的又一个示例的说明图；
图27是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的又一个示例的说明图；
图28是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的又一个示例的说明图；
图29是图示用于限制透射通过按照本实施例的滤光器的光谱滤波器层的非光谱区域的光量的配置的又一个示例的说明图；
图30是图示按照第四配置示例的滤光器的偏振滤波器层的线格栅结构的金属线的纵向的示例的说明图；
图31是按照本实施例的偏振滤波器层的线格栅结构的示例的放大的图像；
图32是图示按照本实施例的可应用到光谱滤波器层的截止滤波器的滤波器特性的示例的图；
图33是图示按照本实施例的可应用到光谱滤波器层的带通滤波器的滤波器特性的示例的图；
图34是图示使用按照本实施例的成像设备成像的微分偏振度的直方图的示例的图，该微分偏振度对于来自雨天中的头灯的直射光和对于在下雨的路面上从头灯反射的反射光计算；
图35是图示由按照本实施例的成像设备成像的状态的示例的示意图，其中当自己的车辆行进在下雨的路面上时，在前车辆和迎面车辆两者都在行进方向前面在几乎相同的距离存在；
图36是图示按照本实施例的车辆检测过程的流程的示例的流程图；
图37A是图示单色亮度图像(非光谱和非偏振的)和非光谱微分偏振度的图像的示例的图像，该单色亮度图像对于包括在雨中的白线的捕获区域成像；
图37B是图示对于在雨中相同的捕获区域成像的非光谱微分偏振度的图像的示例的图像；
图38是图示在布儒斯特角的反射光的偏振态的说明图；
图39A是图示雨滴附着于车辆的前风挡的外壁表面的捕获的图像的示例的说明图；
图39B是图示雨滴没有附着于该车辆的该前风挡的外壁表面的捕获的图像的示例的说明图；
图40是简单地图示按照成像操作的第一示例的成像设备的成像操作的示例的定时图；以及
图41是简单地图示按照成像操作的第二示例的成像设备的成像操作的示例的定时图。
具体实施方式
在下文中，将解释按照本发明的目标检测设备用于作为移动体设备控制***的车辆上设备控制***中的实施例。
同时，按照本发明的目标检测设备不局限于被用于移动体设备控制***的目标检测设备，而是可用作另一个***中的目标检测设备，只要该目标检测设备通过光透射构件，基于捕获的图像检测捕获区域中的探测目标，并且还检测附着于该透射构件的附着物。
图1是示意地图示按照本实施例的车辆上设备控制***的配置的示意图。
该车辆上设备控制***，通过使用安装在自己的车辆100(如作为移动体的汽车)上的成像设备，通过使用在作为捕获区域的自己车辆周围(尤其在行进方向前面)捕获的捕获的图像数据，执行头灯的光分布控制、刮水器的驱动控制和其它车辆上设备的控制。
提供于按照本实施例的车辆上设备控制***的成像设备，提供于成像单元101中，并且对在行进的自己车辆100的行进方向的前部区域作为捕获区域成像。该成像设备例如在自己的车辆100的前风挡105的后视镜(未显示)周围提供。由成像单元101的成像设备捕获的捕获的图像数据输入到图像分析单元102。图像分析单元102分析从成像设备发送的捕获的图像数据，计算在自己的车辆100前面存在的另一个车辆的位置(方向和距离)，检测附着于前风挡105的如雨滴之类的附着物或者异物，或者检测存在于捕获区域中的如路表面上的白线(标记线)之类的检测目标。在其它车辆的检测中，通过辨认其它车辆的尾灯，检测与自己的车辆100相同的行进方向行进的在前车辆，并且通过辨认其它车辆的头灯，检测在与自己的车辆100相反的方向行进的迎面车辆。
图像分析单元102的计算结果发送到头灯控制单元103。头灯控制单元103例如从图像分析单元102计算的其它车辆的位置数据，产生用于控制作为自己的车辆100的车辆上设备的头灯104的控制信号。具体地，例如，控制用于前灯104的低光束和高光束之间的切换，或者部分地屏蔽头灯104，使得保证自己的车辆100的驾驶员的视野，同时防止自己的车辆100的头灯向在前车辆或者迎面车辆的驾驶员的眩目。
图像分析单元102的计算结果也发送到刮水器控制单元106。刮水器控制单元106控制刮水器107，其除去附着于自己的车辆100的前风挡105的如雨滴或者异物之类的附着物。刮水器控制单元106接收用于由图像分析单元102检测的附着物的检测结果，并且产生用于控制刮水器107的控制信号。当由刮水器控制单元106产生的该控制信号发送到刮水器107时，刮水器107操作以便保证自己的车辆100的驾驶员的视野。
此外，图像分析单元102的计算结果也发送到车辆行进控制单元108。车辆行进控制单元108基于图像分析单元102检测的白线检测结果，在自己的车辆100偏离由白线等分区的行车道的情形，向自己的车辆100的驾驶员报警，或者执行驾驶辅助控制，如方向盘或者制动器的控制。此外，车辆行进控制单元108基于图像分析单元102检测的其它车辆的位置数据，在到在前车辆的距离减少等的情形，向自己的车辆100的驾驶员报警，或者执行驾驶辅助控制，如方向盘或者制动器的控制。
图2是示意地图示成像单元101的配置的示意图。
图3是图示提供于成像单元101中的成像设备200的示意配置的说明图。
成像单元101包括成像设备200，如成像装置、作为光发射装置的光源202以及用于容纳成像设备200和光源202的成像外壳。图像单元101安装在自己的车辆100的前风挡105的内壁表面一侧。如图3所示的成像设备200包括成像透镜204、滤光器205和图像传感器206。安排光源202，使得当光源202发射包括朝向前风挡105的红外光的光，并且该光在附着于风挡105的外壁表面的雨滴和空气之间的界面反射时，该反射光进入进入成像设备200。此外，在附着于前风挡105的外壁表面的附着物是光透不过的异物的情形，当来自光源202的光在该异物和前风挡105的外壁表面之间的界面反射时，该反射光进入成像设备200。
在本实施例中，光源202用于检测附着于前风挡105的外壁表面的附着物(在下文中，将示范该附着物是雨滴的例子)。当任何雨滴203没有附着于前风挡105的外壁表面时，因为从光源202发射的光的大部分穿过前风挡105的外壁表面，所以该光几乎不进入成像设备200。另一方面，如图2所示，在雨滴203附着于前风挡105的外壁表面的情形，该发射光在穿过前风挡105的外壁表面之后，在雨滴203和空气之间的界面反射，并且该反射光再次穿过前风挡105的外壁表面，从而该反射光进入成像设备200。按照上述差异，对比(亮度差)发生在成像设备200中的捕获的图像数据中，并且可以检测附着于前风挡105的雨滴203。
此外，在本实施例中，如图2中所示的成像单元101，与前风挡105一起，以成像盒201覆盖成像设备200和光源202。以这种方式，通过以成像盒201覆盖，甚至在前风挡105的内壁表面有雾的情况，也可以防止用该成像单元101覆盖的前风挡105的一部分上的雾。因此，抑制了由于前风挡105上的雾导致的图像分析单元102的错误分析，并且可以基于图像分析单元102的分析结果，适当地执行各种控制操作。
然而，在从成像设备200的捕获的图像数据检测前风挡105的雾并且控制自己的车辆100的空调设备的情况下，例如，空气流过的流径可提供于成像盒201的一部分中，使得前风挡105相对成像设备200的该部分中的情况与在其它部分中的情况相同。
这里，在本实施例中，成像透镜204的焦点位置设置在无限远，或者在无限远和前风挡105之间。因此，不仅在检测附着于前风挡105的表面的雨滴203的情况下，而且在检测在前车辆或者迎面车辆或者检测白线的情况下，可以由成像设备200从捕获的图像数据获取适当的信息。
例如，在检测附着于前风挡105的雨滴203的情况下，因为在捕获的图像数据中的雨滴的图像经常具有圆形，所以执行形状识别过程确定捕获的图像数据中的雨滴候选图像是否具有圆形，并且辨认该雨滴候选图像为雨滴图像。在执行上述形状识别过程的情况下，而非成像透镜204聚焦前风挡105的外壁表面上的雨滴203，当成像透镜204的焦点位置设置在无限远或者在无限远和前风挡105之间时，图像散焦，并且雨滴(圆形)的形状识别比率被提高，从而雨滴检测性能变为高。
图4是图示红外光图像数据的说明图，该红外光图像数据是在成像透镜204聚焦于前风挡105的外壁表面上的雨滴203的情形用于检测雨滴的捕获的图像数据。
图5是图示红外光图像数据的说明图，该红外光图像数据是在成像透镜204聚焦无限远处情形用于检测雨滴的捕获的图像数据。
当成像透镜204聚焦于前风挡105的外壁表面上的雨滴203时，如图4所示，甚至捕获雨滴中投影的背景图像203a。该背景图像203a，如上，可以导致雨滴203的错误的检测。此外，如图4所示，仅具有弓形形状的一部分雨滴203b的亮度可以变高。具有较高亮度的部分的形状，即雨滴图像的形状，依赖日光的方向或者街灯的位置改变。在处理这种如上多样地改变的雨滴图像的形状中，形状识别过程的处理负荷变大。此外，识别准确度降低。
另一方面，当成像透镜204聚焦在无限远时，如图5所示，图像散焦。然后，投影在雨滴203中的背景图像203a没有反映在捕获的图像数据中，并且抑制了对于雨滴203的错误的检测的发生。此外，按照散焦的图像，雨滴的图像的形状上的变化程度依赖日光的方向或者街灯的位置变小，并且雨滴的图像的形状总是近似圆的。因此，在处理雨滴的图像的形状中，形状识别过程的处理负荷变小，并且识别准确度增加。
然而，在成像透镜204聚焦在无穷远处情形，当辨认在遥远处行进的在前车辆的尾灯时，从尾灯接收光的图像传感器206上的光接收元件的数量可以变为近似一。在这种情况下，之后详细描述地，尾灯的光可能不由接收尾灯的红光的用于红光的光接收元件接收。那么，不能辨认尾灯，并且在前车辆没有被检测。为了避免上述缺点，成像透镜204的焦点最好设置少于无限远。因此，在前车辆的尾灯的图像散焦，并且从尾灯接收光的光接收元件的数目可以增加。那么，用于尾灯的识别准确度被提高，并且在前车辆的检测准确度增加。
对于成像单元101中的光源202，可使用发光二极管(LED)或者激光二极管(LD)。此外，来自光源202的发射光的波长可以是可见光或者红外光的波长。然而，在避免来自光源202的光对于迎面车辆的驾驶员、行人等眩目的情况下，可以在图像传感器的光接收灵敏度中被检测的大于可见光的波长，例如红外光范围中的波长，大于或等于800nm并且小于或等于1000nm，最好被选择。按照本实施例的光源202以在红外光范围的波长发光。
这里，当从光源202发射并且在前风挡105上的雨滴203反射的具有红外光波长的光由成像设备200捕获时，除具有来自光源202的红外光的波长的光之外，例如，成像设备200的图像传感器206接收如日光之类的干扰光，其具有包括具有红外光波长的光的大量光。因此，为了从这种干扰光区分来自光源202的具有红外光波长的光，要求光源202的发光量充分地大于干扰光的光量。但是，经常难以使用具有大的发光量的这种光源202。
那么，在本实施例中，例如，配置使得来自光源202的光由图像传感器206经由如图6所示的截止滤波器或者经由如图7所示的带通滤波器接收，该截止滤波器截止波长比光源202的光发射波长短的光，而该带通滤波器在大约光源202的光发射波长具有透射因子的峰值。因此，不接收具有除了光源202的光发射波长的波长的光，并且由图像传感器206接收的来自光源202的光的光量变为相对大于干扰光的光量。结果，即使光源202的发光量不大，来自光源202的光也可以区别于干扰光。
然而，在本实施例中，执行了不仅前风挡105上的雨滴203的检测，而且在前车辆、迎面车辆或者白线的检测。因此，当除了具有从光源202发射的红外光的波长的光之外的波长带对于全部捕获的图像除去时，具有为检测在前车辆、迎面车辆或者白线所必需的波长带的光不能由图像传感器206接收，并且它可能导致它们的检测中的问题。因此，在本实施例中，捕获的图像数据的图像区域被分成雨滴检测图像区域(对于检测前风挡105上的雨滴203)和车辆检测图像区域(用于检测在前车辆/迎面车辆或者白线)。滤光器205提供有滤波器，其仅对于对应于雨滴检测图像区域的部分，除去除了具有从光源202发射的红外光的波长的光之外的波长带。
图8是图示提供于滤光器205中的前级滤波器210的正视图的图。
图9是图示捕获的图像数据的图像的示例的说明图。
如图3所示的按照本实施例的滤光器205，具有前级滤波器210和后级滤波器220在光透射方向叠加的配置。前级滤波器210的区域如图8所示划分为：作为车辆检测图像区域213的红外光截止滤波器区域211(提供在对应于捕获的图像的上三分之二的位置)，和作为雨滴检测图像区域214的红外光透射滤波器区域212(提供在对应于捕获的图像的下三分之一的位置)。在红外光透射滤波器区域212中，使用图6中显示的截止滤波器或者图7中显示的带通滤波器。
正常地，迎面车辆的头灯、在前车辆的尾灯和白线的图像经常显得主要超出捕获的图像的中心部分，并且在自己的车辆前面的最接近的路面的图像经常出现在捕获的图像的下部。因此，辨认迎面车辆的头灯、在前车辆的尾灯和白线需要的信息集中于捕获的图像的上部。在辨认它们中，在捕获的图像的下部的信息不重要。那么，在从单个捕获的图像数据元素同时地执行迎面车辆、在前车辆和白线的检测和雨滴的检测两者的情况下，捕获的图像的下部最好分配给雨滴检测图像区域214，而剩余部分最好分配给车辆检测图像区域213，如图9所示。前级滤波器210的区域对应于上述分配划分。
同时，在本实施例中，图示以下示例，其中在捕获的图像中，雨滴检测图像区域214在车辆检测图像区域213下面提供。然而，雨滴检测图像区域214可提供在车辆检测图像区域213之上，或者雨滴检测图像区域214可提供在车辆检测图像区域213之上和以下。
当成像设备200的成像方向倾斜时，自己的车辆的机盖的图像可能进入捕获区域中的下部。在这种情况下，日光或者在自己的车辆的机盖上反射的来自在前车辆的光可能变为干扰光。包括在捕获的图像数据中的该干扰光，可能导致迎面车辆的头灯、在前车辆的尾灯和白线的错误的辨认。甚至在上述情形，在本实施例中，因为图6中显示的截止滤波器或者图7中显示的带通滤波器安排在对应于捕获的图像的下部的位置，所以除去了该干扰光，如日光或者在机盖上反射的来自在前车辆的尾灯的光。因此，对于迎面车辆的头灯、在前车辆的尾灯和白线的识别准确度被提高。
同时，在本实施例中，由于成像透镜204的特性，在捕获区域中的图像以垂直反转的状态显示在图像传感器206上。因此，在分配捕获的图像的下部到雨滴检测图像区域214的情况下，图6中显示的截止滤波器或者图7中显示的带通滤波器提供于滤光器205的前级滤波器210的上部中。
在在前车辆的检测中，辨认捕获的图像中的尾灯，从而检测在前车辆。然而，因为该尾灯的光量小于迎面车辆的头灯的光量，并且由于如街灯之类的干扰光，仅从亮度数据以高准确度检测该尾灯是困难的。因此，需要光谱信息用于该尾灯的检测，并且基于接收的红光的光量辨认该尾灯。那么，在本实施例中，如之后描述的，仅透射尾灯的颜色的波长带的对应于尾灯的颜色的红光滤波器或者青色滤波器，安排在滤光器205的后级滤波器220中，从而可以检测接收的红光的光量。
然而，因为包括在按照本实施例的图像传感器206中的每一个光接收元件对于红外光的波长带的光也具有灵敏度，所以当图像传感器206接收包括红外光的波长带的光时，获得的捕获的图像总体上呈现红色调。结果，对应于尾灯的红色的图像部分的辨认可能变得困难。那么，在本实施例中，对应于车辆检测图像区域213的滤光器205的前级滤波器210中的一部分，分配给红外光截止滤波器区域211。因此，红外光的波长带从被用于辨认尾灯的捕获的图像数据的部分除去，并且对于尾灯的识别准确度增加。
图10是详细地图示按照本实施例的目标检测设备的说明图。
按照本实施例配置目标检测设备的图像设备200，主要包括成像透镜204、滤光器205、传感器衬底207(包括二维安排的具有象素阵列的图像传感器206)以及信号处理单元208(用于产生捕获的图像数据并且输出该捕获的图像数据，其中从传感器衬底207输出的模拟电信号(图像传感器206上的每一个光接收元件接收的光的光量)转换为数字电信号)。来自包括目标(检测目标)的捕获区域的光穿过成像透镜204，透射通过滤光器205，并且在图像传感器206转换为按照其光强的电信号。当从图像传感器206输出的该电信号(模拟信号)输入时，在信号处理单元208中，与垂直的和水平同步信号一起，从该电信号，将指示在图像传感器206上的每一个像素的亮度的数字信号，作为捕获的图像数据，输出到后级的单元。此外，因为信号处理单元208也作用为曝光量改变装置(用于执行对于图像传感器206的曝光控制)或者曝光条件改变装置，所以该信号处理单元提供有曝光量变化单元。此外，按照本实施例的目标检测设备图示其中图像分析单元102提供有目标检测处理单元和雨滴检测处理单元的示例，并且目标检测设备中的目标检测处理装置和附着物检测装置的功能提供于图像分析单元102中。然而，这些功能的至少一部分可提供于成像设备200中。
图11是图示从垂直于光透射方向的方向观察的滤光器205和图像传感器206的放大示意图。
图像传感器206是使用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等的图像传感器，CCD通过对所有成像像素执行同时曝光(全局快门)读取各自的成像像素的信号，而CMOS读取通过线曝光(卷帘快门)曝光的各自的成像像素的信号。对于光接收元件，使用光电二极管206A。光电二极管206A在阵列中对于每一个像素二维地安排一个，并且微透镜206B提供在每个光电二极管206A的入射侧，以便增强收集效率。图像传感器206通过线捆绑方法等连接到PWB(印刷布线板)，从而形成传感器衬底207。
安排滤光器208接近在微透镜206B一侧的图像传感器206的表面。滤光器205的后级滤波器220包括叠层结构，其中偏振滤波器层222和光谱滤波器层223在透明滤波器衬底221上顺序地形成，如图11所示。偏振滤波器层222和光谱滤波器层223两者被分成区域，使得每一个区域对应图像传感器206上的一个光电二极管206A。
滤光器205和图像传感器206可配置使得在它们之间存在间隙。然而，当滤光器205紧密地附着到图像传感器206时，使滤光器205的偏振滤波器层222和光谱滤波器层223上各自的区域的边界与在图像传感器206上的光电二极管206A之中的边界重合变得容易。滤光器205和图像传感器206可以UV粘接剂连接，或者被用于成像的有效像素外部的四侧区域可以UV粘接剂或者通过热压焊接连接，同时得到有效像素外部的垫片支持。
图12是图示按照本实施例的滤光器205的偏振滤波器层222和光谱滤波器层223上的区域划分模式的说明图。
两种区域，第一区域和第二区域，分别安排在偏振滤波器层222和光谱滤波器层223上，使得第一区域和第二区域的每一个对应图像传感器206上的一个光电二极管206A。因此，由图像传感器206上的每一个光电二极管206A接收的光量，按照接收的光透射通过的偏振滤波器层222或者光谱滤波器层223上的区域的种类，可以获得为偏振信息或者光谱信息。
同时，在本实施例中，将假定用于单色图象的成像元件说明图像传感器206。然而，图像传感器206可以包括用于彩色图像的成像元件。在以用于彩色图像的成像元件配置图像传感器206情况下，偏振滤波器层222和光谱滤波器层223上的每一个区域的光透射特性，可按照附着于用于彩色图像的成像元件的成像像素的每一个的滤色器的特性控制。
[滤光器的第一配置示例]
这里，将说明按照本实施例的(以下称为“第一配置示例”)滤光器205的配置的示例。
图13是示意地图示按照第一配置示例的滤光器205的各层的配置的示例的截面图。
在按照第一配置示例的滤光器205的后级滤波器220中，对应于车辆检测图像区域213的车辆检测滤波器部分220A的各层的配置，不同于对应于雨滴检测图像区域214的雨滴检测滤波器部分220B的各层的配置。具体地，车辆检测滤波器部分220A包括光谱滤波器层223，而雨滴检测滤波器部分220B不包括光谱滤波器层223。此外，车辆检测滤波器部分220A中的偏振滤波器层222的配置，不同于雨滴检测滤波器部分220B中的偏振滤波器层225的配置。
图14是图示对应于光量的信息的内容的说明图，该光透射通过按照第一配置示例的滤光器205中的车辆检测滤波器部分220A，并且由图像传感器206上的每个光电二极管206A接收(每个成像像素的信息)。
图15A是示意地图示沿着图14中显示的基准线A-A切开的滤光器205的车辆检测滤波器部分220A和图像传感器206的截面图。
图15B是示意地图示沿着图14中显示的基准线B-B切开的滤光器205的车辆检测滤波器部分220A和图像传感器206的截面图。
按照第一配置示例的滤光器205的车辆检测滤波器部分220A具有叠层配置，如图15A和15B中所示，其中在偏振滤波器层222在透明滤波器衬底221上形成之后，光谱滤波器层223在其上形成。然后，偏振滤波器层222具有线格栅结构，并且在叠层方向的上表面(在图15A和15B中的下侧表面)是波纹表面。当光谱滤波器层223直接地形成在这种波纹表面时，该光谱滤波器层沿着波纹表面形成，光谱滤波器层223的层厚度的不均匀发生，并且原始的光谱性能可能不可获得。因此，在按照本实施例的滤光器205中，在填充物在偏振滤波器层222中在叠层方向在上侧表面上填满以平面化该表面之后，光谱滤波器层223在其上形成。
因为填充物的材料不是只要防止偏振滤波器层222(其波纹表面由该填充物平面化)的功能即可，所以，在本实施例中，使用不具有偏振功能的材料。此外，对于填充物的平面化过程，例如，最好可采用通过使用旋涂玻璃法施加填充物的方法。但是，不局限于此。
在第一配置示例中，偏振滤波器层222的第一区域是垂直偏振区域，其仅选择垂直偏振分量，并且透射该垂直偏振分量(其在平行于图像传感器206的成像像素的列(垂直方向)的方向振动)。偏振滤波器层222的第二区域是水平偏振区域，其仅选择水平偏振分量，并且透射该水平偏振分量(其在平行于图像传感器206的成像像素的行(水平方向)的方向振动)。
此外，光谱滤波器层223的第一区域是红色光谱区域，其仅选择在可以透射通过偏振滤波器层222的使用波长带中包括的红波长带(特定波长带)的光，并且透射该选择的光。光谱滤波器层223的第二区域是非光谱区域，其不执行波长选择并且透射光。然后，在第一配置示例中，如由图14中的点划线矩形所示，捕获的图像数据的一个图像像素包括四个相邻的成像像素(两个列和两个行)，具有参考符号a、b、e和f。
在图14中显示的成像像素“a”，接收透射通过滤光器205的偏振滤波器层222中的垂直偏振区域(第一区域)并且通过光谱滤波器层223中的红色光谱区域(第一区域)的光。因此，成像像素“a”接收垂直偏振分量(由图14中的参考符号“P”显示)的红波长带(由图14中的参考符号“R”显示)的光P/R。
此外，在图14中显示的成像像素“b”，接收透射通过滤光器205的偏振滤波器层222中的垂直偏振区域(第一区域)并且通过光谱滤波器层223中的非光谱区域(第二区域)的光。因此，成像像素“b”接收垂直偏振分量P的非光谱(由图14中的参考符号“C”显示)光P/C。
此外，在图14中显示的成像像素“e”，接收透射通过滤光器205的偏振滤波器层222中的水平偏振区域(第二区域)并且通过光谱滤波器层223中的非光谱区域(第二区域)的光。因此，成像像素“e”接收水平偏振分量的非光谱C光S/C(由图14中的参考符号“S”显示)。
在图14中显示的成像像素“f”，接收透射通过滤光器205的偏振滤波器层222中的垂直偏振区域(第一区域)并且通过光谱滤波器层223中的红色光谱区域(第一区域)的光。因此，以与在成像像素“a”中同样的方式，成像像素“f”接收垂直偏振分量P的红波长带R的光P/R。
按照上述配置，在第一配置示例中，用于红光的垂直偏振分量的图像的一个图像像素，可以从成像像素“a”和成像像素“f”的输出信号获得。用于非光谱光的垂直偏振分量的图像的一个图像像素，可以从成像像素“b”的输出信号获得。用于非光谱光的水平偏振分量的图像的一个图像像素，可以从成像像素“e”的输出信号获得。因此，在第一配置示例中，通过用于成像的单个操作，获得三种捕获的图像数据，包括红光的垂直偏振分量的图像、非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像。
同时，虽然在上述捕获的图像数据中，图像像素的数量可以变得少于成像像素的数量，但是，为了获得具有高分辨率的图像，可使用公知的图像内插技术。例如，在获得具有高分辨率的红光的垂直偏振分量的图像的情况下，对于对应于成像像素“a”和“f”的图像像素，直接使用关于在这些成像像素“a”和“f”接收的红光的垂直偏振分量P的信息。对于对应于成像像素“b”的图像像素，例如，围绕它的成像像素“a”、“c”、“f”和“j”的平均，被用作关于在该图像像素的红光的垂直偏振分量的信息。
此外，在获得具有高分辨率的非光谱光的水平偏振分量的图像的情况下，对于对应于成像像素“e”的图像像素，直接使用关于在该成像像素“e”接收的非光谱光的水平偏振分量S的信息。对于对应于成像像素“a”、“b”、“f”的图像像素，可使用接收它周围的非光谱光的水平偏振分量的成像像素“e”、“g”等的平均，或者成像像素“e”的相同的值。
例如，如上获得的红光的垂直偏振分量的图像可被用于识别尾灯。因为在红光的垂直偏振分量的图像中，水平偏振分量S被截止，所以，可以获得红图像，其中防止了由于具有大水平偏振分量S的红光的干扰因素，如在路表面上反射的红光或者来自自己的车辆100的空间中的仪表板的红光(反射光)。因此，通过使用用于识别尾灯的红光的垂直偏振分量的图像，增强了对于尾灯的识别率。
此外，使用非光谱光的垂直偏振分量的图像，例如，用于识别白线或者到来的车辆的头灯。因为在非光谱光的水平偏振分量的图像中，水平偏振分量S被截止，所以，可以获得非光谱图像，其中防止了由于具有大水平偏振分量S的白光的干扰因素，如在路表面上反射的白光(例如头灯、街灯等)，或者来自自己的车辆100的空间中的仪表板的白光(反射光)。因此，通过使用非光谱光的垂直偏振分量的图像，用于识别白线或者到来的车辆的头灯，其识别率被增强。特别地，在雨中的路上，通常已知来自覆盖路面的水面的反射光具有许多水平偏振分量S。因此，通过使用用于识别白线的非光谱光的垂直偏振分量的图像，充分地识别在雨中的路上的水面下的白线变为可能，并且识别率被增强。
此外，通过使用比较图像，其中像素值表示在非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像之间比较各自的像素值的索引值，如之后描述的，准确地识别在图像区域中的金属体、路面的干和湿的状态、图像区域中的实体、在雨中路上的白线等，变为可能。作为这里使用的比较图像，例如，可使用其中像素值表示在非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像的像素值之间的差异值的差异图像，其中像素值表示在这些图像之间的像素值的比值的比值图象，其中像素值表示在这些图像的像素值之间的差异与这些图像的像素值的和的比值的微分偏振度图像等。
图16是图示对应于光量的信息的内容的说明图，该光透射通过按照第一配置示例的滤光器205中的雨滴检测滤波器部分220B，并且由图像传感器206上的每个光电二极管206A接收(每个成像像素的信息)。
图17A是示意地图示沿着图16中显示的基准线A-A切开的滤光器205的雨滴检测滤波器部分220B和图像传感器206的截面图。
图17B是示意地图示沿着图16中显示的基准线B-B切开的滤光器205的雨滴检测滤波器部分220B和图像传感器206的截面图。
在按照第一配置示例的滤光器205的雨滴检测滤波器部分220B中，如图17A和17B所示，具有线格栅结构的偏振滤波器层225形成在与车辆检测滤波器部分220A共享的滤波器衬底上。偏振滤波器层225在叠层方向的上侧表面充满填充物，以与车辆检测滤波器部分220A的偏振滤波器层222一起被平面化。然而，在雨滴检测滤波器部分220B中，不同于车辆检测滤波器部分220A，光谱滤波器层223不叠层。
在本实施例中，自己的车辆100内部的视图可反射在前风挡105的内壁表面上。这反射是通过有规则地在前风挡105的内壁上反射的光。这反射是具有相对大的光强度的干扰光，因为它是规则反射光。因此，当该反射与雨滴投影在雨滴检测图像区域214上时，对于雨滴的检测降低。此外，当规则反射光(其是从光源202发射并且有规则地在前风挡105的内壁表面上反射的光)与雨滴一起投影在雨滴检测图像区域214上时，该规则反射光也变为干扰光并且降下对于雨滴的检测准确度。
因为降低对于雨滴的检测准确度的上述干扰光是在前风挡105的内壁表面上有规则地反射的规则反射光，所以，其大部分偏振分量是偏振方向垂直于光源入射面的偏振分量，即水平偏振分量S，其平行于图像传感器206的成像像素的行(水平方向)振动。因此，在按照第一配置示例的滤光器205的雨滴检测滤波器部分220B中的偏振滤波器层225中，设置透射轴以便仅透射具有平行于虚拟平面(包括从光源202到前风挡105的光的光轴和成像透镜204的光轴(光源入射面))的偏振方向的偏振分量，即平行于图像传感器206的成像像素的列(垂直方向)振动的垂直偏振分量P。
按照上述，透射通过雨滴检测滤波器部分220B的偏振滤波器层225的光仅具有垂直偏振分量P，并且可以截止占据大部分干扰光(如在前风挡105的内壁表面上的反射光，或者从光源202在前风挡105的内壁表面上有规则地反射的有规则地反射的光)的水平偏振分量S。结果，雨滴检测图像区域214通过更少受干扰光的影响的垂直偏振分量P变为垂直偏振图像，并且在雨滴检测图像区域214中的基于捕获的图像数据的雨滴的检测准确度增强。
在第一配置示例中，包括在前级滤波器210中的红外光截止滤波器区域211和红外光透射滤波器区域212，分别由其层结构彼此不同的多层膜形成。这种前级滤波器210根据以下生产方法制造，其中例如一部分红外光透射滤波器区域212由真空沉积等形成，同时屏蔽一部分红外光截止滤波器区域211，并且该部分红外光截止滤波器区域211由真空沉积等形成，同时屏蔽该部分红外光透射滤波器区域212。
此外，在第一配置示例中，车辆检测滤波器部分220A的偏振滤波器层222和雨滴检测滤波器部分220B的偏振滤波器层225，两者都具有线格栅结构，用于划分为二维方向的区域。偏振滤波器层222包括以成像像素为单位划分的两种区域，其透射轴彼此正交(垂直偏振区域和水平偏振区域)。偏振滤波器层225包括以成像像素为单位划分的一种区域，具有仅透射垂直偏振分量P的透射轴。在形成在相同的透明滤波器衬底221上具有不同配置的偏振滤波器层222和225(例如通过调整用于对于具有线格栅结构的金属线执行图案的模板(对应于模具)的沟槽方向)的情况下，容易在纵向对于每个区域调整金属线。
同时，在第一配置示例中，红外光截止滤波器区域211可能不提供于滤光器205中，并且例如，红外光截止滤波器区域211可提供于成像透镜204中。在这种情况下，滤光器205的制造变得简单。
此外，代替红外光截止滤波器区域211，仅透射垂直偏振分量P的光谱滤波器层可形成在后级滤波器220中的雨滴检测滤波器部分220B上。在这种情况下，不必在前级滤波器210中形成红外光截止滤波器区域211。
此外，偏振滤波器层不是总是必须提供。
图18是图示与雨滴检测相关的各种光的说明图。
安排光源202，使得在前风挡105的外壁表面上有规则地反射的光近似与成像透镜204的光轴重合。
在图18中，光射线A是从光源202发射并且穿过前风挡105的光射线。在雨滴203不附着于前风挡105的外壁表面的情形，从光源202发射到前风挡105的光，如由光射线A所示，穿过前风挡105并且直接地泄漏到自己的车辆100外部。因此，对于光源202，考虑光可能进入人眼，最好选择具有对眼睛安全的带的波长和光量的光源。此外，如图18所示，优选的是配置使得从光源202发射到前风挡105的光垂直向上，因为该光不进入人眼。
图18中的光射线B是从光源202发射的光射线，在前风挡105内壁表面上有规则地反射，并且进入成像设备200。从光源202发射到前风挡105的一部分光，在前风挡105的内壁表面上有规则地反射。普遍知道，对于这个有规则地反射的光(光射线B)的偏振分量，在正交于进入平面的方向(垂直于图18的纸平面的方向)振动的S偏振分量(水平偏振分量S)是支配的。从光源202发射并且在前风挡105的内壁表面上有规则地反射的有规则地反射的光(光射线B)，不因存在或者不存在附着于前风挡105的外壁表面的雨滴203而波动。因此，光射线B不仅是对于检测雨滴不必要的光，而且是降低对于检测雨滴的检测准确度的干扰光。在第一配置示例中，光射线B(水平偏振分量S)由雨滴检测滤波器部分220B的偏振滤波器层225截止，并且可以抑制由于光射线B的雨滴检测准确度的降低。
图18中的光射线C是从光源202发射的光射线，穿过前风挡105的内壁表面，然后由附着于前风挡105的外壁表面的雨滴反射，并且进入成像设备200。从光源202发射到前风挡105的一部分光，穿过前风挡105的内壁表面。在穿过内壁表面的光中，垂直偏振分量P比水平偏振分量S更具支配性。在雨滴附着于前风挡105的外壁表面的情形，穿过前风挡105的内壁表面的光***漏到外部为光射线A，但是被反射以在雨滴内部倍增，朝成像设备200侧再次穿过前风挡105，并且进入成像设备200。然后，因为配置成像设备200的滤光器205中的前级滤波器210的红外光透射滤波器区域212，以便透射光源202的发射波长(红外光)，所以，光射线C穿过红外光透射滤波器区域212。此外，因为在随后的后级滤波器220中的雨滴检测滤波器部分220B的偏振滤波器层225中，形成具有线格栅结构的金属线的纵向以便透射垂直偏振分量P，所以光射线C也穿过偏振滤波器层225。因此，光射线C到达图像传感器206，并且按照接收的光量执行雨滴的检测。
图18中的光射线D是从前风挡105外部穿过前风挡105并且朝向成像设备200的雨滴检测滤波器部分220B进入的光射线。这个D也可以是检测雨滴时的干扰光，但是大部分光射线D由滤光器205中的前级滤波器210的红外光透射滤波器212截止。因此，可以抑制由于光射线D的雨滴检测准确度的降低。
图18中的光射线E是从前风挡105的外部穿过前风挡105并且朝向成像设备200的车辆检测滤波器部分220A进入的光射线。光射线E的红外带由滤光器205中的前级滤波器210的红外光截止滤波器区域211截止，并且仅捕获可见光带的光。捕获的图像用于检测迎面车辆的头灯、在前车辆的尾灯和白线。
同时，在第一配置示例中，说明光源202的数目是一的情形，但是可安排多个光源202。在这种情况下，雨滴检测滤波器部分220B的偏振滤波器层225划分为区域，使得其透射轴线方向彼此不同的多个偏振滤波器区域，以成像像素为单位在成像像素的二维阵列方向重复。然后，在每个偏振滤波器区域，设置透射轴以便透射仅一个偏振分量，其偏振方向平行于包括来自光源的光的光轴和成像透镜204的光轴的虚拟平面，其中从光源进入偏振滤波器区域的光的入射光量，在来自多个光源202的光量之中最大。
此外，在光源202的数目是一和光源202的数目大于一的任一情形，可以适当地除去在前风挡105的内壁表面上有规则地反射的干扰光的偏振滤波器层225的透射轴线方向，按照前风挡105的内壁表面上的位置(在其处反射进入偏振滤波器层225的每个位置的干扰光)改变。这是因为车辆的前风挡105不仅朝前向下倾斜，而且在水平方向从中心到两端大大地向后弯曲，以便增强空气动力特性。在这种情况下，在捕获的图像的雨滴检测图像区域214中，虽然在图像的中央部分中可以适当地截止干扰光，但是在图像的边缘部分中可能不能适当地截止干扰光。
图19是图示线格栅结构的金属线的纵向在各自的点(点1到3)在偏振滤波器层225上彼此不同的示例的说明图。
按照上述配置，在捕获的图像的雨滴检测图像区域214的全部区域中适当地截止干扰光变为可能。
同时，在按照本实施例的滤光器205，具有如图14所示分为区域的偏振滤波器层222和光谱滤波器层223的后级滤波器220，比前级滤波器210接近图像传感器206侧提供。然而，前级滤波器210可比后级滤波器220接近图像传感器206侧提供。
[滤光器的第二配置示例]
接下来，将说明按照本实施例的滤光器205的另一个配置示例(以下称为第二配置示例)。同时，在滤光器205的以下说明中，因为前级滤波器210和后级滤波器220的雨滴检测滤波器部分220B的配置与第一配置示例中相同，所以，将省略它们的说明，并且将仅说明后级滤波器220的车辆检测滤波器部分220A。
图20是图示对应于光的量的信息的内容的说明图，该光透射通过按照第二配置示例的滤光器205，并且由图像传感器206上的每个光电二极管206A接收(每个成像像素的信息)。
图21A是示意地图示沿着图20中显示的基准线A-A切开的滤光器205和图像传感器206的截面图。
图21B是示意地图示沿着图20中显示的基准线B-B切开的滤光器205和图像传感器206的截面图。
在第一配置示例中，光谱滤波器层223中的第一区域是红色光谱区域，其仅选择红波长带的光并且透射它。另一方面，在第二配置示例中，第一区域是青色光谱区域，其仅选择包括在可以透射通过偏振滤波器层222的使用波长带中的青色波长带(由图20中的Cy显示)的光，并且透射该选择的光。其它配置与第一配置示例中相同。
按照第二配置示例，用于青色光的垂直偏振分量的图像的一个图像像素，可以从成像像素“a”和成像像素“f”的输出信号获得。用于非光谱光的垂直偏振分量的图像的一个图像像素，可以从成像像素“b”的输出信号获得。用于非光谱光的水平偏振分量的图像的一个图像像素，可以从成像像素“e”的输出信号获得。因此，按照第二配置示例，通过用于成像的单个操作，获得三种捕获的图像数据，包括青色光的垂直偏振分量的图像、非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像。
在第二配置示例中，通过使用如上获得的该三种捕获的图像数据，以与第一配置示例中相同的方式，对于各自的识别目标(尾灯、头灯、白线等)的识别率增强。
此外，按照第二配置示例，可以使用在青色光的垂直偏振分量的图像和非光谱光的垂直偏振分量的图像之间的比较图像。通过使用如上的比较图像，以高准确度识别尾灯变为可能。也就是说，来自在透射通过青色光谱区域的成像像素的尾灯的光的接收量小，但是在透射通过非光谱区域的成像像素的光的接收量大。因此，通过产生在青色光的垂直偏振分量的图像和非光谱光的垂直偏振分量的图像之间的比较图像，使得反映上述差异，可以使在尾灯和它周围的背景部分之间的对比大；从而增强尾灯的识别率。
此外，在第二配置示例中，因为使用仅透射青色光的青色滤波器的青色光谱区域，被用于代替在第一配置示例中的使用红色滤波器的红色光谱区域，所以，用于从迎面车辆的头灯区别接近自己的车辆的在前车辆的尾灯的能力，比第一配置示例中的能力高。在如第一配置示例中的使用红色光谱区域的情况下，来自接近自己的车辆的在前车辆的尾灯的光通过红色光谱区域的接收量，可能太大而不损失光接收灵敏度，并且光的接收量饱和。因此，接近自己的车辆的在前车辆的尾灯的识别率可能降低。另一方面，在如第二配置示例中的使用青色光谱区域的情况下，来自接近自己的车辆的在前车辆的尾灯的光通过青色光谱区域的接收量不饱和，并且可以防止接近自己的车辆的在前车辆的尾灯的识别率的降低。
[滤光器的第三配置示例]
接下来，将说明按照本实施例的滤光器205的又一个配置示例(以下称为"第三配置示例")。
图22是图示对应于光的量的信息的内容的说明图，该光透射通过按照第三配置示例的滤光器225，并且由图像传感器226上的每个光电二极管206A接收(每个成像像素的信息)。
图23A是示意地图示沿着图22中显示的基准线A-A切开的滤光器205和图像传感器206的截面图。
图23B是示意地图示沿着图22中显示的基准线B-B切开的滤光器205和图像传感器206的截面图。
按照第三配置示例的偏振滤波器层222和光谱滤波器层223的划分的区域的配置，与第一配置示例中相同。然而，在第三配置示例中，用于限制光的接收量的孔径限制部分，对应于光谱滤波器层223中的非光谱区域提供。因此，在第三配置示例中，如在第一配置示例中，通过用于成像的单个操作，获得三种捕获的图像数据，包括红光的垂直偏振分量的图像、非光谱光的垂直偏振分量的图像、和非光谱光的水平偏振分量的图像。在这些捕获的图像数据之中，非光谱光垂直偏振分量的图像和非光谱光的水平偏振分量的图像，由比第一配置示例中的更少的接收光的量产生。
限制透射通过光谱滤波器层223中的非光谱区域的光的接收量的配置包括以下配置，其中具有圆形的线格栅结构形成在偏振滤波器层222的成像像素的中心部中，并且铝的固态膜形成在它周围，对应于如图24所示的光谱滤波器层223中的非光谱区域。按照上述配置，因为由铝的固态膜屏蔽光，所以透射通过光谱滤波器层223中的非光谱区域的光的接收量，可以受限于形成线格栅结构的区域(孔径率)的宽度。同时，形成线格栅结构的区域的形状不局限于如图24所示的圆。例如，该形状可以是近似矩形，如图25所示。在区域的形状具有角的情形，如图25所示，当在该角形成圆时，通过刻蚀等获得外形尺寸变得更容易。
具有线格栅结构的偏振滤波器层222通过生产方法一般地制造，其中，例如，在均匀地在透明滤波器衬底221上形成铝膜之后，该铝膜通过蚀刻等被部分地除去，从而获得线格栅结构。在提供线格栅结构周围的铝的光屏蔽区域以限制孔径的情况下，如在第三配置示例中，通过形成线格栅结构时保留线格栅结构周围的铝膜，可以限制孔径。因此，与从偏振滤波器层222分开地执行用于孔径限制的过程相比较，可以简化制造过程。
不用说，如图26所示的孔径限制层可从偏振滤波器层222分开地提供。在这种情况下，在孔径限制层中的成像像素的中心部中，不形成线格栅结构，但是形成用于直接透射光的孔径部分。
此外，用于限制孔径的屏蔽区域不局限于反射膜，如以上所述的铝膜。该屏蔽区域可由例如吸收光的膜形成。例如，如图27所示，该屏蔽区域可由抗黑色的固态膜形成。也在这种情况下，孔径部分的形状不局限于如图27所示的圆。例如，该形状可以是近似矩形，如图28所示。在区域的形状具有角的情形，如图28所示，当在该角形成圆时，通过刻蚀等获得外形尺寸变得更容易。
此外，用于一个成像像素的透射光的孔径部分的数目不局限于一。对于一个成像像素可形成线格栅结构区域的多个孔径部分。此外，用于一个成像像素的屏蔽区域的数目不局限于一。对于一个成像像素可形成多个屏蔽区域。特别地，屏蔽区域不必提供于成像像素的边缘部分中。例如，如图29所示，成像像素可具有其中铝的固态膜被安排在线格栅结构中的配置。
在第三配置示例中，获得三种捕获的图像数据，包括与第一配置示例中相同的红光的垂直偏振分量的图像、和非光谱光的垂直偏振分量的图像、以及其光的接收量与第一配置示例相比较被限制的非光谱光的水平偏振分量的图像。在第三配置示例中，利用使用红光的垂直偏振分量的图像从尾灯的识别的结果检测在前车辆，使用非光谱光的垂直偏振分量的图像或者非光谱光的水平偏振分量的图像，从头灯的识别的结果检测迎面车辆。一般地，尾灯或者头灯彼此配对，其在水平方向彼此分开预定距离。因此，使用这个性质检测在前车辆或者迎面车辆时，当尾灯或者头灯的两个图像部分彼此分开预定距离时，一对尾灯或者一对头灯被辨认为在前车辆的或者迎面车辆的。这时，因为头灯的光量大于尾灯的，当设置光接收灵敏度以便从尾灯适当地接收光时，来自头灯的光的接收量饱和，并且被辨认为头灯的图像区域扩大。然后，最初被辨认为两个分开的头灯的图像区域变为一个图像区域，并且头灯的图像区域不能适当地辨认。因此迎面车辆的识别率降低。以相反的方式，当设置光接收灵敏度以便从头灯适当地接收光时，来自尾灯的光的接收量不充足，并且尾灯的图像区域不能适当地辨认。那么，在前车辆的识别率降低。
按照第三配置示例，在被用于识别头灯的非光谱光的垂直偏振分量的图像和非光谱光的水平偏振分量的图像中，光的接收量受限于以上所述的孔径限制。因此，即使接收灵敏度设置为适合通过使用红光的垂直偏振分量(其接收量不被限制)的图像识别的尾灯，也防止了该头灯的光的接收量的饱和。头灯的各自的图像区域可以个别地识别，并且迎面车辆的识别率的降低被抑制。
同时，例如，通过从通过分别切换接收灵敏度分开地捕获的图像识别头灯和尾灯，有可能平衡头灯的识别与尾灯的识别。然而，在这种情况下，用于切换接收灵敏度的控制机构是必需的，并且存在捕获的图像数据的帧速率降低到一半的劣势。另一方面，按照第三配置示例，头灯的识别可以与尾灯的识别平衡，而没有以上所述的劣势。
[滤光器的第四配置示例]
接下来，将说明按照本实施例的滤光器205的又一个配置示例(以下称为"第四配置示例")。
提供于滤光器205的后级滤波器220中的偏振滤波器层222，如上所述，以成像像素为单位划分为：每个仅选择垂直偏振分量P并且透射它的垂直偏振区域(第一区域)；以及每个仅选择水平偏振分量S并且透射它的水平偏振区域(第二区域)。按照上述，其中截止水平偏振分量S的垂直偏振分量的图像，可以基于接收透射通过垂直偏振区域的光的成像像素的图像数据获得。此外，其中截止垂直偏振分量P的水平偏振分量的图像，可以从接收透射通过水平偏振区域的光的成像像素的图像数据获得。
在前风挡105的表面是平坦平面的情形，通过适当地设置关于前风挡105的表面的垂直偏振区域或者水平偏振区域的偏振方向(透射轴)，可以获得适当地截止前风挡105上的反射的垂直偏振分量的图像或者水平偏振分量的图像。然而，一般地，车辆的前风挡105不仅朝前向下倾斜，而且在水平方向从中心到两端大大地向后弯曲，以便增强空气动力特性。因此，当滤光器205的偏振滤波器层222中的垂直偏振区域或者水平偏振分量的偏振方向(透射轴)在区域的任何位置是均匀的时，例如，虽然来自前风挡105的反射在捕获的图像的中心部适当地截止，但是来自前风挡105的反射在该捕获的图像的边缘部分可能不被适当地截止。
图30是图示按照第四配置示例的滤光器205的偏振滤波器层222中的线格栅结构的金属线的纵向的说明图。
按照第四配置示例的滤光器205的偏振滤波器层222和光谱滤波器层223的划分的区域的配置，与第一配置示例中相同。然而，在该第四配置示例中，偏振滤波器层222的垂直偏振区域的偏振方向(透射轴)不均匀。具体地，如图30所示，形成偏振滤波器层222的垂直偏振区域，使得在偏振方向(透射轴)和垂直方向之间的角度，随着垂直偏振区域接近偏振滤波器层222的水平方向的边缘部分而增加，调整以适应前风挡105的曲线。也就是说，形成按照第四配置示例的偏振滤波器层222，使得在线格栅结构的金属线的纵向和水平方向之间的角度，随着垂直偏振区域接近水平方向的边缘部分而变大。在本实施例中，因为垂直偏振区域在线格栅结构中形成，所以可能形成以成像像素为细小单位的许多区域，其在偏振方向上不同。
[滤光器的每个部分的细节]
接下来，将说明滤光器205中的后级滤波器220的每个部分的细节。
透明滤波器衬底221由透明材料形成，其可以透射使用带(在本实施例中，可见光区域和红外区)的光，例如玻璃、青玉、水晶等。在本实施例中，最好可以使用玻璃，尤其是便宜而耐用的石英玻璃(折射率是1.46)，或者tempax玻璃(折射率是1.51)。
在透明滤波器衬底221上形成的偏振滤波器层222配置有在线格栅结构中形成的起偏器，如图31所示。线格栅结构是以下结构，其中在指定方向延伸的由如铝的金属形成的金属线(导体线)以指定节距排列。按照与入射光的波长带相比较线格栅结构中的充分小的线节距(例如小于一半)，平行于金属线的纵向振动的电场矢量分量的大部分光被反射，并且垂直于金属线的纵向振动的电场矢量分量的大部分光被透射。因此，它可以被用作用于产生单个偏振的起偏器。
一般地，随着金属线的横截面积增加，线格栅结构的起偏器的消光比增加，此外，对于大于或等于预定宽度(对于周期宽度)的金属线，透射因子降低。此外，当正交金属线的纵向的横截面的形状是圆锥形状时，透射因子和偏振度的波长分散性在宽带中小，并且展现高消光比的特性。
在本实施例中，因为偏振滤波器层222在线格栅结构中形成，所以展现以下效果。
该线格栅结构可以通过使用公知的半导体制造过程形成。具体地，在使铝薄膜蒸发在透明滤波器衬底221之后，执行图案，并且通过使用如金属蚀刻的方法形成线格栅结构的子波长粗糙结构。按照上述制造过程，可以以对应于图像传感器206中的成像像素的尺寸的准确度(几毫米)，调整金属线的纵向，即偏振方向(偏振轴)。因此，可以制造偏振滤波器层222，其中在每一个成像像素中调整金属线的纵向，即偏振方向(偏振轴)，如在本实施例中。
此外，线格栅结构具有优势：因为它由如铝之类的金属材料制成，所以展现出色的耐热性，并且它甚至可以优选使用在高温环境下，如在容易处于温度高的车辆隔间中。
被用于平面化偏振滤波器层222中的叠层方向的上侧表面的填充物224，在偏振滤波器层222中的金属线之间的凹部分中提供。对于填充物224，可以优选使用折射率低于或等效于透明滤波器衬底221的无机材料。同时，形成按照本实施例的填充物224，以便在叠层方向也覆盖偏振滤波器层222的金属线部分的上侧表面。
具体地，对于填充物224的材料，优选使用低折射率材料，其折射率极其接近于空气的折射率(折射率为一)。例如，通过在陶瓷中分散细孔制成的多孔陶瓷材料是优选的。具体地，包括多孔硅石(SiO2)、多孔氟化镁(MgF)、多孔铝等。此外，通过陶瓷中的孔的数量或者孔的大小(多孔性)确定低折射率的程度。当透明滤波器衬底221的主要成分由玻璃或者硅石的晶体组成时，优选使用多孔硅石(n＝1.22到1.26)。
对于形成填充物224的方法，可以优选使用SOG(旋涂玻璃)的方法。具体地，硅醇(Si(OH)4)溶于酒精的溶剂，旋转涂敷在形成在透明滤波器衬底221上的偏振滤波器层222上。然后，通过热处理蒸发该溶剂成分，并且硅醇本身被脱水和聚合。
偏振滤波器层222具有子波长大小的线格栅结构。机械强度低，并且金属线可通过小的外力破坏。因为希望安排按照本实施例的滤光器205，以便与图像传感器206紧密接触，所以存在滤光器205在制造阶段接触图像传感器206的可能。在本实施例中，偏振滤波器层222的叠层方向的上侧表面，即图像传感器206一侧的表面，被填充物224覆盖。因此，接触图像传感器206时线格栅结构的损坏被抑制。
此外，通过提供填充物224填充在偏振滤波器层222的线格栅结构中的金属线之间的凹部分，如在本实施例中，可以防止异物进入该凹部分。
同时，在本实施例中，对于在填充物224上叠层的光谱滤波器层223，不提供如填充物224之类的保护层。这是因为，按照发明人的实验，即使当光谱滤波器层223接触图像传感器206时，影响捕获的图像的破坏也不发生，并且对于低成本的优先而省略保护层。此外，偏振滤波器层222的金属线(凸部分)的高度低，即少于使用波长的一半，而在光谱滤波器层223中形成红色光谱区域或者青色光谱区域的滤波器层部分的高度与使用波长相同或者是其几倍。当填充物224的厚度增加时，它变得更难以保证上表面的平坦，并且影响滤光器205的特性。因此，填充物224的厚度具有上限。在本实施例中，光谱滤波器层223不用填充物覆盖。
按照本实施例的形成光谱滤波器层223中的红色光谱区域或者青色光谱区域的滤波器层部分，具有多层膜结构，其中具有高折射率的薄膜和具有低折射率的薄膜交替地叠层。按照上述多层膜结构，设置光谱透射因子中的自由度可以通过使用光的干涉构造，并且通过叠层薄膜，对于特定波长(例如除了红色之外的波长带)可能实现接近于100％的反射率。在本实施例中，因为用于捕获的图像数据的使用的波长的范围近似可见光波长区域(可见光波长区域和红外光波长区域的波长区域)，所以，选择在该使用的波长范围内具有灵敏度的图像传感器206，并且多层膜部分的透射波长的范围设置为例如大于或等于600nm，并且形成用于反射其它波长区域的截止滤波器，如图32所示。
通过在滤光器205的叠层方向从下侧顺序地制造具有如“衬底/(0.125L0.25H0.125L)p/介质A”之类的配置的多层膜，可以获得这种截止滤波器。这里，“衬底”意谓上述填充物224。此外，“0.125L”表示低折射率材料(例如SiO2)，其中nd/λ为膜厚度标记法中的1L。因此，“0.125L”的膜意谓低折射率材料的膜，具有作为1/8波长的光程长度的膜厚度。同时，“n”为折射率，“d”为厚度，并且“λ”为截止波长。类似地，“0.25H”表示高折射率材料(例如TiO2)，其中nd/λ为膜厚度标记法中的1H。因此，“0.25H”的膜意谓高折射率材料的膜，具有作为1/4波长的光程长度的膜厚度。此外，“p”指示重复(叠层)括号中指示的膜的组合的次数。当“p”大时，如起波纹之类的影响可以被抑制。此外，介质A是空气或者树脂或者粘接剂，用于与图像传感器206的紧密连接。
此外，形成光谱滤波器层223中的红色光谱区域或者青色光谱区域的滤波器层部分，可以是具有滤波器特性的带通滤波器，如图33所示，其中透射波长的范围是600nm到700nm的范围。当滤波器层部分是上述带通滤波器时，在比红色长的波长一侧的近红外区和红色区域之间的辨别是可能的。通过制造具有如例如“衬底/(0.125L0.5M0.125L)p(0.125L0.5H0.125L)q(0.125L0.5M0.125L)r/介质A”的配置的多层膜，可以获得上述带通滤波器。同时，如上所述，通过使用用于高折射率材料的二氧化钛(TiO2)和用于该低折射率材料的二氧化硅(SiO2)，可以实现具有出色的耐气候性的光谱滤波器层223。
将说明按照本实施例的光谱滤波器层223的制造方法的示例。首先，上述多层膜形成在透明滤波器衬底221和偏振滤波器层222上形成的填充物224的层上。对于形成多层膜的方法，可使用如蒸发之类的众所周知的方法。接下来，在对应于非光谱区域的位置除去多层膜。对于除去的方法，可使用通常使用的方法，如剥离处理方法。在该剥离处理方法中，在填充物224的层上，预先以金属、光致抗蚀剂等形成对目标图案的反向图案。在其上形成多层膜之后，与金属或者光致抗蚀剂一起，除去在对应于非光谱区域的位置的该多层膜。
在本实施例中，因为对于光谱滤波器层223采用该多层膜结构，所以存在设置光谱特性的自由度高的优势。通常，被用于彩色传感器等的滤色器由防染剂形成。然而，与多层膜结构相比较，利用这种防染剂难以控制光谱特性。在本实施例中，因为对于光谱滤波器层223采用多层膜结构，所以可以形成对于尾灯的波长优化的光谱滤波器层223。
[头灯的光分布控制]
在下文中，将说明按照本实施例的头灯的光分布控制。
在按照本实施例的头灯的光分布控制中，分析由成像设备200成像的捕获的图像数据，并且识别车辆的尾灯和头灯，从识别的尾灯检测在前车辆，并且从识别的头灯检测迎面车辆。然后，控制在头灯104的高光束和低光束之间的切换，或者控制头灯104的部分遮光(shading)，使得通过避免进入在前车辆或者迎面车辆的驾驶员的眼睛的来自自己的车辆100的头灯的高强度灯光，执行防止对于另一个车辆的驾驶员的眩目，并且可以实现保证自己的车辆100的驾驶员的视场。
同时，在下文中，在使用按照第一配置示例的滤光器205的后级滤波器220的情形进行说明。
在按照本实施例的头灯的光分布控制中，在可以从成像单元101获取的信息之中，使用从捕获区域中的每个位置(光源体)发射的光强度(亮度信息)、在如头灯或者尾灯之类的光源体(其它车辆)和自己的车辆之间的距离(距离信息)、按照从每个光源体发射的光的红色彩色分量与其白色分量(非光谱)的比较的光谱信息、按照白色分量的水平偏振分量与其垂直偏振分量的比较的偏振信息、和截止水平偏振分量的红色彩色分量的垂直偏振分量信息。
将说明亮度信息。在在前车辆和迎面车辆在夜晚时间期间存在与自己的车辆相同的距离的情形，当成像设备200成像在前车辆和迎面车辆时，在捕获的图像数据中，更明亮地显示作为检测目标之一的迎面车辆的头灯，并且比它更暗地显示作为检测目标之一的在前车辆的尾灯。此外，在反射镜显示在捕获的图像数据上的情形，因为反射镜不是用于独自发射光的光源而仅仅通过反射自己的车辆的头灯明亮地显示，所以反射镜更暗。另一方面，比较来自迎面车辆的头灯的光，随着距离增加，在前车辆的尾灯和反射镜在接收光的图像传感器206上越来越暗地被观察到。因此，通过使用从捕获的图像数据获得的亮度(亮度信息)，两种检测目标(头灯和尾灯)和反射镜的主要的(primary)识别是可能的。
此外，将说明距离信息。因为大部分头灯和尾灯具有灯对(即左右一对灯)的配置，所以在头灯或者尾灯(即其它车辆)和自己的车辆之间的距离可以通过使用上述配置的特征获得。在由成像设备200成像的捕获的图像数据上，在高度方向的相同位置显示左和右灯彼此接近。分别显示灯的灯图像区域具有几乎相同的大小和几乎相同的形状。因此，当上述特征构成一状况时，满足该状况的灯图像区域可以识别为灯对。同时，当距离增加时，灯对的左和右灯不能被辨认为分开的灯，而是被辨认为单个灯。
在该灯对按照上述方法识别的情形，可以计算到该灯对的头灯或者尾灯中的光源的距离。也就是说，在车辆的左和右头灯之间的距离和在车辆的左和右尾灯之间的距离，可以近似为常量值w0(例如1.5m)。另一方面，因为已知成像透镜204的焦距f，所以，通过从捕获的图像数据计算在成像设备200的图像传感器206上的分别对应于左和右灯的两个灯图像区域之间的距离w1，可以按照简单比例计算(x＝f×w0/w1)获得在灯对的头灯或者尾灯的光源和自己的车辆之间的距离。此外，当如上计算的距离x属于适当的范围时，被用于该计算的两个灯图像区域可以识别为其它车辆的头灯和尾灯。因此，通过使用该距离信息，增强了作为检测目标的头灯和尾灯的识别的准确度。
此外，将说明光谱信息。在本实施例中，如上所述，仅显示捕获区域中的红色彩色分量的红色彩色图像，可以通过从由成像设备200(接收红光(垂直偏振分量)P/R)成像的捕获的图像数据，提取对应于图像传感器206上的成像像素“a”、“c”、“f”、“h”等的像素数据来产生。因此，在存在亮度在红色彩色图像中大于或等于预定的亮度的图像区域的情形，图像区域可以识别为显示尾灯的尾灯图像区域。
此外，捕获区域中的单色的亮度图像(垂直偏振分量)，可以通过从由成像设备200成像的捕获的图像数据，仅提取对应于图像传感器206(接收白光(非光谱)P/C的垂直偏振分量)上的成像像素“b”、“d”等的像素数据来产生。因此，也可以计算在红色彩色图像上的图像区域和对应于该红色彩色图像上的图像区域的单色的亮度图像上的图像区域之间的亮度比(红色颜色亮度比)。通过使用红色颜色亮度比，可以掌握包括在光中的红色彩色分量的相对比，该光来自存在于捕获区域中的本体(光源体)。因为尾灯的红色彩色亮度比是比头灯或者大部分其它光源足够高的值，所以，通过使用该红色彩色亮度比，尾灯的识别的准确度增强。
此外，将说明偏振信息。在本实施例中，如上所述，通过从由成像设备200成像的捕获的图像数据，提取对应于接收白光(非光谱)P/C的垂直偏振分量的图像传感器206上的成像像素“b”、“d”等的像素数据，和对应于接收白光(非光谱)S/C的水平偏振分量的图像传感器206上的成像像素“e”、“g”等的像素数据，可以获得其中在对于每个图像像素的这些图像数据之间比较像素值(亮度)的比较图像。具体地，例如，其中像素值表示在白光(非光谱)的垂直偏振分量P和白光(非光谱)的水平偏振分量S之间的差异值的差异图像，可以获得为该比较图像。按照上述的比较图像，在直射光(从头灯直接地进入图像设备200)的图像区域(头灯图像区域)和间接光(在从头灯在雨中的道路的水面上反射之后进入成像设备)的图像区域之间的对比，可以被构造得较高，并且头灯的识别的准确度增强。
特别地，对于比较图像，优选使用其中像素值表示在白光(非光谱)的垂直偏振分量P和白光(非光谱)的水平偏振分量S之间的比值(S/P)的比值图象，其中像素值表示微分偏振度((S-P)/(S+P))等的微分偏振度图像。通常，众所周知，在如水面之类的水平镜面上反射的光中，水平偏振分量是支配的。特别地，众所周知，在水平偏振分量S和垂直偏振分量P之间的比值(S/P)以及微分偏振度((S-P)/(S+P))中的每一个，在特定角度(布儒斯特角)变为最大。在雨中的路上，作为被水覆盖的散射平面的沥青表面和该路的表面处于接近镜面的状况。然后，在来自路面的头灯的反射光中，水平偏振分量是支配的。因此，来自该路面的头灯的反射光的图像区域，在比值图象中或者在微分偏振度图像中具有大的像素值(亮度)。另一方面，因为来自头灯的直射光基本上是非偏振的，所以，在比值图象中或者在微分偏振度图像中其像素值(亮度)小。按照在它们之间的差异，可以适当地除去来自在雨中的路面的头灯的反射光，其具有与来自头灯的直射光相同的光量，并且来自头灯的直射光可以识别为区别于头灯的这种反射光。
图34是图示对于直射光和对于反射光计算的微分偏振度的直方图的图，直射光来自雨天中的头灯，反射光来自使用成像设备200成像的头灯在下雨的路面上被反射。纵坐标轴指示规格化到一的频率。横坐标轴指示微分偏振度((S-P)/(S+P))。如从图34可见，与来自头灯的直射光相比较，来自雨中的路面的头灯的反射光，具有移位到水平偏振分量S相对大的方向(在该图中向右)的分布。
图35是图示由成像设备200成像的状态的示例的示意图，其中当自己的车辆行进在下雨的路面上时，在前车辆和迎面车辆两者都在行进方向前面在几乎相同的距离存在。
在这种状态，仅从亮度信息和距离信息，难以通过彼此区别检测在前车辆的尾灯、来自下雨的路面的尾灯的反射光、迎面车辆的头灯、和来自下雨的路面的头灯的反射光。
按照本实施例，甚至在上述状态，首先，在在前车辆的尾灯和来自下雨的路面的尾灯的反射光之间的区别，以及在迎面车辆的头灯和来自下雨的路面的头灯的反射光之间的区别，也可使用上述光谱信息以高准确度完成。具体地，在通过使用亮度信息和距离信息缩窄的灯图像区域中，具有红色彩色图像的像素值(亮度值)或者红色彩色亮度比(描述为超过、大于预定阈值)的图像区域，被识别为尾灯图像区域，其显示在前车辆的尾灯或者来自下雨的路面的尾灯的反射光。具有小于或等于该阈值的像素值或者红色彩色亮度比的图像区域，被识别为头灯图像区域，其显示在前车辆的头灯或者来自下雨的路面的头灯的反射光。
此外，按照本实施例，通过使用用于如上由光谱信息识别的每一个灯图像区域的上述偏振信息，可以高准确度区分来自尾灯或者头灯的直射光及其反射光。具体地，例如，对于尾灯，基于如上所述的水平偏振分量S的红色彩色图像的像素值(亮度值)及其微分偏振度等，通过使用水平偏振分量的频率或者强度的差异，来自在前车辆的尾灯的直射光和来自下雨的路面的尾灯的反射光被区分。此外，例如，对于头灯，基于如上所述的水平偏振分量的白色图像的像素值(亮度值)及其微分偏振度等，通过使用水平偏振分量的频率或者强度的差异，来自在前车辆的头灯的直射光和来自下雨的路面的头灯的反射光被区分。
接下来，将说明按照本实施例检测在前车辆和迎面车辆的处理的流程。
图36是图示按照本实施例的车辆检测处理的流程的流程图。
在按照本实施例的车辆检测处理中，对于由成像设备200捕获的图像数据执行图像处理，并且提取认为是检测目标的图像区域。然后，通过确定两种检测目标的哪个是显示在图像区域上的光源的种类，检测在前车辆或者迎面车辆。
首先，由成像设备200的图像传感器206捕获的在自己的车辆前面的图像数据，被获取并且存储在存储器中(步骤S1)。如上所述，图像数据包括指示在图像传感器206的每一个成像像素的亮度。接下来，与自己的车辆的行动相关的信息从车辆行动传感器(未显示)获取(步骤S2)。
然后，被认为是检测目标(在前车辆的尾灯或者迎面车辆的头灯)的具有高亮度的图像区域(高亮度图像区域)，从存储在存储器中的图像数据提取(步骤S3)。该高亮度图像区域是在图像数据中具有大于预定阈值亮度的亮度的明亮区域。图像数据经常包括多个高亮度图像区域。在本实施例中，提取所有高亮度图像区域。因此，在这个阶段，显示来自下雨的路面的反射光的图像区域也提取为高亮度图像区域。
在高亮度图像区域提取处理中，首先，通过比较在图像传感器206上的每一个成像像素的亮度值与预定阈值亮度，执行二值化处理(步骤S31)。具体地，通过分配“1”到具有大于或等于预定阈值亮度的亮度的像素，并且分配“0”到其它像素，产生二值化的图像。接下来，执行用于辨认被分配“1”并且彼此接近作为二值化的图像中的一个高亮度图像区域的像素的标签处理(步骤S32)。按照上述，提取彼此接近的具有高亮度的一组多个像素，作为一个高亮度图像区域。
在上述高亮度图像区域提取处理之后，计算在对应于提取的高亮度图像区域的捕获区域中的本体和自己的车辆之间的距离(步骤S4)。在这个距离计算处理中，执行用于使用车辆灯形成灯对(即一对左右灯)的性质检测该距离的对灯距计算处理，和在灯对的左右灯在长距离不能在辨认中区分并且灯对被辨认为单个灯的情形的单一灯距计算处理。
首先，对于对灯距计算处理，执行用于创建一对灯的对灯创建处理(步骤S41)。形成对的左右灯满足以下状况，其彼此接近存在，并且在由成像设备200捕获的图像数据中的几乎相同高度的位置，高亮度图像区域的大小几乎相同并且高亮度图像区域的形状相同。因此，满足上述状况的高亮度图像区域被认为是灯对。不能配对的高亮度图像区域被认为是单个灯。在创建灯对的情形，通过对灯距计算处理计算到灯对的距离(步骤S42)。在左头灯和右头灯之间的距离以及在左尾灯和右尾灯之间的距离，近似为常量值w0(例如1.5m)。另一方面，因为成像设备200的焦距f已知，所以，通过计算在成像设备200的图像传感器206上的分别对应于左右灯的两个灯图像区域之间的距离w1，到灯对的实际距离x可以按照简单比例计算(x＝f×w0/w1)获得。同时，对于到在前车辆或者迎面车辆的距离的检测，可采用专用距离传感器，如激光雷达或者毫米波雷达。按照上述方法，可以测量到单个灯的距离(步骤S43)。
接下来，在垂直偏振分量P的红色彩色图像和垂直偏振分量P的白色图像之间的比值(红光亮度比)被用作光谱信息，并且基于该光谱信息执行灯类型识别处理，用于识别被认为是灯对的两个高亮度图像区域是起因于来自头灯的光还是来自尾灯的光(步骤S5)。在灯类型识别处理中，首先，对于被认为是灯对的高亮度图像区域，创建红色彩色比值图像，其中像素值表示在对应于图像传感器206上的成像像素“a”和“f”的像素数据以及对应于图像传感器206上的成像像素“b”的像素数据之间的比值(步骤S51)。然后，执行灯分类处理，用于比较红色彩色比值图像中的像素值与预定阈值；按照来自尾灯的光，确定其中像素值大于或等于预定阈值的高亮度图像区域为尾灯图像区域；并且按照来自头灯的光，确定其中像素值少于预定阈值的高亮度图像数据为头灯图像区域(步骤S52)。
接下来，对于识别为尾灯图像区域的图像区域和识别为头灯图像区域的图像区域中的每一个，微分偏振度((S-P)/(S+P))被用作偏振信息，并且执行反射识别处理，用于识别它是来自尾灯或者头灯的直射光，还是它是在下雨的路面等的镜面上反射并且接收的反射光(步骤S6)。在反射识别处理中，首先，对于尾灯图像区域计算微分偏振度((S-P)/(S+P))，并且创建其中像素值是微分偏振度的微分偏振度图像(步骤S61)。此外，以如上同样的方式，对于头灯图像区域计算微分偏振度((S-P)/(S+P))，并且创建其中像素值是微分偏振度的微分偏振度图像。然后，比较每一个微分偏振度图像中的像素值与预定阈值，其中像素值大于或等于该预定阈值的尾灯图像或者头灯图像，被确定为由反射光创建并且被除去，因为这些图像区域不被认为显示在前车辆的尾灯或者迎面车辆的头灯(步骤S62)。上述除去处理之后的剩余尾灯图像区域和剩余头灯图像区域，被识别为显示在前车辆的尾灯或者迎面车辆的头灯的图像区域。
同时，雨水传感器等可安装在车辆中，并且只有当由雨水传感器确认为下雨时，才可执行上述反射识别处理(步骤S6)。此外，只有当操作者(驾驶员)操作风档刮水器时，才可执行上述反射识别处理(步骤S6)。总之，只有当下雨其中假定来自下雨的路面的反射时，上述反射识别处理(步骤S6)才可执行。
在本实施例中，按照上述车辆的在前车辆或者迎面车辆的检测结果，对于处于自己的车辆的车辆装备中的头灯，检测处理用于光分布控制。具体地，当按照车辆检测处理检测尾灯，并且自己的车辆靠近在前车辆在一距离范围(其中从自己的车辆的头灯发射的光进入在前车辆后视镜)中时，通过部分地屏蔽或者通过垂直地或者水平地移位自己的车辆的头灯的光发射方向，控制自己的车辆的头灯，使得从该头灯发射的光不进入在前车辆的后视镜。
[白线检测处理]
在下文中，将说明按照本实施例的白线检测处理。
在本实施例中，为了防止自己的车辆偏离可通行的区域，执行用于检测作为检测目标的白线(车道分隔线)的处理。这里提到的白线，包括任何用于划分路的白线，如实线、虚线、点虚线、双线等。同时，除了白色之外的颜色的车道分隔线，如黄色线等，可以如上同样的方式检测。
在按照本实施例的白线检测处理中，在可以从成像单元101获取的信息项之中，使用白色分量(非光谱)的垂直偏振分量P的偏振信息。同时，白色分量的垂直偏振分量可以包括青色光的垂直偏振分量。通常，众所周知，白线或者沥青表面具有可见光波长区域中的平光谱亮度特性。另一方面，因为青色光包括在可见光波长区域中的宽带，所以它优选用于成像沥青或者白线。因此，通过使用按照第二配置示例的滤光器205，并且通过将青色光的垂直偏振分量并入白光的垂直偏振分量，可以增加使用的成像像素的数量。结果，分辨率变得较高，并且检测远处白线变为可能。
在按照本实施例的白线检测处理中，在大多数情况下，白线形成在几乎黑色的颜色的路面上。在白色分量(非光谱)的垂直偏振分量P的图像中，白线的亮度充分地大于任何路面上的其它部分的亮度。因此，通过确定在路面的部分之中其亮度大于或等于预定值的一部分为白线，可以检测白线。特别地，在本实施例中，因为在被用于上述处理中的白色分量(非光谱)的垂直偏振分量P的图像中截止水平偏振分量S，所以有可能获得其中来自下雨的路面的反射光被抑制的图像。因此，可以执行白线检测，而没有错误地辨认如来自下雨的路面的头灯的反射光之类的干扰光为夜里的白线。
此外，在按照本实施例的白线检测处理中，在可以从成像单元101获取的信息项之中，可使用按照在白色分量(非光谱)的水平偏振分量S和垂直偏振分量P之间的比较的偏振信息，例如白色分量(非光谱)的水平偏振分量S和垂直偏振分量P的微分偏振度((S-P)/(S+P))。通常，因为在来自白线的反射光中漫反射分量是支配的，所以，反射光的垂直偏振分量P和水平偏振分量S几乎相等，并且微分偏振度显示几乎零的值。另一方面，其上不形成白线的沥青表面的一部分，显示以下特性，其中在干燥状态的情况下漫反射分量是支配的，并且微分偏振度指示正值。此外，其上不形成白线的沥青表面的该部分，显示以下特性，其中在湿的状态的情况下镜面反射分量是支配的，并且微分偏振度指示正进一步大的值。因此，具有如上获得的偏振差异值(其少于预定阈值)的路面的一部分，可以确定为白线。
图37A和37B是图示单色亮度图像(非光谱和非偏振的)和在雨中对于相同的捕获区域成像的非光谱微分偏振度图像的示例的图像。
因为这些图像示例在雨中捕获，所以捕获区域相对暗，并且路面处于湿的状态。因此，在如图37A所示的单色的亮度图像中，在白线和路面之间的对比低。另一方面，在如图37B所示的微分偏振度图像中，在白线和路面之间的对比足够大。因此，甚至在白线在单色的亮度图像中难以识别的状况下，如果使用微分偏振度图像，则白线可以高准确度被识别。
此外，因为在图37A中显示的单色的亮度图像中，该图像示例的右部中的白线重叠阴影，所以在右边的白线和路面之间的对比很低。另一方面，在如图37B中显示的微分偏振度图像中，在右边的白线和路面之间的对比也足够大。因此，在单色的亮度图像中难以被识别的白线，可以通过使用微分偏振度图像以高准确度被识别。
[对于前风挡上的雨滴的检测处理]
在下文中，将说明按照本实施例的对于雨滴的检测处理。
在本实施例中，为了对于风档刮水器的驱动控制或者对于洗涤剂流体的放电控制的目的，执行对于如附着物的雨滴的检测处理。同时，这里，对于附着于前风挡的附着物为雨滴的情形，作为一个例子进行说明。但是，对于附着物，如鸟粪或者由相邻的车辆溅射的来自路面的水，说明将是相同的。
在按照本实施例的对于雨滴的检测处理中，在可以从图像单元101获取的信息项之中，使用接收光的雨滴检测图像区域214的垂直偏振分量P的偏振信息，该光透射通过前级滤波器210的红外光透射滤波器区域212并且通过后级滤波器220的雨滴检测滤波器部分220B中的偏振滤波器层225。
图38是图示在布儒斯特角的反射光的偏振态的说明图。
通常，当光进入玻璃等的平面时，水平偏振分量S的反射率关于入射角单调增加。另一方面，垂直偏振分量P的反射率在特定角度(布儒斯特角θB)变为零，并且垂直偏振分量P不反射且仅仅是透射光，如图38所示。因此，通过配置使得光源202从该车辆内部以该布儒斯特角θB仅发射垂直偏振分量P的光到前风挡105，反射光在前风挡105的内壁表面(室内的侧的表面)上不发生，并且垂直偏振分量P的光透射到前风挡105的外壁表面(户外侧的表面)。当前风挡105的内壁表面上的反射光存在时，该反射光变为到成像设备200的干扰光，并且变为降低雨滴的检测率的因素。
在使用例如用于光源202的发光二极管(LED)的情况下，为了使得从光源202入射在前风挡105上的光仅为垂直偏振分量P，仅透射垂直偏振分量P的起偏器最好安排在光源202和前风挡105之间。此外，在使用用于光源202的激光二极管(LD)的情况下，因为可以使得LD发射特定偏振分量的光，所以可调整LD的轴使得仅垂直偏振分量P入射在前风挡105上。
图39A是图示雨滴附着于前风挡105的外壁表面的捕获的图像的说明图。
图39B是图示雨滴没有附着于前风挡105的外壁表面的捕获的图像的说明图。
在图39A和39B的每一个中，“检测区域”表示的低区域是雨滴检测图像区域214，而剩余区域是车辆检测图像区域213。在雨滴检测图像区域214上，当雨滴附着于外表面时，投影来自光源202的光，如图39A所示。当雨滴没有附着于外表面时，不投影来自光源202的光，如图39B所示。因此，通过调整用于来自光源202的光的接收量的阈值，可以容易地执行辨认雨滴检测图像区域214上的雨滴的图像的处理。同时，该阈值不必是固定值，而可按照围绕自己的车辆(其上安装成像设备200)的状况等的变化适当地改变。
在本实施例中，基于雨滴的检测结果，刮水器控制单元106执行用于风档刮水器的驱动控制或者用于洗涤剂流体的放电控制。
接下来，将更详细说明在本实施例中执行的多种车辆上设备的控制。
在本实施例中，使用基于由成像设备200成像的车辆检测图像区域的捕获的图像数据检测的尾灯或者头灯(夜里的其它车辆)的检测结果，头灯控制单元103执行头灯的光分布控制。
此外，使用基于由成像设备200成像的车辆检测图像区域的捕获的图像数据检测的白线的检测结果，通过给予警报到自己的车辆100的驾驶员，或者通过执行驾驶辅助控制，如方向盘或者制动器的控制，车辆行进控制单元108执行车道保持控制。
此外，当使用基于由成像设备200成像的车辆检测图像区域的捕获的图像数据检测的在前车辆(白天或者夜里的其它车辆)的检测结果，检测到到在前车辆的距离降低时，通过给予警报到自己的车辆100的驾驶员，或者通过执行驾驶辅助控制，如方向盘或者制动器的控制，车辆行进控制单元108执行冲突避免控制。
被用于上述控制的对于每一个检测目标的最佳曝光条件，按照其检测改变。例如，通过识别高强度尾灯或者头灯，被用于头灯的分布控制的捕获的图像数据，用于检测夜里的另一个车辆。因此，捕获的图像数据最好在具有小曝光量的曝光条件成像。此外，因为成像环境是夜晚时间，所以即使曝光条件固定，也可以稳定地获得高检测准确度。
此外，例如，被用于车道保持控制的捕获的图像数据，用于检测具有低于尾灯或者头灯的亮度的亮度的白线。因此，捕获的图像数据最好在具有大曝光量的曝光条件捕获。此外，因为最佳曝光条件按照如在夜晚时间和日间之间的差异的成像环境的差异改变，所以最好根据需要，响应成像环境调整曝光条件。
此外，例如，被用于冲突避免控制的捕获的图像数据，用于检测夜间的高强度尾灯和用于检测低强度车辆本体。因此，因为最佳曝光条件响应成像环境显著地变化，所以最好响应成像环境调整该曝光条件。
以这种方式，因为被用于每一个控制的对于捕获的图像数据的最佳曝光条件改变，所以，当通过使用在相同的曝光条件捕获的捕获的图像数据执行所有控制时，难以以高准确度获得被用于所有控制的检测目标的检测结果。因此，不能实现所有控制中的适当的控制。
因此，在本实施例中，为了实现所有控制中的适当的控制，使用在分别适合于控制的曝光条件捕获的捕获的图像数据。具体地，成像设备200的曝光条件以成像帧为单位改变，并且通过使用在对应于控制的曝光条件捕获的捕获的图像数据，执行每一个控制。
[成像操作的第一示例]
图40是简单地图示可以在本实施例中应用的成像设备200的成像操作的示例(以下称为“成像操作的第一示例”)的时序图。因为这个时序图用于掌握成像操作的概览，并且不指示准确控制定时，所以，例如箭头的长度不准确地指示时间的长度。
在按照成像操作的第一示例的成像设备200中，CCD图象传感器用于图像传感器206，并且采用全局快门***，用于同时曝光图像传感器的所有成像像素以产生成像帧。因此，在如图40所示的成像操作的第一示例中，在下一帧周期Tn中读出图像传感器206的各自的成像像素的信号，对于其所有成像像素的同时曝光在前面的帧周期Tn-1执行。
在成像操作的第一示例中，顺序地重复用于成像以下三种成像帧的成像操作。
第一帧的成像帧用于车道保持控制(车道偏离警告，以下称为LDW)。在对于这个成像帧的成像操作期间，作为曝光条件的曝光时间FELDW自动地控制在范围中，例如20μs到33ms。因此，例如，在日间设置曝光时间FELDW接近20μs，并且在夜里设置曝光时间FELDW接近33ms。
第二帧的成像帧用于光分布控制(自动高光束，以下称为AHB)。在用于这个成像帧的成像操作期间，作为曝光条件的曝光时间FEAHB固定，并且设置为40μs，不管日间和夜间。
第三帧的成像帧用于冲突避免控制(前防撞警告，以下称为FCW)。在对于这个成像帧的成像操作期间，作为曝光条件的曝光时间FEFCW自动地控制在范围中，例如20μs到33ms。因此，例如，在白天设置曝光时间FEFCW接近20μs，并且在夜里设置曝光时间FEFCW接近33ms。
这里，在本实施例中，如上所述，使用对于雨滴的检测结果，执行用于检测附着于前风挡的雨滴(附着物)的雨滴检测处理和刮水器驱动控制等。为了减少来自透镜的闪光或者重影的、或者来自除了来自光源202的发射光之外的干扰光的影响，适合于被用于这个雨滴检测处理的捕获的图像数据的曝光条件，最好设置曝光量尽可能小，即设置曝光时间短。获得适合于雨滴检测处理的捕获的图像数据的方法，如上所述，包括以下方法：附加或者***在适合于雨滴检测处理的曝光条件捕获的新类型的雨滴检测专用的成像帧。然而，在这个方法中，通过附加或者***雨滴检测专用的成像帧，如上所述，三种成像帧的帧速率被降低，并且可降低使用这三种成像帧的各自的控制中的准确度。
因此，在成像操作的第一示例中，雨滴检测专用的成像帧既不附加又不***，但是在如上所述的三种成像帧之中，在接近适合于雨滴检测处理的曝光条件的曝光条件捕获的成像帧，用于该雨滴检测处理。具体地，在如上所述的三种成像帧之中，被用于光分布控制AHB的成像帧用于该雨滴检测处理。
特别地，在本实施例中，在对应于作为被用于雨滴检测处理的捕获的图像数据区域的雨滴检测图像区域214的雨滴检测滤波器部分220B，提供作为波长限制装置的滤光器205，如红外光透射滤波器区域212等，用于限制光到从光源202发射的仅红外波长带中的红外光，并且透射它。因为在这样的滤光器205中光透射损失功能上存在，所以与不提供滤光器的情形相比较，从光源202发射并且在图像传感器206上接收的光的接收量降低。因此，通过提供滤光器205，与不提供滤光器的情形相比较，可以延长被用于雨滴检测处理的适合于捕获的图像数据的曝光时间。例如，当对于不提供滤光器205的情形，被用于雨滴检测处理的适合于捕获的图像数据的曝光时间为4μs时，通过提供滤光器205曝光时间可以构造为40μs。结果，没有降低雨滴检测处理中的检测精度，用于头灯AHB的光分布控制的成像帧(对其曝光时间为40μs)可以用于雨滴检测处理。
此外，在成像操作的第一示例中，以固定的曝光时间，成像对于雨滴检测处理要使用的被用于头灯AHB的光分布控制的成像帧。因为通过从以几乎恒定的光量从光源202发射的光中接收在雨滴反射的光，雨滴检测处理检测雨滴，所以光的接收量几乎恒定。因此，如果曝光时间是固定的，则不必响应曝光时间改变阈值，并且可以使雨滴检测处理更简单。因此，可以使雨滴检测处理更快。
不必说，被用于雨滴检测处理的成像帧的种类不局限于具有固定曝光时间的成像帧。此外，它不局限于对于头灯AHB的光分布控制要使用的成像帧。然而，被用于雨滴检测的成像帧，最好是从具有最大曝光量的成像帧从其消除的成像帧中选择的成像帧，并且具有最小曝光量的成像帧是特别优选的。
同时，为了进一步增强雨滴检测处理中的检测精度，基于在照明的捕获的图像数据(其正在从光源202发射光的同时捕获)以及在非照明的捕获的图像数据(其没有正在从光源202发射光的同时捕获)之间的差异信息，可执行雨滴检测处理。
例如，在如上所述的三种成像帧的重复周期中，当在一些重复周期中的头灯AHB的光分布控制的成像帧曝光时，光源202开启并且捕获在照明的捕获的图像数据。当在下一重复周期中的头灯AHB的光分布控制的成像帧曝光时，光源202关闭并且捕获在非照明的捕获的图像数据。上述两个操作交替地重复。
或者，光源202关闭而捕获的头灯AHB的光分布控制的成像帧，可被加到三种成像帧的重复周期，如上所述。例如，第一帧是对于车道保持控制LDW的成像帧，第二帧是对于光源202开启的头灯AHB的光分布控制的成像帧，第三帧是对于冲突避免控制FCW的成像帧，而第四帧是对于光源202关闭的头灯AHB的光分布控制的成像帧。
如上获得的在照明的捕获的图像数据和在非照明的捕获的图像数据之间的雨滴检测图像区域214的差异信息，是通过从包括从光源202发射的光和干扰光的在照明的捕获的图像数据，减去仅包括干扰光的在非照明的捕获的图像数据获得的信息。因此，通过该差异信息，获得雨滴检测图像区域214的捕获的图像数据，仅包括从光源202发射的光，其中除去干扰光。因此，在该雨滴检测处理中，来自干扰光的影响被抑制，并且实现了更准确的雨滴检测。
此外，如图40所示的成像操作的第一示例，在除了被用于雨滴检测处理的用于成像帧的曝光时段之外的时段期间，光源202关闭。因此，与光源202总是开启的情形相比较，功耗被减少。此外，从光源202发射的一部分光也可投影在车辆检测图像区域213上，并且可能是车辆检测图像区域213中的干扰光。因此，对于用于车道保持控制LDW的成像帧或用于冲突避免控制FCW的成像帧，光源202关闭，从而抑制从光源202发射的光的干扰并且可以增强上述控制的准确度。
[成像操作的第二示例]
图41是简单地图示可以应用在本实施例中的成像设备200的成像操作的示例时序图(以下称为“成像操作的第二示例”)。因为这个时序图用于理解成像操作的概览，并且不指示准确的控制定时，所以例如箭头的长度不准确地指示时间的长度。
在按照成像操作的成像设备200中，CMOS图像传感器用于图像传感器206，并且采用用于逐次曝光图像传感器的成像像素以产生成像帧的卷帘快门***。在成像操作的第二示例中，安排在图像传感器206上的成像像素一次曝光一行，并且逐次读出各自的行1到X中的成像像素的信号。
也在成像操作的第二示例中，以与上述成像操作的第一示例同样的方式，重复用于逐次捕获以下三种成像帧的成像操作。此外，也在成像操作的第二示例中，雨滴检测专用的成像帧既不附加又不***，但是在如上所述的三种成像帧之中，被用来光分布控制AHB的成像帧用于雨滴检测处理。
顺便地，在如上描述的成像操作的第一示例中，当捕获要用于雨滴检测处理的用于头灯的光分布控制AHB的成像帧时，光源202开启。因此，在用于头灯的光分布控制AHB的成像帧中，从光源202发射的一部分光可能也投影在车辆检测图像区域213上，并且可能是在车辆检测图像区域213中的干扰光。在这种情况下，由于该干扰光，在头灯的光分布控制AHB中可能降低在用于尾灯或头灯的检测中的准确度，并且可能降低头灯的光分布控制AHB的准确度。
因此，在成像操作的第二示例中，如图41所示，控制光源202。也就是说，在用于头灯的光分布控制AHB的用于成像帧的曝光时段期间，当曝光对应于车辆检测图像区域213的行时，光源202关闭，而当曝光对应于雨滴检测图像区域214的行时，光源202开启。按照上述，对于用于头灯的光分布控制AHB的成像帧中的车辆检测图像区域213，来自由于从光源202发射的光的干扰光的影响被抑制，而对于成像帧中的雨滴检测图像区域214，雨滴可以由来自光源202的光检测。此外，与在对于头灯的光分布控制AHB的用于成像帧的曝光时段期间光源202总是开启的情形相比较，减少了功耗。
此外，也在成像操作的第二示例中，以与成像操作的第一示例同样的方式，为了进一步增强雨滴检测处理中的检测准确度，根据在照明的捕获的图像数据(其当光源202开启的同时被捕获)和在非照明的捕获的图像数据(其当光源202关闭的同时被捕获)之间的差异信息，可执行雨滴检测处理。
特别地，在如在成像操作的第二示例中的卷帘快门***的情况下，例如，在用于头灯的光分布控制AHB的成像帧中曝光对应于雨滴检测图像区域214的行时，可以执行光源控制，以便以一行或两个或更多行为单位重复光源202的开/闭(ON/OFF)。按照如上光源控制，对于在单个图像帧中的雨滴检测图像区域214，可以获得在照明的捕获的图像数据和在非照明的捕获的图像数据之间的差异信息。因为这个差异信息摆脱时间移位，所以实现了更准确的雨滴检测。此外，因为不必增加新的成像帧用于获得差异信息，所以帧速率不降低。
在本实施例中，检测来自光源的由雨滴反射的光。然而，可能采用其他的方面。例如，可能使用日本公布专利申请No.2014-32174中公开的方面。在这方面，安排棱镜以便接触车辆的前风挡，并且配置用于来自光源的光在前风挡上的全反射的条件。按照这方面，实现以下配置：对于雨滴不附着于其的前风挡上的部分，来自光源的全反射光由成像元件接收，并且对于雨滴附着于其的前风挡上的部分，来自该光源的反射光不由该成像元件接收，或在该成像元件的光的接收量减少。按照这方面，可以更增强光的利用效率。
如上所述的说明是示例，并且本发明对于以下方面分别取得特别的效果。
(方面A)
在目标检测设备中，该目标检测设备包括：光照明单元，如光源202，其发射照明光用于照明光透射构件(如前风挡105)中的附着物观测部分；成像单元，如成像设备200，其通过使用图像传感器在该图像传感器上的第一光接收区域(对应于车辆检测图像区域213的传感器部分)中接收透射光并且成像捕获区域图像(如车辆检测图像区域213)，并且通过在该图像传感器上的第二光接收区域(对应于雨滴检测图像区域214的传感器部分)中接收照明光并且成像附着物观测图像，产生包括捕获区域图像和附着物观测图像的成像帧，在图像传感器上如光电二极管206A之类的光接收元件二维排列，其中该透射光从捕获区域进入该光透射构件的外壁表面，并且透射通过该光透射构件，该照明光从该光照明单元发射并且通过该光透射构件上的附着物观测部分；目标检测处理单元，如图像分析单元102，其根据该成像单元产生的该成像帧中的捕获区域图像，对于该捕获区域中的检测目标，如尾灯、头灯、白线或另一个车辆(本体)，执行检测处理；以及附着物检测处理单元，如该图像分析单元102，其根据该成像单元产生的该成像帧中的附着物观测图像，对于附着物，如附着于该光透射构件上的该附着物观测部分的雨滴，执行检测处理，其特征在于：该目标检测设备进一步包括曝光量改变单元，如信号处理单元208，其以成像帧为单位改变该成像单元的曝光量，该目标检测处理单元使用在曝光量方面不同的两个或更多成像帧(如对于车道保持控制LDW的成像帧，对于头灯的光分布控制AHB的成像帧或对于冲突避免控制FCW的成像帧)中的捕获区域图像，对于检测目标执行该检测处理，并且该附着物检测处理单元使用该两个或更多成像帧(对于头灯的光分布控制AHB的成像帧等等)的除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的成像帧中的附着物观测图像，对于附着物执行该检测处理。
在该方面A，其曝光量彼此不同的两个或更多成像帧，由该成像单元产生，而该成像单元的曝光量由该曝光量改变单元以成像帧为单位改变。如上曝光量的改变包括例如响应成像环境自动地调整曝光量，逐次产生成像帧，同时切换适合于多种检测目标的每个的曝光量等等。在该方面A，在对于存在于捕获区域中的检测目标的检测处理中，根据其曝光量彼此不同的两个或更多成像帧中的捕获区域图像，执行对于该检测目标的检测处理。因此，与仅仅通过单个曝光量的成像帧检测检测目标的情形相比较，可以高准确度检测该检测目标。
此外，按照该方面A，使用除了其曝光量在该两个或更多成像帧(其用于对于如上检测目标的检测处理)之中最大的成像帧之外的成像帧中的附着物观测图像，执行对于该附着物的检测处理。由于这个缘故，对于对于附着物的检测处理，使用成像帧，其曝光量在用于对于该检测目标的检测处理的该两个或更多成像帧之中相对小。因此，在来自干扰光在来自光照明单元的照明光上的影响被抑制的状态，可以执行对于附着物的检测处理。
此外，按照该方面A，因为可以执行对于附着物的具有高准确度的检测处理，而没有分开地***专用的图像帧用于检测该附着物，所以可以保证对于检测目标的高检测准确度，而没有降低用于检测目标的成像帧的帧速率。
(方面B)
在该方面A中，其特征在于：该附着物检测处理单元使用两个或更多成像帧的其曝光量在该两个或更多成像帧之中最小的成像帧中的附着物观测图像，执行对于附着物的检测处理。
按照该方面B，可以取得对于附着物更准确的检测处理。
(方面C)
在目标检测设备中，包括光照明单元，如光源202，其发射照明光用于照明光透射构件(如前风挡105)中的附着物观测部分；成像单元，如成像设备200，其通过使用图像传感器在该图像传感器上的第一光接收区域(对应于车辆检测图像区域213的传感器部分)上接收透射光并且成像捕获区域图像(如车辆检测图像区域213)，并且通过在该图像传感器上的第二光接收区域(对应于雨滴检测图像区域214的传感器部分)上接收照明光并且成像附着物观测图像，产生包括捕获区域图像和附着物观测图像的成像帧，在图像传感器上如光电二极管206A之类的光接收元件二维排列，其中该透射光从捕获区域进入该光透射构件的外壁表面，并且透射通过该光透射构件，该照明光从该光照明单元发射并且通过该光透射构件上的附着物观测部分；目标检测处理单元，如图像分析单元102，其根据该成像单元产生的该成像帧中的捕获区域图像，对于该捕获区域中的检测目标，如尾灯、头灯、白线或另一个车辆(本体)，执行检测处理；以及附着物检测处理单元，如该图像分析单元102，其根据该成像单元产生的该成像帧群中的附着物观测图像，对于附着物，如附着于该光透射构件上的该附着物观测部分的雨滴，执行检测处理，其特征在于：该目标检测设备进一步包括曝光条件条件改变单元，如信号处理单元208，其以成像帧为单位改变该成像单元的曝光条件，该目标检测处理单元根据在曝光条件(自动曝光调整或固定曝光、或在固定曝光情况下的曝光时段的差异)(分别对应多种检测目标，如尾灯、头灯、白线或其他的车辆(本体))捕获的成像帧群(如用于车道保持控制LDW的成像帧群，用于头灯的光分布控制AHB的成像帧群或用于冲突避免控制FCW的成像帧群)的捕获区域图像，对于分别对应该成像帧群的该种类的检测目标执行该检测处理，并且该附着物检测处理单元使用除了对应于其曝光量在该成像帧群之中最大的曝光条件的成像帧群之外的成像帧群(用于头灯的光分布控制AHB的成像帧群等等)的附着物观测图像，对于附着物执行检测处理；
在该方面C，其曝光条件彼此不同的两个或更多成像帧群由成像单元产生，而成像单元的曝光条件由曝光条件改变单元以成像帧为单位改变。在对于存在于捕获区域中的检测目标的检测处理中，根据其曝光条件彼此不同的两个或更多成像帧群中的捕获区域图像，执行对于分别对应的检测目标的检测处理。以此方式，使用在适合于各自的检测目标的曝光条件成像的成像帧群，可以对于各自的检测目标执行检测处理。因此，与从在相同曝光条件成像的成像帧检测检测目标的情形相比较，每一检测目标可以高准确度被检测。
此外，按照该方面C，使用除了对应于其曝光量在该两个或更多成像帧群(其用于对于如上检测目标的检测处理)之中最大的曝光条件的成像帧群之外的成像帧群中的附着物观测图像，执行对于该附着物的检测处理。由于这个缘故，对于对于附着物的检测处理，使用其曝光量在用于对于该检测目标的检测处理的该两个或更多成像帧之中相对小的曝光条件的成像帧群。因此，可以在来自干扰光在来自光照明单元的照明光上的影响被抑制的状态，执行对于该附着物的检测处理。因此，也在对于附着物的检测处理中，高检测准确度可以获得。
此外，按照该方面C，因为可以执行对于附着物的具有高准确度的检测处理，而没有分开地***专用的成像帧用于检测该附着物，所以可以保证对于检测目标的高检测准确度，而没有降低用于检测目标的成像帧的帧速率。
(方面D)
在该方面C中，其特征在于：该附着物检测处理单元使用对应于其曝光量在该成像帧群之中最小的曝光条件的成像帧群的附着物观测图像，执行对于附着物的检测处理。
按照该方面D，可以取得对于附着物更准确的检测处理。
(方面E)
在方面A到C的任何一个，其特征在于：由附着物检测处理单元使用的附着物观测图像的成像帧，以固定曝光量捕获。
因为对于附着物的检测处理，从通过从光照明单元(其可以发射具有几乎恒定光量的照明光)发射的照明光投影的附着物的捕获的图像，检测附着物，所以，即使该曝光量固定而不管成像环境，也可以获得足够的检测准确度。在响应成像环境改变曝光量的情况下，因为宁可要求对应于曝光量的变化的处理(改变阈值等等的处理)，所以对于附着物的检测处理变复杂并且检测附着物的快速处理变困难的问题将会发生。按照该方面E，因为用于对于附着物的检测处理的成像帧以固定曝光量捕获，所以可以取得快速的检测处理同时保证对于附着物的检测准确度。
(方面F)
在方面A到E的任何一个，其特征在于：该目标检测设备进一步包括波长限制单元，如滤光器205，其透射在第二光接收区域中接收的光，并且限制它在预定波长带中。
在这样的波长限制单元中，当透射光时通常产生光量的损失。由于这个缘故，与不提供波长限制单元的情形相比较，来自光照明单元由图像传感器接收的照明光的接收量降低。因此，与不提供波长限制单元的情形相比较，通过提供该波长限制单元，用于附着物检测处理的适合于成像帧的曝光量可以增加。结果，即使对于其曝光量相对大的检测目标，用于检测处理的成像帧被用于对于附着物的检测处理，也可以保证对于附着物的检测处理中的检测准确度。
(方面G)
在方面A到F的任何一个，其特征在于：该成像单元，如卷帘快门，逐次部分地曝光图像传感器以产生成像帧。提供照明光控制单元(存在光源202内部的控制单元)，其控制光照明单元，使得当成像由附着物检测处理单元使用的附着物观测图像的成像帧时，在图像传感器上的第一光接收区域曝光的时段期间，不发射照明光，并且在图像传感器上的第二光接收区域曝光的时段期间，发射照明光。
按照方面G，因为可以抑制来自由来自光照明单元的照明光在用于对于附着物的检测处理的成像帧的捕获区域图像上的干扰光的影响，所以，使用该成像帧的对于检测目标的检测处理中的检测准确度，不会由于来自该光照明单元的照明光的该干扰而减少。
(方面H)
在一种移动体设备控制***中，如车辆上的设备控制***，包括目标检测单元，其检测如雨滴之类的附着物，附着于如自己的车辆100之类的移动体中的如前风挡105之类的光透射构件的附着物观测部分，以及检测目标，如白线、尾灯、头灯或另一个本体(体)，存在于围绕该移动体的捕获区域；以及移动体设备控制单元，如刮水器控制单元106、头灯控制单元103或车辆行进控制单元108，其根据该目标检测单元的该附着物的检测结果和该检测目标的检测结果，控制安装在该移动体上的预定设备，如刮水器、头灯、方向盘或制动器，其特征在于：按照方面A到G的任何一个的该目标检测设备用于该目标检测单元。
按照方面H，使用对于附着物的检测结果的设备控制和使用对于检测目标的检测结果的设备控制的任何控制，可以高准确度执行。
(方面I)
一种目标检测程序，要在目标检测设备的计算机中执行，该目标检测设备包括光照明单元，其发射照明光用于照明光透射构件中的附着物观测部分；成像单元，其通过使用图像传感器在该图像传感器上的第一光接收区域上接收透射光并且成像捕获区域图像，并且通过在该图像传感器上的第二光接收区域上接收照明光并且捕获附着物观测图像，产生包括捕获区域图像和附着物观测图像的成像帧，在图像传感器上的光接收元件二维排列，其中该透射光从捕获区域进入该光透射构件的外壁表面，并且透射通过该光透射构件，该照明光从该光照明单元发射并且通过该光透射构件上的附着物观测部分；目标检测处理单元，其根据该成像单元产生的该成像帧中的捕获区域图像，对于该捕获区域中的检测目标，执行检测处理；以及附着物检测处理单元，其根据该成像单元产生的该成像帧中的附着物观测图像，对于附着于该光透射构件上的该附着物观测部分的附着物，执行检测处理，使得计算机作用为目标检测处理单元、附着物检测处理单元和以成像帧为单位改变成像单元的曝光量的曝光量改变单元，并且其特征在于：该目标检测处理单元使用在曝光量方面不同的两个或更多成像帧中的捕获区域图像，对于检测目标执行该检测处理，并且该附着物检测处理单元使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的成像帧中的附着物观测图像，对于附着物执行该检测处理。
按照方面I，在对于检测目标的检测处理和对于附着物的检测处理两者中，可以取得高检测准确度，而没有分开地***专用的图像帧用于检测附着物。
(方面J)
一种目标检测程序，要在目标检测设备的计算机中执行，该目标检测设备包括光照明单元，其发射照明光用于照明光透射构件中的附着物观测部分；成像单元，其通过使用图像传感器在该图像传感器上的第一光接收区域上接收透射光并且成像捕获区域图像，并且通过在该图像传感器上的第二光接收区域上接收照明光并且捕获附着物观测图像，产生包括捕获区域图像和附着物观测图像的成像帧，在图像传感器上的光接收元件二维排列，其中该透射光从捕获区域进入该光透射构件的外壁表面，并且透射通过该光透射构件，该照明光从该光照明单元发射并且通过该光透射构件上的附着物观测部分；目标检测处理单元，其根据该成像单元产生的该成像帧中的捕获区域图像，对于该捕获区域中的检测目标，执行检测处理；以及附着物检测处理单元，其根据该成像单元产生的该成像帧中的附着物观测图像，对于附着于该光透射构件上的该附着物观测部分的附着物，执行检测处理，使得计算机作用为目标检测处理单元、附着物检测处理单元和以成像帧为单位改变成像单元的曝光条件的曝光条件改变单元，并且其特征在于：该目标检测处理单元根据在分别对应多种检测目标的曝光条件成像的成像帧群的捕获区域图像，对于分别对应该成像帧群的种类的检测目标执行检测处理，并且该附着物检测处理单元使用除了对应于其曝光量在该成像帧群之中最大的曝光条件的成像帧群之外的成像帧群中的附着物观测图像，执行对于附着物的检测处理。
按照方面J，在对于检测目标的检测处理和对于附着物的检测处理两者中，可以取得高检测准确度，而没有分开地***专用的图像帧用于检测附着物。
同时，上述程序可能以记录在如CD-ROM之类的记录介质里的状态分发或获得。此外，该程序也可以通过分布或接收携带该程序的信号分发或获得，该信号经由传输介质，如公用电话线路、专用线、另一个通信网络等等，从预定传输设备发送。上述分发时，至少一部分计算机程序可能在传输介质中传输。也就是说，配置计算机程序的全部数据不必同时地存在传输介质上。携带程序的信号是计算机数据信号，具体化在包括计算机程序的预定载波中。此外，从预定传输设备传输计算机程序的传输方法，包括配置程序的数据的连续传输，或该数据的间歇性传输。
虽然已经参考各实施例描述了本发明，但是本发明不局限于这些实施例，而是可能进行各种变化和修改，而不脱离如在权利要求中陈述的本发明的范围。
本申请基于并且要求2013年12月19日提交的日本优先权申请No.2013-262885和2014年10月14日提交的日本优先权申请No.2014-209786的优先权利益，其全部的内容通过引用在此合并。
参考标号的描述
100自己的车辆
101成像单元
102图像分析单元
103头灯控制单元
104头灯
105前风挡
106刮水器控制单元
107刮水器
108车辆行进控制单元
200成像设备
201成像盒
202光源
203雨滴
204成像透镜
205滤光器
206图像传感器
206A光电二极管
206B微透镜
207传感器衬底
208信号处理单元
210前级滤波器
211红外光截止滤波器区域
212红外光透射滤波器区域
213车辆检测图像区域
214雨滴检测图像区域
220后级滤波器
220A车辆检测滤波器部分
220B雨滴检测滤波器部分
221透明滤波器衬底
222偏振滤波器层
223光谱滤波器层
224填充物
225偏振滤波器层

Claims (10)

1.一种目标检测设备，包括∶
光照明单元，配置为发射照明光用于照明光透射构件上定义的监视区域；
成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧；
目标检测单元，配置为根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；
异物检测单元，配置为根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及
曝光量改变单元，配置为从成像帧到成像帧改变该成像单元的曝光量，其中该目标检测单元使用其曝光量彼此不同的该成像帧的两个或更多中的第一图像，检测检测目标，并且该异物检测单元使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的两个或更多成像帧的成像帧中的第二图像，检测该异物。
2.如权利要求1所述的目标检测设备，其中该异物检测单元配置为使用其曝光量在该两个或更多成像帧之中最小的该成像帧中的第二图像，检测该异物。
3.一种目标检测设备，包括∶
光照明单元，配置为发射照明光用于照明光透射构件上定义的监视区域；
成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧；
目标检测单元，配置为根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；
异物检测单元，配置为根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及
曝光条件改变单元，配置为从成像帧到成像帧改变该成像单元的曝光条件，其中该目标检测单元根据在分别对应多个种类的检测目标的曝光条件捕获的成像帧群中的第一图像，检测分别对应该成像帧群的种类的检测目标，并且该异物检测单元使用除了对应于其曝光量在成像帧群之中最大的曝光条件的成像帧群之外的成像帧群的该成像帧群中的第二图像，检测该异物。
4.如权利要求3所述的目标检测设备，其中该异物检测单元配置为使用对应于其曝光量在成像帧群之中最小的曝光条件的该成像帧群中的第二图像，检测该异物。
5.如权利要求1到4的任何一个所述的目标检测设备，其中该异物检测单元使用的第二图像的该成像帧是以固定曝光量捕获。
6.如权利要求1到5的任何一个所述的目标检测设备，进一步包括∶波长限制单元，配置为透射在第二光接收区域中接收的光，并且限制该光在预定波长带内。
7.如权利要求1到6的任何一个所述的目标检测设备，其中该成像单元配置为逐次部分地曝光该图像传感器以产生成像帧，并且该目标检测设备进一步包括照明光控制单元，配置为控制该光照明单元，使得当捕获该异物检测单元使用的第二图像的该成像帧时，在曝光图像传感器上的第一光接收区域的时段中不发射照明光，而在曝光图像传感器上的第二光接收区域的时段中发射照明光。
8.一种移动体设备控制***，包括∶
目标检测单元，配置为检测附着于在移动体中的光透射构件上定义的监视区域的异物，和在该移动体周围的远处摄影被摄体之中存在的检测目标；以及
移动体设备控制单元，配置为根据该目标检测单元的该异物的检测结果和该检测目标的检测结果，控制安装在该移动体上的预定设备，其中按照权利要求1到7的任何一个所述的目标检测设备被用作该目标检测单元。
9.一种非暂时计算机可读存储介质，存储用于使得目标检测设备的计算机执行目标检测过程的程序，该目标检测设备包括光照明单元，配置为发射照明光，用于照明在光透射构件上定义的监视区域；和成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过该光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧，该目标检测过程包括∶
目标检测步骤，用于根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；
异物检测步骤，用于根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及
曝光量改变步骤，用于从成像帧到成像帧改变该成像单元的曝光量，其中在该目标检测步骤中，使用其曝光量彼此不同的两个或更多成像帧中的第一图像，检测检测目标，并且在该异物检测步骤中，使用除了其曝光量在该两个或更多成像帧之中最大的成像帧之外的两个或更多成像帧的成像帧中的第二图像，检测该异物。
10.一种非暂时计算机可读存储介质，存储用于使得目标检测设备的计算机执行目标检测过程的程序，该目标检测设备包括光照明单元，配置为发射照明光，用于照明在光透射构件上定义的监视区域；和成像单元，包括成像传感器，该成像传感器具有第一光接收区域和第二光接收区域，该成像单元配置为通过在第一光接收区域中检测来自远处摄影被摄体的穿过该光透射构件的光，捕获远处摄影被摄体的第一图像，通过在第二光接收区域中检测从异物反射并且穿过该光透射构件的照明光，捕获附着于该光透射构件上的监视区域的异物的第二图像，并且产生包括第一图像和第二图像的图像帧，该目标检测过程包括∶
目标检测步骤，用于根据该成像帧中的第一图像，在远处摄影被摄体之中检测检测目标；
异物检测步骤，用于根据该成像帧中的第二图像，检测附着于光透射构件上的监视区域的异物；以及
曝光条件改变步骤，用于从成像帧到成像帧改变该成像单元的曝光条件，其中在该目标检测步骤中，根据在分别对应多个种类的检测目标的曝光条件捕获的成像帧群中的第一图像，检测分别对应该成像帧群的种类的检测目标，并且在该异物检测步骤中，使用除了对应于其曝光量在成像帧群之中最大的曝光条件的成像帧群之外的成像帧群的该成像帧群中的第二图像，检测该异物。
CN201480068131.1A 2013-12-19 2014-12-11 目标检测设备、移动体设备控制***及其程序 Pending CN105830428A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013-262885 2013-12-19
JP2013262885 2013-12-19
JP2014-209786 2014-10-14
JP2014209786A JP6380843B2 (ja) 2013-12-19 2014-10-14 物体検出装置及びこれを備えた移動体機器制御システム並びに物体検出用プログラム
PCT/JP2014/083490 WO2015093552A1 (en) 2013-12-19 2014-12-11 Object detection apparatus, moving body device control system and program thereof

Publications (1)

Publication Number Publication Date
CN105830428A true CN105830428A (zh) 2016-08-03

Family

ID=53402896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480068131.1A Pending CN105830428A (zh) 2013-12-19 2014-12-11 目标检测设备、移动体设备控制***及其程序

Country Status (5)

Country Link
US (1) US9944293B2 (zh)
EP (1) EP3085073B1 (zh)
JP (1) JP6380843B2 (zh)
CN (1) CN105830428A (zh)
WO (1) WO2015093552A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446873A (zh) * 2016-11-03 2017-02-22 北京旷视科技有限公司 人脸检测方法及装置
CN106427902A (zh) * 2016-10-26 2017-02-22 江苏金米智能科技有限责任公司 一种基于图像检测的车辆雨刮器自动控制***
CN109886900A (zh) * 2019-03-15 2019-06-14 西北大学 一种基于字典训练和稀疏表示的合成雨图除雨方法
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN110941024A (zh) * 2019-12-11 2020-03-31 江西莱利电气有限公司 一种基于干涉成像的风机内异物的检测装置及其方法
CN113287030A (zh) * 2019-01-10 2021-08-20 株式会社小糸制作所 LiDAR传感器单元及车辆用防盗***
CN113556528A (zh) * 2017-02-24 2021-10-26 苹果公司 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和***
CN114419076A (zh) * 2022-03-28 2022-04-29 杭州微影软件有限公司 一种数据处理方法及装置
WO2022142172A1 (zh) * 2020-12-30 2022-07-07 北京石头创新科技有限公司 一种检测近场物体的方法、装置、介质和电子设备
CN114898577A (zh) * 2022-07-13 2022-08-12 环球数科集团有限公司 一种用于高峰期通路管理的道路智能管理***与方法
CN115934405A (zh) * 2023-01-29 2023-04-07 蔚来汽车科技(安徽)有限公司 检测多***在显示设备上显示同步性

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981042B (zh) * 2014-01-17 2019-12-06 Kpit技术有限责任公司 车辆探测***及方法
WO2016121406A1 (ja) * 2015-01-28 2016-08-04 京セラ株式会社 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
US10769951B2 (en) * 2015-09-30 2020-09-08 Sony Corporation Image processing apparatus, image processing method, and vehicle control system to determine the presence of an object from an image of a peripheral area of a moving body
JP6589760B2 (ja) * 2016-07-07 2019-10-16 株式会社デンソー 車両制御装置
US11460550B2 (en) 2017-09-19 2022-10-04 Veoneer Us, Llc Direct detection LiDAR system and method with synthetic doppler processing
JP2019055756A (ja) * 2017-09-22 2019-04-11 トヨタ自動車株式会社 車両用認知支援装置
US11194022B2 (en) 2017-09-29 2021-12-07 Veoneer Us, Inc. Detection system with reflection member and offset detection array
US11315966B2 (en) * 2017-10-06 2022-04-26 Sony Semiconductor Solutions Corporation Solid-state imaging element, manufacturing method, and electronic apparatus
US11585901B2 (en) 2017-11-15 2023-02-21 Veoneer Us, Llc Scanning lidar system and method with spatial filtering for reduction of ambient light
US11145046B2 (en) * 2018-07-24 2021-10-12 The Regents Of The University Of Michigan Detection of near-field occlusions in images
EP3844714A4 (en) * 2018-10-26 2021-12-01 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR IMAGE SEGMENTATION USING AN EVENT SENSOR
US11474218B2 (en) 2019-07-15 2022-10-18 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11579257B2 (en) 2019-07-15 2023-02-14 Veoneer Us, Llc Scanning LiDAR system and method with unitary optical element
US11313969B2 (en) 2019-10-28 2022-04-26 Veoneer Us, Inc. LiDAR homodyne transceiver using pulse-position modulation
WO2021172270A1 (ja) * 2020-02-27 2021-09-02 株式会社小糸製作所 センサシステム、制御装置、非一時的なコンピュータ可読媒体、およびコンピュータプログラム
US11326758B1 (en) 2021-03-12 2022-05-10 Veoneer Us, Inc. Spotlight illumination system using optical element
US11732858B2 (en) 2021-06-18 2023-08-22 Veoneer Us, Llc Headlight illumination system using optical element

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507138B1 (en) * 2003-08-12 2010-05-19 Hitachi, Ltd. Image processing system
US20120062746A1 (en) * 2009-05-25 2012-03-15 Hitachi Automotive Systems, Ltd. Image Processing Apparatus
CN102753933A (zh) * 2010-02-15 2012-10-24 株式会社理光 透明物体检测***和透明平板检测***
WO2013081162A1 (en) * 2011-11-29 2013-06-06 Ricoh Company, Limited Image processing system, vehicle including the same, image processing method, and computer program product
WO2013081160A1 (en) * 2011-11-30 2013-06-06 Ricoh Company, Ltd. Attached matter detector, and attached matter detection method
CN103221805A (zh) * 2010-11-30 2013-07-24 康蒂特米克微电子有限公司 借助于摄像机和照明装置检测窗玻璃上的雨滴

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5572954B2 (ja) 2009-01-26 2014-08-20 株式会社リコー 撮像素子及び該撮像素子を備えた画像撮像装置
JP5316805B2 (ja) 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
JP5376313B2 (ja) 2009-09-03 2013-12-25 株式会社リコー 画像処理装置及び画像撮像装置
US9317754B2 (en) 2009-12-25 2016-04-19 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5950196B2 (ja) 2011-08-30 2016-07-13 株式会社リコー 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP5561333B2 (ja) * 2011-11-02 2014-07-30 株式会社リコー 画像処理装置、撮像方法、プログラムおよび車両
JP6098575B2 (ja) 2011-11-02 2017-03-22 株式会社リコー 撮像ユニット、画像処理装置および車両
JP2014032174A (ja) 2012-07-13 2014-02-20 Ricoh Co Ltd 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
WO2014017403A1 (ja) * 2012-07-27 2014-01-30 クラリオン株式会社 車載用画像認識装置
CN104508727B (zh) * 2012-07-27 2016-09-21 日产自动车株式会社 三维物体检测装置和三维物体检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1507138B1 (en) * 2003-08-12 2010-05-19 Hitachi, Ltd. Image processing system
US20120062746A1 (en) * 2009-05-25 2012-03-15 Hitachi Automotive Systems, Ltd. Image Processing Apparatus
CN102753933A (zh) * 2010-02-15 2012-10-24 株式会社理光 透明物体检测***和透明平板检测***
CN103221805A (zh) * 2010-11-30 2013-07-24 康蒂特米克微电子有限公司 借助于摄像机和照明装置检测窗玻璃上的雨滴
WO2013081162A1 (en) * 2011-11-29 2013-06-06 Ricoh Company, Limited Image processing system, vehicle including the same, image processing method, and computer program product
WO2013081160A1 (en) * 2011-11-30 2013-06-06 Ricoh Company, Ltd. Attached matter detector, and attached matter detection method

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106427902A (zh) * 2016-10-26 2017-02-22 江苏金米智能科技有限责任公司 一种基于图像检测的车辆雨刮器自动控制***
CN106446873A (zh) * 2016-11-03 2017-02-22 北京旷视科技有限公司 人脸检测方法及装置
CN106446873B (zh) * 2016-11-03 2021-01-26 北京旷视科技有限公司 人脸检测方法及装置
CN113556528A (zh) * 2017-02-24 2021-10-26 苹果公司 用于通过深度传感相机使用光发射在弱光条件下捕获视频影像的方法和***
CN110914638A (zh) * 2017-07-18 2020-03-24 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN110914638B (zh) * 2017-07-18 2021-11-26 杭州他若定位科技有限公司 使用反射光源的智能物体追踪
CN113287030A (zh) * 2019-01-10 2021-08-20 株式会社小糸制作所 LiDAR传感器单元及车辆用防盗***
CN109886900B (zh) * 2019-03-15 2023-04-28 西北大学 一种基于字典训练和稀疏表示的合成雨图除雨方法
CN109886900A (zh) * 2019-03-15 2019-06-14 西北大学 一种基于字典训练和稀疏表示的合成雨图除雨方法
CN110941024A (zh) * 2019-12-11 2020-03-31 江西莱利电气有限公司 一种基于干涉成像的风机内异物的检测装置及其方法
WO2022142172A1 (zh) * 2020-12-30 2022-07-07 北京石头创新科技有限公司 一种检测近场物体的方法、装置、介质和电子设备
CN114419076B (zh) * 2022-03-28 2022-08-05 杭州微影软件有限公司 一种数据处理方法及装置
CN114419076A (zh) * 2022-03-28 2022-04-29 杭州微影软件有限公司 一种数据处理方法及装置
CN114898577A (zh) * 2022-07-13 2022-08-12 环球数科集团有限公司 一种用于高峰期通路管理的道路智能管理***与方法
CN115934405A (zh) * 2023-01-29 2023-04-07 蔚来汽车科技(安徽)有限公司 检测多***在显示设备上显示同步性
CN115934405B (zh) * 2023-01-29 2023-07-21 蔚来汽车科技(安徽)有限公司 检测多***在显示设备上显示同步性

Also Published As

Publication number Publication date
EP3085073A4 (en) 2017-04-05
WO2015093552A1 (en) 2015-06-25
JP6380843B2 (ja) 2018-08-29
US20160280229A1 (en) 2016-09-29
EP3085073B1 (en) 2018-05-09
US9944293B2 (en) 2018-04-17
EP3085073A1 (en) 2016-10-26
JP2015136095A (ja) 2015-07-27

Similar Documents

Publication Publication Date Title
CN105830428A (zh) 目标检测设备、移动体设备控制***及其程序
US9344691B2 (en) Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter
JP5846485B2 (ja) 付着物検出装置及び付着物検出方法
JP5633503B2 (ja) 画像処理システム、画像処理システムを備えた車両、画像処理方法及びプログラム
JP2013029451A (ja) 付着物検出装置及び付着物検出方法
JP5761143B2 (ja) 撮像ユニット、撮像ユニットを搭載した車両
JP5936098B2 (ja) 撮像装置及びこれを備えた物体検出装置、並びに、光学フィルタ
EP3021109A1 (en) Adhering detection apparatus, adhering substance detection method, carrier medium, and device control system for controlling vehicle-mounted devices
JP2013190416A (ja) 付着物検出装置及びこれを用いた車載機器制御装置
CN104024827A (zh) 图像处理装置、图像捕捉方法和车辆
JP2014044196A (ja) 付着物検出装置、移動装置用機器制御システム及び移動装置
JP2014032174A (ja) 撮像装置、付着物検出装置、移動装置用機器制御システム及び移動装置
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JP5858327B2 (ja) 撮像装置及びこれを備えた物体検出装置並びに偏光フィルタ
JP2013095315A (ja) 撮像装置内蔵ルームミラー装置及びそれを備えた車両
JP5887840B2 (ja) 画像処理装置
JP6098575B2 (ja) 撮像ユニット、画像処理装置および車両
JP6008238B2 (ja) 撮像装置、撮像装置の設置方法及び移動装置
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP2013097223A (ja) 撮像方法及び撮像ユニット
JP6701542B2 (ja) 検出装置、移動体機器制御システム及び検出用プログラム
JP5845820B2 (ja) 撮像ユニット及びそれを備えた車両
JP6111514B2 (ja) 画像処理システム及びそれを備えた車両
JP2016076916A (ja) 撮像装置、撮像方法、プログラムおよび移動体機器制御システム
JP5967165B2 (ja) 画像処理システム、画像処理システムを備えたワイパー制御システム及び車両、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160803

WD01 Invention patent application deemed withdrawn after publication