CN102883925A - 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置 - Google Patents

Abstract

本发明涉及在风挡玻璃上的雾和雨滴检测方法（200），所述方法包括雨滴检测应用（201）和雾检测应用（202），其特征在于，所述雾检测应用（202）包括一步骤（202b），在该步骤（202b）中，雨滴存在的指示被检测，所述雨滴存在的指示触发从所述雾检测应用（202）到所述雨滴检测应用（201）的切换。

Description

在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置

技术领域

本发明涉及一种通过处理图像来检测机动车辆的风挡玻璃上的雨和雾的存在的方法和***，特别是以便自动地触发车辆装置的启动，所述车辆装置诸如风挡玻璃擦拭器和/或除霜器或除雾***。

背景技术

在机动车辆中，已知有多种驾驶辅助***，使用由单个或多个摄像机捕获的图像。

获得的图像可以被处理，以允许在屏幕上显示，例如在仪表板处或投影在风挡玻璃上，特别是在危险的情况下警示驾驶员或仅仅是改善他的可视性。图像还可以使得能够检测风挡玻璃上的雨滴或雾。

这些图像可以参与车辆功能的自动触发（警示驾驶员、制动的自动触发、在风挡玻璃上显示有水滴的情况下的风挡玻璃擦拭器的自动触发、视觉或听觉警告、前灯的一些功能的控制，等）。

特别在天气检测的情况下，通常通过两种不同的检测应用检测雨滴和雾。雾检测应用与雨滴检测应用在交替的处理周期中进行。特别地，由于风挡玻璃起雾较慢地开始，许多周期可以用于雾检测周期之间的雨滴检测。

因此，每一个摄像机的天气应用需要它本身的专用应用，周期地或同时运行，这需要重要的资源。

因此，本发明的目的是通过提出用于检测风挡玻璃上的雾和雨滴的改善的方法和改善的相关驾驶辅助装置而克服该缺陷。

发明内容

在本发明的第一方面中，该目标通过风挡玻璃上的雾和雨滴的检测方法而实现，所述方法包括雨滴检测应用和雾检测应用，其特征在于，所述雨滴检测应用包括一步骤，在该步骤中，雨滴的不存在触发从所述雨滴检测应用到所述雾检测应用的切换。

根据又一方面，当雨滴数量和/或水表面在预定时间期间保持等于或低于预定第一阈值时，雨滴检测应用切换到雾检测应用。

本发明还涉及在风挡玻璃上的雾和雨滴的检测方法，所述方法包括雨滴检测应用和雾检测应用，其特征在于，所述雾检测应用包括一步骤，在该步骤中，雨滴存在的指示被检测，所述雨滴存在的指示触发从所述雾检测应用到所述雨滴检测应用的切换。

根据另一方面，所述雾和雨滴检测的方法使用摄像机，所述摄像机对焦在无限远处以捕获图像，且雾检测应用包括以下阶段：

-第一阶段，在该阶段中，在被捕获的图像中的感兴趣区内检测边缘，

-第二阶段，在该阶段中，由所述感兴趣区的像素评价亮度曲线，

-第三阶段，在该阶段中，由所述亮度曲线计算拐点，以确定能见距离。

例如，当对应于雨滴形状（或雨滴边缘）的假设的边缘宽度的数量高于预定第二阈值时，雾检测应用触发从所述雾检测应用到所述雨滴检测应用的切换。

根据另一方面，雨滴检测应用包括一步骤，在该步骤中，雨滴的不存在触发从所述雨滴检测应用到雾检测应用的切换，并且雾检测应用包括一步骤，在该步骤中，雨滴存在的指示被检测，所述雨滴存在的指示触发从所述雾检测应用到所述雨滴检测应用的切换。

该第三示例允许雾和雨检测应用之间的快速切换。例如，在雾条件天气期间风挡玻璃上意外落滴的情况下，雾检测应用检测到落滴并切换到雨检测应用中。随后，雨检测应用启动擦拭，并在擦拭后，雨检测应用再次切换到雾检测应用。

这些方法利用雨和雾是不能同时发生的气候条件的事实。实际上，雨和雾起因于不同水平的大气压力。非常小的雨可以与雾同时出现，但该例外并特别的不利天气条件被视为雨，以允许风挡玻璃的擦拭。因此，雨和雾互相排斥，且不需要同时运行两种检测。使从一个至另一个的过渡自动化可以减少操作摄像机所需的资源。

根据又一方面，所述雾和雨滴检测方法使用包括双焦物镜的摄像机，雾检测应用使用由所述摄像机在对焦至无限远的第一区域中捕获的图像部分来检测雾密度，雨滴检测应用使用由所述摄像机在对焦在风挡玻璃上的第二区域中捕获的图像部分来检测雨滴。

雾检测应用还可以在由所述摄像机在对焦在风挡玻璃上的所述第二区域中捕获的图像中检测边缘，以检测雨滴边缘存在的指示，当在所述第二区域中的假设的雨滴边缘数量高于所述第二预定阈值时，雾检测应用切换至雨滴检测应用。

作为示例，雨滴检测应用包括以下步骤：

-第一步骤，使用在所述第二区域中捕获的图像部分检测雨滴，和

-第二步骤，其中，雨滴的不存在触发从所述雨滴检测应用到雾检测应用的切换，

以及雾检测应用包括以下步骤：

-第一步骤，其中，边缘在以下感兴趣区内被检测：

o在所述第一区域中选择的第一感兴趣区，以检测雾密度，和

o在所述第二区域中选择的第二感兴趣区，以检测假设的雨滴边缘的存在，和

-第二步骤，其中，假设的雨滴边缘数量超过所述预定第二阈值触发从所述雾检测应用到所述雨滴检测应用的切换。

根据又一目标，本发明涉及一种驾驶辅助装置，包括：

-摄像机，用于安装在车上，和

-处理器件，配置为从所述摄像机捕获图像，

其特征在于，所述处理器件配置为实施所述在风挡玻璃上的雾和雨滴的检测方法。

根据另一方面，所述摄像机包括双焦物镜，提供对焦至无限远的第一区域和对焦在近场的第二区域。

所述处理器件还可以配置为使用来自单个摄像机的图像运行车道偏离警告、速度限制辅助或自适应驱动光束驾驶辅助应用。

驾驶辅助装置的摄像机因此是多功能的。驾驶辅助装置可以用于检测风挡玻璃上的雨滴，或通过风挡玻璃捕获道路场景的图像。因此可以借助改变的物镜而将同一摄像机共享用于多功能。

附图说明

本发明的其他特征和优势将从以下非限制性示例的描述和所包括的附图而变得显而易见。

为了关于本发明的实施例更好地理解本发明，参考了附图，贯穿这些附图，相同的附图标记指派给相对应的元件或部分，且其中：

图1是风挡玻璃上的雾和雨滴的检测方法的第一示例的流程图，

图2是雾和雨滴检测方法的第二示例的流程图，

图3是雾和雨滴检测方法的第三示例的流程图，和

图4是检测雾和雨滴的方法的第四示例的流程图。

具体实施方式

驾驶辅助装置包括安装在机动车辆上的摄像机。

当在此使用时，术语“摄像机”用于指用来获取摄像类型（更具体地CCD（“电荷耦合传感器”）或CMOS（互补金属氧化物半导体）类型）或光敏传感器（例如黑白传感器或彩色传感器）的图像的任何装置。

摄像机安装在车辆的内部驾驶室中，对着风挡玻璃的“可擦拭”区域，即，被擦拭器刮片中的一个在操作时扫过的区域。摄像机通过风挡玻璃拍摄车辆前方道路的连续图像。例如，该摄像机安装在风挡玻璃被擦拭区后方，在距其约十至二十厘米处。

摄像机供应表示图像的信号，其可以随后被处理。摄像机通常在可见光范围和/或红外线范围内敏感，特别是在近红外线范围内。

驾驶辅助装置还包括处理器件，所述处理器件配置为从所述摄像机捕获图像，并随后在被捕获的图像上实施风挡玻璃上的雾和雨滴的检测方法，以便自动地控制车辆指定（appropriated）装置。例如，车辆的装置是风挡玻璃擦拭器、除霜器和/或除雾***。

雨和雾检测方法包括不同的雨滴和雾检测应用；两个应用包括不同的算法并分开运行。

图1中示出了雾和雨滴检测方法100的示例。

根据该第一示例，雾和雨滴检测方法100的雨滴检测应用101包括：

-第一步骤101a，检测雨滴，

-第二步骤101b，其中，雨滴的不存在触发从所述雨滴检测应用101到雾检测应用102的切换，和

-第三步骤101c，自动地控制与雨滴检测相关的车辆装置。

雨滴检测101a使用雨检测的经典鲁棒（robust）方法，例如，通过在感兴趣区中的边缘的确定以及排除不是雨滴边缘的并与其他阻挡物体（诸如灯或车道等）对应的边缘的一系列测试。

例如，雨滴检测第一步骤101a评价风挡玻璃上的由摄像机获取的图像上的雨滴数量和/或水表面。由此，当雨滴数量和/或水表面在预定时间期间保持等于或低于预定第一阈值（例如保持等于零）时，第二步骤101b触发进入雾检测应用102的切换。

相反地，雨滴的存在保持雨滴检测应用101运行。

在已经检测到雨滴之后，可以在车辆上实施实时的适当处理（第三步骤101c）。例如，雨滴检测应用101适应性地调整车辆擦拭器的周期和速度。

图2示出雾检测应用202的示例，其包括：

-第一步骤202a，检测雾，

-第二步骤202b，其中，检测雨滴，雨滴的存在触发从所述雾检测应用202到所述雨滴检测应用201的切换；和第二步骤202b，其中，检测雨滴存在的指示，所述雨滴存在的指示触发从所述雾检测应用202到所述雨滴检测应用201的切换，

-第三步骤202c，自动地控制与雾检测相关的车辆装置。

雨滴存在的指示与雨滴存在的强假设对应。但是，雾检测应用202不足够鲁棒来确认该假设的雨滴存在。该指示必须被雨滴检测应用201确认。如果雨滴检测应用201否认雨滴存在，则雨滴检测应用201再次切换到雾检测应用202，且雨滴存在的指示随后被忽略。

例如，雾检测应用202使用摄像机，该摄像机对焦在无限远处，以捕获图像，以便能够足够清楚地捕获元件，所述元件在车辆外部并位于距车辆至少20米处。

用来检测雾的第一步骤202a包括以下阶段。

在第一阶段中，在被捕获的图像中的被选择的感兴趣区内检测边缘。在非限制性示例中，可以使用边缘检测方法，诸如，索贝尔（Sobel）、普瑞维特（Prewitt）、罗伯茨（Roberts）、零交叉（Zero-cross）、坎尼（Canny）方法等。边缘检测允许去除感兴趣区的非同构（non-homogeneous）区域。这些非同构区域通常反映出物体的存在，所述物体诸如树、车辆、道路标志线、灯等。属于这些边缘的像素随后在接下来的步骤去除。感兴趣区于是是同构区域，在所述同构区域中，噪音、寄生虫；和非同构物体被排除。

在第二阶段，由所述感兴趣区的像素评价（例如，沿所述感兴趣区的垂直线）亮度（或灰度）曲线。该亮度曲线具有大致S形状。

且在第三阶段，由所述亮度曲线计算拐点，以确定能见距离，即，一种距离，直到该距离，车辆的驾驶员都可以感知到在道路场景中的任何障碍物。拐点与亮度曲线的二阶导数对应。

能见距离的计算因此可以提供关于雾密度的更好的信息。

能见距离的计算可以基于科施米德定律（Koschmieder's law），其提供在距离d处观察到的物体的亮度的简单表达：

L=L0*exp(-kd)+Lh(1-exp(-kd))

其中，

L0是物体的固有亮度，

k是雾的消光系数，和

Lh是由光在大气中的许多漫射造成的周围环境雾的亮度。

在对切换到雨滴检测应用201的触发进行确定的步骤202b中，确定雨滴存在的评价。

在所述摄像机对焦在无限远处的情况下，当对应于雨滴形状的假设的边缘宽度的数量高于第二预定阈值时，雾检测应用可以触发从所述雾检测应用到所述雨滴检测应用的切换。

例如，雾检测应用包括以下阶段：

-第一阶段，测量之前检测到的边缘的宽度，

-第二阶段，实现边缘宽度直方图，该第二阶段将允许和风挡玻璃上的雨滴对应的假设的边缘与图像的其他边缘区分开，和

-第三阶段，使边缘宽度阈值化，超过给定的最小预定第三阈值，更特别地以便加强可能与风挡玻璃上的雨滴对应的边缘存在的推定，以当边缘宽度的数量高于预定第二阈值时，触发到雨滴检测应用的切换。

实际上，与风挡玻璃上的水滴对应的斑点由于其边缘宽度而可以与其他斑点（例如与车辆外部景观的物体对应）区分开。风挡玻璃上的水滴实际上存在比其他斑点相对更宽的边缘。建立这些边缘宽度的直方图使得可以选择与液滴对应的假设的边缘点。

雨滴不存在的检测使雾检测应用202保持运行。

如果已经检测到雾，可以在车辆上实施实时的适当处理（第三步骤202c）。例如，应用可以激活车辆前部处和后部处的雾灯，或发送警示信号给车辆的驾驶员，建议他相对于最大授权速度或相对于用于使车辆停止的距离减少他的速度。

相反地，雨滴的存在触发从雾检测应用202到雨滴检测应用201的切换。

根据图3所示的雾和雨滴检测方法300的第三示例，雨滴检测应用301包括步骤301b，其中，雨滴的不存在触发从雨滴检测应用301到雾检测应用302的切换，且同样，雾检测应用302包括步骤302b，其中，雨滴存在的指示触发从雾检测应用302到雨滴检测应用301的切换。

该第三示例允许雾和雨检测应用301、302之间的快速切换。例如，在雾条件天气期间风挡玻璃上有意外落滴的情况下，雾检测应用302检测到落滴并切换到雨检测应用301中。随后，雨检测应用301启动擦拭，并在擦拭后，雨检测应用301再次切换到雾检测应用302。

该第三示例的雨滴检测应用301和雾检测应用302可以将之前描述的雨滴和雾检测应用101、102、201、202组合。

那些方法100、200、300利用的事实是雨和雾是不能同时发生的气候条件。实际上，雨和雾起因于不同水平的大气压力。非常小的雨可以与雾同时出现，但该例外且特别的不利天气条件被视为雨，以允许风挡玻璃的擦拭。因此，雨和雾互相排斥，且不需要同时运行两种应用。使从一个到另一个的过渡自动化可以减少操作摄像机所需的资源。

根据驾驶辅助装置的第一实施例，摄像机包括双焦（或多焦）物镜，提供对焦至无限远的第一区域和对焦在近场的第二区域。“近场”涉及大约一厘米或几十厘米的距离（例如与车辆中的被擦拭风挡玻璃区和摄像机之间的正常距离对应）。

因此可以在适应性的焦距、和在更短焦距附近的距离中捕获图像。

因此，雾检测方法102、202、302，和检测车道边缘或道路边界、或检测行人或障碍物的方法，将能够使用在一段距离处由传感器捕获的图像的部分，所述图像的部分由于物镜的对焦至无限远的区域而足够锐，雨滴检测方法101、201、301将能够使用风挡玻璃上的在非常短距离处拍摄的图像的部分（通过物镜的对焦在风挡玻璃上的区域）。

此外，处理器件可以配置为使用来自所述单个摄像机的视频图像运行其他驾驶辅助方法。

例如，处理器件配置为运行车道偏离警告（Lane Departure Warning）应用（“LDW”），所述车道偏离警告应用警示驾驶员车辆驶出指定交通车道的意外运动。在另一示例中，处理器件配置为运行速度限制辅助（Speed LimitAssist）应用（或“SLA”）。处理器件在车辆经过速度限制标志时检测这些速度限制标志，并提醒驾驶员当前的速度限制，且这样做，有助于他们在道路上更安全。在进一步的示例中，处理器件配置为运行自适应驱动光束（Adaptative Driving Beam）应用（或“BeamAtic”），其允许高和低光束之间的自动切换，例如，一旦有另一车辆接近时。

驾驶辅助装置的摄像机因此是多功能的。驾驶辅助装置可以用于检测风挡玻璃上的雨滴，或通过车辆的风挡玻璃捕获道路场景的图像。因此可以借助改变的物镜而将同一摄像机共享用于多功能。

根据该实施例，雾检测应用102、202、302可以使用在对焦至无限远的第一区域2中捕获的图像部分来检测雾密度，雨滴检测应用101、201、301可以使用在对焦在风挡玻璃上的第二区域3中捕获的图像部分来检测雨滴。因此不再有必须具有专用于雨检测的传感器的任何约束。

雾检测应用102、202、302还可以在由摄像机在第二区域（对焦在风挡玻璃上）中捕获的图像中检测边缘，以检测假设的雨滴边缘的存在，当在所述第二区域中的假设的雨滴边缘数量高于预定第二阈值时，雾检测应用切换到雨滴检测应用。

图4示出雨滴和雾检测的方法400的实施例的示例。根据该示例，雨滴检测应用401包括：

-第一步骤401a，检测雨滴，该第一步骤使用由摄像机在对焦在风挡玻璃上的第二区域中捕获的图像部分，

-第二步骤401b，其中，雨滴的不存在触发从所述雨滴检测应用401到雾检测应用402的切换，例如当雨滴数量和/或水表面在预定时间期间保持等于或低于预定第一阈值时，和

-第三步骤401c，自动地控制与雨滴检测相关的车辆装置。

雾检测应用402包括：

-第一步骤402a，其中，在图像中选择的第一感兴趣区内检测边缘以检测雾密度，所述图像由摄像机在对焦至无限远的第一区域中捕获，且其中，还在图像中选择的第二感兴趣区内检测边缘以检测雨滴边缘的存在的指示，所述图像由摄像机在对焦在风挡玻璃上的第二区域中捕获，

-第二步骤402b，其中，第二区域中的雨滴边缘数量超过预定第二阈值则触发从所述雾检测应用402到所述雨滴检测应用401的切换，和

-第三步骤402c，其中，由第一感兴趣区的像素评价亮度曲线，且其中，由所述亮度曲线计算拐点，以确定能见距离，且如果已经检测到雾，则自动地控制与雾检测相关的车辆装置。

因此，雾和雨滴检测应用不同时运行，要求更少的资源。

Claims (12)

1.一种在风挡玻璃上的雾和雨滴的检测方法（100），所述方法包括雨滴检测应用（101）和雾检测应用（102），其特征在于，所述雨滴检测应用（101）包括一步骤（101b），在该步骤（101b）中，雨滴的不存在触发从所述雨滴检测应用（101）到所述雾检测应用（102）的切换。

2.根据权利要求1所述的雾和雨滴的检测方法，其特征在于，当雨滴数量和/或水表面在预定时间期间保持等于或低于预定第一阈值时，雨滴检测应用（101）切换至雾检测应用（102）。

3.一种在风挡玻璃上的雾和雨滴的检测方法（200），所述方法包括雨滴检测应用（201）和雾检测应用（202），其特征在于，所述雾检测应用（202）包括一步骤（202b），在该步骤（202b）中，雨滴存在的指示被检测，所述雨滴存在的指示触发从所述雾检测应用（202）到所述雨滴检测应用（201）的切换。

4.根据权利要求3所述的雾和雨滴的检测方法，使用对焦在无限远处的摄像机捕获图像，其特征在于，雾检测应用（202）包括以下阶段：

-第一阶段，在该阶段中，在被捕获的图像中的感兴趣区内检测边缘，

-第二阶段，在该阶段中，由所述感兴趣区的像素评价亮度曲线，和

-第三阶段，在该阶段中，由所述亮度曲线计算拐点，以确定能见距离。

5.根据权利要求4所述的雾和雨滴的检测方法，其特征在于，当对应于雨滴形状的假设的边缘宽度的数量高于预定第二阈值时，雾检测应用（202）触发从所述雾检测应用（202）到所述雨滴检测应用（201）的切换。

6.根据权利要求1或2并结合权利要求3至5中的任一项所述的雾和雨滴的检测方法（300、400），其特征在于，所述雨滴检测应用（301、401）包括一步骤，在该步骤中，雨滴的不存在触发从所述雨滴检测应用（301、401）到所述雾检测应用（302、402）的切换，且在于，所述雾检测应用（302、402）包括一步骤，在该步骤中，雨滴存在的指示被检测，所述雨滴存在的指示触发从所述雾检测应用（302、402）到所述雨滴检测应用（301、401）的切换。

7.根据权利要求6所述的雾和雨滴的检测方法，使用包括双焦物镜的摄像机，其特征在于，雾检测应用（302、402）使用由所述摄像机在对焦至无限远的第一区域中捕获的图像部分来检测雾密度，且在于，雨滴检测应用（301、401）使用由所述摄像机在对焦在风挡玻璃上的第二区域中捕获的图像部分来检测雨滴。

8.根据权利要求7所述的雾和雨滴的检测方法，其特征在于，所述雾检测应用（302、402）还在由所述摄像机在对焦在风挡玻璃上的第二区域中捕获的图像中检测边缘，以检测雨滴边缘存在的指示，当在所述第二区域中的假设的雨滴边缘数量高于所述第二预定阈值时，雾检测应用（302、402）切换到雨滴检测应用（301、401）。

9.根据权利要求8所述的雾和雨滴的检测方法，其特征在于，雨滴检测应用（401）包括以下步骤：

-第一步骤（401a），使用在所述第二区域中捕获的图像部分检测雨滴，和

-第二步骤（401b），其中，雨滴的不存在触发从所述雨滴检测应用（401）到雾检测应用（402）的切换，

且在于，雾检测应用（402）包括以下步骤：

-第一步骤（402a），其中，边缘在以下感兴趣区内被检测：

o在所述第一区域中选择的第一感兴趣区，以检测雾密度，和

o在所述第二区域中选择的第二感兴趣区，以检测假设的雨滴边缘的存在，和

-第二步骤（402b），其中，所述第二区域中的所述假设的雨滴边缘数量超过所述预定第二阈值触发从所述雾检测应用（402）到所述雨滴检测应用（401）的切换。

10.一种驾驶辅助装置，包括：

-摄像机，用于安装在车上，和

-处理器件，配置为从所述摄像机捕获图像，

其特征在于，所述处理器件配置为实施根据权利要求1至9所述的在风挡玻璃上的雾和雨滴的检测方法。

11.根据权利要求10所述的驾驶辅助装置，其特征在于，所述摄像机包括双焦物镜，提供对焦至无限远的第一区域和对焦在近场的第二区域。

12.根据权利要求11所述的驾驶辅助装置，其特征在于，所述处理器件还配置为使用来自单个摄像机的图像运行车道偏离警告、速度限制辅助或自适应驱动光束驾驶辅助应用。

Images