CN1589456A - 利用图像增强提高汽车安全性的方法和*** - Google Patents

利用图像增强提高汽车安全性的方法和*** Download PDF

Info

Publication number
CN1589456A
CN1589456A CNA02822907XA CN02822907A CN1589456A CN 1589456 A CN1589456 A CN 1589456A CN A02822907X A CNA02822907X A CN A02822907XA CN 02822907 A CN02822907 A CN 02822907A CN 1589456 A CN1589456 A CN 1589456A
Authority
CN
China
Prior art keywords
image
control module
filtering
pixel
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA02822907XA
Other languages
English (en)
Inventor
A·科梅纳雷兹
S·V·R·古特塔
M·特拉科维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1589456A publication Critical patent/CN1589456A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

用于向车辆驾驶员显示行驶场景的***和方法。该***包括至少一个具有一定视场并面向车辆前进方向的摄像机。摄像机捕捉行驶场景的图像，图像由车辆前方视场的像素组成。控制单元从摄像机接收图像，并把黑白点相间噪声滤波应用于组成所接收图像的像素。滤波提高了从摄像机接收的、因天气条件而下降的行驶场景的图像质量。显示器从控制单元接收应用了滤波操作之后的图像，并向驾驶员显示行驶场景的图像。

Description

利用图像增强提高汽车安全性的方法和***
本发明涉及车辆，具体来讲，涉及用于处理各种图像并在不利天气条件下向驾驶员提供改善视场的***和方法。
当今的许多驾驶活动发生在苛刻的环境中。车辆的激增以及所产生的交通密度增加了驾驶员在驾驶时必须作出反应的外部刺激的数量。另外，当今的驾驶员必须经常在较少时间内对行驶条件进行感知、处理并作出反应。例如，超速和/或拼抢驾驶的驾驶员留有极少时间对变化的条件(例如路面坑洼、邻近汽车的突然变道等)作出反应，并且也让邻近驾驶员很少有时间对他们作出反应。
除了面对日常遇到的这些苛刻行驶条件之外，驾驶员还经常被迫在极其恶劣的天气条件下驾驶。一个典型的例子是出现暴风雪，这时能见度会突然严重地受到阻碍。其它例子包括大雨和刺眼的阳光，这时能见度会同样受到阻碍。虽然包括计算机视觉、模式识别、图像处理以及人工智能(AI)在内的数字信号处理技术在进步，但几乎没有一种方法能够帮助驾驶员在环境条件妨碍正常视觉时进行极高要求的判定。
目前Cadillac DeVille可提供的一种驾驶员辅助***、军用“夜视”适合在夜间检测车辆前方的对象。采用摄像机(聚焦光学器件)捕捉从汽车前方的人、其它动物和汽车高发射的红外辐射形式的热量，并将其聚焦到红外检测器上。所检测的红外辐射数据被传送到处理电子设备，并用于形成对象的单色图像。对象的图像由车罩前沿附近的平视显示器投影到驾驶员的周边视觉范围内。在夜间，可能超出车辆前灯范围的对象可被预先检测并通过平视显示器来投影。在http：//www.gm.com/company/gmability/safety/crash_avoidance/newfeatures/night_vision.html上的文档“DeVille Becomes First Car To Offer SafetyBenefits Of Night Vision”中更详细地描述了该***。
在恶劣的天气下，DeVille夜视***可能会性能下降或者完全受阻，因为所发出的红外光会受到雪或雨的阻挡或吸收。即使DeVille夜视***在暴风雪、暴雨或其它恶劣天气条件下进行工作以检测并显示这类对象，但该显示器其中一个缺陷是仅提供对象的热图像(必须“热”到足以由红外传感器检测到)，而驾驶员不得不通过热图像的轮廓来识别该对象是什么。驾驶员也许无法识别该对象。例如，一个背负背包弯腰行走的人的热轮廓可能对驾驶员来讲太陌生而无法通过热图像轻易地辨认。这种无法辨认的对象的存在也会让人分散注意力。最后，驾驶员难以判断对象在实际环境中的位置，因为对象的热图像显示在机罩前沿附近，而没有参照其它不发热的对象。
在D.M.Gavrila和V.Philomin的“用于″智能″车辆的实时对象检测”[Proceedings of IEEE International Conference On Computer Vision，Kerkyra，Greece 1999，可见于www.gavrila.net]中描述了一种检测行人和交通标志、然后通知驾驶员某种潜在危险(撞人、超速或转错了单行道)的方法，将其内容通过引用结合于此。模板层捕捉各种对象形状，并采用基于距离变换的匹配的变型来实现匹配，其中在形状层和变换参数上采用同时由粗到细的方法。
在D.M.Gavrila的“从移动的车辆检测行人”(Proceedings Of TheEuropean Conference On Computer Vision，Dublin，Ireland，2000)中也描述了一种在移动车辆上检测行人的方法，将其内容通过引用结合于此。该方法以模板层和采用上述由粗到细方法的匹配为基础，然后利用径向基函数(RBF)来尝试检验这些形状和对象是否是行人。
但是，在上述两篇文章中，对图像中对象的识别在恶劣天气条件下将会恶化。例如，在暴风雪中，因降雪而对图像增添的整层亮度会使图像中对象和特征的正常对比度变得模糊。在降雪的情况下，光被四面八方的每片雪花散射，从而使场景元素(或数据)变模糊，使得摄像机无法捕捉场景图像。虽然含降雨的降雪部分是半透明的，但仍然具有使场景元素变得模糊而使摄像机无法捕捉场景图像的影响。这具有使模板匹配和RBF技术退化或失效的影响，这些技术依靠检测图像中对象边界所提供的图像梯度。
当车辆在恶劣天气条件下、即驾驶员的正常能见度因天气条件而降低或模糊时行驶时，先有技术无法提供一种用于改善为驾驶员显示的行驶场景的图像的***。先有技术无法单独或者与其它图像识别处理结合以采用某种图像处理来改善行驶场景的图像、从而对例如道路上或者道路附近的对象、交通信号、交通标志、道路轮廓以及道路障碍进行清晰的投影。当车辆在恶劣天气条件下行驶时，先有技术也无法以易懂的方式向驾驶员提供行驶场景(或者其中的对象和特征)的可辨认图像。
因此，本发明的一个目的是提供一种***和方法，用于在驾驶员所看到的实际图像因天气条件而质量下降时向车辆驾驶员显示行驶场景的改善图像。该***包括至少一个具有一定视场并面向车辆前进方向的摄像机。摄像机捕捉行驶场景的图像，图像由车辆前方的视场的像素组成。控制单元从摄像机接收图像，并把黑白点相间噪声滤波应用于组成接收图像的像素。滤波提高了从摄像机接收的行驶场景的图像因天气条件而下降的质量。显示器从控制单元接收应用了滤波操作之后的图像，并向驾驶员显示行驶场景的图像。
控制单元还可在显示之前把直方图均衡化操作应用于组成滤波后图像的像素的亮度。直方图均衡化操作进一步提高了因天气条件而下降的行驶场景的图像质量。控制单元还可在直方图均衡化操作之后且在显示之前把图像识别处理应用于图像。
在向车辆驾驶员显示行驶场景的方法中，捕捉车辆前进方向的行驶场景的图像。图像由车辆前方的视场的像素组成。把黑白点相间噪声滤波应用于组成捕捉图像的像素。滤波提高了因天气条件而下降的所捕捉的行驶场景的图像的质量。行驶场景的图像在应用了滤波操作之后向驾驶员显示。
图1是结合本发明的一个实施例的车辆的侧视图；
图1a是图1的车辆的顶视图；
图2是图1和图1a的实施例的部件以及其它用于描述本实施例的显著特征的典型示图；
图3a是图1-2的实施例的摄像机在天气条件不太恶劣时、或者在天气恶劣时应用了某些新颖的图像处理技术所产生的典型图像；
图3b是图1-2的实施例的摄像机在天气恶劣时没有应用某些新颖的图像处理技术所产生的典型图像；
图4a是要进行滤波的图像中的像素与用于滤波的相邻像素的表示；
图4b表示图4a的像素的滤波中应用的步骤；
图5a是图3b的图像在滤波之后的典型直方图；以及
图5b是图3b的图像在应用直方图均衡化之后的直方图。
参照图1，说明结合了本发明的一个实施例的车辆10。如图所示，摄像机14定位在挡风玻璃12的顶部，其光轴指向车辆10的前进方向。摄像机14的光轴(OA)实质上与地面平行，并且实质上以驾驶员和乘客位置为中心，如图1a所示。摄像机14捕捉车辆10前方的图像。摄像机14的视场最好是大约180°，因而摄像机实质上捕捉车辆前方的整个图像。但是，视场可低于180°。
参照图2，说明支持本发明的实施例的***的其它部件以及这些部件和驾驶员P的相对位置。图2说明驾驶员P的头部在挡风玻璃12后面、在左侧其相对位置中的位置。摄像机14设置在挡风玻璃12顶部的中心部分，如以上参照图1和图1a所述。另外，图中所示由雪花26组成的雪至少部分遮挡了驾驶员P在挡风玻璃12之外的视线。雪花26部分遮挡了驾驶员P观看道路以及其它交通对象和特征(统称为行驶场景)，其中包括停车标志28。如下面将要更详细说明的，来自摄像机14的图像被传送到控制单元20。处理图像之后，控制单元20把控制信号发送到平视显示器(HUD)24，下面也将进一步说明。
参考图3a，说明在没有受到雪26影响的某个时间点、驾驶员P通过挡风玻璃12看到的行驶场景。具体来讲，图中表示了相交的道路30、32的边界以及停车标志28。图3a的场景实质上与控制单元20(图2)在没有遮挡雪花26的时间点从摄像机14接收的图像相同。
图3b说明在出现雪花26时、驾驶员P所看到的(以及摄像机14的图像所捕捉的)行驶场景。一般来讲，雪使入射到各雪花上的光散射到各个方向，从而导致图像的普遍“白化”。这导致对象和图像特征、如道路边界30、32和停车标志28(图3b中由更淡的轮廓线表示)之间的对比度降低。除了普遍使图像加亮之外，各片雪花26(尤其是在大雪中)实际上使驾驶员P和捕捉场景图像的摄像机14无法看清场景中位于雪花后面的元素。因此，雪花26对摄像机14阻挡了场景的图像数据。
采用处理软件对控制单元20进行编程，处理软件改善了从摄像机12接收的因天气条件而变模糊的如图3b所示的图像。处理软件首先把图像中的雪花26当作“黑白点相间”噪声来处理。黑白点相间噪声又称作“数据丢失”噪声或者“斑点”。黑白点相间噪声通常由图像数据的错误传输而产生，它在整个图像上随机创建受损像素。受损像素可具有最大值(在图像中看起来象雪花)，或者也可设置为零值或最大值(因此称作“黑白点相间”)。图像中的未受损像素保留其原始图像数据。但是，受损像素不包含关于其原始值的信息。在http：//www.dai.ed.ac.uk/HIPR2/noise.htm上提供了对黑白点相间噪声的附加说明。
因此，在本发明方法中考虑了实际上被雪花遮挡的图像，并将它作为图像中的“雪”来处理，其中的像素被黑白点相间噪声所破坏，使得受损像素采取最大值。因此，控制单元20对于从摄像机14接收的图像应用旨在消除黑白点相间噪声的滤波。在一个示范实施例中，控制单元20应用中值滤波，它用局部邻域中的像素中间灰度值来取代各像素值。中值滤波不采用如线性滤波中那样的相邻像素值的平均值或加权和。而是对于所处理的各个像素，中值滤波器考虑像素的灰度值以及周围像素的邻域。像素按照灰度值排序(按照灰度值升序或降序)，并且选择该顺序中的中间像素。在通常情况下，所考虑的像素数量(包括被处理的像素)为奇数。因此，对于所选的中值像素，存在具有较高和较低灰度值的相等数量的像素。中值像素的灰度值取代被处理的像素。
图4a是应用于受到滤波的图像阵列的像素A上的中值滤波的一个实例。像素A和直接围绕的像素用作中值滤波的邻域。这样，九个像素的灰度值(如图4a中对各像素所示)用于对所考虑的像素A进行滤波。如图4b所示，九个像素的灰度值按照灰度值进行排序。从图中可以看到，排序的中间像素是图4b中的像素M，因为四个像素具有较高的灰度值以及四个像素具有较低的灰度值。这样，像素A的滤波采用中值像素的灰度值60来取代灰度值20。
如上所述，在通常情况下，存在一个中值像素，因为对于被处理的像素考虑的是奇数个像素。如果选择了邻域之后要考虑偶数个像素，则可使用按照排序的两个中间像素的平均灰度值。(例如，如果考虑十个像素，则可使用按照排序的第五和第六像素的平均灰度值。)
这种中值滤波在从图像中消除黑白点相间噪声的同时保留图像细节的方面是有效的。中值像素的灰度值的使用使经过滤波的像素值等于邻域中某个像素的灰度值，从而保持在相邻像素的灰度值本身被平均时可能会丢失的图像细节。
因此，如上所述，在进行滤波以消除黑白点相间滤波的第一示范实施例中，控制单元20把中值滤波应用于组成从摄像机14接收的图像的各个像素。对组成图像的各个像素，考虑像素的邻域(例如，图4a所示的八个直接相邻像素)，进行中值滤波，如上所述。(对于图像边缘，可使用存在的邻域的那些部分。)中值滤波减少或消除图像中的黑白点相间噪声，从而有效地减少或消除从摄像机14接收的行驶场景的图像中的雪花26。
在进行滤波以消除黑白点相间滤波的第二示范实施例中，控制单元20把“最小单值段同化核”(SUSAN)滤波应用于组成从摄像机14接收的图像的各像素。对于SUSAN滤波，为正被处理的像素(“核”)创建掩模，它描绘图像中具有与核相同或相似亮度的区域。核(被处理像素)的图像的这个掩模区称作USAN(“单值段同化核”)区。通过计算位于USAN内的像素(除核以外)的加权平均灰度值并用平均值取代核的值来进行SUSAN滤波。采用USAN内的像素的灰度值确保用于求平均值的像素将来自图像的相关区域，从而在保留图像结构的同时消除黑白点相间噪声。在S.M.Smith和J.M.Brady的“SUSAN-低级图像处理的新方法”[Technical Report TR95SMS1c，Defence ResearchAgency，Farnborough，England(1995)][还见于Int.Journal Of ComputerVision，23(1)：45-78(1997年5月)]中提供了SUSAN处理和滤波的其它详细情况，将其内容通过引用结合于此。
一旦图像经过滤波而消除了黑白点相间噪声(从而消除了图像中的雪花26)，滤波后的图像可由控制单元20直接输出到HUD 24，向驾驶员P显示，具体方式在下文进一步描述。但是，如上所述，雪花26还会使场景的图像普遍变亮，从而会降低图像中的特征和对象的对比度。因此，控制单元20还对滤波后的图像应用直方图均衡化算法。直方图均衡化技术是本领域众所周知的，这些技术提高图像的对比度而不影响其中包含的信息的结构。(例如，它们常用作图像识别处理中的预处理步骤。)对于图3b的图像，即使从图像中滤除雪花26之后，停车标志28和道路边界30、32的微弱对比度可能仍保留在图像中。经过黑白点相间滤波而消除雪花26之后，图3b的图像的图像像素的直方图表示在图5a中。从图中看到，图像中有大量像素具有高亮度等级，表示大量像素具有较高亮度。对图像应用直方图均衡化操作之后，直方图表示在图5b中。算子把原始图像中的(输入)亮度的所有像素映射到输出图像中的另一个(输出)亮度。因此，亮度密度等级由直方图均衡化算子进行扩展，从而为图像提供改善的对比度。但是，由于仅调整了分配给图像的特征的亮度，因此该操作不改变图像的结构。
一种用于把输入图像A映射到输出图像B的典型直方图均衡化变换函数表示为：
f ( D A ) = ( D M ) * P A ( u ) 0 D A du 公式1
其中p是描述输入图像A的亮度分布的假定概率函数，假定为随机的，DA是所考虑的原始图像A的特定亮度等级，以及DM是输入图像中的亮度等级的最大数。因此，
        f(DA)＝DM*FA(DA)         公式2
其中FA(DA)是原始图像直到特定亮度等级DA的累积概率分布(即累积直方图)。这样，利用这个直方图操作、即利用其累积直方图变换的图像，结果为平坦输出直方图。这是完全均衡的输出图像。
特别适合数字实现的另一种直方图均衡化操作采用变换函数：
     f(DA)＝max(0，round[DM*nk/N2)]-1)      公式3
其中N是图像像素的数量，nk是处于亮度等级k(＝DA)或以下的像素数量。输入图像中具有亮度等级DA(或k)的所有像素都被映射到亮度等级f(DA)。虽然输出图像不一定完全均衡(直方图中可能存在孔或者未使用的亮度等级)，但原始图像的像素的亮度密度在输出图像上更均匀地被扩展，尤其是在输入图像的像素数量和亮度量化等级高的情况下。R.Fisher等人在www.dai.ed.ac.uk/HIPR2/histeq.htm上发布的出版物“直方图均衡化”[Hypermedia Image Processing Reference 2，Departmentof Artificial Intelligence，University of Edinburgh(2000)]中更详细地描述了以上概述的直方图均衡化，将其内容通过引用结合于此。
应用直方图均衡化时，控制单元20把公式3(或者公式2)的算子应用于组成先前由控制单元20滤波的、从摄像机14接收的图像的像素。这个操作把输入图像中各像素的亮度(具有特定亮度DA)重新指定为(映射到)f(DA)所给定的亮度。在控制单元20内创建的已过滤和均衡的图像的包括对比度在内的图像质量得到明显提高，并且接近未受到天气条件影响的、如图3a所示的图像质量。(为方便起见，滤波和直方图均衡化之后在控制单元20中呈现的图像被称作“预处理图像”。)在这种情况下，控制单元20内创建的预处理图像通过HUD 24直接显示在挡风玻璃12的某个区域上。HUD 24把预处理图像投影到挡风玻璃12的小的不显眼区域中(例如在驾驶员P朝挡风玻璃12以外正常注视点以下)，从而显示排除了天气条件影响的行驶场景的图像。
另外，控制单元20根据从摄像机14接收的输入图像所创建的预处理图像经过改善，使图像识别处理能够由控制单元20可靠地应用于预处理图像。驾驶员(通过界面)可以发起由控制单元20进行的图像识别处理，或者控制单元20本身可自动地将它应用于预处理图像。控制单元20应用图像识别处理来进一步分析在控制单元20中所呈现的预处理图像。采用图像识别软件对控制单元20编程，所述图像识别软件分析预处理图像并检测其中的交通标志、人体、其它车辆、道路边界以及道路上的对象或变形，等等。由于预处理图像具有相对于从摄像机12接收的原始图像(如上所述，该图像质量因天气条件而下降)改善的清晰度和对比度，因此控制单元20所执行的图像识别处理具有高级图像检测和识别。
图像识别软件可结合例如基于形状的对象检测，如以上“用于“智能”车辆的实时对象检测”中所述。除了其它目标，控制单元20经过编程以识别预处理图像中的各种交通标志的形状，如图3a和3b中的停车标志28。同样，控制单元20可经过编程以检测预处理图像中的交通信号的轮廓，并且还分析信号的当前颜色状态(红、黄或绿)。另外，道路边界的图像梯度可由控制单元20采用“用于“智能”车辆的实时对象检测”中所述的基于形状的对象检测技术中的模板方法、作为预处理图像中的“形状”来检测。
一般来讲，控制单元20分析一系列预处理图像(已经利用从摄像机12接收的图像产生了这些图像)，并在各个这种图像中识别交通标志、道路轮廓等等。可随着时间推移来分析所有图像，或者分析样本。可以独立于先前的图像来分析各个图像。在该情况下，即使在先前接收的图像中已经检测到(例如)停车标志，也在所接收的当前图像中独立识别停车标志。
检测了预处理图像中的相关交通对象(例如交通标志和信号)和特征(例如道路轮廓)之后，控制单元20增强了对HUD 24输出的图像中的那些特征。增强可包括例如输出图像中那些对象和特征的图像质量的提高。例如，在停车标志的情况下，预处理图像中的单词“停车”仍然可能因降雪或其它天气条件而部分或完全难以辨认。但是，停车标志的八边形边框的预处理图像可能十分清楚，足以使图像识别处理能够把它识别为停车标志。在该情况下，控制单元20通过以数字形式在标志图像的正确位置上加入单词“停车”来增强传送到HUD 24供投影的图像。另外，标志的正确颜色在预处理图像中模糊不清时也可被添加。增强还可包括例如以数字方式突出显示预处理图像中由控制单元20识别的对象和特征的一些方面。例如，在预处理图像中识别停车标志之后，控制单元20可采用与直接相邻区域之间有高对比度的颜色来突出显示停车标志的八边形边框。当HUD 24投影图像时，驾驶员P自然将其注意力转移到这些突出显示的对象和特征上。
如果对象在预处理图像中被识别为控制信号、交通标志等，则控制单元20可经过进一步编程，以便跟踪它在后续预处理图像中的运动，而不是在各个后续图像中独立识别它。对连续图像中基于位置、运动和形状所识别的对象的运动的跟踪可依靠例如McKenna和Gong的“跟踪面部”[Proceedings of the Second International Conference onAutomatic Face and Gesture Recognition，Killington，Vt.，1996年10月14-16日，第271-276页]中所述的聚类技术，将其内容通过引用结合于此。(上述文件的第2部分描述对多个运动的跟踪。)通过跟踪对象在图像之间的运动，控制单元20可减少向HUD 24提供具有增强特征的图像所需的处理时间量。
如上所述，本发明的上述实施例的控制单元20还可经过编程，以便检测其本身在预处理图像中移动的对象、例如行人和其它车辆，并且增强发送到HUD 24并由其投影的图像中的那些对象。在要检测运动中的行人和其它对象(以及交通信号、交通标志等)的情况下，采用如“从移动的车辆检测行人”中所述的识别技术对控制单元20编程。如上所述，这为行人检测提供了一种两步方法，它采用RBF分类作为第二步。第一步的模板匹配和第二步中RBF分类器的训练还可包括车辆，因而控制器20经过编程以识别接收图像中的行人和车辆。(编程还可包括以上强调的用于静止的交通标志、信号、道路边界等的模块和RBF训练，从而提供控制单元20的整个图像识别处理。)一旦对象由控制单元20识别为行人、其它车辆等，则可采用如以上的“跟踪面部”中所述的聚类技术在后续图像中跟踪它的移动。
与上述方式相同，在预处理图像中识别的车辆或行人由控制单元20进行增强，以便由HUD 24投影。这种增强可包括对行人或车辆图像边框的数字调整，从而使其更容易被驾驶员P识别。增强还可包括例如数字调整行人或车辆的颜色，使得它在图像中与直接相邻区域的反差更明显。增强还可包括例如在图像中以数字方式突出显示行人或车辆的边框，例如使用与直接相邻区域对比明显的颜色或者通过闪烁边框。同样，当具有增强的图像由HUD 24投影时，驾驶员P自然将其注意力转移到这些突出显示的对象和特征上。
如上所述，不是由驾驶员P来启动控制单元20中的图像识别处理，而是可以始终在预处理图像上执行图像识别处理。这就不需要驾驶员参与附加处理。或者，控制单元20可与车辆上的外部传感器(未示出)接口，这些外部传感器提供指示天气性质及恶劣程度的输入信号。根据从外部传感器接收的天气指示，控制单元20选择是否采用上述创建和显示预处理图像的处理，或者是否对预处理图像进一步采用图像识别处理。例如，原始图像的直方图可由控制单元20进行分析，以便确定原始图像中的清晰度和对比度。例如，可对直方图的多个相邻亮度抽样，以便确定抽样亮度之间的平均对比度和/或可考虑图像边缘抽样的梯度以确定图像的清晰度。如果清晰度和/或对比度低于门限量，则控制单元20启动一部分或全部天气相关的处理。例如，可对预处理图像执行同样的直方图分析，从而确定是否需要对预处理图像执行附加的图像识别，或者是否可以直接显示预处理图像。通过仅当天气条件使所产生的预处理图像需要图像识别处理时才使用该处理，使处理和显示改善图像所需的时间减至最少。
虽然本文参照附图对本发明的说明性实施例进行了描述，但应当理解，本发明不限于这些确切的实施例。例如，虽然以上针对的天气条件是构成降雪的雪花，但相同或相似的处理可应用于构成降雨的雨滴。另外，上述图像识别处理可直接应用于滤波后的图像，而没有对滤波后的图像应用直方图均衡化处理。因此，本发明的范围意在由所附权利要求书的范围来定义。

Claims (16)

1.一种用于向车辆(10)的驾驶员(P)显示行驶场景的***，所述***包括：a)至少一个摄像机(14)，它具有一定视场，面向所述车辆(10)的前进方向，并且捕捉行驶场景的图像，所述图像包括在所述车辆(10)前方的视场的像素，b)控制单元(20)，从所述摄像机(14)接收所述图像，并把黑白点相间噪声滤波应用于组成所述接收图像的所述像素，当从所述摄像机(14)接收的行驶场景的图像质量因天气条件而下降时，所述滤波提高所述图像质量，以及c)显示器(24)，从所述控制单元(20)接收应用了所述滤波操作之后的所述图像，并向所述驾驶员(P)显示所述行驶场景的图像。
2.如权利要求1所述的***，其特征在于，所述控制单元(20)所应用的所述黑白点相间噪声滤波是中值滤波。
3.如权利要求1所述的***，其特征在于，所述控制单元(20)所应用的所述黑白点相间噪声滤波是SUSAN滤波。
4.如权利要求1所述的***，其特征在于，所述控制单元(20)还把直方图均衡化操作应用于组成所述滤波后图像的所述像素的亮度，所述直方图均衡化操作在所述行驶场景的图像质量因天气条件而下降时进一步提高所述图像质量。
5.如权利要求4所述的***，其特征在于，所述控制单元(20)在所述直方图均衡化操作之后还把图像识别处理应用于所述图像。
6.如权利要求5所述的***，其特征在于，所述控制单元(20)把图像识别处理应用于所述图像，从而识别其中至少一种预定类型的对象。
7.如权利要求6所述的***，其特征在于，所述至少一种预定类型的对象包括从以下组中选取的至少一项：行人、其它车辆、交通标志(28)、交通控制器以及道路障碍。
8.如权利要求6所述的***，其特征在于，所述图像中识别的所述至少一种预定类型的对象由所述控制单元(20)来增强，以供所述显示器(24)显示。
9.如权利要求6所述的***，其特征在于，所述控制单元(20)还识别所述图像中至少一种预定类型的特征。
10.如权利要求9所述的***，其特征在于，所述图像中识别的至少一种预定类型的所述特征由所述控制单元(20)来增强，以供所述显示器(24)显示。
11.如权利要求9所述的***，其特征在于，至少一种预定类型的所述特征包括道路边界(30，32)。
12.如权利要求1所述的***，其特征在于，所述显示器是平视显示器(HUD)(24)。
13.如权利要求1所述的***，其特征在于，所述控制单元(20)在所述滤波之后还把图像识别处理应用于所述图像。
14.一种用于向车辆(10)的驾驶员(P)显示行驶场景的方法，所述方法包括以下步骤：a)捕捉所述车辆(10)的前进方向上的行驶场景的图像，所述图像包括所述车辆(10)前方视场的像素，b)对组成所述捕捉图像的所述像素进行黑白点相间噪声滤波，当捕捉的所述行驶场景的所述图像的质量因天气条件而降低时，所述滤波提高所述图像质量，以及c)在应用所述滤波操作之后向所述驾驶员(P)显示所述行驶场景的所述图像。
15.如权利要求14所述的方法，其特征在于，对组成所述图像的所述像素进行所述黑白点相间噪声滤波的步骤之后是把直方图均衡化应用于滤波后的像素的步骤。
16.如权利要求14所述的方法，其特征在于，对组成所述图像的所述像素进行所述黑白点相间噪声滤波的步骤之后是把图像识别处理应用于滤波后的像素的步骤。
CNA02822907XA 2001-11-19 2002-10-29 利用图像增强提高汽车安全性的方法和*** Pending CN1589456A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/988,948 US20030095080A1 (en) 2001-11-19 2001-11-19 Method and system for improving car safety using image-enhancement
US09/988,948 2001-11-19

Publications (1)

Publication Number Publication Date
CN1589456A true CN1589456A (zh) 2005-03-02

Family

ID=25534625

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA02822907XA Pending CN1589456A (zh) 2001-11-19 2002-10-29 利用图像增强提高汽车安全性的方法和***

Country Status (7)

Country Link
US (1) US20030095080A1 (zh)
EP (1) EP1449168A2 (zh)
JP (1) JP2005509984A (zh)
KR (1) KR20040053344A (zh)
CN (1) CN1589456A (zh)
AU (1) AU2002339665A1 (zh)
WO (1) WO2003044738A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控***及监控方法
CN1884968B (zh) * 2005-06-24 2011-04-20 日产自动车株式会社 车辆用图像生成设备和方法
CN103112397A (zh) * 2013-03-08 2013-05-22 刘仁国 Gps雷达平视显示道路安全预警器
CN103533229A (zh) * 2012-07-05 2014-01-22 现代摩比斯株式会社 车道线识别方法及装置
CN106476695A (zh) * 2015-09-02 2017-03-08 Smr专利责任有限公司 用于可视性增强的***和方法
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
CN111460865A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶***、计算设备及存储介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359562B2 (en) * 2003-03-19 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality videos of illuminated scenes
DE102004033625B4 (de) * 2004-07-12 2008-12-24 Continental Automotive Gmbh Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug
WO2007053075A2 (en) * 2005-11-04 2007-05-10 Autoliv Development Ab Infrared vision arrangement and image enhancement method
GB2432071A (en) * 2005-11-04 2007-05-09 Autoliv Dev Determining pixel values for an enhanced image dependent on earlier processed pixels but independent of pixels below the pixel in question
US9445014B2 (en) * 2006-08-30 2016-09-13 J. Carl Cooper Selective image and object enhancement to aid viewer enjoyment of program
US7777708B2 (en) * 2006-09-21 2010-08-17 Research In Motion Limited Cross-talk correction for a liquid crystal display
US7873235B2 (en) * 2007-01-29 2011-01-18 Ford Global Technologies, Llc Fog isolation and rejection filter
US8912978B2 (en) * 2009-04-02 2014-12-16 GM Global Technology Operations LLC Dynamic vehicle system information on full windshield head-up display
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
US20120141046A1 (en) * 2010-12-01 2012-06-07 Microsoft Corporation Map with media icons
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
DE102012024289A1 (de) * 2012-12-12 2014-06-12 Connaught Electronics Ltd. Verfahren zum Umschalten eines Kamerasystems in einen Unterstützungsmodus, Kamerasystem und Kraftfahrzeug
CN103198474A (zh) * 2013-03-10 2013-07-10 中国人民解放军国防科学技术大学 图像宽线随机检测方法
KR101914362B1 (ko) * 2017-03-02 2019-01-14 경북대학교 산학협력단 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법
US10688929B2 (en) * 2017-06-27 2020-06-23 Shanghai XPT Technology Limited Driving assistance system and method of enhancing a driver's vision
TWM557685U (zh) 2017-06-27 2018-04-01 大陸商上海蔚蘭動力科技有限公司 駕駛輔助系統
CN117934775A (zh) * 2017-09-22 2024-04-26 麦克赛尔株式会社 车辆
EP3671533B1 (en) * 2018-12-19 2023-10-11 Audi Ag Vehicle with a camera-display-system and method for operating the vehicle
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
WO2022040540A1 (en) * 2020-08-21 2022-02-24 Pylon Manufacturing Corp. System, method and device for heads up display for a vehicle
CN112606832A (zh) * 2020-12-18 2021-04-06 芜湖雄狮汽车科技有限公司 一种车辆智能辅助视觉***
CN112644479B (zh) * 2021-01-07 2022-05-13 广州小鹏自动驾驶科技有限公司 一种泊车控制方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3862633A (en) * 1974-05-06 1975-01-28 Kenneth C Allison Electrode
US4671614A (en) * 1984-09-14 1987-06-09 Catalano Salvatore B Viewing of objects in low visibility atmospheres
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
JP2881741B2 (ja) * 1988-09-30 1999-04-12 アイシン精機株式会社 画像処理装置
US5535314A (en) * 1991-11-04 1996-07-09 Hughes Aircraft Company Video image processor and method for detecting vehicles
US5701140A (en) * 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
US5414439A (en) * 1994-06-09 1995-05-09 Delco Electronics Corporation Head up display with night vision enhancement
KR100213094B1 (ko) * 1997-02-21 1999-08-02 윤종용 영상 개선장치를 위한 히스토그램 및 cdf 추출방법 및 그 회로
JP3337197B2 (ja) * 1997-04-04 2002-10-21 富士重工業株式会社 車外監視装置
US6160923A (en) * 1997-11-05 2000-12-12 Microsoft Corporation User directed dust and compact anomaly remover from digital images
US6262848B1 (en) * 1999-04-29 2001-07-17 Raytheon Company Head-up display

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1884968B (zh) * 2005-06-24 2011-04-20 日产自动车株式会社 车辆用图像生成设备和方法
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控***及监控方法
CN103533229A (zh) * 2012-07-05 2014-01-22 现代摩比斯株式会社 车道线识别方法及装置
CN103112397A (zh) * 2013-03-08 2013-05-22 刘仁国 Gps雷达平视显示道路安全预警器
CN106476695A (zh) * 2015-09-02 2017-03-08 Smr专利责任有限公司 用于可视性增强的***和方法
CN106476695B (zh) * 2015-09-02 2021-08-17 Smr专利责任有限公司 用于可视性增强的***和方法
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
WO2019192418A1 (zh) * 2018-04-04 2019-10-10 京东方科技集团股份有限公司 汽车抬头显示***及其障碍物提示方法
CN108515909B (zh) * 2018-04-04 2021-04-20 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
US11087151B2 (en) 2018-04-04 2021-08-10 Boe Technology Group Co., Ltd. Automobile head-up display system and obstacle prompting method thereof
CN108515909A (zh) * 2018-04-04 2018-09-11 京东方科技集团股份有限公司 一种汽车抬头显示***及其障碍物提示方法
CN111460865A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶***、计算设备及存储介质
CN111460865B (zh) * 2019-01-22 2024-03-05 斑马智行网络(香港)有限公司 辅助驾驶方法、辅助驾驶***、计算设备及存储介质

Also Published As

Publication number Publication date
WO2003044738A2 (en) 2003-05-30
WO2003044738A3 (en) 2003-10-23
EP1449168A2 (en) 2004-08-25
US20030095080A1 (en) 2003-05-22
KR20040053344A (ko) 2004-06-23
JP2005509984A (ja) 2005-04-14
AU2002339665A1 (en) 2003-06-10

Similar Documents

Publication Publication Date Title
CN1589456A (zh) 利用图像增强提高汽车安全性的方法和***
CN108515909B (zh) 一种汽车抬头显示***及其障碍物提示方法
Kurihata et al. Rainy weather recognition from in-vehicle camera images for driver assistance
US7566851B2 (en) Headlight, taillight and streetlight detection
CN103770708B (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
EP2057583B1 (de) Verfahren zur automatischen fernlichtsteuerung
JP5023872B2 (ja) 画像表示制御装置及び画像表示制御システム
CN107862290A (zh) 车道线检测方法及***
KR102043089B1 (ko) 차선 검출 방법, 이를 수행하기 위한 장치 및 기록매체
JPWO2006109398A1 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
TW201716266A (zh) 影像修補系統及其方法
DE102006055904A1 (de) Erkennung und Kategorisierung von Lichtpunkten mit einer Kamera in einer Fahrzeugumgebung
JP2007288657A (ja) 車両用表示装置、車両用表示装置の表示方法
CN112329684B (zh) 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法
CN111860120A (zh) 车载相机自动遮挡检测方法和装置
KR101134857B1 (ko) 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치
CN105046223B (zh) 一种隧道入口“黑洞效应”严重程度的检测装置及方法
KR102204051B1 (ko) 지정이미지의 블러 처리 기능을 갖춘 mms 수집영상 가공시스템
DE10104734A1 (de) Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
Hao et al. Occupant detection through near-infrared imaging
CN114565597B (zh) 一种基于YOLO v3-tiny-DB和迁移学习的夜间道路行人检测方法
Manoharan et al. A robust approach for lane detection in challenging illumination scenarios
KR101865958B1 (ko) 속도 제한 표지판 인식 장치 및 방법
JP4432730B2 (ja) 車両用道路標示検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication