CN116547726A - 在下雨、入射光线和脏污时对摄像装置的图像的修正 - Google Patents

在下雨、入射光线和脏污时对摄像装置的图像的修正 Download PDF

Info

Publication number
CN116547726A
CN116547726A CN202180078979.2A CN202180078979A CN116547726A CN 116547726 A CN116547726 A CN 116547726A CN 202180078979 A CN202180078979 A CN 202180078979A CN 116547726 A CN116547726 A CN 116547726A
Authority
CN
China
Prior art keywords
cnn
image
image data
neural network
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078979.2A
Other languages
English (en)
Inventor
C·斯查芬贝格
M·卡格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Continental Zhixing Germany Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Zhixing Germany Co ltd filed Critical Continental Zhixing Germany Co ltd
Publication of CN116547726A publication Critical patent/CN116547726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于修正摄像装置(K)、例如车载周围环境检测摄像装置的受雨水、入射光线和/或脏污干扰的输入图像数据(Ini)的机器学习方法、一种方法和一种装置。用于修正摄像装置(K)的输入图像数据的方法包括以下步骤：a)将由摄像装置(K)检测到的受雨水、入射光线和/或脏污干扰的输入图像数据(Ini)提供给经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)，b)经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)配置用于，将具有雨水、入射光线和/或脏污干扰的输入图像数据(Ini)转换为无干扰的输出图像数据(Opti)，并测定确定性度量c，所述确定性度量取决于输入图像数据的图像被水润湿、入射光线和/或脏污干扰的程度，并且表征网络的确定性，即网络的图像修正是准确的，以及c)经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)配置用于输出输出图像数据(Opti)和所测定的确定性度量c。有利地，该方法能够在摄像装置雾化时识别对象，并从网络生成用于人类和计算机视觉的图像数据流，以进行优化的对应搜索。

Description

在下雨、入射光线和脏污时对摄像装置的图像的修正
技术领域
本发明涉及一种在下雨、入射光线或脏污时修正摄像装置、例如车载周围环境检测摄像装置的图像的机器学习方法、方法和装置。
背景技术
当今和未来的车辆配备有基于摄像装置的辅助***，所述辅助***用于识别对象以避免碰撞，并且用于识别道路边界以使车辆保持在车道上。为此，例如使用前视摄像装置，其单独或与环视摄像装置结合地实现检测功能或显示功能。
存在一些针对包括用于检测下雨的检测功能的前视摄像装置的方案。与用于控制车辆前照灯的基于摄像装置的日光识别相结合地，可以利用摄像装置实现所谓的雨水和光线检测器，其识别挡风玻璃上的雨水并且例如激活挡风玻璃雨刮器。
基于摄像***的识别算法已部分结合经典图像处理方法和机器学习方法、尤其是深度学习方法。在图像处理范围内，用于识别对象或结构的经典方法以手动选择的特性(特征)为基础，而基于深度学习的方法在训练方法本身中确定并且优化相关的特性。
上述的摄像***示出在对象识别中及在周围环境或对象的显示中的退化，然而，一旦在某个情况下，视野由于雨水、入射光线或脏污而受到影响，那么发生这一点。
如果例如安装在车内后视镜的镜座中的前置摄像装置的视野被挡风玻璃上的水滴或脏污所限制，那么可以通过操控挡风玻璃雨刮器恢复视野。这样做的前提条件是摄像装置在挡风玻璃雨刮器的擦拭区域中的安装位置。
由于车辆自动化的普及，前视摄像装置的数量正在增加。这些摄像装置不仅可以安置在镜座中心，而且可以安置在挡风玻璃的上角的A柱附近。这些区域对于检测功能而言是更为关键的，因为它们处于挡风玻璃雨刮器的擦拭区域之外。由于雨滴或脏污受限的视野对检测功能产生不利影响。
在车辆自动化程度从SAE 2+级提高至SAE 4级/5级的情况下，或在自动泊车或可视化的情况下，预计未来会使用安置在车辆侧面的摄像装置，其除了用于显示周围环境以外，还用于检测侧面的对象。如果镜头被水滴润湿或被脏污覆盖，那么显示或检测功能在此也可能受到很大限制。由于缺乏诸如挡风玻璃雨刮器之类的清洁可能性，这会导致***的退化或故障。
最后的示例是倒车摄像装置，倒车摄像装置大多安装在车牌上方，很快会变脏。在此，雨水或灰尘也会导致雾化，其会使清晰的显示变得困难。
基于卷积神经网络(CNN)的对象识别方法在很大程度上能够补偿至少在一定程度上通过水滴造成的镜头脏污或润湿，而基于图像特征(特性)、例如光流或运动恢复结构的对象识别方法由于脏污而遭受严重的退化。
用于检测摄像装置的外镜头上或车辆的挡风玻璃上的脏污或雨水的算法方法是已知的。
WO 2013/083120 A1示出了一种用于评估车辆摄像装置的图像数据的方法，其中，在评估图像数据时考虑到关于车辆摄像装置的视野内的玻璃上的雨滴的信息。关于雨滴的信息可以本身从图像数据被测定。对象的识别被提到作为用于评估图像数据的示例，该识别然后有针对性地考虑所述信息。例如，从识别到的下雨强度可估计出摄像装置所视的边缘(明/暗或颜色转换)的影响。相应地，基于边缘的评估方法可在其阈值中进行调整。尤其可从信息中推导出图像数据的质量标准，该质量标准然后在图像数据的评估中被考虑。
H.·波拉夫(H.Porav)等人2019年在电气与电子工程师协会(IEEE)于加拿大蒙特利尔举办的国际机器人与自动化大会论文集第7089到7093页上发表了论文“I Can SeeClearly Now:Image Restoration via De-Raining(现在我可看清楚：通过除雨进行图像恢复)”，该论文于2020年7月13日通过下列链接调用：
http://www.robots.ox.ac.uk/～mobile/Papers/ICRA19_porav.pdf。所述论文阐述一种受覆盖的雨滴或条纹干扰的图像的分割任务的改进方法。为此产生立体数据集，其中，一个镜头被真实的水滴干扰，另一镜头没被干扰。由此对“降噪生成器”进行训练，以便在图像重建和车道标记分割的背景下消除水滴的影响。
期望一种***，该***尽管在有脏污、入射光线或水滴的情况下仍在算法上提供图像增强，例如以便改进下游的对象识别，并且附加地能够实现雨水和光线识别功能(Rain+Light Detection)。
发明内容
本发明的任务是，提供这方面的解决方案。
该任务由独立权利要求的主题解决。有利的实施方式是从属权利要求、以下描述和附图的主题。
根据本发明的机器学习方法涉及借助人工神经网络从摄像装置的受雨水、入射光线和/或脏污干扰的输入图像数据到输出图像数据的图像修正。利用多个训练图像对进行学习，使得在人工神经网络的输入端分别提供具有雨水、入射光线和/或脏污干扰的第一图像，并提供同一场景的无干扰的第二图像作为额定输出图像。人工神经网络设计为，使得其测定取决于输入图像被雨水润湿、入射光线和/或脏污干扰的程度的确定性度量c。网络的设计例如可以通过人工神经网络的相应的设计或相应的架构来完成。在结束机器学习后，人工神经网络可以确定并输出新的输入图像的确定性度量c。因此，确定性度量c取决于被雨或水润湿、入射光线和/或脏污干扰的程度，并且在使用经训练的网络时表征确定性，即图像修正是准确的。
确定性度量c在一定程度上表征通过经训练的神经网络进行图像修正的“不确定性”。
换句话说，确定性度量c取决于输入图像数据的干扰，并且表征网络的确定性，即网络的图像修正是准确的。
人工神经网络例如可以是卷积神经网络(“Convolutional Neural Network”，简称CNN)。
转换为“无干扰的”输出图像数据通常包括转换为具有较低干扰的输出图像数据。
摄像装置例如可以是固定在车辆内或车辆上的(单目)摄像装置，其可以检测车辆周围环境。这种车载摄像装置的示例是在挡风玻璃后布置在车辆内的摄像装置，其可透过挡风玻璃检测和成像车辆前方的车辆周围环境区域。
摄像装置图像由于下雨、入射光线或脏污造成的干扰效果是类似的，因为该干扰效果导致图像中的(局部的)模糊。在所有这些情况下，减少或消除图像中的这种模糊性的图像修正是值得推荐的。
根据实施方式，至少一个因子d被测定为经修正的输出图像与受干扰的输入图像之间的差异的度量，并在训练范围内被提供给人工神经网络。人工神经网络在学习时例如以如下方式考虑因子d，即神经网络训练输入图像、输出图像和因子d的链接。因此，经训练的网络以后可以为当前检测到的受干扰的摄像装置图像估计或确定因子d，并生成(或重建)相应修正程度的输出图像。因此，在训练结束后，例如可以给经训练的神经网络预设因子d，并且由此可以控制当前检测到的摄像装置图像的修正程度。
因子d例如可以通过将未受干扰的图像与受雨水或脏污干扰的图像的局部比较进行测定。
在此，可以借助例如可在人工神经网络的输入层中映射的二维滤波器来确定因子d。
在简单的实施例中，因子d可表示为二维低通滤波器的方差。替代地，也可设想采用更复杂的对比度值(结构相似性)或相关性(绝对距离之和—缩写SAD、平方距离之和—缩写SSD、零均值归一化互相关—缩写ZNCC)，它们利用局部滤波器从两幅图像计算得出。
例如，在被雨水或脏污弄脏的摄像装置镜头中会产生失真的图像，其可能使对象识别变得困难。在机器学习范围内，可以从额定输出图像和相关的受干扰的输入图像的比较中确定因子d。该确定可以提前完成，即针对每个训练图像对已存在因子d。替代地，可以在学习范围内，纯粹基于训练图像对来确定因子d。
通过因子d可以提供数值，其表示经修正的图像的可能的重建的程度，并一起提供给后续的图像处理或图像显示功能。例如，低的值可以表示用于另外的处理阶段的高的修正，高的值可以表示用于另外的处理阶段的低的修正，并且在测定生成的对象数据的质量时被考虑，如确定性度量c那样。
在实施方式中，训练图像对以如下方式被生成，即分别同时或直接连续以不同的曝光时间拍摄或由摄像装置检测(在摄像装置的光路中)具有雨水、入射光线和/或脏污干扰的第一图像和无干扰的第二图像。
根据实施方式，训练图像对包含至少一个连续的输入和输出图像序列(作为图像数据)。换句话说，图像序列(视频序列)用作图像数据。在该情况下，机器学习需要至少一个输入视频序列和额定视频序列。
在使用图像序列时，可以有利地考虑重建(或图像修正)中的时间方面或关联性。作为示例提到随时间运动的雨滴或脏污颗粒。由此，在图像中产生一些区域，这些区域在时间点t包含清晰的视图，在时间点t+1包含被雨水干扰的视图。通过使用图像序列，清晰图像区域中的信息可以用于被雨水或脏污干扰的视图区域中的重建。
时间方面尤其可以在被脏污覆盖的区域中帮助重建清晰图像。在示例中，镜头区域被脏污覆盖，并且其他区域是干净的。在时间点t，可完全看到对象，而在另一时间点t+1，脏污阻碍对象的完全的拍摄。通过在驾驶时对象的运动和/或摄像装置的运动，在时间点t获得的关于图像中的对象的信息现在可以帮助在时间点t+1重建图像。
在实施方式中，人工神经网络具有用于两个独立的输出接口的共同的输入接口。共同的输入接口具有共享的特征表示层。在第一输出接口处输出经修正(即经转换)的图像数据。在第二输出接口处输出至少一个高级驾驶辅助***(ADAS)检测功能的与高级驾驶辅助***(ADAS)相关的检测。高级驾驶辅助***(ADAS)是指用于辅助或自动驾驶的高级***(英语：Advanced Driver Assistance Systems)。因此，与高级驾驶辅助***(ADAS)相关的检测因此例如是对象、物体、交通参与者，它们表示对于高级驾驶辅助***(ADAS)/自动驾驶(AD)***重要的输入变量。人工神经网络包括高级驾驶辅助***(ADAS)检测功能、例如车道识别、对象识别、深度识别(图像组成部分的三维估计)、语义识别等。在训练范围内，两个输出接口的输出被优化。
摄像装置的受雨水、入射光线和/或脏污干扰的输入图像数据的修正方法包括以下步骤：
a)由摄像装置拍摄的受雨水、入射光线和/或脏污干扰的输入图像数据被提供给经训练的人工神经网络，
b)经训练的人工神经网络配置用于，将具有雨水、入射光线和/或脏污干扰的输入图像数据转换为无干扰的输出图像数据，并测定确定性度量c，确定性度量取决于输入图像数据的图像(或每幅图像)被水润湿、入射光线和/或脏污干扰的程度，并且表征网络的确定性，即网络的图像修正是准确的，和
c)经训练的人工神经网络配置用于输出输出图像数据和所测定的确定性度量c。
经修正的输出图像数据有利地能够实现对输出图像数据的更好的机器对象识别、例如常规的车道检测/对象检测或交通标志检测。
根据实施方式，估计因子d，并且在估计时考虑当前检测到的输入图像数据的干扰。累积地或替代地，对当前检测到的输入图像数据的因子d的估计可以考虑先前检测到的图像数据的因子d。
根据实施方式，在确定或估计因子d时，可以考虑因子d随时间的变化。为此，因子d随时间的变化和输入图像序列被包括在估计中。
在实施方式中，摄像装置是车载周围环境检测摄像装置。
根据具有车载周围环境检测摄像装置的实施方式，在确定因子d时，考虑关于车辆的当前的周围环境情况的信息。关于当前的周围环境情况的信息例如可以包括下雨传感器数据、外部空间分辨的天气信息和/或太阳位置信息(车对外界信息交互(V2X)数据或导航***、例如带数字地图的全球定位***(GPS)接收器的数据)、驾驶情况信息(州县公路、城市、高速公路、隧道、地下通道)。这些信息也可以(至少部分)通过图像处理从摄像装置图像数据中获取。
当前的因子d例如可以基于周围环境情况信息并且从图像的时间序列及因子d的历史被估计。
由此，在使用经训练的人工神经网络时，可以动态进行对因子d的估计。
在实施方式中，输出车载周围环境检测摄像装置的经修正的图像数据和所测定的确定性度量(或多个所测定的确定性度量)，并可选地还将因子d输出到至少一个高级驾驶辅助***(ADAS)检测功能，该功能测定并输出与高级驾驶辅助***(ADAS)相关的检测。高级驾驶辅助***(ADAS)检测功能可包括已知的边缘或模式识别方法以及可借助人工神经网络识别并可选地分类相关的图象对象的识别方法。
在替代的实施方式中，方法可被扩展，并且用于修正图像数据的人工神经网络可与用于高级驾驶辅助***(ADAS)检测功能、例如车道识别、对象识别、深度识别、语义识别的神经网络相结合。由此，几乎不会导致附加的计算耗费。在训练后，可以消除用于输出经转换(经修正)的图像数据的(第一)输出接口，从而在车辆中使用时，仅存在用于高级驾驶辅助***(ADAS)检测的(第二)输出接口。
在另一实施方式中，替代重建不清楚或受干扰的图像数据地，经学习的方法可以相反地被使用，以便在所拍摄的图像数据中，从经学习的重建轮廓中人为添加雨水或脏污，用以进行模拟从而进行保护。
在另一实施方式中，经学习的重建轮廓也可以用于评估所拍摄的图像数据中的人工下雨模拟的质量。
根据另一实施方式，该方法可应用于增强现实、行车记录仪和事故记录领域。
此外，本发明还涉及一种装置，该装置包括至少一个数据处理单元，该装置配置用于将摄像装置的受雨水、入射光线和/或脏污干扰的输入图像数据修正为输出图像数据。该装置包括：输入接口、经训练的人工神经网络，和(第一)输出接口。
输入接口配置用于接收由摄像装置检测到的受雨、入射光线和/或脏污干扰的输入图像数据。经训练的人工神经网络配置用于，将受干扰的输入图像数据转换为无干扰的输出图像数据，并测定确定性度量c，该确定性度量取决于输入图像数据的一幅图像或每幅图像被水润湿、入射光线和/或脏污干扰的程度，并且表征网络的确定性，即网络的图像修正是准确的。
(第一)输出接口配置用于，输出经转换(经修正)的图像数据和一个或多个所测定的确定性度量c。
根据实施方式，输入图像数据包含至少一个连续检测到的输入图像序列作为输入图像数据，并且人工神经网络已借助至少一个连续的作为图像数据的输入和输出图像序列来训练。
装置或数据处理单元尤其可以包括微控制器或微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵(FPGA)等，以及用于执行相应的方法步骤的软件。
根据实施方式，数据处理单元在基于硬件的图像预处理阶段(图像信号处理器，缩写为ISP)中实现。
在实施方式中，用于图像修正的经训练的人工神经网络是车辆侧的高级驾驶辅助***(ADAS)检测神经网络的组成部分，例如用于语义分割、车道检测或对象检测，具有共享的输入接口(输入层或特征表示层)，以及两个独立的输出接口(输出层)，其中，第一输出接口配置用于输出经转换的输出图像数据，第二输出接口配置用于输出高级驾驶辅助***(ADAS)检测(图像识别数据)。
此外，本发明还涉及一种计算机程序单元，当数据处理单元利用该计算机程序单元被编程时，计算机程序单元促使数据处理单元执行用于从摄像装置的输入图像数据到输出图像数据的图像修正的方法。
此外，本发明还涉及一种存储有这类程序元件的计算机可读的存储介质。
此外，本发明还涉及一种用于从摄像装置的输入图像数据到输出图像数据的图像修正的机器学习方法的用途，该方法用于训练具有至少一个数据处理单元的装置的人工神经网络。
因此，本发明可以在数字电子电路、计算机硬件、固件或软件中实现。
主要优点是：
-在摄像装置被干扰(例如雾化)时，能识别对象
-从神经网络生成用于人类和计算机视觉的图像数据流，以进行优化的对应搜索(搜索特征匹配)
除了在机动车辆中的使用以外，还存在各种各样的应用领域：
-巴士、有轨车辆、飞机和机器人***中的辅助***
-基于特征的检测的所有应用，例如基于光流、运动恢复结构等的检测方法，其在脏污/雨水/光线干扰情况下，由于缺乏特征而导致严重的退化-因此，尤其是基于光流来搜索特征的辅助***
-摄像装置的在线校准，在润湿或脏污时，由于缺乏特征或对比度低，该在线校准的性能急剧下降。
附图说明
下文中将对实施例和附图进行更详细的描述。在此，
图1示意性示出了具有周围环境检测摄像装置的车辆；
图2示出了用于修正受干扰的摄像装置图像的***；
图3示出了具有用于修正图像的第一神经网络和用于检测功能的下游的第二神经网络的***；
图4示出了具有经组合的图像修正和检测功能的***；并且
图5示出了经修改的***，其中，图像修正仅在训练范围内被计算和输出。
具体实施方式
图1示意性示出了具有周围环境检测摄像装置K的车辆F，该周围环境检测摄像装置布置在挡风玻璃后方的车辆内部空间中，并且透过挡风玻璃检测车辆的周围环境或周围区域。在昏暗时，车辆F的前照灯S照亮由摄像装置K检测的车辆前方区域。摄像装置K尤其可以是单目摄像装置。利用摄像装置K检测车辆周围环境的图像序列。如果车辆F运动，那么摄像装置K所拍摄的周围环境区域连续变化。
如果雨水或脏污位于挡风玻璃或外部摄像装置镜头上，或如果杂散光、例如在太阳较低或反射较强时的日光射入摄像装置K的光路中，那么这导致摄像装置K检测的图像中的严重的干扰。
图2示意性示出了在下雨、入射光线和/或脏污时修正摄像装置图像的***的概图。重要的组成部分是人工神经网络CNN1，其在训练阶段中学习给一组训练输入图像In(In1、In2、In3、......)分配一组对应的经修正的训练(额定)输出图像Out(Out1、Out2、Out3、......)。分配在此意味着，神经网络CNN1学习生成经修正的图像。输入图像(In1、In2、In3、......)例如可以包含在下雨时的道路场景，在其上，利用人眼只能识别模糊的或不清楚的较大的对象、例如表示自行车的大型车道标记和天空。在对应的经修正的图像(Out1、Out2、Out3、......)上，附加地可识别道路交叉口、红绿灯、树和路灯的轮廓。在波拉夫(Porav)等人的图1中，例如可看到具有且没有干扰的彩色图像的真实摄影图像。
可选地，因子d用作神经网络CNN1的附加的输入变量。因子d是控制图像的干扰(雨水、入射光线或脏污)的修正程度的控制参数。在训练时，可以针对由训练图像和经修正的图像(In1、Out1；In2、Out2；In3、Out3；......)构成的图像对，事先或在训练范围内从图像对(In1、Out1；In2、Out2；In3、Out3；......)测定因子d，并将其提供给神经网络CNN1。由此，因子d也可被一起学习。
在使用经训练的神经网络CNN1时，可以通过预设因子d来控制神经网络CNN1修正当前检测到的图像的程度，因子d也可以被认为是外部回归参数(具有任何等级)。因为因子d可以承受在+/-10％范围内的可能的波动，所以在训练期间考虑到这一点。在训练期间(例如在训练神经网络的不同的时期期间)，因子d可能具有大约+/-10％的噪声，以便在车辆中的推理期间，对因子d在大约+/-10％范围内的错误估计具有鲁棒性。换句话说，因子d的必要的精度在+/-10％范围内，因此，神经网络CNN1对该参数的估计偏差具有鲁棒性。
替代地或补充地，因子d可以由经训练的神经网络CNN1输出，以用于实现图像修正。由此，下游的图像识别功能得到关于最初检测到的图像被修正程度的信息。
人工神经网络CNN1设计为，使得其测定取决于输入图像被水润湿、入射光线和/或脏污干扰的程度的确定性度量c。例如，可通过人工神经网络CNN1的相应的架构设计进行网络的设计。在结束机器学习后，人工神经网络CNN1可以确定并输出新的输入图像的确定性度量c。因此，确定性度量c取决于被雨或水润湿、入射光线和/或脏污干扰的程度，并在使用经训练的网络时表征确定性，即图像修正是准确的。
图2示意性示出了三个图像对：In1+Out1、In2+Out2、In3+Out3。相应地，通过经训练的神经网络CNN1为每个图像对测定并输出确定性度量c1、c2或c3。
因为受雨、入射光线或脏污干扰的图像的修正质量取决于许多因素(如在训练数据中存在类似情况，可能的修正的充分的曝光，避免模糊性的场景等)，所以网络除了修正图像以外还输出网络籍此做出其决定的确定性的度量。该确定性度量c可以包括以下实施方式之一或其组合：
-置信度c_Prob：在此，网络输出被校准为，使得它可被概率性诠释为网络籍此做出正确决定的概率。其数值被归一化到[0、1]之间的范围，这些数值对应于网络已经计算出图像的正确修正的从概率0％到100％的范围。该校准可以在实际的机器学习方法结束后借助训练图像数据集，通过随后借助验证图像数据集检查学习质量来实现。验证图像数据集还包含分别具有雨水、入射光线和/或脏污干扰的第一图像和作为相应的额定输出图像的相同场景的无干扰的第二图像的图像对。在实践中，一部分的输入图像和额定输出图像可以予以保留，即不用于机器学习方法，并且随后用于验证。
-类似于标准偏差的离散度c_Dev：在此，网络输出的不确定性被估计为，使得其描述网络输出的离散度。这可以通过不同方式实现。为此，这些可能性是细分为测量不确定性和模型不确定性。测量不确定性是指由输入数据、例如轻微的干扰引起的不确定性。其可以通过另一输出端添加到网络中，并通过误差函数的改变加以训练。模型不确定性是指由网络的有限的映射准确性和通用性引起的不确定性。这是指如训练数据的范围和网络设计的架构之类的因素。模型不确定性可以例如通过蒙特卡洛辍学(Monte Carlo Dropout)或网络集成来估计。模型不确定性和测量不确定性可加在一起。
-置信度量和离散度的组合
可为整个图像、图像区域或图像的各个像素计算确定性度量c。
基于确定性度量c可做出下列决定：
-c_Prob低：网络对其估计的置信度低—经常发生错误估计。
-c_Prob高：网络对其估计的置信度高—图像修正在大多数情况下是正确的。
-c_Dev低：网络的图像修正的离散度低—因此网络预测非常准确的图像修正。
-c_Dev高：图像修正的类似于标准偏差的估计的离散度高，并且网络输出是较不准确的/不清晰的—输入数据或网络建模的微小的变化会导致图像修正的偏差。
-组合：
o c_Prob高及c_Dev低：可以高确定性假设的非常可靠和准确的图像修正，
o c_Prob低及c_Dev高：倾向于被拒绝的极为不确定和不准确的图像修正
o c_Prob高及c_Dev高或c_Prob低及c_Dev低：这些修正具有不确定性，并且在此建议谨慎使用图像修正。
确定性度量的增加尤其与安全关键功能相关。
生成训练数据(训练图像(In1、In2、In3、......))和相关的经修正的图像(Out1、Out2、Out3、......)的可能性是利用“立体摄像装置结构”拍摄图像数据，如波拉夫(Porav)等人根据那里的图8描述的那样：在两个相同的彼此相距很小的摄像装置模块之前布置有带有透明玻璃的两部分的腔室，例如在右边的立体摄像装置模块之前的腔室被喷上水滴，而在左边的立体摄像装置模块之前的腔室则保持无干扰。
为了以类似方式模拟由入射光线造成的干扰，光源例如可以只对准一个腔室。或在脏污情况下，脏污也可以仅安置在一个腔室上。
替代地，可以用未受干扰的图像生成训练图像对，而利用模拟图像中的雨水、入射光线或脏污的影响的渲染方法难以计算训练图像对。
当训练神经网络CNN1时，按以下方案进行图像修正：
输入图像→CNN1
可选地：因子d→CNN1
CNN1→经修正的输出端图像/输出图像+确定性度量c。
图3至图5示出了用于图像修正的第一网络与用于驾驶辅助功能和自动驾驶功能的一个或多个网络的可能的组合的实施例，这些组合按计算资源的消耗排序。
图3示出了一种***，该***带有用于图像修正的第一神经网络CNN1和用于检测功能(fn1、fn2、fn3、fn4)的下游的第二神经网络CNN2。在此，检测功能(fn1、fn2、fn3、fn4)是检测图像数据中的与高级驾驶辅助***(ADAS)或自动驾驶(AD)功能相关的对象、结构、特性(一般为特征)的图像处理功能。许多基于机器学习的这种检测功能(fn1、fn2、fn3、fn4)已被开发出来，或是当前研发的主题(例如交通标志分类、对象分类、语义分割、深度估计、车道标记识别和定位)。在经修正的图像(Opti)上，第二神经网络CNN2的检测功能(fn1、fn2、fn3、fn4)在差的能见度条件下提供比在原始的输入图像数据(Ini)上更好的结果。
如果两个神经网络CNN1和CNN2已训练，那么方法可以按下列方案进行：
输入图像(Ini)，可选的因子d→CNN1→经修正的输出端图像/输出图像(Opti)+确定性度量c→用于检测功能(fn1、fn2、fn3、fn4)的CNN2→输出检测：对象、深度、车道、语义，......
图4示出了用于输入图像(Ini)的图像修正的必要时由因子d控制的神经网络CNN10，该神经网络与用于检测功能(fn1、fn2、fn3、fn4)的网络共享特征表示层(作为输入层或下层)。在神经网络CNN10的特征表示层中，学习用于图像修正和检测功能的共同的特征。
具有共享的输入层和两个独立的输出端的神经网络CNN10具有用于输出经修正的输出端图像/输出图像(Opti)和确定性度量c的第一输出端CNN11和用于输出检测：对象、深度、车道、语义等的第二输出端CNN12。
由于在训练时，特征表示层在图像修正和检测功能(fn1、fn2、fn3、fn4)方面得到优化，因此图像修正的优化同时导致检测功能(fn1、fn2、fn3、fn4)的改进。
如果现在不希望或不需要输出经修正的图像(Opti)，那么可以进一步改变该方法，如根据图5所解释的那样。
图5示出了基于图4的***的、用于通过优化特征实现基于神经网络的修正图像的方法。为了节省计算时间，在训练期间，检测功能(fn1、fn2、fn3、fn4)的特征在修正图像方面和检测功能(fn1、fn2、fn3、fn4)方面被优化。
在运行时，即在使用经训练的神经网络(CNN10、CNN11、CNN12)时，不对经修正的图像(Opti)进行计算。
尽管如此，与仅具有用于检测功能(fn1、fn2、fn3、fn4)的神经网络CNN2的在训练中也仅检测功能(fn1、fn2、fn3、fn4)被优化的***相比，检测功能(fn1、fn2、fn3、fn4)如已经解释的那样通过图像修正和检测功能的共同的训练加以改进。
在训练阶段中，通过附加的输出接口(CNN11)输出经修正的图像(Opti)，并将其与基准真相(相对应的经修正的训练图像)进行比较。在测试阶段中或在运行时，该输出端(CNN11)可以被进一步使用，或为了节省计算时间被隔断。在该训练中，检测功能(fn1、fn2,fn3,fn4)的权重利用附加的输出端(CNN11)进行修改，以使它们考虑检测功能(fn1、fn2、fn3、fn4)的图像修正。因此，检测功能(fn1、fn2、fn3、fn4)的权重隐含地学习关于图像修正的信息。
下面介绍辅助***的其他的方面和实施方式，尽管存在由于雨水、入射光线或脏污造成的干扰，但辅助***仍然通过算法将基本的摄像***的图像数据换算为对应于无这些干扰的拍摄的图示。然后，换算后的图像要么可以用于纯粹的显示目的，要么可以用作基于特征的识别算法的输入。
1)在第一实施方案中，***中的计算例如基于神经网络，该神经网络在检测或显示单元上游，将具有带有低对比度和颜色信息的雾化、脏污或水滴的输入图像转换为经清洁的表示。对该任务，神经网络利用由“雾化的输入图像”和相关的“经清洁的图像”组成的数据集进行训练。
2)通过使用经清洁的图像，神经网络尤其被训练为，使得尽管有雾化或脏污，但仍然得到并且甚至最佳情况下增强在要改进的图像对中出现的特征，以用于以后的对应搜索或对象识别。
3)在训练网络以进行图像修正/改进时，可以考虑基于特征的用于显示和对象检测的方法，从而使得该方法专门用于要识别的特征，并明确突出所述特征以进行后续处理。
4)在另一实施方案中，用于图像改进/图像修正的方法可以整合在基于硬件的图像预处理阶段中，即图像信号处理器(ISP)中。该图像信号处理器(ISP)在硬件方面由神经网络补充，该神经网络执行转换并将处理后的信息与原始数据一起提供给可能的检测或显示方法。
5)在另一应用中，除了脏污或雾化信息以外，还可以向网络提供关于图像质量的信息以进行训练。可以对***和方法进行优化，使得其计算出针对对象识别和人类视觉被优化的图像数据。
除了在雾化或水滴情况下的图像修正以外，***还识别水滴或脏污，例如用以激活挡风玻璃雨刮器或显示器以要求清洁卫星摄像装置。与亮度检测一起，除了图像修正以外，还可以以该方式实现雨水和光线检测功能。

Claims (15)

1.一种借助人工神经网络(CNN1、CNN10、CNN11、CNN12)从摄像装置(K)的受雨水、入射光线和/或脏污干扰的输入图像数据到输出图像数据的图像修正的机器学习方法，其中，利用多个训练图像对(In1、Out1；In2、Out2；In3、Out3；......)进行学习，使得在人工神经网络(CNN1、CNN10)的输入端分别提供具有雨水、入射光线和/或脏污干扰的第一图像(In1、In2、In3、......)，并且作为额定输出图像提供同一场景的无干扰的第二图像(Out1、Out2、Out3、......)，其中，人工神经网络(CNN1、CNN10、CNN11、CNN12)设计为，使得该人工神经网络测定确定性度量c，该确定性度量取决于输入图像被水润湿、入射光线和/或脏污干扰的程度，并且人工神经网络(CNN1、CNN10、CNN11、CNN12)能够在结束机器学习后确定并输出新的输入图像的确定性度量c。
2.根据权利要求1所述的方法，其中，训练图像对(In1、Out1；In2、Out2；In3、Out3；......)以如下方式被生成，即分别同时或直接连续拍摄具有雨水、入射光线和/或脏污干扰的第一图像(In1、In2、In3、......)和无干扰的第二图像(Out1、Out2、Out3、......)。
3.根据权利要求1或2所述的方法，其中，至少一个因子d被测定为额定输出图像(Out1、Out2、Out3、......)与训练图像对(In1、Out1；In2、Out2；In3、Out3；......)的受干扰的输入图像(In1、In2、In3、......)之间的差异的度量，并被提供给人工神经网络。
4.根据上述权利要求中任一项所述的方法，其中，训练图像对(In1、Out1；In2、Out2；In3、Out3；......)包含至少一个连续的输入和输出图像序列。
5.根据上述权利要求中任一项所述的方法，其中，人工神经网络(CNN1、CNN10、CNN11、CNN12)具有用于两个独立的输出接口(CNN11、CNN12)的共同的输入接口，其中，共同的输入接口具有共享的特征表示层，其中，在第一输出接口(CNN11)处输出经修正的图像数据(Opti)，其中，在第二输出接口(CNN12)处输出至少一个高级驾驶辅助***(ADAS)检测功能(fn1、fn2、fn3、fn4)的与高级驾驶辅助***(ADAS)相关的检测，并且其中，在训练范围内对两个输出接口(CNN11、CNN12)的输出进行优化。
6.一种摄像装置(K)的受水、入射光线和/或脏污干扰的输入图像数据的修正方法，该修正方法包括以下步骤：
a)由摄像装置(K)检测到的受雨水、入射光线和/或脏污干扰的输入图像数据(Ini)被提供给经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)，
b)经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)配置用于，将具有雨水、入射光线和/或脏污干扰的输入图像数据(Ini)转换为无干扰的输出图像数据(Opti)，并测定确定性度量c，所述确定性度量取决于输入图像数据的图像被水润湿、入射光线和/或脏污干扰的程度，并表征网络的确定性，即网络的图像修正是准确的，以及
c)经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)配置用于输出输出图像数据(Opti)和所测定的确定性度量c。
7.根据权利要求6所述的方法，其中，输入图像数据包含至少一个连续检测到的输入图像序列作为输入图像数据。
8.根据权利要求6或7中所述的方法，其中，摄像装置(K)是车载周围环境检测摄像装置。
9.根据权利要求8所述的方法，其中，将经转换的图像数据(Opti)和所测定的确定性度量c输出到至少一个高级驾驶辅助***(ADAS)检测功能，该检测功能基于经转换的图像数据测定并输出与高级驾驶辅助***(ADAS)相关的检测。
10.根据权利要求6到9中任一项所述的方法，其中，在步骤a)中，附加地向经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)提供因子d，并且在步骤b)中，根据因子d控制转换。
11.一种具有至少一个数据处理单元的装置，该装置配置用于将摄像装置(K)的受雨水、入射光线和/或脏污干扰的输入图像数据(Ini)修正为输出图像数据(Opti)，所述装置包括：
-输入接口，该输入接口配置用于接收摄像装置(K)的受雨水、入射光线和/或脏污干扰的输入图像数据(Ini)，
-经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)，该人工神经网络配置用于，将输入图像数据(Ini)转换为无干扰的输出图像数据(Opti)，并测定确定性度量c，该确定性度量c取决于输入图像数据的图像被水润湿、入射光线和/或脏污干扰的程度，并且表征网络的确定性，即网络的图像修正是准确的，以及
-第一输出接口(CNN11)，该第一输出接口配置用于输出转换后的输出图像数据(Opti)和测定的确定性度量c。
12.根据权利要求11所述的装置，其中，数据处理单元在基于硬件的图像预处理阶段中实现。
13.根据权利要求11或12所述的装置，其中，摄像装置(K)是一种车载周围环境检测摄像装置，并且用于图像修正的经训练的人工神经网络(CNN1、CNN10、CNN11)是车辆侧的高级驾驶辅助***(ADAS)检测神经网络(CNN2、CNN12)的组成部分，具有共享的输入接口和两个独立的输出接口，其中，第一输出接口(CNN11)配置用于输出经修正的输出图像数据(Opti)，并且第二输出接口(CNN12)配置用于输出与高级驾驶辅助***(ADAS)相关的检测。
14.根据权利要求11至13中任一项所述的装置，其中，输入图像数据包含至少一个连续检测到的输入图像序列作为输入图像数据，并且人工神经网络已借助至少一个连续的输入和输出图像序列进行训练。
15.一种计算机程序单元，当数据处理单元利用该计算机程序单元被编程时，该计算机程序单元促使数据处理单元执行根据权利要求6至10中任一项所述的方法。
CN202180078979.2A 2020-12-15 2021-11-26 在下雨、入射光线和脏污时对摄像装置的图像的修正 Pending CN116547726A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102020215859.2A DE102020215859A1 (de) 2020-12-15 2020-12-15 Korrektur von Bildern einer Kamera bei Regen, Lichteinfall und Verschmutzung
DE102020215859.2 2020-12-15
PCT/DE2021/200207 WO2022128013A1 (de) 2020-12-15 2021-11-26 Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung

Publications (1)

Publication Number Publication Date
CN116547726A true CN116547726A (zh) 2023-08-04

Family

ID=78821490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078979.2A Pending CN116547726A (zh) 2020-12-15 2021-11-26 在下雨、入射光线和脏污时对摄像装置的图像的修正

Country Status (6)

Country Link
EP (1) EP4264565A1 (zh)
JP (1) JP7498364B2 (zh)
KR (1) KR20230074590A (zh)
CN (1) CN116547726A (zh)
DE (1) DE102020215859A1 (zh)
WO (1) WO2022128013A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567375B (zh) * 2023-04-24 2024-02-02 禾多科技（北京）有限公司 车载前视摄像头一体机、车辆和车辆车速控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
US11995800B2 (en) 2018-08-07 2024-05-28 Meta Platforms, Inc. Artificial intelligence techniques for image enhancement
US11508049B2 (en) 2018-09-13 2022-11-22 Nvidia Corporation Deep neural network processing for sensor blindness detection in autonomous machine applications
US10694105B1 (en) 2018-12-24 2020-06-23 Wipro Limited Method and system for handling occluded regions in image frame to generate a surround view
DE102019205962A1 (de) 2019-04-25 2020-10-29 Robert Bosch Gmbh Verfahren zur Generierung von digitalen Bildpaaren als Trainingsdaten für Neuronale Netze
CN111063021B (zh) 2019-11-21 2021-08-27 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN112085680B (zh) 2020-09-09 2023-12-12 腾讯科技（深圳）有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
DE102020215859A1 (de) 2022-06-15
KR20230074590A (ko) 2023-05-30
JP7498364B2 (ja) 2024-06-11
WO2022128013A1 (de) 2022-06-23
JP2023548127A (ja) 2023-11-15
EP4264565A1 (de) 2023-10-25

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
US20240029444A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
US8233031B2 (en) Object detecting system
CN103770708B (zh) 通过景物亮度估计的动态后视镜自适应减低亮度覆盖
US20110184895A1 (en) Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system
US9398227B2 (en) System and method for estimating daytime visibility
EP3403216A1 (en) Systems and methods for augmenting upright object detection
WO2019208101A1 (ja) 位置推定装置
Cord et al. Detecting unfocused raindrops: In-vehicle multipurpose cameras
Cord et al. Towards rain detection through use of in-vehicle multipurpose cameras
KR102521656B1 (ko) 객체를 인식하는 방법 및 장치
CN116547726A (zh) 在下雨、入射光线和脏污时对摄像装置的图像的修正
Brophy et al. A review of the impact of rain on camera-based perception in automated driving systems
JP2004257837A (ja) ステレオアダプタ撮像システム
US20150035982A1 (en) Image capturing device for a vehicle
CN110774975A (zh) 一种基于图像识别的智能灯光控制方法及装置
WO2022244356A1 (en) Light interference detection during vehicle navigation
CN111553181A (zh) 车载相机语义识别方法、***及装置
WO2024009605A1 (ja) 画像処理装置、および、画像処理方法
JP7400599B2 (ja) 物体検出装置
Tadjine et al. Optical Self Diagnostics for Camera Based Driver Assistance
CN117325804A (zh) 一种摄像头的自动除雾方法、装置、设备和介质
JP2024507102A (ja) ステレオカメラの光路における障害を認識するための方法及び装置
CN116413725A (zh) 一种基于摄像头与毫米波雷达数据融合的障碍物检测方法
CN116434180A (zh) 点亮状态识别装置、点亮状态识别方法以及点亮状态识别用计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination