CN109584204B - 一种图像噪声强度估计方法、存储介质、处理及识别装置 - Google Patents

一种图像噪声强度估计方法、存储介质、处理及识别装置 Download PDF

Info

Publication number
CN109584204B
CN109584204B CN201811196615.0A CN201811196615A CN109584204B CN 109584204 B CN109584204 B CN 109584204B CN 201811196615 A CN201811196615 A CN 201811196615A CN 109584204 B CN109584204 B CN 109584204B
Authority
CN
China
Prior art keywords
image
noise intensity
sub
noise
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811196615.0A
Other languages
English (en)
Other versions
CN109584204A (zh
Inventor
邓理淙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tuqing Microelectronics Co ltd
Original Assignee
Shanghai Tuqing Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tuqing Microelectronics Co ltd filed Critical Shanghai Tuqing Microelectronics Co ltd
Priority to CN201811196615.0A priority Critical patent/CN109584204B/zh
Publication of CN109584204A publication Critical patent/CN109584204A/zh
Priority to US16/508,330 priority patent/US10963993B2/en
Application granted granted Critical
Publication of CN109584204B publication Critical patent/CN109584204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像噪声强度估计方法、存储介质、处理及识别装置，该方法包括获取待估计的第一图像；对第一图像进行滤波，以获得第二图像；对第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块；计算第一图像子块与位置对应的第二图像子块之间的误差值；根据计算获得的多个误差值估计第一图像的噪声强度。通过上述方式，本申请能够提高噪声估计的准确度。

Description

一种图像噪声强度估计方法、存储介质、处理及识别装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像噪声强度估计方法、存储介质、处理及识别装置。
背景技术
很多计算机视觉算法根据处理图像的特征来设置参数能够获得更好的处理结果，而图像重要的特征之一就是图像噪声强度。获取图像噪声强度，对于很多图像处理算法都是很重要的一个步骤，比如图像去噪、图像边缘检测、图像分割、特征提取和目标识别等。对于相机捕获的自然图像，受光线强度和捕获设备的影响，图像的噪声往往是未知的，所以需要对图像的噪声强度进行估计。
随着图像处理技术的发展，涌现了很多噪声估计的方法。现有的噪声估计方法大致可分为以下三类：基于噪声模型、基于变换域和基于图像子块。基于噪声模型的方法对图像噪声建立概率模型，基于概率分布来估计噪声的程度；基于变换域的方法主要包括奇异值分解和小波变换，通过对图像进行域的变换来估计噪声强度；基于图像子块的方法将整个图像划分为多个子块，然后选取其中平滑的图像子块进行噪声强度估计。
本申请的发明人在长期研发中发现，现有的图像噪声估计方法存在弊端，在很多复杂的***中噪声很难理想地符合某种特定的概率分布或事先并不可能获取有关噪声的任何先验知识，因此，基于噪声模型的估计方法有时会和真实值有很大出入；对于基于变换域的方法，当图像包含较多纹理和边缘信息时，噪声特性受纹理和边缘特性影响较大，从而影响该方法的准确性；基于图像子块的噪声估计方法需要从图像子块中选取平滑的子块进行噪声估计。
基于图像子块的噪声估计方法可以分为基于前后帧和基于单帧的方法，由于前后帧存在运动的像素区域，基于前后帧的方法会影响噪声强度的估计精确度，选择一个运动检测模块来筛选出图像静止区域是一种可行的解决办法，但是运动检测的准确性很难保证，也会加大后续的计算处理难度。
发明内容
本申请主要解决的问题是提供一种图像噪声强度估计方法、存储介质、处理及识别装置，能够提高噪声估计的准确度。
为解决上述技术问题，本申请采用的技术方案是提供一种图像噪声强度估计方法，该方法包括：获取待估计的第一图像；对第一图像进行滤波，以获得第二图像；对第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块；计算第一图像子块与位置对应的第二图像子块之间的误差值；根据计算获得的多个误差值估计第一图像的噪声强度。
为解决上述技术问题，本申请采用的另一技术方案是提供一种图像识别方法，该方法包括：获取图像的噪声强度；根据噪声强度调整图像分割算法以及特征检测算法中的参数；其中，噪声强度为采用上述的图像噪声强度估计方法得到的噪声强度。
为解决上述技术问题，本申请采用的另一技术方案是提供一种图像噪声强度估计的装置，该装置包括：获取单元、滤波器和子块划分与计算单元；其中，获取单元与滤波器连接，获取单元用于获取待估计的第一图像，滤波器用于对第一图像进行滤波，以获得第二图像，子块划分与计算单元与滤波器连接，子块划分与计算单元用于对第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块；计算第一图像子块与位置对应的第二图像子块之间的误差值；根据计算获得的多个误差值估计第一图像的噪声强度。
为解决上述技术问题，本申请采用的另一技术方案是提供一种图像处理装置，该装置包括依次连接的输入单元、处理器和输出单元；输入单元用于输入图像以及图像的噪声强度，处理器包括图像去噪单元和/或边缘检测单元，图像去噪单元用于根据噪声强度调整滤波算法中的滤波参数，边缘检测单元用于根据噪声强度调整边缘检测算法中的边缘检测参数，输出单元用于输出滤波后的图像或图像的边缘检测结果；其中，噪声强度为采用上述的图像噪声强度估计的装置得到的噪声强度。
为解决上述技术问题，本申请采用的另一技术方案是提供一种图像识别装置，该装置包括依次连接的输入单元、图像分割单元、特征检测单元和输出单元；输入单元用于输入图像以及图像的噪声强度，图像分割单元用于根据噪声强度调整图像分割算法中的参数，特征检测单元用于根据噪声强度调整特征检测算法中的参数，输出单元用于输出特征检测结果；其中，图像为采用上述的图像处理装置输出的图像，噪声强度为采用上述的图像噪声强度估计的装置得到的噪声强度。
为解决上述技术问题，本申请采用的另一技术方案是提供一种存储介质，该存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的图像噪声强度估计方法。
通过上述方案，本申请的有益效果是：采用单帧图像来估计噪声强度，首先利用滤波方法滤除待估计的第一图像中的噪声，以得到第二图像；并对第一图像和第二图像进行分块，分别得到多个第一图像子块和多个第二图像子块，再获取第一图像子块和第二图像子块之间的误差值，进而根据误差值来估计第一图像的噪声强度；由于采用单帧图像来估计噪声强度，避免利用前后帧估计噪声强度造成的估计精准度受运动因素影响，提高噪声估计的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像噪声强度估计方法一实施例的流程示意图；
图2是本申请提供的图像噪声强度估计方法一实施例中第一图像和第二图像的分块示意图；
图3是本申请提供的图像噪声强度估计方法一实施例中的第一图像；
图4是本申请提供的图像噪声强度估计方法一实施例中的直方图；
图5是本申请提供的图像噪声强度估计方法另一实施例的流程示意图；
图6是本申请提供的图像噪声强度估计的装置一实施例的结构示意图；
图7是本申请提供的图像处理装置一实施例的结构示意图；
图8是本申请提供的图像识别装置一实施例的结构示意图；
图9是本申请提供的存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1，图1是本申请提供的图像噪声强度估计方法一实施例的流程示意图，该方法包括：
步骤11：获取待估计的第一图像。
首先获取待估计的第一图像，第一图像可以为彩色图像、灰度图像或深度图像等。
步骤12：对第一图像进行滤波，以获得第二图像。
在获取第一图像之后，利用滤波方法对第一图像进行去噪处理以得到噪声降低的第二图像；其中，滤波方法可以为中值滤波、均值滤波、小波滤波和双边滤波等。
在一具体实施方式中，由于双边滤波从空域和值域对像素进行滤波，能够较好地保留图像的边缘和纹理信息，因此对第一图像进行双边滤波。具体来说，双边滤波能够减轻对边缘和纹理进行空域滤波，从而减轻纹理和边缘对噪声估计的影响。
步骤13：对第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块。
分别对第一图像和第二图像进行分块，以获得多个第一图像子块和多个第二图像子块；第一图像和第二图像的大小相同，且第一图像子块与位置对应的第二图像子块的大小相等。
例如，如图2所示，第一图像和第二图像分别被分成多个第一图像子块和第二图像子块，每个第一图像子块包含m×n个像素，第一图像子块和第二图像子块的大小相同，且位置坐标相同。
步骤14：计算第一图像子块与位置对应的第二图像子块之间的误差值。
对于每个位置对应的第一图像子块和第二图像子块，计算第一图像子块内的第一像素与位置对应的第二图像子块中与第一像素位置对应的第二像素之间的像素值差值，并根据像素值差值计算误差值。
进一步地，可以通过计算第一图像子块与第二图像子块之间的平均绝对误差(Mean Absolute Error，MAE)、绝对误差和(Sum of Squared Differences，SAD)、平均绝对差(Mean Absolute Differences，MAD)、均方误差(Mean Squared Error，MSE)、峰值信噪比(Peak Signal to Noise Ratio，PSNR)或者结构相似性(Structural Similarity，SSIM)来估计误差值。
在一具体的实施例中，由于MAE能够更好的反映误差的实际情况，因此利用MAE来估计误差值，计算公式如下所示：
Figure BDA0001828915410000051
其中，x和y分别为第一图像和第二图像的X轴坐标方向和Y轴坐标方向上的像素坐标，MAE(x,y)为起始坐标为x和y的第一图像子块和第二图像子块之间的平均绝对误差，m和n分别为第一图像子块和第二图像子块在X轴坐标方向和Y轴坐标方向上的数量，Y(x+i,y+j)表示第一图像中坐标为x+i和y+j的像素的像素值，Y’(x+i,y+j)表示第二图像中坐标为x+i和y+j的像素的像素值。
每一个第一图像子块和第二图像子块对应一个MAE，即对于第一图像子块和第二图像子块的数量为Nblock的第一图像和第二图像而言，共有Nblock个MAE。
步骤15：根据计算获得的多个误差值估计第一图像的噪声强度。
在一种实施方式中，可在获取各个图像子块的误差值后，通过求取所有子块的误差值的平均值来近似估计噪声的方差。
但是由于噪声分布和边缘信息分布会导致各个图像子块的差值参差不齐，含有较多边缘和纹理信息的图像子块的误差值不应该作为噪声估计的参考，所以求取平均值并不能准确代表噪声方差。
因此，在另一实施方式中，对获得的多个第一图像子块和多个第二图像子块的误差值进行直方图统计，并根据直方图峰值所对应的误差值估计第一图像的噪声强度。
进一步地，将多个误差值划分成多个区段，分别统计落入各区段内的误差值的数量，并将误差值落入数量最多的区段作为直方图峰值。
具体地，直方图的横坐标为误差值，纵坐标为误差值对应的第一图像子块的数量。
将第一图像划分为m×n个第一图像子块之后，大部分第一图像子块属于平滑子块，即第一图像子块中像素值比较接近，少数第一图像子块为图像边缘子块，即第一图像子块中含有边缘像素点，越平滑的第一图像子块，滤波后的像素值变化受边缘影响越少，越能表征图像噪声大小，为了使用有效的图像平滑子块的误差值作为噪声强估计的参考样本，本实施例根据生成的直方图，对直方图进行分析以获取图像噪声强度。
本实施例基于单帧图像进行估算，不会受运动像素的影响，并且使用双边滤波来避免纹理和边缘信息的影响，所以在获取直方图后，出现多个直方图波峰的可能性非常小，因此可通过选取峰值对应的误差值作为估计的噪声强度。此处，可以选择直方图峰值所对应的区间的区间最小值、最大值、中值或其他数值来作为估计的噪声强度，也可以是将落入该区间的误差值的平均值作为估计的噪声强度。
在一具体的实施例中，将图3所示的图像作为原始图像，在无人为添加噪声的情况下，如图4所示，使用本方案估计获得原始图像的噪声强度为4，表明原始图像存在一定程度的噪声且噪声强度约为4。进一步，在原始图像上人为加入高斯噪声，加入的噪声方差分别为{5,10,15,20,25}，可分别获得5张噪声程度不同的噪声图像(即第一图像)，使用本实施例中的方法进行噪声强度估计，估计的噪声强度结果如图4所示，其结果为{9,14,19,24,29}，将此结果与原始图像的噪声估计结果作差，则可以得到人为添加的噪声强度分别为{5,10,15,20,25}，与人为加入的高斯噪声的方差一致，实现了准确的估计第一图像的噪声强度。
在获取到第一图像的噪声强度之后，可以根据噪声强度调整图像处理算法中的参数，图像处理算法中的参数包括滤波算法中的滤波参数和/或边缘检测算法中的边缘检测参数，具体地，根据噪声强度调整滤波算法中的滤波参数，以增强滤波效果，降低第一图像中的噪声；或者根据噪声强度调整边缘检测算法中的边缘检测，提高第一图像的边缘检测结果；还可以根据噪声强度调整图像识别算法中图像分割算法和特征检测算法的参数，提高图像识别算法的准确度。
由于采用单张图像估计噪声强度，使得无运动像素的影响，使得获得噪声强度更准确，能够为后续的图像处理设置更加合理的参数，从而获得更加准确的处理效果。此外，本实施例使用双边滤波和直方图统计来进行滤波和噪声估计，使得计算获得的第一图像子块和第二图像子块之间的像素差值包含较少的图像边缘和纹理信息，有利于对图像噪声强度的进一步估计；并在获得第一图像子块和第二图像子块之间的误差值后，使用直方图来估计噪声图像，能够避免因第一图像子块含有参差不齐的纹理和边缘信息而影响噪声估计的准确性。
参阅图5，图5是本申请提供的图像噪声强度估计方法另一实施例的流程示意图，本实施例的图像噪声强度估计方法包括以下步骤：
步骤51：利用历史噪声强度对当前计算获得的噪声强度进行平滑滤波。
当噪声强度在时间域变化较快时，仅使用当前噪声强度作为估计的噪声强度，会使得连续的一些图像帧估计的噪声强度出现较大差异，如果用于指导下一步图像处理，会导致处理强度存在较大差异，易被人眼所察觉，即引起人为视觉效果，为了避免噪声强度切换过快导致人为视觉效果，本实施例利用历史噪声强度对当前计算获得的噪声强度进行平滑滤波。
首先利用上述实施例中的方法获取历史噪声强度，然后将历史噪声强度和当前计算获得的噪声强度进行加权求和，具体采用以下公式获取当前帧图像的噪声强度：
Figure BDA0001828915410000081
其中，历史噪声的数量h大于1，{an-h,…an-2,an-1,an}为滤波系数(即，加权比例)，在实际的实现中h和{an-h,…an-2,an-1,an}可以根据应用场景和用户偏好进行设置。历史噪声强度和当前计算获得的噪声强度所对应的加权比例的求和值为1，即
Figure BDA0001828915410000082
Figure BDA0001828915410000083
为根据上述实施例中的方法获取到的当前计算得到的噪声强度，
Figure BDA0001828915410000084
为平滑后的噪声强度。
由于当前图像的噪声强度与当前图像相关性最大，因此在一个具体的实施例中，当前计算获得的噪声强度所对应的加权比例大于历史噪声强度所对应的加权比例。
步骤52：将平滑滤波后的噪声强度存储为历史噪声强度。
在获得当前图像帧的噪声强度后，为了计算下一帧图像的噪声强度，可以存储当前图像帧的噪声强度，以作为下一帧图像的历史噪声强度。
基于估计的历史噪声强度，对当前图像帧进行平滑滤波，并将滤波后的噪声强度作为最终估计的当前噪声强度，同时存储该噪声强度以作为下一帧图像的噪声强度估计的历史噪声强度，对于噪声强度在时间域存在较快变化的情况，能够准确地估计噪声强度。
参阅图6，图6是本申请提供的图像噪声强度估计的装置一实施例的结构示意图，该图像噪声强度估计的装置包括获取单元61、滤波器62和子块划分与计算单元63。
获取单元61与滤波器62连接，获取单元61用于获取待估计的第一图像，获取单元61可以为监控摄像头、行车记录仪或者倒车后视等。
滤波器62用于对第一图像进行滤波，以获得第二图像；可以采用中值滤波器、均值滤波器或者双边滤波器等进行滤波，在一个具体的实施例中，利用双边滤波器滤除第一图像中的噪声，以得到噪声降低的第二图像。
子块划分与计算单元62包括互相连接的子块误差计算单元631和直方图统计单元632。
子块误差计算单元631用于对第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块，并计算第一图像子块与位置对应的第二图像子块之间的误差值；其中，第一图像和第二图像的大小相同，且第一图像子块与位置对应的第二图像子块的大小相等。
进一步地，子块误差计算单元631用于对于每个位置对应的第一图像子块和第二图像子块，计算第一图像子块内的第一像素与位置对应的第二图像子块中与第一像素位置对应的第二像素之间的像素值差值，并根据像素值差值计算误差值；子块误差计算单元631在计算出一个误差值后，输入给直方图统计单元632进行直方图累加。
直方图统计单元632用于根据计算获得的多个误差值估计第一图像的噪声强度。
进一步地，直方图统计单元632对获得的多个第一图像子块和多个第二图像子块的误差值进行直方图统计，并根据直方图峰值所对应的误差值估计第一图像的噪声强度。
具体地，直方图统计单元632在接收第一图像子块和第二图像子块之间的误差值之后，累加到直方图中，当所有第一图像子块和第二图像子块之间的误差值计算完毕，直方图计算完毕，输出直方图峰值对应的误差值，作为当前估计的噪声强度，从而完成噪声强度的估计。
通过利用双边滤波器来获得第一图像滤波后的第二图像，使得计算获得的第一图像子块和第二图像子块之间的像素差值包含较少的图像边缘和纹理信息，有利于对图像噪声强度的进一步估计；并利用子块误差计算单元631获取第一图像子块和第二图像子块之间像素差值的误差值，并使用直方图统计单元632来估计噪声图像，能够避免因第一图像子块含有纹理和边缘信息参差不齐而影响噪声估计的准确性；此外，由于采用单帧图像估计造成强度，使得无运动像素的影响，使得获得噪声强度更准确。
继续参阅图6，该图像噪声强度估计的装置还包括图像存储单元64和平滑滤波单元65；图像存储单元64分别于获取单元61、滤波器62和子块误差计算单元631连接，图像存储单元64用于存储第一图像和第二图像；平滑滤波单元65与直方图统计单元632连接，用于根据估计的噪声强度对第一图像进行平滑滤波，将得到的滤波后的噪声强度作为最终估计的噪声强度；在一个具体的实施例中，该平滑滤波单元65为双边滤波器；另外，对于视频而言，该噪声强度可以作为下一帧图像噪声强度估计的参考历史噪声强度。
本实施例中的装置能够准确估计出图像的噪声强度，可以应用在倒车后视、行车全景拼接和自动驾驶等应用场景中。
对于倒车后视而言，利用摄像头捕获视频后，可以利用本实施例中的装置获取噪声强度，获取更佳的去噪效果，最后显示的视频质量将得到提高。
对于全景拼接而言，会对同一时刻多个摄像头捕获的视频帧进行拼接，拼接算法会对各个视频帧进行图像边缘检测以及图像纹理信息提取等处理，可以利用本实施例中的装置获取的估计的噪声强度来设置参数，从而使得图像特征提取更加准确，提升最终的图像拼接效果。
对于自动驾驶而言，自动驾驶技术需要对周围车、人和物体等进行检测和识别，并进一步预测车和人的行为来做行动决策，利用本实施例中的装置基可以捕获周围图像估计出准确的噪声强度，可用于指导的图像边缘和轮廓检测算法的参数设置，得到更加有效地边缘和轮廓信息，提升对车和人识别以及其行为检测的准确性，保证自动驾车行动决策的正确性。
在一个具体的实施例中，获取单元61为倒车摄像头，其用于输入视频流给滤波器62和图像存储单元64，该滤波器62为双边滤波器。
双边滤波器在获取当前输入视频帧(第一图像)后，进行双边滤波处理，将滤波参数[σs,σr]设置为[20,40]，σs和σr分别为空间平滑系数和值域平滑系数；当输入视频质量较差或光线较暗的场景下，可以适当增大值域平滑系数σr，比如设置为[20,80]，最后将处理得到的第二图像存储到图像存储单元64中。
在完成第二图像的存储后，子块误差计算单元631开始从图像存储单元64中读取第一图像和第二图像，并进行子块误差值的计算，将图像子块的大小设置为5×5，对于小分辨率的图像，图像子块的大小可以为3×3，每完成一个子块误差值计算，便输入给直方图统计单元632进行累计。
平滑滤波单元65在读取到当前估计的噪声强度后，根据历史估计的噪声强度进行滤波计算，为了实现噪声估计的实时性，利用2个历史噪声强度，其对应的滤波系数为{1/4,1/4,2/4}，以在保证平滑更新的同时，能够跟踪到噪声的变化，最后将平滑滤波后获得的噪声强度估计作为当前视频帧的噪声强度。
在具体的实际应用中，为了能够处理实时输入视频，双边滤波器可以通过硬件实现，子块误差计算单元631和直方图统计单元632可基于OPENCL(Open ComputingLanguage，开放运算语言)编程语言利用GPU(Graphics Processing Uni，图形处理器)实现，完成对计算的加速，图像存储单元64可以为DDR SDRAM(Double Data RateSynchronous Dynamic Random Access Memory，双数据速度同步动态随机存储器)，平滑滤波单元65的计算量较小，可用软件编程并通过CPU(Central Processing Unit，中央处理器)完成计算。
参阅图6和图7，图7是本申请提供的图像处理装置一实施例的结构示意图；平滑滤波单元65在获取到当前帧的噪声强度后，配置给后续的图像处理装置，该图像处理装置包括依次连接的输入单元71、处理器72和输出单元73；图像处理装置可以根据估计的噪声强度调节图像处理算法中的参数，获取更优的处理效果。
输入单元71用于输入图像以及图像的噪声强度，其中，噪声强度为采用上述实施例中的图像噪声强度估计的装置得到的噪声强度。
处理器72包括图像去噪单元721或边缘检测单元722，图像去噪单元721用于根据噪声强度调整滤波算法中的滤波参数，边缘检测单元722用于根据噪声强度调整边缘检测算法中的边缘检测参数，输出单元73用于输出滤波后的图像或图像的边缘检测结果。
可以理解地，对于输入单元71获取的图像以及该图像的噪声强度，可以仅利用图像去噪单元721进行去噪后，直接输出至输出单元73；或者仅利用边缘检测单元722进行边缘检测，然后直接利用输出单元73输出；也可以先利用图像去噪单元721进行去噪，然后对滤波后的图像进行边缘检测，最后利用输出单元73输出，如图7所示。
在一个具体的实施例中，该图像去噪单元721采用双边滤波进行去噪，双边滤波的值域滤波参数σr可以根据所估计的噪声强度
Figure BDA0001828915410000121
进行调节设置，即
Figure BDA0001828915410000122
ρ>0，ρ为调节参数。噪声强度
Figure BDA0001828915410000123
越大，对应的值域滤波参数σr越大，双边去噪效果越强，从而获得更佳的去噪效果；边缘检测单元722利用Canny边缘检测算法检测图像的边缘，使用双阈值检测来确定图像中真实的和潜在的边缘，边缘检测的双阈值可以根据所估计的噪声强度
Figure BDA0001828915410000124
进行调节，当图像噪声强度增大，会产生更多的干扰边缘，根据噪声强度
Figure BDA0001828915410000125
对应增大双阈值，那么边缘检测能够排除这些噪声引起的干扰边缘，从而获得更准确的边缘检测结果。
参阅图6至图8，图8是本申请提供的图像识别装置一实施例的结构示意图；在利用图像处理装置获取到图像质量更好的图像后，可以利用图像识别装置进行图像识别，该图像识别装置包括依次连接的输入单元81、图像分割单元82、特征检测单元83和输出单元84，将输出单元84输出的结果发送至显示单元(图中未示出)进行显示，以完成倒车后视画面的实时显示。
输入单元81用于输入图像以及图像的噪声强度，图像分割单元82用于根据噪声强度调整图像分割算法中的参数，特征检测单元83用于根据噪声强度调整特征检测算法中的参数，输出单元84用于输出特征检测结果。
其中，输入的图像为采用如权利要求12中的图像处理装置输出的图像，噪声强度为采用上述实施例中的图像噪声强度估计的装置得到的噪声强度。
由于图像识别算法需要对目标图像进行分割、特征检测以及特征测量计算，通过分类来实现对目标的识别，因而准确的噪声强度估计一方面可以优化图像去噪效果，提升图像的质量，从而使得图像分割以及特征检测的结果更加精确，另一方面噪声强度可以用于指导图像分割算法以及特征检测算法中参数的设置，从而更精确地提取特征，最终提高图像识别的准确率。
利用图像噪声强度估计的装置能够对输入视频进行噪声强度估计，用于进一步指导图像处理装置和图像识别装置对图像进行处理，可以用于自动驾驶ADAS(AdvancedDriver Assistant Systems)图像识别，还可以应用于其他依赖噪声强度信息的图像处理算法中，通过调整滤波、边缘检测、图像分割或特征检测算法中的参数，获取更佳的图像处理效果，最终提高图像识别的精度。
参阅图9，图9是本申请提供的存储介质一实施例的结构示意图，该存储介质90用于存储计算机程序91，计算机程序91在被处理器执行时，用以实现上述实施例中的方法。
存储介质90可以是服务器、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种图像噪声强度估计方法，其特征在于，所述方法包括：
获取待估计的第一图像；
对所述第一图像进行滤波，以获得第二图像；
对所述第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块；
计算所述第一图像子块内的第一像素与所述第一图像子块位置对应的所述第二图像子块中与所述第一像素位置对应的第二像素之间的像素值差值，根据所述像素值差值计算平均绝对误差；
对多个所述平均绝对误差进行直方图统计，并根据直方图峰值所对应的所述平均绝对误差估计所述第一图像的噪声强度，得到当前计算获得的噪声强度；
利用历史噪声强度对所述当前计算获得的噪声强度进行平滑滤波，将平滑后的噪声强度作为估计的噪声强度。
2.根据权利要求1所述的图像噪声强度估计方法，其特征在于，所述对多个所述平均绝对误差进行直方图统计，并根据直方图峰值所对应的所述平均绝对误差估计所述第一图像的噪声强度的步骤包括：
将多个所述平均绝对误差划分成多个区段，分别统计落入各所述区段内的所述平均绝对误差的数量，并将所述平均绝对误差落入数量最多的所述区段作为所述直方图峰值。
3.根据权利要求1所述的图像噪声强度估计方法，其特征在于，所述利用历史噪声强度对当前计算获得的噪声强度进行平滑滤波的步骤包括：
将历史噪声强度和当前计算获得的噪声强度进行加权求和。
4.根据权利要求3所述的图像噪声强度估计方法，其特征在于，所述历史噪声强度和当前计算获得的噪声强度所对应的加权比例的求和值为1，且当前计算获得的噪声强度所对应的加权比例大于所述历史噪声强度所对应的加权比例。
5.根据权利要求4所述的图像噪声强度估计方法，其特征在于，所述方法进一步包括：
将平滑滤波后的所述噪声强度存储为所述历史噪声强度。
6.一种图像识别方法，其特征在于，
获取图像的噪声强度；
根据所述噪声强度调整图像分割算法以及特征检测算法中的参数；
其中，所述噪声强度为采用如权利要求1-5中任一项所述的图像噪声强度估计方法得到的噪声强度。
7.根据权利要求6所述的图像识别方法，其特征在于，所述根据所述噪声强度调整图像分割算法以及特征检测算法中的参数的步骤之前，包括：
根据所述噪声强度调整图像处理算法中的参数，其中，所述图像处理算法中的参数包括滤波算法中的滤波参数和/或边缘检测算法中的边缘检测参数。
8.一种图像噪声强度估计的装置，其特征在于，包括获取单元、滤波器和子块划分与计算单元；
其中，所述获取单元与所述滤波器连接，所述获取单元用于获取待估计的第一图像，所述滤波器用于对所述第一图像进行滤波，以获得第二图像，所述子块划分与计算单元用于对所述第一图像和第二图像进行分块，以分别获得多个第一图像子块和多个第二图像子块；计算所述第一图像子块内的第一像素与所述第一图像子块位置对应的所述第二图像子块中与所述第一像素位置对应的第二像素之间的像素值差值，根据所述像素值差值计算平均绝对误差；对多个所述平均绝对误差进行直方图统计，并根据直方图峰值所对应的所述平均绝对误差估计所述第一图像的噪声强度，得到当前计算获得的噪声强度；利用历史噪声强度对所述当前计算获得的噪声强度进行平滑滤波，将平滑后的噪声强度作为估计的噪声强度。
9.一种图像处理装置，其特征在于，包括依次连接的输入单元、处理器和输出单元；
所述输入单元用于输入图像以及所述图像的噪声强度，所述处理器包括图像去噪单元和/或边缘检测单元，所述图像去噪单元用于根据所述噪声强度调整滤波算法中的滤波参数，所述边缘检测单元用于根据所述噪声强度调整边缘检测算法中的边缘检测参数，所述输出单元用于输出滤波后的图像和/或所述图像的边缘检测结果；
其中，所述噪声强度为采用如权利要求8中所述的图像噪声强度估计的装置得到的噪声强度。
10.一种图像识别装置，其特征在于，包括依次连接的输入单元、图像分割单元、特征检测单元和输出单元；
所述输入单元用于输入图像以及所述图像的噪声强度，所述图像分割单元用于根据所述噪声强度调整图像分割算法中的参数，所述特征检测单元用于根据所述噪声强度调整特征检测算法中的参数，所述输出单元用于输出特征检测结果；
其中，所述图像为采用如权利要求9中所述的图像处理装置输出的图像，所述噪声强度为采用如权利要求8中所述的图像噪声强度估计的装置得到的噪声强度。
11.一种存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现如权利要求1-5中任一项所述的图像噪声强度估计方法。
CN201811196615.0A 2018-10-15 2018-10-15 一种图像噪声强度估计方法、存储介质、处理及识别装置 Active CN109584204B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811196615.0A CN109584204B (zh) 2018-10-15 2018-10-15 一种图像噪声强度估计方法、存储介质、处理及识别装置
US16/508,330 US10963993B2 (en) 2018-10-15 2019-07-11 Image noise intensity estimation method, image noise intensity estimation device, and image recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811196615.0A CN109584204B (zh) 2018-10-15 2018-10-15 一种图像噪声强度估计方法、存储介质、处理及识别装置

Publications (2)

Publication Number Publication Date
CN109584204A CN109584204A (zh) 2019-04-05
CN109584204B true CN109584204B (zh) 2021-01-26

Family

ID=65920037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811196615.0A Active CN109584204B (zh) 2018-10-15 2018-10-15 一种图像噪声强度估计方法、存储介质、处理及识别装置

Country Status (2)

Country Link
US (1) US10963993B2 (zh)
CN (1) CN109584204B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942427A (zh) * 2018-09-21 2020-03-31 西安中兴新软件有限责任公司 一种图像降噪的方法及装置、设备、存储介质
CN112862673B (zh) * 2019-11-12 2024-06-14 上海途擎微电子有限公司 自适应图像缩放方法及自适应图像缩放装置、存储装置
US11659141B2 (en) * 2019-11-22 2023-05-23 Hanwha Techwin Co., Ltd. Image processing apparatus and method
CN111563856B (zh) * 2020-05-09 2023-01-10 青岛信芯微电子科技股份有限公司 一种芯片及图像去噪声方法
CN111340839A (zh) * 2020-05-15 2020-06-26 杭州微帧信息科技有限公司 一种基于分块的视频噪声估计方法
CN111754493A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 图像噪点强度评估方法、装置、电子设备及存储介质
CN112435182B (zh) * 2020-11-17 2024-05-10 浙江大华技术股份有限公司 图像降噪方法及装置
CN112967206B (zh) * 2021-03-25 2022-03-04 西安中科立德红外科技有限公司 一种基于图像分块的自适应红外图像、视频竖纹去除方法
CN113298761B (zh) * 2021-05-07 2023-07-04 奥比中光科技集团股份有限公司 一种图像滤波方法、装置、终端和计算机可读存储介质
CN113594648B (zh) * 2021-07-23 2022-10-18 合肥联宝信息技术有限公司 一种降噪贴片的制作方法、装置及降噪贴片
CN113630586A (zh) * 2021-07-28 2021-11-09 英特灵达信息技术(深圳)有限公司 一种单光源全彩摄像机
CN113793280B (zh) * 2021-09-14 2023-09-12 福州大学 局部噪声方差估计与bm3d块匹配相结合的真实图像降噪方法
CN114155161B (zh) * 2021-11-01 2023-05-09 富瀚微电子(成都)有限公司 图像去噪方法、装置、电子设备与存储介质
CN116228601B (zh) * 2023-05-08 2023-07-21 山东中都机器有限公司 一种火车双向平煤的平煤效果视觉监控方法
CN117830129A (zh) * 2023-11-03 2024-04-05 上海为旌科技有限公司 一种基于直方图的图像噪声估计方法和***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102346909B (zh) * 2011-11-22 2013-09-18 柳薇 图像噪声强度处理方法
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
CN104134191B (zh) * 2014-07-11 2017-11-28 三星电子（中国）研发中心 图像去噪方法及其装置
KR102301379B1 (ko) * 2015-01-20 2021-09-14 삼성전자주식회사 영상 처리 장치, 영상 촬영 장치, 영상 처리 방법 및 영상 촬영 장치의 제어 방법
CN107230208B (zh) * 2017-06-27 2020-10-09 江苏开放大学 一种高斯噪声的图像噪声强度估计方法

Also Published As

Publication number Publication date
US10963993B2 (en) 2021-03-30
US20200118248A1 (en) 2020-04-16
CN109584204A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584204B (zh) 一种图像噪声强度估计方法、存储介质、处理及识别装置
JP4708343B2 (ja) 背景領域および前景領域をモデリングする方法
Li et al. Single image rain streak decomposition using layer priors
Zhang et al. Spatially variant defocus blur map estimation and deblurring from a single image
US9135683B2 (en) System and method for temporal video image enhancement
US6122408A (en) Light normalization method for machine vision
CN103369209A (zh) 视频降噪装置及方法
US20110019094A1 (en) System and method for random noise estimation in a sequence of images
US20100272356A1 (en) Device and method for estimating whether an image is blurred
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN110796615A (zh) 一种图像去噪方法、装置以及存储介质
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
CN115908154A (zh) 基于图像处理的视频后期颗粒噪声去除方法
Kim et al. A novel framework for extremely low-light video enhancement
Jia et al. Real-time content adaptive contrast enhancement for see-through fog and rain
Pan et al. Single-image dehazing via dark channel prior and adaptive threshold
Yang et al. A design framework for hybrid approaches of image noise estimation and its application to noise reduction
CN112801903B (zh) 一种基于视频降噪的目标跟踪方法、装置和计算机设备
Wang et al. Video enhancement using adaptive spatio-temporal connective filter and piecewise mapping
Zeng et al. Polyview fusion: a strategy to enhance video-denoising algorithms
Guilluy et al. Feature trajectories selection for video stabilization
Kim et al. Single image haze removal using multiple scattering model for road scenes
Lee et al. Image quality assessment of tone mapped images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant