CN116012322A - 一种相机脏污检测方法、装置、设备及介质 - Google Patents

Abstract

本申请实施例提供一种相机脏污检测方法、装置、设备及介质，用于提高相机脏污检测效率与准确性，以满足相机脏污检测需求。该方法包括：获取相机拍摄的第一图像，根据所述第一图像确定第一灰度图像；基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

Description

一种相机脏污检测方法、装置、设备及介质

技术领域

本申请涉及计算机技术领域，具体涉及到一种相机脏污检测方法、装置、设备及介质。

背景技术

在现有的检测相机传感器(sensor)表面的脏污的技术中，主要通过人眼对成像在显示器上的传感器图像进行观察，查找传感器表面的脏污，检测方法慢，并且检测结果依赖于人的主观判断；或者通过相关性热度图得到相机sensor上脏污的位置，但该方式计算量大，不便于检测大小不同的脏污。由此可见，以上两种方式都存在检测效率低，检测结果不准确的问题，不能很好的满足相机脏污检测需求。

发明内容

本申请实施例提供一种相机脏污检测方法、装置、设备及介质，用于提高相机脏污检测效率与准确性，以满足相机脏污检测需求。

第一方面，本申请实施例提供一种相机脏污检测方法，该方法可以由计算机设备执行，该方法包括：获取相机拍摄的第一图像，根据所述第一图像确定第一灰度图像；基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

在本方案中，计算机设备先根据相机拍摄的第一图像确定第一灰度图像，获得第一灰度图像，构建第一灰度图像的图像金字塔，在图像金字塔中的每张第二灰度图像上确定出脏污区域的脏污信息，再将每张第二灰度图像上的脏污信息映射到第一灰度图像上，得到第一灰度图像上的脏污区域的第一脏污信息，由于第一灰度图像上的像素与相机的传感器对应，所以可以根据第一灰度图像的第一脏污信息，确定出相机传感器上的脏污信息。计算机设备在分辨率较小的图像(即至少一张第二灰度图像)上找到脏污，再将其映射到第一灰度图像上，提高了脏污的检测效率，并且通过本方案可以确定脏污的位置与大小，检测结果较为准确，满足了相机脏污检测需求。

可选的，在所述根据所述第一图像确定第一灰度图像之后，所述基于所述第一灰度图像构建图像金字塔之前，所述方法还包括：根据预设灰度值范围，确定所述第一灰度图像的第一类像素单元，所述第一类像素单元的灰度值小于所述预设灰度值范围中的最小值；所述确定所述每张第二灰度图像的脏污信息，将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，包括：根据所述第一类像素单元确定所述每张第二灰度图像的第一子脏污区域，将所述第一子脏污区域映射到所述第一灰度图像上；和/或，在所述根据所述第一图像确定第一灰度图像之后，所述基于所述第一灰度图像构建图像金字塔之前，所述方法还包括：根据预设灰度值范围，确定所述第一灰度图像的第二类像素单元，所述第二类像素单元的灰度值大于所述预设灰度值范围中的最大值；所述确定所述每张第二灰度图像的脏污信息，将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，包括：根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域，将所述第二子脏污区域映射到所述第一灰度图像上。

通过本方式，计算机设备确定出第一类像素单元与第二类像素单元，根据第一类像素单元确定每张第二灰度图像的第一子脏污区域，根据第二类像素单元确定每张第二灰度图像的第二子脏污区域，实际上，第一类像素单元有可能为黑色脏污所在的像素单元，第二类像素单元有可能为白色脏污所在的像素单元，第一灰度图像上的脏污区域可以为第一子脏污区域映射的，也可以为第二子脏污区域映射的，还可以为第一子脏污区域与第二子脏污区域映射的，方案灵活度高。

可选的，在所述根据所述第一类像素单元确定所述每张第二灰度图像的第一子脏污区域之前，所述方法还包括：若存在所述第二类像素单元，将所述第二类像素单元处理为所述第一类像单元；或者，在所述根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域之前，所述方法还包括：若存在所述第一类像素单元，将所述第一类像素单元处理为所述第二类像单元。

通过本方式，将第二类像素单元处理为第一类像单元或者将第一类像素单元处理为第二类像单元，使得计算机设备后续只需处理一种类型的像素，减少计算量，提高脏污检测效率。

可选的，所述确定所述每张第二灰度图像的脏污信息，包括：基于自适应阈值分割方法确定所述每张第二灰度图像的连通域，其中，所述连通域中每个像素的灰度值与所述连通域之外的像素的灰度值差值的绝对值大于第一阈值，和/或，所述连通域中各像素之间的灰度值差值的绝对值小于第二阈值；从所述每张第二灰度图像的连通域中筛选出满足预设条件的连通域，所述满足预设条件的连通域为所述每张第二灰度图像的脏污区域；其中，所述预设条件包括以下一项或多项：连通域的面积在第一预设范围内、连通域的长宽比在第二预设范围内、连通域的圆度在第三预设范围内；根据所述每张第二灰度图像的脏污区域确定所述每张第二灰度图像的脏污信息。

通过本方式，计算机设备基于自适应阈值分割方法确定每张第二灰度图像中可能为脏污区域的连通域，再根据预设条件从每张第二灰度图像的连通域中筛选出为脏污区域的连通域，由于每张第二灰度图像的脏污区域通过了自适应阈值分割，并且满足预设条件，所以每张第二灰度图像的脏污区域可以较为真实的反应相机传感器上的脏污，提高了方案的可靠性。

可选的，所述根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息，包括：

将所述第一脏污信息映射为所述相机的传感器的脏污信息。

通过本方式，计算机设备根据第一脏污信息可以确定出相机传感器的脏污信息，方法简单，脏污检测效率高。

可选的，所述根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息，包括：根据所述第一灰度图像的第一脏污信息从所述第一灰度图像中确定出至少一个感兴趣区域(region of interest，ROI)；计算所述至少一个ROI中每个ROI的灰度曲线；根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，所述第二脏污信息包括脏污区域的位置、大小以及脏污程度中的至少一项；根据所述第二脏污信息确定所述相机的传感器的脏污信息。

通过本方式，计算机设备在获得第一灰度图像的第一脏污信息的基础上，通过每个ROI的灰度曲线进一步确定第一灰度图像的第二脏污信息，由于第二脏污信息更精准的反映了第一灰度图像的脏污区域的脏污信息，所以根据第二脏污信息确定相机传感器上的脏污信息，提高了方***性与可靠性。

可选的，根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，包括：对所述每个ROI的灰度曲线进行滤波处理，得到所述每个ROI对应的脏污区域的位置和大小；根据所述每个ROI对应的脏污区域的位置和大小以及所述每个ROI的灰度曲线，确定所述每个ROI对应的脏污区域的脏污程度。

通过本方式，计算机设备对每个ROI的灰度曲线进行滤波处理，减少ROI中图像的噪声干扰，便于得到每个ROI对应的脏污区域的位置和大小，并且根据每个ROI对应的脏污区域的位置、大小以及灰度曲线，可以得到每个ROI对应的脏污区域的脏污程度，提高了脏污信息的完整性，提高了方案的实用性与完整性。

第二方面，本申请提供一种相机脏污检测装置，该装置包括用于执行上述第一方面或第一方面任一种可选的实施方式中的方法的模块/单元/技术手段。

示例性的，该装置可以包括：

获取模块，用于获取相机拍摄的第一图像；

处理模块，用于根据所述第一图像确定第一灰度图像；基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

可选的，处理模块用于：根据预设灰度值范围，确定所述第一灰度图像的第一类像素单元，所述第一类像素单元的灰度值小于所述预设灰度值范围中的最小值；根据所述第一类像素单元确定所述每张第二灰度图像的第一子脏污区域，将所述第一子脏污区域映射到所述第一灰度图像上；和/或，根据预设灰度值范围，确定所述第一灰度图像的第二类像素单元，所述第二类像素单元的灰度值大于所述预设灰度值范围中的最大值；根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域，将所述第二子脏污区域映射到所述第一灰度图像上。

可选的，处理模块用于：若存在所述第二类像素单元，将所述第二类像素单元处理为所述第一类像单元；或者，在所述根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域之前，所述方法还包括：若存在所述第一类像素单元，将所述第一类像素单元处理为所述第二类像单元。

可选的，处理模块用于：基于自适应阈值分割方法确定所述每张第二灰度图像的连通域，其中，所述连通域中每个像素的灰度值与所述连通域之外的像素的灰度值差值的绝对值大于第一阈值，和/或，所述连通域中各像素之间的灰度值差值的绝对值小于第二阈值；从所述每张第二灰度图像的连通域中筛选出满足预设条件的连通域，所述满足预设条件的连通域为所述每张第二灰度图像的脏污区域；其中，所述预设条件包括以下一项或多项：连通域的面积在第一预设范围内、连通域的长宽比在第二预设范围内、连通域的圆度在第三预设范围内；根据所述每张第二灰度图像的脏污区域确定所述每张第二灰度图像的脏污信息。

可选的，处理模块用于：将所述第一脏污信息映射为所述相机的传感器的脏污信息。

可选的，处理模块用于：根据所述第一灰度图像的第一脏污信息从所述第一灰度图像中确定出至少一个感兴趣区域ROI；计算所述至少一个ROI中每个ROI的灰度曲线；根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，所述第二脏污信息包括脏污区域的位置、大小以及脏污程度；根据所述第二脏污信息确定所述相机的传感器的脏污信息。

可选的，处理模块用于：对所述每个ROI的灰度曲线进行滤波处理，得到所述每个ROI对应的脏污区域的位置和大小；根据所述每个ROI对应的脏污区域的位置和大小以及所述每个ROI的灰度曲线，确定所述每个ROI对应的脏污区域的脏污程度。

第三方面，提供一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述至少一个处理器通过执行第一方面或第一方面任一种可选的实施方式中所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面中任一项所述的方法。

附图说明

图1为本申请实施例提供一种相机脏污检测方法的流程图；

图2为本申请实施例提供的一种ROI示意图；

图3为本申请实施例提供的另一种ROI示意图；

图4为本申请实施例提供的一种灰度曲线示意图；

图5为本申请实施例提供的另一种灰度曲线示意图；

图6为本申请实施例提供的一种折线示意图；

图7为本申请实施例提供的一种相机脏污检测装置的结构图；

图8为本申请实施例提供的一种电子设备的结构图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

本申请实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了便于理解本申请实施例的方案，下面先介绍本申请实施例可能的应用场景。

相机在生产和组装过程中，相机的传感器表面可能会沾染灰尘等颗粒，形成脏污，脏污会影响相机采集图像时的成像质量。对于一些用于高精密机器视觉缺陷检测***(如高级汽车玻璃缺陷检测、精密仪器表面检测)的相机，脏污对视觉***的正常工作存在明显的干扰，所以需要对相机传感器表面的脏污进行检测和清除，以保证相机的成像质量。

在检测相机传感器表面脏污的场景中，由于存在检测效率低，检测结果不准确的问题，因此不能很好的满足相机脏污检测需求。

鉴于此，提供本申请实施例技术方案，用于提高相机脏污检测效率与准确性，以满足相机脏污检测需求。

参照图1，为本申请实施例提供一种相机脏污检测方法的流程图。

该方法可以由计算机设备执行，如笔记本电脑、台式计算机以及服务器等，也可以应用于各类具有计算能力的设备中，如手机及其它具有计算能力的设备，还可以应用于各类具有计算能力的芯片中，比如相机中的处理芯片等。以上设备仅为举例说明，本申请不做限制。

下面以该方法由计算机设备执行为例。该方法包括：

S101：获取相机拍摄的第一图像，根据第一图像确定第一灰度图像。

首先，相机在均匀的垂直照射相机传感器的平行光下，拍摄第一图像。其中，相机的类型分为彩色相机与灰色相机。彩色相机采集的第一图像为彩色图像，灰色相机采集的第一图像为灰色图像。

然后，计算机设备获取相机拍摄的第一图像，若第一图像为彩色图像，计算机设备基于下列公式(1)将第一图像处理为第一灰度图像；若第一图像为灰色图像，计算机设备基于下列公式(2)将第一图像处理为第一灰度图像。

I(x,y)＝R(x,y)×0.299+ G(x,y)×0.587+B(x,y)×0.114  (1)

I(x,y)＝Gray(x,y)                    (2)

其中x为第一图像像素的列坐标，y为第一图像像素的行坐标，I(x,y)为坐标为(x,y)的像素的灰度值，R(x,y)为坐标为(x,y)的像素的红色亮度，G(x,y)为坐标为(x,y)的像素的绿色亮度，B(x,y)为坐标为(x,y)的像素的蓝色亮度，Gray(x,y)为坐标为(x,y)的像素的灰度值。

可选的，计算机设备在确定第一灰度图像之后，可以根据预设灰度值范围，确定第一灰度图像的第一类像素单元和/或第二类像素单元。

一个具体的示例中，像素的灰度值的范围为0～255，预设灰度值范围为126～130，灰度值小于126的像素为第一类像素单元，灰度值大于130的像素为第二类像素单元。实际上，第一类像素单元有可能为黑色脏污所在的像素单元，第二类像素单元有可能为白色脏污所在的像素单元。

可以理解的，预设灰度值范围可以根据实际需要进行选择，本申请不做限制。

此外，以上是以黑白两类脏污为例，实际应用中还可有更多类别的脏污划分，可以采用类似的方法筛选更多类别的像素单元。

一种可能的实现方式中，若存在第二类像素单元，计算机设备可以将第二类像素单元处理为第一类像单元，或者，若存在第一类像素单元，计算机设备可以将第一类像素单元处理为第二类像单元。

以计算机设备将第二类像素单元处理为第一类像单元为例，计算机设备基于下列公式(3)将第二类像素单元处理为第一类像单元。

其中I(x,y)为坐标为(x,y)的像素的灰度值。

通过本方式，将第二类像素单元处理为第一类像单元或者将第一类像素单元处理为第二类像单元，使得计算机设备后续只需处理一种类型的像素，减少计算量，提高脏污检测效率。

一种可能的实现方式中，当计算机设备还可以基于下列公式(4)对第一灰度图像进行灰度拉伸。

其中，a、b是第一灰度图像中的最小、最大灰度值，A，B是拉伸结果的最小、最大灰度值。

可以理解的，以上仅为一种示例而非限定。

通过本方式，灰度拉伸增强了第一灰度图像中脏污区域与非脏污区域的对比度，便于计算机设备后续检测脏污，提高脏污检测效率。

S102：基于第一灰度图像构建图像金字塔。

图像金字塔包括至少一张第二灰度图像，至少一张第二灰度图像中每张第二灰度图像的分辨率小于第一灰度图像的分辨率。

计算机设备利用下列公式(5)-(6)对第一灰度图像进行连续下采样(下采样分为两步：先对图像进行高斯内核卷积(平滑滤波)，再将图像像素的所有偶数行和列删除进行降采样，下采样后得到的图像面积是下采样前的四分之一)，构建图像金字塔。其中，图像金字塔包括至少一张第二灰度图像，至少一张第二灰度图像中每张第二灰度图像的分辨率小于第一灰度图像的分辨率。

G₀(x,y)＝I(x,y)                    (5)

G_j+1(x,y)＝pyDown(G_j(x,y))，0≤j≤J      (6)

其中G₀为第一灰度图像，x为第一灰度图像像素的列坐标，y为第一灰度图像像素的行坐标，I(x,y)为坐标为(x,y)的像素的灰度值，G_j+1为G_j的下采样图像，j为图像金字塔中的图像的索引，范围为0～J，J的取值可以根据实际需要进行选择(例如J的值通常取5～7)。

S103：确定每张第二灰度图像的脏污信息；将每张第二灰度图像的脏污信息映射到第一灰度图像上，得到第一灰度图像的第一脏污信息。

沿用上文中计算机设备确定第一灰度图像的第一类像素单元和/或第二类像素单元的方式。

一种可能的实现方式中，计算机设备根据第一类像素单元确定每张第二灰度图像的第一子脏污区域，将第一子脏污区域映射到第一灰度图像上。具体步骤如下：

首先，计算机设备基于自适应阈值分割方法(处理第一类像素单元时，自适应阈值分割原理为下列公式(7))对每张第二灰度图像进行自适应阈值分割，得到每张第二灰度图像的连通域。连通域即为每张第二灰度图像可能存在脏污的区域。

其中T_j(x,y)为像素点G_j(x,y)的自适应阈值分割的灰度阈值，B_j(x,y)为自适应阈值分割结果。

连通域中每个像素的灰度值与连通域之外的像素的灰度值差值的绝对值大于第一阈值，和/或，连通域中各像素之间的灰度值差值的绝对值小于第二阈值。

一个具体的示例中，连通域中任意两个像素的灰度值为a1，a2，连通域之外任意一个像素的灰度值为b，第一阈值与第二阈值均为2，则|a1-a2|＜2，|a1-b|＞2，可以理解的，|a1-a2|也可以等于2。

可以理解的，第一阈值与第二阈值的取值可以相同，也可以不同，本申请不做限制。

然后，计算机设备从每张第二灰度图像的连通域中筛选出满足预设条件的连通域，满足预设条件的连通域为每张第二灰度图像的脏污区域(即第一子脏污区域)；其中，预设条件包括以下一项或多项：连通域的面积在第一预设范围内、连通域的长宽比在第二预设范围内、连通域的圆度在第三预设范围内。

一个具体的示例中，第一预设范围为0.01～0.02mm²，第二预设范围为1～1.2，第三预设范围为0～0.3，若一个连通域的面积为0.015mm²，长宽比为1，圆度为0.2，则该连通域为第二灰度图像的脏污区域(即第一子脏污区域)。

可以理解的，以上仅为一种示例而非限定。

接着，计算机设备根据每张第二灰度图像的脏污区域(即第一子脏污区域)确定每张第二灰度图像的脏污信息，每张第二灰度图像的脏污信息为每张第二灰度图像的脏污区域(即第一子脏污区域)的像素的坐标。

最后，计算机设备通过上采样，将每张第二灰度图像的脏污信息映射到第一灰度图像上，得到第一灰度图像上的脏污区域的坐标，通过计算第一灰度图像上的脏污区域的几何中心与外接矩形，得到第一灰度图像的第一脏污信息，其中第一脏污信息包括脏污区域的位置和大小。

一个具体的示例中，一个第一灰度图像上的脏污区域包含像素点的个数为n，该脏污区域上第i个像素点的坐标为(x_i,y_i)，该脏污区域的外接矩形的最大列坐标为x_max，最小列坐标为x_min，最大行坐标为y_max，最小行坐标为y_min。该脏污区域的第一中心坐标(cx,cy)为

该脏污区域的第一半径r1＝(x_max-x_min+y_max-y_min)/4。根据该脏污区域的第一中心坐标(cx,cy)与脏污区域的第一半径r1，可以确定脏污区域的位置和大小。计算机设备可以计算第一灰度图像上的每个脏污区域的位置和大小，累计得到第一灰度图像的第一脏污信息。

通过本方式，计算机设备基于自适应阈值分割方法确定每张第二灰度图像中可能为脏污区域的连通域，再根据预设条件从每张第二灰度图像的连通域中筛选出为脏污区域的连通域，将每张第二灰度图像的脏污区域的脏污信息映射到第一灰度图像上，得到第一灰度图像的第一脏污信息。由于每张第二灰度图像的脏污区域通过了自适应阈值分割，并且满足预设条件，所以每张第二灰度图像的脏污区域可以较为真实的反应相机传感器上的脏污，提高了方案的可靠性；并且，计算机设备在分辨率较小的图像(即至少一张第二灰度图像)上找到脏污，再将其映射到第一灰度图像上，提高了脏污的检测效率。

另一种可能的实现方式中，计算机设备根据第二类像素单元确定每张第二灰度图像的第二子脏污区域，将第二子脏污区域映射到第一灰度图像上。可以理解的，计算机设备根据第二类像素单元确定每张第二灰度图像的第二子脏污区域，将第二子脏污区域映射到第一灰度图像上的方法与计算机设备根据第一类像素单元确定每张第二灰度图像的第一子脏污区域，将第一子脏污区域映射到第一灰度图像上的方法类似，差别在于自适应阈值分割的公式不同。例如，处理第二类像素单元时，自适应阈值分割原理可以为下列公式(8)。

通过本方式，计算机设备确定出第一类像素单元与第二类像素单元，根据第一类像素单元确定每张第二灰度图像的第一子脏污区域，根据第二类像素单元确定每张第二灰度图像的第二子脏污区域，第一灰度图像上的脏污区域可以为第一子脏污区域映射的，也可以为第二子脏污区域映射的，还可以为第一子脏污区域与第二子脏污区域映射的，方案灵活度高。

S104：根据第一灰度图像的第一脏污信息，确定相机的传感器的脏污信息。

一种可能的实现方式中，计算机设备根据第一灰度图像的第一脏污信息，直接确定出相机的传感器的脏污信息。第一灰度图像的第一脏污信息与相机的传感器的脏污信息具有对应关系，第一灰度图像中每个脏污的位置可以对应传感器中的一个位置。

一个具体的示例中，计算机设备根据第一脏污信息确定一个脏污在第一灰度图中的坐标为(x1，y1)，进而确定坐标为(x1’，y1’)的传感器上存在脏污，其中(x1，y1)与(x1’，y1’)具有映射关系，相应的，该脏污在第一灰度图像上的大小与传感器上的大小也具有映射关系。

通过本方式，计算机设备根据第一脏污信息可以确定出相机传感器的脏污信息，方法简单，脏污检测效率高。

另一种可能的实现方式中，计算机设备还可以对脏污信息进行进一步的细分。

示例性的，计算机设备先根据第一灰度图像的第一脏污信息从第一灰度图像中确定出至少一个ROI，计算至少一个ROI中每个ROI的灰度曲线，再根据每个ROI的灰度曲线确定第一灰度图像的第二脏污信息，第二脏污信息包括脏污区域的位置、大小以及脏污程度中的至少一项，根据第二脏污信息确定相机的传感器的脏污信息，第一灰度图像的第二脏污信息与相机的传感器的脏污信息具有对应关系。

可选的，计算机设备还可以对每个ROI的灰度曲线进行滤波处理，得到每个ROI对应的脏污区域的位置和大小；根据每个ROI对应的脏污区域的位置和大小以及每个ROI的灰度曲线，确定每个ROI对应的脏污区域的脏污程度。

一个具体的示例中，第一灰度图像中的一个脏污区域可以对应一个ROI，也可以对应多个ROI(例如图2与图3，为该脏污区域对应的两个ROI，这里以两个为例，实际可以少于两个，也可以多于两个)，计算机设备可以根据一个ROI的灰度曲线，得到一组第三脏污信息，则第一灰度图像中的一个脏污区域可以对应一组第三脏污信息，也可以对应多组第三脏污信息。计算机设备根据一个ROI的灰度曲线，得到一组第三脏污信息的步骤为以下(1)～(4)：

(1)参见图2，计算机设备先根据第一灰度图像的第一脏污信息从第一灰度图像中确定出一个矩形ROI，以该ROI所在脏污区域的第一中心坐标(cx,cy)作为该ROI的中心坐标，其中ROI为高h、宽w的矩形区域。

(2)参见图4，计算机设备沿着ROI的高h的方向对ROI内的图像做灰度投影，得到灰度曲线f(t)，

0≤t≤w，其中I(t+cx-0.5w，y)为坐标为(t+cx-0.5w，y)的像素点的灰度值。

(3)参见图5，图5中平滑的曲线为处理后的灰度曲线g(t)，计算机设备对灰度曲线f(t)进行连续两次高斯平滑滤波，得到处理后的灰度曲线g(t)，

0≤t≤w，其中Gauss(i)为归一化离散的高斯核权重，r1为ROI所在脏污区域的第一半径。

(4)计算机设备对处理后的灰度曲线g(t)求导，导函数d(t)＝g(t+1)-g(t)，0≤t≤w，确定导函数d(t)的最大值d_max与最小值d_min以及d_max对应的横坐标t_max与最小值d_min对应的横坐标t_min，例如图6所示，图6中折线下凹的部分代表第一灰度图像中的脏污区域。其中，一组第三脏污信息包括与一个ROI对应的t_max与t_min，t_max与t_min代表脏污区域的边界。

接着，计算机设备可以根据第三脏污信息确定出该脏污区域的第二中心坐标(x_c,y_c)，第二半径r2，脏污程度DN中的至少一项。该脏污区域的第二中心坐标(x_c,y_c)、第二半径r2、脏污程度DN属于第一灰度图像的第二脏污信息。

当计算机设备确定该脏污区域的第二中心坐标(x_c,y_c)时，需要用到两个特殊的ROI(ROI1与ROI2)，ROI1平行于坐标系的横轴(如图2)，将ROI1绕着脏污区域的第一中心坐标(cx,cy)旋转90°，得到ROI2。根据ROI1得到的一组第三脏污信息包括与ROI1对应的t1_max与t1_min，第二中心坐标(x_c,y_c)列坐标

根据ROI2得到的一组第三脏污信息包括与ROI2对应的t2_max与t2_min，第二中心坐标(x_c,y_c)行坐标

该脏污区域的第二半径

该脏污区域的脏污程度

由于该脏污区域可以对应一组或多组第三脏污信息，所以计算机设备还可以计算多个脏污程度DN，多个第二半径r2，然后对多个脏污程度DN，多个第二半径r2求平均或者投票决策。

最后，计算机设备根据脏污区域的第二中心坐标(x_c,y_c)、第二半径r2、脏污程度DN中的至少一项，确定脏污区域的像素对应的传感器上存在脏污，且传感器上的脏污的中心坐标与第二中心坐标(x_c,y_c)具有映射关系，半径与第二半径r2具有映射关系，脏污程度为脏污程度DN。

可以理解的，ROI的形状可以为矩形，也可以为其它形状，当ROI的形状为矩形时，ROI为高h、宽w的取值可以根据实际需求进行选择，本申请不做限制。

可选的，计算机设备还可以根据预设的脏污处理阈值判断是否需要技术人员处理脏污。例如，当一个脏污区域的脏污程度DN大于预设的脏污处理阈值thresh时，计算机设备向技术人员设备发送通知信息，通知信息用于指示技术人员处理相机传感器上该脏污区域的脏污；当另一个脏污区域的脏污程度DN小于等于预设的脏污处理阈值thresh时，计算机设备不会向技术人员设备发送通知信息。

通过本方式，计算机设备在获得第一灰度图像的第一脏污信息的基础上，通过每个ROI的灰度曲线进一步确定第一灰度图像的第二脏污信息，由于第二脏污信息更精准的反映了第一灰度图像的脏污区域的脏污信息，所以根据第二脏污信息确定相机传感器上的脏污信息，提高了方***性。

可以理解，上文中各实施方式可以分别单独实施，也可以相互结合实施，本申请不做限制。

在上述方案中，计算机设备先根据相机拍摄的第一图像确定第一灰度图像，获得第一灰度图像，构建第一灰度图像的图像金字塔，在图像金字塔中的每张第二灰度图像上确定出脏污区域的脏污信息，再将每张第二灰度图像上的脏污信息映射到第一灰度图像上，得到第一灰度图像上的脏污区域的第一脏污信息，由于第一灰度图像上的像素与相机的传感器对应，所以可以根据第一灰度图像的第一脏污信息，确定出相机传感器上的脏污信息。计算机设备在分辨率较小的图像(即至少一张第二灰度图像)上找到脏污，再将其映射到第一灰度图像上，提高了脏污的检测效率，并且通过本方案可以确定脏污的位置与大小，检测结果较为准确，满足了相机脏污检测需求。

以上介绍了本申请实施例提供的方法，以下介绍本申请实施例提供的装置。

参见图7，为本申请实施例提供的一种相机脏污检测装置的结构图，该装置包括用于执行上述方法实施例中由计算机设备执行的方法的模块/单元/技术手段。

示例性的，该装置700包括：

获取模块701，用于获取相机拍摄的第一图像；

处理模块702，用于根据所述第一图像确定第一灰度图像；基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

作为上述装置一种可能的产品形态，参见图8，本申请实施例还提供一种电子设备800，包括：

至少一个处理器801；以及与所述至少一个处理器801通信连接的通信接口803；所述至少一个处理器801通过执行存储器802存储的指令，使得所述电子设备800通过所述通信接口803执行上述方法实施例中任一设备所执行的方法步骤。

可选的，所述存储器802位于所述电子设备800之外。

可选的，所述电子设备800包括所述存储器802，所述存储器802与所述至少一个处理器801相连，所述存储器802存储有可被所述至少一个处理器801执行的指令。附图8用虚线表示存储器802对于电子设备800是可选的。

其中，所述处理器801和所述存储器802可以通过接口电路耦合，也可以集成在一起，这里不做限制。

本申请实施例中不限定上述处理器801、存储器802以及通信接口803之间的具体连接介质。本申请实施例在图8中以处理器801、存储器802以及通信接口803之间通过总线804连接，总线在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

应理解，本申请实施例中提及的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

示例性的，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data EateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。

需要说明的是，当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)可以集成在处理器中。

应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

作为另一种可能的产品形态，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质用于存储指令，当所述指令被执行时，使得计算机执行上述方法实例中第一设备所执行的方法步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种相机脏污检测方法，其特征在于，包括：

获取相机拍摄的第一图像，根据所述第一图像确定第一灰度图像；

基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；

确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；

根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

2.如权利要求1所述的方法，其特征在于，

在所述根据所述第一图像确定第一灰度图像之后，所述基于所述第一灰度图像构建图像金字塔之前，所述方法还包括：根据预设灰度值范围，确定所述第一灰度图像的第一类像素单元，所述第一类像素单元的灰度值小于所述预设灰度值范围中的最小值；所述确定所述每张第二灰度图像的脏污信息，将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，包括：根据所述第一类像素单元确定所述每张第二灰度图像的第一子脏污区域，将所述第一子脏污区域映射到所述第一灰度图像上；和/或，

在所述根据所述第一图像确定第一灰度图像之后，所述基于所述第一灰度图像构建图像金字塔之前，所述方法还包括：根据预设灰度值范围，确定所述第一灰度图像的第二类像素单元，所述第二类像素单元的灰度值大于所述预设灰度值范围中的最大值；所述确定所述每张第二灰度图像的脏污信息，将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，包括：根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域，将所述第二子脏污区域映射到所述第一灰度图像上。

3.如权利要求2所述的方法，其特征在于，

在所述根据所述第一类像素单元确定所述每张第二灰度图像的第一子脏污区域之前，所述方法还包括：

若存在所述第二类像素单元，将所述第二类像素单元处理为所述第一类像单元；或者，

在所述根据所述第二类像素单元确定所述每张第二灰度图像的第二子脏污区域之前，所述方法还包括：

若存在所述第一类像素单元，将所述第一类像素单元处理为所述第二类像单元。

4.如权利要求1所述的方法，其特征在于，所述确定所述每张第二灰度图像的脏污信息，包括：

基于自适应阈值分割方法确定所述每张第二灰度图像的连通域，其中，所述连通域中每个像素的灰度值与所述连通域之外的像素的灰度值差值的绝对值大于第一阈值，和/或，所述连通域中各像素之间的灰度值差值的绝对值小于第二阈值；

从所述每张第二灰度图像的连通域中筛选出满足预设条件的连通域，所述满足预设条件的连通域为所述每张第二灰度图像的脏污区域；其中，所述预设条件包括以下一项或多项：连通域的面积在第一预设范围内、连通域的长宽比在第二预设范围内、连通域的圆度在第三预设范围内；

根据所述每张第二灰度图像的脏污区域确定所述每张第二灰度图像的脏污信息。

5.如权利要求1-4任一项所述的方法，其特征在于，所述根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息，包括：

根据所述第一灰度图像的第一脏污信息从所述第一灰度图像中确定出至少一个感兴趣区域ROI；

计算所述至少一个ROI中每个ROI的灰度曲线；

根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，所述第二脏污信息包括脏污区域的位置、大小以及脏污程度中的至少一项；

根据所述第二脏污信息确定所述相机的传感器的脏污信息。

6.如权利要求5所述的方法，其特征在于，根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，包括：

对所述每个ROI的灰度曲线进行滤波处理，得到所述每个ROI对应的脏污区域的位置和大小；

根据所述每个ROI对应的脏污区域的位置和大小以及所述每个ROI的灰度曲线，确定所述每个ROI对应的脏污区域的脏污程度。

7.一种相机脏污检测装置，其特征在于，包括：

获取模块，用于获取相机拍摄的第一图像；

处理模块，用于根据所述第一图像确定第一灰度图像；基于所述第一灰度图像构建图像金字塔，所述图像金字塔包括至少一张第二灰度图像，所述至少一张第二灰度图像中每张第二灰度图像的分辨率小于所述第一灰度图像的分辨率；确定所述每张第二灰度图像的脏污信息；将所述每张第二灰度图像的脏污信息映射到所述第一灰度图像上，得到所述第一灰度图像的第一脏污信息，其中所述第一脏污信息包括脏污区域的位置和大小；根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息。

8.如权利要求7所述的装置，其特征在于，所述处理模块在根据所述第一灰度图像的第一脏污信息，确定所述相机的传感器的脏污信息时，具体用于：

根据所述第一灰度图像的第一脏污信息从所述第一灰度图像中确定出至少一个感兴趣区域ROI；

计算所述至少一个ROI中每个ROI的灰度曲线；

根据所述每个ROI的灰度曲线确定所述第一灰度图像的第二脏污信息，所述第二脏污信息包括脏污区域的位置、大小以及脏污程度中的至少一项；

根据所述第二脏污信息确定所述相机的传感器的脏污信息。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及与所述至少一个处理器通信连接的存储器、通信接口；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，使得所述电子设备通过所述通信接口执行如权利要求1-6中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1-6中任一项所述的方法。

Images