CN112464946A - 一种基于大数据的垃圾图像收集方法及*** - Google Patents

Abstract

本发明涉及一种图像收集的技术领域，揭露了一种基于大数据的垃圾图像收集方法，包括：获取大量图像，并利用灰度图转换方法将图像转换为灰度图；利用高斯滤波器对灰度图进行降噪处理，得到降噪图像；利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像；利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。本发明还提供了一种基于大数据的垃圾图像收集***。本发明实现了图像的收集。

Description

一种基于大数据的垃圾图像收集方法及***

技术领域

本发明涉及图像收集的技术领域，尤其涉及一种基于大数据的垃圾图像收集方法及***。

背景技术

近年来人口数量大幅增长，人们生活节奏越来越快，使得日常生活用品的更新以及大量各种产品应需求出现，带来生活垃圾产量的迅速上升和垃圾组成成分的多样化，这种现状的出现极大增加了垃圾分类回收的复杂程度。因此收集更多不同的垃圾图像，方便后续的垃圾分类回收，成为当前研究的热门话题。

传统的垃圾目标检测算法会将垃圾的阴影检测出来作为前景目标的输出，同时存在垃圾被遮挡的情况，容易丢失垃圾目标。

鉴于此，如何更为高效地实现垃圾目标的定位，从而完成不同类型的垃圾图像收集，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于大数据的垃圾图像收集方法，通过利用颜色估计模型对图像进行阴影去除，并利用基于空间阈值的背景分割方法实现图像的前景背景分割；进而利用基于相邻特征信息融合的垃圾检测算法进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

为实现上述目的，本发明提供的一种基于大数据的垃圾图像收集方法，包括：

获取大量图像，并利用灰度图转换方法将图像转换为灰度图；

利用高斯滤波器对灰度图进行降噪处理，得到降噪图像；

利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像；

利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；

利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

可选地，所述利用灰度图转换方法将图像转换为灰度图，包括：

在本发明一个实施例中，所述大量图像为同垃圾有关的图像，为获取所述同垃圾有关的图像，本发明在垃圾处理场附近设置若干相机传感器，用以拍摄获取垃圾处理厂附近的垃圾图像；

所述图像的灰度图转换公式为：

Gray_(i，j)＝R_(i，j)×0.314+G_(i，j)×0.591+B_(i，j)×0.113

其中：

R_(i，j)，G_(i，j)，B_(i，j)为图像像素(i，j)在R，G，B三个颜色分量中的像素值；

Gray_(i，j)为像素(i，j)的灰度值。

可选地，所述利用高斯滤波器对灰度图进行降噪处理，包括：

所述基于高斯滤波器的降噪公式为：

其中：

(i，j)表示灰度图的像素点；

ω表示高斯模板在像素点(i，j)的权值；

g(i，j)表示降噪后的像素点(i，j)；

σ为平滑程度参数，将其设置为图像像素的标准差。

可选地，所述利用颜色估计模型对降噪图像进行阴影去除，包括：

1)使用概率密度估计方法计算像素i在RGB颜色通道上的期望颜色值E_i，并计算像素i在RGB颜色通道上的实际颜色值X_i，其中像素i的期望颜色值E_i和实际颜色值X_i的表示如下所示：

E_i＝[μ_R(i)，μ_G(i)，μ_B(i)]

X_i＝[X_R(i)，X_G(i)，X_B(i)]

其中：

μ_R(i)，μ_G(i)，μ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色均值；

2)计算像素i的亮度失真λ_i：

其中：

σ_R(i)，σ_G(i)σ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色标准差；

3)计算像素i的颜色失真

4)设置阴影像素阈值，根据像素的亮度失真和颜色失真进行像素的分类；所述像素分类公式为：

其中：

α₁为确定期望值和当前值之间色度差异的阈值，本发明将α₁设置为0.7；

α₂为归一化阈值；

ε为归一化亮度失真的下限；

由于去除阴影可能会使物体的形状变形，因此需要进行前景重建处理。在本发明一个具体实施例中，本发明使用分割方法实现前景重建，其中每副图像都被公式化为网络图，其中每个像素都是一个节点。使用d-Connectivity(d＝4，8)获得节点之间的边缘。每个边缘分配有一个权重，所述权重由

给出，其中β是参数，x_i，x_j是节点(i，j)的强度值，与源相对应的所有节点都标记为1，而下沉的节点标记为0。

可选地，所述利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，包括：

1)搜索非阴影像素点i和它周围邻域之内的其他像素点的大小，找出其中的最大值

和最小值

2)计算得到最大值和最小值之差d_i：

3)计算得到非阴影像素点i的局部阈值T_i：

其中：

T_i表示像素点i在每个颜色通道上的自适应阈值；

T_g表示每个颜色通道对于全局的常量；

α表示各个颜色通道上的比例缩放因子，其作用是为了使局部阈值不会过大或过小；

T_max，T_min分别表示像素点i每个通道阈值的最大值和最小值；以此来确定阈值的限额；

由于T_g和α的值在一开始就已经被确定下来，其他的值也只是和当前的像素有关，并且在更新背景时对每一个更新了的像素重复从第一步开始的所有步骤，则可以确定得到的分割阈值能够适应当前的场景；

4)计算当前像素与背景像素之间的距离d(P_i，B_i)，统计该距离内小于局部阈值T_i的邻域像素个数，若其个数小于全局阈值η，则认为当前像素为前景点，并将所有前景点构成的图像作为前景图像。

可选地，所述利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，包括：

所述基于相邻特征信息融合的垃圾检测算法包含三个不同尺度特征层，本发明设定特征层的尺度分别为20×20×L1、10×10×L2以及5×5×L3像素尺寸，其中L1、L2、L3分别为每个特征层卷积核的数目；其中L3>L2>L1；

所述基于相邻特征信息融合的垃圾检测算法流程为：

1)对长宽为w/2×h/2的前景图像进行反卷积操作，反卷积输入输出尺寸大小的关系公式如下所示：

size_out＝(size_in-1)×stride+kernel-2×padding

其中：

size_out，size_in分别表示输入输出尺寸的大小；

stride表示卷积步长；

kernel表示卷积核的大小；

padding表示特征的填充数；

经过反卷积操作后尺寸为w/2×h/2的前景图像就可变成w×h大小的图像特征；

2)设置卷积核数目为L2即可得到w×h×L2的特征谱，该前景特征谱具备高级抽象图像前景信息；同时将(2w)×(2h)×L1低层前景特征谱通过卷积层将卷积步长设置为2，卷积核数目设置为L3即可得到w×h×L3大小的前景特征谱，该特征具备细粒度前景图像信息，卷积输入输出尺寸大小计算如公式：

size_out＝(size_in-kernel+2×padding)/stride+1

通过卷积和反卷积操作将低层和高层特征变成与本层特征相同的尺寸大小即可进行下一步融合操作；

3)将三个相同尺寸的不同特征层进行相加，该步骤得到的前景特征谱既包含高层特征谱的抽象语义信息，又包含低层特征谱的细粒度信息，所述融合公式为：

其中：

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

F_out1表示输出的第一层融合特征谱；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

4)将本层特征谱分别与高层和低层特征谱进行相乘，由于高层特征包含更多语义信息，低层特征包含更多细节信息，将高层特征与本层特征进行相乘可以更好的突出语义信息，相当于起到注意力的作用，将低层特征与本层特征相乘则增加了细节信息，因此相乘操作既起到突出前景语义信息的注意力作用又起到增加前景细节信息的作用；然后将两个相乘特征谱与第一步的融合特征谱进行相加，就可得到第二步融合前景特征谱，该特征谱比第一步融合特征谱所包含的信息更加丰富，特征谱中的前景信息更具有辨别性，所述第二步特征融合的公式为：

其中：

F_out2为第二步特征融合得到的前景特征图谱；

ψ表示矩阵点积操作；

W表示各卷积学习权重；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

5)根据最终融合得到的图像前景特征谱，将其同垃圾特征进行特征匹配；将匹配成功的原始图像作为垃圾图像，从而将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

此外，为实现上述目的，本发明还提供一种基于大数据的垃圾图像收集***，所述***包括：

图像获取装置，用于获取大量图像；

图像处理器，用于利用灰度图转换方法将图像转换为灰度图，并利用高斯滤波器对灰度图进行降噪处理；利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像，同时利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；

垃圾图像收集装置，用于利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有垃圾图像收集程序指令，所述垃圾图像收集程序指令可被一个或者多个处理器执行，以实现如上所述的基于大数据的垃圾图像收集的实现方法的步骤。

相对于现有技术，本发明提出一种基于大数据的垃圾图像收集方法，该技术具有以下优势：

首先，由于传统的垃圾目标检测算法会将垃圾的阴影检测出来作为前景目标的输出，因此本发明提出一种基于颜色估计模型的阴影去除方法，首先根据阴影的特点，将像素在RGB颜色通道上的颜色值分为亮度失真和颜色失真两部分，并针对图像中的每个像素点，分别进行亮度失真和颜色失真的估计：

其中：X_i＝[X_R(i)，X_G(i)，X_B(i)]为像素i在RGB颜色通道上的实际颜色值，μ_R(i)，μ_G(i)，μ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色均值；λ_i为像素i的亮度失真，

为像素i的颜色失真，E_i＝[μ_R(i)，μ_G(i)，μ_B(i)]为像素i在RGB颜色通道上的期望颜色值；根据所述对图像像素的颜色失真和亮度失真的估计，本发明通过分别设置亮度阈值和颜色阈值，实现阴影像素的判断：

其中：

α₁为确定期望值和当前值之间色度差异的阈值，本发明将α₁设置为0.7；α₂为归一化阈值；ε为归一化亮度失真的下限；通过将检测到的阴影像素归为背景像素，有助于提高后续垃圾识别的准确率。

同时现有基于目标检测的目标识别方法中，都是直接采用特征金字塔网络进行检测识别，并没有将特征金字塔中的多尺度信息进行融合来增加特征谱的细节信息，因此现有目标识别方法对多尺度信息存在利用不充分的问题。本发明提出一种基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。对于所述基于相邻特征信息融合的垃圾检测算法，通过设置三种不同尺度特征层作为垃圾检测算法的特征金字塔，不同尺度特征层提取得到的特征图谱包含了不同的信息，当特征图的尺度较大时，所得的特征图谱所包含的信息为图像的细节信息，即细粒度信息，当特征图的尺度较小时，所得的特征图谱所包含的信息为图像的整体信息，即高层语义信息；因此本发明采取两步特征融合方式，进行图像高层语义信息和细粒度信息的融合，第一个步骤的特征融合过程为将三个相同尺寸的不同特征层进行相加，该步骤得到的前景特征谱既包含高层特征谱的抽象语义信息，又包含低层特征谱的细粒度信息，所述融合公式为：

其中：F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；F_out1表示输出的第一层融合特征谱；

表示卷积操作，φ表示反卷积操作；w表示第一步特征融合中各个卷积学习权重；在第二个步骤的特征融合过程中，将本层特征谱分别与高层和低层特征谱进行相乘，由于高层特征包含更多语义信息，低层特征包含更多细节信息，将高层特征与本层特征进行相乘可以更好的突出语义信息，相当于起到注意力的作用，将低层特征与本层特征相乘则增加了细节信息，因此相乘操作既起到突出前景语义信息的注意力作用又起到增加前景细节信息的作用；然后将两个相乘特征谱与第一步的融合特征谱进行相加，就可得到第二步融合前景特征谱，该特征谱比第一步融合特征谱所包含的信息更加丰富，特征谱中的前景信息更具有辨别性，所述第二步特征融合的公式为：

其中：F_out2为第二步特征融合得到的前景特征图谱；ψ表示矩阵点积操作；W表示各卷积学习权重。根据最终融合得到的图像前景特征谱，将其同垃圾特征进行特征匹配；将匹配成功的原始图像作为垃圾图像，从而将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

附图说明

图1为本发明一实施例提供的一种基于大数据的垃圾图像收集方法的流程示意图；

图2为本发明一实施例提供的一种基于大数据的垃圾图像收集***的结构示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

通过利用颜色估计模型对图像进行阴影去除，并利用基于空间阈值的背景分割方法实现图像的前景背景分割；进而利用基于相邻特征信息融合的垃圾检测算法进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。参照图1所示，为本发明一实施例提供的基于大数据的垃圾图像收集方法示意图。

在本实施例中，基于大数据的垃圾图像收集方法包括：

S1、获取大量图像，并利用灰度图转换方法将图像转换为灰度图。

首先，本发明获取大量图像，并利用灰度图转换方法将所获取的大量图像转换为灰度图；在本发明一个实施例中，所述大量图像为同垃圾有关的图像，为获取所述同垃圾有关的图像，本发明在垃圾处理场附近设置若干相机传感器，用以拍摄获取垃圾处理厂附近的垃圾图像；

所述图像的灰度图转换公式为：

Gray_(i，j)＝R_(i，j)×0.314+G_(i，j)×0.591+B_(i，j)×0.113

其中：

R_(i，j)，G_(i，j)，B_(i，j)为图像像素(i，j)在R，G，B三个颜色分量中的像素值；

Gray_(i，j)为像素(i，j)的灰度值。

S2、利用高斯滤波器对灰度图进行降噪处理，得到降噪图像。

进一步地，本发明利用利用高斯滤波器对灰度图进行降噪处理，得到降噪图像；

所述基于高斯滤波器的降噪公式为：

其中：

(i，j)表示灰度图的像素点；

ω表示高斯模板在像素点(i，j)的权值；

g(i，j)表示降噪后的像素点(i，j)；

σ为平滑程度参数，将其设置为图像像素的标准差。

S3、利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像。

进一步地，本发明利用颜色估计模型对降噪图像进行阴影去除，所述利用颜色估计模型进行阴影去除的算法流程为：

1)使用概率密度估计方法计算像素i在RGB颜色通道上的期望颜色值E_i，并计算像素i在RGB颜色通道上的实际颜色值X_i，其中像素i的期望颜色值E_i和实际颜色值X_i的表示如下所示：

E_i＝[μ_R(i)，μ_G(i)，μ_B(i)]

X_i＝[X_R(i)，X_G(i)，X_B(i)]

其中：

μ_R(i)，μ_G(i)，μ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色均值；

2)计算像素i的亮度失真λ_i：

其中：

σ_R(i)，σ_G(i)，σ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色标准差；

3)计算像素i的颜色失真

4)设置阴影像素阈值，根据像素的亮度失真和颜色失真进行像素的分类；所述像素分类公式为：

其中：

α₁为确定期望值和当前值之间色度差异的阈值，本发明将α₁设置为0.7；

α₂为归一化阈值；

ε为归一化亮度失真的下限；

由于去除阴影可能会使物体的形状变形，因此需要进行前景重建处理。在本发明一个具体实施例中，本发明使用分割方法实现前景重建，其中每副图像都被公式化为网络图，其中每个像素都是一个节点。使用d-Connectivity(d＝4，8)获得节点之间的边缘。每个边缘分配有一个权重，所述权重由

给出，其中β是参数，x_i，x_j是节点(i，j)的强度值，与源相对应的所有节点都标记为1，而下沉的节点标记为0。

S4、利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像。

进一步地，本发明利用基于空间阈值的背景分割方法实现前景和背景的分割，所述基于空间阈值的背景分割方法流程为：

1)搜索非阴影像素点i和它周围邻域之内的其他像素点的大小，找出其中的最大值

和最小值

2)计算得到最大值和最小值之差d_i：

3)计算得到非阴影像素点i的局部阈值T_i：

其中：

T_i表示像素点i在每个颜色通道上的自适应阈值；

T_g表示每个颜色通道对于全局的常量；

α表示各个颜色通道上的比例缩放因子，其作用是为了使局部阈值不会过大或过小；

T_max，T_min分别表示像素点i每个通道阈值的最大值和最小值；以此来确定阈值的限额；

由于T_g和α的值在一开始就已经被确定下来，其他的值也只是和当前的像素有关，并且在更新背景时对每一个更新了的像素重复从第一步开始的所有步骤，则可以确定得到的分割阈值能够适应当前的场景；

4)计算当前像素与背景像素之间的距离d(P_i，B_i)，统计该距离内小于局部阈值T_i的邻域像素个数，若其个数小于全局阈值η，则认为当前像素为前景点，并将所有前景点构成的图像作为前景图像。

S5、利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

进一步地，本发明利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，所述基于相邻特征信息融合的垃圾检测算法包含三个不同尺度特征层，本发明设定特征层的尺度分别为20×20×L1、10×10×L2以及5×5×L3像素尺寸，其中L1、L2、L3分别为每个特征层卷积核的数目；其中L3>L2>L1；

所述基于相邻特征信息融合的垃圾检测算法流程为：

1)对长宽为w/2×h/2的前景图像进行反卷积操作，反卷积输入输出尺寸大小的关系公式如下所示：

size_out＝(size_in-1)×stride+kernel-2×padding

其中：

size_out，size_in分别表示输入输出尺寸的大小；

stride表示卷积步长；

kernel表示卷积核的大小；

padding表示特征的填充数；

经过反卷积操作后尺寸为w/2×h/2的前景图像就可变成w×h大小的图像特征；

2)设置卷积核数目为L2即可得到w×h×L2的特征谱，该前景特征谱具备高级抽象图像前景信息；同时将(2w)×(2h)×L1低层前景特征谱通过卷积层将卷积步长设置为2，卷积核数目设置为L3即可得到w×h×L3大小的前景特征谱，该特征具备细粒度前景图像信息，卷积输入输出尺寸大小计算如公式：

size_out＝(size_in-kernel+2×padding)/stride+1

通过卷积和反卷积操作将低层和高层特征变成与本层特征相同的尺寸大小即可进行下一步融合操作；

3)将三个相同尺寸的不同特征层进行相加，该步骤得到的前景特征谱既包含高层特征谱的抽象语义信息，又包含低层特征谱的细粒度信息，所述融合公式为：

其中：

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

F_out1表示输出的第一层融合特征谱；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

4)将本层特征谱分别与高层和低层特征谱进行相乘，由于高层特征包含更多语义信息，低层特征包含更多细节信息，将高层特征与本层特征进行相乘可以更好的突出语义信息，相当于起到注意力的作用，将低层特征与本层特征相乘则增加了细节信息，因此相乘操作既起到突出前景语义信息的注意力作用又起到增加前景细节信息的作用；然后将两个相乘特征谱与第一步的融合特征谱进行相加，就可得到第二步融合前景特征谱，该特征谱比第一步融合特征谱所包含的信息更加丰富，特征谱中的前景信息更具有辨别性，所述第二步特征融合的公式为：

其中：

F_out2为第二步特征融合得到的前景特征图谱；

ψ表示矩阵点积操作；

W表示各卷积学习权重；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

5)根据最终融合得到的图像前景特征谱，将其同垃圾特征进行特征匹配；将匹配成功的原始图像作为垃圾图像，从而将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为python3.6；对比方法为基于FFNN模型的垃圾图像识别方法，基于VGG16模型的垃圾图像识别方法以及基于AlexNet模型的垃圾图像识别方法。

在本发明所述算法实验中，数据集为5000张图像数据，其中图像数据包含3/4的垃圾图像以及1/4的非垃圾图像。本实验通过将图像数据输入到算法模型中，将垃圾图像识别的准确率作为方法可行性的评价指标。

根据实验结果，基于FFNN模型的垃圾图像识别方法的垃圾图像识别准确率为85.16％，基于VGG16模型的垃圾图像识别方法的垃圾图像识别准确率为89.36％，基于AlexNet模型的垃圾图像识别方法的垃圾图像识别准确率为87.22％，本发明所述方法的垃圾图像识别准确率为91.03％，相较于对比算法，本发明所提出的基于大数据的垃圾图像收集方法具有更高的垃圾图像识别准确率，从而能更好地完成垃圾图像的收集。

发明还提供一种基于大数据的垃圾图像收集***。参照图2所示，为本发明一实施例提供的基于大数据的垃圾图像收集***的内部结构示意图。

在本实施例中，所述基于大数据的垃圾图像收集***1至少包括图像获取装置11、图像处理器12、垃圾图像收集装置13，通信总线14，以及网络接口15。

其中，图像获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。

图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是基于大数据的垃圾图像收集***1的内部存储单元，例如该基于大数据的垃圾图像收集***1的硬盘。图像处理器12在另一些实施例中也可以是基于大数据的垃圾图像收集***1的外部存储设备，例如基于大数据的垃圾图像收集***1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，图像处理器12还可以既包括基于大数据的垃圾图像收集***1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于基于大数据的垃圾图像收集***1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

垃圾图像收集装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行图像处理器12中存储的程序代码或处理数据，例如垃圾图像收集程序指令等。

通信总线14用于实现这些组件之间的连接通信。

网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该***1与其他电子设备之间建立通信连接。

可选地，该***1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于大数据的垃圾图像收集***1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-15以及基于大数据的垃圾图像收集***1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于大数据的垃圾图像收集***1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，图像处理器12中存储有垃圾图像收集程序指令；垃圾图像收集装置13执行图像处理器12中存储的垃圾图像收集程序指令的步骤，与基于大数据的垃圾图像收集方法的实现方法相同，在此不作类述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有垃圾图像收集程序指令，所述垃圾图像收集程序指令可被一个或多个处理器执行，以实现如下操作：

获取大量图像，并利用灰度图转换方法将图像转换为灰度图；

利用高斯滤波器对灰度图进行降噪处理，得到降噪图像；

利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像；

利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；

利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于大数据的垃圾图像收集方法，其特征在于，所述方法包括：

获取大量图像，并利用灰度图转换方法将图像转换为灰度图；

利用高斯滤波器对灰度图进行降噪处理，得到降噪图像；

利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像；

利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；

利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

2.如权利要求1所述的一种基于大数据的垃圾图像收集方法，其特征在于，所述利用灰度图转换方法将图像转换为灰度图，包括：

所述图像的灰度图转换公式为：

Gray_(i，j)＝R_(i，j)×0.314+G_(i，j)×0.591+B_(i，j)×0.113

其中：

R_(i，j)，G_(i，j)，B_(i，j)为图像像素(i，j)在R，G，B三个颜色分量中的像素值；

Gray_(i，j)为像素(i，j)的灰度值。

3.如权利要求2所述的一种基于大数据的垃圾图像收集方法，其特征在于，所述利用高斯滤波器对灰度图进行降噪处理，包括：

所述基于高斯滤波器的降噪公式为：

其中：

(i，j)表示灰度图的像素点；

ω表示高斯模板在像素点(i，j)的权值；

g(i，j)表示降噪后的像素点(i，j)；

σ为平滑程度参数，将其设置为图像像素的标准差。

4.如权利要求3所述的一种基于大数据的垃圾图像收集方法，其特征在于，所述利用颜色估计模型对降噪图像进行阴影去除，包括：

1)使用概率密度估计方法计算像素i在RGB颜色通道上的期望颜色值E_i，并计算像素i在RGB颜色通道上的实际颜色值X_i，其中像素i的期望颜色值E_i和实际颜色值X_i的表示如下所示：

E_i＝[μ_R(i)，μ_G(i)，μ_B(i)]

X_i＝[X_R(i)，X_G(i)，X_B(i)]

其中：

μ_R(i)，μ_G(i)，μ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色均值；

2)计算像素i的亮度失真λ_i：

其中：

σ_R(i)，σ_G(i)，σ_B(i)分别表示像素i邻近9个像素在RGB颜色通道上的颜色标准差；

3)计算像素i的颜色失真

4放置阴影像素阈值，根据像素的亮度失真和颜色失真进行像素的分类；所述像素分类公式为：

α₂＝1/(1-ε)

其中：

α₁为确定期望值和当前值之间色度差异的阈值，本发明将α₁设置为0.7；

α₂为归一化阈值；

ε为归一化亮度失真的下限。

5.如权利要求4所述的一种基于大数据的垃圾图像收集方法，其特征在于，所述利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，包括：

1)搜索非阴影像素点i和它周围邻域之内的其他像素点的大小，找出其中的最大值

和最小值

2)计算得到最大值和最小值之差d_i：

3)计算得到非阴影像素点i的局部阈值T_i：

其中：

T_i表示像素点i在每个颜色通道上的自适应阈值；

T_g表示每个颜色通道对于全局的常量；

α表示各个颜色通道上的比例缩放因子，其作用是为了使局部阈值不会过大或过小；

T_max，T_min分别表示像素点i每个通道阈值的最大值和最小值；以此来确定阈值的限额；

4)计算当前像素与背景像素之间的距离d(P_i，B_i)，统计该距离内小于局部阈值T_i的邻域像素个数，若其个数小于全局阈值η，则认为当前像素为前景点，并将所有前景点构成的图像作为前景图像。

6.如权利要求5所述的一种基于大数据的垃圾图像收集方法，其特征在于，所述利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，包括：

1)对长宽为w/2×h/2的前景图像进行反卷积操作，反卷积输入输出尺寸大小的关系公式如下所示：

size_out＝(size_in-1)×stride+kernel-2×padding

其中：

size_out，size_in分别表示输入输出尺寸的大小；

stride表示卷积步长；

kernel表示卷积核的大小；

padding表示特征的填充数；

经过反卷积操作后，尺寸为w/2×h/2的前景图像成为w×h大小的图像特征；

2)设置卷积核数目为L2即可得到w×h×L2的特征谱，该前景特征谱具备高级抽象图像前景信息；同时将(2w)×(2h)×L1低层前景特征谱通过卷积层将卷积步长设置为2，卷积核数目设置为L3即可得到w×h×L3大小的前景特征谱，该特征具备细粒度前景图像信息，卷积输入输出尺寸大小计算如公式：

size_out＝(size_in-kernel+2×padding)/stride+1

通过卷积和反卷积操作将低层和高层特征变成与本层特征相同的尺寸大小即可进行下一步融合操作；

3)将三个相同尺寸的不同特征层进行相加，该步骤得到的前景特征谱既包含高层特征谱的抽象语义信息，又包含低层特征谱的细粒度信息，所述融合公式为：

其中：

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

F_out1表示输出的第一层融合特征谱；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

4)将本层特征谱分别与高层和低层特征谱进行相乘，然后将两个相乘特征谱与第一步的融合特征谱进行相加，就可得到第二步融合前景特征谱，所述第二步特征融合的公式为：

其中：

F_out2为第二步特征融合得到的前景特征图谱；

ψ表示矩阵点积操作；

W表示各卷积学习权重；

表示卷积操作，φ表示反卷积操作；

w表示第一步特征融合中各个卷积学习权重；

F_i-1，F_i，F_i+1分别表示输入的低层、本层、高层前景特征谱；

5)根据最终融合得到的图像前景特征谱，将其同垃圾特征进行特征匹配；将匹配成功的原始图像作为垃圾图像，从而将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

7.一种基于大数据的垃圾图像收集***，其特征在于，所述***包括：

图像获取装置，用于获取大量图像；

图像处理器，用于利用灰度图转换方法将图像转换为灰度图，并利用高斯滤波器对灰度图进行降噪处理；利用颜色估计模型对降噪图像进行阴影去除，得到无阴影的降噪图像，同时利用基于空间阈值的背景分割方法对无阴影的降噪图像进行前景背景的分割，得到前景图像；

垃圾图像收集装置，用于利用基于相邻特征信息融合的垃圾检测算法对前景图像进行垃圾图像的检测，将检测到的垃圾图像构建为垃圾图像数据集，实现垃圾图像的收集。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有垃圾图像收集程序指令，所述垃圾图像收集程序指令可被一个或者多个处理器执行，以实现如权利要求1至6中任一项所述的一种基于大数据的垃圾图像收集的实现方法的步骤。

Images