CN115409977A - 基于图像识别的全量检测信息采集方法 - Google Patents

Abstract

本发明公开了基于图像识别的全量检测信息采集方法，用于为神经网络提供预处理后的图像信息，包括：在入库区域设置单一色彩的环境色；分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息；对不同色彩下的图像信息进行差异灰度化；根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息；对方差最大的灰度化后图像信息进行二值化，得到预处理后的图像信息。通过环境色的设置从源头减少图像处理的干扰信息，并通过不同光照条件下拍摄的图像信息进行比对和筛选，进而在输入神经网络之前就已经将大量的非必要信息略去，有助于提高后续的处理效率和识别的准确率。

Description

基于图像识别的全量检测信息采集方法

技术领域

本发明涉及图像处理技术领域，特别涉及基于图像识别的全量检测信息采集方法。

背景技术

近年来，结合人工神经网络***、自动机器人导航***、自学习自组织***、图像变换探测技术及文字识别技术等工作的开展，形成了一些有价值的信息融合方法，如补偿性学习融合方法、Mahler的随机融合方法、Mukai Tonshiham提出的主动感知法、专家***法、参数模板法、物理模型方法等等。多传感器融合***在民事应用领域得到了较快的发展，主要用于机器人、智能制造、智能交通、医疗诊断、遥感、刑侦和保安等领域。

其中，电力物资检测对入网物资质量有至关重要的影响，但数据直采的问题一直没有完善的解决方案，目前的数据直采装置大多基于智能检测设备和开放传输协议的基础上，但实际应用过程中多品牌智能检测设备混用，传输协议不开放、智能检测设备与传统检测设备、机械式检测设备混用等情况造成大量检测设备无法实现检测数据的自动采集、分析、查询、以及检验报告的自动生成，对检测的客观性和权威性有影响。

因此，借助多传感器信息融合的技术来实现全量检测信息采集，是解决物资检测过程中采集设备不通用问题的理想手段，其中，图像处理是最常用且最直接的方式，如申请号CN202111061921.5的发明公开了一种基于卷积神经网络的片材表面缺陷图像识别处理方法，该方法通过收集多种类型的缺陷图像构建可训练数据库来训练一个卷积神经网络模型；再将现场的片材表面成像图像输入已训练的深度学习模型里，获得对当前输入图像的缺陷类型识别结果，并通过像素级梯度加权类激活映射的方式，可获得当前模型对输出结果的可视化解释；最后在获得模型分类结果的前提下，通过对目标缺陷属性的特征值设定限定规则，提升了现有方法的识别精度和适用范围。

但现有技术主要以神经网络的学习和训练参数的优化为主，对于输入图像的预处理环节优化不够，导致输入神经网络时的图像仍然带有大量的非必要信息或噪音，因此运行效率较低，识别难度较大，导致识别的错误率较高，无法适应物资检测的高标准要求。

发明内容

针对现有技术中输入神经网络时的图像仍然带有大量的非必要信息或噪音问题，本申请提供了基于图像识别的全量检测信息采集方法，通过环境色的设置从源头减少图像处理的干扰信息，并通过不同光照条件下拍摄的图像信息进行比对和筛选，得到特征最明显、干扰因素最少的图像信息，进而在输入神经网络之前就已经将大量的非必要信息略去，有助于大幅提高后续的处理效率和识别的准确率。

以下是本发明的技术方案。

基于图像识别的全量检测信息采集方法，用于为神经网络提供预处理后的图像信息，包括：

S1：在入库区域设置单一色彩的环境色；

S2：分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息；

S3：对不同色彩下的图像信息进行差异灰度化；

S4：根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息；

S5：对方差最大的灰度化后图像信息进行二值化，得到预处理后的图像信息。

本发明采用了单一色彩的环境色，能够从源头避免各类颜色混杂的背景所带来的识别干扰因素，并且采用不同的光照条件进行拍摄，利用不同光照条件的显色性、不同材料的反射光等因素的不同，得到全然不同的图像信息，可以避免某些光照条件下某些材料色彩差异较小导致图像特征不明显的问题，最后通过筛选可以得到特征最明显，干扰因素最少的图像信息，进而保障神经网络的处理效率和准确率。

作为优选，所述在入库区域设置单一色彩的环境色，包括：在入库区域中能够被图像采集装置拍摄到的范围内，将固定设施和与非固定设施限定为单一色彩，共同形成环境色。固定设施例如墙面、地面、天花板等各类建筑组成部分，非固定设施例如推车、货架等在入库区域中不可或缺的组成部分，限定为单一色彩可以用粉刷、喷漆、套罩等方式，色彩选择以避免常用色为主。

作为优选，所述环境色为绿色。其中绿色在常规室内布局中使用较少，是一种比较理想的环境色。

作为优选，所述分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息，包括：

利用白色光源、环境色光源、非环境色的单色光源分别依次照射入库区域；

在不同色彩的光照下利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息。

其中，特定颜色的光源与环境色产生对应联动，以获得强化环境色、弱化环境色等效果，能够便于区分环境色与其他物体，缺少光源或环境色中任意一项要素都将无法达到此效果，例如，白色光源照射时采集到的主要是常规光照条件下的图像信息，背景的环境色和待识别物的显色情况没有显著差异；而环境色光源照射时采集到的主要是环境色相对突出的图像信息，待识别物的显色情况一般低于背景的环境色，体现到图像中就是背景会偏亮；而非环境色的单色光源采集到的主要是环境色最弱化的图像信息，待识别物的显色情况一般高于背景的环境色，体现到图像中就是背景会偏暗。上述三种图像信息突出点各不相同，可以便于在后续的筛选过程中找到最适用于当前待识别物的光照条件。

作为优选，所述对不同色彩下的图像信息进行差异灰度化，包括：

对于白色光源照射下的图像信息，进行平均值灰度化，得到第一灰度图像；

对于环境色光源照射下的图像信息，进行伪均值灰度化，得到第二灰度图像；

对于非环境色的单色光源照射下的图像信息，进行最大值灰度化，得到第三灰度图像；

第一灰度图像、第二灰度图像、第三灰度图像作为灰度化后图像信息。

本发明中，第一灰度化图像是由最常用的白色光源叠加平均值灰度化得到的，保证了至少有一幅具有基础质量的图像；第二灰度图像是由环境色光源叠加伪均值灰度化得到的，是针对环境色相对突出的图像信息进行的一项灰度平衡措施；第三灰度图像是针对环境色被弱化的图像信息进行最大值灰度化，能够进一步增加环境色与其他物体之间的灰度差距。

作为优选，所述伪均值灰度化，包括：计算环境色光源照射下的图像信息的三分量中每个分量的亮度平均值，去除亮度平均值最大的分量，计算每个像素中剩余的两个分量亮度值的平均值得到灰度值。对于环境色被强化的图像信息，由于环境色被同色光照射时反射光较强，因此亮度值可能较大，可以用于与其他颜色形成明显的区分，但由于后续需要着重处理的是背景之外的物体，因此为了减少干扰，需要尽可能减少背景的灰度值，本发明利用上述形成的明显区分特征，进行针对性的灰度削减，可以准确削减背景的灰度值，减少背景对其他物体的干扰。通过伪均值灰度化，可以使得第二灰度图像也能拥有第三灰度图像类似的弱化背景的效果。而当环境色为绿色、红色或蓝色时，这一效果尤为明显。

作为优选，所述根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息，包括：

在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区；

计算物资所在区的像素灰度值均值，并计算方差，将方差最大的物资所在区域所对应的灰度化后图像信息作为筛选结果。

通过划分环境色背景区和物资所在区，仅计算物资所在区的方差，可以减少计算量，且更利于准确判断和突出最重要的物资信息。

作为优选，所述在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区，包括：

采集每张灰度化后采集图像信息中所有边缘像素的灰度值，绘制边缘像素的灰度值分布曲线图，将边缘像素的灰度值分布曲线图中出现次数最多的灰度值作为标准值；

从每一条边的边缘像素开始向图像中心依次判断像素的灰度值，如灰度值与标准值的差距在预设范围内，则作为备选背景像素，其中，将能够与边缘像素组成封闭图案的备选背景像素作为环境色背景区的组成像素，其余的所有像素作为物资所在区的组成像素。

由于背景的环境色基本统一，因此从边缘像素即可判断出哪些更可能是背景的环境色，再根据灰度值与标准值进行对比，可以判断备选背景像素，进而根据背景是连续的这一前提，划分环境色背景区和物资所在区。

本发明的实质性效果包括：通过设置单一的环境色以降低背景的干扰，利用不同的光照条件，得到差异化的图像信息，并进行差异灰度化，进一步弱化环境色的灰度值，并从中筛选出最适用于当前识别目标的图像，进而可以最大程度减少干扰因素的影响，并突出有效特征，可以减少神经网络的计算量，并帮助提高识别准确率。

附图说明

图1是本发明实施例的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例，对本技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

下面以具体的实施例对本发明的技术方案进行详细说明。实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例：

基于图像识别的全量检测信息采集方法，用于为神经网络提供预处理后的图像信息，包括如图1所示的以下步骤：

S1：在入库区域设置单一色彩的环境色。

具体包括：在入库区域中能够被图像采集装置拍摄到的范围内，将固定设施和与非固定设施限定为单一色彩，共同形成环境色。固定设施例如墙面、地面、天花板等各类建筑组成部分，非固定设施例如推车、货架等在入库区域中不可或缺的组成部分，限定为单一色彩可以用粉刷、喷漆、套罩等方式，色彩选择以避免常用色为主。

其中，本实施例的环境色为绿色。绿色在常规室内布局中使用较少，是一种比较理想的环境色。

S2：分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息。

具体包括：利用白色光源、环境色光源、非环境色的单色光源分别依次照射入库区域；在不同色彩的光照下利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息。

其中，白色光源照射时采集到的主要是常规光照条件下的图像信息，背景的环境色和待识别物的显色情况没有显著差异；而环境色光源照射时采集到的主要是环境色相对突出的图像信息，待识别物的显色情况一般低于背景的环境色，体现到图像中就是背景会偏亮；而非环境色的单色光源采集到的主要是环境色最弱化的图像信息，待识别物的显色情况一般高于背景的环境色，体现到图像中就是背景会偏暗。上述三种图像信息突出点各不相同，可以便于在后续的筛选过程中找到最适用于当前待识别物的光照条件。

其中，环境色光源发光强度小于白色光源发光强度，所述白色光源发光强度小于非环境色的单色光源的发光强度。适当调整发光强度，可以规整不同图像信息之间的整体亮度差异，在一些情况下可能能够突出待识别物的特征。

S3：对不同色彩下的图像信息进行差异灰度化。

具体包括：

对于白色光源照射下的图像信息，进行平均值灰度化，得到第一灰度图像；

对于环境色光源照射下的图像信息，进行伪均值灰度化，得到第二灰度图像；

对于非环境色的单色光源照射下的图像信息，进行最大值灰度化，得到第三灰度图像；

第一灰度图像、第二灰度图像、第三灰度图像作为灰度化后图像信息。

本实施例中，第一灰度化图像是由最常用的白色光源叠加平均值灰度化得到的，保证了至少有一幅具有基础质量的图像；第二灰度图像是由环境色光源叠加伪均值灰度化得到的，是针对环境色相对突出的图像信息进行的一项灰度平衡措施；第三灰度图像是针对环境色被弱化的图像信息进行最大值灰度化，能够进一步增加环境色与其他物体之间的灰度差距。

其中，伪均值灰度化，包括：计算环境色光源照射下的图像信息的三分量中每个分量的亮度平均值，去除亮度平均值最大的分量，计算每个像素中剩余的两个分量亮度值的平均值得到灰度值。对于环境色被强化的图像信息，由于环境色被同色光照射时反射光较强，因此亮度值可能较大，可以用于与其他颜色形成明显的区分，但由于后续需要着重处理的是背景之外的物体，因此为了减少干扰，需要尽可能减少背景的灰度值，本发明利用上述形成的明显区分特征，进行针对性的灰度削减，可以准确削减背景的灰度值，减少背景对其他物体的干扰。通过伪均值灰度化，可以使得第二灰度图像也能拥有第三灰度图像类似的弱化背景的效果。而当环境色为绿色时，这一效果尤为明显。

即，上述差异灰度化之后，第一灰度图像作为灰度化的保底效果，具有常规的灰度化程度，第二灰度图像和第三灰度图像，能够弱化环境色的灰度值，为后续的处理减少干扰信息。

S4：根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息。

具体包括：在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区；计算物资所在区的像素灰度值均值，并计算方差，将方差最大的物资所在区域所对应的灰度化后图像信息作为筛选结果。

通过划分环境色背景区和物资所在区，仅计算物资所在区的方差，可以减少计算量，且更利于准确判断和突出最重要的物资信息。

在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区，包括：采集每张灰度化后采集图像信息中所有边缘像素的灰度值，绘制边缘像素的灰度值分布曲线图，将边缘像素的灰度值分布曲线图中出现次数最多的灰度值作为标准值；

从每一条边的边缘像素开始向图像中心依次判断像素的灰度值，如灰度值与标准值的差距在预设范围内，则作为备选背景像素，其中，将能够与边缘像素组成封闭图案的备选背景像素作为环境色背景区的组成像素，其余的所有像素作为物资所在区的组成像素。

由于背景的环境色基本统一，因此从边缘像素即可判断出哪些更可能是背景的环境色，再根据灰度值与标准值进行对比，可以判断备选背景像素，进而根据背景是连续的这一前提，划分环境色背景区和物资所在区。

S5：对方差最大的灰度化后图像信息进行二值化，得到预处理后的图像信息。

本实施例采用了单一色彩的环境色，能够从源头避免各类颜色混杂的背景所带来的识别干扰因素，并且采用不同的光照条件进行拍摄，利用不同光照条件的显色性、不同材料的反射光等因素的不同，得到全然不同的图像信息，可以避免某些光照条件下某些材料色彩差异较小导致图像特征不明显的问题，最后通过筛选可以得到特征最明显，干扰因素最少的图像信息，进而保障神经网络的处理效率和准确率。

本实施例的实质性效果包括：通过设置单一的环境色以降低背景的干扰，利用不同的光照条件，得到差异化的图像信息，并从中筛选出最适用于当前识别目标的图像，进而可以最大程度减少干扰因素的影响，并突出有效特征，可以减少神经网络的计算量，并帮助提高识别准确率。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中可以根据需要而将上述功能分配由不同的功能模块完成，即将具体装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的实施例中，应该理解到，所揭露的结构和方法，可以通过其它的方式实现。例如，以上所描述的关于结构的实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个结构，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，结构或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请实施例如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.基于图像识别的全量检测信息采集方法，用于为神经网络提供预处理后的图像信息，其特征在于，包括：

S1：在入库区域设置单一色彩的环境色；

S2：分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息；

S3：对不同色彩下的图像信息进行差异灰度化；

S4：根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息；

S5：对方差最大的灰度化后图像信息进行二值化，得到预处理后的图像信息。

2.根据权利要求1所述的基于图像识别的全量检测信息采集方法，其特征在于，所述在入库区域设置单一色彩的环境色，包括：在入库区域中能够被图像采集装置拍摄到的范围内，将固定设施和与非固定设施限定为单一色彩，共同形成环境色。

3.根据权利要求1所述的基于图像识别的全量检测信息采集方法，其特征在于，所述环境色为绿色。

4.根据权利要求1所述的基于图像识别的全量检测信息采集方法，其特征在于，所述分别利用若干不同色彩的光源照射入库区域，利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息，包括：

利用白色光源、环境色光源、非环境色的单色光源分别依次照射入库区域；

在不同色彩的光照下利用图像采集装置对入库区域进行图像采集，得到不同色彩下的图像信息。

5.根据权利要求4所述的基于图像识别的全量检测信息采集方法，其特征在于，所述对不同色彩下的图像信息进行差异灰度化，包括：

对于白色光源照射下的图像信息，进行平均值灰度化，得到第一灰度图像；

对于环境色光源照射下的图像信息，进行伪均值灰度化，得到第二灰度图像；

对于非环境色的单色光源照射下的图像信息，进行最大值灰度化，得到第三灰度图像；

第一灰度图像、第二灰度图像、第三灰度图像作为灰度化后图像信息。

6.根据权利要求5所述的基于图像识别的全量检测信息采集方法，其特征在于，所述伪均值灰度化，包括：计算环境色光源照射下的图像信息的三分量中每个分量的亮度平均值，去除亮度平均值最大的分量，计算每个像素中剩余的两个分量亮度值的平均值得到灰度值。

7.根据权利要求1所述的基于图像识别的全量检测信息采集方法，其特征在于，所述根据灰度化后图像信息的像素灰度值计算方差，筛选出方差最大的灰度化后图像信息，包括：在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区；

计算物资所在区的像素灰度值均值，并计算方差，将方差最大的物资所在区域所对应的灰度化后图像信息作为筛选结果。

8.根据权利要求7所述的基于图像识别的全量检测信息采集方法，其特征在于，所述在不同色彩下的灰度化后图像信息中，划分出环境色背景区和物资所在区，包括：

采集每张灰度化后采集图像信息中所有边缘像素的灰度值，绘制边缘像素的灰度值分布曲线图，将边缘像素的灰度值分布曲线图中出现次数最多的灰度值作为标准值；

从每一条边的边缘像素开始向图像中心依次判断像素的灰度值，如灰度值与标准值的差距在预设范围内，则作为备选背景像素，其中，将能够与边缘像素组成封闭图案的备选背景像素作为环境色背景区的组成像素，其余的所有像素作为物资所在区的组成像素。

Images