一种巡检场景下小目标识别方法和***
技术领域
本公开属于计算机视觉领域,具体涉及一种巡检场景下小目标识别方法和***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
图像目标识别技术是对固定或移动目标进行非接触式信息采集和分析,然后按照设定类别进行归类。采集的信息包括目标的颜色、几何结构、相对位置关系等。采集设备既可以是固定,也可以是移动的,通过对采集的信息经过专门定制的识别算法能正确的给出相关信息。在信息化高度发达的当下,通过人工对特定目标的进行识别往往速度较慢,在大数据应用背景下需耗费大量的人力财力,而传感器技术的迅猛发展使得获取的信息更加丰富,因此采用专门***来进行目标识别可极大的降低能耗。
据发明人了解,传统的图像目标识别是利用特征提取和匹配来实现对特征目标的识别,随着深度学习技术的出现,利用深度神经网络来进行训练,获得识别目标模型,算法的鲁棒性和实效性得到了极大的提升。但在某些专业领域,拍摄的图像是大场景下,图像中的目标尺寸较小,具有特征信息较少,传统的目标算法和现有的深度学习算法都不完全适用此类情况,识别效果均不能达到实用程度。
发明内容
本公开为了解决上述问题,提出了一种巡检场景下小目标识别方法和***,本公开可以实现对电力巡检、海洋巡逻等巡检应用场景下,对小目标的精准识别和快速判断,降低现场工作人员的参与度和劳动量。
根据一些实施例,本公开采用如下技术方案:
一种巡检场景下小目标识别方法,包括以下内容:
(一)根据巡检应用场景整理待识别图像的测试数据集,对数据集图像中的待识别目标进行目标框标记;
作为可选择的实施方案,对数据集图像进行标记前,可进行图像数据的预处理,通过图像几何变换、图像模糊、图像去雾、增加噪声等方式,提高图像数据的多样性。
(二)利用深度学习算法进行图像分割,通过神经网络对图像像素进行运算计算,根据像素计算结果对输入图像进行像素分类,得到特征图;
作为可选择的实施方案,利用神经网络对输入图像全部像素进行分类和优化,得到完整的分类特征图,实现输入图像的分割。进行图像分割的具体的过程包括:
作为可选择的实施方案,对全卷积神经网络得到的特征图进行上采样的方式处理,进一步优化,得到完整特征图。
作为可选择的实施方案,在获取特征图后,利用随机场的方法,对图像像素进行关系计算,对图像中不同物体的像素进行细致分割,使得目标物体的信息细节进行恢复。
(三)建立分类特征与目标框标记的物体特征的对应关系,对提取出的特征图进行目标识别,得到各类目标分类的概率,概率最大的分类则为待检测图像的识别结果。
作为可选择的实施方案,在进行目标检测时,采用一级或二级检测算法,一级检测算法通过回归的方式得到目标的类别及位置;二级检测算法生成一系列样本候选框,再通过神经网络完成目标的分类和定位。
作为可选择的实施方案,进行目标识别的具体过程包括:
根据得到图像分割的数据集之后,深度学习目标识别方法中进行模型训练;模型训练通过在深度神经网络中进行前向推导和后向传播不符按迭代,使得目标识别率到达期望值;
作为可选择的实施方案,为提高目标识别方法对小目标特征的利用率,将调整训练策略,将高层和底层的特征图运用融合策略,然后共同计算作为识别标记的特征向量。
(四)利用优化完毕的识别模型进行目标识别,待检测图像以此经过输入层、卷积层、池化层、连接层和输出层,得到各类目标分类的概率,概率最大的分类则为待检测图像的识别结果。
一种巡检场景下小目标识别***,包括:
图像预处理模块,被配置为根据巡检应用场景整理待识别图像的测试数据集,对数据集图像中的待识别目标进行目标框标记;
图像分割模块,被配置为利用深度学习算法进行图像分割,对输入图像进行像素分类,得到完整特征图;
特征提取模块,被配置为对提取出的特征图进行特征识别,得到各类目标分类的特征,建立分类特征与目标框标记的物体特征的对应关系,作为目标识别的分类依据,得到识别模型;
目标识别模块,被配置为利用优化完毕的识别模型进行目标识别,待检测图像以此经过输入层、卷积层、池化层、连接层和输出层,得到各类目标分类的概率,概率最大的分类则为待检测图像的识别结果。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种巡检场景下小目标识别方法的步骤。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述一种巡检场景下小目标识别方法的步骤。
与现有技术相比,本公开的有益效果为:
本公开创新性提出了一种巡检场景下小目标的图像语义分割方法,通过语义分割的方式,实现待检测目标与其他背景的分离,攻克了小目标像素占比低、特征信息少,难以分割的技术难题。
本公开创新性提出了一种多尺度特征融合的小目标准确识别方法,构建出小目标深度学习识别模型,提高了对目标特征信息的利用率,攻克当前目标识别算法小目标信息熵低、识别精度差的技术瓶颈;成功研制巡检场景下小目标识别***,创造性提出将图像分割与图像识别结合的技术路线,图像分割与识别同步进行,提高***的响应速度和稳定性。
本公开针对大场景下的小目标识别,由于待检测目标像素占比少,特征提取难度大,因此对数据集图像进行样本扩充预处理,能够提高数据集的代表性,扩充数据集的样本的特征覆盖面,也有助于提高模型的识别精度。
本公开图像分割部分通过深度学习的方式,利用全卷积神经网络对输入图像进行像素分类,得到特征图,然后利用上采样的方式进行处理,得到完整特征图,保证特征图的完整和正确性。针对卷积神经网络带来的位置信息丢失的问题,通过上采样对图像的细节进行恢复,并利用随机场方法完成图像的像素分割。
本公开目标检测部分可采用一级或二级检测算法,一级检测算法如SSD、YOLO等通过回归的方式得到目标的类别及位置。二级检测算法如Faster-RCNN等则需要生成一系列样本候选框,而后再通过神经网络完成目标的分类和定位,具有较高的灵活性和准确性。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1是本公开的流程示意图。
具体实施方式:
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
由于受拍摄条件所限,在对目标进行数据采集时,目标像素在图像中的占比较低,图像中包含大量其他物体,增加了识别待检测目标的难度,本公开提出的一种巡检场景下小目标识别方法,可有效避免上述问题,具体包括以下步骤:
步骤一:根据巡检应用场景整理待识别图像的测试数据集,对数据集图像中的待识别目标进行目标框标记,为提高数据集的代表性,对部分图像数据进行几何变换、图像模糊、图像去雾、增加噪声等处理,测试数据集的样本也得到一定扩充;对数据集中的图像进行增强处理,提高图像的质量。
步骤二:利用深度学习算法进行图像分割,本专利通过深度学习的方式,先利用全卷积神经网络对输入图像进行像素分类,得到特征图,然后利用上采样的方式进行处理,得到完整分割图。通过随机场的限制结构来对不同目标的界限进行准确划分,对图像的细节进行恢复。通过图像分割,得到小目标的分割图像,滤除背景影响。具体实施细节如下:
1.全卷积网络通过分解卷积和并行分解卷积提取图像的特征,通过降采样使得分辨率下降后作为后续操作的输入源,再用两个下采样单元对输入源进行下采样,并将得到的图像进行叠加运算,得到初步的分割图;
2.并进行上采样使得特征图的尺寸与输入图像一致,利用转置卷积在神经网络中做正向和反向传播运算,输出与原图像相同分辨率的分割图。
3.随机场方法对初步图像进行深层语义细化,对上述分割图进行像素距离计算细化像素的分类,明确不同物体之间界限,得到图像像素的目标分类,完成图像分割的优化输出。
步骤三:利用目标识别算法对步骤二提取出小目标分割图像进行目标识别,本公开目标检测部分可采用一级或二级检测算法,一级检测算法如SSD、YOLO等通过回归的方式得到目标的类别及位置。二级检测算法如Faster-RCNN等则需要生成一系列样本候选框,而后再通过神经网络完成目标的分类和定位。具体实施细节如下:
1.根据步骤二得到图像分割的数据集之后,深度学习目标识别算法中进行模型训练。模型训练通过在深度神经网络中进行前向推导和后向传播不符按迭代,使得目标识别率到达期望值。
2.利用训练好的识别模型在经过步骤二处理的图像进行目标识别。待检测图像以此经过输入层、卷积层、池化层、连接层和输出层,得到各类目标分类的概率,概率最大的分类则为待检测图像的识别结果。
当然,还可以将识别结果和输入图像作为数据源存储,进行数据集的扩充,便于后续的算法迭代。对于未能检测出目标的图像,可将图像进行标定和特殊存储,待人工进行复审,并标定识别类别存入。
还提供以下的产品实施例:
一种巡检场景下小目标识别***,包括:
图像预处理模块,被配置为根据巡检应用场景整理待识别图像的测试数据集,对数据集图像中的待识别目标进行目标框标记;
图像分割模块,被预处理过的图像数据利用深度学习算法进行图像分割,对输入图像进行像素分类,以此经过全卷积运算、上采样运算、随机场运算,完成图像分割。
目标识别模块,被配置为对提取出的特征图进行目标识别,得到各类目标分类的概率,概率最大的分类则为待检测图像的识别结果。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种巡检场景下小目标识别方法的步骤。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述一种巡检场景下小目标识别方法的步骤。
本领域内的技术人员应明白,本公开的实施例可提供为方法、***、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。