CN110533051B - 基于卷积神经网络的x光安检图像中违禁品自动检测方法 - Google Patents

Abstract

一种基于卷积神经网络的X光安检图像中违禁品自动检测方法。其包括构建包括数据集A和数据集B的安检图像数据集，数据集A中包含训练集和测试集；在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络；利用数据集B中的违禁品图像训练X光安检图像违禁品检测网络，然后将网络权重加载到网络中，之后利用数据集A中的训练集继续训练，最后利用数据集A中的测试集检测网络性能；在该网络中输入任意一张待检测的X光安检图像，该网络输出的检测结果图中能够自动对其中的违禁品进行正确分类和精准定位等步骤(该网络输出的检测结果图中都能自动显示出其中违禁品的类别和精确位置)。本发明方法能够实现对X光安检图像中违禁品的自动正确分类和精准定位，因此可以减轻安检工作人员的工作压力，提高安检的工作效率。

Description

基于卷积神经网络的X光安检图像中违禁品自动检测方法

技术领域

本发明属于X光安检图像中违禁品的检测和计算机视觉技术领域，特别是涉及一种基于卷积神经网络的X光安检图像中违禁品自动检测方法。

背景技术

安检作为公共领域安全的重要保障，在保护人们安全方面发挥着至关重要的作用。在中国，民航、铁路等交通部门每年都会运送大量旅客。大量的交通需求给安检人员带来了巨大的工作压力。以民航安检为例，大多数航空事故都是由人类不安全行为引起的。机场安检工作人员作为一项压力较大的工作，长期高压力的工作环境难免会导致其工作失误，从而影响航空运营的安全。因此，建立可靠的自动安检***对提高安检工作人员的工作效率具有重要意义。

安检工作人员在对违禁品检测时，其工作过程是首先识别出行李中是否存在违禁品，其次给出违禁品的正确位置。而目前计算机视觉领域中存在的目标检测算法就是解决这样一个问题，即目标在哪的问题。所以利用计算机实现自动安检是行之有效的解决办法。

近年来，随着深度学习，尤其是卷积神经网络的迅猛发展，越来越多的基于卷积神经网络的目标检测方法被提出，并且在目标检测领域取得了惊人的检测效果。但这些基于卷积神经网络的目标检测方法大多用于自然图像中的目标检测。与自然图像不同，安检图像具有背景复杂，违禁品尺寸差异较大等特点，因此，还需针对安检图像的特点，对现有的基于卷积神经网络的目标检测方法进行改进，从而使其更好地检测安检图像中的违禁品。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于卷积神经网络的X光安检图像中违禁品自动检测方法。

为了达到上述目的，本发明提供的基于卷积神经网络的X光安检图像中违禁品自动检测方法包括按顺序进行的下列步骤：

1)构建包括数据集A和数据集B的安检图像数据集，其中数据集A中包含训练集和测试集；

2)在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络；

3)首先利用步骤1)中获得的数据集B中的违禁品图像训练步骤2)中构建的X光安检图像违禁品检测网络，然后将经数据集B训练好的网络权重加载到X光安检图像违禁品检测网络中，之后利用数据集A中的训练集继续训练X光安检图像违禁品检测网络，最后利用数据集A中的测试集测试X光安检图像违禁品检测网络的性能；

4)X光安检图像违禁品检测网络的性能测试合格后，在该网络中输入任意一张待检测的X光安检图像，该网络输出的检测结果图中能够自动对其中的违禁品进行正确分类和精准定位。

在步骤1)中，所述的构建包括数据集A和数据集B的安检图像数据集，其中数据集A中包含训练集和测试集的方法是：

利用X光安检机采集多张包含违禁品的行李的X光安检图像，选择了六类违禁品，分别为：移动电源、打火机、叉子、刀子、***和剪刀，由这些X光安检图像构成数据集A；数据集A中的X光安检图像分为简单图像和复杂图像两种，简单图像的特点为背景复杂，只包含一个违禁品；复杂图像的特点为背景复杂，且同时包含两到三个违禁品；所有X光安检图像的大小均为300*300像素；然后在数据集A中分别随机抽取75％的简单图像和75％的复杂图像作为训练集，其余25％的复杂图像作为测试集；

数据集B中包含多张用于训练X光安检图像违禁品检测网络的违禁品图像，每张违禁品图像只包含违禁品，没有复杂背景，其中的所有违禁品都是利用图像预处理方法从上述采集的多张X光安检图像中提取出来的，违禁品图像的大小也均为300*300像素；最后将数据集A和数据集B中的违禁品利用labelImg标注工具进行标记，得到违禁品的先验信息。

在步骤2)中，所述的在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络的方法是：

以FSSD网络作为X光安检图像违禁品检测网络的基础检测网络；在上述FSSD网络生成的低层特征图上增加了语义丰富模块；首先将低层特征图输入到语义丰富模块中，然后利用空洞卷积层对输入的低层特征图进行特征提取，得到语义信息丰富的特征图，最后，将生成的语义信息丰富的特征图与输入的低层特征图进行点乘操作得到最后的输出特征图；输出特征图与低层特征图具有相同的维度并且输出特征图将代替输入的低层特征图进行特征图拼接；

假设X∈R^C×H×W为输入的低层特征图，Y∈R^C×H×W为输入的低层特征图经过空洞卷积后生成的语义信息丰富的特征图：

Y＝H(X)∈R^C×H×W (1)

语义信息丰富的特征图Y与输入的低层特征图X进行点乘操作得到最后的输出特征图Z，即：

Z＝X⊙Y (2)

特征图拼接完成之后，在FSSD网络的基础上添加了几层额外的卷积层和捷径连接来构成残差模块。

本发明提供的基于卷积神经网络的X光安检图像中违禁品自动检测方法能够实现对X光安检图像中违禁品的自动正确分类和精准定位，因此可以减轻安检工作人员的工作压力，提高安检的工作效率。

附图说明

图1为本发明中的安检图像数据集示意图。

图2为本发明中的基础检测网络结构示意图。

图3为本发明中的X光安检图像违禁品检测网络结构示意图。

图4为本发明中语义丰富模块结构示意图。

图5为本发明中残差模块结构示意图。

图6为对X光安检图像中违禁品的检测结果图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于卷积神经网络的X光安检图像中违禁品自动检测方法进行详细说明。

本发明提供的基于卷积神经网络的X光安检图像中违禁品自动检测方法包括按顺序进行的下列步骤：

1)构建包括数据集A和数据集B的安检图像数据集，其中数据集A中包含训练集和测试集；

安检图像数据集是使用卷积神经网络解决安检问题时重要的部分，为了使所用的数据更加有意义，本发明人利用X光安检机采集多张包含违禁品的行李的X光安检图像。采集的X光安检图像中违禁品尺寸多样，背景复杂，各种物品随意放置且会有重叠。考虑到X光安检图像中违禁品尺寸的多样性特点，最终选择了六类违禁品，分别为：移动电源、打火机、叉子、刀子、***和剪刀。由这些X光安检图像构成数据集A，如图1所示，数据集A中的X光安检图像分为简单图像和复杂图像两种，简单图像的特点为背景复杂，只包含一个违禁品；复杂图像的特点为背景复杂，且同时包含两到三个违禁品。所有X光安检图像的大小均为300*300像素。然后在数据集A中分别随机抽取75％的简单图像和75％的复杂图像作为训练集，其余25％的复杂图像作为测试集；在本发明中，共采集简单图像2074张，复杂图像2178张。

为了使下述的X光安检图像违禁品检测网络在训练时不受X光安检图像中复杂背景的干扰，从而更充分地学习到违禁品的特征，本发明人还构建了数据集B，数据集B中包含多张用于训练X光安检图像违禁品检测网络的违禁品图像，每张违禁品图像只包含违禁品，没有复杂背景，其中的所有违禁品都是利用图像预处理方法从上述采集的多张X光安检图像中提取出来的，违禁品图像的大小也均为300*300像素。最后将数据集A和数据集B中的违禁品利用labelImg标注工具进行标记，得到违禁品的先验信息。在本发明中，数据集B中共包括违禁品图像1645张。

2)在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络；

本发明以属于卷积神经网络的FSSD(特征融合单步目标检测器)网络作为X光安检图像违禁品检测网络的基础检测网络。FSSD网络的结构如图2所示。FSSD网络利用特征金字塔去检测不同尺寸的违禁品。在特征金字塔中低层特征图包含较多的位置信息和细节信息，这有利于违禁品的定位和小尺寸违禁品的识别，高层特征图中包含较多的抽象的语义信息，这有利于识别尺寸较大的违禁品。此外，由于检测小尺寸违禁品时还需要依赖上下文信息，因此，FSSD网络将特征金字塔中的高层特征图和低层特征图进行了维度上的拼接，从而可提高小尺寸违禁品的检测精度。

与自然场景图像和其它X光图像不同，X光安检图像中违禁品的尺寸差异较大，这为自动检测X光安检图像中的违禁品增加了难度。为了能更好地检测X光安检图像中小尺寸违禁品，提高检测精度，本发明在FSSD网络的基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络，如图3所示。

为了丰富特征金字塔中低层特征图的语义信息，提高小尺寸违禁品的检测精度，本发明在上述FSSD网络生成的低层特征图(用于拼接的第一层特征图)上增加了语义丰富模块。语义丰富模块主要由空洞卷积层来实现，空洞卷积通过增大感受野来丰富特征图的语义信息。在语义丰富模块中，空洞卷积层的卷积核大小为3×3，前三个空洞卷积层的空洞率为2，最后一个空洞卷积层的空洞率为4。

语义丰富模块的工作流程如图4所示，首先将低层特征图输入到语义丰富模块中，然后利用空洞卷积层对输入的低层特征图进行特征提取，得到语义信息丰富的特征图，最后，将生成的语义信息丰富的特征图与输入的低层特征图进行点乘操作得到最后的输出特征图。输出特征图与低层特征图具有相同的维度并且输出特征图将代替输入的低层特征图进行特征图拼接。

假设X∈R^C×H×W为输入的低层特征图，Y∈R^C×H×W为输入的低层特征图经过空洞卷积后生成的语义信息丰富的特征图，由图4可得：

Y＝H(X)∈R^C×H×W (1)

语义信息丰富的特征图Y与输入的低层特征图X进行点乘操作得到最后的输出特征图Z，即：

Z＝X⊙Y (2)

为了能更好地提取违禁品的特征，在特征图拼接之后，本发明在FSSD网络的基础上添加了几层额外的卷积层，并且为了防止网络过深而带来的网络性能“退化”问题，在拼接后的卷积层中又加入了残差结构。

如图5所示，残差模块主要由卷积操作和捷径连接(shortcut connections)操作来实现。在残差模块中，所使用的卷积核大小为3×3，当卷积层生成的特征图大小相同时，这些卷积层则使用相同数量的卷积核，大小相同的两个特征图可以直接进行捷径连接操作。当卷积层生成的特征图大小变为原来的一半时，则这些卷积层使用的卷积核数量变为原来卷积核数量的二倍，当两个大小不同的特征图进行捷径连接操作时，需通过下采样操作调整尺寸较大的特征图大小，从而使进行捷径连接操作的两个特征图大小相同。

3)首先利用步骤1)中获得的数据集B中的违禁品图像训练步骤2)中构建的X光安检图像违禁品检测网络，然后将经数据集B训练好的网络权重加载到X光安检图像违禁品检测网络中，之后利用数据集A中的训练集继续训练X光安检图像违禁品检测网络，最后利用数据集A中的测试集测试X光安检图像违禁品检测网络的性能；

4)X光安检图像违禁品检测网络的性能测试合格后，在该网络中输入任意一张待检测的X光安检图像，该网络输出的检测结果图中能够自动对其中的违禁品进行正确分类和精准定位。

为了验证本发明方法的效果，本发明人利用本发明方法对X光安检图像进行了实验，并与采用SSD(单步目标检测器)网络与FSSD网络的实验结果进行了对比，检测结果图如图6所示。实验在Ubuntu16.04***中进行，编程语言为Python3.5，深度学***均精度均值(mAP)作为检测精度的评价指标，实验结果如表1所示，

从表1中可以得出，本发明方法与SSD网络和FSSD网络检测的平均精度均值相比，分别提高了6.9％和2.3％。SSD网络和FSSD网络能很好地检测较大尺寸的违禁品，例如，对移动电源检测的平均精度均值分别为90.6％和90.8％，对***检测的平均精度均值分别为97.0％和98.8％。尽管在检测较小尺寸的违禁品时，FSSD网络较SSD网络的检测精度有所提升，但本发明方法在检测小尺寸违禁品时取到了最好的检测结果，例如与SSD网络和FSSD网络相比，本发明方法将打火机的检测精度分别从72.1％提升到89.2％，从87.1％提升到89.2％。由此可见，本发明方法能很好地检测出X光安检图像中较小尺寸的违禁品。

表1

Claims (2)

1.一种基于卷积神经网络的X光安检图像中违禁品自动检测方法，其特征在于：所述的基于卷积神经网络的X光安检图像中违禁品自动检测方法包括按顺序进行的下列步骤：

1)构建包括数据集A和数据集B的安检图像数据集，其中数据集A中包含训练集和测试集；

2)在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络；

3)首先利用步骤1)中获得的数据集B中的违禁品图像训练步骤2)中构建的X光安检图像违禁品检测网络，然后将经数据集B训练好的网络权重加载到X光安检图像违禁品检测网络中，之后利用数据集A中的训练集继续训练X光安检图像违禁品检测网络，最后利用数据集A中的测试集测试X光安检图像违禁品检测网络的性能；

4)X光安检图像违禁品检测网络的性能测试合格后，在该网络中输入任意一张待检测的X光安检图像，该网络输出的检测结果图中能够自动对其中的违禁品进行正确分类和精准定位；

在步骤2)中，所述的在FSSD网络基础上增加了语义丰富模块和残差模块，由此构建成X光安检图像违禁品检测网络的方法是：

以FSSD网络作为X光安检图像违禁品检测网络的基础检测网络；在上述FSSD网络生成的低层特征图上增加了语义丰富模块；低层特征图为用于拼接的第一层特征图；首先将低层特征图输入到语义丰富模块中，然后利用空洞卷积层对输入的低层特征图进行特征提取，得到语义信息丰富的特征图，最后，将生成的语义信息丰富的特征图与输入的低层特征图进行点乘操作得到最后的输出特征图；输出特征图与低层特征图具有相同的维度并且输出特征图将代替输入的低层特征图进行特征图拼接；

假设X∈R^C×H×W为输入的低层特征图，Y∈R^C×H×W为输入的低层特征图经过空洞卷积后生成的语义信息丰富的特征图：

Y＝H(X)∈R^C×H×W (1)

语义信息丰富的特征图Y与输入的低层特征图X进行点乘操作得到最后的输出特征图Z，即：

Z＝X⊙Y (2)

特征图拼接完成之后，在FSSD网络的基础上添加了的卷积层和捷径连接来构成残差模块。

2.根据权利要求1所述的基于卷积神经网络的X光安检图像中违禁品自动检测方法，其特征在于：在步骤1)中，所述的构建包括数据集A和数据集B的安检图像数据集，其中数据集A中包含训练集和测试集的方法是：

利用X光安检机采集多张包含违禁品的行李的X光安检图像，选择了六类违禁品，分别为：移动电源、打火机、叉子、刀子、***和剪刀，由这些X光安检图像构成数据集A；数据集A中的X光安检图像分为简单图像和复杂图像两种，简单图像的特点为背景复杂，只包含一个违禁品；复杂图像的特点为背景复杂，且同时包含两到三个违禁品；所有X光安检图像的大小均为300*300像素；然后在数据集A中分别随机抽取75％的简单图像和75％的复杂图像作为训练集，其余25％的复杂图像作为测试集；

数据集B中包含多张用于训练X光安检图像违禁品检测网络的违禁品图像，每张违禁品图像只包含违禁品，没有复杂背景，其中的所有违禁品都是利用图像预处理方法从上述采集的多张X光安检图像中提取出来的，违禁品图像的大小也均为300*300像素；最后将数据集A和数据集B中的违禁品利用labelImg标注工具进行标记，得到违禁品的先验信息。

Images