CN110956225A

CN110956225A - 一种违禁品检测方法及***、一种计算设备及存储介质

Info

Publication number: CN110956225A
Application number: CN202010116550.5A
Authority: CN
Inventors: 林忠晨; 李一清; 周凯; 焦立欣
Original assignee: Zhejiang Zhuoyun Intelligent Technology Co ltd
Current assignee: Zhejiang Zhuoyun Intelligent Technology Co ltd
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2020-04-03
Anticipated expiration: 2040-02-25
Also published as: CN110956225B

Abstract

本申请提供的一种违禁品检测方法及***、一种计算设备及存储介质，其中，所述方法包括:获取物品的安检图像并对图像预处理；通过预设的违禁品检测模型进行检测，得到待检测物品图像的违禁品检测结果。其中，预设的违禁品检测模型中RPN区域提案网络还包括对所得负样本二次选择的步骤。本发明所提供的违禁品检测模型具有很好的泛化性，减少违禁品漏检率和误检率，提高检测准确率。

Description

一种违禁品检测方法及***、一种计算设备及存储介质

技术领域

本发明属于安检技术领域，具体涉及一种违禁品检测方法及***、一种计算设备及存储介质。

背景技术

X光图片违禁品检测是公共安全领域的一个关键问题，它的主要目的是在伪彩色处理后的X光图片中准确检测其是否包含违禁品，如刀和枪，并能在复杂的遮挡干扰情况下定位违禁品，为人工开箱查验提供线索。目前，X光图片中的违禁品检测以人工查验为主，相关工作人员需要时刻监视画面，并在较短的时间内给出人工判定结果，这不仅费时费力，完全满足不了快递物流安检中高速、大量的需求，而且人工查验若遗漏违禁品，则可能会引发严重后果。因此，自动化违禁品检测技术以其成本低、效率高、稳定性强等优点受到了人们的广泛关注。

目标检测(Object Detection)是计算机视觉领域的基本任务之一，近些年随着深度学习的崛起，目标检测算法一般都是基于深度学习来完成的。目前目标检测主要分为两个阵营：一类是以YOLO、SSD(Single Shot MultiBox Detector) 为代表的单阶段（onestage）目标检测算法，另一类是以Faster R-CNN、Mask R-CNN为代表的二阶段（two stage）目标检测算法，单阶段目标检测算法检测速度虽然快但是检测精度低于二阶段，二阶段目标检测算法需要先生成候选框，然后在候选框的基础之上进行细分类别和位置，代表的算法为Faster R-CNN，具有准确度高、实现过程相对简单、迁移能力强、可以使用深度学习实现端到端的过程等优点，在许多检测问题上都取得很好的成绩。

本发明同样利用二阶段目标检测算法实现包裹中违禁品检测，但是对其进行了改进，解决了在RPN阶段对正负样本进行随机采样导致所选择的负样本不一定是难例样本而是一些简单的背景图，从而影响算法的模型泛化性的问题，同时也进一步减少了违禁品目标误报率和漏报率。

发明内容

本发明的目的在于克服现有技术的不足，提出一种违禁品检测方法及***、一种计算设备及存储介质，以进一步提高违禁品检测算法的模型泛化性，减少违禁品漏检率和误检率，提高检测准确率。

为实现上述发明目的，根据本发明的第一个方面，提出的违禁品检测方法，包括以下步骤：

S1获取物品的安检图像并对图像预处理；

S2通过预设的违禁品检测模型中的卷积神经网络CNN，提取所述预处理后图像的图像特征；

S3通过预设的违禁品检测模型中的区域提案网络RPN获取目标图像的业务候选区域；

S4根据S2所得的图像特征以及S3得到的业务候选区域把所述业务候选区域所对应的图像特征提取出来，送至预设的违禁品检测模型中的分类器和回归器进行处理，得到待检测物品图像的违禁品检测结果；

S5输出检测结果中所得安检图像中是否包含违禁品以及违禁品的包括种类、位置的信息。

本申请的第二个方面提供一种违禁品检测模型的训练方法：包括

1）收集安检图像，获取图像集及对应目标标签，构建训练数据集；

2）构建违禁品检测模型，包含特征提取模块、RPN区域提案网络、目标检测网络、损失计算模块；其中，所述RPN区域提案网络还包括将负样本按置信度分数从高到低均分为j类，其中j为大于等于2的整数；再对每各类的负样本进行非极大值抑制(NMS)操作；最后，分别对划分好的N类负样本进行采样，采样依据如下：

其中：i={1,…j}，j为大于等于2的整数，

表示对第i类负样本选取个数，N表示负样本选取总数，

表示第i类负样本总数；

3）通过步骤1）中所述训练数据集对步骤2）所得违禁品检测模型进行训练，得到训练好的预设违禁品检测模型。

第三方面，本发明提供了一种违禁品检测***，包括：

获取模块，用于获取安检机扫描物品得到的安检图像；

预处理模块，用于对安检图像进行预处理，处理方式包括但不限于图像归一化、去噪、背景差分、去伪影、边缘检测中的一种或多种。

目标区域提取模块，用于将经预处理的图像同时输入到预先训练的二阶段卷积神经网络模型中进行特征提取，以及根据所述卷积神经网络模型输出图像的图像特征，再将图像特征输入目标检测网络模型得到所述安检图像的目标区域。

识别模块，用于输出最终检测及识别结果。

第四方面，本说明书实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述检测方法的步骤。

第五方面，本说明书实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述检测方法的步骤。

本发明的有益技术效果在于：本发明提供了一种违禁品检测方法，通过上述方式得到的卷积神经网络模型具有更好的泛化性，进而提高了该深度学习方法在实际应用中的检测率，降低了漏检率和误检率。

附图说明

图1为本说明书实施例提供的一种计算设备的结构框图。

图2为本说明书实施例提供的一种违禁品检测模型训练方法流程示意图。

图3为本说明书实施例提供的一种违禁品检测模型结构示意图。

图4为本说明书实施例提供的一种违禁品检测方法流程框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本发明一个或多个实施例涉及的名词术语进行解释。

违禁品：法律规定的不准私自制造、购买、使用、持有、储存、运输进出口的物品，例如武器、弹药、***物品(如***、***、导火索等)等。

安检图像：利用安检设备获取的图像，本发明所涉及安检设备或安检机并不仅限于X光安检设备，可通过扫描实现的安检设备和/或安检机均是本发明所要保护的范围，例如太赫兹成像设备等。

在本申请中，提供了一种违禁品检测方法及***、一种计算设备及计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。

计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中，处理器120可以执行图4所示方法中的步骤。图4示出了根据本说明书一实施例的一种违禁品检测方法流程框图，包括：

210获取待检测物品的安检图像，所述待检测物品包括但不限于包裹、行李、箱包、日常物品、违禁品，具体根据实际应用场景需要确定。

220图像预处理，处理方式包括但不限于图像归一化、去噪、背景差分、去伪影中的一种或多种。

以预设尺寸对图像进行归一化操作，此实施例中以500*500为例。

利用高斯平滑算法对图像进行去噪，高斯平滑后的图像每一个点的值，都由其自身和领域内的其他像素值经过加权平均后得到；具体的操作是使用一个模板扫描图像中的每一个像素，用模板确定的领域内像素的加权平均灰度值代替模板中心像素点的值，滤波后的图像记为I_fg：

表示中心点I_f(i,j)邻域内I_f(k,l)点的权重值。

高斯平滑后，图像上细小的噪声被去除，虽然对图像中的边缘信息有一定的削弱，但是相对噪声来说，边缘还是被保留了；

背景差分算法通过提取整幅图像(500*500)的灰度值中值作为背景的灰度值，再计算图像中每个像素点灰度值与背景的差值绝对值：

I_sub＝|I_fg-bg|，式中bg为整幅图像的中值，已知相比于背景点与背景灰度值的差异，异物点具有更大的差一点，因此将差值的绝对值Isub看做像素点属于异物点的可能性，该值越大对应的像素点越有可能是异物点。

230通过预设的违禁品检测模型得到待检测物品安检图像的检测结果，预设的违禁品检测模型训练过程如下，如图2所示：

231收集包含违禁品的安检图像，获取图像集及对应目标标签，构建训练数据集，具体包括：

i.搜集包含违禁品(例如***、打火机等)的安检图像作为样本集。

ii.采用标注工具对样本集进行人工标注，人工标注的内容包括违禁品位置及其类别；

iii.对样本集进行增量处理，增量处理的方法包括对安检图像进行旋转、平移、翻转、对比度变化以及加高斯噪声中的任意一种或者任意几种的结合，对安检图像进行增量处理的同时对对应的目标标签也执行相应的操作，使增量后的样本数据量增加，共同组成训练数据集。

232构建违禁品检测模型，包含特征提取模块、RPN区域网络、目标检测网络、损失计算模块，并使用步骤231中所述训练数据集进行训练。

本发明基于Cascade R-CNN算法的目标检测模型构建违禁品检测模型，可采用ResNet50网络作为基础深度学习网络，ResNet50网络主要是由21个残差块组成，每个残差块都是由1*1卷积核连接3*3卷积核在连接1*1卷积核组成，这样设计可以让网络提取更深层的语义信息。

RPN主要是用来判断每个像素点对应的k个anchor是不是包含目标，如果包含（那么先根据预测违禁品坐标组偏置修正box位置）再输给后面的Fast RCNN层做进一步判断，首先根据特征层的每个像素点生成k个anchor(k=9)，该9个anchor所对应的矩形区域共有3种形状、3种尺度，其中长宽比大约为1:1, 1:2, 2:1，尺度大小为8、16、32。在RPN训练阶段，通过图像及对应预设目标标签对所述预设的违禁品检测模型进行预训练，将上述训练数据集样本输入到初始网络模型执行多层正向运算得到该训练样本的预测违禁品坐标组，根据预设的anchor比例确定该预测违禁品坐标组在该训练样本中对应的多个预测违禁品框区域，获取该多个预测违禁品框区域与实际违禁品框区域的重叠度IOU(Intersection overUnion)大于预设阈值的样本为正样本，小于该预设阈值的样本为负样本。其中，该正样本预设阈值具体可以为0.5、该负样本预设阈值具体可以为0.3。

进一步的，本实施例对RPN区域提案网络进行了调整，增加对所得负样本二次选择，包括：将负样本按置信度分数从高到低均分为j类，其中j为大于等于2的整数，优选地，4≤j≤6。以j取5，IOU为0.5时为例，即

第一类：置信度分数 >= 0.5

第二类：0.4<= 置信度分数 < 0.5

第三类：0.3<= 置信度分数 < 0.4

第四类：0.2<= 置信度分数 < 0.3

第五类：置信度分数 < 0.2

再对每各类的负样本进行非极大值抑制(NMS)操作；最后，分别对划分好的N类负样本进行采样，得到二次选择后的负样本用于模型训练，采样依据如下：

其中：i={1,…j}，j为大于等于2的整数，

表示对第i类负样本选取个数，N表示负样本选取总数，

表示第i类负样本总数。

通过上述方法筛选正负样本后训练RPN区域提案网络，并输出一系列包含objectproposals的矩形框，之后通过pool(ROI池化层)将这些大小不一的候选区域送到感兴趣区域池化层统一尺寸，然后将判断正负样本的IOU阈值设置0.5情况下将送入head1(全连接层网络)再分别进入cls1(分类层)与reg1(回归层)进行分类与回归训练，接着提高IOU的阈值为0.6情况下将reg1更新后的proposal送到下个pool继续通过head2网络分别进入cls2(分类层)与reg2(回归层)进行分类与回归训练，接着提高IOU的阈值为0.7情况下将reg2更新后的proposal送到下个pool继续通过head3网络分别进入cls3(分类层)与reg3(回归层)进行分类与回归训练。

233得到训练好的预设违禁品检测模型，如图3所示。

具体的，在实际应用场景中，例如快递中转场对快递包裹的安检中，在安检机采集到安检图像并对图像预处理后，图像输入上述预设违禁品检测网络，如图3所示，首先使用一个主干网络(比如CNN)对目标图像提取特征，得到图像特征，即为特征图(featuremaps)。然后把目标图像的图像特征输入至物体检测模型中的区域提案网络RPN，当检测到至少一个业务候选区域时，即如图3所示的物体候选框，针对每一个业务候选区域，从目标图像中把相应的业务候选区域所对应的图像特征提取出来，输入到Cascade R-CNN网络结构模型的第二阶段进行违禁品检测。第二阶段由三个Fast R-CNN模型组成，每个Fast R-CNN模型由一个ROI池化层、一个全连接层和两个并联的全连接层组成将这些大小不一的候选区域送到感兴趣区域池化层统一尺寸，然后将其送入分类层与回归层进行分类与回归，再将更新后的结果送到下个stage(即下一个Fast R-CNN模型)进行修正。经三次修正后分类器可以获知业务候选区域是一个什么样的区域，比如违禁品种类。同时，回归器可以获知违禁品及违禁品所在位置、尺寸的信息。

240 输出230检测结果中所得安检图像中是否包含违禁品以及违禁品种类、位置、尺寸的信息。

如表1所示，通过本发明方法得到的违禁品检测模型泛化性有了显著提升。

表1

下面对本申请中的违禁品检测***进行详细描述，一种违禁品检测***，包括：

获取模块，用于获取安检机扫描物品得到的安检图像。

特征提取模块，用于将经预处理的图像输入到预设的违禁品检测模型中的卷积神经网络CNN，提取所述预处理后图像的图像特征。

违禁品检测模块，通过预设的违禁品检测模型中的区域提案网络RPN获取目标图像的业务候选区域，再根据特征提取模块所得的图像特征以及业务候选区域把所述业务候选区域所对应的图像特征提取出来，送至预设的违禁品检测模型中的分类器和回归器进行处理，得到待检测物品图像的违禁品检测结果。

结果输出模块，用于输出最终检测及识别结果。

上述为本实施例的一种违禁品检测***的示意性方案。需要说明的是，该检测***的技术方案与上述的检测方法的技术方案属于同一构思，特别是特征提取模块和违禁品检测模块所涉及的预设的违禁品检测模型是通过违禁品检测方法中涉及的违禁品检测模型训练方法训练得来，检测***的技术方案未详细描述的细节内容，均可以参见上述检测方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述检测方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的检测方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述检测方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或***、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims

1.一种违禁品检测模型的训练方法：包括

2）构建违禁品检测模型，包含特征提取模块、RPN区域网络、目标检测网络、损失计算模块；其中，所述RPN区域网络还包括将负样本按置信度分数从高到低均分为j类，其中j为大于等于2的整数；再对每各类的负样本进行非极大值抑制(NMS)操作；最后，分别对划分好的N类负样本进行采样，采样依据如下：

，

其中：i={1,…j}，j为≥2的整数，

表示对第i类负样本选取个数，N表示负样本选取总数，

表示第i类负样本总数；

2.根据权利要求1所述违禁品检测模型的训练方法，其特征在于，所述安检图像还经预处理，处理方式包括但不限于图像归一化、去噪、背景差分、去伪影中的一种或多种。

3.根据权利要求1所述违禁品检测模型的训练方法，其特征在于，所述违禁品检测模型为二阶段目标检测算法。

4.根据权利要求3所述违禁品检测模型的训练方法，其特征在于，所述二阶段目标检测算法为Cascade R-CNN算法。

5.根据权利1-4任一所述违禁品检测模型的训练方法，其特征在于，在步骤2）中所述i为大于等于4小于等于6的整数。

6.一种违禁品检测方法，包括，

S1获取待检测物品的安检图像并对图像预处理；

S2通过预设的违禁品检测模型得到待检测物品安检图像的检测结果；

S3输出检测结果中包含违禁品的安检图像中违禁品种类、位置、尺寸信息中一种或多种的组合；其特征在于，所述预设的违禁品检测模型通过权利要求1-5任一所述检测模型训练方法得到。

7.一种违禁品检测***，其特征在于，包括：

获取模块，用于获取安检机扫描物品得到的安检图像；

预处理模块，用于对安检图像进行预处理，处理方式包括但不限于图像归一化、去噪、背景差分、去伪影、边缘检测中的一种或多种；

特征提取模块，用于将经预处理的图像输入到预设的违禁品检测模型中的卷积神经网络CNN，提取所述预处理后图像的图像特征；

违禁品检测模块，通过预设的违禁品检测模型中的区域提案网络RPN获取目标图像的业务候选区域，再根据特征提取模块所得的图像特征以及业务候选区域把所述业务候选区域所对应的图像特征提取出来，送至预设的违禁品检测模型中的分类器和回归器进行处理，得到待检测物品图像的违禁品检测结果；

结果输出模块，用于输出最终检测及识别结果。

8.根据权利要求7所述违禁品检测***，其特征在于，所述***用于实现权利要求6所述方法。

9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求6所述方法的步骤。

10.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求6所述方法的步骤。