CN111223099A - 违禁品检测方法、一种计算设备及存储介质 - Google Patents

Abstract

本发明涉及一种违禁品的检测方法、一种计算设备及存储介质，检测方法通过判断同一预测类别的检测结果中是否存在与预测得分最高检测框的IOU大于过滤阈值的检测框，来确定检测结果。当存在IOU大于背景阈值时，检测结果为预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框的集成结果，当不存在IOU大于过滤阈值时，保留预测得分最高的检测框的检测结果。本发明所涉及的集成方法简单有效，不需要针对不同检测模型设定不同判断参数，在各个模型中具有通用性，应用灵活，消耗计算资源少，模型运算速度快。有效地克服了现有技术在复杂场景下违禁品检测率低、误检率高等缺点，增强了检测模型的鲁棒性，提升该模型在复杂场景下的违禁品检测性能。

Description

违禁品检测方法、一种计算设备及存储介质

技术领域

本发明属于安检技术领域，具体涉及一种违禁品检测方法、一种计算设备及存储介质。

背景技术

X光图片违禁品检测是公共安全领域的一个关键问题，它的主要目的是在伪彩色处理后的X光图片中准确检测其是否包含违禁品，如刀和枪，并能在复杂的遮挡干扰情况下定位违禁品，为人工开箱查验提供线索。目前，X光图片中的违禁品检测以人工查验为主，相关工作人员需要时刻监视画面，并在较短的时间内给出人工判定结果，这不仅费时费力，完全满足不了快递物流安检中高速、大量的需求，而且人工查验若遗漏违禁品，则可能会引发严重后果。因此，自动化违禁品检测技术以其成本低、效率高、稳定性强等优点受到了人们的广泛关注。

目标检测(Object Detection)是计算机视觉领域的基本任务之一，近些年随着深度学习的崛起，越来越多的目标检测算法采用深度学习方法来完成，并提出了大量基于深度学习的算法与技术，在众多公开数据集上不断的刷新违禁品检测任务的检测精度。尽管如此，对于场景较为复杂的数据集或贴近生活场景的视频数据，由于光照变化、背景复杂、视角差异等因素的影响，大部分算法在此类场景下检测效果无法令人满意，距离大规模商业应用还有一定距离，故当前违禁品安全检测技术的研究依然具有挑战性。

发明内容

本发明的目的在于克服现有技术的不足，提出一种违禁品检测方法、一种计算设备及存储介质。该方法有效地克服了现有技术在复杂场景下违禁品检测率低、误检率高等缺点，增强了检测模型的鲁棒性，提升该模型在复杂场景下的违禁品检测性能。

为实现上述发明目的，根据本发明的第一个方面，提出的一种违禁品检测方法，包括以下步骤：

S1利用预设的N个不同的违禁品检测模型分别对待测安检图像进行检测，获得N个检测结果；所述检测结果包括图像上违禁品的检测框和每个检测框对应的预测类别、预测得分；其中，N为≥2的整数；

S2将同一预测类别中的检测结果进行筛选，若存在IOU＞δ，保留预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框，进行上述检测框的集成后保留集成结果；若不存在IOU＞δ，保留预测得分最高的检测框的检测结果；其中，δ为设定的过滤阈值，IOU为在每个预测类别内预测得分最高的检测框与剩余检测框的重合度；

所述集成方法为：设预测得分最高的检测框为Box_x，Box_x 坐标为[X1_x, Y1_x, X2_x,Y2_x]，预测分数为C_x；剩余检测框中与最大IOU对应的检测框为Box_y，Box_y的坐标为[X1_y,Y1_y, X2_y, Y2_y]，预测得分为C_y；集成后的检测框坐标为：

，

，

，

，

集成后的分数为C：

；

S3输出检测结果。

根据本发明的又一方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现如上所述检测方法的步骤。

根据本发明的再一方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述检测方法的步骤。

本发明的有益技术效果在于：由于单个模型检测准确率十分有限，本发明使用多模型集成方法，学习每个模型对最终结果的贡献，提高模型灵敏度，并且与现有多模型集成的思路不同，本发明创新性地开发了一种多模型集成的方法来实现违禁品的检测，通过判断同一预测类别的检测结果中是否存在与预测得分最高检测框的IOU大于过滤阈值的检测框，来确定检测结果。当存在IOU大于过滤阈值时，检测结果为预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框的集成结果，当不存在IOU大于过滤阈值时，保留预测得分最高的检测框的检测结果。本发明所涉及的集成方法简单有效，不需要针对不同检测模型设定不同判断参数，在各个模型中具有通用性，应用灵活，消耗计算资源少，模型运算速度快。有效地克服了现有技术在复杂场景下违禁品检测率低、误检率高等缺点，增强了检测模型的鲁棒性，提升该模型在复杂场景下的违禁品检测性能。进一步的，本发明的集成检测方法还使我们能够将不同的模型体系结构进行比较，以不断改进我们的产品。

附图说明

图1是本说明书实施例提供的一种计算设备的结构框图；

图2是本说明书实施例提供的一种复杂场景下的违禁品检测方法流程图；

图3是本说明书实施例提供的一种违禁品检测方法流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本发明一个或多个实施例涉及的名词术语进行解释。

违禁品：法律规定的不准私自制造、购买、使用、持有、储存、运输进出口的物品，例如武器、弹药、***物品(如***、***、导火索等)等。

安检图像：利用安检设备获取的图像，本发明所涉及安检设备或安检机并不仅限于X光安检设备，也不限定安检设备的具体种类或型号，可通过扫描实现的安检设备和/或安检机均是本发明所要保护的范围，例如太赫兹成像设备等。

在本申请中，提供了一种违禁品检测方法、一种计算设备及存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。

计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本说明书的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。

其中，处理器120可以执行图2所示方法中的步骤。图2示出了根据本说明书一实施例的一种复杂场景下的违禁品检测方法流程图，包括的步骤如下。

S1：获取物品的安检图像并对图像预处理组成数据集。

其中，上述物品包括但不限于包裹、行李、箱包、日常物品、违禁品，具体根据实际应用场景需要确定，作为举例，场景可以为机场、火车站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测、快递中转场等。不同的场景对应的主要物品不同，例如机场火车站这种交通运输场景多以行李、包、袋为主要安检物品，物流行业、快递中转场中快递包裹、快递箱、集装箱为主要安检物品。优选的，安检图像越多越好。将数据进行预处理的方式包括将数据预处理为可被神经网络读取的格式和归一化，去噪，背景差分，去伪影以及数据增强，通过几何变换操作和/或像素变换操作等手段，使训练模型具有更好鲁棒性。

以预设尺寸对图像进行归一化操作，此实施例中以500*500为例。

利用高斯平滑算法对图像进行去噪，高斯平滑后的图像每一个点的值，都由其自身和领域内的其他像素值经过加权平均后得到；具体的操作是使用一个模板扫描图像中的每一个像素，用模板确定的领域内像素的加权平均灰度值代替模板中心像素点的值。

高斯平滑后，图像上细小的噪声被去除，虽然对图像中的边缘信息有一定的削弱，但是相对噪声来说，边缘还是被保留了。

背景差分算法通过提取整幅图像(500*500)的灰度值中值作为背景的灰度值，再计算图像中每个像素点灰度值与背景的差值绝对值：I_sub＝|I_fg-bg|，式中bg为整幅图像的中值，I_fg为图像中每个像素点灰度值，已知相比于背景点与背景灰度值的差异，异物点具有更大的差一点，因此将差值的绝对值Isub看做像素点属于异物点的可能性，该值越大对应的像素点越有可能是异物点。

S2：利用预设的N个不同的违禁品检测模型分别对S1中所述数据集中图像进行检测，检测图像中的违禁品，并在所述违禁品上标记检测框，N为≥2的整数。

具体的，违禁品检测模型为卷积神经网络模型，优选自Cascade-RCNN、Faster-RCNN、grid RCNN、efficientDet、Libra RCNN等二阶段检测模型。

作为其中一个实施例的举例，如图1所示，以预设的违禁品检测模型个数N＝5时为例来介绍该发明方法，预设的违禁品检测模型分别为违禁品检测模型N1、N2、N3、N4、N5，模型互不相同，都经预训练得到。

优选的，预设的不同的违禁品检测模型训练过程相同，方法如下：

S21：收集包含违禁品的安检图像，获取图像集及对应目标标签，构建训练数据集，具体包括：

i.搜集包含违禁品(例如***、打火机等)的安检图像作为样本集；

ii.采用标注工具对样本集进行人工标注，人工标注的内容包括违禁品位置及其类别；

iii.对样本集进行数据增强处理，数据增强处理的方法包括对安检图像进行旋转、平移、翻转、对比度变化以及加高斯噪声中的任意一种或者任意几种的结合，对安检图像进行数据增强处理的同时对安检图像中的目标标签也执行同步的数据增强的操作，目标标签的增强使数据增强后的样本数据量增加，共同组成训练数据集；

S22：分别用S21中所述训练数据集训练违禁品检测模型N1-N5，使每个模型得到最优结果，得到所述预设的5个不同的违禁品检测模型。

S3将同一张图像经S2中所述预设的N个不同的违禁品检测模型检测后所得检测框按预测类别划分成不同集合。

具体的，同一张图像经不同的违禁品检测模型检测后会得到N个检测结果，其中，检测结果包括针对违禁品的检测框和每个检测框对应的预测类别、预测得分。作为举例，预测类别为***的检测结果记作集合G1，预测类别为打火机的记作集合G2，电池的预测类别为G3。

优选的，在每个集合内根据各个检测框的预测得分做降序排列，得到其对应的降序列表。

S4设定过滤阈值为δ，0＜δ＜1，在每个集合内分别计算预测得分最高的检测框与上述降序列表中的剩余检测框的IoU。

若存在IOU＞δ，保留预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框，进行上述检测框的集成；集成方法如下：预测得分最高的检测框记为Box_x，获取Box_x的坐标[X1_x,Y1_x,X2_x,Y2_x]和预测分数C_x；剩余检测框中与最大IOU对应的检测框记为Box_y，Box_y的坐标为[X1_y,Y1_y,X2_y,Y2_y]，预测得分为C_y；集成后的检测框坐标为：

，

，

，

，

集成后的分数为C：

。

若不存在IOU＞δ，保留预测得分最高的检测框Box_x和其坐标[X1_x,Y1_x,X2_x,Y2_x]以及其预测得分C_x。

其中，用IOU值来评估两个检测框的重合度，即两检测框的交集和并集的比值，δ用于对检测结果进行筛选过滤，为经验值，通常设定δ＝0.5。

S5多次迭代S3、S4直至S2中所有所得图像都完成筛选和集成。

S6输出检测结果。

由于单个模型检测准确率十分有限，本发明实施例使用多模型集成方法，学习每个模型对最终结果的贡献，提高模型灵敏度，并且与现有多模型集成的思路不同，本发明创新性地开发了一种多模型集成的方法，通过判断同一预测类别的检测结果中是否存在与预测得分最高检测框的IOU大于过滤阈值的检测框，来确定检测结果。当存在IOU大于过滤阈值时，检测结果为预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框的集成结果，当不存在IOU大于过滤阈值时，保留预测得分最高的检测框的检测结果。本发明所涉及的集成方法简单有效，相比于现有技术，例如申请号为201910926982.X等发明专利，在不降低检测效果的前提下，不需要针对不同检测模型设定不同判断参数，在各个模型中具有通用性，应用灵活，消耗计算资源少，模型运算速度快的优点。有效地克服了现有技术在复杂场景下违禁品检测率低、误检率高等缺点，增强了检测模型的鲁棒性，提升该模型在复杂场景下的违禁品检测性能。进一步的，本发明的集成检测方法还使我们能够将不同组合的模型体系结构进行比较，以不断改进我们的产品。

图3示出了根据本说明书另一实施例的一种违禁品检测方法，用于不需要考虑违禁品检测场景时的安检图像检测，例如，某区级快递中转场内，快递包裹大小不一，种类繁多，而且每日所检测的快递包裹图像大小、种类无法找到规律的情况；或者未对检测场景进行统计时的情况。其方法包括：

S1利用预设的N个不同的违禁品检测模型分别对待测安检图像进行检测，获得N个检测结果；所述检测结果包括图像上违禁品的检测框和每个检测框对应的预测类别、预测得分；其中，N为≥2的整数；

S2将同一预测类别中的检测结果进行筛选，若存在IOU＞δ，保留预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框，进行上述检测框的集成后保留集成结果；若不存在IOU＞δ，保留预测得分最高的检测框的检测结果；其中，δ为设定的过滤阈值，为经验值，通常设为0.5，IOU为在每个预测类别内预测得分最高的检测框与剩余检测框的重合度；其中，集成方法为：设预测得分最高的检测框为Box_x，Box_x 坐标为[X1_x,Y1_x,X2_x,Y2_x]，预测分数为C_x；剩余检测框中与最大IOU对应的检测框为Box_y，Box_y的坐标为[X1_y,Y1_y,X2_y,Y2_y]，预测得分为C_y；集成后的检测框坐标为：

，

，

，

，

集成后的分数为C：

；

S3输出检测结果。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述检测方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的检测方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述检测方法的技术方案的描述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或***、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (7)

1.一种违禁品检测方法，其特征在于，包括以下步骤：

S1利用预设的N个不同的违禁品检测模型分别对待测安检图像进行检测，获得N个检测结果；所述检测结果包括图像上违禁品的检测框和每个检测框对应的预测类别、预测得分；其中，N为≥2的整数；

S2将同一预测类别中的检测结果进行筛选，若存在IOU＞δ，保留预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框，进行上述检测框的集成后保留集成结果；若不存在IOU＞δ，保留预测得分最高的检测框的检测结果；其中，δ为设定的过滤阈值，IOU为在每个预测类别内预测得分最高的检测框与剩余检测框的重合度；

其中，集成方法为：设预测得分最高的检测框为Box_x，Box_x 坐标为[X1_x,Y1_x,X2_x,Y2_x]，预测分数为C_x；剩余检测框中与最大IOU对应的检测框为Box_y，Box_y的坐标为[X1_y,Y1_y,X2_y,Y2_y]，预测得分为C_y；集成后的检测框坐标为：

，

，

，

，

集成后的分数为C：

；

S3输出检测结果。

2.一种复杂场景下的违禁品检测方法，其特征在于，包括以下步骤：

S1：获取物品的安检图像并对图像预处理组成数据集；

S2：利用预设的N个不同的违禁品检测模型分别对S1中所述数据集中图像进行检测，检测图像中的违禁品，并在所述违禁品上标记检测框，N为≥2的整数；

S3将同一张图像经S2中所述预设的N个不同的违禁品检测模型检测后所得检测框按预测类别划分成不同集合；

具体的，同一张图像经不同的违禁品检测模型检测后会得到N个检测结果，其中，检测结果包括针对违禁品的检测框和每个检测框对应的预测类别、预测得分；

S4设定过滤阈值为δ，0＜δ＜1，在每个集合内分别计算预测得分最高的检测框与剩余检测框的IOU；

若存在IOU＞δ，保留预测得分最高的检测框和剩余检测框中与最大IOU对应的检测框，进行上述检测框的集成；集成方法如下：预测得分最高的检测框记为Box_x，获取Box_x 的坐标[X1_x,Y1_x,X2_x,Y2_x]和预测分数C_x；剩余检测框中与最大IOU对应的检测框记为Box_y，Box_y的坐标为[X1_y,Y1_y,X2_y,Y2_y]，预测得分为C_y；集成后的检测框坐标为：

，

，

，

，

集成后的分数为C：

；

若不存在IOU＞δ，保留预测得分最高的检测框Box_x和其坐标[X1_x,Y1_x,X2_x,Y2_x]以及其预测得分C_x；

S5多次迭代S3、S4直至S2中所有所得图像都完成筛选和集成；

S6输出检测结果。

3.根据权利要求2的一种复杂场景下的违禁品检测方法，其特征在于，预设的不同的违禁品检测模型训练过程相同，方法如下：

S21：收集包含违禁品的安检图像，获取图像集及对应目标标签，构建训练数据集，具体包括：

i.搜集包含违禁品(例如***、打火机等)的安检图像作为样本集；

ii.采用标注工具对样本集进行人工标注，人工标注的内容包括违禁品位置及其类别；

iii.对样本集进行数据增强处理，数据增强处理的方法包括对安检图像进行旋转、平移、翻转、对比度变化以及加高斯噪声中的任意一种或者任意几种的结合，对安检图像进行数据增强处理的同时对安检图像中的目标标签也执行同步的数据增强的操作，使数据增强后的样本数据量增加，共同组成训练数据集；

S22：分别用S21中所述训练数据集训练违禁品检测模型，使每个模型得到最优结果，得到所述预设的N个不同的违禁品检测模型。

4.根据权利要求2的一种复杂场景下的违禁品检测方法，其特征在于，在每个集合内根据各个检测框的预测得分做降序排列，得到其对应的降序列表。

5.根据权利要求2的一种复杂场景下的违禁品检测方法，其特征在于，用IOU值来评估两个检测框的重合度，即两检测框的交集和并集的比值，δ为经验值，通常设定δ＝0.5。

6.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-5任意一项所述违禁品检测方法的步骤。

7.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-5任意一项所述违禁品检测方法的步骤。

Images