CN111899220A - 一种违禁物品检测方法 - Google Patents

一种违禁物品检测方法 Download PDF

Info

Publication number
CN111899220A
CN111899220A CN202010606074.5A CN202010606074A CN111899220A CN 111899220 A CN111899220 A CN 111899220A CN 202010606074 A CN202010606074 A CN 202010606074A CN 111899220 A CN111899220 A CN 111899220A
Authority
CN
China
Prior art keywords
image
contraband
attention
feature map
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010606074.5A
Other languages
English (en)
Inventor
刘祥龙
陶仁帅
尉言路
吴章杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010606074.5A priority Critical patent/CN111899220A/zh
Publication of CN111899220A publication Critical patent/CN111899220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种违禁物品检测方法，包括如下步骤：获取待检测数据，待检测数据为安检设备采集的行李图像；将待检测数据输入到预先训练好的去遮挡注意力模块中；将去遮挡注意力模块的输出结果作为行李图像的注意力聚焦后的特征图。该方法通过建立高质量的包含遮挡的违禁物品的图像数据集，进行训练和验证预先设计的去遮挡注意力模块。该训练好的去遮挡注意力模块可以提取出行李图像中违禁物品的边缘信息和材质信息，并根据边缘信息和材质信息，得到行李图像的注意力聚焦后的特征图，从而为检测器提供一个更加强调违禁物品的边缘和材质信息的特征图，以便于对行李图像中违禁物品的预测，并有效地解决了行李图像中违禁物品被遮挡的问题。

Description

一种违禁物品检测方法
技术领域
本发明涉及一种违禁物品检测方法，属于图像检测技术领域。
背景技术
当前，安全检查在保护公共空间免受***等安全威胁方面的作用越来越重要。在安全检查场景中，通常采用X射线扫描仪来检查行李中是否含有违禁物品。然而，在行李箱中的物品是随机摆放的，时常会发生物品重叠，给安检员带来了巨大的挑战。同时，经过长时间聚精会神地观看复杂的X光图像，会导致安检员出现视觉疲劳，工作效率下降。而频繁人员换班会耗费大量人力资源，也是不可取的。
现有一些研究试图解决安全检查场景中违禁物品被“遮挡”的问题，并进行了大量的工作。遗憾的是，由于安全检查的特殊性，很少有X射线图像的数据集被公开发表出来。目前，公开发表的X射线图像的数据集主要有GDXray数据集和SIXray数据集。其中，GDXray数据集中的图片涉及三类违禁物品：枪、飞镖和刀片。并且，GDXray数据集中的图像都是灰度图像，背景简单，很少有杂乱物体干扰和重叠。因此，图像检测设备很容易识别或检测图像中的项目，但是这和现实生活场景相去甚远。SIXray数据集虽然是一个大型X射线图像的数据集，但是其含有违禁物品的样本不到1％。并且，SIXray数据集只能用于基于X射线图像的物体分类任务，很难实现帮助安检员准确检测X射线图像中的违禁物品。
在申请号为201911286153.6的中国专利申请中，公开了一种遮挡图像检测方法，包括如下步骤：采将待检测图像输入经训练的卷积神经网络模型；获取所述经训练的卷积神经网络模型的输出；判断所述经训练的卷积神经网络模型的输出是否在第一取值范围之内；若所述经训练的卷积神经网络模型的输出在第一取值范围之内，则判断所述待检测图像为遮挡图像；若所述经训练的卷积神经网络模型的输出在第一取值范围之外，则判断所述待检测图像为非遮挡图像。该方法在检测遮挡图像时具有较强的泛化能力及场景适应性。
发明内容
本发明所要解决的技术问题在于提供一种违禁物品检测方法。
为了实现上述目的，本发明采用下述的技术方案：
一种违禁物品检测方法，包括如下步骤：
获取待检测数据，所述待检测数据为安检设备采集的行李图像；
将所述待检测数据输入到预先训练好的去遮挡注意力模块中；
将所述去遮挡注意力模块的输出结果作为所述行李图像的注意力聚焦后的特征图。
其中较优地，所述预先训练好的去遮挡注意力模块经过如下子步骤得到：
建立包含遮挡的违禁物品的图像数据集，并划分为训练数据集和测试数据集；
将所述训练数据集输入到预先设计的去遮挡注意力模块中，得到训练后的去遮挡注意力模块；
采用测试数据集验证训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度。
其中较优地，建立所述包含遮挡的违禁物品的图像数据集的过程为：
获取违禁物品的外形图；
将所述违禁物品的外形图分别嵌入到预设数量的行李图像中，得到包含遮挡的违禁物品的插图数据集；
对所述包含遮挡的违禁物品的插图数据集中的每一张插图进行标注，得到所述包含遮挡的违禁物品的图像数据集。
其中较优地，所述去遮挡注意力模块，包括边缘信息提取子模块、区域信息聚合子模块和混合注意力图生成子模块，所述边缘信息提取子模块连接所述区域信息聚合子模块，所述边缘信息提取子模块和所述区域信息聚合子模块分别连接所述混合注意力图生成子模块；
所述边缘信息提取子模块，用于获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图，所述第一特征图强调违禁物品的边缘信息；
所述区域信息聚合子模块，用于获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图，所述第二特征图强调违禁物品的材质信息；
所述混合注意力图生成子模块，用于根据每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图，获取注意力聚焦后的特征图。
其中较优地，所述边缘信息提取子模块获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图的过程为：
获取所述训练数据集中每一张包含遮挡的违禁物品的图像的初始边缘图像；
根据所述初始边缘图像，得到每一张包含遮挡的违禁物品的图像的最终边缘图像；
将每一张包含遮挡的违禁物品的图像的最终边缘图像输入到第一卷积神经网络中，得到最终边缘图像的第一特征图。
其中较优地，所述边缘信息提取子模块对所接收的每一张含遮挡的违禁物品的图像分别进行索贝尔算子卷积操作，以获取所述训练数据集中每一张包含遮挡的违禁物品的图像的初始边缘图像。
其中较优地，将每一张包含遮挡的违禁物品的图像的最终边缘图像和对应的包含遮挡的违禁物品的图像在通道维度进行拼接，得到每一张包含遮挡的违禁物品的图像的边缘加强图像。
其中较优地，所述区域信息聚合子模块获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图的过程为：
将每一张包含遮挡的违禁物品的图像的边缘加强图像输入到第二卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的初始特征图；
对每一张包含遮挡的违禁物品的图像的初始特征图进行区域信息聚合操作，得到不同聚合区域尺度下的区域特征图集；
将区域特征图集中的每个聚合区域特征图放大至与对应的初始特征图等比例后，进行拼接，得到新的区域特征图；
将新的区域特征图分别输入到门卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的第二特征图。
其中较优地，获取每一张包含遮挡的违禁物品的图像的注意力聚焦后的特征图的过程为：
将每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图在通道维度进行拼接后，分别输入到第三卷积神经网络中，得到用于计算注意力分数的特征图；
根据用于计算注意力分数的特征图，生成注意力分数图；
将注意力分数图与对应的包含遮挡的违禁物品的图像的边缘加强图像计算内积，得到经过注意力聚焦后的特征图。
其中较优地，所述注意力分数图根据如下公式得到：
Figure BDA0002561097070000041
其中，Fmix为某一张包含遮挡的违禁物品的图像、用于计算注意力分数的特征图；所述注意力分数图S与输入到去遮挡注意力模块中的包含遮挡的违禁物品的图像的维度大小一致。
本发明所提供的违禁物品检测方法通过建立高质量的包含遮挡的违禁物品的图像数据集，训练和验证预先设计的去遮挡注意力模块。该去遮挡注意力模块可以提取出行李图像中违禁物品的边缘信息和材质信息，并根据边缘信息和材质信息，得到行李图像的注意力聚焦后的特征图，从而为检测器提供一个更加强调违禁物品的边缘和材质信息的特征图，以便于对行李图像中违禁物品的预测，并有效地解决了行李图像中违禁物品被遮挡的问题。
附图说明
图1为本发明所提供的违禁物品检测方法的工作流程图；
图2为预先训练好的去遮挡注意力模块的训练流程图；
图3为包含遮挡的裁纸刀的图像示意图；
图4为去遮挡注意力模块的结构及工作过程示意图；
图5为某一张包含遮挡的违禁物品的图像的第二特征图的实现过程。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容做进一步的详细说明。
为了解决安全检查场景中违禁物品被“遮挡”的问题，帮助安检员准确检测行李图像中的违禁物品。如图1所示，本发明提供了一种违禁物品检测方法，包括如下步骤：
步骤S1：获取待检测数据，该待检测数据为安检设备采集的行李图像；
在需要安全检查的场所，采用安检设备对行李进行扫描，以采集行李的X射线图像(简称行李图像)。其中，本发明中，行李为行李、包裹、袋子、箱子、背包、手提包等的统称。
步骤S2：将待检测数据输入到预先训练好的去遮挡注意力模块中；
如图2所示，该步骤中，预先训练好的去遮挡注意力模块经过如下子步骤得到：
步骤S21：建立包含遮挡的违禁物品的图像数据集，并划分为训练数据集和测试数据集。
由于考虑到刀具是乘客携带的最常见工具，因此以不同种类的刀具作为违禁物品为例，对建立包含遮挡的违禁物品的图像数据集的过程进行详细说明。其中，生活中常见的刀具分为5类，分别是折叠刀、直刀、剪刀、美工刀、多功能刀。
建立包含遮挡的违禁物品的图像数据集的过程为：
步骤S210：获取违禁物品的外形图。
分别将5类刀具通过安检设备进行扫描，获得5类刀具的相关图像后，从图像中沿着每一类刀具的外形轮廓，将每一类刀具从图像中抠出，得到每一类刀具的外形图。
步骤S211：将违禁物品的外形图分别嵌入到预设数量的行李图像中，得到包含遮挡的违禁物品的插图数据集。
采用安检设备实时扫描仅装有安全物品的行李，得到预设数量的行李图像，作为背景图，将所抠出的每一类刀具的外形图分别嵌入到各背景图中，得到包含遮挡的违禁物品的插图数据集；该插图数据集中的图像保留包含遮挡的违禁物品的插图特定的特性，即不同的材质显示出不同的颜色。其中，行李图像的预设数量根据需要训练的去遮挡注意力模块的精度而定。在本发明的一个实施例中，以采用安检设备实时采集8885张行李图像为例，建立包含遮挡的违禁物品的图像数据集。即，本步骤中，所得到的包含遮挡的违禁物品的插图数据集包含8885张插图；其中，大部分插图中的每一张插图包含一个违禁物品，少数插图(如30张插图)中的每一张插图包含两个违禁物品。
步骤S212：对包含遮挡的违禁物品的插图数据集中的每一张插图进行标注，得到包含遮挡的违禁物品的图像数据集。
将步骤S211中得到的由8885张插图组成的包含遮挡的违禁物品的插图数据集移交给国际机场的专业检查人员手工标注出每张插图中的违禁物品，每张包含遮挡的违禁物品的插图中的每个违禁物品都由坐标(xmin,ymin,xmax,ymax)唯一确定的检测框进行定位。所有包含遮挡的违禁物品的插图的分辨率为1225×954，并均以JPG格式进行存储，从而得到包含遮挡的违禁物品的图像数据集。
将得到的包含遮挡的违禁物品的图像数据集按照4:1的比例划分为训练数据集和测试数据集。即将含遮挡的违禁物品的图像数据集中80％的图像组成训练数据集，含遮挡的违禁物品的图像数据集中20％的图像组成测试数据集，并且训练数据集和测试数据集不重叠。其中，为了研究违禁物品的遮挡等级带来的影响，并最大限度地评估预先训练好的去遮挡注意力模块处理遮挡问题的能力，可以将测试数据集分为三个测试子集，分别命名为遮挡级别OL1、遮挡级别OL2和遮挡级别OL3。OL1、OL2和OL3表示图像中违禁物品的遮挡级别。具体的说，遮挡级别OL1表示违禁物品无遮挡或轻度遮挡，遮挡级别OL2表示部分遮挡。遮挡级别OL3表示严重遮挡或完全遮挡。每个测试子集中的图像按照图像中违禁物品的遮挡等级从测试数据集中选取。
为了便于理解包含遮挡的违禁物品的图像数据集的建立过程，以违禁物品为裁纸刀为例，建立一张包含遮挡的裁纸刀的图像(如图3所示)的过程为：将裁纸刀通过安检设备进行扫描，获得裁纸刀图像后，从图像中抠出裁纸刀的外形图。将安检设备实时扫描的仅装有安全物品的行李所得到的某一张行李图像(如图3所示的行李图像2)，作为背景图，将所抠出的裁纸刀的外形图嵌入到背景图中，得到包含遮挡的裁纸刀的插图。将包含遮挡的裁纸刀的插图移交给国际机场的专业检查人员手工标注出图像中的裁纸刀，即得到图3所示的采用检测框进行标注后的包含遮挡的裁纸刀的图像。
其中，专业检查人员手工标注的标准为安全检查人员的培训标准；因为机场对安全检查人员进行培训时采用的图像为：以安检设备扫描的仅装有安全物品的行李得到的图像作为背景图，将违禁物品的外形图嵌入到背景图中，得到的包含遮挡的违禁物品的插图；针对该包含遮挡的违禁物品的插图指导安全检查人员标注出违禁物品。因此，本发明中，建立的包含遮挡的违禁物品的图像数据集采用人工标注的方式，可以使得包含遮挡的违禁物品的图像数据集非常契合在安全检查场景下的物体检测任务。此外，采用将违禁物品的外形图嵌入到安检设备实时采集的行李图像中，模拟了一个与真实安全检查场景相似的环境，包含遮挡的违禁物品的图像中的物品随机摆放，互相重叠。
步骤S22：将训练数据集输入到预先设计的去遮挡注意力模块中，得到训练后的去遮挡注意力模块。
如图4所示，预先设计的去遮挡注意力模块，包括边缘信息提取子模块10、区域信息聚合子模块20和混合注意力图生成子模块30，边缘信息提取子模块10连接区域信息聚合子模块20，边缘信息提取子模块10和区域信息聚合子模块20分别连接混合注意力图生成子模块30。
边缘信息提取子模块10，用于获取训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图，该第一特征图强调违禁物品的边缘信息。
边缘信息提取子模块10获取训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图的过程为：
步骤S220：获取训练数据集中每一张包含遮挡的违禁物品的图像的初始边缘图像。
将训练数据集中每一张包含遮挡的违禁物品的图像一张一张地输入到边缘信息提取子模块10中，边缘信息提取子模块10对所接收的每一张含遮挡的违禁物品的图像分别进行索贝尔算子卷积操作，即从输入的每一张包含遮挡的违禁物品的图像中提取出图像中所有对象的边缘信息，每一张图像中所有对象的边缘信息为所有对象水平方向和垂直方向的轮廓边界值相对于背景的边界值的变化；根据获取的每一张包含遮挡的违禁物品的图像中所有对象的边缘信息，利用索贝尔算子的水平核sh与垂直核sv，分别计算每一张包含遮挡的违禁物品的图像的水平和垂直方向的边缘图像PEh和PEv，以组成每一张包含遮挡的违禁物品的图像的初始边缘图像。
步骤S221：根据每一张包含遮挡的违禁物品的图像的初始边缘图像，得到每一张包含遮挡的违禁物品的图像的最终边缘图像。
根据每一张包含遮挡的违禁物品的图像的初始边缘图像，采用如下公式，得到每一张包含遮挡的违禁物品的图像的最终边缘图像PE，该最终边缘图像PE呈现为黑白色。
Figure BDA0002561097070000081
其中，PEh为每一张包含遮挡的违禁物品的图像的水平方向的边缘图像，PEv为每一张包含遮挡的违禁物品的图像的垂直方向的边缘图像。
为了加强每一张包含遮挡的违禁物品的图像的最终边缘图像中的所有对象的边缘信息，可以将以黑白颜色呈现的每一张包含遮挡的违禁物品的图像的最终边缘图像和对应的以RGB颜色呈现的包含遮挡的违禁物品的图像在通道维度进行拼接，得到每一张包含遮挡的违禁物品的图像的边缘加强图像。
步骤S222：将每一张包含遮挡的违禁物品的图像的最终边缘图像输入到第一卷积神经网络中，得到最终边缘图像的第一特征图。
第一卷积神经网络包括N1个网络块，每个网络块由一个卷积核大小为3×3的卷积层，一个批标准化层和一个激活函数层组成。在第一卷积神经网络中每输入一张包含遮挡的违禁物品的图像的最终边缘图像，N1个网络块的参数就会更新一遍，并得到每一张包含遮挡的违禁物品的图像的最终边缘图像的第一特征图，从而更倾向于放大每一张包含遮挡的违禁物品的图像的最终边缘图像中感兴趣对象的边缘信息。在本发明中，每一张包含遮挡的违禁物品的图像的最终边缘图像中感兴趣对象的边缘信息为违禁物品的边缘信息。因此，第一特征图用于强调原始包含遮挡的违禁物品的图像中包括违禁物品被遮挡部分和可见部分在内的整体边缘信息。需要强调的是，N1个网络块的参数的更新，还可以选择在第一卷积神经网络中每输入预设数量(如24张)包含遮挡的违禁物品的图像的最终边缘图像时更新一次N1个网络块的参数。
其中，每一张包含遮挡的违禁物品的图像的最终边缘图像的第一特征图可以表示为：
Figure BDA0002561097070000091
其中，
Figure BDA0002561097070000092
表示将操作重复N1次，We，be是卷积层的参数。PE为每一张包含遮挡的违禁物品的图像的最终边缘图像，N1为正整数。
区域信息聚合子模块20，用于获取训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图，该第二特征图强调违禁物品的材质信息。
采用区域信息聚合子模块20获取训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图的过程为：
步骤S223：将每一张包含遮挡的违禁物品的图像的边缘加强图像输入到第二卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的初始特征图。
第二卷积神经网络包括N2个网络块，每个网络块由一个卷积核大小为3×3的卷积层，一个批标准化层和一个激活函数层组成。将训练数据集中每一张包含遮挡的违禁物品的图像与其最终边缘图像在通道维度进行拼接后，得到的每一张包含遮挡的违禁物品的图像的边缘加强图像。该包含遮挡的违禁物品的图像的边缘加强图像每输入一张或多张到第二卷积神经网络中，N2个网络块的参数就会更新一遍，并得到每一张包含遮挡的违禁物品的图像的初始特征图，表示为：
Figure BDA0002561097070000093
其中，
Figure BDA0002561097070000094
表示将操作重复N2次，(x||PE)为每一张包含遮挡的违禁物品的图像与其最终边缘图像在通道维度进行拼接后，得到的每一张包含遮挡的违禁物品的图像的边缘加强图像；Wr、br为卷积层的参数，N2为正整数。
步骤S224：对每一张包含遮挡的违禁物品的图像的初始特征图进行区域信息聚合操作，得到不同聚合区域尺度下的区域特征图集。
在每一张包含遮挡的违禁物品的图像的初始特征图中，为了强调违禁物品可见部分中每个点的纹理、颜色之类的材质信息，需要将所选取的某个点连同其周围的一些区域来表示该点的材质信息。因此，如图5所示，在每一张包含遮挡的违禁物品的图像的初始特征图A中，分别选取多个聚合区域(如图5示出的聚合区域k1，···，kn)进行区域信息聚合操作RIA，所选取的聚合区域尺度不同，即根据公式(3)，对每一张包含遮挡的违禁物品的图像的初始特征图A上不同聚合区域k1，…，kn的特征使用平均池化来聚合各个聚合区域的信息，并对每个聚合区域生成对应的聚合区域特征图Bkn，聚合区域特征图Bkn表示当前聚合区域尺度为kn*kn时得到的聚合区域特征图，从而进一步定义不同聚合区域尺度下的特征图集B＝{Bk1，…，Bkn}，该操作可以表示为：
Figure BDA0002561097070000101
其中，
Figure BDA0002561097070000102
表示当前从某一张含遮挡的违禁物品的图像的初始特征图A中选取聚合区域kn*kn时得到的聚合区域特征图中第i行j列的特征；
Figure BDA0002561097070000103
表示所选取的聚合区域内所有点的数值之和。例如，以
Figure BDA0002561097070000104
为例，所选取的聚合区域内所有点的数值之和为A35、A36、A37、A38、A45、A46、A47、A48、A55、A56、A57、A58、A65、A66相加之和。
步骤S225：将每一张包含遮挡的违禁物品的图像的区域特征图集中的每个聚合区域特征图放大至与对应的初始特征图等比例后，进行拼接，得到新的区域特征图。
如图5所示，对每一张包含遮挡的违禁物品的图像的初始特征图的区域特征图集中的每个聚合区域特征图放大至与对应的初始特征图等比例后，分别与该初始特征图上的对应位置在通道维度进行拼接，得到新的区域特征图。
步骤S226：将每一张包含遮挡的违禁物品的图像的新的区域特征图分别输入到门卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的第二特征图。
如图5所示，将每一张包含遮挡的违禁物品的图像的每个新的区域特征图分别输入到门卷积神经网络中，根据公式(5)，实现从每一张包含遮挡的违禁物品的图像的所有新的区域特征图中选取强调材质信息效果最好的新的区域特征图，作为该张包含遮挡的违禁物品的图像的第二特征图FR。
Figure BDA0002561097070000105
其中，G为门卷积神经网络，
Figure BDA0002561097070000111
为每一张包含遮挡的违禁物品的图像的所有新的区域特征图。
混合注意力图生成子模块30，用于根据每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图，获取注意力聚焦后的特征图。
获取每一张包含遮挡的违禁物品的图像的注意力聚焦后的特征图的过程为：
步骤S227：将每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图在通道维度进行拼接后，分别输入到第三卷积神经网络中，得到用于计算注意力分数的特征图。
第三卷积神经网络由一个卷积核大小为1×1的卷积层组成。每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图在通道维度进行拼接后，分别输入到第三卷积神经网络中，根据公式(6)，利用1×1的卷积核对通道维度进行压缩，生成用于计算注意力分数的特征图Fmix。
Fmix＝Wm(FE||FR)+bm (6)
其中，(FE||FR)为某一张包含遮挡的违禁物品的图像的第一特征图和第二特征图拼接后的特征图；Wm，bm是卷积层的参数。
步骤S228：根据用于计算注意力分数的特征图，生成注意力分数图。
将步骤S227得到的用于计算注意力分数的特征图Fmix为Sigmoid激活函数的输入，并根据公式(7)生成注意力分数图，表示在含遮挡的违禁物品的图像中，边缘信息和材质信息都应该被高度注意，在它们相对应的位置上数值应该是大的，在不对应的位置上数值是小的。
Figure BDA0002561097070000112
其中，Fmix为某一张包含遮挡的违禁物品的图像的用于计算注意力分数的特征图。S∈RH×W，RH×W为包含遮挡的违禁物品的图像数据集，注意力分数图S与输入到去遮挡注意力模块中的包含遮挡的违禁物品的图像的维度大小一致。
步骤S229：将注意力分数图与对应的包含遮挡的违禁物品的图像的边缘加强图像计算内积，得到经过注意力聚焦后的特征图。
根据公式(8)，将步骤S228得到的注意力分数图与对应的步骤S221得到的包含遮挡的违禁物品的图像的边缘加强图像计算内积，得到注意力聚焦后的特征信息也就是最终生成的注意力聚焦后的特征图，表示包含遮挡的违禁物品的图像中的边缘信息和材质信息关注度很高的特征图。
Figure BDA0002561097070000121
其中，
Figure BDA0002561097070000122
为注意力聚焦后的特征图，
Figure BDA0002561097070000123
为包含遮挡的违禁物品的图像的注意力聚焦后的特征图数据集；Sji为注意力分数图S中第i行j列的特征；xi||PEi为某一张包含遮挡的违禁物品的图像的边缘加强图像。
采用训练数据集，经过步骤S220～229，使得去遮挡注意力模块的参数经历多次更新后，得到训练后的去遮挡注意力模块。
步骤S23:采用测试数据集验证训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度。
将步骤S21得到的包含遮挡的违禁物品的图像数据集中的测试数据集，分别输入到由训练数据集训练得到的训练后的去遮挡注意力模块中，对训练后的去遮挡注意力模块输出的行李图像的注意力聚焦后的特征图进行评分，以验证训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度是否达到要求。若训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度达到要求，即可将去遮挡注意力模块运用到各种检测器中使用，如SSD、YOLOv3、FCOS等常用的检测器。其中，去遮挡注意力模块可以采用即插即用的方式***到各种检测器中使用。若训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度未达到要求，则增加训练数据集的图像数量，继续训练去遮挡注意力模块，以更新去遮挡注意力模块的参数，直到训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度达到要求。
步骤S3：将预先训练好的去遮挡注意力模块的输出结果作为行李图像的注意力聚焦后的特征图。
实际安全检查过程中，将安检设备采集的行李图像作为待检测数据分别输入到预先训练好的去遮挡注意力模块中，去遮挡注意力模块会针对所输入的行李图像，输出相应的注意力聚焦后的特征图。该注意力聚焦后的特征图作为检测器的输入来提取图像特征用于违禁物品的预测。
需要强调的是，本发明中训练去遮挡注意力模块的方法，还可以用于训练所要检测的其它物品上，可以实现针对任何物品的检测提供高质量的注意力聚焦后的特征图，不仅可以更快速、更准确的检测物品，还可以解决除违禁物品以外的其它物品因随意摆放出现遮挡难于检测的问题，在此不再一一赘述。
本发明提供的违禁物品检测方法，通过建立高质量的包含遮挡的违禁物品的图像数据集，进行训练和验证预先设计的去遮挡注意力模块。该训练好的去遮挡注意力模块可以提取出行李图像中违禁物品的边缘信息和材质信息，并根据边缘信息和材质信息，得到行李图像的注意力聚焦后的特征图，从而为检测器提供一个更加强调违禁物品的边缘和材质信息的特征图，以便于对行李图像中违禁物品的预测，并有效地解决了行李图像中违禁物品被遮挡的问题。
以上对本发明所提供的违禁物品检测方法进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将属于本发明专利权的保护范围。

Claims (10)

1.一种违禁物品检测方法，其特征在于包括如下步骤：
获取待检测数据，所述待检测数据为安检设备采集的行李图像；
将所述待检测数据输入到预先训练好的去遮挡注意力模块中；
将所述去遮挡注意力模块的输出结果作为所述行李图像的注意力聚焦后的特征图。
2.如权利要求1所述的违禁物品检测方法，其特征在于所述预先训练好的去遮挡注意力模块经过如下子步骤得到：
建立包含遮挡的违禁物品的图像数据集，并划分为训练数据集和测试数据集；
将所述训练数据集输入到预先设计的去遮挡注意力模块中，得到训练后的去遮挡注意力模块；
采用测试数据集验证训练后的去遮挡注意力模块提取行李图像的注意力聚焦后的特征图的精度。
3.如权利要求2所述的违禁物品检测方法，其特征在于建立所述包含遮挡的违禁物品的图像数据集的过程为：
获取违禁物品的外形图；
将所述违禁物品的外形图分别嵌入到预设数量的行李图像中，得到包含遮挡的违禁物品的插图数据集；
对所述包含遮挡的违禁物品的插图数据集中的每一张插图进行标注，得到所述包含遮挡的违禁物品的图像数据集。
4.如权利要求2所述的违禁物品检测方法，其特征在于：
所述去遮挡注意力模块，包括边缘信息提取子模块、区域信息聚合子模块和混合注意力图生成子模块，所述边缘信息提取子模块连接所述区域信息聚合子模块，所述边缘信息提取子模块和所述区域信息聚合子模块分别连接所述混合注意力图生成子模块；
所述边缘信息提取子模块，用于获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图，所述第一特征图强调违禁物品的边缘信息；
所述区域信息聚合子模块，用于获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图，所述第二特征图强调违禁物品的材质信息；
所述混合注意力图生成子模块，用于根据每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图，获取注意力聚焦后的特征图。
5.如权利要求4所述的违禁物品检测方法，其特征在于所述边缘信息提取子模块获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第一特征图的过程为：
获取所述训练数据集中每一张包含遮挡的违禁物品的图像的初始边缘图像；
根据所述初始边缘图像，得到每一张包含遮挡的违禁物品的图像的最终边缘图像；
将每一张包含遮挡的违禁物品的图像的最终边缘图像输入到第一卷积神经网络中，得到最终边缘图像的第一特征图。
6.如权利要求5所述的违禁物品检测方法，其特征在于：
所述边缘信息提取子模块对所接收的每一张含遮挡的违禁物品的图像分别进行索贝尔算子卷积操作，以获取所述训练数据集中每一张包含遮挡的违禁物品的图像的初始边缘图像。
7.如权利要求5所述的违禁物品检测方法，其特征在于：
将每一张包含遮挡的违禁物品的图像的最终边缘图像和对应的包含遮挡的违禁物品的图像在通道维度进行拼接，得到每一张包含遮挡的违禁物品的图像的边缘加强图像。
8.如权利要求4所述的违禁物品检测方法，其特征在于所述区域信息聚合子模块获取所述训练数据集中每一张包含遮挡的违禁物品的图像的第二特征图的过程为：
将每一张包含遮挡的违禁物品的图像的边缘加强图像输入到第二卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的初始特征图；
对每一张包含遮挡的违禁物品的图像的初始特征图进行区域信息聚合操作，得到不同聚合区域尺度下的区域特征图集；
将区域特征图集中的每个聚合区域特征图放大至与对应的初始特征图等比例后，进行拼接，得到新的区域特征图；
将新的区域特征图分别输入到门卷积神经网络中，得到每一张包含遮挡的违禁物品的图像的第二特征图。
9.如权利要求4所述的违禁物品检测方法，其特征在于获取每一张包含遮挡的违禁物品的图像的注意力聚焦后的特征图的过程为：
将每一张包含遮挡的违禁物品的图像的第一特征图和第二特征图在通道维度进行拼接后，分别输入到第三卷积神经网络中，得到用于计算注意力分数的特征图；
根据用于计算注意力分数的特征图，生成注意力分数图；
将注意力分数图与对应的包含遮挡的违禁物品的图像的边缘加强图像计算内积，得到经过注意力聚焦后的特征图。
10.如权利要求9所述的违禁物品检测方法，其特征在于所述注意力分数图根据如下公式得到：
Figure FDA0002561097060000031
其中，Fmix为某一张包含遮挡的违禁物品的图像的用于计算注意力分数的特征图；所述注意力分数图S与输入到去遮挡注意力模块中的包含遮挡的违禁物品的图像的维度大小一致。
CN202010606074.5A 2020-06-29 2020-06-29 一种违禁物品检测方法 Pending CN111899220A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010606074.5A CN111899220A (zh) 2020-06-29 2020-06-29 一种违禁物品检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010606074.5A CN111899220A (zh) 2020-06-29 2020-06-29 一种违禁物品检测方法

Publications (1)

Publication Number Publication Date
CN111899220A true CN111899220A (zh) 2020-11-06

Family

ID=73207144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010606074.5A Pending CN111899220A (zh) 2020-06-29 2020-06-29 一种违禁物品检测方法

Country Status (1)

Country Link
CN (1) CN111899220A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097145A (zh) * 2019-06-20 2019-08-06 江苏德劭信息科技有限公司 一种基于cnn和特征金字塔的交通违禁品识别方法
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097145A (zh) * 2019-06-20 2019-08-06 江苏德劭信息科技有限公司 一种基于cnn和特征金字塔的交通违禁品识别方法
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110533051A (zh) * 2019-08-02 2019-12-03 中国民航大学 基于卷积神经网络的x光安检图像中违禁品自动检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANLU WEI 等: "Occluded Prohibited Items Detection: An X-ray Security Inspection Benchmark and De-occlusion Attention Module （[v1] Sat, 18 Apr 2020 16:10:55 UTC）", 《HTTPS://ARXIV.ORG/》 *

Similar Documents

Publication Publication Date Title
CN107145898B (zh) 一种基于神经网络的射线图像分类方法
US10565479B1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
CN104636707B (zh) 自动检测香烟的方法
EP3330909A1 (en) Systems and methods for integrated cargo inspection
US8045805B2 (en) Method for determining whether a feature of interest or an anomaly is present in an image
US7496218B2 (en) System and method for identifying objects of interest in image data
US7817833B2 (en) System and method for identifying feature of interest in hyperspectral data
CN109977877B (zh) 一种安检智能辅助判图方法、***以及***控制方法
US7907762B2 (en) Method of creating a divergence transform for identifying a feature of interest in hyperspectral data
US10186050B2 (en) Method and system for detection of contraband narcotics in human digestive tract
US20060269135A1 (en) System and method for identifying objects of interest in image data
CN103971361B (zh) 图像处理装置和方法
CN106327451A (zh) 一种古生物化石的图像修复方法
EP3772722B1 (en) X-ray image processing system and method, and program therefor
US20220358637A1 (en) Methods and systems of utilizing image processing systems to measure objects
US20110206251A1 (en) Method of characterizing an image source utilizing predetermined color spaces
CN115620283B (zh) 基于计算机视觉的猪肉大理石纹表型数据测量方法及装置
US20060269161A1 (en) Method of creating a divergence transform for a class of objects
CN111899220A (zh) 一种违禁物品检测方法
KR20200071021A (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
Kornilov et al. Selection in a 3D microtomographic image the region with the highest quality
Bardera et al. Quantification of computed tomography pork carcass images
Singh Improving Threat Object Recognition for X-Ray Baggage Screening Using Distraction Removal Techniques
Chen Development of image recognition system for steel defects detection
EP3323002B1 (en) Method and system for detection of contraband narcotics in human digestive tract

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106