CN109946746A - 一种基于深度神经网络的安检***及方法 - Google Patents

一种基于深度神经网络的安检***及方法 Download PDF

Info

Publication number
CN109946746A
CN109946746A CN201910218654.4A CN201910218654A CN109946746A CN 109946746 A CN109946746 A CN 109946746A CN 201910218654 A CN201910218654 A CN 201910218654A CN 109946746 A CN109946746 A CN 109946746A
Authority
CN
China
Prior art keywords
module
picture
model
channel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910218654.4A
Other languages
English (en)
Inventor
屈立成
李萌萌
吕娇
赵明
王海飞
屈艺华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910218654.4A priority Critical patent/CN109946746A/zh
Publication of CN109946746A publication Critical patent/CN109946746A/zh
Priority to PCT/CN2020/078425 priority patent/WO2020187077A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V5/00—Prospecting or detecting by the use of ionising radiation, e.g. of natural or induced radioactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度神经网络的安检***及方法，包括X光成像模块、检测模型训练学***面的检测图像，建立深度神经网络检测模型，并运用大数据对常见物品进行特征训练与学习，实现检测器对旋转、伸缩和变形的物体的识别与分类。

Description

一种基于深度神经网络的安检***及方法
技术领域
本发明属于安检技术领域，具体涉及一种基于深度神经网络的安检***及方法。
背景技术
随着经济快速发展，高铁，飞机等已经成为了人们日常出行必不可少的交通工具，然而乘客有意或者无意地携带危险品乘坐交通工具却成了交通运输安全的最大威胁。X射线安检机对于危险品安全检测和保障交通运输工具运行安全方面有着重要的作用。但是传统的X射线安检机需要工作人员认真仔细地查看X射线行李图像来判别是否含有危险物品，装置智能化程度低，人工检查所需的成本较高，同时也可能会出现误判漏判情况，从而对人们的安全出行造成极大的威胁，甚至于酿成重大事故。
专利申请公布的“一种违禁品安检自动识别装置”(CN 201710233696.6)将图像由RGB颜色空间转换到HSV颜色空间并复制三份，分为三种颜色进行识别，在优化图像质量后，将三种不同颜色识别后的图案与预存的相应颜色下违禁品模板并行处理，进行SURF特征匹配，匹配率在55％以上则认为行李存在违禁品。
SURF特征匹配主要是将X射线图像与预存的违禁品图像模板中的SURF描述子数量进行匹配，只能识别出相同样式及颜色的物体，对于外形相似物品的检测准确率低(例如玩具***和真实枪的形状是一样的)，泛化能力差，类别分类不明确。对于行李物品中旋转，伸缩，变形的物体具有一定的检测能力，但是对于杂乱堆放的行李物品或者重叠在一起的物体难以进行准确的检测和区分。
专利申请公布的“一种X光安检机行李危险品快速自动检测报警装置及方法”(CN201610748757.8)，首先，采用高斯滤波法对图像去噪，其次，使用非线性增强方法进行图像增强和危险品图像分割，最后，对疑似危险品图像进行特征提取和特征分析，若发现危险品则圈出危险品并将图像数据通过网口传输到计算机并将其显示在液晶显示器上，选择设置发出声音和LED灯的闪烁报警。
现有危险品检测技术采用图像处理技术，主要是根据物体颜色进行分割然后对图像物体特征提取分析，在分割的过程中对于不同材质的同一物体不能很好处理，例如：剪刀的尖端为蓝色特征，而把手通常为桔黄色特征，这样分割物体只得到了物体的局部特征导致物体准确率低且物体类别不明确，对于行李物品中旋转，伸缩，变形的物体检测准确率低，并且因为行李物品堆放杂乱，对重叠在一起的物体难以进行准确的检测。
随着人工智能技术的飞速发展，融入深度学习算法的智能化安检机***将会大大提高安检装置的智能化程序，提高危险物品识别的准确率，同时还能有效减轻安检工作人员的压力，大大提升安检通道的通过效率，减少拥堵，最大程度上保障人们的交通与出行安全。
发明内容
针对现有X射线行李检测技术中存在的物体检测定位准确率低，危险品类别不明确，检测过程智能化程度较低等问题，提出一种基于颜色分割和多平面深度神经网络的X射线智能安检装置和方法，解决日常行李包裹中携带物品的检测与识别问题。基于X射线图像的颜色特征分割并合成多平面的检测图像，建立深度神经网络检测模型，并运用大数据对常见物品进行特征训练与学习，实现检测器对旋转、伸缩和变形的物体的识别与分类。特别对于杂乱堆放、互相缠绕重叠在一起的行李物品进行细致的检测与甄别，深入学习其颜色、外形和纹理特征，以达到准确识别和分类的效果，提高危险物品识别的准确率，提升X射线安检过程的智能程度和安检通道的通过效率，减少拥堵，减轻安检人员的工作强度，最大程度地保障人们的交通出行安全。
为达到上述目的，本发明所述一种基于深度神经网络的安检***包括X光成像模块、检测模型训练学习模块、物体识别模块和安全管理模块，所述X光成像模块的输出端和物体识别模块的输入端连接，物体识别模块和检测模型训练学习模块双向连接，物体识别模块的输出端和安全管理模块的输入端连接；所述X光成像模块用于得到物品的X图像视频序列，然后经过模数转换得到数字图片，并将得到的数字图片传递至物体识别模块；所述检测模型训练学习模块用于进行图片训练，得到学习模型，并将学习模型传递至物体识别模块；所述物体识别模块用于加载检测模型训练模块中的学习模型，并对物品进行分类与定位，将检测识别出的物体的种类和坐标信息传送到安全管理模块；所述安全管理模块中用于根据物体识别模块识输出的物体种类和坐标信息将物品输送至不同的物品运送通道中。
进一步的，还包括物体传输模块，物体传输模块包括物品进入通道、危险品输出通道和非危险品输出通道。
进一步的，安全管理模块包括信息管理模块、警示模块、行李控制模块和显示模块；其中，信息管理模块用于接收物体识别模块发送的物体分类与位置信息，并根据接收到的物体分类与位置信息判别物体是否为危险物品；报警模块用于报警；行李控制模块用于将行李输送至物体传输模块中的不同通道中，显示模块用于显示X射线图片和检测结果。
一种基于深度神经网络的安检方法，首先利用图片训练出图像学习模型，在物品检测时，采集待检测物品的X图像视频序列，X图像视频序列经过模数转换得到数字图片；然后加载图像学习模型，利用图像学习模型识别数字图片中物品的种类和坐标；然后根据物品的种类和坐标将物品按照种类划分至不同的输送通道。
具体包括以下步骤：
步骤1、利用X射线发射装置透过物品后的成像，得到X图像视频序列，X图像视频序列经过模数转换得到数字图片；
步骤2、加载图像学习模型，通过图像学习模型来对数字图片进行物品的识别与定位；所述图像学习模型通过训练得到，具体训练方法为：首先采用卷积神经网络的卷积层，池化层和全连接层搭建物体训练模型；然后将前期获得的X射线图片按安检物体类别分类，并标注出物体的类别和坐标信息，其中坐标信息包括物体中心点的坐标x,y和目标框的长w和宽h；然后设置训练模型的参数，包括学习率，批处理尺度，学习策略等；然后将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，得到图像学习模型；然后验证图像学习模型，若达到预期效果，则将图像学习模型保存到模型学习库；若未达到预期效果，则调整卷积神经网络的参数，继续训练，直到图像学习模型达到预期效果。
步骤3、根据物品的种类和坐标将物品按照种类划分至不同的输送通道。
进一步的，步骤2中，用于训练学习模型的图片采用不同角度、位置的图片。
进一步的，将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，包括以下步骤：
S1、根据X射线背景特点将数字图片分割出待检测区域，将有颜色的区域为检测区域，所述数字图片为rgb图像；
S2、将数字图片的r通道、g通道和b通道取出来存放到将要输入卷积神经网络的图片前三位通道；再将rgb图像模型转换为hsv颜色模型，提取出hsv模型的h通道、s通道和v通道，并存放到输入图片的rgb后面三个通道；通过hsv颜色模型的色调H，纯度S以及明亮度V的值，将hsv模型分为有机物橙色，无机物蓝色，混合物绿色，及其他颜色分割成4个颜色通道，存放至输入图片的后四位通道，将10个通道的训练图片输入至卷积神经网络中；
S3、利用卷积运算对待检测区域进行特征提取，卷积后的特征表示为：
其中，n_in是张量的最后一维的维数。Xk代表第k个输入矩阵。Wk代表卷积核的第k个子卷积核矩阵。s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值，b是偏执量；
S4、进行池化；
S5、使用Softmax对每个目标框进行分类，得到分类之后的bbox；
S6、损失函数采用focalloss损失函数，
FL(pt)＝-αt(1-pt)γlog(pt)
γ为focusing parameter，γ>＝0，1-pt称为调制系数，αt用于调节正样本和负样本的比例，前景类别使用αt时，对应的背景类别使用1-α，pt是不同类别的分类概率；
S7、选取置信度最高的bbox作为检测结果输出。
进一步的，S2中，当H的值在20°～60°,S的值在0.4～1.0,V的值在0.4～1.0时，为有机物橙色通道；当H的值100°～140°,S的值0.4～1.0,V的值0.4～1.0时，为混合物绿色通道；当H的值220°～260°,S的值0.4～1.0,V的值0.4～1.0时，为无机物蓝色通道；当H的值不在所述橙色通道、绿色通道和蓝色通道范围内时，S的值0.4～1.0,V的值0.4～1.0，为其他颜色通道。
进一步的，S5中，采用最大池化的方法进行池化。
进一步的，S7中，α＝0.25，γ＝2。
与现有技术相比，本发明至少具有以下有益的技术效果:
(1)基于X射线图像的颜色特征分割并合成多平面的检测图像，提高了物品识别的准确率。
(2)在物体检测算法中对不同物体图片进行分类，通过搭建模型，调整参数，利用卷积神经网络进行特征学习，可以明确的分类行李中的物体类别；
(3)在X射线图像检测中匕首，***，刀具等都具有蓝色特征，汽油，打火机，弹药等具有绿色特征，酒精，汽油具有桔黄色特征，危险品的颜色特征主要为蓝色，绿色和桔黄色，将物体几何特征，纹理特征和颜色特征有机结合，可以大大地降低玩具***，挂饰对危险品检测时干扰，提高物体检测与定位准确度。
(4)在X射线图像学习过程中采用大量(至少500张)不同角度、位置的图片数据进行学习，对于模糊，旋转，变形的物体也能够准确识别，有效地提高物体检测的准确率。
(5)物体分类明确：对于物体检测方面主要分为七种类别，易燃易爆类物体主要包括：煤油，液化石油气，固体酒精，压缩气体，鞭炮，礼花，烟花等；***弹药类物体主要包括：***，***，***，枪式打火机，子弹，空包弹，子***等；***物类物体主要包括：鳞片状TNT，塑料***，导火索，导爆管，定时爆竹装置等；管制刀具类物体主要包括：匕首，弹簧刀，三棱刀，锁刀等；危险物品类物体主要包括：剪刀，斧头，菜刀，弹弓等；警械类物品主要包括：电击棒，双节棍，手铐，烟雾弹等；
日常行包类物品主要包括：瓶装水，瓶装酒，液态酒精，玻璃胶等。物体分类明确，有效的辅助工作人员进行安全排查并且可以根据实际情况添加物体类别，提高安全性。
(6)针对不同场景要求下的安检***，设置危险品种类的报警阈值，从模型训练库中选择合适的物体检测模型传输到物体检测模块中，具有一定的实时连动性。
附图说明
图1为是基于深度神经网络的X射线智能安检***模块图；
图2为是物体识别检测模块和安全管理模块的流程图；
图3是模型训练模块的流程图；
图4是颜色分割算法流程图；
图5为X射线原图；
图6a为R平面图；
图6b为G平面图；
图6c为B平面图；
图7a为H平面图；
图7b为S平面图；
图7c为V平面图；
图8a为混合物平面图；
图8b为有机物平面图；
图8c为无机物平面图；
图8d为其他平面图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
参照图1，一种基于深度神经网络的安检***包括物体传输模块、X光成像模块、检测模型训练学习模块、物体识别模块和安全管理模块。其工作流程为物体传送模块将行李物品传入X光成像机模块的检测范围内，X光成像机模块发出X射线，透过行李后的X射线成像，得到X图像视频序列，然后经过模数转换得到数字图像，加载安检物品学习模型，利用卷积神经网络进行物体分类与定位，输出图片识别的类别和位置发送到安全管理模块，由安全管理模块决定行李所流向的通道。
其中，物体传输模块主要是传送安检时的行李物品；
X光成像模块主要是利用X光发射管产生的X射线穿透通道中的行李物品得到X图像视频序列，然后经过模数转换得到数字图片；
检测模型训练学习模块用于采集并标注物体图片，然后送入卷积神级网络学习，最终得到学习好的物体检测的模型，并将训练好的模型传递至物体识别模块；
物体识别模块用于加载检测模型训练模块的X射线图片学习模型，利用内置的物体检测算法进行物体识别与定位，将检测识别出的物体种类和坐标信息传送到安全管理模块；
安全管理模块中的报警模块和行李控制模块用于根据物体识别模块识输出的物体种类和坐标信息确定是否需要报警及将物品传送到危险品通道。安全管理模块包括信息管理模块、警示模块、行李控制模块和显示模块。
其中，信息管理模块用于接收物体识别模块发送的物体分类与位置信息，并根据接收到的物体分类与位置信息判别被检测物体是否为危险物品，报警模块用于报警，行李控制模块用于将行李输送至物体传输模块中的不同通道中，显示模块用于显示安检机工作过程中的X射线图片和检测出来的结果图片。
本***可以作为新型智能安检***，也可将物体识别模块，模型训练模块，安全管理模块更新到现有的安检***中，对现有的安检***进行智能升级改造。
智能安检方法主要包含检测区域提取、图像平面处理、检测器学习训练和危险物品智能检测4个部分。
检测区域提取过程为：根据X射线背景特点分割出待检测区域，对于大量白色的候选检测区域直接丢弃，避免了后续耗时的识别操作，提高了物品检测的速度。
图片平面处理：预处理主要是将图片由RGB模型转换到hsv模型，hsv模型包括H、S和V三个颜色平面再通过色调H将图片再分割出橙色、绿色、蓝色和其他颜色四个平面；
通常输入卷积神经网络的图片是由RGB颜色模型表示,由R、G、B3个颜色平面组成。本发明中除了这3个颜色平面外，增加了预处理阶段获得的H、S、V颜色平面，以及经过色彩分割后生成的橙色、绿色、蓝色和其他颜色共10个颜色平面，经过平面数据融合处理后，输入卷积神经网络进行目标识别。
检测器学习训练：智能安检***采用大量不同角度、位置的X射线物体图片，对采集获得的X射线图像进行分类与标注，标注物体的种类及坐标，并且按8:2的比例将其分为学习图片集与测试图片集，根据采集获得的X射线图像的原始图片生成算法所需的.xml标注格式(包括物体类别、大小及其在X射线图像中的坐标位置等)。
搭建学习模型并且调整合适参数，通过卷积神经网络进行物体几何特征，纹理特征和颜色特征学习，保存学习模型，然后将训练好的X射线物体学习模型通过网络通信接口传送到物体识别模块。行李物品由传输模块传送到X光成像模块，X射线发射装置透过行李后的成像，得到X图像视频序列，X图像视频序列经过模数转换得到数字图片，加载X射线学习模型，将检测到的物体种类和坐标通过通信接口传到安全管理模块，根据安全管理模块设置的报警策略和置信度阈值判定***是否报警及是否传送到危险品通道，置信度阈值可根据安检需要自己设置，阈值设为百分之70，若物体检测置信度大于阈值则报警。
在原有安检***的基础上更新物体检测模块并将通过网络通信接口传到安检机，采用X射线学习模型将物体的种类及坐标信息通过通信接口输出到已有的安检屏幕中，设置危险品的报警阈值，若检测到危险品则暂停物体传送带。
参照图3，检测器学习训练包括以下步骤：
步骤1、采用卷积神经网络的卷积层，池化层和全连接层搭建物体训练模型。
步骤2、将X射线图片库中的图片按安检物体类别分类，并人工标注出图片中物体的类别和坐标信息。
步骤3、设置训练模型的参数，参数包括学习率，批处理尺度，学习策略等。
步骤4、将标注好的图片送入卷积神经网络中。
步骤5、采用搭建好的卷积神经网络对标注好的图片进行训练，得到学习模型。
步骤6、学习模型验证，若达到预期效果，则将学习模型保存到模型学习库；若未达到预期效果，则调整卷积神经网络的参数，继续训练，直到学习模型达到预期效果。物体检测的MAP(Mean Average Precision)，若值达到百分之80，则可达到预期效果。
步骤4包括以下步骤：
步骤4.1检测区域提取
根据X射线背景特点分割出待检测区域，对于大量空白背景的候选检测区域直接丢弃，有颜色的区域为检测区域，避免了后续耗时的识别操作，提高了物品检测的速度。
步骤4.2图像平面处理
将输入的HSV根据色调，纯度，明亮度的取值范围分为有机物橙色通道，无机物蓝色通道，混合物绿色通道及其他颜色的通道。
当H的值在20°～60°,S的值在0.4～1.0,V的值在0.4～1.0时，为有机物橙色通道；当H的值100°～140°,S的值0.4～1.0,V的值0.4～1.0时，为混合物绿色通道；当H的值220°～260°,S的值0.4～1.0,V的值0.4～1.0时，为无机物蓝色通道；当H的值不在所述橙色通道、绿色通道和蓝色通道范围内时，S的值0.4～1.0,V的值0.4～1.0，为其他颜色通道。
步骤4.3将图片的r,g,b通道取出来存放到将要输入卷积神经网络的图片前三位通道，再将rgb图像模型转换为hsv颜色模型，提取出hsv模型的h,s,v三个通道存放到输入图片的rgb后面三个通道，通过hsv色调，纯度，明亮度的不同取值范围，将图片分为有机物橙色，无机物蓝色，混合物绿色，及其他颜色分割成4个颜色通道，存放至输入图片的后四位通道，将10个通道的训练图片输入至卷积神经网络中。
检测模型训练学***面检测图像，提高了检测物品识别的准确率。
步骤5包括以下步骤：
步骤5.1.利用卷积运算对待检测区域进行特征提取
输入图片大小416*416，通道为10，使用3*3和1*1的卷积层进行卷积运算。卷积后的特征表示
其中，n_in是张量的最后一维的维数。Xk代表第k个输入矩阵。Wk代表卷积核的第k个子卷积核矩阵。s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值，b表示偏执量。
步骤5.2.池化：
采用最大池化的方法，即对2*2的池化区域选取最大值作为特征值，核步长为1。
步骤5.3.使用Softmax对每个Bbox进行分类；
步骤5.4.损失函数采用focalloss损失函数
FL(pt)＝-αt(1-pt)γlog(pt)
γ称作focusing parameter，γ>＝0，(1-pt)称为调制系数，αt用于调节positive和negative的比例，前景类别使用αt时，对应的背景类别使用1-α，pt为不同类别的分类概率；当α＝0.25，γ＝2时效果最好。α用于调节positive和negative的比例，前景类别使用时α，对应的背景类别使用1-α，pt是不同类别的分类概率。
步骤5.5.采用局部最大值的方法，即选取置信度最高的bbox(包含物体的矩形区域)作为检测结果输出，即被检测物体的位置信息。其中，Bbox信息包含5个数据值，分别是x,y,w,h,和confidence。其中x,y是指当前格子预测得到的物体的bounding box的中心位置的坐标。w,h是指当前格子预测得到的物体的bounding box的宽度和高度，confidence是指预测物体的置信度。
为便于理解，给出了图片示意图，其中图5为灰度化后的X射线图、图6a为X射线图的R平面图，图6b为G平面图；图6c为X射线图的B平面图；图7a为X射线图的H平面图；图7b为X射线图的S平面图；图7c为X射线图的V平面图；图8a为X射线图的混合物平面图；图8b为X射线图的有机物平面图；图8c为X射线图的无机物平面图；X射线图的其他平面图。
参照图2，安检***工作包括以下步骤：
第一步:设置不同物体的报警阈值。
第一步：通过物体传输模块的传送带传入行李物品。
第二步：X光成像模块发出X射线，透过行李的X射线成像得到X图像视频序列。
第三步：经过模数转换得到行李物品的数字图片。
第四步：加载模型训练模块的X射线图像学习模型。
第五步：利用学习模型对物体进行分类与定位。
第六步：输出图片中的物体种类及坐标信息并发送到安全管理模块。
第七步：由安全管理模块的报警模块决定是否报警及行李控制模块决定行李流向的通道。本发明的技术主要是采用深度学习进行物体识别和定位，在物体特征学习过程中将物体的几何特征，纹理特征与X射线图像中物体颜色有机结合。采用大量不同角度和不同位置的图片数据进行学习，不仅可以很好的检测识别模糊，旋转，变形的图像，而且可以实时将训练好的模型更新到一系列安检机中。在管理模块中，管理员可以根据物体的危险程度设定物体种类阈值，类别及坐标。基于深度学习的智能安检***主要将传统安检***中的人工判别危险品改进为依靠深度学习来辅助安检人员工作的流程，大大地减少人工成本，使得安检***更加智能化。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于深度神经网络的安检***，其特征在于，包括X光成像模块、检测模型训练学习模块、物体识别模块和安全管理模块，所述X光成像模块的输出端和物体识别模块的输入端连接，物体识别模块和检测模型训练学习模块双向连接，物体识别模块的输出端和安全管理模块的输入端连接；
所述X光成像模块用于得到物品的X图像视频序列，然后经过模数转换得到数字图片，并将得到的数字图片传递至物体识别模块；
所述检测模型训练学习模块用于进行图片训练，得到学习模型，并将学习模型传递至物体识别模块；
所述物体识别模块用于加载检测模型训练模块中的学习模型，并对物品进行分类与定位，将检测识别出的物体的种类和坐标信息传送到安全管理模块；
所述安全管理模块中用于根据物体识别模块识输出的物体种类和坐标信息将物品输送至不同的物品运送通道中。
2.根据权利要求1所述的一种基于深度神经网络的安检***，其特征在于，还包括物体传输模块，物体传输模块包括物品进入通道、危险品输出通道和非危险品输出通道。
3.根据权利要求1所述的一种基于深度神经网络的安检***，其特征在于，安全管理模块包括信息管理模块、警示模块、行李控制模块和显示模块；其中，信息管理模块用于接收物体识别模块发送的物体分类与位置信息，并根据接收到的物体分类与位置信息判别物体是否为危险物品；报警模块用于报警；行李控制模块用于将行李输送至物体传输模块中的不同通道中，显示模块用于显示X射线图片和检测结果。
4.一种基于深度神经网络的安检方法，其特征在于，首先利用图片训练出图像学习模型，在物品检测时，采集待检测物品的X图像视频序列，X图像视频序列经过模数转换得到数字图片；然后加载图像学习模型，利用图像学习模型识别数字图片中物品的种类和坐标；然后根据物品的种类和坐标将物品按照种类划分至不同的输送通道。
5.根据权利要求4所述的一种基于深度神经网络的安检方法，其特征在于，包括以下步骤：
步骤1、利用X射线发射装置透过物品后的成像，得到X图像视频序列，X图像视频序列经过模数转换得到数字图片；
步骤2、加载图像学习模型，通过图像学习模型来对数字图片进行物品的识别与定位；所述图像学习模型通过训练得到，具体训练方法为：首先采用卷积神经网络的卷积层，池化层和全连接层搭建物体训练模型；然后将前期获得的X射线图片按安检物体类别分类，并标注出物体的类别和坐标信息，其中坐标信息包括物体中心点的坐标x,y和目标框的长w和宽h；然后设置训练模型的参数，包括学习率，批处理尺度和学习策略；然后将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，得到图像学习模型；然后验证图像学习模型，若达到预期效果，则将图像学习模型保存到模型学习库；若未达到预期效果，则调整卷积神经网络的参数，继续训练，直到图像学习模型达到预期效果；
步骤3、根据物品的种类和坐标将物品按照种类划分至不同的输送通道。
6.根据权利要求5所述的一种基于深度神经网络的安检方法，其特征在于，步骤2中，用于训练学习模型的图片采用不同角度、位置的图片。
7.根据权利要求5所述的一种基于深度神经网络的安检方法，其特征在于，步骤2中，将标注好的图片送入卷积神经网络中，用搭建好的卷积神经网络对标注过的图片进行训练，包括以下步骤：
S1、根据X射线背景特点将数字图片分割出待检测区域，将有颜色的区域为检测区域，所述数字图片为rgb图像；
S2、将数字图片的r通道、g通道和b通道取出来存放到将要输入卷积神经网络的图片前三位通道；再将rgb图像模型转换为hsv颜色模型，提取出hsv模型的h通道、s通道和v通道，并存放到输入图片的rgb后面三个通道；通过hsv颜色模型的色调H，纯度S以及明亮度V的值，将hsv模型分为有机物橙色，无机物蓝色，混合物绿色，及其他颜色分割成4个颜色通道，存放至输入图片的后四位通道，将10个通道的训练图片输入至卷积神经网络中；
S3、利用卷积运算对待检测区域进行特征提取，卷积后的特征表示为：
其中，n_in是张量的最后一维的维数，Xk代表第k个输入矩阵，Wk代表卷积核的第k个子卷积核矩阵，s(i,j)即卷积核W对应的输出矩阵的对应位置元素的值，b是偏执量；
S4、进行池化；
S5、使用Softmax对每个目标框进行分类，得到分类之后的bbox；
S6、损失函数采用focalloss损失函数，
FL(pt)＝-αt(1-pt)γlog(pt)
γ为focusing parameter，γ>＝0，1-pt称为调制系数，αt用于调节正样本和负样本的比例，前景类别使用αt时，对应的背景类别使用1-α，pt是不同类别的分类概率；
S7、选取置信度最高的bbox作为检测结果输出。
8.根据权利要求7所述的一种基于深度神经网络的安检方法，其特征在于，S2中，当H的值在20°～60°,S的值在0.4～1.0,V的值在0.4～1.0时，为有机物橙色通道；当H的值100°～140°,S的值0.4～1.0,V的值0.4～1.0时，为混合物绿色通道；当H的值220°～260°,S的值0.4～1.0,V的值0.4～1.0时，为无机物蓝色通道；当H的值不在所述橙色通道、绿色通道和蓝色通道范围内时，S的值0.4～1.0,V的值0.4～1.0，为其他颜色通道。
9.根据权利要求7所述的一种基于深度神经网络的安检方法，其特征在于，S5中，采用最大池化的方法进行池化。
10.根据权利要求7所述的一种基于深度神经网络的安检方法，其特征在于，S7中，α＝0.25，γ＝2。
CN201910218654.4A 2019-03-21 2019-03-21 一种基于深度神经网络的安检***及方法 Pending CN109946746A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910218654.4A CN109946746A (zh) 2019-03-21 2019-03-21 一种基于深度神经网络的安检***及方法
PCT/CN2020/078425 WO2020187077A1 (zh) 2019-03-21 2020-03-09 一种基于深度神经网络的安检***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910218654.4A CN109946746A (zh) 2019-03-21 2019-03-21 一种基于深度神经网络的安检***及方法

Publications (1)

Publication Number Publication Date
CN109946746A true CN109946746A (zh) 2019-06-28

Family

ID=67010557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910218654.4A Pending CN109946746A (zh) 2019-03-21 2019-03-21 一种基于深度神经网络的安检***及方法

Country Status (2)

Country Link
CN (1) CN109946746A (zh)
WO (1) WO2020187077A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286415A (zh) * 2019-07-12 2019-09-27 广东工业大学 安检违禁品检测方法、装置、设备及计算机可读存储介质
CN110488368A (zh) * 2019-07-26 2019-11-22 中控智慧科技股份有限公司 一种基于双能x光安检机的违禁品识别方法及装置
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110751329A (zh) * 2019-10-17 2020-02-04 中国民用航空总局第二研究所 一种机场安检通道的控制方法、装置、电子设备及存储介质
CN110794466A (zh) * 2019-07-16 2020-02-14 中云智慧（北京）科技有限公司 一种x光机图片采集辅助装置和处理方法
CN111046908A (zh) * 2019-11-05 2020-04-21 杭州电子科技大学 基于卷积神经网络的乳化***包装故障实时监测模型
CN111062252A (zh) * 2019-11-15 2020-04-24 浙江大华技术股份有限公司 一种实时危险物品语义分割方法、装置及存储装置
CN111091150A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车交叉杆盖板断裂检测方法
CN111126238A (zh) * 2019-12-19 2020-05-08 华南理工大学 一种基于卷积神经网络的x光安检***及方法
CN111167733A (zh) * 2020-01-14 2020-05-19 东莞理工学院 一种视觉缺陷自动检测***
CN111429410A (zh) * 2020-03-13 2020-07-17 杭州电子科技大学 一种基于深度学习的物体x射线图像材质判别***及方法
WO2020187077A1 (zh) * 2019-03-21 2020-09-24 长安大学 一种基于深度神经网络的安检***及方法
CN112144150A (zh) * 2020-10-16 2020-12-29 北京经纬纺机新技术有限公司 一种应用深度学习图像处理的分布式异性纤维分检***
CN112764120A (zh) * 2020-12-29 2021-05-07 深圳市创艺龙电子科技有限公司 金属探测成像***和具有其的扫描设备
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
US20210303924A1 (en) * 2020-03-31 2021-09-30 Hcl Technologies Limited Method and system for generating and labelling reference images
CN114332543A (zh) * 2022-01-10 2022-04-12 成都智元汇信息技术股份有限公司 一种多模板的安检图像识别方法、设备及介质
WO2023087653A1 (zh) * 2021-11-17 2023-05-25 湖南苏科智能科技有限公司 基于神经网络和多源数据的双视角关联安检方法及***

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364903A (zh) * 2020-10-30 2021-02-12 盛视科技股份有限公司 基于x光机的物品分析及多维图像关联方法与***
CN112444889A (zh) * 2020-11-13 2021-03-05 北京航星机器制造有限公司 一种快速安检行包远程集中判读***及方法
CN112991256A (zh) * 2020-12-11 2021-06-18 中国石油天然气股份有限公司 一种基于机器视觉和深度学习的油管物资统计方法
CN112560944B (zh) * 2020-12-14 2023-08-08 广东电网有限责任公司珠海供电局 一种基于图像识别的充电桩起火检测方法
CN113762023B (zh) * 2021-02-18 2024-05-24 北京京东振世信息技术有限公司 基于物品关联关系的对象识别的方法和装置
CN113537213B (zh) * 2021-07-14 2024-01-30 安徽炬视科技有限公司 一种基于可变卷积核的烟雾明火检测算法
CN113435543B (zh) * 2021-07-22 2024-04-09 湖南声迅科技有限公司 一种基于传送带标识的可见光和x光图像匹配方法及装置
CN113759433B (zh) * 2021-08-12 2024-02-27 浙江啄云智能科技有限公司 一种违禁品筛选方法、装置和安检设备
CN115731213B (zh) * 2022-11-29 2024-01-30 北京声迅电子股份有限公司 一种基于x光图像的利器检测方法
CN116610078A (zh) * 2023-05-19 2023-08-18 广东海力储存设备股份有限公司 立体仓自动化储存控制方法、***、电子设备及存储介质
CN117197787A (zh) * 2023-08-09 2023-12-08 海南大学 基于改进YOLOv5的智能安检方法、装置、设备及介质
CN117409199B (zh) * 2023-10-19 2024-05-14 中南大学 一种基于云端大数据技术的成长型智慧安检***及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116463A (zh) * 2015-09-22 2015-12-02 同方威视技术股份有限公司 安检通道以及安检装置
CN205656321U (zh) * 2016-05-30 2016-10-19 公安部第一研究所 一种用于识别包裹中危险液体的x射线检测装置
CN206192923U (zh) * 2016-10-27 2017-05-24 中云智慧（北京）科技有限公司 一种基于云计算的x射线违禁品检测***
CN106872498A (zh) * 2017-04-11 2017-06-20 西安培华学院 一种违禁品安检自动识别装置
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、***及电子设备
CN108198227A (zh) * 2018-03-16 2018-06-22 济南飞象信息科技有限公司 基于x光安检机图像的违禁品智能识别方法
CN108226196A (zh) * 2018-02-22 2018-06-29 青岛智慧云谷智能科技有限公司 一种智能x光机探测***及探测方法
CN108802840A (zh) * 2018-05-31 2018-11-13 北京迈格斯智能科技有限公司 基于人工智能深度学习的自动识别物体的方法及其装置
CN109086679A (zh) * 2018-07-10 2018-12-25 西安恒帆电子科技有限公司 一种毫米波雷达安检仪异物检测方法
CN109191389A (zh) * 2018-07-31 2019-01-11 浙江杭钢健康产业投资管理有限公司 一种x光图像自适应局部增强方法
CN109187598A (zh) * 2018-10-09 2019-01-11 青海奥越电子科技有限公司 基于数字图像处理的违禁物品检测***及方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109472309A (zh) * 2018-11-12 2019-03-15 南京烽火星空通信发展有限公司 一种x光安检机图片物体检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003065077A2 (en) * 2002-01-30 2003-08-07 Rutgers, The State University Combinatorial contraband detection using energy dispersive x-ray diffraction
CN106599967A (zh) * 2016-12-08 2017-04-26 同方威视技术股份有限公司 安检物品定位的标签和安检物品定位的方法
CN108303747B (zh) * 2017-01-12 2023-03-07 清华大学 检查设备和检测***的方法
CN107145898B (zh) * 2017-04-14 2020-04-10 北京航星机器制造有限公司 一种基于神经网络的射线图像分类方法
CN107607562B (zh) * 2017-09-11 2020-06-02 北京匠数科技有限公司 一种违禁物品识别设备及方法、x光行李安检***
CN109446888A (zh) * 2018-09-10 2019-03-08 唯思科技（北京）有限公司 一种基于卷积神经网络的细长类物品检测方法
CN109946746A (zh) * 2019-03-21 2019-06-28 长安大学 一种基于深度神经网络的安检***及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105116463A (zh) * 2015-09-22 2015-12-02 同方威视技术股份有限公司 安检通道以及安检装置
CN205656321U (zh) * 2016-05-30 2016-10-19 公安部第一研究所 一种用于识别包裹中危险液体的x射线检测装置
CN206192923U (zh) * 2016-10-27 2017-05-24 中云智慧（北京）科技有限公司 一种基于云计算的x射线违禁品检测***
CN106872498A (zh) * 2017-04-11 2017-06-20 西安培华学院 一种违禁品安检自动识别装置
CN107871122A (zh) * 2017-11-14 2018-04-03 深圳码隆科技有限公司 安检检测方法、装置、***及电子设备
CN108226196A (zh) * 2018-02-22 2018-06-29 青岛智慧云谷智能科技有限公司 一种智能x光机探测***及探测方法
CN108198227A (zh) * 2018-03-16 2018-06-22 济南飞象信息科技有限公司 基于x光安检机图像的违禁品智能识别方法
CN108802840A (zh) * 2018-05-31 2018-11-13 北京迈格斯智能科技有限公司 基于人工智能深度学习的自动识别物体的方法及其装置
CN109086679A (zh) * 2018-07-10 2018-12-25 西安恒帆电子科技有限公司 一种毫米波雷达安检仪异物检测方法
CN109191389A (zh) * 2018-07-31 2019-01-11 浙江杭钢健康产业投资管理有限公司 一种x光图像自适应局部增强方法
CN109187598A (zh) * 2018-10-09 2019-01-11 青海奥越电子科技有限公司 基于数字图像处理的违禁物品检测***及方法
CN109447071A (zh) * 2018-11-01 2019-03-08 博微太赫兹信息科技有限公司 一种基于fpga和深度学习的毫米波成像危险物品检测方法
CN109472309A (zh) * 2018-11-12 2019-03-15 南京烽火星空通信发展有限公司 一种x光安检机图片物体检测方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020187077A1 (zh) * 2019-03-21 2020-09-24 长安大学 一种基于深度神经网络的安检***及方法
CN110286415A (zh) * 2019-07-12 2019-09-27 广东工业大学 安检违禁品检测方法、装置、设备及计算机可读存储介质
CN110794466A (zh) * 2019-07-16 2020-02-14 中云智慧（北京）科技有限公司 一种x光机图片采集辅助装置和处理方法
CN110488368A (zh) * 2019-07-26 2019-11-22 中控智慧科技股份有限公司 一种基于双能x光安检机的违禁品识别方法及装置
CN110488368B (zh) * 2019-07-26 2021-07-30 熵基科技股份有限公司 一种基于双能x光安检机的违禁品识别方法及装置
CN110533045A (zh) * 2019-07-31 2019-12-03 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110533045B (zh) * 2019-07-31 2023-01-17 中国民航大学 一种结合注意力机制的行李x光违禁品图像语义分割方法
CN110751329A (zh) * 2019-10-17 2020-02-04 中国民用航空总局第二研究所 一种机场安检通道的控制方法、装置、电子设备及存储介质
CN111046908A (zh) * 2019-11-05 2020-04-21 杭州电子科技大学 基于卷积神经网络的乳化***包装故障实时监测模型
CN111062252A (zh) * 2019-11-15 2020-04-24 浙江大华技术股份有限公司 一种实时危险物品语义分割方法、装置及存储装置
CN111062252B (zh) * 2019-11-15 2023-11-10 浙江大华技术股份有限公司 一种实时危险物品语义分割方法、装置及存储装置
CN111091150A (zh) * 2019-12-12 2020-05-01 哈尔滨市科佳通用机电股份有限公司 铁路货车交叉杆盖板断裂检测方法
CN111126238B (zh) * 2019-12-19 2023-06-20 华南理工大学 一种基于卷积神经网络的x光安检***及方法
CN111126238A (zh) * 2019-12-19 2020-05-08 华南理工大学 一种基于卷积神经网络的x光安检***及方法
CN111167733A (zh) * 2020-01-14 2020-05-19 东莞理工学院 一种视觉缺陷自动检测***
CN111429410A (zh) * 2020-03-13 2020-07-17 杭州电子科技大学 一种基于深度学习的物体x射线图像材质判别***及方法
CN111429410B (zh) * 2020-03-13 2023-09-01 杭州电子科技大学 一种基于深度学习的物体x射线图像材质判别***及方法
US11989890B2 (en) * 2020-03-31 2024-05-21 Hcl Technologies Limited Method and system for generating and labelling reference images
US20210303924A1 (en) * 2020-03-31 2021-09-30 Hcl Technologies Limited Method and system for generating and labelling reference images
CN112144150A (zh) * 2020-10-16 2020-12-29 北京经纬纺机新技术有限公司 一种应用深度学习图像处理的分布式异性纤维分检***
CN112764120A (zh) * 2020-12-29 2021-05-07 深圳市创艺龙电子科技有限公司 金属探测成像***和具有其的扫描设备
CN113159110A (zh) * 2021-03-05 2021-07-23 安徽启新明智科技有限公司 一种基于x射线液体智能检测方法
WO2023087653A1 (zh) * 2021-11-17 2023-05-25 湖南苏科智能科技有限公司 基于神经网络和多源数据的双视角关联安检方法及***
CN114332543B (zh) * 2022-01-10 2023-02-14 成都智元汇信息技术股份有限公司 一种多模板的安检图像识别方法、设备及介质
CN114332543A (zh) * 2022-01-10 2022-04-12 成都智元汇信息技术股份有限公司 一种多模板的安检图像识别方法、设备及介质

Also Published As

Publication number Publication date
WO2020187077A1 (zh) 2020-09-24

Similar Documents

Publication Publication Date Title
CN109946746A (zh) 一种基于深度神经网络的安检***及方法
CN110018524B (zh) 一种基于视觉-属性的x射线安检违禁品识别方法
CN108198227A (zh) 基于x光安检机图像的违禁品智能识别方法
CN106845372B (zh) 一种星载遥感光学图像的船舶目标检测识别方法和***
CN106815604B (zh) 基于多层信息融合的注视点检测方法
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及***
CN105842173B (zh) 一种高光谱材质鉴别方法
CN109460814A (zh) 一种具有防御对抗样本攻击功能的深度学习分类方法
CN108710868A (zh) 一种基于复杂场景下的人体关键点检测***及方法
US20070058037A1 (en) User interface for use in screening luggage, containers, parcels or people and apparatus for implementing same
CN109284669A (zh) 基于Mask RCNN的行人检测方法
CN107729818A (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN108491797A (zh) 一种基于大数据的车辆图像精确检索方法
US20080062262A1 (en) Apparatus, method and system for screening receptacles and persons
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN108288279A (zh) 一种基于x光图像前景目标提取的物品甄别方法
CN110020647A (zh) 一种违禁品目标检测方法、装置及计算机设备
CN109190491A (zh) 残差卷积神经网络sar影像海冰分类方法
CN109284786A (zh) 基于分布和结构匹配生成对抗网络的sar图像地物分类方法
CN109522924A (zh) 一种基于单张照片的阔叶林树种识别方法
CN110488368A (zh) 一种基于双能x光安检机的违禁品识别方法及装置
CN110414391A (zh) 基于深度学习算法的主动移动式车底危险品检测装置
CN112712093A (zh) 安检图像识别方法、装置、电子设备及存储介质
CN113963222A (zh) 一种基于多策略组合的高分辨率遥感影像变化检测方法
CN106951863A (zh) 一种基于随机森林的变电站设备红外图像变化检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190628

RJ01 Rejection of invention patent application after publication