CN110321851A - 一种违禁物品检测方法、装置及设备 - Google Patents
一种违禁物品检测方法、装置及设备 Download PDFInfo
- Publication number
- CN110321851A CN110321851A CN201910603933.2A CN201910603933A CN110321851A CN 110321851 A CN110321851 A CN 110321851A CN 201910603933 A CN201910603933 A CN 201910603933A CN 110321851 A CN110321851 A CN 110321851A
- Authority
- CN
- China
- Prior art keywords
- pixel characteristic
- prohibited items
- picture
- identified
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000012216 screening Methods 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Educational Administration (AREA)
- Multimedia (AREA)
- Development Economics (AREA)
Abstract
本发明公开了一种违禁物品检测方法，由于通过具有多层卷积核的卷积神经网络提取的待识别图片的像素特征，能够消除掉待识别图片中背景特征的干扰，只留取目标物体的像素特征，如此一来，在将归一化后的第二像素特征图与第一像素特征图融合之后，可以加强各个目标物体的像素特征，以便提高各种违禁物品的识别准确率，自然也提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患。本发明还公开了一种违禁物品检测装置及设备，具有如上违禁物品检测方法相同的有益效果。
Description
技术领域
本发明涉及图片识别领域，特别是涉及一种违禁物品检测方法，本发明还涉及一种违禁物品检测装置及设备。
背景技术
违禁物品的检查可以极大的保证人口密度较大的场合(如地铁以及火车等交通枢纽)的群众的生命财产安全，现有技术中通常会对物品进行扫描(例如X光扫描)得到扫描图片，之后会利用分类器对图片中的物品进行分类并检测出违禁物品，但是现有技术中没有一种成熟的检测方法，经常会出现无法辨别出体积较小的违禁物品的现象，对于违禁物品的排查不够彻底，存在安全隐患。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种违禁物品检测方法，提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患；本发明的另一目的是提供一种违禁物品检测装置及设备，提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患。
为解决上述技术问题，本发明提供了一种违禁物品检测方法，包括：
提取待识别图片的像素特征，得到第一像素特征图；
通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图；
将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图；
依据所述第三像素特征图进行违禁物品的识别。
优选地，所述通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图具体为：
通过具有多层卷积核的卷积神经网络对所述待识别图片进行多次下采样操作；
对经过下采样后的所述待识别图片进行上采样操作；
通过两个1*1卷积核压缩经过上采样后的所述待识别图片的通道信息，得到第二像素特征图。
优选地，所述对经过下采样后的所述待识别图片进行上采样操作具体为：
采用双线性插值法对经过下采样后的所述待识别图片进行上采样操作。
优选地，所述将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图具体为：
将所述第一像素特征图以及经过归一化后的所述第二像素特征图进行矩阵点乘，得到增强的所述第一像素特征图；
将所述第一像素特征图以及增强的所述第一像素特征图相加，输出融合的第三像素特征图。
优选地，所述依据所述第三像素特征图进行违禁物品的识别具体为：
将所述第三像素特征图输入区域候选网络RPN网络，得到具有预设数目个候选区域的第四像素特征图；
将所述第四像素特征图依次输入到分类器以及回归器，得到对于所述待识别图片的检测结果。
优选地，所述归一化后的所述第二像素特征图具体为：
通过sigmoid函数将所述第二像素特征图中的像素值转换为0到1之间的概率值，得到的归一化后的所述第二像素特征图。
优选地，所述提取待识别图片的像素特征，得到第一像素特征图之前，该违禁物品检测方法还包括：
将待识别图片进行与i的数量相对应的预设类型的翻转处理，所述i的初始值为预设数值；
则所述依据所述第三像素特征图进行违禁物品的识别之后，该违禁物品检测方法还包括：
判断i是否等于预设数值；
若否，则将i的数值+1并返回步骤：
将待识别图片进行与i的数量相对应的预设类型的翻转处理；
若是，则将所有的对于不同翻转类型的所述待识别图片的违禁物品识别结果进行非极大值抑制，得到最终的违禁物品检测结果。
优选地，所述得到最终的违禁物品检测结果之后，该违禁物品检测方法还包括：
控制提示器提示最终的所述违禁物品检测结果。
为解决上述技术问题，本发明还提供了一种违禁物品检测装置，包括：
第一提取模块，用于提取待识别图片的像素特征，得到第一像素特征图；
第二提取模块，用于通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图；
融合模块，用于将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图；
识别模块，用于依据所述第三像素特征图进行违禁物品的识别。
为解决上述技术问题，本发明还提供了一种违禁物品检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述违禁物品检测方法的步骤。
本发明提供了一种违禁物品检测方法，由于通过具有多层卷积核的卷积神经网络提取的待识别图片的像素特征，能够消除掉待识别图片中背景特征的干扰，只留取目标物体的像素特征，如此一来，在将归一化后的第二像素特征图与第一像素特征图融合之后，可以加强各个目标物体的像素特征，以便提高各种违禁物品的识别准确率，自然也提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患。
本发明还提供了一种违禁物品检测装置及设备，具有如上违禁物品检测方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种违禁物品检测方法的流程示意图；
图2为本发明提供的一种违禁物品检测装置的结构示意图；
图3为本发明提供的一种违禁物品检测设备的结构示意图。
具体实施方式
本发明的核心是提供一种违禁物品检测方法，提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患；本发明的另一核心是提供一种违禁物品检测装置及设备，提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明提供的一种违禁物品检测方法的流程示意图，包括：
步骤S1：提取待识别图片的像素特征，得到第一像素特征图；
具体的，待识别图片中存在目标物体，以及其余的背景区域，本步骤中提取待识别图片的像素特征的目的在于提取出目标物体的像素特征，以便后续步骤中利用具有目标物体像素特征的第一像素特征图进行违禁物品的识别。
其中，待识别图片可以为多种类型的图片，例如可以为地铁以及火车站安检机获得的X光图片等，本发明实施例在此不做限定。
具体的，本发明实施例中的违禁物品可以为多种，例如可以为地铁以及火车等交通工具禁止携带的危险物品，包括管制刀具等，本发明实施例在此不做限定。
具体的，本发明实施例可以选用以Resnet作为卷积特征提取器的Fasterrcnn检测器来进行，该模型可以利用Tensorflow框架来构建。
当然，还可以选用其他类型的检测器来进行本发明实施例中的特征提取等步骤，本发明实施例在此不做限定。
步骤S2：通过具有多层卷积核的卷积神经网络提取待识别图片的像素特征，得到第二像素特征图；
具体的，具有多层卷积核的卷积神经网络能够对待识别图片中的目标物体进行较深层次的像素特征的识别，并且剔除掉背景特征，从而提取出较为纯粹的目标物体的像素特征，并将其作为第二像素特征图。
其中，卷积核的层数可以根据实际需求进行自主设定，例如可以设置为5层等，本发明实施例在此不做限定。
其中，每层卷积核后面可以接一个平均池化操作，本发明实施例在此不做限定。
步骤S3：将第一像素特征图与归一化后的第二像素特征图融合，得到第三像素特征图；
具体的，归一化处理可以将第二像素特征图中目标物体的像素特征的像素值转换为0-1以内的概率值，即代表该像素值有多大的概率是某个物体，例如某个像素值有0.8的概率是水果刀等，本发明实施例在此不做限定。
其中，将归一化后的第二像素特征图与第一像素特征图融合，可以利用第二像素特征图中较为纯粹的目标物体的像素特征对第一像素特征图进行增强，以便后续步骤利用第三像素特征图更准确地识别出各个目标物体，即违禁物品。
步骤S4：依据第三像素特征图进行违禁物品的识别。
具体的，由于利用归一化后的第二像素特征图对第一像素特征图进行了目标物体像素特征的增强，从而得到了第三像素特征图，因此利用第三像素特征图能够更加准确地识别出各种目标物体，从而也能够更加准确地识别出小体积的违禁物品，降低了漏检率，排除了安全隐患。
本发明提供了一种违禁物品检测方法，由于通过具有多层卷积核的卷积神经网络提取的待识别图片的像素特征，能够消除掉待识别图片中背景特征的干扰，只留取目标物体的像素特征，如此一来，在将归一化后的第二像素特征图与第一像素特征图融合之后，可以加强各个目标物体的像素特征，以便提高各种违禁物品的识别准确率，自然也提高了小体积违禁物体的识别准确率，能够彻底地对违禁物品进行排查，消除了安全隐患。
在上述实施例的基础上：
作为一种优选的实施例，通过具有多层卷积核的卷积神经网络提取待识别图片的像素特征，得到第二像素特征图具体为：
通过具有多层卷积核的卷积神经网络对待识别图片进行多次下采样操作；
对经过下采样后的待识别图片进行上采样操作；
通过两个1*1卷积核压缩经过上采样后的待识别图片的通道信息，得到第二像素特征图。
具体的，通过具有多层卷积核的卷积神经网络对待识别图片进行多次下采样操作可以较深层次地对待识别图片中目标物体的像素特征进行挖掘提取。
具体的，上采样操作可以将经过下采样操作缩小后的图片进行放大，得到与第一像素特征图大小相同的第二像素特征图，便于后续的融合处理。
其中，在利用具有多层卷积核的卷积神经网络进行下采样的过程中，有可能导致第二像素特征图的通道信息较多，与第一像素特征图不一致，影响后续的融合过程，因此本发明实施例中可以通过两个1*1卷积核压缩经过上采样后的待识别图片的通道信息，使得第二像素特征图的通道信息与第一像素特征图保持一致，便于后续的融合过程。
作为一种优选的实施例，对经过下采样后的待识别图片进行上采样操作具体为：
采用双线性插值法对经过下采样后的待识别图片进行上采样操作。
具体的，双线性插值法可以快速准确地进行上采样操作。
当然，除了双线性插值法外，还可以采用其他的方法进行上采样操作，本发明实施例在此不做限定。
作为一种优选的实施例，将第一像素特征图与归一化后的第二像素特征图融合，得到第三像素特征图具体为：
将第一像素特征图以及经过归一化后的第二像素特征图进行矩阵点乘，得到增强的第一像素特征图；
将第一像素特征图以及增强的第一像素特征图相加，输出融合的第三像素特征图。
具体的，矩阵点乘之后，相当于利用第二像素特征图中的概率值对于第一像素特征图中的像素值进行了权重加成，例如第一像素特征图中的像素值A，在第二像素特征图中与像素值A对应的概率值为0.8，那么矩阵点乘的过程为A*0.8＝0.8A，增强后的第一像素特征图中的像素值A的像素值便由A变为了0.8A。
具体的，将增强的第一像素特征图与第一像素特征图相加，可以实现归一化后的第二像素特征图对于第一像素特征图的增强，以上述的像素值A为例，第三像素特征图中的像素值A的像素值便可以由第一像素特征图中的A变为1.8A，相当于可以深层次地挖掘各个像素值是否为违禁物品，提高了违禁物品的识别率。
作为一种优选的实施例，依据第三像素特征图进行违禁物品的识别具体为：
将第三像素特征图输入区域候选网络RPN网络，得到具有预设数目个候选区域的第四像素特征图；
将第四像素特征图依次输入到分类器以及回归器，得到对于待识别图片的检测结果。
具体的，RPN(Region proposal network，区域候选网络)网络可以起到对第三像素特征图进行分割的作用，可以将第三像素特征图分割为预设尺寸(例如7*7)的像素特征图，而分类器可以进行违禁物品的识别，回归器可以定位出违禁物品在待识别图像中的具***置坐标，位置坐标可以为多种类型，例如(x1，y1，x2，y2)，其中，(x1，y1)可以表示每个违禁物品在待识别图片内的左上角坐标，(x2，y2)可以表示右下角坐标。
具体的，将第三像素特征图依次输入RPN网络、分类器以及回归器的过程与现有技术中类似，可以起到输出违禁物品的识别结果的作用，本发明实施例在此不再赘述。
其中，所述预设数目可以自主设定，例如可以设置为2000等，本发明实施例在此不做限定。
作为一种优选的实施例，归一化后的第二像素特征图具体为：
通过sigmoid函数将第二像素特征图中的像素值转换为0到1之间的概率值，得到的归一化后的第二像素特征图。
具体的，通过sigmoid函数将第二像素特征图中的像素值转换为0到1之间的概率值具有速度快以及准确度高等优点。
当然，除了该方法外，还可以采用其他类型的方法进行归一化处理，本发明实施例在此不做限定。
作为一种优选的实施例，提取待识别图片的像素特征，得到第一像素特征图之前，该违禁物品检测方法还包括：
将待识别图片进行与i的数量相对应的预设类型的翻转处理，i的初始值为预设数值；
则依据第三像素特征图进行违禁物品的识别之后，该违禁物品检测方法还包括：
判断i是否等于预设数值；
若否，则将i的数值+1并返回步骤：
将待识别图片进行与i的数量相对应的预设类型的翻转处理；
若是，则将所有的对于不同翻转类型的待识别图片的违禁物品识别结果进行非极大值抑制，得到最终的违禁物品检测结果。
具体的，考虑到分类器对于不同翻转角度的待识别图片的处理结果很可能不同，例如某些图片中物体比较密集且重叠较为严重的情况下，不同翻转角度下，目标物体的位置坐标是不同的，影响了违禁物品的识别过程，本发明实施例中可以对待识别图片进行预设次数的翻转处理，且将每次翻转处理后的待识别图片都进行一次上述任一实施例中的违禁物品检测方法的流程，相当于得到了与翻转次数相同数目的识别结果，然后对于不同翻转类型的待识别图片的违禁物品识别结果进行非极大值抑制，利用非极大值抑制方法将所有的识别结果进行融合，相当于确定出对于同一像素点来说概率最高的目标物体的结果，例如对于位于不同翻转类型的待识别图片中的像素点B，识别为不同物体的概率不同，获取其中概率值最大的识别结果，将像素点B识别为电容电池。
其中，翻转类型可以为多种，例如可以为不翻转、水平翻转、竖直翻转以及逆时针旋转90°等，本发明实施例在此不做限定。
其中，预设数值可以进行自主设定，例如可以设置为i的初始值加3(其中，初始值可以自主设定，例如可以为0等)，相当于共有四种翻转类型，本发明实施例在此不做限定。
作为一种优选的实施例，得到最终的违禁物品检测结果之后，该违禁物品检测方法还包括：
控制提示器提示最终的违禁物品检测结果。
具体的，将违禁物品检测结果提示出来有利于工作人员迅速根据检测结果做出不同的应对措施，提高了工作效率，提示器的类型可以为多种，例如可以为文字提示或者语音提示等，本发明实施例在此不做限定。
具体的，本发明实施例提供的一种具体实施例可以为：
(1)、在带有英伟达NVIDIA图像处理器GTX1080Ti的计算机上，安装Ubuntu1604***，并安装配置好NVIDIA官方提供的CUDA(Compute Unified Device Architecture，统一计算设备架构)运行环境。
(2)、搭建tensorflow深度学***台，tensorflow是一个基于数据流编程的符号数学***，拥有多层级结构，可部署于各类服务器、PC(personal computer，个人计算机)终端和网页，并支持GPU(Graphics Processing Unit，图形处理器)和TPU(TensorProcessing Unit，张量处理单元)高性能数值计算，是一款优秀的主流深度学习框架，也是目前最受欢迎的深度学习框架之一。tensorflow环境的搭建步骤可以参照官方的安装指南。
(3)、收集预设张数(2000)张实际应用场景下X光安检机的过包图像作为该检测方法的数据集，尽量使每张图像中的物体随机分布，满足多尺度要求，也就是使违禁物品在每张图像中的分布有的稀疏，有的密集。
(4)、根据实际情况定义需要在X光图像中检测识别出的违禁物品类别，本发明中的类别定义共有四类，分别是管制刀具、打火机、电源电池、剪刀。标注出每张图像中的违禁物品的位置坐标，以矩形框坐标形式储存，将这些类别和坐标转换成COCO(Common Objectsin COntext)数据集的格式，用json格式文件保存。
(5)、利用tensorflow框架，实现Faster rcnn物体检测器算法，例如上述方法实施例中的步骤将不同翻转类型的待识别图片的的检测结果进行非极大值抑制，得到最后的检测结果。
(6)、利用(3)和(4)中提供好的X光图像集以及标注好的数据，以及(5)中实现的Faster rcnn算法，对此模型进行训练，为了加快训练过程，本发明中使用了2个GTX1080Ti图形处理器并行训练，2000张原始X光图像，预处理后变为6000张X光图像，训练耗时大约可以是7个小时。
(7)、将(5)中得到的直接用于违禁物品检测识别的Faster rcnn模型，部署在一套软件之中。将安检机的视频输出信号HDMI(High Definition Multimedia Interface，高清多媒体接口)接口接在图像采集卡上，通过图像采集卡SDK(Software Development Kit，软件开发工具包)获取安检机的最新图像画面，利用(6)中训练得到的Faster rcnn模型，检测从安检机截取出来的X光图像中是否存在违禁物品。并将检测到的违禁物品类型以及位置坐标用矩形框绘制出来，同时将模型的预测概率也绘制在图片上。在算法实际测检测部署中，类别概率可以选定一个阈值，当大于0.7时，则认为存在违禁物品目标，在现有检测技术中，某个待识别图片的左上角处的一堆电容电池目标无法有效检出，有时会被当成非违禁物品而忽略掉。通过本发明实施例中的方法可以将这部分特征增强后，使得后续的分类器和回归器更容易、更准确的将其分类和定位，从而有效提高了小体积物体违禁物品的检出效果。
请参考图2，图2为本发明提供的一种违禁物品检测装置的结构示意图，包括：
第一提取模块1，用于提取待识别图片的像素特征，得到第一像素特征图；
第二提取模块2，用于通过具有多层卷积核的卷积神经网络提取待识别图片的像素特征，得到第二像素特征图；
融合模块3，用于将第一像素特征图与归一化后的第二像素特征图融合，得到第三像素特征图；
识别模块4，用于依据第三像素特征图进行违禁物品的识别。
对于本发明实施例提供的违禁物品检测装置的介绍请参考前述的违禁物品检测方法的实施例，本发明实施例在此不再赘述。
请参考图3，图3为本发明提供的一种违禁物品检测设备的结构示意图，包括：
存储器5，用于存储计算机程序；
处理器6，用于执行计算机程序时实现如上任一项违禁物品检测方法的步骤。
对于本发明实施例提供的违禁物品检测设备的介绍请参考前述的违禁物品检测方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种违禁物品检测方法，其特征在于，包括：
提取待识别图片的像素特征，得到第一像素特征图；
通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图；
将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图；
依据所述第三像素特征图进行违禁物品的识别。
2.根据权利要求1所述的违禁物品检测方法，其特征在于，所述通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图具体为：
通过具有多层卷积核的卷积神经网络对所述待识别图片进行多次下采样操作；
对经过下采样后的所述待识别图片进行上采样操作；
通过两个1*1卷积核压缩经过上采样后的所述待识别图片的通道信息，得到第二像素特征图。
3.根据权利要求2所述的违禁物品检测方法，其特征在于，所述对经过下采样后的所述待识别图片进行上采样操作具体为：
采用双线性插值法对经过下采样后的所述待识别图片进行上采样操作。
4.根据权利要求3所述的违禁物品检测方法，其特征在于，所述将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图具体为：
将所述第一像素特征图以及经过归一化后的所述第二像素特征图进行矩阵点乘，得到增强的所述第一像素特征图；
将所述第一像素特征图以及增强的所述第一像素特征图相加，输出融合的第三像素特征图。
5.根据权利要求1所述的违禁物品检测方法，其特征在于，所述依据所述第三像素特征图进行违禁物品的识别具体为：
将所述第三像素特征图输入区域候选网络RPN网络，得到具有预设数目个候选区域的第四像素特征图；
将所述第四像素特征图依次输入到分类器以及回归器，得到对于所述待识别图片的检测结果。
6.根据权利要求1所述的违禁物品检测方法，其特征在于，所述归一化后的所述第二像素特征图具体为：
通过sigmoid函数将所述第二像素特征图中的像素值转换为0到1之间的概率值，得到的归一化后的所述第二像素特征图。
7.根据权利要求1至6任一项所述的违禁物品检测方法，其特征在于，所述提取待识别图片的像素特征，得到第一像素特征图之前，该违禁物品检测方法还包括：
将待识别图片进行与i的数量相对应的预设类型的翻转处理，所述i的初始值为预设数值；
则所述依据所述第三像素特征图进行违禁物品的识别之后，该违禁物品检测方法还包括：
判断i是否等于预设数值；
若否，则将i的数值+1并返回步骤：
将待识别图片进行与i的数量相对应的预设类型的翻转处理；
若是，则将所有的对于不同翻转类型的所述待识别图片的违禁物品识别结果进行非极大值抑制，得到最终的违禁物品检测结果。
8.根据权利要求7所述的违禁物品检测方法，其特征在于，所述得到最终的违禁物品检测结果之后，该违禁物品检测方法还包括：
控制提示器提示最终的所述违禁物品检测结果。
9.一种违禁物品检测装置，包括：
第一提取模块，用于提取待识别图片的像素特征，得到第一像素特征图；
第二提取模块，用于通过具有多层卷积核的卷积神经网络提取所述待识别图片的像素特征，得到第二像素特征图；
融合模块，用于将所述第一像素特征图与归一化后的所述第二像素特征图融合，得到第三像素特征图；
识别模块，用于依据所述第三像素特征图进行违禁物品的识别。
10.一种违禁物品检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述违禁物品检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603933.2A CN110321851A (zh) | 2019-07-05 | 2019-07-05 | 一种违禁物品检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910603933.2A CN110321851A (zh) | 2019-07-05 | 2019-07-05 | 一种违禁物品检测方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110321851A true CN110321851A (zh) | 2019-10-11 |
Family
ID=68122796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910603933.2A Pending CN110321851A (zh) | 2019-07-05 | 2019-07-05 | 一种违禁物品检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110321851A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860510A (zh) * | 2020-07-29 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种x光图像目标检测方法及装置 |
| CN112801070A (zh) * | 2021-04-14 | 2021-05-14 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN116449999A (zh) * | 2023-06-16 | 2023-07-18 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 包裹安检登记方法、装置、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
-
2019
- 2019-07-05 CN CN201910603933.2A patent/CN110321851A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341517A (zh) * | 2017-07-07 | 2017-11-10 | 哈尔滨工业大学 | 一种基于深度学习层级间特征融合的多尺度小物体检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| F. WANG ET AL.，: "Residual attention network for image classification", 《IN CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| 李玉: "基于卷积神经网络的射线图像识别***的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860510A (zh) * | 2020-07-29 | 2020-10-30 | 浙江大华技术股份有限公司 | 一种x光图像目标检测方法及装置 |
| CN112801070A (zh) * | 2021-04-14 | 2021-05-14 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN112801070B (zh) * | 2021-04-14 | 2021-09-21 | 浙江啄云智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
| CN116449999A (zh) * | 2023-06-16 | 2023-07-18 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 包裹安检登记方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110060237B (zh) | 一种故障检测方法、装置、设备及*** | |
| CN108121997A (zh) | 使用机器学习模型的图像数据中的对象分类 | |
| CN109101897A (zh) | 水下机器人的目标检测方法、***及相关设备 | |
| CN111179217A (zh) | 一种基于注意力机制的遥感图像多尺度目标检测方法 | |
| CN109522966A (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
| CN108122239A (zh) | 使用深度分割的图像数据中的对象检测 | |
| KR101930940B1 (ko) | 영상 분석 장치 및 방법 | |
| CN110321851A (zh) | 一种违禁物品检测方法、装置及设备 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN110135424A (zh) | 倾斜文本检测模型训练方法和票证图像文本检测方法 | |
| CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN100561505C (zh) | 一种图像检测方法及装置 | |
| CN110210482B (zh) | 改进类别不平衡的目标检测方法 | |
| CN108596944A (zh) | 一种提取运动目标的方法、装置及终端设备 | |
| Visaniy et al. | Icdar 2013 music scores competition: Staff removal | |
| CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
| CN110490232A (zh) | 训练文字行方向预测模型的方法、装置、设备、介质 | |
| CN106127748A (zh) | 一种图像特征样本数据库及其建立方法 | |
| CN112884033B (zh) | 一种基于卷积神经网络的生活垃圾分类检测方法 | |
| Luo et al. | Robot detection and localization based on deep learning | |
| WO2022152009A1 (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
| CN113807347A (zh) | 一种基于目标检测技术的厨余垃圾杂质识别方法 | |
| CN109635755A (zh) | 人脸提取方法、装置及存储介质 | |
| CN116524312A (zh) | 一种基于注意力融合特征金字塔网络的红外小目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191011 |