CN111860510A - 一种x光图像目标检测方法及装置 - Google Patents
一种x光图像目标检测方法及装置 Download PDFInfo
- Publication number
- CN111860510A CN111860510A CN202010745943.2A CN202010745943A CN111860510A CN 111860510 A CN111860510 A CN 111860510A CN 202010745943 A CN202010745943 A CN 202010745943A CN 111860510 A CN111860510 A CN 111860510A
- Authority
- CN
- China
- Prior art keywords
- class
- target detection
- confidence
- contraband
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/05—Recognition of patterns representing particular kinds of hidden objects, e.g. weapons, explosives, drugs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本申请提供了一种X光图像目标检测方法及装置,其中,该方法包括:对采集的X光图像进行特征提取,得到多尺度特征;将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;根据所述第一类别置信度与所述目标检测框对违禁品进行定位,可以解决相关技术中仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高的问题,通过同时输入独立的多个类别检测网络,对违禁品进行多类别识别,实现X光安检图像物品交融透视场景下的违禁品检测,提高了实际应用场景中违禁品检测的精度。
Description
技术领域
本发明涉及图像处理领域,具体而言,涉及一种X光图像目标检测方法及装置。
背景技术
各自场所关卡的违禁物品检测是维护公共安全的关键防线之一,主要通过安检人员肉眼查审X光机成像下的行李包裹图片实现。随着人工智能的不断发展与技术落地,以计算机智能审图技术辅助传统X光安检危险物品检测的方案越来越普及。相关技术广泛应用于机场、火车站、地铁、客运站、法院、货运、海关等场所,辅助安检员进行各种危禁物品的检测,降低传统纯人工查看带来的漏检与误检率,提高工作效率。准确高效的技术的关键目标,目前智能审图技术主要通过有监督的深度学习实现,物品成像角度、相互遮挡、种类形状繁多、人工标注复杂低效一直是该项技术的困难点。
相关技术中设计多分类多标签检测网络,对传统检测网络的候选框类别预测分支进行多标签预测改造,提升目标检测精度。仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高。
针对相关技术中仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高的问题,尚未提出解决方案。
发明内容
本发明实施例提供了一种X光图像目标检测方法及装置,以至少解决相关技术中仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高的问题。
根据本发明的一个实施例,提供了一种X光图像目标检测方法,包括:
对采集的X光图像进行特征提取,得到多尺度特征;
将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地,根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括:
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框,执行以下步骤:
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值;
在判断结果为是的情况下,根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地,根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括:
分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度,和/或将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度;
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率,或者,分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率;
根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地,分别根据所述第一类别置信度与所述第二类别置信度确定所述多个目标的类别预测概率包括:
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多个目标的类别预测概率;
分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率包括:
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多个目标的类别预测概率。
可选地,分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度包括:
将所述目标检测框输入到预先训练好的特征提取网络中,得到所述目标检测框的预定尺寸的特征;
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中,得到所述目标检测框的热点图;
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地,将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度包括:
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中,得到所述目标检测框的特征信息;
分别将所述目标检测框的特征信息输入到多个全连接分类分支中,得到所述目标检测框对应多任务分类的第三类别置信度。
可选地,将所述多尺度特征输入预先训练好的独立的多类别检测网络中,得到所述多尺度特征对应多个类别的第一类别置信度和目标位置包括:
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层,得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
根据本发明的另一个实施例,还提供了一种X光图像目标检测装置,包括:
特征提取模块,用于对采集的X光图像进行特征提取,得到多尺度特征;
输入模块,用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
定位模块,用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地,所述定位模块包括:
执行子模块,用于对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框,执行以下步骤:
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值;
在判断结果为是的情况下,根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地,所述定位模块包括:
关键点检测子模块,用于分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度,和/或
输入子模块,用于将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度;
确定子模块,用于分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率,或者,分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率;
定位模块,用于根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地,所述确定子模块,还用于
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多个目标的类别预测概率;或者
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多个目标的类别预测概率。
可选地,所述关键点检测子模块,还用于
将所述目标检测框输入到预先训练好的特征提取网络中,得到所述目标检测框的预定尺寸的特征;
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中,得到所述目标检测框的热点图;
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地,所述输入子模块,还用于
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中,得到所述目标检测框的特征信息;
分别将所述目标检测框的特征信息输入到多个全连接分类分支中,得到所述目标检测框对应多任务分类的第三类别置信度。
可选地,所述输入模块,还用于
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层,得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
根据本发明的又一个实施例,还提供了一种计算机可读的存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明实施例,对采集的X光图像进行特征提取,得到多尺度特征;将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;根据所述第一类别置信度与所述目标检测框对违禁品进行定位,可以解决相关技术中仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高的问题,通过同时输入独立的多个类别检测网络,对违禁品进行多类别识别,实现X光安检图像物品交融透视场景下的违禁品检测,提高了实际应用场景中违禁品检测的精度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的X光图像目标检测方法的移动终端的硬件结构框图;
图2是根据本发明实施例的X光图像目标检测方法的流程图;
图3是根据本发明实施例的基于多任务联合学习及关键点检测的X光图像违禁品检测的示意图;
图4是根据本发明实施例的多任务分类的示意图;
图5是根据本发明实施例的关键点检测的示意图;
图6是根据本发明实施例的X光图像目标检测装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例,图1是本发明实施例的X光图像目标检测方法的移动终端的硬件结构框图,如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的X光图像目标检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的X光图像目标检测方法,图2是根据本发明实施例的X光图像目标检测方法的流程图,如图2所示,该流程包括如下步骤:
步骤S202,对采集的X光图像进行特征提取,得到多尺度特征;
步骤S204,将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框,进一步的,将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层,得到对应所述多个类别的所述第一类别置信度和所述目标检测框;
步骤S206,根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
通过上述步骤S202至S206,可以解决相关技术中仅对传统检测网络的分类分支进行改造,候选框的位置目标还是被唯一指定为某一类别的位置框,导致违禁品检测精度不高的问题,通过同时输入独立的多个类别检测网络,对违禁品进行多类别识别,实现X光安检图像物品交融透视场景下的违禁品检测,提高了实际应用场景中违禁品检测的精度。
在一可选的实施例中,上述步骤S206具体可以包括:
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框,执行以下步骤:判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值;在判断结果为是的情况下,根据对应所述每类违禁品的目标检测框对违禁品进行定位。
在另一可选的实施例中,上述步骤S206还可以包括:
分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度,进一步的,将所述目标检测框输入到预先训练好的特征提取网络中,得到所述目标检测框的预定尺寸的特征;将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中,得到所述目标检测框的热点图;根据所述热点图确定所述目标检测框对应关键点的第二类别置信度,和/或,将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度,进一步的,将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中,得到所述目标检测框的特征信息,分别将所述目标检测框的特征信息输入到多个全连接分类分支中,得到所述目标检测框对应多任务分类的第三类别置信度;分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率,进一步的,分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多个目标的类别预测概率;或者,分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率,进一步的,分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多个目标的类别预测概率;根据所述类别预测概率与所述目标检测框对违禁品进行定位。通过进一步对目标检测框进行关键点检测,违禁品往往有其特征明显的部件,通过关键点的识别可以提高违禁品检测的精度和效率,如打火机的黑丁、喷罐的头尾等;若违禁品低危项铁罐与高危项金属喷罐同样是圆柱状金属容器,其x光成像相似,单纯的检测方案存在严重的混检现象,通过多任务分类,可以进一步区分细类别,即通过包括多任务分类和/或关键点检测的二次辅助判断,可以进一步提高违禁品的检测精度。
本实施例采用共享基础特征提取层的方法,建立多个类别的独立检测模块,即将之前的多类检测问题调整为多个单类检测问题,每个类别的检测部分都是独立的。在扩展新的类别时,无需重训整个网络,只要对新类别检测分支进行微调训练,这种方式降低了扩展新类的时间与成本,为检测器的在线学习提供可能。采用多任务分类的方式及关键点检测的方式进行二次辅助判断,提升检测的精度。其中多任务分类器的实现方式,通过基础网络提取特征,后连接多个softmax分类分支预测多个不同的任务,通过不同属性任务的学习提升分类精度。关键点检测的实现方式,采用的基础网络框架与多任务分类相同,通过热点图预测分支,最终得到关键热点图,通过关键部位的粗定位来提升违禁品检测的精度。
本发明实施例主要实现对采集到x光渲染图进行特定违禁物品的检测定位,图3是根据本发明实施例的基于多任务联合学习及关键点检测的X光图像违禁品检测的示意图,如图3所示,包括:
步骤1,共享的X光包裹图像特征提取模块。首先对安检机渲染的得到X光包裹图像进行尺度归一化,再经过基础网络提取各尺度的特征。本方案选用VGG-19作为基础网络框架。该共享特征提取模块基础网络的初始权重为较成熟的神经网络模型(可以选用VGG-19)在大规模数据集上训练好的特征提取权重,而其最终权重通过步骤2所述的多任务反馈学习得到。
步骤2,多种危险品的分支检测模块。将图像经过步骤1后得到的多尺度特征,分别连接到各类别独立的类别预测层和位置回归层,得到各类别的初步检测框。本技术方案中的多任务学习涵盖两部分,一是多危险物品类别的独立分支检测网络的学习,二是该类别目标的多属性学习,步骤2中分支检测模块主要涉及第一种学习。
在X光图像下的违禁品检测任务中,最突出的难点就是物品之间的遮挡关系,这直接导致图像中物品相互交融透视。在一般基于深度学习的图像检测网络方案中,首先要基于特征尺度及长宽比设定先验框,相当于锚点。然后根据预设先验框与实际标注框的重合度设定先验框的对应类别与位置偏移目标,图像经过网络正向执行得到的结果与目标之间计算损失,利用梯度下降法不断反馈学习得到检测网络的权重。X光物品的透视关系导致前述先验框与多个物品实际标注框对应的重合度都很高。这种情况下,传统以最高重合度物品作为先验框的正学习目标的方法,其它类别被作为抑制学习目标,不利于其它类别的特征学习。本实施例中的各类别的预测是独立并行的,采用基础网络共享,分开预测各类别及其位置的方法,即多违禁物品类别的分支检测网络,来解决其透视关系影响。步骤1中基础网络的权重学习尤为关键,其要具备所有检测物品的特征提取能力。简单将各类别损失相加,往往会使得网络偏重于样本规模较大的类别预测分支。为了改善样本均衡问题,本方案在训练阶段以该批次样本的类别数量进行加权融合。第i类预测分支的损失函数计算公式如下:
由第i类的位置误差(采用Smooth L1Loss)和置信度误差为(采用SoftmaxLoss)组成,其中x为示性函数(先验框与该类目标框匹配时,其值为1,否则为0),pi为i类别置信度预测值,li为i类先验框所对应边界框的位置预测值,gi代表其目标位置框,Ni为其先验框正样本个数。
最终的损失L由以下融合公式计算:
wi=1/max(ni,0);
其中,ni为第i类的样本数目。
步骤3,二次辅助判断模块,步骤3的输入为根据步骤2输出的预测结果获得的目标小图。首先将目标小图归一化到同一尺度224×224,再输入到各类别对应的二次辅助判断网络中。本方案中二次辅助判断有两种不同的实现方式,一是多任务分类,二是关键点检测,针对不同的物品类别采用不同的辅助判断方式。
多任务分类,图4是根据本发明实施例的多任务分类的示意图,如图4所示,在步骤2得到检测结果小图后,连接一个分类器做二次过滤,本实施例采用多任务分类器实现。正负样本的分类器是常见的二次辅助精度提升方式。而由于很多违禁品的成像相似物非常多,导致步骤2的检测中有些违禁品结果区分精度并不高,如违禁品低危项铁罐与高危项金属喷罐同样是圆柱状金属容器,其x光成像相似,单纯的检测方案存在严重的混检现象。本方案在步骤2中只检测容器大类,在二级分类器的设计中除了做正负样本的二分类任务外,添加一个细分类分支,相辅相成,如步骤3容器多任务分类器实现两个任务,一是区分是否为容器,二是区分具体细类。多任务分类器的实现方式,以Alex-net作为基础特征提取网络,网络结构如图。在获得fc6特征后连接两个全连接分类分支预测两个不同的任务,在Softmax激活后得到各个任务的置信度结果。反向传播中根据经验对两个任务的损失加权融合,以融合后的损失来进行网络的微调。
最终的损失L由以下融合各项任务损失得到,计算公式如下:
其中,N表示任务个数,Li表示任务i的置信度损失(采用Softmax Loss)。
关键点检测,违禁物品往往有其特征明显的部件,安检人员也常通过关键部位的识别来提高违禁品审查的精度和效率,如打火机的黑丁、喷罐的头尾等。本实施例中的关键部位检测模块对检测到的该类物品目标做辅助判断。由于关键部位的标注极大增加了样本标注的难度和工作量,本方案选择了标注关键部位的大致中心点,训练关键点检测模型。关键点检测的实现方式,采用的基础网络框架与多任务分类相同,图5是根据本发明实施例的关键点检测的示意图,如图5所示,通过基础网络得到尺度为384×7×7的特征。然后连接到一个热点图预测网络(卷积层),最终得到N×7×7的热点图,其中N表示关键点的种类数,即每一种关键点最终对应一张7×7的热点图。任意热点图中响应最高点大于阈值Thr,则认为步骤2得到的目标小图有该类别关键点存在,关键部位检测的类别概率ps2为1,否则为0。虽然关键点检测得到的关键点位置粗糙的得分图,本实施例关键点的位置精准度不影响步骤4中的最终检测结果。
在训练阶段,网络学习的目标为预设的大小为N×7×7的Ground Truth图,N种关键点将获得N张7×7的Ground Truth图,计算其与网络正向预测的热点图之间的L2范数损失,通过梯度下降法不断反馈学习得到关键点预测网络权重。具体实施阶段,将步骤2抠取得到的目标图划分为7×7的网格,第n类关键点的第i行j列网格对应的标签根据标注关键点到网格中心的距离决定,赋值公式如下:
输入目标图I经过关键点检测网络W正向传播,得到第n类关键点的预测图Hn(I;W),损失采用L2范数的平方,计算公式如下:
步骤4,联合决策模块,对步骤2的目标检测获得的类别置信度ps1,及其步骤3获得的分类和/或关键部位检测的类别置信度ps2,通过以下公式进行融合,得到最终的类别预测概率pclass:
pclass=max(ps1,ps2)。
当概率值大于阈值0.5时,认为目标定位正确,输出步骤2得到的目标位置,完成违禁物品定位。
本实施例采用共享特征提取基础层,建立多个独立的类别检测任务来适应X光机物品成像的交融透视关系,即将传统的多类检测问题调整为多个单类检测问题,每个类别的检测部分都是独立的。在扩展新的类别时,其共享基础特征提取层无需重新训练,只要对新类别检测分支进行微调训练。在训练时以批次样本的类别数量进行各类别检测的损失进行加权融合。引入二级多任务分类器和二级关键点检测器来实现不同违禁品类别的二次过滤,辅助提高多违禁品检测模块的准确性,最终通过融合类别检测概率与关键点检测概率的方式进行最终的类别得分计算,完成违禁物品定位。
实施例2
根据本发明的另一个实施例,还提供了一种X光图像目标检测装置,图6是根据本发明实施例的X光图像目标检测装置的框图,如图6所示,包括:
特征提取模块62,用于对采集的X光图像进行特征提取,得到多尺度特征;
输入模块64,用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
定位模块66,用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地,所述定位模块66包括:
执行子模块,用于对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框,执行以下步骤:
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值;
在判断结果为是的情况下,根据对应所述每类违禁品的目标检测框对违禁品进行定位。
可选地,所述定位模块66包括:
关键点检测子模块,用于分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度,和/或
输入子模块,用于将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度;
确定子模块,用于分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率,或者,分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率;
定位模块,用于根据所述类别预测概率与所述目标检测框对违禁品进行定位。
可选地,所述确定子模块,还用于
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多个目标的类别预测概率;或者
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多个目标的类别预测概率。
可选地,所述关键点检测子模块,还用于
将所述目标检测框输入到预先训练好的特征提取网络中,得到所述目标检测框的预定尺寸的特征;
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中,得到所述目标检测框的热点图;
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
可选地,所述输入子模块,还用于
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中,得到所述目标检测框的特征信息;
分别将所述目标检测框的特征信息输入到多个全连接分类分支中,得到所述目标检测框对应多任务分类的第三类别置信度。
可选地,所述输入模块64,还用于
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层,得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,对采集的X光图像进行特征提取,得到多尺度特征;
S2,将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
S3,根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,对采集的X光图像进行特征提取,得到多尺度特征;
S2,将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
S3,根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种X光图像目标检测方法,其特征在于,包括:
对采集的X光图像进行特征提取,得到多尺度特征;
将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
2.根据权利要求1所述的方法,其特征在于,根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括:
对于所述多类违禁品中的每类违禁品对应的第一类别置信度和目标检测框,执行以下步骤:
判断对应所述每类违禁品的所述第一类别置信度是否大于或等于预设阈值;
在判断结果为是的情况下,根据对应所述每类违禁品的目标检测框对违禁品进行定位。
3.根据权利要求1所述的方法,其特征在于,根据所述第一类别置信度与所述目标检测框对违禁品进行定位包括:
分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度,和/或将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度;
分别根据所述第一类别置信度与所述第二类别置信度确定所述多类违禁品的类别预测概率,或者,分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率;
根据所述类别预测概率与所述目标检测框对违禁品进行定位。
4.根据权利要求3所述的方法,其特征在于,
分别根据所述第一类别置信度与所述第二类别置信度确定所述多个目标的类别预测概率包括:
分别将所述第一类别置信度与所述第二类别置信度中的较大值确定为所述多个目标的类别预测概率;
分别根据所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度确定所述多类违禁品的类别预测概率包括:
分别将所述第一类别置信度、所述第二类别置信度以及所述第三类别置信度中的较大值确定为所述多个目标的类别预测概率。
5.根据权利要求3所述的方法,其特征在于,分别对所述目标检测框进行关键点检测,得到所述目标检测框对应关键点的第二类别置信度包括:
将所述目标检测框输入到预先训练好的特征提取网络中,得到所述目标检测框的预定尺寸的特征;
将所述目标检测框的预定尺寸的特征输入到热点图预测网络的卷积层中,得到所述目标检测框的热点图;
根据所述热点图确定所述目标检测框对应关键点的第二类别置信度。
6.根据权利要求3所述的方法,其特征在于,将所述目标检测框输入到预先训练好的多任务分类网络模型中,得到所述目标检测框对应多任务分类的第三类别置信度包括:
将所述目标检测框输入到预先训练好的多任务分类网络模型的卷积层中,得到所述目标检测框的特征信息;
分别将所述目标检测框的特征信息输入到多个全连接分类分支中,得到所述目标检测框对应多任务分类的第三类别置信度。
7.根据权利要求1至6中任一项所述的方法,其特征在于,将所述多尺度特征输入预先训练好的独立的多类别检测网络中,得到所述多尺度特征对应多个类别的第一类别置信度和目标位置包括:
将所述多尺度特征分别输入到所述多个类别检测网络的类别预测层和位置回归层,得到对应所述多个类别的所述第一类别置信度和所述目标检测框。
8.一种X光图像目标检测装置,其特征在于,包括:
特征提取模块,用于对采集的X光图像进行特征提取,得到多尺度特征;
输入模块,用于将所述多尺度特征同时输入预先训练好的独立的多个类别检测网络中,得到对应多类违禁品的第一类别置信度和目标检测框;
定位模块,用于根据所述第一类别置信度与所述目标检测框对违禁品进行定位。
9.一种计算机可读的存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010745943.2A CN111860510B (zh) | 2020-07-29 | 2020-07-29 | 一种x光图像目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010745943.2A CN111860510B (zh) | 2020-07-29 | 2020-07-29 | 一种x光图像目标检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860510A true CN111860510A (zh) | 2020-10-30 |
CN111860510B CN111860510B (zh) | 2021-06-18 |
Family
ID=72944930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010745943.2A Active CN111860510B (zh) | 2020-07-29 | 2020-07-29 | 一种x光图像目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111860510B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418278A (zh) * | 2020-11-05 | 2021-02-26 | 中保车服科技服务股份有限公司 | 一种多类物体检测方法、终端设备及存储介质 |
CN112884085A (zh) * | 2021-04-02 | 2021-06-01 | 中国科学院自动化研究所 | 基于x光图像的违禁物品检测识别方法、***及设备 |
CN113313130A (zh) * | 2021-07-02 | 2021-08-27 | 昆明理工大学 | 一种基于遮挡的安检图像危险品检测方法及*** |
CN115512188A (zh) * | 2022-11-24 | 2022-12-23 | 苏州挚途科技有限公司 | 一种多目标检测方法、装置、设备及介质 |
WO2023159527A1 (zh) * | 2022-02-25 | 2023-08-31 | 京东方科技集团股份有限公司 | 检测器训练方法、装置及存储介质 |
WO2023159927A1 (zh) * | 2022-02-25 | 2023-08-31 | 华南理工大学 | 基于条件分支和专家***的对象快速检测方法 |
CN116958646A (zh) * | 2023-06-12 | 2023-10-27 | 北京声迅电子股份有限公司 | 基于x光图像的违禁物品检测方法 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909107A (zh) * | 2017-11-14 | 2018-04-13 | 深圳码隆科技有限公司 | 纤维检测方法、装置及电子设备 |
CN108875805A (zh) * | 2018-05-31 | 2018-11-23 | 北京迈格斯智能科技有限公司 | 基于深度学习的利用检测识别一体化提高检测精度的方法 |
US20190019318A1 (en) * | 2017-07-14 | 2019-01-17 | Synapse Technology Corporation | Generating Graphical Representations of Scanned Objects |
CN109583517A (zh) * | 2018-12-26 | 2019-04-05 | 华东交通大学 | 一种适用于小目标检测的增强的全卷积实例语义分割算法 |
CN110321851A (zh) * | 2019-07-05 | 2019-10-11 | 广东工业大学 | 一种违禁物品检测方法、装置及设备 |
CN110321853A (zh) * | 2019-07-05 | 2019-10-11 | 杭州巨骐信息科技股份有限公司 | 基于视频智能检测的分布式电缆防外破*** |
CN110428007A (zh) * | 2019-08-01 | 2019-11-08 | 科大讯飞(苏州)科技有限公司 | X光图像目标检测方法、装置及设备 |
CN110543857A (zh) * | 2019-09-05 | 2019-12-06 | 安徽启新明智科技有限公司 | 基于图像分析的违禁物识别方法、装置、***和存储介质 |
CN110738096A (zh) * | 2019-08-23 | 2020-01-31 | 银河水滴科技(北京)有限公司 | 一种智能安检方法、设备和计算机可读存储介质 |
CN110929774A (zh) * | 2019-11-18 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 图像中目标物的分类方法、模型训练方法和装置 |
CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及***、一种计算设备及存储介质 |
CN111126238A (zh) * | 2019-12-19 | 2020-05-08 | 华南理工大学 | 一种基于卷积神经网络的x光安检***及方法 |
CN111241924A (zh) * | 2019-12-30 | 2020-06-05 | 新大陆数字技术股份有限公司 | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 |
CN111291785A (zh) * | 2020-01-16 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 目标检测的方法、装置、设备及存储介质 |
CN111353440A (zh) * | 2019-12-30 | 2020-06-30 | 广西财经学院 | 一种目标检测方法 |
CN111611947A (zh) * | 2020-05-25 | 2020-09-01 | 济南博观智能科技有限公司 | 一种车牌检测方法、装置、设备及介质 |
-
2020
- 2020-07-29 CN CN202010745943.2A patent/CN111860510B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190019318A1 (en) * | 2017-07-14 | 2019-01-17 | Synapse Technology Corporation | Generating Graphical Representations of Scanned Objects |
US10572963B1 (en) * | 2017-07-14 | 2020-02-25 | Synapse Technology Corporation | Detection of items |
CN107909107A (zh) * | 2017-11-14 | 2018-04-13 | 深圳码隆科技有限公司 | 纤维检测方法、装置及电子设备 |
CN108875805A (zh) * | 2018-05-31 | 2018-11-23 | 北京迈格斯智能科技有限公司 | 基于深度学习的利用检测识别一体化提高检测精度的方法 |
CN109583517A (zh) * | 2018-12-26 | 2019-04-05 | 华东交通大学 | 一种适用于小目标检测的增强的全卷积实例语义分割算法 |
CN110321851A (zh) * | 2019-07-05 | 2019-10-11 | 广东工业大学 | 一种违禁物品检测方法、装置及设备 |
CN110321853A (zh) * | 2019-07-05 | 2019-10-11 | 杭州巨骐信息科技股份有限公司 | 基于视频智能检测的分布式电缆防外破*** |
CN110428007A (zh) * | 2019-08-01 | 2019-11-08 | 科大讯飞(苏州)科技有限公司 | X光图像目标检测方法、装置及设备 |
CN110738096A (zh) * | 2019-08-23 | 2020-01-31 | 银河水滴科技(北京)有限公司 | 一种智能安检方法、设备和计算机可读存储介质 |
CN110543857A (zh) * | 2019-09-05 | 2019-12-06 | 安徽启新明智科技有限公司 | 基于图像分析的违禁物识别方法、装置、***和存储介质 |
CN110929774A (zh) * | 2019-11-18 | 2020-03-27 | 腾讯科技(深圳)有限公司 | 图像中目标物的分类方法、模型训练方法和装置 |
CN111126238A (zh) * | 2019-12-19 | 2020-05-08 | 华南理工大学 | 一种基于卷积神经网络的x光安检***及方法 |
CN111241924A (zh) * | 2019-12-30 | 2020-06-05 | 新大陆数字技术股份有限公司 | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 |
CN111353440A (zh) * | 2019-12-30 | 2020-06-30 | 广西财经学院 | 一种目标检测方法 |
CN111291785A (zh) * | 2020-01-16 | 2020-06-16 | 中国平安人寿保险股份有限公司 | 目标检测的方法、装置、设备及存储介质 |
CN110956225A (zh) * | 2020-02-25 | 2020-04-03 | 浙江啄云智能科技有限公司 | 一种违禁品检测方法及***、一种计算设备及存储介质 |
CN111611947A (zh) * | 2020-05-25 | 2020-09-01 | 济南博观智能科技有限公司 | 一种车牌检测方法、装置、设备及介质 |
Non-Patent Citations (5)
Title |
---|
S KANIMOZHI等: "Multiple Real-time object identification using Single shot Multi-Box detection", 《2019 INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE IN DATA SCIENCE (ICCIDS)》 * |
尹维冲等: "基于多分类器融合的多视角目标检测算法", 《计算机科学》 * |
江峰: "基于似物性的多类别目标检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
竺乐庆等: "基于全卷积网络的鳞翅目标本图像前背景自动分割方法研究", 《昆虫学报》 * |
计算机视觉LIFE: "最全综述 | 图像目标检测", 《HTTPS://WWW.SOHU.COM/A/322693092_100007727》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418278A (zh) * | 2020-11-05 | 2021-02-26 | 中保车服科技服务股份有限公司 | 一种多类物体检测方法、终端设备及存储介质 |
CN112884085A (zh) * | 2021-04-02 | 2021-06-01 | 中国科学院自动化研究所 | 基于x光图像的违禁物品检测识别方法、***及设备 |
CN113313130A (zh) * | 2021-07-02 | 2021-08-27 | 昆明理工大学 | 一种基于遮挡的安检图像危险品检测方法及*** |
CN113313130B (zh) * | 2021-07-02 | 2022-02-18 | 昆明理工大学 | 一种基于遮挡的安检图像危险品检测方法及*** |
WO2023159527A1 (zh) * | 2022-02-25 | 2023-08-31 | 京东方科技集团股份有限公司 | 检测器训练方法、装置及存储介质 |
WO2023159927A1 (zh) * | 2022-02-25 | 2023-08-31 | 华南理工大学 | 基于条件分支和专家***的对象快速检测方法 |
CN115512188A (zh) * | 2022-11-24 | 2022-12-23 | 苏州挚途科技有限公司 | 一种多目标检测方法、装置、设备及介质 |
CN116958646A (zh) * | 2023-06-12 | 2023-10-27 | 北京声迅电子股份有限公司 | 基于x光图像的违禁物品检测方法 |
CN116958646B (zh) * | 2023-06-12 | 2024-01-30 | 北京声迅电子股份有限公司 | 基于x光图像的违禁物品检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111860510B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860510B (zh) | 一种x光图像目标检测方法及装置 | |
Zhang et al. | Scale adaptive proposal network for object detection in remote sensing images | |
US10417524B2 (en) | Deep active learning method for civil infrastructure defect detection | |
Bendale et al. | Towards open set deep networks | |
CN107617573B (zh) | 一种基于多任务深度学习的物流编码识别和分拣方法 | |
CN110717553B (zh) | 一种基于自衰减权重和多局部约束的交通违禁品识别方法 | |
Lei et al. | Region-enhanced convolutional neural network for object detection in remote sensing images | |
CN108875624A (zh) | 基于多尺度的级联稠密连接神经网络的人脸检测方法 | |
Zhang et al. | Unsupervised difference representation learning for detecting multiple types of changes in multitemporal remote sensing images | |
CN110188209A (zh) | 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置 | |
CN108985360A (zh) | 基于扩展形态学与主动学习的高光谱分类方法 | |
CN109033944B (zh) | 一种全天空极光图像分类与关键局部结构定位方法及*** | |
Cepni et al. | Vehicle detection using different deep learning algorithms from image sequence | |
CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
Wu et al. | Convolutional neural network based weakly supervised learning for aircraft detection from remote sensing image | |
CN111985325A (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
CN112560675A (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
Steno et al. | A novel enhanced region proposal network and modified loss function: threat object detection in secure screening using deep learning | |
Tan | Automatic insulator detection for power line using aerial images powered by convolutional neural networks | |
Rezaee et al. | Road detection using deep neural network in high spatial resolution images | |
CN112949510A (zh) | 基于Faster R-CNN热红外影像人物探测方法 | |
CN114241250A (zh) | 一种级联回归目标检测方法、装置及计算机可读存储介质 | |
CN104598898A (zh) | 一种基于多任务拓扑学习的航拍图像快速识别***及其快速识别方法 | |
Li et al. | Gadet: A geometry-aware x-ray prohibited items detector | |
Wu et al. | Object detection and X-ray security imaging: A survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |