CN113095404B - 基于前后背景分卷积神经网络的x光违禁物品检测方法 - Google Patents
基于前后背景分卷积神经网络的x光违禁物品检测方法 Download PDFInfo
- Publication number
- CN113095404B CN113095404B CN202110392132.3A CN202110392132A CN113095404B CN 113095404 B CN113095404 B CN 113095404B CN 202110392132 A CN202110392132 A CN 202110392132A CN 113095404 B CN113095404 B CN 113095404B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- network
- decoder
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 238000000926 separation method Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 87
- 238000000034 method Methods 0.000 claims description 45
- 230000004913 activation Effects 0.000 claims description 33
- 239000003550 marker Substances 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000000644 propagated effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims 11
- 210000001550 testis Anatomy 0.000 claims 1
- 238000003062 neural network model Methods 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- VLJORLCVOAUUKM-UHFFFAOYSA-N 2,5-dimethoxy-4-amylamphetamine Chemical compound CCCCCC1=CC(OC)=C(CC(C)N)C=C1OC VLJORLCVOAUUKM-UHFFFAOYSA-N 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于前后背景分离卷积神经网络的X光违禁物品检测方法,主要解决现有技术难以在重叠严重的X光场景下对违禁物品精确检测的问题。实现步骤为:(1)获取训练样本集和测试样本集;(2)构建前后背景分离神经网络模型;(3)对前后背景分离卷积神经网络模型进行迭代训练;(4)获取X光图像违禁物品识别结果。本发明在构建X光违禁物品检测模型结构时,首先构建特征提取网络模型的结构,然后用前景解码器和背景解码器来分别重构前景和背景,再利用注意力网络使高级特征关注于前景,解决了现有技术难以在重叠严重的X光场景下排除无关信息对违禁物品检测产生影响的问题,从而提高了X光场景下违禁物品的检测准确率。
Description
技术领域
本发明属于计算机视觉技术领域,涉及一种X光违禁物品检测方法,具体涉及一种基于前后背景分离卷积神经网络的X光图像违禁物品的检测方法。
背景技术
X光图像检测广泛应用于维持公共交通枢纽以及物流运输,有效降低了危险事件和犯罪事件的发生。随着交通吞吐量的增加和对安全要求的提高,低效和繁琐的人工X光图像检查越来越难以满足要求,一种自动精准识别X光图像中的违禁物品的检查方法变得越来越重要。目前已经有很多目标检测算法在普通光学图像上取得了优异的结果,然而X光图像的成像特性与普通光学图像不同,X光违禁物品图像中的物体以半透明的形式呈现,物体之间遮挡严重并且失去了纹理和光泽特征,使得现有的目标检测算法难以在X光违禁物品场景下保持检测精度。
目前,对X光图像中的违禁物品检测主要有两种方法:一种方法是通过传统视觉方法检测违禁物品,一种用深度学习方法检测违禁物品。传统视觉方法首先用滑动窗口等策略对整幅图像进行区域选择,然后用特征描述子如HOG,SIFT,Haar等来对图像进行特征提取,最后用机器学习的分类器支持向量机对图像进行检测和识别。传统视觉方法在特定场景下具有优势,但需人工设计规则,且难以泛化,在复杂的X光图像场景下效果精度较低。深度学习方法分为两阶段和单阶段方法,两阶段方法先利用区域推荐获得候选框,将候选框输入到卷积神经网络学习到特征向量,由支持向量机对特征向量分类并完成候选框的框标定和回归,而单阶段方法通过卷积神经网络学习到特征后直接回归物体的类别和坐标值。深度学习方法相比传统方法具有更高的精度,但X光图像上的物体以半透明的状态相互重叠,使得现有深度学习方法在X光图像场景下检测精度欠佳。
随着深度学习的发展,更多的方法使用卷积神经网络作为主要框架来检测X光图像中的违禁物品。Yanlu Wei等人于2020年在其发表的论文“Occluded Prohibited ItemsDetection:An X-ray Security Inspection Benchmark and De-occlusion AttentionModule”(Proceedings of the 28th ACM International Conference onMultimedia.2020)中,公开了一种基于去遮挡注意力模块的X光违禁物品检测方法。该方法使用了一个去遮挡的注意力模块来排除遮挡物品在X光图像中的干扰,该模型可以嵌入到现有的单阶段或双阶段深度学习方法中。在训练神经网络时,根据两个子模块“边缘引导”和“材质认知”来生成违禁物品的边缘信息和材质信息,再通过这两个信息计算出注意力图,最后使输入关注于注意力图以得到高质量的图像特征,为探测器提供可靠信息。该方法重点关注于违禁物品的边缘和材质信息,帮助了检测器获得高质量的图像特征,从而提升检测效果。但是,该方法虽然训练时关注了边缘和材质信息,但违禁物品和无关物品的边缘和材质信息糅杂在一起,仍需要检测器从混杂的信息识别违禁物品,从而降低了违禁物品的检测精度。
又如Jinyi Liu等人于2019年在其发表的论文“Deep Convolutional NeuralNetwork Based Object Detector for X-ray Baggage Security Imagery”(International Conference on Tools with Artificial Intelligence(ICTAI),2019,pp.1757–1761)中,公开了一种基于基于深度神经网络的目标检测框架,该方法采用双阶段的目标检测方法Fast R-CNN作为目标检测框架来检测X光图像中的违禁物品,在训练网络之前,先根据颜色对图像进行分割,设定R(224-255),G(216-255),B(201-255)作为阈值,将图像中在阈值范围内的部分作为背景,其他作为前景,然后将分割好的图像输入到检测器中检测违禁物品。该方法成功将大部分违禁物品分割到前景中,然而仅以颜色进行分割的图像,与违禁物品具有近似颜色的无关物品也被分割到前景中,导致违禁物品的检测精度。
发明内容
本发明的目的在于针对上述现有技术的不足,提出一种基于前后背景分离卷积神经网络的X光违禁物品检测方法,用于解决现有技术中存在的检测精度较低的技术问题。
为实现上述目的,本发明采取的技术方案包括如下步骤:
(1)获取训练样本集和测试样本集:
(1a)获取V幅包含不同类别违禁物品的X光图像O={oi|1≤i≤V},并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注,得到类别标签集和位置坐标标签集/>其中,V>8000,oi表示第i幅X光图像,/>和/>分别表示oi所包含的违禁物品的类别标签和位置坐标标签,/>cu表示第u类违禁物品,U表示违禁物品类别标签的总数,U≥2,yloc=(xi,yi,wi,hi),xi、yi、wi和hi分别表示/>所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高;
(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain={oj|1≤j≤Vtrain},V/2<Vtrain≤V,将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest={ol|1≤l≤Vtest},其中,oj表示训练样本集中的第j张X光图像,ol表示训练样本集中的第l张X光图像,V/2<Vtrain≤V,Vtest=V-Vtrain;
(2)构建前后背景分离卷积神经网络模型:
(2a)构建前后背景分离卷积神经网络模型的结构:
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput,和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background,其中,特征提取网络fextract包括输入层、多个卷积模块和多个残差模块;前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层;注意力网络fattention包括多个卷积模块;输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层;
(2b)定义前后背景分离损失函数Lossfb:
Lossfb=|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict=fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像,fpredict表示图像oj的预测前景图像,bpredict表示图像oj的预测背景图像,opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像,ftarget表示图像oj的目标前景图像,fin_predict表示预测前景fpredict在图像oj的位置坐标标签yloc范围内的图像,fin_target表示目标前景ftarget在图像oj的位置坐标标签yloc范围内的图像,oin_predict表示重构图像opredict在图像oj的位置坐标标签yloc范围内的图像,oin表示图像oj在在图像oj的位置坐标标签yloc范围内的图像,λin为位置坐标内外平衡参数;
(2c)定义类别和定位损失函数Losslc:
其中,K表示将图像oj划分成网格的网格数量,M表示候选框的anchor数量,表示图像oj在网格点m,n处的候选框anchor内存在违禁物品,/>表示图像oj在网格点m,处的候选框anchor内是否存在违禁物品,w表示图像的oj预测标记框的宽度,h表示图像oj的预测标记框的高度,x表示图像的oj预测标记框中心的横坐标,y表示图像oj预测标记框中心的纵坐标,C表示图像oj在预测标记框内存在违禁物品的置信度,/>表示图像oj在预测标记框内实际存在违禁物品,p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率,表示图像oj的预测标记框内是否存在第c类违禁物品,λcoord表示定位平衡参数,λnoobj表示类别平衡参数;
(3)对前后背景分离卷积神经网络进行迭代训练:
(3a)初始化特征提取网络fextract的网络权重参数为前景解码器网络fdecoder_foreground的网络权重参数为/>背景解码器网络fdecoder_background的网络权重参数为/>注意力网络fattention的网络权重参数为/>输出网络foutput的网络权重参数为/>迭代次数为t,最大迭代次数为T≥50,并令t=0;
(3h)采用损失函数Lossfb,当t=0,通过计算前后背景分离损失函数Lossfb,当t≥1,通过/>计算前后背景分离损失函数Lossfb;采用损失函数Losslc,并通过/>(xj,yj,wj,hj)、/> 计算类别和定位损失函数Losslc;将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss=Lossfb+Losslc,再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度,然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数θextract,θdecoder_foreground,θdecoder_background,θattention和θoutput进行更新;
(3f)判断t≥T是否成立,若是,得到训练好的前后背景分离卷积神经网络模型,否则,令t=t+1,并执行步骤(3b);
(4)获取X光违禁物品图像识别结果:
(4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播,得到违禁物品的预测位置坐标标签(xl,yl,wl,hl),置信度信息Cl和类别标签概率pl(c);
(4b)将测试图像ol预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
本发明与现有技术相比,具有以下优点:
本发明在构建X光违禁物品检测模型结构时,首先构建特征提取网络模型的结构,然后用前景解码器和背景解码器来分别重构前景和背景,再利用注意力网络使高级特征关注于前景,解决了现有技术虽然能提取出轮廓和材质信息,但难以排除无关信息对违禁物品检测产生影响的问题,从而提高了X光场景下违禁物品的检测准确率;其次,本发明构建了目标前景和目标背景并使用递归训练使其自适应的向真实前景和真实背景接近,解决了现有技术中设定颜色阈值来分离前后背景时得到的前景仍包含较多干扰信息的问题,从而提高了复杂X光场景下违禁物品的检测准确率。
附图说明
图1为本发明的实现流程图;
图2为本发明的X光图像违禁物品检测结果示意图。
具体实施方式
下面将结合附图和具体实施例,对本发明进行详细说明。
参照图1,本发明包括如下步骤:
步骤1)获取训练样本集和测试样本集:
步骤1a)获取V幅包含不同类别违禁物品的X光图像O={oi|1≤i≤V},并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注,得到类别标签集和位置坐标标签集/>其中,V>8000,oi表示第i幅X光图像,/>和/>分别表示oi所包含的违禁物品的类别标签和位置坐标标签,/>cu表示第u类违禁物品,U表示违禁物品类别标签的总数,U≥2,yloc=(xi,yi,wi,hi),xi、yi、wi和hi分别表示所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高,本实例中,V=8885,U=5;
步骤1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain={oj|1≤j≤Vtrain},V/2<Vtrain≤V,将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest={ol|1≤l≤Vtest},其中,oj表示训练样本集中的第j张X光图像,ol表示训练样本集中的第l张X光图像,V/2<Vtrain≤V,Vtest=V-Vtrain本实例中,Vtrain=7109,Vtest=1776;
步骤2)构建前后背景分离卷积神经网络模型:
步骤2a)构建前后背景分离卷积神经网络模型的结构:
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput,和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background,其中,特征提取网络fextract包括输入层、多个卷积模块和多个残差模块;前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层;注意力网络fattention包括多个卷积模块;输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层;
其中特征提取网络fextract用于初步提取图像中的高级特征,为排除遮挡在违禁物品上的无关信息,利用前景解码器fdecoder_foreground和背景解码器fattention分别重构违禁物品和无关物品作为前景和背景,然后利用注意力网络fattention使高级特征关注于只有违禁物品信息的前景,排除无关信息对网络检测的影响,从而提高检测检测精度;
前后背景分离卷积神经网络模型包括特征提取网络fextract,前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background,注意力网络fattention和输出网络foutput,其中:
特征提取网络fextract采用包含和五个卷积模块和二十三个残差模块的卷积神经网络,其结构依次为:输入层→第一卷积模块第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块;
所述卷积模块的具体结构依次为:第一卷积层→第一归一化层→第一激活函数层;
所述残差模块的具体结构依次为:第一卷积模块→第二卷积模块→shortcut拼接层;
所述特征提取网络fextract的每层参数设置为:将第一至第五卷积模块中的第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;将第一至第二十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0,将第二卷积模块的第一卷积层积核大小设置为3×3,卷积步长设置为1,填充值为1;第一至第五卷积模块和第一至第二十三残差模块中的归一化层均采用BatchNorm2d函数;第一至第五卷积模块和第一至第二十三残差模块中的激活函数层均采用LeakyReLU函数,其斜率均设置为0.2;
前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background均采用包含五个上采样层,五个shortcut拼接层和六个卷积模块的卷积神经网络,其结构依次为:第一上采样层→第一shortcut拼接层→第一卷积模块→第二上采样层→第二shortcut拼接层→第二卷积模块→第三上采样层→第三shortcut拼接层→第三卷积模块→第四上采样层→第四shortcut拼接层→第四卷积模块→第五上采样层→第五shortcut拼接层→第五卷积模块→第六卷积模块;
所述前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background的每层参数均设置为:第一至第五上采样层采用nearest算法,比例设置为2;将第一至第五卷积模块中的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第一至第五卷积模块中的第一归一化层采用BatchNorm2d函数;第一至第五卷积中的第一激活函数层采用LeakyReLU函数,其斜率均设置为0.2;将第六卷积模块的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第六卷积的第一归一化层采用BatchNorm2d函数;第六卷积模块的第一激活函数层采用Sigmoid函数;
注意力网络fattention采用包含五个卷积模块的卷积神经网络,其结构依次为:第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块;
所述注意力网络fattention的每层参数设置为:将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;第一至五卷积模块中的第一归一化层采用BatchNorm2d函数;第一、二卷积模块中的第一激活函数采用LeakyReLU函数,其斜率均设置为0.2;第三、四、五卷积模块中的第一激活函数采用Sigmoid函数;
输出网络foutput采用包含两个卷积层,一个归一化层和一个激活函数层的神经网络,其结构依次为:第一卷积层→第二卷积层→第一归一化层→第一激活函数曾;
所述输出网络foutput的每层参数设置为:将第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;将第二卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第一归一化层采用BatchNorm2d函数;第一激活函数层第一激活函数采用LeakyReLU函数;
步骤2b)为了使重构的前景和背景接近真实前景和背景,在损失函数中刚加入前后背景分离损失函数Lossfb,前后背景分离损失函数Lossfb定义为:
Lossfb=|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict=fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像,fpredict表示图像oj的预测前景图像,bpredict表示图像oj的预测背景图像,opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像,ftarget表示图像oj的目标前景图像,fin_predict表示预测前景fpredict在图像oj的位置坐标标签yloc范围内的图像,fin_target表示目标前景ftarget在图像oj的位置坐标标签yloc范围内的图像,oin_predict表示重构图像opredict在图像oj的位置坐标标签yloc范围内的图像,oin表示图像oj在在图像oj的位置坐标标签yloc范围内的图像,λin为位置坐标内外平衡参数,本实例中,内外平衡参数λin为0.2;
步骤2c)定义类别和定位损失函数Losslc:
其中,K表示将图像oj划分成网格的网格数量,M表示候选框的anchor数量,表示图像oj在网格点m,n处的候选框anchor内存在违禁物品,/>表示图像oj在网格点m,处的候选框anchor内是否存在违禁物品,w表示图像的oj预测标记框的宽度,h表示图像oj的预测标记框的高度,x表示图像的oj预测标记框中心的横坐标,y表示图像oj预测标记框中心的纵坐标,C表示图像oj在预测标记框内存在违禁物品的置信度,/>表示图像oj在预测标记框内实际存在违禁物品,p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率,表示图像oj的预测标记框内是否存在第c类违禁物品,λcoord表示定位平衡参数,λnoobj表示类别平衡参数,本实例中,候选框anchor的数量M为3,网格数量K为13,26,52,定位平衡参数λcoord为5,类别平衡参数λnoobj为0.5;
步骤3)对前后背景分离卷积神经网络进行迭代训练:
步骤3a)初始化特征提取网络fextract的网络权重参数为前景解码器网络fdecoder_foreground的网络权重参数为/>背景解码器网络fdecoder_background的网络权重参数为/>注意力网络fattention的网络权重参数为/>输出网络foutput的网络权重参数为/>迭代次数为t,本实例中最大迭代次数为T=50,并令t=0;
步骤3h)采用损失函数Lossfb,当t=0,通过计算前后背景分离损失函数Lossfb,当t≥1,通过/>计算前后背景分离损失函数Lossfb;采用损失函数Losslc,并通过/>(xj,yj,wj,hj)、计算类别和定位损失函数Losslc;将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss=Lossfb+Losslc,再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度,然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数θextract,θdecoder_foreground,θdecoder_background,θattention和θoutput进行更新,网络权重参数θ的更新公式为:
步骤3f)判断t≥T是否成立,若是,得到训练好的前后背景分离卷积神经网络模型,否则,令t=t+1,并执行步骤(3b);
步骤4)获取X光违禁物品图像识别结果:
步骤4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播,得到违禁物品的预测位置坐标标签(xl,yl,wl,hl),置信度信息Cl和类别标签概率pl(c);
步骤4b)将测试图像ol预测的置信度信息中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
以下结合仿真实验,对本发明的技术效果作进一步说明。
1.仿真条件:
本发明的仿真实验的硬件平台为:处理器为Intel(R)Core i5-9400F CPU,主频为2.9GHz,内存为32GB、显卡为NVIDIA GeForce RTX 2070Super。
本发明的仿真实验的软件平台为:Ubuntu 20.04操作***,python版本为3.7,Pytorch版本为1.7.1。
2.仿真内容及仿真结果分析:
本发明仿真实验中生成训练集和测试集时,使用了公开的标准数据集OccludedProhibited Items X-ray(OPIXray),该数据集包含五个分类,折叠刀,直刀,剪刀,美工刀,多功能刀,共8885张X光图像,本发明仿真实验中使用OPIXray中7109张图片作为训练集,1776张图片作为测试集。
本发明仿真实验是采用本发明和一个现有技术(DOAM方法)分别对测试集中的1176张图片中的违禁物品进行检测。
现有技术DOAM方法是指,Y.Wei等人在“Occluded prohibited items detection:An X-ray security inspection benchmark and de-occlusion attention module.(Proceedings of the 28th ACM International Conference on Multimedia.2020)”中提出的X光目标违禁物品检测方法,简称DOAM方法,仿真实验中DOAM方法采用单阶段目标检测算法yolov4作为主体网路,嵌入DOAM模块进行仿真。
为了对本发明仿真结果的效果进行评估,本发明采用平均精度(AP)作为性能评价指标与现有技术进行对比,AP的定义为精度Precision和和召回率Recall所成曲线下的面积,精度Precision定义为TP/(TP+FP),召回率Recall定义为TP/(TP+FN),其中TP,TN,FP和FN分别代表真正类,真反类,价正类和假反类,mAP定义为AP的平均值,对比结果如表1所示:
表1仿真实验中本发明和现有技术AP的对比表
从表1中可以看出本发明在OPIXray数据集上mAP为81.74%,高于现有技术方法,在折叠刀,直刀,剪刀,美工刀,多功能刀五个类别上的AP分别为86.38%,57.99%,95.45%,80.62%,88.29%,在直刀,剪刀,美工刀,多功能刀四个类别上均现有技术方法,证明本方法可以有效提高检测X光图像中的违禁物品的精度。
参照图2,是本发明的X光图像违禁物品检测结果示意图,X光图像中的违禁物品用矩形框出,并显示其类别和置信度,其中,图2(a)为多功能刀的检测结果示意图,检测置信度为0.95;图2(b)为直刀的检测结果示意图,检测置信度为0.95;图2(c)为剪刀的检测结果示意图,检测置信度为1.00;图2(d)为美工刀的检测结果示意图,检测置信度为0.99。
以上仿真实验表明:本发明在构建X光违禁物品检测模型结构时,首先构建特征提取网络模型的结构,然后用前景解码器和背景解码器来分别重构前景和背景,再利用注意力网络使高级特征关注于前景,解决了现有技术难以排除无关信息对违禁物品检测产生影响的问题,从而提高了X光场景下违禁物品的检测准确率。
Claims (3)
1.一种基于前后背景分离卷积神经网络的X光违禁物品检测方法,其特征在于包括如下步骤:
(1)获取训练样本集和测试样本集:
(1a)获取V幅包含不同类别违禁物品的X光图像O={oi|1≤i≤V},并对每幅X光图像oi中的违禁物品类别及位置坐标进行标注,得到类别标签集和位置坐标标签集/>其中,V>8000,oi表示第i幅X光图像,/>和/>分别表示oi所包含的违禁物品的类别标签和位置坐标标签,/> 表示第u类违禁物品,U表示违禁物品类别标签的总数,U≥2,/> 和/>分别表示/>所围成的标记框中心的横坐标、标记框中心的纵坐标、标记框的宽和标记框的高;
(1b)将随机选取O中半数以上的违禁物品X光图像及其对应的类别标签和位置坐标标签组成训练样本集Otrain={oj|1≤j≤Vtrain},V/2<Vtrain≤V,将其余违禁物品X光图像及其对应的类别标签和位置坐标标签组成测试样本集Otest={ol|1≤l≤Vtest},其中,oj表示训练样本集中的第j张X光图像,ol表示训练样本集中的第l张X光图像,V/2<Vtrain≤V,Vtest=V-Vtrain;
(2)构建前后背景分离卷积神经网络模型:
(2a)构建前后背景分离卷积神经网络模型的结构:
构建包括顺次连接的特征提取网络fextract、前景解码器网络fdecoder_foreground、注意力网络fattention和输出网络foutput,和连接在特征提取网络fextract后的另一分支背景解码器网络fdecoder_background,其中,特征提取网络fextract包括输入层、多个卷积模块和多个残差模块;前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均包括多个上采样层、多个卷积模块和多个shortcut拼接层;注意力网络fattention包括多个卷积模块;输出网络foutput包括多个卷积层、多个归一化层和多个激活函数层;
(2b)定义前后背景分离损失函数Lossfb:
Lossfb=|fpredict-ftarget|+|opredict-oj|+λin(|fin_predict-fin_target|+|oin_predict-oin|)
opredict=fpredict·bpredict
其中oj表示训练样本集Otrain中的一幅图像,fpredict表示图像oj的预测前景图像,bpredict表示图像oj的预测背景图像,opredict表示由图像oj的预测前景fpredict和预测背景bpredict重构的图像,ftarget表示图像oj的目标前景图像,fin_predict表示预测前景fpredict在图像oj的位置坐标标签范围内的图像,fin_target表示目标前景ftarget在图像oj的位置坐标标签/>范围内的图像,oin_predict表示重构图像opredict在图像oj的位置坐标标签/>范围内的图像,oin表示图像oj在图像oj的位置坐标标签/>范围内的图像,λin为位置坐标内外平衡参数;
(2c)定义类别和定位损失函数Losslc:
其中,K表示将图像oj划分成网格的网格数量,M表示候选框anchor的数量,表示图像oj在网格点m,n处的候选框anchor内存在违禁物品,/>表示图像oj在网格点m,处的候选框anchor内是否存在违禁物品,w表示图像的oj预测标记框的宽度,h表示图像oj的预测标记框的高度,x表示图像的oj预测标记框中心的横坐标,y表示图像oj预测标记框中心的纵坐标,C表示图像oj在预测标记框内存在违禁物品的置信度,/>表示图像oj在预测标记框内实际存在违禁物品,p(c)表示图像oj的预测标记框内违禁物品属于第c类违禁物品的概率,/>表示图像oj的预测标记框内是否存在第c类违禁物品,λcoord表示定位平衡参数,λnoobj表示类别平衡参数;
(3)对前后背景分离卷积神经网络进行迭代训练:
(3a)初始化特征提取网络fextract的网络权重参数为前景解码器网络fdecoder_foreground的网络权重参数为/>背景解码器网络fdecoder_background的网络权重参数为/>注意力网络fattention的网络权重参数为/>输出网络foutput的网络权重参数为/>迭代次数为t,最大迭代次数为T≥50,并令t=0;
(3h)采用损失函数Lossfb,当t=0,通过计算前后背景分离损失函数Lossfb,当t≥1,通过/>计算前后背景分离损失函数Lossfb;采用损失函数Losslc,并通过/>Cjt、/>计算类别和定位损失函数Losslc;将前后背景分离损失函数Lossfb与类别和定位损失函数Losslc相加得到前后背景分离卷积神经网络总损失函数Loss=Lossfb+Losslc,再采用反向传播方法并通过Loss计算fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度,然后采用梯度下降算法通过fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数梯度对fextract、fdecoder_foreground、fdecoder_background,fattention和foutput的网络权重参数θextract,θdecoder_foreground,θdecoder_background,θattention和θoutput进行更新;
(3f)判断t≥T是否成立,若是,得到训练好的前后背景分离卷积神经网络模型,否则,令t=t+1,并执行步骤(3b);
(4)获取X光违禁物品图像识别结果:
(4a)将测试样本集Otest中的每一个测试图像ol作为训练好的前后背景分离卷积神经网络模型的输入进行前向传播,得到违禁物品的预测位置坐标标签(xl,yl,wl,hl),置信度信息Cl和类别标签概率pl(c);
(4b)将测试图像ol预测的置信度信息Ctesti中大于0.5的结果所对应的预测位置坐标标签(xl,yl,wl,hl)和类别标签概率pl(c)中最大值对应的违禁物品类别分别作为测试图像ol违禁物品的位置预测结果和类别预测结果。
2.根据权利要求1所述的基于前后背景分离卷积神经网络的X光违禁物品检测方法,其特征在于,步骤(2a)中所述的特征提取网络fextract,前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background,注意力网络fattention和输出网络foutput,其中:
特征提取网络fextract采用包含和五个卷积模块和二十三个残差模块的卷积神经网络,其结构依次为:输入层→第一卷积模块第一残差模块→第二卷积模块→第二残差模块→第三残差模块→第三卷积模块→第四残差模块→第五残差模块→第六残差模块→第七残差模块→第八残差模块→第九残差模块→第十残差模块→第十一残差模块→第四卷积模块→第十二残差模块→第十三残差模块→第十四残差模块→第十五残差模块→第十六残差模块→第十七残差模块→第十八残差模块→第十九残差模块→第五卷积模块→第二十残差模块→第二十一残差模块→第二十二残差模块→第二十三残差模块;
所述卷积模块的具体结构依次为:第一卷积层→第一归一化层→第一激活函数层;
所述残差模块的具体结构依次为:第一卷积模块→第二卷积模块→shortcut拼接层;
所述特征提取网络fextract的每层参数设置为:将第一至第五卷积模块中的第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;将第一至第二十三残差模块中第一卷积模块的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0,将第二卷积模块的第一卷积层积核大小设置为3×3,卷积步长设置为1,填充值为1;第一至第五卷积模块和第一至第二十三残差模块中的归一化层均采用BatchNorm2d函数;第一至第五卷积模块和第一至第二十三残差模块中的激活函数层均采用LeakyReLU函数,其斜率均设置为0.2;
前景解码器网络fdecoder_foreground、背景解码器网络fdecoder_background均采用包含五个上采样层,五个shortcut拼接层和六个卷积模块的卷积神经网络,其结构依次为:第一上采样层→第一shortcut拼接层→第一卷积模块→第二上采样层→第二shortcut拼接层→第二卷积模块→第三上采样层→第三shortcut拼接层→第三卷积模块→第四上采样层→第四shortcut拼接层→第四卷积模块→第五上采样层→第五shortcut拼接层→第五卷积模块→第六卷积模块;
所述前景解码器网络fdecoder_foreground、前景解码器网络fdecoder_background的每层参数均设置为:第一至第五上采样层采用nearest算法,比例设置为2;将第一至第五卷积模块中的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第一至第五卷积模块中的第一归一化层采用BatchNorm2d函数;第一至第五卷积中的第一激活函数层采用LeakyReLU函数,其斜率均设置为0.2;将第六卷积模块的第一卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第六卷积的第一归一化层采用BatchNorm2d函数;第六卷积模块的第一激活函数层采用Sigmoid函数;
注意力网络fattention采用包含五个卷积模块的卷积神经网络,其结构依次为:第一卷积模块→第二卷积模块→第三卷积模块→第四卷积模块→第五卷积模块;
所述注意力网络fattention的每层参数设置为:将第一至五卷积模块中的第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;第一至五卷积模块中的第一归一化层采用BatchNorm2d函数;第一、二卷积模块中的第一激活函数采用LeakyReLU函数,其斜率均设置为0.2;第三、四、五卷积模块中的第一激活函数采用Sigmoid函数;
输出网络foutput采用包含两个卷积层,一个归一化层和一个激活函数层的神经网络,其结构依次为:第一卷积层→第二卷积层→第一归一化层→第一激活函数曾;
所述输出网络foutput的每层参数设置为:将第一卷积层的卷积核大小设置为3×3,卷积步长设置为2,填充值为1;将第二卷积层的卷积核大小设置为1×1,卷积步长设置为1,填充值为0;第一归一化层采用BatchNorm2d函数;第一激活函数层第一激活函数采用LeakyReLU函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110392132.3A CN113095404B (zh) | 2021-04-13 | 2021-04-13 | 基于前后背景分卷积神经网络的x光违禁物品检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110392132.3A CN113095404B (zh) | 2021-04-13 | 2021-04-13 | 基于前后背景分卷积神经网络的x光违禁物品检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095404A CN113095404A (zh) | 2021-07-09 |
CN113095404B true CN113095404B (zh) | 2023-07-04 |
Family
ID=76677326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110392132.3A Active CN113095404B (zh) | 2021-04-13 | 2021-04-13 | 基于前后背景分卷积神经网络的x光违禁物品检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095404B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113807231B (zh) * | 2021-09-14 | 2024-02-13 | 西安电子科技大学 | 基于unet下采样卷积神经网络的x光违禁物检测方法 |
CN115205292B (zh) * | 2022-09-15 | 2022-11-25 | 合肥中科类脑智能技术有限公司 | 一种配电线路树障检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
CN109784203A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院大学 | 基于分层传播和激活的弱监督x光图像违禁品检查方法 |
WO2019134504A1 (zh) * | 2018-01-05 | 2019-07-11 | Oppo广东移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
CN111783705A (zh) * | 2020-07-08 | 2020-10-16 | 厦门商集网络科技有限责任公司 | 一种基于注意力机制的文字识别方法及*** |
CN111832516A (zh) * | 2020-07-22 | 2020-10-27 | 西安电子科技大学 | 基于无监督视频表示学习的视频行为识别方法 |
-
2021
- 2021-04-13 CN CN202110392132.3A patent/CN113095404B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019134504A1 (zh) * | 2018-01-05 | 2019-07-11 | Oppo广东移动通信有限公司 | 图像背景虚化方法、装置、存储介质及电子设备 |
CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
CN109784203A (zh) * | 2018-12-24 | 2019-05-21 | 中国科学院大学 | 基于分层传播和激活的弱监督x光图像违禁品检查方法 |
CN111783705A (zh) * | 2020-07-08 | 2020-10-16 | 厦门商集网络科技有限责任公司 | 一种基于注意力机制的文字识别方法及*** |
CN111832516A (zh) * | 2020-07-22 | 2020-10-27 | 西安电子科技大学 | 基于无监督视频表示学习的视频行为识别方法 |
Non-Patent Citations (2)
Title |
---|
"Using Deep Convolutional Neural Network Architectures for Object Classification and Detection Within X一Ray Baggage Security Imagery";Samet Akcay et al.;《IEEE TRANSACTTONS ON INFORMATION FORFNSTCS AND SECURITY》;20181231;第2203-2215页 * |
"利用深度学习进行毫米波图像违禁物体识别";张健 等;《计算机与数字工程》;20201231;第1760-1765页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113095404A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109859190B (zh) | 一种基于深度学习的目标区域检测方法 | |
CN109784203B (zh) | 基于分层传播和激活的弱监督x光图像违禁品检查方法 | |
US8509526B2 (en) | Detection of objects in digital images | |
CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
CN113095404B (zh) | 基于前后背景分卷积神经网络的x光违禁物品检测方法 | |
CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
CN107944403A (zh) | 一种图像中的行人属性检测方法及装置 | |
CN110263731B (zh) | 一种单步人脸检测*** | |
Xing et al. | Traffic sign recognition using guided image filtering | |
CN115187844A (zh) | 基于神经网络模型的图像识别方法、装置及终端设备 | |
CN112949510A (zh) | 基于Faster R-CNN热红外影像人物探测方法 | |
CN113469950A (zh) | 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法 | |
CN113807231B (zh) | 基于unet下采样卷积神经网络的x光违禁物检测方法 | |
Yadav et al. | An improved deep learning-based optimal object detection system from images | |
CN111797769A (zh) | 一种小目标敏感的车辆检测*** | |
CN114332921A (zh) | 基于改进聚类算法的Faster R-CNN网络的行人检测方法 | |
CN114548230B (zh) | 基于rgb色彩分离双路特征融合的x射线违禁物品检测方法 | |
Dai et al. | Real-time safety helmet detection system based on improved SSD | |
CN116597413A (zh) | 一种基于改进的YOLOv5的实时交通标志检测方法 | |
Wu et al. | Object detection and X-ray security imaging: A survey | |
Nie et al. | Semantic labeling based vehicle detection in aerial imagery | |
CN116363532A (zh) | 基于注意力机制和重参数化的无人机图像交通目标检测方法 | |
CN113887455B (zh) | 一种基于改进fcos的人脸口罩检测***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |