CN114998304A - 自冲铆成形质量的检测方法、装置、电子设备及存储介质 - Google Patents

自冲铆成形质量的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114998304A
CN114998304A CN202210757483.4A CN202210757483A CN114998304A CN 114998304 A CN114998304 A CN 114998304A CN 202210757483 A CN202210757483 A CN 202210757483A CN 114998304 A CN114998304 A CN 114998304A
Authority
CN
China
Prior art keywords
module
convolution
feature
attention mechanism
feature fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210757483.4A
Other languages
English (en)
Other versions
CN114998304B (zh
Inventor
赵伦
林森
甘增康
陈伟
张亮
龚涛
霍小乐
郭子鑫
罗义
王海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202210757483.4A priority Critical patent/CN114998304B/zh
Publication of CN114998304A publication Critical patent/CN114998304A/zh
Application granted granted Critical
Publication of CN114998304B publication Critical patent/CN114998304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及计算机技术领域,特别涉及一种自冲铆成形质量的检测方法、装置、电子设备及存储介质。其中,自冲铆成形质量的检测方法包括:采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。上述方案能够提高自冲铆成形质量的检测效率。

Description

自冲铆成形质量的检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及计算机技术领域,特别涉及一种自冲铆成形质量的检测方法、装置、电子设备及存储介质。
背景技术
自冲铆接(简称自冲铆)作为一种新型、绿色、高效的连接工艺,可以实现同种、异种、双层或多层薄板材料连接。在自冲铆接过程中,易出现多种成形质量不合格现象,例如空铆、复铆、板材开裂、纽扣开裂和纽扣脱落等铆接缺陷,其中纽扣是铆钉刺入板材后形成的。
相关技术中,对自冲铆成形质量的检测通常采用公差带法,即以成形质量合格的接头的力—位移曲线和偏移量,生成合格的接头的公差带;超出公差带的成形接头认为不合格。
然而,公差带法不但对于横向位移不敏感,而且无法检测铆钉偏移、板材开裂等缺陷,存在较大的检测盲区,从而导致自冲铆成形质量的检测效率低。
发明内容
本发明实施例提供了一种自冲铆成形质量的检测方法、装置、电子设备及存储介质,能够提高自冲铆成形质量的检测效率。
第一方面,本发明实施例提供了一种自冲铆成形质量的检测方法,包括:
采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;
将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;
利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
第二方面,本发明实施例还提供了一种自冲铆成形质量的检测装置,包括:
采集模块,用于采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;
整理模块,用于将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
训练模块,用于将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;
检测模块,用于利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
第三方面,本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现本说明书任一实施例所述的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行本说明书任一实施例所述的方法。
本发明实施例提供了一种自冲铆成形质量的检测方法、装置、电子设备及存储介质,通过采集多张带有缺陷的自冲铆后形成的接头的图像,并将采集到的图像来训练检测模型,这样就可以利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测,从而能够提高自冲铆成形质量的检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种自冲铆成形质量的检测方法流程图;
图2是本发明一实施例提供的一种电子设备的硬件架构图;
图3是本发明一实施例提供的一种自冲铆成形质量的检测装置结构图;
图4是本发明一实施例提供的检测模型的结构示意图;
图5是深度可分离卷积与传统卷积的区别示意图;
图6是线性倒残差块的结构示意图;
图7是进行消融实验的检测模型的训练结果;
图8是进行消融实验的检测模型的P-R曲线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,本发明实施例提供了一种自冲铆成形质量的检测方法,该方法包括:
步骤101:采集多张带有缺陷的自冲铆后形成的接头的图像;其中,缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,纽扣是铆钉刺入板材后形成的;
步骤102:将采集的图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
步骤103:将训练集和验证集输入到待训练的检测模型中,得到训练好的检测模型;
步骤104:利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
在本实施例中,通过采集多张带有缺陷的自冲铆后形成的接头的图像,并将采集到的图像来训练检测模型,这样就可以利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测,从而能够提高自冲铆成形质量的检测效率。
自冲铆接过程中,易出现多种外观质量不合格现象。为此本申请针对自冲铆外观成形质量问题提出一种新的非接触远距离视觉检测方法(即图1所示方法)。首先,通过视觉传感器获取成形后的接头图像,在不同背景、分辨率、亮度、视角下采集带有缺陷的接头图像,缺陷的类型包括板材开裂、纽扣开裂、纽扣脱落、复铆、空铆等;将获取到的图像进行数据增强,可以有效的扩充数据量的同时提高算法的鲁棒性和泛化能力,确保算法在不同场景下运用的可靠性;然后将数据集随机分成训练集和验证集并制作对应的标注文件;最后对算法进行训练和验证,通过评价指标衡量算法的性能。
直接在车身上获取大量具有缺陷的铆接接头将消耗大量的人力物力,且过于昂贵,在时间上和成本上不切实际。为此通过参照GB 2649-89焊接接头机械性能试验取样方法制作标准的铆接接头,模拟较大间隔范围较大的铆接情况;同时选取一部分板材使用较密集的方式进行铆接,模拟密集铆接的场景。增加数据量的同时,更考验算法的实际性能。
在不同的背景、亮度、分辨率以及铆接件堆叠方式等不同场景下,采集自冲铆接过程出现的典型铆接缺陷。一共采集242张原始图像,再通过旋转、亮度变化、颜色变换等数据增强方式扩充数据集,共获取到414张图像。数据增强作为扩充数据的廉价方式,可以有效的避免过拟合,降低对数据的敏感度,同时提高算法的鲁棒性和泛化能力。将获取到的414张图像利用数据标注软件Labelimg制作训练集、验证集和测试集,分别各70%、15%、15%。为了确保算法之间公平比较,所有算法环境配置在台式机(Intel(R)Core(TM) [email protected] x16,GPU为GeForce RTX 2080SUPER)上,训练的Epoch均为500,Batch-size为6,其余参数默认。
本申请结合深度学习算法实现对自冲铆成形质量监测,并针对自冲铆接运用场景,在Yolov5算法的基础对特征提取网络与特征融合网络进行优化,以确保算法的检测精度高和计算开销小。本申请提供的检测模型的框架由特征提取网络、特征融合网络以及目标检测部分三大结构构成。其中特征提取网络结构由线性倒残差模块、深度可分离卷积、卷积注意力机制(CBAM)以及池化金字塔(SPP)构成;特征融合网络部分由传统卷积块、特征复用模块(C3)以及卷积注意力机制构成;目标检测沿用Yolov5算法的网格化定位方式。其中,本申请提供的检测模型的总体架构如图4所示:
检测模型包括特征提取网络(即Feature extraction network)、特征融合网络(即Feature fusion network)和目标检测部分(即Object detection);
沿低维特征提取向高维特征提取的方向,特征提取网络包括依次连接的第一深度可分离卷积(即DWCBL)、第二深度可分离卷积、第一线性倒残差模块(即IRBottleneck)、第三深度可分离卷积、第二线性倒残差模块、第一卷积注意力机制(即CBAM)、第四深度可分离卷积、第三线性倒残差模块、第二卷积注意力机制和第五深度可分离卷积;
特征融合网络包括第一特征融合网络、第二特征融合网络和第三特征融合网络,第一特征融合网络包括依次连接的池化金字塔(即SPP)、第一特征复用模块(即C3)、第一传统卷积块(即CBL)、第一上采样模块(即 Upsample)、第一特征融合模块(即Concat)和第二特征复用模块,第二特征融合网络包括依次连接的第二传统卷积块、第三卷积注意力机制、第二上采样模块、第二特征融合模块、第三特征复用模块和第四卷积注意力机制,第三特征融合网络包括依次连接的第三传统卷积块、第三特征融合模块、第四特征复用模块、第四传统卷积块、第四特征融合模块、第五特征复用模块和第五卷积注意力机制;
第一卷积注意力机制与第二特征融合模块连接,第二卷积注意力机制与第一特征融合模块连接,第五深度可分离卷积与池化金字塔连接,第一传统卷积块与第四特征融合模块连接,第二特征复用模块与第三传统卷积块连接,第三卷积注意力机制与第三特征融合模块连接,第四卷积注意力机制分别与第三传统卷积块和目标检测部分连接,第四特征复用模块与目标检测部分连接,第五卷积注意力机制与目标检测部分连接。
在本实施例中,通过对特征提取网络和特征融合网络进行针对性优化,具体通过结合线性倒残差模块和深度可分离卷积实现算法的轻量化,在减少参数量和计算量的情况下保证特征提取过程中目标信息的完整度;并且利用自适应加权策略(即注意力机制)实现对信息流中关键特征信息自适应加权,有效强化感性区域的表征。
为了高效的提取底层特征信息,减少冗余参数量以及计算量,在特征提取网络结合深度可分离卷积。深度可分离卷积可有效实现卷积层上加速,使用该种新型卷积操作的方式,替换传统的卷积结构,可以有效的减少计算量和参数量。特征提取网络以提取底层特征为主,浅层特征层之间的特征非常相似,浅层特征具有一定的线性关系。而结合深度可分离卷积可以同时实现底层特征的提取和扩展网络的深度,同时可以确保浅层特征之间具有一定的线性关系。深度可分离卷积与传统卷积的区别如图5所示。当输入与输出的维度相同时,深度可以分离卷积操作相当于将传统卷积将分成两步,先进行逐深度卷积(DepthwiseConvolution)再通过逐点卷积(Pointwise Convolution) 调整通道数。以图5为例,传统卷积的参数为4×3×3×3=108,而使用深度可分离卷积总参数量为39,其中逐深度卷积的参数量为3×3×3,逐点卷积的参数为1×1×3×4=12。深度可分离卷积的参数量为传统卷积的1/3。参数量的减少可以有效减少普通设备显存压力、计算压力以及通信压力。
为了实现算法精度与计算消耗的平衡,结合计算视觉领域一种新的移动构架,即线性倒残差块(the inverted residual with linear bottleneck)构建特征提取网络,其可以在移动设备以及多种任务下运用,其中线性瓶颈倒残差结构如图6所示。首先将输入的低维特征通过1×1卷积扩展到高维空间,加深中间层的结构可以尽可能减少信息在传递过程中丢失,传递层输出维度越高,丢失的信息越少,再利用逐深度卷积过滤器进一步提取特征,最后特征再次通过1×1卷积和线性激活函数映射回低维空间。感性区域的信息流存储于层结构中的某些通道中,通过降低操作空间维数,可以有效的捕捉和利用这些感兴区域的信息;并且在该模块的最终输出使用线性激活函数,有效避免特征信息坍缩,而导致信息丢失。该结构适用于移动设备,减少算法推理过程计算量,显著降低对设备内存占用。
注意力是一种简单而高效特征自适应强化机制,注意力机制(Attentionmechanism)广泛运用于自然语言处理、语音识别、目标检测和分类等。从更加本质上去理解注意力,注意力机制就是对更重要的目标信息赋予更高的权重,对于不重要的信息赋予较小的权重,合理的分配计算资源。从许多算法在公开数据集上的实验结果可以看出,结合注意力机制可以更好处理复杂的图像信息,提高算法对感兴区域的理解。
算法的轻量化过程往往会导致性能的下降,同时整个算法随着卷积层的加深,大量的运用下采样操作,目标信息会出现一定程度的丢失,尤其是对于小目标或者与背景相似的目标的影响更严重。本申请算法在特征提取部分和特征融合利用卷积块注意力机制(即CBAM),从通道和空间整体上强化特征信息。利用CBAM可以有效强化目标信息的,弱化不必要的背景信息,有效提高感性区域的表征。其引入的参数量和计算开销极少的情况下可有效提升算法的性能。
CBAM主要包含两个结构,分别是通道注意力和空间注意力。通道注意力的每个通道相当于一个过滤器,可以强化通道中的高级语义信息,空间注意力的主要作用是有效增强感兴趣区域的轮廓表征。CBAM的整体的实现机制是:对于一个输入的特征映射(featuremap)F∈RCxHxW。经过通道注意力模块获得一维通道注意力图Mc∈RCx1x1,并与输入特征相乘得到F',在利用空间注意力模块获得二维空间注意力图(Ms∈R1xHxW),最后将F'与Ms相乘获得F",上述计算公式如(1)-(2):
Figure RE-RE-GDA0003783368570000071
Figure RE-RE-GDA0003783368570000072
利用输入特征制作通道注意图(map)的方式,首先沿空间方向进行平均池化和最大池化聚合每个特征的通道信息,再分别通过共享MLP网络(Shared MLP)后相加,最后经过Sigmoid函数得到通道注意力图,通道注意力图的获取原理如公式(3):
Mc(F)=S(MLP(AvgPool(F))+MLP(MaxPool(F))) (3)
空间信息主要包含目标位置以及轮廓信息,结合空间注意力图,可有效强化的感兴区域的表达。二维的空间注意力分别沿通道方向进行最大池化和平均池化,并将二者池化的结果拼接后经过7×7卷积进行压缩和融合,最后经过Sigmoid函数转换为权重值。
在一些实施方式中,在步骤104之后,还包括:
对检测模型进行消融实验,以验证检测模型的准确性。
在本实施例中,通过消融实验***性的探讨线性倒残差块、深度可分离卷积以及注意力机制对算法性能的影响,以此设计更加高效的算法。
举例来说,可以从以下几个角度进行消融实验,分别是通过验证 MoblileNetV2作为Yolov5算法的骨干(+MoblieNet);以线性倒残差块结合传统卷积作为骨干(+IRB+C);线性倒残差块结合深度可分离卷积作为骨干 (+IRB+D);以线性倒残差快结合深度可分离卷积以及注意力机制作为骨干 (+IRB+D+BA);以线性倒残差块结合深度可分离卷积构建骨干,再者在特征融合网络上引入注意力机(+IRB+D+NA);本申请所提出的线性倒残差块结合深度可分离卷积构建骨干,再者在backbone和neck引入注意力机制 (+IRB+D+BA+NA(Our))。具体的消融实验如表1所示,同时并与近年来轻量级算法Yolov4、Yolov3进行比较。
表1消融实验
Figure RE-RE-GDA0003783368570000081
所有算法将在同一个数据集上进行实验,通过Loss函数可以分析算法训练过程预测值与真实值的误差。训练的分类Loss函数使用的是二分类交叉熵损失函数(BinaryCross Entropy loss),交叉熵损失函数用于衡量样本分类的准确性,其表达形式如公式(4)所示,边界框回归使用的是LCIOU函数,其表达式如公式(5)-(7)所示。
Figure RE-RE-GDA0003783368570000082
其中
Figure RE-RE-GDA0003783368570000083
代表算法预测第i个样本是某一类的概率,y(i)代表标签,N表示总的样本数。
Figure RE-RE-GDA0003783368570000091
Figure RE-RE-GDA0003783368570000092
Figure RE-RE-GDA0003783368570000093
其中,ρ表示求解两个点的距离,b和bgt分别表示预测框和真实框的中心点,c表示两个边界框最小对角线长度,α为平衡参数,当IoU小于0.5时α为0,IoU大于0.5时α为V/(1-IoU)+V。
通过V来度量长宽比的相似性,在边界框的回归过程考虑宽高信息,wgt、 hgt和w、h分别表示真实框与预测框的宽高。
训练结果如图7所示,此外将通过损失值分析优化模块对分类损失和边界框损失带来的影响。网络训练结束后,从训练的分类损失、边界框损失和 total loss分析可知,所有的算法分类Loss值都达到了较小值,并且加入了线性倒残差块,能使得算法具有更好的收敛性以及快速达到更小的损失值。算法训练结束后,并对所有算法进行测试。
本申请将通过precision、recall、mean average precision(mAP)以及gigafloating point operations per second(GFLOPs)评价算法性能,其中Precision用于衡量算法检测的精度,Precision越大表明算法的检测精度越高。Recall衡量的是算法把所有正类都找出来的能力,即用于衡量算法漏检程度,Recall 越大说明漏检越少。而GFLOPs用于衡量模型复杂度的一个通用指标,其表明算法执行时每秒进行十亿次浮点运算,即GFLOPs越大所占用的计算资源越多,对设备性能要求越高。Precision与Recall的计算公式如(8)-(9)所示。 mAP的计算公式如公式(10)-(11)所示。因为本申请只有一个类别,故Average Precision(AP)等于mAP,AP相当于Precision-Recall(P-R)曲线与坐标轴围成的面积。不同Intersection over Union(IoU)阈值下的mAP不同。当预测框与真实框的IoU大于设定的阈值时才判定为正例。
Figure RE-RE-GDA0003783368570000094
Figure RE-RE-GDA0003783368570000101
Figure RE-RE-GDA0003783368570000102
Figure RE-RE-GDA0003783368570000103
其中,正样本正确分类为正例,表示为TP(true positive),把正样本错误分类为负例,表示为FN(false negative)。负样本正确分类为负例,表示为TN(true negative),把负例错误分类为正例,表示为FP(false positive)。 P表示precision,R表示recall,N表示类别的数量。
将上述进行消融实验的算法利用测试集生成P-R曲线,以综合分析不同算法性能,其中P-R曲线如图8所示。P-R曲线是以recall作为横坐标轴, precision作为纵坐标轴,P-R曲线中的precision与recall是一对矛盾的性能度量指标,precision越高时,recall往往越低。因为提高算法预测正例的置信度阈值以确保挑选出来的正例尽可能是真实正例,这与Recall尽可能挑选更多的正例的目的相反。P-R曲线整体越靠右上角算法性能越强。测试时的置信度阈值和IoU都设定为0.5。本申请算法包含了其余的算法,只与算法 +IRB+D+NA存在一定的交叉。为此通过平衡点进一步分析二者的性能,平衡点是P=R时(即与直线Y=X的交点)的F1的值,F1值越大,说明该算法的性能较好。其中F1=2×P×R/(P+R),进过计算可知,+IRB+D+NA 的平衡点为0.68(P=0.6898,R=0.6897),本申请算法的平衡点为 0.692(P=0.6928,R=0.6927)。故从P-R曲线上整体分析可得,本申请所提出算法在测试集效果上最好。
表2算法性能定量比较
Figure RE-RE-GDA0003783368570000104
Figure RE-RE-GDA0003783368570000111
表2为不同算法的定量比较,选择验证的Precision、mAP0.5,测试的 Precision、recall、mAP0.5,以及各算法参数量、权重大小(weights size)、 GFLOPs来分析算法的整体性能。验证的性能体现算法对数据的学习能力,而测试上的性能表明算法在实际的运用效果,体现算法在实际场景的泛能力的强弱。从表2可知,融合MoblieNet移动架构所构建的网络(实验2)可以有效的减少参数量,相比原Yolov5算法参数量降低了87%,计算开销减少了63.6%,权重存储空间减少了87%。其测试precision有微小程度的提升。但整体上分析+MobileNet的性能有较大的幅度下降。其验证Precision与Map0.5 分别下降了4.4%和4%,测试的召回率和Map0.5分别下降了0.4%、0.1%。直接结合MoblieNet算法实现了参数量和计算量的大幅度减少,从而实现了算法的最大轻量化,但特征提取网络参数量的大量减少,以及+MoblieNet的特征提取网络通道过小,使得特征提取网络的记忆容量迅速下降,容易导致综合性能大幅度下降。
实验3和4的分析结果表明,以线性倒残差块模块和普通卷积或者深度可分离卷积共同构建新的骨干,可以同时有效减少算法参数量和计算负担,使得算法的验证的集上各项性能都非常接近Yolov5算法。该种策略可以有效提高测试精度、召回率以及Map0.5,而结合深度可分离卷积在性能的提升上更为明显。
实验5和6是在实验4的基础上结合自适应加权策略,实验5是在骨干中结合CBAM,而实验6是在Neck中结合CBAM。从表2中实验5和6结果可得,在骨干中结合CBAM可以有效提高算法验证的Map0.5,而在Neck 结合CBAM可以有效提高测试的召回率和Map0.5。从上述分析结果可知,在骨干结合自适应加权策略可以有效增强算法学习能力,在Neck结合自适应加权策略可以有效提升算法的泛化能力,实验7(Our)的实验结果也进一步证明了该结论的正确性,同时实现了验证和测试上各项性能指标的提升。
Yolov3和Yolov4实验结果(实验8和9)分析可知,测试精度较好,而测试的召回率、Map0.5等和验证精度等偏低,表明二者检测精度虽然相对较高,但极易出现漏检的情况(进一步验证了二者在P-R曲线的上变化)。该种情况是由于目标被遮挡、背景与目标本身相似度高,以及目标尺度多变等问题严重影响了Yolov3和Yolov4的召回率和平均精度。相比与其余的算法,二者的参数量和计算量都是最大的,不满足自冲铆接成形质量监测的要求。
本申请提出的算法(即检测模型),同时实现了在验证与测试上性能的提升,相比于Yolov5在验证精度和Map0.5分别提升了2.5%、0.4%,测试集上精度提升2.6%,召回率提升6.4%,Map0.5提升4.3%。同时减少了86.5%的冗余参数量,权重空间占比减少了86.1%,计算量减少47.33%。而与实验 3-6相比,所增加的参数量和计算开销可以忽略不计。
综上,本申请算法提高检测精度的同时,可以有效减少了漏检率、错检和计算的量。
如图2、图3所示,本发明实施例提供了一种自冲铆成形质量的检测装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言,如图2所示,为本发明实施例提供的一种自冲铆成形质量的检测装置所在电子设备的一种硬件架构图,除了图2所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常还可以包括其他硬件,如负责处理报文的转发芯片等等。以软件实现为例,如图3所示,作为一个逻辑意义上的装置,是通过其所在电子设备的CPU 将非易失性存储器中对应的计算机程序读取到内存中运行形成的。
如图3所示,本实施例提供的一种自冲铆成形质量的检测装置,包括:
采集模块301,用于采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;
整理模块302,用于将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
训练模块303,用于将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;
检测模块304,用于利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
在本发明实施例中,采集模块301可用于执行上述方法实施例中的步骤 101,整理模块302可用于执行上述方法实施例中的步骤102,训练模块303 可用于执行上述方法实施例中的步骤103,检测模块304可用于执行上述方法实施例中的步骤104。
在本发明的一个实施例中,所述检测模型包括特征提取网络、特征融合网络和目标检测部分;
沿低维特征提取向高维特征提取的方向,所述特征提取网络包括依次连接的第一深度可分离卷积、第二深度可分离卷积、第一线性倒残差模块、第三深度可分离卷积、第二线性倒残差模块、第一卷积注意力机制、第四深度可分离卷积、第三线性倒残差模块、第二卷积注意力机制和第五深度可分离卷积;
所述特征融合网络包括第一特征融合网络、第二特征融合网络和第三特征融合网络,所述第一特征融合网络包括依次连接的池化金字塔、第一特征复用模块、第一传统卷积块、第一上采样模块、第一特征融合模块和第二特征复用模块,所述第二特征融合网络包括依次连接的第二传统卷积块、第三卷积注意力机制、第二上采样模块、第二特征融合模块、第三特征复用模块和第四卷积注意力机制,所述第三特征融合网络包括依次连接的第三传统卷积块、第三特征融合模块、第四特征复用模块、第四传统卷积块、第四特征融合模块、第五特征复用模块和第五卷积注意力机制;
所述第一卷积注意力机制与所述第二特征融合模块连接,所述第二卷积注意力机制与所述第一特征融合模块连接,所述第五深度可分离卷积与所述池化金字塔连接,所述第一传统卷积块与所述第四特征融合模块连接,所述第二特征复用模块与所述第三传统卷积块连接,所述第三卷积注意力机制与所述第三特征融合模块连接,所述第四卷积注意力机制分别与所述第三传统卷积块和所述目标检测部分连接,所述第四特征复用模块与所述目标检测部分连接,所述第五卷积注意力机制与所述目标检测部分连接。
在本发明的一个实施例中,所述卷积注意力机制包括通道注意力机制和空间注意力机制。
在本发明的一个实施例中,还包括:
验证模块,用于对所述检测模型进行消融实验,以验证所述检测模型的准确性。
可以理解的是,本发明实施例示意的结构并不构成对一种自冲铆成形质量的检测装置的具体限定。在本发明的另一些实施例中,一种自冲铆成形质量的检测装置可以包括比图示更多或者更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现本发明任一实施例中的一种自冲铆成形质量的检测方法。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序在被处理器执行时,使所述处理器执行本发明任一实施例中的一种自冲铆成形质量的检测方法。
具体地,可以提供配有存储介质的***或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如 CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
此外,可以理解的是,将由存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展模块中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展模块上的CPU 等来执行部分和全部实际操作,从而实现上述实施例中任一实施例的功能。
需要说明的是,在本文中,诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储在计算机可读取的存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种自冲铆成形质量的检测方法,其特征在于,包括:
采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;
将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;
利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
2.根据权利要求1所述的方法,其特征在于,所述检测模型包括特征提取网络、特征融合网络和目标检测部分;
沿低维特征提取向高维特征提取的方向,所述特征提取网络包括依次连接的第一深度可分离卷积、第二深度可分离卷积、第一线性倒残差模块、第三深度可分离卷积、第二线性倒残差模块、第一卷积注意力机制、第四深度可分离卷积、第三线性倒残差模块、第二卷积注意力机制和第五深度可分离卷积;
所述特征融合网络包括第一特征融合网络、第二特征融合网络和第三特征融合网络,所述第一特征融合网络包括依次连接的池化金字塔、第一特征复用模块、第一传统卷积块、第一上采样模块、第一特征融合模块和第二特征复用模块,所述第二特征融合网络包括依次连接的第二传统卷积块、第三卷积注意力机制、第二上采样模块、第二特征融合模块、第三特征复用模块和第四卷积注意力机制,所述第三特征融合网络包括依次连接的第三传统卷积块、第三特征融合模块、第四特征复用模块、第四传统卷积块、第四特征融合模块、第五特征复用模块和第五卷积注意力机制;
所述第一卷积注意力机制与所述第二特征融合模块连接,所述第二卷积注意力机制与所述第一特征融合模块连接,所述第五深度可分离卷积与所述池化金字塔连接,所述第一传统卷积块与所述第四特征融合模块连接,所述第二特征复用模块与所述第三传统卷积块连接,所述第三卷积注意力机制与所述第三特征融合模块连接,所述第四卷积注意力机制分别与所述第三传统卷积块和所述目标检测部分连接,所述第四特征复用模块与所述目标检测部分连接,所述第五卷积注意力机制与所述目标检测部分连接。
3.根据权利要求2所述的方法,其特征在于,所述卷积注意力机制包括通道注意力机制和空间注意力机制。
4.根据权利要求2所述的方法,其特征在于,在所述利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测之后,还包括:
对所述检测模型进行消融实验,以验证所述检测模型的准确性。
5.一种自冲铆成形质量的检测装置,其特征在于,包括:
采集模块,用于采集多张带有缺陷的自冲铆后形成的接头的图像;其中,所述缺陷包括空铆、复铆、板材开裂、纽扣开裂和纽扣脱落,所述纽扣是铆钉刺入板材后形成的;
整理模块,用于将采集的所述图像进行数据增强,对数据增强后的图像进行标注,并随机分成训练集和验证集;
训练模块,用于将所述训练集和所述验证集输入到待训练的检测模型中,得到训练好的检测模型;
检测模块,用于利用训练好的检测模型对自冲铆后形成的接头的待测图像进行检测。
6.根据权利要求5所述的装置,其特征在于,所述检测模型包括特征提取网络、特征融合网络和目标检测部分;
沿低维特征提取向高维特征提取的方向,所述特征提取网络包括依次连接的第一深度可分离卷积、第二深度可分离卷积、第一线性倒残差模块、第三深度可分离卷积、第二线性倒残差模块、第一卷积注意力机制、第四深度可分离卷积、第三线性倒残差模块、第二卷积注意力机制和第五深度可分离卷积;
所述特征融合网络包括第一特征融合网络、第二特征融合网络和第三特征融合网络,所述第一特征融合网络包括依次连接的池化金字塔、第一特征复用模块、第一传统卷积块、第一上采样模块、第一特征融合模块和第二特征复用模块,所述第二特征融合网络包括依次连接的第二传统卷积块、第三卷积注意力机制、第二上采样模块、第二特征融合模块、第三特征复用模块和第四卷积注意力机制,所述第三特征融合网络包括依次连接的第三传统卷积块、第三特征融合模块、第四特征复用模块、第四传统卷积块、第四特征融合模块、第五特征复用模块和第五卷积注意力机制;
所述第一卷积注意力机制与所述第二特征融合模块连接,所述第二卷积注意力机制与所述第一特征融合模块连接,所述第五深度可分离卷积与所述池化金字塔连接,所述第一传统卷积块与所述第四特征融合模块连接,所述第二特征复用模块与所述第三传统卷积块连接,所述第三卷积注意力机制与所述第三特征融合模块连接,所述第四卷积注意力机制分别与所述第三传统卷积块和所述目标检测部分连接,所述第四特征复用模块与所述目标检测部分连接,所述第五卷积注意力机制与所述目标检测部分连接。
7.根据权利要求5所述的装置,其特征在于,所述卷积注意力机制包括通道注意力机制和空间注意力机制。
8.根据权利要求5所述的装置,其特征在于,还包括:
验证模块,用于对所述检测模型进行消融实验,以验证所述检测模型的准确性。
9.一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-4中任一项所述的方法。
CN202210757483.4A 2022-06-30 2022-06-30 自冲铆成形质量的检测方法、装置、电子设备及存储介质 Active CN114998304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210757483.4A CN114998304B (zh) 2022-06-30 2022-06-30 自冲铆成形质量的检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210757483.4A CN114998304B (zh) 2022-06-30 2022-06-30 自冲铆成形质量的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114998304A true CN114998304A (zh) 2022-09-02
CN114998304B CN114998304B (zh) 2023-03-24

Family

ID=83020570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210757483.4A Active CN114998304B (zh) 2022-06-30 2022-06-30 自冲铆成形质量的检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114998304B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862860A (zh) * 2023-07-04 2023-10-10 中国机械总院集团江苏分院有限公司 一种基于Yolov4的冲压智能检测及静态生产数据采集联网方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011060A (ko) * 2014-07-21 2016-01-29 주식회사 성우하이텍 금속 패널의 리벳이음 검사방법
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114354626A (zh) * 2021-12-31 2022-04-15 东北大学 一种基于数字孪生的铆接质量图像检测方法
CN114359851A (zh) * 2021-12-02 2022-04-15 广州杰赛科技股份有限公司 无人驾驶目标检测方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011060A (ko) * 2014-07-21 2016-01-29 주식회사 성우하이텍 금속 패널의 리벳이음 검사방법
CN113920107A (zh) * 2021-10-29 2022-01-11 西安工程大学 一种基于改进yolov5算法的绝缘子破损检测方法
CN114359851A (zh) * 2021-12-02 2022-04-15 广州杰赛科技股份有限公司 无人驾驶目标检测方法、装置、设备及介质
CN114354626A (zh) * 2021-12-31 2022-04-15 东北大学 一种基于数字孪生的铆接质量图像检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王旭阳: "铝合金自穿孔铆接裂纹自动检测和评价及参数稳健性优化设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *
邱天衡 等: "基于改进YOLOv5的目标检测算法研究", 《计算机工程与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862860A (zh) * 2023-07-04 2023-10-10 中国机械总院集团江苏分院有限公司 一种基于Yolov4的冲压智能检测及静态生产数据采集联网方法

Also Published As

Publication number Publication date
CN114998304B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112733749B (zh) 融合注意力机制的实时行人检测方法
CN111553387B (zh) 一种基于Yolov3的人员目标检测方法
CN112150821B (zh) 轻量化车辆检测模型构建方法、***及装置
CN105574550A (zh) 一种车辆识别方法及装置
CN101398893B (zh) 一种改进AdaBoost算法的鲁棒人耳检测方法
CN111950515B (zh) 一种基于语义特征金字塔网络的小人脸检测方法
CN105550701A (zh) 实时图像提取识别方法及装置
CN112801146B (zh) 一种目标检测方法及***
CN104573669A (zh) 图像物体检测方法
CN109766769A (zh) 一种基于单目视觉与深度学习的道路目标检测识别方法
CN105654066A (zh) 一种车辆识别方法及装置
Lyu et al. Small object recognition algorithm of grain pests based on SSD feature fusion
CN110119726A (zh) 一种基于YOLOv3模型的车辆品牌多角度识别方法
CN113239916B (zh) 一种表情识别及课堂状态评估方法、设备及介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN109492596A (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及***
CN114998304B (zh) 自冲铆成形质量的检测方法、装置、电子设备及存储介质
CN114049572A (zh) 识别小目标的检测方法
CN115294563A (zh) 一种基于Transformer的增强了局部语义学习能力的3D点云分析方法及装置
CN115409797A (zh) 一种基于改进深度学习算法的pcb缺陷图像检测方法
CN114580541A (zh) 一种基于时空域双通道火灾视频烟雾识别方法
CN115439395A (zh) 显示面板的缺陷检测方法、装置、存储介质及电子设备
CN114612755A (zh) 一种火灾检测方法、***、电子设备和可读存储介质
CN114566052A (zh) 一种基于车流方向判别高速公路车流监控设备转动的方法
CN117011274A (zh) 自动化玻璃瓶检测***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant