CN113642662B - 一种基于轻量化分类模型的分类检测方法及装置 - Google Patents
一种基于轻量化分类模型的分类检测方法及装置 Download PDFInfo
- Publication number
- CN113642662B CN113642662B CN202110973138.XA CN202110973138A CN113642662B CN 113642662 B CN113642662 B CN 113642662B CN 202110973138 A CN202110973138 A CN 202110973138A CN 113642662 B CN113642662 B CN 113642662B
- Authority
- CN
- China
- Prior art keywords
- evaluated
- stage
- model
- sample image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 92
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000007423 decrease Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000003466 welding Methods 0.000 description 58
- 238000013136 deep learning model Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于轻量化分类模型的分类检测方法及装置。方法包括获取训练样本图像，并确定训练样本图像的类别；根据类别对训练样本图像进行分类标记，得到样本标记图像；将样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出待评价样本图像的所属类别。本申请的轻量化分类模型主干中的模型基本单元采用简洁的双分支结构，在增加模型基本单元数量的同时保留待评价样本图像数据的传递，使用输出通道数等于卷积组数的卷积层可以轻量化参数空间，模型的初始化宽度较小，模型更轻量，使得该模型处理待评价样本图像数据的速度更快，检测效果更好，检测效率更高。
Description
技术领域
本申请涉及深度学习模型技术领域，尤其涉及一种基于轻量化分类模型的分类检测方法及装置。
背景技术
工业检测领域中，由于产品的表面缺陷类别形态多样。在进行产品的表面缺陷类别分类检测时，虽然可以采用传统的识别算法对产品图像进行特征提取，然后根据特征提取的结果来确定表面缺陷及表面缺陷的类别。但采用灰度提取算法、面积提取算法、轮廓提取算法等传统的识别算法，很难提取到产品图像中全部有效的特征，对于产品图像的检测效果较差。
由于深度学习模型能够自动学习产品图像特征，采用基于深度学习模型，即分类模型的检测方法对产品图像进行检测，根据检测结果可以将产品划分出合格类别和不合格类别。因此，现有技术中使用深度学习模型对产品进行分类检测越来越普遍。
虽然采用深度学习模型对产品进行分类检测越来越普遍，并且采用深度学习模型，即分类模型的检测方法对产品图像进行检测的效果较好，但是由于现有的深度学习模型，即分类模型的的网络结构较复杂，模型的参数较多，因此采用上述方案对产品图像的检测效率较低，还会对产品的生产效率产生一定程度的影响。
发明内容
本申请提供了一种基于轻量化分类模型的分类检测方法及装置，以解决现有技术中的采用深度学习模型的检测方法对产品图像的检测效率较低，从而导致产品的生产效率低的问题。
一方面，本申请提供一种基于轻量化分类模型的分类检测方法，包括以下步骤：
获取训练样本图像，并确定所述训练样本图像的类别；
根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像；
将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；
将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别；
其中，所述轻量化分类模型的基本结构包括主干，所述主干用于提取预处理后的待评价样本图像不同级别的特征；
所述主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降，经过第二个模型基本单元处理的图像分辨率不变；所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段；
所述模型基本单元包含卷积层，且每一个所述阶段的初始宽度与所述阶段中卷积层的输出通道数相等。
上述技术方案中，模型基本单元采用简洁的双分支结构，在增加模型基本单元数量的同时保留待评价样本图像数据的传递；使用输出通道数等于卷积组数的卷积层可以减小参数空间，使模型更轻量，对待评价样本图像的处理速度更快。
在本申请的较佳实施例中，将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别，包括：
对所述待评价样本图像进行预处理；
依次提取预处理后的待评价样本图像中不同级别的特征，得到含有最高级特征的待评价样本图像；
计算所述含有最高级特征的待评价样本图像的类别概率值；
比较所述类别概率值，并根据比较结果输出所述待评价样本图像的所属类别。
在本申请的较佳实施例中，依次提取预处理后的待评价样本图像中不同级别的特征，得到含有最高级特征的待评价样本图像，包括：
通过第一阶段提取所述预处理后的待评价样本图像的第一级特征，得到含有第一级特征的待评价样本图像；
通过第二阶段提取所述含有第一级特征的待评价样本图像的第二级特征，得到含有第二级特征的待评价样本图像；
通过第三阶段提取所述含有第二级特征的待评价样本图像的第三级特征，得到含有第三级特征的待评价样本图像；
通过第四阶段提取所述含有第三级特征的待评价样本图像的最高级特征，得到含有最高级特征的待评价样本图像。
在本申请的较佳实施例中，所述模型基本单元由卷积层和残差连接卷积层组成，所述模型基本单元包括第一模型基本单元、第二模型基本单元、第三模型基本单元、第四模型基本单元、第五模型基本单元、第六模型基本单元、第七模型基本单元和第八模型基本单元；
其中，所述第一模型基本单元和第二模型基本单元组成第一阶段，用于提取所述待评价样本图像的第一级特征；
所述第三模型基本单元和第四模型基本单元组成第二阶段，用于提取所述待评价样本图像的第二级特征；
所述第五模型基本单元和第六模型基本单元组成第三阶段，用于提取所述待评价样本图像的第三级特征；
所述第七模型基本单元和第八模型基本单元组成第四阶段，用于提取所述待评价样本图像的最高级特征。
在本申请的较佳实施例中，所述第七模型基本单元包括：
第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；
第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；
第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；
侧分支卷积层：若所述第一卷积层的图像分辨率下降1倍，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出。
在本申请的较佳实施例中，所述侧分支卷积层还包括：
若所述第一卷积层的图像分辨率下降2倍，则加入卷积核为1×1，输出通道数为512侧分支卷积层处理，再叠加到第三卷积层输出。
另一方面，本申请提供一种基于轻量化分类模型的分类检测装置，所述分类检测装置包括：
训练模块和分类检测模块；
其中，所述训练模块用于：
获取训练样本图像，并确定所述训练样本图像的类别；
根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像；
将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；
所述分类检测模块用于：
将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别；
其中，所述轻量化分类模型的基本结构包括主干，所述主干用于提取预处理后的待评价样本图像不同级别的特征；
所述主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降，经过第二个模型基本单元处理的图像分辨率不变，所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段；
所述模型基本单元包含卷积层，且每一个所述阶段的初始宽度与所述阶段中卷积层的输出通道数相等。
第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述分类检测方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述分类检测方法的步骤。
本申请提供的一种基于轻量化分类模型的分类检测方法及装置，相较于现有技术而言，具有以下有益效果：
(1)本申请通过构建轻量化分类模型，并使用构建好的轻量化分类模型依次逐步提取待评价样本图像的不同级别的特征，输出待评价样本图像的类别概率值，能够准确高效地判断出待评价样本图像的所属类别。
(2)本申请的轻量化分类模型主干中的模型基本单元采用简洁的双分支结构，在增加模型基本单元数量的同时保留待评价样本图像数据的传递，使用输出通道数等于卷积组数的卷积层可以轻量化参数空间。
(3)本申请所使用的轻量化分类模型的参数空间小，初始化宽度较小，分类模型更轻量，使得该模型处理待评价样本图像数据的速度更快，检测效果更好，检测效率更高。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例1的一种基于轻量化分类模型的分类检测方法流程图；
图2为本申请中轻量化分类模型的整体结构示意图；
图3为本实施例1中第七模型基本单元的结构示意图；
图4为本实施例1中第八模型基本单元的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请中所有基于方位的词语，例如“上”、“下”等，均为参照本申请的附图位置进行描述的。
实施例1
如图1所示，本实施例1提供了一种基于轻量化分类模型的分类检测方法，包括以下步骤：
S101，获取训练样本图像，并确定所述训练样本图像的类别。
步骤S101中，训练样本图像是在不同的工业检测领域中，为了保证各个工业检测领域中根据实际检测情况搭建好的轻量化分类模型的对于产品类别分类的准确性所需要的一种数量足够多的训练集图像。将足够多的训练集图像，即训练样本图像输入至构建好的轻量化分类模型中，可以让轻量化分类模型学习足够多的训练集图像；即训练样本图像的特征，并分别根据检测提取到的每个训练集图像，即训练样本图像的特征，判断出各个训练集图像，即训练样本图像的类别；并将足够多的训练集图像，即训练样本图像通过轻量化分类模型的训练学习结果进行储存，以便在对待评价样本图像，即评价集图像进行类别检测判定时，可以直接采用通过训练集图像，即训练样本图像进行学习训练后的轻量化分类模型进行分类检测。
需要说明的是，在本实施例1中，训练样本图像的类别需要根据不同的工业检测领域，也就是根据实际使用中，本领域技术人员的公知常识或者常规技术手段对每个不同的工业检测领域中的具体类别进行划分，类别的划分数量多少也需要本领域技术人员根据具体使用情况而定，在本申请中，对于类别的具体划分和类别的划分依据以及划分得到的类别数量均不作任何限制。
例如：焊接检测时，训练样本图像，即训练集为焊接样本图像，通过采集足够多的焊接样本图像，以满足构建好的应用于焊接检测中的轻量化分类模型的训练学习要求，获得足够多的焊接样本图像之后还需要确定各个焊接样本图像的所属检测类别。焊接检测中的类别根据本领域技术人员的公知常识可划分为焊缝正确和焊缝偏位两个类别。
S102，根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像。
步骤S102中，样本标记图像是含有所属类别的训练样本集图像；样本标记图像是通过对足够多的训练样本图像，即训练集图像按照本领域技术人员以公知常识等划分出的具体类别进行标记后得到的，标记可根据本领域技术人员的实践经验进行，也可采用其他方法。对类别进行标记是为了区分各个训练样本图像所属的不同类别，便于构建好的轻量化分类模型在采用样本标记图像进行训练学习时，可以准确学习提取样本标记图像的特征及其对应的所属类别。
例如：在焊接检测中，按照划分好的焊缝正确和焊缝偏位两个类别对获取到的各个训练样本图像，即焊接样本图像进行分类标记，得到若干个焊接标记图像，焊接标记图像中既包含焊接样本图像的特征，也包含了该焊接样本图像所对应的焊缝正确或者焊缝偏位的类别信息，以使得构建好的应用于焊接检测中的轻量化分类模型能够同时提取并学习焊接样本图像的特征及该焊接样本图像所属的类别。
S103，将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型。
步骤S103中，将包含有训练样本图像所属类别信息的样本标记图像输入至构建好的轻量化分类模型，即采用轻量化分类模型对样本标记图像的的特征及其对应的所属类别进行训练学习后；轻量化分类模型将所有包含有训练样本图像所属类别信息的样本标记图像的训练学习结果进行储存，即可得到训练好的轻量化分类模型。
例如：在焊接检测中，将若干个包含有焊接样本图像所对应的类别信息的焊接标记图像输入至构建好的轻量化分类模型中训练学习，让轻量化分类模型提取并学习若干个包含有焊接样本图像所对应的类别信息的焊接标记图像及焊接标记图像的特征，完成上述训练学习过程后，将训练学习得到的焊接标记图像的特征及其所属类别信息进行存储，即可得到训练好的且应用于焊接检测的轻量化分类模型。
在本实施例1的一种具体实施方式中，步骤S103中的轻量化分类模型具体结构由上至下包括支干、主干和头部，支干主要由支干卷积层组成；主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降m倍，经过第二个模型基本单元处理的图像分辨率不变；所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段。且第一个模型基本单元的初始宽度等于支干卷积层的输出通道数W，头部主要由全局池化层和线性层组成，用于提取并输出待评价样本图像的每个类别概率值，全局池化层和线性层的相关数值设定取值可根据实际情况进行设置。
在本实施例1的一种具体实施方式中，支干卷积层的输出通道数为W，支干卷积层中卷积核的大小为A*A，图像分辨率下降的倍数为m，其中，W和A的具体取值可根据实际情况中需要对轻量化分类模型的网络结构简化情况和参数空间的减少情况具体设置，m为正整数，m可根据实际需要图像分辨率下降的倍数进行设置。
进一步地，模型基本单元的结构如下：
第一卷积层：B×B cov，W*n/m，其中，B×B表示卷积核的宽×高，W*n表示第一卷积层的输出通道数，m表示第一卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；
第二卷积层：A×A group cov，W*n/m，其中，A×A表示卷积核的宽×高，W*n表示第二卷积层的输出通道数，m表示第二卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；即经过第二卷积层的处理，可以减少轻量化分类模型的参数量，并且通过组卷积进行分组并行处理，可以提高轻量化分类模型的处理效率；
第三卷积层：B×B cov，W*n/m，其中，B×B表示卷积核的宽×高，W*n表示第一卷积层的输出通道数，m表示第一卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；
侧分支卷积层：若所述第一卷积层的图像分辨率不下降，即m＝1，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出；即可保证待评价样本图像数据的有效传递；
若所述第一卷积层的图像分辨率下降m倍，即m≠1，则加入卷积核为B×B，输出通道数为W*n侧分支卷积层处理，再叠加到第三卷积层输出。
需要说明的是，上述每一个模型基本单元的具体卷积层层级结构的多少及模型单元的总数均可根据需要简化现有的分类模型，即深度学习模型的网络结构的程度及分类模型的参数数量减少的需求进行相关设置选择，本实施例1中仅示出了轻量化分类模型的通用结构和可以达到最佳简化网络复杂程度及参数数量的轻量化分类模型中最关键结构层次和每一层及结构具体数值的设置。因此，本领域技术人员不能认为本申请的轻量化分类模型的结构只有一种。
在本实施例1的最佳具体实施方式中，步骤S103的轻量化分类模型具体结构如图2所示，由上至下依次包括支干、主干和头部，其中，支干由支干卷积层构成；主干由第一阶段、第二阶段、第三阶段和第四阶段组成，每一个阶段又包括了两个模型基本单元，模型基本单元由卷积层和残差连接卷积层组成，卷积层和残差连接卷积层构成模型基本单元的两个分支结构，采用双分支结构，能够在模型基本单元的数量增加的同时，保留图像数据传递；头部包括全局池化层和线性层。
另外，如图2所示，组成本实施例1的轻量化分类模型主干的模型基本单元从上之下依次包括第一模型基本单元、第二模型基本单元、第三模型基本单元、第四模型基本单元、第五模型基本单元、第六模型基本单元、第七模型基本单元和第八模型基本单元；所述第一模型基本单元和第二模型基本单元组成第一阶段，用于提取预处理后的待评价样本图像的第一级特征；所述第三模型基本单元和第四模型基本单元组成第二阶段，用于提取所述待评价样本图像的第二级特征；所述第五模型基本单元和第六模型基本单元组成第三阶段，用于提取所述待评价样本图像的第三级特征；所述第七模型基本单元和第八模型基本单元组成第四阶段，用于提取所述待评价样本图像的最高级特征。需要说明的是，从第一级特征到最高级特征的级别层层递增。
进一步地，如图3所示，为组成第四阶段的第七模型基本单元的具体结构包括：
第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；
第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；例如：当标准卷积的参数大小等于512*3*3*512，输出通道数也等于512，组卷积将被分为512组分别处理，则参数量大小等于512/512(分成512组)*3*3*512/512(分成512组)*(乘512组)，能够减少模型基本单元的参数量，使现有的深度学习模型，即分类模型更轻量化，同时，分组并行处理，可以提高轻量化分类模型的处理效率；
第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；
侧分支卷积层：若所述第一卷积层的图像分辨率下降2倍，则加入卷积核为1×1，输出通道数为512侧分支卷积层处理，再叠加到第三卷积层输出；图3中的上箭头接收第三阶段中第六模型基本单元处理后的图像数据，下箭头向第八模型基本单元发送第七模型基本单元处理后的图像数据。
进一步地，如图4所示，为组成第四阶段的第八模型基本单元的具体结构包括：
第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；
第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；例如：当标准卷积的参数大小等于512*3*3*512，输出通道数也等于512，组卷积将被分为512组分别处理，则参数量大小等于512/512(分成512组)*3*3*512/512(分成512组)*(乘512组)，能够减少模型基本单元的参数量，使现有的深度学习模型，即分类模型更轻量化，同时，分组并行处理，可以提高轻量化分类模型的处理效率；
第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；
侧分支卷积层：若所述第一卷积层的图像分辨率下降1倍，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出；图4中的上箭头接收第七模型基本单元处理后的图像数据，下箭头向头部发送第八模型基本单元处理后的图像数据。
更进一步地，在上述组成第四阶段的第七模型基本单元的具体结构中，第七模型基本单元经过第一卷积层到侧分支卷积层的处理后，图像分辨率下降2倍，组成第四阶段的第八模型基本模型单元经过第一卷积层到侧分支卷积层的处理后，图像分辨率不下降，且第八模型基本单元设置在第七模型基本单元的下方，采用此种方案能够提升第二个模型基本单元，即第八模型基本单元处理的速度，并且模型基本单元设计的侧分支卷积层可以对图像数据先进行分组处理，再结合处理，可以进一步提升处理速度。
另外，需要说明的是，第一阶段、第二阶段和第三阶段的模型基本单元的组成及结构与第四阶段的类似，但是每个阶段的输出通道数不同，输出通道数由第四阶段向第一阶段递减，即图2中输出通道数由下至上依次递减，且每个阶段递减2倍。
在本实施例1的最佳具体实施方式中，如图2所示，步骤S103中的轻量化分类模型支干的结构设计为：
支干卷积层：3×3cov，64/2，其中，3×3表示卷积核的宽×高，64表示支干卷积层的输出通道数，2表示支干卷积层的图像分辨率下降2倍；采用64作为轻量化分类模型的初始化宽度，初始化宽度相对于现有的深度学习模型，即分类模型的初始化宽度更小。
在本实施例1的一种具体实施方式中，如图2所示，步骤S103中的轻量化分类模型头部的结构设计为：
全局池化层：avg-pool；
线性层：fc classnum，其中，全局池化层是为了缩小图像分辨率，经过全局池化层和线性层能够提取并输出待评价样本图像的每个类别概率值；全局池化层和线性层的相关数值设定取值可根据实际情况进行设置。
S104，将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别。
在本实施例1的一种具体实施方式中，步骤S104中的训练好的轻量化分类模型对待评价样本图像的具体处理过程如下：
通过构建好的轻量化分类模型中的支干对待评价样本图像进行预处理，即通过支干卷积层的设置对待评价样本图像进行消除噪声及初步的特征提取等处理；
通过图2中构建好的轻量化分类模型中的主干依次逐步提取待评价样本图像中不同级别的特征，得到含有最高级特征的待评价样本图像，即通过主干的第一阶段、第二阶段、第三阶段、第四阶段分别依次逐步提取待评价样本图像的特征，第一阶段提取到的是待评价样本图像的低级特征，特征的级别随着每一阶段的逐步提取而增加，故第四阶段提取到的是待评价样本图像的最高级特征。从低级特征到高级特征的提取，即通过每一阶段提取到的待评价样本图像的特征随着级别越高，特征也越清晰，而每一阶段的图像分辨率随着阶段的递增，待评价样本图像的图像分辨率越来越小。因此，当提取到待评价样本图像的最高级特征时，待评价样本图像的图像分辨率足够小，待评价样本图像中的特征，即最高级特征足够清晰；
通过构建好的轻量化分类模型中的头部提取含有最高级特征的待评价样本图像的类别概率值，并根据类别概率值判断输出待评价样本图像的所属类别，其中，类别概率值即为待评价样本图像属于根据最高级特征，计算出带评价样本图像属于根据本领域公知常识划分好的类别中的某一类的概率值或某些类的概率值，若计算得到多个类别概率值，则需要比较多个类别概率值的大小，并将其中类别概率值最大的一个类别作为待评价样本图像的的所属类别进行输出。
示例性的：在焊接检测中，采集待检测的焊接样本图像，即待评价样本图像，并输入至训练好的且应用于焊接检测中的轻量化分类模型中，应用于焊接检测中的轻量化分类模型先对待检测的焊接样本图像进行消除噪声及初步的特征提取等预处理过程；其次，对预处理后的待检测的焊接样本图像进行依次逐步的特征提取后，直至提取到待检测的焊接样本图像的最高级特征，即特征足够清晰，待检测的焊接样本图像的图像分辨率足够小之后，通过全局池化层和线性层计算并输出待检测的焊接样本图像的类别概率值，即焊缝正确和焊缝偏位两个类别的具体概率值，若只得到焊缝正确或焊缝偏位其中一个类别的类别概率值，则直接输出待检测的焊接样本图像的所属类别；若得到焊缝正确和焊缝偏位两个类别的类别概率值，则需要比较焊缝正确的类别概率值和焊缝偏位的类别概率值，若焊缝正确的类别概率值大于焊缝偏位的类别概率值，则应用于焊接检测中的轻量化分类模型判断并输出待检测的焊接样本图像所属类别为焊缝正确；若焊缝正确的类别概率值小于焊缝偏位的类别概率值，则应用于焊接检测中的轻量化分类模型判断并输出待检测的焊接样本图像所属类别为焊缝偏位。
上述仅为本实施例1的技术方案所适用的其中一个焊接检测领域，本实施例1的技术方案同样适用于其他工业检测应用领域。并且类别的具体划分设置根据实际情况中的工业检测应用领域而定。
实施例2
与前述一种基于轻量化分类模型的分类检测方法的实施例1相对应，本申请还提供了一种基于轻量化分类模型的分类检测装置。所述分类检测装置包括：
训练模块和分类检测模块；
其中，所述训练模块用于：
获取训练样本图像，并确定所述训练样本图像的类别；
根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像；
将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；
所述分类检测模块用于：
将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别；
其中，所述轻量化分类模型的基本结构包括主干，所述主干用于提取预处理后的待评价样本图像不同级别的特征；
所述主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降，经过第二个模型基本单元处理的图像分辨率不变，所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段；
所述模型基本单元包含卷积层，且每一个所述阶段的初始宽度与所述阶段中卷积层的输出通道数相等。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。
Claims (6)
1.一种基于轻量化分类模型的分类检测方法，其特征在于，包括以下步骤：
获取训练样本图像，并确定所述训练样本图像的类别；
根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像；
将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；
将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别，包括：
对所述待评价样本图像进行预处理；
依次提取预处理后的待评价样本图像中不同级别的特征，得到含有最高级特征的待评价样本图像，包括：
通过第一阶段提取所述预处理后的待评价样本图像的第一级特征，得到含有第一级特征的待评价样本图像；
通过第二阶段提取所述含有第一级特征的待评价样本图像的第二级特征，得到含有第二级特征的待评价样本图像；
通过第三阶段提取所述含有第二级特征的待评价样本图像的第三级特征，得到含有第三级特征的待评价样本图像；
通过第四阶段提取所述含有第三级特征的待评价样本图像的最高级特征，得到含有最高级特征的待评价样本图像；
计算所述含有最高级特征的待评价样本图像的类别概率值；
比较所述类别概率值，并根据比较结果输出所述待评价样本图像的所属类别；
其中，所述轻量化分类模型的基本结构包括主干，所述主干用于提取预处理后的待评价样本图像不同级别的特征；
所述主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降，经过第二个模型基本单元处理的图像分辨率不变；所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段；
所述模型基本单元包含卷积层，且每一个所述阶段的初始宽度与所述阶段中卷积层的输出通道数相等；
模型基本单元由卷积层和残差连接卷积层组成，所述模型基本单元包括第一模型基本单元、第二模型基本单元、第三模型基本单元、第四模型基本单元、第五模型基本单元、第六模型基本单元、第七模型基本单元和第八模型基本单元；
其中，所述第一模型基本单元和第二模型基本单元组成第一阶段，用于提取所述待评价样本图像的第一级特征；
所述第三模型基本单元和第四模型基本单元组成第二阶段，用于提取所述待评价样本图像的第二级特征；
所述第五模型基本单元和第六模型基本单元组成第三阶段，用于提取所述待评价样本图像的第三级特征；
所述第七模型基本单元和第八模型基本单元组成第四阶段，用于提取所述待评价样本图像的最高级特征；
所述第七模型基本单元包括：
第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；
第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；
第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；
侧分支卷积层：若所述第一卷积层的图像分辨率下降1倍，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出。
2.根据权利要求1所述的一种基于轻量化分类模型的分类检测方法，其特征在于，所述侧分支卷积层还包括：
若所述第一卷积层的图像分辨率下降2倍，则加入卷积核为1×1，输出通道数为512侧分支卷积层处理，再叠加到第三卷积层输出。
3.一种基于轻量化分类模型的分类检测装置，用以执行如权利要求1或2所述分类检测方法的步骤，其特征在于，所述分类检测装置包括：
训练模块和分类检测模块；
其中，所述训练模块用于：
获取训练样本图像，并确定所述训练样本图像的类别；
根据所述类别对所述训练样本图像进行分类标记，得到样本标记图像；
将所述样本标记图像输入至轻量化分类模型中进行训练，得到训练好的轻量化分类模型；
所述分类检测模块用于：
将待评价样本图像输入至训练好的轻量化分类模型中，判断并输出所述待评价样本图像的所属类别；
其中，所述轻量化分类模型的基本结构包括主干，所述主干用于提取预处理后的待评价样本图像不同级别的特征；
所述主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降，经过第二个模型基本单元处理的图像分辨率不变，所述第一个模型基本单元用于提取预处理后的待评价样本图像的特征，并将提取特征后的待评价样本图像与预处理后的待评价样本图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段；
所述模型基本单元包含卷积层，且每一个所述阶段的初始宽度与所述阶段中卷积层的输出通道数相等。
4.根据权利要求3所述的一种基于轻量化分类模型的分类检测装置，其特征在于，
所述轻量化分类模型的基本结构还包括支干和头部；
其中，所述支干采用支干卷积层对所述待评价样本图像进行预处理，并将所述预处理后的待评价样本图像输入至所述主干；
所述主干包括第一阶段、第二阶段、第三阶段和第四阶段，通过所述第一阶段、第二阶段、第三阶段和第四阶段依次逐步提取预处理后的待评价样本图像不同级别的特征，并将含有最高级特征的待评价样本图像输入至所述头部；
所述头部由全局池化层和线性层组成，通过计算并比较所述含有最高级特征的待评价样本图像的类别概率值，输出所述待评价样本图像的所属类别。
5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述分类检测方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述分类检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110973138.XA CN113642662B (zh) | 2021-08-24 | 2021-08-24 | 一种基于轻量化分类模型的分类检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110973138.XA CN113642662B (zh) | 2021-08-24 | 2021-08-24 | 一种基于轻量化分类模型的分类检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113642662A CN113642662A (zh) | 2021-11-12 |
| CN113642662B true CN113642662B (zh) | 2024-02-20 |
Family
ID=78423534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110973138.XA Active CN113642662B (zh) | 2021-08-24 | 2021-08-24 | 一种基于轻量化分类模型的分类检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113642662B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116627789B (zh) * | 2023-07-19 | 2023-11-03 | 支付宝(杭州)信息技术有限公司 | 模型检测方法及装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN113033547A (zh) * | 2021-02-27 | 2021-06-25 | 北京工业大学 | 一种基于MobileNetV2的焊接状态分类方法 |
| CN113052246A (zh) * | 2021-03-30 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于训练分类模型及图像分类的方法和相关装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389128B (zh) * | 2018-08-24 | 2021-08-27 | 中国石油天然气股份有限公司 | 电成像测井图像特征自动提取方法及装置 |
-
2021
- 2021-08-24 CN CN202110973138.XA patent/CN113642662B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287849A (zh) * | 2019-06-20 | 2019-09-27 | 北京工业大学 | 一种适用于树莓派的轻量化深度网络图像目标检测方法 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN113033547A (zh) * | 2021-02-27 | 2021-06-25 | 北京工业大学 | 一种基于MobileNetV2的焊接状态分类方法 |
| CN113052246A (zh) * | 2021-03-30 | 2021-06-29 | 北京百度网讯科技有限公司 | 用于训练分类模型及图像分类的方法和相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于优化分类的数据增广方法;蒋梦莹;林小竹;柯岩;;计算机工程与设计(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113642662A (zh) | 2021-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108122236B (zh) | 基于距离调制损失的迭代式眼底图像血管分割方法 | |
| CN113657383B (zh) | 一种基于轻量化分割模型的缺陷区域检测方法及装置 | |
| CN110533086B (zh) | 图像数据半自动标注方法 | |
| CN112756759B (zh) | 点焊机器人工作站故障判定方法 | |
| CN111524144B (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN113034483B (zh) | 基于深度迁移学习的烟支缺陷检测方法 | |
| EP3798924A1 (en) | System and method for classifying manufactured products | |
| CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
| CN108171119B (zh) | 基于残差网络的sar图像变化检测方法 | |
| CN111382785A (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
| CN112036249B (zh) | 端对端行人检测及属性识别的方法、***、介质及终端 | |
| CN113362277A (zh) | 一种基于深度学习的工件表面缺陷检测和分割方法 | |
| CN113642662B (zh) | 一种基于轻量化分类模型的分类检测方法及装置 | |
| CN111177135B (zh) | 一种基于界标的数据填补方法及装置 | |
| CN114565594A (zh) | 基于软掩膜对比损失的图像异常检测方法 | |
| CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| CN114187272A (zh) | 一种基于深度学习的工业零件表面缺陷检测方法 | |
| CN114882497A (zh) | 一种基于深度学习算法实现水果分类识别的方法 | |
| CN108932471B (zh) | 一种车辆检测方法 | |
| CN113947597A (zh) | 一种基于屏蔽重建的工业缺陷检测方法、装置及介质 | |
| CN112215301B (zh) | 基于卷积神经网络的影像直线探测方法 | |
| CN111539931A (zh) | 一种基于卷积神经网络和边界限定优化的外观异常检测方法 | |
| CN117058079A (zh) | 基于改进ResNet模型的甲状腺显像图像自动诊断方法 | |
| CN111814883A (zh) | 一种基于异质集成的标签噪声纠正方法 | |
| CN113469977B (zh) | 一种基于蒸馏学习机制的瑕疵检测装置、方法、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |