CN115937616A - 图像分类模型的训练方法、***及移动终端 - Google Patents
图像分类模型的训练方法、***及移动终端 Download PDFInfo
- Publication number
- CN115937616A CN115937616A CN202310143973.XA CN202310143973A CN115937616A CN 115937616 A CN115937616 A CN 115937616A CN 202310143973 A CN202310143973 A CN 202310143973A CN 115937616 A CN115937616 A CN 115937616A
- Authority
- CN
- China
- Prior art keywords
- sample
- training
- samples
- image
- classification model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 159
- 238000013145 classification model Methods 0.000 title claims abstract description 118
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000002372 labelling Methods 0.000 claims abstract description 31
- 238000005457 optimization Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000003860 storage Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像分类模型的训练方法、装置、设备及存储介质，其中，所述方法包括：获取训练数据集，训练数据集包括有标签样本和无标签样本；基于预设的特征提取网络，提取有标签样本和/或无标签样本的图像特征；基于图像特征，计算每一个无标签样本到决策边界的置信度，其中决策边界是根据有标签样本计算得到的；基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签；基于查询样本及其标签对图像分类模型进行训练，以对图像分类模型进行优化训练。采用本发明，可降低图像分类模型训练的标注成本。
Description
技术领域
本发明涉及工业视觉自动化检测技术领域，尤其涉及一种图像分类模型的训练方法、装置、计算机设备及计算机可读存储介质。
背景技术
图像分类是根据图像信息中所反映的不同特征将不同类别的目标区分开来的一种图像处理方法。图像分类的关键问题是基于已标注类别的图片训练具有较高分类准确率的分类器模型。在工业视觉自动化检测中，可以通过采集产品的图像来对图像进行分类识别，例如缺陷识别等，能极大的提高成产效率。
在图像分类的相关方案中，需要获取大量的标注图片来对分类器进行训练，但是，由于图片标注的代价较高（需由领域专家进行人工标注），费时费力，导致分类器的训练效率较低。
发明内容
基于此，有必要针对上述问题，提出了一种图像分类模型的训练方法、***及移动终端。
在本发明的第一部分，提供了一种图像分类模型的训练方法，所述方法包括：
获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；
基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；
基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；
基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
可选的，所述基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征的步骤，还包括：基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；
所述基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本。
可选的，所述基于图像特征，计算每一个无标签样本到决策边界的置信度的步骤，还包括：基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；
所述基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
可选的，所述将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签的步骤之后，还包括：将获得了标签的查询样本合并到所述第一数据集的有标签样本，基于合并之后的有标签样本对所述图像分类模型进行训练。
可选的，所述基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练的步骤之后，还包括：获取对图像分类模型进行训练的准确度，判断该准确度是否达到预设的精度阈值，若是，则停止对所述图像分类模型的训练，完成对所述图像分类模型的优化训练。
可选的，所述方法还包括：获取待识别图像，将所述待识别图像输入所述图像分类模型，获取所述图像分类模型的输出结果作为所述待识别图像的图像分类结果。
在本发明的第二部分，提供了一种图像分类模型的训练装置，所述装置包括：
训练数据获取模块，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；
特征提取模块，用于基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；
样本筛选模块，用于基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本；其中；决策边界是根据有标签样本计算得到的；
样本标注模块，用于将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，
模型优化训练模块，用于基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
可选的，所述特征提取模块还用于：
基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；
所述样本筛选模块还用于：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本；其中，基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
在本发明的第三部分，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行如前所述的图像分类模型的训练方法。
在本发明的第四部分，提供了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如前所述的图像分类模型的训练方法。
采用本发明实施例，具有如下有益效果：
采用了上述图像分类模型的训练方法、装置、计算机设备及计算机可读存储介质之后，在对图像分类模型进行训练的过程中，获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。在使用神经网络模型对图像进行分类的模型训练过程中，可以仅使用少量的有标签样本对初始的图像分类模型进行初始训练，然后基于自监督网络的策略挑选样本来进一步的进行人工标注，然后基于标注的结果进一步的对图像分类模型进行优化训练；其中，样本的挑选还需要基于平衡选择策略，选择靠近决策边界的样本，以促进样本的均匀类分布，提高样本标注的有效性和效率。也就是说，在本实施例中，通过结合将自监督网络和平衡玄策策略结合到主动学习模型中，实现了更好的样本挑选效率，降低了人工标注的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为一个实施例中一种图像分类模型的训练方法的流程示意图；
图2为一个实施例中图像分类模型的训练示意图；
图3为一个实施例中图像分类模型训练的流程示意图；
图4为一个实施例中一种图像分类模型的训练装置的结构示意图；
图5为一个实施例中运行上述图像分类模型的训练方法的计算机设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本实施例中，为了降低图像分类模型训练的标注成本，提高图像分类器的训练效率，提出了一种图像分类模型的训练方法。该方法可以适用于工业视觉自动化检测领域，适用于工业化场景对产品进行基于机器视觉的缺陷检测等应用场景，其中，需要提前对进行缺陷检测的模型（这里为图像分类模型）进行模型训练。在一个具体的实施例中，图像分类模型可以为神经网络模型，需要用大量的已经有标签的图像对模型进行训练，其中，图像分类模型可以根据图像信息中所反映的不同特征将不同类别的目标区分开来，例如，根据图像中是否存在缺陷以及存在的缺陷种类对图像进行分类。
具体的，请参见图1，上述图像分类模型的训练方法包括如图1所示的步骤S101-S105：
步骤S101：获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集。
在本步骤中，首先需要获取少量的有标注结果的图像（有标签样本）以及大量的没有标注结果的图像（无标签样本），构成对应的第一数据集和第二数据集，作为对图像分类模型进行模型训练的训练数据集。同时，需要对数据集的格式进行定义，例如，图像格式、标签格式等，以使得所有训练数据的格式是统一的，提高模型训练的效率。
其中，有标签样本可以是人工事先进行标注的图像样本，在本实施例中，可以先人工随机或者按照某个规则选择一部分图像由专家进行标注，然后基于这部分的数据对图像分类模型进行初始的训练，然后基于后续的步骤S102-S105对模型进行进一步的优化训练。
也就是说，在本实施例中，在步骤S101之后还包括步骤S1011：基于所述第一数据集中的有标签样本及其标签，对图像分类模型进行初始训练，获取完成初始训练之后的图像分类模型。
步骤S102：基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征。
需要说明的是，这里对样本数据的图像特征的提取，需要区分是平衡数据集还是非平衡数据集，其中，平衡数据集/非平衡数据集的区分是通过标签种类是否是相对平均的来进行区分的。对于平衡数据集中的样本选择特征混合网络自评为特征提取网络来提取样本的图像特征，对于非平衡数据集中的样本是通过自监督网络对数据进行预训练处理，然后提取图像数据的特征。
具体的，对于平衡数据集中的样本，采用主动学***均值；通过特征提取网络将每个无标签样本和每个类别的特征平均值用进行混合，从而得到新的图像特征。也就是说，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征。
使用图像分类模型，将新的图像特征与无标签样本的图像特征进行分类，并比对两者的分类结果——若两者的分类结果不相同，则将该无标签数据筛选出来作为查询样本进行进一步的标注。
具体的，基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本。
通过特征提取网络，获取样本数据的D维向量作为图像特征，其中，将无标签样本的图像特征与有标签样本的图像特征进行混合插值得到一个新的图像特征，该图像特征是一种不需要对有标签样本和无标签样本进行显式的建模就可以采样得到新样本的方式。
具体的，，其中，是单个无标签样本，用的是将有标签样本中每个类别的图像特征的特征平均值，α是属于0到1之间的D维权重值。
通过将混合得到的新图像特征与伪标签带入损失函数，通过泰勒展开得到下式：
其中，为图像分类模型，为伪标签。
进一步移项处理并对损失值进行最大化处理，确定取最大值时的α。
具体的，无标签样本混合之后的图像特征和最初提取得到的图像特征对应了两个类别的损失值，具体为：
。
进一步的找到使得以上损失值的差值最大的已标注的anchor，进一步的求解最佳的参数α。通过对偶范数可以确定其近似最优解为：
。
在查询样本的筛选选择阶段，可以在无标签样本中，找到能使预测分类结果改变的变化的样本，作为查询样本的候选。在候选的样本个数I大于可标注数B时，可以通过kmeans（k为B）采样得到具有多样性的B个样本作为查询样本进行进一步的人工标注，即
。
步骤S103：基于图像特征，计算每一个无标签样本到决策边界的置信度，其中决策边界是根据有标签样本计算得到的。
步骤S104：基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签。
在本步骤中，利用自监督网络来选择后续的查询样本。具体的，用有标签样本的图像特征计算决策边界（最接近任何决策边界），然后计算每一个无标签样本的图像特征到决策边界法向量上的投影距离作为无标签样本的置信度衡量，距离越大则置信度越小，越能为后续的模型训练提供更大的帮助。这里，自监督网络不参与后续的图像分类网络，仅在查询样本的筛选阶段中为后续步骤选择合适的样本，以供进行人工进一步的标注，为主动学习提供合适的样本。
对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系。
每轮挑选完查询样本后，由于新增了已知类别的样本，那么每轮迭代中的距离需要重新计算。在整个过程中，自监督网络收敛后模型参数不再训练，每个样本对应的图像特征也固定，即自监督网络为主动学习挑选合适的样本，样本被标注后加入到图像分类模型中。自监督网络本身不需要参与下面图像分类模型，图像分类模型的训练数据为一开始的少量有标注数据，加上在自监督指导下挑选给人工进行标注后得到的数据。
在自监督网络部分使用的是对比学习中的SimCLR算法。同一个图像经过数据增强后应该仍然属于同一类别，SimCLR算法在特征空间中将增强后得到的两个样本距离拉近，非同一类的样本之间的距离拉远，直到算法收敛便可以学习到各个样本的特征。该算法包括四个主要的组件：随机数据增强模块，神经网络编码器，预测头函数以及对比损失函数。自监督网络收敛后，可以输出有标签样本以及无标签样本的图像特征。其中有标签样本的图像特征用于计算图像特征到决策边界法向量上的投影，无标签样本的特征向量到决策边界法向量上的投影的距离来估计图像分类模型对该无标签样本的置信度情况。
对于每个无标签样本，以其离各个已知类别簇中最短的欧式距离作为它到该类别的距离。利用这些最短距离，将每个无标签样本类别从大到小进行排序，距离越大则表示我们最需要标注的样本。取前k个作为一个batch交给标注者进行标记（即查询样本），将标记后的样本从无标签样本的第二数据集中取出并入有标签样本的第一数据集，并更新类别簇中心，反复迭代，直到挑选出足够的样本让图像分类模型达到收敛。
具体的，基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
上述筛选出查询样本再人工继续进行标注然后将标注后的样本加入到训练数据集中对模型进行训练的过程即为主动学***衡选择策略），相对于随机抽样的样本选择，可以更好的提高样本选择的效率以及后续模型训练的效率。
下面对主动学***衡选择算法对应的边际选择。
在在每一轮主动学习中选择最接近任何决策边界的b个无标签样本，其中，这些样本应该对模型的决策影响最大。
定义到决策边界（DDB）的距离为，其中，距离DDB的计算是通过在特征空间中估计该距离，即在特征空间中计算图像特征到决策边界法向量上的投影。
在相关技术方案中，如果仅有单个基线主动学***衡，它不会跨类均匀地查询示例。因此，在本实施例中，考虑平衡选择（BASE）的主动学习策略。
具体的，平衡选择根据与类特定决策边界的距离DCSDB来选择样本，其中，距离的计算如下：
其中，对于每一个类别，选择具有最小的样本。
步骤S105：基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
这里，需要对图像分类模型进行多轮迭代训练，这里还需要在模型训练之前，预先设置对图像分类模型进行迭代训练的迭代次数、以及每轮迭代训练的样本数量，即步骤S104中筛选的查询样本的数量。然后，在经过上述步骤S104获取查询样本之后，将获取到的查询样本送到图像分类模型中进行优化训练，以对步骤S1011中完成初始训练的模型进行进一步的优化训练。这里，还需要在本步骤中记录模型训练的准确率。
对图像分类模型的训练的终止是通过判断模型的准确率是否达到预设的阈值，或者查询样本的数量是否超过预设的上限，又或者对模型的迭代训练次数是否达到预设的迭代次数等，若达到，则终止对图像分类模型的优化训练，完成对图像分类模型的训练。
可选的，对所有的无标签样本均采用上述自监督网络来对图像分类模型进行训练。在每一轮自动学习中获取的K个查询样本中，自监督网络主干的权重（除最终的图像分类模型之外的所有层）均需要重置为自监督网络初始训练的权重，然后自监督网络在所有的有标签样本上进行端到端的微调，从而完成对图像分类模型的设置。或者，在另一个实施例中，还可以仅将图像分类模型的最后一层对权重进行重置。
完成训练之后的图像分类模型可以进一步的进行图像的分类识别，例如图像缺陷识别和分类。
具体的，如图1所示，上述图像分类模型的训练方法还包括步骤S106：获取待识别图像，将所述待识别图像输入所述图像分类模型，获取所述图像分类模型的输出结果作为所述待识别图像的图像分类结果。
进一步的请参见图2，给出了上述图像分类模型的训练的示意图。对于有标签样本和无标签样本，获取其对应的图像特征，然后对特征进行混合插值得到新的图像特征，然后基于图像特征对无标签样本极性评估推理，然后由人工对该样本进行标注，标注后的样本合并到有标签样本的集合中对图像分类器进行进一步的优化训练。
请参见图3，给出了上述图像分类模型的训练方法的流程示意图，对于训练数据集，通过自监督网络在有标签样本的图像特征对应的特征空间中筛选k个无标签样本由人工进行标注，然后合并到有标签样本中对图像分类模型进行训练，然后执行后续的图像分类任务。
在实验数据上，相对于随机采样10%的样本、以及基于熵的不确定采样方法采样10%样本，在使用全部样本标注在实验数据集中的准确率明显低于本实施例中提出的模型训练犯法采样10%的样本的准确率96.12%。
采用了上述图像分类模型的训练方法之后，对于使用神经网络模型对图像进行分类的模型训练过程中，可以仅使用少量的有标签样本对初始的图像分类模型进行初始训练，然后基于自监督网络的策略挑选样本来进一步的进行人工标注，然后基于标注的结果进一步的对图像分类模型进行优化训练；其中，样本的挑选还需要基于平衡选择策略，选择靠近决策边界的样本，以促进样本的均匀类分布，提高样本标注的有效性和效率。也就是说，在本实施例中，通过结合将自监督网络和平衡玄策策略结合到主动学习模型中，实现了更好的样本挑选效率，降低了人工标注的成本。
在本实施例的另一个方面，提供了一种图像分类模型的训练装置，如图4所示，所述装置包括：
训练数据获取模块101，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；
特征提取模块102，用于基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；
样本筛选模块103，用于基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本；其中；决策边界是根据有标签样本计算得到的；
样本标注模块104，用于将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，
模型优化训练模块105，用于基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
可选的，在一个实施例中，特征提取模块102还用于：基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征。
可选的，在一个实施例中，样本筛选模块103还用于：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本。
可选的，在一个实施例中，样本筛选模块103还用于：基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
可选的，在一个实施例中，模型优化训练模块105还用于将获得了标签的查询样本合并到所述第一数据集的有标签样本，基于合并之后的有标签样本对所述图像分类模型进行训练。
可选的，在一个实施例中，模型优化训练模块105还用于获取对图像分类模型进行训练的准确度，判断该准确度是否达到预设的精度阈值，若是，则停止对所述图像分类模型的训练，完成对所述图像分类模型的优化训练。
可选的，在一个实施例中，上述装置还包括图像识别模块106，用于获取待识别图像，将所述待识别图像输入所述图像分类模型，获取所述图像分类模型的输出结果作为所述待识别图像的图像分类结果。
图5示出了一个实施例中实现上述图像分类模型的训练方法的计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图5所示，该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
采用了上述图像分类模型的训练方法、装置、计算机设备及计算机可读存储介质之后，在对图像分类模型进行训练的过程中，获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。在使用神经网络模型对图像进行分类的模型训练过程中，可以仅使用少量的有标签样本对初始的图像分类模型进行初始训练，然后基于自监督网络的策略挑选样本来进一步的进行人工标注，然后基于标注的结果进一步的对图像分类模型进行优化训练；其中，样本的挑选还需要基于平衡选择策略，选择靠近决策边界的样本，以促进样本的均匀类分布，提高样本标注的有效性和效率。也就是说，在本实施例中，通过结合将自监督网络和平衡玄策策略结合到主动学习模型中，实现了更好的样本挑选效率，降低了人工标注的成本。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像分类模型的训练方法，其特征在于，所述方法包括：
获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；
基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；
基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本，并将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，其中；决策边界是根据有标签样本计算得到的；
基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
2.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征的步骤，还包括：
基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；
其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；
对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；
所述基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：
基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；
基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本。
3.根据权利要求2所述的图像分类模型的训练方法，其特征在于，所述基于图像特征，计算每一个无标签样本到决策边界的置信度的步骤，还包括：
基于有标签样本的图像特征，计算决策边界；
对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；
所述基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本的步骤，还包括：
基于损失值最大化在所述无标签样本中选择至少一个候选样本；
基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
4.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签的步骤之后，还包括：
将获得了标签的查询样本合并到所述第一数据集的有标签样本，基于合并之后的有标签样本对所述图像分类模型进行训练。
5.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练的步骤之后，还包括：
获取对图像分类模型进行训练的准确度，判断该准确度是否达到预设的精度阈值，若是，则停止对所述图像分类模型的训练，完成对所述图像分类模型的优化训练。
6.根据权利要求1所述的图像分类模型的训练方法，其特征在于，所述方法还包括：
获取待识别图像，将所述待识别图像输入所述图像分类模型，获取所述图像分类模型的输出结果作为所述待识别图像的图像分类结果。
7.一种图像分类模型的训练装置，其特征在于，所述装置包括：
训练数据获取模块，用于获取训练数据集，所述训练数据集包括第一数据集和第二数据集，其中，第一数据集为有标签样本的训练数据集，第二数据集为无标签样本的训练数据集；
特征提取模块，用于基于预设的特征提取网络，提取所述有标签样本和/或无标签样本的图像特征；
样本筛选模块，用于基于图像特征计算每一个无标签样本到决策边界的置信度，基于置信度从第二数据集包含的无标签样本选择至少一个无标签样本作为查询样本；其中；决策边界是根据有标签样本计算得到的；
样本标注模块，用于将查询样本作为人工标注的样本发送给预设的用户进行标注，获取针对查询样本标注的标签，
模型优化训练模块，用于基于查询样本及其标签对所述图像分类模型进行训练，以对所述图像分类模型进行优化训练。
8.根据权利要求7所述的图像分类模型的训练装置，其特征在于，所述特征提取模块还用于：
基于自监督网络，对所述有标签样本和/或无标签样本进行预训练处理，提取所述有标签样本和/或无标签样本的图像特征；其中，对于有标签样本获取其图像特征，并根据分类结果获取每个分类下的所有有标签样本的图像特征的平均值作为特征平均值；对于无标签样本获取其图像特征，并将获取到的图像特征与每个分类下的特征平均值进行混合插值，以得到无标签样本的混合图像特征；
所述样本筛选模块还用于：基于图像分类模型对所述混合图像特征进行预测，获取与该无标签样本对应的伪标签；基于预设的损失函数计算混合图像特征与伪标签之间的损失值，基于损失值最大化在所述无标签样本中选择查询样本；
其中，基于有标签样本的图像特征，计算决策边界；对于每一个无标签样本，计算该无标签样本的图像特征到决策边界法向量上的投影的距离，根据计算得到的距离确定该无标签样本到决策边界的置信度，其中，距离与置信度之间呈负相关关系；基于损失值最大化在所述无标签样本中选择至少一个候选样本；基于置信度在所述至少一个候选样本中选择查询样本，其中，查询样本的置信度小于未选择的候选样本。
9.一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至6任一所述的图像分类模型的训练方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器有可执行代码，当所述可执行代码在所述处理器上运行以实现如权利要求1至6任一所述的图像分类模型的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143973.XA CN115937616A (zh) | 2023-02-21 | 2023-02-21 | 图像分类模型的训练方法、***及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310143973.XA CN115937616A (zh) | 2023-02-21 | 2023-02-21 | 图像分类模型的训练方法、***及移动终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115937616A true CN115937616A (zh) | 2023-04-07 |
Family
ID=86652681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310143973.XA Pending CN115937616A (zh) | 2023-02-21 | 2023-02-21 | 图像分类模型的训练方法、***及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115937616A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994611A (zh) * | 2024-04-03 | 2024-05-07 | 英特灵达信息技术(深圳)有限公司 | 一种图像分类模型的训练方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563590A (zh) * | 2020-04-30 | 2020-08-21 | 华南理工大学 | 一种基于生成对抗模型的主动学习方法 |
| CN114357221A (zh) * | 2022-03-15 | 2022-04-15 | 南京航空航天大学 | 一种基于图像分类的自监督主动学习方法 |
| CN115510961A (zh) * | 2022-09-19 | 2022-12-23 | 浙江浙能乐清发电有限责任公司 | 一种基于主动学习的社区综合能源***运行安全评估方法 |
-
2023
- 2023-02-21 CN CN202310143973.XA patent/CN115937616A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563590A (zh) * | 2020-04-30 | 2020-08-21 | 华南理工大学 | 一种基于生成对抗模型的主动学习方法 |
| CN114357221A (zh) * | 2022-03-15 | 2022-04-15 | 南京航空航天大学 | 一种基于图像分类的自监督主动学习方法 |
| CN115510961A (zh) * | 2022-09-19 | 2022-12-23 | 浙江浙能乐清发电有限责任公司 | 一种基于主动学习的社区综合能源***运行安全评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| AMIN PARVANEH 等: "Active Learning by Feature Mixing", 《ARXIV.ORG》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117994611A (zh) * | 2024-04-03 | 2024-05-07 | 英特灵达信息技术(深圳)有限公司 | 一种图像分类模型的训练方法、装置及电子设备 |
| CN117994611B (zh) * | 2024-04-03 | 2024-07-02 | 英特灵达信息技术(深圳)有限公司 | 一种图像分类模型的训练方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108345911B (zh) | 基于卷积神经网络多级特征的钢板表面缺陷检测方法 | |
| CN110348580B (zh) | 构建gbdt模型的方法、装置及预测方法、装置 | |
| CN111353549B (zh) | 图像标签的核验方法及装置、电子设备、存储介质 | |
| JP6897749B2 (ja) | 学習方法、学習システム、および学習プログラム | |
| CN113807420A (zh) | 一种考虑类别语义匹配的域自适应目标检测方法及*** | |
| CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
| CN110766075A (zh) | 轮胎区域图像比对方法、装置、计算机设备和存储介质 | |
| CN112766170A (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
| CN115937616A (zh) | 图像分类模型的训练方法、***及移动终端 | |
| CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
| CN116563868A (zh) | 文本图像的识别方法、装置、计算机设备及存储介质 | |
| CN110675382A (zh) | 基于CNN-LapsELM的铝电解过热度识别方法 | |
| CN112766351A (zh) | 一种图像质量的评估方法、***、计算机设备和存储介质 | |
| JP2009129253A (ja) | パターン認識装置、パターン認識プログラム及びパターン認識方法 | |
| CN111177403A (zh) | 样本数据的处理方法和装置 | |
| CN116167336A (zh) | 基于云计算的传感器数据加工方法、云服务器及介质 | |
| CN113378707A (zh) | 对象识别方法及装置 | |
| CN113076823A (zh) | 一种年龄预测模型的训练方法、年龄预测方法及相关装置 | |
| CN113468936A (zh) | 一种食材识别方法、装置和设备 | |
| CN117593890B (zh) | 一种道路遗撒物体的检测方法、装置、电子设备及存储介质 | |
| CN114119460B (zh) | 半导体图像缺陷识别方法、装置、计算机设备和存储介质 | |
| CN118037738B (zh) | 一种沥青路面灌缝胶黏结性能检测方法及设备 | |
| CN114781554B (zh) | 一种基于小样本条件的开集识别方法及*** | |
| CN111860547B (zh) | 基于稀疏表示的图像分割方法、装置、设备及存储介质 | |
| CN118212639A (zh) | 目标检测、题目批改方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230407 |
|
| RJ01 | Rejection of invention patent application after publication |