CN113869333B - 基于半监督关系度量网络的图像识别方法及装置 - Google Patents

基于半监督关系度量网络的图像识别方法及装置 Download PDF

Info

Publication number
CN113869333B
CN113869333B CN202111428246.5A CN202111428246A CN113869333B CN 113869333 B CN113869333 B CN 113869333B CN 202111428246 A CN202111428246 A CN 202111428246A CN 113869333 B CN113869333 B CN 113869333B
Authority
CN
China
Prior art keywords
data
category
image data
semi
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111428246.5A
Other languages
English (en)
Other versions
CN113869333A (zh
Inventor
房体品
王瑞丰
袭肖明
杨光远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Liju Robot Technology Co ltd
Original Assignee
Shandong Liju Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Liju Robot Technology Co ltd filed Critical Shandong Liju Robot Technology Co ltd
Priority to CN202111428246.5A priority Critical patent/CN113869333B/zh
Publication of CN113869333A publication Critical patent/CN113869333A/zh
Application granted granted Critical
Publication of CN113869333B publication Critical patent/CN113869333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明是关于一种基于半监督关系度量网络的图像识别方法及装置，方法包括：对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；根据不同类别模板对比得分计算交叉熵损失和均方差损失；根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。

Description

基于半监督关系度量网络的图像识别方法及装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于半监督关系度量网络的图像识别方法及装置。
背景技术
随着机器学习技术的飞速发展，国内外众多学者纷纷利用机器学习方法去解决各行各业中的问题，其在图像识别与分类领域也展现出巨大的价值。自上个世纪末，很多学者对图像分类方法进行了广泛、深入研究，该领域已经发展出了很多图像分类方法，包括常见的基于小波、神经网络、贝叶斯网络、关联规则、决策树、粗糙集等单一模式的分类技术，之后又组合出各种分类器和分布式***。其中深度学习方法表现十分优异。
虽然该领域研究已经广泛而深入，取得成果十分优秀，但是由于某些应用图像领域（例如医学图像领域）专业性强、样本数据繁杂、数据量差异巨大、特征各异，并且样本数据标注代价巨大，使得研究者面临巨大挑战，目前各种分类方法尚未成熟，仍然需要大量研究者继续深入研究图像识别和分类领域。
一些图像数据必须由该领域方向的专家手动标注，且费时费力，使得样本数据标注代价巨大，由此导致了获得的常用数据集中不含有标签，或者只含有少量标签。这对于现有的基于大数据驱动的深度学习来说，无疑是个灾难。而半监督学习算法专门为解决此问题而提出，它作为一种深度学习只需要少量标签即可进行学习，并且学习效果甚至可以与部分纯监督学习比肩。
某些特殊应用领域数据集具有隐私性或者涉及商业机密，仅对外公开小部分，数量较小且类别不平衡，尤其是一些医学冷门科室的图像，数据集可能仅有几百张，显然无法支撑深度学习网络的学习过程。
发明内容
为克服相关技术中存在的问题，本发明提供一种基于半监督关系度量网络的图像识别方法和装置，从而有效地解决图像数据集中数据量小，类别不平衡，数据集标签少的问题，实现在图像分类领域更好的分类效果。
根据本发明实施例的第一方面，提供一种基于半监督关系度量网络的图像识别方法，方法包括：
对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
根据不同类别模板对比得分计算交叉熵损失和均方差损失；
根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
在一个实施例中，优选地，对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集，包括：
将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
在一个实施例中，优选地，将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分，包括：
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分。
在一个实施例中，优选地，根据不同类别模板对比得分计算交叉熵损失和均方差损失，包括：
利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
计算第一目标预测类别与真实标签类别之间的交叉熵损失；
利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
计算第二目标预测类别与历史加权对应的预测类别之间的均方差损失。
在一个实施例中，优选地，根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型，包括：
将交叉熵损失和均方差损失进行加权求和，得到总损失；
利用总损失进行训练，直到训练轮次达到设定值；
将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
根据本发明实施例的第二方面，提供一种基于半监督关系度量网络的图像识别装置，装置包括：
扩充模块，用于对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
聚类模块，用于将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
对比模块，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
计算模块，用于根据不同类别模板对比得分计算交叉熵损失和均方差损失；
训练模块，用于根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
识别模块，用于通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
在一个实施例中，优选地，扩充模块包括：
处理单元，用于将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
扩充单元，用于利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
在一个实施例中，优选地，对比模块包括：
特征提取单元，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
得分计算单元，用于将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分。
在一个实施例中，优选地，计算模块包括：
第一确定单元，用于利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
第一计算单元，用于计算第一目标预测类别与真实标签类别之间的交叉熵损失；
第二确定单元，用于利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
第二计算单元，用于计算第二目标预测类别与历史加权对应的预测类别之间的均方差损失。
在一个实施例中，优选地，训练模块包括：
第三计算单元，用于将交叉熵损失和均方差损失进行加权求和，得到总损失；
训练单元，用于利用总损失进行训练，直到训练轮次达到设定值；
模型确定单元，用于将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
根据本发明实施例的第三方面，提供一种基于半监督关系度量网络的图像识别装置，装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
根据不同类别模板对比得分计算交叉熵损失和均方差损失；
根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面中任一项方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明实施例中，针对图像分类领域的特殊性利用了小样本度量学***衡问题，同时在预处理阶段使用的随机数据增强技术也为此做出贡献，针对图像分类领域的特殊性利用半监督学习思想，仅仅用少量的有标签数据即可完成深度学习训练过程，并且有良好学习效果。基本小样本学习和半监督学习思想的算法，能够满足绝大部分图像分类任务的深度学习要求。本发明将这两种思想融合到同一深度网络模型中，实现了两者优势的结合，实现了在图像分类领域更好的分类效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法的流程图。
图2是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S101的流程图。
图3是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S103的流程图。
图4是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S104的流程图。
图5是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S105的流程图。
图6是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置的框图。
图7是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中扩充模块的框图。
图8是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中对比模块的框图。
图9是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中计算模块的框图。
图10是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中训练模块的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法的流程图，如图1所示，该方法包括：
步骤S101，对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
步骤S102，将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
步骤S103，将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
步骤S104，根据不同类别模板对比得分计算交叉熵损失和均方差损失；
步骤S105，根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
步骤S106，通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
图2是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S101的流程图。
在一个实施例中，优选地，步骤S101包括步骤S201-步骤S202：
步骤S201，将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
原始数据样本中可能存在图像尺寸不一致情况，不利于深度网络模型进行学习。因此首先利用Pytorch中transforms类对现有数据集进行尺度变换为统一大小。
步骤S202，利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
由于大量缺乏数据，需要对原始数据进行扩充。利用随机数据增强模块进行数据集的扩充，扩充后有标签数据集和无标签数据集的标签不变。特别注意，扩充后有标签数据必须保证每类数据平衡，即每类数据量大体一致。
图3是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S103的流程图。
如图3所示，在一个实施例中，优选地，上述步骤S103包括：
步骤S301，将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
将有标签数据和无标签数据进行随机加噪操作，噪声包括位移、改变图像亮度、对比度、饱和度四种方式随机组合。其中位移值，图像亮度，对比度，饱和度的改变值全部采用一定范围内的随机数。
将加噪后数据集和类别原子图像数据同时加载，然后输入到半监督关系度量网络模型的特征提取网络中，数据通过一个特征提取模块f(x,
Figure 625729DEST_PATH_IMAGE001
)（其中x是输入向量，
Figure 542869DEST_PATH_IMAGE001
是模型参数）后提取图像的关键特征信息向量，同时也得到了类别原子向量V={v 1 ,v 2 ,...,v c }⊂R m （其中c表示类别数量）。有标签数据集向量为X l ={x 1 ,x 2 ,...,x n }⊂R m （其中n表示有标签数据数量）,无标签数据集向量为X u ={x n+1 ,x n+2 ,...,x N }⊂R m （其中N-n表示无标签数据数量）。该特征提取模块是由浅层卷积神经网路构成。特征向量由同一个网络模型提取得到，因此属于同一个特征空间。
步骤S302，将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分。
将有标签数据特征向量X l 和无标签数据特征向量X u 以及类别原子向量V通过C(f(x,
Figure 384923DEST_PATH_IMAGE001
),f(j,
Figure 780133DEST_PATH_IMAGE001
))（其中C( · , · )代表两个向量复合过程）运算后输入到对比网络模型g(y,φ)（其中y是C( · , · )的结果值，φ是模型参数）中，得到有标签数据和无标签数据的不同类模板对比得分分别为z l ,z u ，总和记为z，并且更新历史记录
Figure 594505DEST_PATH_IMAGE002
（其中α为超参数）。
图4是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S104的流程图。
如图4所示，在一个实施例中，优选地，上述步骤S104包括：
步骤S401，利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
步骤S402，计算第一目标预测类别与真实标签类别之间的交叉熵损失；
利用有标签数据对比得分z l ，计算其得分最大值所对应类别为预测类别c l 。将预测类别c l 与真实标签类别y l 进行交叉熵损失计算
Figure 479284DEST_PATH_IMAGE003
。
步骤S403，利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
步骤S404，计算第二目标预测类别与历史加权对应的预测类别之间的均方差损失。
利用全部数据的对比得分z和历史对比得分
Figure 870951DEST_PATH_IMAGE004
，分别计算其得分最大值所对应类别为预测类别c,
Figure 132168DEST_PATH_IMAGE005
。将现在输出的预测结果c与历史输出的预测结果
Figure 801047DEST_PATH_IMAGE006
做均方差损失计算
Figure 794411DEST_PATH_IMAGE007
（其中ω(·)表示坡度函数，t是全局迭代次数）。
图5是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别方法中步骤S105的流程图。
如图5所示，在一个实施例中，优选地，上述步骤S105包括：
步骤S501，将交叉熵损失和均方差损失进行加权求和，得到总损失；
步骤S502，利用总损失进行训练，直到训练轮次达到设定值；
步骤S503，将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
将交叉熵损失Loss c 和均方差损失Loss m 加权和做为总损失Loss=Loss c +λLoss m （其中λ是超参数），不断进行训练，使得Loss呈现下降趋势，直到训练轮次达到设定值或者Loss呈现平稳趋势。保存其最小损失值时得网络模型f(x,
Figure 611057DEST_PATH_IMAGE001
)，g(y,φ)。
图6是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置的框图。
如图6所示，根据本发明实施例的第二方面，提供一种基于半监督关系度量网络的图像识别装置，装置包括：
扩充模块61，用于对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
聚类模块62，用于将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
对比模块63，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
计算模块64，用于根据不同类别模板对比得分计算交叉熵损失和均方差损失；
训练模块65，用于根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
识别模块66，用于通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
图7是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中扩充模块的框图。
如图7所示，在一个实施例中，优选地，扩充模块61包括：
处理单元71，用于将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
扩充单元72，用于利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
图8是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中对比模块的框图。
如图8所示，在一个实施例中，优选地，对比模块63包括：
特征提取单元81，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
得分计算单元82，用于将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分。
图9是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中计算模块的框图。
如图9所示，在一个实施例中，优选地，计算模块64包括：
第一确定单元91，用于利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
第一计算单元92，用于计算第一目标预测类别与真实标签类别之间的交叉熵损失；
第二确定单元93，用于利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
第二计算单元94，用于计算第二目标预测类别与历史加权对应的预测类别之间的均方差损失。
图10是根据一示例性实施例示出的一种基于半监督关系度量网络的图像识别装置中训练模块的框图。
如图10所示，在一个实施例中，优选地，训练模块65包括：
第三计算单元1001，用于将交叉熵损失和均方差损失进行加权求和，得到总损失；
训练单元1002，用于利用总损失进行训练，直到训练轮次达到设定值；
模型确定单元1003，用于将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
根据本发明实施例的第三方面，提供一种基于半监督关系度量网络的图像识别装置，装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
根据不同类别模板对比得分计算交叉熵损失和均方差损失；
根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现第一方面中任一项方法的步骤。
进一步可以理解的是，本发明中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。
进一步可以理解的是，本发明实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于半监督关系度量网络的图像识别方法，其特征在于，方法包括：
对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
根据不同类别模板对比得分计算交叉熵损失和均方差损失；
根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别；
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分，包括：
将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分；
根据不同类别模板对比得分计算交叉熵损失和均方差损失，包括：
利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
计算第一目标预测类别与真实标签类别之间的交叉熵损失
Figure 524731DEST_PATH_IMAGE001
,其中，yi表示真实标签类别，ci表示第一目标预测类别；
利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
计算第二目标预测类别的全部数据的对比得分与历史加权对应的预测类别的历史加权对比得分之间的均方差损失
Figure 441871DEST_PATH_IMAGE002
,其中ω(·)表示坡度函数，t表示全局迭代次数，zi表示第二目标预测类别的全部数据的对比得分，
Figure 221608DEST_PATH_IMAGE003
表示历史加权对应的预测类别的历史加权对比得分。
2.根据权利要求1所述的方法，其特征在于，对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集，包括：
将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
3.根据权利要求1所述的方法，其特征在于，根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型，包括：
将交叉熵损失和均方差损失进行加权求和，得到总损失；
利用总损失进行训练，直到训练轮次达到设定值；
将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
4.一种基于半监督关系度量网络的图像识别装置，其特征在于，装置包括：
扩充模块，用于对图像数据集中的所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集；
聚类模块，用于将扩充后的图像数据集中的有标签数据进行聚类操作，得到每个类别的类别原子图像数据；
对比模块，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型，以得到有标签数据和无标签数据的不同类别模板对比得分；
计算模块，用于根据不同类别模板对比得分计算交叉熵损失和均方差损失；
训练模块，用于根据交叉熵损失和均方差损失进行训练，得到训练好的半监督关系度量网络模型；
识别模块，用于通过训练好的半监督关系度量网络模型对待识别图像进行识别，以确定待识别图像的所属类别；
所述对比模块包括：
特征提取单元，用于将扩充后的图像数据集进行随机加噪处理，将加噪后的图像数据集和类别原子图像数据输入到半监督关系度量网络模型的特征提取网络，以得到有标签数据的特征向量、无标签数据的特征向量和类别原子向量；
得分计算单元，用于将有标签数据的特征向量、无标签数据的特征向量和类别原子向量整合后输入到半监督关系度量网络模型的对比网络中，得到有标签数据和无标签数据的不同类别模板对比得分，并且加权记录全部数据的对比得分；
所述计算模块包括：
第一确定单元，用于利用有标签数据的对比得分，确定其得分最大值所对应的类别为第一目标预测类别；
第一计算单元，用于计算第一目标预测类别与真实标签类别之间的交叉熵损失
Figure 85659DEST_PATH_IMAGE004
,其中，yi表示真实标签类别，ci表示第一目标预测类别；
第二确定单元，用于利用全部数据的对比得分和历史加权对比得分，确定其得分最大值所对应类别为第二目标预测类别；
第二计算单元，用于计算第二目标预测类别与历史加权对应的预测类别之间的均方差损失
Figure 900032DEST_PATH_IMAGE005
,其中ω(·)表示坡度函数，t表示全局迭代次数，zi表示第二目标预测类别的全部数据的对比得分，
Figure 722494DEST_PATH_IMAGE003
表示历史加权对应的预测类别的历史加权对比得分。
5.根据权利要求4所述的装置，其特征在于，扩充模块包括：
处理单元，用于将图像数据集中的所有有标签数据和无标签数据进行尺寸变换，变换为预设尺寸；
扩充单元，用于利用随机数据增强技术对所有有标签数据和无标签数据进行数据扩充，得到扩充后的图像数据集。
6.根据权利要求4所述的装置，其特征在于，训练模块包括：
第三计算单元，用于将交叉熵损失和均方差损失进行加权求和，得到总损失；
训练单元，用于利用总损失进行训练，直到训练轮次达到设定值；
模型确定单元，用于将总损失最小时的半监督关系度量网络模型确定为训练好的半监督关系度量网络模型。
CN202111428246.5A 2021-11-29 2021-11-29 基于半监督关系度量网络的图像识别方法及装置 Active CN113869333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111428246.5A CN113869333B (zh) 2021-11-29 2021-11-29 基于半监督关系度量网络的图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111428246.5A CN113869333B (zh) 2021-11-29 2021-11-29 基于半监督关系度量网络的图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN113869333A CN113869333A (zh) 2021-12-31
CN113869333B true CN113869333B (zh) 2022-03-25

Family

ID=78985333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111428246.5A Active CN113869333B (zh) 2021-11-29 2021-11-29 基于半监督关系度量网络的图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN113869333B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法
CN113657561A (zh) * 2021-10-20 2021-11-16 之江实验室 一种基于多任务解耦学习的半监督夜间图像分类方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086306A (zh) * 2018-06-22 2018-12-25 国网浙江省电力有限公司 基于混合隐马尔可夫模型的原子事件标签的提取方法
CN110163234B (zh) * 2018-10-10 2023-04-18 腾讯科技（深圳）有限公司 一种模型训练方法、装置和存储介质
CN110413924B (zh) * 2019-07-18 2020-04-17 广东石油化工学院 一种半监督多视图学习的网页分类方法
US11416772B2 (en) * 2019-12-02 2022-08-16 International Business Machines Corporation Integrated bottom-up segmentation for semi-supervised image segmentation
CN112232416B (zh) * 2020-10-16 2021-09-14 浙江大学 一种基于伪标签加权的半监督学习方法
CN112348109A (zh) * 2020-11-18 2021-02-09 浙江树人学院（浙江树人大学） 一种基于度量距离损失框架的半监督学习方法、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990342A (zh) * 2021-04-08 2021-06-18 重庆大学 一种半监督sar目标识别方法
CN113657561A (zh) * 2021-10-20 2021-11-16 之江实验室 一种基于多任务解耦学习的半监督夜间图像分类方法

Also Published As

Publication number Publication date
CN113869333A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN109189925B (zh) 基于点互信息的词向量模型和基于cnn的文本分类方法
WO2021143396A1 (zh) 利用文本分类模型进行分类预测的方法及装置
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
WO2021164382A1 (zh) 针对用户分类模型进行特征处理的方法及装置
US8108324B2 (en) Forward feature selection for support vector machines
CN111461164B (zh) 样本数据集的扩容方法及模型的训练方法
CN110263174B (zh) —基于焦点关注的主题类别分析方法
CN110751038A (zh) 一种基于图注意力机制的pdf表格结构识别方法
CN111008224B (zh) 一种基于深度多任务表示学习的时间序列分类和检索方法
CN115482418B (zh) 基于伪负标签的半监督模型训练方法、***及应用
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
CN111401156A (zh) 基于Gabor卷积神经网络的图像识别方法
CN112418320A (zh) 一种企业关联关系识别方法、装置及存储介质
US20080306891A1 (en) Method for machine learning with state information
CN113095229A (zh) 一种无监督域自适应行人重识别***及方法
CN115410059A (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN115344693A (zh) 一种基于传统算法和神经网络算法融合的聚类方法
Shen et al. Equiangular basis vectors
CN117349743A (zh) 一种基于多模态数据的超图神经网络的数据分类方法及***
CN113869333B (zh) 基于半监督关系度量网络的图像识别方法及装置
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116257601A (zh) 一种基于深度学习的违法词库构建方法及***
CN108898157B (zh) 基于卷积神经网络的数值型数据的雷达图表示的分类方法
US20230196810A1 (en) Neural ode-based conditional tabular generative adversarial network apparatus and method
Li et al. More correlations better performance: Fully associative networks for multi-label image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: Room 1409, Floor 14, Building 1, High tech Zone Entrepreneurship Center, No. 177, Gaoxin 6th Road, Rizhao, Shandong 276801

Patentee after: Shandong Liju Robot Technology Co.,Ltd.

Address before: 276808 No.99, Yuquan 2nd Road, antonwei street, Lanshan District, Rizhao City, Shandong Province

Patentee before: Shandong Liju Robot Technology Co.,Ltd.