CN115631391A - 基于深度主动学习的图像挑选方法、装置及存储介质 - Google Patents
基于深度主动学习的图像挑选方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115631391A CN115631391A CN202211513065.7A CN202211513065A CN115631391A CN 115631391 A CN115631391 A CN 115631391A CN 202211513065 A CN202211513065 A CN 202211513065A CN 115631391 A CN115631391 A CN 115631391A
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- active learning
- initial
- image segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims abstract description 18
- 238000003709 image segmentation Methods 0.000 claims abstract description 167
- 238000012549 training Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000007420 reactivation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及深度主动学习技术领域,公开了一种基于深度主动学习的图像挑选方法、装置及存储介质,所述方法包括:根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;在模型训练次数不为预设数值时,根据已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;根据基于深度主动学习的初始图像分割模型确定未标注图像数据的梯度范数;根据梯度范数和未标注图像数据挑选目标图像数据;通过上述方式,根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数,再根据梯度范数挑选目标图像数据,能够有效提高挑选所需图像数据的准确性和效率,进而达到使用数量少、高质量的图像数据提高模型性能的目的。
Description
技术领域
本发明涉及深度主动学习技术领域,尤其涉及基于深度主动学习的图像挑选方法、装置及存储介质。
背景技术
随着深度神经网络模型在解决现实世界视觉任务方面的能力不断增强,以及随后对可用技术的吸收,对大型注释数据集的需求日益重要,基于深度学习的语义分割,面临缺乏有效的训练数据的问题,并且语义分割的逐像素标注成本远比单一图像标注量高很多,非常耗时耗力,对于标签数据量相对有限、标注成本高的数据现象,目前常用的解决思路为:半监督学习,是指共同利用少量带标注样本和大量无标注样本,充分地实现数据的价值,挖掘数据规律;或者是主动构造更可靠有效的标签数据集,使得学习模型更具有泛化能力,但是上述解决思路大多采用常规的样本选择策略,仅适用于普通的分类任务,且无法向其他数据集扩展,造成挑选所需图像数据的准确性和效率较低,导致训练的模型性能较差。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于深度主动学习的图像挑选方法、装置及存储介质,旨在解决现有技术挑选所需图像数据的准确性和效率较低,造成训练的模型性能较差的技术问题。
为实现上述目的,本发明提供了一种基于深度主动学习的图像挑选方法,所述基于深度主动学习的图像挑选方法包括以下步骤:
根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;
在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;
根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;
根据所述梯度范数和未标注图像数据挑选目标图像数据。
可选地,所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据,包括:
将所述全部图像数据的预设比例数据划分为待标注图像数据;
采用预设标注策略对所述待标注图像数据进行标注,得到已标注训练图像数据;
按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
可选地,所述在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型,包括:
在模型训练次数不为预设数值时,获取自定义组件结构;
根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象;
根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构;
对所述深度主动学习网络架构的网络参数进行初始化;
根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
可选地,所述根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数,包括:
根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测,得到当前图像数据预测结果;
根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数;
根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数。
可选地,所述根据所述梯度范数和未标注图像数据挑选目标图像数据,包括:
按照预设顺序对所述梯度范数进行排序;
根据梯度范数排序结果在未标注图像数据挑选当前图像数据;
根据所述当前图像数据确定初始聚类中心;
根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离;
根据所述欧式距离对所述当前图像数据进行筛选;
采用预设标注策略对筛选后的当前图像数据进行标注,得到当前标注图像;
根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
可选地,所述根据所述梯度范数和未标注图像数据挑选目标图像数据之后,还包括:
根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型;
根据待处理全部图像数据和待标注图像数据得到测试图像数据;
根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试,得到目标图像分割准确率和目标图像分割召回率;
获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率;
在所述目标图像分割准确率大于所述初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时,获取目标图像数据的挑选次数;
在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新;
在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时,对目标图像分割模型进行迭代更新。
可选地,所述在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新之后,还包括:
根据目标图像数据得到待分割样本图像;
通过所述目标图像分割模型对所述待分割样本图像进行分割,得到若干数量的样本图像分割块;
对所述若干数量的样本图像分割块进行检测,得到当前图像块检测结果;
在所述当前图像块检测结果满足图像分割规则时,通过目标图像分割模型对其他待分割样本图像进行分割。
此外,为实现上述目的,本发明还提出一种基于深度主动学习的图像挑选装置,所述基于深度主动学习的图像挑选装置包括:
获取模块,用于根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;
训练模块,用于在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;
确定模块,用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;
挑选模块,用于根据所述梯度范数和未标注图像数据挑选目标图像数据。
此外,为实现上述目的,本发明还提出一种基于深度主动学习的图像挑选设备,所述基于深度主动学习的图像挑选设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度主动学习的图像挑选程序,所述基于深度主动学习的图像挑选程序配置为实现如上文所述的基于深度主动学习的图像挑选方法。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有基于深度主动学习的图像挑选程序,所述基于深度主动学习的图像挑选程序被处理器执行时实现如上文所述的基于深度主动学习的图像挑选方法。
本发明提出的基于深度主动学习的图像挑选方法,根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;根据所述梯度范数和未标注图像数据挑选目标图像数据;通过上述方式,根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数,再根据梯度范数挑选目标图像数据,能够有效提高挑选所需图像数据的准确性和效率,进而达到使用数量少、高质量的图像数据提高模型性能的目的。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于深度主动学习的图像挑选设备的结构示意图;
图2为本发明基于深度主动学习的图像挑选方法第一实施例的流程示意图;
图3为本发明基于深度主动学习的图像挑选方法一实施例的整体流程示意图;
图4为本发明基于深度主动学习的图像挑选方法第二实施例的流程示意图;
图5为本发明基于深度主动学习的图像挑选装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的基于深度主动学习的图像挑选设备结构示意图。
如图1所示,该基于深度主动学习的图像挑选设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对基于深度主动学习的图像挑选设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及基于深度主动学习的图像挑选程序。
在图1所示的基于深度主动学***台工作站进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明基于深度主动学习的图像挑选设备中的处理器1001、存储器1005可以设置在基于深度主动学习的图像挑选设备中,所述基于深度主动学习的图像挑选设备通过处理器1001调用存储器1005中存储的基于深度主动学习的图像挑选程序,并执行本发明实施例提供的基于深度主动学习的图像挑选方法。
基于上述硬件结构,提出本发明基于深度主动学习的图像挑选方法实施例。
参照图2,图2为本发明基于深度主动学习的图像挑选方法第一实施例的流程示意图。
在第一实施例中,所述基于深度主动学习的图像挑选方法包括以下步骤:
步骤S10,所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据。
需要说明的是,本实施例的执行主体为基于深度主动学习的图像挑选设备,还可为其他可实现相同或相似功能的设备,例如图像处理控制器等,本实施例对此不作限制,在本实施例中,以图像处理控制器为例进行说明。
应当理解的是,已标注初始训练图像数据指的是用于训练深度主动学习的图像分割模型的图像数据,该已标注初始训练图像数据和未标注图像数据均是经过预设标注策略标注过的图像数据,未标注图像数据指的是放入未标注集的已标注图像数据,该未标注图像数据也可以称作未标注样本。
进一步地,步骤S10,包括:将所述全部图像数据的预设比例数据划分为待标注图像数据;采用预设标注策略对所述待标注图像数据进行标注,得到已标注训练图像数据;按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
可以理解的是,全部图像数据指的是采集的所有图像数据,该全部图像数据包括但不限于待标注图像数据和测试图像数据,该待标注图像数据为待处理全部图像数据的预设比例数据,例如,将待处理全部图像数据的10%划分为待标注图像数据,将待处理全部图像数据的90%划分为测试图像数据,预设标注策略指的是对不同的图像数据进行标注的策略,该预设标注策略可以为标签标注法,然后将已标注训练图像数据的10%划分为已标注初始训练图像数据,已标注训练图像数据的90%划分为未标注图像数据。
步骤S20,在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型。
可以理解的是,初始图像分割模型指的是采用深度主动学习方式训练的图像分割模型,模型训练次数指的是图像分割模型的训练轮次,预设次数可以为1次,在判定模型训练次数不为预设数值时,则主动选择策略采用自动挑选方式,然后使用已标注初始训练图像数据进行训练,得到基于深度主动学习的初始图像分割模型,在模型训练次数为预设数值时,表明训练的分割模型并未达到最优性能,也即无法使用分割模型对图像数据的反馈来进行主动的数据挑选,所以采用主动选择策略为随机挑选策略。
进一步地,步骤S20,包括:在模型训练次数不为预设数值时,获取自定义组件结构;根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象;根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构;对所述深度主动学习网络架构的网络参数进行初始化;根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
应当理解的是,自定义组件结构指的是构建深度主动学习网络架构的组件结构,构建深度主动学习网络架构采用的方式为卷积神经网络和主动学习相结合,若干数量的网络层包括但不限于BatchNorm批规范化层、scale层、ReLU激活层以及ConvolutionDepthwise层,数据存储结构可以为Input Blob和Output Blob的实际数据的存储结构,网络对象包括但不限于Solver中的训练网络对象和测试网络对象,然后按照Convolution卷积、BatchNorm批规范化层、scale层、ReLU激活层以及ConvolutionDepthwise层的顺序进行堆叠,并将主动学习的挑选过程封装成函数类,并将其作为模块追加在分割模型之后,从而得到深度主动学习网络架构,且Blob是一个不定维的矩阵,在Caffe中表示一个拉直的四维矩阵,四个维度分别对应Batch Size(N),FeatureMap的通道数(C),Feature Map高度(H)以及宽度(W),然后根据已标注初始训练图像数据和深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
步骤S30,根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数。
应当理解的是,在训练出基于深度主动学习的初始图像分割模型,根据基于深度主动学习的初始图像分割模型预测出未标注图像数据的梯度范数。
进一步地,步骤S30,包括:根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测,得到当前图像数据预测结果;根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数;根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数。
可以理解的是,非线性神经网络函数指的是非线性化的神经网络函数,映射非线性函数指的是将输入参数映射到网络倒数第二层输出的非线性函数,在本实施例中,在确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数后,计算未标注图像数据的梯度范数,具体为:
步骤S40,根据所述梯度范数和未标注图像数据挑选目标图像数据。
进一步地,步骤S40,包括:按照预设顺序对所述梯度范数进行排序;根据梯度范数排序结果在未标注图像数据挑选当前图像数据;根据所述当前图像数据确定初始聚类中心;根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离;根据所述欧式距离对所述当前图像数据进行筛选;采用预设标注策略对筛选后的当前图像数据进行标注,得到当前标注图像;根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
应当理解的是,未标注图像数据的梯度范数存在多个,在得到梯度范数后,按照预设顺序对梯度范数进行排序,该预设顺序可以为由大到小,然后在未标注图像数据中挑选梯度范数最大对应的图像数据作为当前图像数据,然后根据当前图像数据的最大梯度向量确定初始聚类中心,再根据目标欧式距离算法计算当前图像数据与初始聚类中心的欧式距离,具体为:
可以理解的是,在计算出当前图像数据与初始聚类中心的欧式距离后,将该欧式距离加入到欧式距离最小的聚类中心,然后更新聚类中心,并重新计算每一类的中心,直至聚类中心的位置不再发生变化。
应当理解的是,在得到筛选后的当前图像后,采用预设标注策略对该筛选后的当前图像数据进行标注,得到当前标注图像,然后将当前标注图像加入到已标注初始训练图像数据中,并更新加入后的已标注初始训练图像数据的数据分布,以得到目标图像数据。
可以理解的是,参考图3,图3为整体流程示意图,具体为:将已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据,然后使用已标注初始训练图像数据训练基于深度主动学习的初始图像分割模型,然后根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数,再根据未标注图像数据的梯度范数挑选当前图像数据,然后使用预设标注策略对当前图像数据进行标注,得到当前标注图像,再将当前标注图像加入至已标注初始训练图像数据,以得到目标图像数据,以及将当前标注图像从未标注图像数据中删除,然后根据目标图像数据训练基于深度主动学习的目标图像分割模型。
本实施例所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;根据所述梯度范数和未标注图像数据挑选目标图像数据;通过上述方式,根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数,再根据梯度范数挑选目标图像数据,能够有效提高挑选所需图像数据的准确性和效率,进而达到使用数量少、高质量的图像数据提高模型性能的目的。
在一实施例中,如图4所述,基于第一实施例提出本发明基于深度主动学习的图像挑选方法第二实施例,所述步骤S40之后,还包括:
步骤S501,根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型。
应当理解的是,在得到目标图像数据后,将目标图像数据输入至初始化后的深度主动学习网络架构中,以训练基于深度主动学习的目标图像分割模型。
步骤S502,根据待处理全部图像数据和待标注图像数据得到测试图像数据。
可以理解的是,测试图像数据指的是用于测试分割模型的准确率和召回率的图像数据,该测试图像数据是根据待处理全部图像数据和待标注图像数据得到的,具体是待处理全部图像数据中除待标注图像数据之外的图像数据均为测试图像数据。
步骤S503,根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试,得到目标图像分割准确率和目标图像分割召回率。
应当理解的是,在得到测试图像数据后,将测试图像数据输入至基于深度主动学习的目标图像分割模型进行测试,得到目标正类预测图像数据、目标负类预测图像数据以及目标错误反例图像数据,然后分别计算目标图像分割准确率和目标图像分割召回率,具体为:
其中,Accuracy1为目标图像分割准确率,TP1为目标正类预测图像数据,TN1为目标负类预测图像数据,sum为测试图像数据,Recall1为目标图像分割召回率,FN1为目标错误反例图像数据。
步骤S504,获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率。
可以理解的是,在得到测试图像数据后,将测试图像数据输入至基于深度主动学习的初始图像分割模型进行测试,得到当前正类预测图像数据、当前负类预测图像数据以及当前错误反例图像数据,然后分别计算当前图像分割准确率和当前图像分割召回率,具体为:
其中,Accuracy2为当前图像分割准确率,TP2为当前正类预测图像数据,TN2为当前负类预测图像数据,sum为测试图像数据,Recall2为当前图像分割召回率,FN2为当前错误反例图像数据。
步骤S505,在所述目标图像分割准确率大于所述初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时,获取目标图像数据的挑选次数。
应当理解的是,在得到目标图像分割准确率和目标图像分割召回率后,判断目标图像分割准确率是否大于初始当前图像分割准确率、目标图像分割召回率是否大于当前图像分割召回率,若均是,则表明本次训练的图像分割模型的性能得到了提升,然后继续判断目标图像分割准确率是否大于或等于预设分割阈值,若是,则表明训练的基于深度主动学习的目标图像分割模型合格,无需继续重复主动训练过程,此时停止训练,直接将基于深度主动学习的目标图像分割模型输出。
步骤S506,在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新。
可以理解的是,在得到目标图像数据的挑选次数后,判断目标图像数据的挑选次数是否达到预设标注预算阈值,若是,则停止迭代更新,例如,预设标注预算阈值为600,在进行多轮自动挑选之后达到600次时停止迭代更新。
进一步地,步骤S506之后,还包括:在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新之后,还包括:根据目标图像数据得到待分割样本图像;通过所述目标图像分割模型对所述待分割样本图像进行分割,得到若干数量的样本图像分割块;对所述若干数量的样本图像分割块进行检测,得到当前图像块检测结果;在所述当前图像块检测结果满足图像分割规则时,通过目标图像分割模型对其他待分割样本图像进行分割。
应当理解的是,待分割样本图像指的是需要进行分割的样本图像,将待分割样本图像输入至目标图像分割模型中,以使目标图像分割模型对待分割样本图像进行分割,得到若干数量的样本图像分割块,然后判断若干数量的样本图像分割块的检测结果是否满足图像分割规则,若是,则表明目标图像分割模型的分割性能极优,此时可以使用目标图像分割模型继续对其他待分割样本图像进行分割。
步骤S507,在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时,对目标图像分割模型进行迭代更新。
应当理解的是,在满足目标图像分割准确率小于或等于初始当前图像分割准确率、或当前图像分割准确率小于预设分割阈值、且目标图像分割召回率小于或等于当前图像分割召回率中的至少一个条件时,还需要继续图像分割模型的迭代更新。
本实施例根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型,根据待处理全部图像数据和待标注图像数据得到测试图像数据,然后使用测试图像数据分别测试基于深度主动学习的目标图像分割模型的分割准确率和分割召回率、基于深度主动学习的初始图像分割模型的分割准确率和分割召回率;在目标图像分割准确率大于初始当前图像分割准确率、且目标图像分割准确率大于或等于预设分割阈值、且目标图像分割召回率大于当前图像分割召回率时,判断目标图像数据的挑选次数是否达到预设标注预算阈值,若是,则停止所述目标图像分割模型的迭代更新;若否,则对目标图像分割模型进行迭代更新,从而能够有效提高训练出的图像分割模型的性能。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有基于深度主动学习的图像挑选程序,所述基于深度主动学习的图像挑选程序被处理器执行时实现如上文所述的基于深度主动学习的图像挑选方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案,因此至少具有上述实施例的技术方案所带来的所有有益效果,在此不再一一赘述。
此外,参照图5,本发明实施例还提出一种基于深度主动学习的图像挑选装置,所述基于深度主动学习的图像挑选装置包括:
获取模块10,用于所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据。
训练模块20,用于在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型。
确定模块30,用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数。
挑选模块40,用于根据所述梯度范数和未标注图像数据挑选目标图像数据。
本实施例所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;根据所述梯度范数和未标注图像数据挑选目标图像数据;通过上述方式,根据基于深度主动学习的初始图像分割模型预测未标注图像数据的梯度范数,再根据梯度范数挑选目标图像数据,能够有效提高挑选所需图像数据的准确性和效率,进而达到使用数量少、高质量的图像数据提高模型性能的目的。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的基于深度主动学习的图像挑选方法,此处不再赘述。
本发明所述基于深度主动学习的图像挑选装置的其他实施例或具有实现方法可参照上述各方法实施例,此处不再赘余。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,一体化平台工作站,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于深度主动学习的图像挑选方法,其特征在于,所述基于深度主动学习的图像挑选方法包括以下步骤:
根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;
在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;
根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;
根据所述梯度范数和未标注图像数据挑选目标图像数据。
2.如权利要求1所述的基于深度主动学习的图像挑选方法,其特征在于,所述根据全部图像数据得到已标注初始训练图像数据和未标注图像数据,包括:
将所述全部图像数据的预设比例数据划分为待标注图像数据;
采用预设标注策略对所述待标注图像数据进行标注,得到已标注训练图像数据;
按照所述预设比例将所述已标注训练图像数据划分为已标注初始训练图像数据和未标注图像数据。
3.如权利要求1所述的基于深度主动学习的图像挑选方法,其特征在于,所述在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型,包括:
在模型训练次数不为预设数值时,获取自定义组件结构;
根据所述自定义组件结构得到若干数量的网络层、数据存储结构以及网络对象;
根据所述若干数量的网络层、数据存储结构以及网络对象构建深度主动学习网络架构;
对所述深度主动学习网络架构的网络参数进行初始化;
根据所述已标注初始训练图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的初始图像分割模型。
4.如权利要求1所述的基于深度主动学习的图像挑选方法,其特征在于,所述根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数,包括:
根据所述基于深度主动学习的初始图像分割模型对所述未标注图像数据进行预测,得到当前图像数据预测结果;
根据所述当前图像数据预测结果确定非线性神经网络函数、初始化参数、网络参数以及映射非线性函数;
根据所述当前图像数据预测结果、非线性神经网络函数、初始化参数、网络参数以及映射非线性函数计算未标注图像数据的梯度范数。
5.如权利要求1所述的基于深度主动学习的图像挑选方法,其特征在于,所述根据所述梯度范数和未标注图像数据挑选目标图像数据,包括:
按照预设顺序对所述梯度范数进行排序;
根据梯度范数排序结果在未标注图像数据挑选当前图像数据;
根据所述当前图像数据确定初始聚类中心;
根据目标欧式距离算法计算所述当前图像数据与所述初始聚类中心的欧式距离;
根据所述欧式距离对所述当前图像数据进行筛选;
采用预设标注策略对筛选后的当前图像数据进行标注,得到当前标注图像;
根据所述当前标注图像和已标注初始训练图像数据得到目标图像数据。
6.如权利要求1至5中任一项所述的基于深度主动学习的图像挑选方法,其特征在于,所述根据所述梯度范数和未标注图像数据挑选目标图像数据之后,还包括:
根据所述目标图像数据和初始化后的深度主动学习网络架构训练基于深度主动学习的目标图像分割模型;
根据待处理全部图像数据和待标注图像数据得到测试图像数据;
根据所述测试图像数据对所述基于深度主动学习的目标图像分割模型进行测试,得到目标图像分割准确率和目标图像分割召回率;
获取所述基于深度主动学习的初始图像分割模型的当前图像分割准确率和当前图像分割召回率;
在所述目标图像分割准确率大于所述初始当前图像分割准确率、且所述目标图像分割准确率大于或等于预设分割阈值、且所述目标图像分割召回率大于所述当前图像分割召回率时,获取目标图像数据的挑选次数;
在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新;
在目标图像分割准确率小于或等于所述初始当前图像分割准确率、或所述当前图像分割准确率小于预设分割阈值、且所述目标图像分割召回率小于或等于所述当前图像分割召回率时,对目标图像分割模型进行迭代更新。
7.如权利要求6所述的基于深度主动学习的图像挑选方法,其特征在于,所述在所述目标图像数据的挑选次数达到预设标注预算阈值时,停止所述目标图像分割模型的迭代更新之后,还包括:
根据目标图像数据得到待分割样本图像;
通过所述目标图像分割模型对所述待分割样本图像进行分割,得到若干数量的样本图像分割块;
对所述若干数量的样本图像分割块进行检测,得到当前图像块检测结果;
在所述当前图像块检测结果满足图像分割规则时,通过目标图像分割模型对其他待分割样本图像进行分割。
8.一种基于深度主动学习的图像挑选装置,其特征在于,所述基于深度主动学习的图像挑选装置包括:
获取模块,用于根据全部图像数据得到已标注初始训练图像数据和未标注图像数据;
训练模块,用于在模型训练次数不为预设数值时,根据所述已标注初始训练图像数据得到基于深度主动学习的初始图像分割模型;
确定模块,用于根据所述基于深度主动学习的初始图像分割模型确定所述未标注图像数据的梯度范数;
挑选模块,用于根据所述梯度范数和未标注图像数据挑选目标图像数据。
9.一种基于深度主动学习的图像挑选设备,其特征在于,所述基于深度主动学习的图像挑选设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度主动学习的图像挑选程序,所述基于深度主动学习的图像挑选程序配置有实现如权利要求1至7中任一项所述的基于深度主动学习的图像挑选方法。
10.一种存储介质,其特征在于,所述存储介质上存储有基于深度主动学习的图像挑选程序,所述基于深度主动学习的图像挑选程序被处理器执行时实现如权利要求1至7中任一项所述的基于深度主动学习的图像挑选方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513065.7A CN115631391B (zh) | 2022-11-30 | 2022-11-30 | 基于深度主动学习的图像挑选方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211513065.7A CN115631391B (zh) | 2022-11-30 | 2022-11-30 | 基于深度主动学习的图像挑选方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115631391A true CN115631391A (zh) | 2023-01-20 |
CN115631391B CN115631391B (zh) | 2023-03-21 |
Family
ID=84910382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211513065.7A Active CN115631391B (zh) | 2022-11-30 | 2022-11-30 | 基于深度主动学习的图像挑选方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115631391B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426924A (zh) * | 2015-12-14 | 2016-03-23 | 北京工业大学 | 一种基于图像中层特征的场景分类方法 |
CN108595636A (zh) * | 2018-04-25 | 2018-09-28 | 复旦大学 | 基于深度跨模态相关性学习的手绘草图的图像检索方法 |
CN113554131A (zh) * | 2021-09-22 | 2021-10-26 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、***和存储介质 |
US20210366577A1 (en) * | 2020-05-22 | 2021-11-25 | Insitro, Inc. | Predicting disease outcomes using machine learned models |
-
2022
- 2022-11-30 CN CN202211513065.7A patent/CN115631391B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426924A (zh) * | 2015-12-14 | 2016-03-23 | 北京工业大学 | 一种基于图像中层特征的场景分类方法 |
CN108595636A (zh) * | 2018-04-25 | 2018-09-28 | 复旦大学 | 基于深度跨模态相关性学习的手绘草图的图像检索方法 |
US20210366577A1 (en) * | 2020-05-22 | 2021-11-25 | Insitro, Inc. | Predicting disease outcomes using machine learned models |
CN113554131A (zh) * | 2021-09-22 | 2021-10-26 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、***和存储介质 |
Non-Patent Citations (2)
Title |
---|
GOUTAM CHAKRABORTY等: "A New Proximity Aware Similarity Metric for Contiguous Clustering for Segmenting Signals" * |
周文罡;李厚强;田奇;: "图像检索技术研究进展" * |
Also Published As
Publication number | Publication date |
---|---|
CN115631391B (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108304775B (zh) | 遥感图像识别方法、装置、存储介质以及电子设备 | |
CN111950643B (zh) | 图像分类模型训练方法、图像分类方法及对应装置 | |
US20120095944A1 (en) | Forward Feature Selection For Support Vector Machines | |
CN111292377B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN110334735B (zh) | 多任务网络生成方法、装置、计算机设备和存储介质 | |
CN111931931A (zh) | 一种针对病理全场图像的深度神经网络训练方法、装置 | |
CN111192678B (zh) | 病理显微图像诊断、模型训练方法、装置、设备及介质 | |
CN112990318B (zh) | 持续学习方法、装置、终端及存储介质 | |
CN113822116A (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
CN112966754B (zh) | 样本筛选方法、样本筛选装置及终端设备 | |
CN112669298A (zh) | 一种基于模型自训练的地基云图像云检测方法 | |
CN112329762A (zh) | 图像处理方法、模型训练方法、装置、计算机设备和介质 | |
CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
CN112308143A (zh) | 一种基于多样性的样本筛选方法、***、设备及介质 | |
CN114676777A (zh) | 一种基于孪生网络的自监督学习细粒度图像分类方法 | |
CN112287965A (zh) | 图像质量检测模型训练方法、装置和计算机设备 | |
CN114330588A (zh) | 一种图片分类方法、图片分类模型训练方法及相关装置 | |
CN112906865A (zh) | 神经网络架构搜索方法、装置、电子设备及存储介质 | |
CN114528913A (zh) | 基于信任和一致性的模型迁移方法、装置、设备及介质 | |
CN111914949B (zh) | 基于强化学习的零样本学习模型的训练方法及装置 | |
CN115631391B (zh) | 基于深度主动学习的图像挑选方法、装置及存储介质 | |
CN116797973A (zh) | 应用于环卫智慧管理平台的数据挖掘方法及*** | |
CN116894974A (zh) | 图像分类方法、装置、计算机设备及其存储介质 | |
CN114722917A (zh) | 弱标签数据集的标签传播方法 | |
CN115100587A (zh) | 基于多元数据的区域乱采监测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |