一种基于双路相关性学习网络的图像分割方法及***
技术领域
本发明涉及图像分割技术领域,具体的说是一种基于双路相关性学习网络的图像分割方法及***。
背景技术
图像分割是计算机视觉领域中比较重要的一个研究领域,已被广泛应用到手术导航、无人驾驶等领域。现有分割方法大多是基于监督的方法,依赖大量的监督数据。然而,在某些特定任务中,获取大量的分割标记是较为困难的。例如,对于医学数据,由于该类数据的特殊性,很难获取大量的标记。
针对此类只有少量监督数据的任务,提出一种基于双路相关性学习网络的图像分割方法及***。
发明内容
本发明针对目前技术发展的需求和不足之处,提供一种基于双路相关性学习网络的图像分割方法及***,以充分利用未标记图像及像素之间的结构信息,来提高分割精度。
首先,本发明提供一种基于双路相关性学习网络的图像分割方法,解决上述技术问题采用的技术方案如下:
一种基于双路相关性学习网络的图像分割方法,其实现过程包括:
引入半监督分割框架,构建结构相同的上路网络和下路网络;
基于像素之间的相关性,在上路网络中构建关系图;
基于关系图,将有标记的图像输入上路网络进行训练,得到训练完成的上路网络;
将未标记的图像输入下路网络,对下路网络的可调参数进行赋值,使下路网络的分割结果与训练所得上路网络的分割结果一致,此时,得到训练完成的下路网络;
将待分割的未标记图像输入训练完成的上路网络和下路网络,训练完成的上路网络和下路网络输出一致的分割结果。
可选的,在上路网络中构建关系图之前,需要首先使用全卷积神经网络提取图像中每个像素的特征,将每个像素属于某一类的概率作为像素的特征,该类特征能够获取像素与每类特点的相关性,具有较好的鲁棒性。
可选的,在上路网络中构建关系图,具体操作包括:
采用图论技术构建关系图;
构建关系图时,将每个像素看作图像中的节点,像素之间的相似性看作图像的边,引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度,完成结构图的构建。
可选的,构建未标记图像分割一致项,使用标记图像的数据拟合项,构建分割损失函数,并引入初始下路网络,随后通过改变下路网络的可调参数,使下路网络的分割结果与训练所得上路网络的分割结果一致。
优选的,所涉及半监督分割框架为CNN框架。
其次,本发明提供一种基于双路相关性学习网络的图像分割***,解决上述技术问题采用的技术方案如下:
一种基于双路相关性学习网络的图像分割***,其包括:
构建模块,用于通过半监督分割框架构建结构相同的上路网络模型和下路网络模型;
像素特征提取模块,用于提取图像中每个像素的特征,并根据像素特征获取像素之间的相关性;
构建模块一,用于根据像素特征提取模块的获取结果构建关系图并存储在上路网络模型中;
训练模块一,用于将有标记的图像输入上路网络模型进行训练,得到训练完成的上路网络模型;
调整模块,用于调整下路网络模型的可调参数;
训练模块二,用于将未标记的图像输入下路网络模型;
对比判断模块,用于对比下路网络模型的分割结果与训练所得上路网络模型的分割结果是否一致,并在结果一致时输出完成训练的下路模块模型,在结果不一致时返回调整模块;
将待分割的未标记图像输入训练完成的上路网络模型和下路网络模型,训练完成的上路网络模型和下路网络模型输出一致的分割结果。
可选的,所涉及像素特征提取模块使用全卷积神经网络提取图像中每个像素的特征,将每个像素属于某一类的概率作为像素的特征,该类特征能够获取像素与每类特点的相关性。
可选的,所涉及构建模块一采用图论技术构建关系图;
构建模块一构建关系图时,将每个像素看作图像中的节点,像素之间的相似性看作图像的边,引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度,完成结构图的构建。
可选的,所涉及构建模块构建下路网络模型的过程中,构建模块还构建未标记图像分割一致项,随后使用标记图像的数据拟合项构建分割损失函数,并引入初始下路网络模型,调整参数改变分割损失函数的可调参数,使下路网络模型的分割结果与训练所得上路网络模型的分割结果一致。
优选的,所涉及半监督分割框架为CNN框架。
本发明的一种基于双路相关性学习网络的图像分割方法及***,与现有技术相比具有的有益效果是:
本发明构建了上路网络和下路网络,通过将有标记的图像输入上路网络学习获取像素之间的相关性,构建关系图,通过将未标记的图像输入下路网络,对下路网络的可调参数进行赋值,使下路网络的分割结果与训练所得上路网络的分割结果一致,进而得到训练完成的下路网络;借助训练完成的上路网络和下路网络同时对待分割的未标记图像进行分割,通过对比分割结果,充分利用未标记图像及像素之间的结构信息,提高分割精度。
附图说明
附图1是本发明实施例一的方法流程图;
附图2是本发明实施例二的结构连接框图。
附图中各标号信息表示:
1、构建模块,2、像素特征提取模块,3、构建模块1一,4、训练模块一,
5、调整模块,6、训练模块二,7、对比判断模块,8、上路网络模型,
9、下路网络模型。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白,以下结合具体实施例,对本发明的技术方案进行清楚、完整的描述。
实施例一:
结合附图1,本实施例提出一种基于双路相关性学习网络的图像分割方法,其实现过程包括:
引入半监督分割框架,所涉及半监督分割框架为CNN框架,构建结构相同的上路网络和下路网络;
基于像素之间的相关性,在上路网络中构建关系图;
基于关系图,将有标记的图像输入上路网络进行训练,得到训练完成的上路网络;
将未标记的图像输入下路网络,对下路网络的可调参数进行赋值,使下路网络的分割结果与训练所得上路网络的分割结果一致,此时,得到训练完成的下路网络;
将待分割的未标记图像输入训练完成的上路网络和下路网络,训练完成的上路网络和下路网络输出一致的分割结果。
在本实施例中,在上路网络中构建关系图之前,需要首先使用全卷积神经网络提取图像中每个像素的特征,将每个像素属于某一类的概率作为像素的特征,该类特征能够获取像素与每类特点的相关性,具有较好的鲁棒性。
在本实施例中,在上路网络中构建关系图,具体操作包括:
采用图论技术构建关系图;
构建关系图时,将每个像素看作图像中的节点,像素之间的相似性看作图像的边,引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度,完成结构图的构建。
在本实施例中,构建未标记图像分割一致项,使用标记图像的数据拟合项,构建分割损失函数,并引入初始下路网络,随后通过改变下路网络的可调参数,使下路网络的分割结果与训练所得上路网络的分割结果一致。
实施例二:
结合附图2,本实施例提出一种基于双路相关性学习网络的图像分割***,其包括:
构建模块1,用于通过半监督分割框架构建结构相同的上路网络模型8和下路网络模型9;
像素特征提取模块2,用于提取图像中每个像素的特征,并根据像素特征获取像素之间的相关性;
构建模块一3,用于根据像素特征提取模块2的获取结果构建关系图并存储在上路网络模型8中;
训练模块一4,用于将有标记的图像输入上路网络模型8进行训练,得到训练完成的上路网络模型8;
调整模块5,用于调整下路网络模型9的可调参数;
训练模块二6,用于将未标记的图像输入下路网络模型9;
对比判断模块7,用于对比下路网络模型9的分割结果与训练所得上路网络模型8的分割结果是否一致,并在结果一致时输出完成训练的下路模块模型,在结果不一致时返回调整模块5;
将待分割的未标记图像输入训练完成的上路网络模型8和下路网络模型9,训练完成的上路网络模型8和下路网络模型9输出一致的分割结果。
在本实施例中,所涉及像素特征提取模块2使用全卷积神经网络提取图像中每个像素的特征,将每个像素属于某一类的概率作为像素的特征,该类特征能够获取像素与每类特点的相关性。
在本实施例中,所涉及构建模块一3采用图论技术构建关系图;
构建模块一3构建关系图时,将每个像素看作图像中的节点,像素之间的相似性看作图像的边,引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度,完成结构图的构建。
在本实施例中,所涉及构建模块1构建下路网络模型9的过程中,构建模块1还构建未标记图像分割一致项,随后使用标记图像的数据拟合项构建分割损失函数,并引入初始下路网络模型9,调整参数改变分割损失函数的可调参数,使下路网络模型9的分割结果与训练所得上路网络模型8的分割结果一致。
在本实施例中,所涉及半监督分割框架优选为CNN框架。
综上可知,采用本发明的一种基于双路相关性学习网络的图像分割方法及***,能够充分利用未标记图像及像素之间的结构信息,进一步提高分割精度。
基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作出的任何改进和修饰,皆应落入本发明的专利保护范围。