CN111223100B - 一种基于双路相关性学习网络的图像分割方法及*** - Google Patents
一种基于双路相关性学习网络的图像分割方法及*** Download PDFInfo
- Publication number
- CN111223100B CN111223100B CN202010020569.XA CN202010020569A CN111223100B CN 111223100 B CN111223100 B CN 111223100B CN 202010020569 A CN202010020569 A CN 202010020569A CN 111223100 B CN111223100 B CN 111223100B
- Authority
- CN
- China
- Prior art keywords
- network
- image
- segmentation
- training
- path network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于双路相关性学习网络的图像分割方法及***，涉及图像分割技术领域，其实现包括：引入半监督分割框架，构建结构相同的上路网络和下路网络；基于像素之间的相关性，在上路网络中构建关系图；基于关系图，将有标记的图像输入上路网络进行训练，得到训练完成的上路网络；将未标记的图像输入下路网络，对下路网络的可调参数进行赋值，使下路网络的分割结果与训练所得上路网络的分割结果一致，此时，得到训练完成的下路网络；将待分割的未标记图像输入训练完成的上路网络和下路网络，训练完成的上路网络和下路网络输出一致的分割结果。本发明可以充分利用未标记图像及像素之间的结构信息，提高分割精度。
Description
技术领域
本发明涉及图像分割技术领域，具体的说是一种基于双路相关性学习网络的图像分割方法及***。
背景技术
图像分割是计算机视觉领域中比较重要的一个研究领域，已被广泛应用到手术导航、无人驾驶等领域。现有分割方法大多是基于监督的方法，依赖大量的监督数据。然而，在某些特定任务中，获取大量的分割标记是较为困难的。例如，对于医学数据，由于该类数据的特殊性，很难获取大量的标记。
针对此类只有少量监督数据的任务，提出一种基于双路相关性学习网络的图像分割方法及***。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种基于双路相关性学习网络的图像分割方法及***，以充分利用未标记图像及像素之间的结构信息，来提高分割精度。
首先，本发明提供一种基于双路相关性学习网络的图像分割方法，解决上述技术问题采用的技术方案如下：
一种基于双路相关性学习网络的图像分割方法，其实现过程包括：
引入半监督分割框架，构建结构相同的上路网络和下路网络；
基于像素之间的相关性，在上路网络中构建关系图；
基于关系图，将有标记的图像输入上路网络进行训练，得到训练完成的上路网络；
将未标记的图像输入下路网络，对下路网络的可调参数进行赋值，使下路网络的分割结果与训练所得上路网络的分割结果一致，此时，得到训练完成的下路网络；
将待分割的未标记图像输入训练完成的上路网络和下路网络，训练完成的上路网络和下路网络输出一致的分割结果。
可选的，在上路网络中构建关系图之前，需要首先使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性，具有较好的鲁棒性。
可选的，在上路网络中构建关系图，具体操作包括：
采用图论技术构建关系图；
构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建。
可选的，构建未标记图像分割一致项，使用标记图像的数据拟合项，构建分割损失函数，并引入初始下路网络，随后通过改变下路网络的可调参数，使下路网络的分割结果与训练所得上路网络的分割结果一致。
优选的，所涉及半监督分割框架为CNN框架。
其次，本发明提供一种基于双路相关性学习网络的图像分割***，解决上述技术问题采用的技术方案如下：
一种基于双路相关性学习网络的图像分割***，其包括：
构建模块，用于通过半监督分割框架构建结构相同的上路网络模型和下路网络模型；
像素特征提取模块，用于提取图像中每个像素的特征，并根据像素特征获取像素之间的相关性；
构建模块一，用于根据像素特征提取模块的获取结果构建关系图并存储在上路网络模型中；
训练模块一，用于将有标记的图像输入上路网络模型进行训练，得到训练完成的上路网络模型；
调整模块，用于调整下路网络模型的可调参数；
训练模块二，用于将未标记的图像输入下路网络模型；
对比判断模块，用于对比下路网络模型的分割结果与训练所得上路网络模型的分割结果是否一致，并在结果一致时输出完成训练的下路模块模型，在结果不一致时返回调整模块；
将待分割的未标记图像输入训练完成的上路网络模型和下路网络模型，训练完成的上路网络模型和下路网络模型输出一致的分割结果。
可选的，所涉及像素特征提取模块使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性。
可选的，所涉及构建模块一采用图论技术构建关系图；
构建模块一构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建。
可选的，所涉及构建模块构建下路网络模型的过程中，构建模块还构建未标记图像分割一致项，随后使用标记图像的数据拟合项构建分割损失函数，并引入初始下路网络模型，调整参数改变分割损失函数的可调参数，使下路网络模型的分割结果与训练所得上路网络模型的分割结果一致。
优选的，所涉及半监督分割框架为CNN框架。
本发明的一种基于双路相关性学习网络的图像分割方法及***，与现有技术相比具有的有益效果是：
本发明构建了上路网络和下路网络，通过将有标记的图像输入上路网络学习获取像素之间的相关性，构建关系图，通过将未标记的图像输入下路网络，对下路网络的可调参数进行赋值，使下路网络的分割结果与训练所得上路网络的分割结果一致，进而得到训练完成的下路网络；借助训练完成的上路网络和下路网络同时对待分割的未标记图像进行分割，通过对比分割结果，充分利用未标记图像及像素之间的结构信息，提高分割精度。
附图说明
附图1是本发明实施例一的方法流程图；
附图2是本发明实施例二的结构连接框图。
附图中各标号信息表示：
1、构建模块，2、像素特征提取模块，3、构建模块1一，4、训练模块一，
5、调整模块，6、训练模块二，7、对比判断模块，8、上路网络模型，
9、下路网络模型。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
实施例一：
结合附图1，本实施例提出一种基于双路相关性学习网络的图像分割方法，其实现过程包括：
引入半监督分割框架，所涉及半监督分割框架为CNN框架，构建结构相同的上路网络和下路网络；
基于像素之间的相关性，在上路网络中构建关系图；
基于关系图，将有标记的图像输入上路网络进行训练，得到训练完成的上路网络；
将未标记的图像输入下路网络，对下路网络的可调参数进行赋值，使下路网络的分割结果与训练所得上路网络的分割结果一致，此时，得到训练完成的下路网络；
将待分割的未标记图像输入训练完成的上路网络和下路网络，训练完成的上路网络和下路网络输出一致的分割结果。
在本实施例中，在上路网络中构建关系图之前，需要首先使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性，具有较好的鲁棒性。
在本实施例中，在上路网络中构建关系图，具体操作包括：
采用图论技术构建关系图；
构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建。
在本实施例中，构建未标记图像分割一致项，使用标记图像的数据拟合项，构建分割损失函数，并引入初始下路网络，随后通过改变下路网络的可调参数，使下路网络的分割结果与训练所得上路网络的分割结果一致。
实施例二：
结合附图2，本实施例提出一种基于双路相关性学习网络的图像分割***，其包括：
构建模块1，用于通过半监督分割框架构建结构相同的上路网络模型8和下路网络模型9；
像素特征提取模块2，用于提取图像中每个像素的特征，并根据像素特征获取像素之间的相关性；
构建模块一3，用于根据像素特征提取模块2的获取结果构建关系图并存储在上路网络模型8中；
训练模块一4，用于将有标记的图像输入上路网络模型8进行训练，得到训练完成的上路网络模型8；
调整模块5，用于调整下路网络模型9的可调参数；
训练模块二6，用于将未标记的图像输入下路网络模型9；
对比判断模块7，用于对比下路网络模型9的分割结果与训练所得上路网络模型8的分割结果是否一致，并在结果一致时输出完成训练的下路模块模型，在结果不一致时返回调整模块5；
将待分割的未标记图像输入训练完成的上路网络模型8和下路网络模型9，训练完成的上路网络模型8和下路网络模型9输出一致的分割结果。
在本实施例中，所涉及像素特征提取模块2使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性。
在本实施例中，所涉及构建模块一3采用图论技术构建关系图；
构建模块一3构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建。
在本实施例中，所涉及构建模块1构建下路网络模型9的过程中，构建模块1还构建未标记图像分割一致项，随后使用标记图像的数据拟合项构建分割损失函数，并引入初始下路网络模型9，调整参数改变分割损失函数的可调参数，使下路网络模型9的分割结果与训练所得上路网络模型8的分割结果一致。
在本实施例中，所涉及半监督分割框架优选为CNN框架。
综上可知，采用本发明的一种基于双路相关性学习网络的图像分割方法及***，能够充分利用未标记图像及像素之间的结构信息，进一步提高分割精度。
基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
Claims (4)
1.一种基于双路相关性学习网络的图像分割方法，其特征在于,其实现过程包括：
引入半监督分割框架，构建结构相同的上路网络和下路网络；
使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性，具有较好的鲁棒性;基于像素之间的相关性，在上路网络中构建关系图，具体操作包括：采用图论技术构建关系图；构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建;
基于关系图，将有标记的图像输入上路网络进行训练，得到训练完成的上路网络；
将未标记的图像输入下路网络，使用标记图像的数据拟合项，构建分割损失函数，并引入初始下路网络，随后通过改变下路网络的可调参数，使下路网络的分割结果与训练所得上路网络的分割结果一致，此时，得到训练完成的下路网络；
将待分割的未标记图像输入训练完成的上路网络和下路网络，训练完成的上路网络和下路网络输出一致的分割结果。
2.根据权利要求1所述的一种基于双路相关性学习网络的图像分割方法，其特征在于，所述半监督分割框架为CNN框架。
3.一种基于双路相关性学习网络的图像分割***，其特征在于，其包括：
构建模块，用于通过半监督分割框架构建结构相同的上路网络模型和下路网络模型，还用于构建未标记图像分割一致项，使用标记图像的数据拟合项构建分割损失函数，并引入初始下路网络模型；
像素特征提取模块，用于使用全卷积神经网络提取图像中每个像素的特征，将每个像素属于某一类的概率作为像素的特征，该类特征能够获取像素与每类特点的相关性；
构建模块一，用于根据像素特征提取模块的获取结果，采用图论技术构建关系图并存储在上路网络模型中；所述构建模块一构建关系图时，将每个像素看作图像中的节点，像素之间的相似性看作图像的边，引入度量学习框架中的最大间隔最近邻法学习两个节点之间的相似度，完成结构图的构建；
训练模块一，用于将有标记的图像输入上路网络模型进行训练，得到训练完成的上路网络模型；
调整模块，用于调整下路网络模型的可调参数，使下路网络模型的分割结果与训练所得上路网络模型的分割结果一致；
训练模块二，用于将未标记的图像输入下路网络模型；
对比判断模块，用于对比下路网络模型的分割结果与训练所得上路网络模型的分割结果是否一致，并在结果一致时输出完成训练的下路模块模型，在结果不一致时返回调整模块；
将待分割的未标记图像输入训练完成的上路网络模型和下路网络模型，训练完成的上路网络模型和下路网络模型输出一致的分割结果。
4.根据权利要求3所述的一种基于双路相关性学习网络的图像分割***，其特征在于，所述半监督分割框架为CNN框架。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020569.XA CN111223100B (zh) | 2020-01-09 | 2020-01-09 | 一种基于双路相关性学习网络的图像分割方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020569.XA CN111223100B (zh) | 2020-01-09 | 2020-01-09 | 一种基于双路相关性学习网络的图像分割方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111223100A CN111223100A (zh) | 2020-06-02 |
| CN111223100B true CN111223100B (zh) | 2024-03-22 |
Family
ID=70829431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010020569.XA Active CN111223100B (zh) | 2020-01-09 | 2020-01-09 | 一种基于双路相关性学习网络的图像分割方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111223100B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288038A (zh) * | 2018-01-19 | 2018-07-17 | 东华大学 | 基于场景分割的夜间机器人运动决策方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN110288026A (zh) * | 2019-06-27 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种基于度量关系图学习的图像分割方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10769791B2 (en) * | 2017-10-13 | 2020-09-08 | Beijing Keya Medical Technology Co., Ltd. | Systems and methods for cross-modality image segmentation |
-
2020
- 2020-01-09 CN CN202010020569.XA patent/CN111223100B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108288038A (zh) * | 2018-01-19 | 2018-07-17 | 东华大学 | 基于场景分割的夜间机器人运动决策方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN110288026A (zh) * | 2019-06-27 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种基于度量关系图学习的图像分割方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 王海鸥 ; 刘慧 ; 郭强 ; 邓凯 ; 张彩明 ; .面向医学图像分割的超像素U-Net网络设计.计算机辅助设计与图形学学报.2019,(06),全文. * |
| 金兰依 ; 郭树旭 ; 马树志 ; 刘晓鸣 ; 孙长建 ; 李雪妍 ; .基于半监督阶梯网络的肝脏CT影像分割.吉林大学学报(信息科学版).2018,(02),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111223100A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210551B (zh) | 一种基于自适应主体敏感的视觉目标跟踪方法 | |
| CN107239801B (zh) | 视频属性表示学习方法及视频文字描述自动生成方法 | |
| CN109993102B (zh) | 相似人脸检索方法、装置及存储介质 | |
| CN111401281A (zh) | 基于深度聚类和样例学习的无监督行人重识别方法及*** | |
| CN111652202B (zh) | 利用自适应的时空图模型通过提升视频-语言表征学习来解决视频问答问题的方法及其*** | |
| CN111639524B (zh) | 一种自动驾驶图像语义分割优化方法 | |
| CN105809672A (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
| CN113807214B (zh) | 基于deit附属网络知识蒸馏的小目标人脸识别方法 | |
| CN111898735A (zh) | 蒸馏学习方法、装置、计算机设备和存储介质 | |
| CN114820655A (zh) | 可靠区域作为注意力机制监督的弱监督建筑物分割方法 | |
| JP2022082493A (ja) | ノイズチャネルに基づくランダム遮蔽回復の歩行者再識別方法 | |
| CN115965968A (zh) | 基于知识引导的小样本目标检测识别方法 | |
| CN114996495A (zh) | 一种基于多原型和迭代增强的单样本图像分割方法及装置 | |
| Yu et al. | Progressive Transfer Learning | |
| CN112308089A (zh) | 一种基于注意力机制的胶囊网络多特征提取方法 | |
| CN112906800B (zh) | 基于图像组自适应的协同显著性检测方法 | |
| CN111259176B (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
| CN111223100B (zh) | 一种基于双路相关性学习网络的图像分割方法及*** | |
| CN112132841A (zh) | 医疗图像切割方法及装置 | |
| CN116824140A (zh) | 面向测试场景无掩码监督的小样本分割方法 | |
| CN113313178B (zh) | 一种跨域图像示例级主动标注方法 | |
| CN115797904A (zh) | 一种智能驾驶视觉感知中多场景多任务的主动学习方法 | |
| CN113192108B (zh) | 一种针对视觉跟踪模型的人在回路训练方法及相关装置 | |
| CN113077009A (zh) | 一种基于迁移学习模型的隧道围岩岩性识别方法 | |
| CN111898620A (zh) | 识别模型的训练方法、字符识别方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240223 Address after: 250100 building S02, No. 1036, Langchao Road, high tech Zone, Jinan City, Shandong Province Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd. Country or region after: China Address before: 250100 First Floor of R&D Building 2877 Kehang Road, Sun Village Town, Jinan High-tech Zone, Shandong Province Applicant before: JINAN INSPUR HIGH-TECH TECHNOLOGY DEVELOPMENT Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |