CN110738107A - 一种具备模型迁移功能的显微图像识别分割方法 - Google Patents

一种具备模型迁移功能的显微图像识别分割方法 Download PDF

Info

Publication number
CN110738107A
CN110738107A CN201910844452.0A CN201910844452A CN110738107A CN 110738107 A CN110738107 A CN 110738107A CN 201910844452 A CN201910844452 A CN 201910844452A CN 110738107 A CN110738107 A CN 110738107A
Authority
CN
China
Prior art keywords
segmentation
model
image
domain
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910844452.0A
Other languages
English (en)
Inventor
刘净心
慕潇
左彦飞
郭滟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hengdao Medical Pathological Diagnosis Center Co Ltd
Original Assignee
Shanghai Hengdao Medical Pathological Diagnosis Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hengdao Medical Pathological Diagnosis Center Co Ltd filed Critical Shanghai Hengdao Medical Pathological Diagnosis Center Co Ltd
Priority to CN201910844452.0A priority Critical patent/CN110738107A/zh
Publication of CN110738107A publication Critical patent/CN110738107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种具备模型迁移功能的显微图像识别分割方法，该方法基于双域适应模块金字塔型网络建立模型迁移SDK，包含识别分割模式和模型迁移模式，所述识别分割模式的实施步骤为：S1、输入显微图像S2、加载分割模型S3、获得分割结果，所述模型迁移模式的实施步骤为：Y1、输入目标迁移的图像Y2、读取步骤Y1中输入的图像并训练模型Y3、更新现有的识别分割模型；该方法通过对图像和特征层次的对抗训练，训练时无需目标域标签，测试或使用过程与正常的分割网络一样工作；该方法可以提升分割神经网络的在无标记的新图像的分割精度，为机器人及车的识别街景、计算机辅助诊断等提供技术支持，实用性强，有着较强的推广与应用价值。

Description

一种具备模型迁移功能的显微图像识别分割方法
技术领域
本发明涉及数字图像处理及计算机视觉技术领域，尤其是一种具备模型迁移功能的显微图像识别分割方法。
背景技术
数字图像分割技术在机器人，自动导航，医疗影像等领域有着重要的应用。传统的基于深度学习的语义图像分割模型需要使用有标记的训练数据进行有监督学习，并且需要保证训练和测试数据大体相似，即具有相同的分布(或处在相同的域)，然而，在实际情况很难保证训练数据和测试数据或新的数据(实际运行的数据)处在同一域内，使得模型在测试数据上出现显著的性能下降。传统解决此类问题的方式是对新的数据进行标记，并在原模型上进行迁移学习。然而，获得准确的标记是繁琐且耗时复杂的，无法保证对新的数据进行充足的标记，因而需要重新设计一种具备模型迁移功能的显微图像识别分割方法。
本发明就是为了解决以上问题而进行的改进。
发明内容
本发明需要解决的技术问题是提供一种分割精度高、实用性强，有着较强的推广与应用价值的具备模型迁移功能的显微图像识别分割方法。
本发明为解决其技术问题所采用的技术方案是：
一种具备模型迁移功能的显微图像识别分割方法，该方法基于双域适应模块金字塔型网络建立模型迁移SDK，包含识别分割模式和模型迁移模式，所述识别分割模式的实施步骤为：
S1、输入显微图像，从显微镜阅片***中获取数字显微图像；
S2、加载分割模型，加载分割模型及训练完成的权重；
S3、获得分割结果，将图像输入模型，获得预测的分割结果；
所述模型迁移模式的实施步骤为：
Y1、输入目标迁移的图像，准备目标域显微图像；
Y2、读取步骤Y1中输入的图像并训练模型，***内部读取原始训练图像及其对应的原始训练标记；
Y3、更新现有的识别分割模型，将训练完成后所得的分割网络权重更新替换现有的权重；
进一步的，所述该方法是建立在双域适应模块金字塔型网络基础上实现的；
更进一步的，所述步骤S3中的分割模型包含编码器、金字塔型池化模块和解码器；
具体的，所述步骤S4中图像输入分割网络模型，网络的损失函数为
Figure BDA0002194733860000023
该分割函数由分类交叉熵和Dice系数两部分组成，数学表达为：
Figure BDA0002194733860000021
其中α是权衡参数，y与
Figure BDA0002194733860000022
分别表示标准结果与预测结果；
其中，所述步骤Y2中加载基于双域适应模块金字塔型网络，利用双域适应模块金字塔型网络及无监督域适应图像分割方法读取步骤Y1中输入的图像并训练模型。
可选的，所述双域适应模块金字塔型网络包含编码器、金字塔型池化模块、解码器、图像级域适应模块及特征级域适应模块.；
相应的，所述***内部读取原始训练图像及其对应的原始训练标记是结合源域图像分割模块及两个域适应模块，通过对抗性训练对最小-最大博弈同时优化三个分割网络及两个域适应模块，其整体的目标方程为：
本发明的优点在于：该方法通过对图像和特征层次的对抗训练，训练时无需目标域标签，测试或使用过程与正常的分割网络一样工作；该方法可以提升分割神经网络的在无标记的新图像的分割精度，为机器人及车的识别街景、计算机辅助诊断等提供技术支持，实用性强，有着较强的推广与应用价值。
附图说明
图1是本发明提出的一种具备模型迁移功能的显微图像识别分割方法的结构框图。
图2是本发明提出的一种具备模型迁移功能的显微图像识别分割方法中双域适应模块金字塔型网络的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。
参照图1、图2所示，该具备模型迁移功能的显微图像识别分割方法，该方法基于双域适应模块金字塔型网络建立模型迁移SDK，包含识别分割模式和模型迁移模式，所述识别分割模式的实施步骤为：
S1、输入显微图像，从显微镜阅片***中获取数字显微图像；
S2、加载分割模型，加载分割模型及训练完成的权重；
S3、获得分割结果，将图像输入模型，获得预测的分割结果；
所述模型迁移模式的实施步骤为：
Y1、输入目标迁移的图像，准备目标域显微图像；
Y2、读取步骤Y1中输入的图像并训练模型，***内部读取原始训练图像及其对应的原始训练标记；
Y3、更新现有的识别分割模型，将训练完成后所得的分割网络权重更新替换现有的权重；
进一步的，所述该方法是建立在双域适应模块金字塔型网络基础上实现的；
更进一步的，所述步骤S3中的分割模型包含编码器、金字塔型池化模块和解码器；
具体的，所述步骤S4中图像输入分割网络模型，网络的损失函数为该分割函数由分类交叉熵和Dice系数两部分组成，数学表达为：
Figure BDA0002194733860000042
其中α是权衡参数，y与
Figure BDA0002194733860000043
分别表示标准结果与预测结果；
其中，所述步骤Y2中加载基于双域适应模块金字塔型网络，利用双域适应模块金字塔型网络及无监督域适应图像分割方法读取步骤Y1中输入的图像并训练模型。
可选的，所述双域适应模块金字塔型网络包含编码器、金字塔型池化模块、解码器、图像级域适应模块及特征级域适应模块.；
相应的，所述***内部读取原始训练图像及其对应的原始训练标记是结合源域图像分割模块及两个域适应模块，通过对抗性训练对最小-最大博弈同时优化三个分割网络及两个域适应模块，其整体的目标方程为：
Figure BDA0002194733860000044
其中，双域适应模块金字塔型网络，包含编码器(ENCODER)、金字塔型池化模块(Pyramid Pooling Module，PPM)、解码器(DECODER)、图像级域适应模块(Dimg)及特征级域适应模块(Dfeat)。所述编码器之后连接一个金字塔型池化模块，解码器连接在金字塔型池化模块之后，所述解码器通过跳连技术与解码器同尺寸的卷积层相连；
所述图像级域适应模块连接在金字塔型池化模块之后，用以减小的源域图像和目标域图像全局图像差异(如源域和目标域之间的图像颜色和图像样式)；
所述特征级域适应模块连接在解码器之后，特征级域适应模块在解码器的最终输出之前，所述特征级域适应模块的输入为解码器各级的融合，其用于降低全局及局部的分割差异；
所述卷积块包含E1～E4卷积块，每一个编码卷积块包含conv_3x3，conv_3x3，pool_3x3，其中conv为卷积层，卷积核为3x3，pool为最大池化层，池化倍数为2，编码器的卷积块个数与卷积层的滤波个数可以修改。但是网络模型不限制于此，也可以为VGG19,ResNet18,ResNet50等现有模型主体全卷积部分；
所述解码器中的卷积块与编码器中的卷积块E1～E4相对应，解码器的卷积块D4-D1，每个解码卷积块包含concat,conv_3x3，conv_3x3，upsample，其中concat为合并运算，合并上一个解码块的输出和与此解码卷积块对应的编码卷积块的输出，upsample为上采样层，上采样倍数为2。解码器的卷积块个数与卷积层滤波个数可以随编码器结构对应修改；
所述金字塔型池化模块的输入为编码器的最后一层输出，通过卷积核(kernalsize,KS)6x6,3x3,2x2,1x1的四个池化层将输入池化1/6，1/3，1/2，1/1倍，所以其池化等级N为4。池化之后使用1x1的卷积从降低每级池化的输出维度为1/N。最后，不同级别的特征被连接为最终的金字塔汇集全局特征。注意，可以修改N和每个池化倍数的大小，金字塔型池化模块通过卷积核的池化层将输入池化；
所述解码器输出分割结果，该分割结果受分割损失函数的约束；
所述图像级域适应模块和特征级域适应模块均由判别器组成，图像级域适应模块的输入为金字塔型池化模块的输出，用以通过金字塔池化模块输出特征判别输出为源域图像或目标域图像，同时在训练时通过对抗(adversarial)方式指导训练分割网络，所述特征级域适应模块的输入为解码器各级卷积块通过上采样至统一尺寸后的汇聚输出。
该方法通过对图像和特征层次的对抗训练，训练时无需目标域标签，测试或使用过程与正常的分割网络一样工作；该方法可以提升分割神经网络的在无标记的新图像的分割精度，为机器人及车的识别街景、计算机辅助诊断等提供技术支持，实用性强，有着较强的推广与应用价值。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.一种具备模型迁移功能的显微图像识别分割方法，该方法基于双域适应模块金字塔型网络建立模型迁移SDK，其特征在于：
包含识别分割模式和模型迁移模式，所述识别分割模式的实施步骤为：
S1、输入显微图像，从显微镜阅片***中获取数字显微图像；
S2、加载分割模型，加载分割模型及训练完成的权重；
S3、获得分割结果，将图像输入模型，获得预测的分割结果；
所述模型迁移模式的实施步骤为：
Y1、输入目标迁移的图像，准备目标域显微图像；
Y2、读取步骤Y1中输入的图像并训练模型，***内部读取原始训练图像及其对应的原始训练标记；
Y3、更新现有的识别分割模型，将训练完成后所得的分割网络权重更新替换现有的权重。
2.如权利要求1所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述该方法是建立在双域适应模块金字塔型网络基础上实现的。
3.如权利要求1所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述步骤S3中的分割模型包含编码器、金字塔型池化模块和解码器。
4.如权利要求1所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述步骤S4中图像输入分割网络模型，网络的损失函数为
Figure FDA0002194733850000011
该分割函数由分类交叉熵和Dice系数两部分组成，数学表达为：
Figure FDA0002194733850000012
其中α是权衡参数，y与
Figure FDA0002194733850000013
分别表示标准结果与预测结果。
5.如权利要求1所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述步骤Y2中加载基于双域适应模块金字塔型网络，利用双域适应模块金字塔型网络及无监督域适应图像分割方法读取步骤Y1中输入的图像并训练模型。
6.如权利要求5所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述双域适应模块金字塔型网络包含编码器、金字塔型池化模块、解码器、图像级域适应模块及特征级域适应模块。
7.如权利要求1所述的一种具备模型迁移功能的显微图像识别分割方法，其特征在于，所述***内部读取原始训练图像及其对应的原始训练标记是结合源域图像分割模块及两个域适应模块，通过对抗性训练对最小-最大博弈同时优化三个分割网络及两个域适应模块，其整体的目标方程为：
Figure FDA0002194733850000021
CN201910844452.0A 2019-09-06 2019-09-06 一种具备模型迁移功能的显微图像识别分割方法 Pending CN110738107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844452.0A CN110738107A (zh) 2019-09-06 2019-09-06 一种具备模型迁移功能的显微图像识别分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844452.0A CN110738107A (zh) 2019-09-06 2019-09-06 一种具备模型迁移功能的显微图像识别分割方法

Publications (1)

Publication Number Publication Date
CN110738107A true CN110738107A (zh) 2020-01-31

Family

ID=69267506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844452.0A Pending CN110738107A (zh) 2019-09-06 2019-09-06 一种具备模型迁移功能的显微图像识别分割方法

Country Status (1)

Country Link
CN (1) CN110738107A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、***、装置
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160224892A1 (en) * 2015-01-29 2016-08-04 Panasonic Intellectual Property Management Co., Ltd. Transfer learning apparatus, transfer learning system, transfer learning method, and recording medium
CN107203999A (zh) * 2017-04-28 2017-09-26 北京航空航天大学 一种基于全卷积神经网络的皮肤镜图像自动分割方法
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN108764241A (zh) * 2018-04-20 2018-11-06 平安科技（深圳）有限公司 分割股骨近端的方法、装置、计算机设备和存储介质
CN109190707A (zh) * 2018-09-12 2019-01-11 深圳市唯特视科技有限公司 一种基于对抗学习的域自适应图像语义分割方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法
CN109815850A (zh) * 2019-01-02 2019-05-28 中国科学院自动化研究所 基于深度学习的虹膜图像分割及定位方法、***、装置
CN109947086A (zh) * 2019-04-11 2019-06-28 清华大学 基于对抗学习的机械故障迁移诊断方法及***

Similar Documents

Publication Publication Date Title
CN109509192B (zh) 融合多尺度特征空间与语义空间的语义分割网络
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN111368896B (zh) 基于密集残差三维卷积神经网络的高光谱遥感图像分类方法
CN108647585B (zh) 一种基于多尺度循环注意力网络的交通标识符检测方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及***
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN113807355B (zh) 一种基于编解码结构的图像语义分割方法
CN110738663A (zh) 双域适应模块金字塔型网络及无监督域适应图像分割方法
CN112215847B (zh) 基于对抗学习多尺度特征的重叠染色体自动分割方法
CN110781850A (zh) 道路识别的语义分割***和方法、计算机存储介质
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN111179187A (zh) 基于循环生成对抗网络的单幅图像去雨方法
Rios et al. Feature visualization for 3D point cloud autoencoders
CN113269224A (zh) 一种场景图像分类方法、***及存储介质
CN115565071A (zh) 高光谱图像Transformer网络训练及分类方法
CN116797787A (zh) 基于跨模态融合与图神经网络的遥感影像语义分割方法
CN112861931A (zh) 一种基于差异注意力神经网络的多级别变化检测方法
CN111325766A (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
Zhao et al. Squnet: An high-performance network for crater detection with dem data
CN116433911A (zh) 基于多尺度池化建模的伪装物体实例分割方法、装置及***
CN110738107A (zh) 一种具备模型迁移功能的显微图像识别分割方法
CN111461130B (zh) 一种高精度图像语义分割算法模型及分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination