CN110322396A - 一种病理切片颜色归一化方法及*** - Google Patents
一种病理切片颜色归一化方法及*** Download PDFInfo
- Publication number
- CN110322396A CN110322396A CN201910533229.4A CN201910533229A CN110322396A CN 110322396 A CN110322396 A CN 110322396A CN 201910533229 A CN201910533229 A CN 201910533229A CN 110322396 A CN110322396 A CN 110322396A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- network
- style
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000009977 dual effect Effects 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 19
- 238000002203 pretreatment Methods 0.000 claims description 5
- 238000005303 weighing Methods 0.000 claims description 3
- 230000003115 biocidal effect Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 abstract description 17
- 238000010606 normalization Methods 0.000 abstract description 15
- 239000007787 solid Substances 0.000 abstract description 4
- 230000000452 restraining effect Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 20
- 230000007170 pathology Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000011109 contamination Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000172 cytosol Anatomy 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000012128 staining reagent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种病理切片颜色归一化方法及***，利用生成器生成为目标风格的图片，通过鉴别网络鉴别生成图片和真实的目标风格图片，执行域内的学习和鉴别对抗训练。为了减少非目标风格图片的生成图片与目标风格图片之间的差异，进而通过另一鉴别网络鉴别非目标风格图片的生成图片与目标风格图片，执行域间的学习和鉴别对抗训练，从而进一步减少二者之间的差异，优化生成网络性能。本发明对不同颜色风格病理切片数据进行颜色归一化，解决单一颜色风格下训练出的深度模型难以在另一颜色风格的数据中具有相同或相近表现，不同颜色风格病理切片作为数据训练深度模型时会导致模型难以收敛的技术问题。
Description
技术领域
本发明属于医学细胞病理图像分析领域，更具体地，涉及一种针对不同来源的细胞病理切片颜色归一化的方法及***。
背景技术
近年来，人工智能技术发展迅速，人工智能与医疗结合能够缓解医生资源紧缺的问题。在医学细胞病理领域，病理切片数据的大量积累为医学细胞病理图像的分析提供了大数据背景，在大数据样本的处理中，由于深度学习算法的分析处理能力普遍强于其他传统分析算法，深度学习被广泛用于大数据医学细胞病理图像分析领域。
运用深度学习进行医学细胞病理图像的分析需要通过对大量标签数据的学习，训练出具有分类、识别或分割效果的深度模型。但现实中，由于拍摄仪器差异、仪器参数差异、病理切片染色方法差异等导致所成病理切片颜色风格出现较大差异(颜色风格差异包括：色相、色调、饱和度、亮度等图像属性的差异)。颜色风格差异会导致模型出现一些问题，如：在单一颜色风格下训练出的深度模型难以在另一颜色风格的数据中具有相同或相近表现；不同颜色风格病理切片作为数据训练深度模型时会导致模型难以收敛。
医学细胞病理图像的颜色风格差异要求深度模型需要具有较好的泛化能力，能够适应不同颜色风格的数据。现有的方法通过数据增强扩大训练数据，在数据中添加噪声等方式提高模型的泛化能力，但这些方式所训练出的模型的适用范围总是有限的，不能保证模型能在任一颜色风格的数据上表现较好。也有一些方法通过分析颜色和空间信息来匹配不同颜色风格数据之间的分布，这种方式的归一化只能在一定程度上缩小不同颜色风格之间的差异，不能真正的做到颜色风格的一致。因为现实中的颜色风格差异往往较为复杂，不同颜色风格的病理图像在分布上难以精确的分析。
综上所述，具有良好泛化能力的深度模型在实际运用中更稳定，而不同来源的医学细胞病理图像的颜色风格存在差异。深度模型虽然能够分析医学细胞病理图像，但在颜色风格存在差异的数据中仍然存在分析困难。仍需要通过颜色归一化等方法来提高模型的泛化能力，以满足在不同颜色风格数据上的需求。
发明内容
针对现有技术的缺陷或迫切技术需求，本发明提出了一种基病理切片颜色归一化的方法及***，其目的在于，对不同颜色风格病理切片数据进行颜色归一化，解决单一颜色风格下训练出的深度模型难以在另一颜色风格的数据中具有相同或相近表现，不同颜色风格病理切片作为数据训练深度模型时会导致模型难以收敛的技术问题。
一种病理切片染色归一化方法，将病理切片图像A的颜色风格为目标颜色风格，通过对抗生成模型将另一种颜色风格的病理切片图像B归一到目标颜色风格，所述对抗生成模型按照如下方式构建：
1)样本图像预处理步骤：
将病理切片样本图像A和B转化为灰度图以及红蓝编码图，作为生成网络G的输入图像CA和CB；
2)域内对抗生成训练步骤
利用样本图像CA训练生成网络G，使得生成网络G生成与图像A相近的图像A’，而鉴别网络D1分辨A与A’的真假，如此不断进行生成与鉴别的对抗学习，构建对抗生成网络G；
步骤3)域间对抗生成学习步骤
利用样本图像CB，并以生成网络G为起点继续训练，生成与图像A相近的图像B’，而鉴别网络D2分辨A与B’的真假，如此不断进行生成与鉴别的对抗学习，对抗生成网络G。
进一步地，所述步骤2)域内对抗生成训练采用的损失函数为：
式中，
其中，G*为对抗训练所得最优生成器，λGAN1，λL1为用于权衡不同损失函数之间重要性的超参数；EA[]为在A分布下[]内表达式的期望，为在CA分布下[]内表达式的期望，为在A,CA分布下[]内表达式的期望，G为生成器，D1为域内鉴别器，A为目标颜色风格的原始彩色图像,CA为G的A的灰度图以及红蓝编码图。进一步地，所述步骤3)域间对抗生成学习采用的损失函数为：
其中，EA[]为在A分布下[]内表达式的期望，D2为域间鉴别器，为在CB分布下[]内表达式的期望，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。进一步地，所述步骤1)样本图像预处理步骤中还对病理切片图像A和B分别进行红蓝编码，将编码得到的二值图。
进一步地，还包括步骤4)任务监督学习步骤：
预先以图像A为训练样本训练得到执行指定任务的任务网络T；将图像CA输入步骤3)得到的对抗生成网络G，对抗生成网络G输出图像A’；将图像A’输入任务网络T，比较任务网络T的输出结果与图像A对应的任务标签之间的差异，将该差异作为损失反馈进一步优化对抗生成网络G。
进一步地，所述损失函数表示为：
其中，为在A，CA，YA分布下[]内表达式的期望G为生成器，T为任务网络；A为目标颜色风格的原始彩色图像,CA为A的灰度图以及红蓝编码图,YA为A的任务标签，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。
一种用于病理切片染色归一化的对抗生成器训练***，将病理切片图像A的颜色风格为目标颜色风格，通过对抗生成模型将另一种颜色风格的病理切片图像B归一到目标颜色风格，所述对抗生成器训练***包括：
样本图像预处理模块，用于将病理切片样本图像A和B转化为灰度图以及红蓝编码图，作为对抗生成网络G的输入图像CA和CB；
域内对抗生成训练模块，用于利用样本图像CA训练生成网络G，使得生成网络G生成与图像A相近的图像A’，而鉴别网络D1分辨A与A’的真假，如此不断进行生成与鉴别的对抗学习，构建生成网络G；
域间对抗生成学习模块，用于利用样本图像CB，并以生成网络G为起点继续训练，生成与图像A相近的图像B’，而鉴别网络D2分辨A与B’的真假，如此不断进行生成与鉴别的对抗学习，优化生成网络G。
总体而言，本发明的有益效果：
本发明提出了一种基于深度学习的病理切片颜色归一化的方法，利用生成器生成为目标风格的图片，通过鉴别网络鉴别生成图片和真实的目标风格图片，执行域内的学习和鉴别对抗训练。为了减少非目标风格图片的生成图片与目标风格图片之间的差异，进而通过另一鉴别网络鉴别非目标风格图片的生成图片与目标风格图片，执行域间的学习和鉴别对抗训练，从而进一步减少二者之间的差异，优化生成网络性能。
进一步地，本发明在域内的学***均绝对误差作为损失函数，辅助进行生成器的训练。
进一步地，本发明在域间学习和鉴别对抗训练中，生成G的目标为依据期待进行归一化的颜色风格的输入图像生成出呈现目标染色风格的彩色图像去欺骗域间鉴别器，而域间鉴别器的目标为将生成器生成的图像与真实图像分辨开，这样生成器与域间鉴别器就能形成了对抗训练。
进一步地，本发明将彩色图片转换成灰度图和红蓝编码图输入生成网络，灰度图在一定程度上消去了不同颜色风格的病理切片之间的颜色风格差异(色相、色调)。染色试剂根据酸碱性差异将细胞胞浆染为红或蓝色，医生判读时需要利用此类信息，所以任务网络进行训练和测试时需要保留样本图片此类信息。不同颜色风格的病理图片通过生成网络进行颜色归一化后的图片虽然颜色风格一致了，但可能会出现细胞红蓝串色的情况。为了避免该情况的发生，本发明对归一化前的数据进行红蓝编码，通过向生成网络输入红蓝编码图，来保证颜色归一化后的图片不出现细胞红蓝串色情况。通过该方法可在保留细胞红蓝颜色信息的同时，最大程度的消去了不同颜色风格的病理切片之间的颜色风格差异。
进一步地，本发明将生成网络与任务网络结合训练，既提升生成网络的生成效果的同时，也保证了任务网络的效果。因为生成网络并不能够完完全全的重建目标颜色风格，为了使得生成网络生成的风格图片能够在任务网络中有较好的表现，我们对生成网络新增一项任务损失。通过调节生成网络或任务网络或者二者联调的方式得到性能更优的生成网络和任务网络。
本发明方法是一种通用的提高细胞病理切片模型泛化能力的方法，不仅对宫颈细胞病理切片适用，对其他类型的细胞病理切片的模型泛化能力的提高只要结合数据特点，调整合适的参数也同样有效。
附图说明
图1为本发明提出的基于深度学习的病理切片颜色归一化网络结构图；
图2为本发明中由彩色图片生成的灰度图和红蓝编码图，其中图2(a)为灰度图，图2(b)为红蓝编码图；
图3为本发明提出的基于深度学习的病理切片颜色归一化网络各阶段训练结构图,其中，图3(a)为L1损失和域内鉴别网络损失进行训练监督的结构图，图3(b)为域间鉴别网络损失进行训练监督的结构图，图3(c)为L1损失、域间鉴别网络和任务网络损失进行监督的结构图；
图4为本发明提出方法的仿真实例图，其中，图4(a)为呈现目标颜色风格的病理图像，图4(b)为期待进行颜色归一化的病理图像，图4(c)为使用不同损失组合进行监督训练的归一化效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
现假设有两种差异较大的颜色风格A、B，其中风格A具有大量Task任务标签(病变类型标签)，风格B没有Task任务标签(仅有少量Task任务标签也视作没有)。
将A作为目标颜色风格，通过对抗生成模型将一种颜色风格的病理切片图像B归一到目标颜色风格，所述对抗生成模型按照如下方式构建：
1)样本图像预处理步骤11)灰度图及红蓝编码图制作
本步骤将病理切片样本图像A和B转化为灰度图，作为对抗生成网络G的输入图像CA和CB。灰度图(图2a)在一定程度上消去了不同颜色风格的病理切片之间的颜色风格差异(色相、色调)。虽然A、B具有不同颜色风格，但是由于A、B同属于一个任务(如均属于子宫颈管细胞病变类型识别)，因此去除颜色风格差异后A、B实际表征内容应当相同，故A、B数据的细胞纹理、细胞轮廓等形态学信息具有相同实际病理含义。因此在进行图像颜色归一化变换时，应当将细胞纹理、轮廓等细节(细粒度)信息完整保留。在这里，本发明采取向生成网络G输入灰度图的方式实现。
作为优化，考虑到任务判别时，通过染色试剂根据酸碱性差异将细胞浆染为红或蓝色，医生判读时需要利用此类信息，所以Task网络进行训练和测试时需要保留样本图片此类信息。不同颜色风格的病理图片通过GAN网络进行颜色归一化后的图片虽然颜色风格一致了，但可能会出现细胞红蓝串色的情况。为了避免该情况的发生，对归一化前的数据进行红蓝编码，通过向G生成网络输入红蓝编码图(图2b)，来保证颜色归一化后的图片不出现细胞红蓝串色情况，譬如一种具体的方式是，自然图像在RGB颜色空间上可由三通道[R，G，B]表征，将病理切片上R通道像素值最大的像素编码为1，R通道像素值不为最大的像素编码为0。通过此方式得到红蓝二值编码图。
将样本图像的灰度图以及红蓝编码图覆盖叠放，并对叠放后的数值归一至[-1,1]，作为输入样本送入G网络中，本发明将该输入样本定义为中间阶段C。经过上述过程得到的灰度图与红蓝编码图在保留了重要且通用色相信息(红或蓝)、细胞形态学信息的基础上，抹去了颜色风格差异(色相、色调、饱和度、亮度等)
按照一种优选的方式，在灰度图以及红蓝编码图覆盖叠放前，还对灰度图进行数据增强。虽然灰度图能够在一定程度上消去了不同颜色风格的病理切片之间的颜色风格差异(色相、色调)，但是由于灰度值是根据自然RGB三通道值进行数值(线性)计算得出，因此仍然在很大程度上保留了颜色风格中亮度、对比度等信息。因此增加Gamma变换、HSV颜色空间扰动进行一个较复杂的计算(非线性)，抹去A、B之间亮度、对比度等颜色风格差异。
步骤2)域内对抗生成训练步骤(图3a)所示)
将颜色风格A作为重建的目标风格，另定义风格A数据经过步骤1)到达阶段C后为CA，风格B数据经过步骤1)到达阶段C后为CB，选取A为颜色风格重建的目标风格理由如下：(1)风格A数据具有大量病变标签，且Task网络是基于A训练且对A有优秀测试结果；(2)由于CA由A经过变换得来，以A为目标，可以采用L1损失，这项损失对进行风格重建的G网络具有极强的监督作用，更加易于网络收敛。
生成网络G采用调整后的U-net结构(较常规U-net结构更薄、更浅)，鉴别网络D采用含五层卷积(部分卷积层后带有BN、Leaky-Relu)的卷积神经网路CNN。
利用样本图像CA训练生成网络G，使得生成网络G生成与图像A相近的图像A’，而鉴别网络D1分辨A与A’的真假，如此不断进行生成与鉴别的对抗学习，构建生成网络G。
生成网络G和鉴别网络D1采用随机初始化得到初始参数；域内对抗生成训练采用的损失函数为
式中，
其中，G*为对抗训练所得最优生成器，λGAN1，λL1为用于权衡不同损失函数之间重要性的超参数；EA[]为在A分布下[]内表达式的期望，为在CA分布下[]内表达式的期望，为在A,CA分布下[]内表达式的期望，G为生成器，D1为域内鉴别器，A为目标颜色风格的原始彩色图像,CA为G的A的灰度图以及红蓝编码图。上述损失函数中，LGAN1希望生成器G依据目标颜色风格的输入图像生成出呈现目标染色风格的彩色图像去欺骗域内鉴别器，而希望域内鉴别器将生成器生成的图像与真实图像分辨开，这样生成器与域内鉴别器就能形成了对抗训练；而LL1希望生成图像与真实图像无论是颜色风格还是图像内容都应当完全一致。因此通过这两项损失函数训练出的生成G在图像生成过程中，不仅不会造成内容上的损失，同时还能生成出与目标颜色风格相近甚至一致的颜色风格，而达到归一化的目的
步骤3)域间对抗生成学习步骤(图3c)所示)
利用对抗生成网络G能够实现的颜色风格归一化过程为A→CA→A’和B→CB→B’，但是，实际上由于CA、CB在分布上仍存在差异，因此经过生成网络G生成的A’与B’无法保证颜色风格的绝对一致,因此增加A’与B’的对抗训练环节，使得A’与B’更加具有一致性。
具体的实现方式是：利用步骤2)中训练出的生成网络G，实现A→CA→A’和B→CB→B’，A作为真实图像，B’作为新意义上的生成图像输入到重新随机初始化的鉴别器D2，进行对抗训练。域间对抗生成学习采用的损失函数为：
其中，EA[]为在A分布下[]内表达式的期望，D2为域间鉴别器，为在CB分布下[]内表达式的期望，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。上述损失函数，LGAN2希望生成器G依据期待进行归一化的颜色风格的输入图像生成出呈现有目标染色风格的彩色图像去欺骗域间鉴别器，而希望域间鉴别器将生成器生成的图像与真实图像分辨开，这样生成器与域内鉴别器就能形成了对抗训练。通过生成对抗训练，生成器G最终能依据期待进行归一化的颜色风格的输入图像生成出颜色风格与目标颜色风格相近甚至一致的颜色风格，以达到归一化的目的。
在具体实现过程中，为保证步骤2)中训练出的G网络，不会被重新初始化的鉴别器D2，指导向生成无意义图像，保留步骤2)中的LL1损失，该阶段完整的损失函数表达如下：
通过本步骤新设计的域间对抗训练，可在保证步骤2)中生成图像(A’与B’)效果的同时，进一步提高A’与B’的一致性，至此颜色归一化基本完成。
考虑到基于A的大量Task任务标签，已训练出能够在图像A上具有优秀泛化表现的任务网络(如：阳性、阴性平均准确率达到95％+)，称为Task网络。由于在单一颜色风格下训练出的深度模型难以在另一颜色风格的数据中具有相同或相近表现，Task网络在B上测试结果糟糕(如：阳性、阴性平均准确率达到65％+)。本发明上述步骤1)-3)可将颜色风格B的图片归一到目标风格A上，但进一步的，还希望在B无Task任务标签的情况下，使得Task网络能够在B上测试结果与A上尽可能相近甚至相同。因此，在步骤1)-3)的基础上，进一步提出步骤4)通过与Task网络结合进一步训练生成网络G
步骤4)任务监督学习步骤
通过上述步骤2)和步骤3)的生成对抗学习训练出以风格A为生成风格的生成网络G，并且风格A和风格B的图片经过生成网络G转换为A’、B’，A’与B’有较好的颜色风格一致性。然而虽然LL1、LGAN两项损失实质上均是以风格A的图片作为监督，但是无法避免的是，G并不能够完完全全的重建颜色风格A，这个通过KL散度(求A与A’的相对熵)，以及Task网络测试(风格A’图片与风格B’图片在Task网络中准确率相差较大)可以验证。
具体实现方式为：预先以图像A为训练样本训练得到执行指定任务的任务网络T；将图像CA输入步骤3)得到的对抗生成网络G，对抗生成网络G输出图像A’；将图像A’输入任务网络T，比较任务网络T的输出结果与图像A对应的任务标签之间的差异，将该差异作为损失反馈进一步优化对抗生成网络G。
若只优化G网络，新增加的损失函数为：
其中，为在A，CA，YA分布下[]内表达式的期望G为生成器，T为任务网络；A为目标颜色风格的原始彩色图像,CA为A的灰度图以及红蓝编码图,YA为A的任务标签，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。
在具体实现过程中，保留步骤2)中的LL1损失，LGAN2(G，D)，该阶段完整的损失函数表达如下：
若同时优化生成网络G和Task网络，同时优化生成网络G和Task网络可以使生成网络G重建颜色风格的同时，倾向于对Task网络友好的方向同时可以使得使Task网络去适应由生成网络G重建出来的新风格A’，生成网络G和Task网络彼此适应。那么，新增加的损失函数表示为：
其中，G为生成网络，T为任务网络；A为目标颜色风格的原始彩色图像,CA为A的灰度图以及红蓝编码图,CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。
具体实现过程中，生成网络G的参数和Task网络参数同时更新，由于生成网络G的梯度来源于LGAN2、LL1和LTask,并由损失系数进行权衡，Task网络的梯度来源于LTask。该阶段的完整损失函数如下：
仿真实例：
图4中(a)所呈现出的颜色风格为目标颜色风格。图4(b)中为需要进行归一化的颜色风格。图4(c)左一为使用域内鉴别损失和L1损失作为监督训练得到的生成网络G对图4四(b)中图象进行归一化后的结果；图4(c)左二为使用域内鉴别损失、域间鉴别损失和L1损失作为监督训练得到的生成网络G对图4(b)中图象进行归一化后的结果；图4(c)左一为使用域内鉴别损失、域间鉴别损失、L1损失以及任务损失作为监督训练得到的生成网络G对图4(b)中图象进行归一化后的结果。可以看出，不同损失监督下所生成的颜色风格均与目标颜色风格有着较高的一致性，并且在图象生成的过程中，病理图象的细节信息并没有被丢失，保持了与原始图象即图4(b)完全一致的内容。
本发明通过训练对抗生成网络，得到可将任一颜色风格的细胞病理图像转变为目标风格的细胞病理图像，从而实现病理切片的颜色归一化。该过程结合宫颈细胞病理切片的数据特点，将彩色图片转换成灰度图和红蓝编码图输入生成网络，通过该方法可在保留细胞红蓝颜色信息的同时，最大程度的消去了不同颜色风格的病理切片之间的颜色风格差异。为了使不同风格通过生成网络后的生成图片间的风格差异降低，将其他风格经过生成网络后的输出图片与目标风格图片进行鉴别，进一步优化生成网络。同时，为了能够更好的适应任务网络，提出将生成网络与任务网络结合训练。
通过以上方法训练基于深度学习的病理切片颜色归一化网络后可得到具有颜色归一化效果的生成网络，同时生成图片能很好的保留任务网络所需的输入信息，适应任务网络，既提升了生成网络的生成效果的同时，保证了任务网络的效果。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种病理切片颜色归一化方法，其特征在于，将病理切片图像A的颜色风格为目标颜色风格，通过对抗生成模型将另一种颜色风格的病理切片图像B归一到目标颜色风格，所述对抗生成模型按照如下方式构建：
1)样本图像预处理步骤：
将病理切片样本图像A和B转化为灰度图以及红蓝编码图，作为对抗生成网络G的输入图像CA和CB；
2)域内对抗生成训练步骤
利用样本图像CA训练生成网络G，使得生成网络G生成与图像A相近的图像A’，而鉴别网络D1分辨A与A’的真假，如此不断进行生成与鉴别的对抗学习，构建对抗生成网络G；
步骤3)域间对抗生成学习步骤
利用样本图像CB，并以步骤2)中对抗生成网络G为起点继续训练，生成与图像A相近的图像B’，而鉴别网络D2分辨A与B’的真假，如此不断进行生成与鉴别的对抗学习，优化对抗生成网络G。
2.根据权利要求1所述的病理切片颜色归一化方法，其特征在于，所述步骤2)域内对抗生成训练采用的损失函数为：
式中，
其中，G*为对抗训练所得最优生成器，λGAN1，λL1为用于权衡不同损失函数之间重要性的超参数；EA[]为在A分布下[]内表达式的期望，为在CA分布下[]内表达式的期望，为在A,CA分布下[]内表达式的期望，G为生成器，D1为域内鉴别器，A为目标颜色风格的原始彩色图像,CA为G的A的灰度图以及红蓝编码图。
3.根据权利要求1或2所述的病理切片颜色归一化方法，其特征在于，所述步骤3)域间对抗生成学习采用的损失函数为：
其中，EA[]为在A分布下[]内表达式的期望，D2为域间鉴别器，为在CB分布下[]内表达式的期望，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。
4.根据权利要求1所述的病理切片颜色归一化方法，其特征在于，所述步骤1)样本图像预处理步骤中还对病理切片图像A和B分别进行红蓝编码，将编码得到的二值图。
5.根据权利要求1所述的病理切片颜色归一化方法，其特征在于，还包括步骤4)任务监督学习步骤：
预先以图像A为训练样本训练得到执行指定任务的任务网络T；将图像CA输入步骤3)得到的对抗生成网络G，对抗生成网络G输出图像A’；将图像A’输入任务网络T，比较任务网络T的输出结果与图像A对应的任务标签之间的差异，将该差异作为损失反馈进一步优化对抗生成网络G。
6.根据权利要求5所述的病理切片颜色归一化方法，其特征在于，所述损失函数表示为：
其中，为在A，CA，YA分布下[]内表达式的期望G为生成器，T为任务网络；A为目标颜色风格的原始彩色图像,CA为A的灰度图以及红蓝编码图,YA为A的任务标签，CB为期望进行颜色归一化的病理图像的灰度图以及红蓝编码图。
7.一种用于病理切片颜色归一化的对抗生成器训练***，将病理切片图像A的颜色风格为目标颜色风格，通过对抗生成模型将另一种颜色风格的病理切片图像B归一到目标颜色风格，所述对抗生成器训练***包括：
样本图像预处理模块，用于将病理切片样本图像A和B转化为灰度图以及红蓝编码图，作为对抗生成网络G的输入图像CA和CB；
域内对抗生成训练模块，用于利用样本图像CA训练生成网络G，使得生成网络G生成与图像A相近的图像A’，而鉴别网络D1分辨A与A’的真假，如此不断进行生成与鉴别的对抗学习，构建对抗生成网络；
域间对抗生成学习模块，用于利用样本图像CB，并以生成网络G为起点继续训练，生成与图像A相近的图像B’，而鉴别网络D2分辨A与B’的真假，如此不断进行生成与鉴别的对抗学习，优化对抗网络G。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910533229.4A CN110322396B (zh) | 2019-06-19 | 2019-06-19 | 一种病理切片颜色归一化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910533229.4A CN110322396B (zh) | 2019-06-19 | 2019-06-19 | 一种病理切片颜色归一化方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110322396A true CN110322396A (zh) | 2019-10-11 |
| CN110322396B CN110322396B (zh) | 2022-12-23 |
Family
ID=68119893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910533229.4A Expired - Fee Related CN110322396B (zh) | 2019-06-19 | 2019-06-19 | 一种病理切片颜色归一化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110322396B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028923A (zh) * | 2019-10-18 | 2020-04-17 | 平安科技（深圳）有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
| CN111062862A (zh) * | 2019-12-19 | 2020-04-24 | 北京澎思科技有限公司 | 基于颜色的数据增强方法和***及计算机设备和存储介质 |
| CN111161359A (zh) * | 2019-12-12 | 2020-05-15 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111353987A (zh) * | 2020-03-02 | 2020-06-30 | 中国科学技术大学 | 一种细胞核分割方法及装置 |
| CN111444844A (zh) * | 2020-03-26 | 2020-07-24 | 苏州腾辉达网络科技有限公司 | 一种基于变分自编码器的液基细胞人工智能检测方法 |
| CN111754478A (zh) * | 2020-06-22 | 2020-10-09 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的无监督域适应***及方法 |
| CN111985464A (zh) * | 2020-08-13 | 2020-11-24 | 山东大学 | 面向法院判决文书的多尺度学习的文字识别方法及*** |
| CN112750067A (zh) * | 2019-10-29 | 2021-05-04 | 爱思开海力士有限公司 | 图像处理***及其训练方法 |
| CN114170224A (zh) * | 2021-01-20 | 2022-03-11 | 赛维森(广州)医疗科技服务有限公司 | 应用生成式染色归一化的细胞病理分类的***及方法 |
| CN114627010A (zh) * | 2022-03-04 | 2022-06-14 | 透彻影像(北京)科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307305A1 (en) * | 2013-10-23 | 2016-10-20 | Rutgers, The State University Of New Jersey | Color standardization for digitized histological images |
| US20170053398A1 (en) * | 2015-08-19 | 2017-02-23 | Colorado Seminary, Owner and Operator of University of Denver | Methods and Systems for Human Tissue Analysis using Shearlet Transforms |
| US20170091937A1 (en) * | 2014-06-10 | 2017-03-30 | Ventana Medical Systems, Inc. | Methods and systems for assessing risk of breast cancer recurrence |
| US20180165809A1 (en) * | 2016-12-02 | 2018-06-14 | Panagiotis Stanitsas | Computer vision for cancerous tissue recognition |
| CN109670510A (zh) * | 2018-12-21 | 2019-04-23 | 万达信息股份有限公司 | 一种基于深度学习的胃镜活检病理数据筛查***和方法 |
-
2019
- 2019-06-19 CN CN201910533229.4A patent/CN110322396B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160307305A1 (en) * | 2013-10-23 | 2016-10-20 | Rutgers, The State University Of New Jersey | Color standardization for digitized histological images |
| US20170091937A1 (en) * | 2014-06-10 | 2017-03-30 | Ventana Medical Systems, Inc. | Methods and systems for assessing risk of breast cancer recurrence |
| US20170053398A1 (en) * | 2015-08-19 | 2017-02-23 | Colorado Seminary, Owner and Operator of University of Denver | Methods and Systems for Human Tissue Analysis using Shearlet Transforms |
| US20180165809A1 (en) * | 2016-12-02 | 2018-06-14 | Panagiotis Stanitsas | Computer vision for cancerous tissue recognition |
| CN109670510A (zh) * | 2018-12-21 | 2019-04-23 | 万达信息股份有限公司 | 一种基于深度学习的胃镜活检病理数据筛查***和方法 |
Non-Patent Citations (1)
| Title |
|---|
| 宁旭等: "病理切片图像分割技术的研究", 《中国医学物理学杂志》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028923B (zh) * | 2019-10-18 | 2024-01-30 | 平安科技（深圳）有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
| CN111028923A (zh) * | 2019-10-18 | 2020-04-17 | 平安科技（深圳）有限公司 | 数字病理图像染色归一化方法、电子装置及存储介质 |
| CN112750067B (zh) * | 2019-10-29 | 2024-05-07 | 爱思开海力士有限公司 | 图像处理***及其训练方法 |
| CN112750067A (zh) * | 2019-10-29 | 2021-05-04 | 爱思开海力士有限公司 | 图像处理***及其训练方法 |
| CN111161359A (zh) * | 2019-12-12 | 2020-05-15 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
| CN111161359B (zh) * | 2019-12-12 | 2024-04-16 | 东软集团股份有限公司 | 一种图像处理方法及设备 |
| CN111062862A (zh) * | 2019-12-19 | 2020-04-24 | 北京澎思科技有限公司 | 基于颜色的数据增强方法和***及计算机设备和存储介质 |
| CN111325661A (zh) * | 2020-02-21 | 2020-06-23 | 京工数演(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111325661B (zh) * | 2020-02-21 | 2024-04-09 | 京工慧创(福州)科技有限公司 | 一种名为msgan的图像的季节风格转换模型及方法 |
| CN111353987A (zh) * | 2020-03-02 | 2020-06-30 | 中国科学技术大学 | 一种细胞核分割方法及装置 |
| CN111444844A (zh) * | 2020-03-26 | 2020-07-24 | 苏州腾辉达网络科技有限公司 | 一种基于变分自编码器的液基细胞人工智能检测方法 |
| CN111754478A (zh) * | 2020-06-22 | 2020-10-09 | 怀光智能科技（武汉）有限公司 | 一种基于生成对抗网络的无监督域适应***及方法 |
| CN111985464B (zh) * | 2020-08-13 | 2023-08-22 | 山东大学 | 面向法院判决文书的多尺度学习的文字识别方法及*** |
| CN111985464A (zh) * | 2020-08-13 | 2020-11-24 | 山东大学 | 面向法院判决文书的多尺度学习的文字识别方法及*** |
| CN114170224A (zh) * | 2021-01-20 | 2022-03-11 | 赛维森(广州)医疗科技服务有限公司 | 应用生成式染色归一化的细胞病理分类的***及方法 |
| CN114627010A (zh) * | 2022-03-04 | 2022-06-14 | 透彻影像(北京)科技有限公司 | 一种基于染色密度图的染色空间迁移方法 |
| CN115239943A (zh) * | 2022-09-23 | 2022-10-25 | 杭州医策科技有限公司 | 图像矫正模型的训练方法及切片图像的色彩矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110322396B (zh) | 2022-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322396A (zh) | 一种病理切片颜色归一化方法及*** | |
| de Bel et al. | Stain-transforming cycle-consistent generative adversarial networks for improved segmentation of renal histopathology | |
| BenTaieb et al. | Adversarial stain transfer for histopathology image analysis | |
| Liu et al. | Contrastive context-aware learning for 3d high-fidelity mask face presentation attack detection | |
| CN111539883B (zh) | 基于强可逆对抗网络的数字病理图像h&e染色复原方法 | |
| CN107506796A (zh) | 一种基于深度森林的阿尔兹海默病分类方法 | |
| CN109544507A (zh) | 一种病理图像处理方法及***、设备、存储介质 | |
| CN110263801A (zh) | 图像处理模型生成方法及装置、电子设备 | |
| CN109840483A (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| US20240054605A1 (en) | Methods and systems for wavelet domain-based normalizing flow super-resolution image reconstruction | |
| Nazki et al. | MultiPathGAN: Structure preserving stain normalization using unsupervised multi-domain adversarial network with perception loss | |
| Moyes et al. | Multi-channel auto-encoders for learning domain invariant representations enabling superior classification of histopathology images | |
| Singh | Colorization of old gray scale images and videos using deep learning | |
| CN113989595B (zh) | 一种基于阴影模型的联邦多源域适应方法及*** | |
| CN114678121A (zh) | 一种hp球形变诊断模型及其构建方法 | |
| CN112990340B (zh) | 一种基于特征共享的自学习迁移方法 | |
| Wang et al. | Metalantis: A Comprehensive Underwater Image Enhancement Framework | |
| Schirrmeister et al. | When less is more: Simplifying inputs aids neural network understanding | |
| Xing et al. | The Beauty or the Beast: Which Aspect of Synthetic Medical Images Deserves Our Focus? | |
| Nandhini et al. | Hierarchical patch selection: an improved patch sampling for no reference image quality assessment | |
| Sudheera et al. | Detection of dental plaque using enhanced K-means and silhouette methods | |
| Weligampola et al. | A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images | |
| Jia et al. | A fast texture-to-stain adversarial stain normalization network for histopathological images | |
| CN112581360B (zh) | 一种基于结构约束的多风格图像美学质量增强的方法 | |
| CN113744166A (zh) | 一种用于浑浊水下鱼类图像增强的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20221223 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |