CN112102928A - 病理图像染色风格归一化方法及装置 - Google Patents
病理图像染色风格归一化方法及装置 Download PDFInfo
- Publication number
- CN112102928A CN112102928A CN202010912039.6A CN202010912039A CN112102928A CN 112102928 A CN112102928 A CN 112102928A CN 202010912039 A CN202010912039 A CN 202010912039A CN 112102928 A CN112102928 A CN 112102928A
- Authority
- CN
- China
- Prior art keywords
- style
- dyeing
- normalization
- model
- staining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004043 dyeing Methods 0.000 title claims abstract description 294
- 230000001575 pathological effect Effects 0.000 title claims abstract description 234
- 238000010606 normalization Methods 0.000 title claims abstract description 221
- 238000012549 training Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000000877 morphologic effect Effects 0.000 claims abstract description 18
- 238000010186 staining Methods 0.000 claims description 134
- 230000006870 function Effects 0.000 claims description 53
- 230000008859 change Effects 0.000 claims description 21
- 230000014759 maintenance of location Effects 0.000 claims description 19
- 230000007170 pathology Effects 0.000 claims description 17
- 230000003042 antagnostic effect Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000004040 coloring Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种病理图像染色风格归一化方法及装置，所述方法包括：通过将待进行染色归一化的第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格介于各数据中心的染色风格之间，且不改变第一病理图像的图像形态学特征的第二病理图像，从而实现病理图像染色风格归一化。染色风格归一化模型的输出作为位于各数据中心的染色风格判别模型的输入，与各数据中心的染色风格判别模型组成生成对抗网络进行训练。本发明实施例中染色风格归一化模型的训练不需要获取各数据中心的原始图像，不仅保证了数据的隐私性，而且避免传统方法中需要利用病理图像先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种病理图像染色风格归一化方法及装置。
背景技术
联邦学习中需要融合来自不同数据中心的数据来联合训练一个鲁棒性强大的深度学习模型。这种机器学习方式对于数据量小而标注困难的医学图像而言尤其重要。然而，病理图像的染色风格因为每个病理医师拥有不同的染色技术以及染色条件和设备的不同而产生较大的差异，从而影响最终的识别和分类。
目前，现有技术中针对病理图像染色归一化方法包括：①将多个数据中心的图像样本集中在一起，利用先验知识选择出模板图像，再利用染色数学算法，分别或集中将其与图像在RGB通道上实现染色风格统一到特定模板图像。②将多个数据中心的图像样本集中在一起，基于卷积神经网络的深度学习方法中的生成对抗网络和风格迁移算法，以某一数据中心的染色风格为生成器的输出基准，将其他数据集中的染色风格统一到该风格。
然而，上述两种方案，在训练模型的时候服务器必须获取每一个数据中心的所有原始图像数据，无法满足联邦学习的对于各个数据中心图像信息保密的要求。而且对于方案①来说，会经常出现染色风格偏差出错的情况。对于方案②来说，往往仅限于两个数据集，而且在选定为模板的数据集发生风格变化后，还会发生准确率明显下降的情况，并不适用于训练测试数据集中含有多个数据中心的多种染色风格的病理样本的情况，也不适用于联邦学习中有多个数据中心的设定。
发明内容
针对现有技术存在的问题，本发明实施例提供一种病理图像染色风格归一化方法及装置。
具体地，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供一种病理图像染色风格归一化方法，包括：
获取待进行染色归一化的第一病理图像；
将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；其中，所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；
其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络；其中，所述染色风格归一化模型的输出作为各数据中心的染色风格判别模型的输入；其中，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
进一步地，将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
进一步地，在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，还包括：根据第二病理图像中的病理组织进行分类。
进一步地，所述生成对抗网络损失函数为：
其中，
表示生成对抗网络损失函数，
表示对抗损失函数，
表示特征保持损失函数，γ为用于平衡两种损失函数的超参数。
进一步地，
所述对抗损失函数为：
其中，
表示对抗损失，
分别表示部署于不同数据中心的染色风格判别模型，D1表示部署在第1个数据中心的染色风格判别模型，
表示部署在第
个数据中心的染色风格判别模型，Ds表示部署在第s个数据中心的染色风格判别模型，G表示部署于中央服务器的染色风格归一化模型，
表示数据中心染色风格判别模型的权重，
表示在数据中心s训练染色风格判别模型Ds和染色风格归一化模型G的对抗训练损失，log表示对数运算，
表示期望运算，
表示(x,y)服从分布
的数学期望，
表示(x,y,z)服从分布
的数学期望；
所述特征保持损失函数为：
其中，
表示特征保持损失，
表示数据中心s的特征保持损失的权重，
表示x通过特征提取模型
后获得的低维度特征向量，
表示利用生成模型G以图像x、标签y和随机噪音z生成的图像G(x,y,z)通过特征提取模型
后获得的低维度特征向量，
表示关于(x,y,z)计算数学期望。
第二方面，本发明实施例提供一种病理图像染色风格归一化装置，包括：
获取单元，用于获取待进行染色归一化的第一病理图像；
归一化单元，用于将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；其中，所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；
其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络；其中，所述染色风格归一化模型的输出作为各数据中心的染色风格判别模型的输入；其中，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
进一步地，将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
进一步地，还包括分类单元，用于在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，根据第二病理图像中的病理组织进行分类。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述病理图像染色风格归一化方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述病理图像染色风格归一化方法的步骤。
本发明实施例提供的病理图像染色风格归一化方法及装置，将待进行染色归一化的第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，可以直接输出染色风格介于各数据中心的染色风格之间，且不改变第一病理图像的图像形态学特征的第二病理图像，从而实现病理图像染色风格归一化。在本发明实施例中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，通过对所述生成对抗网络进行对抗训练，进而完成对染色风格归一化模型的训练。需要说明的是，在对所述生成对抗网络进行对抗训练时，由于是将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，由此可见，本发明实施例只需要各数据中心的染色风格判别模型协助进行对抗训练，而无需使用各数据中心的病理图像和先验染色风格知识，从而使得染色风格归一化模型的训练不需要获取各数据中心的原始图像，这不仅保证了各数据中心的数据隐私性，使得该方法适用于联邦学习场景，而且避免传统方法中需要利用病理图像的先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题，此外，本发明实施例的方案适用于存在多个数据中心的场景，因此，尤其适用于联邦学习场景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的病理图像染色风格归一化方法的流程示意图；
图2是本发明一实施例提供的生成对抗网络训练流程示意图；
图3是本发明一实施例提供的生成对抗网络部署结构示意图；
图4是本发明一实施例提供的染色风格概率空间分布示意图；
图5是本发明第二个实施例提供的病理图像染色风格归一化装置的结构示意图；
图6是本发明第三个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明第一个实施例提供的病理图像染色风格归一化方法的流程示意图，如图1所示，本发明第一个实施例提供的病理图像染色风格归一化方法，包括如下步骤：
步骤110、获取待进行染色归一化的第一病理图像。
步骤120、将第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；其中，第二病理图像的染色风格介于各数据中心的染色风格之间，且第二病理图像不改变第一病理图像的图像形态学特征。
在本实施例中，需要说明的是，病理图像的染色风格因为每个病理医师拥有不同的染色技术以及染色条件和设备的不同而产生较大的差异。不论是病理图像关键区域定位、图像块分类、不同组织区域分割或是肿瘤定位，病理图像的颜色信息对于最后识别和分类结果都十分重要。若病理图像染色风格偏差大且分布不均匀、以及运用未标注的图像来识别已标注的图像，都会使后续基于病理图像的测试准确率急剧下降。因此，需要对病理图像进行染色归一化处理。
传统方法中针对病理图像染色归一化方法包括：①将多个数据中心的图像样本集中在一起，利用先验知识选择出模板图像，再利用染色数学算法，分别或集中将其与图像在RGB通道上实现染色风格统一到特定模板图像。②将多个数据中心的图像样本集中在一起，基于卷积神经网络的深度学习方法中的生成对抗网络和风格迁移算法，以某一数据中心的染色风格为生成器的输出基准，将其他数据集中的染色风格统一到该风格。
然而，上述两种方案，在训练模型的时候服务器必须获取每一个数据中心的所有原始图像数据，无法满足联邦学习的对于各个数据中心图像信息保密的要求。而且对于方案①来说，会经常出现染色风格偏差出错的情况。对于方案②来说，往往仅限于两个数据集，而且在选定为模板的数据集发生风格变化后，还会发生准确率明显下降的情况，并不适用于训练测试数据集中含有多个数据中心的多种染色风格的病理样本的情况，也不适用于联邦学习中有多个数据中心的设定。
因此，本实施例通过位于各数据中心的染色风格判别模型协助位于中央服务器的染色风格归一化模型进行优化训练，相较于传统方法中的病理图像染色归一化方案，本实施例中染色风格归一化模型的训练不需要获取各数据中心的原始图像，不仅保证了数据的隐私性，适用于联邦学习场景，而且避免传统方法中需要利用病理图像的先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题。
具体地，本实施例将待进行染色归一化的第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像。其中，第一病理图像是经过染色的病理图像，但染色风格与各数据中心不统一，需要经过染色风格归一化模型输出染色风格介于各数据中心的染色风格之间的第二病理图像。由于染色风格归一化模型是与位于各数据中心的染色风格判别模型组成生成对抗网络进行训练得到的，从而染色风格归一化模型输出的第二病理图像的染色风格介于各数据中心的染色风格之间，且第二病理图像不改变第一病理图像的图像形态学特征，进而使得第二病理图像的染色风格归一化。图2是本发明一实施例提供的生成对抗网络训练流程示意图，如图2所示，染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：将第一样本病理图像输入染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
其中，染色风格归一化模型与位于各数据中心的染色风格判别模型组成的生成对抗网络，主要包括两部分：一个生成模型和多个判别模型。
生成模型对应的是染色风格归一化模型，是一个生成式的网络，它以带有随机噪声的第一样本病理图像以及其标注作为输入，输出一个介于各数据中心染色风格之间的、且不改变病理图像形态学特征的染色归一化的第二样本病理图像。判别模型对应的是各数据中心的染色风格判别模型，是一个第二样本病理图像作为输入的深度神经网络，用于实现一个二分类任务，即判别输入第二样本病理图像是否属于该数据中心的病理图像的染色风格。判别模型网络的全联接层最后通过sigmoid激活函数，输出一个1维的介于0到1之间到数。这个数值越小表示生成的第二样本病理图像属于该数据中心的染色风格的可能性越大；反之数值越接近1，说明输入的第二样本病理图像越不可能属于该数据中心的染色风格。
基于此，判别模型鉴别生成模型输出的病理图像与各数据中心染色风格之间的差异，并协助训练生成模型，不断调整生成模型的训练参数直至各数据中心的判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，进而可以通过训练好的生成模型，针对待进行染色归一化的第一病理图像，生成染色风格介于各数据中心，且不改变第一病理图像的图像形态学特征的第二病理图像。
下面结合生成对抗网络部署结构来对本实施例进行说明，图3是本发明一实施例提供的生成对抗网络部署结构示意图，如图3所示，通过假设一个最为普遍的场景，即一个客户端数据属于同一批次生成的图像且拥有相同的染色风格，而不同的数据中心之间可能有不同的染色风格。本实施例中的生成对抗网络拥有一个生成器和多个判别器，通过在中心服务器上部署生成器，在每个数据中心部署一个判别器，可以在不共享数据的前提下训练一个用于染色风格归一化的生成对抗网络，并且部署于联邦学习的设置下，本实施例的染色风格归一化不需要利用对于病理图像的先验知识，并且通过本发明的染色归一化处理后，联邦学习中训练的深度神经网络可以取得更高的准确度。
此外，本实施例提供的方法是去中心化的算法，适用于联邦学习，图4是本发明一实施例提供的染色风格概率空间分布示意图，如图4所示，方框A中为生成对抗网络初始生成的染色风格分布和不同数据中心染色风格分布，方框B中为传统方法基于深度学习的染色风格归一化训练后的结果，方框C中为基于本实施例得到的染色风格分布情况，从图3中可以看出，方框B中的生成器G是以数据集1为基础进行染色风格训练，从而训练后的染色风格集中于数据集1；而方框C中得生成器G是通过数据集1的判别器D1、数据集2的判别器D2、以及数据集3的判别器D3协助训练得到的，从而训练后的染色风格介于数据集1、数据集2、以及数据集3之间，相对于方框B中的染色风格分布更均匀，从而使得后续根据染色风格识别病理图像的结果更准确。由此可见，本实施例提供的方法可以部署于联邦学习的设定下且可以取得更高的预测准确度。在联邦学习的设定下，比起未使用染色风格归一化的训练结果，可以提高20-30％以上的深度学习分类的准确度。并且本实施例提供的方法也可以运用到联邦学习设定下训练分割的网络。
本发明实施例提供的病理图像染色风格归一化方法，将待进行染色归一化的第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，可以直接输出染色风格介于各数据中心的染色风格之间，且不改变第一病理图像的图像形态学特征的第二病理图像，从而实现病理图像染色风格归一化。在本发明实施例中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，通过对所述生成对抗网络进行对抗训练，进而完成对染色风格归一化模型的训练。需要说明的是，在对所述生成对抗网络进行对抗训练时，由于是将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，由此可见，本发明实施例只需要各数据中心的染色风格判别模型协助进行对抗训练，而无需使用各数据中心的病理图像和先验染色风格知识，从而使得染色风格归一化模型的训练不需要获取各数据中心的原始图像，这不仅保证了各数据中心的数据隐私性，使得该方法适用于联邦学习场景，而且避免传统方法中需要利用病理图像的先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题，此外，本发明实施例的方案适用于存在多个数据中心的场景，因此，尤其适用于联邦学习场景。
基于上述实施例的内容，在本实施例中，将第一样本病理图像输入染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
在本实施例中，染色风格归一化模型循环生成第二样本病理图像，并循环将第二样本病理图像输入至位于各数据中心的染色风格判别模型中，在每个循环过程中，染色风格判别模型在各自数据中心分别训练，部署于中央服务器的染色风格归一化模型则依次通过每一个数据中心的染色风格判别模型返回结果即生成对抗网络损失，在染色风格判别模型的协助下迭代训练。具体根据对抗损失函数获取对抗损失，并根据对抗损失优化染色风格归一化模型训练参数，从而使第二病理图像的染色风格介于各数据中心的染色风格之间；同时提取第二病理图像特征如可以通过深度卷积神经网络提取特征，根据特征保持损失函数计算第二病理图像特征保持损失，根据特征保持损失优化染色风格归一化模型训练参数，使第二病理图像不改变第一病理图像的图像形态学特征。
本发明实施例提供的病理图像染色风格归一化方法，通过位于各数据中心的染色风格判别模型协助位于中央服务器的染色风格归一化模型进行优化训练，从而使染色风格归一化模型的训练不需要获取各数据中心的原始图像，不仅保证了数据的隐私性，适用于联邦学习场景，而且避免传统方法中需要利用病理图像的先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题。
基于上述实施例的内容，在本实施例中，在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，还包括：根据第二病理图像中的病理组织进行分类。
在本实施例中，通过染色风格归一化模型输出的第二病理图像，染色风格介于各数据中心的染色风格之间，从而不会由于染色风格不一致而导致病理图像分类误差。例如，本实施例在得到染色风格归一化后的第二病理图像之后，根据第二病理图像中的病理组织可以训练基于ResNet或Densenet等的肿瘤分类神经网络，从而对第二病理图像进行分类。
本发明实施例提供的病理图像染色风格归一化方法，基于染色风格归一化后的第二病理图像中的病理组织，能够准确对第二病理图像进行分类。
基于上述实施例的内容，在本实施例中，所述生成对抗网络损失函数为：
其中，
表示生成对抗网络损失函数，
表示对抗损失函数，
表示特征保持损失函数，γ为用于平衡两种损失函数的超参数，由具体病理图像的属性而确定。训练的最优染色风格归一化模型中的生成模型可以通过如下优化问题进行概括：
具体地，可以通过梯度下降上升算法训练所有判别和生成模型的参数，优化染色风格归一化模型：在训练的过程中对于判别模型
利用梯度上升算法使上述损失增大并且对于生成模型G利用梯度下降算法使上述损失值减小，以此往复、交替地训练生成模型和训练模型。
本发明实施例提供的病理图像染色风格归一化方法，通过提取第二样本病理图像特征，根据特征保持损失函数，计算第二样本病理图像特征的特征保持损失，保证染色风格归一化模型输出的第二样本病理图像不改变形态学的特征，进而能够准确根据染色风格归一化后的病理图像进行分析。
基于上述实施例的内容，在本实施例中，对于染色风格归一化模型和部署在各数据中心的染色风格判别模型而言，对抗网络损失函数为：
为了利用到每一个数据中心的病理图像的染色特征，本实施例的对抗生成网络以上述损失函数的加权平均作为对抗损失函数：
其中，
表示对抗损失，
分别表示部署于不同数据中心的染色风格判别模型，D1表示部署在第1个数据中心的染色风格判别模型，
表示部署在第
个数据中心的染色风格判别模型，Ds表示部署在第s个数据中心的染色风格判别模型，G表示部署于中央服务器的染色风格归一化模型，
表示数据中心染色风格判别模型的权重，
表示在数据中心s训练染色风格判别模型Ds和染色风格归一化模型G的对抗训练损失，log表示对数运算，
表示期望运算，
表示(x,y)服从分布
的数学期望，
表示(x,y,z)服从分布
的数学期望。其中
是各数据中心染色风格判别模型的权重，可以与数据中心提供的病理图像的个数成正比。
在本实施例中，除了生成对抗训练的损失函数，为了保证染色风格归一化模型输出的第二样本病理图像不改变形态学的特征，还需要根据特征保持损失函数，计算第二样本病理图像特征的特征保持损失。
其中，特征保持损失函数为：
其中，
表示特征保持损失，
表示数据中心s的特征保持损失的权重，
表示x通过特征提取模型
后获得的低维度特征向量，
表示利用生成模型G以图像x、标签y和随机噪音z生成的图像G(x,y,z)通过特征提取模型
后获得的低维度特征向量，
表示关于(x,y,z)计算数学期望。
是一个特征提取器，比如一个深度卷积神经网络等，特征提取器的输出的是一个低维度的特征向量，维度由具体数据和数据的大小以及特征而决定。
本发明实施例提供的病理图像染色风格归一化方法，通过位于各数据中心的染色风格判别模型协助位于中央服务器的染色风格归一化模型进行优化训练，从而使染色风格归一化模型的训练不需要获取各数据中心的原始图像，不仅保证了数据的隐私性，适用于联邦学习场景，而且避免传统方法中需要利用病理图像的先验知识选择模板图像进行染色导致容易出现染色风格偏差的问题。
图5是本发明第二个实施例提供的病理图像染色风格归一化装置的结构示意图，如图5所示，本发明第二个实施例提供的病理图像染色风格归一化装置，包括：
获取单元510，用于获取待进行染色归一化的第一病理图像；
归一化单元520，用于将第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；其中，第二病理图像的染色风格介于各数据中心的染色风格之间，且第二病理图像不改变所述第一病理图像的图像形态学特征；
其中，染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络；其中，染色风格归一化模型的输出作为各数据中心的染色风格判别模型的输入；其中，生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：
将第一样本病理图像输入染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
其中，将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
进一步地，病理图像染色风格归一化装置还包括分类单元，用于在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，根据第二病理图像中的病理组织进行分类。
本实施例所述的病理图像染色风格归一化装置可以用于执行上述第一个实施例所述的病理图像染色风格归一化方法，其原理和技术效果类似，此处不再详述。
图6是本发明第三个实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(CommunicationsInterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行病理图像染色风格归一化方法，该方法包括：获取待进行染色归一化的第一病理图像；将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的病理图像染色风格归一化方法，该方法包括：获取待进行染色归一化的第一病理图像；将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的病理图像染色风格归一化方法，该方法包括：获取待进行染色归一化的第一病理图像；将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种病理图像染色风格归一化方法，其特征在于，包括：
获取待进行染色归一化的第一病理图像；
将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；
其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
2.根据权利要求1所述的病理图像染色风格归一化方法，其特征在于，将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
3.根据权利要求1所述的病理图像染色风格归一化方法，其特征在于，在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，还包括：根据第二病理图像中的病理组织进行分类。
4.根据权利要求2所述的病理图像染色风格归一化方法，其特征在于，所述生成对抗网络损失函数为：
其中，
表示生成对抗网络损失函数，
表示对抗损失函数，
表示特征保持损失函数，γ为用于平衡两种损失函数的超参数。
5.根据权利要求2所述的病理图像染色风格归一化方法，其特征在于，所述对抗损失函数为：
其中，
表示对抗损失，
分别表示部署于不同数据中心的染色风格判别模型，D1表示部署在第1个数据中心的染色风格判别模型，
表示部署在第
个数据中心的染色风格判别模型，Ds表示部署在第s个数据中心的染色风格判别模型，G表示部署于中央服务器的染色风格归一化模型，
表示数据中心染色风格判别模型的权重，
表示在数据中心s训练染色风格判别模型Ds和染色风格归一化模型G的对抗训练损失，log表示对数运算，
表示期望运算，
表示(x,y)服从分布
的数学期望，
表示(x,y,z)服从分布
的数学期望；
所述特征保持损失函数为：
其中，
表示特征保持损失，
表示数据中心s的特征保持损失的权重，
表示x通过特征提取模型
后获得的低维度特征向量，
表示利用生成模型G以图像x、标签y和随机噪音z生成的图像G(x,y,z)通过特征提取模型
后获得的低维度特征向量，
表示关于(x,y,z)计算数学期望。
6.一种病理图像染色风格归一化装置，其特征在于，包括：
获取单元，用于获取待进行染色归一化的第一病理图像；
归一化单元，用于将所述第一病理图像输入位于中央服务器的完成训练的染色风格归一化模型中，输出染色风格归一化后的第二病理图像；其中，所述第二病理图像的染色风格介于各数据中心的染色风格之间，且所述第二病理图像不改变所述第一病理图像的图像形态学特征；
其中，所述染色风格归一化模型与位于各数据中心的染色风格判别模型组成生成对抗网络；其中，所述染色风格归一化模型的输出作为各数据中心的染色风格判别模型的输入；其中，所述生成对抗网络基于如下处理过程进行训练，以得到完成训练的染色风格归一化模型：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练。
7.根据权利要求6所述的病理图像染色风格归一化装置，其特征在于，将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数直至各数据中心的染色风格判别模型的染色风格判别结果与相应数据中心的染色风格一致时结束训练，包括：
将第一样本病理图像输入所述染色风格归一化模型中，输出的染色风格归一化后的第二样本病理图像进一步输入至位于各数据中心的染色风格判别模型中，不断调整所述染色风格归一化模型的训练参数，判断根据生成对抗网络损失函数获取的生成对抗网络损失是否满足预设条件，若是，则结束训练；
其中，生成对抗网络损失函数包括用于使第二病理图像的染色风格介于各数据中心的染色风格之间的对抗损失函数，以及用于使第二病理图像不改变第一病理图像的图像形态学特征的特征保持损失函数。
8.根据权利要求6所述的病理图像染色风格归一化装置，其特征在于，还包括分类单元，用于在染色风格归一化模型输出染色风格归一化后的第二病理图像之后，根据第二病理图像中的病理组织进行分类。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述病理图像染色风格归一化方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述病理图像染色风格归一化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010912039.6A CN112102928B (zh) | 2020-09-02 | 2020-09-02 | 病理图像染色风格归一化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010912039.6A CN112102928B (zh) | 2020-09-02 | 2020-09-02 | 病理图像染色风格归一化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102928A true CN112102928A (zh) | 2020-12-18 |
| CN112102928B CN112102928B (zh) | 2022-11-01 |
Family
ID=73757683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010912039.6A Active CN112102928B (zh) | 2020-09-02 | 2020-09-02 | 病理图像染色风格归一化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102928B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515077A (zh) * | 2021-04-23 | 2021-10-19 | 重庆德方信息技术有限公司 | 人体细胞染色过程监控***及方法 |
| CN116543287A (zh) * | 2023-04-20 | 2023-08-04 | 南京市秦淮区水务设施养护所 | 基于联邦风格迁移的水务河道漂浮物检测方法 |
| CN117993480A (zh) * | 2024-04-02 | 2024-05-07 | 湖南大学 | 面向设计师风格融合和隐私保护的aigc联邦学习方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、***及计算机存储介质 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN110188667A (zh) * | 2019-05-28 | 2019-08-30 | 复旦大学 | 一种基于三方对抗生成网络的人脸摆正方法 |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN110853110A (zh) * | 2019-09-20 | 2020-02-28 | 杭州火烧云科技有限公司 | 一种基于生成对抗网络的图片自动调色方法 |
| CN111564205A (zh) * | 2020-05-14 | 2020-08-21 | 湖南品信生物工程有限公司 | 一种病理图像染色归一化方法及装置 |
| CN111581405A (zh) * | 2020-04-26 | 2020-08-25 | 电子科技大学 | 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法 |
-
2020
- 2020-09-02 CN CN202010912039.6A patent/CN112102928B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220600A (zh) * | 2017-05-17 | 2017-09-29 | 清华大学深圳研究生院 | 一种基于深度学习的图片生成方法及生成对抗网络 |
| CN107563995A (zh) * | 2017-08-14 | 2018-01-09 | 华南理工大学 | 一种多判别器误差反传的对抗网络方法 |
| CN108875766A (zh) * | 2017-11-29 | 2018-11-23 | 北京旷视科技有限公司 | 图像处理的方法、装置、***及计算机存储介质 |
| WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
| CN109785258A (zh) * | 2019-01-10 | 2019-05-21 | 华南理工大学 | 一种基于多判别器生成对抗网络的人脸图像修复方法 |
| CN110188667A (zh) * | 2019-05-28 | 2019-08-30 | 复旦大学 | 一种基于三方对抗生成网络的人脸摆正方法 |
| CN110853110A (zh) * | 2019-09-20 | 2020-02-28 | 杭州火烧云科技有限公司 | 一种基于生成对抗网络的图片自动调色方法 |
| CN111581405A (zh) * | 2020-04-26 | 2020-08-25 | 电子科技大学 | 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法 |
| CN111564205A (zh) * | 2020-05-14 | 2020-08-21 | 湖南品信生物工程有限公司 | 一种病理图像染色归一化方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113515077A (zh) * | 2021-04-23 | 2021-10-19 | 重庆德方信息技术有限公司 | 人体细胞染色过程监控***及方法 |
| CN116543287A (zh) * | 2023-04-20 | 2023-08-04 | 南京市秦淮区水务设施养护所 | 基于联邦风格迁移的水务河道漂浮物检测方法 |
| CN116543287B (zh) * | 2023-04-20 | 2023-11-14 | 南京市秦淮区水务设施养护所 | 基于联邦风格迁移的水务河道漂浮物检测方法 |
| CN117993480A (zh) * | 2024-04-02 | 2024-05-07 | 湖南大学 | 面向设计师风格融合和隐私保护的aigc联邦学习方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102928B (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zanjani et al. | Stain normalization of histopathology images using generative adversarial networks | |
| CN112102928B (zh) | 病理图像染色风格归一化方法及装置 | |
| Qi et al. | Label-efficient breast cancer histopathological image classification | |
| Yang et al. | A feature-reduction multi-view k-means clustering algorithm | |
| CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
| CN110751098B (zh) | 一种基于光照、姿态生成对抗网络的人脸识别方法 | |
| CN104268593B (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| MoradiAmin et al. | Computer aided detection and classification of acute lymphoblastic leukemia cell subtypes based on microscopic image analysis | |
| Zanjani et al. | Histopathology stain-color normalization using deep generative models | |
| CN107679466B (zh) | 信息输出方法和装置 | |
| CN110263801B (zh) | 图像处理模型生成方法及装置、电子设备 | |
| CN111028923B (zh) | 数字病理图像染色归一化方法、电子装置及存储介质 | |
| CN110516537B (zh) | 一种基于自步学习的人脸年龄估计方法 | |
| CN111161272B (zh) | 一种基于生成对抗网络的胚胎组织分割方法 | |
| CN111080592B (zh) | 一种基于深度学习的肋骨提取方法及装置 | |
| CN111009324A (zh) | 脑网络多特征分析的轻度认知障碍辅助诊断***及方法 | |
| CN109344713A (zh) | 一种姿态鲁棒的人脸识别方法 | |
| CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN114445268A (zh) | 一种基于深度学习的服装风格迁移方法及*** | |
| CN115713634A (zh) | 一种联合相似性度量与视觉感知的色彩搭配评价方法 | |
| CN108805181B (zh) | 一种基于多分类模型的图像分类装置及分类方法 | |
| CN111950403A (zh) | 一种虹膜分类方法及***、电子设备和存储介质 | |
| CN115018820A (zh) | 基于纹理加强的乳腺癌多分类方法 | |
| CN113177602B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| Paul et al. | Enhanced random forest for mitosis detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Patentee after: Shanghai Bi Ren Technology Co.,Ltd. Country or region after: China Address before: 201114 room 1302, 13 / F, building 16, 2388 Chenhang Road, Minhang District, Shanghai Patentee before: Shanghai Bilin Intelligent Technology Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |