CN111564205A - 一种病理图像染色归一化方法及装置 - Google Patents

一种病理图像染色归一化方法及装置 Download PDF

Info

Publication number
CN111564205A
CN111564205A CN202010407342.0A CN202010407342A CN111564205A CN 111564205 A CN111564205 A CN 111564205A CN 202010407342 A CN202010407342 A CN 202010407342A CN 111564205 A CN111564205 A CN 111564205A
Authority
CN
China
Prior art keywords
image
style
content
encoder
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010407342.0A
Other languages
English (en)
Inventor
梁毅雄
陈佳林
刘剑锋
王慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Pinxin Bioengineering Co ltd
Original Assignee
Hunan Pinxin Bioengineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Pinxin Bioengineering Co ltd filed Critical Hunan Pinxin Bioengineering Co ltd
Priority to CN202010407342.0A priority Critical patent/CN111564205A/zh
Publication of CN111564205A publication Critical patent/CN111564205A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种病理图像染色归一化方法及装置，涉及病理图像处理技术领域，该病理图像染色归一化方法包括步骤：S1，获取输入的病理图像；S2，对病理图像进行解耦，以获得病理图像的内容编码；S3，对目标域图像进行解耦，以获得目标域图像的风格编码；S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。本申请通过将图像解耦成内容编码和图像编码，融合病理图像的内容编码和目标域图像的风格编码，可在保留输入的病理图像的图像内容的条件下对其风格进行变换。通过将不同颜色风格的切片图像统一处理成同一颜色风格的归一化图像。

Description

一种病理图像染色归一化方法及装置
技术领域
本申请涉及病理图像处理技术领域，尤其涉及一种病理图像染色归一化方法及装置。
背景技术
由于不同厂家的保存液、染色剂和制片过程存在各种差异以及数字化扫描仪不同会直接导致全切片图像的颜色显著变化，从而影响最终识别结果。
现有的基于深度学习的染色归一化方法在处理存在多种染色差异的病理图像时往往需要训练多对模型，这不符合实际需求。因为来自不同医疗数据中心的图像往往会存在染色上的差异。
发明内容
本申请所要解决的技术问题在于，针对现有技术的上述不足，提出一种病理图像染色归一化方法及装置。
该病理图像染色归一化方法包括步骤：
S1，获取输入的病理图像；
S2，对病理图像进行解耦，以获得病理图像的内容编码；
S3，对目标域图像进行解耦，以获得目标域图像的风格编码；
S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
进一步地，步骤S2中，通过内容编码器Ec生成病理图像的内容编码；步骤S3中，通过风格编码器Es生成目标域图像的风格编码；步骤S4中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化方法还包括步骤：
S21，将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；
S22，将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure BDA0002491852090000021
S23，采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure BDA0002491852090000022
与x2尽可能相似；x2和
Figure BDA0002491852090000023
之间采用L1损失函数，L1损失函数为：
Figure BDA0002491852090000024
其中，x2～p(x2)为目标域图像x2的分布；
S24，将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；
S25，将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；
S26，采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure BDA0002491852090000025
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
S27，将图像x1→2输入到内容编码器Ec生成内容编码
Figure BDA0002491852090000026
输入到风格编码器Es，生成风格编码
Figure BDA0002491852090000027
S28，采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure BDA0002491852090000028
和c1以及
Figure BDA0002491852090000029
和s2’尽可能相似；
Figure BDA00024918520900000210
和c1之间的损失函数为：
Figure BDA0002491852090000031
Figure BDA0002491852090000032
与s2’之间的损失函数为：
Figure BDA0002491852090000033
S29，将图像x1→2和目标域图像x2分别输入到判别器D中；
S210，采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure BDA0002491852090000034
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
进一步地，步骤S3中，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
进一步地，步骤S22具体包括：
将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure BDA0002491852090000035
其中，μ、σ分别代表通道维度的均值和标准差；
通过一个上采样层生成
Figure BDA0002491852090000036
另一方面，该病理图像染色归一化装置包括：
获取模块，用于获取输入的病理图像；
第一解耦模块，用于对病理图像进行解耦，以获得病理图像的内容编码；
第二解耦模块，用于对目标域图像进行解耦，以获得目标域图像的风格编码；
生成模块，用于根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
进一步地，第一解耦模块中，通过内容编码器Ec生成病理图像的内容编码；第二解耦模块中，通过风格编码器Es生成目标域图像的风格编码；生成模块中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化装置还包括：
第一训练模块，用于将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure BDA0002491852090000041
采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure BDA0002491852090000042
与x2尽可能相似；x2和
Figure BDA0002491852090000043
之间采用L1损失函数，L1损失函数为：
Figure BDA0002491852090000044
其中，x2～p(x2)为目标域图像x2的分布；
第二训练模块，用于将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure BDA0002491852090000045
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
第三训练模块，用于将图像x1→2输入到内容编码器Ec生成内容编码
Figure BDA0002491852090000051
输入到风格编码器Es，生成风格编码
Figure BDA0002491852090000052
采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure BDA0002491852090000053
和c1以及
Figure BDA0002491852090000054
和s2’尽可能相似；
Figure BDA0002491852090000055
和c1之间的损失函数为：
Figure BDA0002491852090000056
Figure BDA0002491852090000057
与s2’之间的损失函数为：
Figure BDA0002491852090000058
第四训练模块，用于将图像x1→2和目标域图像x2分别输入到判别器D中；采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure BDA0002491852090000059
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
进一步地，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
进一步地，第一训练模块包括：
参数生成子模块，用于将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
运算子模块，用于采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure BDA00024918520900000510
其中，μ、σ分别代表通道维度的均值和标准差；
图像生成子模块，用于通过一个上采样层生成
Figure BDA00024918520900000511
另一方面，本申请还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现以上任一种病理图像染色归一化方法的步骤。
另一方面，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一种病理图像染色归一化方法的步骤。
在以上方案中，通过将图像解耦成内容编码和图像编码，融合病理图像的内容编码和目标域图像的风格编码，可在保留输入的病理图像的图像内容的条件下对其风格进行变换。通过将不同颜色风格的切片图像统一处理成同一颜色风格的归一化图像，有助于对病理图像作进一步处理，例如，可应用于***的自动筛查与智能诊断过程。
附图说明
图1是本申请实施例中一种病理图像染色归一化方法的流程图。
图2是本申请实施例中模型训练的示意图。
图3是本申请实施例中一种病理图像染色归一化装置的示意框图。
具体实施方式
以下是本申请的具体实施例并结合附图，对本申请的技术方案作进一步的描述，但本申请并不限于这些实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
需要说明的是，在不冲突的情况下，本申请中的实施方式及实施方式中的特征可以相互组合。
参考图1，本申请实施例提出了一种病理图像染色归一化方法，该病理图像染色归一化方法包括步骤S101至步骤S104，用于将病理切片图像染色归一化。
步骤S101，获取输入的病理图像。
具体地，首先制作病理切片，经过数字化扫描仪生成病理图像；由于不同厂家的保存液、染色剂和制片过程存在各种差异以及数字化扫描仪不同会直接导致全切片图像的颜色显著变化，从而影响最终识别结果。
此外，本实施例中，病理图像可以为***细胞病理切片图像，该病理图像染色归一化方法可应用于***的自动筛查与智能诊断过程。
S102，对病理图像进行解耦，以获得病理图像的内容编码。
S103，对目标域图像进行解耦，以获得目标域图像的风格编码。
需要说明的是，解耦过程可通过卷积神经网络CNN完成，图像在隐空间下的表示解耦为内容空间和风格空间下的表示，内容空间用于表示图像的内容即结构相关的信息，风格空间用于表示染色等相关的信息。因此，内容编码包含有图像的结构信息，风格编码包含有图像的染色信息。
S104，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
通过融合病理图像的内容编码和目标域图像的风格编码，可在保留输入的病理图像的图像内容的条件下对其风格进行变换。
进一步地，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
在本申请实施例中，通过将不同颜色风格的切片图像统一处理成同一颜色风格的归一化图像，有助于对病理图像作进一步处理，例如，可应用于***的自动筛查与智能诊断过程。
具体地，步骤S102中，通过内容编码器Ec生成病理图像的内容编码；步骤S3中，通过风格编码器Es生成目标域图像的风格编码；步骤S4中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得。
图2是本申请实施例中模型训练的示意图。参考图2，该病理图像染色归一化方法还包括步骤：
S21，将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；
S22，将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure BDA0002491852090000081
S23，采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure BDA0002491852090000082
与x2尽可能相似；x2和
Figure BDA0002491852090000083
之间采用L1损失函数，L1损失函数为：
Figure BDA0002491852090000084
其中，x2～p(x2)为目标域图像x2的分布。
步骤S21至步骤S23用于训练内容编码器Ec、风格编码器Es、生成器G。
S24，将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；
S25，将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；
S26，采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure BDA0002491852090000085
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。SSIM损失函数用于表示两幅图像的结构相似性。
步骤S24至步骤S26用于训练内容编码器Ec、生成器G，使得x1→2能够保留原始图像的内容。
S27，将图像x1→2输入到内容编码器Ec生成内容编码
Figure BDA0002491852090000091
输入到风格编码器Es，生成风格编码
Figure BDA0002491852090000092
S28，采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure BDA0002491852090000093
和c1以及
Figure BDA0002491852090000094
和s2’尽可能相似；
Figure BDA0002491852090000095
和c1之间的损失函数为：
Figure BDA0002491852090000096
Figure BDA0002491852090000097
与s2’之间的损失函数为：
Figure BDA0002491852090000098
步骤S27至步骤S28用于训练内容编码器Ec、风格编码器Es。
S29，将图像x1→2和目标域图像x2分别输入到判别器D中；
S210，采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure BDA0002491852090000099
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
步骤S29至步骤S210为gan对抗训练过程，用于训练生成器G和判别器D，使得生成器G能够生成与目标域图像染色风格一致的归一化图片。其中，GAN损失函数用于衡量图像x1→2染色风格和目标域图像x2染色风格之间的相似性。
需要说明的是，从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’，相比于直接采用风格编码S2，可以使得训练出来的模型更稳定且更容易控制。此外，风格编码s2’能够表示整个目标域的风格空间。通过生成器G生成一些假样本来欺骗判别器D，而判别器D则试图将真实样本和生成的样本区分开来，两者对抗训练使得生成器G能产生真实感强的染色变换图像。
此外，通过以上训练获得的模型可适应于各种染色风格的病理图像，对于不同染色风格的病理图像不需要重新训练。
进一步地，步骤S22具体包括：
将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure BDA0002491852090000101
其中，μ、σ分别代表通道维度的均值和标准差；
通过一个上采样层生成
Figure BDA0002491852090000102
图3是本申请实施例中一种病理图像染色归一化装置的示意框图。该病理图像染色归一化装置包括：获取模块31、第一解耦模块32、第二解耦模块33、生成模块34。
获取模块31，用于获取输入的病理图像；
第一解耦模块32，用于对病理图像进行解耦，以获得病理图像的内容编码；
第二解耦模块33，用于对目标域图像进行解耦，以获得目标域图像的风格编码；
生成模块34，用于根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
进一步地，第一解耦模块32中，通过内容编码器Ec生成病理图像的内容编码；第二解耦模块33中，通过风格编码器Es生成目标域图像的风格编码；生成模块34中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化装置还包括：
第一训练模块，用于将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure BDA0002491852090000111
采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure BDA0002491852090000112
与x2尽可能相似；x2和
Figure BDA0002491852090000113
之间采用L1损失函数，L1损失函数为：
Figure BDA0002491852090000114
其中，x2～p(x2)为目标域图像x2的分布；
第二训练模块，用于将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure BDA0002491852090000115
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
第三训练模块，用于将图像x1→2输入到内容编码器Ec生成内容编码
Figure BDA0002491852090000116
输入到风格编码器Es，生成风格编码
Figure BDA0002491852090000117
采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure BDA0002491852090000118
和c1以及
Figure BDA0002491852090000119
和s2’尽可能相似；
Figure BDA00024918520900001110
和c1之间的损失函数为：
Figure BDA0002491852090000121
Figure BDA0002491852090000122
与s2’之间的损失函数为：
Figure BDA0002491852090000123
第四训练模块，用于将图像x1→2和目标域图像x2分别输入到判别器D中；采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure BDA0002491852090000124
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
进一步地，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
进一步地，第一训练模块包括：
参数生成子模块，用于将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
运算子模块，用于采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure BDA0002491852090000125
其中，μ、σ分别代表通道维度的均值和标准差；
图像生成子模块，用于通过一个上采样层生成
Figure BDA0002491852090000126
需要说明的是，本实施例所提出的病理图像染色归一化装置对应于前一实施例中提出的病理图像染色归一化方法，相关的内容参见前一实施例中关于该病理图像染色归一化方法的说明，这里不再赘述。
本申请实施例还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现以上任一种病理图像染色归一化方法的步骤。
本申请实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一种病理图像染色归一化方法的步骤。
本文中所描述的具体实施例仅仅是对本申请精神作举例说明。本申请所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本申请的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种病理图像染色归一化方法，其特征在于，该病理图像染色归一化方法包括步骤：
S1，获取输入的病理图像；
S2，对病理图像进行解耦，以获得病理图像的内容编码；
S3，对目标域图像进行解耦，以获得目标域图像的风格编码；
S4，根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
2.根据权利要求1所述的病理图像染色归一化方法，其特征在于，步骤S2中，通过内容编码器Ec生成病理图像的内容编码；步骤S3中，通过风格编码器Es生成目标域图像的风格编码；步骤S4中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化方法还包括步骤：
S21，将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；
S22，将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure FDA0002491852080000011
S23，采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure FDA0002491852080000012
与x2尽可能相似；x2和
Figure FDA0002491852080000013
之间采用L1损失函数，L1损失函数为：
Figure FDA0002491852080000014
其中，x2～p(x2)为目标域图像x2的分布；
S24，将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；
S25，将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；
S26，采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure FDA0002491852080000021
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
S27，将图像x1→2输入到内容编码器Ec生成内容编码
Figure FDA0002491852080000022
输入到风格编码器Es，生成风格编码
Figure FDA0002491852080000023
S28，采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure FDA0002491852080000024
和c1以及
Figure FDA0002491852080000025
和s2’尽可能相似；
Figure FDA0002491852080000026
和c1之间的损失函数为：
Figure FDA0002491852080000027
Figure FDA0002491852080000028
与s2’之间的损失函数为：
Figure FDA0002491852080000029
S29，将图像x1→2和目标域图像x2分别输入到判别器D中；
S210，采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure FDA00024918520800000210
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
3.根据权利要求1所述的病理图像染色归一化方法，其特征在于，步骤S3中，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
4.根据权利要求2所述的病理图像染色归一化方法，其特征在于，步骤S22具体包括：
将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure FDA0002491852080000031
其中，μ、σ分别代表通道维度的均值和标准差；
通过一个上采样层生成
Figure FDA0002491852080000032
5.一种病理图像染色归一化装置，其特征在于，该病理图像染色归一化装置包括：
获取模块，用于获取输入的病理图像；
第一解耦模块，用于对病理图像进行解耦，以获得病理图像的内容编码；
第二解耦模块，用于对目标域图像进行解耦，以获得目标域图像的风格编码；
生成模块，用于根据病理图像的内容编码和目标域图像的风格编码，生成与目标域图像染色相同的归一化图像。
6.根据权利要求5所述的病理图像染色归一化装置，其特征在于，第一解耦模块中，通过内容编码器Ec生成病理图像的内容编码；第二解耦模块中，通过风格编码器Es生成目标域图像的风格编码；生成模块中，通过生成器G生成归一化图像；其中，内容编码器Ec、风格编码器Es、生成器G通过多个源域图像和多个目标域图像训练获得；
该病理图像染色归一化装置还包括：
第一训练模块，用于将目标域图像x2输入到内容编码器Ec生成内容编码c2，输入到风格编码器Es，生成风格编码s2；将内容编码c2和风格编码s2输入到生成器G中进行融合以生成新的图像
Figure FDA0002491852080000033
采用反向传播算法训练内容编码器Ec、风格编码器Es、生成器G，使得
Figure FDA0002491852080000041
与x2尽可能相似；x2和
Figure FDA0002491852080000042
之间采用L1损失函数，L1损失函数为：
Figure FDA0002491852080000043
其中，x2～p(x2)为目标域图像x2的分布；
第二训练模块，用于将源域图像x1输入到内容编码器Ec生成内容编码c1，并从一个多维正态分布N(0,I)采样一个编码作为风格编码s2’；将内容编码c1和风格编码s2’输入到生成器G中进行融合以生成新的图像x1→2；采用反向传播算法训练内容编码器Ec、生成器G，使得x1→2与x1的结构尽可能相似；x1和x1→2之间的损失采用SSIM损失函数计算；SSIM损失函数计算为：
Figure FDA0002491852080000044
其中，x1～p(x1)为源域图像x1的分布；s2’～q(s2’)为风格编码s2’的先验分布；S为SSIM损失函数。
第三训练模块，用于将图像x1→2输入到内容编码器Ec生成内容编码
Figure FDA0002491852080000045
输入到风格编码器Es，生成风格编码
Figure FDA0002491852080000046
采用反向传播算法训练内容编码器Ec、风格编码器Es，使
Figure FDA0002491852080000047
和c1以及
Figure FDA0002491852080000048
和s2’尽可能相似；
Figure FDA0002491852080000049
和c1之间的损失函数为：
Figure FDA00024918520800000410
Figure FDA00024918520800000411
与s2’之间的损失函数为：
Figure FDA00024918520800000412
第四训练模块，用于将图像x1→2和目标域图像x2分别输入到判别器D中；采用反向传播算法训练生成器G和判别器D，并采用如下GAN损失函数：
Figure FDA0002491852080000051
其中，x1→2～p(x1→2)为图像x1→2的分布，x2～p(x2)为图像x2的分布。
7.根据权利要求5所述的病理图像染色归一化装置，其特征在于，目标域图像的风格编码为：目标域模板图像的风格编码或多张目标域图像风格编码的平均值。
8.根据权利要求6所述的病理图像染色归一化装置，其特征在于，第一训练模块包括：
参数生成子模块，用于将风格编码s2输入到生成器G的多层感知器中以生成AdaIN的参数γ、β；
运算子模块，用于采用参数γ、β、生成器G中的残差块中间激活z进行如下运算：
Figure FDA0002491852080000052
其中，μ、σ分别代表通道维度的均值和标准差；
图像生成子模块，用于通过一个上采样层生成
Figure FDA0002491852080000053
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项病理图像染色归一化方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项病理图像染色归一化方法的步骤。
CN202010407342.0A 2020-05-14 2020-05-14 一种病理图像染色归一化方法及装置 Withdrawn CN111564205A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010407342.0A CN111564205A (zh) 2020-05-14 2020-05-14 一种病理图像染色归一化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010407342.0A CN111564205A (zh) 2020-05-14 2020-05-14 一种病理图像染色归一化方法及装置

Publications (1)

Publication Number Publication Date
CN111564205A true CN111564205A (zh) 2020-08-21

Family

ID=72072080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010407342.0A Withdrawn CN111564205A (zh) 2020-05-14 2020-05-14 一种病理图像染色归一化方法及装置

Country Status (1)

Country Link
CN (1) CN111564205A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102928A (zh) * 2020-09-02 2020-12-18 上海壁仞智能科技有限公司 病理图像染色风格归一化方法及装置
CN113469939A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 一种基于特性曲线的her-2免疫组化自动判读***
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102928A (zh) * 2020-09-02 2020-12-18 上海壁仞智能科技有限公司 病理图像染色风格归一化方法及装置
CN112102928B (zh) * 2020-09-02 2022-11-01 上海壁仞智能科技有限公司 病理图像染色风格归一化方法及装置
CN113469939A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 一种基于特性曲线的her-2免疫组化自动判读***
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
CN109190722B (zh) 基于满文字符图片的字体风格迁移变换方法
CN108399428B (zh) 一种基于迹比准则的三元组损失函数设计方法
Huang et al. Underwater image enhancement via adaptive group attention-based multiscale cascade transformer
CN112070209B (zh) 基于w距离的稳定可控图像生成模型训练方法
CN111564205A (zh) 一种病理图像染色归一化方法及装置
CN111932444A (zh) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN111476805A (zh) 一种基于多重约束的跨源无监督域适应分割模型
CN112233012B (zh) 一种人脸生成***及方法
CN111932458B (zh) 一种基于区域间注意力机制的图像信息提取与生成方法
CN115457169A (zh) 一种语音驱动的人脸动画生成方法及***
CN116863320B (zh) 基于物理模型的水下图像增强方法及***
CN111814891A (zh) 医学图像合成方法、装置及存储介质
CN116564355A (zh) 一种基于自注意力机制融合的多模态情感识别方法、***、设备及介质
CN114723950A (zh) 一种基于对称自适应网络的跨模态医学图像分割方法
Yang et al. Underwater image enhancement with latent consistency learning‐based color transfer
CN115587924A (zh) 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
CN113837179B (zh) 一种处理图像的多判别gan网络构建方法、装置、***和存储介质
CN111275778A (zh) 人脸简笔画生成方法及装置
CN112541566B (zh) 一种基于重构损失的图像翻译方法
CN114494387A (zh) 一种生成数据集网络模型及雾图生成方法
CN108573512B (zh) 一种基于深度编解码对偶模型的复杂视觉图像重构方法
CN113065417A (zh) 基于生成对抗式风格迁移的场景文本识别方法
CN112365551A (zh) 一种图像质量处理***、方法、设备和介质
KR102437959B1 (ko) 픽셀간 상관 관계를 활용하는 시멘틱 세그멘테이션에서의 비지도 도메인 적응 장치 및 그 장치의 구동방법
CN114708353A (zh) 图像重建方法、装置、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200821

WW01 Invention patent application withdrawn after publication