CN113822252A - 显微镜下病理图像细胞鲁棒检测方法 - Google Patents

显微镜下病理图像细胞鲁棒检测方法 Download PDF

Info

Publication number
CN113822252A
CN113822252A CN202111397880.7A CN202111397880A CN113822252A CN 113822252 A CN113822252 A CN 113822252A CN 202111397880 A CN202111397880 A CN 202111397880A CN 113822252 A CN113822252 A CN 113822252A
Authority
CN
China
Prior art keywords
pathological image
image
features
feature
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111397880.7A
Other languages
English (en)
Other versions
CN113822252B (zh
Inventor
亢宇鑫
崔磊
杨林
刘欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Diyingjia Technology Co ltd
Original Assignee
Hangzhou Diyingjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Diyingjia Technology Co ltd filed Critical Hangzhou Diyingjia Technology Co ltd
Priority to CN202111397880.7A priority Critical patent/CN113822252B/zh
Publication of CN113822252A publication Critical patent/CN113822252A/zh
Application granted granted Critical
Publication of CN113822252B publication Critical patent/CN113822252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了显微镜下病理图像细胞鲁棒检测方法，方法如下：将已有的数字病理图像和显微镜下病理图像交替输入编码器中进行特征提取，分别得到数字病理图像深度特征和显微镜病理图像深度特征；提取数字病理图像深度特征和显微镜病理图像深度特征后，利用对抗学习机制中的博弈思想，分别采用图像级判别器和实例级判别器对两种特征进行分类以判别两特征的一致性。本发明将对抗学习与目标检测网络的训练相结合，在仅有的数字病理图像标注数据集下，训练显微镜下病理图像细胞鲁棒检测模型，可以有效的提升显微镜病理图像细胞检测精度。

Description

显微镜下病理图像细胞鲁棒检测方法
技术领域
本发明涉及医疗技术领域，尤其涉及显微镜下病理图像细胞鲁棒检测方法。
背景技术
在病理图像中往往存在数十万个细胞，病理医生需要在显微镜下对切片中的肿瘤细胞进行详细分析。因此有效的在显微镜下对阳性细胞进行精确检测并分类是病理医生目前渴望的辅助工具之一。
近年来，随着深度学习技术与数字扫描仪的发展，诸多基于数字病理图像的细胞检测算法被研究，该类算法通过在数字病理图像上进行大量的肿瘤细胞标注，结合深度学习技术进行模型最优拟合，从而达到辅助检测的目的。然而，在目前临床诊断过程中，病理医生更多使用显微镜进行疾病诊断，因此此类算法并不能严格契合医学诊断流程，从而被临床所抛弃。但是，基于显微镜下图像，研究基于深度学习技术的辅助检测方法，具有以下不便性：图像异质性严重，由于显微镜下光照、焦距影响，图像往往具有不同的边缘分布，而图像异质性可直接导致模型泛化性能降低，即同类细胞在不同边缘分布条件下被检测为不同类；图像标注成本高昂；因此，如何利用已有的数字病理图像（数字病理图像）标注数据，结合显微镜下病理图像（第二图像），利用迁移学习思想，进行显微镜下病理图像细胞鲁棒检测方法研究，是实现计算机辅助病理诊断临床应用的挑战之一。
在数字病理图像细胞检测方法中，基于深度学习的目标检测网络被广泛使用。目标检测网络通常通过卷积神经网络有效多尺度特征及其上下文信息并进行编码，然后将编码到的深度特征利用区域生成网络得到候选区域框，最终通过非极大值抑制、全连接分类等技术手段对候选区域框的类别及位置进行回归，从而达到对细胞进行检测、分类的效果。目标检测网络需要丰富的上下文信息以及局部的细粒度特征信息。同时目标检测网络对于数据集样本的特征域特别敏感，当使用单一域的数据对模型进行训练并接近拟合时，模型的参数对于多域下的图像信息是非常敏感的，噪声分布不同的影响均会导致模型性能降低。
目前风格迁移方法多用于解决显微镜下病理图像细胞鲁棒检测问题。这些方法的共性均是两阶段进行训练；首先将数字病理图像作为深度网络的输入，利用对抗生成网络将源域的图像分布迁移至显微镜下病理图像分布，其次使用风格迁移后的伪显微镜下病理图像及其原有的标签进行目标检测网络训练，最终在显微镜下病理图像上进行测试。但是由于显微镜下病理图像边缘分布不一，因此在风格迁移的过程中，网络无法有效的提取到显微镜下病理图像的共同特征，进而训练得到的目标检测模型往往不精确。若对每一分布的显微镜下病理图像进行迁移，这样训练成本过大，且耗时较长，并非明智的选择。
发明内容
本发明的目的在于提供显微镜下病理图像细胞鲁棒检测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：显微镜下病理图像细胞鲁棒检测方法，方法如下：
S1、对输入图像进行预处理：将已有的数字病理图像和显微镜下病理图像交替输入编码器中进行特征提取，分别得到数字病理图像深度特征和显微镜病理图像深度特征；
S2、提取数字病理图像深度特征和显微镜病理图像深度特征后，利用对抗学习机制中的博弈思想，分别采用图像级判别器和实例级判别器对两种特征进行分类以判别两特征的一致性；
S3、步骤S2进行的同时，在数字病理图像深度特征的基础上，采用图像级类别正则化模块，预测数字病理图像的多标签分类结果，随后通过分类一致性正则化模块将得到的多标签分类结果与实例级分类结果进行分类一致性判别以约束目标检测分类结果。
优选的，步骤S2中实例级判别器对两种特征进行分类的具体步骤包括：
S201、将提取的数字病理图像深度特征和显微镜病理图像深度特征输入至区域生成网络中分别生成第一候选框特征与第二候选框特征；
S202、对得到的第一候选框特征与第二候选框特征进行筛选，随后利用实例级坐标回归器与实例级分类器对候选框特征进行坐标回归与分类；
S203、将第一候选框特征与第二候选框特征分别输入至实例级判别器中，分别得到第一实例特征一致置信度与第二实例特征一致置信度。
优选的，步骤S3中的多标签分类结果与实例分类器得到的第一分类结果进行分类一致性判别。
优选的，步骤S201中的区域生成网络由一系列的卷积层构成。
优选的，步骤S202中的实例级坐标回归器与实例级分类器均由三个全连接层构成，得到的实例级类别预测结果分别为：第一定位结果
Figure 319396DEST_PATH_IMAGE001
，第一分类结果
Figure 533340DEST_PATH_IMAGE002
，第二定位结果
Figure 206023DEST_PATH_IMAGE003
，第二分类结果
Figure 505417DEST_PATH_IMAGE004
；对于第一定位结果
Figure 420284DEST_PATH_IMAGE001
和第一分类结果 Q
Figure 754313DEST_PATH_IMAGE002
，利用交叉熵损失对其进行强监督：
Figure DEST_PATH_IMAGE005
Figure 565274DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE007
Figure 53762DEST_PATH_IMAGE008
为第一定位结果与第一分类结果强监督损失，其中N表示数字病理图像总数，i表示第i张数字病理图像，M表示所述第i张数字病理图像中含有的标注个数，j表示第i张数字病理图像中的第j个标注，C表示预测类别总数，K表示当前标注框的坐标个数,k表示当前第k个类别或第k个标注坐标，y表示当前标注的标注值，p表示当前标注的当前类别的预测概率。
优选的，实例级判别器由三个卷积层、一个最大池化层、一个全连接层和一个一个sigmoid激活层构成；实例级判别器损失函数如下：
Figure 772319DEST_PATH_IMAGE010
式中，
Figure 960855DEST_PATH_IMAGE012
代表数字病理图像深度特征，
Figure 473876DEST_PATH_IMAGE014
代表显微镜病理图像深度特征。
优选的，图像级判别器由三个卷积层、一个最大池化层、一个全连接层和一个sigmoid激活层构成；其损失函数如下：
Figure 13442DEST_PATH_IMAGE016
其中
Figure 771576DEST_PATH_IMAGE018
表示判别器，
Figure 814618DEST_PATH_IMAGE020
代表数字病理图像深度特征，
Figure 764120DEST_PATH_IMAGE022
代表显微镜病理图像深度特征。
与现有技术相比，本发明提供了显微镜下病理图像细胞鲁棒检测方法，具备以下有益效果：
（1）将对抗学习与目标检测网络的训练相结合，在仅有的数字病理图像标注数据集下，训练显微镜下病理图像细胞鲁棒检测模型，通过本发明的训练方法，可以有效的提升显微镜病理图像细胞检测精度。
（2）本发明利用对抗学习思想，通过对抗生成网络中的判别器来区分数字病理图像深度特征与显微镜病理图像深度特征，进一步引导网络提取两特征中的一致特征，并进行有效利用。
（3）本发明中的图像级类别正则化模块利用了多标签分类器的弱定位特性，促进网络关注那些包含了主要目标的重要区域。
（4）利用分类一致性正则化模块，在得到图像级多标签分类结果后，计算图像级和实例级预测之间的一致性，进一步约束目标检测分类结果，从而提升网络对于困难样本的检测能力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：
图1为本发明中显微镜下病理图像细胞鲁棒检测网络模型结构图；
图2为本发明中密集连接块结构示意图；
图3为直接使用数字病理图像训练模型对显微病理图像进行预测的效果图；
图4为使用本方法对显微病理图像进行预测的效果图。
具体实施方式
下面将结合本发明的实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例中公开了显微镜下病理图像细胞鲁棒检测方法，基于目标检测网络进行开发，方法如下：
将已有的数字病理图像和显微镜下病理图像交替输入编码器中进行特征提取，分别得到数字病理图像深度特征和显微镜病理图像深度特征。具体的，数字病理图像与显微镜下病理图像交替输入编码器中，因此编码器参数由数字病理图像与第二图像共享。编码器由五个密集连接块构成。每个密集连接块可包括M个编码层与一个池化层，每个池化层在该密集连接块的最后一层。每个编码层均由膨胀卷积层、 LeakyReLU激活层、批处理归一化层构成。其中，第m编码层提取的第n尺度的特征的尺度大于第m-1编码层提取的第m-1尺度的特征的尺度，第M尺度是多种尺度中的最大尺度，M是大于或等于2的正整数,m小于或等于M且大于或等于2。作为示例，M可以是5，在这种情况下，如图2所示，可首先利用多个编码层中的第一编码层（图2中被表示为“1”）提取所述输入特征图（尺寸为（512*512*（N-24）））的第一尺度的特征(尺寸为（512*512*N）)；其次，基于第一尺度的特征，利用多个编码层中的第二编码层（图2中被表示为“2”）,提取第二尺度的特征（尺寸为（512*512*（N+24）））；再次，基于第一尺度与第二尺度的特征，首先将第一尺度特征与第二尺度特征沿通道进行拼接，进而利用多个编码层中的第三编码层（图2中被表示为“3”）提取第三尺度的特征（尺寸为（512*512*（N+48）））；再次，基于第一尺度、第二尺度、第三尺度的特征，首先将第一尺度特征、第二尺度特征及第三尺度特征沿通道进行拼接，进而利用多个编码层中的第四编码层（图2中被表示为“4”）提取第四尺度的特征（尺寸为（512*512*（N+72）））；最后，基于第一尺度、第二尺度、第三尺度及第四尺度的特征，首先将第一尺度特征、第二尺度特征、第三尺度特征及第四尺度特征沿通道进行拼接，进而利用多个编码层中的第五编码层（图2中被表示为“5”）提取第五尺度的特征（尺寸为（512*512*（N+96）））。值得注意的是，每个后一尺度特征图的通道数与前一尺度特征图通道数差值均为24。在密集链接块中，拼接操作可以增强特征重用及特征传播，膨胀卷积通过不断扩大感受野的方式有效的保证了提取到的特征具有多尺度信息。膨胀率作为超参数，根据编码特征深度进行选定，作为示例，由浅至深分别为{1，2，4，8，16}。在经过池化层后， 第五尺度的特征尺寸由（512*512*（N+96）））变为256*256*（N+96），即长宽尺寸缩小一倍。而在经过五个密集连接块之后，最终编码特征尺寸为16*16*（N+96）。数字病理图像与显微镜下病理图像经过编码器特征提取后分别在最终的编码层得到数字病理图像深度特征
Figure 259823DEST_PATH_IMAGE024
与显微镜病理图像深度特征
Figure 585762DEST_PATH_IMAGE026
。其中
Figure 483311DEST_PATH_IMAGE028
表示第i张数字病理图像，
Figure 836670DEST_PATH_IMAGE030
表示第i张显微镜下病理图像。
Figure 350828DEST_PATH_IMAGE032
表示编码器。
提取数字病理图像深度特征和显微镜病理图像深度特征后，利用对抗学习机制中的博弈思想，采用图像级判别器对两种特征进行分类以判别两特征的一致性。具体的，将数字病理图像深度特征
Figure 949299DEST_PATH_IMAGE034
与显微镜病理图像深度特征
Figure 701354DEST_PATH_IMAGE036
分别输入至图像级判别器当中，分别得到数字病理图像深度特征一致置信度与显微镜病理图像深度特征一致置信度。其中数字病理图像深度特征标签为1，显微镜病理图像深度特征标签为0。对抗学习最终的目标是当判别器无法对两种特征进行有效分类，说明此时两种特征的分布已非常相似，因此该特征称为一致特征。图像级判别器由三个卷积层、一个最大池化层、一个全连接层和一个sigmoid激活层构成。图像级判别器损失函数如下：
Figure 992658DEST_PATH_IMAGE038
其中
Figure 462954DEST_PATH_IMAGE040
表示判别器。当判别器的损失函数
Figure DEST_PATH_IMAGE041
趋于0.5时，表示判别器已无法区分两类特征，此时特征提取器提取到的数字病理图像深度特征
Figure 304265DEST_PATH_IMAGE034
与显微镜病理图像深度特征
Figure 441985DEST_PATH_IMAGE036
为一致特征。
与此同时，在提取数字病理图像深度特征和显微镜病理图像深度特征后，利用对抗学习机制中的博弈思想，采用实例级判别器对两种特征进行分类以判别两特征的一致性。具体的分类过程为：
（1）将获得的数字病理图像深度特征输入区域生成网络中得到第一候选框，将显微镜病理图像深度特征输入区域生成网络中得到第二候选框。在提取数字病理图像深度特征
Figure 904190DEST_PATH_IMAGE034
与显微镜病理图像深度特征
Figure 596203DEST_PATH_IMAGE036
后，将特征分别输入区域生成网络中得到区域候选框
Figure 300591DEST_PATH_IMAGE043
与
Figure 27239DEST_PATH_IMAGE045
，其中区域生成网络由一系列的卷积层构成。特征图首先经过一个3×3的卷积，得到一个256×16×6的特征图，然后经过两次1×1的卷积，分别得到一个18×16×6的特征图，和一个36×16×6的特征图，每个特征包含2个分数特征和4个坐标特征，其中两个分数特征表达该候选框是目标以及不是目标，四个坐标是该框的四个坐标特征。使用
Figure 394766DEST_PATH_IMAGE043
与
Figure 839654DEST_PATH_IMAGE045
表示第一候选框特征与第二候选框特征。
（2）在得到第一候选框
Figure 849198DEST_PATH_IMAGE043
与第二候选框
Figure 430352DEST_PATH_IMAGE045
之后，使用非极大值抑制法，对候选框进行筛选，即对候选框的区域置信度进行排序，并取前T个候选框作为最终候选框。T为超参数，需手动设定。在该方法中，T为10。再得到最终第一候选框
Figure 622910DEST_PATH_IMAGE047
与最终第二候选框
Figure DEST_PATH_IMAGE049
。进而使用实例级坐标回归器与实例级分类器对候选框进行坐标回归与分类。实例级坐标回归器与实例级分类器均由三个全连接层构成。得到第一定位结果
Figure 492777DEST_PATH_IMAGE050
，第一分类结果
Figure 538968DEST_PATH_IMAGE051
，第二定位结果
Figure 646733DEST_PATH_IMAGE052
，第二分类结果
Figure 356063DEST_PATH_IMAGE053
。对于第一定位结果与第一分类结果，由于其具有标签，因此利用交叉熵损失对其进行强监督：
Figure 11428DEST_PATH_IMAGE055
Figure 97196DEST_PATH_IMAGE057
Figure DEST_PATH_IMAGE059
Figure 121784DEST_PATH_IMAGE008
为第一定位结果与第一分类结果强监督损失。其中N表示数字病理图像总数，i表示第i张数字病理图像，M表示第i张数字病理图像中含有的标注个数，j表示第i张数字病理图像中的第j个标注，C表示预测类别总数，K表示当前标注框的坐标个数,k表示当前第k个类别或第k个标注坐标，y表示当前标注的标注值，p表示当前标注的当前类别的预测概率（或标注框坐标的预测值），
Figure 736436DEST_PATH_IMAGE060
与
Figure DEST_PATH_IMAGE061
的值越趋于0，表示检测分类及定位结果越精确。
（3）将第一候选框特征与第二候选框特征分别输入至实例级判别器当中，分别得到第一实例特征一致置信度与第二实例特征一致置信度。其中第一实例特征标签为1，第二实例特征标签为0。对抗学习最终的目标是当判别器无法对两种特征进行有效分类，说明此时两种特征的分布已非常相似，因此该特征称为一致特征。实例级判别器由三个卷积层、一个最大池化层、一个全连接层和一个sigmoid激活层构成。实例级判别器损失函数如下：
Figure DEST_PATH_IMAGE063
其中
Figure DEST_PATH_IMAGE065
表示实例级判别器。当判别器的损失函数
Figure 751534DEST_PATH_IMAGE041
趋于0.5时，表示判别器已无法区分两类特征，此时特征提取器提取到的第一候选框特征
Figure 640993DEST_PATH_IMAGE043
与第二候选框特征
Figure 51246DEST_PATH_IMAGE045
为一致特征；其中λ由分类一致性正则化模块所得。
在采用图像级判别器对获得的两个特征进行分类以判别两特征的一致性的同时，针对拥有标注的数字病理图像，采用图像级类别正则化模块，在数字病理图像深度特征的基础上，预测数字病理图像的多标签分类结果。图像级类别正则化模块由三个卷积层、一个最大池化层，一个全连接层，一个softmax激活层构成。如图1所示，数字病理图像中含有三个类别，即高度病变细胞、中度病变细胞、轻度病变细胞，经过图像级类别正则化模块预测后，可得到多标签分类结果
Figure DEST_PATH_IMAGE067
，即高度病变细胞、中度病变细胞、轻度病变细胞，此模块利用了多标签分类器的弱定位特性，促进网络关注那些包含了主要目标的重要区域。
针对拥有标注的数字病理图像，在得到多标签分类结果
Figure DEST_PATH_IMAGE069
后，通过分类一致性正则化模块将其与实例分类器得到的第一分类结果
Figure 541526DEST_PATH_IMAGE070
进行分类一致性判别，进一步约束目标检测分类结果，从而提升网络对于困难样本的检测能力。具体的，以第一分类结果
Figure 404440DEST_PATH_IMAGE070
为基准，判别多标签分类结果
Figure 832010DEST_PATH_IMAGE067
中是否含有该类别，若含有则该类别权重为1，否则为3。因此得到分类一致性权重矩阵λ，此λ为第6节中所述λ，进一步的，利用分类一致性权重矩阵λ对第一图像实例级判别损失进行权重约束。
为验证本方法的有效性，准备训练数据集进行实验对比验证。其中训练数据集包含***TCT数字病理图像（第一图像，含有标注）与***TCT显微镜下病理图像（第二图像，不含有标注）。使用训练数据集分别对基础方法Faster rcnn与本方法进行模型训练，得到模型1与模型2。进一步的，在***TCT显微镜下病理图像数据上对模型1与模型2进行性能验证，得到图3与图4定性结果。其中图3表示模型1的测试结果，图4表示模型2的测试结果，图4的框中细胞为病变细胞。通过对比图3与图4，可以发现，模型1无法在***TCT显微镜下病理图像中有效定位出病变细胞，而模型2可以。因此可以得出模型2泛化性能高于模型1的结论，也证明了本方法的有效性。图4方框中的内容表示为模型对于该张图像上病变细胞的检测结果，具体的为病灶细胞的概率值99。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (7)

1.显微镜下病理图像细胞鲁棒检测方法，其特征在于，方法如下：
S1、对输入图像进行预处理：将已有的数字病理图像和显微镜下病理图像交替输入编码器中进行特征提取，分别得到数字病理图像深度特征和显微镜病理图像深度特征；
S2、提取数字病理图像深度特征和显微镜病理图像深度特征后，利用对抗学习机制中的博弈思想，分别采用图像级判别器和实例级判别器对两种特征进行分类以判别两特征的一致性；
S3、步骤S2进行的同时，在数字病理图像深度特征的基础上，采用图像级类别正则化模块，预测数字病理图像的多标签分类结果，随后通过分类一致性正则化模块将得到的多标签分类结果与实例级分类结果进行分类一致性判别以约束目标检测分类结果。
2.根据权利要求1所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，步骤S2中实例级判别器对两种特征进行分类的具体步骤包括：
S201、将提取的数字病理图像深度特征和显微镜病理图像深度特征输入至区域生成网络中分别生成第一候选框特征与第二候选框特征；
S202、对得到的第一候选框特征与第二候选框特征进行筛选，随后利用实例级坐标回归器与实例级分类器对候选框特征进行坐标回归与分类；
S203、将第一候选框特征与第二候选框特征分别输入至实例级判别器中，分别得到第一实例特征一致置信度与第二实例特征一致置信度。
3.根据权利要求2所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，步骤S3中的多标签分类结果与实例分类器得到的第一分类结果进行分类一致性判别。
4.根据权利要求2所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，步骤S201中的区域生成网络由一系列的卷积层构成。
5.根据权利要求2所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，步骤S202中的实例级坐标回归器与实例级分类器均由三个全连接层构成，得到的实例级类别预测结果分别为：第一定位结果
Figure 30050DEST_PATH_IMAGE001
，第一分类结果
Figure 596292DEST_PATH_IMAGE002
，第二定位结果
Figure 274398DEST_PATH_IMAGE003
，第二分类结果
Figure 833555DEST_PATH_IMAGE004
；对于第一定位结果
Figure 280717DEST_PATH_IMAGE001
和第一分类结果
Figure 1549DEST_PATH_IMAGE002
，利用交叉熵损失对其进行强监督：
Figure 681798DEST_PATH_IMAGE005
Figure 513487DEST_PATH_IMAGE006
Figure 346314DEST_PATH_IMAGE007
Figure 972468DEST_PATH_IMAGE008
为第一定位结果与第一分类结果强监督损失，其中N表示数字病理图像总数，i表示第i张数字病理图像，M表示所述第i张数字病理图像中含有的标注个数，j表示第i张数字病理图像中的第j个标注，C表示预测类别总数，K表示当前标注框的坐标个数,k表示当前第k个类别或第k个标注坐标，y表示当前标注的标注值，p表示当前标注的当前类别的预测概率。
6.根据权利要求1或2所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，实例级判别器由三个卷积层、一个最大池化层、一个全连接层和一个一个sigmoid激活层构成；实例级判别器损失函数如下：
Figure 890745DEST_PATH_IMAGE009
式中，
Figure 276858DEST_PATH_IMAGE010
代表数字病理图像深度特征，
Figure 698612DEST_PATH_IMAGE011
代表显微镜病理图像深度特征。
7.根据权利要求2所述的显微镜下病理图像细胞鲁棒检测方法，其特征在于，图像级判别器由三个卷积层、一个最大池化层、一个全连接层和一个sigmoid激活层构成；其损失函数如下：
Figure 761246DEST_PATH_IMAGE012
其中
Figure 901240DEST_PATH_IMAGE013
表示判别器，
Figure 340312DEST_PATH_IMAGE010
代表数字病理图像深度特征，
Figure 616573DEST_PATH_IMAGE011
代表显微镜病理图像深度特征。
CN202111397880.7A 2021-11-24 2021-11-24 显微镜下病理图像细胞鲁棒检测方法 Active CN113822252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111397880.7A CN113822252B (zh) 2021-11-24 2021-11-24 显微镜下病理图像细胞鲁棒检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111397880.7A CN113822252B (zh) 2021-11-24 2021-11-24 显微镜下病理图像细胞鲁棒检测方法

Publications (2)

Publication Number Publication Date
CN113822252A true CN113822252A (zh) 2021-12-21
CN113822252B CN113822252B (zh) 2022-04-22

Family

ID=78919731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111397880.7A Active CN113822252B (zh) 2021-11-24 2021-11-24 显微镜下病理图像细胞鲁棒检测方法

Country Status (1)

Country Link
CN (1) CN113822252B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612514A (zh) * 2013-08-05 2016-05-25 脸谱公司 通过将语境线索与图像关联进行图像分类的***和方法
CN109670489A (zh) * 2019-02-18 2019-04-23 广州视源电子科技股份有限公司 基于多实例学习的弱监督式早期老年性黄斑病变分类方法
CN112489218A (zh) * 2020-11-30 2021-03-12 江苏科技大学 一种基于半监督学习的单视图三维重建***及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612514A (zh) * 2013-08-05 2016-05-25 脸谱公司 通过将语境线索与图像关联进行图像分类的***和方法
CN109670489A (zh) * 2019-02-18 2019-04-23 广州视源电子科技股份有限公司 基于多实例学习的弱监督式早期老年性黄斑病变分类方法
CN112489218A (zh) * 2020-11-30 2021-03-12 江苏科技大学 一种基于半监督学习的单视图三维重建***及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHENFAN ZHUANG等: "iFAN: Image-Instance Full Alignment Networks for Adaptive Object Detection", 《THE THIRTY-FOURTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117078985A (zh) * 2023-10-17 2023-11-17 之江实验室 一种景象匹配方法、装置、存储介质及电子设备
CN117078985B (zh) * 2023-10-17 2024-01-30 之江实验室 一种景象匹配方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN113822252B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
Roy et al. Patch-based system for classification of breast histology images using deep learning
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
Wang et al. Weakly supervised learning for whole slide lung cancer image classification
US20220351379A1 (en) Non-tumor segmentation to support tumor detection and analysis
Ashwin et al. Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system
Khan et al. Classification and region analysis of COVID-19 infection using lung CT images and deep convolutional neural networks
CN112150442A (zh) 基于深度卷积神经网络及多实例学习的新冠诊断***
Xu et al. Using transfer learning on whole slide images to predict tumor mutational burden in bladder cancer patients
Batool et al. Lightweight EfficientNetB3 model based on depthwise separable convolutions for enhancing classification of leukemia white blood cell images
Mahanta et al. IHC-Net: A fully convolutional neural network for automated nuclear segmentation and ensemble classification for Allred scoring in breast pathology
Wetteland et al. Automatic diagnostic tool for predicting cancer grade in bladder cancer patients using deep learning
CN113822252B (zh) 显微镜下病理图像细胞鲁棒检测方法
CN114972202A (zh) 一种基于轻量级的神经网络的Ki67病理细胞快速检测计数方法
CN114580501A (zh) 骨髓细胞分类方法、***、计算机设备及存储介质
Li et al. High-order correlation-guided slide-level histology retrieval with self-supervised hashing
Lee et al. Automatic classification on patient-level breast cancer metastases
Aljuhani et al. Uncertainty aware sampling framework of weak-label learning for histology image classification
Yan et al. Two and multiple categorization of breast pathological images by transfer learning
Ovi et al. Infection segmentation from covid-19 chest ct scans with dilated cbam u-net
Taher et al. Morphology analysis of sputum color images for early lung cancer diagnosis
Shen et al. How graph neural networks enhance convolutional neural networks towards mining the topological structures from histology
Chen et al. An interpretable Algorithm for uveal melanoma subtyping from whole slide cytology images
CN114170415A (zh) 基于组织病理图像深度域适应的tmb分类方法及***
Rajaraman et al. Multi-loss ensemble deep learning for chest X-ray classification
Negahbani et al. PathoNet: Deep learning assisted evaluation of Ki-67 and tumor infiltrating lymphocytes (TILs) as prognostic factors in breast cancer; A large dataset and baseline

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant