CN113947599B - 一种胞浆型阳性免疫组化智能识别方法、***及介质 - Google Patents

Abstract

本发明公开了一种胞浆型阳性免疫组化智能识别方法、***及介质，本发明方法包括从HE显微全景图中通过圆拟合识别出细胞核；将IHC显微全景图与HE显微全景图进行配准，再进行阳、阴性组织区域分割；将细胞核映射到阳、阴性组织区域中，划分为肿瘤阳性细胞核、肿瘤阴性细胞核以及非肿瘤细胞核；统计出胞浆型阳性肿瘤细胞核总数R _p 及阴性肿瘤细胞核总数R _n ，并计算胞浆型IHC肿瘤阳性率H _rate 。本发明能够实现对胞浆型免疫组化阳性细胞和阴性细胞智能识别，完成免疫组化浆阳性率精准结果的自动计算，减去人工计算分析的繁杂工作，高效辅助医生和科研人员完成胞浆型免疫组化的各项免疫组化指标的分析。

Description

一种胞浆型阳性免疫组化智能识别方法、***及介质

技术领域

本发明涉及数字图像处理领域、生物医学工程技术领域以及显微病理自动分析领域，具体涉及一种胞浆型阳性免疫组化智能识别方法、***及介质。

背景技术

免疫组织化学(Immunohistochemistry)，简称免疫组化，用来标记的特异性抗体(或抗原)对组织内抗原(或抗体)的分布进行组织和细胞原位检测技术，是一种成熟、可靠，经济性强且广泛应用的技术手段，目前在临床病理诊断及科学研究中应用广泛，对于肿瘤组织来源的判断、肿瘤风险的评估、治疗方法的选择，以及各种实验中观测组织、细胞抗体(或抗原)表达的水平及分布范围具有不可替代的作用。

目前的免疫组化细胞阳性类型主要分为核阳性、膜阳性和浆阳性三种类型，其中核阳性、膜阳性的细胞核颗粒轮廓是比较明显的，肉眼即可分辨出细胞边界；但是胞浆型阳性颗粒主要分布于细胞浆。依据抗原在胞浆内分布形式，通常表现为弥漫性分布或局限性分布。前者阳性颗粒弥漫而均匀地分布于整个细胞浆。局限性是指阳性颗粒呈小斑点状或斑块状局限于细胞浆中的某一部位、核周或细胞浆的一侧。

对于病理医生而言，很难从免疫组化染色组织切片中分辨出各个细胞，因此要想准确计算出胞浆型细胞个数，无论是采用人工计数的方法还是计算机辅助计算的方法，都是相当困难的。现有的情况下，计算机辅助计算方法，通常是根据阳性区域的面积来计算的，并非精准计算结果，存在比较大误差。另外，不在抗原所在部位的阳性表达一概不能视为阳性。这些，都给浆阳性类型的阳性率的判读带来了挑战。另一方面，人体细胞的大小在10--20微米之间，单张免疫组化切片厚度可以控制在2-3微米，如果采取连续切片的方式，同一个细胞在四到五张切片当中会同时存在。因此，将这些连续切片进行数字切片扫描知乎，通过精细配准，完全可以对位于连续切片的同一个细胞进行定位和重合表示。这样便可以将位于胞浆阳性的免疫组化细胞对应映射到其他数字切片上，从而在其他细胞轮廓比较明显的数字切片上完成对阳性细胞和阴性细胞的统计。并且，近年来，随着深度学习技术在生物医疗病理领域的深入耕耘，基于人工智能的医疗领域蓬勃发展，传统的图像处理技术手段结合新的深度学习技术，在医疗领域也取得了长足的进步，基于深度学习技术对显微数字切片上的组织、细胞等的检测、分割和***效果都很显著，性能上远远超过传统的图像处理算法。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种胞浆型阳性免疫组化智能识别方法、***及介质，本发明能够实现对胞浆型免疫组化阳性细胞和阴性细胞智能识别，并完成免疫组化浆阳性率精准结果的自动计算分析。在保证各项分析计算指标结果准确的前提下，运用本发明，这可以很好地解决在临床病理工作以及科学研究中对胞浆型免疫组化指标的可靠定量分析的需求，减去医务人员和科研人员进行手动人工计算分析的繁杂工作，高效辅助医生和科研人员完成胞浆型免疫组化的各项免疫组化指标的分析。

为了解决上述技术问题，本发明采用的技术方案为：

一种胞浆型阳性免疫组化智能识别方法，包括：

1）从HE显微全景图中识别出细胞核；将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割；

2）将细胞核映射到阳、阴性组织区域中，将细胞核划分为肿瘤阳性细胞核、肿瘤阴性细胞核以及非肿瘤细胞核；

3）统计出肿瘤阳性细胞核的总数R _p 以及肿瘤阴性细胞核的总数R _n ，并计算胞浆型IHC肿瘤阳性率H _rate 。

可选地，步骤1）中从HE显微全景图中识别出细胞核包括：

1.1A）从HE显微全景图中提取目标位置区域的局部HE显微全景图；

1.2A）将局部HE显微全景图输入第一深度卷积神经网络得到细胞核分割掩膜图；

1.3A）对细胞核分割掩膜图进行细胞核分割后期处理；

1.4A）对降噪处理后的细胞核分割掩膜图进行圆拟合，得到最小拟合圆的中心位置和半径作为识别出的细胞核。

可选地，步骤1.2A）中的第一深度卷积神经网络为UNet深度卷积神经网络。

可选地，步骤1.3A）中进行的细胞核分割后期处理包括形态学腐蚀，以及采用边缘检测和分水岭算法对连接在一起的细胞核进行边界分开处理。

可选地，步骤1）中将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割包括：

1.1B）将均采用多分辨率金字塔文件存储格式的IHC显微全景图、HE显微全景图的上层小图进行组织级别的粗配准，提取粗配准参数；基于粗配准参数根据IHC显微全景图的底层大图生成新的IHC数字显微全景图；

1.2B）从新的IHC数字显微全景图提取目标位置区域的局部IHC数字显微全景图；

1.3B）将局部IHC数字显微全景图、局部HE显微全景图进行细胞级别的细配准，提取细配准参数；

1.4B）基于细配准参数将局部IHC数字显微全景图调整，得到微调后的局部IHC数字显微全景图；

1.5B）将微调后的局部IHC数字显微全景图输入第二深度卷积神经网络对配准后的IHC显微全景图进行阳、阴性组织区域分割，得到阳性组织区域分割掩膜图，所述阳性组织区域分割掩膜图通黑色颜色区分阳、阴性组织区域。

可选地，步骤1.5B）中的第二深度卷积神经网络为UNet深度卷积神经网络。

可选地，步骤2）包括：将识别出的细胞核的中心位置和半径映射到阳性组织区域分割掩膜图中，且对每一个细胞核对应的拟合圆内的所有点做判断，如果超过一半的点位于阳性组织区域则判定该细胞核为肿瘤阳性细胞核，如果超过一半的点位于阴性组织区域则判定该细胞核为肿瘤阴性细胞核，否则该细胞核为非肿瘤细胞核。

可选地，所述计算胞浆型IHC肿瘤阳性率H _rate 的函数表达式为：

H _rate =R _p /(R _p +R _n ) ，

上式中，R _p 为肿瘤阳性细胞核的总数，R _n 为肿瘤阴性细胞核的总数。

此外，本发明还提供一种胞浆型阳性免疫组化智能识别***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行所述胞浆型阳性免疫组化智能识别方法的步骤。

此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实现所述胞浆型阳性免疫组化智能识别方法的步骤。

和现有技术相比，本发明具有下述优点：本发明以HE染色切片的HE显微全景图中的细胞为参考，定位胞浆阳性免疫组化（IHC）染色切片中的细胞位置，本发明能够实现对胞浆型免疫组化阳性细胞和阴性细胞智能识别，并完成免疫组化浆阳性率精准结果的自动计算分析。在保证各项分析计算指标结果准确的前提下，运用本发明，可以很好地解决在临床病理工作以及科学研究中对胞浆型免疫组化指标的可靠定量分析的需求，减去医务人员和科研人员进行手动人工计算分析的繁杂工作，高效辅助医生和科研人员完成胞浆型免疫组化的各项免疫组化指标的分析。

附图说明

图1为本发明实施例方法的基本流程示意图。

图2为本发明实施例方法的详细流程示意图。

图3为本发明实施例中第一深度卷积神经网络的结构示意图。

图4为本发明实施例中多分辨率金字塔文件存储格式的示意图。

图5为本发明实施例中粗配准的原理示意图。

图6为本发明实施例中第二深度卷积神经网络的结构示意图。

图7为本发明实施例中第二深度卷积神经网络的输入、输出图像示例。

具体实施方式

如图1所示，本实施例胞浆型阳性免疫组化智能识别方法包括：

1）从HE显微全景图中识别出细胞核；将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割；

2）将细胞核映射到阳、阴性组织区域中，将细胞核划分为肿瘤阳性细胞核、肿瘤阴性细胞核以及非肿瘤细胞核；

3）统计出肿瘤阳性细胞核的总数R _p 以及肿瘤阴性细胞核的总数R _n ，并计算胞浆型IHC肿瘤阳性率H _rate 。

步骤1）中的IHC显微全景图与HE显微全景图是针对相同目标位置区域获得的图像。例如，通过数字切片扫描仪扫描获取相应的连续切片中的一张HE切片和一张胞浆型的免疫组化切片，分别获得相应的一张HE显微数字全景图和一张IHC显微数字全景图。

参见图2，本实施例步骤1）中从HE显微全景图中识别出细胞核包括：

1.1A）从HE显微全景图中提取目标位置区域的局部HE显微全景图；

1.2A）将局部HE显微全景图输入第一深度卷积神经网络得到细胞核分割掩膜图；

目标位置区域R由医生划定，范围调试如下：

R={(x _R ,y _R )| x _l ≤x _R ≤x _l +R _width ，y _t ≤y _R ≤x _l +R _height }，

其中，x _l 和y _t 表示目标位置区域R的左上角坐标，R _width 和R _height 分别表示目标位置区域R的宽高；(x _R ,y _R )表示矩形区域内的坐标点。由于医生划定的目标位置区域R大小不一，尺寸可能会很大，此时不能直接将整个目标位置区域R作为第二深度卷积神经网络的输入。因此还需要进一步将整个矩形区域进行分割成多个大小一致的瓦片图，再将这多个瓦片图依次输入到第一深度卷积神经网络。因此，步骤1.2A）中将局部HE显微全景图输入第一深度卷积神经网络得到细胞核分割掩膜图具体包括：将局部HE显微全景图分割成多个大小一致的瓦片图，再将这多个瓦片图依次输入到第一深度卷积神经网络得到细胞核分割掩膜图，然后再将这些细胞核分割掩膜图拼接成目标位置区域R的细胞核分割掩膜图。

1.3A）对细胞核分割掩膜图进行细胞核分割后期处理；

1.4A）对降噪处理后的细胞核分割掩膜图进行圆拟合，得到最小拟合圆的中心位置和半径作为识别出的细胞核。本实施例中，最后对每个细胞核进行圆拟合，得到最小拟合圆的中心坐标位置(x _rc ,y _rc )和半径r，并以其表达该细胞核。

步骤1.2A）中的第一深度卷积神经网络为UNet深度卷积神经网络。为了便于区分，本实施例中将第一深度卷积神经网络命名为HE细胞核UNet分割网络，其网络结构如图3所示。其中，箭头所示的“2×2 Maxpooling”为2×2的最大池化层，箭头所示的“3×3 Conv2d+Batch Normalization+ReLU”表示3×3的二维卷积、批量归一化以及ReLU激活函数处理，箭头所示的“2×2 ConvTasnsposed2dConv2d+Batch Normalization+ReLU”表示2×2的二维转置卷积、批量归一化以及ReLU激活函数处理，其余方框均为卷积层，上侧数字为卷积输出图像大小、下侧为卷积核大小。HE细胞核UNet分割网络为预先训练建立了局部HE显微全景图、细胞核分割掩膜图之间的映射关系的UNet深度卷积神经网络。在训练时，可由专业医生标注过的大量包含HE细胞核标注的图片进行细胞核分割检测数据集制作，得到训练、验证和测试数据集；利用训练和验证数据集进行HE细胞核UNet分割网络的训练，然后再经测试数据集测试HE细胞核UNet分割网络的分割网络性能，进行反复迭代训练，最终得到优化好的HE细胞核UNet分割网络。

HE细胞核UNet分割网络得到的细胞核分割检测掩膜图上的分割结果并非完全精准，还需要进一步进行处理，减少一些分割错误的结果，同时对连接在一起的细胞核边界做进一步分割处理，即细胞核分割后期处理。本实施例中，步骤1.3A）中进行的细胞核分割后期处理包括形态学腐蚀，以及采用边缘检测和分水岭算法对连接在一起的细胞核进行边界分开处理。经形态学腐蚀之后，在采用边缘检测和分水岭算法对连接在一起的细胞核进行边界分开处理，进一步得到每一个单独的细胞核；最后对每个细胞核进行圆拟合，得到最小拟合圆的中心位置和半径，并以其表达该细胞核。

参见图2，本实施例步骤1）中将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割包括：

1.1B）将均采用多分辨率金字塔文件存储格式的IHC显微全景图、HE显微全景图的上层小图进行组织级别的粗配准，提取粗配准参数，并基于粗配准参数根据IHC显微全景图的底层大图生成新的IHC数字显微全景图。

其中，多分辨率金字塔文件存储格式（金字塔图）如图4所示，多分辨率金字塔文件存储格式包括从小到大分布的多种不同分辨率的小图。如图5所示，进行组织级别的粗配准的步骤包括：首先分别取多分辨率金字塔文件存储格式的IHC显微全景图、HE显微全景图的上层小图（分辨率最小的小图），针对上层小图采用采用SIFT特征匹配算法（此外也可以根据需要采用其他特征匹配算法）进行配准，提取粗配准参数（包括旋转角度、相似比例、平移量等）；然后取多分辨率金字塔文件存储格式的IHC显微全景图的底层大图（分辨率最大的小图），根据粗配准参数对底层大图进行调整，得到配准后的底层大图，然后根据配准后的底层大图生成新的从小到大分布的多种不同分辨率的小图，从而得到新的IHC数字显微全景图。通过上述粗配准的方式，可实现对IHC显微全景图、HE显微全景图的快速配准，可减少计算量。记粗配准参数包括平移量(P _x ,P _y )、旋转角（弧度）α，和缩放比例S，其中P _x 是水平方向平移量，P _y 是竖直方向平移量。则利用已经得到的平移量(P _x ,P _y )、旋转角和α缩放比例S等配准参数，重新生成一张新的IHC数字显微全景图时，新生成的IHC数字显微全景图的坐标关系和原始IHC的坐标关系如下：

x _new = S×cosα×x _ori + S×sinα×y _ori + P _x ，

y _new = -S×sinα×x _ori + S×cosα×y _ori + P _y ，

F(x _new ,y _new ) = I(x _ori ,y _ori ) ，

其中，x _ori 和y _ori 分别是原始IHC显微全景图的像素点坐标，x _new 和y _new 分别是新生成的IHC显微全景图的像素点坐标；I(x _ori ,y _ori )表示原始IHC显微全景图在像素坐标(x _ori ,y _ori )上的像素值；F(x _new ,y _new )表示新生成的IHC显微全景图在像素坐标(x _new ,y _new )表上的像素值。

1.2B）从新的IHC数字显微全景图提取目标位置区域的局部IHC数字显微全景图。

1.3B）将局部IHC数字显微全景图、局部HE显微全景图进行细胞级别的细配准，提取细配准参数。

本实施例中，进行细胞级别的细配准时同样也是采用SIFT特征匹配算法，此外也可以根据需要采用其他特征匹配算法。粗配准是细配准的基础，用于为细配准实现可靠地、快速地提取目标位置区域，从而实现了粗细结合的两级配准，实现精度、效率兼备。进行细胞级别的细配准时，提取细配准参数同样包括平移量、旋转角度和缩放比例等。此次是再初配准的基础上进行的更加精细的配准，因此相当于在原有的初次配准的基础上进行微调，相对应得到的配准参数都比较小，经此次的微调之后，特定区域能在完成区域当中的细胞与细胞间的精细配准，完成HE上检测得到的细胞核的位置到新生成的IHC上对应区域的映射。

1.4B）基于细配准参数将局部IHC数字显微全景图调整，得到微调后的局部IHC数字显微全景图；本实施例中的提取的细配准参数包括：平移量(P1 _x , P1 _y )、旋转角度β和缩放比例S1，此次是再初配准的基础上进行的更加精细的配准，因此相当于在原有的初次配准的基础上进行微调，相对应得到的配准参数都比较小，经此次的微调之后，特定区域能在完成区域当中的细胞与细胞间的精细配准，完成HE上检测得到的细胞核的位置到新生成的IHC上对应区域的映射。在新生成的IHC上，先提取对应目标位置区域R上的图像，然后同样将该区域进行瓦片图划分，然后再将这些等分割的瓦片图依次输入到第二深度卷积神经网络，得到的网络输出重新掩膜图，再将这些瓦片掩膜图重新拼接成检测分割得到IHC阳性组织区域和阴性组织区域的掩膜图，掩膜图上的像素点坐标值为0或者255，其中像素值为0，则表示该像素点位于阴性组织区域，像素值为255则表示该像素点位于阳性组织区域；将组织区域检测分割的结果根据配准参数量进行坐标位置映射，映射成与HE实际细胞位置一一对应的坐标位置的函数表达式为：

x _new = S1×cosβ×x _R + S1×sinβ×y _R + P1 _x ，

y _new = -S1×sinβ×x _R + S1×cosβ×y _R + P1 _y ，

F’_R(x _{R_new} ,y _{R_new} ) = F_R(x _R ,y _R ) ，

其中，x _{R_new} 和y _{R_new} 表示经微调之后的目标位置区域R’对应的像素坐标，F_R(x _R ,y _R )表示新生成的IHC在目标位置区域R上的阳性组织和阴性组织区域分割检测的掩膜图上对应于坐标(x _R ,y _R )的像素值；F’_R(x _{R_new} ,y _{R_new} )表示经微调之后的目标位置区域R’上对应于坐标(x _{R_new} ,y _{R_new} )上的像素值。

1.5B）将微调后的局部IHC数字显微全景图输入第二深度卷积神经网络对配准后的IHC显微全景图进行阳、阴性组织区域分割，得到阳性组织区域分割掩膜图，所述阳性组织区域分割掩膜图通黑色颜色区分阳、阴性组织区域。

本实施例中，步骤1.5B）中的第二深度卷积神经网络为UNet深度卷积神经网络。为了便于区分，本实施例中将第二深度卷积神经网络命名为IHC阳性区域UNet分割网络，其网络结构如图6所示。其中，箭头所示的“2×2 Maxpooling”为2×2的最大池化层，箭头所示的“3×3 Conv2d+Batch Normalization+ReLU”表示3×3的二维卷积、批量归一化以及ReLU激活函数处理，箭头所示的“2×2 ConvTasnsposed2dConv2d+Batch Normalization+ReLU”表示2×2的二维转置卷积、批量归一化以及ReLU激活函数处理，其余方框均为卷积层，上侧数字为卷积输出图像大小、下侧为卷积核大小。对于微调后的局部IHC数字显微全景图，需要进行组织层级对阳性区域和阴性区域的分割检测，因此先利用已经标注好的大量包含IHC阳性组织和阴性组织的图片进行数据集制作，得到训练、验证和测试数据集；然后利用训练和验证数据集进行深度卷积UNet网络训练，然后再经测试数据集测试UNet分割网络性能，最终得到另一个优化好的UNet网络，称之为IHC阳性区域UNet分割网络。

图7中的（a）为输入IHC阳性区域UNet分割网络的微调后的局部IHC数字显微全景图，图7中的（b）为IHC阳性区域UNet分割网络输出的阳性组织区域分割掩膜图，由图7可知，阳性组织区域分割掩膜图中以黑、白来区分阳性组织区域以及阴性组织区域。

由于要做到初次配准新生成IHC上的细胞与HE上的细胞一一对应，因此在初次配准的基础上，还需要对由医生选定框出来的待进行阳性细胞、阴性细胞分割检测的特定区域进行更加精细配准操作。本实施例中，步骤2）包括：将识别出的细胞核的中心位置和半径映射到阳性组织区域分割掩膜图中，且对每一个细胞核对应的拟合圆内的所有点做判断，如果超过一半的点位于阳性组织区域则判定该细胞核为肿瘤阳性细胞核，如果超过一半的点位于阴性组织区域则判定该细胞核为肿瘤阴性细胞核，否则该细胞核为非肿瘤细胞核。

步骤2）中将识别出的细胞核的中心位置和半径映射到阳性组织区域分割掩膜图中时，对于每一个中心位置(x _rc ,y _rc )，半径为r的拟合圆内的所有点做判断，得到该拟合圆内的所有点，表示为{Rr(x _Rr ,y _Rr )}：

，

上式中，将Rr区域上的所有点对应到微调之后的目标位置区域R’上，并对所有点判断是否位于阳性区域，或阴性区域上，即：

x _{Rr_new} = S1×cosβ×x _Rr + S1×sinβ×y _Rr + P1 _x ，

y _{Rr_new} = -S1×sinβ×x _Rr + S1×cosβ×y _Rr + P1 _y ，

如果对应到微调之后的目标位置区域R’上的点F’_R(x _{Rr_new} ,y _{Rr_new} )的灰度值为255，则该点位于阳性区域，否则位于阴性区域；如果判断超过一半的点位于阳性区域，则判定该细胞核为肿瘤阳性细胞核，如果判断超过一半的点位于阴性区域，则判定该细胞核为肿瘤阴性细胞核，否则该细胞核为非肿瘤细胞核。

本实施例中，计算胞浆型IHC肿瘤阳性率H _rate 的函数表达式为：

H _rate =R _p /(R _p +R _n ) ，

上式中，R _p 为肿瘤阳性细胞核的总数，R _n 为肿瘤阴性细胞核的总数。

综上所述，本实施例方法利用到深度卷积神经网络细胞核分割检测技术，深度卷积神经网络阳性区域分割检测技术、双次SIFT快速特征匹配配准技术、图像形态学处理与图像分割技术、图像圆拟合等技术，通过将HE显微全景图细胞位置和胞浆型IHC显微全景图细胞位置的一一对应，将胞浆型IHC细胞核位置映射到HE当中进行统计计算，全自动快速完成胞浆型IHC肿瘤细胞阳性率的计算分析，解决医生需要经过复杂观测并手动计算胞浆型IHC肿瘤细胞阳性率计算带来的结果不准确性问题，有效辅助医生解决该场景下的阳性率计算分析问题。本实施例方法采用双次深度卷积神经分割网络方法，对HE显微全景图采用细胞核分割网络，对IHC采用阳性区域分割网络，在结合双次SIFT配准算法，完成将胞浆型IHC阳性细胞核和阴性细胞核到HE上的映射，将IHC上模糊在一起，不可统计的细胞量映射到可区分、可统计的HE上，从而完成胞浆型IHC阳性细胞、阴性细胞的识别，并计算得到肿瘤阳性率。本实施例方法在HE细胞核分割检测之后，为了进一步减少杂质干扰，区分连接在一起的细胞核，采用边缘检测、分水岭分割算法和最终的圆拟合等方法，完成HE细胞核的精准分割。本实施例方法以HE染色切片的HE显微全景图中的细胞为参考，定位胞浆阳性免疫组化（IHC）染色切片中的细胞位置，本实施例方法能够实现对胞浆型免疫组化阳性细胞和阴性细胞智能识别，并完成免疫组化浆阳性率精准结果的自动计算分析。在保证各项分析计算指标结果准确的前提下，运用本实施例方法，可以很好地解决在临床病理工作以及科学研究中对胞浆型免疫组化指标的可靠定量分析的需求，减去医务人员和科研人员进行手动人工计算分析的繁杂工作，高效辅助医生和科研人员完成胞浆型免疫组化的各项免疫组化指标的分析。

此外，本实施例还提供一种胞浆型阳性免疫组化智能识别***，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述胞浆型阳性免疫组化智能识别方法的步骤。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序用于被计算机设备执行以实现前述胞浆型阳性免疫组化智能识别方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种胞浆型阳性免疫组化智能识别方法，其特征在于，包括：

1）从HE显微全景图中识别出细胞核；将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割；

2）将细胞核映射到阳、阴性组织区域中，将细胞核划分为肿瘤阳性细胞核、肿瘤阴性细胞核以及非肿瘤细胞核；

3）统计出肿瘤阳性细胞核的总数R _p 以及肿瘤阴性细胞核的总数R _n ，并计算胞浆型IHC肿瘤阳性率H _rate ；

步骤1）中将IHC显微全景图与HE显微全景图进行配准后进行阳、阴性组织区域分割包括：

1.1B）将均采用多分辨率金字塔文件存储格式的IHC显微全景图、HE显微全景图的上层小图进行组织级别的粗配准，提取粗配准参数；基于粗配准参数根据IHC显微全景图的底层大图生成新的IHC数字显微全景图；

1.2B）从新的IHC数字显微全景图提取目标位置区域的局部IHC数字显微全景图；

1.3B）将局部IHC数字显微全景图、局部HE显微全景图进行细胞级别的细配准，提取细配准参数；

1.4B）基于细配准参数将局部IHC数字显微全景图调整，得到微调后的局部IHC数字显微全景图；

1.5B）将微调后的局部IHC数字显微全景图输入第二深度卷积神经网络对配准后的IHC显微全景图进行阳、阴性组织区域分割，得到阳性组织区域分割掩膜图，所述阳性组织区域分割掩膜图通过黑色颜色区分阳、阴性组织区域。

2.根据权利要求1所述的胞浆型阳性免疫组化智能识别方法，其特征在于，步骤1）中从HE显微全景图中识别出细胞核包括：

1.1A）从HE显微全景图中提取目标位置区域的局部HE显微全景图；

1.2A）将局部HE显微全景图输入第一深度卷积神经网络得到细胞核分割掩膜图；

1.3A）对细胞核分割掩膜图进行细胞核分割后期处理；

1.4A）对降噪处理后的细胞核分割掩膜图进行圆拟合，得到最小拟合圆的中心位置和半径作为识别出的细胞核。

3.根据权利要求2所述的胞浆型阳性免疫组化智能识别方法，其特征在于，步骤1.2A）中的第一深度卷积神经网络为UNet深度卷积神经网络。

4.根据权利要求2所述的胞浆型阳性免疫组化智能识别方法，其特征在于，步骤1.3A）中进行的细胞核分割后期处理包括形态学腐蚀，以及采用边缘检测和分水岭算法对连接在一起的细胞核进行边界分开处理。

5.根据权利要求1所述的胞浆型阳性免疫组化智能识别方法，其特征在于，步骤1.5B）中的第二深度卷积神经网络为UNet深度卷积神经网络。

6.根据权利要求2所述的胞浆型阳性免疫组化智能识别方法，其特征在于，步骤2）包括：将识别出的细胞核的中心位置和半径映射到阳性组织区域分割掩膜图中，且对每一个细胞核对应的拟合圆内的所有点做判断，如果超过一半的点位于阳性组织区域则判定该细胞核为肿瘤阳性细胞核，如果超过一半的点位于阴性组织区域则判定该细胞核为肿瘤阴性细胞核，否则该细胞核为非肿瘤细胞核。

7.根据权利要求1所述的胞浆型阳性免疫组化智能识别方法，其特征在于，所述计算胞浆型IHC肿瘤阳性率H _rate 的函数表达式为：

H _rate =R _p /(R _p +R _n ) ，

上式中，R _p 为肿瘤阳性细胞核的总数，R _n 为肿瘤阴性细胞核的总数。

8.一种胞浆型阳性免疫组化智能识别***，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～7中任意一项所述胞浆型阳性免疫组化智能识别方法的步骤。

9.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其特征在于，该计算机程序用于被计算机设备执行以实现权利要求1～7中任意一项所述胞浆型阳性免疫组化智能识别方法的步骤。

Images