CN114187334B - 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 - Google Patents
基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 Download PDFInfo
- Publication number
- CN114187334B CN114187334B CN202111188822.3A CN202111188822A CN114187334B CN 114187334 B CN114187334 B CN 114187334B CN 202111188822 A CN202111188822 A CN 202111188822A CN 114187334 B CN114187334 B CN 114187334B
- Authority
- CN
- China
- Prior art keywords
- contour
- images
- staining
- image
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000001575 pathological effect Effects 0.000 claims abstract description 54
- 238000006073 displacement reaction Methods 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000008602 contraction Effects 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 46
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 39
- 238000005406 washing Methods 0.000 description 18
- 230000002159 abnormal effect Effects 0.000 description 15
- 238000004043 dyeing Methods 0.000 description 15
- 238000002791 soaking Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 235000019441 ethanol Nutrition 0.000 description 12
- 230000036571 hydration Effects 0.000 description 11
- 238000006703 hydration reaction Methods 0.000 description 11
- LOKCTEFSRHRXRJ-UHFFFAOYSA-I dipotassium trisodium dihydrogen phosphate hydrogen phosphate dichloride Chemical compound P(=O)(O)(O)[O-].[K+].P(=O)(O)([O-])[O-].[Na+].[Na+].[Cl-].[K+].[Cl-].[Na+] LOKCTEFSRHRXRJ-UHFFFAOYSA-I 0.000 description 10
- 239000002953 phosphate buffered saline Substances 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 6
- 239000000427 antigen Substances 0.000 description 6
- 102000036639 antigens Human genes 0.000 description 6
- 108091007433 antigens Proteins 0.000 description 6
- 241000779819 Syncarpia glomulifera Species 0.000 description 5
- 238000003364 immunohistochemistry Methods 0.000 description 5
- 239000001739 pinus spp. Substances 0.000 description 5
- 239000008399 tap water Substances 0.000 description 5
- 235000020679 tap water Nutrition 0.000 description 5
- 229940036248 turpentine Drugs 0.000 description 5
- VEXZGXHMUGYJMC-UHFFFAOYSA-N Hydrochloric acid Chemical compound Cl VEXZGXHMUGYJMC-UHFFFAOYSA-N 0.000 description 4
- 230000002055 immunohistochemical effect Effects 0.000 description 4
- 238000007789 sealing Methods 0.000 description 4
- 235000012431 wafers Nutrition 0.000 description 4
- 108091006146 Channels Proteins 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 210000003855 cell nucleus Anatomy 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- VHUUQVKOLVNVRT-UHFFFAOYSA-N Ammonium hydroxide Chemical compound [NH4+].[OH-] VHUUQVKOLVNVRT-UHFFFAOYSA-N 0.000 description 2
- MHAJPDPJQMAIIY-UHFFFAOYSA-N Hydrogen peroxide Chemical compound OO MHAJPDPJQMAIIY-UHFFFAOYSA-N 0.000 description 2
- 235000011114 ammonium hydroxide Nutrition 0.000 description 2
- 238000007664 blowing Methods 0.000 description 2
- 239000007853 buffer solution Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013115 immunohistochemical detection Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 239000008213 purified water Substances 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 239000012192 staining solution Substances 0.000 description 2
- XINQFOMFQFGGCQ-UHFFFAOYSA-L (2-dodecoxy-2-oxoethyl)-[6-[(2-dodecoxy-2-oxoethyl)-dimethylazaniumyl]hexyl]-dimethylazanium;dichloride Chemical compound [Cl-].[Cl-].CCCCCCCCCCCCOC(=O)C[N+](C)(C)CCCCCC[N+](C)(C)CC(=O)OCCCCCCCCCCCC XINQFOMFQFGGCQ-UHFFFAOYSA-L 0.000 description 1
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 108010077544 Chromatin Proteins 0.000 description 1
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 1
- 235000019083 Osmanthus fragrans Nutrition 0.000 description 1
- 244000242564 Osmanthus fragrans Species 0.000 description 1
- 102000003992 Peroxidases Human genes 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002981 blocking agent Substances 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003483 chromatin Anatomy 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 108040007629 peroxidase activity proteins Proteins 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000001993 wax Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Sampling And Sample Adjustment (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明提供一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，包括以下步骤：以连续病理组织切片分别制备HE染色、Ki67和P16样片；扫描样片，并拼接图片；追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；以基准轮廓图像对齐的部分轮廓线的中点位置为圆心，旋转其余轮廓图像与基准轮廓图像对齐；以旋转圆心为基准，缩放其余轮廓图像对齐；获取其余轮廓图像的像素位移数据；将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
Description
技术领域
本发明涉及病理图像处理，属于医学影像图形处理领域，特别是一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法。
背景技术
很多研究表明，异常病理组织通常发生很明显的变化，比如异常病理组织在形态结构、纹理特征等方面都和正d常病理组织具有较明显的区别，异常病理组织通常会呈现出较大的异型性，大小不一、形状各异；在纹理层面上，由于组织***异常，导致染色质固缩成块，纹理粗糙，另外这也会导致组织内部DNA含量增加。上述病理组织的异常特征为计算机根据病理组织识别异常病理组织提供了病理学基础。例如，乐桂花在P16与 Ki67的表达在子宫颈病变诊断中的应用中记载了P16阳性表达主要集中在细胞核与细胞质部，且呈现出棕黄色的颗粒形态。Ki67阳性表达则主要位于细胞核，呈现棕黄色颗粒形态表示为阳性。目前很多研究基于病理组织的特征来识别异常病理组织，大致分为两种方法，方法一：直接基于深度学习技术提取病理组织的特征，使用卷积神经网络模型自动提取病理组织图像的特征，然后构建病理组织分类器，从而检测异常病理组织。但是由于深度学习缺乏可解释性，所提取的特征意义不明确，导致这种方法并不能一直保持良好的性能和准确性，例如CN108898160A记载的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法。方法二：手动对病理组织和病理组织整体轮廓进行分割，然后提取组织的各种形态特征、纹理特征等。但是由于病理组织玻片制片或者染色的问题，导致病理异常组织常常与正常病理组织分界不清，这为异常病理组织的分割带来了很大的困难，区域分割不准确会导致所提取的病理组织的特征不准确，所以方法二的奏效与否严重依赖于病理组织的准确分割，而以手工处理效率极低。异常病理组织的免疫组化检测相对于正常病理组织而言通常会有显著的阴阳性对比，所以这是区分异常病理组织的显著特征。然而目前在很多异常病理组织自动化识别的研究中，还没有研究者将免疫组化检测的阴阳性区域特征用于识别异常病理组织。本公司的中国专利2021104846620记载了一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法记载了将HE染色、Ki67、P16进行对齐融合叠加的方法，能够便于人工智能识别，提高识别效率和精度。但是由于相邻病理组织切片，在图像上仍具有一定差异，图像对齐的技术难度较高。背景技术中记载的技术内容仅为对相关技术以及存在的技术问题加以说明，并不是对现有技术的承认。
发明内容
本发明所要解决的技术问题是提供一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，能够将基于HE染色、Ki67、P16的相邻切片组织图像进行一一对应的图像叠合，以便于在后继的步骤中融合叠加后以便于辅助识别，提高性能和识别准确性。
为解决上述技术问题，本发明所采用的技术方案是：一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，包括以下步骤：
s1、以连续病理组织切片分别制备HE染色、Ki67和P16样片；
s2、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s3、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；
s4、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；
s5、以基准轮廓图像对齐的部分轮廓线的中点位置为圆心，旋转其余轮廓图像与基准轮廓图像对齐；
s6、以旋转圆心为基准，缩放其余轮廓图像对齐；
s7、获取其余轮廓图像的像素位移数据；
s8、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
优选的方案中，步骤s1中，HE染色、Ki67和P16样片所采用的病理组织切片为相邻切片，各切片之间的病理组织为连续的病理组织。
优选的方案中，步骤s1中，删除闭合的轮廓图像内的像素。
优选的方案中，步骤s4中，还包括选择HE染色、Ki67和P16的轮廓图像中具有独立图案的轮廓图像，将各个独立图案单独获取，并根据独立图案的划分规则，将其他轮廓图像也划分为对应的各个独立图案，记录各个独立图案在各自轮廓图像中的坐标位置。
优选的方案中，选取相对更为平滑的部分轮廓线作为对齐基准进行对齐。
优选的方案中，旋转对齐时，在轮廓线的相对急剧转折位置选取特征点，各个轮廓图像中的特征点互相对应，从圆心向各个特征点做直线，旋转对齐时，使各个直线之间的转角差为最小；
各个转角差还具有加权系数，其中位于中间的直线的加权系数大于位于边缘的直线的加权系数。
优选的方案中，步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，缩放时对网格矩阵进行运算，使缩放参数平滑；
缩放时，其余轮廓图像的对应特征点与基准轮廓图像的对应特征点对齐，网格矩阵的对应特征节点与基准轮廓图像的特征节点互相对齐。
优选的方案中，步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，缩放时将轮廓图像收缩位置保持不变，轮廓图像膨胀位置生成凸起立体网格，然后对立体网格进行水平投影操作，比较投影后相应特征点和特征节点的位置，当相应特征点和特征节点的位置之间的误差小于预设值，完成轮廓图像的缩放操作。
另一可选的方案中，一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，包括以下步骤：
s01、以连续病理组织切片分别制备HE染色、Ki67和P16样片；
s02、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s03、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；
s04、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；
s05、以基准轮廓图像的转折位置作为特征点，在其他轮廓图像的对应转折位置选择对应特征点；
s06、以图片变形软件，将其他轮廓图像的对应特征点变形至与基准轮廓图像的特征点对齐；
s07、获取其余轮廓图像的像素位移数据；
s08、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
优选的方案中，在步骤s05中，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，将基准轮廓图像的特征节点与其他轮廓图像的特征节点一一对应；
在步骤s06中，同时以图片变形软件，将其他轮廓图像的对应特征节点变形至与基准轮廓图像的特征节点对齐。
本发明提供的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，通过采用先提取轮廓对齐，获取像素位移数据，然后再在全景影像中执行的方案，能够完成HE染色、Ki67和P16的全景影像叠合对齐，以提高异常区域辅助判断效果，且处理效率高，清晰度高。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明中实例的基于HE的染色拼接图像。
图2为本发明中实例的基于Ki67的拼接图像。
图3为本发明中实例的基于P16的拼接图像。
图4为本发明中实例的基于HE的轮廓图像。
图5为本发明中实例的基于Ki67的轮廓图像。
图6为本发明中实例的基于P16的轮廓图像。
图7为本发明中实例的基于HE染色、Ki67、P16局部轮廓图像的叠加图像。
图8为本发明中实例的局部轮廓图像旋转对齐图像。
图9为本发明中实例的局部轮廓图像缩放图像。
图10为本发明中实例的局部轮廓图像对齐后的图像。
图11为本发明中实例的融合叠加图像。
具体实施方式
实施例1：
一、本发明样本制备的步骤如下：
1、制作样片的步骤为：
1.1、取材，取连续病理组织，以确保各个连续病理组织的图像基本一致；
1.2、固定；
1.3、脱水透明；
1.4、浸蜡、包埋；
1.5、切片、贴片。每组连续病理组织的样片至少制备三片，分别用于HE染色和Ki67、P16两种免疫组化检查。
2、HE染色
HE是指苏木素伊红(HE)染色液。
2.1、石蜡切片浸入松节油中5min；脱腊工序；
2.2 、切片浸入松节油中5min；脱腊工序；
2.3、浸入无水乙醇1min；水化工序；
2.4、浸入新的无水乙醇1min；水化工序；
2.5、浸入95%乙醇1min；水化工序；
2.6、浸入新的95%乙醇1min；水化工序；
2.7、浸入85%乙醇1min；水化工序；
2.8、浸入水洗1min，沥干；水化工序；
2.9、浸入苏木素15min；染色工序；
2.10、水洗1min，沥干；染色工序；
2.11、浸入0.5%盐酸酒精分化3s；染色工序；
2.12、水洗3次，沥干；染色工序；
2.13、浸入1%氨水返蓝2min；染色工序；
2.14、水洗3次，沥干；染色工序；
2.15、浸入1%伊红2min；染色工序；
2.16、浸入水洗3次，沥干；染色工序；
2.17、浸入95%乙醇1min；染色工序；
2.18、浸入新的95%乙醇1min；染色工序；
2.19、浸入无水乙醇1min；染色工序；
2.20、吹风吹半干，松节油2min；封片工序；
2.21、浸入松节油2min；封片工序；
2.22、中性树胶封片；封片工序。
通过以上步骤得到HE染色的样片，如图1、6中所示。
3、免疫组化P16、Ki67
免疫组化P16、Ki67样片的制备步骤如下：
3.1、浸入松节油10min；脱腊工序；
3.2、浸入无水乙醇1min；水化工序；
3.3、浸入无水乙醇1min；水化工序；
3.4、浸入95%乙醇1min；水化工序；
3.5、浸入95%乙醇数秒；水化工序；
3.6、浸入85%乙醇数秒；水化工序；
3.7、自来水洗；一直浸泡水中；
3.8、片子用前分两架，分别对应P16、Ki67样片，样片放入纯净水盒中备用；
3.9、配置修复液：
a)30mlEDTA抗原修复液+1470ml纯净水；
b)将配置好的a)加入压力锅中，不盖盖，中火煮沸后将样本架放入锅中，盖盖，连续冒气后计时2min；以暴露抗原；
3.10、以冷水降温压力锅外壁；
3.11、取出片架放入冷纯净水中；
3.12、换水一次；洗去修复液；
3.13、在湿盒中摆片；将P16、Ki67样片分开摆放；
3.14、浸入PBS即磷酸盐缓冲生理盐水水洗；
3.15、组化笔画圈；
3.16、浸入PBS即磷酸盐缓冲生理盐水水洗；
3.17、浸入3%过氧化氢溶液5min；以3%过氧化氢溶液作为阻断剂；
3.18、浸入PBS水洗5min；
3.19、浸入PBS水洗5min；
3.20、甩干玻片，加一抗1-2滴，40min；室温，一抗即第一抗体是能和非抗体性抗原即特异性抗原特异性结合的蛋白。P16和Ki67采用不同的抗原获得不同的样片。
3.21、浸入PBS水洗5min；
3.22、浸入PBS水洗5min；
3.23、甩干玻片，加二抗1-2滴，20min；室温，二抗即第二抗体是能和抗体结合，即抗体的抗体，其主要作用是检测抗体的存在，放大一抗的信号。P16和Ki67采用不同的抗原获得不同的样片。
3.24、浸入PBS水洗5min；
3.25、浸入PBS水洗5min；
3.26、配制c)DAB底物缓冲液：DAB显色剂50:1。DAB染色液为市售的产品，通常包括三种组分，在使用时现配现用。其中组分A为过氧化物酶标记物；组分B为DAB底物缓冲液，组分C为DAB显色剂。
操作时，1ml底物缓冲液中滴加1滴显色剂，即1滴组分C 滴加到1ml组分B中，吸管吹打混匀，避免产生气泡；
d)取c)1-2滴滴加于样本玻片上，避光显色10min；
3.27、上架，多次自来水洗，以终止显色。
3.28、浸入苏木素2min；
3.29、自来水洗；
3.30、0.8%盐酸酒精分化1-2次；不超过10秒；
3.31、自来水洗；
3.32、1%氨水返蓝；
3.33、自来水洗；
3.34、浸入95%乙醇；
3.35、浸入95%乙醇；
3.36、浸入无水乙醇；
3.37、浸入无水乙醇；
3.38、浸入吹半干封片。通过以上步骤得到免疫组化P16、Ki67样片。该步骤获取的样片图像对比度较高，便于后继由人或人工智能进行识别，如图2、3、7、8中所示。
四、对HE染色、免疫组化P16、Ki67进行全景扫描和拼接。
扫描的步骤采用自动连续扫描，拼接采用自动拼接，例如CN201911112866.0中记载的基于手机的微型显微图像采集装置及图像拼接、识别方法。或者CN201910964425 .7中记载的人工智能云诊断平台。
在优选的方案中，将样片的全景图像转换为BGR通道顺序，以适应人工智能算法模型。
实施例2：
如图1~3中，一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，包括以下步骤：
s1、如实施例1中，以连续病理组织切片分别制备HE染色、Ki67和P16样片；所述的连续病理组织切片，是指各个样本的病理组织切片为相邻的切片，以使样片图像大致相同。如图1~3中所示。
s2、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s3、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；如图4~6中所示，本例中轮廓图像以黑色线条表示。
s4、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；如图7中所示。
s5、以基准轮廓图像对齐的部分轮廓线的中点位置为圆心，旋转其余轮廓图像与基准轮廓图像对齐；本例中的中点位置是选取该部分轮廓线端点之间连线的中点。优选的是该中点在轮廓线上的垂直投影点做为圆心。
s6、以旋转圆心为基准，缩放其余轮廓图像对齐；
s7、获取其余轮廓图像的像素位移数据；
s8、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。如图10、11中所示。
优选的方案如图1~3中，步骤s1中，HE染色、Ki67和P16样片所采用的病理组织切片为相邻切片，各切片之间的病理组织为连续的病理组织。
优选的方案中，步骤s1中，删除闭合的轮廓图像内的像素。如图5~6中所示，删除轮廓图像内的杂点像素，有助于大幅提高运算速度。
优选的方案如图7中，步骤s4中，还包括选择HE染色、Ki67和P16的轮廓图像中具有独立图案的轮廓图像，将各个独立图案单独获取，并根据独立图案的划分规则，将其他轮廓图像也划分为对应的各个独立图案，记录各个独立图案在各自轮廓图像中的坐标位置。选取独立图案，有助于提高运算速度，提高对齐精度。本例中所述的独立图案，是指与其他图案分隔开的，具有独立闭合轮廓的轮廓图像。
优选的方案如图7中，选取相对更为平滑的部分轮廓线作为对齐基准进行对齐。
优选的方案如图8中，旋转对齐时，在轮廓线的相对急剧转折位置选取特征点，各个轮廓图像中的特征点互相对应，从圆心向各个特征点做直线，旋转对齐时，使各个直线之间的转角差为最小；由此结构，使其他轮廓图像与基准轮廓图像之间大致旋转对齐。
各个转角差还具有加权系数，其中位于中间的直线的加权系数大于位于边缘的直线的加权系数，即在判断是否对齐的过程中，位于中间的直线被优先对齐。由此方案，能够使后继的轮廓图像缩放操作距离相对减小，以提高缩放后的图像分辨率，以保留足够多的图像细节，或者避免关键细节在图像缩放操作过程中丢失。
优选的方案如图9中，步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在图像中建立适当密度的网格矩阵，即当最终分辨率需求越高，则网格矩阵的密度越密，相应的所耗费的运算资源就越大，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，利用该曲线的特性，实现缩放图像的平滑过渡，缩放时对网格矩阵进行运算，使缩放参数平滑；
缩放时，其余轮廓图像的对应特征点与基准轮廓图像的对应特征点对齐，网格矩阵的对应特征节点与基准轮廓图像的特征节点互相对齐。该方案是基于平面缩放操作，能够获得较高分辨率的图像。
另一可选的方案中，步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，缩放时将轮廓图像收缩位置保持不变，轮廓图像膨胀位置生成凸起立体网格，在凸起的位置，图像膨胀，从而挤压其余位置的图像收缩。然后对立体网格进行水平投影操作，比较投影后相应特征点和特征节点的位置，当相应特征点和特征节点的位置之间的误差小于预设值，完成轮廓图像的缩放操作。该方案是基于立体网格的缩放操作，能够获得更为准确的图像。缩放过程中的像素插值方案采用双立方锐利插值算法。本实施例方案的优势在于，全景影像的图像变形数据仅需一次计算，最终叠合图像的分辨率较高，能够避免丢失敏感数据。
实施例3：
与实施例2中不同的，另一可选的方案中，一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，包括以下步骤：
s01、以连续病理组织切片分别制备HE染色、Ki67和P16样片；
s02、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s03、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；
s04、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；
s05、以基准轮廓图像的转折位置作为特征点，在其他轮廓图像的对应转折位置选择对应特征点；
s06、以图片变形软件，将其他轮廓图像的对应特征点变形至与基准轮廓图像的特征点对齐；图片变形软件例如STOIK Deformer。
s07、获取其余轮廓图像的像素位移数据；
s08、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
优选的方案中，在步骤s05中，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，将基准轮廓图像的特征节点与其他轮廓图像的特征节点一一对应；
在步骤s06中，同时以图片变形软件，将其他轮廓图像的对应特征节点变形至与基准轮廓图像的特征节点对齐。
实施例4：
在实施例2、3的基础上，五、对HE染色、免疫组化P16、Ki67的全景图像进行融合并标注
5.1、将HE染色、免疫组化P16、Ki67的全景图像的center的数据类型转为uint8，提高处理速度。
5.2、将center作为数组，label作为数组标签，将center[label]，保存为可读的通用图像格式，例如TIF、JPG。
分别得到HE染色、免疫组化P16、Ki67的图片文件。
5.3、将连续病理组织相对应的各一张HE染色、免疫组化P16、Ki67的图片文件进行叠加，上层的图片设置透明度和/或不同叠加模式，保存为融合全景图像的图片文件。参见图11中所示。
优选的方案中，以HE染色图片作为底层，Ki67的图片位于HE染色图片上方作为第二层，透明度取30~100%，叠加方式为纹理叠加，即读取Ki67中反映对比度差异的数据进行叠加，例如选择lab模式，以将亮度通道数据进行亮度加权叠加计算，以预设值或亮度区域为基准，使亮度通道数据的亮度和暗影分别对其他层的图片进行强化，即亮的更亮而暗的更暗。以强化融合图的纹理，尤其是细胞内纹理表达。由于Ki67主要表达增生的活跃性，主要是表达染细胞核。通过纹理能够观察的更加清楚细胞核的情形。复制Ki67的图片位于第二层的上方，透明度取30~100%，叠加方式为颜色叠加。进一步优选的，在该层中仅选取棕黄色的区域作为颜色叠加。P16的图片位于Ki67的图片最上方，透明度取30~100%，叠加方式为颜色叠加，P16阳性反映为弥漫连续棕黄色表达，表达部位为胞浆及细胞核。以颜色叠加的方式能够获得较为清晰的区域差别。融合后的图像还能够尽可能表达各自包含的诊断信息。
上述的实施例仅为本发明的优选技术方案，而不应视为对于本发明的限制，本申请中的实施例及实施例中的特征在不冲突的情况下，可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案，包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进，也在本发明的保护范围之内。
Claims (9)
1.一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是包括以下步骤：
s1、以连续病理组织切片分别制备HE染色、Ki67和P16样片；
本步骤中，HE染色、Ki67和P16样片所采用的病理组织切片为相邻切片，各切片之间的病理组织为连续的病理组织；
s2、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s3、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；
s4、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；
s5、以基准轮廓图像对齐的部分轮廓线的中点位置为圆心，旋转其余轮廓图像与基准轮廓图像对齐；
s6、以旋转圆心为基准，缩放其余轮廓图像对齐；
s7、获取其余轮廓图像的像素位移数据；
s8、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
2.根据权利要求1所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：步骤s1中，删除闭合的轮廓图像内的像素。
3.根据权利要求1所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：步骤s4中，还包括选择HE染色、Ki67和P16的轮廓图像中具有独立图案的轮廓图像，将各个独立图案单独获取，并根据独立图案的划分规则，将其他轮廓图像也划分为对应的各个独立图案，记录各个独立图案在各自轮廓图像中的坐标位置。
4.根据权利要求1或3任一项所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：选取相对更为平滑的部分轮廓线作为对齐基准进行对齐。
5.根据权利要求1或3任一项所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：旋转对齐时，在轮廓线的相对急剧转折位置选取特征点，各个轮廓图像中的特征点互相对应，从圆心向各个特征点做直线，旋转对齐时，使各个直线之间的转角差为最小；
各个转角差还具有加权系数，其中位于中间的直线的加权系数大于位于边缘的直线的加权系数。
6.根据权利要求1或3任一项所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，缩放时对网格矩阵进行运算，使缩放参数平滑；
缩放时，其余轮廓图像的对应特征点与基准轮廓图像的对应特征点对齐，网格矩阵的对应特征节点与基准轮廓图像的特征节点互相对齐。
7.根据权利要求1或3任一项所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：步骤s6中，缩放其余轮廓图像时，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，缩放时将轮廓图像收缩位置保持不变，轮廓图像膨胀位置生成凸起立体网格，然后对立体网格进行水平投影操作，比较投影后相应特征点和特征节点的位置，当相应特征点和特征节点的位置之间的误差小于预设值，完成轮廓图像的缩放操作。
8.一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是包括以下步骤：
s01、以连续病理组织切片分别制备HE染色、Ki67和P16样片；
本步骤中，HE染色、Ki67和P16样片所采用的病理组织切片为相邻切片，各切片之间的病理组织为连续的病理组织；
s02、扫描HE染色、Ki67和P16的样片，并拼接图片，分别得到HE染色、Ki67和P16全景影像；
s03、追踪HE染色、Ki67和P16全景影像中的图案边缘，获得轮廓图像；
s04、将HE染色、Ki67和P16的轮廓图像叠加，以其中一个轮廓图像作为基准轮廓图像，选取部分轮廓线直线移动其他轮廓图像与基准轮廓图像对齐；
s05、以基准轮廓图像的转折位置作为特征点，在其他轮廓图像的对应转折位置选择对应特征点；
s06、以图片变形软件，将其他轮廓图像的对应特征点变形至与基准轮廓图像的特征点对齐；
s07、获取其余轮廓图像的像素位移数据；
s08、将轮廓图像的像素位移数据引入对应全景影像中并按位移数据执行像素位移操作；
通过以上步骤使HE染色、Ki67和P16的全景影像叠合对齐。
9.根据权利要求8所述的一种基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法，其特征是：在步骤s05中，根据最终分辨率需求在轮廓图像中建立适当密度的网格矩阵，网格矩阵的节点作为特征节点，网格矩阵的边框为无尖突平滑曲线，将基准轮廓图像的特征节点与其他轮廓图像的特征节点一一对应；
在步骤s06中，同时以图片变形软件，将其他轮廓图像的对应特征节点变形至与基准轮廓图像的特征节点对齐。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111188822.3A CN114187334B (zh) | 2021-10-12 | 2021-10-12 | 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111188822.3A CN114187334B (zh) | 2021-10-12 | 2021-10-12 | 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114187334A CN114187334A (zh) | 2022-03-15 |
| CN114187334B true CN114187334B (zh) | 2022-09-13 |
Family
ID=80601081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111188822.3A Active CN114187334B (zh) | 2021-10-12 | 2021-10-12 | 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114187334B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IT1400684B1 (it) * | 2010-07-07 | 2013-06-28 | Esaote Spa | Metodo e dispositivo di imaging per il monitoraggio di un corpo in esame. |
| US20170160171A1 (en) * | 2015-11-20 | 2017-06-08 | Oregon Health And Science University | Multiplex immunohistochemistry image cytometry |
| CN107154022B (zh) * | 2017-05-10 | 2019-08-27 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
| CN107493403B (zh) * | 2017-08-11 | 2019-09-24 | 宁波江丰生物信息技术有限公司 | 一种数字病理切片扫描*** |
| CN108053433B (zh) * | 2017-11-28 | 2020-06-02 | 浙江工业大学 | 一种基于物理对齐和轮廓匹配的多模态颈动脉mri配准方法 |
| CN108364288B (zh) * | 2018-03-01 | 2022-04-05 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN110363803B (zh) * | 2019-07-18 | 2021-08-27 | 光沦科技(深圳)有限公司 | 一种结合深度图切片和神经网络的目标检测方法和*** |
| CN111626936B (zh) * | 2020-05-22 | 2023-05-12 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速全景拼接方法及*** |
| CN112381839B (zh) * | 2020-11-14 | 2022-08-02 | 四川大学华西医院 | 一种基于深度学习的乳腺癌病理图像he癌巢分割方法 |
| CN112734710A (zh) * | 2020-12-30 | 2021-04-30 | 上海睿刀医疗科技有限公司 | 一种基于历史病理信息的病灶识别模型构建装置及*** |
| CN112882217A (zh) * | 2021-02-04 | 2021-06-01 | 武汉兰丁云医学检验实验室有限公司 | 用于微型显微图像采集装置的显微镜头 |
-
2021
- 2021-10-12 CN CN202111188822.3A patent/CN114187334B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114187334A (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107452010B (zh) | 一种自动抠图算法和装置 | |
| CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
| CN110472616B (zh) | 图像识别方法、装置、计算机设备及存储介质 | |
| US11783604B2 (en) | Method for creating histopathological ground truth masks using slide restaining | |
| CN111727436B (zh) | 对未染色组织的病理学预测 | |
| CN112435243A (zh) | 一种全切片数字病理图像的自动分析***及方法 | |
| CN109815888B (zh) | 一种基于新型巴氏染色方法的异常宫颈细胞自动识别方法 | |
| CN106997605B (zh) | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 | |
| CN112326961B (zh) | 一种非小细胞肺癌中pd-l1阳性肿瘤细胞比例的分析方法和存储设备 | |
| CN110363719A (zh) | 一种细胞分层图像处理方法及*** | |
| CN110415255A (zh) | 一种免疫组化病理图像cd3阳性细胞核分割方法及*** | |
| WO2023035728A1 (zh) | 一种基于免疫组化生成训练数据的方法和存储设备 | |
| CN107886471B (zh) | 一种基于超像素投票模型的照片多余物体去除方法 | |
| CN106706643B (zh) | 一种肝癌对比切片检测方法 | |
| CN112270684B (zh) | 一种显微图像免疫组化虚拟多重标记及分析方法及*** | |
| CN114187334B (zh) | 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法 | |
| CN117670794A (zh) | 一种基于深度学习的tls病理检测方法、装置及介质 | |
| CN105913434B (zh) | 一种白细胞定位和迭代分割方法 | |
| CN113947599B (zh) | 一种胞浆型阳性免疫组化智能识别方法、***及介质 | |
| CN115266282B (zh) | 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 | |
| CN112233151A (zh) | 一种自动确认浸润性乳腺癌区域*** | |
| Silva | Dynamic Occlusion Handling for Real-Time AR Applications | |
| Subhasri et al. | SUPER PIXEL BASED VIRTUAL TEXTURE MAPPING OF IMAGE SYNTHESIS. | |
| Miyamoto et al. | Multimodal method for extracting nuclei in hepatic histological images | |
| CN111430011A (zh) | 细胞染色图像的显示方法、处理方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |