CN115266282A - 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 - Google Patents

基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 Download PDF

Info

Publication number
CN115266282A
CN115266282A CN202110484662.0A CN202110484662A CN115266282A CN 115266282 A CN115266282 A CN 115266282A CN 202110484662 A CN202110484662 A CN 202110484662A CN 115266282 A CN115266282 A CN 115266282A
Authority
CN
China
Prior art keywords
immersing
staining
washing
image
1min
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110484662.0A
Other languages
English (en)
Other versions
CN115266282B (zh
Inventor
庞宝川
郝宗杰
肖笛
龙莉
曹得华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Landing Medical High Tech Co ltd
Original Assignee
Wuhan Landing Medical High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Landing Medical High Tech Co ltd filed Critical Wuhan Landing Medical High Tech Co ltd
Priority to CN202110484662.0A priority Critical patent/CN115266282B/zh
Publication of CN115266282A publication Critical patent/CN115266282A/zh
Application granted granted Critical
Publication of CN115266282B publication Critical patent/CN115266282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00Sampling; Preparing specimens for investigation
    • G01N1/28Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及病理图像处理领域,提供一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,包括以下步骤:S1、以连续病理组织分别制备HE染色、Ki67和P16样片;S2、扫描HE染色、Ki67和P16样片的全景图片,并拼接;S3、将HE染色、Ki67和P16样片进行融合;S4、在融合后的图片中识别出非正常区域和/或正常区域;通过以上步骤实现病理图像自动识别。通过采用将HE染色、Ki67、P16三种方法的图像进行融合后再识别的方案,能够便于人和人工智能快速读取融合后的图像中所包含的诊断信息,尤其是便于实现人工智能的识别,提高识别效率和精度。

Description

基于HE染色、Ki67、P16三种方法结合的病理图像自动识别 方法
技术领域
本发明涉及病理图像处理,属于机器学习神经网络模型领域,特别是一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法。
背景技术
很多研究表明,异常病理组织通常发生很明显的变化,比如异常病理组织在形态结构、纹理特征等方面都和正常病理组织具有较明显的区别,异常病理组织通常会呈现出较大的异型性,大小不一、形状各异;在纹理层面上,由于组织***异常,导致染色质固缩成块,纹理粗糙,另外这也会导致组织内部DNA含量增加。上述病理组织的异常特征为计算机根据病理组织识别异常病理组织提供了病理学基础。例如,乐桂花在P16与 Ki67的表达在子宫颈病变诊断中的应用中记载了P16阳性表达主要集中在细胞核与细胞质部,且呈现出棕黄色的颗粒形态。Ki67阳性表达则主要位于细胞核,呈现棕黄色颗粒形态表示为阳性。
目前很多研究基于病理组织的特征来识别异常病理组织,大致分为两种方法,方法一:直接基于深度学习技术提取病理组织的特征,使用卷积神经网络模型自动提取病理组织图像的特征,然后构建病理组织分类器,从而检测异常病理组织。但是由于深度学习缺乏可解释性,所提取的特征意义不明确,导致这种方法并不能一直保持良好的性能和准确性,例如 CN108898160A记载的基于CNN和影像组学特征融合的乳腺癌组织病理学分级方法。方法二:手动对病理组织和病理组织整体轮廓进行分割,然后提取组织的各种形态特征、纹理特征等。但是由于病理组织玻片制片或者染色的问题,导致病理异常组织常常与正常病理组织分界不清,这为异常病理组织的分割带来了很大的困难,区域分割不准确会导致所提取的病理组织的特征不准确,所以方法二的奏效与否严重依赖于病理组织的准确分割,而且手工处理效率极低。
异常病理组织的免疫组化检测相对于正常病理组织而言通常会有显著的阴阳性对比,所以这是区分异常病理组织的显著特征。然而目前在很多异常病理组织自动化识别的研究中,还没有研究者将免疫组化检测的阴阳性区域特征用于识别异常病理组织。综上所述,目前急迫的需要一种能够有效地挖掘并利用病理组织的异常特征、可解释性高、能够一直保持较高的诊断精度及具有较高诊断效率的异常病理组织自动诊断方法。
发明内容
本发明所要解决的技术问题是提供一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,能够大幅提高人工智能模型的可解读性,而且能够提高性能和识别准确性。
为解决上述技术问题,本发明所采用的技术方案是:一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,包括以下步骤:
S1、以连续病理组织分别制备HE染色、Ki67和P16样片;
S2、扫描HE染色、Ki67和P16样片的全景图片,并拼接;
S3、将HE染色、Ki67和P16样片进行融合;
S4、在融合后的图片中识别出非正常区域和/或正常区域;
通过以上步骤实现病理图像自动识别。
优选的方案在步骤S1中,包括S1.1、取材,取连续病理组织,以确保各个连续病理组织的图像一致;
S1.2、固定;
S1.3、脱水透明;
S1.4、浸蜡、包埋;
S1.5、切片、贴片;每组连续病理组织的样片至少制备三片,分别用于HE染色和Ki67、P16两种免疫组化检查。
优选的方案中,HE染色的制备步骤为:
HE是指苏木素伊红(HE)染色液。
S 2.1、石蜡切片浸入松节油中5min;
S 2.2切片浸入松节油中5min;
S 2.3、浸入无水乙醇1min;
S 2.4、浸入新的无水乙醇1min;
S 2.5、浸入95%乙醇1min;
S 2.6、浸入新的95%乙醇1min;
S 2.7、浸入85%乙醇1min;
S 2.8、浸入水洗1min,沥干;
S 2.9、浸入苏木素15min;
S 2.10、水洗1min,沥干;
S 2.11、浸入0.5%盐酸酒精分化3s;
S 2.12、水洗3次,沥干;
S 2.13、浸入1%氨水返蓝2min;
S 2.14、水洗3次,沥干;
S 2.15、浸入1%伊红2min;
S 2.16、浸入水洗3次,沥干;
S 2.17、浸入95%乙醇1min;
S 2.18、浸入新的95%乙醇1min;
S 2.19、浸入无水乙醇1min;
S 2.20、吹风吹半干,松节油2min;
S 2.21、浸入松节油2min;
S 2.22、中性树胶封片;
通过以上步骤得到HE染色的样片。
优选的方案中,免疫组化P16、Ki67样片的制备步骤如下:
S 3.1、浸入松节油10min;脱腊工序;
S 3.2、浸入无水乙醇1min;水化工序;
S 3.3、浸入无水乙醇1min;水化工序;
S 3.4、浸入95%乙醇1min;水化工序;
S 3.5、浸入95%乙醇数秒;水化工序;
S 3.6、浸入85%乙醇数秒;水化工序;
S 3.7、自来水洗;一直浸泡水中;
S 3.8、片子用前分两架,分别对应P16、Ki67样片,样片放入纯净水盒中备用;
S 3.9、配置修复液:
a)30mlEDTA抗原修复液+1470ml纯净水;
b)将配置好的a)加入压力锅中,不盖盖,中火煮沸后将样本架放入锅中,盖盖,连续冒气后计时2min;以暴露抗原;
S 3.10、以冷水降温压力锅外壁;
S 3.11、取出片架放入冷纯净水中;
S 3.12、换水一次;洗去修复液;
S 3.13、在湿盒中摆片;将P16、Ki67样片分开摆放;
S 3.14、浸入PBS即磷酸盐缓冲生理盐水水洗;
S 3.15、组化笔画圈;
S 3.16、浸入PBS即磷酸盐缓冲生理盐水水洗;
S 3.17、浸入3%过氧化氢溶液5min;以3%过氧化氢溶液作为阻断剂;
S 3.18、浸入PBS水洗5min;
S 3.19、浸入PBS水洗5min;
S 3.20、甩干玻片,加一抗1-2滴,40min;室温,一抗即第一抗体是能和非抗体性抗原即特异性抗原特异性结合的蛋白;P16和Ki67采用不同的抗原获得不同的样片;
S 3.21、浸入PBS水洗5min;
S 3.22、浸入PBS水洗5min;
S 3.23、甩干玻片,加二抗1-2滴,20min;室温,二抗即第二抗体是能和抗体结合,即抗体的抗体,其主要作用是检测抗体的存在,放大一抗的信号;P16和Ki67采用不同的抗原获得不同的样片;
S 3.24、浸入PBS水洗5min;
S 3.25、浸入PBS水洗5min;
S 3.26、配制c)DAB底物缓冲液:DAB显色剂50:1;
d)取配置好的c)1-2滴滴加于样本玻片上,避光显色10min;
S 3.27、上架,多次自来水洗,以终止显色;
S 3.28、浸入苏木素2min;
S 3.29、自来水洗;
S 3.30、0.8%盐酸酒精分化1-2次;不超过10秒;
S 3.31、自来水洗;
S 3.32、1%氨水返蓝;
S 3.33、自来水洗;
S 3.34、浸入95%乙醇;
S 3.35、浸入95%乙醇;
S 3.36、浸入无水乙醇;
S 3.37、浸入无水乙醇;
S 3.38、浸入吹半干封片;
通过以上步骤得到高对比度的免疫组化P16、Ki67样片。
优选的方案中,拼接方法为:
4.1、制作一个新的空白图层;
4.2、读入扫描图像数据;
4.3、从扫描设备中读取图像对应的行列数据,所述的行列数据在扫描设备中经过精确的标定,分别生成0至最大行数和0至最大列数的两个整数序列,这两个整数序列就是图像在全景数据中的行索引号和列索引号,通过行索引号和列索引号找到在原始图像中某行某列的图像位置和0位置初始图像相对应的图像和图像信息;
4.4、根据行索引号和列索引号将两个序列的图像阵列读入;
4.5、将读入的阵列图像,根据索引位置复制到空白图层中相应区域,即将图像一张一张拼接到空白图层中,形成所需要的原始图像;
通过以上步骤完成HE染色、免疫组化P16、Ki67全景图像的自动拼接。
优选的在步骤S3中:将连续病理组织相对应的HE染色、免疫组化P16、Ki67的图片文件进行叠加,上层的图片设置透明度和/或不同叠加模式,通过以上步骤获得基于HE染色、Ki67和P16的叠加图像。
优选的在步骤S3中:融合采用cv2.addWeighted加权平均值进行叠加,设置各个图片的不连续区块作为特征点一一对齐;
设置各个图片的不连续或者纹理复杂区块作为特征点区块,通过移动、旋转和缩放顺序操作一一对齐;其中移动、旋转和缩放为操作顺序,即首先进行移动操作,判断是否对齐;若否,在进行旋转操作,判断是否对齐;若否,再进行缩放操作,不断循环迭代实现对齐。
优选的在步骤S3中:
以HE染色图片作为底层,对HE染色图片中高亮度值以外的区块轮廓进行跟踪,形成区块轮廓路径;
Ki67的图片位于HE染色图片上方作为第二层,透明度取30~100%,叠加方式为纹理叠加,即读取Ki67中反映对比度差异的数据进行叠加,以将亮度数据进行亮度加权叠加计算,以预设值或亮度区域为基准,使亮度通道数据的亮度和暗影分别对其他层的图片进行强化,以强化融合图的纹理表达;
P16的图片位于Ki67的图片最上方,透明度取30~100%,叠加方式为颜色叠加以颜色叠加的方式获得清晰的区域差异。
进一步优选的在步骤S3中:复制Ki67的图片位于第二层的上方,透明度取30~100%,叠加方式为颜色叠加。
优选的在步骤S4中:对融合全景图像进行K聚类分析,期望标签数设为2,返回label标签和center中心,以将非正常区域和正常区域分开,并能给出各区域占比数据。
本发明提供的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,通过采用将HE染色、Ki67、P16三种方法的图像进行融合后再识别的方案,能够便于人和人工智能快速读取融合后的图像中所包含的诊断信息,尤其是便于实现人工智能的识别,提高识别效率和精度。与单独的图像识别相比,本发明的方法能够一次识别即给出非正常区域的标识,并给出非正常区域与正常区域之间的占比。
附图说明
下面结合附图和实施例对本发明作进一步说明:
图1为本发明第一实例的基于HE的染色拼接图像。
图2为本发明第一实例的基于Ki67的拼接图像。
图3为本发明第一实例的基于P16的拼接图像。
图4为本发明第一实例的基于HE、Ki67和P16的融合图像。
图5为本发明第一实例的自动识别标记后的图像。
图6为本发明第二实例的基于HE的染色拼接图像。
图7为本发明第二实例的基于Ki67的拼接图像。
图8为本发明第二实例的基于P16的拼接图像。
图9为本发明第二实例的基于HE、Ki67和P16的融合图像。
图10为本发明第二实例的自动识别标记后的图像。
具体实施方式
一、本发明样本制备的步骤如下:
1、制作样片的步骤为:
1.1、取材,取连续病理组织,以确保各个连续病理组织的图像基本一致;
1.2、固定;
1.3、脱水透明;
1.4、浸蜡、包埋;
1.5、切片、贴片。每组连续病理组织的样片至少制备三片,分别用于HE染色和Ki67、P16两种免疫组化检查。
2、HE染色
HE是指苏木素伊红(HE)染色液。
2.1、石蜡切片浸入松节油中5min;脱腊工序;
2.2 、切片浸入松节油中5min;脱腊工序;
2.3、浸入无水乙醇1min;水化工序;
2.4、浸入新的无水乙醇1min;水化工序;
2.5、浸入95%乙醇1min;水化工序;
2.6、浸入新的95%乙醇1min;水化工序;
2.7、浸入85%乙醇1min;水化工序;
2.8、浸入水洗1min,沥干;水化工序;
2.9、浸入苏木素15min;染色工序;
2.10、水洗1min,沥干;染色工序;
2.11、浸入0.5%盐酸酒精分化3s;染色工序;
2.12、水洗3次,沥干;染色工序;
2.13、浸入1%氨水返蓝2min;染色工序;
2.14、水洗3次,沥干;染色工序;
2.15、浸入1%伊红2min;染色工序;
2.16、浸入水洗3次,沥干;染色工序;
2.17、浸入95%乙醇1min;染色工序;
2.18、浸入新的95%乙醇1min;染色工序;
2.19、浸入无水乙醇1min;染色工序;
2.20、吹风吹半干,松节油2min;封片工序;
2.21、浸入松节油2min;封片工序;
2.22、中性树胶封片;封片工序。
通过以上步骤得到HE染色的样片,如图1、6中所示。
3、免疫组化P16、Ki67
免疫组化P16、Ki67样片的制备步骤如下:
3.1、浸入松节油10min;脱腊工序;
3.2、浸入无水乙醇1min;水化工序;
3.3、浸入无水乙醇1min;水化工序;
3.4、浸入95%乙醇1min;水化工序;
3.5、浸入95%乙醇数秒;水化工序;
3.6、浸入85%乙醇数秒;水化工序;
3.7、自来水洗;一直浸泡水中;
3.8、片子用前分两架,分别对应P16、Ki67样片,样片放入纯净水盒中备用;
3.9、配置修复液:
a)30mlEDTA抗原修复液+1470ml纯净水;
b)将配置好的a)加入压力锅中,不盖盖,中火煮沸后将样本架放入锅中,盖盖,连续冒气后计时2min;以暴露抗原;
3.10、以冷水降温压力锅外壁;
3.11、取出片架放入冷纯净水中;
3.12、换水一次;洗去修复液;
3.13、在湿盒中摆片;将P16、Ki67样片分开摆放;
3.14、浸入PBS即磷酸盐缓冲生理盐水水洗;
3.15、组化笔画圈;
3.16、浸入PBS即磷酸盐缓冲生理盐水水洗;
3.17、浸入3%过氧化氢溶液5min;以3%过氧化氢溶液作为阻断剂;
3.18、浸入PBS水洗5min;
3.19、浸入PBS水洗5min;
3.20、甩干玻片,加一抗1-2滴,40min;室温,一抗即第一抗体是能和非抗体性抗原即特异性抗原特异性结合的蛋白。P16和Ki67采用不同的抗原获得不同的样片。
3.21、浸入PBS水洗5min;
3.22、浸入PBS水洗5min;
3.23、甩干玻片,加二抗1-2滴,20min;室温,二抗即第二抗体是能和抗体结合,即抗体的抗体,其主要作用是检测抗体的存在,放大一抗的信号。P16和Ki67采用不同的抗原获得不同的样片。
3.24、浸入PBS水洗5min;
3.25、浸入PBS水洗5min;
3.26、配制c)DAB底物缓冲液:DAB显色剂50:1。DAB染色液为市售的产品,通常包括三种组分,在使用时现配现用。其中组分A为过氧化物酶标记物;组分B为DAB底物缓冲液,组分C为DAB显色剂。
操作时,1ml底物缓冲液中滴加1滴显色剂,即1滴组分C 滴加到1ml组分B中,吸管吹打混匀,避免产生气泡;
d)取c)1-2滴滴加于样本玻片上,避光显色10min;
3.27、上架,多次自来水洗,以终止显色。
3.28、浸入苏木素2min;
3.29、自来水洗;
3.30、0.8%盐酸酒精分化1-2次;不超过10秒;
3.31、自来水洗;
3.32、1%氨水返蓝;
3.33、自来水洗;
3.34、浸入95%乙醇;
3.35、浸入95%乙醇;
3.36、浸入无水乙醇;
3.37、浸入无水乙醇;
3.38、浸入吹半干封片。通过以上步骤得到免疫组化P16、Ki67样片。该步骤获取的样片图像对比度较高,便于后继由人或人工智能进行识别,如图2、3、7、8中所示。
四、对HE染色、免疫组化P16、Ki67进行全景扫描和拼接。
扫描的步骤采用自动连续扫描,拼接采用自动拼接,例如CN201911112866.0中记载的基于手机的微型显微图像采集装置及图像拼接、识别方法。或者CN201910964425 .7中记载的人工智能云诊断平台。
又或者采用如下的步骤:
4.1、制作一个新的空白图层;
4.2、读入扫描图像数据;
4.3、从扫描设备中读取图像对应的行列数据,所述的行列数据在扫描设备中经过精确的标定,分别生成0至最大行数和0至最大列数的两个整数序列,这两个整数序列就是图像在全景数据中的行索引号和列索引号,之后通过行索引号和列索引号找到在原始图像中某行某列的图像位置和0位置初始图像相对应的图像和图像信息。
4.4、根据行索引号和列索引号将两个序列的图像阵列读入;
4.5、将读入的阵列图像,根据索引位置复制到空白图层中相应区域,即将图像一张一张拼接到空白图层中,形成所需要的原始图像,完成HE染色、免疫组化P16、Ki67全景图像的自动拼接。
在本例中,通过对扫描设备的精确标定,实现了无需经过计算的自动拼接,与现有技术中CN201911112866.0经过计算后拼接的方案相比,大幅提高了读取和拼接的效率,减少了大量的运算时间。
在优选的方案中,将样片的全景图像转换为BGR通道顺序,以适应人工智能算法模型。将数据类型转换为float32类型,以提高数据精度。
五、对HE染色、免疫组化P16、Ki67的全景图像进行融合并标注
5.1、将HE染色、免疫组化P16、Ki67的全景图像的center的数据类型转为uint8,提高处理速度。
5.2、将center作为数组,label作为数组标签,将center[label],保存为可读的通用图像格式,例如TIF、JPG。
分别得到HE染色、免疫组化P16、Ki67的图片文件。
5.3、将连续病理组织相对应的各一张HE染色、免疫组化P16、Ki67的图片文件进行叠加,上层的图片设置透明度和/或不同叠加模式,保存为融合全景图像的图片文件。参见图4、9所示。
优选的方案中,融合采用cv2.addWeighted加权平均值进行叠加,设置各个图片的不连续区块作为特征点一一对齐。即设置图像中不连续的区块或者纹理较为丰富的区块作为特征点,将该特征点区块,通过移动、旋转和缩放顺序操作一一对齐。其中移动、旋转和缩放为操作顺序,即首先进行移动操作,判断是否对齐;若否,在进行旋转操作,判断是否对齐;若否,再进行缩放操作,不断循环迭代实现对齐。
优选的方案中,以HE染色图片作为底层,对HE染色图片中高亮度值以外的区块轮廓进行跟踪,形成区块轮廓路径,由此方案,通过对整个轮廓的表达,便于评估各个区域占比。此处高亮度值采用设定值,例如BGR模式下亮度超过215:215:215的值,或者建立人工智能模型,以HE染色图片作为数据集,通过labelImg对这些图片进行标注,将数据集分为训练集和测试集,采用darknet53网络进行训练,提高特征提取效率。Darknet-53由一系列的1×1、3×3的卷积块,即Convolutional以及残差块,即Residual组成,卷积块是由卷积层con2d、批归一化层BN、带泄露修正线性单元Leaky ReLU层组合而成,同时为了适应目标检测任务 Darknet-53去掉了池化层与全连接层,改用步长为2的卷积来进行下采样,从而提高训练效率。
Ki67的图片位于HE染色图片上方作为第二层,透明度取30~100%,叠加方式为纹理叠加,即读取Ki67中反映对比度差异的数据进行叠加,例如选择lab模式,以将亮度通道数据进行亮度加权叠加计算,以预设值或亮度区域为基准,使亮度通道数据的亮度和暗影分别对其他层的图片进行强化,即亮的更亮而暗的更暗。以强化融合图的纹理,尤其是细胞内纹理表达。由于Ki67主要表达增生的活跃性,主要是表达染细胞核。通过纹理能够观察的更加清楚细胞核的情形。
优选的方案中,复制Ki67的图片位于第二层的上方,透明度取30~100%,叠加方式为颜色叠加。进一步优选的,在该层中仅选取棕黄色的区域作为颜色叠加。
P16的图片位于Ki67的图片最上方,透明度取30~100%,叠加方式为颜色叠加,P16阳性反映为弥漫连续棕黄色表达,表达部位为胞浆及细胞核。以颜色叠加的方式能够获得较为清晰的区域差别。如图4、9中所示。融合后的图像还能够尽可能表达各自包含的诊断信息。
5.4、对融合全景图像进行K聚类分析,期望标签数设为2,返回label标签和center中心,K聚类用于将细致的非正常区域和正常区域分开,并能给出各区域占比数据,以辅导医师诊断。参见图5、图10中所示。经过融合后的图像,除了便于标注出非正常区域,还能够非常方便的统计得出非正常区域和正常区域的占比数据。
优选的,采用cv2.kmeans对融合全景图像进行K聚类分析。
第一步:确定K值,聚类成K个类簇。本例中选择2。
第二步:从数据中随机选择或按照某种方式的K个数据点作为初始分类的中心。
第三步:分别计算数据中每个点到每个中心的距离,将每个点划分到离中心最近的类中;
第四步:当每个中心都划分了一些点后,去每个类的均值,选出新的中心。
第五步:比较新的中心和之前的中心,如果新的中心和之前的中心之间的距离小于某阈值,或迭代次数超过某阈值,认为聚类已经收敛,终止。
第六步:否则继续迭代执行第三到五步,直到第五步满足。
获得聚类模型。建立数据集,对聚类模型加以训练。通过以上方式获得用于标注非正常区域和/或正常区域的聚类模型。
上述的实施例仅为本发明的优选技术方案,而不应视为对于本发明的限制,本申请中的实施例及实施例中的特征在不冲突的情况下,可以相互任意组合。本发明的保护范围应以权利要求记载的技术方案,包括权利要求记载的技术方案中技术特征的等同替换方案为保护范围。即在此范围内的等同替换改进,也在本发明的保护范围之内。

Claims (10)

1.一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是包括以下步骤:
S1、以连续病理组织分别制备HE染色、Ki67和P16样片;
S2、扫描HE染色、Ki67和P16样片的全景图片,并拼接;
S3、将HE染色、Ki67和P16样片进行融合;
S4、在融合后的图片中识别出非正常区域和/或正常区域;
通过以上步骤实现病理图像自动识别。
2.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是:
在步骤S1中,包括S1.1、取材,取连续病理组织,以确保各个连续病理组织的图像一致;
S1.2、固定;
S1.3、脱水透明;
S1.4、浸蜡、包埋;
S1.5、切片、贴片;每组连续病理组织的样片至少制备三片,分别用于HE染色和Ki67、P16两种免疫组化检查。
3.根据权利要求2所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是:
HE染色的制备步骤为:
HE是指苏木素伊红(HE)染色液;
S 2.1、石蜡切片浸入松节油中5min;
S 2.2切片浸入松节油中5min;
S 2.3、浸入无水乙醇1min;
S 2.4、浸入新的无水乙醇1min;
S 2.5、浸入95%乙醇1min;
S 2.6、浸入新的95%乙醇1min;
S 2.7、浸入85%乙醇1min;
S 2.8、浸入水洗1min,沥干;
S 2.9、浸入苏木素15min;
S 2.10、水洗1min,沥干;
S 2.11、浸入0.5%盐酸酒精分化3s;
S 2.12、水洗3次,沥干;
S 2.13、浸入1%氨水返蓝2min;
S 2.14、水洗3次,沥干;
S 2.15、浸入1%伊红2min;
S 2.16、浸入水洗3次,沥干;
S 2.17、浸入95%乙醇1min;
S 2.18、浸入新的95%乙醇1min;
S 2.19、浸入无水乙醇1min;
S 2.20、吹风吹半干,松节油2min;
S 2.21、浸入松节油2min;
S 2.22、中性树胶封片;
通过以上步骤得到HE染色的样片。
4.根据权利要求2所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是:
免疫组化P16、Ki67样片的制备步骤如下:
S3.1、浸入松节油10min;脱腊工序;
S3.2、浸入无水乙醇1min;水化工序;
S3.3、浸入无水乙醇1min;水化工序;
S3.4、浸入95%乙醇1min;水化工序;
S3.5、浸入95%乙醇数秒;水化工序;
S3.6、浸入85%乙醇数秒;水化工序;
S3.7、自来水洗;一直浸泡水中;
S3.8、片子用前分两架,分别对应P16、Ki67样片,样片放入纯净水盒中备用;
S3.9、配置修复液:
a)30mlEDTA抗原修复液+1470ml纯净水;
b)将配置好的a)加入压力锅中,不盖盖,中火煮沸后将样本架放入锅中,盖盖,连续冒气后计时2min;以暴露抗原;
S3.10、以冷水降温压力锅外壁;
S3.11、取出片架放入冷纯净水中;
S3.12、换水一次;洗去修复液;
S3.13、在湿盒中摆片;将P16、Ki67样片分开摆放;
S3.14、浸入PBS即磷酸盐缓冲生理盐水水洗;
S3.15、组化笔画圈;
S3.16、浸入PBS即磷酸盐缓冲生理盐水水洗;
S3.17、浸入3%过氧化氢溶液5min;以3%过氧化氢溶液作为阻断剂;
S3.18、浸入PBS水洗5min;
S3.19、浸入PBS水洗5min;
S3.20、甩干玻片,加一抗1-2滴,40min;室温,一抗即第一抗体是能和非抗体性抗原即特异性抗原特异性结合的蛋白;P16和Ki67采用不同的抗原获得不同的样片;
S3.21、浸入PBS水洗5min;
S3.22、浸入PBS水洗5min;
S3.23、甩干玻片,加二抗1-2滴,20min;室温,二抗即第二抗体是能和抗体结合,即抗体的抗体,其主要作用是检测抗体的存在,放大一抗的信号;P16和Ki67采用不同的抗原获得不同的样片;
S3.24、浸入PBS水洗5min;
S3.25、浸入PBS水洗5min;
S3.26、配制c)DAB底物缓冲液:DAB显色剂50:1;
d)取配置好的c)1-2滴滴加于样本玻片上,避光显色10min;
S3.27、上架,多次自来水洗,以终止显色;
S3.28、浸入苏木素2min;
S3.29、自来水洗;
S3.30、0.8%盐酸酒精分化1-2次;不超过10秒;
S3.31、自来水洗;
S3.32、1%氨水返蓝;
S3.33、自来水洗;
S3.34、浸入95%乙醇;
S3.35、浸入95%乙醇;
S3.36、浸入无水乙醇;
S3.37、浸入无水乙醇;
S3.38、浸入吹半干封片;
通过以上步骤得到高对比度的免疫组化P16、Ki67样片。
5.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S2所述的拼接方法为:
4.1、制作一个新的空白图层;
4.2、读入扫描图像数据;
4.3、从扫描设备中读取图像对应的行列数据,所述的行列数据在扫描设备中经过精确的标定,分别生成0至最大行数和0至最大列数的两个整数序列,这两个整数序列就是图像在全景数据中的行索引号和列索引号,通过行索引号和列索引号找到在原始图像中某行某列的图像位置和0位置初始图像相对应的图像和图像信息;
4.4、根据行索引号和列索引号将两个序列的图像阵列读入;
4.5、将读入的阵列图像,根据索引位置复制到空白图层中相应区域,即将图像一张一张拼接到空白图层中,形成所需要的原始图像;
通过以上步骤完成HE染色、免疫组化P16、Ki67全景图像的自动拼接。
6.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S3中:将连续病理组织相对应的HE染色、免疫组化P16、Ki67的图片文件进行叠加,上层的图片设置透明度和/或不同叠加模式,通过以上步骤获得基于HE染色、Ki67和P16的叠加图像。
7.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S3中:融合采用cv2.addWeighted加权平均值进行叠加,设置各个图片的不连续区块作为特征点一一对齐;
设置各个图片的不连续或者纹理复杂区块作为特征点区块,通过移动、旋转和缩放顺序操作一一对齐;其中移动、旋转和缩放为操作顺序,即首先进行移动操作,判断是否对齐;若否,在进行旋转操作,判断是否对齐;若否,再进行缩放操作,不断循环迭代实现对齐。
8.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S3中:
以HE染色图片作为底层,对HE染色图片中高亮度值以外的区块轮廓进行跟踪,形成区块轮廓路径;
Ki67的图片位于HE染色图片上方作为第二层,透明度取30~100%,叠加方式为纹理叠加,即读取Ki67中反映对比度差异的数据进行叠加,以将亮度数据进行亮度加权叠加计算,以预设值或亮度区域为基准,使亮度通道数据的亮度和暗影分别对其他层的图片进行强化,以强化融合图的纹理表达;
P16的图片位于Ki67的图片最上方,透明度取30~100%,叠加方式为颜色叠加以颜色叠加的方式获得清晰的区域差异。
9.根据权利要求8所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S3中:复制Ki67的图片位于第二层的上方,透明度取30~100%,叠加方式为颜色叠加。
10.根据权利要求1所述的一种基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法,其特征是步骤S4中:对融合全景图像进行K聚类分析,期望标签数设为2,返回label标签和center中心,以将非正常区域和正常区域分开,并能给出各区域占比数据。
CN202110484662.0A 2021-04-30 2021-04-30 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法 Active CN115266282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484662.0A CN115266282B (zh) 2021-04-30 2021-04-30 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484662.0A CN115266282B (zh) 2021-04-30 2021-04-30 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法

Publications (2)

Publication Number Publication Date
CN115266282A true CN115266282A (zh) 2022-11-01
CN115266282B CN115266282B (zh) 2023-07-21

Family

ID=83745244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484662.0A Active CN115266282B (zh) 2021-04-30 2021-04-30 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法

Country Status (1)

Country Link
CN (1) CN115266282B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044849A1 (en) * 2006-08-15 2008-02-21 Alfred Bocking Method for cell analysis
CN106373088A (zh) * 2016-08-25 2017-02-01 中国电子科技集团公司第十研究所 大倾斜低重叠率航空图像的快速拼接方法
CN107451985A (zh) * 2017-08-01 2017-12-08 中国农业大学 一种小鼠舌头切片显微序列图像的拼接方法
CN110363706A (zh) * 2019-06-26 2019-10-22 杭州电子科技大学 一种大面积桥面图像拼接方法
CN111180048A (zh) * 2019-12-30 2020-05-19 上海研境医疗科技有限公司 肿瘤成分标注方法、装置、设备及存储介质
CN111766125A (zh) * 2020-07-29 2020-10-13 广州金域医学检验中心有限公司 利用荧光淬灭时间差进行的染色方法及自动染色装置、设备和介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080044849A1 (en) * 2006-08-15 2008-02-21 Alfred Bocking Method for cell analysis
CN106373088A (zh) * 2016-08-25 2017-02-01 中国电子科技集团公司第十研究所 大倾斜低重叠率航空图像的快速拼接方法
CN107451985A (zh) * 2017-08-01 2017-12-08 中国农业大学 一种小鼠舌头切片显微序列图像的拼接方法
CN110363706A (zh) * 2019-06-26 2019-10-22 杭州电子科技大学 一种大面积桥面图像拼接方法
CN111180048A (zh) * 2019-12-30 2020-05-19 上海研境医疗科技有限公司 肿瘤成分标注方法、装置、设备及存储介质
CN111766125A (zh) * 2020-07-29 2020-10-13 广州金域医学检验中心有限公司 利用荧光淬灭时间差进行的染色方法及自动染色装置、设备和介质

Also Published As

Publication number Publication date
CN115266282B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
US11682192B2 (en) Deep-learning systems and methods for joint cell and region classification in biological images
JP7197584B2 (ja) デジタル病理学分析結果の格納および読み出し方法
CN110472616B (zh) 图像识别方法、装置、计算机设备及存储介质
CN112435243A (zh) 一种全切片数字病理图像的自动分析***及方法
CN112326961B (zh) 一种非小细胞肺癌中pd-l1阳性肿瘤细胞比例的分析方法和存储设备
CN113574534A (zh) 使用基于距离的相似性标签的机器学习
CN108074243A (zh) 一种细胞定位方法以及细胞分割方法
CN107328776A (zh) 一种免疫层析试纸卡的快速检测方法
US11959848B2 (en) Method of storing and retrieving digital pathology analysis results
CN113762379B (zh) 一种基于免疫组化生成训练数据的方法和存储设备
CN106706643B (zh) 一种肝癌对比切片检测方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN113554638A (zh) 一种芯片表面缺陷检测模型建立方法和***
CN110060229A (zh) 一种骨髓白细胞的细胞自动定位分割方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN116057538A (zh) 使用排斥编码学习的用于细胞定位和分类的机器学习模型
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
CN117670794A (zh) 一种基于深度学习的tls病理检测方法、装置及介质
CN114387596A (zh) 细胞病理涂片自动判读***
Brázdil et al. Automated annotations of epithelial cells and stroma in hematoxylin–eosin‐stained whole‐slide images using cytokeratin re‐staining
CN112270684A (zh) 一种显微图像免疫组化虚拟多重标记及分析方法及***
CN115266282A (zh) 基于HE染色、Ki67、P16三种方法结合的病理图像自动识别方法
EP3803686A1 (en) Predicting cancer recurrence from spatial multi-parameter cellular and subcellular imaging data
CN114187334B (zh) 基于HE染色、Ki67、P16结合的相邻切片图像叠合对齐方法
CN111368872A (zh) 基于融合特征和验证模型的乳腺癌有丝***细胞检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant