CN115954100B - 胃癌病理图像智能辅助诊断*** - Google Patents
胃癌病理图像智能辅助诊断*** Download PDFInfo
- Publication number
- CN115954100B CN115954100B CN202211614736.9A CN202211614736A CN115954100B CN 115954100 B CN115954100 B CN 115954100B CN 202211614736 A CN202211614736 A CN 202211614736A CN 115954100 B CN115954100 B CN 115954100B
- Authority
- CN
- China
- Prior art keywords
- diagnosis
- pathological section
- module
- pathological
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 98
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 32
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 32
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 32
- 230000007170 pathology Effects 0.000 title claims abstract description 19
- 230000001575 pathological effect Effects 0.000 claims abstract description 80
- 238000004043 dyeing Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000012552 review Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 210000004027 cell Anatomy 0.000 claims description 14
- 206010028980 Neoplasm Diseases 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 201000011510 cancer Diseases 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000011278 mitosis Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 5
- 238000004821 distillation Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004393 prognosis Methods 0.000 claims description 3
- 206010066054 Dysmorphism Diseases 0.000 claims description 2
- 210000003855 cell nucleus Anatomy 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 8
- 238000001574 biopsy Methods 0.000 description 5
- 238000010827 pathological analysis Methods 0.000 description 5
- 230000004083 survival effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 2
- 230000000394 mitotic effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010017993 Gastrointestinal neoplasms Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000009956 adenocarcinoma Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 208000037976 chronic inflammation Diseases 0.000 description 1
- 230000006020 chronic inflammation Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002175 menstrual effect Effects 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002062 proliferating effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000405 serological effect Effects 0.000 description 1
- 238000009977 space dyeing Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
胃癌病理图像智能辅助诊断***，本发明涉及人工智能、医疗诊断、深度学习、辅助诊断***。***包括：信息采集模块用于录入患者基本信息、切片信息；所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并传递给所述病理切片图像预处理模块；病理切片图像预处理模块用于病理切片图像的染色风格标准化；阴阳性样本判别模块用于对染色风格标准化后的病理切片图像做阴阳性判别；分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，通过报告生成模块生成最终诊断报告。本发明用于智能病理图像智能诊断领域。
Description
技术领域
本发明涉及人工智能、医疗诊断、深度学习、辅助诊断***。
背景技术
癌症，现已成为中国高发疾病之一。根据有关数据研究发现，截止2020年，我国恶性肿瘤新发病例457万人，死亡病例300万人。正如《健康中国行动(2019～2030年)》发布，癌症患者承受着沉重的疾病负担，存在着巨大的未满足需求。在中国，每10分钟就有55人死于癌症；全球约有50％的胃癌、肝癌和食道癌病例来自中国。其中胃癌新发病例约有48万，占10.8％，位列前三。胃肠道癌占中国癌症相关死亡人数的45％。由于胃壁和结肠壁分为五层，早期胃癌几乎不会发生转移，直接局部切除病灶部位就有很大希望痊愈。胃癌的预后与诊断时机密切相关，早期胃癌患者，手术治疗后的5年生存率可超过90％。中晚期胃癌5年生存率仍低于30％～50％。美国癌症协会数据显示，最早期胃癌(一期第一阶段)的5年存活率可达71％，最晚期胃癌(四期)的5年存活率只有4％，且治疗效果差、费用高，给患者家庭及社会带来沉重的经济及心理负担。因此，早发现早治疗是目前应对胃癌唯一有效的手段。目前，胃癌筛查手段主要有胃镜活检和血清学筛查。胃镜活检取样然后做病理诊断是确诊胃癌的金标准，然而传统的病理诊断完全依赖于医生“手动操作、肉眼观察”的人工阅片，存在两大痛点：(1)病理医生对胃癌的诊断准确率普遍较低，存在大量的误诊和漏诊；(2)病理诊断的工作量大，且病理医生严重缺乏。近年来，人工智能、大数据技术被成功用于病理学中，病理自动阅片技术应运而生。目前市面上的设备基本完成了病理样本的自动化扫描，支持数字化和病理数据的互联网共享、质控、存档和远程诊断，但在辅助诊断或自动诊断方面还不成熟，无法实现大面积推广。
自动阅片技术尚有两个关键问题急需解决。首先是样本的阴阳性判别，胃镜活检样本中存在不同的病变情况，包括增生性息肉、黏膜组织慢性炎、肠化、低分化癌、腺癌等情况，各类目标数目不均衡，各种病变程度的病变区域更是稀缺。因此阳性样本识别率较低，无法满足医生的需求。第二个问题是分级诊断，不仅要回答是否有病，而且要确定组织病理学分级，这是病理医生的迫切需求。一方面为医生制定治疗方案提供依据，另一方面评估治疗方案的效果。目前胃癌组织学分级诊断没有统一的标准，描述性的诊断指标无法形成量化的标准。另一方面异常细胞通常是由正常细胞变异形成，与正常上皮细胞有相似之处，尤其是在病变早期。准确区分不同级别的异常细胞具有挑战。只有这两个问题得到有效的解决，自动阅片技术才能真正地走向应用，助力癌症的提前发现。
发明内容
本发明是为了解决现有技术并没有解决的胃镜活检样本阴阳性判别和组织病理学分级诊断这两个问题。
胃癌病理图像智能辅助诊断***包括：
信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块；
所述信息采集模块用于信息录入人员在诊断***中依次录入患者基本信息、切片信息；
所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块；
所述病理切片图像预处理模块用于对患者的病理切片图像进行染色风格标准化处理；
所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；
所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；
所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，给出最终诊断结论，通过报告生成模块生成最终诊断报告。
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述信息采集模块用于信息录入人员在诊断***中依次录入患者基本信息、切片信息；具体为：
所述患者基本信息包括：患者的年龄、遗传病史、曾用治疗药物；
所述切片信息包括：切片编号、切片类型、染色方法、采样时间。
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述病理切片预处理模块用于对患者的病理切片图像进行染色风格标准化处理；实现步骤如下：
步骤一、分类模型实现不同风格图像的识别，训练时利用全连接层输出的特征做归一化处理获得一个权重矩阵；
步骤二、利用得到的权重矩阵对生成器的第二个卷积层加权，引入类别信息引导图像的生成；
步骤三、用训练好的组织图像多风格标准化模型实现病理切片图像的标准化。
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；该方案提出了一种WSI多实例学习方法，通过自蒸馏MAE进行预训练以获取更好的特征表示输入下游任务中；在下游多实例学习任务中，用Transformer来建模多示例学习中实例之间的位置关系和上下文信息；具体过程为：
(1)将进行过染色风格标准化处理后的病理切片数字影像切分成固定大小的图块；
(2)将切分好的图块作为输入进行自蒸馏，提取出有利于下游多实例学习分类任务的好的表示；
(3)在多实例学习任务中建模实例之间的关系；
(4)通过Transformer编解码器和分类器输出阴阳性判别结果，实现样本初筛；
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；实现步骤如下：
S1、基于阳性WSI的每个图块进行分类，输出WSI图像的分型结果，实现组织学分型；
S2、在WSI图块分型结果上进一步分割可疑目标，定位病灶区域；
S3、利用WSI的分型结果，完成分级诊断，生成分级诊断报告；
进一步地，所述的胃癌病理图像智能辅助诊断***，其特征在于：所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，生成最终的诊断报告；实现步骤如下：
医生对分级诊断报告进行核对，给出最终诊断结论，通过报告生成模块生成最终诊断报告。
本发明的有益效果为：
本发明提出胃癌病理图像智能辅助诊断***，总技术方案如图1所示，该***硬件部分由数字病理全切片扫描仪、高性能服务器及普通服务器集群组成，软件部分由信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块组成。该***采集并处理病人信息与病理切片图像、对病理切片图像进行染色风格标准化处理、阴阳性样本判别处理实现样本初筛、生成分级诊断报告、经医生复核后生成最终分析报告、不断优化诊断时使用的深度学习模型，在胃镜活检样本阴阳性判别、实现组织病理学分级诊断方面表现突出，实现了辅助病理诊断。
本发明以辅助病理诊断为目的，采用深度学习相关算法以解决胃镜活检样本阴阳性判别和组织病理学分级诊断这两个问题为目标，开发多个软件模块，采用多种深度学习算法。以此为基础、软硬件结合建立一套完整的智能病理图像诊断***。
附图说明
图1为本发明模型框架图。
具体实施方式
具体实施方式一：本实施方式基于胃癌病理图像智能辅助诊断***，其特征在于，包括：硬件部分：数字病理全切片扫描仪、高清数码摄像机、数码摄像机适配器、4台GPU服务器；软件部分：信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块，报告生成模块；
所述信息采集模块用于信息录入人员在诊断***中依次录入患者基本信息、切片信息；
所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。；
所述病理切片图像预处理模块用于对患者的病理切片图像进行染色风格标准化处理；
所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；
所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；
所述报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，给出最终诊断结论，通过报告生成模块生成最终诊断报告。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述信息采集模块用于信息录入人员在诊断***中依次录入患者基本信息、胃癌切片信息；具体为：
所述患者基本信息包括：患者的年龄、遗传病史、月经史、曾用治疗药物；
所述胃癌切片信息包括：切片编号、胃癌切片类型、染色方法、采样时间。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是，所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，所述病理切片预处理模块用于对患者的胃癌病理切片图像进行染色风格标准化处理；实现步骤如下：
步骤一、分类模型实现不同风格图像的识别，训练时利用全连接层输出的特征做归一化处理获得一个权重矩阵；该网络基于CycleGAN框架，生成器部分由三个1*1的卷积层和一个分类模型组成。1*1卷积只能学习到图像的颜色信息，避免在生成的图像中引入不存在的纹理。
步骤二、利用得到的权重矩阵对生成器的第二个卷积层加权，引入类别信息引导图像的生成；
步骤三、用训练好的组织图像多风格标准化模型实现病理切片图像的标准化。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；该方案提出了一种WSI多实例学习方法，通过自蒸馏MAE进行预训练以获取更好的特征表示输入下游任务中。在下游多实例学习任务中，用Transformer来建模多示例学习中实例之间的位置关系和上下文信息。具体过程为：
(1)将进行过染色风格标准化处理后的病理切片数字影像切分成固定大小的图块；
(2)将切分好的图块作为输入进行自蒸馏，提取出有利于下游多实例学习分类任务的好的表示；在WSI图像的多实例学习中，借鉴DT-MIL，将Transformer引入MIL的包嵌入。使用可变形Transformer编码器、Transformer解码器和卷积层来构建一个完全可训练的包嵌入模块，以生成高级表示。利用这些高级表示，可以完成阴阳性分类或者诊断任务。
(3)在多实例学习任务中建模实例之间的关系；
(4)通过Transformer编解码器和分类器输出阴阳性判别结果，实现样本初筛；
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；实现步骤如下：
S1、基于阳性WSI的每个图块进行分类，输出WSI图像的分型结果，实现组织学分型；具体为：
采用基于自适应颜色反卷积的组织病理图像分类网络，该网络通过在残差块(ResBlock)的基础上增加了空间注意力机制和染色注意力机制来构建空间染色注意力模块。网络输入端引入染色注意力机制，将输入的图块级的组织病理图像通过ACD模块生成苏木精通道图像和伊红图像作为注意力引导图。该注意力引导图强化了组织病理图像的染色区域特征，使网络重点关注染色区域。SSANet采用resnet作为网络主干，首先使用自适应颜色反卷积提取染色分离图像，然后在训练期间利用染色分离图像激活空间染色注意力机制，最后使用线性分类器进行分类，输出组织病理图像分型结果。
S2、在WSI图块分型结果上进一步分割可疑目标，定位病灶区域；具体为：
分割可疑目标采用ConInst模型基础上引入门控机制和单像素重构分支。主干网络输出的特征图经过注意力门机制，在传入目标检测头中，由于该网络的目标检测是针对每一个像素都进行预测目标框，所以从主干网络输出的特征图的每一个像素需要融合更多的信息，并且关注重点信息，加入注意力门机制可以很好的解决这一问题。该网络的实例分割由两个分支结果融合而成，第一个分支是从门控机制输出的特征图与目标检测头中的控制器生成的条件卷积核进行卷积操作，该分支根据全局信息生成实例。第二个分支是单像素重构的分割分支，将实例信息融合到一个像素当中，再进行反卷积操作，将单个像素变为32*32大小的特征图，为了将特征信息融合到单个像素中，我们这里利用多尺度的空洞卷积操作，增大感受野，该分支指利用局部信息生成实例。最后将两个分支的分割结果进行融合，得到最终分割结果。
定位病灶区域采用带有Tok-MLP的UNet网络以最小的复杂度和参数有效地对特征进行建模。在特征提取方面，采用RGB分支用于提取原始图像的特征表示，同时应用颜色分解方法从RGB颜色空间中提取Hematoxylin成分，引入H分支实现更精确的轮廓感知。最后，采用渐进式密集特征聚合模块(PDFA)逐步合并和学***滑截断(SmoothTruncated)损失来抑制异常值的干扰，总目标函数是三个分支损失的加权总和。
S3、利用WSI的分型结果，完成分级诊断，生成分级诊断报告；该部分包括有丝***检测和细胞核分割，并综合来自细胞的诊断指标、病变级别和目标检测的统计数据等实现分级诊断，指导患者预后。具体为：
基于多任务和困难样本挖掘的有丝***检测方法。该方法首先将图像输入到以ResNet-50为主干的特征金字塔网络(Featurepyramidnetwork,FPN)以提取不同尺寸的特征，以解决有丝***细胞大小不一难以检测的问题。随后将提取的特征图输入到区域建议网络(Regionproposalnetwork,RPN)，该网络在多尺度特征的每个位置上使用滑动窗口子网络来生成多尺度和宽高比的对象建议。最后将对象建议分别经过ROIPool与psROIPool输入到多任务预测模块，该模块包括目标检测、实例分割以及分类三个分支。实力分割和目标检测分支以ROIPool后的特征图为输入进行实例分割与检测。分类分支综合ROIPool与psROIPool的特征图做出预测，为了避免两个不同全连接层对最终分类的一项，我们将两个分支预测概率结果相加得到预测结果。同时我们使用困难样本挖掘技术减少假阳性预测以解决正常细胞与有丝***细胞过于相似的问题。
基于先验知识和Transformer的胃癌危险度分级方法。该方法首先以ResNet-50作为骨干网络提取图块的特征图；其次使用基于定位计数的全卷积神经网络计算癌细胞密度作为诊断指标的一部分；随后将得到的癌细胞密度、以及其它模块得到的有丝***计数、核异形程度等信息编码为特征向量并与特征图拼接输入到基于Transformer的分类网络中，进行胃癌的危险度分级预测，危险度分级预测过程如图1所示。使用基于定位计数的全卷积神经网络得到癌细胞密度并计算其它相关诊断指标与特征图进行拼接，可以使模型做出预测时充分考虑患者其它诊断指标，提升信息利用率，增强模型的鲁棒性。将多个图块特征图输入Transformer中可以捕获图块间的上下文联系，进一步提升模型的分类效果。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，报告生成模块用于医生查看分级诊断报告进行人工复核并确诊，生成最终的诊断报告；实现步骤如下：
医生对分级诊断报告进行核对，给出最终诊断结论，通过报告生成模块生成最终诊断报告。
其它步骤及参数与具体实施方式一至六之一相同。
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
Claims (1)
1.胃癌病理图像智能辅助诊断***，其特征在于：所述***包括：
信息采集模块、病理切片图像获取模块、病理切片图像预处理模块、阴阳性样本判别模块、分级诊断模块和报告生成模块；
所述信息采集模块用于信息录入人员在诊断***中依次录入患者基本信息、切片信息；
所述病理切片图像获取模块使用数字病理全切片扫描仪将病理切片扫描为病理切片数字影像，并将病理切片数字影像传递给所述病理切片图像预处理模块；
所述病理切片图像预处理模块用于对患者的病理切片图像进行染色风格标准化处理；实现步骤如下：
步骤一、分类模型实现不同风格图像的识别，训练时利用全连接层输出的特征做归一化处理获得一个权重矩阵；病理切片图像预处理模块基于CycleGAN框架，生成器部分由三个1*1的卷积层和一个分类模型组成；
步骤二、利用得到的权重矩阵对生成器的第二个卷积层加权，引入类别信息引导图像的生成；
步骤三、用训练好的组织图像多风格标准化模型实现病理切片图像的标准化；
所述阴阳性样本判别模块用于对染色风格标准化后的病理切片图像进行阴阳性判别，实现样本初筛；通过自蒸馏掩膜自编码器进行预训练以获取高级表示，用于输入下游任务中，所述下游任务为多实例学习分类任务，在所述多实例学习分类任务中，用Transformer来建模多实例学习中实例之间的位置关系和上下文信息；具体过程为：
（1）将进行过染色风格标准化处理后的病理切片图像切分成固定大小的图块；
（2）将切分好的图块作为输入进行自蒸馏，提取出有利于多实例学习分类任务的高级表示；在病理切片图像的多实例学习中，将Transformer引入到多实例学习的包嵌入中；使用可变形Transformer编码器、Transformer解码器和卷积层来构建一个完全可训练的包嵌入模块，以生成高级表示；利用这些高级表示，完成阴阳性分类或者诊断任务；
（3）在多实例学习分类任务中建模实例之间的位置关系；
（4）通过Transformer编解码器和分类器输出阴阳性判别结果，实现样本初筛；
所述分级诊断模块用于对获得的阳性样本做分级诊断，并生成分级诊断报告；
实现步骤如下：
S1、对病理切片图像的每个图块进行分类，基于所述分类结果，输出病理切片图像中每个图块的分型结果，实现组织学分型；
S2、在病理切片图像的图块分型结果上进一步分割可疑目标，定位病灶区域；具体为：
分割可疑目标采用ConInst模型，在此基础上引入注意力门机制和单像素重构分支；主干网络输出的特征图经过注意力门机制，再传入目标检测头中；主干网络的实例分割由两个分支结果融合而成，第一个分支是将注意力门机制输出的特征图与目标检测头中的控制器生成的条件卷积核进行卷积操作，该分支根据全局信息生成实例；第二个分支是单像素重构的分割分支，将实例信息融合到一个像素当中，再进行反卷积操作，将单个像素变为32*32大小的特征图，为了将特征信息融合到单个像素中，利用多尺度的空洞卷积操作，增大感受野，该分支利用局部信息生成实例；最后将两个分支的分割结果进行融合，得到最终分割结果；
S3、利用病理切片图像的分型结果，完成分级诊断，生成分级诊断报告；包括有丝***检测和细胞核分割，并综合来自细胞的诊断指标、病变级别和目标检测的统计数据实现分级诊断，指导患者预后；具体为：
基于多任务和困难样本挖掘的有丝***检测方法；该方法首先将病理切片图像的每个图块输入到以ResNet-50为主干的特征金字塔网络以提取多尺度的特征；随后将提取的特征图输入到区域建议网络，该网络在多尺度特征的每个位置上使用滑动窗口子网络来生成多尺度和宽高比的对象建议；最后将对象建议分别经过ROIPool与psROIPool输入到多任务预测模块，该模块包括目标检测、实例分割以及分类三个分支；实例分割和目标检测分支以ROIPool后的特征图为输入进行实例分割与检测；分类分支综合ROIPool与psROIPool的特征图做出预测，将预测概率结果相加得到预测结果；同时使用困难样本挖掘技术减少假阳性预测；
基于先验知识和Transformer的胃癌危险度分级方法；该方法首先以ResNet-50作为骨干网络提取图块的特征图，所述图块为病理切片图像切分成的固定大小的图块；其次使用基于定位计数的全卷积神经网络计算癌细胞密度作为诊断指标的一部分；随后将得到的癌细胞密度、以及其它模块得到的有丝***计数、核异形程度的信息编码为特征向量并与特征图拼接输入到基于Transformer的分类网络中，进行胃癌的危险度分级预测；
所述报告生成模块用于医生查看分级诊断报告并进行人工复核，给出最终诊断结论，通过报告生成模块生成最终诊断报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211614736.9A CN115954100B (zh) | 2022-12-15 | 2022-12-15 | 胃癌病理图像智能辅助诊断*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211614736.9A CN115954100B (zh) | 2022-12-15 | 2022-12-15 | 胃癌病理图像智能辅助诊断*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115954100A CN115954100A (zh) | 2023-04-11 |
| CN115954100B true CN115954100B (zh) | 2023-11-03 |
Family
ID=87290108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211614736.9A Active CN115954100B (zh) | 2022-12-15 | 2022-12-15 | 胃癌病理图像智能辅助诊断*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115954100B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116342628B (zh) * | 2023-05-31 | 2023-08-08 | 之江实验室 | 病理图像分割方法、装置和计算机设备 |
| CN117649400B (zh) * | 2024-01-25 | 2024-05-03 | 江西省肿瘤医院(江西省第二人民医院、江西省癌症中心) | 一种异常检测框架下的影像组学分析方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111341442A (zh) * | 2020-03-03 | 2020-06-26 | 宁波兰茜生物科技有限公司 | 一种多功能一体化肺癌辅助诊断*** |
| CN113130049A (zh) * | 2021-04-15 | 2021-07-16 | 黑龙江机智通智能科技有限公司 | 基于云服务的智能病理图像诊断*** |
| CN115115575A (zh) * | 2022-04-27 | 2022-09-27 | 腾讯医疗健康(深圳)有限公司 | 一种图像检测方法、装置、计算机设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110335256A (zh) * | 2019-06-18 | 2019-10-15 | 广州智睿医疗科技有限公司 | 一种病理辅助诊断方法 |
| EP4083907A4 (en) * | 2019-12-26 | 2024-01-17 | Japanese Foundation For Cancer Research | METHOD FOR SUPPORTING PATHOLOGICAL DIAGNOSIS USING AI AND SUPPORT DEVICE |
-
2022
- 2022-12-15 CN CN202211614736.9A patent/CN115954100B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838094A (zh) * | 2019-11-06 | 2020-02-25 | 杭州迪英加科技有限公司 | 病理切片染色风格转换方法和电子设备 |
| CN111341442A (zh) * | 2020-03-03 | 2020-06-26 | 宁波兰茜生物科技有限公司 | 一种多功能一体化肺癌辅助诊断*** |
| CN113130049A (zh) * | 2021-04-15 | 2021-07-16 | 黑龙江机智通智能科技有限公司 | 基于云服务的智能病理图像诊断*** |
| CN115115575A (zh) * | 2022-04-27 | 2022-09-27 | 腾讯医疗健康(深圳)有限公司 | 一种图像检测方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Improving unsupervised stain-to-stain translation using self-supervision and meta-learning;Nassim Bouteldja等;Journal of Pathology Informatics;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115954100A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115954100B (zh) | 胃癌病理图像智能辅助诊断*** | |
| Jiang et al. | Deep learning for computational cytology: A survey | |
| CN113034505B (zh) | 一种基于边缘感知网络的腺体细胞图像分割方法及装置 | |
| CN112017191A (zh) | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 | |
| CN111899229A (zh) | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 | |
| Kassani et al. | Deep transfer learning based model for colorectal cancer histopathology segmentation: A comparative study of deep pre-trained models | |
| CN111798425B (zh) | 基于深度学习的胃肠道间质瘤中核***象智能检测方法 | |
| CN110838100A (zh) | 一种基于滑动窗口的结肠镜病理切片筛查与分割*** | |
| Hu et al. | A state-of-the-art survey of artificial neural networks for whole-slide image analysis: from popular convolutional neural networks to potential visual transformers | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN112750132A (zh) | 基于双路径网络和通道注意的白细胞图像分割方法 | |
| Sun et al. | Non-local attention and densely-connected convolutional neural networks for malignancy suspiciousness classification of gastric ulcer | |
| CN114529505A (zh) | 一种基于深度学习的乳腺病变风险评估*** | |
| Krishna et al. | An interpretable decision-support model for breast cancer diagnosis using histopathology images | |
| Dai et al. | A weakly supervised deep generative model for complex image restoration and style transformation | |
| CN109635866B (zh) | 处理肠图像的方法 | |
| Dabass et al. | Review of classification techniques using deep learning for colorectal cancer imaging modalities | |
| Shobarani et al. | Melanoma Malignancy Prognosis Using Deep Transfer Learning | |
| CN115880245A (zh) | 一种基于自监督的乳腺癌疾病分类方法 | |
| Tayebi et al. | Histogram of cell types: deep learning for automated bone marrow cytology | |
| Peng et al. | enhancing colorectal cancer histological image classification using transfer learning and ResNet50 CNN Model | |
| Kapoor et al. | EfCNN-Net: Smart Detection of Colon and Lung Cancer using Histopathological Images | |
| Vinod et al. | A comparative analysis on deep learning techniques for skin cancer detection and skin lesion segmentation | |
| Zhu et al. | Segmentation network with compound loss function for hydatidiform mole hydrops lesion recognition | |
| Jin et al. | Effective Detection for Invasive Ductal Carcinoma Histopathology Images Based on ResNet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |