CN115206495A - 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 - Google Patents
基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 Download PDFInfo
- Publication number
- CN115206495A CN115206495A CN202210671552.XA CN202210671552A CN115206495A CN 115206495 A CN115206495 A CN 115206495A CN 202210671552 A CN202210671552 A CN 202210671552A CN 115206495 A CN115206495 A CN 115206495A
- Authority
- CN
- China
- Prior art keywords
- coatnet
- image
- cancer
- model
- renal cancer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000008839 Kidney Neoplasms Diseases 0.000 title claims abstract description 122
- 206010038389 Renal cancer Diseases 0.000 title claims abstract description 122
- 201000010982 kidney cancer Diseases 0.000 title claims abstract description 122
- 230000001575 pathological effect Effects 0.000 title claims abstract description 68
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 238000003703 image analysis method Methods 0.000 title claims abstract description 14
- 230000007170 pathology Effects 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims abstract description 11
- 238000010191 image analysis Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 54
- 206010028980 Neoplasm Diseases 0.000 claims description 33
- 201000011510 cancer Diseases 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 238000013145 classification model Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 16
- 230000004083 survival effect Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004393 prognosis Methods 0.000 claims description 9
- 201000009030 Carcinoma Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 2
- 230000003902 lesion Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 abstract description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 15
- 208000006265 Renal cell carcinoma Diseases 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 201000010240 chromophobe renal cell carcinoma Diseases 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000010279 papillary renal cell carcinoma Diseases 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置，包括肾癌病理数据采集、图像切片、背景过滤、数据增强、肾癌区域检测、肾癌亚型分类、肾癌分级和肾癌预后分析。本发明通过人工智能技术与显微镜的结合，可用于辅助病理科医生完成端到端的肾癌诊断，对肾癌病理图像的分析模型能同时满足识别率高、实时性强、功能齐全的目的，有助于缓解我国病理科人才紧缺、培养周期长的问题；有利于减少病理医生的误判机率、疲劳程度。
Description
技术领域
本发明属于数字化病理图像处理与辅助诊断技术领域，具体为一基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置。
背景技术
据统计，在人体肾脏恶性肿瘤疾病中，肾细胞癌占据了85％左右，也是多年来最常见的癌症之一。按照病理类型分，肾细胞癌可分为透明肾细胞癌(KIRC)、***状肾细胞癌(KIRP)、嫌色细胞性肾细胞癌(KICH)以及其他特殊类型。其中KIRC、KIRP和KICH三种亚型约占肾癌分型的90％。目前，对肾癌的诊断及分析大多是依靠经验丰富的病理科医生通过观察病理图像进行的。病理图像是指从患者身上取下来的，经过染色、显微成像后形成的标本图，是医学领域中诊断及分析的重要依据之一。病理报告被称为疾病诊断的“金标准”。根据病理图像，医生可以判断疾病的类型、预后的状况，并采取针对性治疗手段。
近年来，人工智能在病理图像的分析和应用中取得了许多令人满意的成果。中国专利CN113420793A公开了一种基于改进的卷积神经网络ResNet50的胃印戒细胞癌分类方法，包括数据预处理：用于胃细胞癌图像的选择、标注、切片和训练数据的划分；训练和比较模型：用于根据实际数据改进ResNet50并训练网络参数，并与最新研究成果比较；特征图制作和分类器训练：用于将图像生成特征明显的热力图，选择重要特征图来训练分类器；图像分类：用于验证模型的性能，输出分类的指标。
中国专利CN110007455B公开了一种病理显微镜、显示模组、控制方法、装置及存储介质，属于显微镜拍摄成像领域。病理显微镜包括：显微镜本体、图像采集组件、控制组件和增强现实AR投影组件。本申请通过病理显微镜得到AI分析信息，再通过AR投影组件将AI分析信息投影至显微镜本体的显微镜视野中，达到了医生能够在显微镜视野中同时观察到病理切片图像和AI分析信息，不需要来回切换视野，使观察过程更为直接，从而实现病理显微镜在使用过程中的高实时性。但是该显微镜对肾癌病理分析的针对性不强，不能完成肾癌病理的全方位分析。
中国专利CN113222933A公开了一种应用于肾细胞癌的全链条诊断的图像识别***，包括图像切分模块，图像切分模块将经过癌症区域、癌症亚型以及癌症等级的标注后，对包含癌症基因组图谱TCGA和当地医院所提供的LH数据集的原病理图像进行切分，然后输入图像癌症区域检测模块对图像进行训练及预测，图像癌症区域检测模块处理后的图像由准确性提升模块进行准确度提升后，得到更为准确的癌症区域预测热力图，将预测为癌症的区域进行标记送至癌症区域分型模块进一步分型，得到癌症的细分亚型，分型后由报告输出模块输出图像识别结果报告。但是该识别***不能达到方便性和快速性的需求，没有预后分析的功能。分级的训练集使用的是医生标注数据，而不同医生对分级的判断标准不一致，会导致模型误差较大。
中国专利CN112992336A公开了一种病理智能诊断***，集成深度学习和实时AI功能，以弥合AI算法与传统显微镜工作流程之间的差距，达到对病理切片的智能诊断；同时，针对两种应用开发并评估深度学习算法，以评估在实际临床工作流程中以及与其他显微镜模型一起使用的影响。本***将使AI无缝集成到显微镜工作流程中，并使得病理学进行癌症诊断以及对其他疾病的生物样本进行显微镜检查更加高效，准确且智能化；提供在智能诊断过程中的图像标注诊断结果并且输出文字性诊断报告，不仅提高处理病理诊断的速度，同时有效减少病理专家的工作量。但是该发明不能将人工智能算法的结论实时显示在病理医生观察的目镜视野中；不包含检测、分型、分级、预后等功能。
发明内容
针对目前还没有一套可以辅助病理科医生完成端到端的肾癌组织分析的***，本发明是一种基于深度学习的肾癌病理图像分析的智能显微***。该***通过人工智能技术与显微镜的结合，可用于辅助病理科医生完成端到端的肾癌诊断。
为实现上述目的，本发明提供的技术方案是：
一种基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，其包括以下步骤：
S1、采集临床确诊的病变组织的肾癌病理图像，肾癌病理图像按比例随机划分为训练集和测试集；
S2、将所有肾癌病理图像处理成固定分辨率的若干切片图；
S3、通过像素阈值法过滤图像背景，保留前景；
S4、对切片图进行数据增强处理；
S5、将训练集数据通过S2和S3处理后的切片图，随机裁剪后通过S4处理，输入基于CoAtNet深度学习算法的检测模型中训练，检测模型在训练时学习癌症与非癌症特征，生成用于检测肾癌区域的预训练模型，将测试集通过S2和S3处理后，输入预训练模型中测试得到带肾癌区域检测标记的切片图，将带肾癌区域检测标记的切片图拼接形成完整的带肾癌区域检测标记的肾癌病理图像，记录带有癌症区域标记的测试数据，作为分类模型的待输入数据；
S6、将训练集数据通过S2、S3和S4处理后,输入基于CoAtNet的分类模型中进行训练和优化，分类模型以亚型的名称为标签学习三种不同亚型的特征，选取和保存最佳的分类模型，将S5中的待输入数据输入到保存的分类模型，输出肾癌的具体亚型信息；
S7、将S5中检测得到的肾癌区域作为训练数据，输入到基于CoAtNet的聚类模型中，聚类模型根据学习到的特征将图像聚为4个类别，分别对应Ⅰ到Ⅳ级细胞癌，生成的最终模型用来判断患者癌症所属的级数。
S8、根据检测的肾癌病理图像数据分析肾癌患者生存概率与时间关系。
优选地，S1中，所述的肾癌病理图像按照7：3的比例随机划分为训练集和测试集，肾癌病理图像中的癌症区域数据由经验丰富的病理科医生进行精准标注，训练集用于训练和优化模型，测试集用于测试模型性能。
优选地，S2中，通过滑动窗口的方法对肾癌病理图像进行切片，其具体步骤为：
S21、将肾癌病理图像放大20倍；
S22、以从左到右、从上到下的顺序，用512*512像素大小的窗口在图像上滑动切片；
S23、滑动切片时，每个窗口与上一个窗口重叠50％的区域。
优选地，S3中过滤图像背景的具体步骤为：
S31、像素映射：将图像切片处理后的子图按照R、G、B三通道进行像素映射，每个通道中像素值大于像素阈值230的点被映射为1，小于230的点被映射为0；
S32、背景判断：若图像切片的三个通道中，每个通道映射后的总像素值均大于所有像素点映射为1时的60％，则视为背景过滤，反之视为细胞保存到指定的位置。
优选地，S4中切片图数据增强的具体步骤包括：
S41、水平翻转，
S42、随机旋转45度，
S43、添加高斯噪声。
优选地，S5中通过使用Openslide库函数，根据命名及切片规则将所有切片图重新拼接，形成标记好的完整的肾癌病理图像。
优选地，S6中分类模型使用的CoAtNet，先使用ImageNet数据集训练网络的参数直至收敛，并保存参数，再将CoAtNet最后的全连接层改为3，以实现肾癌的三种亚型分类，其余网络层使用在ImaeNet上预训练的参数来初始化；训练模型时，初始学习率＝0.00001，并随着训练的次数以5倍的速度减小，批量大小＝64，使用Adam优化器，用交叉熵作为损失函数；7、测试时，批量大小＝1。
优选地，S8中具体步骤包括
S81、训练集数据通过S2、S3和S4处理后作为输入数据输入基于CoAtNet和COX的预后分析模型训练和优化，预后分析模型以患者的生存时间为标签；
S82、使用CoAtNet全局池化层前的7x7的特征图作为患者的病理特征，取每张特征图通道上的平均值作为特征向量，作为COX模型的输入；
S83、将特征向量输入到COX模型，预测患者的预后风险中值，形成生存曲线。
一种基于CoAtNet深度学习的肾癌病理图像分析***，其包括：
数据读取模块：通过嵌入在智能显微镜物镜附件的装置读取肾癌病理图像信息；
图像切片模块：用于对读取的肾癌病理图像进行切片处理得到切片图；
背景过滤模块：用于对切片图进行背景过滤保留细胞前景图；
数据增强模块：用于对切片图进行数据增强；
肾癌区域检测模块：用于检测和分割肾癌病理图像的癌症及非癌症区域；
肾癌亚型分类模块：用于识别输入肾癌病理图像的亚型信息；
肾癌分级模块：用于预测肾癌亚型细胞的所述危害等级阶段；
肾癌预后分析模块：用于预测患者的生存概率随时间的变化关系。
一种基于CoAtNet深度学习的肾癌病理图像分析的智能显微装置，其特征在于，包括智能显微镜，所述的智能显微镜包含所述的基于CoAtNet深度学习的肾癌病理图像分析***。
本发明的有益效果：
(1)本发明是一种端到端的智能显微***，通过人工智能算法与显微镜的结合，病理医生可以在智能显微镜的目镜视野中实时看到细胞的诊断结果，简洁快速地完成从观察到输出病理报告的全过程，而不需要在不同的设备间循环操作；
(2)本发明中人工智能算法使用先进的基于CoAtNet的深度学习模型，泛化能力强，能够适应不同医院采集的肾癌病理图像；且模型结构简洁，能够达到实时诊断的目的；
(3)本发明功能全面，基本涵盖了对肾癌患者诊断时所需的所有项目：肾癌区域检测分割、亚型识别、肿瘤细胞分级、肾癌预后分析、输出诊断病理报告；
(4)本发明缓解病理医生人才紧缺、培养周期长的问题，也有利于减少病理医生的误判机率和疲劳程度。
附图说明
图1为本发明的整体流程图；
图2为标注好癌症区域的病理示例图；
图3为图像切片处理示意图；
图4为背景过滤处理示意图；
图5为某肾癌患者的预后分析示意曲线图
图6为本发明的智能显微***观察某位肾癌患者的病理图像时的画面示例图；
图7为本发明***结构图。
具体实施方式
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
如图1所示，本实施例涉及一种基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，其包括以下步骤：
数据读取100：通过嵌入在智能显微镜物镜附件的装置读取载玻片中的肾癌病理图像信息，作为模型训练和测试的输入。
肾癌病理数据集101由本地医院采集而来，使用苏木精—伊红染色法染色102后形成用于训练和测试的数字病理图像。数据共330张，其中透明型肾细胞(KIRC)260张、***状肾细胞(KIRP)和嫌色细胞性肾细胞癌(KICH)各35张，按照7:3的比例随机划分为训练集和测试集。其中训练集用于训练和优化模型，测试集用于测试模型。所有数据由经验丰富的病理科医生进行精准标注，图2是某张标注好癌症区域的病理图示例。
图像切片107：使用滑动窗口的方法进行肾癌病理图像的切片，肾癌病理图像被处理成固定分辨率的若干切片图。如图3的流程图所示，其步骤为：a1、将每张肾癌病理图像放大20倍；b1、以从左到右、从上到下的顺序，用512×512像素大小的窗口在图像上滑动切片；c1、为了增加切片的数量和丰富图像的视图，滑动切片时，每个窗口与上一个窗口重叠50％的区域。
背景过滤108：使用像素阈值法过滤图像背景和保留前景。如图4所示。其步骤为：a2、像素映射：将图像切片107处理后的子图按照R(纯红色)、G(纯绿色)、B(纯蓝色)三通道进行像素映射，每个通道中像素值大于像素阈值230的点被映射为1(纯色)，小于230的点被映射为0(黑色)；b2、背景判断：若切片的三个通道中，每个通道映射后的总像素值均大于所有像素点映射为1时的60％(称为“过滤阈值”)，则视为背景过滤，反之视为细胞保存到指定的位置。对数据进行处理后，每张肾癌病理图像大约形成2000张最终切片图。完成切片的数据作为后续模型训练和测试的输入。
数据增强109：为了增加模型的泛化性能，切片图使用以下方法做数据增强，其步骤为：a3、水平翻转；b3、随机旋转45度；c3、添加高斯噪声。
肾癌区域检测110：用于检测分割肾癌病理图像的癌症及非癌症区域，以便显示在显微镜的目镜视野中供病理医生参考。其步骤为：a4、使用107和108所述的方法对训练数据进行切片，生成的切片作为输入来训练和优化检测模型。检测模型使用基于CoAtNet的深度学习算法。模型在训练时会学习癌症与非癌症特征，之后生成可以检测肾癌区域的预训练模型；b4、测试数据经过100读取，使用107和108所述的方法进行切片，送入步骤a4生成的检测模型，输出带有检测标记的切片图，最后使用Openslide库函数，根据命名及切片规则将所有切片图重新拼接，形成标记好的完整的肾癌病理图像。基于该步骤，病理医生可以在智能显微镜的目镜视野中104观察到分割好癌症区域的完整肾癌病理图像；c4、带有癌症区域标记的测试数据被记录，作为分类模型的待输入数据。
CoAtNet的检测模型采用一种新型的CoAtNet+UNet的网络结构，具体是：用CoAtNet全局池化层前的模块替换Unet网络的下采样部分，用于对输入的切片图像进行特征提取，生成7x7大小的特征图；然后，将下采样提取的特征按照Unet的连接方式融合到上采样部分，输出图片和输入有相同尺寸的带有检测标记的切片图。模型的输入是原始切片图，标签的标注好的癌组织区域轮廓的切片图。模型通过学习正常组织和癌症组织的特征来最终确定轮廓的位置。
肾癌亚型分类111：用于自动识别输入图像的亚型信息，以便显示在显微镜的目镜视野中供病理医生参考。其步骤为：a5、训练数据经过107、108的步骤，生成训练用的切片图；b5、将所有切片图随机裁剪为224*224的大小，送入109中做数据增强处理。数据增强步骤扩充了数据量，并使得模型的泛化性能和迁移能力更好；c5、步骤b5的数据输入到基于CoAtNet的分类器进行模型的训练和优化。模型以亚型的名称为标签学习三种不同亚型的特征，选取和保存效果最佳的分类模型；d5、测试图像经过肾癌区域检测模型得到的癌症切片，输入到保存的分类模型，输出肾癌的具体亚型信息，并显示在显微镜目镜中104。
需要描述的是：分类模型使用的CoAtNet，先使用ImageNet数据集训练网络的参数直至收敛，并保存参数。根据本发明的分类任务，将CoAtNet最后的全连接层改为3，以实现肾癌的三种亚型分类，其余网络层使用在ImaeNet上预训练的参数来初始化。训练模型时，初始学习率＝0.00001，并随着训练的次数以5倍的速度减小，批量大小＝64，使用Adam优化器，用交叉熵作为损失函数。这种设置避免了模型过拟合和欠拟合，并能够以最快的速度学习到每种亚型的特征。测试时，批量大小＝1，不使用数据增强。
肾癌分级112：用于预测肾癌亚型细胞属于Ⅰ至Ⅳ级的哪一阶段。级数越高，预后越差，即Ⅰ级的危害最小，Ⅳ级的危险性最高。将经过检测模型110筛选的癌症区域作为训练数据，输入到聚类类别为4的基于CoAtNet的聚类模型中，模型根据学习到的特征将图像聚为4个类别，分别对应Ⅰ到Ⅳ级细胞癌。生成的最终模型用来判断患者癌症所属的级数。
肾癌预后分析113：用于预测患者的生存概率随时间的变化关系。预后分析模型使用基于CoAtNet和COX模型的形式。其中CoAtNet用于提取细胞特征，COX用于预测风险中值。其步骤为：a6、病理图像经过107、108和109的步骤，生成训练数据，作为模型的输入数据，模型以患者的生存时间为标签；b6、使用CoAtNet全局池化层前的7x7的特征图作为患者的病理特征，取每张特征图通道上的平均值作为特征向量，作为COX模型的输入；c6、将特征向量输入到COX模型，预测患者的预后风险中值，形成生存曲线；d6、在病理报告中打印患者在将来某个时间t的生存概率曲线，图5是某肾癌患者的预后分析示意曲线。两条曲线分别是训练好的模型根据患者的病理特征，预测出患者在预后情况较好时(上)和较差时(下)的生存概率与时间的关系。
分析报告打印105：采用CellProfiler的医学分析开源平台对上述模型输出的数据进行可视化，在目镜中实时显示人工智能算法106的分析结果，通过语音输入诊断建议，打印为肾癌病理报告。图6是病理医生利用本发明的智能显微***观察某位肾癌患者的病理图像时，在目镜中看到的画面示例。
实施例2
如图7所示，本实施例涉及一种基于CoAtNet深度学习的肾癌病理图像分析***，其包括：
数据读取模块：通过嵌入在智能显微镜物镜附件的装置读取肾癌病理图像信息；
图像切片模块：用于对读取的肾癌病理图像进行切片处理得到切片图；
背景过滤模块：用于对切片图进行背景过滤保留细胞前景图；
数据增强模块：用于对切片图进行数据增强；
肾癌区域检测模块：用于检测和分割肾癌病理图像的癌症及非癌症区域；
肾癌亚型分类模块：用于识别输入肾癌病理图像的亚型信息；
肾癌分级模块：用于预测肾癌亚型细胞的所述危害等级阶段；
肾癌预后分析模块：用于预测患者的生存概率随时间的变化关系。
上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，其包括以下步骤：
S1、采集临床确诊的病变组织的肾癌病理图像，肾癌病理图像按比例随机划分为训练集和测试集；
S2、将所有肾癌病理图像处理成固定分辨率的若干切片图；
S3、通过像素阈值法过滤图像背景，保留前景；
S4、对切片图进行数据增强处理；
S5、将训练集数据通过S2和S3处理后的切片图，随机裁剪后通过S4处理，输入基于CoAtNet深度学习算法的检测模型中训练，检测模型在训练时学习癌症与非癌症特征，生成用于检测肾癌区域的预训练模型，将测试集通过S2和S3处理后，输入预训练模型中测试得到带肾癌区域检测标记的切片图，将带肾癌区域检测标记的切片图拼接形成完整的带肾癌区域检测标记的肾癌病理图像，记录带有癌症区域标记的测试数据，作为分类模型的待输入数据；
S6、将训练集数据通过S2、S3和S4处理后,输入基于CoAtNet的分类模型中进行训练和优化，分类模型以亚型的名称为标签学习三种不同亚型的特征，选取和保存最佳的分类模型，将S5中的待输入数据输入到保存的分类模型，输出肾癌的具体亚型信息；
S7、将S5中检测得到的肾癌区域作为训练数据，输入到基于CoAtNet的聚类模型中，聚类模型根据学习到的特征将图像聚为4个类别，分别对应Ⅰ到Ⅳ级细胞癌，生成的最终模型用来判断患者癌症所属的级数。
S8、根据检测的肾癌病理图像数据分析肾癌患者生存概率与时间关系。
2.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S1中，所述的肾癌病理图像按照7：3的比例随机划分为训练集和测试集，肾癌病理图像中的癌症区域数据由经验丰富的病理科医生进行精准标注，训练集用于训练和优化模型，测试集用于测试模型性能。
3.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S2中，通过滑动窗口的方法对肾癌病理图像进行切片，其具体步骤为：
S21、将肾癌病理图像放大20倍；
S22、以从左到右、从上到下的顺序，用512*512像素大小的窗口在图像上滑动切片；
S23、滑动切片时，每个窗口与上一个窗口重叠50％的区域。
4.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S3中过滤图像背景的具体步骤为：
S31、像素映射：将图像切片处理后的子图按照R、G、B三通道进行像素映射，每个通道中像素值大于像素阈值230的点被映射为1，小于230的点被映射为0；
S32、背景判断：若图像切片的三个通道中，每个通道映射后的总像素值均大于所有像素点映射为1时的60％，则视为背景过滤，反之视为细胞保存到指定的位置。
5.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S4中切片图数据增强的具体步骤包括：
S41、水平翻转，
S42、随机旋转45度，
S43、添加高斯噪声。
6.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S5中通过使用Openslide库函数，根据命名及切片规则将所有切片图重新拼接，形成标记好的完整的肾癌病理图像。
7.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S6中分类模型使用的CoAtNet，先使用ImageNet数据集训练网络的参数直至收敛，并保存参数，再将CoAtNet最后的全连接层改为3，以实现肾癌的三种亚型分类，其余网络层使用在ImaeNet上预训练的参数来初始化；训练模型时，初始学习率＝0.00001，并随着训练的次数以5倍的速度减小，批量大小＝64，使用Adam优化器，用交叉熵作为损失函数；7、测试时，批量大小＝1。
8.根据权利要求1所述的基于CoAtNet深度学习的肾癌病理图像分析方法，其特征在于，S8中具体步骤包括
S81、训练集数据通过S2、S3和S4处理后作为输入数据输入基于CoAtNet和COX的预后分析模型训练和优化，预后分析模型以患者的生存时间为标签；
S82、使用CoAtNet全局池化层前的7x7的特征图作为患者的病理特征，取每张特征图通道上的平均值作为特征向量，作为COX模型的输入；
S83、将特征向量输入到COX模型，预测患者的预后风险中值，形成生存曲线。
9.一种基于CoAtNet深度学习的肾癌病理图像分析***，用于权利要求1-9中任一所述的方法，其特征在于，其包括：
数据读取模块：通过嵌入在智能显微镜物镜附件的装置读取肾癌病理图像信息；
图像切片模块：用于对读取的肾癌病理图像进行切片处理得到切片图；
背景过滤模块：用于对切片图进行背景过滤保留细胞前景图；
数据增强模块：用于对切片图进行数据增强；
肾癌区域检测模块：用于检测和分割肾癌病理图像的癌症及非癌症区域；
肾癌亚型分类模块：用于识别输入肾癌病理图像的亚型信息；
肾癌分级模块：用于预测肾癌亚型细胞的所述危害等级阶段；
肾癌预后分析模块：用于预测患者的生存概率随时间的变化关系。
10.一种基于CoAtNet深度学习的肾癌病理图像分析的智能显微装置，其特征在于，包括智能显微镜，所述的智能显微镜包含权利要求9所述的基于CoAtNet深度学习的肾癌病理图像分析***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210671552.XA CN115206495A (zh) | 2022-06-15 | 2022-06-15 | 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210671552.XA CN115206495A (zh) | 2022-06-15 | 2022-06-15 | 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115206495A true CN115206495A (zh) | 2022-10-18 |
Family
ID=83575906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210671552.XA Pending CN115206495A (zh) | 2022-06-15 | 2022-06-15 | 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115206495A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881725A (zh) * | 2023-09-07 | 2023-10-13 | 之江实验室 | 一种癌症预后预测模型训练装置、介质及电子设备 |
| CN117672222A (zh) * | 2024-01-31 | 2024-03-08 | 浙江大学滨江研究院 | 大语言模型驱动的显微镜控制方法、装置及电子设备 |
-
2022
- 2022-06-15 CN CN202210671552.XA patent/CN115206495A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881725A (zh) * | 2023-09-07 | 2023-10-13 | 之江实验室 | 一种癌症预后预测模型训练装置、介质及电子设备 |
| CN116881725B (zh) * | 2023-09-07 | 2024-01-09 | 之江实验室 | 一种癌症预后预测模型训练装置、介质及电子设备 |
| CN117672222A (zh) * | 2024-01-31 | 2024-03-08 | 浙江大学滨江研究院 | 大语言模型驱动的显微镜控制方法、装置及电子设备 |
| CN117672222B (zh) * | 2024-01-31 | 2024-04-16 | 浙江大学滨江研究院 | 大语言模型驱动的显微镜控制方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7496389B2 (ja) | 画像解析方法、装置、プログラムおよび学習済み深層学習アルゴリズムの製造方法 | |
| CN112070772B (zh) | 基于UNet++和ResNet的血液白细胞图像分割方法 | |
| JP7076698B2 (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
| CN111986150B (zh) | 一种数字病理图像的交互式标注精细化方法 | |
| CN111951221B (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
| US20070019854A1 (en) | Method and system for automated digital image analysis of prostrate neoplasms using morphologic patterns | |
| CN115206495A (zh) | 基于CoAtNet深度学习的肾癌病理图像分析方法、***及智能显微装置 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及*** | |
| CN113261012B (zh) | 处理图像的方法、装置及*** | |
| CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN115909006A (zh) | 基于卷积Transformer的乳腺组织图像分类方法及*** | |
| CN115063592A (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及*** | |
| CN114387596A (zh) | 细胞病理涂片自动判读*** | |
| Teverovskiy et al. | Improved prediction of prostate cancer recurrence based on an automated tissue image analysis system | |
| WO2006122251A2 (en) | Method and system for automated digital image analysis of prostrate neoplasms using morphologic patterns | |
| Saxena et al. | Study of Computerized Segmentation & Classification Techniques: An Application to Histopathological Imagery | |
| Kim et al. | Nucleus segmentation and recognition of uterine cervical pap-smears | |
| CN113222928B (zh) | 一种尿细胞学人工智能尿路上皮癌识别*** | |
| CN114898862A (zh) | 基于卷积神经网络和病理切片图像的***计算机辅助诊断方法 | |
| CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
| CN112819042A (zh) | 一种食管鳞状上皮异型增生图像的处理方法、***及介质 | |
| CN114821046B (zh) | 基于细胞图像进行细胞检测和细胞核分割的方法及*** | |
| CN116705289B (zh) | 基于语义分割网络的宫颈病理诊断装置 | |
| Ben Taieb | Analyzing cancers in digitized histopathology images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |