CN110781953B - 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 - Google Patents

基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 Download PDF

Info

Publication number
CN110781953B
CN110781953B CN201911016749.4A CN201911016749A CN110781953B CN 110781953 B CN110781953 B CN 110781953B CN 201911016749 A CN201911016749 A CN 201911016749A CN 110781953 B CN110781953 B CN 110781953B
Authority
CN
China
Prior art keywords
lung cancer
cancer
neural network
small blocks
pathological
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911016749.4A
Other languages
English (en)
Other versions
CN110781953A (zh
Inventor
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tao Liang
Original Assignee
Guangzhou Lezhi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lezhi Medical Technology Co ltd filed Critical Guangzhou Lezhi Medical Technology Co ltd
Priority to CN201911016749.4A priority Critical patent/CN110781953B/zh
Publication of CN110781953A publication Critical patent/CN110781953A/zh
Application granted granted Critical
Publication of CN110781953B publication Critical patent/CN110781953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类算法,该方法涉及到医学病理图像处理技术领域以及人工智能、计算机视觉领域。所述的医学病理图像处理技术包括活体组织切片诊断并标注,所述的人工智能、计算机视觉技术包括对病理切片图像进行数据清洗,GPU集群服务器的搭建以及多尺度金字塔卷积神经网络的训练。本发明利用深度学习能够自动提取图像特征并进行分类的特性,替代传统方法中依靠病理医生肉眼诊断的过程。这大大缩短了诊断的时间。同时作为辅助诊断措施,能够减少人为疏忽造成的误判,提高了诊断的准确性。

Description

基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法
技术领域
本发明涉及医疗图像处理技术领域以及人工智能、模式识别领域,更具体地,涉及一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法。
背景技术
肺癌是一种常见的癌。近年来,肺癌的发病率和死亡率持续地增高,给人群的健康和生命带来极大的威胁。医学研究表明,对于肺癌,如果能够尽早的发现并根据肺癌的种类作出针对性的治疗,肺癌病人的存活率将会提高30%。目前,对于肺癌病理图像的分析主要依赖于专业的病理医生诊断。然而,每一张的组织病理图片都是百亿像素级别高分辨率图像,单纯靠人工进行分类不仅工作量巨大,而且容易出现错判和漏判,这对于肺癌治疗十分不利。因此对肺癌病理图片进行自动分类判断是一个非常热门的跨学科研究方向。目前有部分研究通过应用传统手工特征结合SVM的方法进行自动检测及分类。但这类方法依赖于人工特征的设计而且泛化性能较差。
近年来,卷积神经网络在ImageNet图像分类比赛中大放异彩。基于深度学习的卷积神经网络为图像分类任务创造出了更多的可能。它通过模拟人脑的神经网络机制来实现图像分类。目前,卷积神经网络的图像分类精度已经超越了人类,大大推动了人工智能领域的发展。在医学图像中,由于病理切片的分辨率是百亿像素级别。在低分辨率下,可以获取全局的病理特征,而在低分辨率下,则能识别更多细节的病理特征。多尺度融合的方式能够大大地增强模型的鲁棒性,提升分类精度。
发明内容
本发明提供一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,该方法可以自动检测病理切片是否患癌,患癌的区域以及患癌的类别。
为了达到上述技术效果,本发明的技术方案如下:
一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,判断病理切片是否患癌以及患癌病理切片的肺癌区域确定,具体步骤如下:
S11:收集肺癌病理切片和无肺癌的正常切片。对于肺癌病理切片,由若干专业医生对切片进行判断是否患癌,以及确定患癌细胞区域并对该区域用标注框框定。对于正常切片,由若干专业医生将正常细胞位置用标注框框定;
S12:对S11中的肺癌病理切片以及无肺癌正常切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡两种类别小块的数量;
S13:将中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出该区域患癌的概率,计算误差代价,并通过反向传播更新网络参数;
S15:在测试过程中,对于患癌概率高于预设定阈值的小块,我们将其判断为患癌小块,其余判断为无癌小块;
S16:对于测试切片,患癌小块数量大于预设定阈值的病理切片,我们则认为该切片患有肺癌的切片,反之则认为是正常切片。
进一步地,对患癌病理切片的肺癌类别进行分类,具体步骤如下:
S21:从S11中选取所有肺癌病理切片图像。由若干专业医生对患癌区域用标注框框定,并确定切片肺癌类别;
S22:对S21中的肺癌病理切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡每个类别小块的数量;
S23:将中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出每个小块的肺癌类别;
S24:在测试阶段,对S16中判断为患有肺癌的切片的患癌小块进行类别分类,并以投票机制确定病理切片的肺癌类别。
进一步地,多尺度金字塔卷积神经网络搭建及训练过程如下:
S31:多尺度金字塔卷积神经网络由三个结构相同而输入尺度不同的支路网络、多尺度特征融合层以及肺癌局部切片预测层构成。在多尺度特征融合层的每个支路网络的参数都是由在ImageNet数据集中预训练好的ResNet50网络中对应的参数进行初始化。多尺度特征融合层和肺癌局部切片预测层的参数是由截断正态分布随机初始化;
S32:在正向传播过程,网络肺癌局部切片预测层输出每个小块属于每个肺癌类别的概率;
S33:计算预测精度,并采用交叉熵代价函数对每个小批次样本进行代价计算;
S34:反向传播调整模型参数,直至模型预测精度收敛。
与现有技术相比,本发明技术方案的有益效果是:
本发明提供一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,该方法利用人工智能领域的图像分类技术辅助病理医学图像的癌症检测及分类。所述的多尺度金字塔卷积神经网络在现有图像分类模型ResNet50的基础上,提出了多尺度图像输入以及多尺度特征融合,提升网络模型对于百亿像素级病理图像的鲁棒性。同时,由于神经网络能够快速地计算得到患癌区域以及输出对应的肺癌类别,这有益于减轻医生的工作量,并能够减少误判以及漏判的可能性。
附图说明
图1 为多尺度金字塔卷积神经网络模型;
图2为基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法流程图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示,一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,包括以下步骤:
S1判断病理切片是否患癌以及患癌病理切片的肺癌区域确定
S11:收集肺癌病理切片和无肺癌的正常切片。对于肺癌病理切片,由若干专业医生对切片进行判断是否患癌,以及确定患癌细胞区域并对该区域用标注框框定。对于正常切片,由若干专业医生将正常细胞位置用标注框框定;
S12:对S11中的肺癌病理切片以及无肺癌正常切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡两种类别小块的数量;
S13:将中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出该区域患癌的概率,计算误差代价,并通过反向传播更新网络参数;
S15:在测试过程中,对于患癌概率高于预设定阈值的小块,我们将其判断为患癌小块,其余判断为无癌小块;
S16:对于测试切片,患癌小块数量大于预设定阈值的病理切片,我们则认为该切片患有肺癌的切片,反之则认为是正常切片。
S2对患癌病理切片的肺癌类别进行分类
S21:从S11中选取所有肺癌病理切片图像。由若干专业医生对患癌区域用标注框框定,并确定切片肺癌类别;
S22:对S21中的肺癌病理切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡每个类别小块的数量;
S23:将中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出每个小块的肺癌类别;
S24:在测试阶段,对S16中判断为患有肺癌的切片的患癌小块进行类别分类,并以投票机制确定病理切片的肺癌类别。
S3多尺度金字塔卷积神经网络搭建及训练
S31:多尺度金字塔卷积神经网络由三个结构相同而输入尺度不同的支路网络、多尺度特征融合层以及肺癌局部切片预测层构成,在多尺度特征融合层的每个支路网络的参数都是由在ImageNet数据集中预训练好的ResNet50网络中对应的参数进行初始化,多尺度特征融合层和肺癌局部切片预测层的参数是由截断正态分布随机初始化;
S32:在正向传播过程,网络肺癌局部切片预测层输出每个小块属于每个肺癌类别的概率;
S33:计算预测精度,并采用交叉熵代价函数对每个小批次样本进行代价计算;
S34:反向传播调整模型参数,直至模型预测精度收敛。
相同或相似的标号对应相同或相似的部件;
附图中描述位置关系的用于仅用于示例性说明,不能理解为对本专利的限制;
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (2)

1.一种基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,其特征在于,包括如下步骤:
步骤一:判断病理切片是否患癌以及患癌病理切片的肺癌区域确定;
步骤二:对患癌病理切片的肺癌类别进行分类;
步骤一的具体步骤如下:
S11:收集肺癌病理切片和无肺癌的正常切片,对于肺癌病理切片,由若干专业医生对切片进行判断是否患癌,以及确定患癌细胞区域并对该区域用标注框框定,对于正常切片,由若干专业医生将正常细胞位置用标注框框定;
S12:对S11中的肺癌病理切片以及无肺癌正常切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡两种类别小块的数量;
S13:将S11中的中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出该区域患癌的概率,计算误差代价,并通过反向传播更新网络参数;
S15:对于患癌概率高于预设定阈值的小块,将其判断为患癌小块,其余判断为无癌小块,若患癌小块数量大于等于预设定阈值的病理切片,则认为该切片患有肺癌的切片,若患癌小块数量小于预设定阈值的病理切片,则认为该切片为正常切片;
步骤二的具体步骤如下:
S21:从S11中选取所有肺癌病理切片图像,由若干专业医生对患癌区域用标注框框定,并确定切片肺癌类别;
S22:对S21中的肺癌病理切片的标注框以10x,20x以及40x的分辨率提取若干小块,并均衡每个类别小块的数量;
S23:将S22中的中心坐标相同的多个尺度的小块输入到多尺度金字塔卷积神经网络中,输出每个小块的肺癌类别,根据交叉熵代价函数计算误差代价,通过反向传播更新卷积神经网络参数;
S24:给定由步骤一确认已患癌的测试切片,将S15中预测为患癌的小块进行类别分类,并以投票机制确定病理切片的肺癌类别。
2.根据权利要求1所述的基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法,其特征在于,所述的多尺度金字塔卷积神经网络搭建及训练过程如下:
S31:多尺度金字塔卷积神经网络由结构相同的支路网络、多尺度特征融合层以及肺癌切片的患癌小块类别预测层构成,在多尺度特征融合层前面的每个支路网络的参数都是由在ImageNet数据集中预训练好的ResNet50网络中对应的参数进行初始化,多尺度特征融合层和肺癌局部切片预测层的参数是由截断正态分布随机初始化;
S32:在正向传播过程,网络肺癌局部切片预测层输出每个小块属于每个肺癌类别的概率;
S33:计算患癌小块类别预测精度,并采用交叉熵代价函数对每个小批次样本进行代价计算;
S34:反向传播调整模型参数,直至模型预测精度收敛。
CN201911016749.4A 2019-10-24 2019-10-24 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 Active CN110781953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911016749.4A CN110781953B (zh) 2019-10-24 2019-10-24 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911016749.4A CN110781953B (zh) 2019-10-24 2019-10-24 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法

Publications (2)

Publication Number Publication Date
CN110781953A CN110781953A (zh) 2020-02-11
CN110781953B true CN110781953B (zh) 2023-03-31

Family

ID=69387016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911016749.4A Active CN110781953B (zh) 2019-10-24 2019-10-24 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法

Country Status (1)

Country Link
CN (1) CN110781953B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310841B (zh) * 2020-02-24 2023-06-20 中南大学湘雅医院 医学图像分类方法、装置、设备、计算机设备和存储介质
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111784671B (zh) * 2020-06-30 2022-07-05 天津大学 基于多尺度深度学习的病理图像病灶区域检测方法
CN113034443A (zh) * 2021-03-04 2021-06-25 广州乐智医疗科技有限公司 一种基于多层次判别的肺癌病理切片图像处理方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持***和方法
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测***
CA3081643A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持***和方法
CA3081643A1 (en) * 2017-11-06 2019-05-09 University Health Network Platform, device and process for annotation and classification of tissue specimens using convolutional neural network
CN108305249A (zh) * 2018-01-24 2018-07-20 福建师范大学 基于深度学习的全尺度病理切片的快速诊断和评分方法
CN108765408A (zh) * 2018-05-31 2018-11-06 杭州同绘科技有限公司 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度卷积神经网络算法的肺结节检测模型;杨晶晶等;《数学建模及其应用》;20171215(第04期);全文 *
基于深度学习的胃癌病理图像分类方法;张泽中等;《计算机科学》;20181115;全文 *

Also Published As

Publication number Publication date
CN110781953A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110781953B (zh) 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法
Porwal et al. Idrid: Diabetic retinopathy–segmentation and grading challenge
CN108806792B (zh) 深度学习面诊***
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN110837803B (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN108464840B (zh) 一种乳腺肿块自动检测方法及***
CN109543526B (zh) 基于深度差异性特征的真假面瘫识别***
CN107977671A (zh) 一种基于多任务卷积神经网络的舌象分类方法
Beevi et al. A multi-classifier system for automatic mitosis detection in breast histopathology images using deep belief networks
CN109583342A (zh) 基于迁移学习的人脸活体检测方法
CN105069304A (zh) 一种基于机器学习的评估预测asd的方法
CN114846507A (zh) 用于使用人工智能(ai)模型进行非侵入性基因检测的方法和***
CN109508644A (zh) 基于深度视频数据分析的面瘫等级评估***
Mahapatra et al. A novel framework for retinal vessel segmentation using optimal improved frangi filter and adaptive weighted spatial FCM
CN111161287A (zh) 基于对称双向级联网络深度学习的视网膜血管分割方法
CN112819821B (zh) 一种细胞核图像检测方法
CN106340000A (zh) 骨龄评估方法
Jayanthi et al. Automatic diagnosis of retinal diseases from color retinal images
Yu et al. A recognition method of soybean leaf diseases based on an improved deep learning model
CN109448307A (zh) 一种火源目标的识别方法和装置
CN112712122A (zh) 基于神经网络模型的角膜溃疡的分类检测方法及***
CN113343755A (zh) 红细胞图像中的红细胞分类***及方法
CN112215268A (zh) 一种灾害天气卫星云图分类方法和装置
US20240232627A1 (en) Systems and Methods to Train A Cell Object Detector
CN114098779A (zh) 尘肺病等级智能判别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240531

Address after: Room 1112, Science and Technology Building, North Campus of Sun Yat sen University, No. 74 Zhongshan Second Road, Guangzhou, Guangdong Province, 510062

Patentee after: Tao Liang

Country or region after: China

Address before: Room 1144, Science and Technology Building, No. 74 Zhongshan Second Road, Guangzhou, Guangdong Province, 510080

Patentee before: Guangzhou Lezhi Medical Technology Co.,Ltd.

Country or region before: China