CN107369151A - 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法 - Google Patents

基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法 Download PDF

Info

Publication number
CN107369151A
CN107369151A CN201710425297.XA CN201710425297A CN107369151A CN 107369151 A CN107369151 A CN 107369151A CN 201710425297 A CN201710425297 A CN 201710425297A CN 107369151 A CN107369151 A CN 107369151A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
unit
pathological
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710425297.XA
Other languages
English (en)
Inventor
万香波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fan Xinjuan
Lin Huangjing
Zhu Yaxi
Sixth Affiliated Hospital of Sun Yat Sen University
Shenzhen Imsight Medical Technology Co Ltd
Original Assignee
Fan Xinjuan
Lin Huangjing
Zhu Yaxi
Sixth Affiliated Hospital of Sun Yat Sen University
Shenzhen Imsight Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fan Xinjuan, Lin Huangjing, Zhu Yaxi, Sixth Affiliated Hospital of Sun Yat Sen University, Shenzhen Imsight Medical Technology Co Ltd filed Critical Fan Xinjuan
Priority to CN201710425297.XA priority Critical patent/CN107369151A/zh
Publication of CN107369151A publication Critical patent/CN107369151A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法，该***包括：图像数据获得单元，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；图像数据标注单元，用于对已输入图像数据进行标注；图像数据库构建单元，用于对图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；卷积神经网络(CNN)构造单元，用于构造第一卷积神经网络模型；以及卷积神经网络模型训练单元，获得理想的卷积神经网络模型。通过本发明的胃肠间质瘤病理诊断支持***和方法可实现精准和高效的智能读片，以辅助临床上胃肠间质瘤的病理诊断工作，提高其准确率、工作效率及工作持续状态。

Description

基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法
技术领域
本发明涉及一种基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法。
背景技术
深度学习是目前人工智能领域用于图像识别和语音分析的最契合、应用最广泛的算法，其灵感来自于人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。近年来人工智能辅助医疗技术的产品研发也取得重大进展，如由谷歌大脑及Verily公司研发的用于乳腺癌病理诊断的人工智能产品可达到89％的肿瘤定位准确率；浙江大学附属第一医院利用人工智能实现快速分析甲状腺B超中结节区域的位置和良恶性。
在医疗诊断过程中，病理组织切片检查需要极高的规范化和精确度。目前绝大部分的病理组织切片是由人工制作，并由病理医生结合自身长期积累的临床诊断经验来分析和判断。胃肠间质瘤(Gastrointestinal stromal tumors,GIST)是好发于胃肠道的间叶源性的肿瘤。GIST常伴随着胃肠道出血、吞咽困难，严重影响患者正常生活，因此GIST患者需要得到及时有效的治疗以防病情持续恶化。但由于缺乏特异性临床表现，确诊GIST必须依据病理组织学和免疫组化检测结果。将病变组织制备成病理切片标本，置于光学显微镜下观察，可见GIST瘤细胞形态多变，主要是上皮样细胞和梭形细胞，前者呈圆形、椭圆形或多边形，胞浆丰富，核仁明显，嗜酸性较弱，多成弥漫、巢状或围绕血管成器官样排列；后者核仁不明显，两侧呈钝圆，嗜酸性可较弱也可为中度，染色质不集中，主要呈交叉束状、栅栏状、漩涡状排列。根据组织良恶性程度可见不同程度的细胞异型性和核***像。
因此，病理组织学方法诊断GIST的缺点主要是：病理玻片的结果判断是由病理医生肉眼观察所得，这种人工阅片方法与病理医生自身经验、工作状态等主观因素密切相关，容易产生误差。临床上也往往因为胃肠道内环境复杂，GIST常被误诊为平滑肌源性肿瘤或神经源性肿瘤，这对于经验不足的病理医生更容易漏诊、误诊。同时，病理医生要负责检查切片上的所有可见的生物组织，而每个病人都会有许多切片，在进行40倍放大时每个切片都有100多亿的像素，因此人工阅片工作量极大，容易受阅片者主观情绪和疲劳阅片等因素的影响。而且，不同的病理学家对同一病人可能给出相当不同的诊断结论。因此，这种高度依赖人为因素的病理组织学诊断方法具有主观差异性，加上其工作强度大、时间成本高且诊断不一致性等缺点，很大程度上会影响GIST的早期诊治从而影响患者预后。另外，培养合格专业的病理医生需要进行长期的专业培训和实践过程，培养周期长，且易受当前社会经济、文化等社会因素的影响，意味着我国乃至全世界病理医生数量“供不应求”、职业缺口大的严峻形势亟需解决。
发明内容
针对病理组织学人工阅片的缺点，本发明拟通过计算机对大量胃肠间质瘤病理图像进行深度学***台，从而实现高准确率和高效率的智能读片，以辅助临床上胃肠间质瘤的病理诊断工作，提高其准确率、工作效率及工作持续状态。
基于此，本发明的目的在于克服上述现有技术的不足之处而提供一种可提高临床诊断胃肠间质瘤时的效率、降低医疗成本的胃肠间质瘤病理诊断支持***。
为实现上述目的，本发明采取的技术方案为：一种基于大数据深度学习的胃肠间质瘤病理诊断支持***，所述支持***包括：图像数据获得单元，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；图像数据标注单元，用于对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；图像数据库构建单元，用于对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及卷积神经网络模型训练单元，利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。
由此，医生可结合所述支持设备针对输入的患者病理图像给出的分类结果和相应的概率，以及医生的专业知识和经验快速地诊断出该患者的是否患有胃肠间质瘤，显著提高临床诊断的效率，从而降低医疗成本；其中，为了保证收集到的图像数据准确无误，可以利用图像标注工具ASAP，对每张病理切片图像进行标注，以保证图像的标签和真实值一致；为了加快训练网络模型的速度，可以使用具有高速并行计算的GPU来代替CPU进行训练；为了加快卷积神经网络模型的检测速度，基于卷积神经网络训练单元，可以将训练好的网络模型重新建模为可变步长的CNN分类模型结构，以用于实际操作中的检测方法；该模型将对巨大的全切片图像进行分块化处理，将预选出的活体组织区域分割成大小相同的ROI分块，由于分块间的检测可以高度并行化，使得检测的速度在多GPU的并行下得到显著提升，然后通过可变步长的CNN分类模型的检测，生成预测概率分布图像；图像数据库将病理图像数据分为训练集、测试集和校验集等；第一卷积神经网络模型的参数包括学习速率、训练次数和多少层网络等网络参数，训练指在寻求最优解时，自动调节参数的过程。
优选地，所述支持***还包括卷积神经网络模型检验单元，用于获得理想的卷积神经网络模型。应当说明的是，此处“理想”是指卷积神经网络模型的准确率高，以及“鲁棒”。
优选地，所述卷积神经网络模型检验单元包括卷积神经网络模型校验单元和卷积神经网络模型测试单元，所述卷积神经网络模型校验单元用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试单元，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型；应当说明的是，如若模型在测试集上的准确率与校验集训练中的准确率相差较大，则说明模型过拟合，此时，可返回卷积神经网络训练单元中，调节网络结构或参数，进行再次训练以获得更好的网络模型；如若在测试集上的准确率与校验集训练中的准确率十分接近，则说明该模型较为鲁棒。
优选地，所述支持***还包括卷积神经网络模型预训练单元，用于当所述图像数据获得单元收集到的已输入图像数据不足时，对所述第一卷积神经网络模型进行预训练。
优选地，所述支持***还包括病理图像数据预处理单元，用于筛选和示出患者病理图像中的待检测区域。
优选地，为了确保检测的有效性，所述预处理单元采用自适应阈值法筛选出所述待检测区域。
优选地，所述卷积神经网络训练单元采用微调法训练所述第一卷积神经网络模型。
作为本发明的另一方面，本发明还提供了一种胃肠间质瘤的病理诊断支持方法，所述支持方法包括以下步骤：
图像数据获得：获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；
图像数据标注：对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；
图像数据库构建：对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；
卷积神经网络构造：构造第一卷积神经网络模型；以及
卷积神经网络模型训练:利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。
应当说明的是，图像数据标注和图像数据库构建可以看作病理图像数据库构建阶段。优选地，所述支持方法还包括卷积神经网络模型检验步骤：获得理想的卷积神经网络模型；所述卷积神经网络模型检验步骤包括卷积神经网络模型校验和卷积神经网络模型测试，所述卷积神经网络模型校验用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。应当说明的是，卷积神经网络构造、卷积神经网络模型训练和卷积神经网络模型检验可看作卷积神经网络的训练阶段，用于获得理想的卷积神经网络模型。
作为本发明的第三个方面，本发明还涉及上述支持***在病理诊断胃肠间质瘤中的临床应用。
综上所述，本发明的有益效果为：
与现有的病理医生人工阅片相比较，本发明基于大数据和深度学习算法的胃肠间质瘤病理诊断的支持设备具有准确率高、耗时短且工作持续时间长的优点，且此发明在各大医院包括三甲、基层医院的推广和云端服务化将有助于解决医疗资源分配不均匀、实现远程优质医疗等，为广大患者提供更便捷、更准确的病理诊断服务；上述优点的实现是因为本发明的设备和方法利用深度学习算法在图像识别的优势，让计算机进行大数据级别的胃肠间质瘤病理切片的深度学习，从而训练出能模拟病理医生阅片并与之媲美的智能化神经网络模型，经过不断学习和验证，该神经网络模型可以实现对胃肠间质瘤病理切片的智能阅片、快速识别并得出科学结论。
附图说明
图1为本发明的胃肠间质瘤病理诊断支持***的结构框图；
图2为本发明实施例二的胃肠间质瘤病理诊断支持方法的流程图；
图3为对胃肠间质瘤切片图；
图4为本发明的实施例二的快速检测模型的原理图；
图5为本发明的胃肠间质瘤病理诊断支持***在应用时的流程图；
其中，1、胃肠间质瘤病理诊断支持***，2、图像数据获得单元，3、图像数据标注单元，4、卷积神经网络构造单元，5、卷积神经网络模型训练单元，6、卷积神经网络模型检验单元，7、图像数据库构建单元，8、病理图像数据预处理单元，9、输入终端，10、输出终端。
具体实施方式
为更好的说明本发明的目的、技术方案和优点，下面将结合附图和具体实施例对本发明作进一步说明。
实施例1
参见图1，本发明的胃肠间质瘤病理诊断支持***1的一种实施例，其包括：
图像数据获得单元2，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；
图像数据标注单元3，用于对已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；
图像数据库构建单元7，用于对图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；
卷积神经网络构造单元4，用于构造第一卷积神经网络模型；
卷积神经网络模型训练单元5，利用病理图像数据库的图像数据对第一卷积神经网络模型的参数进行调节，以及训练第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型；
卷积神经网络模型检验单元6，用于获得理想的卷积神经网络模型，包括卷积神经网络模型校验单元(图中未显示)和卷积神经网络模型测试单元(图中未显示)，卷积神经网络模型校验单元用于检测第二卷积神经网络模型的准确率；卷积神经网络模型测试单元，用于检测第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
卷积神经网络模型预训练单元(图中未显示)，用于当图像数据获得单元收集到的已输入图像数据不足时，对第一卷积神经网络模型进行预训练；以及
病理图像数据预处理单元8，用于筛选和示出患者病理图像中的待检测区域。
其中，病理图像数据预处理单元8采用自适应阈值法筛选出待检测区域；卷积神经网络模型训练单元5采用微调(fine-tune)法训练第一卷积神经网络模型；数据库中包括以下四类数据集：训练集、消验集、测试集以及常规的已公开病理图像数据集。
另外，输入终端9用于将现有的正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像输入图像数据获得单元2，并且，这些输入的数据最后将由图像数据库构建单元7分类收集，用于支持后续的临床诊断工作；
以及将待检测的患者的病理切片图像输入病理图像数据预处理单元8；
输出终端10，用于将由卷积神经网络模型训练单元5获得的鲁棒的卷积神经网络模型对输入病理图像数据预处理单元8的待检测的患者的病理切片图像分类检测的结果(病理类型和相应的概率)呈现给医生，以供临床诊断参考。
实施例2
参见图2，本发明的胃肠间质瘤诊断支持方法的一种实施例，其包括如下步骤：
(1)采集图像数据
以中山大学附属第六医院医学生物库数据为数据来源，采集12000张病理切片图像，包括6000张正常组织切片图像和6000张胃肠间质瘤组织切片，并分别按照训练集：校验集：测试集＝3：1：1的数量比例进行随机分组。如下表1所示：
表1病理切片图像的具体数据。
(2)标注图像信息
利用现有的ASAP图像标注软件对步骤(1)所收集的训练集、校验集和测试集的病理切片图像进行数据标记。为保证信息标注的准确性，需在标注前对图像进行优化处理。对图像的标注工作主要包括：用不同颜色/粗细/虚实线条勾勒出图像中各种病理结构区域，例如，GIST瘤细胞形态多变，主要是上皮样细胞和梭形细胞，前者呈圆形、椭圆形或多边形，胞浆丰富，核仁明显，嗜酸性较弱，多成弥漫、巢状或围绕血管成器官样排列；后者核仁不明显，两侧呈钝圆，嗜酸性可较弱也可为中度，染色质不集中，主要呈交叉束状、栅栏状、漩涡状排列。根据组织良恶性程度可见不同程度的细胞异型性和核***像，然后对图像分类并赋予分值，并将所勾勒的区域进行标签命名。将正确标注后的病理图像进行数字化存储，以进行下一步的网络模型训练和校验。图3为对胃肠间质瘤中不典型增生区域的标注图。
(3)训练卷积神经网络
①设计模型
(a)按照卷积层、最大采样层、非线性函数、全连接层级联的方式来构造卷积神经网络；
(b)采用多层网络来增强网络的拟合能力；
(c)网络最后的全连接层的输出的通道数设为2，分别代表该图像是正常胃肠组织切片图像、胃肠间质瘤组织切片图像。
②训练网络
(a)根据步骤(1)、(2)中收集到的图像数据，对卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率；
(b)为了加快训练网络的速度，使用具有高速并行计算的GPU来代替CPU进行训练；
(c)卷积神经网络权值参数的更新的方法使用SGD来求解,如若收敛速度较慢，使用Adadelta,Adam等优化方法来求解；
(d)如若步骤(1)收集到的训练数据(即图像数据)数目太少，卷积神经网络模型采用先在常规的公开病理图像数据集预训练，再将收集到的图像数据采用fine-tune(微调)的方法来训练卷积神经网络模型；
(e)如在现有卷积神经网络模型上训练，分类的准确率无法上升，可以通过增加卷积神经网络网络模型的深度来增加卷积神经网络模型的拟合能力。
③设计快速检测模型(如图4所示)
1.为了提高检测效率，在预处理阶段采用自适应阈值法，从全切片图像中预选出活体组织区域，作为卷积神经网络的检测对象(如图4箭头101所示，代表预处理过程)。
2.为了提高检测的准确度以及灵活性，基于步骤(3)，可以将训练好的卷积神经网络重新建模为可变步长的CNN分类模型，以用于实际操作中的检测方法；该模型将对巨大的全切片图像进行分块化处理，将预选出的活体组织区域分割成大小相同的ROI分块；由于分块间的检测可以高度并行化，使得检测的速度在多GPU的情况下得到有效的提升(如图4箭头102所示，代表模型快速检测过程)。通过卷积神经网络模型的检测，生成预测概率分布图像。
3.基于第2步的预测概率分布图像，在后处理中，筛除零散点后，分析预测概率分布图，以得到最终全切片图像的预测结果(如图4箭头103所示，代表后处理过程)。
(4)测试集验证
(a)基于步骤③的可变步长的分类模型结构，使用步骤(3)中训练好的卷积神经网络模型来对测试集测试，观察模型在测试集上的准确率。
(b)如若步骤(3)中训练好的卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合；此时，可返回步骤(3)中，调节卷积神经网络模型网络结构或参数，获得更好的网络模型。
(c)如若步骤(3)中训练好的卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的检测病患的病理图像的网络模型。
实施例3
本发明的胃肠间质瘤病理诊断支持***的一种应用例，将待检测的病理图像通过输入终端9输入本发明的胃肠间质瘤诊断支持设备中的病理图像数据预处理单元8，之后的运行流程参见图5，其中，
(a)为了确保检测的有效性，在预处理阶段采用自适应阈值法，从患者组织全切片图像中预选出活体组织区域，然后以组织重心为中心提取或框选出待检测区域(即患者病理组织区域)；
(b)之后，对患者病理组织区域图片进行预处理，预处理包括去噪、直方图均衡、归一化等步骤；
(c)用先前训练好的卷积神经网络模型(即实施例1中第二卷积神经网络模型)对预处理后的图片中待检测区域进行分类检测，从而得出胃肠间质瘤的预测结果，包括该病理切片所属的胃肠间质瘤类别以及相应的概率。
实施例4本发明的胃肠间质瘤病理诊断支持方法与现有方法的比较
目前临床上病理诊断工作是由经过规范化培训的病理医生人工阅读病理组织切片，结合自身长期积累的临床诊断经验来作出分析和诊断。由于这种人工肉眼阅片方法与病理医生自身经验、工作状态、主观情绪等因素密切相关，故准确率不高，但耗时长，工作持续时间有限，容易产生漏诊、误诊及诊断不一致等情况。本发明则利用计算机对标准化的大量胃肠间质瘤病理图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新病理图像得出对应的输出值即病理诊断结论。再者，通过模型重建，在不影响检测准确度的情况下，极大提高了检测速度。
选取35名具有3年以上胃肠间质瘤诊断与治疗经验的医生，分别每人提供40张疑似胃肠间质瘤的病理图像，判断其类型，然后计算准确率和平均时间，统计医生诊断状态，与本发明的诊断支持方法相比较，其结果如下表2所示。
表2胃肠间质瘤诊断结果的比较
从上表2可知，采用本发明的方法阅读病理组织切片，其准确率比专业病理医生的水平更高，且耗时更短，工作持续时间长。
最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.胃肠间质瘤病理诊断支持***，其特征在于，所述支持***包括：
图像数据获得单元，用于获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；
图像数据标注单元，用于对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；
图像数据库构建单元，用于对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；
卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元，利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。
2.根据权利要求1所述的支持***，其特征在于，所述支持***还包括卷积神经网络模型检验单元，用于获得理想的卷积神经网络模型。
3.根据权利要求2所述的支持***，其特征在于，所述卷积神经网络模型检验单元包括卷积神经网络模型校验单元和卷积神经网络模型测试单元，所述卷积神经网络模型校验单元用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试单元，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
4.根据权利要求1所述的支持***，其特征在于，所述支持***还包括卷积神经网络模型预训练单元，用于当所述图像数据获得单元收集到的已输入图像数据不足时，对所述第一卷积神经网络模型进行预训练。
5.根据权利要求1所述的支持***，其特征在于，所述支持***还包括病理图像数据预处理单元，用于筛选和示出患者病理图像中的待检测区域。
6.根据权利要求5所述的支持***，其特征在于，所述预处理单元采用自适应阈值法筛选出所述待检测区域。
7.根据权利要求1所述的支持***，其特征在于，所述卷积神经网络训练单元采用微调法训练所述第一卷积神经网络模型。
8.一种胃肠间质瘤病理诊断的支持方法，其特征在于，所述支持方法包括以下步骤：
图像数据获得：获得正常胃肠组织切片图像和已确诊的胃肠间质瘤病例的病理切片图像作为已输入图像数据；
图像数据标注：对所述已输入图像数据进行标注，以及保证图像的标签和图像的真实病理诊断结果一致；
图像数据库构建：对所述图像数据标注单元提供的已标注图像数据分类、整理，构建病理图像数据库；
卷积神经网络构造：构造第一卷积神经网络模型；以及
卷积神经网络模型训练:利用所述病理图像数据库的图像数据对所述第一卷积神经网络模型的参数进行调节，以及训练所述第一卷积神经网络模型，获得可用于检测患者病理图像数据的第二卷积神经网络模型。
9.根据权利要求8所述的支持方法，其特征在于，所述支持方法还包括卷积神经网络模型检验步骤：获得理想的卷积神经网络模型；所述卷积神经网络模型检验步骤包括卷积神经网络模型校验和卷积神经网络模型测试，所述卷积神经网络模型校验用于检测所述第二卷积神经网络模型的准确率；所述卷积神经网络模型测试，用于检测所述第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
10.根据权利要求1-6任一所述的支持设备在诊断胃肠间质瘤中的应用。
CN201710425297.XA 2017-06-07 2017-06-07 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法 Pending CN107369151A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710425297.XA CN107369151A (zh) 2017-06-07 2017-06-07 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710425297.XA CN107369151A (zh) 2017-06-07 2017-06-07 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法

Publications (1)

Publication Number Publication Date
CN107369151A true CN107369151A (zh) 2017-11-21

Family

ID=60305441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710425297.XA Pending CN107369151A (zh) 2017-06-07 2017-06-07 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法

Country Status (1)

Country Link
CN (1) CN107369151A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置
CN108427970A (zh) * 2018-03-29 2018-08-21 厦门美图之家科技有限公司 图片标注方法和装置
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN108766556A (zh) * 2018-04-24 2018-11-06 宁波江丰生物信息技术有限公司 一种病理质控***
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN109063747A (zh) * 2018-07-16 2018-12-21 武汉大学人民医院（湖北省人民医院） 基于深度学习的肠道病理切片图像识别分析***及方法
CN109124660A (zh) * 2018-06-25 2019-01-04 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和***
CN109165544A (zh) * 2018-07-05 2019-01-08 丁彦青 肾小球肾炎病理智能分类器的训练方法、诊断仪及存储介质
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断***
CN110660477A (zh) * 2018-06-29 2020-01-07 北京优纳医疗科技有限公司 幽门螺杆菌自动筛选和标注的***及方法
CN111798425A (zh) * 2020-06-30 2020-10-20 天津大学 基于深度学习的胃肠道间质瘤中核***象智能检测方法
CN111863234A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于深度学习的肠道病变诊疗标定辅助***
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN112543934A (zh) * 2018-06-22 2021-03-23 H-Labs股份有限公司 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析***
CN112584749A (zh) * 2018-06-22 2021-03-30 株式会社Ai医疗服务 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援***、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质
US10991097B2 (en) 2018-12-31 2021-04-27 Tempus Labs, Inc. Artificial intelligence segmentation of tissue images
CN112801958A (zh) * 2021-01-18 2021-05-14 青岛大学附属医院 超声内镜、人工智能辅助鉴别方法、***、终端、介质
CN113538344A (zh) * 2021-06-28 2021-10-22 河北省中医院 区分萎缩性胃炎和胃癌的图像识别***、设备及介质
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348239B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270431A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN105975793A (zh) * 2016-05-23 2016-09-28 麦克奥迪（厦门）医疗诊断***有限公司 一种基于数字病理图像的癌症辅助诊断方法
CN106570515A (zh) * 2016-05-26 2017-04-19 北京羽医甘蓝信息技术有限公司 处理医学图像的方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140270431A1 (en) * 2013-03-15 2014-09-18 Sony Corporation Characterizing pathology images with statistical analysis of local neural network responses
CN104992177A (zh) * 2015-06-12 2015-10-21 安徽大学 基于深层卷积神经网络的网络色情图像检测方法
CN105160361A (zh) * 2015-09-30 2015-12-16 东软集团股份有限公司 一种图像识别方法及装置
CN105975793A (zh) * 2016-05-23 2016-09-28 麦克奥迪（厦门）医疗诊断***有限公司 一种基于数字病理图像的癌症辅助诊断方法
CN106570515A (zh) * 2016-05-26 2017-04-19 北京羽医甘蓝信息技术有限公司 处理医学图像的方法和***

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109994199B (zh) * 2017-11-24 2024-02-06 西门子医疗保健有限责任公司 基于计算机的诊断***
CN109994199A (zh) * 2017-11-24 2019-07-09 西门子医疗保健有限责任公司 基于计算机的诊断***
CN108388841A (zh) * 2018-01-30 2018-08-10 浙江大学 基于多特征深度神经网络的宫颈活检区域识别方法及装置
CN108427970A (zh) * 2018-03-29 2018-08-21 厦门美图之家科技有限公司 图片标注方法和装置
CN108766556A (zh) * 2018-04-24 2018-11-06 宁波江丰生物信息技术有限公司 一种病理质控***
US11935152B2 (en) 2018-05-14 2024-03-19 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11741365B2 (en) 2018-05-14 2023-08-29 Tempus Labs, Inc. Generalizable and interpretable deep learning framework for predicting MSI from histopathology slide images
US11682098B2 (en) 2018-05-14 2023-06-20 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11610307B2 (en) 2018-05-14 2023-03-21 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348239B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11263748B2 (en) 2018-05-14 2022-03-01 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN108717554A (zh) * 2018-05-22 2018-10-30 复旦大学附属肿瘤医院 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN112584749A (zh) * 2018-06-22 2021-03-30 株式会社Ai医疗服务 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援***、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质
US11954593B2 (en) 2018-06-22 2024-04-09 H-Labs Gmbh Method to determine a degree of abnormality, a respective computer readable medium and a distributed cancer analysis system
CN112543934A (zh) * 2018-06-22 2021-03-23 H-Labs股份有限公司 一种确定异常程度的方法、相应的计算机可读介质和分布式癌症分析***
CN109124660B (zh) * 2018-06-25 2022-06-10 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和***
CN109124660A (zh) * 2018-06-25 2019-01-04 南方医科大学南方医院 基于深度学习的胃肠间质瘤术后风险检测方法和***
CN110660477A (zh) * 2018-06-29 2020-01-07 北京优纳医疗科技有限公司 幽门螺杆菌自动筛选和标注的***及方法
CN109165544A (zh) * 2018-07-05 2019-01-08 丁彦青 肾小球肾炎病理智能分类器的训练方法、诊断仪及存储介质
CN109063747A (zh) * 2018-07-16 2018-12-21 武汉大学人民医院（湖北省人民医院） 基于深度学习的肠道病理切片图像识别分析***及方法
CN108961296A (zh) * 2018-07-25 2018-12-07 腾讯科技（深圳）有限公司 眼底图像分割方法、装置、存储介质和计算机设备
CN111192285B (zh) * 2018-07-25 2022-11-04 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
CN111192285A (zh) * 2018-07-25 2020-05-22 腾讯医疗健康(深圳)有限公司 图像分割方法、装置、存储介质和计算机设备
CN109410194A (zh) * 2018-10-19 2019-03-01 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
CN109410194B (zh) * 2018-10-19 2022-03-29 山东省计算中心（国家超级计算济南中心） 一种基于深度学习的食管癌病理图像处理方法
US10991097B2 (en) 2018-12-31 2021-04-27 Tempus Labs, Inc. Artificial intelligence segmentation of tissue images
CN111863234A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于深度学习的肠道病变诊疗标定辅助***
CN111798425A (zh) * 2020-06-30 2020-10-20 天津大学 基于深度学习的胃肠道间质瘤中核***象智能检测方法
CN111798425B (zh) * 2020-06-30 2022-05-27 天津大学 基于深度学习的胃肠道间质瘤中核***象智能检测方法
CN112801958A (zh) * 2021-01-18 2021-05-14 青岛大学附属医院 超声内镜、人工智能辅助鉴别方法、***、终端、介质
CN113538344A (zh) * 2021-06-28 2021-10-22 河北省中医院 区分萎缩性胃炎和胃癌的图像识别***、设备及介质

Similar Documents

Publication Publication Date Title
CN107369151A (zh) 基于大数据深度学习的胃肠间质瘤病理诊断支持***和方法
CN107368670A (zh) 基于大数据深度学习的胃癌病理诊断支持***和方法
CN107368671A (zh) 基于大数据深度学习的良性胃炎病理诊断支持***和方法
CN108717554A (zh) 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断***
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估***和方法
CN109670510A (zh) 一种基于深度学习的胃镜活检病理数据筛查***和方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN109858540B (zh) 一种基于多模态融合的医学图像识别***及方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断***
CN108898595A (zh) 一种胸部疾病检测模型的构建方法及应用
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
CN110415234A (zh) 基于多参数磁共振成像的脑部肿瘤分割方法
CN109903280A (zh) 肿瘤确定***、方法及存储介质
CN107845091B (zh) 基于预筛查的快速标注方法和***
CN109215040B (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
CN107595248A (zh) 一种检测和评价儿童生长发育状况的方法和***
CN107408198A (zh) 细胞图像和视频的分类
CN110246109A (zh) 融合ct影像和个性化信息的分析***、方法、装置及介质
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持***和方法
Shi et al. High-throughput fat quantifications of hematoxylin-eosin stained liver histopathological images based on pixel-wise clustering
CN114235539A (zh) 基于深度学习的pd-l1病理切片自动判读方法及***
CN110246126A (zh) 一种从肺部ct图像中提取末端支气管树的方法
CN110110622A (zh) 一种基于图像处理的医疗文本检测方法、***和存储介质
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171121