CN111681219B - 基于深度学习的新冠病毒感染ct图像分类方法、***及设备 - Google Patents

基于深度学习的新冠病毒感染ct图像分类方法、***及设备 Download PDF

Info

Publication number
CN111681219B
CN111681219B CN202010495750.6A CN202010495750A CN111681219B CN 111681219 B CN111681219 B CN 111681219B CN 202010495750 A CN202010495750 A CN 202010495750A CN 111681219 B CN111681219 B CN 111681219B
Authority
CN
China
Prior art keywords
new coronavirus
deep learning
coronavirus infection
image
infection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010495750.6A
Other languages
English (en)
Other versions
CN111681219A (zh
Inventor
杜强
高泽宾
郭雨晨
聂方兴
张兴
唐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiao Bai Century Network Technology Co ltd
Original Assignee
Beijing Xiao Bai Century Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiao Bai Century Network Technology Co ltd filed Critical Beijing Xiao Bai Century Network Technology Co ltd
Priority to CN202010495750.6A priority Critical patent/CN111681219B/zh
Publication of CN111681219A publication Critical patent/CN111681219A/zh
Application granted granted Critical
Publication of CN111681219B publication Critical patent/CN111681219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的新冠病毒感染CT图像分类方法、***及设备，方法包括：从一个CT序列中选择n张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。

Description

基于深度学习的新冠病毒感染CT图像分类方法、***及设备
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种基于深度学习的新冠病毒感染CT图像分类方法、***及设备。
背景技术
及时的检测，诊断和治疗对于改善COVID-19患者的预后至关重要。在中国，根据流行病学史、临床表现，外周血检查和影像学特征确定可疑的COVID-19患者。然后，通过实时逆转录酶聚合酶链反应（RT-PCR）分析或基因测序测试的阳性鼻咽或口咽拭子确认可疑的COVID-19患者。但是，诊断试剂盒的供应量、质量差异、检测过程的人为因素影响限制了新冠患者的诊断率和准确性，这些因素延迟了可疑病例的确诊，进而延误了治疗和预后的发展，同时将潜在传染源留在了社区造成更多的传播。因此，正确快速诊断冠状病毒患者对于及时隔离、治疗和切断传染途径至关重要。
在现有技术中，CT扫描可作为替代的筛查和诊断方法。但是，COVID-19的影像学特征很难与其他传染性或炎性疾病区分开，对于经验不足的医生，解译这些扫描时也是一项巨大的挑战。近年来，人工智能在医疗图像处理中（例如放射照相）取得了成功应用。因此，如何利用人工智能进行CT扫描图像的识别新冠病毒感染是亟须解决的问题。
发明内容
本发明的目的在于提供一种基于深度学习的新冠病毒感染CT图像分类方法、***及设备，旨在解决现有技术中的上述问题。
本发明提供一种基于深度学习的新冠病毒感染CT图像分类方法，包括：
从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；
将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；
将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。
本发明提供一种基于深度学习的新冠病毒感染CT图像分类***，包括：
第一新冠病毒感染深度学习模型单元，用于从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；
第二新冠病毒感染深度学习模型单元，用于将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；
SVM模型单元，用于将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
融合模块，用于将第一分类结果和第二分类结果进行融合，根据融合结果输出病人是否患有新冠病毒感染的结果。
本发明实施例还提供一种基于深度学习的新冠病毒感染CT图像分类设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于深度学习的新冠病毒感染CT图像分类方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于深度学习的新冠病毒感染CT图像分类方法的步骤。
采用本发明实施例，能够准确识别出普通病毒感染患者，并准确出从普通病毒感染患者中识别出新冠病毒感染，可以有效辅助医生诊断新冠病毒感染患者。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法的流程图；
图2是本发明实施例的深度学习模型的示意图；
图3是本发明实施例的基于深度学习的新冠病毒感染CT图像分类***的示意图；
图4是本发明实施例的基于深度学习的新冠病毒感染CT图像分类设备的示意图。
具体实施方式
本发明实施例提供了一种基于深度学习的新冠病毒感染CT图像分类方法、***及设备，通过深度学习模型针对新冠病毒感染进行分类，通过大量的COVID-19病毒感染病例、普通病毒性病毒感染病例、其他类型肺部疾病病例（如肺结节等）构建数据集，在该数据集的基础上通过算法识别新冠病毒感染、普通病毒病毒感染和其他肺部疾病。该深度学习模型基于ResNeXt-50、Weight Standard、 时序GRU模块构建，该深度学习模型可以称为CoviDet。病毒感染病变可能发生在CT影像的多个切片中。因此，手动筛选整个CT扫描序列以识别包含病变的图像是耗时且耗费人力的。此外，一般算法较难通过选择单个图像来准确分析一组 CT 图像中的病变特征，只使用CT序列的单张图像容易导致分类错误。为了解决这些问题，本发明实施例应用了一种基于循环神经网络 （RNN） 的和卷积神经网络（CNN）的分类方法，该方法考虑了整个CT扫描序列多张影像的特征，以获得分类结果。
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、 “第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
方法实施例
根据本发明实施例，提供了一种基于深度学习的新冠病毒感染CT图像分类方法，在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提取：COVID-19（第1组和第2组）、对照组（第3组）和普通病毒性病毒感染（第4组）。COVID-19数据集由两部分组成。第一部分由31个省份的575家医院的1590例COVID-19病例组成，第二部分由武汉市汉口医院940例实验室确诊住院病例组成。来自第 1 组和第 2 组的所有 COVID-19 确诊病例均为通过高通量测序或 RT-PCR 检测鼻腔和咽拭子样本检测呈阳性的患者。对照组（第3组）由1085名患者组成，包括肺结核（n=827）、肺结核（n=202）和普通肺（n=56）扫描。肺结核CT扫描（n=827）来自公开数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人群早期癌症检测而创建的开放式数据库。肺结核（n=202）和普通肺（n=56）CT是内部数据集。第4组数据为2009年11月26日至2019年11月1日，广州医科大学第一附属医院经实验室诊断为病毒性病毒感染的患者（n=223）组成。
进行模型训练具体包括如下处理：
1、对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19 CT图像训练数据（即上述第1组、第2组）、一组对照组CT图像训练数据（即上述第3组）、以及一组普通病毒性病毒感染CT图像训练数据（即上述第4组）；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据格式包含一般的图像格式（如JPG、PNG等）和医学影像的标准格式Dicom。此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理，主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理使整个数据集一致。
再次，使用两组新冠病毒感染COVID-19 CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集，将第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为DL1。
此外，使用两组新冠病毒感染COVID-19 CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将第二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为DL2。
最后，通过第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包括来自第1和第2组的COVID-19（n=50）扫描，以及来自第4组的其他病毒性病毒感染CT扫描（n=50）。该数据集（即上述验证组）不出现在训练过程中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后，深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行验证。
此外，本发明实施例使用95%置信区间的AUC（Area Under Curve）、特异度和灵敏度等评价模型性能。
在诊断病毒感染和非病毒感染患者时，敏感度为 0.88， 特异度为0.95, AUC 为0.97 (95%CI 0.96-0.98; P<0.001). 诊断单个病例的时间为 5.74 ± 5.01s。
在诊断普通病毒病毒感染和新冠病毒感染患者时，敏感度为0.85，特异度为0.89，AUC为0.93 (95%CI 0.92-0.94; P<0.001)。诊断单个病例时间为6.75 ± 6.04s。
在联合血相信息诊断新冠病毒感染时，敏感度为 0.97, 特异度 0.83, AUC 为0.95 (95%CI 0.93–0.98; P<0.001) 诊断单个病例的时间为 6.75 ± 6.04s。
在与影像专家对比时，影像专家的敏感度为0.68, 特异度0.98, AUC 为0.86(95%CI 0.78–0.94; P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠病毒感染病例，达到辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法的流程图，如图1所示，根据本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法具体包括：
步骤101，从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；步骤101具体包括：从一个CT序列中选择n 张图像输入到第一ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有病毒感染的分类结果。
步骤102，将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；步骤102具体包括：将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基于重量标准Weight Standard 技术和群组归一化Group Normalization技术的第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard 技术和 Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一个CT序列中选择n 张图像，送入ResNext50网络进行特征提取，可以的得到 n 个1024维度的特征向量I，即得到一个序列的特征向量。然后将n个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性病毒感染之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征，本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器的结果与CoviDet模型的结果融合诊断新冠病毒感染患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据时，首先使用DL1进行分类，确定病人是否患有病毒感染，如果患有病毒感染则进一步使用DL2分类，结合SVM分类确认患者是否患有新冠病毒感染。若均为否定，则诊断病人无病毒感染特征。
综上所述，本发明实施例提出了结合CNN和GRU的CoviDet模型，该模型使用CT序列影像数据诊断患者是否患有新冠病毒感染。为了提升计算效率并使用CT序列数据而非单张数据，本发明实施例提出使用CNN提取多张图像特征并输入GRU单元预测病人类别。同时为了解决模型较大，传统Batch Normalization不适用的问题，本发明实施例利用 WeightStandard + Group Normalization的方法改进模型。最终实验结果表明，本发明实施例的技术方案可以有效辅助医生诊断新冠病毒感染患者。
***实施例
根据本发明实施例，提供了一种基于深度学习的新冠病毒感染CT图像分类***，图3是本发明实施例的基于深度学习的新冠病毒感染CT图像分类***的示意图，如图3所示，根据本发明实施例的基于深度学习的新冠病毒感染CT图像分类***具体包括：
训练单元，用于对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练：训练单元具体进行下处理：
确定模型CT图像训练数据，其中，模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19 CT图像训练数据、一组对照组CT图像训练数据、以及一组普通病毒性病毒感染CT图像训练数据；
对模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；
使用两组新冠病毒感染COVID-19 CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集，将第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
使用两组新冠病毒感染COVID-19 CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将第二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
通过第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证。
训练单元进一步用于：对SVM模型进行训练；
上述***具体包括：
第一新冠病毒感染深度学习模型单元30，用于从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；
第一新冠病毒感染深度学习模型单元30具体用于：从一个CT序列中选择n 张图像输入到第一ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有病毒感染的分类结果；
第二新冠病毒感染深度学习模型单元32，用于将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；
第二新冠病毒感染深度学习模型单元32具体用于：
将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果；
其中，第一ResNext50网络和第二ResNext50网络具体为：基于重量标准WeightStandard 技术和群组归一化Group Normalization技术的第一ResNext50网络和第二ResNext50网络。
SVM模型单元34，用于将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
融合模块36，用于将第一分类结果和第二分类结果进行融合，根据融合结果输出病人是否患有新冠病毒感染的结果。
本发明实施例是与上述方法实施例所对应的***实施例，各个模块的具体处理可以参照上述方法实施例进行理解，在此不再赘述。
装置实施例一
本发明实施例提供一种基于深度学习的新冠病毒感染CT图像分类设备，如图4所示，包括：存储器40、处理器42及存储在所述存储器40上并可在所述处理器42上运行的计算机程序，所述计算机程序被所述处理器42执行时实现如下方法步骤：
在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提取：COVID-19（第1组和第2组）、对照组（第3组）和普通病毒性病毒感染（第4组）。COVID-19数据集由两部分组成。第一部分由31个省份的575家医院的1590例COVID-19病例组成，第二部分由武汉市汉口医院940例实验室确诊住院病例组成。来自第 1 组和第 2 组的所有 COVID-19 确诊病例均为通过高通量测序或 RT-PCR 检测鼻腔和咽拭子样本检测呈阳性的患者。对照组（第3组）由1085名患者组成，包括肺结核（n=827）、肺结核（n=202）和普通肺（n=56）扫描。肺结核CT扫描（n=827）来自公开数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人群早期癌症检测而创建的开放式数据库。肺结核（n=202）和普通肺（n=56）CT是内部数据集。第4组数据为2009年11月26日至2019年11月1日，广州医科大学第一附属医院经实验室诊断为病毒性病毒感染的患者（n=223）组成。
进行模型训练具体包括如下处理：
1、对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19 CT图像训练数据（即上述第1组、第2组）、一组对照组CT图像训练数据（即上述第3组）、以及一组普通病毒性病毒感染CT图像训练数据（即上述第4组）；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据格式包含一般的图像格式（如JPG、PNG等）和医学影像的标准格式Dicom。此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理，主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理使整个数据集一致。
再次，使用两组新冠病毒感染COVID-19 CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集，将第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为DL1。
此外，使用两组新冠病毒感染COVID-19 CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将第二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为DL2。
最后，通过第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包括来自第1和第2组的COVID-19（n=50）扫描，以及来自第4组的其他病毒性病毒感染CT扫描（n=50）。该数据集（即上述验证组）不出现在训练过程中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后，深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行验证。
此外，本发明实施例使用95%置信区间的AUC（Area Under Curve）、特异度和灵敏度等评价模型性能。
在诊断病毒感染和非病毒感染患者时，敏感度为 0.88， 特异度为0.95, AUC 为0.97 (95%CI 0.96-0.98; P<0.001). 诊断单个病例的时间为 5.74 ± 5.01s。
在诊断普通病毒病毒感染和新冠病毒感染患者时，敏感度为0.85，特异度为0.89，AUC为0.93 (95%CI 0.92-0.94; P<0.001)。诊断单个病例时间为6.75 ± 6.04s。
在联合血相信息诊断新冠病毒感染时，敏感度为 0.97, 特异度 0.83, AUC 为0.95 (95%CI 0.93–0.98; P<0.001) 诊断单个病例的时间为 6.75 ± 6.04s。
在与影像专家对比时，影像专家的敏感度为0.68, 特异度0.98, AUC 为0.86(95%CI 0.78–0.94; P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠病毒感染病例，达到辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法的流程图，如图1所示，根据本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法具体包括：
步骤101，从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；步骤101具体包括：从一个CT序列中选择n 张图像输入到第一ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有病毒感染的分类结果。
步骤102，将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；步骤102具体包括：将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基于重量标准Weight Standard 技术和群组归一化Group Normalization技术的第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard 技术和 Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一个CT序列中选择n 张图像，送入ResNext50网络进行特征提取，可以的得到 n 个1024维度的特征向量I，即得到一个序列的特征向量。然后将n个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性病毒感染之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征，本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器的结果与CoviDet模型的结果融合诊断新冠病毒感染患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据时，首先使用DL1进行分类，确定病人是否患有病毒感染，如果患有病毒感染则进一步使用DL2分类，结合SVM分类确认患者是否患有新冠病毒感染。若均为否定，则诊断病人无病毒感染特征。
装置实施例二
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器42执行时实现如下方法步骤：
在执行如图1所示的流程之前，需要进行深度学习模型的训练，首先对本发明实施例进行训练时所使用的数据进行介绍。模型训练数据从四个队列中提取：COVID-19（第1组和第2组）、对照组（第3组）和普通病毒性病毒感染（第4组）。COVID-19数据集由两部分组成。第一部分由个省份的575家医院的1590例COVID-19病例组成，第二部分由武汉市汉口医院940例实验室确诊住院病例组成。来自第 1 组和第 2 组的所有 COVID-19 确诊病例均为通过高通量测序或 RT-PCR 检测鼻腔和咽拭子样本检测呈阳性的患者。对照组（第3组）由1085名患者组成，包括肺结核（n=827）、肺结核（n=202）和普通肺（n=56）扫描。肺结核CT扫描（n=827）来自公开数据集LIDC-IDRI[9]。LIDC-IDRI数据库是美国国家癌症研究所为研究高危人群早期癌症检测而创建的开放式数据库。肺结核（n=202）和普通肺（n=56）CT是内部数据集。第4组数据为2009年11月26日至2019年11月1日，广州医科大学第一附属医院经实验室诊断为病毒性病毒感染的患者（n=223）组成。
进行模型训练具体包括如下处理：
1、对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练；具体地：
首先，确定模型CT图像训练数据，其中，模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19 CT图像训练数据（即上述第1组、第2组）、一组对照组CT图像训练数据（即上述第3组）、以及一组普通病毒性病毒感染CT图像训练数据（即上述第4组）；
其次，对模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；具体地，由于所有数据来自多个数据中心，因此数据格式包含一般的图像格式（如JPG、PNG等）和医学影像的标准格式Dicom。此外部分图像数据上含有病人或仪器相关的文字水印，因此需要统一对数据进行预处理。预处理包括两部分，第一部分针对dicom数据，需要统一窗宽窗位并转为PNG图像格式。第二部分为对一般图像格式数据的处理，主要方法包括阈值分割、边缘检测、图像裁剪。通过预处理可以得到肺部区域的图像数据，尽量避免水印等影响。对dicom数据也做同样裁剪处理使整个数据集一致。
再次，使用两组新冠病毒感染COVID-19 CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将第一数据集划分为第一训练集和第一验证集，将第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
也就是说，使用第1组、第2组和第4组数据做为正样本，第3组做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分部分。由该数据集获取的模型可以称为DL1。
此外，使用两组新冠病毒感染COVID-19 CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将第二数据集划分为第二训练集和第二验证集，将第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
也就是说，该部分中使用第1组和第2组数据做为正样本，第4组数据做为负样本构建数据集，使用该数据集训练CoviDet模型。构建该模型时，数据集划分为训练集、验证集两部分。由该数据集训练得到的模型称为DL2。
最后，通过第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证。
为了证明模型性能，本发明实施例使用一个100例的测试数据集，包括来自第1和第2组的COVID-19（n=50）扫描，以及来自第4组的其他病毒性病毒感染CT扫描（n=50）。该数据集（即上述验证组）不出现在训练过程中，模型将在该数据集上与来自中国15个医疗中心的45名具有不同经验的专家放射科医师进行比较。每位专家被要求诊断100次随机扫描。然后，深度学习模型被用来诊断与人类专家相同的扫描。从而对模型的性能进行验证。
此外，本发明实施例使用95%置信区间的AUC（Area Under Curve）、特异度和灵敏度等评价模型性能。
在诊断病毒感染和非病毒感染患者时，敏感度为 0.88， 特异度为0.95, AUC 为0.97 (95%CI 0.96-0.98; P<0.001). 诊断单个病例的时间为 5.74 ± 5.01s。
在诊断普通病毒病毒感染和新冠病毒感染患者时，敏感度为0.85，特异度为0.89，AUC为0.93 (95%CI 0.92-0.94; P<0.001)。诊断单个病例时间为6.75 ± 6.04s。
在联合血相信息诊断新冠病毒感染时，敏感度为 0.97, 特异度 0.83, AUC 为0.95 (95%CI 0.93–0.98; P<0.001) 诊断单个病例的时间为 6.75 ± 6.04s。
在与影像专家对比时，影像专家的敏感度为0.68, 特异度0.98, AUC 为0.86(95%CI 0.78–0.94; P<0.001).
因此，本发明实施例的模型可以快速有效的诊断新冠病毒感染病例，达到辅助医生诊断的目的。
2、对SVM模型进行训练。在本发明实施例中，使用Poly内核的SVM模型对临床诊断特征数据进行分类建模。此处的临床诊断特征数据是指除了CT扫描图像之外的临床诊断，例如，验血等。
图1是本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法的流程图，如图1所示，根据本发明实施例的基于深度学习的新冠病毒感染CT图像分类方法具体包括：
步骤101，从一个CT序列中选择n 张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；步骤101具体包括：从一个CT序列中选择n 张图像输入到第一ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有病毒感染的分类结果。
步骤102，将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；步骤102具体包括：将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到 n 个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果。
需要说明的是，第一ResNext50网络和第二ResNext50网络具体为：基于重量标准Weight Standard 技术和群组归一化Group Normalization技术的第一ResNext50网络和第二ResNext50网络。具体地，本发明实施例使用ResNext50提取单张图像的特征，由于同时处理多张图像，所需计算显存资源较大，因此Batch Size较小。在Batch Size较小的情况下，传统的Batch Normalization难以起到作用。为解决该问题，本发明实施例使用了Weight Standard 技术和 Group Normalization技术以达到更好的分类精度。
图2是本发明实施例的深度学习模型的示意图，如图2所示，一个CT序列包含多张图像。也就是说，在步骤101和步骤102中，需要首先从一个CT序列中选择n 张图像，送入ResNext50网络进行特征提取，可以的得到 n 个1024维度的特征向量I，即得到一个序列的特征向量。然后将n个特征向量I送入GRU时序神经网络，通过时序神经网络学习多张图片间的依赖关系，从而达到使用一个CT序列的多张图像预测病例类别的目的。
步骤103，将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
在本发明实施例中，为进一步提高COVID-19与其他类型的病毒性病毒感染之间的诊断能力，增加了包括症状和外周血实验室检测在内的临床特征，本发明实施例使用临床特征数据训练得到一个SVM分类器，并将该分类器的结果与CoviDet模型的结果融合诊断新冠病毒感染患者。
步骤104，将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。
也就是说，从上述处理可以看出，在处理实际场景中的新到病例数据时，首先使用DL1进行分类，确定病人是否患有病毒感染，如果患有病毒感染则进一步使用DL2分类，结合SVM分类确认患者是否患有新冠病毒感染。若均为否定，则诊断病人无病毒感染特征。
综上所述，本发明实施例提出了结合CNN和GRU的CoviDet模型，该模型使用CT序列影像数据诊断患者是否患有新冠病毒感染。为了提升计算效率并使用CT序列数据而非单张数据，本发明实施例提出使用CNN提取多张图像特征并输入GRU单元预测病人类别。同时为了解决模型较大，传统Batch Normalization不适用的问题，本发明实施例利用 WeightStandard + Group Normalization的方法改进模型。最终实验结果表明，本发明实施例的技术方案可以有效辅助医生诊断新冠病毒感染患者。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种基于深度学习的新冠病毒感染CT图像分类方法，其特征在于，包括：
从一个CT序列中选择n张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；
所述第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；
从一个CT序列中选择n张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果具体包括：
从一个CT序列中选择n张图像输入到第一ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测是否患有病毒感染的分类结果；
将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；
所述第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；
将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果具体包括：
将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果；
所述第一ResNext50网络和所述第二ResNext50网络具体为：基于重量标准WeightStandard技术和群组归一化Group Normalization技术的第一ResNext50网络和所述第二ResNext50网络；
将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
将第一分类结果和第二分类结果进行融合，根据融合结果得到病人是否患有新冠病毒感染的分类结果。
2.根据权利要求1所述方法，其特征在于，所述方法进一步包括：
对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练；
对SVM模型进行训练。
3.根据权利要求2所述的方法，其特征在于，对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练具体包括：
确定模型CT图像训练数据，其中，所述模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19CT图像训练数据、一组对照组CT图像训练数据、以及一组普通病毒性病毒感染CT图像训练数据；
对所述模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；
使用两组新冠病毒感染COVID-19CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将所述第一数据集划分为第一训练集和第一验证集，将所述第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
使用两组新冠病毒感染COVID-19CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将所述第二数据集划分为第二训练集和第二验证集，将所述第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
通过所述第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过所述第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证。
4.一种基于深度学习的新冠病毒感染CT图像分类***，其特征在于，包括：
第一新冠病毒感染深度学习模型单元，用于从一个CT序列中选择n张图像输入到预先训练好的第一新冠病毒感染深度学习模型进行分类，得到是否患有病毒感染的分类结果；
所述第一新冠病毒感染深度学习模型具体包括：第一ResNext50网络和第一GRU时序神经网络；
所述第一新冠病毒感染深度学习模型单元具体用于：从一个CT序列中选择n张图像输入到第一ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第一GRU时序神经网络，通过第一GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有病毒感染的分类结果；
第二新冠病毒感染深度学习模型单元，用于将患有病毒感染的图像输入到预先训练好的第二新冠病毒感染深度学习模型进行分类，得到病人是否患有新冠病毒感染的第一分类结果；
所述第二新冠病毒感染深度学习模型具体包括：第二ResNext50网络和第二GRU时序神经网络；
所述第二新冠病毒感染深度学习模型单元具体用于：
将患有病毒感染的图像输入到第二ResNext50网络进行特征提取，得到n个1024维度的特征向量I，将n个特征向量I送入第二GRU时序神经网络，通过第二GRU时序神经网络学习多张图像间的依赖关系，从而使用一个CT序列的多张图像预测病人是否患有新冠病毒感染的第一分类结果；
其中，所述第一ResNext50网络和所述第二ResNext50网络具体为：基于重量标准Weight Standard技术和群组归一化Group Normalization技术的第一ResNext50网络和所述第二ResNext50网络；
SVM模型单元，用于将患有病毒感染的图像对应的临床诊断特征数据输入到预先训练好的SVM模型进行分类，得到是否患有新冠病毒感染的第二分类结果；
融合模块，用于将第一分类结果和第二分类结果进行融合，根据融合结果输出病人是否患有新冠病毒感染的结果。
5.根据权利要求4所述的***，其特征在于，所述***进一步包括：
训练单元，用于对第一新冠病毒感染深度学习模型和第二新冠病毒感染深度学习模型进行训练：
确定模型CT图像训练数据，其中，所述模型CT图像训练数据具体包括四组数据：两组新冠病毒感染COVID-19CT图像训练数据、一组对照组CT图像训练数据、以及一组普通病毒性病毒感染CT图像训练数据；
对所述模型CT图像训练数据进行预处理，得到符合规定格式的肺部区域的CT图像数据；
使用两组新冠病毒感染COVID-19CT图像训练数据和一组普通病毒性病毒感染CT图像训练数据作为正样本，使用一组对照组CT图像训练数据作为负样本构建第一数据集，将所述第一数据集划分为第一训练集和第一验证集，将所述第一训练集输入到第一新冠病毒感染深度学习模型进行模型的训练，得到训练好的第一新冠病毒感染深度学习模型；
使用两组新冠病毒感染COVID-19CT图像训练数据作为正样本，使用一组普通病毒性病毒感染CT图像训练数据作为负样本构建第二数据集，将所述第二数据集划分为第二训练集和第二验证集，将所述第二训练集输入到第二新冠病毒感染深度学习模型进行模型的训练，得到训练好的第二新冠病毒感染深度学习模型；
通过所述第一验证集对训练好的第一新冠病毒感染深度学习模型进行验证；通过所述第二验证集对训练好的第二新冠病毒感染深度学习模型进行验证；
所述训练单元进一步用于：对SVM模型进行训练。
6.一种基于深度学习的新冠病毒感染CT图像分类设备，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至3中任一项所述的基于深度学习的新冠病毒感染CT图像分类方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至3中任一项所述的基于深度学习的新冠病毒感染CT图像分类方法的步骤。
CN202010495750.6A 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、***及设备 Active CN111681219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495750.6A CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495750.6A CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、***及设备

Publications (2)

Publication Number Publication Date
CN111681219A CN111681219A (zh) 2020-09-18
CN111681219B true CN111681219B (zh) 2024-02-27

Family

ID=72453062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495750.6A Active CN111681219B (zh) 2020-06-03 2020-06-03 基于深度学习的新冠病毒感染ct图像分类方法、***及设备

Country Status (1)

Country Link
CN (1) CN111681219B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11076824B1 (en) * 2020-08-07 2021-08-03 Shenzhen Keya Medical Technology Corporation Method and system for diagnosis of COVID-19 using artificial intelligence
CN111932541B (zh) * 2020-10-14 2021-02-02 北京信诺卫康科技有限公司 一种用于预测新冠肺炎预后的ct影像图像处理方法
CN112381766B (zh) * 2020-10-26 2023-08-22 华南理工大学 一种基于小样本学习的肺部ct影像特征检测***
CN112617856A (zh) * 2020-12-14 2021-04-09 上海交通大学 基于残差神经网络的冠心病心电图筛查***及方法
CN112786189B (zh) * 2021-01-05 2022-07-01 重庆邮电大学 一种基于深度学习的新冠肺炎智能诊断***
CN113033650A (zh) * 2021-03-22 2021-06-25 Oppo广东移动通信有限公司 图像分类方法、分类模型的训练方法、装置及存储介质
CN113269230B (zh) * 2021-04-23 2022-09-06 复旦大学 一种基于时序高维特征提取的多肺炎ct分类方法及装置
CN113177955B (zh) * 2021-05-10 2022-08-05 电子科技大学成都学院 一种基于改进图像分割算法的肺癌影像病变区域划分方法
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、***及装置
CN113673566A (zh) * 2021-07-19 2021-11-19 华南理工大学 一种基于ct图像的新冠肺炎诊断***、介质及设备
CN113935969B (zh) * 2021-10-18 2024-04-12 太原理工大学 一种基于领域知识引导的新冠肺炎特异性病例的诊断***
CN114242247A (zh) * 2021-12-30 2022-03-25 吉林大学第一医院 一种非肥胖性mafld的预测***、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和***
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9949714B2 (en) * 2015-07-29 2018-04-24 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和***
CN110555479A (zh) * 2019-09-05 2019-12-10 北京工业大学 基于1dcnn与gru融合的故障特征学习与分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
多模态融合下长时程肺部病灶良恶性预测方法;张娅楠;赵涓涓;赵鑫;张小龙;王三虎;;计算机工程与应用(第10期);全文 *

Also Published As

Publication number Publication date
CN111681219A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681219B (zh) 基于深度学习的新冠病毒感染ct图像分类方法、***及设备
Arnaout et al. An ensemble of neural networks provides expert-level prenatal detection of complex congenital heart disease
Wang et al. Automatically discriminating and localizing COVID-19 from community-acquired pneumonia on chest X-rays
Di et al. Hypergraph learning for identification of COVID-19 with CT imaging
Bouchareb et al. Artificial intelligence-driven assessment of radiological images for COVID-19
Xue et al. Modality alignment contrastive learning for severity assessment of COVID-19 from lung ultrasound and clinical information
Bridge et al. Introducing the GEV activation function for highly unbalanced data to develop COVID-19 diagnostic models
WO2021209887A1 (en) Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis
Saygılı Computer-aided detection of COVID-19 from CT images based on Gaussian mixture model and kernel support vector machines classifier
Patro et al. SCovNet: A skip connection-based feature union deep learning technique with statistical approach analysis for the detection of COVID-19
Goldstein et al. Covid-19 classification of x-ray images using deep neural networks
Nandhini Abirami et al. COVID-19 classification using medical image synthesis by generative adversarial networks
Ghafoor COVID-19 pneumonia level detection using deep learning algorithm
Burgos-Artizzu Computer-aided covid-19 patient screening using chest images (X-Ray and CT scans)
Ali et al. A deep learning‐based x‐ray imaging diagnosis system for classification of tuberculosis, COVID‐19, and pneumonia traits using evolutionary algorithm
Suárez-Cuenca et al. Automated detection of pulmonary nodules in CT: false positive reduction by combining multiple classifiers
Wu et al. Deep learning to estimate the physical proportion of infected region of lung for covid-19 pneumonia with ct image set
Mellal et al. CNN Models Using Chest X-Ray Images for COVID-19 Detection: A Survey.
ElShafee et al. Real-Time Multi-Class Infection Classification for Respiratory Diseases.
Maheen et al. Comparative analysis of deep learning algorithms for classification of covid-19 x-ray images
Yaşar et al. A novel comparative study for automatic three-class and four-class covid-19 classification on x-ray images using deep learning
Chan et al. Identifying Pediatric Vascular Anomalies With Deep Learning
Ali et al. COVID-19 Pneumonia Level Detection using Deep Learning Algorithm
Deepa s et al. Diagnosis and detection of COVID-19 infection on X-Ray and CT scans using deep learning based generative adversarial network
Rawat et al. A review on automatic COVID-19 lung lesions detection from tomographical image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant