CN112381810A - 一种肺炎图像识别方法、装置及计算设备 - Google Patents
一种肺炎图像识别方法、装置及计算设备 Download PDFInfo
- Publication number
- CN112381810A CN112381810A CN202011309427.1A CN202011309427A CN112381810A CN 112381810 A CN112381810 A CN 112381810A CN 202011309427 A CN202011309427 A CN 202011309427A CN 112381810 A CN112381810 A CN 112381810A
- Authority
- CN
- China
- Prior art keywords
- sample set
- image
- pneumonia
- partial
- lung
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000004072 lung Anatomy 0.000 claims abstract description 145
- 208000025721 COVID-19 Diseases 0.000 claims abstract description 90
- 230000003416 augmentation Effects 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000001575 pathological effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 241000711573 Coronaviridae Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肺炎识别方法及装置，其中，该方法是通过获取第一样本集，对第一样本集进行数据增强，得到第二样本集；利用第二样本集对肺炎识别模型进行训练，得到训练好的肺炎识别模型；获取疑似COVID‑19患者的肺部图像，将所述疑似COVID‑19患者的肺部图像输入至训练好的肺部识别模型，得到识别结果；获取专家根据识别结果确诊为COVID‑19患者的肺部图像，根据第二样本集和第三样本集点对训练好的肺炎识别模型进行再次训练，通过使用该训练好的肺炎识别模型来识别疑似COVID‑19患者的肺部图像，可以有效地减少人类专家的工作量，帮助提升COVID‑19患者检测效率和准确率。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种肺炎图像识别方法、装置及计算设备。
背景技术
目前，深度学习技术已经被广泛应用在图像检测识别领域，例如人脸识别、车牌识别等场景。为了得到较好的识别率，通常需要大量人工标注的图像数据去训练深层的卷积神经网络模型。然而，医疗图像等跟病人隐私相关的数据往往是难以获取到的，因此难以获取到足够数量的数据进行标注，另一方面，即便能够获取到满足数量要求的图像数据，在短时间内完成标注得到准确的标注数据也是相当困难的。
当前，新型冠状病毒导致的肺炎疫情仍然不可忽视，传统的诊断过程通常需要经验丰富的医生对患者的肺炎图像进行查看分析然后得出诊疗结论，在疑似患者急剧增加的时候，仅仅通过人类专家去查看病理图像是远远不够的。当前也有使用深度学习技术来辅助医生进行诊断的案例，比如肿瘤识别等，但对于新型冠状病毒肺炎(corona virusdisease 2019，COVID-19)的识别应用还较少，原因之一就是标注的数据量过少，不足以训练一个良好的检测模型。
发明内容
为了解决上述问题，本发明实施例提供一种肺炎图像识别方法及装置，能够有效地识别疑似COVID-19患者的肺部图像，减少医护人员的工作量，提升COVID-19患者肺部图像的检测效率和准确率。
第一方面，本申请实施例提供了一种肺炎图像识别方法，该方法包括：
获取第一样本集，对所述第一样本集中的肺部图像进行数据增强，得到第二样本集；
利用所述第二样本集对肺炎识别模型进行训练，得到训练好的肺炎识别模型；
获取疑似COVID-19患者的肺部图像，将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；
获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行再次训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
在一种具体的实现方式中，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像。
在一种具体的实现方式中，所述第二样本集包括第三部分样本集和第四部分样本集；所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像。
在一种具体的实现方式中，所述识别结果包括置信度以及肺炎病理区域，所述置信度表示所述疑似COVID-19患者的肺部图像属于COVID-19的概率，所述肺炎病理区域指示肺炎病灶位置。
在一种具体的实现方式中，所述肺炎识别模型是深度卷积神经网络模型。
在一种具体的实现方式中，所述第一扩充算法包括自动扩充算法autoaugment，所述第二扩充算法包括生成式对抗网络以及自动扩充算法autoaugment。
在一种具体的实现方式中，所述肺炎识别模型根据第一部分样本集的数量对肺炎识别模型中网络深度、宽度和图像分辨率三个参数中的一个或者多个进行更改。
上述方案中，通过获取有标注COVID-19的肺部图像和未标注COVID-19的肺部图像，将这两类肺部图像运用数据增强算法进行数据增强，扩大样本量，然后用增强前的肺部图像和增强后的肺部图像训练肺炎识别模型，使得肺炎识别模型的识别精确度更高。本方案还通过获取疑似COVID-19患者的肺部图像，将上述疑似COVID-19患者的肺部图像输入到训练好的肺炎识别模型中，得到该图像的COVID-19的置信度以及肺炎病理区域等。专家根据置信度以及肺炎病理区域找到其中确诊为COVID-19患者的肺部图像，并将这些确诊为COVID-19患者的肺部图像加上增强前的肺部图像以及增强后的肺部图像输入至肺炎识别模型中，再次训练肺炎识别模型，使得肺炎识别模型的精确度得到提高。
第二方面，本申请实施例提供了一种肺炎图像识别装置，该装置包括：
获取模块，用于获取第一样本集，其中，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像；
处理模块，用于对所述第一样本集中的肺部图像进行数据增强，得到第二样本集，其中，所述第二样本集包括第三部分样本集和第四部分样本集，所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像；
所述获取模块，还用于获取疑似COVID-19患者的肺部图像；
所述处理模块，还用于将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；
所述获取模块，还用于获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
上述方案中，通过获取有标注COVID-19的肺部图像和未标注COVID-19的肺部图像，将这两类肺部图像运用数据增强算法进行数据增强，扩大样本量，然后用增强前的肺部图像和增强后的肺部图像训练肺炎识别模型，使得肺炎识别模型的识别精确度更高。本方案还通过获取疑似COVID-19患者的肺部图像，将上述疑似COVID-19患者的肺部图像输入到训练好的肺炎识别模型中，得到该图像的COVID-19的置信度以及肺炎病理区域等。专家根据置信度以及肺炎病理区域找到其中确诊为COVID-19患者的肺部图像，并将这些确诊为COVID-19患者的肺部图像加上增强前的肺部图像以及增强后的肺部图像输入至肺炎识别模型中，再次训练肺炎识别模型，使得肺炎识别模型的精确度得到提高。
第三方面，本申请实施例提供一种计算设备，包括处理器和存储器，存储器用于存储指令，处理器用于执行所述指令，当处理器执行指令时，执行如第一方面或第一方面任意具体实现方式中所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当所述指令在计算设备上运行时执行如第一方面或第一方面任意具体实现方式中所述的方法。
本申请在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种肺炎图像识别方法的流程示意图；
图2是本申请提供的一种肺炎图像识别装置的结构示意图；
图3是本申请提供的一种第二样本集的结构示意图；
图4是本申请提供的一种对小样本集进行数据增强的示意图；
图5是本申请提供的一种肺炎识别模型识别的流程示意图；
图6是本申请提供的一种训练肺炎识别模型的流程示意图；
图7是本申请提供的一种计算设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，在本申请的说明和权利要求中的术语“包括”和“具有”以及它们的任何变形，指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请实施例提供的一种肺炎图像识别方法的示意图，该方法包括：
步骤S101、获取第一样本集，对所述第一样本集进行数据增强，得到第二样本集。
在本申请具体的实施例中，所述第一样本集包括第一部分样本集和第二部分样本集。所述第一部分样本集是有标注COVID-19的肺部图像，所述第二部分样本集是未标注COVID-19的肺部图像。
在本申请具体的实施例中，所述第二样本集包括第三部分样本集和第四部分样本集；所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像。
在本申请具体的实施例中，第一扩充算法中包括多个增强策略，每一个增强策略又包含多个子策略，每个子策略都要对目标图像进行两个有先后顺序执行的数据操作，其中每个数据操作的参数包括使用该操作的概率和该操作的使用幅度。具体的，第一部分样本集中的肺部图像通过自动扩充算法找到多个增强策略，随机抽取所述多个增强策略中的一个子策略，并将该子策略作用在所述第一部分样本集中的肺部图像上，经过多次上述操作，找到最优的一个子策略作用在所述第一部分样本集中的肺部图像上，进而得到第三部分样本集。
在本申请具体的实施例中，所述数据操作包括：图像沿X轴或者Y轴进行图像错切；沿X轴或者Y轴平移图像；反色，即像素反转；直方图均衡化；指定一个像素值，对原始图像中高于该值得像素进行翻转操作；色彩分离，具体是指调整图像色调和饱和度；调整图像锐度；调整图像的对比度；随机选择原始图像中的某一块区域，屏蔽掉这块区域的图像内容；在训练时，从同一批次的图像中选择一张图像，将其内容嫁接到原图上，但原图标签不变；旋转图像；调整图像的亮度。
在本申请具体的实施例中，图像错切变换是指保持图像上各个点的其中一个坐标不变，将另一个坐标进行线性变换，坐标不变的轴称为依赖轴，坐标变换的轴称为方向轴。沿X轴平移图像具体的是将图像沿X轴向左或者向右平移，只改变图像各点的横坐标，纵坐标保持不变。反色，具体是指将白色的色彩值(red-green-blue，RGB)减去原始图像颜色的RGB，得到反色后图像颜色的RGB。
直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法。通过这种方法，亮度可以更好地在直方图上分布。直方图均衡化可以用于增强局部的对比度而不影响整体的对比度。具体的，将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。
翻转操作是指定一个像素值，对原始图像中高于该值得像素进行翻转操作。为了便于理解，举例说明，当指定像素值为128时，将原始图像中像素值高于128的部分进行翻转。
色彩分离是指减少每个颜色通道上的位数。简单来说，就是减少组成图片的色彩的种类。
调整图像锐度是对图像中的锐度进行调整，其中，锐度越高，图像中的物体边缘色彩过渡效果越差，使得物体边缘显得“尖锐”；锐度越低，图像越柔和，但清晰度也会降低。
在本申请具体的实施例中，第二扩充算法包括两类：一种通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法有生成式对抗网络(generativeadversarial networks，GAN)；另一种是通过模型学习出适合当前认为最优的数据增强方法，代表方法有自动扩充算法autoaugment。
步骤S102、利用所述第二样本集对肺炎识别模型进行训练，得到训练好的肺炎识别模型。
在本申请具体的实施例中，所述肺炎识别模型基于深度卷积神经网络，将所述第二样本集中的肺部图像输入到卷积神经网络中进行训练，所述卷积神经网络通过对第二样本集中的肺部图像进行学习，得到训练好的肺炎识别模型。
在本申请具体的实施例中，所述肺炎识别模型根据所述第一部分样本集的数量对肺炎识别模型中网络深度、宽度和图像分辨率三个参数中的一个或者多个进行更改。在一种可能的实施例中，在第一部分样本数量较少时，所述肺炎识别模型可以增加肺炎识别模型的网络深度或者宽度，以学习到更多的特征，来增加样本集的数量。在另一种可能的实施例中，在第一部分样本集的数量较多时，所述肺炎识别模型可以减少肺炎识别模型的网络深度、增加网络宽度，以保证每一层网络都学到丰富的特征。
需要说明的是，网络深度是指卷积神经网络的层数，如果网络深度越深，则该网络具有更好的非线性表达能力，可以学习更复杂的变换，从而可以拟合更加复杂的特征，换句话说，网络深度的加深，可以使得拟合的效果更加接近实物图像；网络宽度是指每层的通道数，网络有了足够的宽度，才可以保证每一层都学到丰富的特征，如果网络宽度太窄，特征提取不充分，网络学习不到足够的信息，会导致模型性能受限。
步骤S103、获取疑似COVID-19患者的肺部图像，将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果。
在本申请具体的实施例中，所述识别结果包括置信度以及肺炎病理区域，所述置信度表示所述疑似COVID-19患者的肺部图像属于COVID-19的概率，所述肺炎病理区域指示肺炎病灶位置。
为了便于理解，举例说明，获取100张疑似COVID-19患者的肺部图像，将上述肺部图像输入至训练好的肺炎识别模型，得到100张标有COVID-19的置信度以及肺炎病理区域的肺部图像。
步骤S104：获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行再次训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
其中，所述第三样本集包括所述疑似COVID-19患者的肺部图像中确诊为COVID-19患者的肺部图像。所述确诊为COVID-19患者的肺部图像是专家根据所述识别结果确诊为COVID-19患者的肺部图像。
其中，根据识别结果，得到第三样本集；利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行再次训练。通过利用第二样本集和第三样本集对肺炎识别模型的迭代训练，更新上述训练好的肺炎识别模型的参数，使得肺炎识别模型的识别精确度更高。
为了便于理解，举例说明，专家根据100张标有COVID-19的置信度以及肺炎病理区域的肺部图像，并结合自身经验，确定其中的8张为COVID-19患者的肺部图像。
其中，当所述第三样本集数量超过一定数量时，所述肺炎识别模型利用第二样本集和第三样本集对所述肺炎识别模型进行再次训练。
优选的，所述一定数量为1000张，既可以达到训练的结果，又可以节约时间和资源成本。
上述方案中，通过获取有标注COVID-19的肺部图像和未标注COVID-19的肺部图像，将这两类肺部图像运用数据增强算法进行数据增强，扩大样本量，然后用增强前的肺部图像和增强后的肺部图像训练肺炎识别模型，使得肺炎识别模型的识别精确度更高。本方案还通过获取疑似COVID-19患者的肺部图像，将上述疑似COVID-19患者的肺部图像输入到训练好的肺炎识别模型中，得到该图像的COVID-19的置信度以及肺炎病理区域等。专家根据置信度以及肺炎病理区域找到其中确诊为COVID-19患者的肺部图像，并将这些确诊为COVID-19患者的肺部图像加上增强前的肺部图像以及增强后的肺部图像输入至肺炎识别模型中，再次训练肺炎识别模型，使得肺炎识别模型的精确度得到提高，进而减少医护人员的工作量。
参阅图2，图2是本申请实施例提供的一种肺炎图像识别装置的示意图，该肺炎图像识别装置200包括获取模块201和处理模块202，其中，
获取模块201，用于第一样本集，其中，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像。
处理模块202，用于对所述第一样本集中的肺部图像进行数据增强，得到第二样本集，其中，所述第二样本集包括第三部分样本集和第四部分样本集，所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像；
所述获取模块201，还用于获取疑似COVID-19患者的肺部图像；
所述处理模块202，还用于将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；
所述获取模块201，还用于获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
在本申请的具体的实施例中，所述获取模块201用于获取第一样本集310，所述第一样本集310包括第一部分样本集311和第二部分样本集312，所述第一部分样本集311是有标注COVID-19的肺部图像；所述第二部分样本集312是未标注COVID-19的肺部图像。
在本申请的具体的实施例中，参阅图3，图3是本申请提供的一种第二样本集的结构示意图，所述第二样本集320包括第三部分样本集321和第四部分样本集322，第三部分样本集321包括所述第一部分样本集311和第一部分增强后样本集313；可以参阅图4，图4是本申请提供的一种对小样本集进行数据增强的示意图，所述第一部分增强后样本集313是利用第一扩充算法对所述第一部分样本集311中的肺部图像进行数据增强后得到的肺部图像；第四部分样本集322包括所述第二部分样本集312和第二部分增强后样本集314；所述第二部分增强后样本集314是利用第二扩充算法对所述第二部分样本集312中的肺部图像进行数据扩充后得到的肺部图像。
在本申请具体的实施例中，第一扩充算法中包括多个增强策略，每一个增强策略又包含多个子策略，每个子策略都要对目标图像进行两个有先后顺序执行的数据操作，其中每个数据操作的参数包括使用该操作的概率和该操作的使用幅度。具体的，第一部分样本集中的肺部图像通过自动扩充算法找到多个增强策略，随机抽取所述多个增强策略中的一个子策略，并将该子策略作用在所述第一部分样本集中的肺部图像上，经过多次上述操作，找到最优的一个子策略作用在所述第一部分样本集中的肺部图像上，进而得到第三部分样本集。
在本申请具体的实施例中，所述数据操作包括：图像沿X轴或者Y轴进行图像错切；沿X轴或者Y轴平移图像；反色，即像素反转；直方图均衡化；指定一个像素值，对原始图像中高于该值得像素进行翻转操作；色彩分离，具体是指调整图像色调和饱和度；调整图像锐度；调整图像的对比度；随机选择原始图像中的某一块区域，屏蔽掉这块区域的图像内容；在训练时，从同一批次的图像中选择一张图像，将其内容嫁接到原图上，但原图标签不变；旋转图像；调整图像的亮度。
在本申请具体的实施例中，图像错切变换是指保持图像上各个点的其中一个坐标不变，将另一个坐标进行线性变换，坐标不变的轴称为依赖轴，坐标变换的轴称为方向轴。沿X轴平移图像具体的是将图像沿X轴向左或者向右平移，只改变图像各点的横坐标，纵坐标保持不变。反色，具体是指将白色的RGB减去原始图像颜色的RGB，得到反色后图像颜色的RGB。
直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法。通过这种方法，亮度可以更好地在直方图上分布。直方图均衡化可以用于增强局部的对比度而不影响整体的对比度。具体的，将原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。
翻转操作是指定一个像素值，对原始图像中高于该值得像素进行翻转操作。为了便于理解，举例说明，当指定像素值为128时，将原始图像中像素值高于128的部分进行翻转。
色彩分离是指减少每个颜色通道上的位数。简单来说，就是减少组成图片的色彩的种类。
调整图像锐度是对图像中的锐度进行调整，其中，锐度越高，图像中的物体边缘色彩过渡效果越差，使得物体边缘显得“尖锐”；锐度越低，图像越柔和，但清晰度也会降低。
第二扩充算法包括两类：一种通过模型学习数据的分布，随机生成与训练数据集分布一致的图片，代表方法有生成式对抗网络(generative adversarial networks，GAN)；另一种是通过模型学习出适合当前认为最优的数据增强方法，代表方法有自动扩充算法。
在本申请的具体的实施例中，所述肺炎识别模型基于深度卷积神经网络，将所述第二样本集320中的肺部图像输入到卷积神经网络中进行训练，所述卷积神经网络通过对第二样本集320中的肺部图像进行学习，得到训练好的肺炎识别模型。其中，所述肺炎识别模型不局限于卷积神经网络。
在本申请具体的实施例中，所述肺炎识别模型根据所述第一部分样本集的数量对肺炎识别模型中网络深度、宽度和图像分辨率三个参数中的一个或者多个进行更改。在一种可能的实施例中，在第一部分样本数量较少时，所述肺炎识别模型可以增加肺炎识别模型的网络深度或者宽度，以学习到更多的特征，来增加样本集的数量。在另一种可能的实施例中，在第一部分样本集的数量较多时，所述肺炎识别模型可以减少肺炎识别模型的网络深度、增加网络宽度，以保证每一层网络都学到丰富的特征。
为了便于理解，需要说明的是，网络深度是指卷积神经网络的层数，如果网络深度越深，则该网络具有更好的非线性表达能力，可以学习更复杂的变换，从而可以拟合更加复杂的特征，换句话说，网络深度的加深，可以使得拟合的效果更加接近实物图像；网络宽度是指每层的通道数，网络有了足够的宽度，才可以保证每一层都学到丰富的特征，如果网络宽度太窄，特征提取不充分，网络学习不到足够的信息，会导致模型性能受限。
在本申请的具体的实施例中，可以参阅图5，图5是本申请提供的一种肺炎识别模型识别的流程示意图，具体的是，将所述疑似COVID-19患者的肺部图像510输入至所述训练好的肺炎识别模型520，得到识别结果530。所述识别结果530包括疑似COVID-19患者肺部图像的COVID-19的置信度以及肺炎病理区域。
为了便于理解，举例说明，获取100张疑似COVID-19患者的肺部图像，将上述肺部图像输入至训练好的肺炎识别模型，得到100张标有COVID-19肺炎的置信度以及肺炎病理区域的肺部图像。
在本申请的具体的实施例中，所述第三样本集包括所述疑似COVID-19患者肺部图像中确诊为COVID-19患者的肺部图像，所述确诊为COVID-19患者的肺部图像是专家根据所述识别结果确诊为COVID-19患者的肺部图像。
其中，可以参阅图6，图6是本申请提供的一种训练肺炎识别模型的流程示意图，具体的是，根据识别结果530，得到第三样本集600，利用所述第二样本集320和所述第三样本集600对肺炎识别模型520进行再次训练。通过利用第三样本集600对肺炎识别模型520的迭代训练，使得肺炎识别模型520的识别精确度更高。
为了便于理解，举例说明，专家根据100张标有COVID-19的置信度以及肺炎病理区域的肺部图像，并结合自身经验，确定其中的8张为COVID-19患者的肺部图像。
其中，当所述第三样本集数量超过一定数量时，所述肺炎识别模型利用第二样本集和第三样本集对所述肺炎识别模型进行再次训练。
优选的，所述一定数量为1000张，既可以达到训练的结果，又可以节约时间和资源成本。
参阅图7，图7是本申请实施例提供的一种计算设备的结构示意图，该计算设备700包括：处理器710、通信接口720以及存储器730，处理器710、通信接口720以及存储器730通过总线740相互连接，其中，该处理器710用于执行该存储器730存储的指令。该存储器730存储程序代码，且处理器710可以调用存储器730中存储的程序代码执行以下操作：
肺炎图像识别装置获取第一样本集，对所述第一样本集中的肺部图像进行数据增强，得到第二样本集；利用所述第二样本集对肺炎识别模型进行训练，得到训练好的肺炎识别模型；获取疑似COVID-19患者的肺部图像，将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行训练。
其中，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像；所述第二样本集包括第三部分样本集和第四部分样本集，所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像；所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
在本申请实施例中处理器710可以有多种具体实现形式，例如处理器710可以为中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、张量处理器(tensor processing unit，TPU)或神经网络处理器(neural networkprocessing unit，NPU)等处理器中任意一种或多种的组合，处理器710还可以是单核处理器或多核处理器。处理器710可以由CPU(GPU、TPU或NPU)和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)、可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD复杂程序逻辑器件(complexprogrammable logical device，CPLD)，现场可编程门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。处理器710也可以单独采用内置处理逻辑的逻辑器件来实现，例如FPGA或数字信号处理器(digital signalprocessor，DSP)等。
通信接口720可以为有线接口或无线接口，用于与其他模块或设备进行通信，例如用于获取第一样本集等等。有线接口可以是以太接口、控制器局域网络(controller areanetwork，CAN)接口或局域互联网络(local interconnect network，LIN)接口，无线接口可以是蜂窝网络接口或使用无线局域网接口等。
存储器730可以是非易失性存储器，例如，只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。存储器730也可以是易失性存储器，易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。
存储器730也可用于存储指令和数据，以便于处理器710调用存储器730中存储的指令实现上述处理模块202执行的操作或述方法实施例肺炎图像识别装置执行的操作。
总线740可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，该计算设备700还可以包括输入/输出接口750，输入/输出接口750连接有输入/输出设备，用于接收输入的信息，输出操作结果。
应理解，本申请实施例的计算设备700可对应于上述实施例中的肺炎图像识别装置200，并可执行上述方法实施例中智能处理装置执行的操作，在此不再赘述。
本申请实施例还提供一种非瞬态计算机存储介质，计算机存储介质中存储有指令，当其在处理器上运行时，可以实现上述方法实施例中的方法步骤，计算机存储介质的处理器在执行上述方法步骤的具体实现可参照上述方法实施例的具体操作，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (10)
1.一种肺炎图像识别方法，其特征在于，所述方法包括：
获取第一样本集，对所述第一样本集中的肺部图像进行数据增强，得到第二样本集；
利用所述第二样本集对肺炎识别模型进行训练，得到训练好的肺炎识别模型；
获取疑似COVID-19患者的肺部图像，将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；
获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行再次训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
2.根据权利要求1所述的方法，其特征在于，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像。
3.根据权利要求2所述的方法，其特征在于，所述第二样本集包括第三部分样本集和第四部分样本集；
所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集包括利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；
所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集包括利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像。
4.根据权利要求1至3任意一项所述的方法，其特征在于，所述识别结果包括置信度以及肺炎病理区域，所述置信度表示所述疑似COVID-19患者的肺部图像属于COVID-19的概率，所述肺炎病理区域指示肺炎病灶位置。
5.根据权利要求4所述的方法，其特征在于，所述肺炎识别模型是深度卷积神经网络模型。
6.根据权利要求3所述的方法，其特征在于，所述第一扩充算法包括自动扩充算法autoaugment，所述第二扩充算法包括生成式对抗网络以及所述自动扩充算法autoaugment。
7.根据权利要求5所述的方法，其特征在于，所述肺炎识别模型根据所述第一部分样本集的数量对肺炎识别模型中网络深度、宽度和图像分辨率三个参数中的一个或者多个进行更改。
8.一种肺炎图像识别装置，其特征在于，包括：
获取模块，用于获取第一样本集，其中，所述第一样本集包括第一部分样本集和第二部分样本集，所述第一部分样本集是有标注COVID-19的肺部图像；所述第二部分样本集是未标注COVID-19的肺部图像；
处理模块，用于对所述第一样本集中的肺部图像进行数据增强，得到第二样本集，其中，所述第二样本集包括第三部分样本集和第四部分样本集，所述第三部分样本集包括所述第一部分样本集和第一部分增强后样本集；所述第一部分增强后样本集是利用第一扩充算法对所述第一部分样本集中的肺部图像进行数据增强后得到的肺部图像；所述第四部分样本集包括所述第二部分样本集和第二部分增强后样本集；所述第二部分增强后样本集是利用第二扩充算法对所述第二部分样本集中的肺部图像进行数据扩充后得到的肺部图像；
所述获取模块，还用于获取疑似COVID-19患者的肺部图像；
所述处理模块，还用于将所述疑似COVID-19患者的肺部图像输入至所述训练好的肺炎识别模型中，得到识别结果；
所述获取模块，还用于获取第三样本集，利用所述第二样本集和所述第三样本集对所述训练好的肺炎识别模型进行训练，其中，所述第三样本集包括根据所述识别结果得到的确诊的COVID-19患者的肺部图像。
9.一种计算设备，其特征在于，所述计算设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于执行所述指令，当所述处理器执行所述指令时，执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011309427.1A CN112381810A (zh) | 2020-11-20 | 2020-11-20 | 一种肺炎图像识别方法、装置及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011309427.1A CN112381810A (zh) | 2020-11-20 | 2020-11-20 | 一种肺炎图像识别方法、装置及计算设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381810A true CN112381810A (zh) | 2021-02-19 |
Family
ID=74584488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011309427.1A Pending CN112381810A (zh) | 2020-11-20 | 2020-11-20 | 一种肺炎图像识别方法、装置及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381810A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553985A (zh) * | 2021-08-02 | 2021-10-26 | 中再云图技术有限公司 | 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
| CN110570390A (zh) * | 2019-07-22 | 2019-12-13 | 无锡北邮感知技术产业研究院有限公司 | 一种图像检测方法及装置 |
-
2020
- 2020-11-20 CN CN202011309427.1A patent/CN112381810A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416370A (zh) * | 2018-02-07 | 2018-08-17 | 深圳大学 | 基于半监督深度学习的图像分类方法、装置和存储介质 |
| CN110570390A (zh) * | 2019-07-22 | 2019-12-13 | 无锡北邮感知技术产业研究院有限公司 | 一种图像检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| EKIN D ET AL: "AutoAugment: Learning Augmentation Strategies from Data", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》, 20 June 2019 (2019-06-20), pages 113 - 123, XP033686405, DOI: 10.1109/CVPR.2019.00020 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113553985A (zh) * | 2021-08-02 | 2021-10-26 | 中再云图技术有限公司 | 一种基于人工智能高空烟雾检测识别方法，存储装置及服务器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN109871845B (zh) | 证件图像提取方法及终端设备 | |
| CN110110723B (zh) | 一种图像中目标区域自动提取的方法及装置 | |
| CN108171663B (zh) | 基于特征图最近邻替换的卷积神经网络的图像填充*** | |
| US20230154142A1 (en) | Fundus color photo image grading method and apparatus, computer device, and storage medium | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
| CN110969046B (zh) | 人脸识别方法、设备及计算机可读存储介质 | |
| CN110675334A (zh) | 一种图像增强方法及装置 | |
| CN111275034B (zh) | 从图像中提取文本区域的方法、装置、设备和存储介质 | |
| CN111950408B (zh) | 基于规则图的手指静脉图像识别方法、装置及存储介质 | |
| CN110930296A (zh) | 图像处理方法、装置、设备及存储介质 | |
| Feng et al. | URNet: A U-Net based residual network for image dehazing | |
| CN108734127B (zh) | 年龄识别值调整方法、装置、设备及存储介质 | |
| US20210248729A1 (en) | Superpixel merging | |
| CN112508835A (zh) | 一种基于gan的无造影剂医学图像增强建模方法 | |
| CN111882565B (zh) | 一种图像二值化方法、装置、设备及存储介质 | |
| CN112381810A (zh) | 一种肺炎图像识别方法、装置及计算设备 | |
| WO2020038462A1 (zh) | 基于深度学习的舌体分割装置、方法及存储介质 | |
| CN111489318B (zh) | 医学图像增强方法和计算机可读存储介质 | |
| CN113469972A (zh) | 标注医学切片图像的方法、装置、存储介质及电子设备 | |
| CN112819834A (zh) | 基于人工智能的胃部病理图像的分类方法和装置 | |
| CN110766614B (zh) | 一种无线扫描笔的图像预处理方法和*** | |
| CN116486151A (zh) | 图像分类模型训练方法、图像分类方法、设备及存储介质 | |
| CN113780555B (zh) | 基于数据增强的模型训练方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40041482 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |