CN111291825B - 病灶分类模型训练方法、装置、计算机设备和存储介质 - Google Patents
病灶分类模型训练方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111291825B CN111291825B CN202010115041.0A CN202010115041A CN111291825B CN 111291825 B CN111291825 B CN 111291825B CN 202010115041 A CN202010115041 A CN 202010115041A CN 111291825 B CN111291825 B CN 111291825B
- Authority
- CN
- China
- Prior art keywords
- focus
- image information
- focus area
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013145 classification model Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012549 training Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000003902 lesion Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 230000003211 malignant effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000001685 thyroid gland Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种病灶分类模型训练方法、装置、计算机设备和存储介质，病灶分类模型训练方法包括：获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。本发明能够在实现病灶准确分类的前提下，降低对样本数据量的要求。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种病灶分类模型训练方法、装置、计算机设备和存储介质。
背景技术
传统地，对于疾病的判断基本是医生人工判断来实现的，而人工判断耗时长、涉及过程多，并且需要根据病灶的多种指标，如是否钙化、是否为囊性、回声水平等一系列指标来综合诊断，诊断的结果不容易量化同时也很依赖医生自身的经验，在实际诊断过程中容易发生判断错误的情况。
随着医学和计算机图像处理技术的飞速发展，医学图像自动识别诊断是当前计算机图像技术和医学图像交叉领域研究的热点。利用计算机图像处理技术完成对超声影像的辅助诊断，主要是通过构造快速、正确率高的分类器，协助医生对病灶区进行良恶性诊断。
良恶性的诊断在某种程度上属于分类问题，现有的病灶分类方法通过将标注有病灶区域的图像输入预先训练的病灶分类模型实现。然而，病灶区域尺寸相差较大，反映在超声影像中病灶区域的像素点数可以从几百到几万不等(而病灶区域的良恶性程度与病灶区的尺寸无直接关系)，然而，由于现有的病灶分类模型都是单输入通道，单输入通道病灶分类模型的分类效果容易受到图像尺寸的影响，所以在处理尺寸范围较大的数据时往往效果较差。为了解决这个问题，现有的方法是针对不同病灶尺寸范围单独建立模型，然而，每个单独的模型分别需要对应尺度的样本进行训练，导致对样本数据量的需求提高。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种病灶分类模型训练方法、装置、计算机设备和存储介质，以在实现病灶准确分类的前提下，降低对样本数据量的要求。
为了实现上述目的，本发明提供一种病灶分类模型训练方法，包括：
获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
在本发明一个实施例中，所述局部图像信息采集处理包括：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
在本发明一个实施例中，在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，所述局部图像信息采集处理还包括：
以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
在本发明一个实施例中，所述全局图像信息采集处理包括：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
在本发明一个实施例中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
在本发明一个实施例中，在得到所述目标病灶分类模型之后，所述方法还包括：
获取目标病例图片，所述目标病例图片中标记有目标病灶区；
对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
为了实现上述目的，本发明还提供一种病灶分类模型训练装置，包括：
样本获取模块，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
第一局部图像信息采集模块，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
第一全局图像信息采集模块，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
模型训练模块，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
在本发明一个实施例中，所述第一局部图像信息采集模块具体用于：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
在本发明一个实施例中，所述第一局部图像信息采集模块还用于：在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，
以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
在本发明一个实施例中，所述第一全局图像信息采集模块具体用于：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
在本发明一个实施例中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
在本发明一个实施例中，所述装置还包括：
病例图片获取模块，用于在所述模型训练模块得到所述目标病灶分类模型之后，获取目标病例图片，所述目标病例图片中标记有目标病灶区；
第二局部图像信息采集模块，用于对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
第二全局图像信息采集模块，用于对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
模型处理模块，用于利用所述目标病灶分类模型，对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
为了实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方法的步骤。
为了实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法的步骤。
通过采用上述技术方案，本发明具有如下有益效果：
本发明设计了双输入通道的病灶分类模型，通过两个输入通道分别接收病灶区的局部图像信息和全局图像信息，由于局部图像信息包含了病灶区的更多细节信息、全局图像信息更能反映病灶区的全局特点，所以训练得到的病灶分类模型相对于现有的单输入病灶分类模型准确性更高。同时，本发明无需针对不同病灶尺寸范围分别建立模型，从而降低了模型训练对样本数据量的需求。
附图说明
图1为本发明病灶分类模型训练方法的一个实施例的流程图；
图2为本发明中病灶分类模型的结构示意图；
图3为本发明中第一卷积网络和第二卷积网络的结构示意图；
图4为本发明中残差模块的结构示意图；
图5为本发明中注意力网络的结构示意图；
图6为本发明病灶分类模型训练方法的另一个实施例的流程图；
图7为本发明病灶分类模型训练装置的一个实施例的结构框图；
图8为本发明病灶分类模型训练装置的另一个实施例的结构框图；
图9为本发明计算机设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例一
本实施例提供一种病灶分类模型训练方法，如图1所示，该方法包括以下步骤：
S11，获取样本数据集，该样本数据集包含若干分别标注有病灶区的样本图片，且各病灶区分别标记有对应的分类标签。
具体来说，本步骤可以从医院的样本数据库中获得样本图片，每张样本图片中的病灶区轮廓预先由医生手动标注出来或者通过现有的检测或分割算法自动或半自动标注出来，并且各病灶区对应的分类标签也预先由医生进行了标记，如，标记了良性标签[1 0]、恶性标签[0 1]。在本实施例中，样本图片主要是指超声波图片，特别是标注有甲状腺病灶区或乳腺病灶区的超声波图片。
S12，对各病灶区进行局部图像信息采集处理，得到各病灶区的局部图像信息。在本实施例中，局部图像信息采集处理可以通过如下步骤实现：
S121，以病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框。
S122，在病灶区的邻域，多次随机移动病灶矩形框，并采集每次移动后的病灶矩形框内的图像信息作为对应病灶区的局部图像信息。移动病灶矩形框是因为：在实际应用中，超声影像具有分辨率较低、图像存在伪影、病灶区本身没有明显的界限等缺陷，所以造成病灶区的标注位置不一定准确，所以进行多次移动；此外，通过随机移动使得数据量增加，一定程度上可以进一步减小对样本数据量的需求。
优选地，在执行步骤S122之前，局部图像信息采集处理还可以包括以下步骤：以病灶矩形框的中心为基准，将病灶矩形框按预设的放大比例N％进行放大，放大后的病灶矩形框的尺寸＝原始病灶矩形框的尺寸*(1+N％)。此处对病灶矩形框进行放大是因为：在对病灶区进行分类时，结合病灶区和周边区域的图像进行分类可以得到更好的分类效果。
S13，对各病灶区进行全局图像信息采集处理，得到各病灶区的全局图像信息。在本实施例中，全局图像信息采集处理包括：
S131，按尺寸大小将各病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小。其中，分类程如下：首先，统计样本数据集中各病灶区的长轴(长轴即通过病灶区中心的最长的轴)的尺寸，并获取所有长轴的中位数M，将长轴大于M的病灶区作为大病灶区，将长轴小于M的病灶区作为小病灶区；而后，获取所有大病灶区的长轴的中位数M1，并将长轴大于M1的大病灶区作为第一类病灶区；再获取所有小病灶区的长轴的平均值M2，并将长轴小于M2的小病灶区作为第三类病灶区；同时，将长轴小于M1的大病灶区和长轴小于M2的小病灶区作为第二类病灶区。
S132，对第一类病灶区中的每个病灶区进行降采样处理，以通过降采样将第一类病灶区中的各病灶区均调整至其长轴与M1相同，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息。
S133，将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息。
S134，对第三类病灶区中的每个病灶区进行插值处理，以通过插值将第三类病灶区中的各病灶区均调整至其长轴与M2相同，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
通过上述处理，可将样本数据集中各病灶区统一到一定尺寸范围(长轴在M2～M1之间)内。由于病灶区域的良恶性程度与病灶区的尺寸无直接关系，所以调整尺寸并不会影响病灶分类，而且可以避免因病灶尺寸相差较大对后续病灶分类模型造成的不利影响。
S14，利用各病灶区的局部图像信息和全局图像信息、以及各病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
具体来说，本实施例使用梯度下降方式对病灶分类模型进行训练，在训练过程中可以使用深度学习网络加速器weight normalization进行训练加速。同时，可以采用常用的K折交叉验证方法对训练得到的模型进行验证，以得到训练后的病灶分类模型的性能，如准确率/AUC曲线等。
在实施例中，还可以通过多次调整放大比例N％的值，得到多个经过训练的病灶分类模型，并将多个经过训练的病灶分类模型中性能最佳的模型作为目标病灶分类模型。其中，可以采用如下规则对放大比例N％进行调整：假设N％的取值范围设定为小于100％，则首先将N％的初始值设为10％，然后按预定步长(如10％)增大N％，直至N％达到100％。应该理解，N％取不同的值，将得到各病灶区的不同局部图像信息，从而训练得到不同的病灶分类模型。
优选地，本实施中采用的病灶分类模型如图2所示，包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，第一卷积网和第一卷积网为并行网络，第一卷积网络的输入端用于接收各病灶区的局部图像信息，第二卷积网的输入端用于接收各病灶区的全局图像信息，拼接层的输入端与第一卷积网络和第二卷积网络的输出端连接，全连接分类层的输入端与拼接层的输出端连接。从而，可以通过第一卷积网络和第二卷积网络分别提取局部图像信息和全局图像信息中的特征，再通过拼接层将局部图像信息和全局图像信息中的特征进行拼接后输入全连接分类层，最后通过全连接分类层进行分类处理，并输出分类结果。
具体来说，本实施例中的第一卷积网络和第二卷积网络为深度残差网络(resnet)，其中，深度残差网络优选包括卷积层、残差模块(Resblock)和池化层。如图3所示，示出了第一卷积网络和第二卷积网络的具体结构，当第一卷积网络/第二卷积网络接收到局部图像信息/全局图像信息后，依次通过第一卷积层、3个第一残差模块、第二卷积层、3个第二残差模块、第三卷积层、3个第三残差模块以及池化层对局部图像信息/全局图像信息进行处理，以得到局部图像信息/全局图像信息中的特征。优选地，第一卷积网络和第二卷积网络的第三卷积层、第三残差模块和池化层的参数是独立的，其它层的参数是共享的。
此外，本发明中各残差模块的结构如图4所示，包括残差模块层以及注意力网络(attention)。其中，残差模块层包括第四卷积层、第五卷积层和第六卷积层。当残差模块层接收到输入信号后，其依次通过第四卷积层、第五卷积层和第六卷积层对输入信号进行处理，然后将第六卷积层的输出结果与输入信号求和后，再输入注意力网络进行处理。
注意力网络在此起到使模型关注重点区域的作用，其结构如图5所示，包括两条通路，其中第一条通路包括1*1的第七卷积层；第二条通路包括第一最大池化层、第八卷积层、第二最大池化层、第九卷积层、子像素上采样层和分类层，用于得到注意力加权矩阵，最后将注意力加权矩阵与第一通路的输出结果相乘，使模型更加关注高权值区域。其中，子像素上采样通过对上采样进行插值调整得到，与上采样相比，子像素上采样不必在卷积过程中将模型的通道降到1，且更有利于整合多个通道中的信息。
综上所述，本实施例设计了双输入通道的病灶分类模型，通过两个输入通道分别接收病灶区的局部图像信息和全局图像信息，由于局部图像信息包含了病灶区的更多细节信息、全局图像信息更能反映病灶区的全局特点，所以训练得到的病灶分类模型相对于现有的单输入病灶分类模型准确性更高。同时，本发明无需针对不同病灶尺寸范围分别建立模型，从而降低了对样本数据量的需求。
实施例二
本实施例提供一种基于实施例一的病灶分类模型训练方法，本实施例的方法与实施例一的区别在于，在步骤S14得到所述目标病灶分类模型之后，再执行图6所示的步骤，具体包括：
S21，获取目标病例图片，该目标病例图片中标记有目标病灶区的轮廓。
S22，对目标病灶区进行局部图像信息采集处理，得到目标病灶区的局部图像信息。其中，本步骤的局部图像信息采集处理与步骤S12中的局部图像信息采集处理过程相同，在此不再赘述。
S23，对目标病灶区进行全局图像信息采集处理，得到目标病灶区的全局图像信息。其中，本步骤的全局图像信息采集处理与步骤S13中的全局图像信息采集处理过程相同，在此不再赘述。
S24，利用实施例一训练得到的所述目标病灶分类模型，对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的良、恶性分类结果。
本实施例通过前述目标病灶分类模型的两个输入通道分别接收目标病灶区的局部图像信息和全局图像信息，由于目标病灶分类模型具有更加准确的分类效果，从而可以对病例图片中目标病灶区进行准确分类。
需要说明的是，对于实施例一和实施例二，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的
实施例三
本实施例提供一种病灶分类模型训练装置10，如图7所示，该装置包括：
样本获取模块11，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
第一局部图像信息采集模块12，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
第一全局图像信息采集模块13，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
模型训练模块14，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型。
在本实施例中，所述第一局部图像信息采集模块具体用于：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
在本实施例中，所述第一局部图像信息采集模块还用于：在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，
以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
在本实施例中，所述第一全局图像信息采集模块具体用于：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息。
在本实施例中，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
实施例四
本实施例提供一种基于实施例三的病灶分类模型训练装置10，如图8所示，本实施例的装置与实施例三的区别在于，还包括以下模块：
病例图片获取模块15，用于获取目标病例图片，所述目标病例图片中标记有目标病灶区；
第二局部图像信息采集模块16，用于对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
第二全局图像信息采集模块17，用于对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
模型处理模块18，用于利用实施例三的病灶分类模型训练装置得到的所述目标病灶分类模型，对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
对于上述装置实施例而言，其与前述方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。同时，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的模块作并不一定是本发明所必须的。
实施例五
本实施例提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备20至少包括但不限于：可通过***总线相互通信连接的存储器21、处理器22，如图9所示。需要指出的是，图9仅示出了具有组件21-22的计算机设备20，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器21(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备20的内部存储单元，例如该计算机设备20的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备20的外部存储设备，例如该计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备20的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备20的操作***和各类应用软件，例如实施例三/四的病灶分类模型训练装置10的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备20的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行病灶分类模型训练装置10，以实现实施例一的病灶分类模型训练方法。
实施例六
本实施例提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储病灶分类模型训练装置10，被处理器执行时实现实施例一病灶分类模型训练方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种病灶分类模型训练方法，其特征在于，包括：
获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型；
所述全局图像信息采集处理包括：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，以通过降采样将所述第一类病灶区中各病灶区的长轴调整为相同，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，以通过插值将所述第三类病灶区中各病灶区的长轴调整为相同，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息；
所述局部图像信息采集处理包括：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
2.根据权利要求1所述的病灶分类模型训练方法，其特征在于，在所述病灶区的邻域，多次随机移动所述病灶矩形框之前，所述局部图像信息采集处理还包括：
以所述病灶矩形框的中心为基准，将所述病灶矩形框按预设的放大比例进行放大。
3.根据权利要求1所述的病灶分类模型训练方法，其特征在于，所述病灶分类模型包括第一卷积网络、第二卷积网络、拼接层以及全连接分类层，其中，所述第一卷积网络的输入端用于接收各所述病灶区的局部图像信息，所述第二卷积网的输入端用于接收各所述病灶区的全局图像信息，所述拼接层的输入端分别与所述第一卷积网络和第二卷积网络的输出端连接，所述全连接分类层的输入端与所述拼接层的输出端连接。
4.根据权利要求1所述的病灶分类模型训练方法，其特征在于，在得到所述目标病灶分类模型之后，还包括：
获取目标病例图片，所述目标病例图片中标记有目标病灶区；
对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
5.一种病灶分类模型训练装置，其特征在于，该装置包括：
样本获取模块，用于获取样本数据集，所述样本数据集包含若干分别标注有病灶区的样本图片，且各所述病灶区分别标记有对应的分类标签；
第一局部图像信息采集模块，用于对各所述病灶区进行局部图像信息采集处理，得到各所述病灶区的局部图像信息；
第一全局图像信息采集模块，用于对各所述病灶区进行全局图像信息采集处理，得到各所述病灶区的全局图像信息；
模型训练模块，用于利用各所述病灶区的所述局部图像信息和全局图像信息、以及各所述病灶区对应的分类标签，对预先建立的具有双输入通道的病灶分类模型进行训练，得到目标病灶分类模型；
所述第一全局图像信息采集模块具体用于：
按尺寸大小将各所述病灶区分为第一类病灶区、第二类病灶区和第三类病灶区，其中第一类病灶区、第二类病灶区和第三类病灶区的尺寸依次减小；
对所述第一类病灶区中各病灶区进行降采样处理，以通过降采样将所述第一类病灶区中各病灶区的长轴调整为相同，并将经过降采样处理的图像信息作为所述第一类病灶区中对应病灶区的全局图像信息；
将所述第二类病灶区中各病灶区的图像信息作为所述第二类病灶区中对应病灶区的全局图像信息；
对所述第三类病灶区中各病灶区进行插值处理，以通过插值将所述第三类病灶区中各病灶区的长轴调整为相同，并将经过插值处理的图像信息作为所述第三类病灶区中对应病灶区的全局图像信息；
所述第一局部图像信息采集模块具体用于：
以所述病灶区的最上点、最下点、最左点和最右点为基准，构造病灶矩形框；
在所述病灶区的邻域，多次随机移动所述病灶矩形框，并将每次移动后的所述病灶矩形框内的图像信息作为所述病灶区的局部图像信息。
6.根据权利要求5所述的病灶分类模型训练装置，其特征在于，该装置还包括：
病例图片获取模块，用于在所述模型训练模块得到所述目标病灶分类模型之后，获取目标病例图片，所述目标病例图片中标记有目标病灶区；
第二局部图像信息采集模块，用于对所述目标病灶区进行所述局部图像信息采集处理，得到所述目标病灶区的局部图像信息；
第二全局图像信息采集模块，用于对所述目标病灶区进行所述全局图像信息采集处理，得到所述目标病灶区的全局图像信息；
模型处理模块，用于利用所述目标病灶分类模型对所述目标病灶区的局部图像信息和全局图像信息进行处理，得到所述目标病灶区的分类结果。
7.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010115041.0A CN111291825B (zh) | 2020-02-25 | 2020-02-25 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
| PCT/CN2020/099473 WO2021169126A1 (zh) | 2020-02-25 | 2020-06-30 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010115041.0A CN111291825B (zh) | 2020-02-25 | 2020-02-25 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111291825A CN111291825A (zh) | 2020-06-16 |
| CN111291825B true CN111291825B (zh) | 2024-05-07 |
Family
ID=71025672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010115041.0A Active CN111291825B (zh) | 2020-02-25 | 2020-02-25 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111291825B (zh) |
| WO (1) | WO2021169126A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291825B (zh) * | 2020-02-25 | 2024-05-07 | 平安科技（深圳）有限公司 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
| CN113763352B (zh) * | 2021-09-06 | 2024-04-02 | 杭州类脑科技有限公司 | 一种腹腔积液图像处理方法和*** |
| CN114052795B (zh) * | 2021-10-28 | 2023-11-07 | 南京航空航天大学 | 一种结合超声自主扫描的病灶成像及防误扎治疗*** |
| CN114092427B (zh) * | 2021-11-12 | 2023-05-16 | 深圳大学 | 一种基于多序列mri图像的克罗病与肠结核分类方法 |
| CN114664410B (zh) * | 2022-03-11 | 2022-11-08 | 北京医准智能科技有限公司 | 一种基于视频的病灶分类方法、装置、电子设备及介质 |
| CN115345828A (zh) * | 2022-07-12 | 2022-11-15 | 江苏诺鬲生物科技有限公司 | 一种基于人工智能算法的免疫荧光染色图片病灶标识方法和装置 |
| CN115019110A (zh) * | 2022-07-13 | 2022-09-06 | 北京深睿博联科技有限责任公司 | 一种基于胸部影像的病灶识别方法及装置 |
| CN114999569B (zh) * | 2022-08-03 | 2022-12-20 | 北京汉博信息技术有限公司 | 一种针对病灶基质的分型方法、装置及计算机可读介质 |
| CN116342582B (zh) * | 2023-05-11 | 2023-08-04 | 湖南工商大学 | 基于可变形注意力机制的医学图像分类方法与医疗设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460756A (zh) * | 2018-11-09 | 2019-03-12 | 天津新开心生活科技有限公司 | 医学影像处理方法、装置、电子设备及计算机可读介质 |
| CN110008971A (zh) * | 2018-08-23 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN110580482A (zh) * | 2017-11-30 | 2019-12-17 | 腾讯科技（深圳）有限公司 | 图像分类模型训练、图像分类、个性化推荐方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108563982B (zh) * | 2018-01-05 | 2020-01-17 | 百度在线网络技术（北京）有限公司 | 用于检测图像的方法和装置 |
| CN111291825B (zh) * | 2020-02-25 | 2024-05-07 | 平安科技（深圳）有限公司 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
-
2020
- 2020-02-25 CN CN202010115041.0A patent/CN111291825B/zh active Active
- 2020-06-30 WO PCT/CN2020/099473 patent/WO2021169126A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110580482A (zh) * | 2017-11-30 | 2019-12-17 | 腾讯科技（深圳）有限公司 | 图像分类模型训练、图像分类、个性化推荐方法及装置 |
| CN110008971A (zh) * | 2018-08-23 | 2019-07-12 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机可读存储介质及计算机设备 |
| CN109460756A (zh) * | 2018-11-09 | 2019-03-12 | 天津新开心生活科技有限公司 | 医学影像处理方法、装置、电子设备及计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111291825A (zh) | 2020-06-16 |
| WO2021169126A1 (zh) | 2021-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN110428475B (zh) | 一种医学图像的分类方法、模型训练方法和服务器 | |
| CN107895367B (zh) | 一种骨龄识别方法、***及电子设备 | |
| CN111401201B (zh) | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 | |
| Pinaya et al. | Unsupervised brain imaging 3D anomaly detection and segmentation with transformers | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN110599500B (zh) | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及*** | |
| US12033327B2 (en) | Methods, systems and apparatus for processing medical chest images | |
| CN113728335A (zh) | 用于3d图像的分类和可视化的方法和*** | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| CN110827236B (zh) | 基于神经网络的脑组织分层方法、装置、计算机设备 | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| CN114494296A (zh) | 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与*** | |
| CN112750137B (zh) | 基于深度学习的肝脏肿瘤分割方法及*** | |
| CN116188479B (zh) | 基于深度学习的髋关节图像分割方法及*** | |
| CN111192320B (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN112420170A (zh) | 一种提高计算机辅助诊断***图片分类准确度的方法 | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| CN108596900B (zh) | 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| Wang et al. | An efficient hierarchical optic disc and cup segmentation network combined with multi-task learning and adversarial learning | |
| CN114565617A (zh) | 基于剪枝U-Net++的乳腺肿块图像分割方法及*** | |
| CN114445419A (zh) | 一种基于支气管拓扑结构的肺段分割方法、装置及*** | |
| CN112614092A (zh) | 脊柱检测方法和装置 | |
| CN111080588A (zh) | 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40023091 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |