CN111160367B - 图像分类方法、装置、计算机设备和可读存储介质 - Google Patents
图像分类方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111160367B CN111160367B CN201911338271.7A CN201911338271A CN111160367B CN 111160367 B CN111160367 B CN 111160367B CN 201911338271 A CN201911338271 A CN 201911338271A CN 111160367 B CN111160367 B CN 111160367B
- Authority
- CN
- China
- Prior art keywords
- image
- image classification
- result
- medical image
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000011218 segmentation Effects 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 18
- 238000012790 confirmation Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 6
- 210000003857 wrist joint Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003187 abdominal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010014561 Emphysema Diseases 0.000 description 1
- 208000019693 Lung disease Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本申请涉及一种图像分类方法、装置、计算机设备和可读存储介质。该方法包括：获取待分类的医学图像；将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。该方法中，由计算机设备采用多任务网络模型来确定医学图像中的拍摄部位，可提高目标拍摄部位结果的准确度，进而提高后续病灶识别过程的准确度；且不需放射科医生再做确认过程，也同时提高了病灶识别过程的效率。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分类方法、装置、计算机设备和可读存储介质。
背景技术
X光片(X-Rays)以其低廉的价格以及较好的影像效果，在肺部疾病、心脏疾病、腹部疾病以及骨折等的早期发现中占有重要地位。通常扫描技师使用医疗设备对患者完成扫描后，提交医学影像给对应的放射科医生进行阅片，由放射科医生根据自身经验识别医学影像中的病灶特征，给出病灶识别结果。
通常，扫描技师在对患者的某一部位进行扫描时，会录入所扫描的部位标签(如，当前医学影像为腹部图像)，然后放射科医生根据部位标签对医学影像进行病灶识别。
但是，传统技术会存在因扫描技师失误而将部位标签录错的情况，这就要求放射科医生先对扫描部位进行判断，再进行病灶识别，其病灶识别过程的效率和准确率都比较低。
发明内容
基于此，有必要针对传统技术中病灶识别过程的效率和准确率都比较低的问题，提供一种图像分类方法、装置、计算机设备和可读存储介质。
第一方面，本申请实施例提供一种图像分类方法，包括：
获取待分类的医学图像；
将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
在其中一个实施例中，训练样本包括多个样本图像和每个样本图像对应的标签，该标签包括关键点标签与分类标签；多任务网络模型的训练方式包括：
将样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果；
计算初始关键点分割结果和关键点标签之间的第一损失、以及初始图像分类结果和分类标签之间的第二损失；
根据第一损失和第二损失对初始多任务网络进行训练，得到多任务网络模型。
在其中一个实施例中，将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果，包括：
采用多任务网络模型中的第一卷积层对医学图像进行特征提取，得到医学图像的特征图；
采用多任务网络模型中的第二卷积层对特征图进行关键点特征检测，得到关键点的分割结果；
采用多任务网络模型中的池化层和全连接层对特征图进行特征分类，得到图像分类结果。
在其中一个实施例中，当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位，包括：
根据关键点的分割结果，确定关键点的数目；
判断关键点的数目和图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；
若是，确定图像分类结果表征的拍摄部位为目标拍摄部位。
在其中一个实施例中，目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，部位方位包括正位或侧位。
在其中一个实施例中，在确定图像分类结果表征的拍摄部位为目标拍摄部位之后，上述方法还包括：
获取医学图像的拍摄标签，拍摄标签为拍摄医学图像时由用户录入的拍摄部位数据；
若拍摄标签与目标拍摄部位不一致，将拍摄标签更新为目标拍摄部位。
在其中一个实施例中，在确定图像分类结果表征的拍摄部位为目标拍摄部位之后，上述方法还包括：
根据医学图像的目标拍摄部位，确定与目标拍摄部位相对应的病灶检测算法；
根据病灶检测算法对医学图像进行检测，得到病灶检测结果。
第二方面，本申请实施例提供一种图像分类装置，包括：
获取模块，用于获取待分类的医学图像；
处理模块，用于将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
确定模块，用于当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待分类的医学图像；
将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分类的医学图像；
将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
上述图像分类方法、装置、计算机设备和可读存储介质，能够获取待分类的医学图像；将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。该方法中，由计算机设备采用多任务网络模型来确定医学图像中的拍摄部位，可提高目标拍摄部位结果的准确度，进而提高后续病灶识别过程的准确度；且不需放射科医生再做确认过程，也同时提高了病灶识别过程的效率。
附图说明
图1为一个实施例提供的图像分类方法的流程示意图；
图1a为一个实施例提供的多任务网络模型的结构示意图；
图1b为一个实施例提供的关键点数目与图像类别之间对应关系的示意图；
图1c为一个实施例提供的目标拍摄部位与对应的医学图像的示意图；
图2为另一个实施例提供的图像分类方法的流程示意图；
图3为又一个实施例提供的图像分类方法的流程示意图；
图4为又一个实施例提供的图像分类方法的流程示意图；
图5为一个实施例提供的图像分类装置的结构示意图；
图6为另一个实施例提供的图像分类装置的结构示意图；
图7为一个实施例提供的计算机设备的内部结构示意图。
具体实施方式
本申请实施例提供的图像分类方法，可以适用于对拍摄的医学图像进行分类，以确定该医学图像的拍摄位置的过程。该医学图像可以为X光片，也可以为电子计算机断层扫描图像(Computed Tomography，CT)、核磁共振图像(Nuclear Magnetic ResonanceImaging，MRI)或正电子发射型计算机断层图像(Positron Emission ComputedTomography，PET)等。传统技术中，通常由扫描技师录入医学图像的部位标签，放射科医生根据该部位标签对医学影像进行病灶识别，但是会出现扫描技师失误而将部位标签录错的情况，这就需要放射科医生对扫描部位进行重新判断以及病灶识别，其病灶识别过程的效率和准确率都比较低。本申请实施例提供的图像分类方法、装置、计算机设备和可读存储介质，旨在解决上述技术问题。
为了使本申请的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本申请实施例中的技术方案进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，下述方法实施例的执行主体可以是图像分类装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明，该计算机设备可以是终端，也可以是服务器，可以为单独的计算设备，也可以集成于医学成像设备上，本实施例对此不做限定。
图1为一个实施例提供的图像分类方法的流程示意图。本实施例涉及的是计算机设备对待分类的医学图像进行判断得到其目标拍摄部位的具体过程。如图1所示，该方法包括：
S101，获取待分类的医学图像。
具体的，待分类的医学图像为拍摄的患者某一部位的图像，如X光片图像，该医学图像可以由计算机设备从后处理工作站或影像归档和通信***(Picture Archiving andCommunication Systems，PACS)中获取。可选的，计算机设备可以获取放射科技师实时上传至PACS***中的医学图像，也可以以固定时间间隔为周期从PACS***中获取这一时间段内的所有医学图像。可选的，计算机设备还可以从医院信息管理***(Hospital InformationSystem，HIS)、临床信息***(Clinical Information System，CIS)、放射科信息管理***(Radiology Information System，RIS)、电子病历***(Electronic Medical Record，EMR)以及相关的医学影像云存储平台获取待分类的医学图像。
S102，将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的。
具体的，计算机设备可以将获取的待分类医学图像输入预设的多任务网络模型，该多任务网络模型可以同时实现图像分割和图像分类的过程，得到医学图像中关键点的分割结果和图像分类结果。其中，医学图像中的关键点为根据患者不同部位的特征所设定的，如手腕关节图像中包括5个关键点，对应的是5根手指；图像分类结果可以表征所拍摄的部位。该多任务网络模型可以为根据带有关键点标签和分类标签的训练样本进行训练所得到的，由此训练得到的多任务网络模型可以对医学图像进行精准的分割与分类。可选的，关键点的分割结果可以包括关键点的位置、数目以及分割出来的关键点图像。
可选的，在将医学图像输入多任务网络模型之前，计算机设备还可以对该医学图像进行数据增强(Data Augamentation)：对医学图像进行随机的左右水平翻转、水平方向与竖直方向上的平移变换、随机的旋转、边缘的填充以及对比度的改变；然后对医学图像进行归一化以及标准化的预处理操作，得到标准化图像输入多任务网络模型中。
可选的，上述多任务网络模型可以为一个多层卷积神经网络，也可以为由一个分割网络和一个分类网络组合而成的网络模型，还可以为其他深度学习网络，本实施例对此不做限制。当该多任务网络模型为一个多层卷积神经网络，其网络结构可以如图1a所示，网络的前半部分为提取特征，后半部分为两个分支，第一个分支主要是通过分割进行关键点检测，第二个分支主要对图像的类别进行分类，最终输出关键点的分割结果和图像分类结果。
S103，当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
具体的，当上述关键点的分割结果和图像分类结果满足预设条件时，计算机设备可以确定该图像分类结果表征的拍摄部位为医学图像的目标拍摄部位。可选的，预设条件可以为关键点数目与图像类别之间的对应关系，该对应关系可以如图1b所示，如腕关节正位图像对应5个关键点、胸片侧位对应10个关键点，只有当得到的关键点分割结果和图像分类结果满足该对应关系时，才可确定目标拍摄部位。可选的，预设条件还可以为关键点位置与图像类别之间的对应关系，如腕关节正位图像对应的5个关键点位置分别为5根手指的指关节处，只有当得到的关键点分割结果为5根手指的指关节位置以及图像分类结果为腕关节正位图像，才可确定目标拍摄部位为腕关节正位。
可选的，上述目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，其中，不同拍摄部位的部位编码不同，如腕关节为0、胸部为1、腹部为2、头部为3等等，部位方位包括正位或侧位。其中，目标拍摄部位与对应的医学图像可以参见图1c所示。
进一步的，计算机设备确定了目标拍摄部位后，可展示给放射科医生，那么放射科医生便可以根据该目标拍摄部位进行病灶识别，由此可加快病灶识别的进度。
本实施例提供的图像分类方法，计算机设备将获取的待分类的医学图像输入多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果，当关键点的分割结果和图像分类结果满足预设条件时，则可以确定图像分类结果所表征的拍摄部位为目标拍摄部位。该方法中，由计算机设备采用多任务网络模型来确定医学图像中的拍摄部位，可提高目标拍摄部位结果的准确度，进而提高后续病灶识别过程的准确度；且不需放射科医生再做确认过程，也同时提高了病灶识别过程的效率。
在其中一些实施例中，上述训练样本包括多个样本图像和每个样本图像对应的标签，该标签包括关键点标签与分类标签；如图2所示，上述多任务网络模型的训练方式包括：
S201，将样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果。
具体的，初始多任务网络可以为新搭建的网络，计算机设备将样本图像输入该初始多任务网络中，可以得到初始关键点分割结果和初始图像分类结果。由于此时初始多任务网络的精度还不是很高，因此我们将输出结果成为初始结果。可选的，该初始关键点分割结果也可以包括初始关键点的位置、数目以及分割出来的关键点图像，初始图像分类结果为样本图像中的拍摄部位。其中，初始多任务网络也可以分为两部分，网络的前半部分为提取特征，后半部分为两个分支，第一个分支主要是通过分割进行关键点检测，第二个分支主要对图像的类别进行分类。
可选的，在将样本图像输入初始多任务网络之前，计算机设备也可以对该样本图像进行数据增强(Data Augamentation)：对样本图像进行随机的左右水平翻转、水平方向与竖直方向上的平移变换、随机的旋转、边缘的填充以及对比度的改变；然后对样本图像进行归一化以及标准化的预处理操作，得到标准化图像输入初始多任务网络中。
S202，计算初始关键点分割结果和关键点标签之间的第一损失、以及初始图像分类结果和分类标签之间的第二损失。
具体的，事先可以由经验丰富的医生对每个样本图像进行标记，即标记关键点的位置、数目和关键点图像，以及样本图像的类别，作为关键点标签和分类标签。然后计算机设备计算得到的初始关键点分割结果和关键点标签之间的第一损失，以及初始图像分类结果和分类标签之间的第二损失。
可选的，计算机设备可以采用交叉熵损失函数计算上述第一损失和第二损失，也可以采用其他类型的损失函数计算上述损失，本实施例对此不做限制。
S203，根据第一损失和第二损失对初始多任务网络进行训练，得到多任务网络模型。
具体的，计算机设备可以根据第一损失和第二损失对初始多任务网络进行训练，即根据第一损失和第二损失调整初始多任务网络的网络参数。可选的，计算机设备可以将第一损失和第二损失进行相加求和、或加权求和、或平均求和，得到整体损失来调整初始多任务网络的网络参数。当该整体损失小于或者等于预设阈值、或者达到收敛时，表征初始多任务网络训练完成，便得到了多任务网络模型。
可选的，在训练样本中，可以选取一部分作为训练集，另一部分作为测试集，当训练集对初始多任务网络训练完成后，计算机设备还可以采用测试集对训练完成的网络进行测试，进一步保证多任务网络模型的精度。
本实施例提供的图像分类方法，计算机设备利用训练样本对初始多任务网络进行训练，由此迭代训练，可以得到精度较高的多任务网络模型，以提高得到的关键点分割结果和图像分类结果的准确度，进而提高病灶识别过程的准确度。
由上述图1a所示可知，多任务网络模型的前半部分为特征提取，后半部分为关键点检测及分类，那么上述S102可以包括：采用多任务网络模型中的第一卷积层对医学图像进行特征提取，得到医学图像的特征图；采用多任务网络模型中的第二卷积层对特征图进行关键点特征检测，得到关键点的分割结果；采用多任务网络模型中的池化层和全连接层对特征图进行特征分类，得到图像分类结果。
其中，通过多任务网络模型的多个卷积层进行卷积，可以得到医学图像的特征图，然后再通过另外的多个卷积层对该特征图进行关键点特征检测，可以得到关键点的分割结果，即区分出关键点图像与背景图像；以及通过池化层和全连接层对特征图中的特征进行映射和分类，得到图像分类结果。
可选的，在其中一些实施例中，上述S103可以包括：根据关键点的分割结果，确定关键点的数目；判断关键点的数目和图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；若是，确定图像分类结果表征的拍摄部位为目标拍摄部位。
其中，当关键点的分割结果中只包括关键点的位置或分割图像时，计算机设备可以根据位置的数目或分割图像的数目确定关键点的数目，然后根据预设的关键点数目与图像类别之间的对应关系，如图1b所示的对应关系，可以确定多任务网络模型确定的关键点数目和图像分类结果是否满足该对应关系。若是，则将图像分类结果表征的拍摄部位作为目标拍摄部位。
可选的，在其中一些实施例中，如图3所示，上述方法还包括：
S301，获取医学图像的拍摄标签，拍摄标签为拍摄医学图像时由用户录入的拍摄部位数据。
S302，若拍摄标签与目标拍摄部位不一致，将拍摄标签更新为目标拍摄部位。
具体的，计算机设备可以获取上述医学图像携带的拍摄标签，该拍摄标签为扫描技师在拍摄该医学图像时所录入的，如胸部标签、头部标签、腹部标签等。然后计算机设备判断扫描技师所录入的拍摄标签是否和上述得到的目标拍摄部位一致，若不一致，则将拍摄标签更新为上述目标拍摄标签。例如，扫描技师录入的拍摄标签为胸部标签，而得到的目标拍摄部位为腹部正位，这两者不一致，可以认为扫描技师的录入有误，则计算机设备将该胸部标签更新为腹部标签。由此，可以在医学图像的相关数据出现错误时给与及时纠正，以为后续的其他数据分析做数据基础，确保不影响其他的数据分析过程。
可选的，在其中一些实施例中，如图4所示，当确定了目标拍摄部位之后，上述方法还包括：
S401，根据医学图像的目标拍摄部位，确定与目标拍摄部位相对应的病灶检测算法。
S402，根据病灶检测算法对医学图像进行检测，得到病灶检测结果。
具体的，计算机设备可以根据上述得到的目标拍摄部位，确定与该目标拍摄部位对应的病灶检测算法，该病灶检测算法可以存储于计算机设备的算法库中。如当目标拍摄部位为肺部正片时，可以调用肺结节检测算法、肺气肿检测算法等对其进行病灶检测；当目标拍摄部位为头部正片时，可以调用脑出血检测算法、脑瘤检测算法等对其进行病灶检测；当目标拍摄部位为膝关节侧位时，可以调用骨折检测算法对其进行检测，等等。可选的，上述病灶检测算法可以为神经网络算法，也可以为其他类型的算法，本实施例对此不做限制。
本实施例的图像分类方法，利用计算机设备对医学图像的拍摄位置进行判断之后，还可以自动调用相应的病灶检测算法对其进行检测，得到病灶检测结果。可实现病灶识别过程的全自动化，无需人为参与，可以进一步提高病灶识别过程的效率和准确度。
应该理解的是，虽然图1-图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一个实施例提供的图像分类装置的结构示意图。如图5所示，该装置包括：获取模块11、处理模块12和确定模块13。
具体的，获取模块11，用于获取待分类的医学图像。
处理模块12，用于将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的。
确定模块13，用于当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，训练样本包括多个样本图像和每个样本图像对应的标签，该标签包括关键点标签与分类标签；如图6所示，上述装置还包括训练模块14。
具体的，训练模块14，用于将样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果；计算初始关键点分割结果和关键点标签之间的第一损失、以及初始图像分类结果和分类标签之间的第二损失；根据第一损失和第二损失对初始多任务网络进行训练，得到多任务网络模型。
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，上述处理模块12，具体用于采用多任务网络模型中的第一卷积层对医学图像进行特征提取，得到医学图像的特征图；采用多任务网络模型中的第二卷积层对特征图进行关键点特征检测，得到关键点的分割结果；采用多任务网络模型中的池化层和全连接层对特征图进行特征分类，得到图像分类结果。
在其中一个实施例中，上述确定模块13，具体用于根据关键点的分割结果，确定关键点的数目；判断关键点的数目和图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；若是，确定图像分类结果表征的拍摄部位为目标拍摄部位。
在其中一个实施例中，目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，部位方位包括正位或侧位。
在其中一个实施例中，上述装置还包括更新模块；获取模块11，还用于获取医学图像的拍摄标签，拍摄标签为拍摄医学图像时由用户录入的拍摄部位数据；更新模块，用于若拍摄标签与目标拍摄部位不一致，将拍摄标签更新为目标拍摄部位。
在其中一个实施例中，上述装置还包括检测模块，用于根据医学图像的目标拍摄部位，确定与目标拍摄部位相对应的病灶检测算法；根据病灶检测算法对医学图像进行检测，得到病灶检测结果。
本实施例提供的图像分类装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像分类装置的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待分类的医学图像；
将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，训练样本包括多个样本图像和每个样本图像对应的标签，该标签包括关键点标签与分类标签；处理器执行计算机程序时还实现以下步骤：
将样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果；
计算初始关键点分割结果和关键点标签之间的第一损失、以及初始图像分类结果和分类标签之间的第二损失；
根据第一损失和第二损失对初始多任务网络进行训练，得到多任务网络模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
采用多任务网络模型中的第一卷积层对医学图像进行特征提取，得到医学图像的特征图；
采用多任务网络模型中的第二卷积层对特征图进行关键点特征检测，得到关键点的分割结果；
采用多任务网络模型中的池化层和全连接层对特征图进行特征分类，得到图像分类结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据关键点的分割结果，确定关键点的数目；
判断关键点的数目和图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；
若是，确定图像分类结果表征的拍摄部位为目标拍摄部位。
在一个实施例中，目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，部位方位包括正位或侧位。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取医学图像的拍摄标签，拍摄标签为拍摄医学图像时由用户录入的拍摄部位数据；
若拍摄标签与目标拍摄部位不一致，将拍摄标签更新为目标拍摄部位。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据医学图像的目标拍摄部位，确定与目标拍摄部位相对应的病灶检测算法；
根据病灶检测算法对医学图像进行检测，得到病灶检测结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待分类的医学图像；
将医学图像输入预设的多任务网络模型，得到医学图像中关键点的分割结果和图像分类结果；多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；
当关键点的分割结果和图像分类结果满足预设条件，则确定图像分类结果表征的拍摄部位为目标拍摄部位。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，训练样本包括多个样本图像和每个样本图像对应的标签，该标签包括关键点标签与分类标签；计算机程序被处理器执行时还实现以下步骤：
将样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果；
计算初始关键点分割结果和关键点标签之间的第一损失、以及初始图像分类结果和分类标签之间的第二损失；
根据第一损失和第二损失对初始多任务网络进行训练，得到多任务网络模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用多任务网络模型中的第一卷积层对医学图像进行特征提取，得到医学图像的特征图；
采用多任务网络模型中的第二卷积层对特征图进行关键点特征检测，得到关键点的分割结果；
采用多任务网络模型中的池化层和全连接层对特征图进行特征分类，得到图像分类结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据关键点的分割结果，确定关键点的数目；
判断关键点的数目和图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；
若是，确定图像分类结果表征的拍摄部位为目标拍摄部位。
在一个实施例中，目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，部位方位包括正位或侧位。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取医学图像的拍摄标签，拍摄标签为拍摄医学图像时由用户录入的拍摄部位数据；
若拍摄标签与目标拍摄部位不一致，将拍摄标签更新为目标拍摄部位。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据医学图像的目标拍摄部位，确定与目标拍摄部位相对应的病灶检测算法；
根据病灶检测算法对医学图像进行检测，得到病灶检测结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像分类方法，其特征在于，包括：
获取待分类的医学图像；
将所述医学图像输入预设的多任务网络模型，得到所述医学图像中关键点的分割结果和图像分类结果；所述多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；所述关键点的分割结果用于得到关键点的数目；
当所述关键点的分割结果和所述图像分类结果满足预设条件，则确定所述图像分类结果表征的拍摄部位为目标拍摄部位；所述预设条件包括预设的关键点数目与图像类别之间的对应关系。
2.根据权利要求1所述的方法，其特征在于，所述训练样本包括多个样本图像和每个样本图像对应的标签，所述标签包括关键点标签与分类标签；所述多任务网络模型的训练方式包括：
将所述样本图像输入初始多任务网络，得到初始关键点分割结果和初始图像分类结果；
计算所述初始关键点分割结果和所述关键点标签之间的第一损失、以及所述初始图像分类结果和所述分类标签之间的第二损失；
根据所述第一损失和所述第二损失对所述初始多任务网络进行训练，得到所述多任务网络模型。
3.根据权利要求1或2所述的方法，其特征在于，所述将所述医学图像输入预设的多任务网络模型，得到所述医学图像中关键点的分割结果和图像分类结果，包括：
采用所述多任务网络模型中的第一卷积层对所述医学图像进行特征提取，得到所述医学图像的特征图；
采用所述多任务网络模型中的第二卷积层对所述特征图进行关键点特征检测，得到所述关键点的分割结果；
采用所述多任务网络模型中的池化层和全连接层对所述特征图进行特征分类，得到所述图像分类结果。
4.根据权利要求1或2所述的方法，其特征在于，所述当所述关键点的分割结果和所述图像分类结果满足预设条件，则确定所述图像分类结果表征的拍摄部位为目标拍摄部位，包括：
根据所述关键点的分割结果，确定所述关键点的数目；
判断所述关键点的数目和所述图像分类结果是否满足预设的关键点数目与图像类别之间的对应关系；
若是，确定所述图像分类结果表征的拍摄部位为目标拍摄部位。
5.根据权利要求4所述的方法，其特征在于，所述目标拍摄部位包括部位编码、部位名称和部位方位中的至少一个，所述部位方位包括正位或侧位。
6.根据权利要求1所述的方法，其特征在于，在确定所述图像分类结果表征的拍摄部位为目标拍摄部位之后，所述方法还包括：
获取所述医学图像的拍摄标签，所述拍摄标签为拍摄所述医学图像时由用户录入的拍摄部位数据；
若所述拍摄标签与所述目标拍摄部位不一致，将所述拍摄标签更新为所述目标拍摄部位。
7.根据权利要求1所述的方法，其特征在于，在确定所述图像分类结果表征的拍摄部位为目标拍摄部位之后，所述方法还包括：
根据所述医学图像的目标拍摄部位，确定与所述目标拍摄部位相对应的病灶检测算法；
根据所述病灶检测算法对所述医学图像进行检测，得到病灶检测结果。
8.一种图像分类装置，其特征在于，包括：
获取模块，用于获取待分类的医学图像；
处理模块，用于将所述医学图像输入预设的多任务网络模型，得到所述医学图像中关键点的分割结果和图像分类结果；所述多任务网络模型为根据带有关键点标签与分类标签的训练样本进行训练所得到的；所述关键点的分割结果用于得到关键点的数目；
确定模块，用于当所述关键点的分割结果和所述图像分类结果满足预设条件，则确定所述图像分类结果表征的拍摄部位为目标拍摄部位；所述预设条件包括预设的关键点数目与图像类别之间的对应关系。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338271.7A CN111160367B (zh) | 2019-12-23 | 2019-12-23 | 图像分类方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911338271.7A CN111160367B (zh) | 2019-12-23 | 2019-12-23 | 图像分类方法、装置、计算机设备和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111160367A CN111160367A (zh) | 2020-05-15 |
| CN111160367B true CN111160367B (zh) | 2024-03-01 |
Family
ID=70557819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911338271.7A Active CN111160367B (zh) | 2019-12-23 | 2019-12-23 | 图像分类方法、装置、计算机设备和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160367B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111696083B (zh) * | 2020-05-20 | 2024-05-14 | 平安科技（深圳）有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111640093A (zh) * | 2020-05-20 | 2020-09-08 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法和计算机可读存储介质 |
| CN111652300A (zh) * | 2020-05-27 | 2020-09-11 | 联影智能医疗科技(北京)有限公司 | 脊柱曲度分类方法、计算机设备和存储介质 |
| CN111932547B (zh) * | 2020-09-24 | 2021-06-11 | 平安科技（深圳）有限公司 | 图像中目标物的分割方法、装置、电子设备及存储介质 |
| TWI812888B (zh) | 2020-10-14 | 2023-08-21 | 財團法人工業技術研究院 | 影像辨識方法及影像辨識系統 |
| CN113140290A (zh) * | 2020-12-17 | 2021-07-20 | 慧影医疗科技（北京）有限公司 | 模型训练方法、装置、病灶识别方法及电子设备 |
| CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
| CN115049580A (zh) * | 2021-03-09 | 2022-09-13 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
| CN112802036A (zh) * | 2021-03-16 | 2021-05-14 | 上海联影医疗科技股份有限公司 | 一种三维医学图像靶区分割的方法、***和装置 |
| CN113191392B (zh) * | 2021-04-07 | 2023-01-24 | 山东师范大学 | 一种乳腺癌图像信息瓶颈多任务分类和分割方法及*** |
| CN113379687A (zh) * | 2021-05-28 | 2021-09-10 | 上海联影智能医疗科技有限公司 | 网络训练方法、图像检测方法和介质 |
| CN113487656B (zh) * | 2021-07-26 | 2022-11-22 | 推想医疗科技股份有限公司 | 图像配准方法及装置，训练方法及装置，控制方法及装置 |
| CN116071375B (zh) * | 2023-03-10 | 2023-09-26 | 福建自贸试验区厦门片区Manteia数据科技有限公司 | 图像分割方法和装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885893B1 (en) * | 2011-11-22 | 2014-11-11 | The United States Of America As Represented By The Secretary Of The Navy | System and method for adaptive face recognition |
| CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别***及方法、存储介质 |
| CN109660719A (zh) * | 2018-12-11 | 2019-04-19 | 维沃移动通信有限公司 | 一种信息提示方法及移动终端 |
-
2019
- 2019-12-23 CN CN201911338271.7A patent/CN111160367B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8885893B1 (en) * | 2011-11-22 | 2014-11-11 | The United States Of America As Represented By The Secretary Of The Navy | System and method for adaptive face recognition |
| CN108304819A (zh) * | 2018-02-12 | 2018-07-20 | 北京易真学思教育科技有限公司 | 姿态识别***及方法、存储介质 |
| CN109660719A (zh) * | 2018-12-11 | 2019-04-19 | 维沃移动通信有限公司 | 一种信息提示方法及移动终端 |
Non-Patent Citations (3)
| Title |
|---|
| Alexander Binder等."Enhanced representation and multi-task learning for image annotation".《Computer Vision and Image Understanding》.2013,第117卷(第5期),全文. * |
| Zhanpeng Zhang等."Facial Landmark Detection by Deep Multi-task Learning".《ECCV 2014: Computer Vision》.2014,第94-108页. * |
| 肖锋等."全卷积语义分割与物体检测网络".《中国图象图形学报》.2019,第24卷(第03期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111160367A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160367B (zh) | 图像分类方法、装置、计算机设备和可读存储介质 | |
| CN110766730B (zh) | 图像配准及随访评估方法、存储介质及计算机设备 | |
| US8958614B2 (en) | Image-based detection using hierarchical learning | |
| CN111080584B (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
| CN112885453A (zh) | 用于标识后续医学图像中的病理变化的方法和*** | |
| CN111161270A (zh) | 医学影像的血管分割方法、计算机设备和可读存储介质 | |
| CN111325714B (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| US11915822B2 (en) | Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination | |
| CN110600107B (zh) | 医学图像的筛选方法、计算机设备及可读存储介质 | |
| CN111311655B (zh) | 多模态图像配准方法、装置、电子设备、存储介质 | |
| US20220036575A1 (en) | Method for measuring volume of organ by using artificial neural network, and apparatus therefor | |
| EP3722996A2 (en) | Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof | |
| CN112102235B (zh) | 人体部位识别方法、计算机设备和存储介质 | |
| CN111128348B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
| CN111223158B (zh) | 心脏冠脉图像的伪影校正方法和可读存储介质 | |
| CN113808125A (zh) | 医学影像处理方法、病灶类型识别方法以及相关产品 | |
| CN111080583A (zh) | 医学图像检测方法、计算机设备和可读存储介质 | |
| Reddy et al. | Anatomical landmark detection using deep appearance-context network | |
| CN110570425A (zh) | 一种基于深度强化学习算法的肺结节分析方法及装置 | |
| CN113724185B (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN114266896A (zh) | 图像标注方法、模型训练方法及装置、电子设备、介质 | |
| CN110992312B (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
| CN113160199A (zh) | 影像识别方法、装置、计算机设备和存储介质 | |
| CN112766314A (zh) | 解剖结构的识别方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |