CN116385756B - 基于增强标注和深度学习的医学图像识别方法及相关装置 - Google Patents

基于增强标注和深度学习的医学图像识别方法及相关装置 Download PDF

Info

Publication number
CN116385756B
CN116385756B CN202211634149.6A CN202211634149A CN116385756B CN 116385756 B CN116385756 B CN 116385756B CN 202211634149 A CN202211634149 A CN 202211634149A CN 116385756 B CN116385756 B CN 116385756B
Authority
CN
China
Prior art keywords
medical image
target
deep learning
detected
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211634149.6A
Other languages
English (en)
Other versions
CN116385756A (zh
Inventor
崔旭蕾
吴林格尔
王瑾
陈思
申乐
谭刚
许力
黄宇光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202211634149.6A priority Critical patent/CN116385756B/zh
Publication of CN116385756A publication Critical patent/CN116385756A/zh
Application granted granted Critical
Publication of CN116385756B publication Critical patent/CN116385756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于增强标注和深度学习的医学图像识别方法及相关装置，其中基于增强标注和深度学习的医学图像识别方法包括：对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；基于所述标注数据集，训练得到目标部位深度学习识别模型；将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。本发明通过作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型，搜索临床目标区域，提升了医学图像识别和临床靶点的准确率。

Description

基于增强标注和深度学习的医学图像识别方法及相关装置
技术领域
本发明涉及医学图像识别领域，具体涉及一种基于增强标注和深度学习的医学图像识别方法及装置、计算设备及计算机存储介质。
背景技术
医学期刊《柳叶刀》(The Lancet，简称Lancet)2013年发表的全球疾病负担表明，疼痛疾病在全球疾病负担中排名第1位，其中，慢性腰痛和颈痛分别排列第1位和第4位。70％-80％的人在一生中罹患慢性颈腰痛，其点时发病率为30％。导致慢性脊柱源性颈腰痛的最常见原因包括各种原因导致的神经根卡压根性痛、腰脊神经后支卡压综合征、关节突关节-横突疼痛综合症等。
在治疗上绝大多数患者在发病的早期阶段有意愿并可能通过神经阻滞、射频热凝等微创介入治疗手段而获得疼痛的缓解。既往，上述治疗多通过盲法操作或在X线引导下完成，然而盲法操作往往因操作不够精准而导致治疗效果不佳，而X线引导(如图9a至图9b所示的利用X线定位关节突关节的示意图)尽管定位较前者更为准确，但因需反复放射性照射，经常置医患于放射性污染对人体健康造成的威胁之中。近年来，可视化超声技术的应用(如图10所示的利用超声方法定位关节突关节及横突的示意图)可使临床医生清晰辨识目标结构及其周围组织，预先设计穿刺路径，实时引导操作并观察治疗药物的扩散，从而提高治疗的精准性和成功率，并减少并发症。然而，大量的麻醉及疼痛科医生对超声图像并不是非常的熟悉，导致学习曲线长，操作者依赖现象严重。
传统基于人工智能的超声图像识别一般采用有监督的机器学***均准确率(AP)。由于脊柱关节突关节和横突在超声图像上，往往体现为不规则的细条带，导致直接标注并训练的模型用于验证和测试时，出现大量的假阳性或假阴性，并且AP值较低，难以作为合适的牵引目标。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述医学图像识别准确率较低问题的基于增强标注和深度学习的医学图像识别方法及装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种基于增强标注和深度学习的医学图像识别方法，包括：
对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；
基于所述标注数据集，训练得到目标部位深度学习识别模型；
将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
在一种可选的方式中，所述对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位进一步包括：
对医学图像中的腰椎骨性标志部位进行增强标注得到标注数据集；其中，所述腰椎骨性标志部位包括作为最终目标的第一部位和作为辅助的第二部位。
在一种可选的方式中，所述对医学图像中的腰椎骨性标志部位进行增强标注得到标注数据集；其中，所述腰椎骨性标志部位包括作为最终目标的第一部位和作为辅助的第二部位进一步包括：
对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，所述腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位。
在一种可选的方式中，所述方法还包括：
将所述待检测医学图像的识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
在一种可选的方式中，所述将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果进一步包括：
将所述待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的第一部位识别结果和第二部位识别结果；
将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别。
在一种可选的方式中，所述将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别进一步包括：
判断所述待检测医学图像中是否同时包括所述第一部位识别结果和所述第二部位识别结果，若是，则判断所述待检测医学图像中是否包括所述目标部位。
在一种可选的方式中，所述基于所述标注数据集，训练得到目标部位深度学习识别模型进一步包括：
将所述标注数据集输入至MaskRCNN模型，训练得到所述目标部位深度学习识别模型；
所述MaskRCNN模型包括输入层、特征提取网络层、RPN区域生成网络层、ROI Align网络层和至少一个全连接网络层；其中，特征提取网络层包括：ResNet50残差网络层和FPN特征网络层，所述全连接网络层包括：掩码层、类别层和/或坐标层。
在一种可选的方式中，所述方法还包括：
根据所述腰椎关节突关节-横突部位和所述硬脊膜部位的识别坐标，获取所述识别坐标的搜索拐点；
将所述搜索拐点加入至所述识别坐标，得到目标识别坐标；
将所述目标识别坐标作为靶点目标检测结果；
所述获取所述识别坐标的搜索拐点进一步包括：
对所述识别坐标进行曲线拟合得到拟合曲线函数；
计算所述拟合曲线函数的各个拐点，得到所述搜索拐点；
或直接计算坐标拐点。
根据本发明的另一方面，提供了一种基于增强标注和深度学习的医学图像识别装置，包括：
数据标注模块，用于对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；
模型训练模块，用于基于所述标注数据集，训练得到目标部位深度学习识别模型；
识别模块，用于将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于增强标注和深度学习的医学图像识别方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述基于增强标注和深度学习的医学图像识别方法对应的操作。
根据本发明提供的方案，对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；基于所述标注数据集，训练得到目标部位深度学习识别模型；将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。本发明通过作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型，提升了医学图像识别的准确率，进而也提升了临床靶点的准确率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例的基于增强标注和深度学习的医学图像识别方法的流程示意图；
图2示出了本发明另一个实施例的基于增强标注和深度学习的医学图像识别方法的流程示意图；
图3示出了本发明实施例的MaskRCNN超声图像分割流程示意图；
图4示出了本发明实施例的目标部位示意图；
图5a至图5b示出了本发明实施例的识别结果和原图示意图；
图6a至图6c示出了本发明实施例的原始超声图像示意图；
图7a至图7b示出了本发明实施例的数据标注示意图；
图8示出了本发明实施例的目标检测结果示意图；
图9a至图9b示出了现有技术中利用X线定位关节突关节-横突的示意图；
图10示出了现有技术中利用超声方法定位关节突关节-横突的示意图；
图11示出了本发明实施例的基于增强标注和深度学习的医学图像识别装置的结构示意图；
图12示出了本发明实施例的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例的基于增强标注和深度学习的医学图像识别方法的流程示意图。本方法基于作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型识别医学图像。具体地，如图1所示，包括以下步骤：
步骤S101，对医学图像中的目标部位进行增强标注得到标注数据集；其中，目标部位包括作为最终目标的第一部位和作为辅助的第二部位。
本实施例中，针对目标部位的解剖学特点，对目标部位进行增强标注，更符合临床医生体验的联合度量，能够提升目标部位的检出率，降低假阳性和假阴性的概率，并且提供了合适的度量指标，作为最终检出的判断依据，可指导实际的临床操作。
在一种可选的方式中，对医学图像中的目标部位进行增强标注得到标注数据集；其中，目标部位包括作为最终目标的第一部位和作为辅助的第二部位进一步包括：
对医学图像中的腰椎骨性标志部位进行增强标注得到标注数据集；其中，腰椎骨性标志部位包括作为最终目标的第一部位和作为辅助的第二部位。
步骤S102，基于标注数据集，训练得到目标部位深度学习识别模型。
将标注数据集输入至目标部位深度学习识别模型进行训练，可选地，将标注数据集输入至目标部位深度学习识别模型之前，对标注数据集进行数据预处理，例如对采样数据进行尺度缩放、数据扩增、数据增强等数据准备工作。
步骤S103，将待检测医学图像输入至目标部位深度学习识别模型，得到待检测医学图像的识别结果。
将待检测医学图像输入至目标部位深度学习识别模型，得到待检测医学图像的识别结果。
本实施例中，由于检测目标部位F在超声图像上往往体现为不规则的细条带，直接采用检测目标部位F的AP值作为度量，将导致分割的呈现结果与实际体验出现严重的偏差，无法正确体现真实价值。通过改进检测度量，在检测目标部位F的AP值之外，将作为最终目标的第一部位和作为辅助的第二部位联合检测和分割准确度作为参考标准，可使得目标检测结果与医生的体验一致。基于同样的模型或算法，采用作为辅助的第二部位(如硬脊膜E)辅助作为最终目标的第一部位(如关节突关节-横突F)进行检测和分割，相对于只标注检测目标部位F进行训练，取得了有益效果(如提升了约10％的准确率，降低了约20％的假阳性率)。
在一种可选的方式中，将待检测医学图像的识别结果的影像区域输入靶点搜索功能单元，得到临床靶点。
在一种可选的方式中，将待检测医学图像输入至目标部位深度学习识别模型，得到待检测医学图像的识别结果进一步包括：
将待检测医学图像输入至目标部位深度学习识别模型，得到待检测医学图像的第一部位识别结果和第二部位识别结果；
将第一部位识别结果和第二部位识别结果作为联合度量对待检测医学图像进行识别。
在一种可选的方式中，将第一部位识别结果和第二部位识别结果作为联合度量对待检测医学图像进行识别进一步包括：
判断待检测医学图像中是否同时包括第一部位识别结果和第二部位识别结果，若是，则判断待检测医学图像中包括目标部位。
在一种可选的方式中，待检测医学图像的识别结果进一步包括：
作为最终目标的第一部位和作为辅助的第二部位的分割结果、识别坐标和/或类别。
在一种可选的方式中，待检测医学图像的识别结果进一步包括：
作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位的分割结果、识别坐标和/或类别。
本发明上述实施例提供的方案，对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；基于所述标注数据集，训练得到目标部位深度学习识别模型；将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。本发明通过作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型，提升了医学图像识别的准确率，进而也提升了临床靶点的准确率。
图2示出了本发明另一个实施例的基于增强标注和深度学习的医学图像识别方法的流程示意图。本方法将标注数据集输入至MaskRCNN模型或其他深度学习模型进行训练得到目标部位深度学习识别模型，以及，通过进一步判断目标检测结果是否为真腰椎关节突关节-横突。具体地，如图2所示，包括以下步骤：
步骤S201，对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位。
具体地，对医学图像(如超声图像等)中的目标部位进行增强标注得到标注数据集；其中，腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位。
如图4所示，除标注作为最终目标的关节突关节-横突(位于上方框区域，记为F)之外，根据解剖学特点和临床经验，增加作为辅助的硬脊膜(位于下方框区域，记为E)并进行标注，在对关节突关节-横突F部位进行标注之外，标注目标硬脊膜E。
可选地，根据解剖学中的关节突关节-横突特点，在超声图像上往往体现为对称的回声区，对医学图像中的目标部位进行单侧和双侧标注，以及，通过将医学图像中的目标部位进行水平翻转并旋转对标注数据集进行扩增，可取得有益效果(如提升约8％的检测准确率)。
步骤S202，将标注数据集输入至MaskRCNN模型，训练得到目标部位深度学习识别模型。
MaskRCNN是一种实例分割(Instance segmentation)算法，为多任务网络，可用于如目标检测、目标实例分割、目标关键点检测等任务。
本实施例中，基于MaskRCNN模型或其他深度学习模型，训练得到目标部位深度学习识别模型。
在一种可选的方式中，基于标注数据集，训练得到目标部位深度学习识别模型进一步包括：
将标注数据集输入至MaskRCNN模型或其他深度学习模型，训练得到目标部位深度学习识别模型；
MaskRCNN模型包括输入层、特征提取网络层、RPN区域生成网络层、ROI Align网络层和至少一个全连接网络层；其中，特征提取网络层包括：ResNet50残差网络层和FPN特征网络层，全连接网络层包括：掩码层、类别层和/或坐标层。
如图3所示，FPN(Feature Pyramid Networks，即特征金字塔网络)是MaskRCNN模型的backbone(骨架)网络，用于提取图像的特征。
RPN(Region Proposal Network，即区域生成网络)用于找寻感兴趣的区域，RPN可以理解为两个任务，一个是分类任务，一个是回归任务，其中，回归任务就是给出候选框坐标(候选框左上和右下的坐标)，分类任务则是判断候选框中是否有目标(有目标的概率)。当两个任务完成后，将认为有物体的概率得分大于门限(如0.7)的候选框保留为proposals(即有可能包含一个目标的区域)。
ROI Align主要用于将RPN过程生成的所有proposed ROI都转化成相同大小的feature map，再将其reshape为一维的向量。
MaskRCNN模型通过3个独立的全连接网络分别得到图像的分割结果(Mask)、识别结果(坐标)、类别。
可选地，将标注数据集输入至MaskRCNN模型之前，对标注数据集进行数据收集、数据清洗、数据标注、数据扩增和数据分类。
数据收集是指采集原始超声图像，要求所采集的原始超声图像视角一致、视野近似，如图6a至图6c所示。
由于数据样本量庞大，且通常是人工制作，因此需要通过数据清洗保证数据的正确性，进而保证后续步骤的顺利实施，数据清洗过程主要是筛查异常数据，包括：图像和标记数据是否损害、数据命名格式是否符合要求、标记是否正确、原始图像和标记图像是否正确关联等。
针对超声图像的数据标注，通常需要专业的超声医师对需要识别分割的部分进行标记，可采用labelme等软件进行标注。如图7a至图7b所示，尽管通常认为给出更多特征会降低目标的误检率，可提高目标的识别正确率，但在本实施例中，通过实验结果表明，标注范围并不是越大越好，而是要符合医学场景和计算机视觉算法需求。
通过对超声图像进行水平翻转并旋转的方式进行数据扩增，可提升检测的准确率。
数据分类主要作用是将数据分为深度学习所需的训练集和验证集。基于目标的特殊性，除了分为传统的训练集和验证集之外，还划分为阴性集，即图像中不存在任何目标的图像集合。
步骤S203，将待检测医学图像输入至目标部位深度学习识别模型，得到腰椎关节突关节-横突识别结果和硬脊膜识别结果；将识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
将待检测医学图像输入至目标部位深度学习识别模型，得到腰椎关节突关节-横突识别结果和硬脊膜识别结果如图8所示，图5a至图5b示出了识别结果和原图示意图。
将识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
步骤S204，根据腰椎关节突关节-横突部位和硬脊膜部位的识别坐标，获取识别坐标的搜索拐点；将搜索拐点加入至识别坐标，得到目标识别坐标；将目标识别坐标作为靶点目标检测结果。
对超声图像进行分割不是最终目标，医生关注的是对目标部位进行穿刺准确性，基于机器学习的分割结果，本实例中，增加分割部位(如二值图)的搜索拐点(如通过拐点计算公式计算搜索拐点)，作为目标的最终检测结果，可使得关节突关节-横突和横突的定位误差可控制在可用范围内(典型值如5mm)，可有效提升穿刺的准确性。
具体地，在得到目标检测结果之后，根据腰椎关节突关节-横突部位和硬脊膜部位的识别坐标，获取识别坐标的搜索拐点；将搜索拐点加入至识别坐标，得到目标识别坐标；将目标识别坐标作为靶点目标检测结果。
在一种可选的方式中，获取识别坐标的搜索拐点进一步包括：
对识别坐标进行曲线拟合得到拟合曲线函数；
计算拟合曲线函数的各个拐点，得到搜索拐点；
或直接搜索或计算识别坐标上的拐点。
步骤S205，判断目标检测结果中是否同时包括腰椎关节突关节-横突部位和硬脊膜部位。
硬脊膜E可以辅助佐证关节突关节-横突F是真关节突关节-横突，若存在关节突关节-横突F但不存在硬脊膜E，关节突关节-横突F可能是真关节突关节-横突，也可能是假关节突关节-横突；若同时存在关节突关节-横突F和硬脊膜E，关节突关节-横突F一定是真关节突关节-横突。
硬脊膜E为椎管内结构，在图像中若出现硬脊膜E则说明超声切面位置一定在椎间隙水平，而关节突关节-横突F也位于椎间隙水平，因此在能出现硬脊膜E的层面出现关节突关节-横突F一定是关节突关节-横突。但是，在没有硬脊膜E的情况下出现关节突关节-横突F，可能是椎间隙组织骨化、钙化导致超声下无法识别硬脊膜E，还可能是其他部位形态类似关节突关节-横突F的结构组织。
在一种可选的方式中，将所述待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的第一部位识别结果和第二部位识别结果；
将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别。
在一种可选的方式中，判断所述待检测医学图像中是否同时包括所述第一部位识别结果和所述第二部位识别结果，若是，则判断所述待检测医学图像中包括所述目标部位。
具体地，判断目标检测结果中是否同时包括腰椎关节突关节-横突部位和硬脊膜部位，若是，则执行步骤S206。
步骤S206，判断为腰椎关节突关节-横突。
判断为真腰椎关节突关节-横突。
本发明上述实施例提供的方案，通过对医学图像中的目标部位进行单侧和双侧标注并进行数据扩增，进一步提升了检测的准确率。通过MaskRCNN模型训练得到目标部位深度学习识别模型，提升了检测的准确率和分割性能。通过硬脊膜辅助佐证关节突关节-横突是否为真关节突关节-横突，进一步增加了目标检测结果的准确率。以及，基于机器学习分割结果，通过增加分割部位的搜索拐点作为目标的最终检测结果，使得关节突关节-横突和横突的定位误差控制在可用范围内。
图11示出了本发明实施例的基于增强标注和深度学习的医学图像识别装置的结构示意图。基于增强标注和深度学习的医学图像识别装置包括：数据标注模块1110、模型训练模块1120和识别模块1130。
所述数据标注模块1110，用于对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；
所述模型训练模块1120，用于基于所述标注数据集，训练得到目标部位深度学习识别模型；
所述识别模块1130，用于将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
在一种可选的方式中，所述数据标注模块1110进一步用于：
对医学图像中的腰椎骨性标志部位进行增强标注得到标注数据集；其中，所述腰椎骨性标志部位包括作为最终目标的第一部位和作为辅助的第二部位。
在一种可选的方式中，所述数据标注模块1110进一步用于：
对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，所述腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位。
在一种可选的方式中，所述识别模块1130进一步用于：
将所述待检测医学图像的识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
在一种可选的方式中，所述识别模块1130进一步用于：
将所述待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的第一部位识别结果和第二部位识别结果；
将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别。
在一种可选的方式中，所述识别模块1130进一步用于：
判断所述待检测医学图像中是否同时包括所述第一部位识别结果和所述第二部位识别结果，若是，则判断所述待检测医学图像中包括所述目标部位。
在一种可选的方式中，所述模型训练模块1120进一步用于：
将所述标注数据集输入至MaskRCNN模型，训练得到所述目标部位深度学习识别模型；
所述MaskRCNN模型包括输入层、特征提取网络层、RPN区域生成网络层、ROI Align网络层和至少一个全连接网络层；其中，特征提取网络层包括：ResNet50残差网络层和FPN特征网络层，所述全连接网络层包括：掩码层、类别层和/或坐标层。
在一种可选的方式中，所述模型训练模块1130进一步用于：
根据所述腰椎关节突关节-横突部位和所述硬脊膜部位的识别坐标，获取所述识别坐标的搜索拐点；
将所述搜索拐点加入至所述识别坐标，得到目标识别坐标；
将所述目标识别坐标作为靶点目标检测结果；
所述获取所述识别坐标的搜索拐点进一步包括：
对所述识别坐标进行曲线拟合得到拟合曲线函数；
计算所述拟合曲线函数的各个拐点，得到所述搜索拐点；
或直接计算坐标拐点。
本发明上述实施例提供的方案，对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；基于所述标注数据集，训练得到目标部位深度学习识别模型；将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。本发明通过作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型，提升了医学图像识别的准确率，进而也提升了临床靶点的准确率。
图12示出了本发明计算设备实施例的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图12所示，该计算设备可以包括：处理器1202、通信接口1204、存储器1206、以及通信总线1208。
其中：处理器1202、通信接口1204、以及存储器1206通过通信总线1208完成相互间的通信。通信接口1204，用于与其它设备比如客户端或其它服务器等的网元通信。处理器1202，用于执行程序1210，具体可以执行上述基于增强标注和深度学习的医学图像识别方法实施例中的相关步骤。
具体地，程序1210可以包括程序代码，该程序代码包括计算机操作指令。
处理器1202可能是中央处理器CPU，或者是图形处理器GPU，或者是特定集成电路ASIC，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU/GPU；也可以是不同类型的处理器，如一个或多个CPU/GPU以及一个或多个ASIC。
存储器1206，用于存放程序1210。存储器1206可能包含高速RAM存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
程序1210具体可以用于使得处理器1202执行以下操作：
对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；
基于所述标注数据集，训练得到目标部位深度学习识别模型；
将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
对对医学图像中的腰椎骨性标志部位进行增强标注得到标注数据集；其中，所述腰椎骨性标志部位包括作为最终目标的第一部位和作为辅助的第二部位。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，所述腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
将所述待检测医学图像的识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
将所述待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的第一部位识别结果和第二部位识别结果；
将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
判断所述待检测医学图像中是否同时包括所述第一部位识别结果和所述第二部位识别结果，若是，则判断所述待检测医学图像中包括所述目标部位。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
将所述标注数据集输入至MaskRCNN模型，训练得到所述目标部位深度学习识别模型；
所述MaskRCNN模型包括输入层、特征提取网络层、RPN区域生成网络层、ROI Align网络层和至少一个全连接网络层；其中，特征提取网络层包括：ResNet50残差网络层和FPN特征网络层，所述全连接网络层包括：掩码层、类别层和/或坐标层。
在一种可选的方式中，所述程序1210使所述处理器执行以下操作：
根据所述腰椎关节突关节-横突部位和所述硬脊膜部位的识别坐标，获取所述识别坐标的搜索拐点；
将所述搜索拐点加入至所述识别坐标，得到目标识别坐标；
将所述目标识别坐标作为靶点目标检测结果；
所述获取所述识别坐标的搜索拐点进一步包括：
对所述识别坐标进行曲线拟合得到拟合曲线函数；
计算所述拟合曲线函数的各个拐点，得到所述搜索拐点；
或直接计算坐标拐点。
本发明上述实施例提供的方案，对医学图像中的目标部位进行增强标注得到标注数据集；其中，所述目标部位包括作为最终目标的第一部位和作为辅助的第二部位；基于所述标注数据集，训练得到目标部位深度学习识别模型；将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。本发明通过作为最终目标的第一部位和作为辅助的第二部位对目标部位进行增强标注，以及，通过建立目标部位深度学习识别模型，提升了医学图像识别的准确率，进而也提升了临床靶点的准确率。
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于增强标注和深度学习的医学图像识别方法。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或CPU/GPU或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (7)

1.一种基于增强标注和深度学习的医学图像识别方法，其特征在于，包括：
对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，所述腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位；
将所述标注数据集输入至深度学习模型，训练得到目标部位深度学习识别模型；所述深度学习模型包括输入层、特征提取网络层、区域生成网络层、ROI对齐网络层和至少一个全连接网络层；其中，特征提取网络层包括：残差网络层和特征网络层，所述全连接网络层包括：掩码层、类别层和/或坐标层；
将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
2.根据权利要求1所述的基于增强标注和深度学习的医学图像识别方法，其特征在于，所述方法还包括：
将所述待检测医学图像的识别结果的医学图像区域输入靶点搜索功能单元，得到临床靶点。
3.根据权利要求1-2中任一项所述的基于增强标注和深度学习的医学图像识别方法，其特征在于，所述将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果进一步包括：
将所述待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的第一部位识别结果和第二部位识别结果；
将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别。
4.根据权利要求3所述的基于增强标注和深度学习的医学图像识别方法，其特征在于，所述将所述第一部位识别结果和所述第二部位识别结果作为联合度量对所述待检测医学图像进行识别进一步包括：
判断所述待检测医学图像中是否同时包括所述第一部位识别结果和所述第二部位识别结果，若是，则判断所述待检测医学图像中包括目标部位。
5.根据权利要求1所述的基于增强标注和深度学习的医学图像识别方法，其特征在于，所述方法还包括：
根据所述腰椎关节突关节-横突部位和所述硬脊膜部位的识别坐标，获取所述识别坐标的搜索拐点；
将所述搜索拐点加入至所述识别坐标，得到目标识别坐标；
将所述目标识别坐标作为靶点目标检测结果；
所述获取所述识别坐标的搜索拐点进一步包括：
对所述识别坐标进行曲线拟合得到拟合曲线函数；
计算所述拟合曲线函数的各个拐点，得到所述搜索拐点；
或直接计算坐标拐点。
6.一种基于增强标注和深度学习的医学图像识别装置，其特征在于，包括：
数据标注模块，用于对医学图像中的腰椎关节突关节-横突部位进行增强标注得到标注数据集；其中，所述腰椎关节突关节-横突部位包括作为最终目标的腰椎关节突关节-横突部位和作为辅助的硬脊膜部位；
模型训练模块，用于将所述标注数据集输入至深度学习模型，训练得到目标部位深度学习识别模型；所述深度学习模型包括输入层、特征提取网络层、区域生成网络层、ROI对齐网络层和至少一个全连接网络层；其中，特征提取网络层包括：残差网络层和特征网络层，所述全连接网络层包括：掩码层、类别层和/或坐标层；
识别模块，用于将待检测医学图像输入至所述目标部位深度学习识别模型，得到所述待检测医学图像的识别结果。
7.一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的基于增强标注和深度学习的医学图像识别方法对应的操作。
CN202211634149.6A 2022-12-19 2022-12-19 基于增强标注和深度学习的医学图像识别方法及相关装置 Active CN116385756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211634149.6A CN116385756B (zh) 2022-12-19 2022-12-19 基于增强标注和深度学习的医学图像识别方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211634149.6A CN116385756B (zh) 2022-12-19 2022-12-19 基于增强标注和深度学习的医学图像识别方法及相关装置

Publications (2)

Publication Number Publication Date
CN116385756A CN116385756A (zh) 2023-07-04
CN116385756B true CN116385756B (zh) 2023-10-17

Family

ID=86962094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211634149.6A Active CN116385756B (zh) 2022-12-19 2022-12-19 基于增强标注和深度学习的医学图像识别方法及相关装置

Country Status (1)

Country Link
CN (1) CN116385756B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553743A2 (en) * 2018-04-11 2019-10-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN112699869A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 基于深度学习的肋骨骨折辅助检测方法及图像识别方法
CN113537408A (zh) * 2021-09-08 2021-10-22 深圳开立生物医疗科技股份有限公司 一种超声图像处理方法、装置、设备及存储介质
CN114693719A (zh) * 2022-03-30 2022-07-01 南京航空航天大学 基于3D-SE-Vnet的脊柱图像分割方法及***
CN115393314A (zh) * 2022-08-23 2022-11-25 北京雅德嘉企业管理有限公司 一种基于深度学习的口腔医疗图像识别方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3553743A2 (en) * 2018-04-11 2019-10-16 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image processing
CN112699869A (zh) * 2020-12-17 2021-04-23 深圳视见医疗科技有限公司 基于深度学习的肋骨骨折辅助检测方法及图像识别方法
CN113537408A (zh) * 2021-09-08 2021-10-22 深圳开立生物医疗科技股份有限公司 一种超声图像处理方法、装置、设备及存储介质
CN114693719A (zh) * 2022-03-30 2022-07-01 南京航空航天大学 基于3D-SE-Vnet的脊柱图像分割方法及***
CN115393314A (zh) * 2022-08-23 2022-11-25 北京雅德嘉企业管理有限公司 一种基于深度学习的口腔医疗图像识别方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度学习的2D/3D医学图像配准研究;陈向前;郭小青;周钢;樊瑜波;王豫;;中国生物医学工程学报(04);全文 *
基于深度学习的医疗影像识别技术研究综述;张琦;张荣梅;陈彬;;河北省科学院学报(03);全文 *
深度迁移学习辅助的阿尔兹海默氏症早期诊断;金祝新;秦飞巍;方美娥;;计算机应用与软件(05);全文 *

Also Published As

Publication number Publication date
CN116385756A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
WO2021238438A1 (zh) 肿瘤图像的处理方法和装置、电子设备、存储介质
WO2022141882A1 (zh) 一种基于历史病理信息的病灶识别模型构建装置及***
US20090232378A1 (en) Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
Kim et al. Automation of spine curve assessment in frontal radiographs using deep learning of vertebral-tilt vector
CN110796636A (zh) 基于卷积神经网络的ct图像骨质状况检测方法及装置
EP3722996A2 (en) Systems and methods for processing 3d anatomical volumes based on localization of 2d slices thereof
CN109360213A (zh) 一种基于脊柱超声冠状面图像的自动化椎体识别方法
Liu et al. NHBS-Net: A feature fusion attention network for ultrasound neonatal hip bone segmentation
Lin et al. Using deep learning in ultrasound imaging of bicipital peritendinous effusion to grade inflammation severity
CN112927213B (zh) 一种医学图像分割方法、介质及电子设备
Fatima et al. Vertebrae localization and spine segmentation on radiographic images for feature‐based curvature classification for scoliosis
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN116385756B (zh) 基于增强标注和深度学习的医学图像识别方法及相关装置
Radlak et al. Automatic detection of bones based on the confidence map for rheumatoid arthritis analysis
Zhang et al. Automatic rib segmentation in chest CT volume data
CN113808105B (zh) 一种基于超声扫查的病灶检测方法
Yan et al. Segmentation of pulmonary parenchyma from pulmonary CT based on ResU-Net++ model
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
El-Fegh et al. Automated 2-D cephalometric analysis of X-ray by image registration approach based on least square approximator
CN112085698A (zh) 左右乳腺超声图像自动分析方法及装置
Ebrahimi et al. Automatic Segmentation and Identification of Spinous Processes on Sagittal X-Rays Based on Random Forest Classification and Dedicated Contextual Features
Deng et al. An effective U-Net and BiSeNet complementary network for spine segmentation
Jain et al. A novel strategy for automatic localization of cephalometric landmarks
Pandey Real-time ultrasound bone segmentation and robust us-ct registration for surgical navigation of pelvic fractures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant