CN114169468A - 图像分类方法、计算机设备、存储介质和计算机程序产品 - Google Patents

图像分类方法、计算机设备、存储介质和计算机程序产品 Download PDF

Info

Publication number
CN114169468A
CN114169468A CN202111675286.XA CN202111675286A CN114169468A CN 114169468 A CN114169468 A CN 114169468A CN 202111675286 A CN202111675286 A CN 202111675286A CN 114169468 A CN114169468 A CN 114169468A
Authority
CN
China
Prior art keywords
cartilage
image
magnetic resonance
bone joint
resonance image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111675286.XA
Other languages
English (en)
Inventor
陈磊
庄梓旭
薛忠
柴益民
徐佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Shanghai Sixth Peoples Hospital
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Shanghai Sixth Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd, Shanghai Sixth Peoples Hospital filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202111675286.XA priority Critical patent/CN114169468A/zh
Publication of CN114169468A publication Critical patent/CN114169468A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像分类方法、计算机设备、存储介质和计算机程序产品。所述方法包括:获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系;将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息;将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。采用本方法能够提高膝关节骨性关节炎的评估准确度。

Description

图像分类方法、计算机设备、存储介质和计算机程序产品
技术领域
本申请涉及磁共振成像技术领域,特别是涉及一种图像分类方法、计算机设备、存储介质和计算机程序产品。
背景技术
随着磁共振成像(Magnetic Resonance Imaging,MRI)技术的发展,MRI作为一种无创和无辐射的医学影像技术,被广泛应用于临床检查。与X射线和计算机断层扫描(Computed Tomography,CT)等相比,MRI对软骨等软组织及水肿等病变有更好的对比度。膝关节骨性关节炎(Osteoarthritis,OA)是最常见的骨性关节炎之一,而在膝关节所有解剖结构中,关节软骨的损伤程度对膝关节OA的损伤评估最为关键,因此,磁共振(MRI)图像中可见的膝关节软骨损伤是评价膝关节骨性关节炎的关键依据。
传统技术中,对于膝关节骨性关节炎的评估主要是通过将膝关节MRI图像输入卷积神经网络模型,对软骨损伤情况的评估,从而得到膝关节骨性关节炎的评估结果。
然而,传统的膝关节骨性关节炎的评估方法,存在准确度较低的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高膝关节骨性关节炎的评估准确度的图像分类方法、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种图像分类方法,所述方法包括:
获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
在其中一个实施例中,所述获取骨关节磁共振图像中的多个软骨图块,包括:
根据标准骨关节图谱,获取第一采样点集合;所述第一采样点集合为所述标准骨关节图谱中的软骨边缘的采样点集合;所述标准骨关节图谱为无软骨损伤的骨关节图像对应的图谱;
对所述骨关节磁共振图像进行分割,从分割后的骨关节磁共振图像中获取第二采样点集合;所述第二采样点集合为所述骨关节磁共振图像中软骨边缘的采样点集合;
根据所述第一采样点集合和所述第二采样点集合,得到所述骨关节磁共振图像中的多个软骨图块。
在其中一个实施例中,所述根据所述第一采样点集合和所述第二采样点集合,得到所述骨关节磁共振图像中的多个软骨图块,包括:
对所述第一采样点集合和所述第二采样点集合进行配准,得到第三采样点集合;
根据所述第三采样点集合中各采样点,得到所述骨关节磁共振图像中的多个图像块。
在其中一个实施例中,所述根据所述第三采样点集合中各采样点,得到所述骨关节磁共振图像中的多个图像块,包括:
以各所述采样点映射至所述骨关节磁共振图像中的映射点为中心,根据预设的图像块尺寸对所述骨关节磁共振图像进行分割,得到所述骨关节磁共振图像中的多个图像块。
在其中一个实施例中,所述卷积神经网络模型包括编码器;所述将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息,包括:
将各所述软骨图块分别输入所述卷积神经网络模型通过所述编码器,得到各所述软骨图块的特征信息。
在其中一个实施例中,所述获取各所述软骨图块的位置关系,包括:
将各所述软骨图块的顺序编码确定为各所述软骨图块的位置关系。
在其中一个实施例中,所述从分割后的骨关节磁共振图像中获取第二采样点集合,包括:
对所述分割后的骨关节磁共振图像进行重采样,得到重采样后的骨关节磁共振图像;所述重采样后的骨关节磁共振图像的分辨率与所述标准骨关节图谱的分辨率相同;
从所述重采样后的骨关节磁共振图像中提取软骨边缘的采样点,得到所述第二采样点集合。
在其中一个实施例中,所述骨关节磁共振图像为脂肪抑制与快速自旋回波的T2加权序列磁共振图像。
第二方面,本申请还提供了一种图像分类装置,所述装置包括:
第一获取模块,用于获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
第二获取模块,用于将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
分类模块,用于将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
第三方面,本申请还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
上述图像分类方法、装置、计算机设备、存储介质和计算机程序产品,通过获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系,能够将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息,有效地减少了与软骨无关的图像背景区域的干扰,从而能够将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,利用Transformer神经网络模型融合各图块的特征信息与位置关系,准确地得到骨关节磁共振图像中软骨的损伤等级,提高了得到的骨关节磁共振图像中软骨的损伤等级的准确度。
附图说明
图1为一个实施例中图像分类方法的应用环境图;
图2为一个实施例中图像分类方法的流程示意图;
图2a为一个实施例中Transformer神经网络模型的结构示意图;
图2b为一个实施例中骨关节磁共振图像中软骨损伤等级的示意图;
图3为另一个实施例中图像分类方法的流程示意图;
图3a为一个实施例中骨关节磁共振图像中的多个软骨图块的示意图;
图4为另一个实施例中图像分类方法的流程示意图;
图4a为一个实施例中第一采样点集合与第二采样点集合的配准示意图;
图5为另一个实施例中图像分类方法的流程示意图;
图6为一个实施例中图像分类装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的图像分类方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过***总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本申请实施例对计算机设备的具体形式并不做限定。
在一个实施例中,如图2所示,提供了一种图像分类方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
S201,获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系。
其中,骨关节磁共振图像可以为各种类型的骨关节的磁共振图像,例如,可以为膝关节磁共振图像,也可以为踝关节磁共振图像,又或者,可以为肘关节磁共振图像、髋关节磁共振图像、肩关节磁共振图像等。可选的,骨关节磁共振图像可以为脂肪抑制与快速自旋回波的T2加权序列磁共振图像,也可以为其他序列的磁共振图像。骨关节磁共振图像中的多个软骨图块为沿骨关节表面提取多个覆盖软骨组织的图块。可选的,计算机设备可以将骨关节磁共振图像输入U-net分割网络对骨关节磁共振图像进行分割,使用骨关节磁共振图像的分割结果对软骨表面形态建模,确定待提取的软骨图块的位置,根据待提取的软骨图块的位置对骨关节磁共振图像进行分割,得到骨关节磁共振图像中的多个软骨图块,或者,计算机设备可以使用软骨表面配准(Cartilage Surface Registration)的方法对骨关节磁共振图像中的软骨图块进行定位,得到骨关节磁共振图像中的多个软骨图块,并保证不同受试者膝关节MRI中提取到的图块序列具有3D空间位置的对应关系。可选的,计算机设备可以将各软骨图块的获取顺序确定为各软骨图块的位置关系,或者,计算机设备也可以将各软骨图块在骨关节磁共振图像中的位置确定为各软骨图块的位置关系。
S202,将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息。
可以理解的是,卷积神经网络模型包括多个卷积层,计算机设备可以将各软骨图块输入预设的卷积神经网络模型,利用卷积神经网络模型的卷积层得到各软骨图块的特征信息。需要说明的是,为了确保得到的各软骨图块的特征信息的一致性,本实施例中,计算机设备将骨关节磁共振图像的各软骨图块输入的是同一个卷积神经网络模型。另外,本实施例中将各软骨图块分别输入预设的卷积神经网络模型提取的是各软骨图块的图像特征信息,也即得到的各软骨图块的特征信息是各软骨图块的表观特征信息。
S203,将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。
其中,Transformer神经网络模型相比于其他神经网络模型的特点为Transformer神经网络模型无卷积层,但Transformer神经网络模型可以考虑输入图像的全局和局部特征,本实施例中采用Transformer神经网络模型可以通过自注意力机制综合考虑不同软骨图块间的关系,判断软骨的连续性;并通过软骨位置关系,区分表观特征相似的异常软骨图块和特殊位置图块,进而可以利用各软骨图块的特征信息和各软图块的位置关系完成软骨损伤的分类。Transformer神经网络模型由多个相同的层堆叠而成,每层由一个编码器模块和一个解码器模块组成,编码器模块和解码器模块都由一个自注意力层和一个前馈神经网络组成,解码器模块在自注意力层和前馈层之间有一个额外的编码器-解码器注意层,如图2a所示,在自注意力层中,各软骨图块的特征信息ei被转化为三个向量,包括查询向量qi、关键向量ki和值向量vi,这三个向量都具有相同的维度d,通过如图2a所示的流程计算qi和ki并求出注意力ai,再与vi计算,最终得到新的特征信息ei。需要说明的是,在实际运用中,上述计算被转化为了效率更高的矩阵运算,即从序列输入中编码的特征被一个全连接层映射成三个矩阵:Q={qi}、K={ki}和V={vi},其中注意力函数可以通过以下方式计算:
Figure BDA0003451761150000071
自注意力层缺乏捕捉输入图块位置信息的能力,为了解决这个问题,位置编码t被嵌入到向量中,t可以是手动设计的,也可以是可学习的,t在经过一个多层感知器后,被添加到图块特征信息中:
Figure BDA0003451761150000072
式中,
Figure BDA0003451761150000073
代表矩阵加法,ep为包含位置信息的表观特征向量,MLP是多层感知器,本申请可以使用堆叠了L层的Transformer神经网络模型的计算分类结果,则Transformer神经网络模型的输出eL为:eL=Transformer(ep),最后,使用MLP把eL转化为分类结果:CLS=MLP(eL)。需要说明的是,本申请考虑到临床诊断所需精度远低于全膝关节磁共振成像积分(WORMS)量表的精度,因此,本申请中合并了WORMS量表中的相近分类,将样本MRI影像分为:0级(无损伤,对应于WORMS评分的0级和1级);1级(轻度损伤,对应于WORMS评分的2、3和4级);2级(严重损伤,对应于WORMS评分的5和6级),如图2b所示,图2b从左至右分别展示了骨关节磁共振图像中软骨损伤中的无损伤、轻度损伤和严重损伤的三个损伤等级。
上述图像分类方法中,计算机设备通过获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系,能够将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息,有效地减少了与软骨无关的图像背景区域的干扰,从而能够将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,利用Transformer神经网络模型融合各图块的特征信息与位置关系,准确地得到骨关节磁共振图像中软骨的损伤等级,提高了得到的骨关节磁共振图像中软骨的损伤等级的准确度。
进一步地,在一个实施例中,如图3所示,上述S201中的获取骨关节磁共振图像中的多个软骨图块,包括:
S301,根据标准骨关节图谱,获取第一采样点集合;第一采样点集合为标准骨关节图谱中的软骨边缘的采样点集合;标准骨关节图谱为无软骨损伤的骨关节图像对应的图谱。
其中,标准骨关节图谱为无软骨损伤的骨关节图像对应的图谱。具体地,计算机设备可以将标准骨关节图谱中的软骨边缘的采样点集合确定为第一采样点集合。可选的,标准骨关节图谱可以为利用多组健康人的MRI图像所得到的图谱。可选的,计算机设备可以首先在标准骨关节图谱中确定出软骨边缘,进而将标准骨关节图谱中的软骨边缘的采样点确定为第一采样点集合。
S302,对骨关节磁共振图像进行分割,从分割后的骨关节磁共振图像中获取第二采样点集合;第二采样点集合为骨关节磁共振图像中软骨边缘的采样点集合。
具体地,计算机设备对上述骨关节磁共振图像进行分割,分割出上述骨关节磁共振图像中的软骨边缘,并将分割出的骨关节磁共振图像中软骨边缘的采样点集合确定为第二采样点集合。可以理解的是,上述磁共振图像与标准骨关节图谱的分辨率可能不同,因此,在获取上述第二采样点集合之前,还可以对分割后的骨关节磁共振图像进行重采样,将骨关节磁共振图像的分辨率重采样为与标准骨关节图谱相同的分辨率,再从重采样后的骨关节磁共振图像中提取软骨边缘的采样点,得到上述第二采样点集合。
S303,根据第一采样点集合和第二采样点集合,得到骨关节磁共振图像中的多个软骨图块。
可选的,计算机设备可以根据上述第一采样点集合确定出上述第二采样点集合中的异常点,进而在上述骨关节磁共振图像中将确定出的异常点周围范围内的图像确定为上述软骨图块。可选的,计算机设备还可以对第一采样点集合和第二采样点集合进行配准,使不同骨关节磁共振图像的软骨图块采样点产生一致的位置分布与空间对应关系,得到新的采样点集合,利用新的采样点集合得到骨关节磁共振图像中的多个软骨块。示例性地,计算机设备得到的骨关节磁共振图像中的多个软骨图块示意图可以如图3a右侧所示的图块序列。
本实施例中,计算机设备根据无软骨损伤的骨关节图像对应的标准骨关节图谱能够得到标准骨关节图谱中的软骨边缘的采样点集合,对骨关节磁共振图像进行分割,能够从分割后的骨关节磁共振图像中获取骨关节磁共振图像中软骨边缘的采样点集合,从而可以根据得到的第一采样点集合和第二采样点集合,准确地得到骨关节磁共振图像中的多个软骨图块,提高了得到骨关节磁共振图像中的软骨图块的准确度。
在上述根据第一采样点集合和第二采样点集合,得到骨关节磁共振图像中的多个软骨图块的场景中,在一个实施例中,如图4所示,上述S303,包括:
S401,对第一采样点集合和第二采样点集合进行配准,得到第三采样点集合。
具体地,计算机设备可以将第一采样点集合配准到第二采样点集合,得到如图4a所示的第三采样点集合。需要说明的是,一般情况下,第一采样点集合中采样点的数量多于第二采样点集合中采样点的数量,将第一采样点集合配准到第二采样点集合,得到的第三采样点集合中采样点的数量与第一采样点集合中采样点的数量相同。
S402,根据第三采样点集合中各采样点,得到骨关节磁共振图像中的多个图像块。
可选的,计算机设备可以以第三采样点集合中各采样点映射至骨关节磁共振图像中的映射点为中心,根据预设的图像块尺寸对骨关节磁共振图像进行分割,得到骨关节磁共振图像中的多个图像块。可选的,计算机设备还可以将第三采样点集合中的各采样点周围的采样点区域标注出来,将标注出来的多个采样点区域映射至骨关节磁共振图像中,得到上述磁共振图像的多个图像块。
本实施例中,计算机设备对第一采样点集合和第二采样点集合进行配准,能够使不同骨关节磁共振图像的软骨图块采样点产生一致的位置分布与空间对应关系,从而提高了得到的第三采样点集合的准确度,进而可以根据第三采样点集合中各采样点准确地得到骨关节磁共振图像中的多个图像块,提高了得到的骨关节磁共振图像中的多个图像块的准确度。
在上述将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息的场景中,上述卷积神经网络模型包括编码器,在一个实施例中,上述S202,包括:将各软骨图块分别输入卷积神经网络模型通过编码器,得到各软骨图块的特征信息。
其中,上述各软骨图块是二维的特征,卷积神经网络模型中包括有编码器,计算机设备将各软骨图块分别输入卷积神经网络模型后,卷积神经网络模型能够通过编码器将各软骨图块的二维特征压缩为一维特征,得到各软骨图块的特征信息。示例性地,卷积神经网络的编码器对各软骨图块P提取的一维的特征信息可以表示为e=Encoder(p)。需要说明的是,使用卷积神经网络模型提取软骨图块的特征信息的好处之一是减少了软骨图块的特征信息的维度,相对图块本身而言,在保留特征表达能力的同时减少了~75%的数据量,进而提高了将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果的效率。
本实施例中,计算机设备将各软骨图块分别输入卷积神经网络模型,通过卷积神经网络模型的编码器,能够在减少软骨图块的特征信息的维度的同时,准确地得到各软骨图块的特征信息,提高了得到的各软骨图块的特征信息的准确度。
在上述获取各软骨图块的位置关系的场景中,在一个实施例中,上述S201中获取各软骨图块的位置关系,包括:将各软骨图块的顺序编码确定为各软骨图块的位置关系。
具体地,计算机设备在获取骨关节磁共振图像中的多个软骨图块时,可以对各软骨图块的获取顺序进行编码,各软骨图块的顺序编码可以表征各软骨图块的位置关系,进而计算机设备可以直接将各软骨图块的顺序编码确定为各软骨图块的位置信息。
本实施例中,计算机设备将各软骨图块的顺序编码确定为各软骨图块的位置信息的过程比较简单,从而能够快速地得到各软骨图块的位置信息,提高了获取各软骨图块的位置信息的效率。
为了便于本领域技术人员的理解,以下对本申请提供的图像分类方法进行详细介绍,请参考图5,该方法可以包括:(1)基于软骨表面形态,定位软骨图块,将3D MRI转化为图块序列,去除无关背景图像区域;(2)使用CNN提取图块的表观特征,压缩表征维度;(3)通过Transformer融合图块的表观特征和位置信息,使用位置信息区分特殊位置图块,最终完成软骨损伤分类,得到骨关节磁共振图像中软骨的损伤等级。
需要说明的是,针对上述描述可以参见上述实施例中相关的描述,且其效果类似,本实施例在此不再赘述。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像分类方法的图像分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像分类装置实施例中的具体限定可以参见上文中对于图像分类方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种图像分类装置,包括:第一获取模块、第二获取模块和分类模块,其中:
第一获取模块,用于获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系;
第二获取模块,用于将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息;
分类模块,用于将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。
可选的,骨关节磁共振图像为脂肪抑制与快速自旋回波的T2加权序列磁共振图像。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第一获取模块,包括:第一获取单元、分割单元和第二获取单元,其中:
第一获取单元,用于根据标准骨关节图谱,获取第一采样点集合;第一采样点集合为标准骨关节图谱中的软骨边缘的采样点集合;标准骨关节图谱为无软骨损伤的骨关节图像对应的图谱。
分割单元,用于对骨关节磁共振图像进行分割,从分割后的骨关节磁共振图像中获取第二采样点集合;第二采样点集合为骨关节磁共振图像中软骨边缘的采样点集合。
第二获取单元,用于根据第一采样点集合和第二采样点集合,得到骨关节磁共振图像中的多个软骨图块。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第二获取单元,用于对第一采样点集合和第二采样点集合进行配准,得到第三采样点集合;根据第三采样点集合中各采样点,得到骨关节磁共振图像中的多个图像块。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第二获取单元,用于以各采样点映射至骨关节磁共振图像中的映射点为中心,根据预设的图像块尺寸对骨关节磁共振图像进行分割,得到骨关节图像中的多个图像块。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述卷积神经网络模型包括编码器;上述第二获取模块,包括:第三获取单元,其中:
第三获取单元,用于将各软骨图块分别输入卷积神经网络模型通过编码器,得到各软骨图块的特征信息。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述第一获取模块,包括:确定单元,其中:
确定单元,用于将各软骨图块的顺序编码确定为各软骨图块的位置关系。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
在上述实施例的基础上,可选的,上述分割单元,用于对分割后的骨关节磁共振图像进行重采样,得到重采样后的骨关节磁共振图像;重采样后的骨关节磁共振图像的分辨率与标准骨关节图谱的分辨率相同;从重采样后的骨关节磁共振图像中提取软骨边缘的采样点,得到第二采样点集合。
本实施例提供的图像分类装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系;
将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息;
将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。
上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系;
将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息;
将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。
上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取骨关节磁共振图像中的多个软骨图块以及各软骨图块的位置关系;
将各软骨图块分别输入预设的卷积神经网络模型,得到各软骨图块的特征信息;
将各软骨图块的特征信息和各软骨图块的位置关系输入Transformer神经网络模型,得到骨关节磁共振图像的分类结果;分类结果用于表征骨关节磁共振图像中软骨的损伤等级。
上述实施例提供的计算机程序产品,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分类方法,其特征在于,所述方法包括:
获取骨关节磁共振图像中的多个软骨图块以及各所述软骨图块的位置关系;
将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息;
将各所述软骨图块的特征信息和各所述软骨图块的位置关系输入Transformer神经网络模型,得到所述骨关节磁共振图像的分类结果;所述分类结果用于表征所述骨关节磁共振图像中软骨的损伤等级。
2.根据权利要求1所述的方法,其特征在于,所述获取骨关节磁共振图像中的多个软骨图块,包括:
根据标准骨关节图谱,获取第一采样点集合;所述第一采样点集合为所述标准骨关节图谱中的软骨边缘的采样点集合;所述标准骨关节图谱为无软骨损伤的骨关节图像对应的图谱;
对所述骨关节磁共振图像进行分割,从分割后的骨关节磁共振图像中获取第二采样点集合;所述第二采样点集合为所述骨关节磁共振图像中软骨边缘的采样点集合;
根据所述第一采样点集合和所述第二采样点集合,得到所述骨关节磁共振图像中的多个软骨图块。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一采样点集合和所述第二采样点集合,得到所述骨关节磁共振图像中的多个软骨图块,包括:
对所述第一采样点集合和所述第二采样点集合进行配准,得到第三采样点集合;
根据所述第三采样点集合中各采样点,得到所述骨关节磁共振图像中的多个图像块。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第三采样点集合中各采样点,得到所述骨关节磁共振图像中的多个图像块,包括:
以各所述采样点映射至所述骨关节磁共振图像中的映射点为中心,根据预设的图像块尺寸对所述骨关节磁共振图像进行分割,得到所述骨关节磁共振图像中的多个图像块。
5.根据权利要求1所述的方法,其特征在于,所述卷积神经网络模型包括编码器;所述将各所述软骨图块分别输入预设的卷积神经网络模型,得到各所述软骨图块的特征信息,包括:
将各所述软骨图块分别输入所述卷积神经网络模型通过所述编码器,得到各所述软骨图块的特征信息。
6.根据权利要求1所述的方法,其特征在于,所述获取各所述软骨图块的位置关系,包括:
将各所述软骨图块的顺序编码确定为各所述软骨图块的位置关系。
7.根据权利要求2所述的方法,其特征在于,所述从分割后的骨关节磁共振图像中获取第二采样点集合,包括:
对所述分割后的骨关节磁共振图像进行重采样,得到重采样后的骨关节磁共振图像;所述重采样后的骨关节磁共振图像的分辨率与所述标准骨关节图谱的分辨率相同;
从所述重采样后的骨关节磁共振图像中提取软骨边缘的采样点,得到所述第二采样点集合。
8.根据权利要求1所述的方法,其特征在于,所述骨关节磁共振图像为脂肪抑制与快速自旋回波的T2加权序列磁共振图像。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202111675286.XA 2021-12-31 2021-12-31 图像分类方法、计算机设备、存储介质和计算机程序产品 Pending CN114169468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111675286.XA CN114169468A (zh) 2021-12-31 2021-12-31 图像分类方法、计算机设备、存储介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111675286.XA CN114169468A (zh) 2021-12-31 2021-12-31 图像分类方法、计算机设备、存储介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114169468A true CN114169468A (zh) 2022-03-11

Family

ID=80488959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111675286.XA Pending CN114169468A (zh) 2021-12-31 2021-12-31 图像分类方法、计算机设备、存储介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114169468A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710761A (zh) * 2024-02-06 2024-03-15 中国科学院深圳先进技术研究院 基于量子卷积神经网络的磁共振影像分类方法、装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150063667A1 (en) * 2013-08-29 2015-03-05 General Electric Company Methods and systems for evaluating bone lesions
US20160054416A1 (en) * 2013-04-02 2016-02-25 Koninklijke Philips N.V. Detection of bone tissue using magnetic resonance imaging
US9799120B1 (en) * 2016-05-09 2017-10-24 Siemens Healthcare Gmbh Method and apparatus for atlas/model-based segmentation of magnetic resonance images with weakly supervised examination-dependent learning
CN107680134A (zh) * 2017-09-29 2018-02-09 沈阳东软医疗***有限公司 医学图像中脊椎标定方法、装置及设备
CN109859213A (zh) * 2019-01-28 2019-06-07 艾瑞迈迪科技石家庄有限公司 关节置换手术中骨骼关键点检测方法及装置
CN111178428A (zh) * 2019-12-27 2020-05-19 上海联影智能医疗科技有限公司 软骨损伤分类方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160054416A1 (en) * 2013-04-02 2016-02-25 Koninklijke Philips N.V. Detection of bone tissue using magnetic resonance imaging
US20150063667A1 (en) * 2013-08-29 2015-03-05 General Electric Company Methods and systems for evaluating bone lesions
US9799120B1 (en) * 2016-05-09 2017-10-24 Siemens Healthcare Gmbh Method and apparatus for atlas/model-based segmentation of magnetic resonance images with weakly supervised examination-dependent learning
CN107680134A (zh) * 2017-09-29 2018-02-09 沈阳东软医疗***有限公司 医学图像中脊椎标定方法、装置及设备
CN109859213A (zh) * 2019-01-28 2019-06-07 艾瑞迈迪科技石家庄有限公司 关节置换手术中骨骼关键点检测方法及装置
CN111178428A (zh) * 2019-12-27 2020-05-19 上海联影智能医疗科技有限公司 软骨损伤分类方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710761A (zh) * 2024-02-06 2024-03-15 中国科学院深圳先进技术研究院 基于量子卷积神经网络的磁共振影像分类方法、装置

Similar Documents

Publication Publication Date Title
Gibson et al. Automatic multi-organ segmentation on abdominal CT with dense V-networks
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
US20220036575A1 (en) Method for measuring volume of organ by using artificial neural network, and apparatus therefor
Liu et al. Deep learning classification of inverted papilloma malignant transformation using 3D convolutional neural networks and magnetic resonance imaging
CN113168912A (zh) 使用深度学习确定3d数据集中对象的增长速度
CN115115772A (zh) 基于三维影像的关键结构重建方法、装置和计算机设备
Liang et al. Dense networks with relative location awareness for thorax disease identification
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN114169468A (zh) 图像分类方法、计算机设备、存储介质和计算机程序产品
CN115272250A (zh) 确定病灶位置方法、装置、计算机设备和存储介质
CN117115068A (zh) 医学图像处理方法、装置、计算机设备和存储介质
Neubert et al. Simultaneous super‐resolution and contrast synthesis of routine clinical magnetic resonance images of the knee for improving automatic segmentation of joint cartilage: data from the Osteoarthritis Initiative
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
Kennedy et al. Similarity clustering‐based atlas selection for pelvic CT image segmentation
CN112365512A (zh) 训练图像分割模型的方法、图像分割的方法及其装置
CN115375971B (zh) 多模态医学图像配准模型训练方法、配准方法、***及设备
CN115346074B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN115423761A (zh) 一种基于深度学习的骨折x光图像检测与三维呈现方法
CN116563539A (zh) 肿瘤图像分割方法、装置、设备及计算机可读存储介质
Preedanan et al. Improvement of urinary stone segmentation using GAN-based urinary stones inpainting augmentation
Zhang et al. A spine segmentation method under an arbitrary field of view based on 3d swin transformer
Dietrichstein et al. Anomaly detection using generative models and sum-product networks in mammography scans
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN115690063A (zh) 骨密度参数检测方法、计算机设备和存储介质
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination