CN113674251A - 基于多模态影像的腰椎图像分类识别***、设备和介质 - Google Patents
基于多模态影像的腰椎图像分类识别***、设备和介质 Download PDFInfo
- Publication number
- CN113674251A CN113674251A CN202110979941.4A CN202110979941A CN113674251A CN 113674251 A CN113674251 A CN 113674251A CN 202110979941 A CN202110979941 A CN 202110979941A CN 113674251 A CN113674251 A CN 113674251A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- data
- lumbar
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 210000004705 lumbosacral region Anatomy 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002372 labelling Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 15
- 230000003902 lesion Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000000586 desensitisation Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 206010029174 Nerve compression Diseases 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 230000007850 degeneration Effects 0.000 claims description 5
- 230000003412 degenerative effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000003745 diagnosis Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 210000005036 nerve Anatomy 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 208000015122 neurodegenerative disease Diseases 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000004872 soft tissue Anatomy 0.000 description 4
- 208000024891 symptom Diseases 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000001119 neuropathy Diseases 0.000 description 2
- 230000007823 neuropathy Effects 0.000 description 2
- 208000033808 peripheral neuropathy Diseases 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 206010022562 Intermittent claudication Diseases 0.000 description 1
- 208000003618 Intervertebral Disc Displacement Diseases 0.000 description 1
- 206010050296 Intervertebral disc protrusion Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000031264 Nerve root compression Diseases 0.000 description 1
- 208000002193 Pain Diseases 0.000 description 1
- 206010037779 Radiculopathy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000024980 claudication Diseases 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000005786 degenerative changes Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002745 epiphysis Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000944 nerve tissue Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002981 neuropathic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多模态影像的腰椎图像分类识别***、设备和介质，包括：数据获取模块、关键信息提取模块、多模态影像检测模块以及分类识别模块；数据获取模块用于获取患者的病例文本以及同时期多模态影像数据，并分别发送到关键信息提取模块和多模态影像检测模块；关键信息提取模块用于对接收到的病例文本进行关键信息提取，并将提取到的病例关键信息发送到分类识别模块；多模态影像检测模块用于对获取的多模态影像数据进行配准和初步定位检测，并将初步定位检测结果发送到分类识别模块；分类识别模块用于根据病例关键信息以及初步定位检测结果，对腰椎图像中的病灶区域进行精准分割识别。本发明可以广泛应用于图像识别领域。
Description
技术领域
本发明涉及一种基于多模态影像的腰椎图像分类识别***、设备和介质，属于图像识别技术领域。
背景技术
腰椎退行性疾病会引起神经压迫，造成下肢痛、跛行等神经症状和功能障碍。腰椎由5个椎体组成，每个椎体之间都有神经发出，要实现腰椎退行性疾病的精准治疗，首先需要确定神经病变的准确部位，这对神经定位诊断的能力要求极高。腰椎退行性疾病的神经定位诊断是依据病史、体格检查和影像学检查的综合诊断。其中，病史和体格检查的部分需由临床医生与患者沟通采集，而影像学检查则由临床医生和放射科医生分别完成。从影像学上，腰椎退行性疾病具有病变广泛，但诱发症状的病变部位局限的特点。但是，临床医生的读片水平良莠不齐，部分神经病变难以发现，易出现漏诊和误诊，诊断特异度高，敏感度低；而放射科医生诊断时脱离临床参考，难以确定诱发症状的病变部位，诊断敏感度高，特异度低。因而在临床上，特别是在基层医院，经常出现因神经定位诊断错误，手术无效，甚至术后症状加重的现象，极大影响患者的健康水平。
人工智能计算机辅助识别***近年来在快速发展，从基于规则的专家***到人工标注特征，再到深度学习，各类不同算法被应用于影像学图像分类识别中，并具有不同的优势和局限性。虽然人工智能已用于一些肿瘤影像、心脑血管影像、病理诊断、门诊数据分析及部分骨科疾病例如骨折和儿童骨龄的智能识别，然而，由于腰椎退行性病变表现形式多样，国内外虽然也做了一些探索性工作，但主要还是使用传统的影像组学分析影像或者机器学习方法分析临床指标来进行识别和预后预测，很少有关于深度学习的报道。
另外，目前的研究都是针对单一模态的影像(X-ray、CT或MR)进行识别，然而在实际临床中，医生往往需要综合病史、临床表现、体征和影像学资料等多维度的信息进行判断，基于单一模态影像得到的识别结果可能会出现一定偏差。同时，即使是针对单一模态影像进行识别，不同的影像学检测方式对于不同的组织检测效果都不一样，针对腰椎退行性病变，不仅要考虑腰椎骨形变情况，还要观察软组织和神经受压迫水平，目前仍然没有能综合多模态影像数据的人工智能综合识别模型。
发明内容
针对上述问题，本发明的目的是提供一种基于多模态影像的腰椎图像分类识别***、设备和介质，通过CT和MR等多模态影像对腰椎图像进行分类识别，提高了对腰椎图像识别的敏感度和特异度。
为实现上述目的，本发明采取以下技术方案：
本发明的第一个方面，是提供一种基于多模态影像的腰椎图像分类识别***，包括：
数据获取模块、关键信息提取模块、多模态影像检测模块以及分类识别模块；
所述数据获取模块用于获取患者的病例文本以及多模态影像数据，并分别发送到所述关键信息提取模块和多模态影像检测模块；
所述关键信息提取模块用于对接收到的病例文本进行关键信息提取，并将提取到的病例关键信息发送到所述分类识别模块；
所述多模态影像检测模块用于对获取的多模态影像数据进行配准和初步定位检测，并将初步定位检测结果发送到所述分类识别模块；
所述分类识别模块用于根据病例关键信息以及初步定位检测结果，对腰椎图像中的病灶区域进行分割识别，得到其骨骼退行状况及神经压迫情况。
优选地，所述数据获取模块获取的多模态影像数据包括同时期的CT影像和MR影像数据。
优选地，所述多模态影像检测模块包括影像处理模块、影像配准模块和定位检测模块；
所述影像处理模块用于对获取的CT影像和MR影像数据进行数据脱敏、预处理和标注；
所述影像配准模块用于对标注后的CT影像和MR影像进行配准，得到配准后的跨模态影像数据；
所述定位检测模块用于提取跨模态影像数据中单个模态以及融合模态下的多尺度影像特征，对腰椎图像中的病灶区域进行初步定位分割和识别检测。
优选地，所述影像处理模块包括数据脱敏模块、数据预处理模块以及数据标注模块；
所述数据脱敏模块用于对CT影像和MR影像数据进行数据脱敏处理；
所述数据预处理模块用于对脱敏处理后的CT影像和MR影像数据进行数据增强；
所述数据标注模块用于对CT影像和MR影像进行线下标注。
优选地，所述数据标注模块对MR影像进行标注时，包括ROI区域标注和腰椎关键点标注；所述ROI区域的标注方法为：对于每例MR影像，由若干医师分别逐层对病变区域进行边界标定ROI，同时使用固定大小的b-box标定腰椎关键点，取各医师标注的ROI重叠区域部分作为腰椎退行性病变区域，取各医师标注的b-box中心区域作为该MR影像的腰椎关键点。
优选地，所述数据标注模块对MR影像进行标注时，由若干医师对MR影像进行腰椎关键点的标注，取各医师标注的b-box中心区域作为MR影像的腰椎关键点。
优选地，所述影像配准模块对CT和MR多模态影像进行配准时，采用的兴趣点网络模型包括：第一POI追踪网络、第二POI追踪网络和三角测量图层；
第一POI追踪网络和第二POI追踪网络用于将在CT影像和MR影像上标注的各个腰椎关键点作为相应的兴趣点，分别以CT影像及其兴趣点和MR影像及其兴趣点进行特征提取，并计算得到匹配度最高的位置作为匹配点，分别对CT影像和MR影像进行追踪，在MR影像和CT影像之间建立二维的点对点对应匹配关系；
所述三角测量图层用于基于得到的二维的点对点对应匹配关系，形成三角形来定位三维点，从而得到腰椎图像的三维姿态信息，实现CT影像和MR影像的配准。
优选地，所述定位检测模块对跨模态影像数据进行初步定位检测时，采用的多模态全卷积神经网络模型包括：全卷积神经网络模块、多模态特征融合模块、结果比对模块、反向传播模块和结果输出模块；
所述全卷积神经网络模型模块包括第一～第三FCN模型，分别用于从原始CT影像、原始MR影像以及将配准后的CT影像和MR影像进行融合得到的融合图像中提取影像特征信息，从不同模态影像中分割出病灶区域；
所述多模态特征融合模块用于将全卷积神经网络模型模块输出的不同模态的影像特征信息进行融合，并选取各病灶区域的重叠区域作为融合后的病灶区域分割结果；
所述结果比对模块用于将融合后的病灶区域分割结果与标注的病灶区域进行比对，并将比对结果发送到反向传播模块；
所述反向传播模块用于根据比对结果对全卷积神经网络模块中各FCN模型的网络参数进行调整，直至满足预设条件后，输出对腰椎影像中病灶区域的初步定位分割和检测结果。
本发明的第二个方面，是提供一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，所述处理器运行所述计算机程序时实现所述基于多模态影像的腰椎图像分类识别***每一个模块的功能。
本发明的第三个方面，是提供一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现所述基于多模态影像的腰椎图像分类识别***每一个模块的功能。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明基于多模态影像对腰椎图像进行分类识别，充分综合CT在骨骼变形检测和MR在神经软组织检测上的优势，可以更加精准评估患者腰椎的影像学特征，为临床医生进一步诊疗提供客观有效的数据支撑，具有很高的应用价值。
2、本发明基于深度学习和兴趣点网络匹配的3D to3D刚性配准技术对多模态影像数据进行配准，能够提腰椎图像的跨模态医学影像的精确配准，此外，利用该方法还能基于MR影像中的病灶ROI标注自动生成对应CT影像标注结果，在提高标注效率的同时也避免了医生在不同影像上的标注误差。
3、本发明基于多模态全卷积神经网络(multi-modal FCN)模型对跨模态影像进行初步定位分割和识别，充分综合多模态影像中各个模态下病灶的细节信息和整体特征。
4、本发明基于细粒度的残差注意网络对病例关键信息和初步定位识别结果进行分类识别，残差注意网络可以充分利用注意力机制快速扫描全局图像以获得需要关注的目标区域，同时重点获取所需要关注的目标信息并抑制其他无用信息，提高图像信息处理的效率与准确性，从而进一步提高模型对病灶定位、骨骼退化情况以及神经压迫情况的识别准确率。
因此，本发明可以广泛应用于图像识别领域。
附图说明
图1是本发明实施例提供的基于多模态影像的腰椎图像分类识别***结构图；
图2是本发明实施例提出的基于多模态影像的腰椎图像分类识别***的工作示意图；
图3是本发明实施例提供的基于兴趣点网络的CT和MR影像3D配准框架示意图；
图4是本发明实施例提供的multi-model FCN网络架构示意图；
图5是本发明实施例提供的残差注意网络框架图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
实施例1
如图1、图2所示，本实施例提出的一种基于多模态影像的腰椎图像分类识别***，其包括：数据获取模块、关键信息提取模块、多模态影像检测模块以及分类识别模块。其中，数据获取模块用于获取患者的病例文本以及多模态影像数据，并分别发送到关键信息提取模块和多模态影像检测模块；关键信息提取模块用于对接收到的病例文本进行关键信息提取，并将提取到的病例关键信息发送到分类识别模块；多模态影像检测模块用于对获取的多模态影像数据进行配准和初步定位检测，并将初步定位检测结果发送到分类识别模块；分类识别模块用于根据病例关键信息以及初步定位检测结果，对腰椎图像中的病灶区域进行精准分割识别，并得到其骨骼退行状况及神经压迫情况。
优选地，患者的病例文本包括性别、年龄、发病时间、发病部位、持续时间、发病时***、诱因、病情发展等门诊信息，以及相应的一般性实验室检查结果。
优选地，患者的多模态影像数据包括同时期的CT影像和MR影像，并以DICOM格式导出。其中，CT影像用于判断骨骼情况，检查是否存在腰椎峽部裂、椎间盘内骨骺形成等现象，显示神经根在神经孔和椎管内剩余空间，评估存在何种骨骼退行性病变；MR影像用于精确观察椎间盘、神经、腰部软组织，展现椎间盘突出和神经根受压的位置，评估神经压迫情况。
优选地，多模态影像检测模块包括影像处理模块、影像配准模块和定位检测模块。其中，影像处理模块用于对获取的CT影像和MR影像数据进行数据脱敏、预处理和标注；影像配准模块用于对标注后的CT影像和MR影像进行配准，得到配准后的跨模态影像数据；定位检测模块用于提取跨模态影像数据中单个模态以及融合模态下的多尺度影像特征，对腰椎图像中的病灶区域进行初步定位分割和识别检测。
优选地，影像处理模块包括数据脱敏模块、数据预处理模块以及数据标注模块。其中，数据脱敏模块用于对CT影像和MR影像数据进行数据脱敏处理；数据预处理模块用于对脱敏处理后的CT影像和MR影像数据进行数据增强；数据标注模块用于对CT影像和MR影像进行线下标注，且MR影像的标注包括ROI(Region of Interest，感兴趣区域)区域标注和腰椎关键点标注，CT影像的标注包括腰椎关键点标注。
优选地，数据预处理模块对脱敏处理后的影像数据进行数据增强时，可以采用旋转/反射变换(rotation/reflection)、翻转变换(flip)、缩放变换(zoom)、平移变换(shift)、尺度变换(scale)、对比度变换(contrast)、噪声扰动(noise)等方法。进行数据增强一方面可以大幅扩增腰椎退行性病变的CT影像和MR影像用于训练神经网络的数据量，从而有效提高卷积神经网络精度；另一方面也增加了数据的多样性，在提高***鲁棒性的同时也在一定程度上可以避免过拟合。
优选地，数据标注模块对MR影像进行标注时，每例MR影像都由若干医师分别逐层对病变区域进行精确边界标定ROI，同时使用固定大小的b-box标定腰椎关键点，取各医师标注的ROI重叠区域部分作为腰椎退行性病灶区域判定标准，取各医师标注的b-box中心区域为腰椎关键点判定标准，用于后续算法的建模和训练；对CT影像进行标注时，由同样的各位医师对MR影像进行腰椎关键点的标注，取各位医师标注的b-box中心区域作为腰椎关键点判定标准，并用于后续算法的建模和训练。
优选地，影像配准模块对CT影像和MR多模态影像进行配准时，采用的是基于兴趣点网络(point of interest network)的3D to 3D刚性配准方法。
优选地，如图3所示，兴趣点网络模型包括：第一POI追踪网络、第二POI追踪网络和三角测量图层。其中，第一POI追踪网络和第二POI追踪网络用于将在CT影像和MR影像上标注的各个腰椎关键点作为相应的兴趣点，分别以CT影像及兴趣点
和MR影像及兴趣点
进行特征提取，得到
和
(其中ID和IX分别代表影像和特征点，1和2分别CT和MR影像,XD代表提取的特征，其中下标的11、12、13和21、22、23分别代表CT影像和MR影像在三种不同视角下[即冠状位、矢状位和水平位]的情况)，然后通过进行相似性计算得到匹配度最高的位置
以及
(其中
表示特征点的位置，下标的11、12、13和21、22、23分别代表CT影像和MR影像在三种不同视角下[即冠状位、矢状位和水平位]的情况)作为匹配点，分别对CT影像和MR影像进行追踪，在MR影像和CT影像之间建立二维的点对点对应匹配关系；三角测量层用于基于得到的二维的点对点对应匹配关系，形成三角形来定位三维点，从而得到腰椎图像的三维姿态信息，实现CT影像和MR影像的精确配准。此外，配准过程中在MR影像ROI标注的基础上直接生成CT影像的病灶区域，为后续病灶分割的标注工作提供便利。
优选地，定位检测模块对跨模态影像数据进行初步定位分割和识别检测时，采用的是基于多模态全卷积神经网络(multi-modal FCN)模型，该模型考虑CT影像能更好的显示骨骼病变、MR影像对于神经和软组织显示效果更好的情况，充分综合了多模态影像中各个模态下病灶的细节信息和整体特征。
优选地，如图4所示，基于多模态全卷积神经网络模型包括全卷积神经网络模块、多模态特征融合模块、结果比对模块、反向传播模块和结果输出模块。其中，全卷积神经网络模型模块包括第一～第三FCN模型，分别用于从原始CT影像、原始MR影像以及将配准后的CT影像和MR影像进行融合得到的融合图像中提取影像特征信息，从不同模态影像中分割出病灶区域；多模态特征融合模块用于将全卷积神经网络模型模块输出的不同模态的影像特征信息进行融合，并选取各病灶区域的重叠区域作为融合后的病灶区域分割结果；结果比对模块用于将融合后的病灶区域分割结果与标注的病灶区域进行比对，并将比对结果发送到反向传播模块；反向传播模块用于根据比对结果对全卷积神经网络模块中各FCN模型的网络参数进行调整，直至满足预设条件后，输出对腰椎影像中病灶区域的初步定位分割和检测结果。
优选地，第一～第三FCN模型结构相同，均包括8个卷积层(convolution layer)、3个下采样层(subsampling layer)、3个解卷积层/上采样层(deconvolution layer)以及2个特征融合层(feature-fusion layer)，由于每个FCN模型都是单独训练的，因此针对多模态影像的FCN模型的网络参数是各自独立的。其中，卷积层的作用是局部特征感知和提取；下采样层也叫池化层，作用是特征降维；上采样层通过插值的方法来放大图像，特征融合层通过对高层语义信息和低层语义信息进行融合，从而实现更准确的分类。
优选地，如图5所示，结果输出模块中设置有基于残差注意网络细颗粒度分类模型，该模型的输入为病例关键信息和初步定位检测结果，输出为对腰椎图像中的病灶区域进行精准分割识别，以及其骨骼退行状况及神经压迫情况。
在进行基于医学影像的诊断时，往往关键性的判断依据取决于病灶的某些局部特征。深度学习中的attention源自于人脑的注意力机制，当人的大脑接受到视觉、听觉等外部信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。同样的，对于腰椎退行性病灶的分类，本发明也采用类似的机制，通过引入诊断报告中的信息以及引入注意网络来突出诊断关键信息，从而实现病灶细颗粒度分类，提高诊断准确率。
优选地，基于残差注意网络细颗粒度分类模型包括堆叠结构模块和软掩码分支模块(Soft Mask Branch)。其中，堆叠结构模块由若干注意力机制模块(Attention Module)堆叠而成，每个注意力机制模块都可以使得输出特征图中重要的特征得到加强，而不重要的特征被抑制，通过多个注意力机制模块的叠加可以逐渐的提升网络的表达能力；软掩码分支模块中对特征图的处理主要包含为前向的降采样过程和上采样过程，前者是为了快速编码、获取特征图的全局特征，而后者主要是将提取出来的全局高维特征上采样之后与之前未降采样的特征组合在一起，目的使得上下文，高低纬度的特征能够更好的组合在一起。
实施例2
本实施例提供一种与本实施例1所提供的一种基于多模态影像的腰椎图像分类识别***对应的处理设备，处理设备可以是用于客户端的处理设备，例如手机、笔记本电脑、平板电脑、台式机电脑等，以执行实施例1的识别***。
所述处理设备包括处理器、存储器、通信接口和总线，处理器、存储器和通信接口通过总线连接，以完成相互间的通信。存储器中存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本实施例1所提供的一种基于多模态影像的腰椎图像分类识别***每一个模块的功能。
在一些实现中，存储器可以是高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
在另一些实现中，处理器可以为中央处理器(CPU)、数字信号处理器(DSP)等各种类型通用处理器，在此不做限定。
实施例3
本实施例1的一种基于多模态影像的腰椎图像分类识别***可被具体实现为一种计算机程序产品，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本实施例1所述的基于多模态影像的腰椎图像分类识别***每一个模块的功能的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意组合。
需要说明的是，附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
上述各实施例仅用于说明本发明，其中各部件的结构、连接方式和制作工艺等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。
Claims (10)
1.一种基于多模态影像的腰椎图像分类识别***，其特征在于，包括：
数据获取模块、关键信息提取模块、多模态影像检测模块以及分类识别模块；
所述数据获取模块用于获取患者的病例文本以及多模态影像数据，并分别发送到所述关键信息提取模块和多模态影像检测模块；
所述关键信息提取模块用于对接收到的病例文本进行关键信息提取，并将提取到的病例关键信息发送到所述分类识别模块；
所述多模态影像检测模块用于对获取的多模态影像数据进行配准和初步定位检测，并将初步定位检测结果发送到所述分类识别模块；
所述分类识别模块用于根据病例关键信息以及初步定位检测结果，对腰椎图像中的病灶区域进行分割识别，得到其骨骼退行状况及神经压迫情况。
2.如权利要求1所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述数据获取模块获取的多模态影像数据包括同时期的CT影像和MR影像数据。
3.如权利要求2所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述多模态影像检测模块包括影像处理模块、影像配准模块和定位检测模块；
所述影像处理模块用于对获取的CT影像和MR影像数据进行数据脱敏、预处理和标注；
所述影像配准模块用于对标注后的CT影像和MR影像进行配准，得到配准后的跨模态影像数据；
所述定位检测模块用于提取跨模态影像数据中单个模态以及融合模态下的多尺度影像特征，对腰椎图像中的病灶区域进行初步定位分割和识别检测。
4.如权利要求3所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述影像处理模块包括数据脱敏模块、数据预处理模块以及数据标注模块；
所述数据脱敏模块用于对CT影像和MR影像数据进行数据脱敏处理；
所述数据预处理模块用于对脱敏处理后的CT影像和MR影像数据进行数据增强；
所述数据标注模块用于对CT影像和MR影像进行线下标注。
5.如权利要求4所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述数据标注模块对MR影像进行标注时，包括ROI区域标注和腰椎关键点标注；所述ROI区域的标注方法为：对于每例MR影像，由若干医师分别逐层对病变区域进行边界标定ROI，同时使用固定大小的b-box标定腰椎关键点，取各医师标注的ROI重叠区域部分作为腰椎退行性病变区域，取各医师标注的b-box中心区域作为该MR影像的腰椎关键点。
6.如权利要求4所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述数据标注模块对MR影像进行标注时，由若干医师对MR影像进行腰椎关键点的标注，取各医师标注的b-box中心区域作为MR影像的腰椎关键点。
7.如权利要求3所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述影像配准模块对CT和MR多模态影像进行配准时，采用的兴趣点网络模型包括：第一POI追踪网络、第二POI追踪网络和三角测量图层；
第一POI追踪网络和第二POI追踪网络用于将在CT影像和MR影像上标注的各个腰椎关键点作为相应的兴趣点，分别以CT影像及其兴趣点和MR影像及其兴趣点进行特征提取，并计算得到匹配度最高的位置作为匹配点，分别对CT影像和MR影像进行追踪，在MR影像和CT影像之间建立二维的点对点对应匹配关系；
所述三角测量图层用于基于得到的二维的点对点对应匹配关系，形成三角形来定位三维点，从而得到腰椎图像的三维姿态信息，实现CT影像和MR影像的配准。
8.如权利要求3所述的一种基于多模态影像的腰椎图像分类识别***，其特征在于，所述定位检测模块对跨模态影像数据进行初步定位检测时，采用的多模态全卷积神经网络模型包括：全卷积神经网络模块、多模态特征融合模块、结果比对模块、反向传播模块和结果输出模块；
所述全卷积神经网络模型模块包括第一～第三FCN模型，分别用于从原始CT影像、原始MR影像以及将配准后的CT影像和MR影像进行融合得到的融合图像中提取影像特征信息，从不同模态影像中分割出病灶区域；
所述多模态特征融合模块用于将全卷积神经网络模型模块输出的不同模态的影像特征信息进行融合，并选取各病灶区域的重叠区域作为融合后的病灶区域分割结果；
所述结果比对模块用于将融合后的病灶区域分割结果与标注的病灶区域进行比对，并将比对结果发送到反向传播模块；
所述反向传播模块用于根据比对结果对全卷积神经网络模块中各FCN模型的网络参数进行调整，直至满足预设条件后，输出对腰椎影像中病灶区域的初步定位分割和检测结果。
9.一种处理设备，所述处理设备至少包括处理器和存储器，所述存储器上存储有计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现权利要求1到8任一项所述基于多模态影像的腰椎图像分类识别***每一个模块的功能。
10.一种计算机存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现根据权利要求1到8任一项所述基于多模态影像的腰椎图像分类识别***每一个模块的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979941.4A CN113674251A (zh) | 2021-08-25 | 2021-08-25 | 基于多模态影像的腰椎图像分类识别***、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110979941.4A CN113674251A (zh) | 2021-08-25 | 2021-08-25 | 基于多模态影像的腰椎图像分类识别***、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113674251A true CN113674251A (zh) | 2021-11-19 |
Family
ID=78545996
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110979941.4A Pending CN113674251A (zh) | 2021-08-25 | 2021-08-25 | 基于多模态影像的腰椎图像分类识别***、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674251A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114974518A (zh) * | 2022-04-15 | 2022-08-30 | 浙江大学 | 多模态数据融合的肺结节影像识别方法及装置 |
| CN116309449A (zh) * | 2023-03-14 | 2023-06-23 | 北京医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909778A (zh) * | 2017-02-09 | 2017-06-30 | 北京市计算中心 | 一种基于深度学习的多模态医学影像识别方法及装置 |
| CN110974266A (zh) * | 2019-11-25 | 2020-04-10 | 上海俪娃荷智能医疗科技有限公司 | 一种影像工作站 |
| JP6827245B1 (ja) * | 2020-10-23 | 2021-02-10 | 株式会社アドイン研究所 | Ａｉを用いる診断装置、学習データ生成装置、データ要求装置、診断システム、及び、プログラム |
-
2021
- 2021-08-25 CN CN202110979941.4A patent/CN113674251A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909778A (zh) * | 2017-02-09 | 2017-06-30 | 北京市计算中心 | 一种基于深度学习的多模态医学影像识别方法及装置 |
| CN110974266A (zh) * | 2019-11-25 | 2020-04-10 | 上海俪娃荷智能医疗科技有限公司 | 一种影像工作站 |
| JP6827245B1 (ja) * | 2020-10-23 | 2021-02-10 | 株式会社アドイン研究所 | Ａｉを用いる診断装置、学習データ生成装置、データ要求装置、診断システム、及び、プログラム |
Non-Patent Citations (3)
| Title |
|---|
| CHANGJIAN SUN等: "Automatic segmentation of liver tumors from multiphase contrast-enhanced CT images based on FCNs", ARTIFICIAL INTELLIGENCE IN MEDICINE, 31 December 2017 (2017-12-31), pages 7 * |
| FEI WANG等: "Residual Attention Network for Image Classification", ARXIV.ORG, 23 April 2017 (2017-04-23) * |
| HAOFU LIAO等: "Multiview 2D/3D Rigid Registration via a Point-Of-Interest Network for Tracking and Triangulation (POINT2)", ARXIV.ORG, 10 March 2019 (2019-03-10), pages 5 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114974518A (zh) * | 2022-04-15 | 2022-08-30 | 浙江大学 | 多模态数据融合的肺结节影像识别方法及装置 |
| CN116309449A (zh) * | 2023-03-14 | 2023-06-23 | 北京医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
| CN116309449B (zh) * | 2023-03-14 | 2024-04-09 | 浙江医准智能科技有限公司 | 图像处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113506334B (zh) | 基于深度学习的多模态医学图像融合方法及*** | |
| WO2022257344A1 (zh) | 图像配准融合方法及装置、模型训练方法及电子设备 | |
| Sobhaninia et al. | Fetal ultrasound image segmentation for measuring biometric parameters using multi-task deep learning | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的***及方法 | |
| Choi et al. | Convolutional neural network-based MR image analysis for Alzheimer’s disease classification | |
| Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
| CN111028206A (zh) | 一种基于深度学习***癌自动检测和分类*** | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及*** | |
| CN110246109B (zh) | 融合ct影像和个性化信息的分析***、方法、装置及介质 | |
| JP7346553B2 (ja) | 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| CN113674251A (zh) | 基于多模态影像的腰椎图像分类识别***、设备和介质 | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| CN113656706A (zh) | 基于多模态深度学习模型的信息推送方法及装置 | |
| CN115312198B (zh) | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及*** | |
| Strzelecki et al. | Artificial Intelligence in the detection of skin cancer: state of the art | |
| Reddy et al. | A deep learning based approach for classification of abdominal organs using ultrasound images | |
| Bhuyan et al. | Diagnosis system for cancer disease using a single setting approach | |
| CN114897760A (zh) | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及*** | |
| Rasoulian et al. | Weakly supervised intracranial hemorrhage segmentation using head-wise gradient-infused self-attention maps from a swin transformer in categorical learning | |
| Sun et al. | Liver tumor segmentation and subsequent risk prediction based on Deeplabv3+ | |
| CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN115409812A (zh) | 一种基于融合时间注意机制的ct图像自动分类方法 | |
| CN114359194A (zh) | 基于改进U-Net网络的多模态脑卒中梗死区域图像处理方法 | |
| CN113362350A (zh) | 癌症病历图像的分割方法、装置、终端设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |