CN114549396A - 一种基于图神经网络的脊椎交互式与自动分割细化方法 - Google Patents

一种基于图神经网络的脊椎交互式与自动分割细化方法 Download PDF

Info

Publication number
CN114549396A
CN114549396A CN202111621219.XA CN202111621219A CN114549396A CN 114549396 A CN114549396 A CN 114549396A CN 202111621219 A CN202111621219 A CN 202111621219A CN 114549396 A CN114549396 A CN 114549396A
Authority
CN
China
Prior art keywords
segmentation
vertebra
neural network
automatic
spine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111621219.XA
Other languages
English (en)
Inventor
郝博
何坤金
费雨珊
陈正鸣
陈义仁
徐玮
曹红飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202111621219.XA priority Critical patent/CN114549396A/zh
Publication of CN114549396A publication Critical patent/CN114549396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于图神经网络的脊椎交互式与自动分割细化方法,其特征在于,包括如下步骤:步骤一:椎骨CT影像数据的获取;椎骨CT影像数据中包括至少一节段目标脊椎,而预处理这里的指数据增强处理;步骤二:脊椎骨自动粗分割;对步骤一处理完的数据,选取全卷积神经网络,通过训练集对网络进行训练得到模型,再通过测试集使用模型得到粗分割的结果;步骤三:对椎骨粗分割结果进行细化处理;从步骤二获得粗分割结果进行分割细化;主要分为而部分:一是粗分割椎骨轮廓多边形的测量;二是图神经网络模型的建立,并使用图神经网络模得到细化的分割结果.本发明不仅能对能对现有自动分割的结果进行改进,减少注释工作,辅助医生进行下一步工作,同时由于其更加灵活的椎骨切片建模方法,对于全自动的精确分割有一定的指导价值深入研究具有重要意义。

Description

一种基于图神经网络的脊椎交互式与自动分割细化方法
技术领域
本发明涉及一种数字骨科技术,尤其是指一种基于图神经网络的脊椎交互式与自动分割细化方法,本发明属于医学影像处理技术领域。
背景技术
随着影像学的不断发展,CT技术在临床中的应用愈发普遍。其中,在利用CT图像来获取患者脊柱状况的过程中,从CT数据中准确分割出脊椎以及单个椎骨在许多临床场景中起着非常重要的作用。在对椎骨进行分割后,一方面可以确定每个椎骨的形状和健康状况,另一方面有助于早期脊柱疾病的诊断、手术规划和脊柱病变的定位,例如:退行性脊柱疾病、脊柱变形、创伤、肿瘤和骨折等。目前,大多数计算机辅助诊断和手术规划***中用到的脊椎模型都是基于医生手动分割得到的,此种方式不仅费时费力,而且分割的重复性差。其中,图像中感兴趣区域或目标的分割,是进行影像分析和目标识别的基础。如医学图像中各组织器官的分割、病灶定位,如果依赖人工进行勾画,则存在主观性强、可靠性与重复性差、繁琐耗时等诸多不足。因此,人们纷纷寻求自动分割算法。在深度学习技术兴起之前,研究者尝试了阈值法、区域增长法、几何形变模型、聚类、统计决策方法等众多传统的图像分割方法,以及通过提取图像特征,再利用人工神经网络、支持向量机等机器学习方法。然而这些自动分割方法,普遍存在模型复杂、鲁棒性较差、对噪声敏感、特征提取与选择过程繁琐、主观性强等缺点,影响了分割性能与应用。
近些年,以卷积神经网络为代表的深度学习模型,采用了一种完全“端到端”的多层次分割流程,不仅训练过程中融合特征自动提取与选择,而且建立了由具体到抽象的多层特征体系,类似人脑对事物的认知过程与特性,此外,构建更深的网络结构,采用贪婪无监督逐层训练方法,以避免误差向前向后传播时丢失严重而导致梯度消失或扩散,易陷入局部极小值或不收敛问题。因此,深度学习技术在图像分割、配准、分类识别等方面的应用日益增加。其中,在医学影像的分割中,最有代表性的方法是采用编码-解码结构并带有跳跃连接的全卷积神经网络U-Net。此后,许多研究者在此基础上进行了改进工作,虽然这些改进策略能改善分割模型的性能,然而,分割的准确性对于许多临床应用中的定量评价至关重要,自动分割方法往往会出现各种错误,例如,过度分割、检测不足和边缘模糊,这通常又需要对算法生成的结果进行人工修正细化处理。
发明内容
本发明提出了一种基于图神经网络的脊椎交互式与自动分割细化方法,能够解决现有自动分割中过度分割、检测不足以及边缘模糊等问题。为了实现上述目标,本发明采用如下技术方案:
一种基于图神经网络的脊椎交互式与自动分割细化方法,包括如下步骤:
步骤一:获取待处理医学影像并进行预处理;
其中,上述待处理医学影像中包括至少一节段目标脊椎;而预处理这里指的是数据增强处理,即对于初始样本数相对较少的训练集,通过随机执行下一个或多个操作来达到扩充样本数据集的目的:
预处理方法包括:
(a)对椎骨CT图像序列执行前后左右随机镜像翻转;
(b)对椎骨CT图像序列执行随机裁切处理;
(c)对椎骨CT图像序列加入高斯噪声扰动。
步骤二:脊椎骨自动粗分割;
步骤2a.选取一个用于脊柱分割的全卷积神经网络;
步骤2b.利用训练集训练神经网络,得到网络模型;
步骤2c.使用得到的网络模型分割测试集中脊柱CT数据,得到粗分割的结果;
步骤三:椎骨交互式与自动分割细化;
利用图神经网络在交互模式下从步骤二获得粗分割结果细化其分割结果;
步骤3a:根据粗分割的结果将三维分段掩码转换为多边形;
步骤3a中:我们使用门控图神经网络模型将注释器的编辑工作传播到空间邻域和邻近切片中的邻近节点。
步骤3a中:为了满足将所有的顶点移动更接近真实的对象边界, 同时保留已经在边界上的顶点,考虑了下面3个策略(1)有一个单独的输出分支来分类,如果移动的顶点在边界上,除了运动预测分支;(2)依次应用细化,优先远离边界的顶点通过少步骤收敛到真实轮廓;(3)设计了一种受控训练策略,提供不同运动距离的混合训练样本,并包含相对较大比例的无运动样本。
步骤3a中:这里我们考虑的交互式编辑多边形主要有2种,(1)用户将多边形中的一个顶点移动到真实边界上的某个点;(2)通过点击按键自动获得细化的分割。需要注意对于这两种方法,多边形的顶点只在当前切片上调整。
步骤3b:使用得到的图神经网络模得到细化的分割结果;
步骤3b中:与卷积神经网络不同,门控图神经网络建模包括两个将图映射到输出的阶段,即传播模型和输出模型。
步骤3b中:输出模型有两部分,一个是预测点是否到了边上,另外一个就是该点要移动到下一个点的方向。
步骤3b中:由于每个顶点的移动仅限于以目标顶点位置为中心的网格,如果某些顶点远离真实轮廓,可能需要进一步的修正即重新运行算法。
本发明的有益之处在于:本发明应用于数字骨科领域,对于椎骨可以通过用户的编辑传播到它的三维邻居,同时保留正确的轮廓部分,来减少注释工作,该方法在椎骨的三维图像切片数据建模方面更灵活,并有是兼顾交互性和全自动的方法,对人工智能在脊椎骨分割上的应用具有重要意义。
附图说明
图1显示为本发明所述椎骨分割编辑与细化方法流程图。
图2显示为本发明所述交互式分割细化示意图。
图3显示为本发明所述图神经网络框架图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示,一种基于图神经网络的脊椎交互式分割编辑及细化方法,包括如下步骤:
步骤一:获取待处理医学影像并进行预处理;
待处理医学影像中包括至少一节段目标脊椎;这里的预处理主要是指数据增强处理,即对于初始样本数相对较少的训练集,通过随机执行以下一个或多个操作来达到扩充样本数据集的目的:
(a)对椎骨CT图像序列执行前后左右随机镜像翻转;
(b)对椎骨CT图像序列执行随机裁切处理;
(c)对椎骨CT图像序列加入高斯噪声扰动。
步骤二:椎骨粗分割;
步骤2a.选取个用于脊柱分割的全卷积神经网络,可以采用U-net网络;
步骤2b.利用训练集训练神经网络,得到网络模型;
步骤2c.使用得到的网络模型分割测试集中脊柱CT数据,得到粗分割的结果;
步骤三:椎骨交互式分割细化;
利用图神经网络将从步骤二获得粗分割结果进行分割细化;主要分为而部分进行:一是粗分割椎骨轮廓多边形的测量;二是使用得到的图神经网络模得到细化的分割结果。
步骤3a:根据椎骨粗分割的结果将三维分段掩码转换为多边形;
在用户编辑分割掩码之前,将三维分段掩码逐转换为相应的多边形。在这项工作中,主要考虑了2种编辑多边形的方法,(1)用户将多边形中的一个顶点移动到真实边界上的某个点如图2所示;(2)自动获得。图3中多边形的获取采用了后一种方式。两种情况,每个切片中的多边形上的顶点将只在当前切片中进行调整。步骤二粗糙分割结果的轮廓是一个多边形,而多边形的测量是对于每一个3D图像的切片计算出来的。
步骤3b:建立图神经网络模型得到细化的分割结果;
关于椎骨细分的图神经网络建模过程如图3所示:实例是一个具有5个顶点的切片,加上其传播的邻近切片,共7个节点,构造图中将多边形的每一个顶点作为图上的节点。然后这里考虑三种连接关系,实线代表连接紧密的两个节点之间的连接如节点0-1,0-3;长虚线表示相距较远的节点的连接如0-2,0-4;短虚线表示相邻的两个切片之间的比较近的两个节点的连接如:0-5,0-6。实例中的图是有向图,然后从图2可以看到邻接矩阵分为了输入和输出两部分,输入表示指向该节点,输出表示从该节点指向其他节点。图中每个节点的特征,是用ResNet-50得到的。最后,将得到的图结构输入到使用GRU的图神经网络中。输出模型有两部分,一个是预测点是否到了边上,另外一个就是该点要移动到下一个点的方向。方法中移动预测部分是一个M*M的矩阵,意思是,以该点为中心的移动范围。每个顶点的移动仅限于以目标顶点位置为中心的网格图3大小为15*15,如果某些顶点远离真实轮廓在图3中超过7个网格,可能需要进一步的修正即重新运行算法。
本发明未进一步说明的均为现有技术。
本发明给出了一种基于图神经网络的脊椎交互式与自动分割细化方法。首先,获取脊椎骨CT图像数据并对其进行预处理;然后,通过全卷积神经网络模型,对椎骨数据进行自动的粗分割;最后,建立图神经网络模型对椎骨的粗分割结果进行交互或者自动细分,以达到更好的分割效果。本发明不仅能对能对现有自动分割的结果进行改进,减少注释工作,辅助医生进行下一步工作,同时由于其更加灵活的椎骨切片建模方法,对于全自动的精确分割有一定的指导深入研究具有重要意义。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种基于图神经网络的脊椎交互式与自动分割细化方法其特征在于,包括如下步骤:
步骤一:椎骨CT影像数据的获取并进行预处理;
椎骨CT影像数据中包括至少一节段目标脊椎;预处理指的是对数据进行增强处理,即对于初始样本数相对较少的训练集,通过随机执行下一个或多个操作来达到扩充样本数据集的目的:
步骤二:脊椎骨自动粗分割;
对步骤一处理完的数据,通过现有的全卷积神经网络,利用训练集对网络进行训练得到对应的模型,再通过测试集使用此模型得到粗分割的结果;
步骤三:对椎骨粗分割结果进行细分;
从步骤二获得粗分割结果进行分割细化;
分为两个部分:一部分是粗分割椎骨轮廓多边形的测量,将三维分段掩码转换为多边形;另一部分是图神经网络模型的建立,并使用图神经网络模得到细化的分割结果。
2.根据权利要求1所述的一种基于图神经网络的脊椎交互式与自动分割细化方法,其特征在于,所述步骤一使用的预处理方法包括:
(a)对椎骨CT图像序列执行前后左右随机镜像翻转;
(b)对椎骨CT图像序列执行随机裁切处理;
(c)对椎骨CT图像序列加入高斯噪声扰动。
3.根据权利要求1所述的一种基于图神经网络的脊椎交互式与自动分割细化方法,其特征在于,所述步骤二脊椎骨的自动粗分割的方法为:
步骤2a.建一个用于脊柱分割的3D全卷积神经网络;
步骤2b.利用训练集训练神经网络,得到网络模型;
步骤2c.使用得到的网络模型分割测试集中脊柱CT数据,得到粗分割的结果。
4.根据权利要求1所述的一种基于图神经网络的脊椎交互式与自动分割细化方法,其特征在于,所述步骤三中根据椎骨粗分割的结果将三维分段掩码转换为多边形,采用两种方式中的任意一种,两种方式分别是用户将多边形中的一个顶点移动到真实边界上的某个点或者自动获得。
5.根据权利要求1所述的一种基于图神经网络的脊椎交互式与自动分割细化方法,其特征在于,所述步骤三中,图神经网络模型由传播模型和输出模型两部分组成;输出模型有两部分,一个是预测点是否到了边上,另外一个就是该点要移动到下一个点的方向。
CN202111621219.XA 2021-12-28 2021-12-28 一种基于图神经网络的脊椎交互式与自动分割细化方法 Pending CN114549396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111621219.XA CN114549396A (zh) 2021-12-28 2021-12-28 一种基于图神经网络的脊椎交互式与自动分割细化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111621219.XA CN114549396A (zh) 2021-12-28 2021-12-28 一种基于图神经网络的脊椎交互式与自动分割细化方法

Publications (1)

Publication Number Publication Date
CN114549396A true CN114549396A (zh) 2022-05-27

Family

ID=81669750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111621219.XA Pending CN114549396A (zh) 2021-12-28 2021-12-28 一种基于图神经网络的脊椎交互式与自动分割细化方法

Country Status (1)

Country Link
CN (1) CN114549396A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294160A (zh) * 2022-10-08 2022-11-04 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294160A (zh) * 2022-10-08 2022-11-04 长春理工大学 面向脊柱影像的轻量化分割网络及其构建方法和应用

Similar Documents

Publication Publication Date Title
CN100553561C (zh) 在ct血管造影术中分割结构的方法及设备
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像***
KR20190028422A (ko) 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN107203989A (zh) 基于全卷积神经网络的端对端胸部ct图像分割方法
CN113420826B (zh) 一种肝脏病灶图像处理***及图像处理方法
CN111784701B (zh) 结合边界特征增强和多尺度信息的超声图像分割方法及***
JP2006314643A (ja) 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置
CN107708550A (zh) 用于检测和测量解剖异常的分段回声结构的表面建模
CN109934829B (zh) 一种基于三维图割算法的肝脏分割方法
CN106780491B (zh) Gvf法分割ct骨盆图像中采用的初始轮廓生成方法
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
Nowinski et al. A 3D model of human cerebrovasculature derived from 3T magnetic resonance angiography
US12046018B2 (en) Method for identifying bone images
CN110648317B (zh) 适用于脊柱转移肿瘤骨质的质量分类方法及***
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
CN114549396A (zh) 一种基于图神经网络的脊椎交互式与自动分割细化方法
Fan et al. Research on abnormal target detection method in chest radiograph based on YOLO v5 algorithm
Liu et al. Tracking-based deep learning method for temporomandibular joint segmentation
CN114010227B (zh) 一种右心室特征信息识别方法及装置
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
CN114240846A (zh) 降低医学图像病灶分割结果假阳率的***及方法
CN114529554A (zh) 一种胃癌her2数字病理切片智能辅助判读方法
Ďurikovič et al. Imaging and modelling from serial microscopic sections for the study of anatomy
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination