CN111563899B - 一种髋关节ct图像中骨的分割方法 - Google Patents
一种髋关节ct图像中骨的分割方法 Download PDFInfo
- Publication number
- CN111563899B CN111563899B CN202010515791.7A CN202010515791A CN111563899B CN 111563899 B CN111563899 B CN 111563899B CN 202010515791 A CN202010515791 A CN 202010515791A CN 111563899 B CN111563899 B CN 111563899B
- Authority
- CN
- China
- Prior art keywords
- bone
- image
- bone segmentation
- network
- hip joint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种髋关节CT图像中骨的分割方法,包括以下步骤:S1,获取若干个髋关节CT图像序列,并进行骨的人工标注;S2,训练stackGAN(阶段生成对抗网络);S3,训练BiLSTM(双向长短期记忆网络);S4,输入一个髋关节CT图像序列;S5,使用已训练的stackGAN进行骨分割;S6,使用已训练的BiLSTM进行后处理,得到最终的骨分割结果。本发明以二维切片图像为输入,不仅提高了数据适应性,而且降低了模型复杂度;同时充分利用了切片之间的三维结构信息,提高了分割的准确性。
Description
技术领域
本发明属于医学图像处理技术领域,具体涉及一种髋关节CT图像中骨的分割方法。
背景技术
髋关节是位于骨盆与股骨之间的球窝关节,其中股骨头的末端为球形,正好***骨盆髋臼。髋关节轴向连接躯干与下肢,可以朝六个不同的方向运动,在我们进行各种活动时承载身体的重量并支撑臀部与腿部肌肉的力量,是身体中最为灵活和承重最大的关节,因此也是全身关节中最容易出现问题的关节之一。
骨关节炎是世界上最常见的关节疾病,其发病率和患病率均随年龄的增长而增加。髋关节严重病变的患者如果通过药物治疗不能获得有效的止痛和功能改善,应考虑进行全髋关节置换手术。对于骨关节炎严重的病例,本发明提出的基于stackGAN和BiLSTM的髋关节CT图像中骨的分割方法可以实现骨的分割,辅助医生对骨盆和股骨进行形态和结构分析,为全髋关节置换手术的术前评估、术中指导和术后评价提供支持。
髋关节CT图像中骨的分割在临床和治疗上有着重要的应用,很多髋关节CT图像中骨的分割方法被提出。但是由于下列因素:髋关节组织损伤可引发关节间隙变窄、模糊甚至骨变形; CT 图像在采集过程中存在伪影、部分体积效应等影响;髋关节在人体中的位置和形态跟个体有较大的关联性;深度学习算法需要大量的训练数据很难获取。这些因素对骨分割的准确性和稳定性有很大影响,髋关节CT图像中骨的分割方法还有很大的提高空间,迫切需要准确性高和稳定性强的骨分割方法。
发明内容
发明目的:为了提高髋关节CT图像中骨分割的准确性和稳定性,本发明提供一种髋关节CT图像中骨的分割方法。
技术方案:一种髋关节CT图像中骨的分割方法,包括如下步骤。
S1:获取若干个髋关节CT图像序列,使用标注软件对图像中的骨进行人工分割,人工分割结果定义为骨的标准分割结果。
S2:使用S1中髋关节CT切片图像及其标准的骨分割结果作为训练数据训练stackGAN。stackGAN包括第一阶段反向条件生成对抗网络和第二阶段正向条件生成对抗网络两个阶段,具体训练过程如下:
S2.1:以S1中CT切片图像及其对应的分割结果为输入,提取非骨特征训练反向条件生成对抗网络;
S2.2:反向条件生成对抗网络训练完成后,以S1中CT切片图像及其对应的分割结果和反向条件生成对抗网络的输出作为正向条件生成对抗网络的输入,提取骨特征训练正向条件生成对抗网络。
S3:使用S2中训练的stackGAN处理S1中髋关节CT图像得到的骨分割结果和S1中的标准骨分割结果作为训练数据训练BiLSTM。
S4:输入一个髋关节CT图像序列。
S5:使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片进行骨分割,具体过程如下:
S5.1:第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签;
S5.2:第二阶段正向条件生成对抗网络以骨的粗分割标签为先验,提取骨特征,进一步生成更为精准的骨分割标签。
S6:使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理,得到最终的骨分割结果,具体过程如下:
S6.1:取当前切片图像前面连续k张切片图像的骨分割结果输入到正向LSTM网络;
S6.2:取当前切片图像后面连续k张切片图像的骨分割结果输入到反向LSTM网络;
S6.3:叠加当前切片图像正向LSTM网络和反向LSTM网络输出作为当前切片图像的最终骨分割结果。
特点及有益效果:1)stackGAN以二维切片图像为输入,放宽了输入数据的限制的同时增加了训练数据的样本数量,并可以处理不完全的髋关节 CT 数据;2)BiLSTM对stackGAN的二维分割结果进行正则化,既降低了分割网络的复杂度又有效利用了髋关节CT 切片的三维结构信息。
附图说明
图1为本发明方法的整体流程图。
图2为stackGAN训练过程示意图。
图3为stackGAN分割过程示意图。
图4为BiLSTM结构示意图。
具体实施方式
下面结合附图和具体实施流程对本发明做进一步详细说明。
如图1所示,本发明提出一种髋关节CT图像中骨的分割方法,分为数据标注、模型训练、图像分割三个阶段。每个阶段包括若干步骤,具体过程如下所述。
S1:获取若干个髋关节CT图像序列,放射学专家使用标注软件依次对每个图像中的骨进行人工分割,人工分割结果定义为骨的标准分割结果。
S2:如图2所示,stackGAN包括第一阶段反向条件生成对抗网络(图2上半部分)和第二阶段正向条件生成对抗网络(图2下半部分)两个阶段,每个条件生成对抗网络由生成器和判别器组成。条件生成对抗网络训练时,使用生成器生成分割结果,判别器根据人工分割结果计算生成分割结果可信度(取值0到1之间),根据可信度更新生成器权值进行下一次生成和判定,直到训练结束。在stackGAN训练过程中,首先单独训练第一阶段反向条件生成对抗网络,然后使用第一阶段训练的反向条件生成对抗网络的生成器,训练第二阶段正向条件生成对抗网络,stackGAN具体训练过程如下:
S2.1:把S1中每张髋关节CT切片图像I及其标准的骨分割结果R作为一个训练样例,训练第一阶段反向条件生成对抗网络。训练过程如下:I输入到生成器G1,G1生成I的分割结果S1;R与S1输入到判别器D1,D1计算S1的可信度;根据D1的计算结果更新G1的权值;重复设定的次数,结束反向条件生成对抗网络训练。为了提取反向的非骨特征,所以在提取特征图谱后增加NEG模块,将特征图谱的激活值全部乘以-1取负;
S2.2:反向条件生成对抗网络训练完成后,第二阶段正向条件对抗生成对抗网络生成器G2以I和S1为输入,生成分割结果S2;第二阶段正向条件生成对抗网络判别器D2计算S2的可信度;根据D2的计算结果更新G2的权值;重复设定的次数,结束正向条件生成对抗网络训练。
S3:使用S2中训练的stackGAN处理S1中髋关节CT图像得到的骨分割结果和S1中的标准骨分割结果作为训练数据训练BiLSTM。图4展示了BiLSTM的结构,每个stackGAN的分割结果经过带有空洞卷积编码器得到特征图谱,从编码器得到的特征图谱输入到双向空洞卷积长短期记忆单元。
S4:训练过程结束,输入一个髋关节CT图像序列进行分割。
S5:使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片进行骨分割。图3展示了具体使用stackGAN进行分割的示意图,分割由第一阶段反向条件生成对抗网络生成器G1和正向件生成对抗网络生成器G2完成,具体过程如下:
S5.1:第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签;
S5.2:第二阶段正向条件生成对抗网络以骨的粗分割标签为先验,提取骨特征,进一步生成更为精准的骨分割标签。
S6:使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理,得到最终的骨分割结果,具体过程如下:
S6.1:取当前切片前面连续k张切片的骨分割结果输入到正向LSTM网络(如图4上半部分所示);
S6.2:取当前切片后面连续k张切片的骨分割结果输入到反向LSTM网络(如图4下半部分所示);
S6.3:叠加当前切片正向LSTM网络和反向LSTM网络的输出为正则化结果,即当前切片图像的最终骨分割结果。
Claims (5)
1.一种髋关节CT图像中骨的分割方法,其特征在于,包括如下步骤:
S1:获取若干个髋关节CT图像序列进行骨的人工标注作为标准的骨分割结果;
S2:使用S1中髋关节CT图像序列及其标准的骨分割结果作为训练数据训练stackGAN;
S3:使用S2中训练好的stackGAN对S1中髋关节CT图像序列进行分割,得到的骨分割结果和S1中人工标注的骨分割结果作为训练数据,训练BiLSTM;
S4:输入一个髋关节CT图像序列;
S5:使用S2中训练好的stackGAN对S4中的髋关节CT图像序列的每一张切片图像进行骨分割;
S6:使用S3中训练好的BiLSTM对S5得到的骨分割结果进行后处理,得到最终的骨分割结果。
2.根据权利要求1所述的一种髋关节CT图像中骨的分割方法,其特征在于,所述S2中,stackGAN由第一阶段反向条件生成对抗网络和第二阶段正向条件生成对抗网络组成,S2具体包括如下子步骤:
S2.1:提取非骨特征训练反向条件生成对抗网络;
S2.2:固定已训练的反向条件生成对抗网络,提取骨特征训练正向条件生成对抗网络。
3.根据权利要求1所述的一种髋关节CT图像中骨的分割方法,其特征在于,所述S3中BiLSTM包括:当前切片图像前面连续k张切片图像的骨分割结果输入到一个LSTM网络构成的正向LSTM网络;当前切片图像后面连续k张切片图像的骨分割结果输入到另一个LSTM网络构成的反向LSTM网络。
4.根据权利要求1所述的一种髋关节CT图像中骨的分割方法,其特征在于,所述S5具体包括如下子步骤:
S5.1:第一阶段反向条件生成对抗网络提取非骨特征生成骨的粗分割标签;
S5.2:第二阶段正向条件生成对抗网络以骨的粗分割标签为先验,提取骨特征,进一步生成更为精准的骨分割标签。
5.根据权利要求1所述的一种髋关节CT图像中骨的分割方法,其特征在于,所述S6具体包括如下子步骤:
S6.1:取当前切片图像前面连续k张切片图像的骨分割结果输入到正向LSTM网络;
S6.2:取当前切片图像后面连续k张切片图像的骨分割结果输入到反向LSTM网络;
S6.3:叠加当前切片图像正向LSTM网络和反向LSTM网络输出作为当前切片图像的最终骨分割结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010515791.7A CN111563899B (zh) | 2020-06-09 | 2020-06-09 | 一种髋关节ct图像中骨的分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010515791.7A CN111563899B (zh) | 2020-06-09 | 2020-06-09 | 一种髋关节ct图像中骨的分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111563899A CN111563899A (zh) | 2020-08-21 |
CN111563899B true CN111563899B (zh) | 2020-10-02 |
Family
ID=72072595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010515791.7A Active CN111563899B (zh) | 2020-06-09 | 2020-06-09 | 一种髋关节ct图像中骨的分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111563899B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012155B (zh) * | 2021-05-07 | 2023-05-05 | 刘慧烨 | 髋关节图像中骨骼分割方法、电子设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
CN109242090B (zh) * | 2018-08-28 | 2020-06-26 | 电子科技大学 | 一种基于gan网络的视频描述及描述一致性判别方法 |
CN110610124B (zh) * | 2019-07-30 | 2021-11-30 | 珠海亿智电子科技有限公司 | 一种基于生成对抗网络的图像生成方法 |
CN110717421A (zh) * | 2019-09-25 | 2020-01-21 | 北京影谱科技股份有限公司 | 一种基于生成对抗网络的视频内容理解方法及装置 |
CN110956579B (zh) * | 2019-11-27 | 2023-05-23 | 中山大学 | 一种基于生成语义分割图的文本改写图片方法 |
-
2020
- 2020-06-09 CN CN202010515791.7A patent/CN111563899B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111563899A (zh) | 2020-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114170128B (zh) | 基于深度学习的骨骼分割方法和*** | |
CN113506334B (zh) | 基于深度学习的多模态医学图像融合方法及*** | |
CN110570515B (zh) | 一种利用ct图像进行人体骨骼三维建模的方法 | |
Oulbacha et al. | MRI to CT synthesis of the lumbar spine from a pseudo-3D cycle GAN | |
CN113658142A (zh) | 一种基于改进U-Net神经网络的髋关节股骨近端分割方法 | |
CN114494183B (zh) | 一种基于人工智能的髋臼半径自动测量方法及*** | |
CN109191475B (zh) | 椎体终板分割方法、装置及计算机可读存储介质 | |
CN111563899B (zh) | 一种髋关节ct图像中骨的分割方法 | |
Yang et al. | Label efficient segmentation of single slice thigh CT with two-stage pseudo labels | |
Rehman et al. | A novel framework to segment out cervical vertebrae | |
Scheys et al. | Image based musculoskeletal modeling allows personalized biomechanical analysis of gait | |
Khmelinskii et al. | Atlas-based organ & bone approximation for ex-vivo μMRI mouse data: a pilot study | |
Dixit et al. | 3D reconstruction of 2D X-ray images | |
Cai et al. | Automatic path planning for navigated pedicle screw surgery based on deep neural network | |
CN116616893A (zh) | 一种骨盆植入物通道的自动定位方法 | |
CN116402954A (zh) | 一种基于深度学习的脊柱三维结构的重建方法 | |
Haque et al. | Semantic segmentation of thigh muscle using 2.5 d deep learning network trained with limited datasets | |
Maintier et al. | Tibial and femoral bones segmentation on CT-scans: a deep learning approach | |
Zhou et al. | Automatic segmentation algorithm of femur and tibia based on Vnet-C network | |
US20220301163A1 (en) | Deep learning based medical system and method for image acquisition | |
US20180192944A1 (en) | Methods for monitoring compositional changes in a body | |
CN113902912A (zh) | Cbct影像的处理方法、神经网络***的创建方法、以及装置 | |
Zhou et al. | Automated segmentation and recognition of the bone structure in non-contrast torso CT images using implicit anatomical knowledge | |
Na et al. | Development of a 3D breast shape generation and deformation system for breast implant fabrication | |
Išgum et al. | Special Section Guest Editorial: Advances in High-Dimensional Medical Image Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |