CN113100936A - 一种法洛四联症手术补片的优化方法 - Google Patents

一种法洛四联症手术补片的优化方法 Download PDF

Info

Publication number
CN113100936A
CN113100936A CN202110424850.4A CN202110424850A CN113100936A CN 113100936 A CN113100936 A CN 113100936A CN 202110424850 A CN202110424850 A CN 202110424850A CN 113100936 A CN113100936 A CN 113100936A
Authority
CN
China
Prior art keywords
image
patch
generator
discriminator
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110424850.4A
Other languages
English (en)
Inventor
张广铭
兰蓝
周小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202110424850.4A priority Critical patent/CN113100936A/zh
Publication of CN113100936A publication Critical patent/CN113100936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开一种法洛四联症手术补片的优化方法,通过心脏CT血管造影术的分割构建患者的3D肺动脉后,检测肺动脉狭窄的区域,并将肺动脉切分为正常肺部CT和肺部狭窄CT,然后根据正常肺部CT和肺部狭窄CT的切片图像训练生成对抗网络,对法洛四联症手术补片进行优化。本发明提出一种基于生成对抗网络的方法来优化补片大小、形状和位置。

Description

一种法洛四联症手术补片的优化方法
技术领域
本发明涉及医疗图像优化处理技术领域,尤其涉及一种法洛四联症手术补片的优化方法。
背景技术
法洛氏四联症是一种先天性心脏病,其修复包括闭合室间隔缺损,并确保从心室到主动脉的血流畅通。当出现肺动脉狭窄时,会在右心室流出道上植入一块补片,以减轻肺返流。这种修复通常在出生后几个月进行。目前可以基于心脏影像学图像准确诊断法洛氏四联症,但无法准确预测修复术后的补片大小、形状和位置。迫切需要开发一种补片仿真工具,以准确地计划法洛氏四联症的修复手术。
深度学习能够进行精细的医学图像处理,例如分割、对象检测、图像融合和分类。医学图像数据扩充,例如旋转、裁剪和缩放通常用于增加训练数据量,但只能提供有限的替代数据。生成对抗网络在医学成像中最明显的应用是生成其他逼真的训练数据,以提高分类性能。另一个应用是将生成对抗网络用于图像翻译,例如从MRI图像生成CT数据,反之亦然。这对于健康和患病受试者的多模式分类非常有用,其中将几种类型的医学图像组合在一起以提高灵敏度。在医学图像分析中,生成对抗网络有助于减轻数据集大小和注释的局限性。例如,为了更好地对卷积神经网络中的肝脏病变进行分类,使用条件生成对抗网络生成了合成CT图像,并将其引入了数据增强训练中。在准确性方面,基于生成对抗网络的数据增强在胸部X射线分类中优于传统方法。尽管生成对抗网络生成的合成图像在视觉上令人愉悦,但它们可能并不总是提供有意义的功能来改善模型的性能以解决任务。
发明内容
本发明旨在提供一种法洛四联症手术补片的优化方法,提出一种基于生成对抗网络的方法来优化补片大小、形状和位置。
为达到上述目的,本发明是采用以下技术方案实现的:
本发明公开一种法洛四联症手术补片的优化方法,包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括生成器、判别器,生成器、判别器均基于卷积神经网络,
生成器将肺部狭窄CT图像
Figure DEST_PATH_IMAGE001
转换为修补补片图像
Figure 602142DEST_PATH_IMAGE002
,生成器基于三维矩形体积框的肺动脉体素构建,生成器包括四个连续的卷积层,
判别器将正常切片图像
Figure DEST_PATH_IMAGE003
和修补补片图像
Figure 58531DEST_PATH_IMAGE002
作为输入数据,正常切片图像
Figure 813997DEST_PATH_IMAGE004
和修补补片图像
Figure DEST_PATH_IMAGE005
均为三维矩形体积框,判别器包括四个连续的卷积层,在判别器的最后一层的卷积层中,使用S型激活确定修补补片图像
Figure 406653DEST_PATH_IMAGE002
是否正常。
优选的,在生成器中,最佳补片的生成包括以下步骤,
S301、在生成器的最后一层的卷积层使用泄露校正线性激活函数剔除生成器的最后一层卷积层的训练层,得到预估最佳补片,
S302、从正常的肺部图像到修补补片图像
Figure 222162DEST_PATH_IMAGE002
计算该预估最佳补片。
优选的,生成器的权重使用正态分布进行初始化,对生成器的输入层进行归一化处理。
优选的,对判别器的权重使用Adam优化器进行初始化处理,对判别器的输入层进行归一化处理,使用泄露校正线性激活函数剔除判别器最后一层卷积层的训练层。
优选的,正常切片图像
Figure 900268DEST_PATH_IMAGE003
的计算方法为
Figure 193846DEST_PATH_IMAGE006
其中
Figure 641008DEST_PATH_IMAGE007
代表对肺部狭窄CT图像进行扩展性补片。
本发明的有益效果:
1、本发明提供了一种样本量较小时性能良好的模型。
2、本发明模型具有很高的稳定性,并且可能潜在地构成了TOF临床结局的机制。
3、本发明所提出的方法能够对肺动脉CT图像中的TOF进行实质性修复,并且将体素方向平方的误差损失与对抗性损失相结合从而产生最佳补片生成正常肺动脉CT图像。
附图说明
图1为本发明的算法设计结构;
图2为肺动脉狭窄的CT图片,其中A部位为动脉狭窄部分;
图3为肺动脉狭窄的3D示意图,其中B部位为狭窄部分的动脉;
图4为狭窄肺动脉的血流动力学分析示意图;
图5为肺动脉正常的CT图片,其中C部位为动脉的正常部分;
图6为肺动脉正常的3D示意图,其中D部位为补片对应的部分;
图7为正常肺动脉的血流动力学分析示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。
如图1所示,本发明包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括两个组件,
一个组件是基于卷积神经网络的生成器,肺部狭窄CT图像
Figure 96260DEST_PATH_IMAGE008
由生成器转换为带有修补补片
Figure 527241DEST_PATH_IMAGE002
的图像,该生成的补片近似于正常肺部CT图像
Figure DEST_PATH_IMAGE009
本发明假设
Figure 624510DEST_PATH_IMAGE006
,例如正常动脉CT是根据具有扩展性补片
Figure 191758DEST_PATH_IMAGE007
的狭窄肺部CT图像计算得出的,补片的位置由3D解剖信息决定,补片的宽度用于预测,在每个补片的边缘上加1毫米用于缝合,生成器包含3D矩形体积的肺动脉体素,它由四个连续的卷积层组成,并带有卷积内核进行计算。最终的卷积层通过网络中的线性激活函数得出估计的最佳补片。然后从正常肺部CT图像到狭窄CT图像
Figure 817911DEST_PATH_IMAGE002
计算该补片,剔除最终卷积层的训练层应用泄漏校正线性激活函数(LReLU),以使训练稳定进行。权重使用正态分布进行初始化(μ= 0,σ= 0.01)。通过对输入层进行归一化,使生成对抗网络更快、更稳定。
另一个组件是基于卷积神经网络的判别器。判别器采用正常肺部CT图像
Figure 736189DEST_PATH_IMAGE009
或经过处理的修复CT子图像
Figure 371569DEST_PATH_IMAGE002
作为输入数据,区分输入的图像是否为正常肺部CT图像,
判别器的输入数据是一个3D矩形体积框,判别器的卷积层分为四个块,与生成器相同,LReLu激活函数和归一化应用于判别器,在包含的最后一层中,采用S型激活来确定输入是否为正常的肺部CT图像,判别器中的权重由Adam优化器初始化。
生成器相当于生成仿真血管的一方。用于生成出正常的血管,其目的是根据狭窄血管旁边的正常血管(正常粗细)情况和专家(医生)的判别技术,不断迭代计算进行生成血管替换狭窄血管。目的是尽量生成更加真实的可替换狭窄血管区域的仿真血管,且专家区别不出仿真血管。
判别器相当于识别仿真血管的一方(判断出是仿真结果设为0,判断出是不是仿真结果设为1),其目的是尽可能的识别仿真出来的血管,直到判断不出,结果为1。
这样通过仿真者和判别者双方的较量和有目的的改进模型的生成器和判别器,使得最后能达到生成血管能尽可能逼近的正常血管、判别者判断不出仿真效果的均衡结果。
如图2-图7所示,图2中A部位为动脉狭窄部分,图3中B部位为狭窄部分的动脉,图5中C部位为动脉的正常部分,图6中D部位为补片对应的部分;
实际使用时,随机选择平均年龄为1.8个月(1到3.5个月)的18例男性法洛氏四联症患者和12例女性法洛氏四联症患者纳入研究。然后对所有患者进行至少2个月的随访,以评估其发生肺返流和猝死的风险。本发明收集每位患者的病史和临床结局信息。临床数据包括术前CT扫描、术前和术后超声心动图(随访2个月)。评估术后立即、术后30天和60天评估术后肺动脉反流情况。
鉴于轻度反流可能是暂时性的且无需治疗即可缓解,因此根据60天的随访评估将所有患者分为两组,其中A组包括20例无或轻度反流的患者,B组包括10例严重反流或猝死的患者。本发明使用患者实际发生的随访信息作为标注数据,以验证模型预测效果。
每位患者的CT血管造影图像均用于肺分割。术前在舒张压高峰期对狭窄的肺部进行多层CT检查,然后将CT图像导入Mimics软件进行进一步处理。在320-800 Hounsfield的阈值水平上重建肺动脉的3D解剖模型,分离主肺动脉、左肺动脉和右动脉,同时保留详细的几何特征。
本发明中的血流动力学分析基于从临床数据库中的术前和术后超声心动图提取的参数,例如压力和流速。为了限制目标区域并降低计算复杂度,本发明将区域限制在肺动脉狭窄部分的10mm处,因为在修复手术的其他区域没有组织变形。
Figure 527744DEST_PATH_IMAGE010
生成器
Figure DEST_PATH_IMAGE011
通过映射将变量
Figure 855957DEST_PATH_IMAGE012
(通常是补片)转换为目标域中的正常血管图像
Figure 730372DEST_PATH_IMAGE013
,判别器
Figure 435023DEST_PATH_IMAGE014
学会从正常血管图像
Figure 711284DEST_PATH_IMAGE013
区分生成的模拟血管图像
Figure DEST_PATH_IMAGE015
,其中
Figure 210398DEST_PATH_IMAGE016
表示训练的期望值,生成器
Figure DEST_PATH_IMAGE017
尝试使对抗损失最小化,而判别器
Figure 103268DEST_PATH_IMAGE014
尝试使对抗损失最大化,这种竞争性过程会改善网络的建模,直到模拟血管与真实血管无法区分为止。所有实验均在GPU服务器上进行。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种法洛四联症手术补片的优化方法,其特征在于包括以下步骤:
S1、通过心脏CT血管造影术分割、构建患者的3D肺动脉;
S2、检测肺动脉狭窄的区域,将肺动脉切片图像分为正常切片图像和肺部狭窄CT图像;
S3、根据正常切片图像和肺部狭窄CT图像训练生成对抗网络,对抗网络包括生成器、判别器,生成器、判别器均基于卷积神经网络,
生成器将肺部狭窄CT图像
Figure 855668DEST_PATH_IMAGE001
转换为修补补片图像
Figure 164071DEST_PATH_IMAGE002
,生成器基于三维矩形体积框的肺动脉体素构建,生成器包括四个连续的卷积层,
判别器将正常切片图像
Figure 361834DEST_PATH_IMAGE003
和修补补片图像
Figure 643911DEST_PATH_IMAGE002
作为输入数据,正常切片图像
Figure 610730DEST_PATH_IMAGE003
和修补补片图像
Figure 851218DEST_PATH_IMAGE002
均为三维矩形体积框,判别器包括四个连续的卷积层,在判别器的最后一层的卷积层中,使用S型激活确定修补补片图像
Figure 5119DEST_PATH_IMAGE002
是否正常。
2.根据权利要求1所述的法洛四联症手术补片的优化方法,其特征在于:在生成器中,最佳补片的生成包括以下步骤,
S301、在生成器的最后一层的卷积层使用泄露校正线性激活函数剔除生成器的最后一层卷积层的训练层,得到预估最佳补片,
S302、从正常的肺部图像到修补补片图像
Figure 356466DEST_PATH_IMAGE002
计算该预估最佳补片。
3.根据权利要求2所述的法洛四联症手术补片的优化方法,其特征在于:生成器的权重使用正态分布进行初始化,对生成器的输入层进行归一化处理。
4.根据权利要求1所述的法洛四联症手术补片的优化方法,其特征在于:对判别器的权重使用Adam优化器进行初始化处理,对判别器的输入层进行归一化处理,使用泄露校正线性激活函数剔除判别器最后一层卷积层的训练层。
5.根据权利要求1所述的法洛四联症手术补片的优化方法,其特征在于:正常切片图像
Figure 941906DEST_PATH_IMAGE003
的计算方法为
Figure 87716DEST_PATH_IMAGE004
其中
Figure 994492DEST_PATH_IMAGE005
代表对肺部狭窄CT图像进行扩展性补片。
CN202110424850.4A 2021-04-20 2021-04-20 一种法洛四联症手术补片的优化方法 Pending CN113100936A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110424850.4A CN113100936A (zh) 2021-04-20 2021-04-20 一种法洛四联症手术补片的优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110424850.4A CN113100936A (zh) 2021-04-20 2021-04-20 一种法洛四联症手术补片的优化方法

Publications (1)

Publication Number Publication Date
CN113100936A true CN113100936A (zh) 2021-07-13

Family

ID=76719015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110424850.4A Pending CN113100936A (zh) 2021-04-20 2021-04-20 一种法洛四联症手术补片的优化方法

Country Status (1)

Country Link
CN (1) CN113100936A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103860291A (zh) * 2014-03-19 2014-06-18 武汉亚洲心脏病医院 法洛氏四联症室间隔缺损补片的制作方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法
US20200335197A1 (en) * 2019-04-16 2020-10-22 Seoul Women's University Industry-University Cooperation Foundation Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103860291A (zh) * 2014-03-19 2014-06-18 武汉亚洲心脏病医院 法洛氏四联症室间隔缺损补片的制作方法
CN107909621A (zh) * 2017-11-16 2018-04-13 深圳市唯特视科技有限公司 一种基于双生成对抗网络的医学图像合成方法
CN110047056A (zh) * 2018-01-16 2019-07-23 西门子保健有限责任公司 用深度图像到图像网络和对抗网络的跨域图像分析和合成
US20200335197A1 (en) * 2019-04-16 2020-10-22 Seoul Women's University Industry-University Cooperation Foundation Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image
CN111369528A (zh) * 2020-03-03 2020-07-03 重庆理工大学 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGMING ZHANG,ET AL.: "The Optimal Tetralogy of Fallot Repair Using Generative Adversarial Networks", 《FRONTIERS IN PHYSIOLOGY》 *
GUANGMING ZHANG,ET AL.: "The Optimal Tetralogy of Fallot", 《FRONTIERS IN PHYSIOLOGY》 *

Similar Documents

Publication Publication Date Title
Bernard et al. Deep learning techniques for automatic MRI cardiac multi-structures segmentation and diagnosis: is the problem solved?
Aljabri et al. A review on the use of deep learning for medical images segmentation
Van Rikxoort et al. Automated segmentation of pulmonary structures in thoracic computed tomography scans: a review
JP6333413B2 (ja) 弁を数量化するシステムおよび方法
Ruskó et al. Automatic segmentation of the liver from multi-and single-phase contrast-enhanced CT images
Yang et al. Automatic coronary calcium scoring using noncontrast and contrast CT images
Bruns et al. Deep learning from dual‐energy information for whole‐heart segmentation in dual‐energy and single‐energy non‐contrast‐enhanced cardiac CT
US9730609B2 (en) Method and system for aortic valve calcification evaluation
Jimenez-Carretero et al. Optimal multiresolution 3D level-set method for liver segmentation incorporating local curvature constraints
Suinesiaputra et al. Deep learning analysis of cardiac MRI in legacy datasets: multi-ethnic study of atherosclerosis
Tahoces et al. Deep learning method for aortic root detection
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
Yang et al. Segment aorta and localize landmarks simultaneously on noncontrast CT using a multitask learning framework for patients without severe vascular disease
Dandıl et al. A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans
Shetty et al. BOSS: Bones, organs and skin shape model
Cheung State-of-the-art deep learning method and its explainability for computerized tomography image segmentation
Złahoda-Huzior et al. Automatic aorta and left ventricle segmentation for TAVI procedure planning using convolutional neural networks
CN113100936A (zh) 一种法洛四联症手术补片的优化方法
Malinda et al. Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks
Akkasaligar et al. Analysis of polycystic kidney disease in medical ultrasound images
Xu et al. Automatic segmentation of orbital wall from CT images via a thin wall region supervision-based multi-scale feature search network
Pazokifard et al. 3-d segmentation of human sternum in lung mdct images
Peter et al. Novel registration-based framework for CT angiography in lower legs
Pentenga et al. Shape morphing and slice shift correction in congenital heart defect model generation
Bennström et al. Automated 3d bone segmentation using deep learning in scoliosis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210713

RJ01 Rejection of invention patent application after publication