CN112907563B - 基于深度学习的cta全自动侧枝循环评分方法及*** - Google Patents

基于深度学习的cta全自动侧枝循环评分方法及*** Download PDF

Info

Publication number
CN112907563B
CN112907563B CN202110286102.4A CN202110286102A CN112907563B CN 112907563 B CN112907563 B CN 112907563B CN 202110286102 A CN202110286102 A CN 202110286102A CN 112907563 B CN112907563 B CN 112907563B
Authority
CN
China
Prior art keywords
cta
brain
image
scoring
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110286102.4A
Other languages
English (en)
Other versions
CN112907563A (zh
Inventor
于泽宽
耿道颖
陈泓亦
陆青青
刘学玲
吕锟
王容
杜鹏
文剑波
韩秋月
张海燕
杜成娟
王娜
李璇璇
吴昊
耿岩
张军
尹波
李郁欣
王俊杰
陈卫强
***
张顺
曹鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huashan Hospital of Fudan University
Original Assignee
Huashan Hospital of Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huashan Hospital of Fudan University filed Critical Huashan Hospital of Fudan University
Priority to CN202110286102.4A priority Critical patent/CN112907563B/zh
Publication of CN112907563A publication Critical patent/CN112907563A/zh
Application granted granted Critical
Publication of CN112907563B publication Critical patent/CN112907563B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种基于深度学习的CTA全自动侧枝循环评分方法及***,涉及医学图像处理技术领域,该方法包括:步骤S1:对大脑CTA图像进行掩模和归一化的预处理;步骤S2:对CTA图像进行脑区划分,获取相关解剖图谱以及功能图谱,获取加权大脑各脑区掩模图;步骤S3:对掩模与归一化后的CTA图像进行血管分割;步骤S4:基于血管分割结果量化计算评分特征;步骤S5:基于卷积神经网络测量血管壁厚度的评分特征;步骤S6:构建多标签评分分类模型,对计算得到的特征向量进行分类评分。本发明能够实现基于血流代偿途径的侧枝循环血管分级机制,并提高小血管的分割精度,还能使得评分策略具有更广泛的适用范围与更客观的评价阈值。

Description

基于深度学习的CTA全自动侧枝循环评分方法及***
技术领域
本发明涉及医学图像处理技术领域,具体地,涉及一种基于深度学习的CTA全自动侧枝循环评分方法及***。
背景技术
脑卒中是目前引起患者后天残疾的首要原因,在全世界内也是引起死亡的主要疾病之一。大部分脑卒中为缺血性卒中,主要是脑梗死,其病因以颅内外血管动脉粥样硬化引起血管狭窄、闭塞最为常见。脑卒中是临床中很常见的疾病,起病急,症状明显,多以肢体瘫痪、麻木为主要表现。许多患者尽管经过规范的治疗,也难以避免或多或少留下后遗症,是人类健康的重要威胁。脑卒中不仅治疗费用高,而且十分影响生活质量,给患者和社会都带来了极大的经济压力。
在缺血性脑血管病中,动脉阻塞会导致阻塞血管供血区域灌注量减低。如果血流灌注量<10ml/(100g·min),神经细胞在几分钟内就会受到不可逆的伤害。如果仅一部分脑血流量(Cerebral Blood Flow,CBF)减少,神经细胞将停止工作,但仍保持结构完整,被认为是可拯救的潜在组织(缺血半暗带),这使它们成为溶栓治疗的目标。脑侧支循环是指大脑的供血动脉严重狭窄或阻塞时,血液通过其他分支血管到达缺血组织,使缺血区域获得不同程度的血流灌注代偿。研究表明,侧支循环良好的患者有较大的缺血半暗带、较小的脑梗死面积、较好的溶栓和再治疗结果。因此,对脑侧支循环进行准确的评估,是正确处理急性缺血性脑卒中(Acute Ischaemic Stroke,AIS)患者的重要条件。
CT血管造影(CTA,CT Angiography)是用于评估颅内血管***的最常见技术,具有成像快速、无创伤且图像后处理简单等优点,可明确血管闭塞具***置,是急诊患者首选的影像学检查。利用这项技术,可以通过获取动态图像来记录造影剂通过大脑的过程。为了准确评估患者的脑侧枝循环,需要测量CTA影像中的动脉输入功能(Arterial Input Function,AIF)和静脉输出功能(Venous Output Function,VOF),分别为包含100%血液的动脉和静脉体素的浓度-时间曲线(Area Under the Concentration-Time,AUC)。
目前侧枝循环评分***的研究主要集中在两个区域:粗略的视觉评分和量化的阈值评分***。
Alberta脑卒中计划早期CT评分(Alberta Stroke Program Early CT Score,ASPECTS)是一个评估急性缺血性卒中CT缺血性改变的分级***,可评估缺血性卒中早期病灶部位,目前已用于多项血管内机械取栓的临床试验。但是由于ASPECT评分是通过人工判断,易受评估者主观因素的影响。
Maas评分根据CTA原始图像(CTA-SI),将病变侧支血管与正常侧支血管比较,并对病变侧支血管进行评分。该评分方法用于评估侧裂区和软脑膜凸起区侧支血管的存在与否并进行分级。但事实上大约四分之一的患者在CTA上无法通过侧裂和软脑膜凸起血管测量到实质性的侧支循环。
Tan评分根据大脑中动脉梗死缺血区的侧支血管填充情况评分,分值:3分(侧支填充达100%),2分(侧支填充达50%~<100%),1分(0<侧支填充达<50%),0分(无侧支供血)。0~1分为侧枝循环不良,2~3分为侧枝循环良好。但该评分的打分阈值由临床研究确定,仅适用于静脉注射rt-PA溶栓药剂或未接受溶栓治疗的患者。对于那些使用其他卒中介入治疗方案的患者来说,可能存在不同的阈值,因此该评分***在可重复性方面存在一定限制。
视觉评分***会受到主观解释的影响,从而导致观察者之间以及观察者内部的差异。量化评价标准的评分***的评分阈值易受到不同样本之间差异的影响,而自动评分***通过深度学习可以促进对脑侧枝状态的客观和可重复性的评估。
侧枝循环评分依赖于闭塞侧大脑中动脉(Middle Cerebral Artery,MCA)区域与对侧的动脉树之间的差异。因此血管分割是实现步骤中必不可少的一步。目前,卷积神经网络(Convolutional Neural Networks,CNN)在许多医学血管图像分割任务中表现出了优异的性能,这使全自动侧枝循环评分的实现成为了可能。基于深度学习方法,患侧与健侧的动脉树之间的差异得以量化,将能有效的提高脑卒中血管内治疗诊断意见的效能和效率。
现有文献Su Jiahang,et al."Automatic Collateral Scoring From 3D CTAImages.."IEEE transactions on medical imaging 39.6(2020).其中,Su等人对该方向进行研究,并提出使用3D U-net进行血管分割,对分割结果使用机器学习分类器实现对Tan评分***中打分阈值的推理。但该方法假设缺血性卒中的病因为大脑半球中出现的大血管栓塞,因此该评分***对与该假设不符的患者并不适用,据研究该患者群体占缺血性卒中人群的14-30%。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于深度学习的CTA全自动侧枝循环评分方法及***。
根据本发明提供的一种基于深度学习的CTA全自动侧枝循环评分方法及***,所述方案如下:
第一方面,提供了一种基于深度学习的CTA全自动侧枝循环评分方法,所述方法包括:
步骤S1:获取大脑CTA图像和相应的二值掩模数据集,获取大脑动脉概率密度图和大脑半球图,对大脑CTA图像进行掩模和归一化的预处理;
步骤S2:对CTA图像进行脑区划分,获取相关解剖图谱以及功能图谱,获取加权大脑各脑区掩模图;
步骤S3:对掩模与归一化后的CTA图像进行血管分割;
步骤S4:基于血管分割结果量化计算评分特征;
步骤S5:基于卷积神经网络测量血管壁厚度的评分特征;
步骤S6:构建多标签评分分类模型,对计算得到的特征向量进行分类评分。
优选的,所述步骤S1包括:
对数据集进行颅骨剥离和中线矫正;
使用连续仿射和可变形对称微分同形图像配准将手动标记后的数据集配准;
进行空间归一化,通过B样条插值变换得到大脑动脉概率密度图;
在CTA图像空间内定义与手动标记大脑半球图;
将二值脑掩模、大脑动脉概率密度图和半球图相应变换到每张CTA图像空间进行掩模;
使用最大最小值归一化对CTA图像进行归一化。
优选的,所述步骤S2包括:
对CTA图像进行解剖图谱脑区划分;
对CTA图像进行功能图谱脑区划分;
对各脑区进行权重赋值;
获得加权脑区划分后的CTA图像。
优选的,所述步骤S3包括:
获取预处理后CTA图像;
用3×3×3的正方形结构元素对人工标注的每一条单像素中心线进行扩展;
将训练图像输入网络模型,该模型包括编码器和解码器;
编码器对图像进行处理,每一步的操作包括两次用以提取特征的3×3×3卷积和一次进行下采样的2×2×2池化;
解码器对图像进行处理,每一步包括一次3×3×3的反卷积以进行上采样,并拼接上来自压缩路径的相同大小的特征图,最后进行两次卷积;
利用骰子分数衡量网络模型性能,并进行训练;
将测试图像输入网络模型;
网络模型输出测试CTA图像的分割结果。
优选的,所述步骤S4包括:
基于临床信息和大脑半球图,生成患侧二进制图和非患侧二进制图;
计算体积方面内的血管体积比率与最大值期相时间并加权:
其中,p代表大脑中的一个体素,HY是患侧大脑,HN是健侧大脑,W(Di)代表三级血管分区的权重值,TY代表患侧得到最大体积值的时相时间,TN代表健侧得到最大体积值的时相时间;
计算流速方面内的血液流速比率;
其中,VY和VN分别代表患侧和健侧的血管流速。
优选的,所述步骤S5包括:
输入新建成侧枝循环血管的CTA图像,将图片切成16个patch;
各个patch通过5个卷积层和1个全连接层,每个卷积层后进行批归一化和参数化修正线性单元激活;
各个patch的全连接层相连,通过附加全连接层;
通过线性激活输出层输出;
使用自适应矩估计优化器计算自适应学习率,训练模型;
输入待测量侧枝循环CTA图像;
输出侧枝循环血管厚度的测量值rs
优选的,所述步骤S6包括:
融合各特征值,构建特征向量f;
计算各图像特征向量f的中值;
输入特征向量f的中值,根据Tan评分标准和临床经验确定分类阈值;
训练支持向量分类器,确定特征向量f中值的最佳阈值;
输入完整的特征向量f,训练随机森林分类器;
训练输入完整特征向量的有序回归;
对多个模型进行集成学习;
对集成学习得到的评分阈值进行测试;
筛选准确率与灵敏度高的评分阈值范围;
确定脑侧枝评分标准,对侧枝循环CTA图像进行分类评分。
第二方面,提供了一种基于深度学习的CTA全自动侧枝循环评分***,所述***包括:
模块M1:获取大脑CTA图像和相应的二值掩模数据集,获取大脑动脉概率密度图和大脑半球图,对大脑CTA图像进行掩模和归一化的预处理;
模块M2:对CTA图像进行脑区划分,获取相关解剖图谱以及功能图谱,获取加权大脑各脑区掩模图;
模块M3:对掩模与归一化后的CTA图像进行血管分割;
模块M4:基于血管分割结果量化计算评分特征;
模块M5:基于卷积神经网络测量血管壁厚度的评分特征;
模块M6:构建多标签评分分类模型,对计算得到的特征向量进行分类评分。
优选的,所述模块M1包括:
对数据集进行颅骨剥离和中线矫正;
使用连续仿射和可变形对称微分同形图像配准将手动标记后的数据集配准;
进行空间归一化,通过B样条插值变换得到大脑动脉概率密度图;
在CTA图像空间内定义与手动标记大脑半球图;
将二值脑掩模、大脑动脉概率密度图和半球图相应变换到每张CTA图像空间进行掩模;
使用最大最小值归一化对CTA图像进行归一化。
优选的,所述模块M2包括:
对CTA图像进行解剖图谱脑区划分;
对CTA图像进行功能图谱脑区划分;
对各脑区进行权重赋值;
获得加权脑区划分后的CTA图像。
与现有技术相比,本发明具有如下的有益效果:
1、本发明中进行脑功能区的划分,对不同分区进行加权处理,实现了基于血流代偿途径的侧枝循环血管分级机制,并提高了小血管的分割精度;
2、在本发明中取血管体积、加权体积、血管流速为特征获得各期患侧与健侧的体积及流速比值,从而使得评分策略具有更广泛的适用范围与更客观的评价阈值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供基于深度学习的脑侧枝循环评分方法的流程图;
图2为本发明实施例U-net网络的结构示意图;
图3为本发明实施例提供脑侧枝循环评分方法的图示流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于深度学习的CTA全自动侧枝循环评分方法,参照图1所示,具体如下:
步骤S1:获取大脑CTA图像和相应的二值掩模数据集,需要获取大脑动脉概率密度图和大脑半球图,对大脑CTA图像进行掩模和归一化的预处理。具体地,首先对数据集进行颅骨剥离和中线矫正,使用连续仿射和可变形对称微分同形图像配准将手动标记后的数据集配准。其次,进行空间归一化,通过B样条插值变换得到大脑动脉概率密度图,在CTA图像空间内定义与手动标记大脑半球图,将二值脑掩模、大脑动脉概率密度图和半球图相应变换到每张CTA图像空间进行掩模,最后,使用最大最小值归一化对CTA图像进行归一化。本实施例中所述的B样条插值应用非常广,其中函数性质也是对称的,通过矩阵求逆,很容易得到系数矩阵。
步骤S2:对CTA图像进行脑区划分,获取automated anatomical labeling(AAL)解剖图谱,Eichhoff-Zilles(EZ)解剖图谱,Talairach and Tournoux(TT)解剖图谱,Harvard-Oxford(HO)解剖图谱,以及CC200功能图谱和CC400功能图谱,获取加权大脑各脑区掩模图。具体地,先对CTA图像进行解剖图谱脑区划分,再对CTA图像进行功能图谱脑区划分,其次,对各脑区进行权重赋值,最后获得加权脑区划分后的CTA图像。
参照图2和图3所示,步骤S3:对掩模与归一化后的CTA图像进行血管分割。
其中,图2是本发明中U-net网络模型的结构示意图,U-net网络模型包括:编码器、和解码器,编码器主要为卷积层,解码器为上采样层,每个卷积层得到的特征图都会连接到对应的上采样层,标准Dice分数作为损失函数。选择均方根传播优化器,初始学习率为0.1,每10个epoch将其减半,epoch设置为600。注释数据集被随机分为训练和验证数据集,比例为3:1。
具体地,先获取预处理后的CTA图像,再用3×3×3的正方形结构元素对人工标注的每一条单像素中心线进行扩展,将训练图像输入网络模型。编码器对图像进行处理,每一步的操作包括两次用以提取特征的3×3×3卷积和一次进行下采样(Downsampling)的2×2×2池化;解码器对图像进行处理,每一步包括一次3×3×3的反卷积以进行上采样(Upsampling),并拼接上来自压缩路径的相同大小的特征图(Feature Map),最后进行两次卷积。利用骰子分数衡量网络模型性能,并进行训练,再将测试图像输入网络模型,最后,网络模型输出测试CTA图像的分割结果。
步骤S4:基于血管分割结果量化计算评分特征。具体如下:
基于临床信息和大脑半球图,生成患侧二进制图和非患侧二进制图。
计算体积方面内的血管体积比率与最大值期相时间并加权:
其中,p代表大脑中的一个体素,HY是患侧大脑,HN是健侧大脑,W(Di)代表三级血管分区的权重值,TY代表患侧得到最大体积值的时相时间,TN代表健侧得到最大体积值的时相时间。
计算流速方面内的血液流速比率:
其中,VY和VN分别代表患侧和健侧的血管流速。
步骤S5:基于卷积神经网络测量血管壁厚度的评分特征。具体地,先输入新建成侧枝循环血管的CTA图像,将图片切成16个patch,各个patch通过5个卷积层和1个全连接层,每个卷积层后进行批归一化(BN)和参数化修正线性单元(PReLU)激活,各个patch的全连接层相连,通过附加全连接层,通过线性激活输出层输出,使用自适应矩估计(Adam)优化器计算自适应学习率,训练模型。输入待测量侧枝循环CTA图像,最后,输出侧枝循环血管厚度的测量值rs
步骤S6:构建多标签评分分类模型,对计算得到的特征向量进行分类评分。具体如下:融合各特征值,构建特征向量f,计算各图像特征向量f的中值,随后,输入特征向量f的中值,根据Tan评分标准和临床经验确定分类阈值。训练支持向量分类器,确定特征向量f中值的最佳阈值,再输入完整的特征向量f,训练随机森林分类器,训练输入完整特征向量的有序回归,对四个模型进行集成学习,对集成学习得到的评分阈值进行测试,筛选准确率与灵敏度高的评分阈值范围,最后,确定脑侧枝评分标准,对侧枝循环CTA图像进行分类评分。
接下来,对本发明进行更为具体的说明。
本发明提供的一种基于深度学习的CTA全自动侧枝循环评分方法,具体方案包括:
参照图1和图2所示,对大脑CTA图像进行预处理:
获取大脑CTA图像和相应的二值掩模数据集;根据AIF与VOF识别动静脉高峰期和静脉高峰期后2期的静脉晚期,进行颅骨剥离与中线矫正;获取大脑动脉概率密度图M和大脑半球图H;将二值脑掩模、大脑动脉概率密度图M和半球图H相应变换到每张CTA图像空间进行掩模,再使用最大最小值归一化对CTA图像进行归一化。
对CTA图像进行脑区划分:
通过人工标注在健康人群CTA轴位图像上(结合冠矢状位)根据解剖学图谱和功能图谱进行脑区划分,得到各脑区掩膜。根据各脑区的重要程度对各脑区给定权重,利用加权后的脑区掩模对CTA图像进行加权划分。
参照图2和图3,对掩模与归一化后的CTA图像进行血管分割:
采用深度为5的经典3D U-net网络结构对血管进行分级分割,该模型包括编码器和解码器。在编码器路径中,加入残差模块,避免随着编码器的深入引起梯度***,并得到更深入的特征值;在级联的解码器路径中,加入深度监督模块,避免每个卷积层中的信息丢失和梯度消失。该模型的输入数据是一个64×64×64个体素的立方体,使用分类器来输出三维体素的血管分级图U,根据血流代偿途径将血管分为I级侧支、II级侧支、III级侧支。其中,I级侧支是位于大脑底部的吻合动脉环(Willis环,Circle of Willis);II级侧支包括大脑前、中、后动脉远端之间,大脑后动脉和小脑主要动脉之间的颅内软脑膜动脉吻合通道,以及颈外动脉分支与颈内动脉分支之间的吻合通道;III级侧支指缺血组织周围新形成的毛细血管。
基于血管分割结果量化计算评分特征:
脑侧枝循环的人工主观评分是基于对患侧和非患侧可见血管的数量进行比较,全自动评分方法采用类似策略:综合使用U-net模型输出的血管分级图U和相应的大脑动脉概率密度图M和大脑半球图H来比较确定大脑的患侧和非患侧。基于临床症状已知患侧半球,基于此信息和大脑半球图H,生成患侧二进制图HY和非患侧二进制图HN。基于上述图像获得血管体积、加权体积、获得体积最大值期相时间比、血管流速等具体数值,计算各期患侧与非患侧的体积及流速等四个比值作为评分特征,克服了ASPECTS需要手动获取评分特征的问题:
1.体积:患侧与非患侧的血管数量有明显差异,通过患侧二进制图HY和非患侧二进制图HN获得,并对每个大脑分区(R1-R8)的血管体积比进行分级。假设在不受影响的半球中,血管体积的比率(受影响的体积除以不受影响的体积)应为0(在受影响的一侧看不到血管)与1(在两侧可见的同样数量的血管)之间的数值。利用患侧与非患侧血管体积最大值求和,再根据三级血管分区的权重值加权分别得到rV和rw
其中,p代表大脑中的一个体素,HY是患侧大脑,HN是健侧大脑,W(Di)代表三级血管分区的权重值,TY代表患侧得到最大体积值的时相时间,TN代表健侧得到最大体积值的时相时间。
2.期相:CTA需要精确的动脉期,一般要使用触发技术或预强化测得。而在在血供丰富区域造影剂容易聚集,由于血液流速等原因会造成患侧与非患侧显影体积最大值期相时间不同,因此将该时间的比值rT作为特征。
3.流速:患侧与非患侧的血液流速会有明显差异。利用患侧与非患侧血管血液流速的比值rv作为特征。
其中,VY和VN分别代表患侧和健侧的血管流速。
基于卷积神经网络测量血管壁厚度评分特征:
再灌注对于缺血半暗带脑组织的存活十分重要,但再灌注时可能会诱发出血转化。溶栓后出血转化(Hemorrhagic transformation,HT)是指在急性缺血性卒中患者中使用静脉溶栓治疗后一段时间内出现的出血性卒中。由于新建成的侧支循环血管壁发育不健全,再通时受血液冲击引起出血。本发明通过卷积神经网络测量侧枝循环血管壁厚度,并将其作为侧枝循环评分的一个特征。
该网络将图片切成16个patch,每个patch通过5个卷积层和1个全连接层,各个patch的全连接层相连并通过附加全连接层,最后通过线性激活输出层输出。除输出层外所有层都通过参数化修正线性单元(PReLU,Parametric Rectified Linear Unit)激活和批归一化(BN,Batch Normalization)对每一批数据进行归一化,并使用自适应矩估计(Adam)优化器计算每个参数的自适应学习率。
基于该网络可以精确地测量比体素更薄的血管壁厚,从而实现对侧枝循环血管壁厚度的测量,该厚度特征记为rs
多标签评分分类模型:
使用特征向量f=[rV,rw,rT,rv,rs]作为输入预测Tan评分(0,1,2,3),提出了四种确定评分类型阈值的方法进行集成学习,即临床定义阈值、支持向量分类器、随机森林分类器和有序回归分类器,并在训练完成后根据各个分类器的测试结果进行阈值筛选。
1.临床定义阈值:把特征向量f的中值作为输入,利用临床对脑侧枝循环评分的定义确定分类阈值。根据通用的临床知识和经验,根据Tan评分的标准对侧支状态进行分级,目的是为本发明提供一个可靠的侧支评分参考标准。
2.支持向量分类器:输入特征向量f的中值,使用带线性核的支持向量分类器(SVC),确定特征向量f中值的最佳阈值。利用SVC的间隔最大化对特征向量中值分类。通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。
3.随机森林分类器:随机森林是通过集成学习的思想将多棵树集成的一种算法,其优点在于能够处理具有高维特征的输入样本,而且不需要降维,且能够评估各个特征在分类问题上的重要性,因此使用完整的特征向量f作为输入。
4.有序回归分类器:本发明生成的特征向量本质上是一种定序变量,即介于连续变量和定类变量之间,在测量层次上被分为相对次序的不同类别、但并不连续。如果对定序变量使用多分类模型,那么会无视数据内在的排序从而导致排序信息的缺失,使得统计结果因为遗漏掉排序信息而丧失统计效率。如果使用普通线性回归模型,那么就是将定序变量视为连续变量处理,会导致人为的信息膨胀。因此,针对定序变量,需要采用对应的模型来拟合其两方面的性质,最常用的方法即有序回归模型。因此用输入完整特征向量的有序回归进行有序分类预测。
本发明实施例提供了一种基于深度学习的CTA全自动侧枝循环评分方法,本发明中进行脑功能区的划分,对不同分区进行加权处理,实现了基于血流代偿途径的侧枝循环血管分级机制,并提高了小血管的分割精度;同时,在本发明中取血管体积、加权体积、血管流速为特征获得各期患侧与健侧的体积及流速比值,从而使得评分策略具有更广泛的适用范围与更客观的评价阈值。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,包括:
步骤S1:获取大脑CTA图像和相应的二值掩模数据集,获取大脑动脉概率密度图和大脑半球图,对大脑CTA图像进行掩模和归一化的预处理;
步骤S2:对CTA图像进行脑区划分,获取相关解剖图谱以及功能图谱,获取加权大脑各脑区掩模图;
步骤S3:对掩模与归一化后的CTA图像进行血管分割;
步骤S4:基于血管分割结果量化计算评分特征;
步骤S5:基于卷积神经网络测量血管壁厚度的评分特征;
步骤S6:构建多标签评分分类模型,计算各CTA图像的特征向量,并对特征向量进行分类评分。
2.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S1包括:
步骤S1.1:对数据集进行颅骨剥离和中线矫正;
步骤S1.2:使用连续仿射和可变形对称微分同形图像配准将手动标记后的数据集配准;
步骤S1.3:进行空间归一化,通过B样条插值变换得到大脑动脉概率密度图;
步骤S1.4:在CTA图像空间内定义与手动标记大脑半球图;
步骤S1.5:将二值脑掩模、大脑动脉概率密度图和半球图相应变换到每张CTA图像空间进行掩模;
步骤S1.6:使用最大最小值归一化对CTA图像进行归一化。
3.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S2包括:
步骤S2.1:对CTA图像进行解剖图谱脑区划分;
步骤S2.2:对CTA图像进行功能图谱脑区划分;
步骤S2.3:对各脑区进行权重赋值;
步骤S2.4:获得加权脑区划分后的CTA图像。
4.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S3包括:
步骤S3.1:获取预处理后CTA图像;
步骤S3.2:用3×3×3的正方形结构元素对人工标注的每一条单像素中心线进行扩展;
步骤S3.3:将训练图像输入网络模型,该模型包括编码器和解码器;
步骤S3.4:编码器对图像进行处理,每一步的操作包括两次用以提取特征的3×3×3卷积和一次进行下采样的2×2×2池化;
步骤S3.5:解码器对图像进行处理,每一步包括一次3×3×3的反卷积以进行上采样,并拼接上来自压缩路径的相同大小的特征图,最后进行两次卷积;
步骤S3.6:利用骰子分数衡量网络模型性能,并进行训练;
步骤S3.7:将测试图像输入网络模型;
步骤S3.8:网络模型输出测试CTA图像的分割结果。
5.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S4包括:
步骤S4.1:基于临床信息和大脑半球图,生成患侧二进制图和非患侧二进制图;
步骤S4.2:计算体积方面内的血管体积比率与最大值期相时间并加权:
其中,代表大脑中的一个体素,/>是患侧大脑,/>是健侧大脑,/>代表三级血管分区的权重值,/>代表患侧得到最大体积值的时相时间,/>代表健侧得到最大体积值的时相时间;
步骤S4.3:计算流速方面内的血液流速比率;
其中,和/>分别代表患侧和健侧的血管流速。
6.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S5包括:
步骤S5.1:输入新建成侧枝循环血管的CTA图像,将图片切成16个patch;
步骤S5.2:各个patch通过5个卷积层和1个全连接层,每个卷积层后进行批归一化和参数化修正线性单元激活;
步骤S5.3:各个patch的全连接层相连,通过附加全连接层;
步骤S5.3:通过线性激活输出层输出;
步骤S5.4:使用自适应矩估计优化器计算自适应学习率,训练模型;
步骤S5.5:输入待测量侧枝循环CTA图像;
步骤S5.5:输出侧枝循环血管厚度的测量值
7.根据权利要求1所述的基于深度学习的CTA全自动侧枝循环评分方法,其特征在于,所述步骤S6包括:
步骤S6.1:融合各特征值,构建特征向量f;
步骤S6.2:计算各图像特征向量f的中值;
步骤S6.3:输入特征向量f的中值,根据Tan评分标准和临床经验确定分类阈值;
步骤S6.4:训练支持向量分类器,确定特征向量f中值的最佳阈值;
步骤S6.5:输入完整的特征向量f,训练随机森林分类器;
步骤S6.6:训练输入完整特征向量的有序回归;
步骤S6.7:对多个模型进行集成学习;
步骤S6.8:对集成学习得到的评分阈值进行测试;
步骤S6.9:筛选准确率与灵敏度高的评分阈值范围;
步骤S6.10:确定脑侧枝评分标准,对侧枝循环CTA图像进行分类评分。
8.一种基于深度学习的CTA全自动侧枝循环评分***,其特征在于,包括:
模块M1:获取大脑CTA图像和相应的二值掩模数据集,获取大脑动脉概率密度图和大脑半球图,对大脑CTA图像进行掩模和归一化的预处理;
模块M2:对CTA图像进行脑区划分,获取相关解剖图谱以及功能图谱,获取加权大脑各脑区掩模图;
模块M3:对掩模与归一化后的CTA图像进行血管分割;
模块M4:基于血管分割结果量化计算评分特征;
模块M5:基于卷积神经网络测量血管壁厚度的评分特征;
模块M6:构建多标签评分分类模型,计算各CTA图像的特征向量,并对特征向量进行分类评分。
9.根据权利要求8所述的基于深度学习的CTA全自动侧枝循环评分***,其特征在于,所述模块M1包括:
对数据集进行颅骨剥离和中线矫正;
使用连续仿射和可变形对称微分同形图像配准将手动标记后的数据集配准;
进行空间归一化,通过B样条插值变换得到大脑动脉概率密度图;
在CTA图像空间内定义与手动标记大脑半球图;
将二值脑掩模、大脑动脉概率密度图和半球图相应变换到每张CTA图像空间进行掩模;
使用最大最小值归一化对CTA图像进行归一化。
10.根据权利要求8所述的基于深度学习的CTA全自动侧枝循环评分***,其特征在于,所述模块M2包括:
对CTA图像进行解剖图谱脑区划分;
对CTA图像进行功能图谱脑区划分;
对各脑区进行权重赋值;
获得加权脑区划分后的CTA图像。
CN202110286102.4A 2021-03-17 2021-03-17 基于深度学习的cta全自动侧枝循环评分方法及*** Active CN112907563B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286102.4A CN112907563B (zh) 2021-03-17 2021-03-17 基于深度学习的cta全自动侧枝循环评分方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286102.4A CN112907563B (zh) 2021-03-17 2021-03-17 基于深度学习的cta全自动侧枝循环评分方法及***

Publications (2)

Publication Number Publication Date
CN112907563A CN112907563A (zh) 2021-06-04
CN112907563B true CN112907563B (zh) 2023-12-01

Family

ID=76105471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286102.4A Active CN112907563B (zh) 2021-03-17 2021-03-17 基于深度学习的cta全自动侧枝循环评分方法及***

Country Status (1)

Country Link
CN (1) CN112907563B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610800A (zh) * 2021-08-05 2021-11-05 西门子数字医疗科技(上海)有限公司 用于评估侧支循环的装置、非诊断方法及电子设备
CN113963001B (zh) * 2021-10-25 2023-05-23 中国人民解放军总医院第一医学中心 一种基于多时相cta的侧支循环血管定量方法
CN114119519A (zh) * 2021-11-16 2022-03-01 高峰 一种侧支循环评估方法
CN114332043B (zh) * 2021-12-31 2022-12-13 深圳市铱硙医疗科技有限公司 基于ct灌注影像的侧枝循环测量方法、装置、设备及介质
CN114463288B (zh) * 2022-01-18 2023-01-10 深圳市铱硙医疗科技有限公司 脑部医学影像评分方法、装置、计算机设备和存储介质
CN117291281A (zh) * 2023-08-29 2023-12-26 强联智创(北京)科技有限公司 评估脑部侧支循环的评估模型进行训练的方法及相关产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3316217A1 (en) * 2016-10-31 2018-05-02 Siemens Healthcare GmbH Deep learning based bone removal in computed tomography angiography
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及***
CN110934608A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期cta图像评估***及评估方法、可读存储介质
CN111369525A (zh) * 2020-03-02 2020-07-03 联影智能医疗科技(北京)有限公司 图像分析方法、设备和存储介质
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
WO2020144374A1 (en) * 2019-01-11 2020-07-16 Pie Medical Imaging Bv Methods and systems for dynamic coronary roadmapping
WO2020172188A1 (en) * 2019-02-19 2020-08-27 Cedars-Sinai Medical Center Systems and methods for calcium-free computed tomography angiography
CN111986101A (zh) * 2020-07-09 2020-11-24 浙江工业大学 一种脑血管图谱构建方法
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和***
CN112419282A (zh) * 2020-11-26 2021-02-26 中国科学院苏州生物医学工程技术研究所 脑部医学影像中动脉瘤的自动检测方法及***
US10950337B1 (en) * 2018-11-29 2021-03-16 Heuron Co., Ltd. Aspect score estimating system and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
EP3602394A1 (en) * 2017-03-24 2020-02-05 Pie Medical Imaging BV Method and system for assessing vessel obstruction based on machine learning
US11436732B2 (en) * 2019-03-12 2022-09-06 The General Hospital Corporation Automatic segmentation of acute ischemic stroke lesions in computed tomography data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3316217A1 (en) * 2016-10-31 2018-05-02 Siemens Healthcare GmbH Deep learning based bone removal in computed tomography angiography
CN108629784A (zh) * 2018-05-08 2018-10-09 上海嘉奥信息科技发展有限公司 一种基于深度学习的ct图像颅内血管分割方法及***
US10950337B1 (en) * 2018-11-29 2021-03-16 Heuron Co., Ltd. Aspect score estimating system and method
WO2020144374A1 (en) * 2019-01-11 2020-07-16 Pie Medical Imaging Bv Methods and systems for dynamic coronary roadmapping
WO2020172188A1 (en) * 2019-02-19 2020-08-27 Cedars-Sinai Medical Center Systems and methods for calcium-free computed tomography angiography
CN110934608A (zh) * 2019-10-31 2020-03-31 上海杏脉信息科技有限公司 脑卒中早期cta图像评估***及评估方法、可读存储介质
CN111369525A (zh) * 2020-03-02 2020-07-03 联影智能医疗科技(北京)有限公司 图像分析方法、设备和存储介质
CN111415361A (zh) * 2020-03-31 2020-07-14 浙江大学 基于深度学习的胎儿大脑脑龄估计和异常检测方法及装置
CN111986101A (zh) * 2020-07-09 2020-11-24 浙江工业大学 一种脑血管图谱构建方法
CN112101523A (zh) * 2020-08-24 2020-12-18 复旦大学附属华山医院 基于深度学习的cbct图像跨模态预测cta图像的卒中风险筛查方法和***
CN112419282A (zh) * 2020-11-26 2021-02-26 中国科学院苏州生物医学工程技术研究所 脑部医学影像中动脉瘤的自动检测方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fully automated detection and segmentation of intracranial aneurysms in subarachnoid hemorrhage on CTA using deep learning;Rahil Shahzad et.al;《nature》;全文 *
基于深度学习的脑部CTA图像血管分割方法研究;刘国玮;《中国优秀硕士学位论文全文数据库(信息科技辑)》(第03期);全文 *
基于深度学习的计算机体层摄影血管造影颈动脉斑块分割初步研究;吴秋雯等;《上海医学》;第43卷(第05期);280-283 *

Also Published As

Publication number Publication date
CN112907563A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112907563B (zh) 基于深度学习的cta全自动侧枝循环评分方法及***
US20220284584A1 (en) Computerised tomography image processing
Chen et al. 3D intracranial artery segmentation using a convolutional autoencoder
CN114926477B (zh) 一种基于深度学习的脑肿瘤多模态mri影像分割方法
Francia et al. Chaining a U-net with a residual U-net for retinal blood vessels segmentation
CN110415234A (zh) 基于多参数磁共振成像的脑部肿瘤分割方法
CN114881968A (zh) 基于深度卷积神经网络的octa图像血管分割方法、设备及介质
Wang et al. Automatic real-time CNN-based neonatal brain ventricles segmentation
Savaş et al. Comparison of deep learning models in carotid artery Intima-Media thickness ultrasound images: CAIMTUSNet
Šušteršič et al. A deep learning model for automatic detection and classification of disc herniation in magnetic resonance images
Zhang et al. Machine learning model comparison for automatic segmentation of intracoronary optical coherence tomography and plaque cap thickness quantification
Gayathri et al. Fetal brain segmentation using improved maximum entropy threshold
Lu et al. Data enhancement and deep learning for bone age assessment using the standards of skeletal maturity of hand and wrist for chinese
Tursynova et al. Deep learning-enabled brain stroke classification on computed tomography images
AU3720700A (en) 3-d shape measurements using statistical curvature analysis
Abid et al. Detection of lungs cancer through computed tomographic images using deep learning
Veeturi et al. Radiomics Features on MRI are Associated with High Risk Intracranial Aneurysms
Apaydin et al. Deep convolutional neural networks using U-net for automatic intervertebral disc segmentation in axial MRI
Nugroho et al. Thyroid nodules categorization based on margin features using deep learning
Banerjee et al. Segmentation of intracranial aneurysm remnant in MRA using dual-attention atrous net
GB2599682A (en) Aortic aneurysm growth rate prediction from geometric analysis
Rajendran et al. An Ensemble Deep Learning Network in Classifying the Early CT Slices of Ischemic Stroke Patients.
Ilyasova et al. Biomedical data analysis based on parallel programming technology application for computation features' effectiveness
KR102655827B1 (ko) 딥러닝을 활용한 뇌 mri 데이터로부터 뇌 영역 분할 시스템 및 그 방법
Mahyoub et al. Brain Tumor Segmentation in Fluid-Attenuated Inversion Recovery Brain MRI using Residual Network Deep Learning Architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant