CN113469258B - 基于两阶段cnn的x射线血管造影图像匹配方法和*** - Google Patents
基于两阶段cnn的x射线血管造影图像匹配方法和*** Download PDFInfo
- Publication number
- CN113469258B CN113469258B CN202110772730.3A CN202110772730A CN113469258B CN 113469258 B CN113469258 B CN 113469258B CN 202110772730 A CN202110772730 A CN 202110772730A CN 113469258 B CN113469258 B CN 113469258B
- Authority
- CN
- China
- Prior art keywords
- image
- contrast
- branch
- matching
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000002583 angiography Methods 0.000 title claims abstract description 59
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000010998 test method Methods 0.000 claims description 3
- 238000002601 radiography Methods 0.000 abstract description 4
- 230000007423 decrease Effects 0.000 abstract 1
- 210000004204 blood vessel Anatomy 0.000 description 20
- 230000008569 process Effects 0.000 description 10
- 239000002872 contrast media Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 210000000702 aorta abdominal Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 208000019155 Radiation injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 231100000857 poor renal function Toxicity 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属于图像识别领域，具体涉及了一种基于两阶段CNN的X射线血管造影图像匹配方法和***，旨在解决现有技术中无法获取精确的针对冠状动脉的血管造影图像并与无造影的图像进行匹配的问题。本发明包括：获取包含冠状动脉的造影图像序列；通过轻量化分类CNN网络将造影图像序列分为有造影图像集和无造影图像集；基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；通过轻量化匹配CNN网络，从所述有造影图像库中搜索出无造影图像的匹配造影图像。本发明使不匹配数据对的欧氏距离变大，使匹配数据对的欧氏距离变小，从而提高了无造影图像和造影图像匹配的准确性。
Description
技术领域
本发明属于图像识别领域，具体涉及了一种基于两阶段CNN的X射线血管造影图像匹配方法和***。
背景技术
在血管内介入手术中，由于人体血管组织会被X射线穿透，从而在X射线造影图像中不可见，为确定导管或其他介入器械与血管的相对位姿，医生需要向血管内注射密度较大的造影剂来显示血管形状。由于冠状动脉压强大、血液流速快，会在几秒内迅速冲刷掉注入的造影剂，在临床手术中通常会在每次造影后选择一帧X射线造影血管图像固定作为术中参考图像。在呼吸和心跳的影响下，冠状动脉会发生剧烈的弹性形变，因此医生必须频繁注入造影剂来更新参考图像。
然而，注入过量的造影剂会给患者的肾脏造成额外的***负担，对于肾脏功能较弱的患者甚至可能造成一定的身体损害。另一方面，长期暴露在X射线辐射中的医生癌症患病率会上升，为了防止辐射带来的伤害，医生需要穿着沉重的铅皮防护服进行手术，长时间的负重站立会对医生的身体造成损害。
如果能从少量几次造影视频序列中捕获并分类出在心跳影响下的X射线血管造影图像和无造影图像，分别提取有造影和无造影图像中的显著特征，并能从这些特征中寻找相似信息，从而训练一个可以匹配发生相同形变的X射线造影图像和无造影图像的模型，就能在手术中使用该模型将预先提取的X射线造影图像与术中实时的无造影图像进行匹配。
目前针对血管匹配的相关研究极少，且其中大多是研究眼部巩膜血管和腹主动脉的匹配问题。眼部巩膜毛细血管呈红色，无需造影剂也可以清晰地看到血管结构；腹主动脉距离心脏较远，发生的位移和形变都非常微小，且其血管相比于冠状动脉直径更粗，因此发生的形变相较于血管直径几乎可以忽略不计。因此，本发明提出的针对冠状动脉的血管造影图像匹配研究更加复杂困难，具有很强的创新性。
发明内容
为了解决现有技术中的上述问题，即现有技术中无法获取精确的针对冠状动脉的血管造影图像并与无造影的图像进行匹配的问题，本发明提供了一种基于两阶段CNN的X射线血管造影图像匹配方法，具体包括：
步骤S100，获取包含冠状动脉的造影图像序列；
步骤S200，通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
在一些优选的实施方式中，所述轻量化分类匹配CNN网络的分类分支，基于Xception网络改进，通过并行三通道预处理方法，对输入图像进行去噪并分类为有造影图像集和无造影图像集。
在一些优选的实施方式中，所述并行三通道预处理方法为，将输入图像的三个通道分别进行高斯滤波、均值滤波和直方图均衡化处理，再进行分类处理。
在一些优选的实施方式中，所述轻量化分类匹配CNN网络的匹配分支，基于伪孪生网络的双loss辅助训练网络构建，具体包括主路和辅助路；
所述主路包括分支前部分和伪孪生稠密模块；
所述分支前部分包括第一分支前部分和第二分支前部分，所述第一分支前部分和第二分支前部分均为结构相同但不共享权值，所述第一分支前部分的结构与VGG19的前三个卷积模块相同；
所述伪孪生稠密模块，为Pseudo-Siamese Dense BLOCK网络；
所述辅助路包括分支后部分和辅助路共享部分；
所述分支后部分包括第一分支后部分和第二分支后部分，所述第一分支后部分和第二分支后部分结构相同但不共享权值，所述第一分支后部分的结构与VGG19的后两个卷积模块相同；第一分支后部分和第二分支后部分分别与第一分支前部分的输出和第二分支前部分的输出相连；所述第一分支后部分和第二分支后部分的输出相连，并连接卷积层和2个全连接层。
在一些优选的实施方式中，所述轻量化分类匹配CNN网络的匹配分支，其测试方法为：
步骤A100，将所述无造影图像集和有造影图像库中的有造影图像序列分别输入第一分支前部分和第二分支前部分，分别通过第一分支前部分和第二分支前部分获得无造影特征图像和有造影特征图像；
步骤A200，将所述无造影特征图像和有造影特征图像通过最大池化操作后送入所述伪孪生稠密模块；
步骤A300，所述伪孪生稠密模块输出所述无造影特征图像和有造影特征图像的欧式距离；
步骤A400，欧氏距离最小的一组无造影特征图像和有造影特征图像对应的有造影图像即为匹配造影图像。
在一些优选的实施方式中，所述轻量化分类匹配CNN网络的匹配分支，其训练方法为：
步骤B100，获取带有标签的造影图像训练序列和无造影图像训练序列；
步骤B200，基于所述造影图像训练序列和无造影图像训练序列，通过如步骤A100的方法获取获取无造影特征图像和有造影特征图像；并通过步骤A100-步骤A400的方法获取匹配造影图像；
步骤B300，基于所述无造影特征图像和有造影特征图像，通过所述第一分支后部分和第二分支后部分生成辅助路无造影特征图和辅助路有造影特征图；
步骤B400，将所述辅助路无造影特征图和辅助路有造影特征图合并并通过辅助路共享部分生成二分类结果；
步骤B500，基于所述二分类结果，通过反向传播优化方法调整辅路参数直至交叉熵损失函数低于预设的阈值；
基于所述匹配造影图像，通过反向传播优化方法调整主路参数直至对比损失函数低于预设的阈值；
所述交叉熵损失函数和所述对比损失函数均低于预设阈值时，获得训练好的轻量化分类匹配CNN网络的匹配分支。
在一些优选的实施方式中，所述交叉熵损失函数为：
其中，yi表示第i个样本的标签，pi表示第i个样本匹配正确的概率，N表示样本总数，i表示样本序号。
在一些优选的实施方式中，所述对比损失函数L为：
D(X1，X2)＝‖G(X1)-G(X2)‖2
其中，对比损失函数L表示所有数据对的单独损失函数l之和，P表示数据对的数量，X1和X2分别表示输入的无造影图像集和有造影图像序列，Y表示样本的标签，i表示样本序号，G表示每个输入通过所在主路后的输出，D表示两个输入通过网络后的输出向量之间的欧式距离，m为预设的贡献阈值。
在一些优选的实施方式中，所述稠密模块，将所述无造影特征图像和有造影特征图像通过最大池化后在通道维度拼接，通过一个卷积和ReLU激活后生成拼接特征图像，再分为结构相同但不共享权值的第一稠密模块支路和第二稠密模块支路，第一稠密模块支路和第二稠密模块支路将所述拼接特征图像进行分级稠密连接，第一稠密模块支路还将所述无造影特征图像参与分级稠密连接，第二稠密模块支路还想所述有造影特征图像参与分级稠密连接，获得稠密连接的无造影图像特征向量和稠密连接的有造影图像特征向量。
本发明的另一方面，提出了一种基于两阶段CNN的X射线血管造影图像匹配***，所述***包括图像获取单元、图像分类单元、有造影图像序列提取单元和图像匹配单元；
所述图像获取单元，配置为获取包含冠状动脉的造影图像序列；
所述图像分类单元，配置为通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
所述有造影图像序列提取单元，配置为基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
所述图像匹配单元，配置为基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
本发明的有益效果：
(1)本发明基于两阶段CNN的X射线血管造影图像匹配方法先将完整造影过程图像序列通过分类匹配CNN网络的分类分支和分类匹配CNN网络的匹配分支，使不匹配数据对的欧氏距离变大，使匹配数据对的欧氏距离变小，从而提高了无造影图像和造影图像匹配的准确性。
(2)本发明基于两阶段CNN的X射线血管造影图像匹配方法通过三通道预处理方法，而非单独地通过三种方法进行预处理，全面地滤除不同的噪声且不会对最后的分类任务产生较大影响，进而提高了无造影图像和造影图像匹配的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例基于两阶段CNN的X射线血管造影图像匹配方法的流程示意图；
图2是本发明实施例基于两阶段CNN的X射线血管造影图像匹配方法轻量化匹配CNN网络的结构示意图；
图3是本发明实施例基于两阶段CNN的X射线血管造影图像匹配方法伪孪生稠密模块的结构示意图；
图4是本发明实施例基于两阶段CNN的X射线血管造影图像匹配方法的匹配效果图；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于两阶段CNN的X射线血管造影图像匹配方法，本方法先将完整造影过程图像序列通过分类匹配CNN网络的分类分支和分类匹配CNN网络的匹配分支，使不匹配数据对的欧氏距离变大，使匹配数据对的欧氏距离变小，从而提高了无造影图像和造影图像匹配的准确性。
本发明的一种基于两阶段CNN的X射线血管造影图像匹配方法，包括：
步骤S100，获取包含冠状动脉的造影图像序列；
步骤S200，通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
为了更清晰地对本发明基于两阶段CNN的X射线血管造影图像匹配方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于两阶段CNN的X射线血管造影图像匹配方法，包括步骤S100-步骤S500，各步骤详细描述如下：
步骤S100，获取包含冠状动脉的造影图像序列；
步骤S200，通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
在本实施例中，所述轻量化分类匹配CNN网络的分类分支，基于Xception网络改进，通过并行三通道预处理方法，对输入图像进行去噪并分类为有造影图像集和无造影图像集。
在本实施例中，所述并行三通道预处理方法为，将输入图像的三个通道分别进行高斯滤波、均值滤波和直方图均衡化处理，再进行分类处理。
由于输入图像是灰度图，三个通道的像素值完全相同，通过本发明提出的并行三通道预处理方法能够全面地滤除不同的噪声，虽然其中的高斯滤波和均值滤波都会对血管图像的边缘造成模糊，但边缘特征的缺失不会对本步骤的分类任务产生过大影响，针对本步骤而言仍然极大地提高了分类的准确性。
步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。本实施例中将每张无造影图像都匹配有造影图像序列，匹配过程中对于无造影图像的顺序与是否连续不做限定。本发明的匹配效果如图4所示。
在本实施例中，所述轻量化分类匹配CNN网络的匹配分支如图2所示，1、2、3、4、5和6为主路，7、8、9、10、11和12为辅助路，2和3之间、3和7之间、7和8之间、3和4之间的连接为Maxpooling，9和10之间、4和5之间的连接为Global Average Pooling；基于伪孪生网络的双loss辅助训练网络构建，本发明中所有优选的卷积运算可采用3×3卷积核的卷积实现，具体包括主路和辅助路；
所述主路包括分支前部分和伪孪生稠密模块；
所述分支前部分包括第一分支前部分和第二分支前部分，所述第一分支前部分和第二分支前部分均为结构相同但不共享权值，所述第一分支前部分的结构与VGG19的前三个卷积模块相同；采用结构相同但不共享权值的网络能够更好地捕捉到差异较大的图像之间的关联特征。
所述伪孪生稠密模块，为Pseudo-Siamese Dense BLOCK网络；
所述辅助路包括分支后部分和辅助路共享部分；
所述分支后部分包括第一分支后部分和第二分支后部分，所述第一分支后部分和第二分支后部分结构相同但不共享权值，所述第一分支后部分的结构与VGG19的后两个卷积模块相同；第一分支后部分和第二分支后部分分别与第一分支前部分的输出和第二分支前部分的输出相连；所述第一分支后部分和第二分支后部分的输出相连，并连接卷积层和2个全连接层。
在本实施例中，轻量化匹配网络在测试阶段只通过主路生成无造影图像与造影图像序列的欧式距离，而在训练阶段在主路和辅路中采用双路反向传播的方法进行训练。
在本实施例中，所述轻量化分类匹配CNN网络匹配分支，其测试方法为：
步骤A100，将所述无造影图像集和有造影图像库中的有造影图像序列分别输入第一分支前部分和第二分支前部分，分别通过第一分支前部分和第二分支前部分获得无造影特征图像和有造影特征图像；
步骤A200，将所述无造影特征图像和有造影特征图像通过最大池化操作后送入所述伪孪生稠密模块；
步骤A300，所述为孪生稠密模块输出所述无造影特征图像和有造影特征图像的欧式距离；
在本实施例中，所述稠密模块，如图3所示，将所述无造影特征图像和有造影特征图像通过最大池化后在通道维度拼接，通过一个卷积和ReLU激活后生成拼接特征图像，再分为结构相同但不共享权值的第一稠密模块支路和第二稠密模块支路，第一稠密模块支路和第二稠密模块支路将所述拼接特征图像进行分级稠密连接，第一稠密模块支路还将所述无造影特征图像参与分级稠密连接，第二稠密模块支路还想所述有造影特征图像参与分级稠密连接，获得稠密连接的无造影图像特征向量和稠密连接的有造影图像特征向量。图3中的同一曲线箭头连接的层表示对同一特征图进行稠密连接。
步骤A400，欧氏距离最小的一组无造影特征图像和有造影特征图像对应的有造影图像即为匹配造影图像。
在本实施例中，所述轻量化分类匹配CNN网络的匹配分支，其训练方法为：
步骤B100，获取带有标签的造影图像训练序列和无造影图像训练序列；
步骤B200，基于所述造影图像训练序列和无造影图像训练序列，通过如步骤A100的方法获取获取无造影特征图像和有造影特征图像；并通过步骤A100-步骤A400的方法获取匹配造影图像；
步骤B300，基于所述无造影特征图像和有造影特征图像，通过所述第一分支后部分和第二分支后部分生成辅助路无造影特征图和辅助路有造影特征图；
步骤B400，将所述辅助路无造影特征图和辅助路有造影特征图合并并通过辅助路共享部分生成二分类结果，所述二分类结果表示匹配正确或错误；
步骤B500，基于所述二分类结果，通过反向传播优化方法调整辅路参数和分支前参数直至交叉熵损失函数低于预设的阈值；
在本实施例中，所述交叉熵损失函数如公式(1)所示：
其中，yi表示第i个样本的标签，pi表示第i个样本匹配正确的概率，N表示样本总数，i表示样本序号。
基于所述匹配造影图像，通过反向传播优化方法调整主路参数直至对比损失函数低于预设的阈值；
在本实施例中，所述对比损失函数L为：
D(X1，X2)＝‖G(X1)-G(X2)‖2 (4)
其中，对比损失函数L表示所有数据对的单独损失函数l之和，P表示数据对的数量，X1和X2分别表示输入的无造影图像和有造影图像序列，Y表示样本的标签，i表示样本序号，G表示每个输入通过所在主路后的输出，D表示两个输入通过网络后的输出向量之间的欧式距离，m为预设的贡献阈值。公式(3)表示l的具体内容，第一项加和项表示针对匹配数据对的损失函数，为两个输入对应输出向量之间的欧氏距离的平方，输出之间距离越小，损失函数越小；第二项加和项是针对不匹配数据的损失函数，为预设的贡献阈值m与欧式距离之差的平方或0，输出之间距离越大，损失函数越小。设置贡献阈值m的目的是相当于设定一个半径，使得只有欧氏距离在一定范围内的不匹配数据对才能对模型优化有贡献。公式(4)的D表示两个输入通过网络后的输出向量之间的欧式距离，G表示每个输入通过所在分支前部分后的输出，通过本损失函数，可以使得匹配数据对的欧氏距离变小，不匹配数据对的欧氏距离变大，进而增加了匹配的准确性。
所述交叉熵损失函数和所述对比损失函数均低于预设阈值时，获得训练好的轻量化分类匹配CNN网络的匹配分支。
本发明基于两阶段CNN的X射线血管造影图像匹配方法，是目前首次提出的对血管造影图像进行匹配的方法，目前rank1准确率可达59.28％，rank3准确率可达91.00％，rank1图像导丝在血管内的召回率可以达到78.22％，豪斯多夫距离可达4.80341，实现了较好的结果。
本实施例采用的优化器是Adam优化算法，参数为0.001。每次训练模型的batchsize为10，epoch为100。
为了评估所选网络结构对于本发明所述分类阶段方法的贡献，本实施例对不同的主干网络进行了对比实验，结果如表1所示。表1中所进行的实验均未进行任何图像预处理。
表1 Xception与其他网络的性能对比统计表
从表1中可以看出，Xception网络不仅分类的准确率和精确度都最高，显存占用还在三者中最小。VGG19的分类性能虽然接近Xception，但显存占用超过了Xception的1.5倍。在模型大小具有显著优势的情况下，Xception还保持了较强的分类性能和较快的收敛速度，是解决分类阶段任务的理想方案。
为了验证所采用图像预处理方法的有效性，本实施例对不同的图像预处理方法进行了对比，结果如表2所示。
表2不同预处理方法下的模型性能对比统计表
从表2中可以看出，采用三通道预处理方法比起不采用预处理方法的模型能够提升实验结果，而Frangi滤波和CLAHE反而使得结果变差。
本发明提出的两阶段CNN中，匹配阶段是一个基于伪孪生网络的双loss辅助训练网络。该网络的主路上包括一个伪孪生稠密模块，采用对比损失函数，辅助路由一些卷积层组成，采用交叉熵损失函数。训练时采用双路反向传播，测试时仅采用主路网络。
孪生网络由两个完全相同且共享权值的CNN构成，而伪孪生网络由两个完全相同但不共享权值的CNN构成。由于本阶段匹配CNN的输入是两张对应的有造影图像和无造影图像，输入图像之间有一定差异，故采用伪孪生网络结构，从而能够更好地捕捉到差异较大的图像之间的关联特征。
由于孪生网络的特殊结构，其模型大小是单独一个主干网络大小的两倍，故而不宜选用过深的卷积神经网络，以免模型太大，导致程序运算速度太慢甚至硬件条件无法支持的情况出现。VGGNet是一个结构简单但性能较强的经典卷积神经网络，所采用的卷积核都是3×3大小，比起较大的卷积核能够捕获更有效的信息且计算量较小。在所提出的双loss辅助训练网络中，所有卷积运算均采用3×3卷积核，分支前的三个卷积模块结构同VGG19的前三个卷积模块，分支后辅助路的两个卷积模块同VGG19的后两个卷积模块。
在本任务中，参照行人重识别问题，可以统计匹配的rank-n正确率。将所有输入图像对的特征向量的欧氏距离按升序排序，rank-n正确率即为欧氏距离最小的前n张图像中有标记为匹配的图像的预测正确率。然而，由于待匹配图像都是从视频序列里导出的连续帧，彼此之间形态和位置差异很小，因此在本任务中只要预测图像的前后相邻帧中有标记匹配图像，也认为预测正确。
由于血管内介入手术通常都会先放入导丝做后续介入器械的指引，且导丝只能在血管内移动，因此采用“导丝在血管内的占比”作为一项评价指标。召回率(Recall)是用于评价正样本中有多少被预测正确的指标，在本任务中被预测正确的正样本即导丝占预测图像中血管部分的面积，因此可以用“导丝与血管重合的面积占导丝总面积的比例”作为本任务中的召回率。导丝与血管重合的面积占导丝总面积的比例越大，匹配效果越好。当Recall＝1时，代表导丝全部位于血管内，匹配效果最好；当Recall＝0时，代表导丝全部位于血管外，匹配效果最差。
豪斯多夫距离(Hausdorff Distance)是用于度量空间中真子集之间的距离的指标，它可以表明两个点集之间的最大不匹配程度。相比于欧氏距离，豪斯多夫距离更加灵活、也更适应于本任务中点集形状不规则的情况。在本实验中通过统计无造影图像中导丝与X射线造影图像中血管之间的豪斯多夫距离，来判断两幅图的匹配情况。豪斯多夫距离越小，说明两幅图中导丝和血管的位置越吻合，两幅图更可能处于同一心跳周期状态中，即两幅图更匹配。
为了评估所述网络结构的有效性和优越性，本实施例中将本发明提出的双loss辅助训练网络与孪生网络、伪孪生网络和结合了孪生网络和伪孪生网络的三分支网络TS-Net进行对比，结果如表3所示。
表3对比实验结果
其中，Siamese即为孪生网络，Pseudo-Siamese为伪孪生网络。
从表3中可以清楚地看出，本发明提出的方法在各项指标上均显著优于几种经典结构，其中rank-1准确率能够提升20％以上。
比于重复注射造影剂获取当前血管造影图像，再固定某一帧图像作为参考图像的传统方法，该模型使医生在整个手术过程中都可以参考动态的血管图像，相比于某一帧静态图像会更准确、更方便，有效解决了医生的“盲操作”困难，提高手术效率，进而减少医生受到的辐射伤害和防护服造成的脊柱损害。同时，对患者来说，该方法由于能够减少介入手术中造影剂的使用次数和用量，所以将会减少患者术后产生的副作用，对患者的身体健康也有更多保障。因此，本发明在临床应用上认可度很高，具有重要的临床实用意义。
本发明第二实施例的基于两阶段CNN的X射线血管造影图像匹配***，所述***包括图像获取单元、图像分类单元、有造影图像序列提取单元和图像匹配单元；
所述图像获取单元，配置为获取包含冠状动脉的造影图像序列；
所述图像分类单元，配置为通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
所述有造影图像序列提取单元，配置为基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
所述图像匹配单元，配置为基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于两阶段CNN的X射线血管造影图像匹配***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于两阶段CNN的X射线血管造影图像匹配方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于两阶段CNN的X射线血管造影图像匹配方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述方法包括：
步骤S100，获取包含冠状动脉的造影图像序列；
步骤S200，通过轻量化分类匹配CNN网络的分类分支，将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
步骤S300，基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为有造影图像库；
步骤S400，基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
2.根据权利要求1所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化分类匹配CNN网络的分类分支，基于Xception网络改进，通过并行三通道预处理方法，对输入图像进行去噪并分类为有造影图像集和无造影图像集。
3.根据权利要求2所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述并行三通道预处理方法为，将输入图像的三个通道分别进行高斯滤波、均值滤波和直方图均衡化处理，再进行分类处理。
4.根据权利要求2所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化分类匹配CNN网络的匹配分支，基于伪孪生网络的双loss辅助训练网络构建，具体包括主路和辅助路；
所述主路包括分支前部分和伪孪生稠密模块；
所述分支前部分包括第一分支前部分和第二分支前部分，所述第一分支前部分和第二分支前部分均为结构相同但不共享权值，所述第一分支前部分的结构与VGG19的前三个卷积模块相同；
所述伪孪生稠密模块，为Pseudo-Siamese Dense BLOCK网络；
所述辅助路包括分支后部分和辅助路共享部分；
所述分支后部分包括第一分支后部分和第二分支后部分，所述第一分支后部分和第二分支后部分结构相同但不共享权值，所述第一分支后部分的结构与VGG19的后两个卷积模块相同；第一分支后部分和第二分支后部分分别与第一分支前部分的输出和第二分支前部分的输出相连；所述第一分支后部分和第二分支后部分的输出相连，并连接卷积层和2个全连接层。
5.根据权利要求4所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化分类匹配CNN网络的匹配分支，其测试方法为：
步骤A100，将所述无造影图像集和有造影图像库中的有造影图像序列分别输入第一分支前部分和第二分支前部分，分别通过第一分支前部分和第二分支前部分获得无造影特征图像和有造影特征图像；
步骤A200，将所述无造影特征图像和有造影特征图像通过最大池化操作后送入所述伪孪生稠密模块；
步骤A300，所述伪孪生稠密模块输出所述无造影特征图像和有造影特征图像的欧式距离；
步骤A400，欧氏距离最小的一组无造影特征图像和有造影特征图像对应的有造影图像即为匹配造影图像。
6.根据权利要求5所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述轻量化分类匹配CNN网络的匹配分支，其训练方法为：
步骤B100，获取带有标签的造影图像训练序列和无造影图像训练序列；
步骤B200，基于所述造影图像训练序列和无造影图像训练序列，通过如步骤A100的方法获取获取无造影特征图像和有造影特征图像；并通过步骤A100-步骤A400的方法获取匹配造影图像；
步骤B300，基于所述无造影特征图像和有造影特征图像，通过所述第一分支后部分和第二分支后部分生成辅助路无造影特征图和辅助路有造影特征图；
步骤B400，将所述辅助路无造影特征图和辅助路有造影特征图合并并通过辅助路共享部分生成二分类结果；
步骤B500，基于所述二分类结果，通过反向传播优化方法调整辅路参数直至交叉熵损失函数低于预设的阈值；
基于所述匹配造影图像，通过反向传播优化方法调整主路参数直至对比损失函数低于预设的阈值；
所述交叉熵损失函数和所述对比损失函数均低于预设阈值时，获得训练好的轻量化分类匹配CNN网络的匹配分支。
7.根据权利要求6所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述交叉熵损失函数为：
其中，yi表示第i个样本的标签，pi表示第i个样本匹配正确的概率，N表示样本总数，i表示样本序号。
8.根据权利要求6所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述对比损失函数L为：
D(X1，X2)＝||G(X1)-G(X2)||2
其中，对比损失函数L表示所有数据对的单独损失函数l之和，P表示数据对的数量，X1和X2分别表示输入的无造影图像集和有造影图像序列，Y表示样本的标签，i表示样本序号，G表示每个输入通过所在主路后的输出，D表示两个输入通过网络后的输出向量之间的欧式距离，G伪孪生稠密模块表示每个输入通过所在分支前部分后的输出，m为预设的贡献阈值。
9.根据权利要求5所述的基于两阶段CNN的X射线血管造影图像匹配方法，其特征在于，所述稠密模块，将所述无造影特征图像和有造影特征图像通过最大池化后在通道维度拼接，通过一个卷积和ReLU激活后生成拼接特征图像，再分为结构相同但不共享权值的第一稠密模块支路和第二稠密模块支路，第一稠密模块支路和第二稠密模块支路将所述拼接特征图像进行分级稠密连接，第一稠密模块支路还将所述无造影特征图像参与分级稠密连接，第二稠密模块支路还想所述有造影特征图像参与分级稠密连接，获得稠密连接的无造影图像特征向量和稠密连接的有造影图像特征向量。
10.一种基于两阶段CNN的X射线血管造影图像匹配***，其特征在于，所述***包括图像获取单元、图像分类单元、有造影图像序列提取单元和图像匹配单元；
所述图像获取单元，配置为获取包含冠状动脉的造影图像序列；
所述图像分类单元，配置为通过轻量化分类匹配CNN网络的分类分支将所述包含冠状动脉的造影图像序列分为有造影图像集和无造影图像集；
所述有造影图像序列提取单元，配置为基于所述有造影图像集，提取至少包含一个心跳周期的序列，获得有造影图像序列，将提取出的所有有造影图像序列保存为存入有造影图像库；
所述图像匹配单元，配置为基于所述无造影图像集，选取一张无造影图像通过轻量化分类匹配CNN网络的匹配分支，从所述有造影图像库中搜索出所述无造影图像集的匹配造影图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772730.3A CN113469258B (zh) | 2021-07-08 | 2021-07-08 | 基于两阶段cnn的x射线血管造影图像匹配方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110772730.3A CN113469258B (zh) | 2021-07-08 | 2021-07-08 | 基于两阶段cnn的x射线血管造影图像匹配方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469258A CN113469258A (zh) | 2021-10-01 |
| CN113469258B true CN113469258B (zh) | 2022-03-11 |
Family
ID=77879180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110772730.3A Active CN113469258B (zh) | 2021-07-08 | 2021-07-08 | 基于两阶段cnn的x射线血管造影图像匹配方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469258B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198184A (zh) * | 2018-01-09 | 2018-06-22 | 北京理工大学 | 造影图像中血管分割的方法和*** |
| CN111192320A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影医疗科技有限公司 | 一种位置信息确定方法、装置、设备和存储介质 |
| CN112184690A (zh) * | 2020-10-12 | 2021-01-05 | 推想医疗科技股份有限公司 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
| CN112348860A (zh) * | 2020-10-27 | 2021-02-09 | 中国科学院自动化研究所 | 用于血管内动脉瘤手术的血管配准方法、***和装置 |
| CN112465813A (zh) * | 2020-12-17 | 2021-03-09 | 北京工业大学 | 一种基于应力应变的血管内超声弹性分析方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10413256B2 (en) * | 2017-09-13 | 2019-09-17 | LiteRay Medical, LLC | Systems and methods for ultra low dose CT fluoroscopy |
| CN111179288A (zh) * | 2019-12-20 | 2020-05-19 | 浙江理工大学 | 一种交互式造影血管分割方法及*** |
| CN111369528B (zh) * | 2020-03-03 | 2022-09-09 | 重庆理工大学 | 基于深度卷积网络的冠状动脉血管造影图像狭窄区域标示方法 |
| CN111986181B (zh) * | 2020-08-24 | 2021-07-30 | 中国科学院自动化研究所 | 基于双注意力机制的血管内支架图像分割方法和*** |
-
2021
- 2021-07-08 CN CN202110772730.3A patent/CN113469258B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108198184A (zh) * | 2018-01-09 | 2018-06-22 | 北京理工大学 | 造影图像中血管分割的方法和*** |
| CN111192320A (zh) * | 2019-12-30 | 2020-05-22 | 上海联影医疗科技有限公司 | 一种位置信息确定方法、装置、设备和存储介质 |
| CN112184690A (zh) * | 2020-10-12 | 2021-01-05 | 推想医疗科技股份有限公司 | 冠脉血管走向的预测方法、预测模型的训练方法及装置 |
| CN112348860A (zh) * | 2020-10-27 | 2021-02-09 | 中国科学院自动化研究所 | 用于血管内动脉瘤手术的血管配准方法、***和装置 |
| CN112465813A (zh) * | 2020-12-17 | 2021-03-09 | 北京工业大学 | 一种基于应力应变的血管内超声弹性分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| Automatic Coronary Artery Segmentation in X-ray Angiograms by multiple Convolutional Neural Networks;YANG SY等;《3rd International Conference on Multimedia and Image Processing(ICMIP)》;20180318;摘要 * |
| CT冠状动脉造影不同斑块性质的冠心病患者临床特点分析;曲新凯等;《上海交通大学学报（医学版）》;20140828;第34卷(第08期);摘要 * |
| 血管造影图像序列减影增强技术综述;杜晨冰等;《生命科学仪器》;20181025;摘要 * |
| 造影图像的冠脉结构识别与匹配方法研究;肖若秀;《中国博士学位论文全文数据库（电子期刊）》;20140415(第04期);摘要 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469258A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145206B (zh) | 肝脏图像分割质量评估方法、装置及计算机设备 | |
| CN107563983A (zh) | 图像处理方法以及医学成像设备 | |
| CN111932554B (zh) | 一种肺部血管分割方法、设备及存储介质 | |
| JP2016509501A (ja) | リアルタイムの診断上有用な結果 | |
| CN110751636B (zh) | 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法 | |
| CN116630334B (zh) | 用于多分段血管实时自动分割方法、装置、设备及介质 | |
| CN112184690A (zh) | 冠脉血管走向的预测方法、预测模型的训练方法及装置 | |
| CN112308846A (zh) | 血管分割方法、装置及电子设备 | |
| WO2019237191A1 (en) | System and method for determining coronal artery tissue type based on an oct image and using trained engines | |
| CN113724203B (zh) | 应用于oct图像中目标特征分割的模型训练方法及装置 | |
| CN113469258B (zh) | 基于两阶段cnn的x射线血管造影图像匹配方法和*** | |
| Zheng et al. | Efficient detection of native and bypass coronary ostia in cardiac CT volumes: Anatomical vs. pathological structures | |
| Socher et al. | A learning based hierarchical model for vessel segmentation | |
| Liu et al. | Yolo-angio: an algorithm for coronary anatomy segmentation | |
| CN111353989B (zh) | 一种冠状动脉血管完全造影图像识别方法 | |
| Zhang et al. | Robust infrarenal aortic aneurysm lumen centerline detection for rupture status classification | |
| Moalla et al. | Automatic Coronary Angiogram Keyframe Extraction. | |
| M'hiri et al. | Hierarchical segmentation and tracking of coronary arteries in 2D X-ray Angiography sequences | |
| Ciompi et al. | Learning to detect stent struts in intravascular ultrasound | |
| KR20170000041A (ko) | 혈관 조영 영상에서 자동으로 혈관을 영역화하는 기법 | |
| Ghofrani et al. | Liver Segmentation in CT Images Using Deep Neural Networks | |
| Cui | Supervised Filter Learning for Coronary Artery Vesselness Enhancement Diffusion in Coronary CT Angiography Images | |
| US20240161285A1 (en) | Determining estimates of hemodynamic properties based on an angiographic x-ray examination | |
| Condurache et al. | Vessel segmentation in 2D-projection images using a supervised linear hysteresis classifier | |
| CN116994067B (zh) | 基于冠状动脉钙化的血流储备分数的预测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |