CN112348821A - 基于x光图像的导丝分割和尖端点定位方法、***和装置 - Google Patents

基于x光图像的导丝分割和尖端点定位方法、***和装置 Download PDF

Info

Publication number
CN112348821A
CN112348821A CN202011325897.7A CN202011325897A CN112348821A CN 112348821 A CN112348821 A CN 112348821A CN 202011325897 A CN202011325897 A CN 202011325897A CN 112348821 A CN112348821 A CN 112348821A
Authority
CN
China
Prior art keywords
image
guide wire
attention
tip point
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011325897.7A
Other languages
English (en)
Other versions
CN112348821B (zh
Inventor
刘市祺
谢晓亮
周小虎
侯增广
周彦捷
马西瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011325897.7A priority Critical patent/CN112348821B/zh
Publication of CN112348821A publication Critical patent/CN112348821A/zh
Application granted granted Critical
Publication of CN112348821B publication Critical patent/CN112348821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明属于数据识别领域，具体涉及了一种基于X光图像的导丝分割和尖端点定位方法、***和装置，旨在解决无法精确地对导丝尖端点进行定位并测量导丝尖端角度的问题。本发明包括：获取包含导丝的区域的X光透射图像作为待检测图像，基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜，所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像中心线，基于所述导丝图像中心线，通过L3U‑Net轻量化定位网络和后处理算法获取导丝尖端点坐标。本发明提高了通过图像对人体内导丝分割和尖端点定位的精确度，满足手术中对导丝提取的实时性的要求。

Description

基于X光图像的导丝分割和尖端点定位方法、***和装置
技术领域
本发明属于数据识别领域，具体涉及了一种基于X光图像的导丝分割和尖端点定位方法、***和装置。
背景技术
对于腹主动脉和外周动脉的疾病，血管介入手术是目前最常用的方法。相比于传统的开放式方法，介入手术方法有着非常大的优势，例如减小术中创口、降低患者在围手术期的发病率和死亡率，以及减小患者出现术后并发症的风险。
在介入手术中，导丝从腹股沟***人体，并在造影图像导航下送至病变区，从而便于后续的支架放置、消融手术或药物递送等操作。然而，导丝的控制需要介入辐射医生具有高水平的操作技巧，能够避免破坏血管壁，进而避免出现致命性的出血或穿孔。
目前机器人和计算机辅助的一些技术已经与临床紧密结合，来提高手术的安全性和准确性。从而提高医生操作的敏捷度和准确度。作为机器人辅助微创手术的必要环节，导丝形态和位置的分析可以为医生们提供必要的视觉或触觉反馈辅助。因此，实时的导丝形态分割和尖端点定位是必不可少的。
然而，这一任务目前面临着以下难点：（1）X光造影图像信噪比（SNR）较低，而且背景中噪声较多，会影响前景像素分类的准确度；（2）导丝像素远少于背景像素，这会造成类间数据的极度不平衡；（3）造影剂和丝状结构（如肋骨和血管）的干扰容易造成导丝边缘像素的错分类。
传统的介入手术器械分割方法主要是基于样条拟合法。在采用这些方法时，需要人工初始化第一帧造影图像，且在两个连续序列之间出现的器械不能发生明显形变。显然，这一方法不适用于实时动态的手术环境。还有一些基于学习的器械分割方法。Vandini等人采用了片段特征来克服连续帧之间的剧烈形变。然而，这类方法具有较差的普适性和鲁棒性，尤其是在复杂或环境噪声较大的情况下。
近年来，卷积神经网络（CNN）在医学图像分割领域崭露头角。基于卷积神经网络的方法在介入器械的分割任务中得到广泛应用。Ambrosini等人提出了一种导管和导丝的分割方法。然而，由于两种器械直径的差异，该方法在分割导丝时比分割导管时会呈现更大的误差。Wu等人提出了一种基于级联CNN的全自动导丝分割方法，先用Faster R-CNN来检测导丝所在的目标区域，然后用Deep-Lab网络来实现导丝的分割。然而，级联结构会导致过重的计算负担和冗余的模型参数，进而使得处理速度较慢，无法达到临床实时的要求。
目前尖端点定位的研究相对较少，通常分为两大类，一类是基于传统的计算机视觉算法，一类是基于CNN的方法。第一类方法主要是从图像的关键点或兴趣区域提取出底层特征，但忽略了图像的高层语义特征。第二类基于CNN的方法能够提高定位的准确度，并且能更好地利用图像的高层语义信息。然而，这些研究的应用背景都是腹腔镜手术或视网膜手术，即关键点位置相对固定的手术，因此不适用于关键点位置会发生移动的一些血管介入手术。
发明内容
为了解决现有技术中的上述问题，即如何精确地对导丝尖端点进行定位并测量导丝尖端角度的问题，本发明提供了一种基于X光图像的导丝分割和尖端点定位方法，所述方法包括：
步骤S10，获取包含导丝的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像中心线；
步骤S40，基于所述导丝图像中心线，通过L3U-Net轻量化定位网络获取导丝尖端点坐 标
Figure 469906DEST_PATH_IMAGE001
；包括步骤S41-步骤S44；
步骤S41，基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
步骤S42，基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
步骤S43，基于所述导丝图像中心线和待选尖端点，选取宽度为1像素的导丝图像中心 线和所述待选尖端点的交集
Figure 980522DEST_PATH_IMAGE002
；
步骤S44，所述导丝图像中心线和所述待选尖端点的交集
Figure 963521DEST_PATH_IMAGE002
的中间值为导丝尖端点坐 标
Figure 624310DEST_PATH_IMAGE001
。
进一步地，所述快速注意力融合网络，包括：
顺次连接的第一卷积层、多级嵌套的编码器-解码器和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套***下一级编码器-解码器；每级解码模块输出端还通过上采样卷积连接并第二卷积层连接；
所述多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于预训练的MobileNetV2构建，用将MobileNetV2网络的标准卷积层更换为深度可分卷积层；
所述解码模块包括顺次连接的解码单元和FAM滤波注意力单元，解码器单元包括转置卷积和批归一化部分组成；所述滤波注意力单元包括第一注意力支线、第二注意力支线和注意力总线，第一注意力支线和第二注意力支线相加与注意力总线连接，第二注意力支线的输入与注意力总线的输出相乘输出；所述第一注意力支线包括顺次连接的高层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述第二注意力支线包括顺次连接的低层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述注意力总线包括顺次连接的线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层。
进一步地，所述方法还包括通过后处理算法计算尖端点角度，其方法包括：
步骤S51,基于所述待选尖端点，通过卷积核为9*9的卷积层进行膨胀操作，生成膨胀尖端点；
步骤S52，基于所述导丝图像中心线和膨胀尖端点，选取宽度为1像素的导丝图像中心 线和所述膨胀尖端点的交集
Figure 18775DEST_PATH_IMAGE003
；
步骤S53，以所述导丝图像中心线和所述膨胀尖端点的交集
Figure 310079DEST_PATH_IMAGE003
的中间值为导丝角度参 考坐标
Figure 842692DEST_PATH_IMAGE004
；
步骤S54，基于导丝尖端点坐标
Figure 369488DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 303946DEST_PATH_IMAGE004
计算dx和dy，dx为导丝尖端 点坐标
Figure 500572DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 599109DEST_PATH_IMAGE004
在x轴上的差值，dy为导丝尖端点坐标
Figure 601701DEST_PATH_IMAGE001
和导丝角度参考 坐标
Figure 328348DEST_PATH_IMAGE004
在y轴上的差值；
步骤S55，基于所述dx和dy，获取导丝尖端的角度
Figure 351668DEST_PATH_IMAGE005
：
Figure 858872DEST_PATH_IMAGE006
其中，arctan为反三角函数。
进一步地，步骤S20包括：
步骤S21，基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
步骤S22，基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
步骤S24，通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
步骤S25，将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘，获得注意力强化特征图像；
步骤S26，通过上采样卷积层将各级的注意力强化特征图像相加获得混合注意力强化特征图像；
步骤S27，基于所述混合注意力强化特征图像通过第二卷积层生成导丝的二值分割掩膜。
进一步地，步骤S25中，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与所述各级编码模块的输入信息相乘获得注意力强化特征图像，其方法为：
基于混合强化特征图像
Figure 337258DEST_PATH_IMAGE007
，通过与注意力函数
Figure 823472DEST_PATH_IMAGE008
按元素相乘获得注意力强化特征 图像
Figure 424218DEST_PATH_IMAGE009
Figure 356402DEST_PATH_IMAGE010
其中，注意力系数
Figure 700795DEST_PATH_IMAGE011
用于识别图像的显著区域，使导丝所在区域保持激活状 态，i为元素标号，l为层标号，c为通道标号，
Figure 526669DEST_PATH_IMAGE007
为每个元素对应的向量；
所述注意力系数
Figure 563895DEST_PATH_IMAGE008
为：
Figure 983375DEST_PATH_IMAGE012
其中，
Figure 944509DEST_PATH_IMAGE013
表示ReLU激活函数，
Figure 562572DEST_PATH_IMAGE014
表示sigmoid激活函数，
Figure 708383DEST_PATH_IMAGE015
表示通过1*1*1的卷积进行 线性变换，
Figure 739793DEST_PATH_IMAGE016
和
Figure 425989DEST_PATH_IMAGE017
表示线性变换的权重，
Figure 101821DEST_PATH_IMAGE018
和
Figure 480850DEST_PATH_IMAGE019
为偏差，
Figure 245894DEST_PATH_IMAGE020
为高层输入向量用于判断 每个像素i是否在注意力区域内。
进一步地，所述快速注意力融合网络，其训练方法为：
步骤B10，获取包含导丝的区域的X光透射图像集合及图像标签集合作为网络的训练样本，并通过如步骤S21-步骤S27的方法获取训练样本对应的二值分割掩膜集合；
步骤B20，基于所述二值分割掩膜集合以及图像标签集合，通过随机梯度下降算法迭代进行网络的训练和参数调整调整模型参数至损失函数值小于预设的阈值，获得训练好的快速注意力融合网络；所述损失函数为：
Figure 673464DEST_PATH_IMAGE021
其中，
Figure 540DEST_PATH_IMAGE022
代表网络的混合损失函数，
Figure 612787DEST_PATH_IMAGE023
是Dice系数损失函数，是用于调整增强聚焦 损失函数和Dice系数损失函数之间平衡的超参数，
Figure 290893DEST_PATH_IMAGE024
是增强聚焦损失函数：
Figure 522154DEST_PATH_IMAGE025
其中，
Figure 47944DEST_PATH_IMAGE026
是第
Figure 503197DEST_PATH_IMAGE027
个像素的标签，1表示导丝，0表示背景，
Figure 606282DEST_PATH_IMAGE028
表示第
Figure 765868DEST_PATH_IMAGE027
个像素的预测概率，
Figure 333115DEST_PATH_IMAGE029
为权重因子，
Figure 896952DEST_PATH_IMAGE030
，
Figure 126814DEST_PATH_IMAGE031
为调制因子，
Figure 762194DEST_PATH_IMAGE032
，
Figure 856052DEST_PATH_IMAGE033
为计算了调制因子的第i个像素的预测概 率。
进一步地，所述随机梯度下降算法，其初始学习率为0.001，权重衰减为0.0005，运动参数为0.9，若验证准确度饱和，则将当前学习率乘以0.9，作为下一阶段训练的学习率；
所述快速注意力融合网络每次训练模型的batch size为8，epoch为150。
本发明的另一方面，提出了一种导丝分割和尖端点定位的图像分析***，所述***包括图像获取模块、掩膜生成模块、导丝图像获取模块和导丝尖端点获取模块；
所述图像获取模块，用于获取包含导丝的区域的X光透射图像作为待检测图像；
所述掩膜生成模块，用于基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜；
所述导丝图像获取模块，用于将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
所述导丝尖端点获取模块，用于基于所述导丝图像中心线，通过L3U-Net轻量化定位网 络和后处理算法获取导丝尖端点坐标
Figure 246582DEST_PATH_IMAGE001
；
所述导丝尖端点获取模块包括尖端点初测单元、初测腐蚀单元、初步选取单元和尖端点确定单元；
所述尖端点初测单元，用于基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
所述初测腐蚀单元，用于基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
所述初步选取单元，用于基于所述导丝图像中心线和待选尖端点，选取宽度为1像素的 导丝图像中心线和所述待选尖端点的交集
Figure 120997DEST_PATH_IMAGE002
；
所述尖端点确定单元，用于所述导丝图像中心线和所述待选尖端点的交集
Figure 497752DEST_PATH_IMAGE002
的中间 值为导丝尖端点坐标
Figure 774013DEST_PATH_IMAGE034
进一步地，所述掩膜生成模块，包括图像预处理单元、特征压缩单元、残差传输单元、分级解码单元、特征融合单元、特征图像混合单元和掩膜获取单元；
所述图像预处理单元，用于基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
所述特征压缩单元，用于基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
所述残差传输单元，用于通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
所述分级解码单元，用于通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
所述特征融合单元，用于将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘获得注意力强化特征图像；
所述特征图像混合单元，用于通过上采样卷积层将各级注意力强化特征图像相加获得混合注意力强化特征图像；
所述掩膜获取单元，用于基于所述混合注意力强化特征图像通过第二卷积层生成导丝的二值分割掩膜。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于X光图像的导丝分割和尖端点定位方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于X光图像的导丝分割和尖端点定位方法。
本发明的有益效果：
（1）本发明基于X光图像的导丝分割和尖端点定位方法，通过改进编码器-解码器结构添加了滤波注意力单元，将各种分辨率的待编码图像进行降噪操作并与各级解码的特征图像进行结合即凸显了各个分辨率等级的特征又去除了不相关成分和噪声的影响，使生成的二值分割掩膜更为精确，更有利于提取导丝尖端点的位置和角度，提高了导丝图像识别方法的鲁棒性。
（2）本发明并不是将滤波方法、注意力机制和后处理算法简单拼接到现有的编码解码器中，还增加了滤波注意力单元的创造，来代替常规的注意力模块，更好地结合残差连接和解码单元的特征；另外，现有技术因为存在硬导丝分割容易出现断点的缺陷所以常规情况无法直接套用到现有的编码解码器中，而本发明做了新的滤波注意力单元以及融合了多层级的解码模块输出克服了这个技术障碍使得后处理算法可以实施并达到意想不到的技术效果。
（3）本发明基于X光图像的导丝分割和尖端点定位方法，通过增加L3U-Net轻量化定位网络和后处理算法获取导丝尖端点的图像和角度，使得关键点位置会发生移动的一些血管介入手术中也能实时精确地获取到导丝尖端点坐标。
（4）本发明基于X光图像的导丝分割和尖端点定位方法，通过将各种分辨率等级的特征图连接起来，更好地利用了不同尺度的纹理特征，使得获取到的二值分割掩膜更精确更完整，更有利于提取导丝尖端点的位置和角度。
（5）本发明基于X光图像的导丝分割和尖端点定位方法，，可以在术中X光造影时实现导丝分割和尖端点定位任务，速度可达10.6FPS，能够满足术中协助医生的实时性要求。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明一种导丝分割和尖端点定位的图像分析方法第一实施例的流程示意图；
图2是本发明实施例提供的导丝分割和尖端点定位的过程效果示意图；
图3是本发明实施例中快速注意力融合网络的结构示意图；
图4是本发明实施例中滤波注意力单元的结构示意图；
图5是本发明实施例中L3U-Net的结构示意图；
图6为实施例中提供的其他方法和本发明提出的方法在NLM Chest X-ray dataset数据集上对比定性测试的结果；其中image为待处理图像；
图7为本发明一种导丝分割和尖端点定位的图像分析方法在GeDaX数据集上进行导丝分割和尖端点定位的结果；
图8为本发明一种导丝分割和尖端点定位的图像分析方法在MSGSeg数据集上进行导丝分割和尖端点定位的结果；
其中，图3的编号1表示第一卷积层，2、3、4和5分别表示编码模块，6、7、8和9表示解码模块，10表示第二卷积层。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于X光图像的导丝分割和尖端点定位方法，本方法所述图像数据识别方法包括：步骤S10-步骤S40，具体步骤详述如下：
步骤S10，获取包含导丝的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力融合网络（Fast Attention-fused Network, FAD-Net）生成导丝的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
步骤S40，基于所述导丝图像中心线，通过L3U-Net轻量化定位网络获取导丝尖端点坐 标
Figure 86177DEST_PATH_IMAGE001
；包括步骤S41-步骤S44；
步骤S41，基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
步骤S42，基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
步骤S43，基于所述导丝图像中心线和待选尖端点，选取宽度为1*1的导丝图像中心线 和所述待选尖端点的交集
Figure 385571DEST_PATH_IMAGE002
；
步骤S44，所述导丝图像中心线和所述待选尖端点的交集
Figure 362754DEST_PATH_IMAGE002
的中间值为导丝尖端点坐 标
Figure 555838DEST_PATH_IMAGE001
；
为了更清晰地对本发明基于X光图像的导丝分割和尖端点定位方法进行说明，下面结合图1和图2对本发明方法实施例中各步骤展开详述。
本发明一种实施例的基于X光图像的导丝分割和尖端点定位方法，包括步骤S10-步骤S40，各步骤详细描述如下：
步骤S10，获取包含导丝的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力融合网络（Fast Attention-fused Network, FAD-Net）生成导丝的二值分割掩膜；
本实施例中的快速注意力融合网络的结构图如图3所示，包括：
顺次连接的第一卷积层、多级嵌套的编码器-解码器（encoder-decoder）和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套***下一级编码器-解码器；每级解码模块输出端还通过上采样卷积连接并与第二卷积层连接；
其中，图3的编号1表示第一卷积层，2、3、4和5分别表示编码模块，6、7、8和9表示解码模块，每级编码模块的输入端与对应等级的解码模块的滤波注意力单元通过残差连接相连，每级解码模块的输出端通过上采样卷积汇总并连接到第二卷积层。
所述多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于预训练的MobileNetV2构建，用深度将MobileNetV2网络的标准卷积层更换为深度可分卷积层；选用MobileNetV2网络可以提高模型的计算速度；
所述解码模块包括顺次连接的解码单元和FAM滤波注意力单元，解码器单元包括转置卷积和批归一化部分组成；所述滤波注意力单元包括第一注意力支线、第二注意力支线和注意力总线，第一注意力支线和第二注意力支线相加与注意力总线连接，第二注意力支线的输入与注意力总线的输出相乘输出；所述第一注意力支线包括顺次连接的高层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述第二注意力支线包括顺次连接的低层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述注意力总线包括顺次连接的线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层。
滤波注意力单元可以凸显对导丝分割有用的特征，消除跳跃连接中不相关成分和噪声相应。
在本实施例中，步骤S20包括：
步骤S21，基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
步骤S22，基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
步骤S24，通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
步骤S25，将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘，获得注意力强化特征图像；
在本实施例中，步骤S25中，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与所述各级编码模块的输入信息相乘获得注意力强化特征图像，其方法为：
基于混合强化特征图像
Figure 960275DEST_PATH_IMAGE035
，通过与注意力函数
Figure 746965DEST_PATH_IMAGE008
按元素相乘获得注意力强化特征 图像
Figure 842353DEST_PATH_IMAGE036
Figure 93206DEST_PATH_IMAGE037
其中，注意力系数
Figure 606227DEST_PATH_IMAGE011
用于识别图像的显著区域，使导丝所在区域保持激活状 态，i为元素标号，l为层标号，c为通道标号，
Figure 942530DEST_PATH_IMAGE035
为每个元素对应的向量；
所述注意力系数
Figure 323833DEST_PATH_IMAGE008
为：
Figure 429192DEST_PATH_IMAGE038
其中，
Figure 378694DEST_PATH_IMAGE013
表示ReLU激活函数，
Figure 749764DEST_PATH_IMAGE014
表示sigmoid激活函数，
Figure 872440DEST_PATH_IMAGE015
表示通过1*1*1的卷积进行 线性变换，
Figure 769989DEST_PATH_IMAGE016
和
Figure 687130DEST_PATH_IMAGE039
表示线性变换的权重，
Figure 325921DEST_PATH_IMAGE018
和
Figure 924393DEST_PATH_IMAGE040
为偏差，
Figure 738765DEST_PATH_IMAGE020
为高层输入向量用于判断每 个像素i是否在注意力区域内。
步骤S26，通过上采样卷积层将各级的注意力强化特征图像相加获得混合注意力强化特征图像；有助于更好地利用不同尺度的纹理特征；
在本实施例中，每个解码器模块可将特征图的分辨率从16*16像素恢复到512*512像素；
步骤S27，基于所述混合注意力强化特征图像通过第二卷积层生成导丝的二值分割掩膜。
所述快速注意力融合网络，其训练方法为：
步骤B10，获取包含导丝的区域的X光透射图像集合及图像标签集合作为网络的训练样本，并通过如步骤S21-步骤S27的方法获取训练样本对应的二值分割掩膜集合；
步骤B20，基于所述二值分割掩膜集合以及图像标签集合，通过随机梯度下降算法迭代进行网络的训练和参数调整至损失函数值小于预设的阈值，获得训练好的快速注意力融合网络；所述损失函数为：
Figure 403971DEST_PATH_IMAGE041
其中，
Figure 936583DEST_PATH_IMAGE022
代表网络的混合损失函数，
Figure 338746DEST_PATH_IMAGE023
是Dice系数损失函数，Dice系数损失为领域 内技术人员在进行分割X光影像中较为公知的损失函数，是用于调整增强聚焦损失函数和 Dice系数损失函数之间平衡的超参数，
Figure 335520DEST_PATH_IMAGE024
是增强聚焦损失函数：
Figure 860043DEST_PATH_IMAGE025
其中，
Figure 817634DEST_PATH_IMAGE042
是第i个像素的标签，1表示导丝，0表示背景，
Figure 820225DEST_PATH_IMAGE043
表示第i个像素的预测概率，
Figure 422239DEST_PATH_IMAGE044
为权重因子，
Figure 117663DEST_PATH_IMAGE045
，
Figure 562551DEST_PATH_IMAGE046
为调制因子，
Figure 431149DEST_PATH_IMAGE047
，
Figure 340200DEST_PATH_IMAGE048
为计算了调制因子的第i个像素的预测概 率。
在本实施例中，采用可以有效解决类间数据不平衡的问题的混合损失函数。
在本实施例中，所述随机梯度下降算法，其初始学习率为0.001，权重衰减为0.0005，运动参数为0.9，若验证准确度饱和，则将当前学习率乘以0.9，作为下一阶段训练的学习率；
所述快速注意力融合网络每次训练模型的batch size为8，epoch为150。
在本实施例中，采用混合损失函数有助于解决由于造影剂和丝状结构干扰导致的导丝边缘像素易被错误分类的问题。
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
步骤S40，基于所述导丝图像中心线，通过L3U-Net轻量化定位网络获取导丝尖端点坐 标
Figure 878628DEST_PATH_IMAGE001
，L3U-Net轻量化定位网络的结构如图5所示，L3U-Net与常规的U-Net相比编码器和解 码器各少一层；步骤S40包括步骤S41-步骤S44；
步骤S41，基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
与常规的U-Net相比，L3 U-Net的编码器和解码器各少一层。实验表明L3 U-Net虽然准确率略低于U-Net（平均F1值：96.5% vs. 98.3%），但L3 U-Net的速度远快于U-Net（24.8msvs. 104.5ms）。因此，L3 U-Net不仅可以得到较高的定位准确率，还能保证实时性要求。
步骤S42，基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
步骤S43，基于所述导丝图像中心线和待选尖端点，选取宽度为1像素的导丝图像中心 线和所述待选尖端点的交集
Figure 873129DEST_PATH_IMAGE002
；
步骤S44，所述导丝图像中心线和所述待选尖端点的交集
Figure 526178DEST_PATH_IMAGE002
的中间值为导丝尖端点坐 标
Figure 289734DEST_PATH_IMAGE001
；
在本实施例中，虽然仅采用L3 U-Net能得到较好的结果，但仍存在着一些问题，例如尖端点定位不够准确，以及无法获得尖端点的角度；
所述方法还包括通过后处理算法计算尖端点角度，其方法包括：
步骤S51,基于所述待选尖端点，通过卷积核为9*9的卷积层进行膨胀操作，生成膨胀尖端点；
步骤S52，基于所述导丝图像中心线和膨胀尖端点，选取宽度为1像素的导丝图像中心 线和所述膨胀尖端点的交集
Figure 264644DEST_PATH_IMAGE003
；
步骤S53，以所述导丝图像中心线和所述膨胀尖端点的交集
Figure 808757DEST_PATH_IMAGE003
的中间值为导丝角度参 考坐标
Figure 956842DEST_PATH_IMAGE004
；
步骤S54，基于导丝尖端点坐标
Figure 512588DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 720716DEST_PATH_IMAGE004
计算dx和dy，dx为导丝尖端 点坐标
Figure 237279DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 923475DEST_PATH_IMAGE004
在x轴上的差值，dy为导丝尖端点坐标
Figure 599307DEST_PATH_IMAGE001
和导丝角度参考 坐标
Figure 40653DEST_PATH_IMAGE004
在y轴上的差值；
步骤S55，基于所述dx和dy，获取导丝尖端的角度
Figure 231463DEST_PATH_IMAGE005
：
Figure 659033DEST_PATH_IMAGE049
其中，arctan为反三角函数。
尖端的角度基于顺时针规则：Y轴正方向为0°，X轴正方向为90°，Y轴负方向为180°，X轴正方向为270°。
本发明并不是将滤波方法、注意力机制和后处理算法简单拼接到现有的编码解码器中，还增加了滤波注意力单元的创造，来代替常规的注意力模块，更好地结合残差连接和解码单元的特征；另外，现有技术因为存在硬导丝分割容易出现断点的缺陷所以常规情况无法直接套用到现有的编码解码器中，而本发明做了新的滤波注意力单元以及融合了多层级的解码模块输出克服了这个技术障碍使得后处理算法可以实施并达到意想不到的技术效果。
本发明提供的方法，可以在术中X光造影时实现导丝分割和尖端点定位任务，速度可达10.6FPS，能够满足术中协助医生的实时性要求。该方法经在不同的数据集（GeDaX，MSGSeg，NLM Chest X-ray Dataset）上测试，均比已有的方法展现出了更优的结果。
本实施例中使用的三个数据集分别是GeDaX，MSGSeg，NLM Chest X-ray Dataset。GeDaX是一个包含多种硬导丝的X光造影图像数据集，包括1585张训练集图像，476张测试集图像和317张验证集图像，所有图像的分辨率均为512*512。MSGSeg是一个PCI手术中包含多种导丝的介入器械数据集，包括1494张训练集图像和360张测试集图像。NLM Chest X-rayDataset是一个标准的肺结核数字影像数据集，包括336例肺结核显例和326例正常病例。
本实施例提出的模型采用的优化器是随机梯度下降算法（Stochastic gradientdecent，SGD），初始学习率为0.001，权重衰减为0.0005，动量参数为0.9。为了得到最佳模型表现，本发明采用了多元学习率策略，当验证准确度饱和时，会给学习率乘以0.9。每次训练模型的batch size为8，epoch为150。
本实施例采用平均F1值来评估导丝分割的表现，采用平均运行时间来评估方法的实时性。在得到所有N帧的总处理时间T后，可以得到处理速度N/T FPS和处理时间1000*T/Nms。为了进一步评估分割表现，可以采用平均距离误差进行评估，称为导丝特殊准确率（GSP），计算方式为：
Figure 251688DEST_PATH_IMAGE050
其中s代表导丝样本像素点，是预测结果，是真实结果。
为了评估不同模块对本发明提出的方法的贡献，进行了消融实验，结果如表1所示。
Figure 113203DEST_PATH_IMAGE052
表1消融实验结果
其中，BaseNet指常规的U-Net，DL和FL分别代表Dice系数损失函数和聚焦损失函数，DRF代表本发明提出的混合损失函数。
参照表1。首先，为了评估FAM的贡献，本方法与BaseNet进行了对比，发现FAM的结合为模型带来了3.49%的提升。其次，为了验证MobileNetV2的表现，将主干部分替换为使用较广的原始的ResNet和VGGNet。可以明显看出，MobileNetV2在处理图像时速度更快。与ResNet-101相比，可以将平均处理时间从170.3ms降低到68.3ms，而F1值只降低了0.42%。最后，为了验证混合损失函数对方法性能的影响，分别采用了不同的损失函数进行测试，分别是聚焦损失函数和Dice系数损失函数，且均设定在最佳参 数。可以看出，本方法提出的混合损失函数表现远优于其他方法。
更进一步地，为了验证本发明提出的方法的优越性，将本方法与三种最常用的网络（U-Net，LinkNet，TernausNet）和两种基于注意力的网络（Attention U-Net和CS-Net）在GeDaX上进行对比，结果如表2所示。
Figure 994571DEST_PATH_IMAGE054
表2 在GeDaX上与其他方法的量化对比
从表2可看出，本发明提出的方法比其他方法能达到更高的分割准确率，同时具有更快的处理速度。
为了验证本发明的方法在处理其他类型的组织时的分割表现，在数据集NLMChest X-ray Dataset上进行测试，结果如表3所示。
Figure 22570DEST_PATH_IMAGE056
表3 在NLM Chest X-ray Dataset上与其他方法的量化对比
从表3可看出，本发明提出的方法的F1值均高于其他方法。同时，参照图6，相比于TernausNet和CS-Net，本发明提出的FAD-Net能更好地分割边缘，获得更准确、更平滑的分割掩膜。
本实施例采用定位正确率矩阵（CPL）和角度测量正确率矩阵（CPAM）来评估尖端点的定位结果，CPL和CPAM分别反映出坐标预测结果和角度测量结果落在与真实值相差一定范围内的百分比。根据临床要求，将坐标预测结果在真实坐标周围5像素内的点认为是预测正确的点。当角度测量结果与真实角度差值在5°以内时，认为测量准确。
为了展现本发明提出的L3 U-Net和后处理算法的优越性，将其与两种最近提出的手术器械关键点定位方法SPRE和CSL进行对比。此外，还分别采用U-Net、TernausNet和CS-Net作为第一步的分割网络，来测试本发明提出的L3 U-Net和后处理算法。将一共六种方案在MSESeg数据集上进行测试，分别为：（1）SPRE；（2）CSL；（3）U-Net结合本发明的方法；（4）TernausNet结合本发明的方法；（5）CS-Net结合本发明的方法；（6）本发明提出的方法。实验结果如表4所示。
Figure 532049DEST_PATH_IMAGE058
表4 不同方法在GeDaX上对导丝分割和尖端点定位的结果
从表4可看出，本发明提出的方法在F1值、CPL、CPAM和处理时间上都优于其他方法。
参照图7和图8，本发明提出的方法对两种手术中的不同导丝都呈现出较好的鲁棒性，均得到准确的导丝分割和尖端点定位结果。
以上所述的具体实施例用以对本发明的技术方案进行详细说明，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本发明第二实施例的导丝分割和尖端点定位的图像分析***，所述***包括：
图像获取模块、掩膜生成模块、导丝图像获取模块和导丝尖端点获取模块；
所述图像获取模块，用于获取包含导丝的区域的X光透射图像作为待检测图像；
所述掩膜生成模块，用于基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜；
所述导丝图像获取模块，用于将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
所述导丝尖端点获取模块，用于基于所述导丝图像中心线，通过L3U-Net轻量化定位网 络和后处理算法获取导丝尖端点坐标
Figure 456142DEST_PATH_IMAGE059
；
所述导丝尖端点获取模块包括尖端点初测单元、初测腐蚀单元、初步选取单元和尖端点确定单元；
所述尖端点初测单元，用于基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
所述初测腐蚀单元，用于基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
所述初步选取单元，用于基于所述导丝图像中心线和待选尖端点，选取宽度为1的导丝 图像中心线和所述待选尖端点的交集
Figure 621544DEST_PATH_IMAGE060
；
所述尖端点确定单元，用于所述导丝图像中心线和所述待选尖端点的交集
Figure 266284DEST_PATH_IMAGE060
的中间 值为导丝尖端点坐标
Figure 567952DEST_PATH_IMAGE061
在本实施例中，所述掩膜生成模块包括：图像预处理单元、特征压缩单元、残差传输单元、分级解码单元、特征融合单元、特征图像混合单元和掩膜获取单元；
所述图像预处理单元，用于基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
所述特征压缩单元，用于基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
所述残差传输单元，用于通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
所述分级解码单元，用于通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
所述特征融合单元，用于将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘，获得注意力强化特征图像；
所述特征图像混合单元，用于通过上采样卷积层将各级注意力强化特征图像相加获得混合注意力强化特征图像；
所述掩膜获取单元，用于基于所述混合注意力强化特征图像通过第二卷积层生成导丝的二值分割掩膜。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于X光图像的导丝分割和尖端点定位***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于X光图像的导丝分割和尖端点定位方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于X光图像的导丝分割和尖端点定位方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于X光图像的导丝分割和尖端点定位方法，其特征在于，所述图像数据识别方法包括：
步骤S10，获取包含导丝的区域的X光透射图像作为待检测图像；
步骤S20，基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜；
步骤S30，将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
步骤S40，基于所述导丝图像中心线，通过L3U-Net轻量化定位网络获取导丝尖端点坐 标
Figure 600011DEST_PATH_IMAGE001
；包括步骤S41-步骤S44；
步骤S41，基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
步骤S42，基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
步骤S43，基于所述导丝图像中心线和待选尖端点，选取宽度为1像素的导丝图像中心 线和所述待选尖端点的交集
Figure 243482DEST_PATH_IMAGE002
；
步骤S44，所述导丝图像中心线和所述待选尖端点的交集
Figure 47490DEST_PATH_IMAGE002
的中间值为导丝尖端点坐 标
Figure 510832DEST_PATH_IMAGE001
。
2.根据权利要求1所述的基于X光图像的导丝分割和尖端点定位方法，其特征在于，所述快速注意力融合网络，包括：
顺次连接的第一卷积层、多级嵌套的编码器-解码器和第二卷积层；所述多级嵌套的编码器-解码器为在各级编码器-解码器的编码器与解码器之间嵌套***下一级编码器-解码器；每级解码模块输出端还通过上采样卷积连接并与第二卷积层连接；
所述多级嵌套的编码器-解码器，其编码器和解码器分别包括多个编码模块和多个解码模块；所述编码模块通过残差连接与对应的同级解码模块连接；
所述编码模块基于预训练的MobileNetV2构建，将MobileNetV2网络的标准卷积层更换为深度可分卷积层；
所述解码模块包括顺次连接的解码单元和FAM滤波注意力单元，解码器单元包括转置卷积和批归一化部分组成；所述滤波注意力单元包括第一注意力支线、第二注意力支线和注意力总线，第一注意力支线和第二注意力支线相加与注意力总线连接，第二注意力支线的输入与注意力总线的输出相乘输出；所述第一注意力支线包括顺次连接的高层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述第二注意力支线包括顺次连接的低层输入端、卷积核为3×3的卷积层、卷积核为1×1的卷积层和批标准化层；所述注意力总线包括顺次连接的线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层。
3.根据权利要求2所述的基于X光图像的导丝分割和尖端点定位方法，其特征在于，所述方法还包括通过后处理算法计算尖端点角度，其方法包括：
步骤S51,基于所述待选尖端点，通过卷积核为9*9的卷积层进行膨胀操作，生成膨胀尖端点；
步骤S52，基于所述导丝图像中心线和膨胀尖端点，选取宽度为1像素的导丝图像中心 线和所述膨胀尖端点的交集
Figure 120805DEST_PATH_IMAGE003
；
步骤S53，以所述导丝图像中心线和所述膨胀尖端点的交集
Figure 681099DEST_PATH_IMAGE003
的中间值为导丝角度参 考坐标
Figure 718325DEST_PATH_IMAGE004
；
步骤S54，基于导丝尖端点坐标
Figure 872226DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 20311DEST_PATH_IMAGE004
计算dx和dy，dx为导丝尖端点 坐标
Figure 700691DEST_PATH_IMAGE001
和导丝角度参考坐标
Figure 908818DEST_PATH_IMAGE004
在x轴上的差值，dy为导丝尖端点坐标
Figure 550015DEST_PATH_IMAGE001
和导丝角度参考坐 标
Figure 236212DEST_PATH_IMAGE004
在y轴上的差值；
步骤S55，基于所述dx和dy， 获取导丝尖端的角度
Figure 708781DEST_PATH_IMAGE005
：
Figure DEST_PATH_IMAGE006
其中，arctan为反三角函数。
4.根据权利要求2所述的基于X光图像的导丝分割和尖端点定位方法，其特征在于，步骤S20包括：
步骤S21，基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
步骤S22，基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
步骤S23，通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
步骤S24，通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
步骤S25，将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘，获得注意力强化特征图像；
步骤S26，通过上采样卷积层将各级的注意力强化特征图像相加获得混合注意力强化特征图像；
步骤S27，基于所述混合注意力强化特征图像通过所述第二卷积层生成导丝的二值分割掩膜。
5.根据权利要求4所述的基于X光图像的导丝分割和尖端点定位方法，其特征在于，步骤S25中，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与所述各级编码模块的输入信息相乘获得注意力强化特征图像，其方法为：
基于混合强化特征图像
Figure 415706DEST_PATH_IMAGE007
，通过与注意力函数
Figure 544199DEST_PATH_IMAGE008
按元素相乘获得注意力强化特征 图像
Figure 34086DEST_PATH_IMAGE009
Figure 689058DEST_PATH_IMAGE010
其中，注意力系数
Figure 973409DEST_PATH_IMAGE011
用于识别图像的显著区域，使导丝所在区域保持激活状 态，i为元素标号，l为层标号，c为通道标号，
Figure 589198DEST_PATH_IMAGE007
为每个元素对应的向量；
所述注意力系数
Figure 617197DEST_PATH_IMAGE008
为：
Figure 64359DEST_PATH_IMAGE012
其中，
Figure 847507DEST_PATH_IMAGE013
表示ReLU激活函数，
Figure 747330DEST_PATH_IMAGE014
表示sigmoid激活函数，
Figure 516703DEST_PATH_IMAGE015
表示通过1*1*1的卷积进行线 性变换，
Figure 83951DEST_PATH_IMAGE016
和
Figure 38000DEST_PATH_IMAGE017
表示线性变换的权重，
Figure 159540DEST_PATH_IMAGE018
和
Figure 794921DEST_PATH_IMAGE019
为偏差，
Figure 154358DEST_PATH_IMAGE020
为高层输入向量用于判断每个 像素i是否在注意力区域内。
6.根据权利要求5所述的基于X光图像的导丝分割和尖端点定位方法，其特征在于，所述快速注意力融合网络，其训练方法为：
步骤B10，获取包含导丝的区域的X光透射图像集合及图像标签集合作为网络的训练样本，并通过如步骤S21-步骤S27的方法获取训练样本对应的二值分割掩膜集合；
步骤B20，基于所述二值分割掩膜集合以及图像标签集合，通过随机梯度下降算法迭代进行网络的训练和参数调整至损失函数值小于预设的阈值，获得训练好的快速注意力融合网络；所述损失函数为：
Figure 216992DEST_PATH_IMAGE021
其中，
Figure 153724DEST_PATH_IMAGE022
代表网络的混合损失函数，
Figure 327216DEST_PATH_IMAGE023
是Dice系数损失函数，是用于调整增强聚焦损 失函数和Dice系数损失函数之间平衡的超参数，
Figure 541160DEST_PATH_IMAGE024
是增强聚焦损失函数：
Figure 509116DEST_PATH_IMAGE025
其中，
Figure 870827DEST_PATH_IMAGE026
是第
Figure 910327DEST_PATH_IMAGE027
个像素的标签，1表示导丝，0表示背景，
Figure 41094DEST_PATH_IMAGE028
表示第
Figure 383214DEST_PATH_IMAGE027
个像素的预测概率，
Figure 232221DEST_PATH_IMAGE029
为权重因子，
Figure 75412DEST_PATH_IMAGE030
，
Figure 795107DEST_PATH_IMAGE031
为调制因子，
Figure 370444DEST_PATH_IMAGE032
，
Figure 644431DEST_PATH_IMAGE033
为计算了调制因子的第i个像素的预测概 率。
7.一种基于X光图像的导丝分割和尖端点定位***，其特征在于，所述***包括：图像获取模块、掩膜生成模块、导丝图像获取模块和导丝尖端点获取模块；
所述图像获取模块，用于获取包含导丝的区域的X光透射图像作为待检测图像；
所述掩膜生成模块，用于基于所述待检测图像，通过训练好的快速注意力融合网络生成导丝的二值分割掩膜；
所述导丝图像获取模块，用于将所述二值分割掩膜覆盖在所述待检测图像上获得导丝图像和导丝图像中心线；
所述导丝尖端点获取模块，用于基于所述导丝图像中心线，通过L3U-Net轻量化定位网 络获取导丝尖端点坐标
Figure 963417DEST_PATH_IMAGE034
；
所述导丝尖端点获取模块包括尖端点初测单元、初测腐蚀单元、初步选取单元和尖端点确定单元；
所述尖端点初测单元，用于基于所述导丝图像中心线，通过L3U-Net预测生成初测尖端点；
所述初测腐蚀单元，用于基于所述初测尖端点，通过卷积核为5*5的卷积层进行腐蚀操作，生成待选尖端点；
所述初步选取单元，用于基于所述导丝图像中心线和待选尖端点，选取宽度为1*1的导 丝图像中心线和所述待选尖端点的交集
Figure 131093DEST_PATH_IMAGE035
；
所述尖端点确定单元，用于所述导丝图像中心线和所述待选尖端点的交集
Figure 877332DEST_PATH_IMAGE035
的中间值 为导丝尖端点坐标
Figure 638615DEST_PATH_IMAGE034
。
8.根据权利要求7所述的基于X光图像的导丝分割和尖端点定位***，其特征在于，所述掩膜生成模块包括：图像预处理单元、特征压缩单元、残差传输单元、分级解码单元、特征融合单元、特征图像混合单元和掩膜获取单元；
所述图像预处理单元，用于基于所述待检测图像，通过所述快速注意力融合网络的第一卷积层生成待编码图像；
所述特征压缩单元，用于基于所述待编码图像，通过所述快速注意力融合网络的多级嵌套的各编码模块进行分级编码，获得特征压缩图像；
所述残差传输单元，用于通过残差连接将各级编码模块的输入信息传递至同级解码模块的FAM滤波注意力单元的低层输入端，生成降噪待编码图像；
所述分级解码单元，用于通过所述速注意力融合网络对所述特征压缩图像进行分级解码，获得强化特征图像；
所述特征融合单元，用于将各级所述强化特征图像输入FAM滤波注意力单元的高层输入端，生成第二强化特征图像，将所述第二强化特征图像和降噪待编码图像合成为混合强化特征图像，将所述混合强化特征图像顺次通过所述线性整流层、Sigmoid函数层、线性转化层和Sigmoid函数层提获得第二混合强化特征图像，将所述第二强化特征图像与底层输入端的所述各级编码模块的输入信息相乘，获得注意力强化特征图像；
所述特征图像混合单元，用于通过上采样卷积层将各级注意力强化特征图像相加获得混合注意力强化特征图像；
所述掩膜获取单元，用于基于所述混合注意力强化特征图像通过第二卷积层生成导丝的二值分割掩膜。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6所述的基于X光图像的导丝分割和尖端点定位方法。
10.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6所述的基于X光图像的导丝分割和尖端点定位方法。
CN202011325897.7A 2020-11-24 2020-11-24 基于x光图像的导丝分割和尖端点定位方法、***和装置 Active CN112348821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011325897.7A CN112348821B (zh) 2020-11-24 2020-11-24 基于x光图像的导丝分割和尖端点定位方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011325897.7A CN112348821B (zh) 2020-11-24 2020-11-24 基于x光图像的导丝分割和尖端点定位方法、***和装置

Publications (2)

Publication Number Publication Date
CN112348821A true CN112348821A (zh) 2021-02-09
CN112348821B CN112348821B (zh) 2021-06-25

Family

ID=74365532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011325897.7A Active CN112348821B (zh) 2020-11-24 2020-11-24 基于x光图像的导丝分割和尖端点定位方法、***和装置

Country Status (1)

Country Link
CN (1) CN112348821B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN113269788A (zh) * 2021-05-21 2021-08-17 东南大学 一种x射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及***
US10639105B2 (en) * 2017-11-29 2020-05-05 Canon Medical Systems Corporation Navigation apparatus and method
WO2020092064A1 (en) * 2018-10-30 2020-05-07 Corindus, Inc. System and method for navigating a device through a path to a target location
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、***及装置
CN111798451A (zh) * 2020-06-16 2020-10-20 北京理工大学 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10639105B2 (en) * 2017-11-29 2020-05-05 Canon Medical Systems Corporation Navigation apparatus and method
WO2020092064A1 (en) * 2018-10-30 2020-05-07 Corindus, Inc. System and method for navigating a device through a path to a target location
CN110974419A (zh) * 2019-12-24 2020-04-10 武汉大学 对肝门部狭窄在经内镜胆管支架置入术中导丝导航方法及***
CN111192266A (zh) * 2019-12-27 2020-05-22 北京理工大学 一种2d导丝尖端分割方法及装置
CN111724365A (zh) * 2020-06-16 2020-09-29 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、***及装置
CN111798451A (zh) * 2020-06-16 2020-10-20 北京理工大学 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘市祺: "基于区域建议网络和残差结构的导丝跟踪", 《模式识别与人工智能》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700448A (zh) * 2021-03-24 2021-04-23 成都成电金盘健康数据技术有限公司 一种脊椎图像分割与识别方法
CN113269788A (zh) * 2021-05-21 2021-08-17 东南大学 一种x射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法
CN113269788B (zh) * 2021-05-21 2024-03-29 东南大学 一种x射线透视图像下基于深度分割网络和最短路径算法的导丝分割方法
CN113420770A (zh) * 2021-06-21 2021-09-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN113420770B (zh) * 2021-06-21 2024-06-21 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质
CN116452992A (zh) * 2023-05-18 2023-07-18 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法
CN116452992B (zh) * 2023-05-18 2024-02-02 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法

Also Published As

Publication number Publication date
CN112348821B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN112348821B (zh) 基于x光图像的导丝分割和尖端点定位方法、***和装置
CN111986181B (zh) 基于双注意力机制的血管内支架图像分割方法和***
JP7249379B2 (ja) 血管内画像における影の検出および検証
CN111476757A (zh) 一种冠脉斑块数据检测方法、***、存储介质、终端
CN111985485A (zh) 基于金字塔形注意力循环网络的手术介入器械追踪方法
US20140079308A1 (en) Method and System for Real Time Stent Enhancement on Live 2D Fluoroscopic Scene
CN111681254A (zh) 用于血管动脉瘤介入手术导航***的导管检测方法及***
CN111724365B (zh) 血管内动脉瘤修复手术的介入器械检测方法、***及装置
CN114419047B (zh) 用于确定血管形态特征的方法、装置、设备和存储介质
CN112348883B (zh) 血管介入手术中介入器械端点实时定位***、方法、装置
CN111429481B (zh) 一种基于自适应表达的目标追踪方法、装置及终端
CN111612756A (zh) 冠状动脉特异性钙化检测方法及装置
CN111145160A (zh) 钙化区域所处冠脉分支的确定方法、装置、服务器及介质
CN114511581A (zh) 一种多任务多分辨率协作的食管癌病变分割方法及装置
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
CN116523983B (zh) 融合多路径特征与器官形态导向的胰腺ct图像配准方法
CN116138877A (zh) 目标定位方法、装置、电子设备及存储介质
CN112651984A (zh) 血管管腔内膜轮廓提取方法、装置及超声设备和存储介质
CN116823853A (zh) 基于改进UNet网络的冠状动脉钙化斑块图像分割***
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114693733A (zh) 一种基于深度学习的运动预测方法和运动预测装置
CN112348860B (zh) 用于血管内动脉瘤手术的血管配准方法、***和装置
Al et al. Reinforcement learning-based automatic diagnosis of acute appendicitis in abdominal ct
CN113538475A (zh) 基于多任务算法的实时多器械分割方法和***
CN113902689A (zh) 一种血管中心线提取方法、***、终端以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant