CN114758020A

CN114758020A - 一种基于dsa和oct融合显影的方法、装置和电子设备

Info

Publication number: CN114758020A
Application number: CN202210080370.5A
Authority: CN
Inventors: 蒋淑洁; 肖�琳; 冯庆宇; 张林涛
Original assignee: Suzhou Minimally Invasive Argus Medical Technology Co ltd
Current assignee: Suzhou Minimally Invasive Argus Medical Technology Co ltd
Priority date: 2022-01-24
Filing date: 2022-01-24
Publication date: 2022-07-15

Abstract

本发明提供一种基于DSA和OCT融合显影的方法、装置和电子设备，所述方法包括：同步连续获取DSA序列图像和OCT序列图像；对获取的DSA序列图像和OCT序列图像进行时间标记；将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理，计算并标记显影环在DSA序列图像中的位置；将OCT序列图像和标记显影环位置后的DSA序列图像分别按标记的时间同步呈现在同一显示器上。通过本发明可以通过匹配DSA序列图像上的显影环位置和同步镜头所得OCT序列图像，快速、准确地得到DSA和OCT融合图像，使医生更加清晰直观看到DSA图像中的OCT镜头在血管中的回撤情况，为后续定位图像定位血管的病变情况提供了图像参考和技术支撑。

Description

一种基于DSA和OCT融合显影的方法、装置和电子设备

技术领域

本发明属于医疗设备技术领域，具体地，涉及一种基于DSA和OCT融合显影的方法、装置和电子设备。

背景技术

光学相干断层扫描技术(Optical Coherence Tomography，OCT)其集成了半导体激光技术、光学技术和计算机图像处理技术等，实现了对人体进行非接触式、非损伤性的活体形态学检测，并获得生物组织内部微结构的横断面图像，用于指导经皮冠状动脉的介入治疗，包括对支架置入术后即刻的观测和对支架置人后远期血管内修复的评价。

使用OCT技术对植入支架后的冠脉血管成像，观测者可以清晰观察各粥样硬化斑块特征，评估支架是否很好地与血管壁贴合，以及是否存在支架位置覆盖、组织脱垂、组织撕裂、支架内再狭窄、班块或着血栓等，这些对于临床诊断和治疗都有重要意义。

成像导管是一种配合光学干涉断层成像***使用，用于冠状动脉成像的导管，配合光学干涉断层成像***使用，用于在医疗机构中对需要进行腔内介入治疗患者的冠状动脉成像。

数字减影血管造影(Digital subtraction angiography，DSA)其基本原理是通过注入造影剂前后拍摄的两帧X线图像经数字化输入图像计算机，通过减影、增强和再成像过程把血管造影影像上的骨与软组织影像消除来获得清晰的血管影像。DSA具有对比度分辨率高、图像清晰、造影剂用量少，在血管种介入治疗诊断中，具有十分重要的意义。

DSA血管影像融合技术是指冠状动脉造影利用心成像导管***术，将OCT成像导管***血管到达冠状动脉病变或支架远端，然后把造影剂注射进冠状动脉，使冠状动脉在X光照片上可见，从而让医生通过观察DSA图像和OCT血管横断面的形态结构来掌握动脉中的堵塞情况。然而由于DSA和OCT设备物理距离限制，人工匹配DSA和OCT图像费时费力，无法现场给出对比结果，因此DSA图像融合技术被采用于快速匹配DSA和OCT图像，以及准确跟踪显影环的位置，方便医生判断成像导管位置和血管病变，进而进一步确定诊断结果和治疗方案。

发明内容

针对现有技术存在的问题，本发明提供一种基于DSA和OCT融合显影的方法和装置。

具体来说，本发明涉及如下方面：

1.一种基于DSA和OCT融合显影的方法，其特征在于，所述方法包括：

同步连续获取DSA序列图像和OCT序列图像；

对获取的DSA序列图像和OCT序列图像进行时间标记；

将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理，计算并标记显影环在DSA序列图像中的位置；

将OCT序列图像和标记显影环位置后的DSA序列图像分别按标记的时间同步呈现在同一显示器上。

2.根据项1所述的方法，其特征在于，所述处理选自Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、局部特征点处理中的一种或多种。

3.根据项1所述的方法，其特征在于，所述处理包括Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、以及局部特征点处理。

4.根据项1所述的方法，其特征在于，所述处理得到DSA序列图像的血管路径、局部特征点和高斯拉普拉斯点，以用于计算并标记显影环在DSA序列图像中的位置。

5.一种基于DSA和OCT融合显影的装置，其特征在于，所述装置包括：

图像获取单元，其用于同步连续获取DSA序列图像和OCT序列图像；

时间标记单元，其用于对获取的DSA序列图像和OCT序列图像进行时间标记；

图像处理单元，其用于将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理，计算并标记显影环在DSA序列图像中的位置；

图像融合单元，其用于将OCT序列图像和标记显影环位置后的DSA序列图像分别按标记的时间同步呈现在同一显示器上。

6.根据项5所述的装置，其特征在于，所述GPU单元包括Hessian增强的多尺度滤波处理子单元、高斯拉普拉斯点处理子单元、局部特征点处理子单元中的一种或多种。

7.根据项5所述的装置，其特征在于，所述GPU单元包括多个Hessian增强的多尺度滤波处理子单元、多个高斯拉普拉斯点处理子单元、以及多个局部特征点处理子单元。

8.根据项6所述的装置，其特征在于，所述Hessian增强的多尺度滤波处理子单元用于计算得到DSA序列图像的血管路径。

9.根据项6所述的装置，其特征在于，所述高斯拉普拉斯点处理子单元用于计算得到DSA序列图像的高斯拉普拉斯点。

10.根据项6所述的装置，其特征在于，所述局部特征点处理子单元用于计算得到DSA序列图像的局部特征点。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如项1-4中任一项所述的方法。

通过本发明可以通过匹配DSA序列图像上的显影环位置和同步镜头所得OCT序列图像，快速、准确地得到DSA和OCT融合图像，使医生更加清晰直观看到DSA图像中的OCT镜头在血管中的回撤情况，为后续定位图像定位血管的病变情况提供了图像参考和技术支撑。

附图说明

图1为本发明实施例的基于DSA和OCT融合显影的方法的流程图。

图2为本发明实施例的基于DSA和OCT融合显影的装置的框图。

1图像获取单元，2时间标记单元，3图像处理单元，4图像融合单元。

具体实施方式

下面结合实施例进一步说明本发明，应当理解，实施例仅用于进一步说明和阐释本发明，并非用于限制本发明。

除非另外定义，本说明书中有关技术的和科学的术语与本领域内的技术人员所通常理解的意思相同。虽然在实验或实际应用中可以应用与此间所述相似或相同的方法和材料，本文还是在下文中对材料和方法做了描述。在相冲突的情况下，以本说明书包括其中定义为准，另外，材料、方法和例子仅供说明，而不具限制性。以下结合具体实施例对本发明作进一步的说明，但不用来限制本发明的范围。

如上所述，为了解决针对现有技术中DSA图像和OCT图像融合存在的问题，本发明采用提供一种基于DSA和OCT融合显影的方法，如图1所示，所述方法包括：

S1同步连续获取DSA序列图像和OCT序列图像；

S2对获取的DSA序列图像和OCT序列图像进行时间标记；

S3将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理，计算并标记显影环在DSA序列图像中的位置；

S4将OCT序列图像和标记显影环位置后的DSA序列图像分别按标记的时间同步呈现在同一显示器上。

在步骤S1中，DSA序列图像和OCT序列图像同时获取，而且DSA序列图像和OCT序列图像实际上是按照时间连续的多张DSA序列图像和OCT序列图像的集合。

在步骤S2中，对获取的DSA序列图像和OCT序列图像进行时间标记，一方面是为了后续的DSA序列图像按照时间先后进行计算，另一方面是为了最终OCT序列图像和DSA序列图像的匹配。

在步骤S3中，将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理具体可以采用GPU-CPU协同计算。

GPU-CPU协同计算作为一种特殊的并行处理方式，能根据相关任务的特点发挥不同计算资源的能力，在提高设备的计算性能、能效比和实时性方面有极大优势。获取DSA序列图像信号后，由于数据量巨大且单流水线式处理图像时所花费时间成本较大，通过GPU-CPU协同计算，可以减少操作过程中所需要等待的大量时间。

具体地，DSA序列图像在GPU单元中的处理可以选自Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、局部特征点处理中的一种或多种。其中，Hessian增强的多尺度滤波处理可以计算得到DSA序列图像的血管路径，高斯拉普拉斯点处理可以计算得到DSA序列图像的高斯拉普拉斯点，局部特征点处理可以计算得到DSA序列图像的局部特征点。

在一个具体的实施方式中，所述处理包括Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、以及局部特征点处理。

在一个具体的实施方式中，所述处理得到DSA序列图像的血管路径、局部特征点和高斯拉普拉斯点，以用于计算并标记显影环在DSA序列图像中的位置。

具体地，得到DSA序列图像的血管路径、局部特征点和高斯拉普拉斯点后，选取一张造影清晰的DSA图像信号，对该张DSA图像血管上OCT镜头(显影环)位置、观察通道起始点和停止点进行位置标记，并求解该张DSA图像观察通道的路径；

通过运动方程批量求解DSA序列图像的观察通道路径，并得到DSA序列图像显影环估计位置，将显影环估计位置和高斯拉普拉斯点位置与选取一张造影清晰的DSA图像信号的显影环位置的单元位图进行自学习模板匹配，并得到DSA序列图像显影环位置。

当DSA序列图像数量为45张图的时候，DSA处理所花费时间缩短到采用本发明所述方法之前序列计算的1/(45*3)，因此大大提高了处理效率。

本发明还提供一种基于DSA和OCT融合显影的装置，如图2所示，所述装置包括：

图像获取单元1，其用于同步连续获取DSA序列图像和OCT序列图像；

时间标记单元2，其用于对获取的DSA序列图像和OCT序列图像进行时间标记；

图像处理单元3，其用于将获取的DSA序列图像按照标记的时间先后顺序平均分配到不同的GPU单元中进行处理，计算并标记显影环在DSA序列图像中的位置；

图像融合单元4，其用于将OCT序列图像和标记显影环位置后的DSA序列图像分别按标记的时间同步呈现在同一显示器上。

在一个具体的实施方式中，图像获取单元1为OCT设备的图像采集卡。

在一个具体的实施方式中，所述GPU单元包括Hessian增强的多尺度滤波处理子单元、高斯拉普拉斯点处理子单元、局部特征点处理子单元中的一种或多种。其中，所述Hessian增强的多尺度滤波处理子单元用于计算得到DSA序列图像的血管路径。所述高斯拉普拉斯点处理子单元用于计算得到DSA序列图像的高斯拉普拉斯点。所述局部特征点处理子单元用于计算得到DSA序列图像的局部特征点。

在一个具体的实施方式中，所述GPU单元包括多个多尺度滤波处理子单元、多个高斯拉普拉斯点处理子单元、以及多个局部特征点处理子单元。

除了上述方法和设备以外，本发明还提供的实施例还提供一种电子设备，所述电子设备包括：处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的方法。

处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现上述基于DSA和OCT融合显影的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如预测结果等各种内容。

所述计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，所述存储器可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

实施例

步骤1：信号获取。通过HDMI线缆连接集成装置和DSA设备，在经过导管介入血管、注射造影剂和连接PCU运动控制单元等相关准备操作后，开始驱动PCU运动控制单元进行导管回撤，同时驱动采集卡获取DSA设备的序列图像信号，假设DSA序列图像信号的频率为15fps(还有30fps、45fps等)，OCT序列图像信号的频率为90fps(还有60fps、120fps等)，回撤时间为3s。同步获取45张DSA序列图像信号和270张OCT序列图像信号。因此得到对应关系为1：6，一张DSA序列图像信号对应6张OCT序列图像信号。

步骤2：特征提取和GPU并行加速。由于Hessian增强的多尺度滤波模块、高斯拉普拉斯点云模块、局部特征点云模块的独立性，在GPU的每个流结构内部，能够分配多个工作单元即线程thread，多个线程能够对子计算成分3个线程互不干扰地同步进行。同时将DSA序列图像信号进行数据分块，在GPU中存在流stream结构，不同流结构中的计算能够同时进行，而同一流中的计算按顺序执行。且DSA序列45张图像信号之间相互独立性，且计算任务高度重复性，将其分配到GPU不同流结构所对应的栅格Grid和块Block中，栅格内部包含NB个块，每个块内部包含NT个线程。通过数据分割并分配给各个线程以及线程所需执行的计算，从而实现对N张图像信号的多线程并行计算。

因此假设单个子任务时间为Tw，传统CPU顺序执行时长需要3*45*Tw完成当前DSA序列45张图像信号的3个子任务计算，而通过GPU并行加速，其计算时长只需要Tw。

步骤3：绘制单张图像信号的观察通道路径P和显影环位置R。在集成装置上选取DSA序列图像信号中一张造影清晰的DSA图像信号，在该DSA图像血管上选取OCT镜头(显影环)的位置R和观察通道起始点S、停止点E的位置进行标记。以Hessian增强的多尺度滤波血管掩膜为边界，且以局部特征点云(分块矩阵中的灰度值最大的点)为观察通道的地图，再通过Dijkstra最短路径规划得到单张图像的观察通道路径。

相比于拓扑细化的中心线方法，该方法考虑导管的弯曲特性且导管并不是在血管的中心位置的特性以及增加了显影环出现再导管中的概率，为后续的显影环识别提供参考，增加识别精准度。

步骤4：绘制DSA序列图像信号的观察通道路径PN。由于心脏的起搏导致的血管平移拉伸收缩，使得DSA序列图像的前后帧变化较大，因此需要求解每张图像的运动方程来获取DSA序列图像信号的观察通道路径。首先根据停止点E的位置为主血管近端点位置，靠近心脏且主分支较多好识别的特点，通过模板匹配得到DSA序列图像信号所有停止点位置EN，并且得到所有停止点EN相对于标记图像停止点E偏移量XN和YN。然后通过对已标记的观察通道路径，进行仿射匹配得到DSA序列图像的角度偏移A和尺度C，结合当前图像信号相对于已标记的信号偏移量X和Y，得到仿射矩阵D，D为单张图像的运动方程。其次，并行化求解运动方程，得到DSA序列图像信号的所有运动方程DN，通过将起始点S坐标带入运动方程DN求解起始点SN。最后，通过起始点SN和停止点EN按照步骤3得出DSA序列图像信号所有的观察通道路径PN。

步骤5：求解显影环位置RN。此时RN为观察通道路径PN上的点，结合计算得到PN上的估计点和以Hessian增强的多尺度滤波血管掩膜为边界的高斯拉普拉斯点得到若干参考点，通过迭代学习得到显影环的模板，并采用多尺度模板匹配，匹配DSA序列图像信号的参考点和显影环学习模板相似度，求取显影环位置RN，并通过前后帧和已标记模板的相似度，显影环防倒退等算法进行校验。

步骤6：DSA序列图像信号的插点估计。由于一张DSA序列图像信号对应6张OCT序列图像信号，需要对DSA序列图像信号上的显影环位置进行补齐，因此需要在当前DSA序列图像信号，***剩余5张图像的显影环位置。通过前后帧的位置信息均分移动的距离得到剩余5张图像的显影环位置。以及，当遇到血管遮挡时需要给出显影环的估计点，通过以Hessian增强的多尺度滤波血管掩膜为边界的局部特征点和显影环学习模板相似度求取。最后，将得到的显影环6*RN位置标记到DSA序列图像上，并同步播放OCT与之对应。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims

同步连续获取DSA序列图像和OCT序列图像；

对获取的DSA序列图像和OCT序列图像进行时间标记；

2.根据权利要求1所述的方法，其特征在于，所述处理选自Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、局部特征点处理中的一种或多种。

3.根据权利要求1所述的方法，其特征在于，所述处理包括Hessian增强的多尺度滤波处理、高斯拉普拉斯点处理、以及局部特征点处理。

4.根据权利要求1所述的方法，其特征在于，所述处理得到DSA序列图像的血管路径、局部特征点和高斯拉普拉斯点，以用于计算并标记显影环在DSA序列图像中的位置。

6.根据权利要求5所述的装置，其特征在于，所述GPU单元包括Hessian增强的多尺度滤波处理子单元、高斯拉普拉斯点处理子单元、局部特征点处理子单元中的一种或多种。

7.根据权利要求5所述的装置，其特征在于，所述GPU单元包括多个多尺度滤波处理子单元、多个高斯拉普拉斯点处理子单元、以及多个局部特征点处理子单元。

8.根据权利要求6所述的装置，其特征在于，所述Hessian增强的多尺度滤波处理子单元用于计算得到DSA序列图像的血管路径。

9.根据权利要求6所述的装置，其特征在于，所述高斯拉普拉斯点处理子单元用于计算得到DSA序列图像的高斯拉普拉斯点。

10.根据权利要求6所述的装置，其特征在于，所述局部特征点处理子单元用于计算得到DSA序列图像的局部特征点。

11.一种电子设备，其特征在于，所述电子设备包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-4中任一项所述的方法。