CN116472553A - 确定介入设备形状 - Google Patents

确定介入设备形状 Download PDF

Info

Publication number
CN116472553A
CN116472553A CN202180078019.6A CN202180078019A CN116472553A CN 116472553 A CN116472553 A CN 116472553A CN 202180078019 A CN202180078019 A CN 202180078019A CN 116472553 A CN116472553 A CN 116472553A
Authority
CN
China
Prior art keywords
image data
interventional device
neural network
dimensional shape
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078019.6A
Other languages
English (en)
Inventor
A·辛哈
G·A·托波雷克
M·L·弗莱克斯曼
J·克吕克尔
A·S·潘斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116472553A publication Critical patent/CN116472553A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种提供用于预测被设置在血管区域内的介入设备的三维形状的神经网络的计算机实施的方法，包括：训练(S140)神经网络(140)，以根据接收到的X射线图像数据(120)和接收到的体积图像数据(110)来预测由所述血管区域(150)约束的所述介入设备的三维形状。所述训练包括约束所述神经网络的参数的调节，使得由所述神经网络(150)预测的所述介入设备的三维形状适合于在由接收到的体积图像数据(110)表示的血管区域的三维形状内。

Description

确定介入设备形状
技术领域
本公开涉及确定被设置在血管区域内的介入设备的三维形状。公开了一种计算机实施的方法、处理装置、***和计算机程序产品。
背景技术
在X射线成像下执行许多介入医学流程。由X射线成像提供的二维图像辅助医师在解剖结构内导航介入设备，诸如导丝和导管。在X射线成像下，诸如骨骼和介入设备的解剖结构的致密区域是高度可见的。然而，在X射线成像下，软组织解剖区域(诸如脉管***)常常不太可见，这限制了导航。在心理上将二维X射线图像中看到的介入设备的形状映射到三维解剖结构也能够是具挑战性的。
通过示例的方式，在***动脉栓塞PAE中，在X射线成像下将诸如导丝和导管的介入设备导航通过脉管***到注射微粒的处置部位，以便阻断小血管，并且从而阻碍向***供应血液。脉管***在X射线图像中常常不太可见，并且在心理上将X射线图像中看到的介入设备的形状映射到三维解剖结构能够是具挑战性的。
为了改进脉管***的可见性，常常利用造影剂捕获二维术中数字减影血管造影DSA图像。然而，一些患者可能对造影剂有不良反应，这限制了其使用。为了解决在心理上将X射线图像中的介入设备的形状映射到三维解剖结构的挑战，可以在这样的介入之前获得脉管***的术前三维图像，诸如计算机断层摄影血管造影CTA图像。CTA图像用作引导介入流程的路线图。然而，尽管采取了这些措施，医师常常需要从不同的投影角度拍摄脉管***的多幅二维X射线图像，以便确认介入设备的位置。
从不同的投影角度生成脉管***的多幅二维X射线图像也存在缺陷。除了增加的辐射剂量之外，由于支撑X射线源和探测器的C型臂的某些配置由患者或患者台的位置阻碍，因此期望的投影角度可能是不可获得的。
因此，根据X射线图像确定被设置在血管区域内的介入设备的形状的方式仍存在改进的空间。
发明内容
根据本公开的第一方面，提供了一种提供用于预测被设置在血管区域内的介入设备的三维形状的神经网络的计算机实施的方法。所述方法包括：
接收表示所述血管区域的三维形状的体积图像数据；
接收表示所述血管区域内的所述介入设备的一个或多个二维投影的X射线图像数据；
接收表示与所述介入设备的所述一个或多个二维投影相对应的所述血管区域内的所述介入设备的三维形状的真实情况(ground truth)介入设备形状数据；并且
通过以下操作来训练神经网络，以根据接收到的X射线图像数据和接收到的体积图像数据，预测由所述血管区域约束的介入设备的三维形状：将接收到的X射线图像数据和接收到的体积图像数据输入到所述神经网络中；并且基于第一损失函数来调节所述神经网络的参数，所述第一损失函数表示由所述神经网络预测的介入设备的三维形状与接收到的真实情况介入设备形状数据之间的差异；并且约束所述调节，使得由所述神经网络预测的所述介入设备的所述三维形状适合于在由接收到的体积图像数据表示的所述血管区域的所述三维形状内。
根据本公开的第二方面，公开了一种预测被设置在血管区域内的介入设备的三维形状的计算机实施的方法。所述方法包括：
接收表示所述血管区域的三维形状的体积图像数据；
接收表示所述血管区域内的所述介入设备的二维投影的X射线图像数据；并且
将接收到的X射线图像数据和接收到的体积图像数据输入到神经网络中，所述神经网络被训练为根据接收到的X射线图像数据和接收到的体积图像数据来预测由所述血管区域约束的介入设备的三维形状；并且响应于所述输入而使用所述神经网络根据接收到的X射线图像数据和接收到的体积图像数据来预测由所述血管区域约束的所述介入设备的三维形状。
本公开的另外的方面、特征和优点将根据参考附图做出的示例的以下描述变得显而易见。
附图说明
图1是图示示例神经网络的示意图。
图2是图示示例神经元的示意图。
图3是图示在介入流程期间期望的X射线成像视图被阻碍的示例的示意图。
图4是图示根据本公开的一些方面的提供用于预测介入设备的三维形状的神经网络的方法的第一示例的流程图。
图5是图示根据本公开的一些方面的提供用于预测介入设备的三维形状的神经网络的方法的第一示例的示意图。
图6是图示提供用于预测介入设备的三维形状的神经网络的方法的第一示例的流程图，并且此外包括任选的操作S170和S180。
图7是图示根据本公开的一些方面的预测介入设备的三维形状的方法的第二示例的示意图。
图8是图示根据本公开的一些方面的预测介入设备的三维形状的方法的示例的流程图。
图9是图示根据本公开的一些方面的预测介入设备的三维形状的方法的示例的示意图。
图10是图示根据本公开的一些方面的用于预测介入设备的三维形状的***300的示意图。
具体实施方式
参考以下描述和附图来提供本公开的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的引用意味着结合示例描述的特征、结构或特性被包括在至少该一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且出于简洁的缘故，在每个示例中不必重复所有特征。例如，关于计算机实施的方法所描述的特征可以以对应的方式在处理装置中、在***中以及在计算机程序产品中实施。
在以下描述中，参考计算机实施的方法，该方法涉及预测被设置在血管区域内的介入设备的三维形状。参考X射线成像流程，其中，导丝形式的介入设备被设置在脉管***内。然而，应意识到，本文所公开的计算机实施的方法的示例可以与除了导丝之外可以在脉管***内使用的其他类型的介入设备一起使用，诸如而不限于：导管、血管内超声成像设备、光学相干断层摄影设备、具有诸如谱感测的感测能力的导管、导引器鞘、激光斑块切除设备、机械斑块切除设备、血压设备和/或流量传感器设备、形状感测设备、TEE探头、针、活检针、消融设备、球囊、支架或内移植物等等。
注意，本文所公开的计算机实施的方法可以被提供为非瞬态计算机可读存储介质，其包括存储在其上的计算机可读指令，该计算机可读指令当由至少一个处理器运行时使所述至少一个处理器执行所述方法。换句话说，计算机实施的方法可以在计算机程序产品中实施。计算机程序产品可以由专用硬件或能够运行与适当的软件相关联的软件的硬件来提供。当由处理器提供时，方法特征的功能可以由单个专用处理器、由单个共享处理器或由多个个体处理器提供，其中一些可以共享。术语“处理器”或“控制器”的明确使用不应被解释为专门是指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开的示例可以采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，计算机程序产品提供用于通过计算机或任何指令运行***使用或与计算机或任何指令运行***结合使用的程序代码。出于该描述的目的，计算机可用存储介质或计算机可读存储介质可以是能够包括、存储、通信、传播或传输程序以供指令运行***、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁性、光学、电磁、红外或者半导体***或者设备或者传播介质。计算机可读介质的示例包括半导体或者固态存储器、磁带、可移除计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器“CD-ROM”、光盘-读/写“CD-R/W”、蓝光TM和DVD。
本文还参考了各种神经网络，以及通过自动调节它们的参数来训练它们。图1是图示示例神经网络的示意图。图1中的示例神经网络1是深度前馈神经网络，其包括布置在输入层、三个隐藏层h1–h3和输出层中的神经元。图1中的示例神经网络1在其输入层中的神经元的输入输入1-输入k处接收数字或二进制输入值形式的输入数据，通过其隐藏层h1–h3中的神经元处理输入值，并在其输出层中的神经元的输出输出1..n处生成输出数据。输入数据可以例如表示图像数据或位置数据等等。输入层中的每个神经元表示输入数据的一部分，诸如例如图像的像素。
图2是图示示例神经元的示意图。图2所图示的示例神经元可以被用于提供图1的隐藏层h1–h3中的神经元，以及图1的输出层中的神经元。图2中的示例神经元包括用西格玛符号标记的求和部分，以及标记为F(S)的激活函数，该激活函数表示S形激活函数。在操作中，数据输入I0–Ij-1乘以对应的权重w0–wj-1，并与偏置项B加在一起。求和结果被输入到激活函数中，以便确定神经元的输出。偏置项将激活函数向左或向右移动，并隐式地向神经元的激活设置阈值，从而控制神经元的输出。权重确定了网络中的神经元之间的连接的强度。权重、偏置和神经元连接是神经网络的“可训练参数”的示例，其在神经网络“训练”过程期间被“学习”，或者换句话说，能够被训练。可以使用各种激活函数，诸如S形函数、Tanh函数、阶跃函数、整流线性单元“ReLU”、泄漏ReLU、Softmax和Swish函数。
如上文所提到的，训练神经网络的过程包括自动调节上文所描述的权重和偏置。监督式学习涉及向神经网络提供训练数据集，该训练数据集包括输入数据和对应的预期输出数据。训练数据集表示神经网络在训练之后将可能被用于分析的输入数据。在监督式学习期间，权重和偏置被自动调节，使得当与输入数据一起呈现时，神经网络准确地提供对应的预期输出数据。
训练神经网络通常涉及将大的训练数据集输入到神经网络中，并且迭代地调节神经网络参数，直到训练的神经网络提供准确的输出。训练通常使用图形处理单元“GPU”或专用神经处理器执行，诸如神经处理单元“NPU”或张量处理单元“TPU”。因此，训练通常采用集中式方法，其中，使用基于云或基于主机的神经处理器来训练神经网络。在其用训练数据集进行训练之后，经训练的神经网络可以被部署到用于分析新输入数据的设备；被称为“推理”的过程。推理期间的处理要求显著低于训练期间需要的那些要求，从而允许神经网络部署到各种***中，诸如膝上型计算机、平板电脑、移动电话等等。例如，推理可以由中央处理单元“CPU”、GPU、NPU、TPU、在服务器上或云中执行。
如上文所提到的，在监督式学***均绝对误差、Huber损失、Dice系数损失或交叉熵损失的函数来计算损失函数的值。在训练期间，损失函数的值通常被最小化，并且当损失函数的值满足停止准则时，训练终止。有时，当损失函数的值满足多个准则中的一个或多个时，训练终止。已知用于解决该最小化问题的各种方法，诸如梯度下降、拟牛顿方法等。已经开发了各种算法来实施这些方法及其变型，包括但不限于随机梯度下降“SGD”、分批梯度下降、小批量梯度下降、高斯-牛顿、Levenberg-Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。
这些算法使用链规则计算损失函数相对于模型参数的导数。该过程被称为反向传播，因为导数是从最后一层或输出层开始、朝向第一层或输入层移动来计算的。这些导数通知算法必须如何调节模型参数，以便使误差函数最小化。即，从输出层开始做出对模型参数的调节，并且在网络中向后工作，直到到达输入层。在第一训练迭代中，初始权重和偏置常常是随机的。然后，神经网络预测输出数据，其同样是随机的。反向传播然后被用于调节权重和偏置。通过对每次迭代中的权重和偏置进行调节来迭代执行训练过程。当预测输出数据与预期输出数据之间的误差或差异在针对训练数据或针对一些验证数据的可接受范围内时，训练终止。随后，可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据中准确地预测预期输出数据。
应意识到，尽管上文所描述的训练过程涉及深度前馈神经网络，但是这仅用作示例，并且其他神经网络可以同样以类似的方式进行训练。
如上文所提到的，在X射线成像下软组织的低可见性与X射线图像的二维性质组合混淆了在心理上将介入设备的X射线图像映射到三维脉管***中并且因此在身体内导航介入设备的任务。放射科医师可以因此从不同的投影角度拍摄脉管***的多幅X射线图像。然而，从期望的投影角度获得图像有时由患者的位置混淆。通过示例的方式，图3是图示在介入流程期间期望的X射线成像视图被阻碍的示例的示意图。在图3中，患者的腿阻碍支撑X射线成像源和探测器的C型臂移动到期望的位置并且从而获得期望的视图。在这种情况下，放射科医师可以随后尝试用多个次优视图对患者进行成像，从而增加针对患者的X射线剂量。也存在许多类似的情况，其中，患者或患者台阻碍获得某些期望的X射线成像视图。
为了解决上述缺点中的一个或多个，提供了一种确定被设置在血管区域内的介入设备的三维形状的方法。参考图4-图6描述了该方法。图4是图示根据本公开的一些方面的提供用于预测介入设备的三维形状的神经网络的方法的第一示例的流程图。参考图4，该方法包括提供用于预测被设置在血管区域内的介入设备的三维形状的神经网络，并且包括：
接收S110表示血管区域的三维形状的体积图像数据110；
接收S120表示血管区域内的介入设备的一个或多个二维投影的X射线图像数据120；
接收S130表示与介入设备的一个或多个二维投影相对应的血管区域内的介入设备的三维形状的真实情况介入设备形状数据130；并且
通过以下操作来训练S140神经网络140，以根据接收到的X射线图像数据120和接收到的体积图像数据110，预测由血管区域150约束的介入设备的三维形状：将接收到的X射线图像数据120和接收到的体积图像数据110输入S150到神经网络140中，并且基于第一损失函数160调节S160神经网络140的参数，第一损失函数160表示由神经网络150预测的介入设备的三维形状与接收到的真实情况介入设备形状数据130之间的差异，并且约束所述调节，使得由神经网络150预测的介入设备的三维形状适合于在由接收到的体积图像数据110表示的血管区域的三维形状内。
图5是图示根据本公开的一些方面的提供用于预测介入设备的三维形状的神经网络的方法的第一示例的示意图。各种神经网络可以用作神经网络140，包括卷积神经网络、编码器-解码器网络、生成对抗网络、胶囊网络、回归网络、强化学习代理、贝叶斯网络、递归网络。在训练操作S140期间，神经网络140接收表示血管区域的三维形状的体积图像数据110和X射线图像数据120，并且被训练为预测受血管区域150约束的介入设备的三维形状。训练可以以与上文参考图1和图2描述的方法一致的方式进行。以表示血管区域内的介入设备的三维形状的真实情况介入设备形状数据130的形式提供训练数据。第一损失函数160的值是基于由神经网络150预测的介入设备的三维形状与接收到的真实情况介入设备形状数据130之间的差异来计算的。第一损失函数160的值被用于调节神经网络140的参数。调节也被约束，使得由神经网络150预测的介入设备的三维形状适合于在由接收到的体积图像数据110表示的血管区域的三维形状内。该约束可以通过使用基于约束的学习技术调节神经网络140的参数来执行，诸如Ren，H.等人，2018题为“Adversarial constraint learningfor structured prediction”的文件(Proc.27th Int.Joint Conference on ArtificialIntelligence,2637-2643,arXiv:1805.10561v2)中公开的技术。因此，约束确保了由神经网络150预测的介入设备的三维形状是有效形状。
体积图像数据110、X射线图像数据120和真实情况介入设备形状数据130可以从各种源接收，包括数据库、成像***、计算机可读存储介质、云等等。可以使用任何形式的数据通信(诸如有线或无线数据通信)来接收数据，并且可以经由因特网、以太网来接收数据，或者通过借助于便携式计算机可读存储介质(诸如USB存储器设备、光盘或磁盘等等)传送数据来接收数据。
体积图像数据110可以例如由以下各项中的一项或多项提供：
计算机断层摄影图像数据；
对比增强计算机断层摄影图像数据；
3D超声图像数据，
锥形束计算机断层摄影图像数据；
磁共振图像数据；
解剖图谱模型数据；以及
通过重建表示血管区域的一个或多个二维投影的X射线图像数据生成的重建体积图像数据。
真实情况介入设备形状数据130可以包括以下各项中的一项或多项：
计算机断层摄影图像数据；
对比增强计算机断层摄影图像数据；
锥形束计算机断层摄影图像数据；
由被机械耦合到介入设备的多个光纤形状传感器生成的光纤形状感测位置数据，诸如在文档WO2007/109778A1中公开的传感器；
由被机械耦合到介入设备的一个或多个电磁跟踪传感器或发射器生成的电磁跟踪位置数据，诸如在文档WO 2015/165736 A1中公开的传感器；
由被机械耦合到介入设备的一个或多个介电传感器生成的介电映射位置数据，诸如在文档US 2019/254564A1中公开的传感器；以及
由被机械耦合到介入设备的一个或多个超声跟踪传感器或发射器生成的超声跟踪位置数据，诸如在文档WO 2020/030557 A1中所公开的。
在一些示例中，真实情况介入设备形状数据130可以备选地由连续机器人***的运动学模型提供。
在一些实施方式中，体积图像数据110、X射线图像数据120和真实情况介入设备形状数据130的坐标系可以彼此配准，以促进计算第一损失函数160和/或约束操作。
当体积图像数据110、X射线图像数据120或真实情况介入设备形状数据130由图像数据提供时，可以酌情使用分割技术来提取介入设备和脉管***。可以使用诸如阈值化、模板匹配、活动轮廓、应用区域生长算法、使用基于模型的分割、手动分割、使用基于神经网络的分割方法的分割技术。分割的结果可以被表示为二进制掩模，或者图像空间中的空间坐标，或者参数方程，或者2D样条曲线，或者线框模型，等等。Moccia、S.等人的题为“Bloodvessel segmentation algorithms–Review of methods,datasets and evaluationmetrics”(Computer Methods and Programs in Biomedicine，第158卷，第71-91页)的文档中公开了各种适合的分割技术。
图6是图示提供用于预测介入设备的三维形状的神经网络的方法的第一示例的流程图，并且此外包括任选的操作S170和S180。图6所图示的流程图对应于图4中的流程图，并且此外包括操作S170和S180，其两者是独立的和任选的，并且也可以一起实施。
在操作S170中，上文参考图4所描述的方法包括计算S170由神经网络150预测的介入设备的三维形状的估计不确定性。在一个示例中，表示不确定性的值可以通过输出与介入设备的预测三维形状的损失函数的值相比较的值来计算。这使得网络能够学习与设备的三维估计中的较高误差相关联并且因此也与较高的不确定性相关联的特征，诸如设备的缩短的二维视图。在另一示例中，丢弃技术可以被用于估计网络预测中的不确定性。丢弃随机选择神经网络中的神经元，并从计算中删除它们的输出。通过使用丢弃重复运行推理，可以在每次运行时获得稍微不同的预测输出。然后可以计算预测输出的均值和方差，其中，均值指示最终输出，并且方差指示不确定性。例如，如果方差很高，那么网络输出的不确定性也很高。在另一示例中，神经网络可以是贝叶斯网络，其直接预测由均值和方差定义的分布，并且设备的输出三维形状是来自该分布的样本。在另一示例中，不确定性可以通过处理神经网络的预测输出来计算，例如通过计算介入设备的三维形状上的点与形状的中心线之间的距离。备选地，所估计的不确定性可以例如基于由血管区域150约束的介入设备的预测三维形状与表示血管区域的三维形状的体积图像数据110之间的差异。所估计的不确定性可以被显示，例如以数字方式显示，或者被显示为指示所计算的估计准确度的空间分布的热图。
在操作S180中，上文参考图4所描述的方法包括分割S180接收到的X射线图像数据120以提供介入设备的一个或多个二维投影，并且将S150接收到的X射线图像数据输入S150到神经网络140中包括将所分割的接收到的X射线图像数据输入到神经网络140中。在该操作中可以使用各种分割技术，包括上文所提到的技术。
在一些实施方式中，训练S140神经网络140的操作包括：约束调节，使得由神经网络150预测的介入设备的三维形状满足介入设备的一个或多个机械约束。机械约束可以例如表示介入设备的预测三维形状中的介入设备的长度，或者介入设备的预测三维形状的最大曲率，或者介入设备的预测三维形状的连续性。这些和其他约束可以在调节S160操作中通过一个或多个额外的损失函数来实施，例如，添加正则化部件，该正则化部件惩罚预测点与形状的中心线之间的距离，或者预测点与其最近邻居的距离，如在整体嵌套边缘检测器中部署的多尺度损失、测地线损失、或对形状的参数表示进行操作以促进连续性的损失(例如样条曲线)，其(一个或多个)值在训练操作S140期间也被最小化。机械约束可以例如以介入设备的模型的形式提供。
在一些实施方式中，解剖特征的位置可以被用于在操作S160中进一步约束调节，并且从而改进介入设备的预测三维形状的准确度。例如，如果在X射线图像数据120中并且也在体积图像数据110中可检测到致密骨骼结构，则这些可以被用于改进介入设备的预测三维形状的准确度。在这些实施方式中，接收到的体积图像数据110还表示解剖特征的三维形状，接收到的X射线图像数据120还表示解剖特征的二维投影；并且训练S140神经网络140还包括：
训练神经网络140以根据接收到的X射线图像数据120预测解剖特征相对于介入设备的三维形状的位置；并且
基于解剖特征相对于介入设备的三维形状的预测位置与接收到的体积图像数据110中的解剖特征相对于血管区域的三维形状的位置之间的差异来约束调节。
图7是图示根据本公开的一些方面的预测介入设备的三维形状的方法的第二示例的示意图。图7所图示的方法对应于图5的方法，并且此外包括标记为“投影”的投影操作，其中，由神经网络150预测的介入设备的三维形状被投影到表面上，从而得到“2D投影”180。图7所图示的方法还包括基于2D投影180与输入X射线图像数据120之间的差异来计算第二损失函数170。在图7所图示的方法中，第二损失函数的值也用于在训练期间调节神经网络140的参数。更详细地，图7所图示的方法对应于图4或图6的方法，并且其中，调节S160神经网络140的参数还基于第二损失函数170，第二损失函数170表示由神经网络150预测的介入设备的三维形状的二维投影180与接收到的X射线图像数据120之间的差异；介入设备的三维形状的二维投影180，以及接收到的X射线图像数据被投影到公共表面上。这是通过将由神经网络150预测的介入设备的三维形状投影到提供X射线图像数据120的X射线探测器的二维表面上来实现的。通常，该公共表面将是平面的，或者包括平面段，或者在一些实施方式中可以包括弯曲表面。这样做时，在操作S160中，第二损失函数为神经网络的参数的调节提供了额外的约束。以这种方式使用第二损失函数改进了介入设备的预测三维形状的准确度。
上文所描述的训练方法的各方面可以由包括被配置为执行该方法的一个或多个处理器的处理装置来提供。处理装置可以例如是基于云的处理***、基于服务器的处理***或基于主机的处理***，并且在一些示例中，其一个或多个处理器可以包括一个或多个神经处理器或神经处理单元“NPU”、一个或多个CPU或一个或多个GPU。还应预期，处理***可以由分布式计算***提供。处理装置可以与一个或多个非瞬态计算机可读存储介质通信，该存储介质共同存储用于执行方法的指令以及与其相关联的数据。
经训练的神经网络140的上文所描述的示例可以被用于在推理期间对新数据做出预测。经训练的神经网络可以例如被部署到诸如台式计算机、膝上型计算机、平板电脑、移动电话等等的***。例如，推理可以由中央处理单元“CPU”、GPU、NPU、TPU、在服务器上或云中执行。图8是图示根据本公开的一些方面的预测介入设备的三维形状的方法的示例的流程图。参考图8，一种预测被设置在血管区域内的介入设备的三维形状的计算机实施的方法，包括：
接收S210表示血管区域的三维形状的体积图像数据210；
接收S220表示血管区域内的介入设备的二维投影的X射线图像数据220；并且
将接收到的X射线图像数据220和接收到的体积图像数据210输入S230到神经网络140中，神经网络140被训练为根据接收到的X射线图像数据220和接收到的体积图像数据210来预测由血管区域150约束的介入设备的三维形状；并且响应于输入S230而使用神经网络140根据接收到的X射线图像数据220和接收到的体积图像数据210预测S240由血管区域150约束的介入设备的三维形状。
由血管区域约束的介入设备的预测三维形状可以通过在显示设备上显示预测三维形状或将其存储到存储器设备等等来输出。
通过提供由血管区域约束的介入设备的三维形状，根据上述方法，提供了设备和脉管***的改进的可视化，而不需要额外的X射线成像。
由经训练的神经网络140使用的体积图像数据210可以由上文所提到的源中的任何提供。例如，在一些实施方式中，体积图像数据210由相同患者的脉管***的术前计算机断层摄影图像提供。然而，在一些实施方式中，在脉管***没有展示高的患者间变异性的情况下，可以将可能源自不同患者的血管区域的模型或可能源自多个不同患者的血管区域的统计模型可以用作体积图像数据210。
在一些实施方式中，解剖特征的位置可以被用于在推理期间调节神经网络140的参数，以改进介入设备的预测三维形状的准确度。在这些实施方式中，接收到的体积图像数据210还表示在X射线图像数据中可见的解剖特征的三维形状，接收到的X射线图像数据220还表示解剖特征的二维投影；并且神经网络140根据接收到的X射线图像数据220预测解剖特征相对于介入设备的三维形状的三维位置。可以在推理期间调节神经网络140的参数，以通过基于解剖特征相对于介入设备的预测三维形状的预测位置与接收到的体积图像数据210中的解剖特征相对于血管区域的三维形状的位置之间的差异约束所述调节来改进介入设备的预测三维形状的准确度。
输入到经训练的神经网络140的X射线图像数据220可以通常由一幅或多幅X射线图像提供。在一些实施方式中，提供单幅X射线图像，并且神经网络140被训练为根据血管区域内的介入设备的一个且仅一个二维投影以及接收到的体积图像数据110来预测由血管区域150约束的介入设备的三维形状。在其他实施方式中，多于一幅X射线图像可以形成由血管区域约束的介入设备的预测三维形状的基础。在这些实施方式中，提供在时间间隔内采集的多幅X射线图像，并且神经网络140被训练为根据血管区域内的介入设备的多个二维投影和接收到的体积图像数据110来预测由血管区域150约束的介入设备的多个三维形状，其对应于介入设备在多幅X射线图像中的多个形状。可以根据每个预测三维形状生成多个二维投影180。可以合并多幅图像或图像序列作为输入的各种神经网络可以用作神经网络140，包括递归神经网络、长短期记忆“LSTM”网络、时间卷积网络、变换器等等。
图9是图示根据本公开的一些方面的预测介入设备的三维形状的方法的示例的示意图。图9的示意图对应于图8的方法，并且此外包括操作S250，其在图8中通过虚线轮廓的方式图示为任选的。在操作S250中，将由神经网络140预测的介入设备的预测三维形状投影到至少一个表面上，以提供介入设备的至少一个预测二维投影。表面可以例如表示X射线成像***的X射线辐射接收探测器的表面。可以以任何期望的投影角度来提供投影。在这样做时，生成投影图像，其表示将已经由X射线成像***在该投影角度下提供的图像。表面可以是平面的或弯曲的，或者实际上任何期望的形状。可以通过在显示设备上显示投影或者将其存储到存储器设备等等来输出介入设备的(一个或多个)预测二维投影。
在一些实施方式中，介入设备的预测二维投影可以包括作为与由接收到的X射线图像数据220表示的介入设备的投影不同的投影的投影。以这种方式生成的多个投影的使用可以被用于提供介入设备的“虚拟”双平面投影。在一些实施方式中，可以通过操作S250提供介入设备的预测三维形状的第二、第三、第四等等，即多个投影，从而提供介入设备的虚拟多平面投影。在一些实施方式中，多个表面可以彼此相交。到多个相交表面上的投影常常被称为“X平面”图像。与由接收到的X射线图像数据220表示的介入设备的投影不同的投影的生成减轻了以不同投影角度拍摄多幅X射线图像的需要。此外，当由于患者或病床的位置而无法实现期望的投影时，它提供了期望的投影。
在一些实施方式中，介入设备的二维投影是与由接收到的X射线图像数据220表示的介入设备的投影相同的投影；介入设备的三维形状的二维投影，以及接收到的X射线图像数据被投影到公共表面上。在这些实施方式中，上文参考图7所描述的第二损失函数170可以被用于在推理期间调节神经网络140的参数，以改进介入设备的预测三维形状的准确度。
在一些实施方式中，由神经网络140使用的体积图像数据210可以在介入流程期间采集。在这些实施方式中，除了患者的血管区域之外，三维体积图像数据可以包括在采集体积图像时介入设备的三维形状。如果神经网络的预测是准确的，则由神经网络140根据在采集体积图像之后采集的介入设备的一幅或多幅二维X射线图像预测的介入设备的三维形状应该对应于体积图像中的介入设备的三维形状。该对应关系可以通过一个或多个额外的损失函数来评价，所述损失函数的(一个或多个)值在训练操作S140期间也被最小化。损失函数可以测量已知设备形状与预测设备形状之间的相似性，或者可以比较已知设备形状与预测设备形状在约束血管区域中的位置等等。在一些实施方式中，体积图像中的介入设备的三维形状的二维投影可以作为“帧0”附加到在采集体积图像之后采集的介入设备的二维X射线图像，以创建序列；介入设备的三维形状的二维投影，以及接收到的X射线图像数据被投影到公共表面上。神经网络140可以被训练为根据上述生成的序列和接收到的体积图像数据来预测输入X射线图像之一(例如，最近的X射线图像)中的介入设备的三维形状，或者由血管区域约束的、对应于多幅X射线图像中的介入设备的多个形状的介入设备的多个三维形状。在预测与多幅X射线图像中的介入设备的多个形状相对应的介入设备的多个三维形状的情况下，第一损失函数和第二损失函数两者可以被用于在推理期间调节神经网络140的参数，以改进介入设备的预测三维形状的准确度；第一损失函数将已知的三维设备形状与从“帧0”预测的三维设备形状进行比较；第二损失函数将介入设备的预测三维形状的每个二维投影S250与介入设备的输入二维X射线图像进行比较。
还提供了一种用于预测介入设备的三维形状的***。此外，图10是图示根据本公开的一些方面的用于预测介入设备的三维形状的***300的示意图。***300包括一个或多个处理器390，其被配置为执行上文关于计算机实施的推理方法描述的操作中的一个或多个。***还可以包括X射线成像***，诸如图10中所图示的C型臂X射线成像***，或者具有针对C型臂的另一类型的支撑结构的X射线成像系，包括O型臂和U型臂等等。在使用中，X射线成像***可以生成表示血管区域内的介入设备的二维投影的X射线图像数据220，其被用作推理方法的输入。***300还可以包括如图10所图示的一个或多个显示器，和/或用户接口设备(诸如键盘或触摸屏)，以及用于控制方法的执行的指点设备(诸如鼠标，和/或病床)。
以上示例要被理解为对于本公开是说明性而非限制性的。还预期了其他示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品、或者由计算机可读存储介质、或者由处理装置、或者由***300以对应的方式提供。应理解，关于任何一个示例描述的特征可以单独使用，或者与其他描述的特征组合使用，并且还可以与示例中的另一个的一个或多个特征组合使用或者与其他示例的组合组合使用。此外，在不脱离在权利要求书中定义的本发明的范围的情况下，也可以采用上文未描述的等效方案和修改。在权利要求中，词语“包括”不排除其他元件或者操作，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对其范围的限制。

Claims (15)

1.一种提供用于预测被设置在血管区域内的介入设备的三维形状的神经网络的计算机实施的方法，所述方法包括：
接收(S110)表示所述血管区域的三维形状的体积图像数据(110)；
接收(S120)表示所述血管区域内的所述介入设备的一个或多个二维投影的X射线图像数据(120)；
接收(S130)真实情况介入设备形状数据(130)，所述真实情况介入设备形状数据表示与所述介入设备的所述一个或多个二维投影相对应的所述血管区域内的所述介入设备的三维形状；并且
通过以下操作来训练(S140)神经网络(140)以根据接收到的X射线图像数据(120)和接收到的体积图像数据(110)来预测由所述血管区域(150)约束的所述介入设备的三维形状：将所述接收到的X射线图像数据(120)和所述接收到的体积图像数据(110)输入(S150)到所述神经网络(140)中；并且基于第一损失函数(160)来调节(S160)所述神经网络(140)的参数，所述第一损失函数表示由所述神经网络(150)预测的所述介入设备的三维形状与接收到的真实情况介入设备形状数据(130)之间的差异；并且约束所述调节，使得由所述神经网络(150)预测的所述介入设备的所述三维形状适合于在由所述接收到的体积图像数据(110)表示的所述血管区域的所述三维形状内。
2.根据权利要求1所述的计算机实施的方法，其中，调节(S160)所述神经网络(140)的参数还基于第二损失函数(170)，所述第二损失函数表示由所述神经网络(150)预测的所述介入设备的所述三维形状的二维投影(180)与所述接收到的X射线图像数据(120)之间的差异；所述介入设备的所述三维形状的所述二维投影(180)和所述接收到的X射线图像数据被投影到公共表面上。
3.根据权利要求1或权利要求2所述的计算机实施的方法，还包括计算(S170)由所述神经网络(150)预测的所述介入设备的所述三维形状的估计不确定性。
4.根据权利要求1-3中的任一项所述的计算机实施的方法，其中，所述体积图像数据(110)包括以下各项中的一项或多项：
计算机断层摄影图像数据；
对比增强计算机断层摄影图像数据；
3D超声图像数据；
锥形束计算机断层摄影图像数据；
磁共振图像数据；
解剖图谱模型数据；以及
通过重建表示所述血管区域的一个或多个二维投影的X射线图像数据所生成的重建体积图像数据。
5.根据权利要求1-4中的任一项所述的计算机实施的方法，包括：分割(S180)所述接收到的X射线图像数据(120)以提供所述介入设备的所述一个或多个二维投影，并且其中，将所述接收到的X射线图像数据(120)输入(S150)到所述神经网络(140)中包括将所分割的接收到的X射线图像数据输入到所述神经网络(140)中。
6.根据权利要求1-5中的任一项所述的计算机实施的方法，其中，所述真实情况介入设备形状数据(130)包括以下各项中的一项或多项：
计算机断层摄影图像数据；
对比增强计算机断层摄影图像数据；
锥形束计算机断层摄影图像数据；
由被机械耦合到所述介入设备的多个光纤形状传感器生成的光纤形状感测位置数据；
由被机械耦合到所述介入设备的一个或多个电磁跟踪传感器或发射器生成的电磁跟踪位置数据；
由被机械耦合到所述介入设备的一个或多个介电传感器生成的介电映射位置数据；以及
由被机械耦合到所述介入设备的一个或多个超声跟踪传感器或发射器生成的超声跟踪位置数据。
7.根据权利要求1-6中的任一项所述的计算机实施的方法，其中，训练(S140)所述神经网络(140)包括：约束所述调节，使得由所述神经网络(150)预测的所述介入设备的所述三维形状满足所述介入设备的一个或多个机械约束。
8.根据权利要求1-7中的任一项所述的计算机实施的方法，其中，所述神经网络(140)包括以下各项中的一项或多项：卷积神经网络、编码器-解码器网络、生成对抗网络、胶囊网络、回归网络、强化学习代理、递归神经网络、长短期记忆网络、时间卷积网络，以及变换器。
9.根据权利要求1-8中的任一项所述的计算机实施的方法，其中，所述接收到的体积图像数据(110)还表示解剖特征的三维形状，其中，所述接收到的X射线图像数据(120)还表示所述解剖特征的二维投影；并且其中，训练(S140)所述神经网络(140)还包括训练所述神经网络(140)以根据所述接收到的X射线图像数据(120)来预测所述解剖特征相对于所述介入设备的所述三维形状的位置；并且还包括基于所述解剖特征相对于所述介入设备的所述三维形状的预测位置与所述接收到的体积图像数据(110)中的所述解剖特征相对于所述血管区域的所述三维形状的位置之间的差异来约束所述调节。
10.一种预测被设置在血管区域内的介入设备的三维形状的计算机实施的方法，所述方法包括：
接收(S210)表示所述血管区域的三维形状的体积图像数据(210)；
接收(S220)表示所述血管区域内的所述介入设备的一个或多个二维投影的X射线图像数据(220)；并且
将接收到的X射线图像数据(220)和接收到的体积图像数据(210)输入(S230)到被训练为根据所述接收到的X射线图像数据(220)和所述接收到的体积图像数据(210)来预测由所述血管区域(150)约束的所述介入设备的三维形状的神经网络(140)中，并且响应于所述输入(S230)而使用所述神经网络(140)根据所述接收到的X射线图像数据(220)和所述接收到的体积图像数据(210)来预测(S240)由所述血管区域(150)约束的所述介入设备的三维形状。
11.根据权利要求10所述的计算机实施的方法，还包括将由所述神经网络(140)预测的所述介入设备的预测三维形状投影(S250)到至少一个表面上，以提供所述介入设备的至少一个预测二维投影。
12.根据权利要求11所述的计算机实施的方法，其中，所述投影(S250)包括将由所述神经网络(140)预测的所述介入设备的所述预测三维形状投影到多个相交表面上。
13.根据权利要求10-12中的任一项所述的计算机实施的方法，其中，所述神经网络(140)被训练为根据所述血管区域内的所述介入设备的一个且仅一个二维投影以及所述接收到的体积图像数据(110)来预测由所述血管区域(150)约束的所述介入设备的所述三维形状。
14.一种用于预测被设置在血管区域内的介入设备的三维形状的***(300)；所述***包括被配置为执行根据权利要求10所述的方法的一个或多个处理器(390)。
15.一种包括指令的计算机程序产品，所述指令当由一个或多个处理器(390)运行时使所述一个或多个处理器执行根据权利要求1或权利要求10所述的方法。
CN202180078019.6A 2020-11-20 2021-11-16 确定介入设备形状 Pending CN116472553A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063116184P 2020-11-20 2020-11-20
US63/116,184 2020-11-20
PCT/EP2021/081758 WO2022106377A1 (en) 2020-11-20 2021-11-16 Determining interventional device shape

Publications (1)

Publication Number Publication Date
CN116472553A true CN116472553A (zh) 2023-07-21

Family

ID=78806493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078019.6A Pending CN116472553A (zh) 2020-11-20 2021-11-16 确定介入设备形状

Country Status (5)

Country Link
US (1) US20230334686A1 (zh)
EP (1) EP4248404B1 (zh)
JP (1) JP7421689B2 (zh)
CN (1) CN116472553A (zh)
WO (1) WO2022106377A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024110335A1 (en) 2022-11-21 2024-05-30 Koninklijke Philips N.V. Providing projection images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3545815A1 (en) 2006-03-22 2019-10-02 Koninklijke Philips Electronics N.V. Fiber optic instrument sensing system
RU2016145933A (ru) 2014-04-29 2018-05-29 Конинклейке Филипс Н.В. Устройство для определения конкретного положения катетера
EP3294127A1 (en) 2015-05-12 2018-03-21 Navix International Limited Systems and methods for tracking an intrabody catheter
EP3384846B1 (en) 2017-04-03 2021-03-24 Siemens Healthcare GmbH Method for operating an x-ray device, x-ray device, computer program and electronically readable storage medium.
WO2020030557A1 (en) 2018-08-08 2020-02-13 Koninklijke Philips N.V. Tracking an interventional device respective an ultrasound image plane
CN111798451B (zh) 2020-06-16 2023-08-08 北京理工大学 基于血管3d/2d匹配的3d导丝跟踪方法及装置

Also Published As

Publication number Publication date
US20230334686A1 (en) 2023-10-19
WO2022106377A1 (en) 2022-05-27
JP2023546521A (ja) 2023-11-02
JP7421689B2 (ja) 2024-01-24
EP4248404B1 (en) 2024-06-26
EP4248404A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
KR20190047073A (ko) 축소 차수 모델 및 기계 학습을 사용한 혈류 특성들의 추정을 위한 시스템 및 방법들
US10646185B2 (en) iFR-CT
CN117115150B (zh) 用于确定分支血管的方法、计算设备和介质
US10278662B2 (en) Image processing apparatus and medical image diagnostic apparatus
Gharleghi et al. Towards automated coronary artery segmentation: A systematic review
JP7421689B2 (ja) 介入装置形状の決定
US20240020877A1 (en) Determining interventional device position
JP7426824B2 (ja) 非侵襲的イメージングベースのｆｆｒのインタラクションモニタリング
EP4160529A1 (en) Probabilistic tree tracing and large vessel occlusion detection in medical imaging
CN111954907A (zh) 基于机器学习的血管成像中的分辨和操纵决策焦点
CN116172699A (zh) 机器人导管导航***的风险管理
CN113888690A (zh) 用于确定血管中的目标区段的方法、设备和介质
US20230178248A1 (en) Thrombus treatment metric
EP4181058A1 (en) Time-resolved angiography
JP2024515068A (ja) 介入装置のナビゲート
EP4173585A1 (en) Method for identifying a vascular access site
WO2024110335A1 (en) Providing projection images
CN118265995A (zh) 时间分辨的血管造影
WO2023104559A1 (en) Thrombus treatment metric
US20240070825A1 (en) Motion compensation in angiographic images
WO2023083700A1 (en) Time-resolved angiography
US20210057081A1 (en) Tracking method and apparatus
WO2023186610A1 (en) Intravascular procedure step prediction
WO2023072973A1 (en) Identifying a vascular access site
WO2023072752A1 (en) X-ray projection image scoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination