CN118265995A - 时间分辨的血管造影 - Google Patents

时间分辨的血管造影 Download PDF

Info

Publication number
CN118265995A
CN118265995A CN202280074949.9A CN202280074949A CN118265995A CN 118265995 A CN118265995 A CN 118265995A CN 202280074949 A CN202280074949 A CN 202280074949A CN 118265995 A CN118265995 A CN 118265995A
Authority
CN
China
Prior art keywords
angiographic
images
interest
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280074949.9A
Other languages
English (en)
Inventor
L·萨利希
A·辛哈
R·Q·埃尔坎普
G·A·托波雷克
A·S·潘斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2022/080747 external-priority patent/WO2023083700A1/en
Publication of CN118265995A publication Critical patent/CN118265995A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了一种提供表示通过感兴趣区域(120)的造影剂的流动的3D血管造影图像(110)的时间序列的计算机实施的方法。所述方法包括：将体积图像数据(130a、130b)以及2D血管造影图像(140)的时间序列输入(S130)到神经网络(NN1)中；并且响应于所述输入而生成(S140)表示通过所述感兴趣区域(120)的所述造影剂的所述流动的3D血管造影图像(110)的预测时间序列。

Description

时间分辨的血管造影
技术领域
本公开涉及提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列。公开了一种计算机实施的方法、计算机程序产品和***。
背景技术
时间分辨的血管造影常用于临床研究。与静态血管造影图像相比，由时间分辨的血管造影成像生成的血管造影图像的时间序列提供了关于通过脉管***的造影剂的流动的信息。反过来，流动信息使得能够更好地理解解剖结构中的生理过程。然而，时间分辨的血管造影成像的益处是以增加患者的X射线剂量为代价实现的。
时间分辨的2D血管造影成像和时间分辨的3D血管造影成像两者用于临床研究。与时间分辨的2D血管造影成像相比，时间分辨的3D血管造影成像提供的结构信息使得能够更深入地理解造影剂在感兴趣区域中的流动。使用时间分辨的3D血管造影成像也可以改进工作流程。例如，使用时间分辨的3D血管造影成像就不需要准确地将成像***与感兴趣区域对齐，以便提供感兴趣区域的期望视图。时间分辨的3D血管造影图像可以以3D显示，或显示为来自任何期望查看方向的合成2D投影，以便提供感兴趣区域的一个或多个并发视图。
从历史上看，由于其对图像处理的要求增加，并且还需要限制患者的X射线剂量，与时间分辨的2D血管造影图像相比，时间分辨的3D血管造影图像的图像质量常会降低。最近，诸如数字减影血管造影“DSA”的血管造影成像技术已经被引入，其提供时间分辨的3D血管造影图像，其具有与时间分辨的2D血管造影图像相似的图像质量和X射线剂量。
然而，在一些临床研究中使用3D血管造影成像仍然存在挑战，包括例如3D血管造影成像***限制对患者的访问的潜力，3D血管造影成像***的较高成本，以及对提供具有低X射线剂量且不增加采集时间的高质量3D血管造影图像的需要。
发明内容
根据本公开的一个方面，提供了一种提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的计算机实施的方法。方法包括：
接收表示感兴趣区域的体积图像数据；
接收表示通过感兴趣区域的造影剂的流动的2D血管造影图像的时间序列；
将体积图像数据和2D血管造影图像的时间序列输入到神经网络中；以及
响应于输入而生成3D血管造影图像的预测时间序列，其表示通过感兴趣区域的造影剂的流动；并且
其中，训练神经网络以根据2D血管造影图像的时间序列预测3D血管造影图像的时间序列，并且由体积图像数据约束3D血管造影图像的预测时间序列。
由于3D血管造影图像的预测时间序列是由神经网络根据2D血管造影图像的时间序列提供的，因此所述方法提供了3D血管造影图像的时间序列的优点，其包括使得能够更深入地理解造影剂在感兴趣区域中的流动的结构信息，而没有需要将成像***与解剖结构准确地对齐以及限制访问感兴趣区域的缺点。
本公开的另外的方面、特征和优点将从示例的以下描述变得明显，这些示例是参考附图做出的。
附图说明
图1是图示根据本公开的一些方面的提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的示例的流程图。
图2是图示根据本公开的一些方面的用于提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的***的示例的示意图。
图3是图示根据本公开的一些方面的提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的方法的第一示例的示意图。
图4是图示根据本公开的一些方面的提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的方法的第二示例的示意图。
图5是图示根据本公开的一些方面的X射线成像***150的X射线源150b和X射线探测器150a相对于患者的感兴趣区域120的取向的示意图，该取向包括投影X射线成像***150的中心射线围绕患者的纵轴的旋转角度a。
图6是图示根据本公开的一些方面的X射线成像***150的X射线源150b和X射线探测器150a相对于患者中的感兴趣区域120的取向的示意图，该取向包括投影X射线成像***150的中心射线相对于患者的颅-尾轴的倾斜角度b。
图7是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第一示例的流程图。
图8是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第二示例的流程图。
图9是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第一示例的示意图。
具体实施方式
参考以下描述和附图来提供本公开的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的提及意味着结合该示例描述的特征、结构或特性被包括在至少该一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且出于简洁的缘故，在每个示例中不必重复所有特征。例如，关于计算机实施的方法所描述的特征可以以对应的方式在计算机程序产品中和***中实施。
在以下描述中，描述了计算机实施的方法，其涉及提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列。参考脑动脉瘤形式的示例感兴趣区域。然而，应意识到，该感兴趣区域仅用作示例，并且本文公开的方法也可以用于提供表示通过脉管***中的其他感兴趣区域的造影剂的流动的3D血管造影图像的时间序列。通常，感兴趣区域可能在脉管***中的任何地方。
本文还参考动脉瘤盘绕流程形式的示例处置流程。在该流程中，线圈被***到动脉瘤的囊中，以便减少血液流动，从而使动脉瘤内的血液凝固。然而，应意识到，该处置流程仅用作示例，并且本文公开的方法也可以用于其他处置流程。例如，方法可以用于处置流程，诸如冠状动脉血管成形术、脑血管内血栓切除术和肿瘤栓塞。还应意识到，本文公开的方法一般可以用于临床研究。
注意，本文所公开的计算机实施的方法可以作为非瞬态计算机可读存储介质来提供，该存储介质包括存储在其上的计算机可读指令，该计算机可读指令当由至少一个处理器运行时使该至少一个处理器执行该方法。换句话说，计算机实施的方法可以在计算机程序产品中实施。计算机程序产品可以由专用硬件或能够运行与适当的软件相关联的软件的硬件来提供。当由处理器提供时，方法特征的功能可以由单个专用处理器、由单个共享处理器或由多个个体处理器(其中一些可以共享)提供。一个或多个方法特征的功能可以例如由在联网处理架构(诸如客户端/服务器架构、对等架构、因特网或云)内共享的处理器提供。
术语“处理器”或“控制器”的明确使用不应被解释为专门是指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开的示例可以采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，计算机程序产品提供用于通过计算机或任何指令运行***使用或与计算机或任何指令运行***结合使用的程序代码。出于该描述的目的，计算机可用存储介质或计算机可读存储介质可以是能够包括、存储、通信、传播或传输程序以供指令运行***、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁性、光学、电磁、红外或者半导体***或者设备或者传播介质。计算机可读介质的示例包括半导体或者固态存储器、磁带、可移除计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器“CD-ROM”、光盘-读/写“CD-R/W”、蓝光TM和DVD。
如上所述，时间分辨的血管造影成像常用于临床研究。时间分辨的2D血管造影成像和时间分辨的3D血管造影成像都用于临床研究。与时间分辨的2D血管造影成像相比，时间分辨的3D血管造影成像提供的结构信息使得能够更深入地理解造影剂在感兴趣区域中的流动。最近，诸如数字减影血管造影“DSA”的血管造影成像技术已经被引入，其提供具有与时间分辨的2D血管造影图像相似的图像质量和X射线剂量的时间分辨的3D血管造影图像。然而，在一些临床研究中使用3D血管造影成像仍然存在挑战，包括例如3D血管造影成像***限制对患者的访问的潜力、3D血管造影成像***的较高成本、以及对提供具有低X射线剂量且不增加采集时间的高质量3D血管造影图像的需要。
通过示例，动脉瘤盘绕流程通常涉及将线圈***到动脉瘤的囊中。这减少血流，并且使动脉瘤内的血液凝固。动脉瘤盘绕的目标是利用足够的线圈来填充动脉瘤囊，以便处置动脉瘤，同时避免过度填充。在动脉瘤盘绕流程之前，常需要采集动脉瘤的静态2D或3D血管造影图像，以便规划流程。在动脉瘤盘绕流程期间，常使用投影X射线成像***来生成动脉瘤的静态或时间分辨的2D血管造影图像，以便监测流程的进展。为了探测线圈物质溢出到母血管中，放射技师通常尝试找到投影X射线成像***的取向，该投影X射线成像***提供2D图像，其中，存在囊与母血管之间的最小交叠量以及母血管的最小缩短。然而，提供动脉瘤的最佳视图能够具有挑战性。投影X射线成像***的取向可能需要多次调节以便提供动脉瘤的最佳视图。
有时，具有多个源-探测器装置的投影X射线成像***被用于同时提供具有动脉瘤的不同的视图的2D血管造影图像，以便克服单个视图的局限性。这种成像***常被称为“双平面”X射线成像***。这两种源-探测器装置的取向可能需要调节若干次，以便提供期望最佳视图。此外，随着盘绕流程进行，动脉瘤的最佳视图可能变化。当线圈***到动脉瘤中时，动脉瘤内和母血管内的血流都变化。例如，在动脉瘤盘绕流程开始之前，血液从动脉瘤近侧的母血管的部分流入动脉瘤中，并且因此进入动脉瘤远侧的母血管的部分的血流是缓慢的。随着动脉瘤盘绕流程进行，较少血液流入动脉瘤，并且进入动脉瘤远侧的母血管的部分的血流返回到正常速度。而且，动脉瘤可能被***的线圈遮挡。因此，在动脉瘤盘绕流程期间，可能需要多次重新调节投影X射线成像***的取向，这阻碍了工作流程。在流程期间血流改变的其他流程示例包括动脉粥样硬化切除术(即从血管中去除斑块或钙化)和球囊血管成形术(即具有狭窄的血管的扩张)。
提供动脉瘤的时间分辨率的术中3D血管造影图像似乎可以解决准确地对准和重新对准2D X射线成像***的取向的挑战，以便提供并保持动脉瘤的最佳视图。然而，3D成像***的使用也带来了挑战。例如，采集3D图像扰乱了手术工作流程，因为其通常需要流程工作人员走出手术室，并在采集3D图像后重新回到手术室。此外，为了生成DSA图像，必须采集初始的3D掩模图像，然后是对比度增强的3D图像，以便减去掩模图像中包含的背景解剖结构且仅保留时间分辨的3D血管造影图像中的脉管***。这大大增加了图像采集时间，并证明了在生成图像的时间序列时进一步减少X射线剂量的潜力。三维X射线成像***也可能限制对感兴趣区域的访问。此外，3D X射线成像***的费用通常高于2D X射线成像***的费用。
图1是图示根据本公开的一些方面的提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的示例的流程图。参考图1，提供了一种用于提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的计算机实施的方法。所述方法包括：
接收S110表示感兴趣区域120的体积图像数据130a、130b；
接收S120表示通过感兴趣区域120的造影剂的流动的2D血管造影图像140的时间序列；
将体积图像数据130a、130b和2D血管造影图像140的时间序列输入S130到神经网络NN1中；以及
响应于该输入而生成S140表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的预测时间序列；并且
其中，神经网络NN1被训练为根据2D血管造影图像140的时间序列来预测3D血管造影图像110的时间序列，并且由体积图像数据130a、130b约束3D血管造影图像110的预测时间序列。
由于3D血管造影图像的预测时间序列是由神经网络根据2D血管造影图像的时间序列提供的，因此所述方法提供了3D血管造影图像的时间序列的益处，包括使得能够更深入地理解造影剂在感兴趣区域中的流动的结构信息，而没有需要将成像***与解剖结构准确地对齐以及限制访问感兴趣区域的缺点。
图2是图示根据本公开的一些方面的用于提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的***的示例的示意图。与图1所示的方法相关地描述的操作也可以由图2所示的***200执行。同样，与***200相关地描述的操作也可以在参考图1所描述的方法中执行。图3是图示根据本公开的一些方面的提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的方法的第一示例的示意图。参考图1和图3，在操作S110中，接收表示感兴趣区域120的体积图像数据。例如，感兴趣区域可能是动脉瘤，尽管感兴趣区域通常可能在脉管***中的任何地方，如上所述。
体积图像数据通常可由体积成像***生成。例如，可以使用体积X射线成像***。体积X射线成像***通常在围绕成像区域旋转或步进X射线源探测器时生成图像数据，并且随后将从多个旋转角度获得的图像数据重建为3D或体积图像。体积X射线成像***的示例包括计算机断层摄影“CT”成像***、锥形束CT“CBCT”成像***和能谱CT成像***。在一些示例中，可以使用数字减影血管造影“DSA”技术生成体积图像数据。备选地，体积图像数据可以由磁共振成像“MRI”***生成。例如，磁共振血管造影“MRA”体积图像数据可以通过向脉管***中注射造影剂并使用特定共振频率处的振荡磁场来生成，以使用MRI成像***生成各种解剖结构的图像。
在一些示例中，体积图像数据可以表示在将介入设备***到感兴趣区域120中之前生成的术前数据。例如，体积图像数据可以在规划阶段期间或介入流程之前立刻生成。
在操作S110中接收的体积图像数据可以从体积成像***、或从计算机可读存储介质、或例如从因特网或云接收。体积图像数据可以由图2所示的一个或多个处理器170接收。体积图像数据可以经由任何形式的数据通信接收，包括有线、光学和无线通信。通过一些示例，当使用有线或光学通信时，通信可以经由在电缆或光缆上传输的信号进行，并且当使用无线通信时，通信可以例如经由RF或光学信号进行。
在一个示例中，体积图像数据包括表示感兴趣区域120的3D血管造影图像130a。该示例如图3所示。在该示例中，可以在注射造影剂之后生成3D血管造影图像130a。造影剂突出显示3D血管造影图像130a中的脉管***。在稍后参考图4描述的另一示例中，体积图像数据包括表示通过感兴趣区域120的造影剂的参考流动的3D血管造影图像130b的时间序列。参考图3示例，体积图像数据可以包括单幅3D血管造影图像130a，即一幅且仅一幅3D血管造影图像130a，或者其可以包括多幅3D血管造影图像。单幅3D血管造影图像130a可以通过围绕感兴趣区域通过单个完整旋转或更少来旋转体积成像***的源-探测器装置来生成。
在操作S120中，接收表示通过感兴趣区域120的造影剂的流动的2D血管造影图像140的时间序列。2D血管造影图像140的时间序列可以由生成2D X射线图像的投影X射线成像***生成。投影X射线成像***通常包括支撑臂，诸如所谓的“C型臂”或“O型臂”，其支撑X射线源-探测器装置。投影X射线成像***可以备选地包括具有与这些示例不同的形状的支撑臂。投影X射线成像***通常生成投影X射线图像，在采集图像数据期间，该支撑臂相对于成像区域保持在静态位置。在一些示例中，可以使用数字减影血管造影“DSA”技术生成2D血管造影图像140的时间序列。例如，可以由图2所示的投影X射线成像***180生成X射线投影图像。通过示例，血管造影图像可以由Philips Healthcare,Best,the Netherlands销售的Philips Azurion 7X射线成像***生成。
在操作S120中接收的2D血管造影图像140的时间序列可以由图2所示的一个或多个处理器170接收。可以经由任何形式的数据通信接收2D血管造影图像140的时间序列，如上面针对体积图像数据所描述的。2D血管造影图像140的时间序列表示与在操作S110中接收到的体积图像数据130a、130b相同的感兴趣区域。
通常，在操作S120中接收的2D血管造影图像140的时间序列在时间上可能比体积图像数据130a、130b更晚生成。例如，体积图像数据可以表示在将介入设备***到感兴趣区域120中之前生成的术前数据。例如，体积图像数据可以在规划阶段或介入流程前立刻生成。例如，2D血管造影图像140的时间序列可以表示在将介入设备***到感兴趣区域120中期间生成的术中数据。
在操作S130中，将体积图像数据130a和2D血管造影图像140的时间序列输入到神经网络NN1中。这在图3中图示。响应于输入操作S130，在操作S140中，生成表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的预测时间序列，也如图3所示。神经网络NN1被训练为根据2D血管造影图像140的时间序列预测3D血管造影图像110的时间序列，并由体积图像数据130a约束3D血管造影图像110的预测时间序列。
如上所述，在另一示例中，在操作S130中输入的体积图像数据包括表示通过感兴趣区域120的造影剂的参考流动的3D血管造影图像130b的时间序列。该示例参考图4进行描述，图4是图示根据本公开的一些方面的提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的方法的第二示例的示意图。如图3示例中所示，在图4示例中，可以在注射造影剂之后生成3D血管造影图像130b的时间序列。在图4示例中，3D血管造影图像的时间序列表示造影剂的流动。通常，在操作S120中接收的2D血管造影图像140的时间序列在时间上可能比体积图像数据130a、130b更晚生成。例如，体积图像数据可以表示在将介入设备***到感兴趣区域120中之前生成的术前数据。例如，体积图像数据可以在规划阶段或介入流程前立刻生成。例如，2D血管造影图像140的时间序列可以表示在将介入设备***到感兴趣区域120中期间生成的术中数据。
在操作S130中，将体积图像数据130b和2D血管造影图像140的时间序列输入到神经网络NN1中。这在图4中图示。响应于输入操作S130，在操作S140中，生成表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的预测时间序列，也如图4所示。神经网络NN1被训练为根据2D血管造影图像140的时间序列预测3D血管造影图像110的时间序列，并由体积图像数据130b约束3D血管造影图像110的预测时间序列。
在图3示例和图4示例中，3D血管造影图像110的预测时间序列分别受到体积图像数据130a和130b约束。这种约束可以通过计算损失函数的值来应用，该值表示3D血管造影图像110的预测时间序列与体积图像数据130a、130b之间的差异。在推理时，损失函数的值可以用于微调神经网络的预测。该损失函数具有以下效应：确保3D血管造影图像110的预测时间序列中的图像准确地描绘体积图像数据130a、130b中的感兴趣区域的3D结构。诸如L1或L2损失、结构相似性指数、Huber损失、log cosh损失等的损失函数可用于此目的。该损失函数的值可以用于通过将3D血管造影图像110的预测时间序列中的感兴趣区域的3D结构与体积图像数据130a、130b中的感兴趣区域的3D结构进行比较来微调神经网络的预测。例如，可以通过根据3D血管造影图像110的预测时间序列计算复合或轨迹3D血管造影图像来执行该比较。复合图像可以表示3D血管造影图像110的时间序列中的图像强度值的最大值或最小值或平均值。复合图像捕获脉管***的完整3D结构，通过该3D结构，在3D血管造影图像110的时间序列中捕获对比流。因此，可以通过计算第一损失函数的值来应用对3D血管造影图像110的预测时间序列的结构约束，该值表示根据3D血管造影图像110的预测时间序列计算的复合3D血管造影图像与输入的单幅3D血管造影图像130a或根据输入的3D血管造影图像130b的时间序列生成的复合3D血管造影图像之间的差异。备选地或额外地，可以通过计算第二损失函数的值来应用流动约束，该值表示通过将预测的3D血管造影图像110投影到与输入的2D血管造影图像140的探测器平面相对应的虚拟探测器平面上生成的合成投影图像与输入的2D血管造影图像140之间的差异。在推理时，第二损失函数的值同样可以用于微调神经网络的预测。该第二损失函数具有以下效应：确保在3D血管造影图像110的预测时间序列中的图像中的流动准确地描绘输入的2D血管造影图像140中的造影剂的流动。当使用两个损失函数来应用该约束时，可以对第一损失函数和第二损失函数的值进行加权和求和，以提供组合损失值。在推理时，组合损失值可以用于微调3D血管造影图像110的预测时间序列，如上所述。
虚拟探测器平面可以通过使用位置编码器数据识别输入的2D血管造影图像140的探测器平面来确定，该位置编码器数据表示生成2D血管造影图像140的X射线成像***相对于患者的感兴趣区域的取向。备选地，可以通过将输入的2D血管造影图像140配准到输入的体积图像数据130a、130b并确定基于该配准生成输入的2D血管造影图像140的X射线成像***的取向来确定虚拟探测器平面。
在一些示例中，还可以生成3D血管造影图像110的预测时间序列的置信度值。输出置信度值允许用户调制他们对神经网络NN1的预测的信任。可使用各种技术计算置信度值。在一个示例中，使用由如上所述的神经网络NN1生成的损失函数的值来提供置信度值。在该示例中，损失函数的相对较小值导致相对较高置信度值，反之亦然。在另一示例中，通过观察网络产生的注意力图并评估网络的注意力是否在感兴趣区域内，可以将置信度值分配给神经网络NN1的预测，在这种情况下，置信度值可能相对较高，或者在其他地方，在这种情况下，置信度值可能相对较低。
在另一示例中，3D血管造影图像110的预测时间序列的置信度值是基于用于生成每幅预测的3D血管造影图像的2D血管造影图像的总数的计数生成的。在该示例中，如果使用单幅2D血管造影图像来生成预测的3D血管造影图像，则图像的置信度值可能相对较低，而如果使用多幅2D血管造影图像，则置信度值可能相对较高。
在另一示例中，通过计算感兴趣区域中的特征的一个或多个分析度量(诸如交叠程度或缩短程度等)来生成3D血管造影图像110的预测时间序列的置信度值。用于计算这样的分析度量的技术在Wilson,D等人的题为“Determining X-ray projections for coiltreatments of intracranial aneurysms”(在IEEE Transactions on Medical Imaging，第18卷，第10号，第973-980页，1999年10月，doi:10.1109/42.811309)的文档中被公开。在该文档中，提出了一种计算诸如上述交叠程度和缩短程度的因子的算法。该算法使用以下作为输入：i)感兴趣区域和周围解剖结构的离散定义的3D分割，以及ii)X射线成像***的几何和成像参数的模型。在该示例中，可以基于提供感兴趣区域的模型的体积图像数据130a、130b为2D血管造影图像140的输入时间序列计算分析度量的值，并且这些值可以用于生成3D血管造影图像110的预测时间序列的置信度值。在该示例中，输入的2D血管造影图像140中的高度交叠可能指示神经网络NN1的输出的相对较低置信度，反之亦然。
在另一示例中，可以使用丢弃技术为3D血管造影图像110的预测时间序列提供置信度值。丢弃技术涉及迭代地将相同的数据输入到神经网络中，并确定神经网络的输出，同时在每次迭代中随机地从神经网络中排除一定比例的神经元。然后分析神经网络的输出以提供均值和方差值。均值表示最终输出，并且方差的幅度指示神经网络在其预测中是否一致，在这种情况下，方差小且置信度相对较高，或者神经网络在其预测中是否不一致，在这种情况下方差较大，置信度相对较低。
因此，3D血管造影图像110的预测时间序列的置信度值可以通过以下中的一个或多个来计算：
确定第一损失函数LF1的值，其表示接收到的体积图像数据130a、130b与预测的3D血管造影图像110之间的差异；
确定第二损失函数LF2的值，其表示通过将预测的3D血管造影图像110投影到与输入的2D血管造影图像140的探测器平面相对应的虚拟探测器平面上而生成的合成投影图像与输入的2D血管造影图像140之间的差异；
生成指示预测的3D血管造影图像110所基于的一个或多个因子的位置的注意力图，并确定注意力图与感兴趣区域120的位置之间的差异；以及
计算用于生成预测的3D血管造影图像110的2D血管造影训练图像的时间序列的总数。
神经网络NN1可以包括一个或多个架构，例如卷积神经网络“CNN”、循环神经网络“RNN”、时间卷积网络“TCN”、编码器-解码器、变分编码器-解码器、变压器和生成对抗网络“GAN”。神经网络NN1可以包括多个全连接层或卷积层，层之间有池化、批归一化、丢弃、非线性操作等。神经网络可以生成3D血管造影图像110的预测时间序列，其具有与输入的体积图像数据相同的空间维度，并且具有与输入的2D血管造影图像140的时间序列相同的时间分辨率。例如，神经网络NN1可以输出灰度级的n×m×p×t输出，其中，n×m×p为体积图像数据的维数，并且t为输入的2D血管造影图像140的时间序列中的帧数。输出图像中的灰度级指示基于术中在2D血管造影图像140的时间序列中观察到的流动的经更新的造影剂流动模式。
下面提供了关于训练神经网络NN1的细节。
因此，在图3示例和图4示例两者中，根据输入的2D血管造影图像140的时间序列生成3D血管造影图像110的预测时间序列。如上所述，2D血管造影图像140的时间序列可以比体积图像数据130a、130b在时间上更晚生成。通过这样做，该方法使得能够使用2D血管造影图像140的时间序列进行临床研究，并且提供3D血管造影图像的时间序列的益处，而无需同时在感兴趣区域上执行3D血管造影成像操作。体积图像数据例如可以表示在将介入设备***到感兴趣区域120中之前生成的术前数据，并且2D血管造影图像140的时间序列例如可以表示在将介入设备***到感兴趣区域120中期间生成的术中数据。因此，可以用介入设备执行介入流程，而无需采集3D血管造影图像的术中时间序列。
3D血管造影图像110的预测时间序列可以用于各种目的。例如，可以将3D血管造影图像110输出到显示器，如图2所示的显示器190。还可以提供用户输入设备，例如触摸屏、鼠标等，以便使用户能够调节视角，以便从相对于感兴趣区域的期望方向查看3D血管造影图像110。在一个示例中，还可以生成和输出差分图像。差分图像表示通过感兴趣区域120的造影剂的流动的变化。例如，差分图像可以表示连续血管造影图像之间的造影剂流动的变化，或者在流程开始时采集的血管造影图像与流程的中间采集的血管造影图像之间的造影剂流动的变化。
在一个示例中，预测的3D血管造影图像被投影，以便提供2D血管造影图像。在该示例中，上面参考图1描述的方法还可以包括：
将3D血管造影图像110的预测时间序列投影到X射线成像***150的X射线探测器150a的虚拟平面上，以提供表示通过感兴趣区域的造影剂的流动的合成2D血管造影图像的预测时间序列。
在该示例中，可以通过从相对于感兴趣区域的任何取向投影预测的3D血管造影图像来生成合成2D血管造影图像。合成2D血管造影图像可以从相对于感兴趣区域的多个取向生成，以便促进更深入地理解造影剂在感兴趣区域中的流动，并更好地可视化感兴趣区域，而不必将X射线成像***定位在多个配置中，并且由于多个图像采集而使患者和工作人员暴露在X射线辐射下。可以使用预测的3D血管造影图像和X射线成像***的几何结构的模型获得合成2D血管造影图像。例如，该模型可以包括诸如X射线源、X射线探测器和感兴趣区域的相对位置以及X射线探测器的尺寸的参数。然后，可以通过调节X射线源150b和X射线探测器150a相对于感兴趣区域120的取向a、b并将3D血管造影图像投影到探测器上获得投影。图5是图示根据本公开的一些方面的X射线成像***150的X射线源150b和X射线探测器150a相对于患者的感兴趣区域120的取向的示意图，该取向包括投影X射线成像***150的中心射线围绕患者的纵轴的旋转角度a。图6是图示根据本公开的一些方面的X射线成像***150的X射线源150b和X射线探测器150a相对于患者中的感兴趣区域120的取向的示意图，该取向包括投影X射线成像***150的中心射线相对于患者的颅-尾轴的倾斜角度b。旋转角度a和倾斜角度b可以相对于感兴趣区域120进行调节，并用于获得期望合成2D血管造影图像。
在一个示例中，以这种方式提供的合成2D血管造影图像用于提供与由输入到神经网络NN1中的2D血管造影图像140的时间序列提供的视图不同的感兴趣区域的视图。在该实施例中，上述投影操作还可以包括将3D血管造影图像110的预测时间序列以X射线成像***150的X射线源150b和X射线探测器150a相对于感兴趣区域120的取向a、b投影到X射线成像***150的X射线探测器150a的虚拟平面上，使得合成2D血管造影图像的预测时间序列表示与接收到的2D血管造影图像的时间序列不同的感兴趣区域的视图。
在一个示例中，神经网络NN1被训练为根据表示通过感兴趣区域120的造影剂的流动的不同的视图的2D血管造影图像的两个时间序列来预测3D血管造影图像110的时间序列。可以使用具有多个X射线源-探测器装置的血管造影成像***(例如双平面X射线成像***)获得具有通过感兴趣区域的造影剂的流动的不同的视图的2D血管造影图像的时间序列。在这样的成像***中，每个源-探测器装置相对于感兴趣区域的取向是不同的。例如，取向可以彼此正交地布置，或者它们可以彼此以另一角度布置。可以使用不同的视图来提供感兴趣区域的额外细节。在该示例中，来自多个视图的信息用于改进由神经网络生成的3D血管造影图像110的预测时间序列。来自多个视图的信息可以改进对感兴趣区域的3D结构的预测。来自多个视图的信息也可以辅助神经网络通过将该变慢解释为脉管***直径的变化的结果或缩短的结果来解决造影剂的流动表现为变慢的图像中的模糊问题。
在该示例中，参考图1所述的方法还包括：
接收表示通过感兴趣区域120的造影剂的流动的2D血管造影图像的第二时间序列，2D血管造影图像的第二时间序列表示感兴趣区域120的与2D血管造影图像140的时间序列不同的视图；
将2D血管造影图像的第二时序输入到神经网络NN1中；以及
响应于输入而还基于2D血管造影图像的第二时间序列生成3D血管造影图像110的预测时间序列；并且
其中，神经网络NN1被训练为从表示通过感兴趣区域120的造影剂的流动的不同的视图的2D血管造影图像的两个时间序列来预测3D血管造影图像110的时间序列，并由体积图像数据130a、130b约束3D血管造影图像110的预测时间序列。
在一个示例中，针对输入的2D血管造影图像的特定区域来生成3D血管造影图像110的预测时间序列。在该示例中，参考图1所述的方法还包括:接收用户输入，其指示体积图像数据130a、130b和/或2D血管造影图像140中的感兴趣区域的范围；以及输出对应于体积图像数据130a、130b和/或2D血管造影图像140中的感兴趣区域的所指示的范围的3D血管造影图像110的预测时间序列。例如，用户可以在2D血管造影图像140上以注释的形式提供用户输入。例如，用户可以在感兴趣区域周围手动绘制边界框。还可以自动识别感兴趣区域，随后用户选择自动识别的感兴趣区域。自动识别感兴趣区域的技术包括图像强度阈值化、区域增长、模板匹配、水平集、主动轮廓建模、利用神经网络(例如U-Net)的分割、特征检测等。可以通过指示输入到神经网络NN1中的体积图像数据和/或2D血管造影图像中的感兴趣区域的范围来减少神经网络NN1的推断时间。
在另一示例中，以用户指定的时间分辨率或用户指定的时间窗口生成3D血管造影图像110的预测时间序列。在这些示例中，参考图1所述的方法还包括接收指示3D血管造影图像110的预测时间序列的时间分辨率的用户输入；和/或
接收指示针对3D血管造影图像110的预测时间序列的时间窗口的用户输入；以及
分别以指示的时间分辨率和/或在指示的时间窗口内输出3D血管造影图像110的预测时间序列。
指示时间分辨率或时间窗口的用户输入可以由用户输入设备(如鼠标、触摸屏等)与图形用户界面“GUI”结合提供。GUI可以例如包括时间间隔滑块，其允许用户在3D血管造影图像110的预测时间序列中选择帧。可以通过使用不同的颜色表示造影剂到达脉管***的不同位置的时间来对3D血管造影图像110的预测时间序列进行颜色编码。GUI还可以包括窗口大小滑块，其允许用户选择3D血管造影图像110的预测时间序列的时间分辨率。GUI可以允许从相对于感兴趣区域的用户定义的取向来显示3D血管造影图像110的时间序列的合成投影。
如上所述，在一些示例中，2D血管造影图像140的时间序列可以在时间上比体积图像数据130a、130b更晚生成。例如，体积图像数据130a、130b可以表示在将介入设备***到感兴趣区域120中之前生成的术前数据，并且接收到的2D血管造影图像140的时间序列可以表示在将介入设备***到感兴趣区域120中期间生成的术中数据。因此，在一个示例中，体积图像数据130a、130b中的通过感兴趣区域120的造影剂的流动不同于接收到的2D血管造影图像140的时间序列中的通过感兴趣区域120的造影剂的流动。
在该示例中，神经网络NN1也可以被训练为预测感兴趣区域上的介入流程的已经完成的比例。神经网络NN1可以被训练为通过在训练数据中包括3D血管造影训练图像和2D血管造影训练图像的对应的时间序列来这样做，后者表示在对感兴趣区域的介入流程期间通过感兴趣区域的造影剂的流动，并训练神经网络NN1来预测对感兴趣区域的介入流程的已经完成的真实情况比例。对感兴趣区域的介入流程的已完成的真实情况比例可以根据历史流程来计算。在训练期间，可以使用损失函数将对感兴趣区域的介入流程的已完成的真实情况比例和预测比例进行比较，该损失函数的值贡献于用于训练神经网络NN1的损失函数的值。在推理时，神经网络NN1然后基于3D血管造影图像的预测时间序列中的流动来预测对感兴趣区域的介入流程的已完成的比例。在该示例中，神经网络NN1被训练为针对输入的2D血管造影图像140的时间序列中的图像来预测对感兴趣区域的介入流程的已经使用介入设备完成的比例，并且改方法包括：
输出针对3D血管造影图像110的预测时间序列已完成的对感兴趣区域的介入流程的比例。
神经网络NN1的训练描述如下。
通常，神经网络的训练涉及将训练数据集输入到神经网络中，并且迭代地调节神经网络的参数，直到经训练的神经网络提供准确的输出。训练常常使用图形处理单元“GPU”或专用神经处理器(诸如神经处理单元“NPU”或张量处理单元“TPU”)执行。训练常常采用集中式方法，其中，使用基于云或基于主机的神经处理器来训练神经网络。在其用训练数据集进行训练之后，经训练的神经网络可以被部署到用于在推理期间分析新的输入数据的设备。推理期间的处理要求显著低于训练期间需要的那些要求，从而允许神经网络部署到各种***中，诸如膝上型计算机、平板电脑、移动电话等等。例如，推理可以由中央处理单元“CPU”、GPU、NPU、TPU、在服务器上或云中执行。
因此，训练上文描述的神经网络NN1的过程包括调节其参数。参数或更具体地权重和偏置控制神经网络中的激活函数的操作。在监督式学习中，训练过程自动调节权重和偏置，使得当被呈现有输入数据时，神经网络准确地提供对应的预期输出数据。为了这样做，基于预测输出数据与预期输出数据之间的差异来计算损失函数或误差的值。可以使用诸如负对数似然损失、均方误差或Huber损失或交叉熵损失的函数来计算损失函数的值。在训练期间，通常使损失函数的值最小化，并且当损失函数的值满足停止准则时训练终止。有时，当损失函数的值满足多个准则中的一个或多个时训练终止。
已知用于解决该损失最小化问题的各种方法，诸如梯度下降、拟牛顿方法等。已经开发了各种算法来实施这些方法及其变型，包括但不限于随机梯度下降“SGD”、批量梯度下降、小批量梯度下降、高斯-牛顿、Levenberg-Marquardt、Momentum、Adam、Nadam、Adagrad、Adadelta、RMSProp和Adamax“优化器”。这些算法使用链式规则来计算损失函数相对于模型参数的导数。该过程被称为反向传播，因为导数是从最后一层或输出层开始、朝向第一层或输入层移动来计算的。这些导数通知算法必须如何调节模型参数，以便使误差函数最小化。即，从输出层开始做出对模型参数的调节，并且在网络中向后工作，直到到达输入层。在第一次训练迭代中，初始权重和偏置常常是随机的。然后，神经网络预测输出数据，这同样是随机的。然后使用反向传播来调节权重和偏置。通过对每次迭代中的权重和偏置进行调节来迭代执行训练过程。当预测输出数据与预期输出数据之间的误差或差异在针对训练数据或针对一些验证数据的可接受范围内时训练终止。随后，可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据准确地预测预期输出数据。
在一个示例中，神经网络NN1通过以下操作被训练为根据2D血管造影图像140的时间序列预测3D血管造影图像110的时间序列，并由体积图像数据130a约束3D血管造影图像的预测时间序列：
针对多个患者中的每个，接收S210表示感兴趣区域120的3D血管造影训练图像130’a；
针对每个患者，接收S220对应于3D血管造影训练图像130’a的2D血管造影训练图像140’的时间序列，该2D血管造影训练图像140’表示通过感兴趣区域120的造影剂的流动；以及
针对患者的时间序列中的多幅2D血管造影训练图像140’中的每幅，并且针对多个患者中的每个：
将2D血管造影训练图像140’输入S230到神经网络NN1中；
生成S240表示通过感兴趣区域120的造影剂的流动的对应的预测的3D血管造影图像110’；
基于以下来调节S250神经网络NN1的参数：
i)第一损失函数LF1的值，该值表示接收到的3D血管造影训练图像130’a与预测的3D血管造影图像110’之间的差异；以及
ii)第二损失函数LF2的值，该值表示输入的2D血管造影训练图像140’与预测的3D血管造影图像110’到与输入的2D血管造影训练图像140’的平面相对应的平面上的投影160之间的差异；并且重复S260输入S230和生成S240和调节S250，直到满足停止准则。
该训练方法在图7中示出，图7是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第一示例的流程图。该训练方法还在图9中图示，图9是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第一示例的示意图。
参考图7和图9，在操作S210中，接收针对多个患者的表示感兴趣区域120的3D血管造影训练图像130’a。3D血管造影训练图像可以由3D血管造影成像***生成，例如计算机断层摄影血管造影“CTA”、3D旋转血管造影“3DRA”或磁共振血管造影“MRA”成像***。在操作S210中可以接收100名或更多患者的三维血管造影训练图像130’a。图像可以包括感兴趣区域的各种异常的范围。图像可以表示具有不同年龄、性别、身体质量指数等的患者。3D血管造影训练图像130’a可以在感兴趣区域的介入流程之前生成。
在操作S220中，接收针对多个患者中的每个患者的2D血管造影训练图像140’的时间序列。2D血管造影训练图像140’表示通过感兴趣区域120的造影剂的流动。例如，2D血管造影训练图像140’可以表示在介入流程期间造影剂在感兴趣区域上的流动。2D血管造影训练图像140’可以由投影X射线成像***生成。备选地，2D血管造影训练图像140’可以是合成2D血管造影图像，其通过将由体积X射线成像***生成的3D血管造影图像投影到虚拟探测器平面上来生成，如上所述。
在操作S230中，将来自多个患者的时间序列的多幅2D血管造影训练图像140’输入到神经网络NN1中。在操作S240中，神经网络NN1进行预测；并且在操作S250中，基于两个损失函数LF1和LF2的值来调节神经网络NN1的参数。在将时间序列输入到神经网络NN1中之前，可以从训练数据集中的多个患者中随机选择时间序列。通过以这种方式改变输入的顺序，可以通过防止神经网络对一组输入顺序的预测顺序进行记忆来改进预测。在操作S260中，多次重复操作S230、S240和S250。这些损失函数的计算如图9示意性图示。第一损失函数LF1的值表示接收到的3D血管造影训练图像130’a与预测的3D血管造影图像110’之间的差异。第二损失函数LF2的值表示输入的2D血管造影训练图像140’与预测的3D血管造影图像110’到与输入的2D血管造影训练图像140’的平面对应的平面上的投影160之间的差异。预测的3D血管造影图像110’投影到的平面可以如上所述确定，即其可以基于表示生成2D血管造影训练图像140’的X射线成像***相对于患者的感兴趣区域的取向的位置编码器数据来知晓。备选地，可以通过将2D血管造影训练图像140’配准到3D血管造影训练图像130’a来确定预测的3D血管造影图像110’被投影到的平面。损失函数的值可以使用诸如L1或L2损失、结构相似性指数、Huber损失、log cosh损失等损失函数来计算。损失函数的值可以被加权和求和，以提供组合值。上述反向传播技术可以用于使用损失函数LF1和LF2的组合值来调节神经网络NN1的参数。
在训练期间使用的第一损失函数和第二损失函数(即LF1和LF2)的值以与图3和图4中描述的第一损失函数和第二损失函数的相同方式进行计算。损失函数也具有与上面描述的效果相似的效果。第一损失函数LF1具有以下效果：确保3D血管造影图像110的预测时间序列中的图像准确描绘3D血管造影训练图像130’a中的感兴趣区域的3D结构。第二损失函数LF2具有以下效果：确保3D血管造影图像110’的预测时间序列中的图像中的流动准确地描绘输入的2D血管造影训练图像140’中的造影剂的流动。
在另一示例中，神经网络NN1通过以下操作被训练为根据2D血管造影图像140的时间序列来预测3D血管造影图像110的时间序列，并由体积图像数据130b约束预测的3D血管造影图像的时间序列：
针对多个患者中的每个，接收S310表示通过感兴趣区域120的造影剂的参考流动的3D血管造影训练图像130’b的时间序列；
针对每个患者，接收S320对应于3D血管造影训练图像130b’的时间序列的2D血管造影训练图像140’的时间序列，2D血管造影训练图像140’的该时间序列表示通过感兴趣区域120的造影剂的流动；以及
针对患者的时间序列中的多幅2D血管造影训练图像140’中的每幅，并且针对多个患者中的每个：
将2D血管造影训练图像140’输入S330到神经网络NN1中；
生成S340表示通过感兴趣区域120的造影剂的流动的对应的预测的3D血管造影图像110’；
基于以下来调节S350神经网络NN1的参数：
i)第一损失函数LF1的值，该值表示来自接收到的3D血管造影图像140’b的时间序列中的对应的3D血管造影训练图像与预测的3D血管造影图像110’之间的差异；以及
ii)第二损失函数LF2的值，该值表示输入的2D血管造影训练图像140’与预测的3D血管造影图像110’到与输入的2D血管造影训练图像140’的平面相对应的平面上的投影160之间的差异；并且
重复S360输入S330和产生S340和调节S350，直到满足停止准则。
该训练方法在图8中图示，图8是图示根据本公开的一些方面的训练神经网络以提供表示通过感兴趣区域的造影剂的流动的3D血管造影图像的时间序列的方法的第二示例的流程图。在该第二示例中，以与上面针对第一示例描述的相同的方式执行训练神经网络NN1，不同之处在于，不是利用表示感兴趣区域120的单幅3D血管造影训练图像130’a执行训练，而是使用3D血管造影训练图像130’b的时间序列。而且，当计算第一损失函数的值时，在第二示例中，第一损失函数LF1的值表示来自接收到的3D血管造影图像140’b的时间序列的对应的3D血管造影训练图像与预测的3D血管造影图像110’之间的差异。图像在表示相同时间点的意义上是相对应的。因此，在该示例中，预测的3D血管造影图像110’可以与3D血管造影训练图像130’b的时间序列具有相同的时间间隔。
在参考图7所述的训练方法中，或在参考图8所述的训练方法中，还可以执行其他操作。例如，可以接收指示3D血管造影训练图像130’b和/或2D血管造影训练图像140’的时间序列中的感兴趣区域120的范围的用户输入，并且可以仅在指示的范围内计算第一损失函数LF1和/或第二损失函数LF2的值。这样做，训练是针对感兴趣区域定制的。备选地或额外地，与所指示的范围外部相比，可以通过对所指示的范围内的相应的损失函数应用更高的权重来计算第一损失函数LF1和/或第二损失函数LF2的值。这也具有针对感兴趣区域定制训练的效果。
在参考图7所述的训练方法中，或参考图8所述的训练方法中，神经网络NN1的训练还可以包括将3D血管造影训练图像130’a或3D血管造影训练图像130’b的时间序列输入到神经网络NN1中。图9通过这些项之间的虚线箭头图示了这一点。以这种方式将(一幅或多幅)3D血管造影训练图像输入到神经网络NN1中可以简化神经网络的训练，因为它只需要基于输入的2D血管造影训练图像140’中的造影剂的流动来估计感兴趣区域的3D形状或流动的变化。相比之下，如果不将(一幅或多幅)3D血管造影训练图像输入到神经网络NN1中，则神经网络NN1将从输入的2D血管造影训练图像140’中学习预测结构形状和造影剂的流动，并且简单地使用(一幅或多幅)3D血管造影训练图像来计算第二次损失函数LF1的值。
在另一示例中，在参考图7所述的训练方法中，或在参考图8所述的训练方法中，3D血管造影训练图像130’a或3D血管造影训练图像130’b的时间序列可以表示在将介入设备***到感兴趣区域中之前生成的术前数据。2D血管造影训练图像140’的时间序列可以表示在将介入设备***到感兴趣区域中期间生成的术中数据。此外，在3D血管造影训练图像130a’中或3D血管造影训练图像130’b的时间序列中的通过感兴趣区域120’的造影剂的流动可能与2D血管造影训练图像140’的时间序列中的通过感兴趣区域的造影剂的流动不同。
在另一示例中，参考图8描述的训练方法还可以包括：
接收表示在将介入设备***感兴趣区域期间或之后的通过感兴趣区域120的造影剂的流动的3D血管造影训练图像的时间序列；并且
其中，调节S250、S350神经网络NN1的参数还基于：
iii)第三损失函数LF3的值，该值表示对应的3D血管造影训练图像与预测的3D血管造影图像110’之间的差异，该对应的3D血管造影训练图像表示在将介入设备***到感兴趣区域中期间或之后的通过感兴趣区域的造影剂的流动。
在该示例中，感兴趣区域的术中和/或术后3D血管造影图像的时间序列形式的训练数据额外地可用。第三损失函数LF3的值可以以与上述第一和第二损失函数LF1和LF2相同的方式计算。在该示例中，这些时间序列在训练期间被用于调节神经网络NN1的参数。以这种方式使用第三损失函数可以提供对神经网络NN1的更快的训练，因为它向神经网络NN1提供关于感兴趣区域的术中和/或术后3D结构的直接信息。
在一个示例中，被训练的神经网络NN1是GAN。GAN还可以使用对抗损失和/或周期一致性损失来确保3D血管造影图像的预测时间序列符合(一幅或多幅)3D血管造影训练图像的“风格”。在推断时，可以使用对比损失来确保输入的2D血管造影图像140的时间序列的对应的帧与预测的3D血管造影图像110’到输入与2D血管造影训练图像140’的平面对应的平面上的投影对齐。
在另一示例中，提供了计算机程序产品。计算机程序产品包括指令，该指令当由一个或多个处理器运行时使一个或多个处理器执行提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的方法，该方法包括：
接收S110表示感兴趣区域120的体积图像数据130a、130b；
接收S120表示通过感兴趣区域120的造影剂的流动的2D血管造影图像140的时间序列；
将体积图像数据130a、130b和2D血管造影图像140的时间序列输入S130到神经网络NN1中；以及
响应于输入而生成S140表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的预测时间序列；并且
其中，神经网络NN1被训练为根据2D血管造影图像140的时间序列预测3D血管造影图像110的时间序列，并通过体积图像数据130a、130b约束3D血管造影图像110的预测时间序列。
如上所述，计算机实施的方法的特征也可以在***中实施。因此，在一个示例中，提供了用于提供表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的时间序列的***200。***200包括一个或多个处理器170，其被配置为：
接收S110表示感兴趣区域120的体积图像数据130a、130b；
接收S120表示通过感兴趣区域120的造影剂的流动的2D血管造影图像140的时间序列；
将体积图像数据130a、130b和2D血管造影图像140的时间序列输入S130到神经网络NN1中；并且
响应于输入而生成S140表示通过感兴趣区域120的造影剂的流动的3D血管造影图像110的预测时间序列；并且
其中，神经网络NN1被训练为根据2D血管造影图像140的时间序列预测3D血管造影图像110的时间序列，并且通过体积图像数据130a、130b来约束3D血管造影图像110的预测时间序列。
该***200的示例在图2中图示。***200包括一个或多个处理器170，处理器170可以参考图1中的流程图执行上述操作。***200还可以包括以下中的一个或多个：用于生成2D血管造影图像140的时间序列的投影X射线成像***180；用于显示3D血管造影图像110的预测时间序列的显示器190；GUI；以及被配置为接收用户输入(未在图1中图示)的用户输入设备，诸如键盘、鼠标、触摸屏等。
以上示例要被理解为对于本公开是说明性而非限制性的。还设想了其他示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品、或者由计算机可读存储介质、或者由***200以对应的方式来提供。应理解，关于任何一个示例描述的特征可以单独使用，或者与其他描述的特征组合使用，并且可以与示例中的另一个的一个或多个特征组合使用或者与其他示例的组合组合使用。此外，在不脱离在权利要求书中定义的本发明的范围的情况下，也可以采用上文未描述的等效方案和修改。在权利要求中，词语“包括”不排除其他元件或者操作，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对其范围的限制。

Claims (15)

1.一种提供3D血管造影图像(110)的时间序列的计算机实施的方法，所述的3D血管造影图像的时间序列表示通过感兴趣区域(120)的造影剂的流动，所述方法包括：
接收(S110)表示所述感兴趣区域(120)的体积图像数据(130a、130b)；
接收(S120)2D血管造影图像(140)的时间序列，所述的2D血管造影图像的时间序列表示通过所述感兴趣区域(120)的所述造影剂的所述流动；
将所述体积图像数据(130a、130b)以及所述的2D血管造影图像(140)的时间序列输入(S130)到神经网络(NN1)中；以及
响应于所述输入而生成(S140)3D血管造影图像(110)的预测时间序列，所述的3D血管造影图像的预测时间序列表示通过所述感兴趣区域(120)的所述造影剂的所述流动；并且
其中，所述神经网络(NN1)被训练为：根据所述的2D血管造影图像(140)的时间序列来预测3D血管造影图像(110)的所述时间序列，并且通过所述体积图像数据(130a、130b)来约束所述的3D血管造影图像(110)的预测时间序列。
2.根据权利要求1所述的计算机实施的方法，其中，所述体积图像数据(130a、130b)包括：
表示所述感兴趣区域(120)的3D血管造影图像(130a)；或者
3D血管造影图像(130b)的时间序列，所述的3D血管造影图像的时间序列表示通过所述感兴趣区域(120)的所述造影剂的参考流动。
3.根据权利要求1或权利要求2所述的计算机实施的方法，还包括：
将所述的3D血管造影图像(110)的预测时间序列投影到X射线成像***(150)的X射线探测器(150a)的虚拟平面上，以提供合成2D血管造影图像的预测时间序列，所述的合成2D血管造影图像的预测时间序列表示通过所述感兴趣区域的所述造影剂的所述流动。
4.根据权利要求3所述的计算机实施的方法，其中，所述投影包括：以所述X射线成像***(150)的X射线源(150b)和所述X射线探测器(150a)相对于所述感兴趣区域(120)的取向(a、b)，将所述的3D血管造影图像(110)的预测时间序列投影到所述X射线成像***(150)的所述X射线探测器(150a)的所述虚拟平面上，使得所述的合成2D血管造影图像的预测时间序列表示所述感兴趣区域的与接收到的2D血管造影图像的时间序列不同的视图。
5.根据权利要求1所述的计算机实施的方法，还包括：
接收2D血管造影图像的第二时间序列，所述的2D血管造影图像的第二时间序列表示通过所述感兴趣区域(120)的所述造影剂的所述流动，所述的2D血管造影图像的第二时间序列表示所述感兴趣区域(120)的与所述的2D血管造影图像(140)的时间序列不同的视图；
将所述的2D血管造影图像的第二时间序列输入到所述神经网络(NN1)中；以及
响应于所述输入而还基于所述的2D血管造影图像的第二时间序列来生成所述的3D血管造影图像(110)的预测时间序列；并且
其中，所述神经网络(NN1)被训练为：根据2D血管造影图像的两个时间序列来预测所述的3D血管造影图像(110)的时间序列，所述的2D血管造影图像的两个时间序列表示通过所述感兴趣区域(120)的所述造影剂的所述流动的不同的视图；并且通过所述体积图像数据(130a、130b)来约束所述的3D血管造影图像(110)的预测时间序列。
6.根据权利要求1所述的计算机实施的方法，还包括：
计算针对所述的3D血管造影图像(110)的预测时间序列的置信度值。
7.根据权利要求6所述的计算机实施的方法，其中，所述置信度值是通过以下操作计算的：
确定第一损失函数(LF1)的值，所述的第一损失函数的值表示接收到的体积图像数据(130a、130b)与所预测的3D血管造影图像(110)之间的差异；并且/或者
确定第二损失函数(LF2)的值，所述的第二损失函数的值表示合成投影图像与所输入的2D血管造影图像(140)之间的差异，所述合成投影图像是通过将所预测的3D血管造影图像(110)投影到与所输入的2D血管造影图像(140)的探测器平面相对应的虚拟探测平面上而生成的；并且/或者
生成注意力图并且确定所述注意力图与所述感兴趣区域(120)的位置之间的差异，所述注意力图指示所预测的3D血管造影图像(110)所基于的一个或多个因子的位置；并且/或者
计算被用于生成所预测的3D血管造影图像(110)的2D血管造影训练图像的时间序列的总数。
8.根据任一前述权利要求所述的计算机实施的方法，还包括：
接收指示所述3D血管造影图像(130a、130b)中的所述感兴趣区域的范围的用户输入；并且/或者
接收指示所述2D血管造影图像(140)中的所述感兴趣区域的范围的用户输入；并且/或者
接收指示针对所述的3D血管造影图像(110)的预测时间序列的时间分辨率的用户输入；并且/或者
接收指示针对所述的3D血管造影图像(110)的预测时间序列的时间窗口的用户输入；以及
输出所述的3D血管造影图像(110)的预测时间序列，分别地，所述的3D血管造影图像的预测时间序列对应于所述3D血管造影图像(130a、130b)中的所述感兴趣区域的所指示的范围，并且/或者对应于所述2D血管造影图像(140)中的所述感兴趣区域的所指示的范围，并且/或者具有所指示的时间分辨率，并且/或者在所指示的时间窗口内。
9.根据任一前述权利要求所述的计算机实施的方法，其中，所述体积图像数据(130a、130b)表示在将介入设备***到所述感兴趣区域(120)中之前生成的术前数据，并且其中，接收到的2D血管造影图像(140)的时间序列表示在将所述介入设备***到所述感兴趣区域(120)中期间生成的术中数据，并且其中，所述体积图像数据(130a、130b)中的通过所述感兴趣区域(120)的造影剂的流动与接收到的2D血管造影图像(140)的时间序列中的通过所述感兴趣区域(120)的所述造影剂的所述流动不同。
10.根据权利要求9所述的计算机实施的方法，其中，所述神经网络(NN1)被训练为针对所输入的2D血管造影图像(140)的时间序列中的所述图像，预测对所述感兴趣区域的介入流程的已经使用所述介入设备完成的比例，并且所述方法还包括：
针对所述的3D血管造影图像(110)的预测时间序列，输出对所述感兴趣区域的所述介入流程的已经完成的所述比例。
11.根据权利要求1所述的计算机实施的方法，其中，所述神经网络(NN1)通过以下操作被训练为根据所述的2D血管造影图像(140)的时间序列来预测所述的3D血管造影图像(110)的时间序列并且通过所述体积图像数据(130a)来约束所述的3D血管造影图像的预测时间序列：
针对多个患者中的每个患者，接收(S210)表示所述感兴趣区域(120)的3D血管造影训练图像(130’a)；
针对每个患者，接收(S220)与所述3D血管造影训练图像(130’a)相对应的2D血管造影训练图像(140’)的时间序列，所述2D血管造影训练图像(140’)表示通过所述感兴趣区域(120)的造影剂的流动；并且
针对患者的时间序列中的多幅2D血管造影训练图像(140’)中的每幅2D血管造影训练图像并且针对多个患者中的每个患者，执行以下操作：
将所述2D血管造影训练图像(140’)输入(S230)到所述神经网络(NN1)中；
生成(S240)对应的预测的3D血管造影图像(110’)，所述对应的预测的3D血管造影图像表示通过所述感兴趣区域(120)的所述造影剂的所述流动；
基于以下各项来调节(S250)所述神经网络(NN1)的参数：
i)第一损失函数(LF1)的值，所述的第一损失函数的值表示接收到的3D血管造影训练图像(130’a)与所预测的3D血管造影图像(110’)之间的差异；以及
ii)第二损失函数(LF2)的值，所述的第二损失函数的值表示所输入的2D血管造影训练图像(140’)与所预测的3D血管造影图像(110’)到与所输入的2D血管造影训练图像(140’)的平面相对应的平面上的投影(160)之间的差异；并且
重复(S260)所述输入(S230)和所述生成(S240)和所述调节(S250)，直到满足停止准则为止。
12.根据权利要求1所述的计算机实施的方法，其中，所述神经网络(NN1)通过以下操作被训练为根据所述的2D血管造影图像(140)的时间序列来预测所述的3D血管造影图像(110)的时间序列并且通过所述体积图像数据(130b)来约束所述的3D血管造影图像的预测时间序列：
针对多个患者中的每个患者，接收(S310)3D血管造影训练图像(130’b)的时间序列，所述的3D血管造影训练图像的时间序列表示通过所述感兴趣区域(120)的所述造影剂的参考流动；
针对每个患者，接收(S320)与所述的3D血管造影训练图像(130b’)的时间序列相对应的2D血管造影训练图像(140’)的时间序列，所述的2D血管造影训练图像(140’)的时间序列表示通过所述感兴趣区域(120)的造影剂的流动；并且
针对患者的时间序列中的多幅2D血管造影训练图像(140’)中的每幅2D血管造影训练图像并且针对多个患者中的每个患者，执行以下操作：
将所述2D血管造影训练图像(140’)输入(S330)到所述神经网络(NN1)中；
生成(S340)对应的预测的3D血管造影图像(110’)，所述对应的预测的3D血管造影图像表示通过所述感兴趣区域(120)的所述造影剂的所述流动；
基于以下各项来调节(S350)所述神经网络(NN1)的参数：
i)第一损失函数(LF1)的值，所述的第一损失函数的值表示来自接收到的3D血管造影图像(140’b)的时间序列的对应的3D血管造影训练图像与所预测的3D血管造影图像(110’)之间的差异；以及
ii)第二损失函数(LF2)的值，所的第二损失函数的值表示所输入的2D血管造影训练图像(140’)与所预测的3D血管造影图像(110’)到与所输入的2D血管造影训练图像(140’)的平面相对应的平面上的投影(160)之间的差异；并且
重复(S360)所述输入(S330)和所述生成(S340)和所述调节(S350)，直到满足停止准则为止。
13.根据权利要求11或权利要求12所述的计算机实施的方法，还包括：
接收指示所述的3D血管造影训练图像(130’a、130’b)的时间序列和/或所述的2D血管造影训练图像(140’)的时间序列中的所述感兴趣区域(120)的范围的用户输入；并且其中：
所述第一损失函数(LF1)的值和/或所述第二损失函数(LF2)的值是仅在所指示的范围内计算的；或者
所述第一损失函数(LF1)的值和/或所述第二损失函数(LF2)的值是通过与所指示的范围外部相比对所指示的范围内的相应的损失函数应用更高的加权来计算的。
14.根据权利要求11或权利要求12所述的计算机实施的方法，其中，相应的所述3D血管造影训练图像(130’a)或所述的3D血管造影训练图像(130’b)的时间序列表示在将介入设备***到所述感兴趣区域中之前生成的术前数据，并且其中，所述的2D血管造影训练图像(140’)的时间序列表示在将所述介入设备***到所述感兴趣区域中期间生成的术中数据，并且其中，所述3D血管造影训练图像(130’a)或所述的3D血管造影训练图像(130’b)的时间序列中的通过所述感兴趣区域(120’)的造影剂的流动与所述的2D血管造影训练图像(140’)的时间序列中的通过所述感兴趣区域的所述造影剂的所述流动不同。
15.根据权利要求14所述的计算机实施的方法，还包括：
在将所述介入设备***到所述感兴趣区域中期间或之后，接收3D血管造影训练图像的时间序列，所述的3D血管造影训练图像的时间序列表示通过所述感兴趣区域(120)的所述造影剂的流动；并且
其中，所述的调节(S250、S350)所述神经网络(NN1)的参数还基于：
iii)第三损失函数(LF3)的值，所述的第三损失函数的值表示对应的3D血管造影训练图像与所预测的3D血管造影图像(110’)之间的差异，所述对应的3D血管造影训练图像表示在将所述介入设备***到所述感兴趣区域中期间或之后通过所述感兴趣区域的所述造影剂的流动。
CN202280074949.9A 2021-11-10 2022-11-03 时间分辨的血管造影 Pending CN118265995A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163277740P 2021-11-10 2021-11-10
US63/277,740 2021-11-10
EP21218341.2 2021-12-30
PCT/EP2022/080747 WO2023083700A1 (en) 2021-11-10 2022-11-03 Time-resolved angiography

Publications (1)

Publication Number Publication Date
CN118265995A true CN118265995A (zh) 2024-06-28

Family

ID=79164456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280074949.9A Pending CN118265995A (zh) 2021-11-10 2022-11-03 时间分辨的血管造影

Country Status (2)

Country Link
EP (1) EP4181058A1 (zh)
CN (1) CN118265995A (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2349004B1 (en) * 2008-10-10 2013-08-21 Philips Intellectual Property & Standards GmbH Angiographic image acquisition system and method with automatic shutter adaptation for yielding a reduced field of view covering a segmented target structure or lesion for decreasing x-radiation dose in minimally invasive x-ray-guided interventions

Also Published As

Publication number Publication date
EP4181058A1 (en) 2023-05-17

Similar Documents

Publication Publication Date Title
US20240087130A1 (en) Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging
US20210369226A1 (en) Automated segmentation of three dimensional bony structure images
US20220245400A1 (en) Autonomous segmentation of three-dimensional nervous system structures from medical images
CN114126491A (zh) 血管造影图像中的冠状动脉钙化的评估
de Vos et al. Automatic cerebral vessel extraction in TOF-MRA using deep learning
US10453184B2 (en) Image processing apparatus and X-ray diagnosis apparatus
JP7426824B2 (ja) 非侵襲的イメージングベースのｆｆｒのインタラクションモニタリング
WO2023117509A1 (en) 3d dsa image reconstruction
JP7421689B2 (ja) 介入装置形状の決定
CN118265995A (zh) 时间分辨的血管造影
US20240020877A1 (en) Determining interventional device position
WO2023083700A1 (en) Time-resolved angiography
WO2024110335A1 (en) Providing projection images
EP4202838A1 (en) 3d dsa image reconstruction
US20230178248A1 (en) Thrombus treatment metric
EP4254428A1 (en) Intravascular procedure step prediction
EP4311491A1 (en) Determining a value of a blood flow parameter
CN112969412B (zh) 深谱团注剂跟踪
WO2023072752A1 (en) X-ray projection image scoring
JP2024524863A (ja) 解剖学的領域の形状予測
WO2023104559A1 (en) Thrombus treatment metric
WO2023186610A1 (en) Intravascular procedure step prediction
WO2023232575A1 (en) Compensating for differences in medical images
WO2023110415A1 (en) System and method for determining partial mass of an organ
WO2024149640A1 (en) Automatic bolus roi placement using 3d ct surviews

Legal Events

Date Code Title Description
PB01 Publication