CN110546684B - 时变数据的定量评估 - Google Patents
时变数据的定量评估 Download PDFInfo
- Publication number
- CN110546684B CN110546684B CN201880023664.6A CN201880023664A CN110546684B CN 110546684 B CN110546684 B CN 110546684B CN 201880023664 A CN201880023664 A CN 201880023664A CN 110546684 B CN110546684 B CN 110546684B
- Authority
- CN
- China
- Prior art keywords
- user
- selected points
- interest
- program code
- computer readable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011158 quantitative evaluation Methods 0.000 title claims abstract description 11
- 230000000004 hemodynamic effect Effects 0.000 claims abstract description 22
- 238000012800 visualization Methods 0.000 claims abstract description 15
- 238000002583 angiography Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 41
- 238000009877 rendering Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 5
- 238000004040 coloring Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 206010002329 Aneurysm Diseases 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 239000002872 contrast media Substances 0.000 description 7
- 230000002792 vascular Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000000747 cardiac effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000002697 interventional radiology Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0263—Measuring blood flow using NMR
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/507—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for determination of haemodynamic parameters, e.g. perfusion CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/06—Measuring blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Hematology (AREA)
- Quality & Reliability (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种用于时变数据的定量评估的框架。根据一个方面,所述框架对在四维(4D)数字减影血管造影术(DSA)数据集中的感兴趣体积进行划界(204)。然后,所述框架提取感兴趣体积的中心线(206)。响应于接收到沿着中心线的一个或多个用户选择的点(208),所述框架确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量(210),并且基于所述血液动力学度量生成可视化(212)。
Description
技术领域
本公开一般涉及数据处理,并且更特别地涉及时变数据的定量评估。
背景技术
血管造影术是用于基于诸如X射线或磁共振断层扫描(MRT)之类的诊断成像方法来表示血管的常用方法。为了所检查的血管的改进的表示,已经开发了数字减影血管造影术(DSA)。DSA是介入放射学中使用的血管造影术,用于清晰地可视化在骨质或致密软组织环境中的血管。通过从在对比介质已经被引入感兴趣的结构或组织中之后获取的后续图像中减去“对比前图像”或掩模来产生图像。这些图像可用于提供时间分辨的或时变的信息,所述信息示出了随时间推移的感兴趣的结构或组织的发展。
在当前的临床实践中,时间分辨的信息一般仅在两个维度上可用。通常地,外科医生必须执行从二维(2D)投影图像到三维(3D)解剖结构的2D到3D的心理转换,以便评估和诊断血管病变和血流异常。血管***的填充从帧到帧变化,给外科医生留下从变化的2D快照解释3D填充的困难任务。无论获取/查看角度如何,重叠和/或模糊的血管段可能因此受损,导致潜在地丢失图像信息或不正确的诊断。问题包括,例如,血管重叠或延伸到与检测器平面正交的血管。
近年来已经看到了用于3D DSA的方法的引入。在一种方法中,首先在血管造影设备的旋转扫描期间获取掩模投影图像序列,随后在对比剂的引入之后获取旋转填充投影图像序列。从填充投影图像中减去掩模投影图像以生成投影图像数据,所述投影图像数据显示在不同的查看角度获取的对象的血管解剖结构。使用3D重建技术,可以创建对象的血管***的体积DSA数据集。替换地,可以从重建的(对比度增强的)填充体积中减去重建的掩模体积以便生成3D DSA。
最近几年已经看到了称为4D DSA的重建方法的引入,所述方法旨在再现3D体积中的投影图像中可见的对比度动力学,有效地创建时间分辨的3D数据集。已经制定了用于重建从单个C臂***导出的数据集的方法。
发明内容
本文描述的是用于时变数据的定量评估的框架。根据一个方面,所述框架对在四维(4D)数字减影血管造影术数据集中的感兴趣体积进行划界。然后所述框架提取感兴趣体积的中心线。响应于接收到沿着所述中心线的一个或多个用户选择的点,所述框架确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量,并且基于血液动力学度量生成可视化。
附图说明
将会容易获得对本公开及其许多伴随的方面的更完整的理解,由于其当结合附图考虑时通过参考下面详细的描述变得更好理解。
图1是图示了示例性***的框图;
图2示出了通过计算机***执行的定量评估的示例性方法;
图3a示出了使用单个旋转成像平面重建的患者大脑的三维(3D)血管造影图像的时间序列;
图3b示出了用于定位用于动脉瘤评估的种子点的示例性用户接口;
图3c示出了用于种子点定位的示例性用户接口;
图4示出了四维DSA血管体素的示例性时间-对比剂-浓度(TCC)曲线;
图5示出了具有对应时间-对比剂-浓度(TCC)曲线的示例性血管段;
图6示出了示例性可视化;以及
图7示出了示例性上色(colorwash)图。
具体实施方式
在下面的描述中,阐述了许多特定的细节,诸如特定的组件、设备、方法等的示例,以便提供本框架实施方式的透彻理解。然而,对于本领域技术人员显而易见的是,不需要采用这些特定的细节来实践本框架的实施方式。在其他实例中,没有详细地描述众所周知的材料或方法以便避免不必要地模糊本框架的实施方式。虽然本框架易受各种修改以及替换形式,但是其特定的实施例在附图中通过示例的方式示出并且将在本文中详细地描述。然而,应当理解,没有意图将本发明限制于所公开的特定形式,而相反地,意图是要覆盖落入本发明的精神和范围内的所有修改、等同物以及替换物。另外,为了便于理解,某些方法步骤被描绘为单独的步骤;然而,这些单独描绘的步骤不应当被解释为在它们的表现中必要地次序依赖的。
如本文中使用的术语“x射线图像”可意为可见的x射线图像(例如,显示在视频屏幕上)或x射线图像的数字表示(例如,对应于x射线检测器的像素输出的文件)。如本文中使用的术语“治疗中x射线图像”可指在介入或治疗过程的治疗递送阶段期间在任何时间点捕获的图像,其可包括当辐射源开启或关闭二者任一的时间。有时,为了描述的方便,CT成像数据(例如,锥束CT成像数据)可在本文中用作示例性成像模态。然而,将理解,来自任何类型的成像模态的数据还可在各种实施方式中被使用,所述成像模态包括但不限制于x射线照片、MRI、PET(正电子发射断层扫描)、PET-CT、SPECT、SPECT-CT、MR-PET、3D超声图像等。
除非从下面的讨论中显而易见地另外声明,否则将理解,诸如“分割”、“生成”、“登记”、“确定”、“对准”、“定位”、“处理”、“计算”、“选择”、“估计”、“检测”、“跟踪”等术语可指计算机***或类似电子计算设备的动作和过程,其将在计算机***的寄存器和存储器内的表示为物理(例如,电子)量的数据操纵以及变换为其它数据,所述其它数据类似地表示为计算机***存储器或寄存器或其它这样的信息存储、传输或显示设备内物理量。本文中描述的所述方法的实施例可使用计算机软件来实现。如果用符合公认标准的编程语言编写,则设计为实现这些方法的指令序列可以被编译以用于在各种硬件平台上施行,并且用于各种操作***的接口。另外,没有参考任何特定编程语言来描述本框架的实施方式。将理解,可使用各种编程语言。
如本文中所使用的,术语“图像”指由离散图像元素(例如,2D图像的像素、3D图像的体素、或4D数据集的动态的体素或动态体素(doxels))组成的多维数据。所述图像可以是,例如通过计算机断层扫描、磁共振成像、超声或本领域技术人员已知的任何其它医学成像***收集的对象的医学图像。所述图像也可以从非医学环境中提供,例如,诸如遥感***、电子显微镜等。尽管可以将图像认为是从R3到R的函数或到R3的映射,但是本方法不限制于这样的图像,并且可以应用于任何维度的图像,例如2D图片、3D体积或4D数据集。对于2维或3维图像,图像的域通常是2维或3维矩形阵列,其中每个像素或体素可以参考2或3个相互正交的轴的集合来寻址。如本文中使用的术语“数字”(“digital”)和“数字化”(“digitized”)将适当地指经由数字采集***或经由从模拟图像的转换而获取的数字或数字化格式的图像或体积。
常规地相对于2D成像和图像显示使用的用于图片元素的术语“像素”(“pixels”)、经常相对于3D成像使用的用于体积图像元素的“体素”(“voxels”)以及用于4D数据集的“动态体素”可以可互换地使用。应当注意,3D体积图像以及时间分辨的4D体积图像本身是从作为2D传感器阵列上的像素获得的图像数据合成的,并且从某个视角显示为2D图像。因此,2D图像处理以及图像分析技术可以应用于3D体积图像数据。在下面的描述中,被描述为在动态体素上操作的技术可以替换地被描述为在3D体素数据上操作,所述3D体素数据以2D像素数据的形式存储和表示以用于显示。以相同的方式,在体素数据上操作的技术也可以被描述为在像素上操作。在下面的描述中,变量x用于指示在特定空间位置的对象图像元素,或替换地考虑对象像素。术语“对象像素”、“对象体素”以及“对象动态体素”用于指示在使用本文中描述的技术操作时的特定图像元素。
本框架的一个方面有助于四维(4D)数字减影血管造影术(DSA)数据集的定量评估。4D数据集一般指时间分辨的三维(3D)数据集。4D DSA数据集可从一对旋转获取导出:生成掩模投影图像数据的旋转掩模运行,随后生成填充投影图像数据的旋转对比度增强的填充运行。包含在投影图像数据中的时间动力学可以在功能上编码成静态3D-DSA约束图像数据以生成4D DSA数据集。在其传统的形式中,4D DSA仅是用于视觉检查的定性工具。然而,结合的对比度动力学允许评估定量度量,诸如血流速度或体积流速率。
在一些实施方式中,本框架从现存的4D DSA数据集中提取一个或多个定量度量。然后,所述框架可以确定用户选择的点处的差分体积流速率或者感兴趣的体积中的两个用户选择的点之间的体积流速率。另外,还可以提供血管直线度形式的可靠性指导以帮助用户解释结果。
图1图示了示例性***100的框图。***100包括用于实现如本文中描述的框架的计算机***101。计算机***101可以是台式个人计算机、便携式膝上型计算机、另一个便携式设备、微型计算机、主机计算机、服务器、云基础设施、存储***、专用数字装置、通信设备或具有被配置为存储数字数据项集合的存储子***的另一个设备。在一些实施方式中,计算机***101作为独立设备操作。在其它实施方式中,计算机***101可以连接(例如,使用网络)到其它机器,诸如成像设备102以及工作站103。在联网部署中,计算机***101可以以服务器-客户端用户网络环境中的服务器(例如,瘦客户端服务器,诸如西门子医疗(Siemens Healthcare)的syngo®.via)、用户机器的能力、或作为对等(或分布式)网络环境中的对等机器操作。
计算机***101可包括经由输入输出接口121耦合到一个或多个非暂时性计算机可读介质105(例如,计算机存储装置或存储器)、显示设备108(例如,监视器)以及各种输入设备110(例如,鼠标或键盘)的处理器设备或中央处理单元(CPU)104。计算机***101还可包括诸如高速缓存、电源、时钟电路以及通信总线的支持电路。诸如附加数据存储设备和打印设备之类的各种其它***设备也可以连接到计算机***101。
本技术可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现,或者作为微指令代码的一部分,或者作为经由操作***施行的应用程序或软件产品的一部分或者其组合。在一个实施方式中,本文中描述的技术被实现为有形地体现在一个或多个非暂时性计算机可读介质105中的计算机可读程序代码。特别地,本技术可通过重建单元106以及评估单元107实现。非暂时性计算机可读介质105可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁性软盘、闪速存储器以及其它类型的存储器,或其组合。计算机可读程序代码通过处理器设备104施行以处理通过例如成像设备102获取的图像或图像数据。因而,计算机***101是通用计算机***,其在施行计算机可读程序代码时变成专用计算机***。计算机可读程序代码不旨在限制于任何特定编程语言以及其实施方式。将理解,可以使用各种编程语言及其编码来实现本文中包含的公开的教导。
相同或不同的计算机可读介质105可用于存储图像数据集、动态重建指令、知识库等等。这样的数据还可存储在外部存储装置或其它存储器中。外部存储装置可使用数据库管理***(DBMS)来实现,所述数据库管理***通过处理器设备104管理并且驻留在诸如硬盘、RAM或可移除介质的存储器上。外部存储装置可以在一个或多个附加计算机***上实现。例如,所述外部存储装置可包括驻留在单独的计算机***上的数据仓库***、图片存档和通信***(PACS),或者任何其它现在已知或以后开发的医院、医学机构、医学办公室、测试设施、药店或其它医学患者记录存储***。
成像设备102可以是放射学扫描仪,诸如用于获取DSA图像数据的单或双C臂血管造影X射线***。工作站103可包括计算机和适当的外设,诸如键盘和显示设备,并且可以结合整个***100来操作。例如,工作站103可以与成像***102通信,使得通过成像设备102收集的图像数据可以在工作站103处渲染并且在显示设备上查看。成像设备102还可以连接到第三方设备或***,诸如血液动力学记录***。
工作站103可以直接与计算机***101通信以显示经处理的数据和/或输出图像处理结果(例如,4D DSA数据集)。工作站103可包括图形用户接口以经由输入设备(例如,键盘、鼠标、触摸屏、语音或视频识别接口等)接收用户输入来操纵数据的可视化和/或处理。例如,用户可以查看经处理的图像数据,并且指定一个或多个视图调整或偏好(例如,缩放、裁剪、平移、旋转、改变对比度、改变颜色、改变视角、改变视图深度、改变渲染或重建技术等),通过指定“转到(goto)”位置来导航到特定感兴趣区域、导航(例如,停止、播放、单步调试(step through)等)经重建的4D数据集的时间体积等等。
还要理解,因为附图中描绘的一些组成***组件和方法步骤可以用软件实现,所以***组件(或过程步骤)之间实际的连接可以不同,其取决于其中本框架被编程的方式。给定本文中提供的教导,相关领域的普通技术人员将能够预计到本框架的这些以及类似的实施方式或配置。
图2示出了通过计算机***执行的定量评估的示例性方法200。应当理解,方法200的步骤可以以示出的次序或不同的次序执行。还可以提供附加的、不同的或更少的步骤。此外,方法200可以用图1的***101、不同的***或其组合来实现。
在202处,重建单元106执行时变图像数据的第一4D重建以生成感兴趣目标的4D(或时变3D)DSA图像数据集V(t)。4D DSA图像数据集V(t)的每个动态的体素(或动态体素)表示在特定三维位置以及在特定时间的感兴趣目标的血管***中的注入对比流。感兴趣目标可以是被识别以用于调查或检查的任何生物目标,诸如患者或对象的大脑、心脏、腿、手臂等等的一部分。感兴趣目标包括一个或多个血管结构(例如,血管、动脉、血管树或网络等)。一个或多个血管结构可以是动态的或时变结构,其可以用对比剂或介质填充以用于观察其随时间的传播。在一些实施方式中,植入在感兴趣目标中的设备(例如,线圈包、支架、分流设备)的静态(即,非时间)3D图像数据也被重建。
时变数据可以是通过使用成像设备102执行旋转扫描或角度获取而获取的2D投影图像集。可以经由成像设备102执行单个掩模以及填充获取。更特别地,可以首先经由成像设备102获取掩模图像数据集,使得其可以从对应时变对比剂填充投影图像数据集中被减去。在供给对比剂(或介质)以填充将被调查的被辐射的感兴趣目标的血管状结构之前,掩模图像仅仅是相同区域的图像。实际的角度和时变2D投影数据可以基于对比度增强的获取,在第一次对比剂流入变得可见时,所述获取在X射线对比剂注入血管状结构之前或之后开始。掩模和填充运行二者都可以遵循相同的获取轨迹。所述轨迹可以覆盖3D DSA的整个视场(FOV)范围。
成像设备102可以是具有单个成像平面或多个(例如,双)成像平面的扫描仪或C臂***。例如,成像设备102可以是基于扁平面板的X射线扫描仪,其包括至少一对X射线源和X射线检测器。替换地,成像设备102可以包括覆盖至少一对X射线源和X射线检测器的旋转CT机架。在其它实施方式中,成像设备102是MR扫描仪。在又其它实施方式中,成像设备102是覆盖至少一对光源和光学检测器的旋转光学CT机架。也可以使用其它类型的成像设备102,诸如角度采样超声。
图3a示出了使用单个旋转成像平面重建的患者大脑的3D血管造影图像302的时间序列。在2014年6月12日提交的申请序列号14/302,596(现美国公开号2014/0376791)中描述了用于执行通过单个旋转平面C臂***获取的时变图像数据的4D DSA重建的方法,其通过引用合并于此。这些方法可以确定感兴趣的血管类结构的时变体积衰减曲线,产生包括时间维度的3D加时间(或4D DSA)体积数据集。4D DSA数据集还可从时间以及投影角度变化的数据导出。在执行时间分辨3D DSA的插值中可以使用置信度值或曲线。这样的框架可以应用一次,或以迭代的方式应用。还可以基于例如从在多个角度获取的时变2D投影数据导出的初始时变3D数据集来动态地以及迭代地重建4D DSA数据集。
在2015年12月3日提交的题为“Tomography system and method for generatinga sequence of volume images of a vasculature(用于生成一系列血管的体积图像的断层扫描***和方法)”的德国申请号102015224176.9(也是在2015年12月9日提交的PCT申请号PCT/EP2015/079102)中描述了用于执行通过双C臂***获取的时变图像数据的4D DSA重建的方法,其通过引用合并于此。这些技术是基于包括两个同时旋转的平面的血管造影的双平面***。可以显著提高时间分辨体积的经重建的系列的准确率,因为可以利用来自两个平面的信息来减轻由于血管重叠引起的准确率问题。
回到图2,在204处,评估单元107划界(或分割)了通过重建单元106生成的所得到的4D DSA数据集中的感兴趣体积(VOI)。感兴趣体积可以是4D DSA数据集中被识别以用于进一步研究的任何血管段。VOI可以自动地、半自动地或手动地识别。自动划界包括执行例如阈值化或其它分割技术。
在一些实施方式中,通过来自在工作站103处呈现的用户接口(例如,血管分析工具)的用户选择来发起和控制感兴趣体积(VOI)分割。用户接口可以首先加载并渲染4D DSA图像数据以供用户查看。4D DSA图像数据的时间组件可以显示为,例如交互期间生成的时间帧、颜色渲染或时间步长的聚合。用户接口可以提供各种用户接口元素(例如,按钮、文本功能)以使用户能够选择、放大和/或裁剪4D DSA图像数据中的感兴趣体积。用户接口还可以提供用户接口元素(例如,图标)以使用户能够通过体积阈值化以及点选择来发起感兴趣体积的自动分割。
图3b示出了用于定位用于动脉瘤评估的种子点的示例性用户接口320。用户接口320显示三个不同的切片322a-c以及动脉瘤(或感兴趣体积)的体积渲染323。动脉瘤的分割通过白色框326描绘轮廓,在框326的中心具有点324。点324可以被用户移动以成为动脉瘤的中心。用户还可以通过例如选择以及拖拽框的角来改变分割框326的尺寸。用户还可以调整控制参数,诸如用于分割的阈值以在分割中包括更多或更少的结构。
图3c示出了用于种子点定位的示例性用户接口330。用户将两个种子点332a-b放置在动脉瘤331的近端和远端位置。当种子点332a-b的定位完成时,可以基于种子点332a-b来执行感兴趣体积的自动分割和分析。如果返回了错误,则用户可以将种子点332a-b放置在不同位置和/或将分割阈值调高或调低。
回到图2,在206处,评估单元107提取感兴趣体积的中心线。感兴趣体积的中心线可以被半自动地或自动地提取。例如,可以应用诸如距离变换或形态薄化的骨架化方法。
在208处,评估单元107接收一个或多个用户选择的点以用于询问。例如,在工作站103处的用户接口可以呈现感兴趣体积的渲染并且使用户能够选择沿着血管段内的中心线的一个或多个点以用于询问。用户可以通过例如沿着血管移动指针并且选择一个或多个点来针对在参数(例如,直径、直线度)和/或血液动力学度量(例如,血流速度、体积流速率)的改变而询问血管。为了评估血液动力学的定量度量,用户可以选择单个点用于差分体积流速率或两个点用于两个点之间的体积流速。
在210处,评估单元107确定与一个或多个用户选择的点相关联的至少一个血液动力学度量以及一个或多个参数。与感兴趣体积相关联的参数可包括但不限制于沿着血管中心线的直径以及直线度指示器。直线度指示器帮助用户估计在给定血管段点处湍流流动可能性,并且因此指向计算的血液动力学度量的可靠性。可以通过在用户选择的点(或感兴趣点)处取沿着血管中心线的方向向量并且计算用户选择的点(或感兴趣点)以及方向向量的法线在近端和远端方向二者与血管壁相交的位置之间的距离来计算给定血管段中心线点的血管直线度。可以将所得到的值归一化为最大值。
可以基于两点之间的距离和/或时间距离的度量来计算血液动力学的定量度量(例如,流速度、两点之间的体积流速率或单个点处的差分体积流速率)。在计算例如体积流速率或差分体积流速率中还可以使用在给定血管中心线点处的血管直径(或横截面积)。4DDSA数据集的基础是经重建的血管树的每个体素的时间-对比剂-浓度(TCC)曲线。在两个远端点处的两个TCC曲线之间的差异可以提供对体积流速率的印象。
图4示出了4D DSA血管体素的示例性时间-对比剂-浓度(TCC)曲线402。曲线402表示对比剂流入(最初2.5秒)、稳定阶段(2.5秒至8秒)以及流出阶段(8秒以上)。在稳定阶段的谷表示来自心脏收缩期的较少或不透明的血液流入;稀释对比剂导致较少的x射线衰减,而峰值对应于由于完整心脏周期的心脏休息时段而导致的高对比剂浓度以及较少或不透明血液的仅少量流入。
图5示出了具有对应的时间-对比剂-浓度(TCC)曲线(506a和506b)的示例性血管段(502)。用户已经选择了两个点(504a和504b)以用于测量体积流速率。所述TCC曲线(506a和506b)对应于这两个用户选择的点(504a和504b)。体积流速率的确定可以利用所述两个点(504a和504b)之间的距离(D)、在这些点(504a和504b)处的血管直径(VD1和VD2)以及这些时间曲线(506a和506bs)之间的时间差(Δt)。如示出的,时间差(Δt)可以通过例如TCC曲线(506a和506b)的最大点(508a和508b)之间的时间差来导出。导出时间差(Δt)的其它方法可以包括但不限制于基于TCC曲线的互相关的光流方法或技术。这样的方法可能更稳健(例如,对于噪声或轻微运动不太敏感)。知道这个信息,体积流速率Q可以计算如下:
尽管该实施方式使用所述两个点的平均血管直径作为面积的基础,但是也可以使用感兴趣点之间的血管点集的平均直径。
差分体积流是相对于用户选择的位置的相邻血管点之间的体积流的改变。例如,点A相对于用户指示的点U具有流速度n,而与点A相邻的点B具有流速度m,其中n>m。可以针对A和U之间的血管中心线点集中的每个点计算体积流速率。该集中相邻点之间的体积流速率的差异还可以被计算并且显示给用户,例如作为血管段上的颜色叠加。通过执行逐点比较,可以突出显示流的突然变化,从而指示潜在的狭窄区域。
回到图2,在212处,评估单元107基于一个或多个参数以及血液动力学度量生成可视化。可以经由在例如工作站103处实现的用户接口呈现可视化。用户接口可以使用户能够通过选择不同的点来针对参数以及血液动态信息而询问感兴趣体积。当用户选择一个或多个不同的点时,可以重复步骤208、210以及212以更新可视化。
图6示出了示例性可视化600。可视化600包括四个示例性视图(602、604、606和608)。第一视图602示出了平面内血管维度(对应于视图606中指示的线609)。第二视图604示出了对应于红色平面的腔内视图的体积渲染。第三视图606示出了沿着用户选择的点之间的血管中心线的直径D的曲线图607。可以作为文本显示附加信息,诸如血管参数(例如,段长度、平均近端直径、平均远端直径)以及沿着指示的点之间的血管中心线的动脉瘤维度(例如,圆顶高度、开口长度、体积)。如果开始支架叠加,则可以显示支架维度。线609指示如第二视图604中显示的沿着血管中心线的位置。虽然未示出,但是应当理解,还可以显示其它血管参数(例如,直线度指示器)和/或血液动力学度量(例如,流速度、体积流速率)。第四视图608示出了血管***以及叠加的支架的体积渲染。
可以为表示值的上色的血管段生成一个或多个图,诸如对比剂团到达时间以及对比剂到达峰值时间。也可以在上色图(例如,红色指示低血管直线度以及可能湍流流动、绿色指示高血管直线度以及不可能湍流流动)中显示直线度指示器。当用户已经指示两个点时,体积流速率可以表示为单个数字,或者如果用户指示仅一个点,则可以表示为差分体积流速率的上色图。该上色图可以潜在地突出显示流中断以及加速点,指示例如血管内介入之后的流行为的改变。
图7示出了示例性上色图700。虽然上色图700被示出为灰度图,但是应当理解,也可以使用其它颜色(例如,蓝色、红色、绿色、黄色)。灰度像素在血管段702上叠加以表示对比剂团到达时间(即,“BAT”或时间量)。沿着灰度条704的数字对应于对比度增强的旋转扫描内的投影图像的数量,其中每个投影图像指的是特定时间点。
尽管已经参考示例性实施例详细描述了本框架,但是本领域技术人员将理解,在不脱离所附权利要求中阐述的本发明的精神和范围的情况下,可以对其进行各种修改和替代。例如,在本公开和所附权利要求的范围内,不同示例性实施例的元素和/或特征可彼此结合和/或彼此替代。
Claims (18)
1.一个或多个非暂时性计算机可读介质,包含可通过机器施行以执行用于定量评估的操作的指令,包括:
对在四维(4D)数字减影血管造影术(DSA)数据集中的感兴趣体积进行划界;
提取所述感兴趣体积的中心线;
响应于接收到沿着所述中心线的单个用户选择的点,确定在单个用户选择的点处的差分体积流速率;
响应于接收到沿着所述中心线的至少两个用户选择的点,确定两个用户选择的点之间的体积流速率;以及
基于所述差分体积流速率或所述两个用户选择的点之间的体积流速率来生成可视化。
2.根据权利要求1所述的一个或多个非暂时性计算机可读介质,还包括可通过所述机器施行以确定直线度指示器的指令,所述直线度指示器提供差分体积流速率或所述两个用户选择的点之间的体积流速率的可靠性的度量。
3.一种用于定量评估的***,包括:
用于存储计算机可读程序代码的非暂时性存储器设备;以及
与存储器设备通信的处理器,所述处理器与计算机可读程序代码一起操作以执行操作,所述操作包括:
对在四维(4D)数字减影血管造影术(DSA)数据集中的感兴趣体积进行划界;
提取感兴趣体积的中心线;
接收沿着所述中心线的一个或多个用户选择的点,
确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量,以及
基于所述血液动力学度量来生成可视化,
其中所述处理器与所述计算机可读程序代码一起操作,以通过确定在单个用户选择的点处的差分体积流速率来确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量。
4.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过执行时变图像数据的4D重建来生成4D DSA数据集。
5.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过执行阈值化来对所述感兴趣体积进行划界。
6.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以经由呈现感兴趣体积的渲染的用户界面接收一个或多个用户选择的点,并且使用户能够选择所述感兴趣体积内的所述一个或多个用户选择的点。
7.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过确定两个用户选择的点之间的体积流速率来确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量。
8.根据权利要求7所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以基于所述两个用户选择的点之间的距离、所述两个用户选择的点处的感兴趣体积的直径以及对应于所述两个用户选择的点的时间-对比剂-浓度(TCC)曲线之间的时间差来确定所述两个用户选择的点之间的体积流速率。
9.根据权利要求8所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以基于所述两个用户选择的点处的所述感兴趣体积的直径的平均值来确定所述体积流速率。
10.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过确定流速度来确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量。
11.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以进一步确定与所述一个或多个用户选择的点相关联的一个或多个参数。
12.根据权利要求11所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过确定提供所述血液动力学度量的可靠性度量的直线度指示器来确定所述一个或多个参数。
13.根据权利要求12所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过计算所述用户选择的点处沿着所述中心线的方向向量以及计算直到所述方向向量的法线与在近端和远端方向二者和感兴趣血管的壁相交的距离来确定所述直线度指示器。
14.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过生成突出显示流中断以及加速点的差分体积流速率的上色图来生成所述可视化。
15.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过显示指示体积流速率的数字来生成所述可视化。
16.根据权利要求3所述的***,其中所述处理器与所述计算机可读程序代码一起操作,以通过生成直线度指示器的上色图来生成所述可视化。
17.一种定量评估的方法,包括:
对在四维(4D)数字减影血管造影术(DSA)数据集中的感兴趣体积进行划界;
提取所述感兴趣体积的中心线;
接收沿着所述中心线的一个或多个用户选择的点,
确定与所述一个或多个用户选择的点相关联的至少一个血液动力学度量;以及
基于所述血液动力学度量来生成可视化,
其中确定至少一个血液动力学度量包括确定在单个用户选择的点处的差分体积流速率。
18.根据权利要求17所述的方法,其中确定至少一个血液动力学度量包括确定两个用户选择的点之间的体积流速率。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762482080P | 2017-04-05 | 2017-04-05 | |
US62/482080 | 2017-04-05 | ||
PCT/US2018/019315 WO2018186943A1 (en) | 2017-04-05 | 2018-02-23 | Quantitative evaluation of time-varying data |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110546684A CN110546684A (zh) | 2019-12-06 |
CN110546684B true CN110546684B (zh) | 2022-09-02 |
Family
ID=61617119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880023664.6A Active CN110546684B (zh) | 2017-04-05 | 2018-02-23 | 时变数据的定量评估 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10977792B2 (zh) |
EP (1) | EP3607527B1 (zh) |
JP (1) | JP6898047B2 (zh) |
CN (1) | CN110546684B (zh) |
WO (1) | WO2018186943A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102021213995A1 (de) | 2021-12-08 | 2023-06-15 | Siemens Healthcare Gmbh | Bereitstellen eines Ergebnisdatensatzes |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102648485A (zh) * | 2009-10-05 | 2012-08-22 | 皇家飞利浦电子股份有限公司 | 图像中感兴趣体积的交互选择 |
EP3087921A1 (en) * | 2015-04-27 | 2016-11-02 | Coronary Technologies SARL | Computer-implemented method for identifying zones of stasis and stenosis in blood vessels |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5819236A (ja) * | 1981-07-24 | 1983-02-04 | 株式会社東芝 | X線撮像装置 |
JPS6230493A (ja) * | 1985-07-31 | 1987-02-09 | Shimadzu Corp | デジタル・サブトラクシヨン装置 |
JPH04208138A (ja) * | 1990-11-30 | 1992-07-29 | Toshiba Corp | 血管計測方法及びその装置 |
US6490476B1 (en) | 1999-10-14 | 2002-12-03 | Cti Pet Systems, Inc. | Combined PET and X-ray CT tomograph and method for using same |
US7953266B2 (en) * | 2007-02-06 | 2011-05-31 | Siemens Medical Solutions Usa, Inc. | Robust vessel tree modeling |
US10716528B2 (en) * | 2007-03-08 | 2020-07-21 | Sync-Rx, Ltd. | Automatic display of previously-acquired endoluminal images |
US20100004526A1 (en) * | 2008-06-04 | 2010-01-07 | Eigen, Inc. | Abnormality finding in projection images |
US9095313B2 (en) * | 2008-11-18 | 2015-08-04 | Sync-Rx, Ltd. | Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe |
JP2010154982A (ja) * | 2008-12-27 | 2010-07-15 | Toshiba Corp | X線コンピュータ断層撮影装置および画像処理装置 |
US10186056B2 (en) * | 2011-03-21 | 2019-01-22 | General Electric Company | System and method for estimating vascular flow using CT imaging |
EP2887866A2 (en) * | 2012-08-22 | 2015-07-01 | The United States of America, as represented by The Secretary, Department of Health and Human Services | Imaging and diagnostic methods, systems, and computer-readable media |
JP5596099B2 (ja) | 2012-10-01 | 2014-09-24 | 株式会社東芝 | 医用画像処理装置、及び医用画像処理プログラム |
US9351698B2 (en) * | 2013-03-12 | 2016-05-31 | Lightlab Imaging, Inc. | Vascular data processing and image registration systems, methods, and apparatuses |
US9443330B2 (en) | 2013-06-25 | 2016-09-13 | Siemens Medical Solutions Usa, Inc. | Reconstruction of time-varying data |
JP6362851B2 (ja) * | 2013-11-20 | 2018-07-25 | キヤノンメディカルシステムズ株式会社 | 血管解析装置、血管解析プログラム、及び血管解析装置の作動方法 |
US9730662B2 (en) * | 2014-01-17 | 2017-08-15 | Siemens Medical Solutions Usa, Inc. | System and method for tracking blood flow |
WO2017039646A1 (en) | 2015-09-02 | 2017-03-09 | Siemens Healthcare Gmbh | Cfd simulation assisted 4d dsa reconstruction |
DE102015224176A1 (de) | 2015-12-03 | 2017-06-08 | Siemens Healthcare Gmbh | Tomografieanlage und Verfahren zum Erzeugen einer Abfolge von Volumenbildern eines Gefäßsystems |
-
2018
- 2018-02-23 CN CN201880023664.6A patent/CN110546684B/zh active Active
- 2018-02-23 US US16/486,944 patent/US10977792B2/en active Active
- 2018-02-23 WO PCT/US2018/019315 patent/WO2018186943A1/en unknown
- 2018-02-23 EP EP18710211.6A patent/EP3607527B1/en active Active
- 2018-02-23 JP JP2019554730A patent/JP6898047B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102648485A (zh) * | 2009-10-05 | 2012-08-22 | 皇家飞利浦电子股份有限公司 | 图像中感兴趣体积的交互选择 |
EP3087921A1 (en) * | 2015-04-27 | 2016-11-02 | Coronary Technologies SARL | Computer-implemented method for identifying zones of stasis and stenosis in blood vessels |
Also Published As
Publication number | Publication date |
---|---|
EP3607527A1 (en) | 2020-02-12 |
CN110546684A (zh) | 2019-12-06 |
EP3607527B1 (en) | 2021-03-31 |
US10977792B2 (en) | 2021-04-13 |
JP6898047B2 (ja) | 2021-07-07 |
JP2020512874A (ja) | 2020-04-30 |
WO2018186943A1 (en) | 2018-10-11 |
US20200193590A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9754390B2 (en) | Reconstruction of time-varying data | |
US10497123B1 (en) | Isolation of aneurysm and parent vessel in volumetric image data | |
US9035941B2 (en) | Image processing apparatus and image processing method | |
US10083511B2 (en) | Angiographic roadmapping mask | |
US10052032B2 (en) | Stenosis therapy planning | |
JP5566370B2 (ja) | 医用画像処理装置及び方法 | |
CN107170021B (zh) | 时变数据的细化重构 | |
US11317875B2 (en) | Reconstruction of flow data | |
US11730384B2 (en) | Fluid analysis apparatus, method for operating fluid analysis apparatus, and fluid analysis program | |
CN110546684B (zh) | 时变数据的定量评估 | |
US20160157726A1 (en) | Projection image generating device, method and program | |
US20210150739A1 (en) | Capturing a misalignment | |
US20230386113A1 (en) | Medical image processing apparatus and medical image processing method | |
JP7502125B2 (ja) | 医用画像処理装置、医用画像処理システム、及び、医用画像処理方法 | |
US20200170520A1 (en) | Fluid analysis apparatus, method for operating fluid analysis apparatus, and fluid analysis program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |