CN114004793A - 血流特性获取方法、装置、电子设备及存储介质 - Google Patents
血流特性获取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114004793A CN114004793A CN202111209505.5A CN202111209505A CN114004793A CN 114004793 A CN114004793 A CN 114004793A CN 202111209505 A CN202111209505 A CN 202111209505A CN 114004793 A CN114004793 A CN 114004793A
- Authority
- CN
- China
- Prior art keywords
- blood vessel
- target
- vessel
- central point
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种血流特性获取方法、装置、电子设备及存储介质,所述方法包括:基于目标血管的原始医学影像,提取所述目标血管的中心线;基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。本申请能够提高血流特性的获取效率。
Description
技术领域
本申请涉及医疗领域,具体涉及一种血流特性获取方法、装置、电子设备及存储介质。
背景技术
在医疗领域中,为了获取血管的血流特性,现有技术中通常是先建立血管的三维模型再采用CFD(Computational Fluid Dynamics,计算流体动力学)仿真的方式获取血流特性。为了建立高精度的三维模型,通常要求图像分辨率较高。而且建立三维模型的算法复杂度高,算力需求高;精准度有限;并且有时无法全自动化完成,需要人工手动调整,从而导致血流特性的获取效率低。
发明内容
本申请的一个目的在于提出一种血流特性获取方法、装置、电子设备及存储介质,能够提高血流特性的获取效率。
根据本申请实施例的一方面,公开了一种血流特性获取方法,所述方法包括:
基于目标血管的原始医学影像,提取所述目标血管的中心线;
基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;
基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。
根据本申请实施例的一方面,公开了一种血流特性获取装置,所述装置包括:
第一提取模块,配置为基于目标血管的原始医学影像,提取所述目标血管的中心线;
第二提取模块,配置为基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;
获取模块,配置为基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。
在本申请的一示例性实施例中,所述装置配置为:
基于所述目标血管的原始医学影像,获取所述目标血管的入口起始点;
基于所述目标血管的入口起始点,区域生长得到至少两个血管区域;
基于各个血管区域的中心点,获取所述目标血管的中心线。
在本申请的一示例性实施例中,所述装置配置为:
沿样本血管的中心线,顺序提取所述样本血管的中心点分别所在邻域图像块的低维特征,得到所述样本血管的邻域图像块序列的低维特征;
以所述样本血管的起始中心点位置特征以及所述样本血管的邻域图像块序列的低维特征为输入,以所述样本血管的各个中心点的下一中心点位置特征为目标输出,对Transformer结构的第一神经网络进行训练,得到训练完成的第一神经网络;
获取所述目标血管的起始中心点位置特征,并基于所述起始中心点位置特征获取所述目标血管的起始中心点;
每当获取所述目标血管的中心点,基于所述目标血管的原始医学影像,提取所获取中心点所在邻域图像块序列的低维特征,并连同所获取中心点位置特征输入训练完成的第一神经网络,得到所获取中心点的下一中心点位置特征,其中,所获取中心点的邻域图像块序列包含所获取中心点所在邻域图像块以及在所获取中心点之前的中心点所在邻域图像块;
基于所获取中心点位置特征,获取所述目标血管的中心线。
在本申请的一示例性实施例中,所述装置配置为:
每当所获取中心点的位置类别用于指示所获取中心点属于血管分支点,确定所获取中心点所连接的血管分支,并获取所获取中心点在各个血管分支的下一中心点位置特征。
在本申请的一示例性实施例中,所述装置配置为:
将中心点所在图像的像素点的平均灰度值作为所述中心点的灰度值。
在本申请的一示例性实施例中,所述装置配置为:
提取样本血管的图像帧序列的低维特征;
以所述样本血管的图像帧序列的低维特征为输入,以所述样本血管的图像帧序列的中间帧处的一维血管特征为目标输出,对Transformer结构的第二神经网络进行训练,得到训练完成的第二神经网络;
沿所述目标血管的中心线,顺序选取所述目标血管的中心点,并基于所述目标血管的原始医学影像,提取以所选取中心点为中心的拉直血管段的图像帧序列的低维特征;
将所述拉直血管段的图像帧序列的低维特征分别输入训练完成的第二神经网络,得到所述目标血管在各个中心点处的一维血管特征。
在本申请的一示例性实施例中,所述装置配置为:
垂直于所述目标血管的中心线对所述目标血管的原始医学影像进行截取,获取所述目标血管的横截面;
基于所述目标血管的横截面,获取所述目标血管的管腔分割结果;
基于所述目标血管的管腔分割结果,提取所述目标血管在各个中心点处的一维血管特征。
在本申请的一示例性实施例中,所述装置配置为:
获取以一维血管特征为函数输入,以血流特性为函数输出的目标函数;
将所述目标血管在各个中心点处的一维血管特征输入所述目标函数,得到所述目标函数输出的所述目标血管在各个中心点处的血流特性。
在本申请的一示例性实施例中,所述装置配置为:
基于所述目标血管在各个中心点处的一维血管特征,将所述目标血管模拟为电路***;
基于对所述电路***所作求解,获取所述目标血管在各个中心点处的血流特性。
根据本申请实施例的一方面,公开了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现以上任一项实施例。
根据本申请实施例的一方面,公开了一种计算机程序介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行以上任一项实施例。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请实施例中,直接从目标血管的原始医学影像中提取得到目标血管在各个中心点处的一维血管特征,进而在此基础上获取目标血管在各个中心点处的血流特性。在这一过程中,无需得到也便无需建立目标血管的三维模型,从而避免了建立目标血管的三维模型并进行CFD仿真这一处理,提高了血流特性的获取效率。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。
附图说明
通过参考附图详细描述其示例实施例,本申请的上述和其它目标、特征及优点将变得更加显而易见。
图1示出了根据本申请一个实施例的血流特性获取方法流程图。
图2示出了根据本申请一个实施例的第一神经网络的训练示意图。
图3示出了根据本申请一个实施例的训练完成的第一神经网络的使用示意图。
图4示出了根据本申请一个实施例的第二神经网络的训练示意图。
图5示出了根据本申请一个实施例的训练完成的第二神经网络的使用示意图。
图6示出了根据本申请一个实施例的电路***示意图。
图7示出了根据本申请一个实施例的血流特性获取方法的逻辑示意图。
图8示出了根据本申请一个实施例的血流特性获取装置框图。
图9示出了根据本申请一个实施例的电子设备硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些示例实施方式使得本申请的描述将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、步骤等。在其它情况下,不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提供了一种血流特性获取方法,主要应用于医疗领域获取血管的血流特性。
在详细描述本申请实施例的具体实施过程之前,首先对本申请涉及的部分概念进行简要解释。
血流特性,指的是用于描述血液在流动过程中物理表现的参数。本申请中的血流特性包括但不限于:FFR(Fractional Flow Reserve,血流储备分数)、压强、剪切力。其中,FFR,指的是在冠状动脉存在狭窄病变的情况下,该冠状动脉所供血心肌区域能获得的最大血流与正常情况下同一区域理论上所能获得的最大血流之比,即,心肌最大充血状态下的狭窄远端冠状动脉内平均压Pd与冠状动脉口部主动脉平均压Pa的比值。
原始医学影像,指的是在医疗领域中所取得的生物内部组织的影像。常见的原始医学影像包括但不限于:CT(Computed Tomography,电子计算机断层扫描)影像,NMRI(Nuclear Magnetic Resonance Imaging,核磁共振成像)影像。
血管的中心线,指的是用于标识血管中心的线段。中心线又称中线,常用间隔的点和短线段连成一线段表示。
血管的中心点,指的是位于血管的中心线上的点。
一维血管特征,指的是用于描述血管特征的单维度数据。本申请中的一维血管特征可以为横截面直径,可以为横截面面积,可以为灰度值,可以为曲率,也可以为距离,也可以为其他单维度数据。
图1示出了本申请一实施例的血流特性获取方法流程图。该方法的执行主体可以为终端(例如:个人计算机),也可以为服务器或者其他具有一定运算能力的设备。该方法包括:
步骤S110、基于目标血管的原始医学影像,提取该目标血管的中心线;
步骤S120、基于该目标血管的中心线,从该目标血管的原始医学影像中提取该目标血管在各个中心点处的一维血管特征;
步骤S130、基于该目标血管在各个中心点处的一维血管特征,获取该目标血管在各个中心点处的血流特性。
示例性的以终端作为血流特性获取方法的执行主体。本申请实施例中,终端获取到目标血管的原始医学影像后,基于该原始医学影像,提取得到该目标血管的中心线。
进而基于该目标血管的中心线,从该原始医学影像中提取得到目标血管在各个中心点处的一维血管特征。需要说明的是,本申请实施例中提取得到的一维血管特征的直接来源是原始医学影像,中途无需得到也便无需建立目标血管的三维模型。
进而基于目标血管在各个中心点处的一维血管特征,获取目标血管在各个中心点处的血流特性。
由此可见,本申请实施例中,直接从目标血管的原始医学影像中提取得到目标血管在各个中心点处的一维血管特征,进而在此基础上获取目标血管在各个中心点处的血流特性。在这一过程中,无需得到也便无需建立目标血管的三维模型,从而避免了建立目标血管的三维模型并进行CFD仿真这一处理,提高了血流特性的获取效率。
在一实施例中,通过区域生长的方式获取中心线。
该实施例中,基于目标血管的原始医学影像,获取该目标血管的入口起始点。基于该目标血管的入口起始点,区域生长得到至少两个血管区域。基于各个血管区域的中心点,获取该目标血管的中心线。
具体的,通过机器学习或是图像处理的方式对目标血管的原始医学影像进行处理,得到目标血管的入口起始点的位置坐标。进而基于该入口起始点向前生长一定的区域,并计算该区域的中心点。继续向前生长一定的区域,将新生长出的区域合并到之前的区域中,并计算合并后区域的中心点。计算出的区域的中心点主要目的在于组成中心线。
区域生长的过程中,当遇到分支时,会形成两个独立的区域。第一次遇到分支时,血管的主支生长结束。分支相互独立地继续进行区域生长,从而确定新的中心点。当区域不再继续扩大时,说明已到达终点,生长结束。
如此迭代多次后,得到目标血管的主支和分支上的多个中心点,最终将所有中心点平滑连接,得到目标血管的中心线。
在一实施例中,通过神经网络的方式获取中心线。
该实施例中,沿样本血管的中心线,顺序提取该样本血管的中心点分别所在邻域图像块的低维特征,得到该样本血管的邻域图像块序列的低维特征。以该样本血管的起始中心点位置特征以及该样本血管的邻域图像块序列的低维特征为输入,以该样本血管的各个中心点的下一中心点位置特征为目标输出,对Transformer结构的第一神经网络进行训练,得到训练完成的第一神经网络。获取该目标血管的起始中心点位置特征,并基于该起始中心点位置特征获取该目标血管的起始中心点。每当获取该目标血管的中心点,基于该目标血管的原始医学影像,提取所获取中心点所在邻域图像块序列的低维特征,并连同所获取中心点位置特征输入训练完成的第一神经网络,得到所获取中心点的下一中心点位置特征,其中,所获取中心点的邻域图像块序列包含所获取中心点所在邻域图像块以及在所获取中心点之前的中心点所在邻域图像块。基于所获取中心点位置特征,获取该目标血管的中心线。
具体的,样本血管的中心线是已确定的,因此样本血管的各个中心点的位置特征也是已确定的。获取样本血管的各个中心点的邻域图像块后,可以采用卷积神经网络CNN对样本血管的各个中心点的邻域图像块进行处理,提取得到样本血管的各个中心点的邻域图像块的低维特征。按照样本血管的中心线对所得到的低维特征进行排列,即可得到样本血管的邻域图像块序列的低维特征。
进而将样本血管的起始中心点位置特征以及对应的邻域图像块序列的低维特征输入Transformer结构的第一神经网络,使得该第一神经网络预测样本血管的各个中心点的下一中心点位置特征。将第一神经网络预测的样本血管的各个中心点位置特征与已确定的样本血管的各个中心点位置特征进行对比,进而根据对比结果更新第一神经网络,使得第一神经网络朝着减少预测误差的方向演进。如此迭代,直到第一神经网络的预测误差满足预设条件(例如:小于预设误差阈值),得到训练完成的第一神经网络。
进而将训练完成的第一神经网络用于预测目标血管的各个中心点位置特征,进而基于预测得到的目标血管的各个中心点位置特征,生成并获取目标血管的中心线(例如:确定从目标血管的起始中心点到终点的各个中心点后,可以通过Spline样条插值生成对应的中心线)。
在一实施例中,中心点位置特征包括:中心点的方向向量、中心点的坐标以及中心点的位置类别。
具体的,第一神经网络所执行的预测任务包括:预测各个中心点的下一中心点的方向向量,预测各个中心点的下一中心点的坐标,预测各个中心线的下一中心点的位置类别(例如:是否为血管分支点,是否为血管终点)。
图2示出了本申请一实施例的第一神经网络的训练示意图。
参考图2所示,该实施例中,将样本血管的连续t个中心点(x1,x2,...,xt)的邻域图像块组成序列输入CNN提取低维特征,此处的CNN可以是共享的。进而将CNN提取出的低维特征以及第一个中心点x1的位置特征p1(x1的坐标),d1(x1的方向向量),y1(x1是否为血管分支点或者血管终点的位置类别)输入Transformer结构的第一神经网络提取高维特征并同时做3个预测任务,分别为:各个中心点下一个中心点的坐标p,方向向量d以及位置类别y。
进而将该3个预测任务的结果与真实的结果进行对比,更新第一神经网络,使其朝着减小预测误差的方向演进。
图3示出了本申请一实施例的训练完成的第一神经网络的使用示意图。
参考图3所示,该实施例中,将目标血管的连续t个中心点(x1,x2,...,xt)的邻域图像块组成序列输入CNN提取低维特征,此处的CNN可以是共享的。进而将CNN提取出的低维特征以及第一个中心点x1的位置特征p1(x1的坐标),d1(x1的方向向量),y1(x1是否为血管分支点或者血管终点的位置类别)输入Transformer结构的第一神经网络提取高维特征并同时做3个预测任务,分别为:各个中心点下一个中心点的坐标p,方向向量d以及位置类别y。
进而得到目标血管的各个中心点,通过Spline样条插值生成目标血管的中心线。
在一实施例中,每当所获取中心点的位置类别用于指示所获取中心点属于血管分支点,确定所获取中心点所连接的血管分支,并获取所获取中心点在各个血管分支的下一中心点位置特征。
具体的,每当根据第一神经网络预测的中心点的位置类别确定对应中心点属于血管分支点时,可以从该中心点开始进行区域生长,得到至少两个连通区域,每个连通区域对应该中心点所连接的一个血管分支,进而获取该中心点在各个血管分支的下一中心点位置特征。
或者,每当根据第一神经网络预测的中心点的位置类别确定对应中心点属于血管分支点时,也可以采取深度学习的方式预测该中心点在各个血管分支的下一中心点位置特征。
在一实施例中,通过管腔分割的方式获取一维血管特征。
该实施例中,垂直于该目标血管的中心线对该目标血管的原始医学影像进行截取,获取该目标血管的横截面。基于该目标血管的横截面,获取该目标血管的管腔分割结果。基于该目标血管的管腔分割结果,提取该目标血管在各个中心点处的一维血管特征。
具体的,得到目标血管的中心线后,垂直于该中心线的各个中心点对目标血管的原始医学影像进行截取,得到该目标血管在各个中心点的横截面。可以通过设定固定的阈值,结合该目标血管在各个中心点的横截面,得到该目标血管的管腔分割结果;也可以使用半峰全宽(Full Width at Half Maximum,FWHM)方法得到横截面的最大灰度值,再将最大灰度值的一半,即FWHM作为目标血管的管腔分割结果;也可以使用水平集Level-Set方法得到目标血管的管腔分割结果。进而从目标血管的管腔分割结果中提取出目标血管在各个中心点处的一维血管特征。
在一实施例中,通过神经网络的方式获取一维血管特征。
该实施例中,提取样本血管的图像帧序列的低维特征。以该样本血管的图像帧序列的低维特征为输入,以该样本血管的图像帧序列的中间帧处的一维血管特征为目标输出,对Transformer结构的第二神经网络进行训练,得到训练完成的第二神经网络。沿该目标血管的中心线,顺序选取该目标血管的中心点,并基于该目标血管的原始医学影像,提取以所选取中心点为中心的拉直血管段的图像帧序列的低维特征。将该拉直血管段的图像帧序列的低维特征分别输入训练完成的第二神经网络,得到该目标血管在各个中心点处的一维血管特征。
具体的,从样本血管的原始医学影像中提取组成该样本血管的图像帧序列,可以采用CNN对该图像帧序列中的每一图像帧进行处理,提取得到每一图像帧的低维特征,进而组成样本血管的图像帧序列的低维特征。
进而将样本血管的图像帧序列的低维特征输入Transformer结构的第二神经网络,使得该第二神经网络预测样本血管的图像帧序列的中间帧处的一维血管特征。将第二神经网络预测的样本血管的中间帧处的一维血管特征与已确定的样本血管的中间帧处的一维血管特征进行对比,进而根据对比结果更新第二神经网络,使得第二神经网络朝着减少预测误差的方向演进。如此迭代,直到第二神经网络的预测误差满足预设条件,得到训练完成的第二神经网络。
按照目标血管的中心点的顺序,截取得到目标血管对应各个中心点的拉直血管段,进而得到目标血管的各个拉直血管段的图像帧序列。进而将训练完成的第二神经网络分别用于处理目标血管的各个拉直血管段的图像帧序列,从而预测得到目标血管的各个拉直血管段的中间帧处的一维血管特征,从而得到目标血管在各个中心点处的一维血管特征。
图4示出了本申请一实施例的第二神经网络的训练示意图。
参考图4所示,将样本血管的图像帧序列(从s1至si)输入CNN提取低维特征,此处的CNN可以是共享的。进而将CNN提取出的低维特征输入Transformer结构的第二神经网络提取高维特征,并预测样本血管的中间帧(当i为奇数时,第i/2帧为中间帧)的一维血管特征Y。
进而将该预测的结果与真实的结果进行对比,更新第二神经网络,使其朝着减小预测误差的方向演进。
图5示出了本申请一实施例的训练完成的第二神经网络的使用示意图。
参考图5所示,针对目标血管的各个中心点(从x1到xt),将对应中心点的拉直血管段的图像帧序列输入CNN提取低维特征,进而将CNN提取出的低维特征输入训练完成的第二神经网络,得到第二神经网络预测的该中心点的一维血管特征Y,从而得到目标血管在各个中心点处的一维血管特征(从Y1到Yt)。
在一实施例中,目标血管在各个中心点处的一维血管特征包括:该目标血管在各个中心点处的血管横截面直径,该目标血管在各个中心点处的血管横截面面积,该目标血管在各个中心点的灰度值,该目标血管在中心点处的曲率以及该目标血管的各个中心点到该目标血管的入口的距离。
在一实施例中,将中心点所在图像的像素点的平均灰度值作为该中心点的灰度值。
在一实施例中,通过计算函数的方式将一维血管特征转换为血流特性。
该实施例中,获取以一维血管特征为函数输入,以血流特性为函数输出的目标函数。将该目标血管在各个中心点处的一维血管特征输入该目标函数,得到该目标函数输出的该目标血管在各个中心点处的血流特性。
示例性的,目标函数首先可以按照如下形式进行表达:
f(p,u)=0
其中,p以及u可以均为待输出的血流特性。示例性的,p为血液的压力,u为血液的流速,该目标函数可以进一步表达为以下方程组:
其中,A、B以及C为一维血管特征相关参数,t为时间,x为长度,ρ为血液的密度。
在一实施例中,通过模拟电路***的方式将一维血管特征转换为血流特性。
该实施例中,基于该目标血管在各个中心点处的一维血管特征,将该目标血管模拟为电路***。基于对该电路***所作求解,获取该目标血管在各个中心点处的血流特性。
可以理解的,水力问题与电力问题有着高度的类比性。例如水流与电流类似,水压与电压类似,水流阻力与电阻类似等等。因此在处理血流***时,可以将其转换为电路***,进而通过模拟电路***来获取目标血管在各个中心点处的血流特性。
具体的,参考图6所示,用电路元件表示血管段,电流表示血流,结合目标血管在各个中心点处的一维血管特征建立目标血管对应的电路***。例如:将根据一维血管特征所得到的血管段的直径转换为对应电路元件的电阻值或电容值,将根据一维血管特征所得到的血管段的直径以及长度转换为对应电路元件的电流值等。
进而根据电路***建立电路方程,通过求解电路方程得到各个电路元件的电路参数,再反过来转换为对应中心点的血流特性。
需要说明的是,现有技术中,从血管的三维模型中提取得到多维的血管特征后,通常是采用训练深度学习模型的方式预测血流特性。训练该深度学习模型需要以大量的CFD仿真结果为金标准,由于异常数据难以避免,而这些异常数据的相对数量非常少,所以该深度学习模型对训练数据集中数量较少或者没有的数据预测能力很差。本申请通过目标函数求解或者电路***求解的方式计算血流特性的这种方法,不需要去训练用于预测血流特性的深度学习模型,鲁棒性好,避免了异常数据深度学习无法准确预测的问题,对于数量相对少的异常数据也能够正常处理。
图7示出了本申请一实施例的血流特性获取方法的逻辑示意图。
该实施例中,获取得到目标血管的原始医学影像后,从中提取得到目标血管的中心线。提取中心线有两种方式:一、通过区域生长的方式提取中心线;二、通过神经网络的方式提取中心线。
提取得到目标血管的中心线后,从中提取得到目标血管在各个中心点处的一维血管特征。提取一维血管特征有两种方式:一、通过管腔分割的方式提取一维血管特征;二、通过神经网络的方式提取一维血管特征。
最终根据目标血管在各个中心点处的一维血管特征,获取目标血管在各个中心点处的血流特性。
图8示出了根据本申请一实施例的血流特性获取装置,所述装置包括:
第一提取模块210,配置为基于目标血管的原始医学影像,提取所述目标血管的中心线;
第二提取模块220,配置为基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;
获取模块230,配置为基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。
在本申请的一示例性实施例中,所述装置配置为:
基于所述目标血管的原始医学影像,获取所述目标血管的入口起始点;
基于所述目标血管的入口起始点,区域生长得到至少两个血管区域;
基于各个血管区域的中心点,获取所述目标血管的中心线。
在本申请的一示例性实施例中,所述装置配置为:
沿样本血管的中心线,顺序提取所述样本血管的中心点分别所在邻域图像块的低维特征,得到所述样本血管的邻域图像块序列的低维特征;
以所述样本血管的起始中心点位置特征以及所述样本血管的邻域图像块序列的低维特征为输入,以所述样本血管的各个中心点的下一中心点位置特征为目标输出,对Transformer结构的第一神经网络进行训练,得到训练完成的第一神经网络;
获取所述目标血管的起始中心点位置特征,并基于所述起始中心点位置特征获取所述目标血管的起始中心点;
每当获取所述目标血管的中心点,基于所述目标血管的原始医学影像,提取所获取中心点所在邻域图像块序列的低维特征,并连同所获取中心点位置特征输入训练完成的第一神经网络,得到所获取中心点的下一中心点位置特征,其中,所获取中心点的邻域图像块序列包含所获取中心点所在邻域图像块以及在所获取中心点之前的中心点所在邻域图像块;
基于所获取中心点位置特征,获取所述目标血管的中心线。
在本申请的一示例性实施例中,所述装置配置为:
每当所获取中心点的位置类别用于指示所获取中心点属于血管分支点,确定所获取中心点所连接的血管分支,并获取所获取中心点在各个血管分支的下一中心点位置特征。
在本申请的一示例性实施例中,所述装置配置为:
将中心点所在图像的像素点的平均灰度值作为所述中心点的灰度值。
在本申请的一示例性实施例中,所述装置配置为:
提取样本血管的图像帧序列的低维特征;
以所述样本血管的图像帧序列的低维特征为输入,以所述样本血管的图像帧序列的中间帧处的一维血管特征为目标输出,对Transformer结构的第二神经网络进行训练,得到训练完成的第二神经网络;
沿所述目标血管的中心线,顺序选取所述目标血管的中心点,并基于所述目标血管的原始医学影像,提取以所选取中心点为中心的拉直血管段的图像帧序列的低维特征;
将所述拉直血管段的图像帧序列的低维特征分别输入训练完成的第二神经网络,得到所述目标血管在各个中心点处的一维血管特征。
在本申请的一示例性实施例中,所述装置配置为:
垂直于所述目标血管的中心线对所述目标血管的原始医学影像进行截取,获取所述目标血管的横截面;
基于所述目标血管的横截面,获取所述目标血管的管腔分割结果;
基于所述目标血管的管腔分割结果,提取所述目标血管在各个中心点处的一维血管特征。
在本申请的一示例性实施例中,所述装置配置为:
获取以一维血管特征为函数输入,以血流特性为函数输出的目标函数;
将所述目标血管在各个中心点处的一维血管特征输入所述目标函数,得到所述目标函数输出的所述目标血管在各个中心点处的血流特性。
在本申请的一示例性实施例中,所述装置配置为:
基于所述目标血管在各个中心点处的一维血管特征,将所述目标血管模拟为电路***;
基于对所述电路***所作求解,获取所述目标血管在各个中心点处的血流特性。
下面参考图9来描述根据本申请实施例的电子设备30。图9显示的电子设备30仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,电子设备30以通用计算设备的形式表现。电子设备30的组件可以包括但不限于:上述至少一个处理单元310、上述至少一个存储单元320、连接不同***组件(包括存储单元320和处理单元310)的总线330。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元310执行,使得所述处理单元310执行本说明书上述示例性方法的描述部分中描述的根据本发明各种示例性实施方式的步骤。例如,所述处理单元310可以执行如图3中所示的各个步骤。
存储单元320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)3201和/或高速缓存存储单元3202,还可以进一步包括只读存储单元(ROM)3203。
存储单元320还可以包括具有一组(至少一个)程序模块3205的程序/实用工具3204,这样的程序模块3205包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备30也可以与一个或多个外部设备400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备30交互的设备通信,和/或与使得该电子设备30能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口350进行。输入/输出(I/O)接口350与显示单元340相连。并且,电子设备30还可以通过网络适配器360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器360通过总线330与电子设备30的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
在本申请的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述方法实施例部分描述的方法。
根据本申请的一个实施例,还提供了一种用于实现上述方法实施例中的方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如JAVA、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由所附的权利要求指出。
Claims (14)
1.一种血流特性获取方法,其特征在于,所述方法包括:
基于目标血管的原始医学影像,提取所述目标血管的中心线;
基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;
基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。
2.根据权利要求1所述的方法,其特征在于,基于目标血管的原始医学影像,提取所述目标血管的中心线,包括:
基于所述目标血管的原始医学影像,获取所述目标血管的入口起始点;
基于所述目标血管的入口起始点,区域生长得到至少两个血管区域;
基于各个血管区域的中心点,获取所述目标血管的中心线。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
沿样本血管的中心线,顺序提取所述样本血管的中心点分别所在邻域图像块的低维特征,得到所述样本血管的邻域图像块序列的低维特征;
以所述样本血管的起始中心点位置特征以及所述样本血管的邻域图像块序列的低维特征为输入,以所述样本血管的各个中心点的下一中心点位置特征为目标输出,对Transformer结构的第一神经网络进行训练,得到训练完成的第一神经网络;
基于目标血管的原始医学影像,提取所述目标血管的中心线,包括:
获取所述目标血管的起始中心点位置特征,并基于所述起始中心点位置特征获取所述目标血管的起始中心点;
每当获取所述目标血管的中心点,基于所述目标血管的原始医学影像,提取所获取中心点所在邻域图像块序列的低维特征,并连同所获取中心点位置特征输入训练完成的第一神经网络,得到所获取中心点的下一中心点位置特征,其中,所获取中心点的邻域图像块序列包含所获取中心点所在邻域图像块以及在所获取中心点之前的中心点所在邻域图像块;
基于所获取中心点位置特征,获取所述目标血管的中心线。
4.根据权利要求3所述的方法,其特征在于,中心点位置特征包括:中心点的方向向量、中心点的坐标以及中心点的位置类别。
5.根据权利要求4所述的方法,其特征在于,基于目标血管的原始医学影像,提取所述目标血管的中心线,还包括:
每当所获取中心点的位置类别用于指示所获取中心点属于血管分支点,确定所获取中心点所连接的血管分支,并获取所获取中心点在各个血管分支的下一中心点位置特征。
6.根据权利要求1所述的方法,其特征在于,所述目标血管在各个中心点处的一维血管特征包括:所述目标血管在各个中心点处的血管横截面直径,所述目标血管在各个中心点处的血管横截面面积,所述目标血管在各个中心点的灰度值,所述目标血管在中心点处的曲率以及所述目标血管的各个中心点到所述目标血管的入口的距离。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
将中心点所在图像的像素点的平均灰度值作为所述中心点的灰度值。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
提取样本血管的图像帧序列的低维特征;
以所述样本血管的图像帧序列的低维特征为输入,以所述样本血管的图像帧序列的中间帧处的一维血管特征为目标输出,对Transformer结构的第二神经网络进行训练,得到训练完成的第二神经网络;
基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征,包括:
沿所述目标血管的中心线,顺序选取所述目标血管的中心点,并基于所述目标血管的原始医学影像,提取以所选取中心点为中心的拉直血管段的图像帧序列的低维特征;
将所述拉直血管段的图像帧序列的低维特征分别输入训练完成的第二神经网络,得到所述目标血管在各个中心点处的一维血管特征。
9.根据权利要求1所述的方法,其特征在于,基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征,包括:
垂直于所述目标血管的中心线对所述目标血管的原始医学影像进行截取,获取所述目标血管的横截面;
基于所述目标血管的横截面,获取所述目标血管的管腔分割结果;
基于所述目标血管的管腔分割结果,提取所述目标血管在各个中心点处的一维血管特征。
10.根据权利要求1所述的方法,其特征在于,基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性,包括:
获取以一维血管特征为函数输入,以血流特性为函数输出的目标函数;
将所述目标血管在各个中心点处的一维血管特征输入所述目标函数,得到所述目标函数输出的所述目标血管在各个中心点处的血流特性。
11.根据权利要求1所述的方法,其特征在于,基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性,包括:
基于所述目标血管在各个中心点处的一维血管特征,将所述目标血管模拟为电路***;
基于对所述电路***所作求解,获取所述目标血管在各个中心点处的血流特性。
12.一种血流特性获取装置,其特征在于,所述装置包括:
第一提取模块,配置为基于目标血管的原始医学影像,提取所述目标血管的中心线;
第二提取模块,配置为基于所述目标血管的中心线,从所述目标血管的原始医学影像中提取所述目标血管在各个中心点处的一维血管特征;
获取模块,配置为基于所述目标血管在各个中心点处的一维血管特征,获取所述目标血管在各个中心点处的血流特性。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如权利要求1至11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-11中的任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209505.5A CN114004793A (zh) | 2021-10-18 | 2021-10-18 | 血流特性获取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111209505.5A CN114004793A (zh) | 2021-10-18 | 2021-10-18 | 血流特性获取方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114004793A true CN114004793A (zh) | 2022-02-01 |
Family
ID=79923002
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111209505.5A Pending CN114004793A (zh) | 2021-10-18 | 2021-10-18 | 血流特性获取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114004793A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757942A (zh) * | 2022-05-27 | 2022-07-15 | 南通大学 | 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法 |
CN115222665A (zh) * | 2022-06-13 | 2022-10-21 | 北京医准智能科技有限公司 | 一种斑块检测方法、装置、电子设备及可读存储介质 |
CN116206162A (zh) * | 2023-04-28 | 2023-06-02 | 杭州脉流科技有限公司 | 基于造影影像的冠脉血流储备获取方法、装置及设备 |
-
2021
- 2021-10-18 CN CN202111209505.5A patent/CN114004793A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114757942A (zh) * | 2022-05-27 | 2022-07-15 | 南通大学 | 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法 |
CN115222665A (zh) * | 2022-06-13 | 2022-10-21 | 北京医准智能科技有限公司 | 一种斑块检测方法、装置、电子设备及可读存储介质 |
CN116206162A (zh) * | 2023-04-28 | 2023-06-02 | 杭州脉流科技有限公司 | 基于造影影像的冠脉血流储备获取方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689038B (zh) | 神经网络模型的训练方法、装置和医学图像处理*** | |
CN114004793A (zh) | 血流特性获取方法、装置、电子设备及存储介质 | |
CN111429502B (zh) | 用于生成对象的中心线的方法和***以及计算机可读介质 | |
CN108805871B (zh) | 血管图像处理方法、装置、计算机设备和存储介质 | |
CN111383259B (zh) | 图像分析方法、计算机设备和存储介质 | |
CN111145160B (zh) | 钙化区域所处冠脉分支的确定方法、装置、服务器及介质 | |
CN109949300B (zh) | 解剖树结构分析的方法、***和计算机可读介质 | |
KR20210036840A (ko) | 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치 | |
CN111932552B (zh) | 一种主动脉建模的方法及装置 | |
CN113160189A (zh) | 血管中心线提取方法、装置、设备及存储介质 | |
CN117115150B (zh) | 用于确定分支血管的方法、计算设备和介质 | |
CN113205488B (zh) | 血流特性预测方法、装置、电子设备及存储介质 | |
CN110599444B (zh) | 预测血管树的血流储备分数的设备、***以及非暂时性可读存储介质 | |
CN115731232A (zh) | 血管图像处理方法、装置、可读存储介质及电子设备 | |
CN113888566B (zh) | 目标轮廓曲线确定方法、装置、电子设备以及存储介质 | |
Hu et al. | ProSFDA: prompt learning based source-free domain adaptation for medical image segmentation | |
CN112488949A (zh) | 一种低剂量pet图像还原方法、***、设备和介质 | |
CN115482261A (zh) | 血管配准方法、装置、电子设备及存储介质 | |
CN115861189A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
CN113838572B (zh) | 血管生理参数获取方法、装置、电子设备及存储介质 | |
CN113256564B (zh) | 医学影像中的导管参数提取方法及装置 | |
CN117556077B (zh) | 文本图像模型的训练方法、相关方法及相关产品 | |
CN114972242B (zh) | 心肌桥检测模型的训练方法、装置及电子设备 | |
CN115511773B (zh) | 一种血管中心线提取方法、装置、设备和可读存储介质 | |
CN113239992B (zh) | 血管分类方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |