CN117557522A - 多模态多维医学影像序列通用运动追踪方法及装置 - Google Patents

多模态多维医学影像序列通用运动追踪方法及装置 Download PDF

Info

Publication number
CN117557522A
CN117557522A CN202311510415.9A CN202311510415A CN117557522A CN 117557522 A CN117557522 A CN 117557522A CN 202311510415 A CN202311510415 A CN 202311510415A CN 117557522 A CN117557522 A CN 117557522A
Authority
CN
China
Prior art keywords
dimensional
motion
medical image
network
motion tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311510415.9A
Other languages
English (en)
Inventor
朱昊
申承康
易斯
马展
曹汛
周游
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202311510415.9A priority Critical patent/CN117557522A/zh
Publication of CN117557522A publication Critical patent/CN117557522A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/0895Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种多模态多维医学影像序列通用运动追踪方法及装置。其方法包括以下步骤:S1,使用医学影像设备对目标组织进行二维或三维的图像序列采集;S2,对所采集的图像序列进行隐式神经表示,将目标组织的运动参数转化为一个多变量的神经网络,该网络以一组时空坐标作为输入,并输出对应坐标下目标组织的任意空间位置点的运动位移。本发明的方法可以更加精确地捕捉在各种医学影像模态序列中的目标组织任意位置的运动轨迹,进而为临床诊断和治疗提供更为可靠的数据支持。

Description

多模态多维医学影像序列通用运动追踪方法及装置
技术领域
本发明涉及医学影像运动追踪技术领域,特别涉及一种基于隐式表示的多模态多维医学影像序列通用运动追踪方法及装置。
背景技术
在医学影像学的深层次研究中,运动追踪技术在分析多种器官和组织的动态行为方面发挥着关键作用。这一领域的应用广泛,例如心肌活动的实时追踪、在手术中监控软组织和病变部位的微妙移动等。特别是考虑到心血管疾病是全球范围内主要的致死因素之一,心脏活动的精确分析变得至关重要,这进一步凸显了目标追踪技术的重要性。心血管疾病包括诸如冠状动脉粥样硬化、瓣膜功能不全和心肌炎等多种病理状况,尽管它们的临床表现各不相同,但通常都会对心脏的正常运动和泵血能力造成影响。因此,为了优化心血管疾病的诊断和治疗过程,精确追踪心肌的动态运动是至关重要的。然而,现有的心脏运动追踪方法面临着诸多挑战:它们往往局限于分析两个连续图像帧之间的运动,难以在一个完整的心动周期内提供心脏运动的全面、准确估计;此外,这些方法在没有进行复杂插值的情况下,无法追踪三维心脏中的任意位置;再者,现行技术依赖于大量需要专家手动标注的配对训练数据,这在实际操作中既不经济也不高效。
隐式神经表示通过使用神经网络模型学习从空间坐标到具体信号值的连续映射关系,已经在多个研究领域展现出其强大的潜力。这些领域包括但不限于图像渲染、多视角图像合成、高分辨率显微成像、医学图像的三维重建、先进材料的设计以及复杂的偏微分方程求解。尽管隐式神经表示的应用范围不断扩大,但在医学影像的运动追踪领域,尚未有基于这种技术的方法。将隐式神经表示技术引入到这一领域,特别是用于心脏运动追踪的研究,具有重要的创新价值和广阔的应用前景。
发明内容
本发明针对现有技术中的不足,提出了一种创新方法,旨在精确捕获多模态、多维度医学影像序列中任意位置的动态轨迹。
为实现这一目的,本发明提出了以下技术方案:
多模态多维医学影像序列通用运动追踪方法,包括以下步骤:
S1,使用医学影像设备对目标组织进行二维或三维的图像序列采集;
S2,对所采集的图像序列进行隐式神经表示,将目标组织的运动参数转化为一个多变量的神经网络,该网络以一组时空坐标作为输入,并输出对应坐标下目标组织的任意空间位置点的运动位移。
本发明还提供一种多模态多维医学影像序列通用运动追踪装置,该装置包括图像采集模块和运动追踪模块,所述图像采集模块用于获取目标组织的动态图像;所述运动追踪模块包括隐式神经表示网络,用于提取目标组织的运动信息。
本发明通过整合隐式神经表示,解决了医学图像运动追踪的挑战,无需依赖庞大的标注数据集,即可灵活处理各种模态和维度的影像序列,实现对任意位置动态轨迹的精确捕捉。此技术的实施将极大地辅助医生进行更精确的临床诊断。其具体的创新点以及优点在于:
(1)多模态与多维度的适应性:本发明能够广泛适用于不同模态和多种维度的医学影像序列,提供了一个通用而有效的解决方案,适应各类医学影像的运动追踪需求。
(2)精确的轨迹捕捉:通过本发明,医疗专业人员能够准确地捕捉医学影像序列中任意点的动态轨迹,获得关于患者具体情况的详细动态信息,从而能够做出更为精确的临床诊断和治疗方案。
(3)减少数据偏差的风险:与传统方法相比,本发明无需依赖大规模的标注数据进行学习和训练,显著降低了数据准备的工作量和成本,同时规避了由数据偏差引发的潜在问题,提高了运动追踪的准确性和可靠性。
附图说明
图1为本发明装置的结构框图;
图2为本发明实施例中运动追踪模块的实现流程图;
图3是本发明实施例中两个物理启发的损失函数的示意图;
图4为本发明实施例中关键点运动追踪结果与其他方法的结果对比图;
图5为本发明实施例中变形图像左心室心肌分割结果与其他方法的结果对比图。
具体实施方式
下面参照附图详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明实施例以心脏超声图像为例。参照图1所示,本发明的图像采集模块首先用各种模态的医学成像设备来捕获目标组织的二维或三维图像序列。这一过程不限于特定类型的成像技术,允许广泛的灵活性和应用范围,能够兼容各种医学影像模态的运动估计,涵盖超声、计算断层扫描、核磁共振成像、正电子发射断层扫描,以及X射线成像等。在图像采集模块获取图像序列后,运动追踪模块利用本发明描述的运动追踪方法来处理这些序列。该方法的核心是能够精确地确定图像中任意空间位置点的位移情况。本发明所述的通用是指无需依赖特定的、成对的训练数据集,能够直接分析来自不同影像模态的数据,并能从这些数据中准确提取目标组织的运动位移信息。
参照图2所示,运动追踪模块用于从图像序列中准确地输出任意空间位置点的位移,具体的实现方法如下:
本发明提出了一个隐式神经表示Fθ,用来表示整个三维组织内所有点的运动,其中θ代表了隐式神经表示中的网络参数。该隐式神经表示接受四维时空坐标作为输入,并输出在时空位置/>处的像素值/>以及在空间位置/>处的空间点从t到t+1时刻和从t到t-1时刻的连续三维位移/> 整个隐式神经表示网络由一个静态网络/>一个动态网络/>以及一个聚合网络/>组成,每个网络都是由全连接网络构成,其中静态网络的输入是三维空间位置坐标/>用于表征心脏的形态特征;动态网络的输入是四维时空坐标/>用于捕捉心肌随着时间的运动特征;聚合网络将静态网络和动态网络输出作为输入,用于融合动态和静态信息,进一步得到所需要的像素值,以及前向和后向的三维位移。
为了监督隐式神经表示网络的训练,本发明的总体损失函数如下,后文将对每一项作出解释:
L=Lmotion+Lcycle+Limag
参照图3所示,本发明提出了两个物理启发的损失函数,具体如下:
第一个是心脏运动一致性损失,源自心脏超声成像中的物理先验:即心脏组织以及充满血液的区域在心脏的运动过程中像素值保持一致,数学表达式为:
其中,T表示心脏周期,i∈{±1},t+i表示t时刻的下一时刻或上一时刻,α1为损失函数的权重,为t+i时刻/>处的像素值,/>为/>在t+i时刻的位置,/>为空间位置/>处的空间点从当前t+i时刻到下一时刻的三维位移。
第二个是心脏周期一致性损失,该损失源于心脏运动的基本周期性行为,即心肌在完成一个心动周期会回到其初始的形状,数学表达式为:
其中,α2为损失函数的权重,为t+T时刻/>处的像素值,中/>为从当前时刻到下一时刻的位移,整个式子表示空间中任意一点的一周期运动之和,这个式子作为最小化目标符合心肌在完成一个心动周期会回到其初始的形状的先验。
其次,本发明对于隐式神经表示网络还采用了一种基于物理成像模型的自监督优化策略,因此消除了当前基于深度学习方法中对大量训练数据的依赖性。该基于物理成像模型的损失函数为:
其中,Ig指输入的二维或三维超声心动图视频,S是指成像的物理过程,是通过成像的物理过程得到需要的二维图像,K是指输入二维图像的数量。本发明将二维超声成像的物理过程建模为对三维心脏切片的过程,其中每张二维图像都是三维空间的一个切片。
由于成像的物理过程S可以根据输入的模态进行调整,二维或三维图像可以通过上述基于物理成像模型的损失函数进行调整,因此本发明是首个能够处理处理各种模态和维度的医学影像序列。
本发明实施例以心脏超声图像为例,对心肌的运动进行追踪,具体实施步骤包括:
步骤一:使用二维或三维超声探头,对心脏进行连续的二维或三维图像序列采集。
步骤二:将采集到的图像序列导入上述隐式神经表示网络中进行训练,通过训练过程得到一个训练好的模型。
步骤三:在图像序列的首帧中标记出需要追踪的目标区域,并得到该区域内每个点的坐标位置。
步骤四:将目标区域内点的坐标输入到已训练好的网络模型中,随后输入不同的时间点,网络将输出追踪区域内每个点从初始时刻到当前时间点的运动轨迹和位移,即可得到目标区域内点的追踪结果。
参照图4所示,本发明关键点运动追踪结果与其他方法的对比图;在舒张末期需要跟踪的关键点展示在第一列中,后三列直观地展示了这些点在整个心动周期中不同时刻的位置。图中展示了本发明关键点运动追踪的结果,并与其他现有技术VoxelMoeph(Balakrishnan,G.,Zhao,A.,Sabuncu,M.R.,Guttag,J.,&Dalca,A.V.(2019).VoxelMorph:a learning framework for deformable medical image registration.IEEEtransactions on medical imaging,38(8),1788-1800.)以及Co-AttentionSTN(Ahn,S.S.,Ta,K.,Thorn,S.L.,Onofrey,J.A.,Melvinsdottir,I.H.,Lee,S.,...&Duncan,J.S.(2023).Co-attention spatial transformer network for unsupervised motiontracking and cardiac strain analysis in 3Dechocardiography.Medical ImageAnalysis,84,102711.)进行了对比。在图中,本发明在心脏舒张末期随机选择待追踪的关键点,这些点在第一列中明确标出。随后的三列直观地展示了这些关键点在心动周期中不同时间的位置变化,从而验证了发明方法的准确性和可靠性。与现有技术VoxelMorph和Co-AttentionSTN不同,本发明具有以下几个显著优势:(1)现有技术每次仅能捕捉两张图像之间的运动,并不能一次性获得心脏完整周期的运动;本发明却可以一次性得到心脏整个周期的完整运动。(2)现有技术仅适用于单一模态或维度的处理,而本发明则是一种通用方法,能够适配各种医学影像模态并处理不同维度的医学图像数据,包括二维平面图像和三维体积数据。(3)现有技术所获得的运动在空间上不完整,本发明则能够捕获组织内任意一点的运动轨迹。
参照图5所示,展示了本发明在变形图像结果方面与其他基于深度学习方法的对比。本发明将舒张末期的三维图像作为参考图像,并利用估计的位移信息对其进行了变形处理,以模拟出收缩末期的心脏形态。本发明选用了心尖四腔切面作为评估点,对比了原始图像与变形后图像中左心室心肌区域的重合度,通过计算DICE系数来精确评估变形的准确性。DICE系数在此起着至关重要的作用,其较高数值标志着在心肌运动追踪方面的精确度高。从结果可以明显看出,本发明方法的精度远超先前的方法。
本发明通过将隐式神经表示技术融入到医学影像序列的运动追踪中,克服了传统方法运动追踪不完整和不精确的局限,为这一领域带来了革新。更重要的是,与依赖大规模数据集进行训练的传统数据驱动的深度学习方法不同,本发明的方法具有更广泛的适用性和灵活性,它能够处理各种模态和维度的医学影像序列。这种独特的特性使得***能够在没有大量可用数据的情况下,也能进行有效的运动追踪分析。此外,本发明还有效地规避了传统人工智能算法中一个常见的问题:数据偏差。由于不依赖于大型特定数据集,本方法减少了由数据集选择和偏差带来的误差,从而确保了分析结果的客观性和准确性。这一进步不仅提高了医学影像分析的可靠性,还为未来可能的临床应用和深入研究奠定了坚实的基础。
总而言之,通过结合隐式神经表示和创新的运动追踪技术,本发明在提高医学影像运动追踪的精确度、减少数据偏差风险,以及拓宽应用范围方面取得了重大突破。这标志着在医学诊断、疾病监控和治疗规划等关键领域,本发明离实现更高级别的个性化医疗又迈进了一步。

Claims (7)

1.多模态多维医学影像序列通用运动追踪方法,其特征在于,该方法包括以下步骤:
S1,使用医学影像设备对目标组织进行二维或三维的图像序列采集;
S2,对所采集的图像序列进行隐式神经表示,将目标组织的运动参数转化为一个多变量的神经网络,该网络以一组时空坐标作为输入,并输出对应坐标下目标组织的任意空间位置点的运动位移。
2.根据权利要求1所述的多模态多维医学影像序列通用运动追踪方法,其特征在于,步骤S2中,所述隐式神经表示以四维时空坐标作为输入,并输出在时空位置/>处的像素值/>以及在空间位置/>处的空间点从t到t+1时刻和从t到t-1时刻的连续三维位移
3.根据权利要求2所述的多模态多维医学影像序列通用运动追踪方法,其特征在于,步骤S2中,采用的损失函数包括两个物理启发的损失函数,具体如下:
第一个是心脏运动一致性损失函数,源自心脏超声成像中的物理先验:即心脏组织以及充满血液的区域在心脏的运动过程中像素值保持一致,数学表达式为:
其中,T表示心脏周期,i∈{±1},t+i表示t时刻的下一时刻或上一时刻,α1为损失函数的权重,为t+i时刻/>处的像素值,/>为/>在t+i时刻的位置,/>为空间位置/>处的空间点从当前t+i时刻到下一时刻的三维位移;
第二个是心脏周期一致性损失函数,源于心脏运动的基本周期性行为,即心肌在完成一个心动周期会回到其初始的形状,数学表达式为:
其中,α2为损失函数的权重,为t+T时刻/>处的像素值,/>为从当前时刻到下一时刻的位移,整个式子表示空间中任意一点的一周期运动之和,这个式子作为最小化目标符合心肌在完成一个心动周期会回到其初始的形状的先验。
4.根据权利要求3所述的多模态多维医学影像序列通用运动追踪方法,其特征在于,步骤S2中,采用的损失函数还包括基于物理成像模型的损失函数,具体为:
其中,Ig指输入的二维或三维超声心动图视频,S是指成像的物理过程,是通过成像的物理过程得到需要的二维图像,K是指输入二维图像的数量。
5.多模态多维医学影像序列通用运动追踪装置,其特征在于,该装置包括图像采集模块和运动追踪模块,所述图像采集模块用于获取目标组织的动态图像;所述运动追踪模块包括隐式神经表示网络,用于提取目标组织的运动信息。
6.根据权利要求5所述的多模态多维医学影像序列通用运动追踪装置,其特征在于,所述隐式神经表示网络以一组时空坐标作为输入,并输出对应坐标下目标组织的任意空间位置点的运动位移。
7.根据权利要求6所述的多模态多维医学影像序列通用运动追踪装置,其特征在于,所述隐式神经表示网络包括静态网络、动态网络以及聚合网络,其中所述静态网络的输入是三维空间位置坐标用于表征心脏的形态特征;所述动态网络的输入是四维时空坐标用于捕捉心肌随着时间的运动特征;所述聚合网络将静态网络和动态网络输出作为输入,用于融合动态和静态信息,进一步得到所需要的像素值,以及前向和后向的三维位移。
CN202311510415.9A 2023-11-13 2023-11-13 多模态多维医学影像序列通用运动追踪方法及装置 Pending CN117557522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311510415.9A CN117557522A (zh) 2023-11-13 2023-11-13 多模态多维医学影像序列通用运动追踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311510415.9A CN117557522A (zh) 2023-11-13 2023-11-13 多模态多维医学影像序列通用运动追踪方法及装置

Publications (1)

Publication Number Publication Date
CN117557522A true CN117557522A (zh) 2024-02-13

Family

ID=89815953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311510415.9A Pending CN117557522A (zh) 2023-11-13 2023-11-13 多模态多维医学影像序列通用运动追踪方法及装置

Country Status (1)

Country Link
CN (1) CN117557522A (zh)

Similar Documents

Publication Publication Date Title
CN105105775B (zh) 心肌运动解析装置
US8218845B2 (en) Dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging based on the detection of bounding boxes, anatomical landmarks, and ribs of a pulmonary artery
CN111968222B (zh) 一种人体组织非静止状态下三维超声重建方法
CN110660058B (zh) 对周期性生理活动的图像序列进行分析的方法、介质和***
JP2003508139A (ja) 非剛体運動画像解析
CN107072531A (zh) 用于心肌壁动力学的分析的方法和***
Kim et al. Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks
Shen et al. Smart health of ultrasound telemedicine based on deeply represented semantic segmentation
Veronesi et al. Tracking of left ventricular long axis from real-time three-dimensional echocardiography using optical flow techniques
CN115349851A (zh) 一种基于房室平面泵模型的心功能诊断方法
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
CN112075956B (zh) 一种基于深度学习的射血分数估计方法、终端及存储介质
CN112258476B (zh) 超声心动图心肌异常运动模式分析方法、***及存储介质
CN109741439A (zh) 一种二维mri胎儿图像的三维重建方法
CN115861132B (zh) 一种血管图像校正方法、装置、介质及设备
Shen et al. Tracking anything in heart all at once
CN116269496A (zh) 基于隐式神经表示的心脏三维超声成像及心功能评估***
Shaaf et al. A Convolutional Neural Network Model to Segment Myocardial Infarction from MRI Images.
Duncan et al. Physical and geometrical modeling for image-based recovery of left ventricular deformation
CN117557522A (zh) 多模态多维医学影像序列通用运动追踪方法及装置
van Stralen et al. Left Ventricular Volume Estimation in Cardiac Three-dimensional Ultrasound: A Semiautomatic Border Detection Approach1
Lassige et al. Comparison of septal defects in 2D and 3D echocardiography using active contour models
Zhou et al. Two stage registration-based automatic left ventricle myocardium segmentation of cardiac 4DCT images
Bernard et al. Measurement and quantification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination