CN111445549B - 用作gpu并行计算的静态和动态混合模体ct仿真方法 - Google Patents
用作gpu并行计算的静态和动态混合模体ct仿真方法 Download PDFInfo
- Publication number
- CN111445549B CN111445549B CN202010212572.1A CN202010212572A CN111445549B CN 111445549 B CN111445549 B CN 111445549B CN 202010212572 A CN202010212572 A CN 202010212572A CN 111445549 B CN111445549 B CN 111445549B
- Authority
- CN
- China
- Prior art keywords
- voxel
- geometric
- motif
- background
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Image Generation (AREA)
Abstract
本发明提供了一种用作GPU并行计算的静态和动态混合模体CT仿真方法,涉及技术领域,即静态混合模体仿真方法和动态混合模体仿真方法,其中静态混合模体仿真方法包括体素背景几何***和几何体背景体素纹理化。本发明在不改变投影计算核心的基础上,不增加计算资源额外开销的基础上,在一次仿真中混合使用两种模体(和几何模体和体素模体)实现静态或者动态模体仿真,从而达到兼顾两种模体各自优点的结果。本发明混合两种模体的仿真、不改变模体定义、不改变投影方式、不需要辅助工具,在不增加额外计算和硬件特征的基础上,实现体素背景动态几何模体仿真。
Description
技术领域
本发明涉及一种用作GPU并行计算的静态和动态混合模体CT仿真方法,属于CT仿真技术领域。
背景技术
CT仿真是利用数学建模在计算机中建立CT的数学模型用以模拟现实的CT数据生成和获取的过程,是整个CT研发流程中重要的一环,其作用主要有:
1.辅助CT***设计,利用建模和计算评估和对比PET***设计的模块、尺寸、参数等设计要素,达到***设计的最优化。
2.评估和比较CT重建和矫正算法的有效性和结果,优化重建、矫正参数。因为CT仿真可以有所选择的生成理想数据或者半理想化数据,针对不同的物理或者机械缺陷分别建模,这样可以验证针对这些问题的矫正算法是否有效并评估重建算法的结果,优化这些算法的开发工作。
3.仿真可以作为实际CT生成数据的补充,在研发早期或者特定需求的数据不足时,可以用仿真去模拟出相对真实的数据作为补充。
因此,CT仿真是CT研发流程中非常重要的一环。
CT仿真按照模体建模可以分为几何体建模和体素建模,两者各有优缺点:
几何体模体定义简单,结构清晰,各个几何参数都有确切的取值,计算速度快,精确定义多色谱材质,使用各种基本几何体可以构成复杂的模体,缺点是几何模体很难模拟出真实人体的感觉,也很难模拟出各种小细节,主观感觉上有点假,主要应用场合为对位置和尺寸非常敏感的算法校验场合。
体素模体来自真实采集和CT数据,保留人体中的各种小细节,主观感觉非常真实,几可乱真,缺点是计算量大、因为CT重建矫正的原因,CT值会存在偏离,多色谱信息定义不方便,且存在误差,模体内部材质的过渡地带模糊等问题,主要应用场合为需要保留真实细节的人工智能训练样本生成,数据生成补充。
除了两种模体各取所长、各有所短之外,有些应用往往需要对已经存在的体素模体做一定的定制和修改从而达到扩充样本的目的,因为体素模体往往来自真实扫描,而每一份真实扫描其实有成本支出,对于某些应用场合,比如人工智能训练样本,往往需要特定机型上获得某些特殊伪影的样本,实际采集很难达到这样的样本数量,这就需要在体素模型上***形成伪影特定的物体(比如骨骼和金属),以达到扩充样本训练集的目的。反过来,有时候我们也希望在几何模体中使用体素模体充当三维材质达到为几何模体增加细节的目的。
因此保留两种模体各自的优势的模体也应运而生,比如一些使用高次曲面或者多项式去拟合或者描述原始体素数据,使用高次曲面模型脚本化从而制作出拥有体素模型特点的高次曲面描述性脚本,但是这类模体往往需要辅助工具对原始体素数据处理模型化的过程,其描述脚本也较为复杂,且改变了投影数据的计算核心,使用上也往往需要购买或者授权,因此在使用上并不方便。
另一方面,动态模体一直是仿真领域较受关注的应用,动态模体仿真指,模体的形状和位置随着时间改变的仿真,主要用来模拟现实世界中扫描期间因为外部或者内部自身原因产生运动的物体,比如心脏的跳动、肺部的呼吸运动或者在扫描期间因为病人***发生挪动或者病床有颤动而产生的伪影,一般分别被称为心脏伪影、呼吸伪影和运动伪影。因为这类仿真需要每一帧更改模体的几何参数和坐标信息,所以相较静态仿真的实现方式有所不同。
传统模体仿真的特点是直接几何体计算,在CPU和GPU上都能很快得到计算结果,且对内存/显存和带宽的占用较少,对于动态每一帧扫描时候只需要改动几何体参数而不需要额外的硬件损耗就可以得到计算结果;而对于体素模体来说,要实现动态模体仿真,需要在两种以上的模体间通过按照时间插值计算中间的即时模体改变,这将带来以下几个问题:
首先,是会增加计算的时间开销,因为每次投影需要额外对两个以上的模体之间做一次插值运算;
其次,对于显存的占用开销会急剧增加,因为模体插值必须至少三倍开销,存储至少两个以上的状态和一个插值运算的结果,如果摸体的运动中间状态较多将成倍增加显存的开销,这对于原本就紧张的显存资源更加捉襟见肘,对于一些高精度摸体,甚至会导致显存申请失败而导致无法实现仿真。
最后,对于显存带宽的开销也会急剧增大,如果显存容量不够,那么多份体素模体的数据会保存在内存中,通过PCI-E接口传输,插值运算会申请或者生成更多的材质数据,但是在内存和显存之间来回传输这类数据会对接口带宽造成很大的压力,在有限带宽下面,仿真的时间开销会更多的被带宽时间开销占据,因而降低仿真的计算效率。
另外,传统几何体动态模体仿真又有模体过于理想化且不够真实的问题,在诸如人工智能等需要模体尽可能真实的应用来说,已经远远无法满足要求。
基于此,做出本申请。
发明内容
为了解决现有技术中存在的上述缺陷,本发明提供了一种用作GPU并行计算的静态和动态混合模体CT仿真方法。
为了实现上述目的,本发明采取的技术方案如下:
一种用作GPU并行计算的静态混合模体CT仿真方法,包括体素背景几何***和几何体背景体素纹理化;
所述体素背景几何体***具体包括如下:
S101将体素背景OVS化;
S102***几何模体,并将几何体体素化和OVS化;
S103将S101和S102步骤得到的结果按照空间位置计算交叠关系形成新体素模体一;
S104对新体素模体一进行光线追踪正投影;
所述几何体背景体素纹理化具体包括如下:
S201将体素模体纹理化和OVS化;
S202将几何模体背景和S201的结果按照空间位置计算交叠形成新体素模体二;
S203对新体素模体进行光线追踪正投影。
一种用作GPU并行计算的动态混合模体CT仿真方法,包括如下:
S301读取静态体素背景和生成动态几何模体;
S302计算当前投影角度下的光源和探测器坐标;
S303将光源坐标、探测器坐标、体素和几何模体载入显存;
S304计算当前投影角度的时间点;
S305将光源和探测器做几何变幻以模拟机架运动;
S306使用正投影算法计算体素背景的投影结果;
S307计算当前角度下几何、体素模体的位置关系;
S308利用交叠关系综合两种模体获得投影结果;
S309更新当前时间点动态几何模体的变化;
S310重复步骤S304至S308。
本发明能实现如下技术效果:
(1)本发明在不改变投影计算核心的基础上,不增加计算资源额外开销的基础上,在一次仿真中混合使用两种模体(和几何模体和体素模体)实现静态或者动态模体仿真,从而达到兼顾两种模体各自优点的结果。
(2)本发明混合两种模体的仿真、不改变模体定义、不改变投影方式、不需要辅助工具,在不增加额外计算和硬件特征的基础上,实现体素背景动态几何模体仿真。
附图说明
图1为本发明静态混合模体仿真中体素背景几何体***的流程图;
图2为本发明静态混合模体仿真中几何体背景体素纹理化的流程图;
图3为本发明静态混合模体仿真中体素背景***几何体的数据流程图;
图4为本发明静态混合模体仿真中几何背景使用体素作为纹理的数据流程图;
图5为在体素模体中***两块金属几何模体,多色谱投影后形成的金属伪影(静态混合模体仿真实施例1)影像图;
图6为在体素模体中***骨材质几何模体,多色谱投影后形成骨伪影(静态混合模体仿真实施例2)影像图;
图7为使用体素填充几何模体纹理后仿真并重建(静态混合模体仿真实施例3)后的影响图;
图8为本发明动态混合模体仿真流程图;
图9为本发明动态模体混合计算示意图。
具体实施方式
为了使本发明的技术手段及其所能达到的技术效果,能够更清楚更完善的披露,兹提供了以下实施例,并结合附图作如下详细说明:
首先,解析式CT仿真的物理基础是Lambert-Beers(朗伯-比尔)定理,也称线性衰减定理:
I=I0e-μL
其中,μ是物质的衰减系数,L为射线在物质内的穿行距离。
对于几何模体和体素模体,两者在物质的数学描述上有所区别。
几何模体用基本几何体(球、椭球、圆柱、多面体等等)的排列组合和逻辑布尔运算去抽象描述物体,其线性衰减为射线在几何体内穿行的距离乘以几何体的衰减系数并累计,而体素则是用规则排列的一个个称为为体素的微小长方体去描述物体,线性衰减为射线在体素内穿行的距离乘以体素的衰减系数并累计。
从计算速度来考虑,两者实现计算穿行距离的方法有所不同,几何模体使用解析法,而体素则是用光线追踪正投法,因此这两种模体在最基本的计算方面有所不同,在一次仿真中同时使用两种模体就需要考虑两种模体之间的位置以及相互关系,我们可以将混合仿真分为两种情况:背景是体素模体,上面叠加几何模体作为***模体;背景是几何模体,叠加体素模体作为纹理。
其次,对于混合计算中的几何模体,也存在是继续使用解析计算法计算穿行距离还是使用几何模体体素化,然后用正投法计算穿行距离的问题。对于目前的计算机计算速度来说,因为GPU计算的引入,体素模型计算相对来说,计算速度和精度都可以满足要求,因此,本发明使用了几何模体体素化进行计算,但是因为几何模体相对体素化计算有着更高的计算精度,本发明加入了OVS过采样的方法让几何模体体素化的计算精度可以按照需求提高。
最后,动态模体需要考虑几个问题:
(1)模体的动态变化必须每个投影时刻更新,如果有仿真打开投影角度的过采样,也必须按照过采样以后的每个投影角度时刻更新;
(2)动态模体仿真是否会增加额外的计算时间开销,如果增加那增加多少;
(3)动态模体仿真是否会增加内存、显存或者带宽开销,如果增加则增加多少;
对于动态几何模体仿真和传统动态体素模体仿真在时间和计算资源开销上,有着不同的特点,如表1所示:
表1动态几何模体仿真、动态体素模体仿真和动态混合模体仿真的特点
因此,本发明提出了一种同时使用体素模体和几何模体的组合(混合)仿真方法,从而在不增加计算额外开销的情况下,尽可能的保证仿真的真实性。
但是动态组合模体和静态组合模体从节约计算时间和节约计算资源上,特别是针对GPU并行计算的特点上,实现方式又有所不同,这种不同是由GPU并行计算的特点决定的:
在GPU中,体素模体占据的显存容量很大,一个512*512*128分辨率的,数据精度为double的体素数据将占据256MB显存,如果需要高精度OVS计算,比如在三个方向的OVS都取两倍,那么就将占据2GB的显存空间,显然,并不合适在显存中存储特征状态和中间状态的插值体素,这将超过很多显卡的显存上限。
其次,插值运算本身是一个开销较大的计算,每次插值需要增加GPU并行访问两次读取显存的GLOBAL Memory,一次并行写入GLOBAL Memory,一次并行插值运算。这对于一次投影来说,增加了不少计算时间开销。
因此,动态混合体素几何模体仿真不可以和静态体素模体一样先通过几何模体和体素模体的布尔运算生成交叠的新体素模体进行,需要在GPU中,并行地对每根入射光线,各进行一次静态体素背景投影和一次动态几何模体投影,然后按照两个模体的几何关系计算交叠情况,最后获得每根光线的投影值。
一、静态混合模体仿真:
本发明的一种用作GPU并行计算的静态混合模体CT仿真方法,包括体素背景几何***和几何体背景体素纹理化;
如图1和图3所示,所述体素背景几何体***具体包括如下:
S101将体素背景OVS化;
S102***几何模体,并将几何体体素化和OVS化;
S103将S101和S102步骤得到的结果按照空间位置计算交叠关系形成新体素模体一;
S104对新体素模体一进行光线追踪正投影;
如图2和图4所示,所述几何体背景体素纹理化具体包括如下:
S201将体素模体纹理化和OVS化;
S202将几何模体背景和S201的结果按照空间位置计算交叠形成新体素模体二;
S203对新体素模体进行光线追踪正投影。
为此本发明给出了以下3个具体实施例:
实施例1:在体素模体中***两块金属几何模体,多色谱投影后形成的金属伪影(***金属钉的周围显示的黑白放射性伪影),结果参考图5。
实施例2:在体素模体中***骨材质几何模体,多色谱投影后形成骨伪影(高密度骨骼投影路径上的黑白伪影),结果参考图6。
实施例3:使用体素填充几何模体纹理后仿真并重建(成功显示出切割的几何体并填充进材质),结果参考图7。
二、动态混合模体仿真:
如图8所示,本发明的一种用作GPU并行计算的动态混合模体CT仿真方法,包括如下:
S301读取静态体素背景和生成动态几何模体;
S302计算当前投影角度下的光源和探测器坐标;
S303将光源坐标、探测器坐标、体素和几何模体载入显存;
S304计算当前投影角度的时间点;
S305将光源和探测器做几何变幻以模拟机架运动;
S306使用正投影算法计算体素背景的投影结果;
S307计算当前角度下几何、体素模体的位置关系;
S308利用交叠关系综合两种模体获得投影结果;
S309更新当前时间点动态几何模体的变化;
S310重复步骤S304至S308。
图9反应的是诸多并行计算的光线中的一条,也就是每一个并行计算单元的计算过程。先用ray driven正投法计算出每一条光线在体素格子内的穿行情况,并记录下每个采样点(交叉点ABCDEFGH),然后调用几何体计算函数计算当前时刻几何模体与光线的交叉点(αβγδ),经过坐标计算和交叠计算计算被覆盖的体素,并调整交叉点为(ABCαβγδFGH),并行计算后获得此角度下的投影结果。下一个时刻update几何模体和计算投影角度变化的源和探测器坐标,如图将两个交叠的圆形形变成椭圆,同时正投影法计算背景体素的投影获得交叉点为(ABCDEFGH),计算update之后的动态几何模体交叉点(αβγδ),经过坐标计算和交叠计算计算被覆盖的体素,并调整交叉点为(ABCαβγδFGH),从而获得下一个角度下的投影结果。以此类推获得每个角度下的动态模体计算结果。
以上内容是结合本发明的优选实施方式对所提供技术方案所作的进一步详细说明,不能认定本发明具体实施只局限于上述这些说明,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (2)
1.一种用作GPU并行计算的静态混合模体CT仿真方法,包括体素背景几何***和几何体背景体素纹理化;
所述体素背景几何体***具体包括如下:
S101将体素背景OVS化;
S102***几何模体,并将几何体体素化和OVS化;
S103将S101和S102步骤得到的结果按照空间位置通过布尔运算计算交叠关系形成新体素模体一;
S104对新体素模体一进行光线追踪正投影;
所述几何体背景体素纹理化具体包括如下:
S201将体素模体纹理化和OVS化;
S202将几何模体背景和S201的结果按照空间位置通过布尔运算计算交叠关系形成新体素模体二;
S203对新体素模体进行光线追踪正投影。
2.一种用作GPU并行计算的动态混合模体CT仿真方法,包括如下:
S301读取静态体素背景和生成动态几何模体;
S302计算当前投影角度下的光源和探测器坐标;
S303将光源坐标、探测器坐标、体素和几何模体载入显存;
S304计算当前投影角度的时间点;
S305将光源和探测器做几何变幻以模拟机架运动;
S306使用正投影算法计算体素背景的投影结果;
S307计算当前角度下几何、体素模体的位置关系;
S308利用交叠关系综合两种模体获得投影结果;
S309更新当前时间点动态几何模体的变化;
S310重复步骤S304至S308;
在GPU中,并行地对每根入射光线各进行一次静态体素背景投影和一次动态几何模体投影,然后按照两个模体的几何关系计算交叠情况,最后获得每根光线的投影值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010212572.1A CN111445549B (zh) | 2020-03-24 | 2020-03-24 | 用作gpu并行计算的静态和动态混合模体ct仿真方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010212572.1A CN111445549B (zh) | 2020-03-24 | 2020-03-24 | 用作gpu并行计算的静态和动态混合模体ct仿真方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111445549A CN111445549A (zh) | 2020-07-24 |
CN111445549B true CN111445549B (zh) | 2023-05-23 |
Family
ID=71655685
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010212572.1A Active CN111445549B (zh) | 2020-03-24 | 2020-03-24 | 用作gpu并行计算的静态和动态混合模体ct仿真方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111445549B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000004505A1 (en) * | 1998-07-16 | 2000-01-27 | The Research Foundation Of State University Of New York | Apparatus and method for real-time volume processing and universal 3d rendering |
US6163589A (en) * | 1998-06-13 | 2000-12-19 | General Electric Company | Monte Carlo scatter correction method for computed tomography of general object geometries |
US7456846B1 (en) * | 2005-06-03 | 2008-11-25 | Nvidia Corporation | Graphical processing system, graphical pipeline and method for implementing subpixel shifting to anti-alias texture |
CN102945328A (zh) * | 2012-11-22 | 2013-02-27 | 北京理工大学 | 基于gpu并行运算的x射线造影图像仿真方法 |
WO2016176630A1 (en) * | 2015-04-30 | 2016-11-03 | Oakley, Inc. | Wearable devices such as eyewear customized to individual wearer parameters |
CN110151211A (zh) * | 2019-06-28 | 2019-08-23 | 浙江明峰智能医疗科技有限公司 | 提高成像***中扫描视野边界部位的散射估计准确性方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8787644B2 (en) * | 2011-06-14 | 2014-07-22 | Kabushiki Kaisha Toshiba | Method and device for calculating voxels defining a tube-of-response using a central-ray-filling algorithm |
-
2020
- 2020-03-24 CN CN202010212572.1A patent/CN111445549B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6163589A (en) * | 1998-06-13 | 2000-12-19 | General Electric Company | Monte Carlo scatter correction method for computed tomography of general object geometries |
WO2000004505A1 (en) * | 1998-07-16 | 2000-01-27 | The Research Foundation Of State University Of New York | Apparatus and method for real-time volume processing and universal 3d rendering |
US7456846B1 (en) * | 2005-06-03 | 2008-11-25 | Nvidia Corporation | Graphical processing system, graphical pipeline and method for implementing subpixel shifting to anti-alias texture |
CN102945328A (zh) * | 2012-11-22 | 2013-02-27 | 北京理工大学 | 基于gpu并行运算的x射线造影图像仿真方法 |
WO2016176630A1 (en) * | 2015-04-30 | 2016-11-03 | Oakley, Inc. | Wearable devices such as eyewear customized to individual wearer parameters |
CN110151211A (zh) * | 2019-06-28 | 2019-08-23 | 浙江明峰智能医疗科技有限公司 | 提高成像***中扫描视野边界部位的散射估计准确性方法 |
Non-Patent Citations (1)
Title |
---|
杨帅 ; 齐宏亮 ; 吴书裕 ; 徐圆 ; 周凌宏 ; .基于图像质量优化的锥束CT几何校正法.核电子学与探测技术.2016,(第07期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111445549A (zh) | 2020-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Segars et al. | Realistic CT simulation using the 4D XCAT phantom | |
US20130185028A1 (en) | Hybrid Adaptively Sampled Distance Fields | |
US20080043024A1 (en) | Method for reconstructing an object subject to a cone beam using a graphic processor unit (gpu) | |
IX et al. | Incremental triangle voxelization | |
CN109584349A (zh) | 用于渲染材料属性的方法和设备 | |
US7653226B2 (en) | Flexible generation of digitally reconstructed radiographs | |
CN108511043B (zh) | 基于数值模拟的x-ct虚拟数据采集及图像重建方法及*** | |
CA2973449C (en) | Method, device and system for simulating shadow images | |
EP1775685B1 (en) | Information processing device and program | |
CN100348158C (zh) | Ct图像的快速渐进式直接体绘制三维重建方法 | |
De Guise et al. | 3D-biomedical modeling: merging image processing and computer aided design | |
Zhao et al. | GPU based iterative cone-beam CT reconstruction using empty space skipping technique | |
US7692651B2 (en) | Method and apparatus for providing efficient space leaping using a neighbor guided emptiness map in octree traversal for a fast ray casting algorithm | |
Nguyen et al. | Parallelizing a matched pair of ray-tracing projector and backprojector for iterative cone-beam CT reconstruction | |
KR101283266B1 (ko) | Gpu를 이용한 양전자 방출 단층 촬영 영상에서의 몬테카를로 시뮬레이션 감마선 산란 추정 방법 및 장치 | |
Johnston et al. | GPU-based iterative reconstruction with total variation minimization for micro-CT | |
CN111445549B (zh) | 用作gpu并行计算的静态和动态混合模体ct仿真方法 | |
JP4032357B2 (ja) | 画像情報処理装置および方法、並びにプログラム | |
CN115908664A (zh) | 人机交互的动画生成方法、装置、计算机设备、存储介质 | |
Starkov et al. | Ultrasound simulation with deformable and patient-specific scatterer maps | |
Auer et al. | Mesh modeling of system geometry and anatomy phantoms for realistic GATE simulations and their inclusion in SPECT reconstruction | |
Van Hemelryck Tessa et al. | The implementation of iterative reconstruction algorithms in MATLAB | |
Lékó et al. | Scale invariance in projection selection using binary tomography | |
JP2005326332A (ja) | 画像情報処理装置および方法、並びにプログラム | |
Barrett et al. | A low-cost PC-based image workstation for dynamic interactive display of three-dimensional anatomy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |