CN103908345A - 一种基于平板电脑的手术导航用的体数据可视化方法 - Google Patents
一种基于平板电脑的手术导航用的体数据可视化方法 Download PDFInfo
- Publication number
- CN103908345A CN103908345A CN201210595043.XA CN201210595043A CN103908345A CN 103908345 A CN103908345 A CN 103908345A CN 201210595043 A CN201210595043 A CN 201210595043A CN 103908345 A CN103908345 A CN 103908345A
- Authority
- CN
- China
- Prior art keywords
- panel computer
- coordinate system
- image
- patient
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明属医疗器械领域,涉及一种基于平板电脑的手术导航用的体数据可视化的方法。本发明方法中采用的导航***主要由平板电脑、导航仪及附属红外定位仪、参考架和适配器等组成;平板电脑与导航仪之间通过无线通信技术实现点对点的实时通信,将导航信息传输并显示在平板电脑上。本发明主要实现的导航模式为,在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息;和实时显示平板电脑延伸面与病人头颅相交所获得的截面图像。本发明可显示标准的断面图像,还可通过平板电脑的方位显示任意截面图像,能辅助医生定位肿瘤及病变,为手术操作带来便利和帮助。
Description
技术领域
本发明属医疗器械领域,涉及一种基于平板电脑的手术导航用的体数据可视化方法。
背景技术
现有技术公开了有关神经导航***可以辅助医生计划手术入路、确定病灶位置和边界,以及避免对周围正常组织器官的损失。所述神经导航***已成为在神经外科领域一种不可或缺的手术设备;其工作原理是术前以病人自身的CT、MRI等影像学数据为基础,建立图像引导空间,并将它与真实患者所在空间进行配准;术中使用空间定位仪实时跟踪手术器械的位置,并将其转换到图像空间中,生成虚拟手术器械叠加显示在患者的图像上,从而通过图像空间中虚拟手术器械相对于图像的位置,用于定位真实手术器械相对于显示患者解剖结构的位置辅助医生定位手术靶点和引导手术操作。
传统的手术导航***是利用虚拟现实技术,将虚拟手术器械叠加到患者的图像空间,医生通过观察导航屏幕进行手术操作;该种虚拟现实技术使医生从感官效果上沉浸于由计算机创造的虚拟环境中,常缺乏“眼见为实”的感觉,同时,手术过程中,医生为了观察手术器械相对于患者的位置,不得不在患者手术部位和导航屏幕之间来回切换视野,由于导航屏幕与手术台存有一定的距离,该种导航模式不利于医生集中于手术部位进行操作,同时给手术定位带来了误差。
此外,传统手术导航***的另一个不足之处在于,其只能显示导航探针针尖所对应的横断面、矢状面和冠状面的患者图像,不能获得患者体数据场的任意截面图像,当患者侧躺无法获得正***时,会给医生的判断带来一定的影响。
临床实践中,需要一种不但可以解决视野来回切换问题,还可以减小定位误差、减少手术时间、降低手术风险,且不会给医生带来不便的新的神经导航***。本发明拟提供一种采用移动无线通信技术,能将导航屏幕移植到位于医生身旁的平板电脑上,并利用空间定位仪跟踪平板电脑,获得平板电脑所在平面的截面图像,同时显示在其屏幕上的体数据可视化方法。
目前与本发明相关的基于移动显示的医疗导航设备有:德国BrainLab公司研制的DASH导航***,该***经过CE和FDA认证,已用于初步的临床试验;但上述设备价格昂贵且操作复杂。
发明内容
本发明的目的是提供一种基于平板电脑的手术导航用的体数据可视化方法,尤其涉及基于平板电脑的头颅部位任意截面可视化的手术导航用的方法。
本发明中,所用的导航***主要由平板电脑,导航仪及附属红外定位仪、参考架和适配器等组成;所述的手术导航***主要由平板电脑和excelim-04或更高版本的导航仪组成,所述的平板电脑装有用于红外跟踪的参考架,屏幕分辨率不低于800X600,支持多点触控及手写输入,支持Wi-Fi无线连接方式,不低于8小时的电力续航时间,所述的导航仪包括主机、显示器、红外定位仪及其他相关周边设备;平板电脑与导航仪之间通过无线通信技术实现点对点的实时通信,将导航信息传输并显示在平板电脑上。
本发明所述的方法主要实现两种导航模式:一种是在平板电脑上实时显示导航探针针尖所对应的横断面、矢状面和冠状面的图像信息;另一种是实时显示平板电脑延伸面与患者头颅相交所获得的截面图像。
本发明方法通过:图像扫描、手术计划、空间配准和术中导航(如图1所示)个步骤完成。
本发明方法中,采用的导航***包括两种术中导航模式:
(1)平板电脑显示传统的导航信息
在该模式下,平板电脑用于实时接收和显示传统导航信息,平板电脑显示的图像信息和远端的显示屏幕一样,并随着导航屏幕上信息的更新而实时刷新显示(如图2所示);
(2)平板电脑显示任意截面信息
由于手术时患者一般侧躺,不易获取病人的正***图像,因此,在平板电脑上安装可用于红外跟踪的适配器,将其置于病人头颅附近,通过空间定位仪跟踪平板电脑所在平面的位置信息,利用该位置信息生成患者头颅截面图像,传输并显示在平板电脑上;当改变平板电脑的位置,则可获取所述患者头颅的任一截面图像,从而便于医生获取脑部肿瘤的位置及深度信息(如图3和图4所示)。
具体而言,本发明的基于平板电脑的手术导航用的体数据可视化方法,其特征在于,根据平板电脑的位置信息,获取患者头颅的任意截面图像并显示在平板电脑屏幕上,辅助手术操作;其包括:
(1)将平板电脑的屏幕按其边界进行延伸;
(2)将延伸面的方位信息变换到图像空间;
(3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像;
(4)将截面图像传输并显示在平板电脑屏幕上。
更具体的,本发明的基于平板电脑的任意截面可视化的手术导航用的方法,其特征在于,包括以下步骤:
(1)在平板电脑上安装可用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,根据所述的三个反光球的位置坐标建立一个三维适配器坐标系,并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示),具体表示为4×4的齐次矩阵M1;
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A,B,C,D)的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算出平板电脑的水平宽度l,以平板电脑右边界为轴(如图3长虚线所示),将A,B,C,D 4个角点按平移l个单位,得到4个相应的角点A’,B’,C’,D’,并按以下公式计算出4个新的角点在适配器坐标系下的坐标:
其中为方向上的单位向量,计算公式如下:
(3)在患者旁边固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到病人坐标系之间的变换表示为M1*M2;
(4)图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用基于标记点的空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3;
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像;
(6)通过无线通讯技术(WiFi等)将上述截面图像传输并显示在平板电脑的屏幕上。
本发明的方法中,所有的计算过程均在主机中进行,最后将重采样的截面图像传输并显示到平板电脑上;移动平板电脑,其延伸面的位置信息随之变化,平板电脑屏幕上显示的截面图像随着平板电脑方位的改变而实时更新,从而达到实现任意截面可视化的目的。
本发明所述的方法通过实时更新延伸面的位置信息通过重采样绘制截面图像,能获得任意的截面图像,并在平板电脑屏幕上实时刷新显示,与传统的手术导航***相比,本发明使医生能更好的专注于手术部位,不需在显示屏和手术区域进行大范围的视野切换,不仅可显示标准的断面图像,还可通过平板电脑的方位显示任意截面图像,辅助医生定位肿瘤及病变,给手术操作带来了极大的便利和帮助。
本发明与现有技术比较还具有以下优点:
(1)本发明使平板电脑和导航仪通过无线网络进行点对点的无线连接,完成了图像数据的实时传输和显示,从而实现了移动导航操作;
(2)本发明不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像,还可以根据平板电脑的位置信息,获得患者头颅的任意截面图像,便于定位肿瘤,辅助医生进行手术操作;
(3)本发明解决了医生在传统导航屏幕和手术区域之间频繁视野切换的问题,减少了因人为操作带来的配准误差;
(4)本发明便于医生更好的理解导航图像的方位信息;利用传统的导航***,医生只能获得三个正轴状面的图像,导航屏幕上的方位,如前后、左右,与实际病人的方位是脱离的;本发明中医生可以移动平板电脑,通过前移、上移等直观地看到所对应的截面图像,从而更好地理解图像的方位信息。
附图说明
图1是本发明中手术导航***其工作流程示意图。
图2显示了术中将导航信息传输并显示在平板电脑屏幕上的过程。
图3显示了截面图像的生成和显示过程,
图4表明了各个坐标系之间的变换关系。
图5表示平板电脑延伸面与颅骨模型相交平面的截面图像在平板电脑屏幕上的显示结果。
具体实施方式
实施例1
如图1~5所示,采用本发明的基于平板电脑的任意截面可视化的手术导航用的方法,通过以下步骤,进行临床实践:
(1)在平板电脑上安装可用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,根据所述的三个反光球的位置坐标建立一个三维适配器坐标系,并自动获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw(如图4所示),具体表示为4×4的齐次矩阵M1;
(2)利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点(图3中的点A,B,C,D)的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算出平板电脑的水平宽度l,以平板电脑右边界为轴(如图3长虚线所示),将A,B,C,D 4个角点按平移l个单位,得到4个相应的角点A’,B’,C’,D’,并按以下公式计算出4个新的角点在适配器坐标系下的坐标:
其中为方向上的单位向量,计算公式如下:
(3)在患者旁边固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到病人坐标系之间的变换表示为M1*M2;
(4)图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用基于标记点的空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3;
(5)将上述A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像;
(6)通过无线通讯技术(WiFi等)将上述截面图像传输并显示在平板电脑的屏幕上。
结果显示,医生可以移动平板电脑,通过前移、上移等直观地看到所对应的截面图像,从而更好地理解图像的方位信息,不但可以在平板电脑上显示导航探针针尖所对应的横断面、矢状面和冠状面的图像,还可以根据平板电脑的位置信息,获得患者头颅的任意截面图像,方便定位肿瘤以及辅助医生手术操作。
Claims (6)
1.一种基于平板电脑的手术导航用的体数据可视化方法,其特征在于,根据平板电脑的位置信息,获取患者头颅的任意截面图像并显示在平板电脑屏幕上,其包括步骤:
(1)将平板电脑的屏幕按其边界进行延伸;
(2)将延伸面的方位信息变换到图像空间;
(3)根据该延伸面在图像空间的位置通过重采样获得相应的截面图像;
(4)将截面图像传输并显示在平板电脑屏幕上。
2.按权利要求1所述的方法,其特征在于,所述步骤(1)中:
在平板电脑上安装用于红外跟踪的适配器,利用光学定位仪跟踪适配器上三个反光球,建立一个三维适配器坐标系,并获得光学定位仪所在的世界坐标系和适配器坐标系之间的变换Taw,具体表示为4×4的齐次矩阵M1;
利用导航探针和空间定位仪获得探针针尖在平板电脑屏幕上4个角点A、B、C、D的坐标,即为四个角点在适配器坐标系中的坐标:A(x1,y1,z1),B(x2,y2,z2),C(x3,y3,z3),D(x4,y4,z4),然后计算平板电脑的水平宽度l,以平板电脑右边界为轴,将A,B,C,D 4个角点按平移l个单位,得屏幕延伸面及4个相应的角点A’,B’,C’,D’,按以下公式计算所述延伸面四个角点在适配器空间中的坐标:
其中为方向上的单位向量,计算公式如下:
3.按按权利要求1所述的方法,其特征在于,所述步骤(2)中:
在患者身旁固定一个参考架,利用光学定位仪跟踪参考架上四个反光球,根据上述四个反光球的位置坐标建立一个三维坐标系,定为患者坐标系,并利用空间定位仪,获得定位仪坐标系和患者坐标系之间的坐标变换Tpw,具体表示为4×4的齐次矩阵M2,适配器坐标系到患者坐标系之间的变换表示为M1*M2;
图像扫描前,在患者头部确定用于扫描的标记点,扫描后对获得的患者数据建立三维图像坐标系,并采用空间配准方法,获得患者坐标系到图像坐标系的变换关系Tpi,具体表示为4×4的齐次矩阵M3,最终获得适配器坐标系到图像坐标系的变换M=M1*M2*M3。
4.按按权利要求1所述的方法,其特征在于,所述步骤(3)中:
将获得的A’,B’,C’,D’4个新角点在适配器坐标系下的坐标按变换关系M变换到图像坐标系,并以该四个点为顶点建立一个矩形框,根据矩形框在图像空间的位置,在框内重采样得到一个二维图像,即为相应的截面图像。
5.按按权利要求1所述的方法,其特征在于,所述步骤(4)中:
通过无线通讯技术将获得的截面图像传输并显示在平板电脑的屏幕上。
6.按权利要求1所述的方法,其特征在于,所述的移动平板电脑其延伸面的位置信息随之变化,平板电脑屏幕上显示的截面图像随着平板电脑方位的改变实时更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210595043.XA CN103908345B (zh) | 2012-12-31 | 2012-12-31 | 一种基于平板电脑的手术导航用的体数据可视化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210595043.XA CN103908345B (zh) | 2012-12-31 | 2012-12-31 | 一种基于平板电脑的手术导航用的体数据可视化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103908345A true CN103908345A (zh) | 2014-07-09 |
CN103908345B CN103908345B (zh) | 2017-02-08 |
Family
ID=51034555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210595043.XA Active CN103908345B (zh) | 2012-12-31 | 2012-12-31 | 一种基于平板电脑的手术导航用的体数据可视化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103908345B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701788A (zh) * | 2014-11-24 | 2016-06-22 | 复旦大学 | 一种基于全局优化的神经导航自动空间配准方法 |
WO2016095168A1 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 基于平板电脑的手术导航用的体数据可视化方法 |
CN105852968A (zh) * | 2016-04-06 | 2016-08-17 | 黄斌 | 一种肝胆外科手术轨迹追踪装置 |
WO2018035942A1 (zh) * | 2016-08-23 | 2018-03-01 | 深圳先进技术研究院 | 一种柔性穿刺针针尖自动跟踪装置及方法 |
CN109597478A (zh) * | 2017-09-30 | 2019-04-09 | 复旦大学 | 一种基于虚实结合的人体解剖结构展示与交互方法 |
WO2019080317A1 (zh) * | 2017-10-28 | 2019-05-02 | 深圳市前海安测信息技术有限公司 | 手术导航定位机器人及其控制方法 |
CN110584783A (zh) * | 2019-10-14 | 2019-12-20 | 中国科学技术大学 | 外科手术导航*** |
CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及*** |
CN111821024A (zh) * | 2020-03-27 | 2020-10-27 | 台湾骨王生技股份有限公司 | 手术导航***及其成像方法 |
CN112826590A (zh) * | 2021-02-02 | 2021-05-25 | 复旦大学 | 基于多模态融合和点云配准的膝关节置换术空间注册*** |
WO2021103549A1 (zh) * | 2019-11-29 | 2021-06-03 | 北京市商汤科技开发有限公司 | 图像定位的操作显示方法及装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108140A (zh) * | 2007-09-05 | 2008-01-23 | 新奥博为技术有限公司 | 一种用于图像导航手术***的标定模及标定方法 |
CN201139550Y (zh) * | 2007-12-14 | 2008-10-29 | 傅先明 | 便携式手术导航*** |
DE102009010592A1 (de) * | 2009-02-25 | 2010-08-26 | Carl Zeiss Surgical Gmbh | Vorrichtung und Verfahren zum Bestimmen von Korrekturdaten für eine Bewegungskorrektur von digitalen Bilddaten |
-
2012
- 2012-12-31 CN CN201210595043.XA patent/CN103908345B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101108140A (zh) * | 2007-09-05 | 2008-01-23 | 新奥博为技术有限公司 | 一种用于图像导航手术***的标定模及标定方法 |
CN201139550Y (zh) * | 2007-12-14 | 2008-10-29 | 傅先明 | 便携式手术导航*** |
DE102009010592A1 (de) * | 2009-02-25 | 2010-08-26 | Carl Zeiss Surgical Gmbh | Vorrichtung und Verfahren zum Bestimmen von Korrekturdaten für eine Bewegungskorrektur von digitalen Bilddaten |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105701788A (zh) * | 2014-11-24 | 2016-06-22 | 复旦大学 | 一种基于全局优化的神经导航自动空间配准方法 |
WO2016095168A1 (zh) * | 2014-12-18 | 2016-06-23 | 复旦大学 | 基于平板电脑的手术导航用的体数据可视化方法 |
CN105852968A (zh) * | 2016-04-06 | 2016-08-17 | 黄斌 | 一种肝胆外科手术轨迹追踪装置 |
CN105852968B (zh) * | 2016-04-06 | 2018-10-16 | 黄斌 | 一种肝胆外科手术轨迹追踪装置 |
WO2018035942A1 (zh) * | 2016-08-23 | 2018-03-01 | 深圳先进技术研究院 | 一种柔性穿刺针针尖自动跟踪装置及方法 |
CN109597478A (zh) * | 2017-09-30 | 2019-04-09 | 复旦大学 | 一种基于虚实结合的人体解剖结构展示与交互方法 |
WO2019080317A1 (zh) * | 2017-10-28 | 2019-05-02 | 深圳市前海安测信息技术有限公司 | 手术导航定位机器人及其控制方法 |
CN110584783A (zh) * | 2019-10-14 | 2019-12-20 | 中国科学技术大学 | 外科手术导航*** |
CN110584783B (zh) * | 2019-10-14 | 2021-03-09 | 中国科学技术大学 | 外科手术导航*** |
WO2021103549A1 (zh) * | 2019-11-29 | 2021-06-03 | 北京市商汤科技开发有限公司 | 图像定位的操作显示方法及装置、电子设备和存储介质 |
CN110946659A (zh) * | 2019-12-25 | 2020-04-03 | 武汉中科医疗科技工业技术研究院有限公司 | 影像空间与实际空间的注册方法及*** |
CN111821024A (zh) * | 2020-03-27 | 2020-10-27 | 台湾骨王生技股份有限公司 | 手术导航***及其成像方法 |
CN112826590A (zh) * | 2021-02-02 | 2021-05-25 | 复旦大学 | 基于多模态融合和点云配准的膝关节置换术空间注册*** |
Also Published As
Publication number | Publication date |
---|---|
CN103908345B (zh) | 2017-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103908345B (zh) | 一种基于平板电脑的手术导航用的体数据可视化方法 | |
WO2016095168A1 (zh) | 基于平板电脑的手术导航用的体数据可视化方法 | |
CN106821499A (zh) | 一种3d虚拟超声引导穿刺导航***及方法 | |
CN103211655B (zh) | 一种骨科手术导航***及导航方法 | |
CN103040525B (zh) | 一种多模医学影像手术导航方法及*** | |
Andrews et al. | Registration techniques for clinical applications of three-dimensional augmented reality devices | |
CN103735312B (zh) | 多模影像超声引导手术导航*** | |
JP2966089B2 (ja) | 不均質組織内部における局部手術用対話型装置 | |
CN204909663U (zh) | 一种基于图像的外科手术导航*** | |
CN100435735C (zh) | 一种人体骨科手术导航*** | |
JP2020517352A (ja) | ホログラフィック画像ガイダンスのための非血管性経皮処置のシステム及び方法 | |
CN103445863B (zh) | 基于平板电脑的手术导航和增强现实*** | |
CN106859742A (zh) | 一种穿刺手术导航定位***和方法 | |
CN105286988A (zh) | 一种ct影像引导肝肿瘤热消融针定位与导航*** | |
CN109907801B (zh) | 一种可定位超声引导穿刺方法 | |
CN103479430A (zh) | 一种影像引导介入手术导航*** | |
CN110916799A (zh) | 基于5g网络的穿刺机器人导航*** | |
CN112168346A (zh) | 三维医学影像与患者实时重合的方法及手术辅助*** | |
CN115137453A (zh) | 一种连续扫描截面升维空间定位*** | |
CN110584780A (zh) | 一种脑出血穿刺手术导航*** | |
WO2016054775A1 (zh) | 超声虚拟内窥成像***和方法及其装置 | |
CN105250035A (zh) | 一种支持多种立体定向仪的靶部位定位方法和*** | |
Kingsly et al. | Neuro-navigation: equipment, tips, and tricks on brain navigated surgery | |
Harders et al. | Multimodal augmented reality in medicine | |
CN2857869Y (zh) | 基于局部解剖结构特征的术中实时导航装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |