CN114189668B - 一种穿戴式创面成像设备及成像方法 - Google Patents
一种穿戴式创面成像设备及成像方法 Download PDFInfo
- Publication number
- CN114189668B CN114189668B CN202111420405.7A CN202111420405A CN114189668B CN 114189668 B CN114189668 B CN 114189668B CN 202111420405 A CN202111420405 A CN 202111420405A CN 114189668 B CN114189668 B CN 114189668B
- Authority
- CN
- China
- Prior art keywords
- imaging device
- wound
- light source
- wearable
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 109
- 206010052428 Wound Diseases 0.000 claims description 93
- 208000027418 Wounds and injury Diseases 0.000 claims description 92
- 208000015181 infectious disease Diseases 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 9
- 210000003128 head Anatomy 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 241000894006 Bacteria Species 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 230000028327 secretion Effects 0.000 claims description 4
- 206010048038 Wound infection Diseases 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001580 bacterial effect Effects 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 2
- 208000003322 Coinfection Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种穿戴式创面成像设备及成像方法，成像设备包括穿戴于操作者身体上的穿戴装置，还包括成像装置，所述成像装置安装于穿戴装置上，成像装置朝向创面一侧设有结构光光源，成像装置在结构光光源照射下获取创面立体扫描图像。本发明的成像设备具有无需手持、操作方便、信息记录全面准确和不与创面接触等优点，本发明的成像方法采用上述设备完成，同样具备上述优点。
Description
技术领域
本发明涉及成像设备技术领域，尤其涉及一种穿戴式创面成像设备及成像方法。
背景技术
开放性创伤在修复过程中，因为愈合困难或治疗周期长，需要持续记录创面的形态。现有记录方式通常为量尺拍照，这种方式操作繁琐，还有可能接触创口造成感染。并且拍照为手持拍摄，在拍摄时无法解放双手，因此无法调整病人***或帮其清理伤口，而且只能拍摄平面图像，对创口信息的记录并不全面，难以获取精确的创面信息。
发明内容
本发明要解决的技术问题是克服现有技术的不足，提供一种无需手持、操作方便、信息记录全面准确和不与创面接触的穿戴式创面成像设备，以及一种步骤简单的使用该设备成像的成像方法。
为解决上述技术问题，本发明提出的技术方案为：
一种穿戴式创面成像设备，包括穿戴于操作者身体上的穿戴装置，还包括成像装置，所述成像装置安装于穿戴装置上，成像装置朝向创面一侧设有结构光光源，成像装置在结构光光源照射下获取创面立体扫描图像。
作为上述穿戴式创面成像设备的进一步改进：
所述结构光光源包括动态结构光和静态结构光。
所述动态结构光于创面上呈扫描线或扫描点，所述静态结构光于创面上呈点阵、线阵或片状矩阵。
所述成像装置与外部服务器通信连接。
所述成像装置包括通信模块和用于储存创面立体扫描图像的储存模块，储存模块通过通信模块与接收终端通信连接。
所述穿戴装置为罩设于操作者眼部的护目镜，护目镜上设有用于绑缚固定头部的头带；所述成像装置安装于护目镜的前端下表面处，镜头朝向护目镜前方。
所述穿戴装置为头戴式耳机，所述成像装置安装于耳机一侧，镜头朝向耳机前方。
所述穿戴装置为头盔，所述成像装置安装于头盔的前侧，镜头朝向头盔前方。
所述穿戴装置为手环，所述成像装置安装于手环上，且镜头位于手环朝向手部的一侧面上。
所述穿戴装置为手套，所述成像装置安装于手套上，且镜头位于手套的手掌处。
一种穿戴式创面成像设备的成像方法，用穿戴式创面成像设备进行，具体包括以下步骤：
S1：操作者穿戴穿戴装置；
S2：打开结构光光源，通过成像装置拍摄得到相集；
S3：关闭光源，拍摄完成，通过成像装置对相集处理得到创面立体扫描图像。
作为上述成像方法的进一步改进：
在步骤S2中，采用结构光光源的动态结构光或静态结构光得到相集。
与现有技术相比，本发明的优点在于：
本发明的穿戴式创面成像设备，采用成像装置获取创面的立体扫描图像，相比于平面拍摄图像来说，其不仅能够直接记录创面的平面尺寸信息，还能够记录创面的深度信息，更加生动形象的展现出伤口特征，并且也无需摆放量尺，避免量尺造成创面接触感染。该成像装置安装在穿戴装置上，无需操作者手持，因此操作者的双手可以改变患者***，不仅方便拍摄多角度的创面图像，还方便清理创口。成像装置朝向创面一侧设有结构光光源，在该光源的照射下，成像装置可以拍摄得到用于进行曲面模拟的结构光图像，即得到创面的立体扫描图像，通过该图像能够及时对创面进行监测。
附图说明
图1和图2是装置实施例1中穿戴式创面成像设备的结构示意图；
图3是装置实施例3中穿戴式创面成像设备的结构示意图；
图4和图5是装置实施例4中穿戴式创面成像设备的结构示意图；
图6和图7是装置实施例5中穿戴式创面成像设备的结构示意图；
图8和图9是装置实施例6中穿戴式创面成像设备的结构示意图。
图例说明：1、穿戴装置；2、成像装置。
具体实施方式
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明做更全面、细致地描述，但本发明的保护范围并不限于以下具体实施例。
装置实施例1：
如图1和图2所示，本实施例的穿戴式创面成像设备，包括穿戴于操作者身体上的穿戴装置1，还包括用于获取创面立体扫描图像的成像装置2，相比于平面拍摄图像来说，创面立体扫描图像不仅能够直接记录创面的平面尺寸信息，还能够记录创面的深度信息，更加生动形象的展现出伤口特征，并且也无需摆放量尺，避免量尺造成创面接触感染。成像装置2安装于穿戴装置1上，无需操作者手持，因此操作者的双手可以改变患者***，不仅方便拍摄多角度的创面图像，还方便清理创口。成像装置2朝向创面一侧设有结构光光源，在该光源的照射下，成像装置2可以拍摄得到用于进行曲面模拟的结构光图像，即得到创面的立体扫描图像，通过该图像能够及时对创面进行监测。
为了进一步提高成像质量，还可以在成像装置2朝向创面一侧设置白光光源和荧光光源，使成像装置2可以拍摄得到细菌特殊分泌物在荧光激发下的图像和白光下的正常人眼观察图像，再与结构光的立体图像结合能够得到立体的创面感染图，通过该图像能够将创面的感染分布情况与感染程度清晰的呈现。在成像时，先打开荧光光源，当创面出现感染时，通过细菌特殊分泌物在荧光激发下发射特殊光线被成像装置2拍摄，然后关闭荧光光源；打开白光光源，然后通过成像装置2进行拍摄，然后结合打开荧光光源时拍摄的相集，可以得到创面的感染分布情况与感染程度；打开结构光光源，通过成像装置2进行拍摄得到的相集与成像装置2位置进行换算可以得到各点像素的空间坐标进行曲面模拟，然后结合白光光源与荧光光源得到的相集，得到立体的创面感染图。
本实施例中，结构光光源包括动态结构光和静态结构光。动态结构光于创面上呈扫描线或扫描点，静态结构光于创面上呈点阵、线阵或片状矩阵。
本实施例中，成像装置2包括通信模块，成像装置2可以将拍摄的图像通过通信模块发送至外部的服务器，由服务器进行存储管理及分析。还可以设置储存模块，图像直接储存在储存模块中，再通过通信模块发送至手机、电脑或服务器等接收终端接收，以防通信不畅时图像丢失等情况。
本实施例中，如图1和图2所示，穿戴装置1为罩设于操作者眼部的护目镜，护目镜上设有用于绑缚固定头部的头带，可以方便地固定在操作人员的头上；成像装置2安装于护目镜的前端下表面处，即眉心前方位置处，镜头朝向护目镜前方，该设置位置能够扫描到的伤口相当于操作者眼睛能够观察到的伤口。
装置实施例2：
本实施例与实施例1基本相同，区别之处仅在于：本实施例将荧光光源与结构光光源合并设置为荧光结构光源。结构光采用特定波长能激发细菌发射特殊光线的荧光，在通过结构进行曲面模拟的同时得到创面的感染分布情况与感染程度，并且可以通过多幅荧光结构光的照片进行拟合，同样可以得到创面的感染分布情况与感染程度，可以减少拍摄次数，进而提高了数据处理的效率。
装置实施例3：
本实施例与实施例1和实施例2基本相同，区别之处仅在于：如图3所示，穿戴装置1为头戴式耳机，成像装置2安装于耳机一侧，镜头朝向耳机前方，即与操作者的面部朝向一致，方便对创面进行拍摄。耳机的另一侧还可以设置储存卡插卡槽、充电口等结构，该头戴式耳机可以设置为蓝牙耳机，避免连接线路影响操作。
装置实施例4：
本实施例与实施例1和实施例2基本相同，区别之处仅在于：如图4和图5所示，穿戴装置1为头盔，成像装置2安装于头盔的前侧，镜头朝向头盔前方，即与操作者的面部朝向一致，方便对创面进行拍摄。头盔的两边带有松紧固定带，固定连接头盔和头部，此时操作者对患者进行拍摄时可解放双手且其所看见的伤口近似为其扫描拍摄伤口。
装置实施例5：
本实施例与实施例1和实施例2基本相同，区别之处仅在于：如图6和图7所示，穿戴装置1为手环，成像装置2安装于手环上，因此拍摄时无需大幅度调整患者的***，通过手部的移动就能够实现多方位的拍摄；且镜头位于手环朝向手部的一侧面上，保证镜头的朝向能够清楚完整的拍摄到创面，进行拍摄时可通过双手快捷对准伤口进行扫描拍摄。
装置实施例6：
本实施例与实施例1和实施例2基本相同，区别之处仅在于：如图8和图9所示，穿戴装置1为手套，成像装置2安装于手套上，因此拍摄时无需大幅度调整患者的***，通过手部的移动就能够实现多方位的拍摄；且镜头位于手套的手掌处，进行拍摄时可通过双手快捷对准伤口进行扫描拍摄。
方法实施例：
本实施例的穿戴式创面成像设备的成像方法，用穿戴式创面成像设备进行，具体包括以下步骤：
S1：操作者穿戴穿戴装置1；
S2：打开结构光光源，采用结构光光源的动态结构光或静态结构光，通过成像装置2拍摄得到相集C；
S3：关闭光源，拍摄完成，通过成像装置2对相集C处理得到创面立体扫描图像。
还可以在步骤S1和S2之间增设：打开荧光光源，通过成像装置2拍摄得到相集A，然后关闭荧光光源；打开白光光源，通过成像装置2拍摄得到相集B；之后再在执行步骤S3时执行通过成像装置2对相集A、相集B和相集C处理得到创面感染图。采用该方法，将相集A与相集B对比，可以得到创面的感染分布情况与感染程度，通过相集C进行曲面模拟可以得到创面的立体扫描图，结合相集A与相集B可以得到曲面的创面感染图，通过成像装置2可以清晰的观察患者创面的感染分布情况与感染程度，无需取样进行生化检测，降低了二次感染风险。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。对于本领域的技术人员来说，在不脱离本发明的技术构思前提下所得到的改进和变换也应视为本发明的保护范围。
Claims (10)
1.一种穿戴式创面成像设备，其特征在于：包括穿戴于操作者身体上的穿戴装置（1），还包括成像装置（2），所述成像装置（2）安装于穿戴装置（1）上，成像装置（2）朝向创面一侧设有结构光光源，所述结构光光源包括动态结构光和静态结构光，所述动态结构光于创面上呈扫描线或扫描点，所述静态结构光于创面上呈点阵、线阵或片状矩阵，在成像装置（2）朝向创面一侧设置白光光源和荧光光源，使成像装置（2）拍摄得到细菌特殊分泌物在荧光激发下的图像和白光下的正常人眼观察图像，再与结构光的立体图像结合得到立体的创面感染图，通过该图像能够将创面的感染分布情况与感染程度清晰的呈现；在成像时，先打开荧光光源，当创面出现感染时，通过细菌特殊分泌物在荧光激发下发射特殊光线被成像装置（2）拍摄，然后关闭荧光光源；打开白光光源，通过成像装置（2）进行拍摄，然后结合打开荧光光源时拍摄的相集，得到创面的感染分布情况与感染程度；打开结构光光源，根据成像装置（2）进行拍摄得到的相集与成像装置（2）位置进行换算得到各点像素的空间坐标进行曲面模拟得到创面的立体扫描图像，然后结合白光光源与荧光光源得到的相集，得到立体的创面感染图。
2.根据权利要求1所述的穿戴式创面成像设备，其特征在于：所述成像装置（2）与外部服务器通信连接。
3.根据权利要求1所述的穿戴式创面成像设备，其特征在于：所述成像装置（2）包括通信模块和用于储存创面立体扫描图像的储存模块，储存模块通过通信模块与接收终端通信连接。
4.根据权利要求1至3中任一项所述的穿戴式创面成像设备，其特征在于：所述穿戴装置（1）为罩设于操作者眼部的护目镜，护目镜上设有用于绑缚固定头部的头带；所述成像装置（2）安装于护目镜的前端下表面处，镜头朝向护目镜前方。
5.根据权利要求1至3中任一项所述的穿戴式创面成像设备，其特征在于：所述穿戴装置（1）为头戴式耳机，所述成像装置（2）安装于耳机一侧，镜头朝向耳机前方。
6.根据权利要求1至3中任一项所述的穿戴式创面成像设备，其特征在于：所述穿戴装置（1）为头盔，所述成像装置（2）安装于头盔的前侧，镜头朝向头盔前方。
7.根据权利要求1至3中任一项所述的穿戴式创面成像设备，其特征在于：所述穿戴装置（1）为手环，所述成像装置（2）安装于手环上，且镜头位于手环朝向手部的一侧面上。
8.根据权利要求1至3中任一项所述的穿戴式创面成像设备，其特征在于：所述穿戴装置（1）为手套，所述成像装置（2）安装于手套上，且镜头位于手套的手掌处。
9.一种穿戴式创面成像设备的成像方法，其特征在于，用权利要求1至8中任一项所述的穿戴式创面成像设备进行，具体包括以下步骤：
S1：操作者穿戴穿戴装置（1）；
S2：打开结构光光源，通过成像装置（2）拍摄得到相集；
S3：关闭光源，拍摄完成，通过成像装置（2）对相集处理得到创面立体扫描图像。
10.根据权利要求9所述的穿戴式创面成像设备的成像方法，其特征在于：在步骤S2中，采用结构光光源的动态结构光或静态结构光得到相集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111420405.7A CN114189668B (zh) | 2021-11-26 | 2021-11-26 | 一种穿戴式创面成像设备及成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111420405.7A CN114189668B (zh) | 2021-11-26 | 2021-11-26 | 一种穿戴式创面成像设备及成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114189668A CN114189668A (zh) | 2022-03-15 |
| CN114189668B true CN114189668B (zh) | 2024-03-15 |
Family
ID=80602737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111420405.7A Active CN114189668B (zh) | 2021-11-26 | 2021-11-26 | 一种穿戴式创面成像设备及成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114189668B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN106029000A (zh) * | 2014-02-21 | 2016-10-12 | 阿克伦大学 | 用于引导医疗干预的成像和显示*** |
| CN106796344A (zh) * | 2014-10-07 | 2017-05-31 | 艾尔比特***有限公司 | 锁定在感兴趣对象上的放大图像的头戴式显示 |
| CN107493427A (zh) * | 2017-07-31 | 2017-12-19 | 广东欧珀移动通信有限公司 | 移动终端的对焦方法、装置和移动终端 |
| CN208063408U (zh) * | 2017-12-21 | 2018-11-06 | 北京达佳互联信息技术有限公司 | 3d立体影像耳机装置 |
| CN109938700A (zh) * | 2019-04-04 | 2019-06-28 | 济南显微智能科技有限公司 | 一种头戴式红外荧光探测装置 |
| CN111897425A (zh) * | 2014-07-31 | 2020-11-06 | 三星电子株式会社 | 可穿戴眼镜和利用其提供信息的方法 |
| CN112672137A (zh) * | 2019-10-15 | 2021-04-16 | 福州瑞芯微电子股份有限公司 | 获取深度图像的方法、结构光***以及一种电子装置 |
| WO2021089440A1 (en) * | 2019-11-05 | 2021-05-14 | Arspectra Sarl | Augmented reality headset for medical imaging |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7595933B2 (en) * | 2006-10-13 | 2009-09-29 | Apple Inc. | Head mounted display system |
| US20140198190A1 (en) * | 2013-01-16 | 2014-07-17 | Kris Okumu | Wearable surgical imaging device with semi-transparent screen |
| WO2018097831A1 (en) * | 2016-11-24 | 2018-05-31 | Smith Joshua R | Light field capture and rendering for head-mounted displays |
| US10425633B2 (en) * | 2016-12-30 | 2019-09-24 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for capturing images for wound assessment with moisture detection |
-
2021
- 2021-11-26 CN CN202111420405.7A patent/CN114189668B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106029000A (zh) * | 2014-02-21 | 2016-10-12 | 阿克伦大学 | 用于引导医疗干预的成像和显示*** |
| CN111897425A (zh) * | 2014-07-31 | 2020-11-06 | 三星电子株式会社 | 可穿戴眼镜和利用其提供信息的方法 |
| CN106796344A (zh) * | 2014-10-07 | 2017-05-31 | 艾尔比特***有限公司 | 锁定在感兴趣对象上的放大图像的头戴式显示 |
| CN105357515A (zh) * | 2015-12-18 | 2016-02-24 | 天津中科智能识别产业技术研究院有限公司 | 一种基于结构光和光场成像的彩色深度成像方法及其装置 |
| CN107493427A (zh) * | 2017-07-31 | 2017-12-19 | 广东欧珀移动通信有限公司 | 移动终端的对焦方法、装置和移动终端 |
| CN208063408U (zh) * | 2017-12-21 | 2018-11-06 | 北京达佳互联信息技术有限公司 | 3d立体影像耳机装置 |
| CN109938700A (zh) * | 2019-04-04 | 2019-06-28 | 济南显微智能科技有限公司 | 一种头戴式红外荧光探测装置 |
| CN112672137A (zh) * | 2019-10-15 | 2021-04-16 | 福州瑞芯微电子股份有限公司 | 获取深度图像的方法、结构光***以及一种电子装置 |
| WO2021089440A1 (en) * | 2019-11-05 | 2021-05-14 | Arspectra Sarl | Augmented reality headset for medical imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114189668A (zh) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2578140B1 (en) | Digital diagnostic system and host | |
| CN107212851B (zh) | 一种无线眼动仪 | |
| CN104280219B (zh) | 头戴显示器镜头组件测试机 | |
| JP4216523B2 (ja) | ユニット | |
| JP2018006914A (ja) | 外部撮像システム、外部撮像方法、外部撮像プログラム | |
| CN109061883B (zh) | 一种自动测量瞳距的头戴式显示设备和方法 | |
| US20200268236A1 (en) | Endoscope system | |
| US20180344154A1 (en) | Wide angle stereoscopic funduscopy | |
| US20180340651A1 (en) | Photographing apparatus, photographing device, and electronic device | |
| CN114189668B (zh) | 一种穿戴式创面成像设备及成像方法 | |
| CN114157851B (zh) | 一种穿戴式创面感染成像设备及成像方法 | |
| CN111568355A (zh) | 一种微型耳内成像装置 | |
| CN214104353U (zh) | 一种基于vr技术的便携式电子内视镜 | |
| JP2005192583A (ja) | 携帯端末用スコープユニット | |
| CN201727493U (zh) | 具可拆屏幕的便携检耳镜 | |
| US10930184B1 (en) | Display panel uniformity calibration system | |
| CN110623755A (zh) | 一种新型局限性手术视野共享装置 | |
| CN102309309B (zh) | 具可拆屏幕的便携检耳镜 | |
| KR20190109866A (ko) | 캡슐 내시경 장치 및 상기 장치의 동작 방법 | |
| TWI589261B (zh) | 可與手持式行動裝置結合的簡易式耳鏡 | |
| CN108236452A (zh) | 裂隙灯显微镜 | |
| CN114624875B (zh) | 图像校准方法和设备 | |
| CN109165594A (zh) | 一种虹膜采集装置 | |
| KR101771201B1 (ko) | 스마트폰 연결용 소구경 내시경 장치 | |
| WO2023249547A8 (en) | Quality assurance in medical facial images with respect to ambient illumination |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |