CN107894285B - 一种用于巡检设备温度的基于增强现实的巡检方法 - Google Patents
一种用于巡检设备温度的基于增强现实的巡检方法 Download PDFInfo
- Publication number
- CN107894285B CN107894285B CN201711100085.0A CN201711100085A CN107894285B CN 107894285 B CN107894285 B CN 107894285B CN 201711100085 A CN201711100085 A CN 201711100085A CN 107894285 B CN107894285 B CN 107894285B
- Authority
- CN
- China
- Prior art keywords
- target device
- image
- augmented reality
- camera
- mirror holder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 48
- 238000007689 inspection Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims description 18
- 239000011521 glass Substances 0.000 claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims abstract description 8
- 230000008878 coupling Effects 0.000 claims description 4
- 238000010168 coupling process Methods 0.000 claims description 4
- 238000005859 coupling reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 231100001261 hazardous Toxicity 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Radiation Pyrometers (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明公开了一种用于巡检设备温度的基于增强现实的巡检装置,其特征在于,所述巡检装置包括:用于同步获取包含目标设备的第一场景的红外图像和可见光图像红外摄像机和可见光摄像机、增强现实眼镜以及控制器,所述控制器从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息,确定所述目标设备在所述镜架摄像头图像中的位置,将所述目标设备的温度信息的展示图像与所述现实图像耦合后投射于巡检员的眼中。本发明通过所述基于增强现实的巡检装置可以在远离目标设备的情况下巡检设备温度,提高了巡检效率和质量,避免了巡检人员进入危险环境,并且有效防止了误检和漏检。
Description
技术领域
本发明涉及一种基于增强现实的红外温度巡检的装置和方法。
背景技术
电力线路需经常检测各个电力部件的温度情况,如果故障隐患得不到及时处理,则可能发展成为线路故障甚至线路事故。为了确保电力线路和电力***的安全性与稳定性,应做好线路的维护工作,使其在运行过程中始终处于良好的状态。
电力线路温度巡检管理是确保输电线路设备与安全稳定的基础性工作,通过巡视检查来了解和掌握线路运行情况和周围环境, 及时发现线路和设备中存在的各种安全隐患,用以制定检修内容, 将故障控制在最小范围内,最终确保整个电力***的稳定性。
目前电力线路部件的温度检测需要巡检人员使用红外温度计进行温度测量,但由于电力线路的部件位置高低不同,部件大小不同,巡检人员瞄准困难,经常造成检测温度不准的情况。
本发明中使用了AR增强现实的概念,所述AR增强现实是指:借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象,并通过传感技术将虚拟对象准确"放置"在真实环境中,借助显示设备将虚拟对象与真实环境融为一体,并呈现给使用者一个感官效果真实的新环境。因此增强现实***具有虚实结合、实时交互、三维注册的新特点。
发明内容
为解决上述问题,本发明提供以下技术方案。
在一个方面,本发明提供一种用于巡检设备温度的基于增强现实的巡检装置,其特征在于,所述巡检装置包括:红外摄像机和可见光摄像机、增强现实眼镜以及控制器,其中,
所述红外摄像机和所述可见光摄像机用于同步获取包含目标设备的第一场景的红外图像和可见光图像;
所述增强现实眼镜还包括镜架摄像头,所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像;
所述控制器用于从所述可见光图像中识别目标设备并且利用所述红外图像确定所述目标设备的温度信息;所述控制器还用于确定所述目标设备在所述镜架摄像头图像中的位置,将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像,以及控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
进一步地,所述红外摄像机和所述可见光摄像机具有联动的变焦装置。
进一步地,所述巡检装置还包括第一位置***和第二位置***,所述第一位置***用于实时获取所述红外摄像机和可见光摄像机的第一位置信息,所述第二位置***用于实时获取所述增强现实眼镜的第二位置信息。
进一步地,所述巡检装置还包括可移动载具,所述可移动载具用于安置并移动所述户外摄像机和可见光摄像机。
进一步地,所述可移动载具包括有人或无人操控的机器人、飞行器、车辆和船舶。
在另一个方面,本发明提供一种用于巡检设备温度的基于增强现实的巡检方法,所述方法包括以下步骤:
S000,提供上述任一项的所述巡检装置;
S100,用所述红外摄像机和所述可见光摄像机同步获取包含目标设备的第一场景的红外图像和可见光图像;
S200,巡检员使用所述增强现实眼镜观察包括所述目标设备的第二场景的现实图像,并且在进行步骤S100的同时所述镜架摄像头同步获取第二场景的镜架摄像头图像;
S300,从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息;
S400,确定所述目标设备在所述镜架摄像头图像中的位置;
S500,将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像;
S600,通过所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
进一步地,在步骤S100中,所述红外摄像机和所述可见光摄像机通过联动变焦以改善第一场景的红外图像和可见光图像的质量并保持所述红外图像和所述可见光图像一致。
进一步地,在步骤S400中,从所述镜架摄像头图像中识别所述目标设备以确定所述目标设备在所述镜架摄像头图像中的位置;
在步骤S500中,将所述目标设备的温度信息转换为文字和/或图案以形成所述展示图像;
在步骤S600中,将所述展示图像耦合在所述现实图像中所述目标设备处。
进一步地,在步骤S300中,用所述第一位置***实时获取所述红外摄像机和可见光摄像机的第一位置信息,根据所述可见光图像和/或所述红外图像确定所述目标设备的位置信息;
在步骤S400中,用所述第二位置***实时获取所述增强现实眼镜的第二位置信息,根据所述第二位置信息和步骤S300中确定的所述目标设备的位置信息确定所述目标设备在所述镜架摄像头图像中的位置;
在步骤S500中,将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像;
在步骤S600中,将所述展示图像耦合在所述现实图像中所述目标设备处。
进一步地,在步骤S100中,用可移动载具移动所述红外摄像机和可见光摄像机以获取包含目标设备的第一场景的红外图像和可见光图像。
本发明通过所述基于增强现实的巡检装置可以在远离目标设备的情况下巡检该设备的温度情况,大大提高了巡检人员检测温度的效率和检测质量,避免了巡检人员进入危险环境,并且有效防止了巡检人员误检、漏检情况的发生。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例对本发明作进一步的描述。
实施例1
根据本发明的一种用于巡检设备温度的基于增强现实的巡检装置,包括:联立的红外摄像机和可见光摄像机、增强现实眼镜以及控制器。
所述红外摄像机和所述可见光摄像机用于同步获取包含目标设备的第一场景的红外图像和可见光图像。所述红外摄像机和所述可见光摄像机是现有技术中可获得的任意合适的产品,尤其是具有高分辨率的那些,可以安装在无人机或无人车辆或无人船舶上,通过遥控进入高山、深壑、密林、洞穴、洪灾、火灾等人员难以到达地区,在目标设备的附近获取第一场景的图像。
所述增强现实眼镜包括镜架摄像头,所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像。所述增强现实眼镜可以是任意合适的增强现实设备,例如各种市售的增强现实眼镜和头盔等。
所述控制器包括与增强现实眼镜组合的或分立的计算机,其与红外摄像机、可见光摄像机和增强现实眼镜通过有线或无线的方式通讯连接。所述控制器利用已知的算法以及任选的目标设备的数据库从所述可见光图像中识别目标设备。由于可见光波长较短,图像清晰度较高,因此适于识别目标设备。红外线波长较长,红外图像与可见光图像相比往往较为模糊,难以从中准确识别目标设备,然而红外图像可用于实时、遥测、直观和定量的方式测量温度,用来检测发电厂、变电所和输电线路的运转设备和带电设备非常方便、有效。在本发明中,可以将可见光图像与红外图像进行比对来确定红外图像中对应于目标设备的部分,然后提取与可见光图像中目标设备所在区域对应的红外图像的温度数值,来确定所述目标设备的温度信息。所述温度信息包括目标设备的各个关键点的温度、不同区域和设备整体的平均温度和温度分布、以及温度随时间的变化情况等。
在一些情况下,通过使可见光摄像机和红外摄像机联动变焦,这样既可以通过变焦来方便地获取目标设备的更清晰的可见光图像和更细致的红外图像,又能保持所述红外图像和所述可见光图像一致。
在巡检过程中,巡检员可以处于远离目标设备的位置。当巡检员佩戴增强现实眼镜观察包括目标设备的第二场景时,目标设备可能在第二场景被看到,也可能因距离和障碍物遮挡等原因而不能被看到。
因此,当增强现实眼镜的镜架摄像头获取了第二场景的镜架摄像头图像后,如果控制器在其中找到目标设备的图像,也即是说目标设备能被巡检员看到,则可直接在所述镜架摄像头图像中确定目标设备的位置,将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的数字/图案等展示图像,然后控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中,使巡检员在第二场景的现实图像中看到目标设备的温度信息,进而采取相应措施以完成对该目标设备的巡检。
当增强现实眼镜的镜架摄像头获取了第二场景的镜架摄像头图像后,如果控制器在其中找不到目标设备的图像,也即是说目标设备不能被巡检员看到,则需要通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息,然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。根据可见光图像和可见光摄像机的第一位置信息计算目标设备位置的方法,以及根据固定在增强现实眼镜上的镜架摄像头的第二位置信息和目标设备的位置信息计算目标设备在镜架摄像头图像中的位置的方法,都可采用本领域中已知的方法进行。接着,控制器将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像;并将所述展示图像耦合在所述现实图像中所述目标设备处,使巡检员在第二场景的现实图像中看到目标设备的温度信息。在一些情况下,包括目标设备的模型图像的展示图像可以浮现在现实图像之上。在另一些情况下,可将展示图像置于现实图像之下,并将展示图像处的现实图像进行透明化处理,以便以更自然的方式呈现。
在一些情况下,无论在第二场景中能否看到目标设备,都通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息,然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。
在一些情况下,控制器根据第二位置信息和数据库中记载的目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的位置。任选地,控制器用根据第一位置信息和可见光图像确定的目标设备的位置信息与数据库中记载的目标设备的位置信息进行比较,并且在不一致时,向巡检员发出警告信息已提示可能发生定位错误,警告信息包括震动、文字和声音信息以及使展示图像闪烁等。
在一些情况下,还在可见光摄像机或红外摄像机处设有激光测距仪用于测量目标设备的位置信息。在一些情况下,还可在可见光摄像机、红外摄像机和镜架摄像头处设置激光笔,用于在目标设备上照射激光标记,这样可以在镜架摄像头图像中直接按照激光标记的位置确定目标设备的位置,也可以根据激光标记在可见光图像和镜架摄像头图像中的形状和尺寸变化(例如通过三角测量法)计算目标设备相对于可见光摄像机和镜架摄像头的相对位置,从而更加精准地确定目标设备的位置信息。这样获得的目标设备位置信息可用于建立或更新目标设备数据库中的相应信息。
以上所述,仅为本实用发明的较佳实施例,不能以此限定本实用发明实施范围;凡依本发明申请专利范围及创作说明书内容所作的简单的等效变化与修饰,皆应仍属本发明专利涵盖的范围内。
Claims (6)
1.一种用于巡检设备温度的基于增强现实的巡检方法,所述方法包括以下步骤:
S000,提供一种巡检装置,所述巡检装置包括:红外摄像机和可见光摄像机、增强现实眼镜以及控制器;其中,所述红外摄像机和所述可见光摄像机位于目标设备附近用于同步获取包含目标设备的第一场景的红外图像和可见光图像;所述增强现实眼镜远离目标设备并且包括镜架摄像头,所述镜架摄像头用于获取与佩戴所述增强现实眼镜的巡检员看到的第二场景的现实图像相同的镜架摄像头图像;所述控制器用于从所述可见光图像中识别目标设备并且利用所述红外图像确定所述目标设备的温度信息;所述控制器还用于确定所述目标设备在所述镜架摄像头图像中的位置,将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像,以及控制所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中;
S100,用所述红外摄像机和所述可见光摄像机同步获取包含目标设备的第一场景的红外图像和可见光图像;
S200,巡检员使用所述增强现实眼镜观察包括所述目标设备的第二场景的现实图像,并且在进行步骤S100的同时所述镜架摄像头同步获取第二场景的镜架摄像头图像;
S300,从所述可见光图像中识别目标设备并且从所述红外图像确定所述目标设备的温度信息;
S400,控制器通过已经看到该目标设备的第一场景的可见光图像和此时可见光摄像机的第一位置信息来确定目标设备的位置信息,然后根据所述增强现实眼镜的第二位置信息和所述目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的第三位置;根据第二位置信息和数据库中记载的目标设备的位置信息来确定所述目标设备在所述镜架摄像头图像中的第四位置;并且在第三位置和第四位置不一致时发出警告信息提示发生定位错误;
S500,将所述目标设备的温度信息转换为与所述镜架摄像头图像相适应的展示图像;
S600,通过所述增强现实眼镜将所述展示图像与所述现实图像耦合后投射于巡检员的眼中。
2.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法,其中在步骤S100中,所述红外摄像机和所述可见光摄像机通过联动变焦以改善第一场景的红外图像和可见光图像的质量并保持所述红外图像和所述可见光图像一致。
3.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法,其中,
在步骤S400中,从所述镜架摄像头图像中识别所述目标设备以确定所述目标设备在所述镜架摄像头图像中的位置;
在步骤S500中,将所述目标设备的温度信息转换为文字和/或图案以形成所述展示图像;
在步骤S600中,将所述展示图像耦合在所述现实图像中所述目标设备处。
4.根据权利要求1的所述用于巡检设备温度的基于增强现实的巡检方法,其中
在步骤S300中,用所述第一位置***实时获取所述红外摄像机和可见光摄像机的第一位置信息,根据所述可见光图像和/或所述红外图像确定所述目标设备的位置信息;
在步骤S400中,用所述第二位置***实时获取所述增强现实眼镜的第二位置信息,根据所述第二位置信息和步骤S300中确定的所述目标设备的位置信息确定所述目标设备在所述镜架摄像头图像中的位置;
在步骤S500中,将所述目标设备的温度信息转换为文字和/或图案并与所述目标设备的模型图像结合以形成所述展示图像;
在步骤S600中,将所述展示图像耦合在所述现实图像中所述目标设备处。
5.根据权利要求1-4中任一项的所述用于巡检设备温度的基于增强现实的巡检方法,其中
在步骤S100中,用可移动载具移动所述红外摄像机和可见光摄像机以获取包含目标设备的第一场景的红外图像和可见光图像。
6.根据权利要求5的所述用于巡检设备温度的基于增强现实的巡检方法,其中,所述可移动载具包括有人或无人操控的机器人、飞行器、车辆和船舶。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711100085.0A CN107894285B (zh) | 2017-11-09 | 2017-11-09 | 一种用于巡检设备温度的基于增强现实的巡检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711100085.0A CN107894285B (zh) | 2017-11-09 | 2017-11-09 | 一种用于巡检设备温度的基于增强现实的巡检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107894285A CN107894285A (zh) | 2018-04-10 |
CN107894285B true CN107894285B (zh) | 2018-11-16 |
Family
ID=61804863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711100085.0A Active CN107894285B (zh) | 2017-11-09 | 2017-11-09 | 一种用于巡检设备温度的基于增强现实的巡检方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107894285B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110260978A (zh) * | 2019-07-03 | 2019-09-20 | 云南电网有限责任公司曲靖供电局 | 温度检测方法、装置及ar设备 |
CN111780877A (zh) * | 2020-07-06 | 2020-10-16 | 广东智芯光电科技有限公司 | 一种基于摄像头测物体温度的方法和*** |
CN113589403A (zh) * | 2021-10-08 | 2021-11-02 | 深圳市联志光电科技有限公司 | 一种基于图像通信的增强现实显示方法及*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102542722A (zh) * | 2012-01-05 | 2012-07-04 | 福建国化热像监控设备有限公司 | 石化的可选择关键设备的红外热成像在线监控方法及*** |
CN203083532U (zh) * | 2013-01-11 | 2013-07-24 | 北京国网富达科技发展有限责任公司 | 一种检测输电线路安全运行的*** |
CN105212418A (zh) * | 2015-11-05 | 2016-01-06 | 北京航天泰坦科技股份有限公司 | 基于红外夜视功能的增强现实智能头盔研制 |
KR20170055908A (ko) * | 2015-11-12 | 2017-05-22 | 최해용 | 모자형 가상현실 디스플레이 영상시스템 |
CN107124199A (zh) * | 2017-05-16 | 2017-09-01 | 上海欧忆能源科技有限公司 | 具有物联感知功能的智能头盔、感知方法及存储介质 |
-
2017
- 2017-11-09 CN CN201711100085.0A patent/CN107894285B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107894285A (zh) | 2018-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3274290B2 (ja) | 映像表示装置及び映像表示システム | |
CN107894285B (zh) | 一种用于巡检设备温度的基于增强现实的巡检方法 | |
CN115597659B (zh) | 一种变电站智能安全管控方法 | |
US20210321174A1 (en) | Laser gas detector and laser gas detection system | |
JP4727068B2 (ja) | 施工監視システム、施工管理方法 | |
JP5682060B2 (ja) | 画像合成装置、画像合成プログラム、及び画像合成システム | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
CN111192321B (zh) | 目标物三维定位方法与装置 | |
US9008361B2 (en) | Method for visualizing zones of higher activity in surveillance scenes | |
CN116911823A (zh) | 一种基于ar眼镜的变电站的巡检交互方法、*** | |
US10890447B2 (en) | Device, system and method for displaying measurement gaps | |
CN111951160A (zh) | 基于可见光和红外热成像的消防无人机图像融合方法 | |
CN115496398A (zh) | 一种电力作业安全管控方法及*** | |
CN112863113A (zh) | 自动探测器报警和灭火的智能消防***、方法及存储介质 | |
CN108830967A (zh) | 一种可视化的电力巡视方法及装置 | |
CN113115008A (zh) | 一种基于快速跟踪注册增强现实技术的管廊主从操作巡检***及方法 | |
CN108734910A (zh) | 一种异常行为监控报警***及其方法 | |
JP2018077837A (ja) | 位置認識方法およびシステム、ならびに異常判定方法およびシステム | |
CN112906674A (zh) | 一种基于双目视觉的矿井火灾识别与火源定位方法 | |
CN107063468A (zh) | 变电站设备红外热图拍摄的导航方法及装置 | |
CN108399618A (zh) | 人群的位置和数目获取装置 | |
CN110702016A (zh) | 输电线路覆冰测量***及方法 | |
CN106403946A (zh) | 一种用于热网运检人员的智能微惯导三维定位*** | |
CN113452962B (zh) | 一种具有空间协同感知的数据中心增强巡检***及方法 | |
CN112747829A (zh) | 一种基于三维高精地图的火焰或热点定位测距方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |