CN114638883B - 一种绝缘子水冲洗机器人视觉受限重定位目标方法 - Google Patents
一种绝缘子水冲洗机器人视觉受限重定位目标方法 Download PDFInfo
- Publication number
- CN114638883B CN114638883B CN202210229632.XA CN202210229632A CN114638883B CN 114638883 B CN114638883 B CN 114638883B CN 202210229632 A CN202210229632 A CN 202210229632A CN 114638883 B CN114638883 B CN 114638883B
- Authority
- CN
- China
- Prior art keywords
- insulator
- target
- image
- water
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
- B25J11/0085—Cleaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1607—Calculation of inertia, jacobian matrixes and inverses
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Cleaning By Liquid Or Steam (AREA)
Abstract
本发明公开了一种绝缘子水冲洗机器人视觉受限重定位目标方法,具体为:获取机器未喷水前定位绝缘子所在位置时的图像,以及受干扰图像;以目标绝缘子的位置参照物为原点建立坐标系,获取目标绝缘子位置坐标;利用坐标位置计算出位置坐标变化系数,带入到目标绝缘子在摄像机坐标系下的坐标中,进行坐标的修正;将修正过的位置坐标带入到雅克比矩阵中,进行计算,得到新的系数,从而修正机器的运动参数,进而重新定位目标。本发明实现了绝缘子水冲洗机器人拍摄图像受干扰时对目标的重新定位,有效保证了绝缘子水冲洗机器人的可靠性与准确性,提升了冲洗的效率。
Description
技术领域
本发明属于水冲洗自动化控制领域,具体涉及一种绝缘子水冲洗机器人视觉受限重定位目标方法。
背景技术
我国的铁路建设日新月异,电气化铁路愈来愈先进,但随之而来的设备运行问题也日益凸显。在实际运用过程中环境污染等因素的影响会使得绝缘子等铁路设施出现问题,影响正常的使用,因此,保证电网设备的可靠运行是电力检修与运维的重要一环。
绝缘子是电气化铁路接触网***核心零部件,绝缘子的主要作用是使带电线路与大地绝缘,以及对接触网进行机械支持和定位。我国电气化铁路运营故障中很大一部分是因接触网故障造成,接触网逐渐被人们认为是电气化铁路中最易出现故障并引发安全事故的环节。为此带电水冲洗作为电气设备有效防止污闪事故的措施之一被普遍采用,但带电水冲洗设备中也存在着许多地方需要改进。
带电水冲洗的优点是不中断供电、不需要设备停电、无需设备的倒、合闸的操作;不受电力设备停电时间限制,可随时对赃污设备进行水清洗,清洗效果好。但也存在着一些问题:在基于可见图像和红外图像的绝缘子冲洗机器人视觉瞄准***及方法的基础上,缺少在视觉设备因水雾等外界因素的影响的情况下再次对目标进行瞄准的方法,在首次瞄准喷射后缺少后续持续校准的方法;在视觉受限的情况下会使得工作效率降低,无法按照原有程序捕捉目标进行瞄准,进而有效识别绝缘子的准确性。
发明内容
为解决现有技术存在的不足,本发明提供一种绝缘子水冲洗机器人视觉受限重定位目标方法。
本发明的一种绝缘子水冲洗机器人视觉受限重定位目标方法,包括以下步骤:
步骤1:获取机器未喷水前定位绝缘子所在位置时的图像,获取在水雾或其他因素的影响下双目摄像头拍摄的受干扰图像。
机器未喷水前定位绝缘子所在位置时的图像是在机器人定位绝缘子位置并将水枪对准绝缘子且未喷水时所获取的图像,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子和目标绝缘子的位置参照物。
受干扰图像为在水雾或其他因素的影响下双目摄像头的拍摄图像受到干扰,对受到干扰的图像进行重定位,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子的位置参照物和水枪喷射出的水柱击中目标时的水柱。
步骤2:以目标绝缘子的位置参照物为原点建立坐标系,获取目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,以及受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标。
步骤3:利用坐标位置计算出位置坐标变化系数(Δx,Δy),带入到目标绝缘子在摄像机坐标系下的坐标(X,Y,Z)中,进行坐标的修正,在此过程中只改变(X,Y)坐标。
步骤4:将修正过的位置坐标带入到雅克比矩阵中,进行计算,得到新的系数,从而修正机器的运动参数,进而重新定位目标。
进一步的,步骤3中,位置坐标变化系数(Δx,Δy)的计算公式如下:
Δx=X1-X2,Δy=Y1-Y2
其中,(X1,Y1)为目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,(X2,Y2)为受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标。
进一步的,雅可比矩阵Jr计算公式为:
其中,f为双目相机焦距。
利用计算所得到的(Δx,Δy)对目标在摄像机坐标系下的坐标(X,Y,Z)进行修正,得出修正后的新坐标(X',Y',Z'),修正后的新坐标(X',Y',Z')与目标在摄像机坐标系下的坐标(X,Y,Z)之间的关系如下所示:
X′=X+Δx,Y′=Y+Δy,Z′=Z
本发明的有益技术效果为:
(1)针对由于水雾或其他环境因素等影响下视觉***所拍摄的图像无法准确捕捉目标并进行工作,存在严重的自动化控制漏洞,本发明在原有结构的基础上进行改进升级创新,加入了全新的目标重定位方法,利用视觉***采集的图像,再进行坐标标定,通过计算出坐标误差并传递到计算机的控制程序当中进行误差修正,对以确认的坐标位置进行修改,实现了绝缘子水冲洗机器人视觉受限时的目标重定位,进而提高了水枪冲洗的准确性,保证了冲洗作业的高效性;
(2)本发明通过从视觉***所拍摄的并向工业控制计算机实时传送图像数据中选取特定的图像数据,计算机通过程序对所选取图像进行分析检测,进行目标与参照物的位置坐标标定,并且与原有程序进行结合,将计算得出的坐标误差值输入,不断修正绝缘子的三维坐标,进而控制水冲洗机器人的移动,进而有效保证了机器人的自动化程度。
附图说明
图1为本发明绝缘子水冲洗机器人视觉受限重定位目标方法的流程图。
图2为本发明绝缘子水冲洗机器人视觉受限重定位目标***组成。
图3为本发明的控制***原理图。
具体实施方式
下面结合附图和具体实施方法对本发明做进一步详细说明。
本发明的一种绝缘子水冲洗机器人视觉受限重定位目标方法如图1所示,使用的控制***组成如图2所示,通过视觉***所提供的图像,再通过确认图像中的基准坐标与相对目标位置坐标得出坐标变化误差,进而将误差值传递给机器控制程序,然后计算机将需要瞄准的绝缘子位置信息反馈给冲洗机器人控制器,控制机器人关节运动,从而实现绝缘子水冲洗机器人的视觉伺服控制,从而实现水枪瞄准方向的修正,保证了绝缘子冲洗作业的准确性与稳定性。本发明方法具体如下:
步骤1:获取机器未喷水前定位绝缘子所在位置时的图像,获取在水雾或其他因素的影响下双目摄像头拍摄的受干扰图像。
机器未喷水前定位绝缘子所在位置时的图像是在机器人定位绝缘子位置并将水枪对准绝缘子且未喷水时所获取的图像,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子和目标绝缘子的位置参照物。
受干扰图像为在水雾或其他因素的影响下双目摄像头的拍摄图像受到干扰,对受到干扰的图像进行重定位,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子的位置参照物和水枪喷射出的水柱击中目标时的水柱。
步骤2:以目标绝缘子的位置参照物为原点建立坐标系,获取目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,以及受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标。
步骤3:将受干扰图像和机器未喷水前定位绝缘子所在位置时的图像中的目标绝缘子的位置参照物重合,利用坐标位置计算出位置坐标变化系数(Δx,Δy),位置坐标变化系数(Δx,Δy)的计算公式如下:
Δx=X1-X2,Δy=Y1-Y2
其中,(X1,Y1)为目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,(X2,Y2)为受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标。(X1,Y1)与(X2,Y2)都是以所述目标绝缘子的位置参照物为坐标原点(0,0),在各自所述图像中进行检测,根据坐标原点确定坐标位置。
步骤4:建立图像雅可比矩阵Jr,其描述了图像特征空间的变化率与机械臂末端速度之间的关系。图像雅可比矩阵Jr计算公式为:
其中,f为双目相机焦距。
利用计算所得到的(Δx,Δy)对目标在摄像机坐标系下的坐标(X,Y,Z)进行修正,得出修正后的新坐标(X',Y',Z'),修正后的新坐标(X',Y',Z')与目标在摄像机坐标系下的坐标(X,Y,Z)之间的关系如下所示:
X′=X+Δx,Y′=Y+Δy,Z′=Z
运用上述计算出的修正坐标(X',Y',Z')计算出图像雅可比矩阵Jr的系数,进而计算出冲洗装置两个转角角速度再通过控制***控制二自由度机械臂,该机械臂能够带动水枪水平和俯仰转动,从而实现绝缘子水冲洗机器人在视觉***受限状态下对目标的重新瞄准,保证了绝缘子水冲洗机器人的工作效率与准确性。
相对于传统的绝缘子水冲洗机器人缺少实现视觉***受限时重新定位的功能,存在功能不齐全且会降低工作效率的问题,本发明在原有结构的基础上进行改进创新,加入了全新的目标重定位方法(原理如图3所示),利用视觉***采集的图像,再进行坐标标定,通过计算出坐标误差并传递到计算机的控制程序当中进行误差修正,对以确认的坐标位置进行修改,实现了绝缘子水冲洗机器人视觉受限时的目标重定位,进而提高了水枪冲洗的准确性,保证了冲洗作业的高效性。
相对于传统的绝缘子水冲洗机器人,本发明通过从视觉***所拍摄的并向工业控制计算机实时传送图像数据中选取特定的图像数据,计算机通过程序对所选取图像进行分析检测,进行目标与参照物的位置坐标标定,并且与原有程序进行结合,将计算得出的坐标误差值输入,不断修正绝缘子的三维坐标,进而控制水冲洗机器人的移动,进而有效保证了机器人的自动化程度。
Claims (2)
1.一种绝缘子水冲洗机器人视觉受限重定位目标方法,其特征在于,包括以下步骤:
步骤1:获取机器未喷水前定位绝缘子所在位置时的图像,获取在水雾或其他因素的影响下双目摄像头拍摄的受干扰图像;
所述机器未喷水前定位绝缘子所在位置时的图像是在机器人定位绝缘子位置并将水枪对准绝缘子且未喷水时所获取的图像,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子和目标绝缘子的位置参照物;
所述受干扰图像为在水雾或其他因素的影响下双目摄像头的拍摄图像受到干扰,对受到干扰的图像进行重定位,即在此状态下从双目相机所拍摄的图像中选取一帧;该图像包括目标绝缘子的位置参照物和水枪喷射出的水柱击中目标时的水柱;
步骤2:以目标绝缘子的位置参照物为原点建立坐标系,获取目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,以及受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标;
步骤3:利用坐标位置计算出位置坐标变化系数(Δx,Δy),带入到目标绝缘子在摄像机坐标系下的坐标(X,Y,Z)中,进行坐标的修正,在此过程中只改变(X,Y)坐标;
步骤4:将修正过的位置坐标带入到雅克比矩阵中,进行计算,得到新的系数,从而修正机器的运动参数,进而重新定位目标;
所述雅克比矩阵Jr计算公式为:
其中,f为双目相机焦距;
利用计算所得到的(Δx,Δy)对目标在摄像机坐标系下的坐标(X,Y,Z)进行修正,得出修正后的新坐标(X′,Y′,Z′),修正后的新坐标(X′,Y′,Z′)与目标在摄像机坐标系下的坐标(X,Y,Z)之间的关系如下所示:
X′=X+Δx,Y′=Y+Δy,Z′=Z。
2.根据权利要求1所述的一种绝缘子水冲洗机器人视觉受限重定位目标方法,其特征在于,所述步骤3中,位置坐标变化系数(Δx,Δy)的计算公式如下:
Δx=X1-X2,Δy=Y1-Y2
其中,(X1,Y1)为目标绝缘子在机器未喷水前定位绝缘子所在位置时的图像上的位置坐标,(X2,Y2)为受干扰图像上水枪喷射出的水柱击中目标时的水柱中心位置坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210229632.XA CN114638883B (zh) | 2022-03-09 | 2022-03-09 | 一种绝缘子水冲洗机器人视觉受限重定位目标方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210229632.XA CN114638883B (zh) | 2022-03-09 | 2022-03-09 | 一种绝缘子水冲洗机器人视觉受限重定位目标方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114638883A CN114638883A (zh) | 2022-06-17 |
CN114638883B true CN114638883B (zh) | 2023-07-14 |
Family
ID=81947287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210229632.XA Active CN114638883B (zh) | 2022-03-09 | 2022-03-09 | 一种绝缘子水冲洗机器人视觉受限重定位目标方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114638883B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131149A (ja) * | 2011-12-22 | 2013-07-04 | Kawasaki Heavy Ind Ltd | パラメータ補正方法および制御システム |
CN105067484A (zh) * | 2015-07-22 | 2015-11-18 | 国网河南省电力公司濮阳供电公司 | 基于无人机的输电线路复合绝缘子憎水性带电测试装置 |
CN110587602A (zh) * | 2019-08-26 | 2019-12-20 | 青岛森科特智能仪器有限公司 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 |
CN111721259A (zh) * | 2020-06-24 | 2020-09-29 | 江苏科技大学 | 基于双目视觉的水下机器人回收定位方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354785B (zh) * | 2008-09-04 | 2011-07-06 | 湖南大学 | 一种冷凝器清洗机器人中的视觉精确定位方法 |
CN101359400B (zh) * | 2008-09-17 | 2010-06-23 | 湖南大学 | 一种基于视觉的管口空间位置定位方法 |
JP7003463B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
CN107767423B (zh) * | 2017-10-10 | 2019-12-06 | 大连理工大学 | 一种基于双目视觉的机械臂目标定位抓取方法 |
CN110909751B (zh) * | 2019-11-26 | 2022-09-02 | 长沙理工大学 | 用于变电站绝缘子清扫机器人的视觉识别方法、***及介质 |
CN111696060A (zh) * | 2020-06-08 | 2020-09-22 | 国网新疆电力有限公司乌鲁木齐供电公司 | 一种复合绝缘子憎水性带电在线监测方法与*** |
CN112966576B (zh) * | 2021-02-24 | 2022-09-16 | 西南交通大学 | 基于多光源图像的绝缘子水冲洗机器人瞄准***及方法 |
CN113145538B (zh) * | 2021-03-25 | 2024-05-14 | 中国科学技术大学 | 一种绝缘子清洗控制方法及*** |
CN113095168B (zh) * | 2021-03-25 | 2022-09-02 | 中国科学技术大学 | 用于辅助无人机进行绝缘子清洗的水流预测方法及*** |
CN113723389B (zh) * | 2021-08-30 | 2024-06-18 | 广东电网有限责任公司 | 一种支柱式绝缘子定位方法及装置 |
CN113933215B (zh) * | 2021-11-27 | 2023-09-12 | 中国南方电网有限责任公司超高压输电公司曲靖局 | 复合绝缘子憎水性检测***、方法、装置及存储介质 |
-
2022
- 2022-03-09 CN CN202210229632.XA patent/CN114638883B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013131149A (ja) * | 2011-12-22 | 2013-07-04 | Kawasaki Heavy Ind Ltd | パラメータ補正方法および制御システム |
CN105067484A (zh) * | 2015-07-22 | 2015-11-18 | 国网河南省电力公司濮阳供电公司 | 基于无人机的输电线路复合绝缘子憎水性带电测试装置 |
CN110587602A (zh) * | 2019-08-26 | 2019-12-20 | 青岛森科特智能仪器有限公司 | 一种基于三维视觉的鱼缸清洗机器人运动控制装置及控制方法 |
CN111721259A (zh) * | 2020-06-24 | 2020-09-29 | 江苏科技大学 | 基于双目视觉的水下机器人回收定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114638883A (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107685330B (zh) | 一种六自由度手腕偏置串联机器人的运动学逆解求解方法 | |
CN206263418U (zh) | 一种六自由度焊接机器人线激光实时焊缝跟踪*** | |
CN109719438B (zh) | 一种工业焊接机器人焊缝自动跟踪方法 | |
CN106426200B (zh) | 一种乒乓球机器人及其控制方法 | |
CN107971266B (zh) | 一种基于双机协同控制的变电站设备带电水冲洗机器人***及方法 | |
CN102806560B (zh) | 一种可自动消除机器人运动累积误差的方法 | |
CN108818536A (zh) | 一种机器人手眼标定的在线偏移修正方法及装置 | |
CN107650124A (zh) | 一种高压带电作业机器人高空作业平台及其卸载金具螺丝的方法 | |
CN202607049U (zh) | 一种带图像监控的轮式自主移动焊接机器人控制*** | |
KR101724458B1 (ko) | 로봇 티칭 보정 시스템, 및 로봇 티칭 보정 방법 | |
CN109292087A (zh) | 一种室外监控摄像机用无人机清洁***及其操控方法 | |
CN105537824B (zh) | 一种基于机械臂手眼协调自主焊接控制方法 | |
CN112007789A (zh) | 一种预制焊缝涂装机器人 | |
CN114638883B (zh) | 一种绝缘子水冲洗机器人视觉受限重定位目标方法 | |
CN108468256A (zh) | 一种铁路智能扣件安装机械臂及其扣件安装方法 | |
CN106777876A (zh) | 一种用于机器人的旋转电弧焊缝跟踪***信息处理方法 | |
CN205464812U (zh) | 一种可移动式的野外管道激光修复装置 | |
CN113274672A (zh) | 一种基于机器视觉的消防炮混合控制***及控制方法 | |
CN113448344A (zh) | 一种无人机二自由度喷管瞄准控制方法及装置 | |
CN107962016B (zh) | 一种自定位的变电站设备带电水冲洗机器人***及方法 | |
CN111590165B (zh) | 基于远程校正的船舶组立板焊接机器人及焊接方法 | |
CN107097225B (zh) | 机器人装置及其运动控制方法 | |
CN113799140A (zh) | 一种应用在复合机器人上的飞行视觉定位取料方法 | |
Shen | Research on virtual simulation design of ABB robot welding operation based on Robotstudio | |
CN112405488A (zh) | 基于力引导的异构型主从遥操作控制方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |