CN108858187B - 一种带电接搭引流线作业现场的快速重构方法 - Google Patents
一种带电接搭引流线作业现场的快速重构方法 Download PDFInfo
- Publication number
- CN108858187B CN108858187B CN201810557351.0A CN201810557351A CN108858187B CN 108858187 B CN108858187 B CN 108858187B CN 201810557351 A CN201810557351 A CN 201810557351A CN 108858187 B CN108858187 B CN 108858187B
- Authority
- CN
- China
- Prior art keywords
- wire
- coordinate system
- standard
- component
- live
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 40
- 239000012212 insulator Substances 0.000 claims abstract description 37
- 230000005540 biological transmission Effects 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 62
- 238000009434 installation Methods 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000005452 bending Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 7
- 238000012800 visualization Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Electric Cable Installation (AREA)
Abstract
本发明提出了一种接搭引流线作业现场的快速重构方法,首先建立带电接搭引流线标准作业现场参数数据库;以横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的原点坐标系为参考,建立各元器件的标准三维模型数据;搭建带电接搭引流线标准作业场;建立带电接搭引流线作业场景中横担、线夹的视觉测量坐标系,得到原点坐标系相对于它的齐次变换矩;利用附着安装于机械臂末端的双目相机,重构跌落式熔断器引流线和输电线的三维模型,测量带电接搭引流线作业现场中各个横担、线夹的实际位姿,修正、完善建立的带电接搭引流线标准作业场景模型,得到与实际现场吻合的重构场景。本方法构建的带电接搭引流线作业场景与真实现场相吻合,便于机器人进行相关作业操作。
Description
技术领域
本发明属于计算机技术领域,具体涉及一种带电接搭引流线作业现场的快速重构方 法。
背景技术
目前,我国带电接搭引流线作业任务主要以人工作业为主,存在风险高、效率低和培训成本高等问题,依靠现场重构技术,采用远程遥操作作业和机器人自主作业方式可 以很好规避人工带电接搭引流线作业存在的不足,也是目前机器人带电作业领域的研究 热点之一。如何为远程遥操作者和机器人自主作业控制平台提供实时可靠的接搭引流线 作业现场三维环境数据是急需解决的难点之一。
目前,三维现场重构方法主要是利用双目相机或激光传感器采集现场点云深度信息, 通过对点云信息的滤波、分割、分类以及识别等处理进而还原现场三维环境信息。带电接搭引流线作业现场元器件数量较多、元器件轮廓复杂且存在相互遮挡,若采用点云信 息进行重构,则传感器需绕场景旋转以采取多角度点云数据,随后对采集到的多角度点 云进行拼接和有效信息提取。此方法可以得到与实际现场基本吻合的三维点云场景,但 法算法复杂度高,计算量庞大,实时性弱;为了呈现元器件细节特征,需点云传感器有 较高精度,设备成本高。
虚拟现实技术可以构建内容丰富的虚拟场景并实现人机交互。针对如室内、车间、楼宇等场景,按照确定的几何信息建立三维模型后利用场景漫游技术,可以很好实现模 拟动画和仿真。虚拟场景一旦建立,使用时只用加载相应模型即可,速度快、效率高。 但在带电作业现场中,由于存在导线的弯曲、零部件安装位置的偏差等问题,构建的固 定的虚拟现实场景与实际现场往往存在一定差距,对于拆除线夹上的连接螺帽、线夹与 引流线的孔轴装配等过程来说,这个误差很可能导致作业失败。由于缺乏与实际现场的 数据交互,虚拟现实场景不能直接作为可靠的重构场景使用。
要实现带电接搭引流线任务的机器人安全自主作业和远程遥操作作业,对重构现场 的精度和实时性提出了较高的要求。针对具有非结构化特性的带电接搭引流线作业现场,如何兼顾重构场景的可靠性和重构速度是一个有待突破的问题。
发明内容
本发明的目的在于提供一种带电更换隔离刀闸作业场景的快速重构方法,以满足目 前带电作业机器人***在接搭引流线领域中的遥操作作业和自主作业两种方式下对现场重构过程的快速、可靠的需求。
实现本发明目的的技术解决方案为:
一种带电接搭引流线作业现场的快速重构方法,包括以下步骤:
步骤1、建立带电接搭引流线标准作业现场参数数据库:
接搭引流线标准作业现场参数数据库中数据应至少包括横担、杆塔、线夹、跌落式熔断器、引流线、输电线、拉线式绝缘子、避雷器以及抱箍的相关数据;指定带电接搭 引流线标准作业现场参数数据库中横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、 避雷器以及抱箍的原点坐标系;建立两元器件的原点坐标系之间标准相对安装位置数据 的齐次变换矩阵;
步骤2、构建带电接搭引流线标准三维模型数据库:以横担、杆塔、线夹、跌落式 熔断器、拉线式绝缘子、避雷器以及抱箍原点坐标系为参考,建立各元器件的标准三维 模型数据,构建带电接搭引流线标准三维模型数据库,将建模结果数据存储到带电接搭 引流线标准三维模型数据库中;
步骤3、搭建带电接搭引流线标准作业场景:将接搭引流线标准作业现场中元器件分为可靠器件、活动器件和随从器件三类,分别建立可靠元器件集合、活动元器件集合 以及随从元器件集合;
利用带电接搭引流线标准作业现场参数数据库中的标准相对安装位置参数和元器 件标准三维模型,搭建接搭引流线作业任务的标准作业现场三维场景;
步骤4、建立带电接搭引流线作业场景中横担、线夹的视觉测量坐标系,得到齐次变换矩:首先将横担、避雷器作为待测元器件,指定待测元器件对的测量坐标系;用齐 次变换矩阵来记录坐标系相对于坐标系的相对位姿关系;
步骤5、利用附着安装于机械臂末端的双目相机,重构跌落式熔断器引流线和输电线的三维模型,测量带电接搭引流线作业现场中各个横担、线夹的实际位姿,修正、完 善建立的带电接搭引流线标准作业场景模型,得到与实际现场吻合的重构场景。
本发明与现有技术相比,其显著优点:
(1)本发明提出建立带电接搭引流线标准作业现场参数数据库和带电接搭引流线标准三维模型数据库,便于对带电接搭引流线场景数据进行分类、存储和读取。
(2)本发明将把带电接搭引流线作业现场重构过程分为带电接搭引流线标准作业场景的搭建、基于双目视觉的电线重构和基于双目视觉的横担、线夹位姿修正三个部分,简化了重构过程,大幅提高了计算效率。
(3)本发明提出预先建立带电接搭引流线作业现场各元器件的标准三维模型数据, 可省去实时重构过程对环境中标准元器件三维模型数据的采集和处理过程,减少了对传 感器的依赖,可降低成本,加快重构速度。
(4)本发明提出依据带电接搭引流线标准三维模型数据库中各元器件标准三维模型数据和带电接搭引流线标准作业现场参数数据库中各元器件间的标准相对安装位置 数据,实现对带电接搭引流线标准作业场景的快速搭建。此步骤无需传感器参与,所需 数据只需到所建立的数据库中检索即可,可快速完成;标准作业场景的搭建按照带电作 业行业标准进行,可实现对带电接搭引流线作业现场的粗略描述。
(5)针对带电接搭引流线作业现场电线的重构过程,本发明提出利用双目相机测量作业现场中电线的中心线上的离散点的位置坐标,以多项式插值方式获取近似中心线轨迹,进而以等截面拉升算法计算得到电线的三维模型,可实现对电线三维模型的快速 精确重构。
(6)本发明针对带电接搭引流线作业现场元器件,设计了原点坐标系和测量坐标系的建立方案,便于双目相机实时测量作业现场中指定元器件的位姿(位置和姿态)信 息,以修正标准作业场景中对应元器件的位姿误差,保证了重构场景中元器件位姿与真 实作业现场相吻合。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为本发明的接搭引流线作业场景的快速重构方法的流程图。
图2为基于械臂的图像采集***示意图。
图3为本发明***数据库结构框图。
图4为接搭引流线实施例中线夹标准三维模型图。
图5为接搭引流线实施例中横担标准三维模型图。
图6为接搭引流线实施例中杆塔标准三维模型图。
图7为接搭引流线实施例中拉线式绝缘子标准三维模型图
图8为接搭引流线实施例中跌落式熔断器标准三维模型图
图9为接搭引流线实施例中避雷器标准三维模型图
图10为接搭引流线实施例中标准作业现场三维场景图。
图11(a-b)分别为电线的中心线上离散点获取和连续化示意图。
图12为重构的电线三维模型示意图。
图13为接搭引流线实施例中作业现场重构结果图。
具体实施方式
为了说明本发明的技术方案及技术目的,下面结合附图及具体实施例对本发明做进 一步的介绍。
结合图2,本发明的基于械臂的图像采集***,包括六自由度机械臂、以及通过支架固定在机械臂末端的双目摄像机;通过支架,可保证双目相机之间位置固定且相机随 机械臂末端一起运动;通过控制机械臂的运动,调整双目摄像机的三维位置和姿态,实 现对双目摄像机视野的调整。
结合图1,本发明提出一种带电作业机器人***接搭引流线作业场景的快速重构方 法,包括以下步骤:
步骤1、建立带电接搭引流线标准作业现场参数数据库。
步骤1.1、建立带电接搭引流线标准作业现场参数数据库,存储作业现场中9类元器 件的编号、对应的标准外形尺寸数据以及对应的标准相对安装位置数据。
接搭引流线标准作业现场参数数据库中数据应至少包括9类元器件的相关数据。9类 元器件分别为:横担、杆塔、线夹、跌落式熔断器、引流线、输电线、拉线式绝缘子、 避雷器以及抱箍;9类元器件的相关数据的数据包括:上述各个元器件标准外形尺寸数 据;接搭引流线标准作业场景中横担与杆塔之间标准相对安装位置数据、横担与跌落式 熔断器之间标准相对安装位置数据、横担与横担之间相对安装位置数据、拉线式绝缘子 与横担之间标准相对安装位置数据、抱箍与杆塔之间标准相对安装位置数据、避雷器与 抱箍之间标准相对安装数据、线夹与杆塔之间标准相对安装数据;
为每个元器件指定唯一的全局索引编号i(i为自然数),例如数据库中输入1即对应第 一个元器件,输入i,即对应第i个元器件;
步骤1.2、指定带电接搭引流线标准作业现场参数数据库中横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的原点坐标系。
带电接搭引流线标准作业现场中元器件包括横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍各多个,各个元器件编号记为i。按照右手坐标系原则, 为全局索引编号为i的元器件建立原点坐标wobj(i),作为建立其标准三维模型以及描述 与其它元器件之间标准相对安装位置的参考坐标系。
步骤2、建立横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍 的标准三维模型数据,构建带电接搭引流线标准三维模型数据库。结合步骤1***整体 数据库结构如图3。
根据步骤1中带电接搭引流线标准作业现场参数数据库中信息,需要建立横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的标准三维模型数据。以步 骤1.2指定的原点坐标系为参考,建立各个元器件的标准三维模型,将建模结果数据存 储到带电接搭引流线标准三维模型数据库中。
步骤3、对元器件进行分类管理,搭建带电接搭引流线标准作业场景:
利用步骤1中带电接搭引流线标准作业现场参数数据库中的标准相对安装位置参数 和步骤2中建立的元器件标准三维模型,搭建接搭引流线作业任务的标准作业现场三维场景,完成重构过程中的标准作业场景的搭建。
3.1、将接搭引流线作业任务现场中元器件分为可靠器件、活动器件和随从器件三类;
本发明将重构现场元器件分为可靠元器件、活动元器件和随从元器件三类,分别建 立可靠元器件集合、活动元器件集合以及随从元器件集合用于将场景中各元器件分为上 述三类,以标识重构场景中器件位姿与实际现场吻合的可靠性,便于动态修正非结构化误差。
其中,重构场景中可靠元器件是指这个元器件的位姿数据已经通过双目相机的测量 结果进行调整了,与实际现场数据一致;活动元器件指这个元器件正在或即将进行双目相机测量,以修正与实际现场的位姿误差;随从元器件指这个元器件的位姿数据将不进 行双目视觉测量修正。
3.2、读入横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的标准三维模型和它们之间标准相对安装位置数据,搭建带电接搭引流线标准作业场景。
带电接搭引流线标准作业现场参数数据库中可检索到作业现场元器件包括横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍7类各多个,各个元器件 的编号i以及元器件之间的标准相对安装位置带电接搭引流线标准三维模型数据库中 可检索到全局索引编号为i的元器件的标准三维模型数据。
带电接搭引流线作业场景中对位姿数据精度有要求的元器件包括横担、避雷器各多 个,将它们作为待测元器件。指定附着于待测元器件的测量坐标系wr_obj(i)(i为零件的全 局编号),该坐标系固定在元器件上。wr_obj(i)和步骤2中建立的wobj(i)均由人为指定,两坐标系之间的相对位姿关系固定且已知,用齐次变换矩阵来记录坐标系wobj(i)相对于坐标系wr_obj(i)的相对位姿关系。
步骤5、利用附着安装于机械臂末端的双目相机,重构跌落式熔断器引流线和输电线的三维模型,测量带电接搭引流线作业现场中各个横担、线夹的实际位姿,修正、完 善步骤3中建立的带电接搭引流线标准作业场景模型,得到与实际现场吻合的重构场景。
由于步骤3中建立的带电接搭引流线标准作业场景与实际场景相比,首先,缺少电线元素;其次,实际安装过程中存在的人为等因素造成的安装误差,致使重构得到的带 电接搭引流线标准作业场景与实际现场有较大差距,故需要对标准作业场景进行完善和 修正,具体过程包括基于双目视觉的跌落式熔断器引流线和输电线(以下合称为电线) 的重构和场景中各个横担、线夹实际安装位姿与标准安装位姿误差的修正两个过程。主 要包括以下步骤:
具体步骤如下:
5.2、针对每一根电线,利用双目相机测量带电接搭引流线作业现场中电线的中心线 轨迹,重构电线三维模型。主要包括以下步骤:
5.2.1、调取步骤1建立的带电接搭引流线标准作业现场参数数据库,确定当前带电 接搭引流线作业现场中电线的横截面外径。
5.2.2、标定双目相机:通过立体匹配算法实现双目测距。通过标定,消除图像畸变并得到相机的内外参数矩阵;通过立体匹配算法,建立左右目像素点的匹配关系,实现 测距。
5.2.3、控制机械臂运动,调整相机的位置和姿态使需要测量的电线轮廓保持在双目 相机视野中。
5.2.4、利用电线特征(颜色)提取图像中线的轮廓。
5.2.5、获取电线的中心线上的离散点相对相机坐标的三维位置坐标。
将电线轮廓边缘进行分段,找出每段轮廓外边缘的法向量方向,法向量与轮廓边缘 线的两个交点连线的中点即在线的中心线上;通过双目匹配算法找到左右目中对应的中 心线上点的像素点,得到电线的中心线上的单个离散点的三维坐标,记为:
m表示第几个点,xm、ym、zm分别标识第m个点的x、y、z坐标,Pr(m)表示第m个 点相对于相机坐标的位置坐标。
5.2.6、利用步骤5.1中得到的相机坐标系到机械臂基座坐标系的转化计算方程将以相机坐标系下的电线中心线上离散点位置坐标转换到机器臂基坐标系下,结果记为Pb(m),其中m含义与步骤5.2.5中相同,电线的中心线离散点求取示 意图如图11(a)。
5.2.7、利用多项式插值方法拟合步骤5.2.6中得到的离散的中心线上点,得到连续的 电线中心线轨迹。电线的中心线连续轨迹示意图如图11(b)。
5.2.8、利用步骤5.2.1中获取的电线横截面外径数据,通过等截面曲线拉伸算法计算 得到实际现场中电线的三维模型数据,完成对实际现场电线的三维重构工作,将电线的 重构模型加入可靠零件集合,电线的重构三维模型示意图如图10。
5.3、利用双目相机测量信息,修正带电接搭引流线标准作业场景中各个横担、线夹 的位姿数据,完成场景的重构,具体包括以下步骤:
5.3.1、将线夹、横担从随从元器件集合剔除,加入到活动元器件集合中;随从元器件集合中包括杆塔、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍各多个;可靠元器 件集合中包括跌落式熔断器引流线以及输电线各多。
其中随从元器件集合中元器件全局编号用字母k表示,活动元器件集合中元器件全 局编号用字母n表示,可靠元器件集合中元器件全局编号用字母f表示,值得说明的是k、n、f的意义与步骤1中定义的全局编号i意义相同,此处使用不同字母目的在于指定 明元器件所处的集合。
5.3.2、针对活动元器件集合中的每一个线夹和横担,依次根据双目相机测量结果, 修正其在带电接搭引流线标准作业场景中的实际位姿,并加入可靠元器件集合。
根据双目相机测量结果,可得零件测量坐标系wr_obj(n)到相机坐标系的变换矩阵根据步骤5.1得到的相机坐标系到机械臂基座坐标变换矩阵和步骤4建立的零 件测量坐标系到三维模型原点坐标系之间的变换矩阵可推到出:
用上述计算结果更新编号n的元器件相对机械臂基座的位置按照指定的位姿关系,调整重构场景中元器件n的位姿;调整完成后,将c_obj从活动元器件集 合剔除,加入可靠元器件集合中,此时,用字母f表示该元器件的全局编号,有f=n。
5.3.3、针对随从元器件集合中的每一个杆塔、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍,依据步骤1中定义的矩阵,更新其以可靠元器件集合各元器件的新位姿 参数为参考时,相对机械臂基座坐标系的新的位姿矩阵。
5.3.4针对随从元器件集合中的每一个杆塔、跌落式熔断器、拉线式绝缘子、避雷器 以及抱箍,找到可靠元器件集合中与随从元器件集合中全局编号为k的元器件有相对安装位置关系的元器件,假设它们的标号为f1~fH,共H个,加权平均步骤5.3.3中得到的 位姿矩阵得到优化的随从零件k的最终位姿矩阵为
具体的计算过程为:针对可靠元器件集合,找出所有与随从元器件集合中全局编号 为k的元器件有相对安装位置关系的元器件,假设它们的标号为f1~fH,共H个。则, 随从元器件中k元器件相对于机械臂基座坐标系的最终位姿矩阵为:
完成计算,得到与真实现场吻合的带电接搭引流线重构场景。
步骤6、当需要再次利用双目相机测量数据修正相关器件位姿时,将可靠元器件集合中或随从元器件集合中相应元器件从所在集合中剔除并加入活动元器件集合中,设置其为活动元器件,重复步骤5.3.2到步骤5.3.4,完成再次修正。
实施例:
本实施例选取了某电网10KV配输电线路中杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及横担作为建模示例。以某电网10KV配输电线路带电接搭引流线作业 任务的现场重构作为具体实施例进行详细说明。
步骤1、建立带电接搭引流线标准作业现场参数数据库。
步骤1.1、建立带电接搭引流线标准作业现场参数数据库,存储作业现场中9类元器件的编号、对应的标准外形尺寸数据以及对应的标准相对安装位置数据。
例如针对本实施例某电网10KV配电线路接搭引流线作业任务的现场重构,具体包括的元器件为:杆塔1根、横担2个、线夹3个、跌落式熔断器3个、拉线式绝缘子6 个、抱箍1个、避雷器1个、引流线3根、输电线3根,指定它们的全局编号依次为1-23, 元器件与对应的全局编号如表1所示。存储数据还包括各个元器件的标准外形尺寸数据 以及它们之间的标准相对安装位置数据。需要说明的是,此处元器件的种类和个数根据 实际情况不同进行相应调整,而非仅限于上述情景。
表1本实施例中元器件与对应的全局编号
步骤1.2、指定带电接搭引流线标准作业现场参数数据库中横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的原点坐标系。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,线夹、横担、杆塔、拉线式绝缘子、跌落式熔断器以及避雷器各自的原点坐标系wobj(i)的位置和方向 选择如图4至图9。图4中线夹原点坐标系位置确定在套筒端面的圆心处,该套筒与输电 线相配合,z轴方向竖直向上,x、y轴方向分别平行于线夹螺纹连接基座的两垂直边; 图5中横担原点坐标系位置确定在横担下端面上孔的圆心处,该孔与杆塔相配合,z轴方 向平行于孔轴线方向,x、y轴方向分别平行于横担的两垂直边;图6中杆塔原点坐标系 位置确定在杆塔底面的圆心处,z轴方向平行于杆塔轴线方向,杆塔是一个对称元器件, x、y轴方向选择保证满足右手坐标系原则即可;图7中拉线式绝缘子原点坐标系位置确 定在端部长方形槽的中心,x轴方向平行于绝缘子轴线方向,y、z轴方向分别平行于槽 的两边;图8中跌落式熔断器原点坐标系位置确定在跌落式熔断器基座的下端面上孔的 圆心处,该孔与横担上孔相配合,z轴方向平行于孔轴线方向,x、y轴方向分别平行于 跌落式熔断与横担连接的凸台的两垂直边;图9中避雷器原点坐标系位置确定在避雷器 主体端面圆心处,z轴方向平行于避雷器轴线方向,x、y轴按照右手坐标系准则选择即 可,无特定要求。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,数据单位默认为毫米(mm)、千克(kg)、牛顿(N)、秒(s)。横担1与杆塔的标准相对安装位置数据的 齐次变换矩阵记为根据步骤1.1标准作业现场参数数据库中数据,两元器件间默认 没有相对旋转,横担1原点坐标系wobj(2)相对于杆塔原点坐标系wobj(1),x、y、z方向 偏移距离分别为0mm、0mm、13500mm,可得:
横担2与横担1的齐次变换矩阵记为根据步骤1.1标准作业现场参数数据库中数据,两元器件间默认没有相对旋转,横担2原点坐标系wobj(3)相对于横担1原点坐标 系wobj(2),x、y、z方向偏移距离分别为0mm、0mm、1450mm,可得:
跌落式熔断器1与横担1的齐次变换矩阵记为为根据步骤1.1标准作业现场参数数据库中数据,两元器件间默认没有相对旋转,跌落式熔断器1原点坐标系wobj(7)相 对于横担1原点坐标系wobj(2),x、y、z方向偏移距离分别为-160mm、980mm、65mm, 可得:
同理可得,拉线式绝缘1与横担2的齐次变换矩阵为:
步骤2、建立横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍 的标准三维模型数据,构建带电接搭引流线标准三维模型数据库。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,采用SolidWorks软件建立各个元器件的标准三维模型,为了保证模型数据的兼容性,将模型 存储为.stl文件格式。部分模型结果如图4至图9。其中,图4为线夹标准三维模型数据 的可视化结果;图5为横担标准三维模型数据的可视化结果;图6为杆塔标准三维模型 数据的可视化结果;图7为拉线式绝缘子标准三维模型数据的可视化结果;图8为跌落 式熔断器标准三维模型可视化结果;图9为避雷器标准三维模型可视化结果。将建模结 果数据存储到带电更换避雷器标准三维模型数据库中。
步骤3、对元器件进行分类管理,搭建带电接搭引流线标准作业场景
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,根据接搭引流线作业任务要求,利用步骤1中获得的标准作业现场参数数据库中的标准相对安装位 置参数和步骤2中建立的元器件标准三维模型,搭建与作业任务对应的标准作业现场三 维场景,完成重构过程中的标准作业场景的搭建。具体包括如下步骤:
3.1、将接搭引流线作业任务现场中元器件分为可靠器件、活动器件和随从器件三类;
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,将重构现场元器件分为可靠元器件、活动元器件和随从元器件三类,建立可靠元器件集合、活动元 器件集合以及随从元器件集合。
3.2、读入横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的标准三维模型和它们之间标准相对安装位置数据,搭建带电接搭引流线标准作业场景。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,以接搭引流线作业任务来构建作业场景,从步骤2中建立的元器件的标准三维模型数据库中提取相 对的三维模型数据,具体元器件包括1根杆塔、2个横担、3个线夹、3个跌落式熔断器、 6个拉线式绝缘子、1个抱箍、1个避雷器,全局索引号分别为表1中1~17,将它们全 部归入随从元器件集合,此时可靠元器件集合和活动元器件集合均为空。
根据建立的标准作业现场参数数据库中标准相对安装位置数据和标准三维模型数 据库中对应元器件的标准三维模型数据,读入表1中1~17号元器件的标准三维模型数 据,并根据确定元器件间的相对位姿关系,即可完成接搭引流线标准作业场景的搭建。 首先读入元器件1即杆塔模型,作为第一个元器件,设定其wobj(1)为整个场景的原点,x、y、z坐标都置为0,由此确定元器件1在重构场景中的位姿;接着读入元器件2即 横担1,由步骤1.3中建立的可确定元器件2在重构场景中的位姿;读入元器件3即 横担2,由步骤1.3中建立的可确定元器件3在重构场景中的位姿;读入元器件7即 跌落式熔断器1,由步骤1.3中建立的可确定元器件7在重构场景中的位姿;读入元 器件10即拉线式绝缘子1,由步骤1.3中建立的可确定元器件10在重构场景中的位 姿;其余元器件做相同操作即可完成标准作业场景的搭建。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,标准作业场景的搭建结果如图10所示,其中元器件的编号与表1中编号相对应。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,首先确定场景中对位姿数据精度有要求的元器件,建立附着于元器件的测量坐标系wr_obj(i)(i为零件的全局编号),本实施例中对精度有要求的元器件包括:2根横担、3个线夹。wr_obj(i)和 步骤2中建立的三维模型原点坐标系Wobj(i)均由人为指定,两坐标系之间的相对位姿关 系固定且已知,用齐次变换矩阵来记录坐标系Wobj(i)相对于坐标系wr_obj(i)的相对位 姿关系。如:对元器件2即横担1,其表示wobj(2)相对于Wr_obj(2) 没有姿态变化,在x、y、z方向的偏移距离分别为120mm、-1040mm和-65mm;对元器件 4即线夹1,其表示Wobj(4)相对于wr_obj(4)没有姿态变化,在x、 y、z方向的偏移距离分别为-26mm、0mm和102mm。
部分元器件wr_obj(i)的选择结果如图4-9。图4线夹wr_obj(i)方向与原点坐标系wobj(i) 相同,原点位置位于线夹下螺帽的端面中心处,该螺帽用于连接线夹的上下两端;图5中横担wr_obj(i)方向与原点坐标系wobj(i)相同,原点位置位于横担端面的弯折点处;图6 中杆塔wr_obj(i)方向与原点坐标系wobj(i)相同,原点位置位于杆塔顶部的圆心处;图7中 拉线式绝缘子wr_orj(i)方向与原点坐标系wobj(i)相同,原点位置位于第一个绝缘块端面的 圆心处;图8跌落式熔断器wr_obj(i)z轴方向沿熔断器绝缘柱轴线方向,x轴方向沿熔断 器支架方向,原点位置位于跌落式熔断器绝缘柱端面的圆心处;图9避雷器wr_obj(i)方 向与原点坐标系wobj(i)相同,原点位置位于避雷器端面中心处。
步骤5、利用附着安装于机械臂末端的双目相机,重构跌落式熔断器引流线和输电线的三维模型,带电接搭引流线作业现场中各个横担、线夹的实际位姿,修正、完善步 骤3中建立的带电接搭引流线标准作业场景模型,得到与实际现场吻合的重构场景。 本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,包括以下步骤:
5.1、获取双目相机坐标系到机械臂基座坐标系的变换矩阵得到相机坐标系下零 件的测量坐标系wr_obj(i)到机械臂基座坐标系下的变换方程其中为 元器件i测量坐标系wr_obj(i)相对机械臂基座的位姿变换矩阵,为元器件i测量坐标系 wr_obj(i)相对机械臂末端坐标系的位姿变换矩阵。具体步骤如下:
5.2、针对每一根跌落式熔断器引流线和输电线(以下合称电线),利用双目相机测量带电接搭引流线作业现场中电线的中心线轨迹,重构电线三维模型。主要包括以下步骤:
5.2.1、调取步骤1建立的带电接搭引流线标准作业现场参数数据库,确定当前带电 接搭引流线作业现场中电线的横截面外径。本实施例中,3根引流线的直径均为16mm, 3根输电线的直径为21mm。
5.2.2、标定双目相机,设计立体匹配算法实现双目测距。
5.2.3、控制机械臂运动,调整相机的位置和姿态使需要测量的电线轮廓保持在双目 相机视野中。
5.2.4、利用电线特征(颜色)提取图像中线的轮廓。
5.2.5、获取电线的中心线上的离散点相对相机坐标的三维位置坐标。
5.2.6、利用步骤5.1中得到的相机坐标系到机械臂基座坐标系的转化计算方程将以 相机坐标系下的电线中心线上离散点位置坐标转换到机器臂基坐标系下,计算结果示意 图如图11(a)
5.2.7、利用多项式插值方法拟合步骤5.2.6中得到的离散的中心线上点,得到连续的 电线中心线轨迹,计算结果示意图如图11(b)
5.2.8、利用步骤5.2.1中获取的直径数据,确定圆形横截面的尺寸,通过等截面曲线 拉伸算法计算得到实际现场中线的三维模型数据,完成对实际现场电线的重构工作,将电线的重构模型加入可靠零件集合,重构结果示意图如图12
5.3、利用双目相机测量信息,修正带电接搭引流线标准作业场景中各个横担、线夹 的位姿数据,完成场景的重构,具体包括以下步骤:
5.3.1、将线夹、横担从随从元器件集合剔除,加入到活动元器件集合中;随从元器件集合中包括杆塔、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍各多个;可靠元器 件集合中包括跌落式熔断器引流线以及输电线各多。
本实施例某电网10KV配输电线路接搭引流线作业任务的现场重构中,将3个线夹、2个横担从随从元器件集合中剔除,加入到活动元器件集合中。此时,随从元器件集合 中元器件为1根杆塔、3个跌落式熔断器、6个拉线式绝缘子、1个抱箍以及1个避雷器, 它们的全局编号用字母k表示;活动元器件集合中元器件全局编号用字母n表示;可靠 元器件集合中元器件为3根引流线和3根输电线,它们的全局编号用字母f表示。值得 说明的是k、n、f的意义与步骤1中定义的全局编号i意义相同,此处使用不同字母目 的在于指明元器件所处的集合。
5.3.2、针对活动元器件集合中的每一个线夹和横担,依次根据双目相机测量结果, 修正其在带电接搭引流线标准作业场景中的实际位姿,并加入可靠元器件集合。
根据双目相机测量结果,可得c_obj线夹1测量坐标系wr_obj(4)到相机坐标系的变换 矩阵根据步骤5.1得到的相机坐标系到机械臂基座坐标变换矩阵和步骤4建立的零件测量坐标系到三维模型原点坐标系之间的变换矩阵可推导出:
5.3.3、针对随从元器件集合中的每一个杆塔、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍,依据步骤1中定义的矩阵,更新其以可靠元器件集合各元器件的新位姿 参数为参考时,相对机械臂基座坐标系的新的位姿矩阵。
5.3.4针对随从元器件集合中的每一个杆塔、跌落式熔断器、拉线式绝缘子、避雷器 以及抱箍,找到可靠元器件集合中与随从元器件集合中全局编号为k的元器件有相对安装位置关系的元器件,假设它们的标号为f1~fH,共H个,加权平均步骤5.3.3中得到的 位姿矩阵得到优化的随从零件k的最终位姿矩阵为
本实施例某电网10KV配输电线路更换隔离刀闸作业任务的现场重构中,如针对随从元器件集合中跌落式熔断器1,则k=7。可靠元器件集合中与跌落式熔断器1有相对 安装位置关系的元器件为横担1(f1=2)、横担2(f2=3),共2个元器件,则随从元器件中跌 落式熔断器1(k=7)相对于机械臂基座坐标系的最终位姿矩阵为:
对随从元器件集中其它元器件进行相同操作,不再赘述。
完成计算,得到与真实现场吻合的带电接搭引流线重构场景,如图13所示。
步骤6、当需要再次利用双目相机测量数据修正相关器件位姿时,将可靠元器件集合中或随从元器件集合中相应元器件从所在集合中剔除并加入活动元器件集合中,设置其为活动元器件,重复步骤5.3.2到步骤5.3.4,完成再次修正。
Claims (4)
1.一种带电接搭引流线作业现场的快速重构方法,其特征在于,包括以下步骤:
步骤1、建立带电接搭引流线标准作业现场参数数据库:
接搭引流线标准作业现场参数数据库中数据包括横担、杆塔、线夹、跌落式熔断器、引流线、输电线、拉线式绝缘子、避雷器以及抱箍的相关数据;指定带电接搭引流线标准作业现场参数数据库中横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的原点坐标系;建立两元器件的原点坐标系之间标准相对安装位置数据的齐次变换矩阵;
线夹原点坐标系位置确定在套筒端面的圆心处,该套筒与输电线相配合,z轴方向竖直向上,x、y轴方向分别平行于线夹螺纹连接基座的两垂直边;横担原点坐标系位置确定在横担下端面上孔的圆心处,该孔与杆塔相配合,z轴方向平行于孔轴线方向,x、y轴方向分别平行于横担的两垂直边;
步骤2、构建带电接搭引流线标准三维模型数据库:以横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍原点坐标系为参考,建立各元器件的标准三维模型数据,构建带电接搭引流线标准三维模型数据库,将建模结果数据存储到带电接搭引流线标准三维模型数据库中;
步骤3、搭建带电接搭引流线标准作业场景:将接搭引流线标准作业现场中元器件分为可靠器件、活动器件和随从器件三类,分别建立可靠元器件集合、活动元器件集合以及随从元器件集合;
利用带电接搭引流线标准作业现场参数数据库中的标准相对安装位置参数和元器件标准三维模型,搭建接搭引流线作业任务的标准作业现场三维场景;
步骤4、建立带电接搭引流线作业场景中横担、线夹的视觉测量坐标系,得到原点坐标系相对于测量坐标系的齐次变换矩:首先将横担、线夹作为待测元器件,指定待测元器件对的测量坐标系;用齐次变换矩阵来记录原点坐标系相对于测量坐标系的位姿关系;
线夹测量坐标系wr_obj(i)方向与原点坐标系wobj(i)相同,原点位置位于线夹下螺帽的端面中心处,该螺帽用于连接线夹的上下两端;横担测量坐标系wr_obj(i)方向与原点坐标系wobj(i)相同,原点位置位于横担端面的弯折点处
步骤5、利用附着安装于机械臂末端的双目相机,重构跌落式熔断器引流线和输电线的三维模型,测量带电接搭引流线作业现场中各个横担、线夹的实际位姿,修正、完善建立的带电接搭引流线标准作业场景模型,得到与实际现场吻合的重构场景,具体包括以下步骤:
5.2、针对每一根电线,利用双目相机测量带电接搭引流线作业现场中电线的中心线轨迹,重构电线三维模型;
5.2.1、调取带电接搭引流线标准作业现场参数数据库,确定当前带电接搭引流线作业现场中电线的横截面外径;
5.2.2、标定双目相机,利用匹配算法实现测距;
5.2.3、控制机械臂运动,调整相机的位置和姿态使需要测量的电线轮廓保持在双目相机视野中;
5.2.4、利用电线特征提取图像中线的轮廓;
5.2.5、获取电线的中心线上的离散点相对相机坐标的三维位置坐标;
找到左右目中对应的中心线上点的像素点,得到电线的中心线上的单个离散点的三维坐标,记为:
m表示第几个点,xm、ym、zm分别标识第m个点的x、y、z坐标,Pr(m)表示第m个点相对于相机坐标的位置坐标;
5.2.7、利用多项式插值方法拟合离散的中心线上点,得到连续的电线中心线轨迹;
5.2.8、利用步骤5.2.1中获取的直径数据,通过等截面曲线拉伸算法计算得到实际现场中电线的三维模型数据,完成对实际现场电线的重构;
5.3、利用双目相机测量信息,修正带电接搭引流线标准作业场景中各个横担、线夹的位姿数据,完成场景的重构;
5.3.1、将线夹、横担从随从元器件集合剔除,加入到活动元器件集合中;
5.3.2、针对活动元器件集合中的每一个线夹和横担,依次根据双目相机测量结果,修正其在带电接搭引流线标准作业场景中的实际位姿,并加入可靠元器件集合;
标注当前测量的活动元器件为c_obi,全局编号为n;根据双目相机测量结果修正活动元器件c_obi三维模型原点坐标系wobj(n)相对于零件测量坐标系到三维模型原点坐标系之间的变换矩阵可得编号n的元器件相对机械臂基座的位置
5.3.3、针对随从元器件集合中的每一个杆塔、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍,找到可靠元器件集合中与随从元器件集合中全局编号为k的元器件有相对安装位置关系的元器件,设它们的标号为f1~fH,共H个;随从元器件中k元器件相对于机械臂基座坐标系的最终位姿矩阵为:
完成计算,得到与真实现场吻合的重构场景。
2.根据权利要求1所述的一种带电接搭引流线作业现场的快速重构方法,其特征在于,步骤1带电接搭引流线标准作业现场参数数据库,具体包括以下步骤:
步骤1.1、建立带电接搭引流线标准作业现场参数数据库,为每个元器件指定唯一的全局索引标号i;
步骤1.2、指定带电接搭引流线标准作业现场参数数据库中横担、杆塔、线夹、跌落式熔断器、拉线式绝缘子、避雷器以及抱箍的原点坐标系;第i各元器件的原点坐标为wobj(i);
4.根据权利要求1所述的一种带电接搭引流线作业现场的快速重构方法,其特征在于,还包括步骤6修正相关器件位姿,将可靠元器件集合中或随从元器件集合中相应元器件从所在集合中剔除并加入活动元器件集合中,设置其为活动元器件,重复步骤5.3.2到步骤5.3.3,完成再次修正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810557351.0A CN108858187B (zh) | 2018-06-01 | 2018-06-01 | 一种带电接搭引流线作业现场的快速重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810557351.0A CN108858187B (zh) | 2018-06-01 | 2018-06-01 | 一种带电接搭引流线作业现场的快速重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108858187A CN108858187A (zh) | 2018-11-23 |
CN108858187B true CN108858187B (zh) | 2021-12-28 |
Family
ID=64335116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810557351.0A Active CN108858187B (zh) | 2018-06-01 | 2018-06-01 | 一种带电接搭引流线作业现场的快速重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108858187B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110587600B (zh) * | 2019-08-20 | 2022-04-19 | 南京理工大学 | 基于点云的带电作业机器人自主路径规划方法 |
CN113708290B (zh) * | 2021-08-25 | 2023-05-30 | 广东电网有限责任公司广州供电局 | 带电作业机器人引流线穿线控制方法、装置及机器人终端 |
CN114434123B (zh) * | 2022-02-24 | 2022-11-01 | 亿嘉和科技股份有限公司 | 一种空中线夹的机械臂定位拆卸方法、装置及存储介质 |
CN114937110B (zh) * | 2022-05-31 | 2024-04-12 | 国网北京市电力公司 | 一种gpu加速的引流线建模方法、***、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102385657B (zh) * | 2011-11-18 | 2013-02-27 | 铁道第三勘察设计院集团有限公司 | 虚拟现实环境下高速铁路路基三维参数化建模方法 |
CN105530502B (zh) * | 2014-09-28 | 2018-05-22 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
CN104715479A (zh) * | 2015-03-06 | 2015-06-17 | 上海交通大学 | 基于增强虚拟的场景复现检测方法 |
CN104807449A (zh) * | 2015-04-29 | 2015-07-29 | 国家电网公司 | 一种基于立体摄影测量的输电线路交叉跨越测量*** |
CN105160672A (zh) * | 2015-08-31 | 2015-12-16 | 国网山东省电力公司淄博供电公司 | 基于现场照片三维重构入侵识别的输电线路防外破方法 |
US20170058858A1 (en) * | 2015-09-01 | 2017-03-02 | Robert David Moose | MagnaFloat device generating clean electricity by using gravity, buoyancy, speed manipulation procedures and by passing magnets through inductors |
EP3178617B1 (en) * | 2015-12-11 | 2022-11-02 | Tata Consultancy Services Ltd. | Hybrid reality based i-bot navigation and control |
CN109863754B (zh) * | 2016-06-07 | 2021-12-28 | 维斯比特股份有限公司 | 用于直播流化的虚拟现实360度视频相机*** |
-
2018
- 2018-06-01 CN CN201810557351.0A patent/CN108858187B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN108858187A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108988197B (zh) | 一种带电作业机器人***带电作业现场的快速重构方法 | |
CN108858187B (zh) | 一种带电接搭引流线作业现场的快速重构方法 | |
CN110587600B (zh) | 基于点云的带电作业机器人自主路径规划方法 | |
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN108875164B (zh) | 一种带电更换跌落式熔断器作业场景的快速重构方法 | |
CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及*** | |
CN111241615A (zh) | 一种高度真实感的变电站多源融合三维建模方法 | |
CN109366472A (zh) | 机器人的物品放置方法、装置、计算机设备及存储介质 | |
CN106595762A (zh) | 一种带电作业机器人耐张绝缘子检测方法 | |
CN107507133B (zh) | 一种基于圆管作业机器人的实时图像拼接方法 | |
CN106848943B (zh) | 电缆终端头的加工过程展示方法、***以及加工方法 | |
CN111504195A (zh) | 基于激光点云的电力基建验收方法及装置 | |
CN114372916A (zh) | 一种自动化点云拼接方法 | |
CN112102490B (zh) | 一种用于变电站三维模型的建模方法 | |
CN112070835B (zh) | 机械臂位姿预测方法、装置、存储介质及电子设备 | |
CN116188714B (zh) | 基于虚幻引擎的地理空间坐标处理方法 | |
CN108920517B (zh) | 一种带电更换隔离刀闸作业场景的快速重构方法 | |
CN108808547B (zh) | 一种带电更换避雷器作业现场的快速重构方法 | |
CN116476070A (zh) | 大型筒件局部特征机器人扫描测量路径调整方法 | |
CN112948946B (zh) | 一种基于杆塔模型的杆塔数据处理方法、装置、设备和存储介质 | |
CN111862309A (zh) | 一种地理位置三维建模***及其方法 | |
CN117455984B (zh) | 随臂式相机采集点的确定方法及装置 | |
Zhang et al. | Application of augmented reality in satellite cable network assembly | |
CN111474935B (zh) | 一种移动机器人路径规划和定位方法、装置及*** | |
CN113538490B (zh) | 视频流处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |