CN113021082B - 一种基于遥操作及全景视觉的机器人铸件打磨方法 - Google Patents

一种基于遥操作及全景视觉的机器人铸件打磨方法 Download PDF

Info

Publication number
CN113021082B
CN113021082B CN201911346270.7A CN201911346270A CN113021082B CN 113021082 B CN113021082 B CN 113021082B CN 201911346270 A CN201911346270 A CN 201911346270A CN 113021082 B CN113021082 B CN 113021082B
Authority
CN
China
Prior art keywords
robot
teleoperation
equipment
polishing
casting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911346270.7A
Other languages
English (en)
Other versions
CN113021082A (zh
Inventor
于晓龙
张华良
韩冰
杨帆
秦锋
孙海涛
张�诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Intelligent Robot Innovation Center Co ltd
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Intelligent Robot National Research Institute Co ltd
Shenyang Intelligent Robot Innovation Center Co ltd
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Intelligent Robot National Research Institute Co ltd, Shenyang Intelligent Robot Innovation Center Co ltd, Shenyang Institute of Automation of CAS filed Critical Shenyang Intelligent Robot National Research Institute Co ltd
Priority to CN201911346270.7A priority Critical patent/CN113021082B/zh
Publication of CN113021082A publication Critical patent/CN113021082A/zh
Application granted granted Critical
Publication of CN113021082B publication Critical patent/CN113021082B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B1/00Processes of grinding or polishing; Use of auxiliary equipment in connection with such processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00Other grinding machines or devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B27/00Other grinding machines or devices
    • B24B27/0092Grinding attachments for lathes or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/02Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation according to the instantaneous size and required size of the workpiece acted upon, the measuring or gauging being continuous or intermittent
    • B24B49/04Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation according to the instantaneous size and required size of the workpiece acted upon, the measuring or gauging being continuous or intermittent involving measurement of the workpiece at the place of grinding during grinding operation
    • B24B49/045Specially adapted gauging instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00Arrangements for automatic control of a series of individual steps in grinding a workpiece

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Finish Polishing, Edge Sharpening, And Grinding By Specific Grinding Devices (AREA)

Abstract

本发明涉及一种基于遥操作及全景视觉的机器人铸件打磨方法,包括以下步骤:机器人打磨环境内,通过全景视觉设备获取待打磨加工的铸件的位置、形状和待加工区域;根据实时观测到的铸件信息,通过控制遥操作设备,实现遥操作设备及打磨机器人位姿实时同步控制打磨机器人作业。本发明通过遥操作设备与打磨机器人之间的实时通信,初始化设备之间的初始位姿,并在每一时刻实现实时的位姿同步,并可根据打磨形况通过设置的按键功能随时初始化同步位姿,实现打磨机器人的遥操作控制。

Description

一种基于遥操作及全景视觉的机器人铸件打磨方法
技术领域
本发明涉及一种机器人铸件打磨方法,具体涉及一种基于遥操作控制及全景视觉的机器人铸件打磨方法,属于机器人应用领域。
背景技术
随着当今工业的快速发展,生产效率需求的不断提升,以及控制技术、信息技术和网络技术的快速发展和融合,不同工业领域对机器人应用能力的要求越来越多。对于产生对人体有害的物质的加工环境,特别是铸件打磨产生的有毒有害粉尘,使用机器人代替人类进行相关实验及运输操作势在必行。
对于待打磨的铸件,当机器人进行打磨作业时,由于铸件的飞边及浇口等在前序加工过程中产生的形状位置的不确定性,不能通过机器人传统的示教功能完成。需要有操作人员的参与,工人成本在不断增长的同时,粉尘大量存在的打磨环境增加了人员生命健康的危害。采用遥操作设备对机器人进行远程控制,使作业人员可以安全的参与到机器人铸件打磨作业中,在改善作业环境的同时,保证机器人作业的质量。由于作业人员并没有身处作业环境中,对于铸件的形状位置的准确观察是十分必要的,在作业环境内部署全景视觉是十分不要的。
针对机器人铸件打磨的需要,采用遥操作设备结合全景视觉实现对机器人的遥操作控制的方式具有较大的优势。
发明内容
针对现有技术中存在的上述不足之处,本发明要解决的技术问题是工作人员在远程操作配合机器人进行作业困难的问题,提供一种基于遥操作及全景视觉的机器人铸件打磨方法,通过建立遥操作设备到打磨机器人的位姿映射,实现通过遥操作设备引导机器人进行作业。通过分析全景视觉下观测的铸件形貌信息,对机器人运动过程中末端姿态进行规划,从而通过调整机器人末端打磨设备的姿态来适应铸件形状位置,实现基于遥操作及全景视觉的机器人铸件打磨。
本发明为实现上述目的所采用的技术方案是:一种基于遥操作及全景视觉的机器人铸件打磨方法,包括以下步骤:
机器人打磨环境内,通过全景视觉设备获取待打磨加工的铸件的位置、形状和待加工区域;
根据实时观测到的铸件信息,通过控制遥操作设备,实现遥操作设备及打磨机器人位姿实时同步控制打磨机器人作业。
一种基于遥操作及全景视觉的机器人铸件打磨方法,包括以下步骤:
1)通过力反馈传感器进行对末端打磨工具的重力补偿,使遥操作设备上的力反馈信息真实反映受力情况;
2)建立打磨机器人与遥操作设备的实时通信,以保证视觉信息、位置信息以及力反馈信息的实时同步;
3)通过遥操作设备的按键触发,建立遥操作设备及打磨机器人之间的通信及位姿遥同步控制,按键松开后停止位姿同步;
4)通过遥操作设备控制打磨机器人运动到铸件需要打磨的位置;
5)根据全景视觉的实时反馈,通过遥操作设备控制打磨机器人在待打磨区域对铸件进行作业,并根据力反馈传感器反馈到遥操作设备上的信息进行调整,直至铸件满足设定打磨要求。
通过遥操作设备控制打磨机器人,包括以下步骤:
a)按下遥操作设备上的按键后,同步记录下打磨机器人及遥操作设备的初始位姿分别为PR、PH,其中PR由机器人位置PRinit和姿态RRinit构成,PH由遥操作设备位置PHinit和姿态RHinit构成;
b)运动遥操作设备,并在每一时刻记录当前时刻下遥操作设备位置PHi和姿态RHi相对于初始位姿PHinit和RHinit的转换关系:姿态变换R=RHi*inv(RRinit),inv为求矩阵的逆;位置变换P=PHi-PHinit
c)将遥操作设备的位姿转换关系变换到打磨机器人对应的位姿中,即机器人位置PRi=P+PRinit及机器人姿态RRi=R*RRinit,发送给打磨机器人控制器实现机器人的实时控制;
d)将打磨机器人末端的力反馈传感器感知到的力反馈信息实时发送的遥操作设备上,实现要操作设备的力反馈。
一种基于遥操作及全景视觉的机器人铸件打磨***,包括:
全景视觉设备,用于获取待打磨加工的铸件的位置、形状和待加工区域;
遥操作设备,用于通过遥操作设备的按键触发,建立遥操作设备及打磨机器人之间的通信及位姿遥同步控制,按键松开后停止位姿同步;
打磨机器人,用于根据所接收的遥操作设备进行位姿转换得到的打磨机器人位姿实现机器人的控制;
力反馈传感器,设于机器人末端法兰上,用于对末端打磨工具的重力补偿,反馈力信息。
遥操作设备与打磨机器人的笛卡尔空间维度相同。
所述遥操作设备与打磨机器人通过UDP网络实现通信
本发明具有以下优点及有益效果:
1.本发明采用基于遥操作及全景视觉的机器人铸件打磨方法,避免了操作人员与打磨环境的直接接触,大大增加了***实施的安全性,从而实现机器人铸件打磨过程中的人机协作;
2.本发明通过遥操作设备与打磨机器人之间的实时通信,初始化设备之间的初始位姿,并在每一时刻实现实时的位姿同步,并可根据打磨形况通过设置的按键功能随时初始化同步位姿,实现打磨机器人的遥操作控制;
3.本发明根据全景视觉设备,实时反馈给操作人员,从而控制要操作设备引导机器人根据实际作业情况进行位姿引导,并根据力反馈信息进行调整,整个过程简单易用。
附图说明
图1是本发明实施例的装置示意图;
图2是本发明***执行流程图;
图3是本发明遥操作设备及机器人位姿控制流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示,为本发明的一种基于遥操作及全景视觉的机器人铸件打磨方法的对象环境,将六维力传感器及铸件打磨工具及通过末端夹持工具固定到机器人末端。并在机器人作业环境内安装有全景视觉设备,以观测铸件形貌和机器人作业状态。
本发明所述的机器人为六轴工业机器人,末端可实现笛卡尔空间内三维的平移和旋转动作,来实现位姿的变换。机器人通过机器人控制器进行规划和运动,具有实时外部引导接口,能够通过外部引导设备实现遥操作控制。
本发明所述的机器人控制器可控制机器人按照给定的指令进行运动,并通过与机器人的关节驱动器通信实时获取机器人的当前位置和姿态。机器人控制器可以将遥操作设备得到的预设轨迹按周期发送给驱动器控制机器人进行运动。
本发明所述要操作设备为具有和机器人同维度且可通过力传感器信号实现力反馈操作的手柄装置。
本发明所述的机器人铸件打磨工具为安装在机器人末端,可用来对铸件飞边及浇口进行打磨和切割的工具。
机器人打磨环境内,部署全景视觉***,通过给定通过视觉图像的形式分析待打磨加工的铸件的位置、形状和待加工区域;
根据实时观测到铸件的位置等信息,通过控制遥操作设备,在保证遥操作设备及打磨机器人位姿实时同步的基础上控制打磨机器人进行作业。
图2为本发明实施例的装置示意图,下面结合附图及实施例对本发明做进一步的详细说明:
步骤S1:初始化机器人到指定位置,方便本发明装置的安装和本发明方法的执行;
步骤S2:将机器人六维力传感器安装到机器人末端,并将机器人打磨工具安装到六维力传感器后,同时安装全景视觉***;
步骤S3:建立实时通信,使遥操作设备与机器人实现实时的位姿同步与控制,并可在控制端实时观测全景设备的观测图像。
步骤S4:通过按键触发实现要操作设备及机器人的位姿同步,同时获取在触发瞬间遥操作设备及机器人的位姿,并记录保存;
步骤S5:根据全景视觉观测到的铸件形貌,通过遥操作设备引导机器人实现铸件的打磨,直到打磨效果符合要求后结束。
图3所示为本发明遥操作设备及机器人位姿控制流程图,根据按键触发瞬间保存的遥操作设备及机器人的初始位姿,在每个控制周期内,计算遥操作设备的位姿变换,并同步到机器人运动控制中,以实现机器人的遥操作控制,具体引导步骤如下:
步骤S1:建立遥操作设备及机器人之间的通信,是遥操作设备和机器人之间可以实时传输位姿和力反馈数据;
步骤S2:判断遥操作设备上的位姿同步按钮是否被按下,在被按下的第一个周期同步记录下机器人及遥操作设备的初始位姿PR及PH,其中PR由机器人位置PRinit和姿态RRinit构成,PH由遥操作设备位置PHinit和姿态RHinit构成;
步骤S3:运动遥操作设备,并在每一时刻记录当前时刻下位置PHi和姿态RHi相对于初始位姿PHinit和RHinit的转换关系:姿态变换R=RHi*inv(RRinit),inv为求矩阵的逆;位置变换P=PHi-PHinit
步骤S4:将遥操作的位姿转换关系变换到机器人对应的位姿中,机器人位置PRi=P+PRinit及机器人姿态RRi=R*RRinit,发送给机器人控制器实现机器人的实时控制;
步骤S5:将机器人末端的力反馈传感器感知到的六维力反馈信息f实时发送的遥操作设备上,实现要操作设备的力反馈。
根据全景视觉对待打磨铸件的形貌观测,通过遥操作设备对机器人及末端打磨工具的实时位姿同步控制,引导机器人对目标铸件进行打磨切割等作业,并根据六维力传感器反馈到遥操作设备上的力调整打磨力度,从而实现机器人的遥操作铸件打磨作业。

Claims (1)

1.一种基于遥操作及全景视觉的机器人铸件打磨方法,其特征在于,包括以下步骤:
机器人打磨环境内,通过全景视觉设备获取待打磨加工的铸件的位置、形状和待加工区域;
根据实时观测到的铸件信息,通过控制遥操作设备,实现遥操作设备及打磨机器人位姿实时同步控制打磨机器人作业;
1)通过力反馈传感器进行对末端打磨工具的重力补偿,使遥操作设备上的力反馈信息真实反映受力情况;
2)建立打磨机器人与遥操作设备的实时通信,以保证视觉信息、位置信息以及力反馈信息的实时同步;
3)通过遥操作设备的按键触发,建立遥操作设备及打磨机器人之间的通信及位姿遥同步控制,按键松开后停止位姿同步;
4)通过遥操作设备控制打磨机器人运动到铸件需要打磨的位置;
通过遥操作设备控制打磨机器人,包括以下步骤:
a)按下遥操作设备上的按键后,同步记录下打磨机器人及遥操作设备的初始位姿分别为PR、PH,其中PR由机器人位置PRinit和姿态RRinit构成,PH由遥操作设备位置PHinit和姿态RHinit构成;
b)运动遥操作设备,并在每一时刻记录当前时刻下遥操作设备位置PHi和姿态RHi相对于初始位姿PHinit和RHinit的转换关系:姿态变换R=RHi*inv(RRinit),inv为求矩阵的逆;位置变换P=PHi-PHinit
c)将遥操作设备的位姿转换关系变换到打磨机器人对应的位姿中,即机器人位置PRi=P+PRinit及机器人姿态RRi=R*RRinit,发送给打磨机器人控制器实现机器人的实时控制;
将打磨机器人末端的力反馈传感器感知到的力反馈信息实时发送的遥操作设备上,实现要操作设备的力反馈;
5)根据全景视觉的实时反馈,通过遥操作设备控制打磨机器人在待打磨区域对铸件进行作业,并根据力反馈传感器反馈到遥操作设备上的信息进行调整,直至铸件满足设定打磨要求。
CN201911346270.7A 2019-12-24 2019-12-24 一种基于遥操作及全景视觉的机器人铸件打磨方法 Active CN113021082B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346270.7A CN113021082B (zh) 2019-12-24 2019-12-24 一种基于遥操作及全景视觉的机器人铸件打磨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346270.7A CN113021082B (zh) 2019-12-24 2019-12-24 一种基于遥操作及全景视觉的机器人铸件打磨方法

Publications (2)

Publication Number Publication Date
CN113021082A CN113021082A (zh) 2021-06-25
CN113021082B true CN113021082B (zh) 2022-06-07

Family

ID=76451663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346270.7A Active CN113021082B (zh) 2019-12-24 2019-12-24 一种基于遥操作及全景视觉的机器人铸件打磨方法

Country Status (1)

Country Link
CN (1) CN113021082B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113386137A (zh) * 2021-06-29 2021-09-14 中南大学 基于遥操作的复合机器人人机交互打磨控制***及方法
CN113400327A (zh) * 2021-07-07 2021-09-17 天津大学 面向中大型铸造件磨切一体加工的主从遥操作***及方法
CN113386142A (zh) * 2021-07-07 2021-09-14 天津大学 基于虚拟夹具的遥操作机器人磨切一体加工***与方法
CN116833831B (zh) * 2023-08-30 2023-12-26 超音速人工智能科技股份有限公司 适用于镁合金压铸件的打磨抛光方法、装置、***及平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770710A (zh) * 2009-12-31 2010-07-07 哈尔滨工业大学 用于遥控焊接的激光视觉传感辅助遥控示教方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制***及其方法
CN107378780A (zh) * 2017-07-19 2017-11-24 江苏大学 一种基于视觉***的机器人铸件打磨自适应方法
CN107662195A (zh) * 2017-09-22 2018-02-06 中国东方电气集团有限公司 一种具有临场感的机器手主从异构遥操作控制***及控制方法
CN108942940A (zh) * 2018-08-01 2018-12-07 东南大学 一种基于多传感器融合的遥操作机器人打磨控制***
CN109434870A (zh) * 2018-09-18 2019-03-08 国网江苏省电力有限公司盐城供电分公司 一种用于机器人带电作业的虚拟现实操作***
CN209095223U (zh) * 2018-12-03 2019-07-12 安徽职业技术学院 一种远程遥控的铁轨保养维护装置
CN110281108A (zh) * 2019-06-18 2019-09-27 蓝点触控(北京)科技有限公司 一种基于六维力传感器的机器人柔性智能打磨***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2681035B2 (ja) * 1995-03-23 1997-11-19 工業技術院長 力検出補償を行う力制御ロボット
JP6504541B2 (ja) * 2014-06-16 2019-04-24 パナソニックIpマネジメント株式会社 マスタスレーブロボットの制御装置及び制御方法、マスタスレーブロボット、マスタスレーブロボットの制御プログラム、並びに、マスタスレーブロボットの制御用集積電子回路
CN107009368A (zh) * 2017-03-30 2017-08-04 东南大学 基于力传感器的机器人打磨作业控制***及其控制方法
CN109571441B (zh) * 2019-01-08 2020-06-09 崧智智能科技(深圳)有限公司 工业机器人快速示教方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770710A (zh) * 2009-12-31 2010-07-07 哈尔滨工业大学 用于遥控焊接的激光视觉传感辅助遥控示教方法
CN103302668A (zh) * 2013-05-22 2013-09-18 东南大学 基于Kinect的空间遥操作机器人的控制***及其方法
CN107378780A (zh) * 2017-07-19 2017-11-24 江苏大学 一种基于视觉***的机器人铸件打磨自适应方法
CN107662195A (zh) * 2017-09-22 2018-02-06 中国东方电气集团有限公司 一种具有临场感的机器手主从异构遥操作控制***及控制方法
CN108942940A (zh) * 2018-08-01 2018-12-07 东南大学 一种基于多传感器融合的遥操作机器人打磨控制***
CN109434870A (zh) * 2018-09-18 2019-03-08 国网江苏省电力有限公司盐城供电分公司 一种用于机器人带电作业的虚拟现实操作***
CN209095223U (zh) * 2018-12-03 2019-07-12 安徽职业技术学院 一种远程遥控的铁轨保养维护装置
CN110281108A (zh) * 2019-06-18 2019-09-27 蓝点触控(北京)科技有限公司 一种基于六维力传感器的机器人柔性智能打磨***

Also Published As

Publication number Publication date
CN113021082A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113021082B (zh) 一种基于遥操作及全景视觉的机器人铸件打磨方法
US9849595B2 (en) Contact force limiting with haptic feedback for a tele-operated robot
US11045954B2 (en) Robot system and method of controlling the same
US11197730B2 (en) Manipulator system
US10272572B2 (en) Remotely controlling robotic platforms based on multi-modal sensory data
US11865732B2 (en) Integrated robotic system and method for autonomous vehicle maintenance
US9701023B2 (en) Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
CN101791750B (zh) 用于远程焊接的机器人遥控焊接***及方法
US9132551B2 (en) Teleoperated industrial robots
CN210452170U (zh) 一种基于六维力传感器的机器人柔性智能打磨***
CN111347431A (zh) 一种手持工具示教的机器人示教喷涂方法和装置
CN106695784A (zh) 一种机器人视觉控制***
CN110125944A (zh) 一种机械臂示教***和方法
CN114227681A (zh) 一种基于红外扫描跟踪的机器人离线虚拟示教编程的方法
CN115303515A (zh) 一种面向空间双臂在轨操作的航天员舱内操作及显控***
JP2020075325A (ja) ツールセンターポイントの設定方法及び設定装置
Radi et al. Telepresence in industrial applications: implementation issues for assembly tasks
CN210847488U (zh) 基于计算机视觉的机器人激光清洗路径规划装置
Yamashita et al. Remote operation of a robot for maintaining electric power distribution system using a joystick and a master arm as a human robot interface medium
CN117021137A (zh) 一种适配多种打磨工具的视觉示教装置
DE102018201589A1 (de) Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung
WO2019107208A1 (ja) 作業機の動作制御方法
Goto et al. Teleoperation System of Robot arms combined with remote control and visual servo control
JP6832408B1 (ja) 生産システム
KR20230040694A (ko) 영상 및 로봇을 이용한 T-Bar 전처리 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant