CN112917457A - 一种基于增强现实技术的工业机器人快速精准示教***及方法 - Google Patents

一种基于增强现实技术的工业机器人快速精准示教***及方法 Download PDF

Info

Publication number
CN112917457A
CN112917457A CN202110109325.3A CN202110109325A CN112917457A CN 112917457 A CN112917457 A CN 112917457A CN 202110109325 A CN202110109325 A CN 202110109325A CN 112917457 A CN112917457 A CN 112917457A
Authority
CN
China
Prior art keywords
robot
augmented reality
virtual
industrial robot
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110109325.3A
Other languages
English (en)
Inventor
胡俊山
王忠康
郗凯卓
田威
廖文和
李宇飞
李鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202110109325.3A priority Critical patent/CN112917457A/zh
Publication of CN112917457A publication Critical patent/CN112917457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/1605Simulation of manipulator lay-out, design, modelling of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于增强现实技术的工业机器人快速精准示教***及方法,***包括实体工业机器人、二维码和增强现实眼镜;实体工业机器人包括工业机器人本体与机器人控制器;增强现实眼镜识别工业机器人本体上的二维码,利用识别的二维码位姿,生成与真实机器人重合的虚拟机器人模型;增强现实眼镜连续捕捉虚拟机器人模型的末端位姿,并实时求解机器人各关节轴的转角,同步更新机器人虚拟模型;各关节转角传输至机器人控制器,机器人控制器根据各关节转角控制工业机器人本体关节转角运动。本发明有助于提高机器人的示教速度,采用基于标志物的三维注册跟踪模块,提高了示教精度,对工业制造加工领域具有较强的借鉴意义。

Description

一种基于增强现实技术的工业机器人快速精准示教***及 方法
技术领域
本发明属于工业机器人技术领域,具体涉及一种基于增强现实技术的工业机器人快速精准示教***及方法。
背景技术
工业机器人是集机械、电子、控制、计算机、传感器与人工智能等多种先进技术于一体的自动化装备,广泛应用于柔性制造***,自动化工厂,智能工厂等重点发展领域。然而由于工业机器人应用领域的不断扩大,传统的使用厂家自带的示教器编程已经难以满足日益增强的编程需求与程序复杂度,为了提高工业机器人示教效率与示教质量,迫切需要一种新型的示教方式;
增强现实(Augmented Reality,AR)是指透过摄像机影像的位置及角度计算,并加上图像分析技术,使得虚拟世界叠加在真实世界之上,允许用户在真实世界中对虚拟世界进行交互的技术[3]。增强现实的历史可以回溯到1960年代,由于当时计算机处理能力有限,第一个AR***只能显示非常简单的线框图,从那时起,AR技术开始逐步发展,1990年,前波音公司Tom Caudell在其设计的辅助布线***中,首次提出了增强现实这个名词。
将增强现实技术与工业机器人示教结合在一起,产生了基于增强现实技术的示教方式;基于增强现实技术的示教方式可以大幅度减轻工人学习强度,依靠增强现实技术的强沉浸性与代入感,工人可以轻松的为工业机器人示教,适用于包括焊接作业等加工方法在内的工业制造领域。
专利号CN110815189A的专利提出了一种基于混合现实的机器人快速示教***与方法,使用了混合现实眼镜与工业机器人,可以实现快速示教;然而该专利采用识别双手或单手的方式得到虚拟机器人末端位姿,在运行期间具有鲁棒性不高;导致示教的末端精度可靠度不高,除此之外,由于虚拟模型与真实模型不重合,导致其无法直接应用于实际机器人加工,具有较大的局限性。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足,提供一种基于增强现实技术的工业机器人快速精准示教***及方法。
为实现上述技术目的,本发明采取的技术方案为:
一种基于增强现实技术的工业机器人快速精准示教***,包括:
实体工业机器人、二维码和增强现实眼镜;
所述实体工业机器人包括工业机器人本体与机器人控制器;
所述二维码置于工业机器人本体上,增强现实眼镜识别工业机器人本体上的二维码,利用识别的二维码位姿,生成与真实机器人重合的虚拟机器人模型;
增强现实眼镜连续捕捉虚拟机器人模型的末端位姿,并实时求解机器人各关节轴的转角,同步更新机器人虚拟模型;
各关节转角传输至机器人控制器,机器人控制器根据各关节转角控制工业机器人本体关节转角运动。
为优化上述技术方案,采取的具体措施还包括:
上述的二维码为QRcode码制二维码。
所述增强现实眼镜内部包含虚拟机器人模型,虚拟机器人模型上带有虚拟二维码。
上述的增强现实眼镜与机器人控制器之间利用TCP/IP协议通信。
上述的增强现实眼镜利用基于标志物的三维跟踪注册模块,在增强现实眼镜内生成与真实机器人重合的虚拟机器人模型。
上述的增强现实眼镜实时将末端位姿数据输入机器人正逆解模块,求解机器人各关节轴的转角。
一种基于增强现实技术的工业机器人快速精准示教方法,包括以下步骤:
a)在工业机器人本体上粘贴二维码;
b)使用增强现实眼镜读取识别二维码获取二维码特征信息;
c)将步骤b)中获取的二维码特征信息输入基于标志物的三维跟踪注册模块,利用二维码与真实机器人位姿的现实粘贴关系,将虚拟工业机器人模型显示在增强现实眼镜中,并且虚拟机器人与真实机器人位姿完全重合;
d)增强现实眼镜实时监测步骤c)中的虚拟机器人的末端相对于虚拟机器人基座的位姿信息,工人拖动虚拟末端期间,将位姿连续输入机器人正逆解模块,求解工业机器人的关节角度;
e)利用步骤d)中求解的各关节角度,实时更新虚拟机器人模型;
f)利用TCP/IP通信协议,将步骤d)中求解的各关节角度发送至机器人控制器;
g)机器人控制器内循环执行关节角执行程序,接收到步骤f)中传输的关节数据后,执行发送的关节角位置,驱动机器人本体产生与虚拟机器人同步的运动;
h)对末端位姿进行精度测量,完成精准示教。
上述的步骤c)所述基于标志物的三维跟踪注册模块,将捕捉到的二维码特征与虚拟模型上的虚拟二维码做匹配,得到虚拟二维码与真实二维码之间的转换矩阵,将转换矩阵应用到虚拟机器人,使得虚拟机器人与真实机器人完全重合。
上述的步骤d)中,在工人连续拖动虚拟末端期间,增强现实眼镜通过点位筛选算法会实时检测末端位姿重合度,若此时末端位姿与之前数据相比,重合度差异小于某一阈值,则删除此条数据;若大于阈值则保留。
上述的点位筛选算法分为笛卡尔空间与关节空间;在笛卡尔空间内,衡量末端位姿差异程度的是两点之间的空间距离;在关节空间内,衡量末端位姿差异程度的是每个关节角度差的平方和。
上述的步骤h)中,采用面向AR三维跟踪注册领域的精度测量方法,测量出注册误差小于等于1.0mm,则满足精准示教要求。
本发明具有以下有益效果:
本发明有助于提高机器人的示教速度,采用基于标志物的三维注册跟踪模块,提高了示教精度,对工业制造加工领域具有较强的借鉴意义。
附图说明
图1为本发明中***构成图;
图2为本发明中方法流程图;
附图标记为:1:增强现实眼镜、2:工业机器人本体、3:二维码、4:机器人控制器。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
参见图1,一种基于增强现实技术的工业机器人快速精准示教***,包括:
实体工业机器人、二维码3和增强现实眼镜1;
所述实体工业机器人包括工业机器人本体2与机器人控制器4;
所述二维码3置于工业机器人本体2上,增强现实眼镜1识别工业机器人本体2上的二维码3,利用识别的二维码3位姿,生成与真实机器人重合的虚拟机器人模型;
增强现实眼镜1连续捕捉虚拟机器人模型的末端位姿,并实时求解机器人各关节轴的转角,同步更新机器人虚拟模型;
各关节转角传输至机器人控制器4,机器人控制器4根据各关节转角控制工业机器人本体2关节转角运动。
实施例中,所述二维码3为QRcode码制二维码3。
所述增强现实眼镜1内部包含虚拟机器人模型,虚拟机器人模型上带有虚拟二维码。
实施例中,所述增强现实眼镜1与机器人控制器4之间利用TCP/IP协议通信。
实施例中,所述增强现实眼镜1利用基于标志物的三维跟踪注册模块,在增强现实眼镜1内生成与真实机器人重合的虚拟机器人模型。
实施例中,所述增强现实眼镜1实时将末端位姿数据输入机器人正逆解模块,求解机器人各关节轴的转角。
参见图2,一种基于增强现实技术的工业机器人快速精准示教方法,包括以下步骤:
a)在工业机器人本体2上粘贴二维码3;
b)使用增强现实眼镜1读取识别二维码3获取二维码3特征信息;
c)将步骤b)中获取的二维码3特征信息输入基于标志物的三维跟踪注册模块,利用二维码3与真实机器人位姿的现实粘贴关系,将虚拟工业机器人模型显示在增强现实眼镜1中,并且虚拟机器人与真实机器人位姿完全重合;
d)增强现实眼镜1实时监测步骤c)中的虚拟机器人的末端相对于虚拟机器人基座的位姿信息,工人拖动虚拟末端期间,将位姿连续输入机器人正逆解模块,求解工业机器人的关节角度;
e)利用步骤d)中求解的各关节角度,实时更新虚拟机器人模型;
f)利用TCP/IP通信协议,将步骤d)中求解的各关节角度发送至机器人控制器4;
g)机器人控制器4内循环执行关节角执行程序,接收到步骤f)中传输的关节数据后,执行发送的关节角位置,驱动机器人本体产生与虚拟机器人同步的运动;
h)对末端位姿进行精度测量,完成精准示教。
由于机器人末端位置精度由三维跟踪注册误差,机器人本身***误差构成,又因为机器人本身***误差可通过激光跟踪仪测量出固定数值,因此通过测量三维跟踪注册误差,即可计算机器人末端位置误差。
实施例中,步骤c)所述基于标志物的三维跟踪注册模块,将捕捉到的二维码3特征与虚拟模型上的虚拟二维码做匹配,得到虚拟二维码与真实二维码3之间的转换矩阵,将转换矩阵应用到虚拟机器人,使得虚拟机器人与真实机器人完全重合。
实施例中,所述步骤d)中,在工人连续拖动虚拟末端期间,增强现实眼镜1通过点位筛选算法会实时检测末端位姿重合度,若此时末端位姿与之前数据相比,重合度差异小于某一阈值,则删除此条数据;若大于阈值则保留。
实施例中,所述点位筛选算法分为笛卡尔空间与关节空间;在笛卡尔空间内,衡量末端位姿差异程度的是两点之间的空间距离;在关节空间内,衡量末端位姿差异程度的是每个关节角度差的平方和。
实施例中,所述步骤h)中,采用面向AR三维跟踪注册领域的精度测量方法,测量出注册误差小于等于1.0mm,则满足精准示教要求。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (10)

1.一种基于增强现实技术的工业机器人快速精准示教***,其特征在于,包括:
实体工业机器人、二维码和增强现实眼镜;
所述实体工业机器人包括工业机器人本体与机器人控制器;
所述二维码置于工业机器人本体上,增强现实眼镜识别工业机器人本体上的二维码,利用识别的二维码位姿,生成与真实机器人重合的虚拟机器人模型;
增强现实眼镜连续捕捉虚拟机器人模型的末端位姿,并实时求解机器人各关节轴的转角,同步更新机器人虚拟模型;
各关节转角传输至机器人控制器,机器人控制器根据各关节转角控制工业机器人本体关节转角运动。
2.根据权利要求1所述的一种基于增强现实技术的工业机器人快速精准示教***,其特征在于,所述二维码为QRcode码制二维码。
所述增强现实眼镜内部包含虚拟机器人模型,虚拟机器人模型上带有虚拟二维码。
3.根据权利要求1所述的一种基于增强现实技术的工业机器人快速精准示教***,其特征在于,所述增强现实眼镜与机器人控制器之间利用TCP/IP协议通信。
4.根据权利要求1所述的一种基于增强现实技术的工业机器人快速精准示教***,其特征在于,所述增强现实眼镜利用基于标志物的三维跟踪注册模块,在增强现实眼镜内生成与真实机器人重合的虚拟机器人模型。
5.根据权利要求1所述的一种基于增强现实技术的工业机器人快速精准示教***,其特征在于,所述增强现实眼镜实时将末端位姿数据输入机器人正逆解模块,求解机器人各关节轴的转角。
6.根据权利要求1-5任一所述的一种基于增强现实技术的工业机器人快速精准示教***的工业机器人快速精准示教方法,其特征在于,包括以下步骤:
a)在工业机器人本体上粘贴二维码;
b)使用增强现实眼镜读取识别二维码获取二维码特征信息;
c)将步骤b)中获取的二维码特征信息输入基于标志物的三维跟踪注册模块,利用二维码与真实机器人位姿的现实粘贴关系,将虚拟工业机器人模型显示在增强现实眼镜中,并且虚拟机器人与真实机器人位姿完全重合;
d)增强现实眼镜实时监测步骤c)中的虚拟机器人的末端相对于虚拟机器人基座的位姿信息,工人拖动虚拟末端期间,将位姿连续输入机器人正逆解模块,求解工业机器人的关节角度;
e)利用步骤d)中求解的各关节角度,实时更新虚拟机器人模型;
f)利用TCP/IP通信协议,将步骤d)中求解的各关节角度发送至机器人控制器;
g)机器人控制器内循环执行关节角执行程序,接收到步骤f)中传输的关节数据后,执行发送的关节角位置,驱动机器人本体产生与虚拟机器人同步的运动;
h)对末端位姿进行精度测量,完成精准示教。
7.根据权利要求6所述的一种基于增强现实技术的工业机器人快速精准示教方法,其特征在于,步骤c)所述基于标志物的三维跟踪注册模块,将捕捉到的二维码特征与虚拟模型上的虚拟二维码做匹配,得到虚拟二维码与真实二维码之间的转换矩阵,将转换矩阵应用到虚拟机器人,使得虚拟机器人与真实机器人完全重合。
8.根据权利要求6所述的一种基于增强现实技术的工业机器人快速精准示教方法,其特征在于,所述步骤d)中,在工人连续拖动虚拟末端期间,增强现实眼镜通过点位筛选算法会实时检测末端位姿重合度,若此时末端位姿与之前数据相比,重合度差异小于某一阈值,则删除此条数据;若大于阈值则保留。
9.根据权利要求8所述的一种基于增强现实技术的工业机器人快速精准示教方法,其特征在于,所述点位筛选算法分为笛卡尔空间与关节空间;在笛卡尔空间内,衡量末端位姿差异程度的是两点之间的空间距离;在关节空间内,衡量末端位姿差异程度的是每个关节角度差的平方和。
10.根据权利要求6所述的一种基于增强现实技术的工业机器人快速精准示教方法,其特征在于,所述步骤h)中,采用面向AR三维跟踪注册领域的精度测量方法,测量出注册误差小于等于1.0mm,则满足精准示教要求。
CN202110109325.3A 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人快速精准示教***及方法 Pending CN112917457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110109325.3A CN112917457A (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人快速精准示教***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110109325.3A CN112917457A (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人快速精准示教***及方法

Publications (1)

Publication Number Publication Date
CN112917457A true CN112917457A (zh) 2021-06-08

Family

ID=76166761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110109325.3A Pending CN112917457A (zh) 2021-01-27 2021-01-27 一种基于增强现实技术的工业机器人快速精准示教***及方法

Country Status (1)

Country Link
CN (1) CN112917457A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN110815189A (zh) * 2019-11-20 2020-02-21 福州大学 基于混合现实的机器人快速示教***及方法
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN111283664A (zh) * 2020-03-24 2020-06-16 青岛理工大学 一种面向机器人增强现实示教的注册***和方法
CN111300384A (zh) * 2020-03-24 2020-06-19 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册***及方法
WO2020126240A1 (de) * 2018-12-19 2020-06-25 Endress+Hauser SE+Co. KG Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104552299A (zh) * 2014-12-26 2015-04-29 佛山市新鹏机器人技术有限公司 一种机器人离线示教装置及补偿示教方法
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN110977931A (zh) * 2018-10-02 2020-04-10 发那科株式会社 使用了增强现实和混合现实的机器人控制装置及显示装置
WO2020126240A1 (de) * 2018-12-19 2020-06-25 Endress+Hauser SE+Co. KG Verfahren zum betreiben eines feldgeräts der automatisierungstechnik in einer augmented-reality/mixed-reality-umgebung
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教***及方法
CN110815189A (zh) * 2019-11-20 2020-02-21 福州大学 基于混合现实的机器人快速示教***及方法
CN111260793A (zh) * 2020-01-10 2020-06-09 中国电子科技集团公司第三十八研究所 面向增强和混合现实的远程虚实高精度匹配定位的方法
CN111283664A (zh) * 2020-03-24 2020-06-16 青岛理工大学 一种面向机器人增强现实示教的注册***和方法
CN111300384A (zh) * 2020-03-24 2020-06-19 青岛理工大学 一种基于标识卡运动的机器人增强现实示教的注册***及方法
CN112085709A (zh) * 2020-08-19 2020-12-15 浙江华睿科技有限公司 一种图像对比方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何汉武等: "《增强现实交互方法与实现》", 31 December 2018, 华中科技大学出版社 *
施琦等: "一种基于视觉的增强现实三维注册算法", 《中国图象图形学报》 *

Similar Documents

Publication Publication Date Title
AU2020201554B2 (en) System and method for robot teaching based on RGB-D images and teach pendant
CN109255813B (zh) 一种面向人机协作的手持物***姿实时检测方法
WO2018137445A1 (zh) 一种基于ros***的机械臂抓取方法及***
US20200078948A1 (en) Robot calibration for ar and digital twin
US11911912B2 (en) Robot control apparatus and method for learning task skill of the robot
CN111459274B (zh) 一种基于5g+ ar的针对非结构化环境的遥操作方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及***
US20220161422A1 (en) Robot Teaching System Based On Image Segmentation And Surface Electromyography And Robot Teaching Method Thereof
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
CN113103230A (zh) 一种基于处置机器人遥操作的人机交互***及方法
CN210361314U (zh) 一种基于增强现实技术的机器人示教装置
Han et al. Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
Li et al. Research on hand-eye calibration technology of visual service robot grasping based on ROS
Scheuermann et al. Mobile augmented reality based annotation system: A cyber-physical human system
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
CN116408790B (zh) 机器人控制方法、装置、***及存储介质
Lagamtzis et al. CoAx: Collaborative Action Dataset for Human Motion Forecasting in an Industrial Workspace.
CN112936261B (zh) 一种基于增强现实技术的工业机器人现场仿真***与方法
CN112917457A (zh) 一种基于增强现实技术的工业机器人快速精准示教***及方法
CN211890823U (zh) 基于RealSense相机的四自由度机械臂视觉伺服控制***
Cheng et al. Integration of 3D stereo vision measurements in industrial robot applications
CN112258562A (zh) 一种基于图像特征的配准***及配准方法
TWI788253B (zh) 適應性移動操作設備及方法
CN116197918B (zh) 基于动作记录分析的机械手控制***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210608

WD01 Invention patent application deemed withdrawn after publication