CN112256049A - 一种四旋翼无人机安全间距保持***和方法 - Google Patents

一种四旋翼无人机安全间距保持***和方法 Download PDF

Info

Publication number
CN112256049A
CN112256049A CN202011181089.8A CN202011181089A CN112256049A CN 112256049 A CN112256049 A CN 112256049A CN 202011181089 A CN202011181089 A CN 202011181089A CN 112256049 A CN112256049 A CN 112256049A
Authority
CN
China
Prior art keywords
module
unmanned aerial
aerial vehicle
flight controller
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011181089.8A
Other languages
English (en)
Inventor
渠省委
王鸿
王致杰
陶梦林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dianji University
Original Assignee
Shanghai Dianji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dianji University filed Critical Shanghai Dianji University
Priority to CN202011181089.8A priority Critical patent/CN112256049A/zh
Publication of CN112256049A publication Critical patent/CN112256049A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种四旋翼无人机安全间距保持***,包括无人机内部相互连接的飞行控制器、供电模块和驱动模块,以及分别与飞行控制器连接的光流模块、测距模块和视觉模块,所述的光流模块用于检测飞行位置信息,所述的测距模块用于检测飞行高度信息,所述的视觉模块用于图像信息采集,并根据图像信息进行线缆检测,所述的供电模块用于给驱动模块和飞行控制器供电,所述的驱动模块用于接收飞行控制器的信号并控制无人机的动作,与现有技术相比,本发明具有实时准确、保证无人机作业安全等优点。

Description

一种四旋翼无人机安全间距保持***和方法
技术领域
本发明涉及电力***无人机控制领域,尤其是涉及一种四旋翼无人机安全间距保持***和方法。
背景技术
随着无人机技术的不断发展,其在电力***内的各种应用也逐渐受到多方面的重视。目前,国内外众多学者和无人机爱好者已经对无人机开展了大量的开发和研究并获得了一些成果。然而,针对电力巡线这一特殊的应用背景而进行的无人机安全间距保持技术的研究并不多,各种新的距离探测方法和策略也有待继续研究。实现自动安全间距保持的关键环节就是无人机对输电线路的距离探测。
无人机巡检测距***是一个多传感器***,通过不同方位传感器采集相关信息,同时对各个传感器采集的信息进行研判时需彼此对比分析,因此对信息融合处理的能力要求很高,从而产生了多传感器信息融合技术。多传感器信息融合技术基本原理即利用多传感器信息融合***对各个传感器获得的信息进行协同处理,制定相应的规则,最后对多传感器信息进行综合优化处理,从而得到经过推理分析的更具有价值的信息,达到更好的描述被控对象的目的。在进行信息融合时,主要有六种方法:加权平均法、基于参数估计的信息融合方法、D-S证据推理、产生式规则、模糊逻辑和人工神经网络六种。
目前关于无人机巡检避障技术的研究主要以国家电网公司立项的大型无人机巡检输电线路项目研究为主。该研究项目为了实现大型无人机在超视距范围内巡检输电线路,采用毫米波雷达避障技术建立无人机巡检避障***,但是存在反射波如何过滤和避障***设备较多,重量大等缺陷。
对于电力多旋翼无人机巡检而言,由于其载重能力有限无法安装大载重、远距离机载检测装置,所以需要沿线路近距离飞行悬停检测。与输电线路保持安全距离飞行是多旋翼无人机在电力巡检中重要的安全保障之一,同时也是电力多旋翼无人机巡检的强制要求。但是无人机电力巡线要求传感器测量范围较大,灵敏度高,当障碍物距离无人机较近时,传感器容易受其影响,且无人机电力巡线过程中环境复杂多变,很难建立一个精确的数学模型来具体描述。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种四旋翼无人机安全间距保持***和方法,实现实时、准确采集无人机与输电线路之间的距离,并通过快速计算和动作控制保证无人机安全作业。
本发明的目的可以通过以下技术方案来实现:
一种四旋翼无人机安全间距保持***,包括无人机内部相互连接的飞行控制器、供电模块和驱动模块,以及分别与飞行控制器连接的光流模块、测距模块和视觉模块,所述的光流模块用于检测飞行位置信息,所述的测距模块用于检测飞行高度信息,所述的视觉模块用于图像信息采集,并根据图像信息进行线缆检测,所述的供电模块用于给驱动模块和飞行控制器供电,所述的驱动模块用于接收飞行控制器的信号并控制无人机的动作。
进一步地,该***还包括与飞行控制器连接的声光模块,所述的视觉模块还与SD卡连接,在无人机飞行过程中,当采集到特殊图像时,通过声光模块发出声光报警,并把采集到的图片数据存储到SD卡中。
优选地,所述的光流模块、测距模块和视觉模块通过串口或I2C总线与飞行控制器连接。
进一步优选地,所述的视觉模块包括与SD卡连接,用于图像采集的OpenMV4摄像头,以及与飞行控制器连接,用于图像数据处理的STM32F765单片机,所述的光流模块包括与飞行控制器连接的光流传感器,所述的测距模块包括与飞行控制器连接的激光测距传感器,所述的飞行控制器为无人机的主控芯片。
进一步地,所述的OpenMV4摄像头斜向下正对线缆,考虑到电线后面的杂乱背景,使用支架将OpenMV4摄像头支起斜向下拍摄,这样OpenMV的画面就是地面和电线,而地面的颜色单一,可以去除干扰。
一种用于所述的四旋翼无人机安全间距保持***的控制方法,包括以下步骤:
S1:使用光流模块和测距模块分别对四旋翼无人机进行定位采集和高度采集,得到位置和高度信号;
S2:将两路信号经过滤波融合及信号处理后,输入模糊神经网络进行处理;
S3:模糊神经网络输出飞行控制处理命令到飞行控制器;
S4:飞行控制器通过驱动模块调节无人机飞行姿态,控制无人机与线缆之间的距离在最小安全边界线外;
S5:视觉模块根据飞行控制器的指令,进行线缆检测,并将线缆检测数据发送至飞行控制器;
S6:飞行控制器根据线缆检测数据对无人机进行姿态调整。
进一步地,所述的滤波融合为klaman滤波。
进一步地,所述的最小安全边界线包括相互连接形成矩形安全边界框的八条横向边界线和四条竖向边界线,所述的八条横向边界线中,四条分别与杆塔上的线缆平行,且相距避障安全距离,另外四条分别与杆塔之间的连杆平行,且相距避障安全距离。
更进一步地,所述的避障安全距离通过电力线路的电压值和无人机的大小共同确定。
进一步地,所述的姿态调整具体包括以下步骤:
S61:获取图像信息,并将图像沿横向随机框选三个区域;
S62:在每个区域内搜索黑色色块面积最大的点,并获取该点坐标;
S63:利用坐标计算线缆斜率,并获取摄像头相对线缆的倾角大小;
S64:根据倾角大小调整调整无人机姿态,使倾角减小。
与现有技术相比,本发明具有以下优点:
1)本发明中通过无人机外接的光流模块和测距模块,采集无人机的飞行高度和定位,并通过视觉模块检测线缆、杆塔等,最后无人机控制器将信息整合形成飞行器自主闭环控制,达到自主飞行任务,能够实现实时、准确采集无人机与输电线路之间的距离,并通过快速计算和动作控制保证电力***中无人机巡检作业的安全性;
2)本发明基于模糊神经网络的多传感器融合方法,将采集的数据利用到基于模糊神经网络的无人机自动安全间距保持中,模糊逻辑可以控制那种只可凭经验控制、又难以准确地建立数学模型的***,而神经网络能够映射任意函数关系,自学能力强,弥补了模糊逻辑的不足,得到的结果准确,提高可靠性;
3)本发明用支架将OpenMV支起来,使其向斜下方拍摄,这样OpenMV的画面就是地面和电线,地面的颜色单一,可以去除干扰,提高图像采集的准确性;
4)本发明通过对采集图像的处理,调整无人机的姿态,使其能够沿线缆平行飞行,减少其跨过最小安全边界线的几率。
附图说明
图1为本发明***结构示意图;
图2为本发明控制方法的原理示意图;
图3为最小安全边界线的示意图;
图4为摄像头与线缆相对位置示意图;
图5为线缆检测姿态调整原理示意图。
其中,1、飞行控制器,2、光流模块,3、测距模块,4、视觉模块,5、声光模块,61、降压模块,62、电源模块,71、电调,72、电机,8、SD卡,9、最小安全边界线,10、线缆,11、杆塔。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
如图1所示,本发明提供一种四旋翼无人机安全间距保持***,包括无人机内部相互连接的飞行控制器1、供电模块和驱动模块,以及分别通过串口或I2C总线与飞行控制器1连接的光流模块2、测距模块3、视觉模块4和声光模块5,飞行控制器1即为无人机的主控芯片。
供电模块包括相互连接的降压模块61和电源模块62,驱动模块包括相互连接的四个电调71和四个电机72,降压模块61与飞行控制器1连接,为飞行控制器1提供5V稳压供电,电源模块62与电调71连接,为其供电,飞行控制器1分别与四个电调71连接,输出四路PWM波通过电调71控制电机72动作,四个电机72接收信号并控制无人机的位置。
光流模块2用于检测飞行位置信息,包括与飞行控制器1连接的光流传感器。
测距模块3用于检测飞行高度信息,包括与飞行控制器1连接的激光测距传感器
视觉模块4用于图像信息采集,并根据图像信息进行线缆检测,包括与SD卡连接,用于图像采集的OpenMV4摄像头,以及与飞行控制器1连接,用于图像数据处理的STM32F765单片机,如图4所示,OpenMV4摄像头斜向下正对线缆,SD卡8为Micro SD卡,在无人机飞行过程中,当采集到特殊图像时,通过声光模块5发出声光报警,并把采集到的图片数据存储到SD卡8中。
本***利用光流传感器进行实时定位,利用激光测距传感器实时采集对地高度数据,这些外设模块通过串口或I2C总线发送给主控芯片来处理,而视觉模块4的OpenMV4摄像头主要用于图像信息采集,并经STM32F765单片机分析处理并发送到飞行控制器1,根据程序指令调节电机72转速以达到任务要求。在飞行过程中,会抓拍一些特殊图像时出现声光报警,并把数据存储到SD卡中,整个***可以实现定高飞行、巡线检测、故障识别等功能。
如图2所示,本发明还提供一种用于四旋翼无人机安全间距保持***的控制方法,使用klaman滤波和模糊神经网络的多传感器融合方法,同时利用视觉模块4进行识别,从飞行控制器1中获得指令,判断什么开始巡线、巡杆,实现多旋翼无人机巡检的实时性和准确性避障,包括以下步骤:
S1:使用光流模块2和测距模块3分别对四旋翼无人机进行定位采集和高度采集,得到位置和高度信号;
S2:将两路信号经过klaman滤波融合及信号处理后,输入模糊神经网络进行处理,即使用klaman滤波和模糊神经网络的多传感器融合方法;
S3:模糊神经网络输出飞行控制处理命令到飞行控制器1;
S4:飞行控制器1通过驱动模块调节无人机飞行姿态,控制无人机与线缆之间的距离在最小安全边界线9外;
S5:视觉模块4根据飞行控制器1的指令,进行线缆检测,并将线缆检测数据发送至飞行控制器1,具体包括:判断什么开始巡线、巡杆,并将巡线、巡杆的数据发送至飞行控制器1;
S6:飞行控制器1根据线缆检测数据对无人机进行姿态调整。
相对于传统的安全间距保持***,该方法能够实时、准确采集无人机与输电线路之间的距离,并通过快速计算和动作控制,从而实现无人机与输电线路的安全间距保持。
其中,如图3所示,输电线路和杆塔无人机在进行电力巡线作业时,由于线缆10和杆塔11结构复杂,所以在确定最小安全边界线9时需要将其进行简化处理,其中四个杆塔11分别记为ⅰ、ⅱ、ⅲ、ⅳ,无人机在杆塔ⅰ、ⅱ、ⅲ、ⅳ之间进行电力巡线作业。四个杆塔11顶部的四个端点为记为A、B、C、D,形成一个矩形,然后以这个矩形为边界,向外平移安全避障距离,得到避障边界线记顶点为P1~P8。此处的安全避障距离必须根据电力线路的具体电压值和无人机的大小共同确。即最小安全边界线9包括相互连接形成矩形安全边界框的八条横向边界线和四条竖向边界线,八条横向边界线中,四条分别与杆塔11上的线缆10平行,且相距避障安全距离,另外四条分别与杆塔11之间的连杆平行,且相距避障安全距离。
实现安全间距保持的基础就是建立最小安全边界线9,只有正确建立最小安全边界线,才能准确的建立最小安全空间模型。
如图5所示,姿态调整具体包括以下步骤:
S61:获取图像信息,并将图像沿横向随机框选三个区域;
S62:在每个区域内搜索黑色色块面积最大的点,并获取该点坐标;
S63:利用坐标计算线缆斜率,并获取摄像头相对线缆的倾角大小;
S64:根据倾角大小调整调整无人机姿态,使倾角减小。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种四旋翼无人机安全间距保持***,其特征在于,包括无人机内部相互连接的飞行控制器(1)、供电模块和驱动模块,以及分别与飞行控制器(1)连接的光流模块(2)、测距模块(3)和视觉模块(4),所述的光流模块(2)用于检测飞行位置信息,所述的测距模块(3)用于检测飞行高度信息,所述的视觉模块(4)用于图像信息采集,并根据图像信息进行线缆检测,所述的供电模块用于给驱动模块和飞行控制器(1)供电,所述的驱动模块用于接收飞行控制器(1)的信号并控制无人机的动作。
2.根据权利要求1所述的一种四旋翼无人机安全间距保持***,其特征在于,该***还包括与飞行控制器(1)连接的声光模块(5),所述的视觉模块还与SD卡(8)连接,在无人机飞行过程中,当采集到特殊图像时,通过声光模块(5)发出声光报警,并把采集到的图片数据存储到SD卡(8)中。
3.根据权利要求1所述的一种四旋翼无人机安全间距保持***,其特征在于,所述的光流模块(2)、测距模块(3)和视觉模块(4)分别通过串口或I2C总线与飞行控制器(1)连接。
4.根据权利要求2所述的一种四旋翼无人机安全间距保持***,其特征在于,所述的视觉模块(4)包括与SD卡连接,用于图像采集的OpenMV4摄像头,以及与飞行控制器(1)连接,用于图像数据处理的STM32F765单片机,所述的光流模块(2)包括与飞行控制器(1)连接的光流传感器,所述的测距模块(3)包括与飞行控制器(1)连接的激光测距传感器,所述的飞行控制器(1)为无人机的主控芯片。
5.根据权利要求4所述的一种四旋翼无人机安全间距保持***,其特征在于,所述的OpenMV4摄像头斜向下正对线缆。
6.一种用于如权利要求1-5任一项所述的四旋翼无人机安全间距保持***的控制方法,其特征在于,包括以下步骤:
S1:使用光流模块(2)和测距模块(3)分别对四旋翼无人机进行定位采集和高度采集,得到位置和高度信号;
S2:将两路信号经过滤波融合及信号处理后,输入模糊神经网络进行处理;
S3:模糊神经网络输出飞行控制处理命令到飞行控制器(1);
S4:飞行控制器(1)通过驱动模块调节无人机飞行姿态,控制无人机与线缆之间的距离在最小安全边界线(9)外;
S5:视觉模块(4)根据飞行控制器(1)的指令,进行线缆检测,并将线缆检测数据发送至飞行控制器(1);
S6:飞行控制器(1)根据线缆检测数据对无人机进行姿态调整。
7.根据权利要求6所述的一种四旋翼无人机安全间距保持***的控制方法,其特征在于,所述的滤波融合为klaman滤波。
8.根据权利要求6所述的一种四旋翼无人机安全间距保持***的控制方法,其特征在于,所述的最小安全边界线(9)包括相互连接形成矩形安全边界框的八条横向边界线和四条竖向边界线,所述的八条横向边界线中,四条分别与杆塔(11)上的线缆(10)平行,且相距避障安全距离,另外四条分别与杆塔(11)之间的连杆平行,且相距避障安全距离。
9.根据权利要求8所述的一种四旋翼无人机安全间距保持***的控制方法,其特征在于,所述的避障安全距离通过电力线路的电压值和无人机的大小共同确定。
10.根据权利要求6所述的一种四旋翼无人机安全间距保持***的控制方法,其特征在于,所述的姿态调整具体包括以下步骤:
S61:获取图像信息,并将图像沿横向随机框选三个区域;
S62:在每个区域内搜索黑色色块面积最大的点,并获取该点坐标;
S63:利用坐标计算线缆斜率,并获取摄像头相对线缆的倾角大小;
S64:根据倾角大小调整调整无人机姿态,使倾角减小。
CN202011181089.8A 2020-10-29 2020-10-29 一种四旋翼无人机安全间距保持***和方法 Pending CN112256049A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011181089.8A CN112256049A (zh) 2020-10-29 2020-10-29 一种四旋翼无人机安全间距保持***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011181089.8A CN112256049A (zh) 2020-10-29 2020-10-29 一种四旋翼无人机安全间距保持***和方法

Publications (1)

Publication Number Publication Date
CN112256049A true CN112256049A (zh) 2021-01-22

Family

ID=74261694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011181089.8A Pending CN112256049A (zh) 2020-10-29 2020-10-29 一种四旋翼无人机安全间距保持***和方法

Country Status (1)

Country Link
CN (1) CN112256049A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027798A (zh) * 2022-09-30 2023-04-28 三峡大学 基于图像修正的无人机电力巡检***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135550A (zh) * 2013-01-31 2013-06-05 南京航空航天大学 用于电力巡线的无人机多重避障控制方法
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及***
CN106970651A (zh) * 2017-06-06 2017-07-21 南京理工大学泰州科技学院 一种基于视觉导航的四旋翼无人机的自主飞行***及控制方法
CN107943074A (zh) * 2017-11-20 2018-04-20 国网山东省电力公司莱芜供电公司 一种电力巡检微型多旋翼无人机安全间距保持***
CN110109469A (zh) * 2019-03-19 2019-08-09 南京理工大学泰州科技学院 一种具有颜色、识别、定位、跟踪功能的四旋翼无人机的控制***
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103135550A (zh) * 2013-01-31 2013-06-05 南京航空航天大学 用于电力巡线的无人机多重避障控制方法
CN106444837A (zh) * 2016-10-17 2017-02-22 北京理工大学 一种无人机避障方法及***
CN106970651A (zh) * 2017-06-06 2017-07-21 南京理工大学泰州科技学院 一种基于视觉导航的四旋翼无人机的自主飞行***及控制方法
CN107943074A (zh) * 2017-11-20 2018-04-20 国网山东省电力公司莱芜供电公司 一种电力巡检微型多旋翼无人机安全间距保持***
CN110109469A (zh) * 2019-03-19 2019-08-09 南京理工大学泰州科技学院 一种具有颜色、识别、定位、跟踪功能的四旋翼无人机的控制***
CN110297498A (zh) * 2019-06-13 2019-10-01 暨南大学 一种基于无线充电无人机的轨道巡检方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116027798A (zh) * 2022-09-30 2023-04-28 三峡大学 基于图像修正的无人机电力巡检***及方法
CN116027798B (zh) * 2022-09-30 2023-11-17 三峡大学 基于图像修正的无人机电力巡检***及方法

Similar Documents

Publication Publication Date Title
Alhassan et al. Power transmission line inspection robots: A review, trends and challenges for future research
CN108306217B (zh) 一种架空高压线智能自主沿导线飞行巡检***和方法
CN110282143B (zh) 一种海上风电场无人机巡检方法
CN106886225B (zh) 一种多功能无人机智能起降站***
CN107065932B (zh) 一种灾情探测四旋翼无人机的控制方法
CN108956640B (zh) 适用于配电线路巡检的车载检测装置及检测方法
KR102344195B1 (ko) 전력선 촬영 방법
Wang et al. Power line inspection with a flying robot
CN108255189A (zh) 一种电力巡检无人机***
CN105700544A (zh) 一种无人机光伏电站电气设备巡检***及实现方法
CN109709986A (zh) 一种无人机控制***及方法
CN112039215A (zh) 一种变电站立体巡检***及其巡检方法
CN208873047U (zh) 一种基于多旋翼无人机的巡检装置
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测***及巡检方法
CN204481394U (zh) 一种输电线路无人机视频监控***
CN105786017A (zh) 一种基于无人机的光伏电站勘察、运维***
CN113534844B (zh) 一种未知环境下的旋翼飞行器输电线路巡检方法及装置
CN112306092A (zh) 一种无人机巡检***
CN106444839A (zh) 无人机高压电缆自动巡线***
Ohta et al. Image acquisition of power line transmission towers using UAV and deep learning technique for insulators localization and recognition
CN112233270A (zh) 一种无人机自主智能绕塔巡检***
CN110040244A (zh) 基于无人机悬挂平台的烟囱内壁图像采集装置与方法
CN115562349A (zh) 一种无人机与地面巡检机器人协同作业的巡检方法及装置
CN112184944A (zh) 一种基于bim模型定位与无人机航拍的工地安全检查***
CN111427054A (zh) 一种输配电线路通道隐患精准测距***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122