CN107458619A - 一种全自动化微小型四旋翼自主降落与充电的方法及*** - Google Patents

一种全自动化微小型四旋翼自主降落与充电的方法及*** Download PDF

Info

Publication number
CN107458619A
CN107458619A CN201710504062.XA CN201710504062A CN107458619A CN 107458619 A CN107458619 A CN 107458619A CN 201710504062 A CN201710504062 A CN 201710504062A CN 107458619 A CN107458619 A CN 107458619A
Authority
CN
China
Prior art keywords
mrow
rotor
msub
microminiature
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710504062.XA
Other languages
English (en)
Other versions
CN107458619B (zh
Inventor
付家瑄
裴庆祺
赵晓萌
李诗瑶
哈克
李春鹏
王嘉祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710504062.XA priority Critical patent/CN107458619B/zh
Publication of CN107458619A publication Critical patent/CN107458619A/zh
Application granted granted Critical
Publication of CN107458619B publication Critical patent/CN107458619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F1/00Ground or aircraft-carrier-deck installations
    • B64F1/18Visual or acoustic landing aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/10Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles characterised by the energy transfer between the charging station and the vehicle
    • B60L53/12Inductive energy transfer
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L53/00Methods of charging batteries, specially adapted for electric vehicles; Charging stations or on-board charging equipment therefor; Exchange of energy storage elements in electric vehicles
    • B60L53/30Constructional details of charging stations
    • B60L53/35Means for automatic or assisted adjustment of the relative position of charging devices and vehicles
    • B60L53/38Means for automatic or assisted adjustment of the relative position of charging devices and vehicles specially adapted for charging by inductive energy transfer
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60LPROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L2200/00Type of vehicles
    • B60L2200/10Air crafts
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/70Energy storage systems for electromobility, e.g. batteries
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/7072Electromobility specific charging systems or methods for batteries, ultracapacitors, supercapacitors or double-layer capacitors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/12Electric charging stations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10Technologies relating to charging of electric vehicles
    • Y02T90/14Plug-in electric vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本发明属于信息化处理与控制技术领域,公开了一种自动化微小型四旋翼自主降落与充电的方法及***,所述自动化微小型四旋翼自主降落与充电的方法包括:微小型四旋翼电量预警,通过GPS定位微小型四旋翼飞行到地面中继站的正上方;摄像机拍摄微小型四旋翼,进行背景差分,定位捕捉、追踪微小型四旋翼;结合微小型四旋翼和地面回传的差分GPS信息,读取微小型四旋翼高度,进行3D定位,引导微小型四旋翼自主降落。本发明可自动控制微小型四旋翼的起降,节省了人力,同时,开合装置和框架可以保证微小型四旋翼在特殊天气不受损坏,国内现有的无人机起降大多在地面完成,没有固定的可升降的开合结构来保证无人机的保存和平稳起飞。

Description

一种全自动化微小型四旋翼自主降落与充电的方法及***
技术领域
本发明属于信息化处理与控制技术领域,尤其涉及一种自动化微小型四旋翼自主降落与充电的方法及***。
背景技术
现阶段微小型四旋翼存在两大局限:续航时间过短、附加人工成本大,这从根本上限制了微小型四旋翼的规模化使用及应用领域。如果微小型四旋翼可以在电量预警时,自主就近寻找地面中继站进行无线充电,并在充电结束后自动返回航线,继续进行无人值守作业,就能实现整个过程的全自动化。要想使微小型四旋翼自主完成无线充电,就需要完成微小型四旋翼的室外自主降落。市面上大多数商业无人机采用GPS进行定位降落,然而GPS信号从太空传到地面时,往往会出现延迟和误差,此时无人机定位会出现数十厘米甚至数米的误差。这种误差对精准降落来说是致命的;使得无人机偏离落点而无法进行无线充电甚至损坏无人机,进而使得整个任务环断裂,无法满足方案需求。而现有的辅助定位方式又有不同程度的限制性。对于光流定位,可以将无人机的飘动控制到厘米级别,但是对光照有着极强的依赖,在阳光直射,照射不足等情况下都不能正常运作。对于大多数实验室所采用的双目视觉定位,对硬件设备有着极高的要求,较为适合室内环境的定位,不适合室外环境。双目视觉辅助无人机自主着陆,需要进行大量的图像分析,而图像分析往往需要大量的计算机资源来运算,所以它对于无人机的大脑--“飞行控制器”(简称“飞控”)的运算速度有不低的要求。而且,亦由于双目避障需要大量的运算,导致增加了耗电量。双目避障除了是对处理器和续航力有要求之外,它也直接增加无人机的生产成本。并且双目视觉只有在光线良好的环境下才能达到较好效果,用于室外定位对于技术、配置要求过高。现有技术一:一种基于视觉辅助技术的自主着陆无人机,包括无人机机体和自主着陆***,所述自主着陆***包括DSP处理器、GPS定位模块、摄像模块、图像处理模块、飞行控制***、电源模块,所述GPS定位模块、摄像模块、图像处理模块、飞行控制***分别与所述DSP处理器相连,所述电源模块为整个无人机自主着陆***提供电源,还包括着陆灯,所述着陆灯与所述DSP处理器相连。提高了着陆的精确度。现有技术二:无人机平台运动目标检测与跟踪及其视觉辅助着陆***研究,以无人机平台对运动目标检测跟踪和无人机辅助着落导航***为背景,研究了图像角点特征提取、像机自运动消除、复杂背景下运动目标跟踪、目标尺度方向自适应跟踪、小目标实时高精度跟踪和无人机辅助着陆***等方面的相关算法。
综上所述,现有技术存在的问题是:技术一***构成繁琐、复杂,且对无人机硬件配置有较高的依赖性,导致无人机整体造价成本高,难以普及;技术二现有对无人机***计算能力要求高,耗电量高,导致无人机续航能力下降,约束了其飞行距离,限制了应用领域。
发明内容
针对现有技术存在的问题,本发明提供了一种自动化微小型四旋翼自主降落与充电的方法及***。
本发明是这样实现的,一种自动化微小型四旋翼自主降落与充电的方法,所述自动化微小型四旋翼自主降落与充电的方法包括:
微小型四旋翼电量预警,通过GPS定位微小型四旋翼飞行到地面中继站的正上方;
摄像机拍摄微小型四旋翼,进行背景差分定位捕捉、追踪微小型四旋翼;
结合微小型四旋翼和地面回传的GPS信息,读取微小型四旋翼高度,进行3D定位,引导微小型四旋翼自主降落。
进一步,微小型四旋翼降落到地面装置的亚克力板,电机控制升降机的丝杆自动降落;监测电压判断是否需要进行无线充电。
进一步,微小型四旋翼执行任务,开合装置打开,电机驱动升降机上升,待稳定后,微小型四旋翼从亚克力板上起飞执行任务。
进一步,所述自动化微小型四旋翼自主降落与充电的方法采用GPS定位和单目视觉定位融合定位。
本发明的另一目的在于提供一种所述的自动化微小型四旋翼自主降落与充电的方法的自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法,所述自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法包括:
步骤一,提取背景,对差值图像像素点亮度进行判断,当亮度大于阈值时,该点保持不变;当亮度小于阈值时,则对该点进行更新;
步骤二,当提取到背景时,对微小型四旋翼是否存在于当前视野中进行判断;不间断的对新采集的图像于背景图片做差分处理,若视野中存在微小型四旋翼,则差分后的图像将显示出微小型四旋翼的区域;
步骤三,提取出前景运动图像,对微小型四旋翼位置进行持续的追踪调整,对微小型四旋翼的中心位置M(x,y)进行记录并对其下一次出现的位置进行预测;
步骤四,差分GPS获取准确高度信息,由地面台解算出GPS误差并发送至微小型四旋翼,消除误差,使得降落更加精准;地面基准站可测出与GPS卫星之间的伪距,且通过计算可得出地面台与卫星的真实距离,两者相减算出定位误差;
步骤五,定位到微小型四旋翼在视野中的位置后,对微小型四旋翼的位置进行调整,精准降落在期望区域;在对微小型四旋翼位置进行调整控制时,采用PID调整精准控制使得微小型四旋翼始终保持在视野正中间。
进一步,所述步骤一具体包括:
(1)将第一帧图片I0作为背景图B0
(2)选取阈值T,迭代次数m=1,最大迭代次数m=MAX-STEP;
(3)求当前帧的差分图像:
(4)由二值图像Di更新背景图像Bi
式中Bi(x,y)和Di(x,y)分别为背景图像和前景图像在(x,y)处的亮度值,Ii为输入的第i帧图像,α为更新速度;
(5)迭代次数m=m+1,返回(3)当迭代次数m=MAX-STEP时结束迭代,此时Bi(x,y)可视为背景图片;
所述步骤二具体包括:
其中,Difi为差分后的图像,Ii为当前待处理的一帧,B为提取的背景图,T为差分阈值;
所述步骤四中消除公共误差具体包括:
(1)地面基准站观测卫星得出三维坐标X0,Y0,Z0,已知地面基准站真实坐标X1,Y1,Z1,两者相减取绝对值即为所求误差:
(2)地面基准站将修正值传输给微小型四旋翼,微小型四旋翼上的GPS观测卫星得到自身坐标Xi,Yi,Zi,通过消除误差,解算精准坐标,进而实现精准降落:
***中只取用高度Z信息进行相关计算矫正即可。
进一步,所述步骤五中PID公式如下:
式中uP(n)=KPe(n)称为比例项,称为积分项,称为微分项。
本发明的另一目的在于提供一种所述自动化微小型四旋翼自主降落与充电的方法的自动化微小型四旋翼自主降落与充电的***,所述自动化微小型四旋翼自主降落与充电的***包括:起降结构、开合装置、框架、无线充电模块;
起降结构、无线充电模块和开合装置安装在框架。
进一步,所述起降结构包括:电机、两个升降机、亚克力板;
所述电机与升降机轴连接,所述亚克力板固定在升降机的两个丝杆顶部法兰盘。
进一步,开合装置与电机通过导线连接。
进一步包括:安装有工业级相机及广角镜头的基座,基座固定在充电平台的底部。
本发明的另一目的在于提供一种使用所述自动化微小型四旋翼自主降落与充电的方法的降落与充电的微小型四旋翼。
本发明的优点及积极效果为:采用GPS定位和单目视觉定位融合的定位方式,针对不同的环境复杂度,不同的光照程度,不同的微小型四旋翼模型,以及不同的高度均进行了测试,定位精准;采用差分GPS读取微小型四旋翼高度信息,解决了GPS地位带来的延迟和误差问题;同时采用背景更新算法,背景环境的变换并不影响差分定位,避免了复杂环境条件的影响与微小型四旋翼配置的提高与成本的上升。
本发明为微小型四旋翼起降提供了平台,可自动控制微小型四旋翼所在平台的起降,节省了人力,同时,开合装置和框架可以保证微小型四旋翼在特殊天气不受损坏,国内现有的微小型四旋翼起降大多在地面完成,没有固定的可升降的开合结构来保证微小型四旋翼的保存和平稳起飞。
本发明实现了微小型四旋翼降落、充电过程的全自动化,避免了GPS信号延迟和误差对于微小型四旋翼定位产生较大的影响;用中继站摄像头的视觉定位替代微小型四旋翼携带摄像头的视觉定位,以降低成本,提高定位精度,从而保证了室外微小型四旋翼的自主降落、保存和平稳起飞。
附图说明
图1是本发明实施例提供的自动化微小型四旋翼自主降落与充电的方法流程图。
图2是本发明实施例提供的自动化微小型四旋翼自主降落与充电的方法实现流程图。
图3是本发明实施例提供的自动化微小型四旋翼自主降落与充电的***结构示意图;
图中:1、框架;2、升降机;3、亚克力板。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发明实施例提供的自动化微小型四旋翼自主降落与充电的方法包括以下步骤:
S101:采用GPS定位和单目视觉定位融合的定位方式,微小型四旋翼通过机载GPS定位飞行到地面中继站的正上方,设立垂直拍摄天空的摄像机对微小型四旋翼进行拍摄,进行背景差分定位捕捉;
S102:结合微小型四旋翼和地面回传的差分GPS信息,读取微小型四旋翼的高度,对微小型四旋翼进行3D定位,引导微小型四旋翼自主降落。
如图2所示,本发明实施例提供的自动化微小型四旋翼自主降落与充电的***包括:起降结构、开合装置及框架1。
起降结构包括:电机、两个升降机2、亚克力板3;电机与升降机2轴连接,亚克力板3固定在升降机2的两个丝杆顶部法兰盘。
起降结构和开合装置安装在框架1的顶部,开合装置与电机通过导线连接。
无线充电模块,采用XKT-801芯片设计的无线充电电路。经实验测试,比较两线圈间在8~13mm时数据,采用线圈间距为8mm时进行无线充电。此时,输入端电压约为24V,电池端充电功率约为15W,充电效率在60%左右。与自主降落配合能有效解决微小型四旋翼续航能力差、需要人工更换电池的问题。
工业级相机以及广角镜头的基座,使相机能够稳定的固定在充电平台的底部,不受微小型四旋翼降落时螺旋桨旋转产生的风的影响。控制微小型四旋翼降落误差在厘米级别。使微小型四旋翼精准的降落在地面中继站可充电区域内。
电机驱动两个升降机同时起降,亚克力板固定在升降机两个丝杆顶部的法兰盘上,为微小型四旋翼起降提供平台。当微小型四旋翼降落到亚克力板上时,电机控制升降机的丝杆自动降落,当亚克力板降落以后,降落平台顶部的开合装置关闭。当微小型四旋翼执行任务时,开合装置受控制打开,电机驱动升降机上升。
本发明是这样实现的,微小型四旋翼电量预警,通过机载GPS定位飞行到地面中继站的正上方;摄像机拍摄微小型四旋翼,进行背景差分定位捕捉、追踪微小型四旋翼;
本发明实施例提供的自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法,所述自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法包括:摄像机采集到的图像为彩色图像,为了减少运算量,首先要把图像转化为灰度图像。
1surendra背景更新
该算法可以自适应的提取背景图片,提取背景的思想是对差值图像像素点亮度进行判断,当亮度大于阈值时,该点保持不变;当亮度小于阈值时,则对该点进行更新。其算法实现可分为以下几个步骤:
①将第一帧图片I0作为背景图B0
②选取阈值T,迭代次数m=1,最大迭代次数m=MAX-STEP;
③求当前帧的差分图像:
④由二值图像Di更新背景图像Bi
式中Bi(x,y)和Di(x,y)分别为背景图像和前景图像在(x,y)处的亮度值,Ii为输入的第i帧图像,α为更新速度。
⑤迭代次数m=m+1,返回③当迭代次数m=MAX-STEP时结束迭代,此时Bi(x,y)可视为背景图片。
2背景差分
当成功提取到背景时,需要对微小型四旋翼是否存在于当前视野中进行判断。不间断的对新采集的图像于背景图片做差分处理,若视野中存在微小型四旋翼,则差分后的图像将显示出微小型四旋翼的区域,其算法实现如下:
其中,Difi为差分后的图像,Ii为当前待处理的一帧,B为提取的背景图,T为差分阈值。
3精准定位目标追踪
一旦提取出前景运动图像,便需要对微小型四旋翼位置进行持续的追踪调整。对微小型四旋翼的中心位置M(x,y)进行记录并对其下一次出现的位置进行预测。由于微小型四旋翼的运动遵循牛顿定律,其位置不会发生突变,在短时间内可以预测出微小型四旋翼下一帧的位置将在M(x,y)附近。只需要对以M(x,y)为中心,L为边长的矩形区域进行搜索即可追踪到微小型四旋翼的位置。确定这个L便是关键。可以控制差分后的微小型四旋翼图像面积与预测矩形区域面积的比值一定而确定矩形边长,即经过实验,发现当时,可以获得较好的预测区域。由于微小型四旋翼在不同的高度所成的像大小也不同,需要动态的调整L的值,从而动态的调整预测区域大小。
4差分GPS获取准确高度信息
GPS是美国国防部研制的全球实时导航定位***。由卫星***、中继站、终端用户组成。GPS存在卫星、信号、接收误差,及SA措施带来的人为误差。同一地区内,GPS缓慢变化的***误差,可以应用差分技术对基准台及其邻近用户有效地修正,提高局部范围内用户的定位精度。为了完成精准降落,选择使用差分GPS定位技术(DGPS)。
差分GPS的原理是设立两台GPS接收机,一台作为地面基准站,一台置于微小型四旋翼上进行定位,由地面台解算出GPS误差并发送至微小型四旋翼,从而消除误差,使得降落更加精准。地面基准站可测出与GPS卫星之间的距离,即伪距,且通过计算可得出地面台与卫星的真实距离,两者相减算出定位误差。由地面台将误差传输至微小型四旋翼端,微小型四旋翼上的GPS通过观测卫星得出一组伪距,在接收地面台传输的修正值后,解算出更加精确的坐标,大大提高了降落的精准度。
GPS***观测4颗卫星可得出三维坐标,但是因为轨道误差,星历误差,对流层影响,内部噪声以及SA政策的影响,GPS直接求出的坐标是不精准的。因此由地面基准站解算出真实距离与伪距之间的误差,通过该方式消除公共误差。具体步骤:
①地面基准站观测卫星得出三维坐标X0,Y0,Z0,已知地面基准站真实坐标X1,Y1,Z1,两者相减取绝对值即为所求误差:
②地面基准站将修正值传输给微小型四旋翼,微小型四旋翼上的GPS观测卫星得到自身坐标Xi,Yi,Zi,通过消除误差,解算精准坐标,进而实现精准降落:
***中只取用高度Z信息进行相关计算矫正即可。
5PID调整控制
定位到微小型四旋翼在视野中的位置后,需要对微小型四旋翼的位置进行调整,让其精准降落在期望区域。在对微小型四旋翼位置进行调整控制时,采用PID调整精准控制使得微小型四旋翼始终保持在视野正中间。PID是一种线性闭环负反馈控制器,它根据给定的目标值与实际输出值构成误差信号:
PID公式如下:
式中uP(n)=KPe(n)称为比例项,称为积分项,称为微分项。只要给出合适的KI、KP、KD即可稳定的对微小型四旋翼进行控制。
本发明实施例提供的自动化微小型四旋翼自主降落与充电的方法微小型四旋翼通过GPS定位飞行到地面中继站的正上方,垂直拍摄天空的摄像机对微小型四旋翼进行拍摄,进行背景差分,定位捕捉、追踪微小型四旋翼,然后结合微小型四旋翼和地面回传的差分GPS信息,读取微小型四旋翼的高度,对微小型四旋翼进行3D定位,从而用改进的PID算法引导微小型四旋翼自主降落,控制微小型四旋翼降落误差在厘米级别。
当微小型四旋翼降落到地面装置的亚克力板上时,电机控制升降机的丝杆自动降落,当亚克力板降落以后,降落平台顶部的开合装置关闭。监测微小型四旋翼电池电压判断是否需要进行无线充电。当微小型四旋翼执行任务时,开合装置受控制打开,然后电机驱动升降机上升,待稳定后,微小型四旋翼从亚克力板上起飞执行任务。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动化微小型四旋翼自主降落与充电的方法,其特征在于,所述自动化微小型四旋翼自主降落与充电的方法包括:
微小型四旋翼电量预警,通过GPS定位微小型四旋翼飞行到地面中继站的正上方;
中继站开合结构打开,摄像机拍摄微小型四旋翼,进行背景差分,定位捕捉、追踪微小型四旋翼;
结合微小型四旋翼和地面回传的差分GPS信息,读取微小型四旋翼高度,进行3D定位,引导微小型四旋翼自主降落。
2.如权利要求1所述的自动化微小型四旋翼自主降落与充电的方法,其特征在于,微小型四旋翼降落到中继站地面装置的亚克力板,电机控制升降机的丝杆自动降落;监测电压判断是否需要进行无线充电。
3.如权利要求1所述的自动化微小型四旋翼自主降落与充电的方法,其特征在于,微小型四旋翼执行任务,开合装置打开,电机驱动升降机上升,待稳定后,微小型四旋翼从亚克力板上起飞执行任务。
4.如权利要求1所述的自动化微小型四旋翼自主降落与充电的方法,其特征在于,所述自动化微小型四旋翼自主降落与充电的方法采用差分GPS定位和单目视觉定位融合定位。
5.一种如权利要求1所述的自动化微小型四旋翼自主降落与充电的方法的自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法,其特征在于,所述自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法包括:
步骤一,提取背景,对差值图像像素点亮度进行判断,当亮度大于阈值时,该点保持不变;当亮度小于阈值时,则对该点进行更新;
步骤二,当提取到背景时,对微小型四旋翼是否存在于当前视野中进行判断;不间断的对新采集的图像于背景图片做差分处理,若视野中存在微小型四旋翼,则差分后的图像将显示出微小型四旋翼的区域;
步骤三,提取出前景运动图像,对微小型四旋翼位置进行持续的追踪调整,对微小型四旋翼的中心位置M(x,y)进行记录并对其下一次出现的位置进行预测;
步骤四,差分GPS获取准确高度信息,由地面台解算出GPS误差并发送至微小型四旋翼,消除误差,使得降落更加精准;地面基准站可测出与GPS卫星之间的伪距,且通过计算可得出地面台与卫星的真实距离,两者相减算出定位误差;
步骤五,定位到微小型四旋翼在视野中的位置后,对微小型四旋翼的位置进行调整,精准降落在期望区域;在对微小型四旋翼位置进行调整控制时,采用PID调整精准控制使得微小型四旋翼始终保持在视野正中间。
6.如权利要求5所述的自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法,其特征在于,所述步骤一具体包括:
(1)将第一帧图片I0作为背景图B0
(2)选取阈值T,迭代次数m=1,最大迭代次数m=MAX-STEP;
(3)求当前帧的差分图像:
<mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>I</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>&gt;</mo> <mi>T</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>I</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>|</mo> <mo>&amp;le;</mo> <mi>T</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
(4)由二值图像Di更新背景图像Bi
<mrow> <msub> <mi>B</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>{</mo> <mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;alpha;I</mi> <mi>i</mi> </msub> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <msub> <mi>B</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mrow> <msub> <mi>D</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow> </mrow>
式中Bi(x,y)和Di(x,y)分别为背景图像和前景图像在(x,y)处的亮度值,Ii为输入的第i帧图像,α为更新速度;
(5)迭代次数m=m+1,返回(3)当迭代次数m=MAX-STEP时结束迭代,此时Bi(x,y)可视为背景图片;
所述步骤二具体包括:
<mrow> <msub> <mi>Dif</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>{</mo> <mrow> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&gt;</mo> <mi>T</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>I</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>B</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>&amp;le;</mo> <mi>T</mi> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow> </mrow>
其中,Difi为差分后的图像,Ii为当前待处理的一帧,B为提取的背景图,T为差分阈值;
所述步骤四中消除公共误差具体包括:
(1)地面基准站观测卫星得出三维坐标X0,Y0,Z0,已知地面基准站真实坐标X1,Y1,Z1,两者相减取绝对值即为所求误差:
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>X</mi> <mo>=</mo> <mo>|</mo> <msub> <mi>X</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>X</mi> <mn>0</mn> </msub> <mo>|</mo> </mtd> </mtr> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>Y</mi> <mo>=</mo> <mo>|</mo> <msub> <mi>Y</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>Y</mi> <mn>0</mn> </msub> <mo>|</mo> </mtd> </mtr> <mtr> <mtd> <mi>&amp;Delta;</mi> <mi>Z</mi> <mo>=</mo> <mo>|</mo> <msub> <mi>Z</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>Z</mi> <mn>0</mn> </msub> <mo>|</mo> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
(2)地面基准站将修正值传输给微小型四旋翼,微小型四旋翼上的GPS观测卫星得到自身坐标Xi,Yi,Zi,通过消除误差,解算精准坐标,进而实现精准降落:
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>X</mi> <mo>*</mo> </msup> <mo>=</mo> <msub> <mi>X</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;Delta;</mi> <mi>X</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Y</mi> <mo>*</mo> <mo>=</mo> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;Delta;</mi> <mi>Y</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mi>Z</mi> <mo>*</mo> </msup> <mo>=</mo> <msub> <mi>Z</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;Delta;</mi> <mi>Z</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
***中只取用高度Z信息进行相关计算矫正即可。
7.如权利要求5所述的自动化微小型四旋翼室外GPS与单目视觉融合精准定位的方法,其特征在于,所述步骤五中PID公式如下:
<mrow> <mtable> <mtr> <mtd> <mrow> <mi>u</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>K</mi> <mi>p</mi> </msub> <mo>{</mo> <mi>e</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>T</mi> <msub> <mi>T</mi> <mi>I</mi> </msub> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <mi>e</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <msub> <mi>T</mi> <mi>D</mi> </msub> <mi>T</mi> </mfrac> <mo>&amp;lsqb;</mo> <mi>e</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>e</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>}</mo> <mo>+</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <msub> <mi>u</mi> <mi>P</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>u</mi> <mi>I</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>u</mi> <mi>D</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>u</mi> <mn>0</mn> </msub> </mrow> </mtd> </mtr> </mtable> <mo>;</mo> </mrow>
式中uP(n)=KPe(n)称为比例项,称为积分项,称为微分项。
8.一种如权利要求1所述自动化微小型四旋翼自主降落与充电的方法的自动化微小型四旋翼自主降落与充电的***,其特征在于,所述自动化微小型四旋翼自主降落与充电的***包括:起降结构、开合装置、框架、无线充电模块;
起降结构、无线充电模块和开合装置安装在框架。
9.如权利要求8所述的的自动化微小型四旋翼自主降落与充电的***,其特征在于,所述起降结构包括:电机、两个升降机、亚克力板;
所述电机与升降机轴连接,所述亚克力板固定在升降机的两个丝杆顶部法兰盘;
开合装置与电机通过导线连接;
进一步包括:安装有工业级相机及广角镜头的基座,基座固定在充电平台的底部。
10.一种使用权利要求1~4任意一项所述自动化微小型四旋翼自主降落与充电的方法的降落与充电的微小型四旋翼。
CN201710504062.XA 2017-06-27 2017-06-27 一种全自动化微小型四旋翼自主降落与充电的方法及*** Active CN107458619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710504062.XA CN107458619B (zh) 2017-06-27 2017-06-27 一种全自动化微小型四旋翼自主降落与充电的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710504062.XA CN107458619B (zh) 2017-06-27 2017-06-27 一种全自动化微小型四旋翼自主降落与充电的方法及***

Publications (2)

Publication Number Publication Date
CN107458619A true CN107458619A (zh) 2017-12-12
CN107458619B CN107458619B (zh) 2021-04-16

Family

ID=60546163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710504062.XA Active CN107458619B (zh) 2017-06-27 2017-06-27 一种全自动化微小型四旋翼自主降落与充电的方法及***

Country Status (1)

Country Link
CN (1) CN107458619B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109292099A (zh) * 2018-08-10 2019-02-01 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN110595476A (zh) * 2019-08-30 2019-12-20 天津航天中为数据***科技有限公司 一种基于gps和图像视觉融合的无人机降落导航方法及装置
RU200137U1 (ru) * 2020-04-28 2020-10-07 Общество С Ограниченной Ответственностью "Ит" Сокол" Базовая станция беспилотного летательного аппарата

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706576A (zh) * 2009-11-13 2010-05-12 山东大学 基于雷达图像的运动目标形态检测及跟踪方法
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
KR20150137900A (ko) * 2014-05-30 2015-12-09 (주)한국플랜트관리 원자력 발전소 방사선 측정을 위한 이동형 센싱 플랫폼의 지상 스테이션
CN105447431A (zh) * 2014-08-01 2016-03-30 深圳中集天达空港设备有限公司 一种基于机器视觉的入坞飞机跟踪定位方法及***
CN105951614A (zh) * 2016-05-03 2016-09-21 湖北工业大学 一种旋翼无人机中继换能服务站
CN106532818A (zh) * 2016-11-17 2017-03-22 苏州航天***工程有限公司 一种旋翼无人机自主续航充电桩及其方法
CN106628220A (zh) * 2017-02-24 2017-05-10 山东大学 无人机中继装置及中继方法
CN106712206A (zh) * 2017-01-25 2017-05-24 上海量明科技发展有限公司 充电方法、飞充设备及***
CN206195368U (zh) * 2016-08-16 2017-05-24 中海阳能源集团股份有限公司 一种无人机射频无线充电***
CN106742013A (zh) * 2016-12-27 2017-05-31 纪泽源 一种模块化多轴无人机起落基站
CN106864751A (zh) * 2017-03-16 2017-06-20 山东大学 基于图像处理的无人机飞行降落***及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101706576A (zh) * 2009-11-13 2010-05-12 山东大学 基于雷达图像的运动目标形态检测及跟踪方法
KR20150137900A (ko) * 2014-05-30 2015-12-09 (주)한국플랜트관리 원자력 발전소 방사선 측정을 위한 이동형 센싱 플랫폼의 지상 스테이션
CN105447431A (zh) * 2014-08-01 2016-03-30 深圳中集天达空港设备有限公司 一种基于机器视觉的入坞飞机跟踪定位方法及***
CN104197928A (zh) * 2014-08-29 2014-12-10 西北工业大学 多摄像机协同的无人机检测、定位及跟踪方法
CN105951614A (zh) * 2016-05-03 2016-09-21 湖北工业大学 一种旋翼无人机中继换能服务站
CN206195368U (zh) * 2016-08-16 2017-05-24 中海阳能源集团股份有限公司 一种无人机射频无线充电***
CN106532818A (zh) * 2016-11-17 2017-03-22 苏州航天***工程有限公司 一种旋翼无人机自主续航充电桩及其方法
CN106742013A (zh) * 2016-12-27 2017-05-31 纪泽源 一种模块化多轴无人机起落基站
CN106712206A (zh) * 2017-01-25 2017-05-24 上海量明科技发展有限公司 充电方法、飞充设备及***
CN106628220A (zh) * 2017-02-24 2017-05-10 山东大学 无人机中继装置及中继方法
CN106864751A (zh) * 2017-03-16 2017-06-20 山东大学 基于图像处理的无人机飞行降落***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109292099A (zh) * 2018-08-10 2019-02-01 顺丰科技有限公司 一种无人机着陆判断方法、装置、设备及存储介质
CN110595476A (zh) * 2019-08-30 2019-12-20 天津航天中为数据***科技有限公司 一种基于gps和图像视觉融合的无人机降落导航方法及装置
CN110595476B (zh) * 2019-08-30 2021-07-06 天津航天中为数据***科技有限公司 一种基于gps和图像视觉融合的无人机降落导航方法及装置
RU200137U1 (ru) * 2020-04-28 2020-10-07 Общество С Ограниченной Ответственностью "Ит" Сокол" Базовая станция беспилотного летательного аппарата

Also Published As

Publication number Publication date
CN107458619B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
CN106124517B (zh) 检测结构件表面裂缝的多旋翼无人机检测平台***及其用于检测结构件表面裂缝的方法
CN106292126B (zh) 一种智能航测飞行曝光控制方法、无人机控制方法及终端
CN103822635B (zh) 基于视觉信息的无人机飞行中空间位置实时计算方法
US11829142B2 (en) Unmanned aerial vehicle adaptable to obstructions
CN105184776B (zh) 目标跟踪方法
CN103680291B (zh) 基于天花板视觉的同步定位与地图绘制的方法
CN108827306A (zh) 一种基于多传感器融合的无人机slam导航方法及***
CN112326686B (zh) 无人机智能巡航路面病害检测方法、无人机和检测***
CN106197422A (zh) 一种基于二维标签的无人机定位及目标跟踪方法
CN105136164B (zh) 考虑卫星综合运动的凝视成像仿真及质量评估方法及装置
CN111178148B (zh) 一种基于无人机视觉***的地面目标地理坐标定位方法
CN104215239A (zh) 基于视觉的无人机自主着陆导引装置及导引方法
CN105579811A (zh) 外部混合照片制图
CN103941746A (zh) 无人机巡检图像处理***及方法
CN110006407A (zh) 基于旋翼无人机的贴近摄影测量方法
CN103438869A (zh) 一种大尺度植被覆盖度航空动态获取***
CN110081875B (zh) 一种仿鸽子智能的无人机自主导航***及方法
CN105182994A (zh) 一种无人机定点降落的方法
CN107458619A (zh) 一种全自动化微小型四旋翼自主降落与充电的方法及***
CN107449444A (zh) 一种多星图姿态关联的星敏感器内参数标定方法及其装置
CN106708073A (zh) 一种自主导航电力巡线故障检测的四旋翼飞行器***
US11544857B1 (en) Method and device for calculating river surface flow velocity based on variational principle
CN110001945A (zh) 一种倒崖立面精细倾斜航摄装置与摄影方法
CN112702565A (zh) 一种田间植物表型信息采集***及方法
CN113282108A (zh) 基于无人机技术快速精准采集低空遥感影像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant