CN104932522B - 一种飞行器的自主降落方法和*** - Google Patents

一种飞行器的自主降落方法和*** Download PDF

Info

Publication number
CN104932522B
CN104932522B CN201510278927.6A CN201510278927A CN104932522B CN 104932522 B CN104932522 B CN 104932522B CN 201510278927 A CN201510278927 A CN 201510278927A CN 104932522 B CN104932522 B CN 104932522B
Authority
CN
China
Prior art keywords
aircraft
flight
information
landing
landing place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510278927.6A
Other languages
English (en)
Other versions
CN104932522A (zh
Inventor
胡骁
赵丛
周谷越
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN201510278927.6A priority Critical patent/CN104932522B/zh
Publication of CN104932522A publication Critical patent/CN104932522A/zh
Application granted granted Critical
Publication of CN104932522B publication Critical patent/CN104932522B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)

Abstract

本发明实施例公开了一种飞行器的自主降落方法和***,可较为有效地实现飞行器的自动、精准降落。本发明实施例提供的飞行器的自主降落方法包括:获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置;根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略;根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置。

Description

一种飞行器的自主降落方法和***
技术领域
本发明涉及飞行器控制技术领域,尤其涉及一种飞行器的自主降落方法和***。
背景技术
飞行器在国民经济、军事上都有很多应用。飞行器的自主降落具有以下重要意义:飞行器的起降是飞行器整个飞行阶段中最容易发生故障的阶段,飞行器自主降落功能是飞行器自主飞行功能的先决基础。
现有技术中飞行器采用的降落方式一般由飞行器的操作者进行手动降落,操作者通过拨杆控制飞行器降落。用户手动的方式对用户的操作能力有要求,容易出现错误操作使飞行器倾斜、翻转,导致飞行器部件损害。
发明内容
本发明实施例提供了一种飞行器的自主降落方法和***,可较为有效地实现飞行器的自动、精准降落。
为解决上述技术问题,本发明实施例提供以下技术方案:
第一方面,本发明实施例提供一种飞行器的自主降落方法,包括:
获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置;
根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略;
根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置。
第二方面,本发明实施例还提供一种飞行器的自主降落***,包括:
信息获取模块,用于获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置;
预测模块,用于根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略;
飞行控制模块,用于根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置。
第三方面,本发明实施例还提供一种飞行器的自主降落***,包括:视觉传感器、惯性测量单元IMU、全球定位***GPS、处理器和存储器,其中,
所述视觉传感器、所述IMU、所述GPS,用于在所述处理器的调度下获取飞行器的飞行信息,所述视觉传感器还用于拍摄降落目标点,生成基于拍摄的图像数据;
所述处理器,用于执行前述第一方面中所述的飞行器的自主降落方法;
所述存储器,用于存储所述视觉传感器、所述IMU、所述GPS和所述处理器执行时的数据。
通过以上对本发明的描述可知,本发明存在以下优点:
本发明实施例中,飞行器降落的全过程中可以按照预测的飞行控制策略实现精准的自主降落,对准降落过程中对降落位置的锁定减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种飞行器的自主降落方法的流程方框示意图;
图2为本发明实施例提供的一种飞行器的自主降落方法的交互过程示意图;
图3为本发明实施例提供的一种飞行器的偏航角计算示意图;
图4-a为本发明实施例提供的一种飞行器的自主降落***的组成结构示意图;
图4-b为本发明实施例提供的另一种飞行器的自主降落***的组成结构示意图;
图4-c为本发明实施例提供的另一种飞行器的自主降落***的组成结构示意图;
图5为本发明实施例提供的另一种飞行器的自主降落***的组成结构示意图.
具体实施方式
本发明实施例提供了一种飞行器的自主降落方法和***,用于实现飞行器的精准降落,使得降落更平滑,更快速。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域的技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
以下分别进行详细说明。
本发明飞行器的自主降落方法的一个实施例,可应用于飞行器的控制处理中,尤其适用于对小型飞行器的降落控制中,请参阅图1和图2所示,本发明一个实施例提供的飞行器的自主降落方法,可以包括如下步骤:
101、获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置。
在本发明实施例中,飞行器的起降是飞行器整个飞行阶段中最容易发生故障的阶段,飞行器自主降落功能是飞行器自主飞行功能的先决基础。飞行器受限于锂电池的电量以及其他的限制(如拍摄视频,内存卡的大小)和工作需要(如物流领域,需将物品停放于指定地点),必须具备自主降落于指定位置的功能,例如降落于充电桩附近进行自主充电。飞行器的自主降落可以帮助用户自行降落飞行器,从而极大的减小了降落过程中存在的风险。因此有必要对飞行器的自主降落中采用的降落控制算法进行研究,本发明恰好提供了飞行器的精准自主降落方案。在本发明中,飞行器处于飞行状态时有自己的位置、速度、加速度、飞行高度等参量,如图2所示,本发明中借助于在飞行器中内置的多种传感器(以内置有传感器1、传感器2、…、传感器n为例)从飞行器中反馈信号,实现传感器观测,多种传感器从飞行器中反馈信号,由于飞行器处于飞行状态时位置、速度、加速度等都是实时变化的,这些实时可能变化的信号需要进行实时采集,从而可以实时获取到飞行器的飞行信息,其中飞行信息是指飞行器处于飞行状态时的各项飞行状态参数,并且依据于飞行器内置的多种传感器的各种类型不同,实时获取到的飞行信息的具体参量组成也可以有不同的表示方式。
具体的,在本发明的一些实施例中,获取飞行器的飞行信息,具体可以包括:获取如下的至少一种信息作为飞行信息:飞行器的位置信息、速度信息、加速度信息、姿态信息和飞行器对地的高度信息。其中,飞行器的位置信息为处于飞行状态时的实时位置,飞行器的位置信息可以是机体坐标系下的位置坐标,在飞行器的不同飞行时刻都对应有具体的位置,同样的,飞行器的速度和加速度也可以描述飞行器的运动方式,飞行器的姿态信息可包括飞行器的横滚角(英文名称roll),俯仰角(英文名称pitch),航向角(英文名称yaw),飞行器的姿态信息用来控制飞行器保持水平或保持某一姿态角。其中,在飞行器领域中,航向角也称之为偏航角,如图3所示,可以利用图像处理技术求解降落目标点的标志方向,以及飞行器的机头方向与标志方向的偏航角。飞行器对地的高度信息是指飞行器的飞行高度,飞行器处于飞行状态时随着飞行器的姿态信息的变换,飞行器的飞行高度也可能实时变化。
在本发明的一些实施例中,获取飞行器的飞行信息,具体可以通过全球定位***(GPS,Global Positioning System)、惯性测量单元(IMU,Inertial Measurement Unit)、视觉传感器获取飞行器正在飞行时的飞行信息。
具体的,在飞行器中可以内置GPS、IMU、视觉传感器中的一种或多种,从而可以通过GPS、IMU、视觉传感器来实时获取飞行器的飞行信息,其中,视觉传感器可以超声波传感器(英文名称ultrasonic)和摄像机(英文名称camera)。进一步的,在本发明的一些实施例中,飞行器中的IMU可内置有三轴陀螺仪,三轴加速度计,三轴磁力计。举例说明如下:本发明中,内置于飞行器的传感器主要包括但不限于以下几种:GPS,camera,ultrasonic,IMU。其中,GPS用于在室外提供飞行器的位置信息和速度信息。摄像机可以有一个或多个,当飞行器中内置有一个摄像机时,通过单个摄像机和超声波传感器可以实现对飞行器的视觉测试,若有两个或者更多的摄像机时,多个摄像机可以组成立体视觉***,在室内室外情况下提供飞行器的位置信息和速度信息,同时利用摄像机检测出降落目标点的降落位置的标记,利用图像处理技术求解标记的降落位置以及飞行器的机头方向与标志方向的偏航角,如图3所示。立体视觉测速原理为:通过两个摄像机基于图像的匹配(例如锁定两个图像中的相同物体或者目标),可以通过三角测量得到深度,进而得到图像上每一个像素点的3D坐标,通过前后两帧的匹配,就可以知道飞行器在两帧之间运动了多少,从而确定出飞行器的飞行速度。另外,超声波传感器用于提供飞行器对地的高度信息,另外测高度也可能需要附加激光测距仪或气压计来实现。IMU通过内置的三轴陀螺仪,三轴加速度计,三轴磁力计提供飞行器的姿态信息,加速度和速度信息。本发明中可以采用GPS和视觉技术实现全环境下的定位测速,为室内室外自主降落提供了先决条件。
需要说明的是,在本发明实施例中,通过飞行器内置的多种传感器可以得到飞行器的飞行信息,对于不同传感器的特点可以得到不同类型的飞行信息,并且各种传感器具有各自独立或者相互配合的信息获取方式。其中,IMU可以提供速度信息,但是提供的速度信息误差会随时间累积,前述摄像机组成的立体视觉***会偶尔存在视觉信号丢失的问题,即视觉信号看不见时,可结合IMU来对飞行信息进行微调。例如,飞行器移动过程中摄像机看不到地上的marker,视觉监测就会失败。或者是场景中光照不足,或者是场景中特征不明显(比如全白,全黑)都会暂时性丢失信号。具体地,在视觉看见降落目标点(即marker)后,会指引飞行器往哪里飞行,IMU也会指引飞行器往哪里飞行,走的速度多块,故而飞行器就可以估算离marker还有多远。即使暂时性地丢失视觉信号,IMU仍可进行微调,使飞机继续靠近降落点。当视觉未丢失信号的时候,则是实时反馈降落点信息给飞机。
在本发明实施例中,飞行器内置有一个或多个的摄像机,摄像机可以拍摄场景画面,得到基于拍摄的图像数据,根据场景画面中的标记中心位置可检测出降落目标点的降落位置。例如摄像机可提供拍摄到的图像,通过图像处理技术可以提取图像中的marker,进而提取marker的朝向,具体可以参考现有的图像矩技术,由摄像机检测到降落目标点的降落位置。
需要说明的是,在本发明实施例中,获取飞行器的飞行信息与基于拍摄的图像数据检测出降落目标点的降落位置之间并没有时间或者时序上的先后顺序,两者之中的任意一个步骤可以先执行,两者的步骤也可以同时执行。
在本发明的一些实施例中,步骤101中的基于拍摄的图像数据检测出降落目标点的降落位置,具体包括如下步骤:
通过状态估计算法根据多次拍摄到的图像数据估计出多个降落位置,在估计出的多个降落位置达到一致时,锁定并输出估计出的降落位置。
也就是说,在本发明中对降落目标点的降落位置的估计可以是通过多次估计后锁定出的降落位置,通过状态估计算法对降落位置的精准估计,为飞行器能够准确降落到降落目标点提供了准确的目标位置。其中,本发明中采用的状态估计算法简单说明如下:
y1=a×x1
y2=a×x2
……
yn=a×xn
其中,共对降落目标点进行n次的位置图像采集,x表示真实状态,y为测量值,那么X=[x1,x2,…,xn],Y=[y1,y2,…,yn],A=diag(a),A是观测矩阵,a是观测矩阵A的对角线元素。由最优估计算法公式:X=(ATA)-1ATY,可知,真实状态X的估计值是由多次测量Y的线性加权组合构成,具体的组合系数按照最小二乘来设计。
在本发明的一些实施例中,步骤101获取飞行器的飞行信息之后,本发明提供的飞行器的自主降落方法,还可以包括如下步骤:
步骤A1,对上述飞行信息进行信息融合,得到融合后的飞行信息。
在本发明实施例中,获取到处于飞行状态的飞行器的飞行信息之后,对于通过多种传感器分别获取到的飞行信息,根据前述分析,可能存在不准确或者丢失目标的情形,这就需要对实时获取到的多种飞行信息进行信息融合,从而得到飞行器的融合后的飞行信息,具体的,本发明中融合后的飞行信息也可以称为当前飞行参量,其中当前飞行参量为对前述步骤101中采集到的多种飞行信息的信息融合的结果,对飞行器的飞行信息进行信息融合可避免单个飞行信息的缺失或者误差的干扰对飞行器的飞行参量的误判,提高飞行器的自主降落控制精度。可以理解的是,在飞行器的不同飞行状态,其对应的当前飞行参量也是由对不同飞行状态下的飞行信息进行信息融合而得到的。融合后的飞行信息表示的是对飞行信息进行信息融合后的飞行信息,融合后的飞行信息可以包括以下信息中的至少一种:飞行器的位置信息、速度信息、加速度信息、姿态信息和飞行器对地的高度信息。
在本发明的一些实施例中,具体的,步骤A1中对飞行器的飞行信息进行信息融合,具体可以包括如下步骤:
使用扩展卡尔曼滤波算法(EKF,Extended Kalman Filter)、或无损卡尔曼滤波算法(UKF,Unscented Kalman Filter)、或粒子滤波算法(PF,Particle Filter)对飞行器的飞行信息进行信息融合。
也就是说,在本发明实施例中,对飞行器的飞行信息进行信息融合时,可以采用EKF、UKF、PF来实现飞行信息的信息融合,各种滤波算法可以通过具体的滤波器来实现,接下来以基于扩展卡尔曼滤波器对来个不同传感器的飞行信息进行信息融合为例,扩展卡尔曼滤波器负责融合来自不同传感器的飞行信息。具体的,扩展卡尔曼滤波器的状态设计如下:
其中,
X为***状态向量,N×1维;
P为飞行器的位置信息,3×1维;
v为飞行器的速度信息,3×1维;
a为飞行器的加速度信息,3×1维;
q为飞行器的姿态信息对应的四元数,4×1维;
acc_bias为IMU内置的三轴加速度计的零偏值,3×1维;
gyro_bias为IMU内置的三轴陀螺仪的零偏值,3×1维。
其中,
Y为***的观测向量,Mx1维;
Sonic为超声波测量的对地高度,1x1维;
P_gps,v_gps为GPS给出的飞行器位置信息、速度信息;
P_vision,v_vision为视觉测试给出的飞行器位置信息、速度信息;
需要说明的是,量测状态包括但不限于上述所列信息,***状态就是***的固有特征,***的观测就是传感器的测量。
***的状态方程简述为:
Xk+1=f(Xk,Uk+1)
其中,
Xk+1为k+1时刻的***状态;
Xk为k时刻的***状态;
Uk+1为k+1时刻的***输入;
F()代表非线性***方程;
***的量测方程为:
Yk=g(Xk)
其中,
Xk为k时刻的***状态;
Yk为k时刻的输出;
G()代表非线性***观测方程。
另外对本发明中EKF融合过程进行如下说明:
时间更新方程:
其中,X,F的意义同上,P为X对应的协方差矩阵,Q为过程噪声激励矩阵;
量测更新方程:
Pk|k=(I-KkHk)Pk|k-1
其中,Y,X,P,h的意义同上问描述,z为残差,即观测与状态预测的差值,R为量测噪声矩阵,Kk为卡尔曼滤波增益矩阵,I为单位矩阵。
其中,Fk-1和Hk为f和h对应的雅克比矩阵,满足如下关系:
UKF融合过程如下:
时间更新方程:
这里,Xa为增广状态,即***状态和过程噪声的联合;
Pa为增广状态对应的协方差矩阵;
其中,指的是对的第i次平方根,χ为X的无损采样点。
λ=α2(L+κ)-L
其中,W为每个采样点的权重,λ,α,β是用来控制样本点分布的系数,根据不同的采样原则可以设计不同的系数。
其中,UKF的融合过程如下:
量测更新方程:
其中,上式为根据预测状态Xk|k-1和量测噪声vk进行新的无损采样,然后依据下列公式对每一个样本点计算对应的与量测之间的残差,并进行加权得到总残差zk以及残差的协方差矩阵,W为权重系数。
最后,根据如下记载的残差和状态的协方差矩阵计算卡尔曼滤波增益矩阵Kk来对状态进行修正。
需要说明的是,本发明中前述对EKF和UKF算法进行了举例说明,上述举例过程中涉及的内容中有些参量的取得过程以及含义描述说明可以参阅现有技术中的EKF和UKF算法。另外,UKF和EKF的算法实现过程还可以使用现有技术中已经公开的其它方式。
本发明中,粒子滤波融合过程:
粒子滤波是基于蒙特卡洛思想的一种概率滤波方法,其基本过程如下:
首先,对根据状态及其密度函数生产大量的粒子,每个粒子分布一定的概率(例如常用的概率均值分布,即每个粒子具有相同的概率)。然后根据观测y和状态的预测计算基于当前观测的后验概率p,用后验概率乘以粒子当前的概率并进行归一化。滤波器的状态估计即为最大后验概率估计,即用归一化后的权重系数加权每一个粒子得到的最终状态输出。为了避免粒子退化,即进过几次滤波之后大多数的粒子概率趋于0,只有少数几个粒子概率较大的情况,通过下式计算有效粒子数目,当有效粒子数目低于一定的数值时,需要按照如下方式根据此时的分布对状态量进行重采样,即重新生成粒子。
需要说明的是,本发明中前述对粒子滤波融合算法进行了举例说明,上述举例过程中涉及的内容中有些参量的取得过程以及含义描述说明可以参阅现有技术中的粒子滤波算法。
在本发明的一些实施例中,信息融合是通过融合不同频率的观测数据来提供平滑的位置、速度、姿态信息,以供飞行器的控制使用。另外,考虑到降落过程中各种传感器的观测可能出现丢失或者异常错误的情况,信息融合可以依然保证较为平滑的估计,从而避免因短时观测异常导致的错误。
本发明中还可以采用异常检测过程,例如,步骤101获取飞行器的飞行信息之后,本发明提供的飞行器的自主降落方法可以还包括如下步骤:
步骤B1、根据马氏距离算法检测飞行信息中是否存在异常数据,并在飞行信息存在异常数据时,对当前飞行参量进行平滑校正。
其中,步骤B1中根据马氏距离算法检测的飞行信息可以是前述执行了步骤A1后得到的融合后的飞行信息,即前述的当前飞行参量。具体实现过程如下说明,可以将***的预测输出和实际观测带入马氏距离公式d(x,y),计算马氏距离,根据马氏距离选择不同的策略处理,if d(x,y)>threshold,Xk+1=f(Xk,Uk+1);else,Xk+1=f(Xk,Uk+1)+Kk(Yk-g(Xk))。其中,threshold表示预置的门限值,Kk表示k时刻的卡尔曼滤波增益矩阵。本发明中采用的信息融合技术保证了在某个或某几个传感器短时失效的情况下飞行器仍能平滑降落,对异常的处理避免了错误观测数据对飞行器的影响,提升了整个***的性能。
102、根据飞行信息和降落位置,预测出飞行器向降落目标点降落的飞行控制策略。
在本发明实施例中,通过前述步骤101获取到的飞行信息和降落位置之后,结合飞行器的飞行信息和和检测到的降落位置,预测出飞行器该怎样向降落目标点降落,即根据飞行信息和降落位置生成飞行控制策略。具体的,若前述执行了步骤A1的实现场景下,步骤102根据飞行信息和降落位置,预测出飞行器向所述降落目标点降落的飞行控制策略,具体为:根据融合后的飞行信息和降落位置,预测出飞行器向降落目标点降落的飞行控制策略。其中,飞行控制策略指的是对飞行器如何向降落目标点降落的控制策略,飞行控制策略的预测是基于对飞行器的飞行信息和检测到的降落位置预测出的,飞行控制策略可以包括控制飞行器飞行的速度、加速度、高度等信息。
具体的,在本发明的一些实施例中,预测出的飞行控制策略,具体包括如下内容:
当检测到飞行器的高度超过高度阈值时,对飞行器进行悬停控制并降低飞行器的高度;
根据飞行器的当前位置设计出平滑的飞行曲线。
进一步的,预测出的飞行控制策略还可以是设计飞行器的动态飞行过程为:加速-匀速-减速。
其中,上述内容给出了一种详细的飞行控制策略,例如降低飞行器的飞行高度,采用平滑的飞行曲线,对飞行器的速度控制过程可以是先加速、后匀速、再减速,使飞行器一步步的接近目标降落点。不限定的是,在本发明的另一些实施例中,还可以依据本发明给出的上述实现方式想到其他的实现方式,例如保持飞行器的飞行高度,速度控制过程为先匀速后减速,也可以是先加速后减速等,具体可以根据实现的场景来设定。对准降落过程中采用的锁定位置航向技术减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
103、根据预测出的飞行控制策略控制飞行器飞行,使飞行器降落到降落位置。
在本发明实施例中,步骤102预测出可用的飞行控制策略之后,可以将飞行控制策略保存到控制策略里,根据预测出的飞行控制策略对飞行器进行飞行控制,使飞行器降落到降落位置。本发明可以满足针对飞行器智能自主降落的功能需求,通过非线性扩展卡尔曼滤波等技术融合多种传感器信息(GPS、视觉、超声波、激光等),在飞行器降落的全过程中跟踪降落目标点并实时定位,实现平滑并准确降落于指定目标点的功能。
需要说明的是,在本发明实施例中,预测出的飞行控制策略可以基于目前的飞行器控制算法,但在上层控制中附加自动降落的特殊处理过程,例如当检测到的飞行器的高度过高时,首先悬停并降低飞行器的高度至合适位置以保证视觉观测的质量,另外为了保证降落的准确性和降落的速度,可以通过状态估计算法根据多次观测来对降落位置进行最优估计,当估计的降落位置达到稳定后,锁定降落位置并根据当前飞行器的位置设计平滑的曲线以使得飞机准确的降落到锁定的降落位置。飞行控制器中可以将预测出的飞行控制策略设置到控制策略里面,比如为了使飞行器到达指定的位置在指定位置处停下,可以设计动态过程为加速-匀速-减速,通过这种规划来产生期望的控制量,交由飞行器到达指定位置。
在本发明的一些实施例中,步骤103根据预测出的所述飞行控制策略控制所述飞行器飞行,具体可以包括如下步骤:
当检测到所述飞行器的高度超过高度阈值时,对所述飞行器进行悬停控制并降低所述飞行器的高度;
根据所述飞行器的当前位置设计出飞行曲线,控制所述飞行器按照所述飞行曲线飞行。
其中,上述内容给出了一种详细的飞行控制策略,例如降低飞行器的飞行高度,采用平滑的飞行曲线,对飞行器的速度控制过程可以是先加速、后匀速、再减速,使飞行器一步步的接近目标降落点。不限定的是,在本发明的另一些实施例中,还可以依据本发明给出的上述实现方式想到其他的实现方式,例如保持飞行器的飞行高度,速度控制过程为先匀速后减速,也可以是先加速后减速等,具体可以根据实现的场景来设定。对准降落过程中采用的锁定位置航向技术减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
在本发明的另一些实施例中,步骤103根据预测出的所述飞行控制策略控制所述飞行器飞行,包括:
当检测到不能采集到所述图像数据时,根据获取到的飞行信息对飞行器的飞行进行调整,以控制所述飞行器向降落位置靠近。
其中,本发明中拍摄的降落目标点的图像数据是由飞行器中的视觉传感器采集,在视觉传感器短暂失去目标时,可以使用飞行器中的IMU进行调整,直到能够再次获取到图像数据为止,即IMU对采集不到图像数据之前已经采集到的图像数据进行微调,以保证飞行器不丢失飞行目标,而是可以逐步靠近降落目标点。需要说明的是,上述步骤中,根据获取到的飞行信息对飞行器的飞行进行调整,以控制飞行器向降落位置靠近,其中,这里的飞行器靠近的降落位置可以是上一次能够采集到图像数据时确定的降落位置。
通过以上实施例对本发明的说明可知,飞行器降落的全过程中可以按照预测的飞行控制策略实现精准的自主降落,对准降落过程中对降落位置的锁定减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案,下面还提供用于实施上述方案的相关***。
请参阅图4-a所示,本发明实施例提供的一种飞行器的自主降落***400,可以包括:信息获取模块401、预测模块402、飞行控制模块403,其中,
信息获取模块401,用于获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置;
预测模块402,用于根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略;
飞行控制模块403,用于根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置。
在本发明的一些实施例中,如图4-b所示,相对于如图4-a所示,所述飞行器的自主降落***400,还包括:信息融合模块404,用于在所述信息获取模块401获取飞行器的飞行信息之后,对所述飞行信息进行信息融合,得到融合后的飞行信息;
所述预测模块402,具体用于根据融合后的飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略。
在本发明的一些实施例中,所述信息融合模块404,具体用于使用扩展卡尔曼滤波算法EKF、或无损卡尔曼滤波算法UKF、或粒子滤波算法PF对所述飞行器的飞行信息进行信息融合。
在本发明的一些实施例中,如图4-c所示,相对于如图4-a所示,所述飞行器的自主降落***400,还包括:异常处理模块405,用于在所述信息获取模块401获取飞行器的飞行信息之后,根据马氏距离算法检测所述飞行信息中是否存在异常数据,并在所述飞行信息存在异常数据时,对所述飞行信息进行平滑校正。
在本发明的一些实施例中,所述信息获取模块401,具体用于获取如下的至少一种信息作为飞行信息:所述飞行器的位置信息、速度信息、加速度信息、姿态信息和所述飞行器对地的高度信息。
在本发明的一些实施例中,所述信息获取模块401,具体用于通过状态估计算法根据多次拍摄到的图像数据对降落位置估计出多个降落位置,在估计出的多个降落位置取值达到一致时,锁定并输出估计的降落位置。
在本发明的一些实施例中,所述飞行控制模块403,具体用于当检测到所述飞行器的高度超过高度阈值时,对所述飞行器进行悬停控制并降低所述飞行器的高度;根据所述飞行器的当前位置设计出平滑的飞行曲线控制所述飞行器按照所述飞行曲线飞行。
在本发明的一些实施例中,所述飞行控制模块403,具体用于当检测到不能采集到所述图像数据时,根据获取到的飞行信息对所述飞行器的飞行进行调整,以控制所述飞行器向降落位置靠近。
需要说明的是,上述***各模块/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其带来的技术效果与本发明方法实施例相同,具体内容可参见本发明前述所示的方法实施例中的叙述,此处不再赘述。
通过以上实施例对本发明的说明可知,飞行器降落的全过程中可以按照预测的飞行控制策略实现精准的自主降落,对准降落过程中对降落位置的锁定减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
请参阅图5所示,本发明实施例提供的另一种飞行器的自主降落***500,可以包括:视觉传感器501、惯性测量单元IMU 502、全球定位***GPS 503、处理器504和存储器505,其中,
所述视觉传感器501、所述IMU502、所述GPS503,用于在所述处理器504的调度下获取飞行器的飞行信息,所述视觉传感器501还用于拍摄降落目标点,生成基于拍摄的图像数据;
所述处理器504,用于执行前述图4-a、图4-b、图4-c任一项所述的飞行器的自主降落方法;
所述存储器505,用于存储所述视觉传感器501、所述IMU502、所述GPS503和所述处理器504执行时的数据。
在本发明的一些实施例中,当所述视觉传感器501不能采集到图像数据时,所述IMU502,还用于对所述飞行器的飞行信息进行微调,以使所述处理器按照所述IMU微调后的飞行信息控制所述飞行器向所述降落位置靠近。
在本发明的一些实施例中,所述IMU502内置有三轴陀螺仪,三轴加速度计,三轴磁力计。
需要说明的是,图5中以所述存储器505、所述视觉传感器501、所述IMU502、所述GPS503和所述处理器504之间通过总线连接为例进行说明,当然各个功能主体可以根据实际需要选择其他的连接方式。
通过以上实施例对本发明的说明可知,飞行器降落的全过程中可以按照预测的飞行控制策略实现精准的自主降落,对准降落过程中对降落位置的锁定减弱了飞行器在降落过程中的震荡,使得降落更平滑,更快速。
另外需说明的是,以上所描述的***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的***实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
综上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照上述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对上述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种飞行器的自主降落方法,其特征在于,包括:
获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置,所述飞行器包括视觉传感器和惯性测量单元IMU,所述视觉传感器用于获取图像数据,所述视觉传感器和所述IMU用于获取飞行器正在飞行时的飞行信息,所述基于拍摄的图像数据检测出降落目标点的降落位置,包括:通过状态估计算法根据多次拍摄到的图像数据估计出多个降落位置,在估计出的多个降落位置取值达到一致时,锁定并输出估计的降落位置;
根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略,所述飞行控制策略包括:控制所述飞行器按照平滑的飞行曲线进行飞行所需要的速度信息、加速度信息、高度信息;
根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置;
当检测到所述视觉传感器不能采集到所述图像数据时,使用所述IMU根据获取到的飞行信息对飞行器的飞行进行调整,以控制所述飞行器向降落位置靠近。
2.根据权利要求1所述的方法,其特征在于,所述获取飞行器的飞行信息之后,所述方法还包括:
对所述飞行信息进行信息融合,得到融合后的飞行信息;
所述根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略,具体为:
根据融合后的飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略。
3.根据权利要求2所述的方法,其特征在于,所述对所述飞行器的飞行信息进行信息融合,包括:
使用扩展卡尔曼滤波算法EKF、或无损卡尔曼滤波算法UKF、或粒子滤波算法PF对所述飞行器的飞行信息进行信息融合。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述获取飞行器的飞行信息之后,所述方法还包括:
根据马氏距离算法检测所述飞行信息中是否存在异常数据,并在所述飞行信息存在异常数据时,对所述飞行信息进行平滑校正。
5.根据权利要求1所述的方法,其特征在于,所述获取飞行器的飞行信息,包括:
获取如下的至少一种信息作为飞行信息:所述飞行器的位置信息、速度信息、加速度信息、姿态信息和所述飞行器对地的高度信息。
6.根据权利要求1所述的方法,其特征在于,所述根据预测出的所述飞行控制策略控制所述飞行器飞行,包括:
当检测到所述飞行器的高度超过高度阈值时,对所述飞行器进行悬停控制并降低所述飞行器的高度;
根据所述飞行器的当前位置设计出飞行曲线,控制所述飞行器按照所述飞行曲线飞行。
7.一种飞行器的自主降落***,其特征在于,包括:
信息获取模块,用于获取飞行器的飞行信息,并基于拍摄的图像数据检测出降落目标点的降落位置,所述飞行器包括视觉传感器和惯性测量单元IMU,所述视觉传感器用于获取图像数据,所述视觉传感器和所述IMU用于获取飞行器正在飞行时的飞行信息,所述基于拍摄的图像数据检测出降落目标点的降落位置,包括:通过状态估计算法根据多次拍摄到的图像数据估计出多个降落位置,在估计出的多个降落位置取值达到一致时,锁定并输出估计的降落位置;
预测模块,用于根据所述飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略,所述飞行控制策略包括:控制所述飞行器按照平滑的飞行曲线进行飞行所需要的速度信息、加速度信息、高度信息;
飞行控制模块,用于根据预测出的所述飞行控制策略控制所述飞行器飞行,使所述飞行器降落到所述降落位置;
所述飞行控制模块,具体用于当检测到不能采集到所述图像数据时,使用所述IMU根据获取到的飞行信息对所述飞行器的飞行进行调整,以控制所述飞行器向降落位置靠近。
8.根据权利要求7所述的***,其特征在于,还包括:
信息融合模块,用于在所述信息获取模块获取飞行器的飞行信息之后,对所述飞行信息进行信息融合,得到融合后的飞行信息;
所述预测模块,具体用于根据融合后的飞行信息和所述降落位置,预测出所述飞行器向所述降落目标点降落的飞行控制策略。
9.根据权利要求8所述的***,其特征在于,所述信息融合模块,具体用于使用扩展卡尔曼滤波算法EKF、或无损卡尔曼滤波算法UKF、或粒子滤波算法PF对所述飞行器的飞行信息进行信息融合。
10.根据权利要求7至9中任一项所述的***,其特征在于,还包括:
异常处理模块,用于在所述信息获取模块获取飞行器的飞行信息之后,根据马氏距离算法检测所述飞行信息中是否存在异常数据,并在所述飞行信息存在异常数据时,对所述飞行信息进行平滑校正。
11.根据权利要求7所述的***,其特征在于,
所述信息获取模块,具体用于获取如下的至少一种信息作为飞行信息:所述飞行器的位置信息、速度信息、加速度信息、姿态信息和所述飞行器对地的高度信息。
12.根据权利要求7所述的***,其特征在于,
所述飞行控制模块,具体用于当检测到所述飞行器的高度超过高度阈值时,对所述飞行器进行悬停控制并降低所述飞行器的高度;根据所述飞行器的当前位置设计出平滑的飞行曲线控制所述飞行器按照所述飞行曲线飞行。
13.一种飞行器的自主降落***,其特征在于,包括:视觉传感器、惯性测量单元IMU、全球定位***GPS、处理器和存储器,其中,
所述视觉传感器、所述IMU、所述GPS,用于在所述处理器的调度下获取飞行器的飞行信息,所述视觉传感器还用于拍摄降落目标点,生成基于拍摄的图像数据;
所述处理器,用于执行权利要求1至权利要求7中任一项所述的飞行器的自主降落方法;
所述存储器,用于存储所述视觉传感器、所述IMU、所述GPS和所述处理器执行时的数据;
当所述视觉传感器不能采集到图像数据时,所述IMU,还用于对所述飞行器的飞行信息进行微调,以使所述处理器按照所述IMU微调后的飞行信息控制所述飞行器向所述降落位置靠近。
14.根据权利要求13所述的***,其特征在于,所述IMU内置有三轴陀螺仪,三轴加速度计,三轴磁力计。
CN201510278927.6A 2015-05-27 2015-05-27 一种飞行器的自主降落方法和*** Expired - Fee Related CN104932522B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510278927.6A CN104932522B (zh) 2015-05-27 2015-05-27 一种飞行器的自主降落方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510278927.6A CN104932522B (zh) 2015-05-27 2015-05-27 一种飞行器的自主降落方法和***

Publications (2)

Publication Number Publication Date
CN104932522A CN104932522A (zh) 2015-09-23
CN104932522B true CN104932522B (zh) 2018-04-17

Family

ID=54119726

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510278927.6A Expired - Fee Related CN104932522B (zh) 2015-05-27 2015-05-27 一种飞行器的自主降落方法和***

Country Status (1)

Country Link
CN (1) CN104932522B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4026770A4 (en) * 2019-10-11 2022-10-19 Mitsubishi Heavy Industries, Ltd. AUTOMATIC LANDING SYSTEM FOR VERTICAL TAKE OFF AND LANDING AIRCRAFT, VERTICAL TAKE OFF AND LANDING AIRCRAFT AND CONTROL METHOD FOR LANDING A VERTICAL TAKE OFF AND LANDING AIRCRAFT

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156481A (zh) * 2015-12-16 2016-11-23 东南大学 一种基于无损卡尔曼滤波的救援清障车姿态角估计方法
CN105527972A (zh) * 2016-01-13 2016-04-27 深圳一电航空技术有限公司 无人机飞行控制方法及装置
CN105629996A (zh) * 2016-03-22 2016-06-01 昆明天龙经纬电子科技有限公司 一种无人飞行器的定点降落指引方法及***
CN105911573B (zh) * 2016-04-01 2019-03-15 北京小米移动软件有限公司 飞行设备找回方法及装置
US20170283085A1 (en) * 2016-04-04 2017-10-05 The Boeing Company On-board structural load assessment of an aircraft during flight events
CN106094845A (zh) * 2016-05-30 2016-11-09 深圳市前海疆域智能科技股份有限公司 飞行器一键降落的方法
CN106054918A (zh) * 2016-05-30 2016-10-26 北京小米移动软件有限公司 提供无人机信息的方法和装置
CN107515622A (zh) * 2017-07-27 2017-12-26 南京航空航天大学 一种旋翼无人机在移动目标上自主着降的控制方法
CN107577238B (zh) * 2017-08-25 2020-12-18 深圳禾苗通信科技有限公司 基于ukf的无人机气压计异常数据处理的高度控制方法
CN107861501A (zh) * 2017-10-22 2018-03-30 北京工业大学 地下污水处理厂智能机器人自主定位导航***
CN109445455B (zh) * 2018-09-21 2022-09-30 深圳供电局有限公司 一种无人飞行器自主降落方法及其控制***
CN109407708A (zh) * 2018-12-11 2019-03-01 湖南华诺星空电子技术有限公司 一种基于多信息融合的精准着陆控制***及着陆控制方法
CN109857128B (zh) * 2018-12-18 2022-07-15 丰翼科技(深圳)有限公司 无人机视觉定点降落方法、***、设备及存储介质
CN109945864B (zh) * 2019-02-25 2020-12-18 广州市香港科大***研究院 室内行车定位融合方法、装置、存储介质及终端设备
CN110001980B (zh) * 2019-04-19 2021-11-26 深圳市道通智能航空技术股份有限公司 一种飞行器降落方法及装置
CN112119428A (zh) * 2019-09-23 2020-12-22 深圳市大疆创新科技有限公司 获取降落位置的方法、设备、无人机、***及存储介质
CN111679680A (zh) * 2019-12-31 2020-09-18 华东理工大学 一种无人机自主着舰方法及***
CN111459187B (zh) * 2020-04-20 2021-09-07 清华大学 无人机状态监管方法、装置、***及可读存储介质
CN113272625A (zh) * 2020-05-06 2021-08-17 深圳市大疆创新科技有限公司 飞行器定位方法、装置、飞行器及存储介质
CN113759943A (zh) * 2021-10-13 2021-12-07 北京理工大学重庆创新中心 无人机降落平台及识别方法、降落方法和飞行作业***
CN114200954B (zh) * 2021-10-28 2023-05-23 佛山中科云图智能科技有限公司 基于Apriltag的无人机降落方法、装置、介质和电子设备
CN114200948B (zh) * 2021-12-09 2023-12-29 中国人民解放军国防科技大学 一种基于视觉辅助的无人机自主着舰方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5716032A (en) * 1996-04-22 1998-02-10 United States Of America As Represented By The Secretary Of The Army Unmanned aerial vehicle automatic landing system
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
CN104309803A (zh) * 2014-10-27 2015-01-28 广州极飞电子科技有限公司 旋翼飞行器自动降落***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008259B1 (ko) * 2008-09-03 2011-01-13 한국항공우주연구원 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법
CN102435188B (zh) * 2011-09-15 2013-10-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN102991681A (zh) * 2012-12-25 2013-03-27 天津工业大学 无人机视觉着陆***中地面目标识别方法
FR3009117B1 (fr) * 2013-07-24 2016-11-25 Airbus Operations Sas Procede et systeme d'atterrissage automatique autonome

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5716032A (en) * 1996-04-22 1998-02-10 United States Of America As Represented By The Secretary Of The Army Unmanned aerial vehicle automatic landing system
CN103226356A (zh) * 2013-02-27 2013-07-31 广东工业大学 基于图像处理的无人机精确位置降落方法
CN104049641A (zh) * 2014-05-29 2014-09-17 深圳市大疆创新科技有限公司 一种自动降落方法、装置及飞行器
CN104309803A (zh) * 2014-10-27 2015-01-28 广州极飞电子科技有限公司 旋翼飞行器自动降落***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4026770A4 (en) * 2019-10-11 2022-10-19 Mitsubishi Heavy Industries, Ltd. AUTOMATIC LANDING SYSTEM FOR VERTICAL TAKE OFF AND LANDING AIRCRAFT, VERTICAL TAKE OFF AND LANDING AIRCRAFT AND CONTROL METHOD FOR LANDING A VERTICAL TAKE OFF AND LANDING AIRCRAFT

Also Published As

Publication number Publication date
CN104932522A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN104932522B (zh) 一种飞行器的自主降落方法和***
Caballero et al. Vision-based odometry and SLAM for medium and high altitude flying UAVs
EP3158417B1 (en) Sensor fusion using inertial and image sensors
Ludington et al. Augmenting UAV autonomy
US10409292B2 (en) Movement control method, autonomous mobile robot, and recording medium storing program
CN110865650B (zh) 基于主动视觉的无人机位姿自适应估计方法
CN111033561A (zh) 用于利用语义信息来导航机器人设备的***和方法
CN109885080A (zh) 自主控制***及自主控制方法
CN111288989B (zh) 一种小型无人机视觉定位方法
EP3734394A1 (en) Sensor fusion using inertial and image sensors
CN106339006A (zh) 一种飞行器的目标跟踪方法和装置
Mercado et al. Gps/ins/optic flow data fusion for position and velocity estimation
Caballero et al. Unmanned aerial vehicle localization based on monocular vision and online mosaicking: a new mapping framework
US9816786B2 (en) Method for automatically generating a three-dimensional reference model as terrain information for an imaging device
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
Bavle et al. A flight altitude estimator for multirotor UAVs in dynamic and unstructured indoor environments
Winter et al. Exomars rover vehicle: detailed description of the gnc system
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN113465596A (zh) 一种基于多传感器融合的四旋翼无人机定位方法
CN108227734A (zh) 用于控制无人机的电子控制装置、相关的无人机、控制方法及计算机程序
Guan et al. A new integrated navigation system for the indoor unmanned aerial vehicles (UAVs) based on the neural network predictive compensation
CN111402324A (zh) 一种目标测量方法、电子设备以及计算机存储介质
Popov et al. UAV navigation on the basis of video sequences registered by onboard camera
Ludington et al. Vision based navigation and target tracking for unmanned aerial vehicles

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180417