CN107908197A - 基于红外信标及视觉的无人机精准降落***和方法 - Google Patents
基于红外信标及视觉的无人机精准降落***和方法 Download PDFInfo
- Publication number
- CN107908197A CN107908197A CN201711182880.9A CN201711182880A CN107908197A CN 107908197 A CN107908197 A CN 107908197A CN 201711182880 A CN201711182880 A CN 201711182880A CN 107908197 A CN107908197 A CN 107908197A
- Authority
- CN
- China
- Prior art keywords
- infrared
- unmanned plane
- module
- level point
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 70
- 230000003416 augmentation Effects 0.000 claims abstract description 14
- 230000006641 stabilisation Effects 0.000 claims abstract description 4
- 238000011105 stabilization Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 58
- 238000005259 measurement Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 6
- 238000005183 dynamical system Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000013011 mating Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于红外信标及视觉的无人机精准降落***和方法，该***主要包括红外信标模块、飞控***及红外视觉模块，无人机上安装三轴增稳平台，以配合飞控***保持无人机在飞行过程中的稳定及朝向不变；红外视觉模块安装在三轴增稳云台上，以保持红外视觉模块的摄像头始终垂直朝下，捕捉红外信标模块发出的红外线标识信号以识别红外信标模块在目标降落点的位置；红外信标模块设置在无人机目标降落点的位置处，在无人机降落时通过红外发射管阵列发出红外线以配合红外视觉模块进行数据采集以识别红外信标模块在目标降落点的位置。本发明中的无人机***采用红外视觉技术与目标信源识别技术相结合的方式，能够实现无人机的精准降落控制。
Description
技术领域
本发明涉及无人机飞行技术领域，尤其涉及一种基于红外信标及视觉的无人机精准降落***和方法。
背景技术
无人机是一种由遥控设备或机上程序控制设备控制飞行的不载人飞机。由于其用途广泛，结构简单，效费比优良、无人员伤亡风险，机动性能好，在现代战争中具有极其重要的作用，在民用领域更有广阔的前景。
传统的无人机一般采用GNSS定位***(全球导航卫星***)，在实现降落过程中通过手动控制或者自动降落过程中依赖GNSS***的定位精度实现降落。这种方式需要操作者具备较强的飞行经验、应急能力及心理承受能力，对操作者技术水平依赖较强。采用自动降落过程仅仅依赖GNSS***的定位精度实现降落方式，因GNSS精度误差水平在一米以上，下降过程容易受到风力、环境等因素影响，当降落精度超过一米，不能满足无人机精准降落的要求。
目前实现无人机的精准降落还有图像识别方式和FPGA，但是两种方式存在无法实现图像截取或拼接，且这两种方法计算量大、目标角度要求高、环境影响比较大、光线较暗的环境下不能进行等问题。
发明内容
本发明针对现有方式的缺点，提出一种基于红外信标及视觉的无人机精准降落***和方法，用以解决现有技术存在的上述问题。
根据本发明的第一个方面，提供了一种基于红外信标及视觉的无人机精准降落***，主要包括无人机***和红外信标模块，所述无人机***至少包括飞控***和红外视觉模块，无人机上安装有三轴增稳平台，以配合所述飞控***保持无人机在飞行过程中的稳定及朝向不变；
所述红外视觉模块至少包括摄像头和图像处理模块，所述红外视觉模块安装在所述三轴增稳云台上，以保持摄像头始终垂直朝下实时捕捉所述红外信标模块发出的红外线标识信号以识别所述红外信标模块在目标降落点的位置；
所述红外信标模块至少包括红外发射管阵列，所述红外信标模块设置在无人机目标降落点的位置，在无人机降落时通过所述红外发射管阵列发出红外线标识信号以配合所述红外视觉模块进行数据采集以识别所述红外信标模块在目标降落点的位置；
其中，所述红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的所述红外信标模块在目标降落点的位置坐标发给所述飞控***；
所述飞控***至少包括GNSS定位模块和MCU，所述MCU与所述GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标。
进一步的，所述红外发射管阵列具体是指能够连续发射940纳米波长的红外发射管阵列，用于发射红外线以供所述红外信标模块配合所述红外视觉模块进行数据采集。
进一步的，所述红外信标模块通过所述红外发射管阵列连续发射940纳米波长的红外线，所述红外发射管阵列的发射角度为65度，所述红外线的发射距离为0-15米。
进一步的，所述红外视觉模块识别所述红外信标模块在目标降落点的位置的步骤如下：
所述红外发射管阵列发射的红外线标识信号通过一个940纳米波长的红外带通滤光片，以保留920纳米至960纳米的红外线标识信号进入到摄像头内；
进入到摄像头内的红外线标识信号在所述红外视觉模块中的CMOS感光器件上成像以获取目标图像一；
所述图像处理模块对所述目标图像一进行图像采集以获取目标图像二，并对所述目标图像二依次进行灰度化处理、直方图均衡化处理、均值滤波处理、边缘提取处理以获取目标降落点的位置坐标；
所述红外视觉模块在所述CMOS感光器件的感光视野范围内输出目标降落点的位置坐标。
进一步的，所述飞控***至少还包括IMU惯性测量单元、高度计及磁力计，所述飞控***的MCU获取无人机的飞行数据具体为：
所述MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
所述MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
所述MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据；
所述飞控***通过卡尔曼滤波算法融合所述姿态数据、所述高度数据、所述航向数据。
根据本发明的另一个方面，一种基于红外信标及视觉的无人机精准降落方法，无人机至少包括红外视觉模块和飞控***，所述飞控***至少包括GNSS定位模块和MCU，所述红外视觉模块至少包括摄像头和图像处理模块，无人机上安装有三轴增稳平台，所述摄像头安装在三轴增稳平台上，具体步骤如下：
步骤一：无人机在降落时通过所述GNSS定位模块估计当前位置是否在目标降落点位置的上方；
步骤二：当所述GNSS定位模块估计出无人机当前位置在所述目标降落点位置的上方且高度在15米以上时，所述飞控***通过所述GNSS定位模块获得估计的目标降落点位置，并控制无人机进行下降以减小当前位置与所述目标降落点位置的距离；
步骤三：当所述GNSS定位模块估计出所述无人机当前位置在所述目标降落点位置的上方且高度在15米以下时，所述红外视觉模块在无人机下降过程中实时检测设置在所述目标降落点位置的红外信标模块通过红外发射管阵列发出的红外线标识信号，对所获取的红外线标识信号经摄像头成像并经图像处理模块进行图像处理以识别出目标降落点的位置；
步骤四：所述飞控***通过MCU获取无人机的飞行数据，并通过所述红外视觉模块获取的所述目标降落点的位置坐标，通过卡尔曼滤波算法对所述飞行数据目标和所述降落点位置坐标进行滤波处理，通过PID控制器调控无人机的飞行以控制无人机的速度和位置；
步骤五：实时测量无人机的高度以逐步减少所述无人机的当前位置坐标与所述目标降落点位置坐标的差值，直至所述无人机的当前位置坐标与所述目标降落点位置坐标重合；
其中，所述红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的所述红外信标模块在目标降落点的位置坐标发给所述飞控***；
所述MCU与所述GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标。
进一步的，所述红外发射管阵列具体是指能够连续发射940纳米波长的红外发射管阵列，用于发射红外线以供所述红外信标模块配合所述红外视觉模块进行数据采集。
进一步的，所述红外信标模块通过所述红外发射管阵列连续发射940纳米波长的红外线，所述红外发射管阵列的发射角度为65度，所述红外线的发射距离为0-15米。
进一步的，所述红外视觉模块识别所述红外信标模块在目标降落点的位置的步骤如下：
所述红外发射管阵列发射的红外线标识信号通过一个940纳米波长的红外带通滤光片，以保留920纳米至960纳米的红外线标识信号进入到摄像头内；
进入到摄像头内的红外线在所述红外视觉模块中的CMOS感光器件上成像以获取目标图像一；
所述图像处理模块对所述目标图像一进行图像采集以获取目标图像二，并对所述目标图像二依次进行灰度化处理、直方图均衡化处理、均值滤波处理、边缘提取处理以获取目标降落点的位置坐标；
所述红外视觉模块在所述CMOS感光器件的感光视野范围内输出目标降落点的位置坐标。
进一步的，所述飞控***至少还包括IMU惯性测量单元、高度计及磁力计，所述飞控***的MCU获取无人机的飞行数据具体为：
所述MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
所述MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
所述MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据；
所述飞控***通过卡尔曼滤波算法融合所述姿态数据、所述高度数据、所述航向数据。
与现有技术相比，本发明的有益效果是：
1、采用红外视觉技术与目标信源技术相结合的方式，红外视觉技术能够保障无人机***免受光线影响，且通过图像处理技术将降落精度控制在厘米级的范围内，安装在三轴增稳云台上的摄像头对拍摄的目标角度没有要求，通过GNSS定位技术可将降落高度识别控制至15米以内，从而能够实现无人机精准降落控制；
2、通过红外技术可以快捷灵活都获取不同的导航信息；通过PID控制器，可确保无人机的实际降落点和目标降落点之间极小的误差，且红外技术抗干扰能力强，能够免受天气的影响；
3、飞控***各部分的连接灵活，兼容性强，还可根据内部元器件的可编程和可重配置特点、各个接口的特点和CPU控制***的需要，调整各部分的接口参数和通信协议，以达到无人机***的最优性能。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为实施例一的一种基于红外信标及视觉的无人机精准降落***的结构框图；
图2为实施例一的一种基于红外信标及视觉的无人机精准降落***的具体结构框图；
图3为实施例一中红外视觉模块识别红外信标模块在目标降落点位置坐标的流程图；
图4为实施例一中飞控***的结构框图；
图5为实施例二中的一种基于红外信标及视觉的无人机精准降落方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，模块的序号如1、2等，仅仅是用于区分开各个不同的模块，序号本身不代表任何的模块顺序。另外，本发明中的流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”、“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分例，实施而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域普通技术人员可以理解，本发明所涉及的名词的含义至少包括：
飞控***，全称飞行控制***，用来保证飞行器的稳定性和操纵性、提高完成任务的能力与飞行品质；
GNSS定位模块，是指GNSS定位***(全球导航卫星***)，在实现降落过程中通过手动控制或者自动降落过程中依赖GNSS***的定位精度实现降落；
MCU是指微控制单元(Microcontroller Unit)，把中央处理器(Central ProcessUnit；CPU)的频率与规格做适当缩减，并将内存(memory)、计数器(Timer)、USB、A/D转换、UART、PLC、DMA等周边接口，甚至LCD驱动电路都整合在单一芯片上，形成芯片级的计算机，为不同的应用场合做不同组合控制；
IMU是指惯性测量单元，用来测量物体三轴姿态角(或角速率)以及加速度的装置；一般的，一个IMU包含了三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标***独立三轴的加速度红外线标识信号，而陀螺检测载体相对于导航坐标系的角速度红外线标识信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态；
CMOS感光器件是指集成在金属氧化物的半导体材料上的器件。
PID控制器(Proportion Integration Differentiation，比例-积分-微分控制器)，PID控制器把收集到的数据和一个参考值进行比较，然后把这个差别用于计算新的输入值，这个新的输入值的目的是可以让***的数据达到或者保持在参考值。和其他简单的控制运算不同，PID控制器可以根据历史数据和差别的出现率来调整输入值，这样可以使***更加准确，更加稳定。
因此，为了解决上述问题，提供了一种基于红外信标及视觉的无人机精准降落***和方法。
实施例一
如图1所示，提供了本发明一个实施例的一种基于红外信标及视觉的无人机精准降落***，主要包括红外信标模块、飞控***及红外视觉模块，无人机上安装三轴增稳平台，飞控***至少包括GNSS定位模块和MCU，其中MCU与GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标，以配合飞控***保持无人机在飞行过程中的稳定及朝向不变；红外视觉模块安装在三轴增稳云台上，以保持摄像头始终垂直朝下，捕捉红外信标模块发出的红外线标识信号(红外线)以识别红外信标模块在目标降落点的位置；红外信标模块设置在无人机目标降落点的位置，在无人机降落时通过红外发射管阵列发出红外线标识信号(红外线)以配合红外视觉模块进行数据采集以识别红外信标模块在目标降落点的位置。
具体的，如图2所示，一种基于红外信标及视觉的无人机精准降落***主要包括：1为红外信标模块的电池电源模块，2为940纳米波段红外发射管阵列，3为红外信标模块，4为发射的红外线标识信号(也称红外线或红外线标识信号)，5为红外滤镜镜头，6为红外视觉模块，7为图像处理模块，8为红外视觉模块与飞控***通过CAN总线接口连接，9为无人机***，10为飞控***，11为飞控微控制器部分，12为飞控***连接动力***的控制接口，13为无人机动力***，14为无人机电源，15为无人机电源连接飞控***的电源接口，16为飞控***连接GNSS定位模块的接口，17为飞控***连接IMU间的接口，18飞控连接SD卡间的接口，19为存储器，20为IMU惯性测量单元，21为GNSS定位模块，22为飞控***连接数据链***的接口，23为数据链***，24为数据传输射频链路，25为地面站***，其中：
MCU通过SD卡接口与存储器连接以存储相关数据；
飞控***通过数据接口连接以控制动力***；
电池电源通过数据接口连接以供电给飞控***；
飞控***与数据链***通过数据接口连接以进行数据通信；
地面站***与数据链***通过数据传输射频链路以进行数据传输；
从图2可知无人机***至少包括动力***、电池电源、数据链***、飞控***及红外视觉模块；
飞控***具体是指三轴云台飞控***，其是在无人机上安装三轴增稳平台，以配合飞控***保持无人机在飞行过程中的稳定及朝向不变；
红外视觉模块包括摄像头和图像处理模块；红外视觉模块安装在三轴增稳云台上，以保持摄像头始终垂直朝下，捕捉红外信标模块发出的红外线(也称红外线标识信号)以识别红外信标模块在目标降落点的位置坐标，其中，红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的红外信标模块的位置坐标发给飞控***；
红外信标模块至少包括电池电源和红外发射管阵列；红外信标模块设置在无人机目标降落点的位置，在无人机降落时通过红外发射管阵列发出红外线标识信号(红外线)以配合红外视觉模块进行数据采集以识别红外信标模块在目标降落点的位置坐标。其中，红外线标识信号具体是指红外线标识信号。
红外线标识信号(红外线)是通过红外信标模块中的红外发射管阵列发出，红外发射管阵列具体是指940纳米波段红外发射管阵列，用于连续发射940纳米波长的红外线以供红外信标模块配合红外视觉模块进行数据采集。
红外信标模块在目标降落点通过红外发射管阵列连续发射940纳米波长的红外线，红外发射管阵列的发射角度为65度，发射距离为0-15米，作为红外视觉模块识别目标降落点的位置，无人机最终会降落在红外信标模块所在的目标降落点的位置处。
如图3所示，红外视觉模块识别红外信标模块在目标降落点的位置的步骤如下：
红外视觉模块首先通过一个940纳米波长的红外带通滤光片，将920纳米至960纳米范围之外的光线滤掉，保留920纳米至960纳米的红外线标识信号能进入到摄像头内；经过红外滤光片后的红外线标识信号在红外视觉模块中的CMOS感光器件上成像以获取目标图像一，然后图像处理模块对目标图像一进行图像采集以获取目标图像二，并对目标图像二进行灰度化处理以减少图像处理的复杂度，并提高图像识别处理时间；再将经过灰度化的图像进行直方图均衡化处理以增强目标物体与周围背景的对比度，进一步凸显目标物体(即红外信标模块)；再对图像经均值滤波器的均值滤波处理以去除图像中的颗粒噪声，以减低图像识别的干扰影响；再次对处理后的图像进行边缘提取处理，以使图像轮廓更加明显，以使图像更容易被识别以获取目标降落点的位置坐标；最后红外视觉模块可以在CMOS感光器件的感光视野范围内输出目标降落点的位置坐标值。处于目标降落点位置的红外信标模块发出红外线，此红外线被无人机上的红外视觉模块采集并进行处理，处理后便得到红外信标模块在CMOS感光视野范围内的坐标值。
如图4所示，飞控***至少包括GNSS定位模块、MCU、存储器、数传模块、IMU惯性测量单元、高度计及磁力计；
MCU与GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标；
MCU通过数据接口连接数传模块以和地面站***进行双向连接；
MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据。
飞控***通过卡尔曼滤波算法融合所获取的姿态数据、高度数据、航向数据以及目标降落点的位置坐标，并根据无人机的当前位置坐标对无人机进行控制。
实施例二
提供了本发明一个实施例的一种基于红外信标及视觉的无人机精准降落方法，该无人机至少包括红外视觉模块和飞控***，飞控***至少包括GNSS定位模块和MCU，红外视觉模块至少包括摄像头和图像处理模块，无人机上安装有三轴增稳平台，摄像头安装在三轴增稳平台上，具体步骤如下：
步骤一：无人机在降落时通过GNSS定位模块估计当前位置是否在目标降落点位置的上方；
步骤二：当GNSS定位模块估计出无人机当前位置在目标降落点位置的上方且高度在15米以上时，飞控***通过GNSS定位模块获得估计的目标降落点位置，并控制无人机进行下降以减小当前位置与目标降落点位置的距离；
步骤三：当GNSS定位模块估计出无人机当前位置在目标降落点位置的上方且高度在15米以下时，红外视觉模块在无人机下降过程中实时检测设置在目标降落点位置的红外信标模块通过红外发射管阵列发出的红外线标识信号，对所获取的红外线标识信号经摄像头成像并经图像处理模块进行图像处理以识别出目标降落点的位置；
步骤四：飞控***通过MCU获取无人机的飞行数据，并通过红外视觉模块获取的目标降落点的位置坐标，通过卡尔曼滤波算法对飞行数据目标和降落点位置坐标进行滤波处理，通过PID控制器调控无人机的飞行以控制无人机的速度和位置；
步骤五：实时测量无人机的高度以逐步减少无人机的当前位置坐标与目标降落点位置坐标的差值，直至无人机的当前位置坐标与目标降落点位置坐标重合；
其中，红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的红外信标模块在目标降落点的位置坐标发给飞控***；
MCU与GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标。
进一步的，红外发射管阵列具体是指能够连续发射940纳米波长的红外发射管阵列，用于发射红外线以供红外信标模块配合红外视觉模块进行数据采集。
进一步的，红外信标模块通过红外发射管阵列连续发射940纳米波长的红外线，红外发射管阵列的发射角度为65度，红外线的发射距离为0-15米。
进一步的，红外视觉模块识别红外信标模块在目标降落点的位置的步骤如下：
红外发射管阵列发射的红外线标识信号通过一个940纳米波长的红外带通滤光片，以保留920纳米至960纳米的红外线标识信号进入到摄像头内；
进入到摄像头内的红外线在红外视觉模块中的CMOS感光器件上成像以获取目标图像一；
图像处理模块对目标图像一进行图像采集以获取目标图像二，并对目标图像二依次进行灰度化处理、直方图均衡化处理、均值滤波处理、边缘提取处理以获取目标降落点的位置坐标；
红外视觉模块在CMOS感光器件的感光视野范围内输出目标降落点的位置坐标。
进一步的，飞控***至少还包括IMU惯性测量单元、高度计及磁力计，飞控***的MCU获取无人机的飞行数据具体为：
MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据；
飞控***通过卡尔曼滤波算法融合姿态数据、高度数据、航向数据。如图5所示，是本发明实施例的一种基于红外信标及视觉的无人机精准降落方法的具体应用，具体步骤如下：
步骤一：无人机在在降落时通过GNSS定位模块估计当前位置是否在目标降落点位置的上方；
降落点是指无人机想要降落的目标位置。
因GNSS定位模块的定位精度在一米以上，否则将不能满足精准降落的要求，这种情况下GNSS定位模块即可估计降落点位置；另一种情况是在执行原地降落的过程中，在降落点上方开始执行原地降落时，由于GNSS定位模块的误差及下降过程受到扰动影响也不能保证精准降落，GNSS定位模块也要估计降落点位置；
如果无人机在没有飞到目标降落点位置的上方则继续执行步骤一；
如果无人机执行步骤一并飞行到目标降落点位置的上方附近，并且高度在15米以上时则执行步骤二；
如果无人机执行步骤一并飞行到目标降落点位置的上方附近，并且高度在15米以下时则执行步骤三；
步骤二：当GNSS定位模块估计出无人机当前位置在降落点位置的上方且高度在15米以上时，飞控***通过GNSS定位模块获得估计的降落点位置，并控制无人机进行下降以减小当前位置与降落点位置的距离；
步骤三：当GNSS定位模块估计出无人机当前位置在目标降落点位置的上方且高度在15米以下时，红外视觉模块在无人机下降过程中实时检测地面端红外信标模块发出的红外线，并对所获取的红外线进行灰度化、直方图均衡、去噪、边缘提取等处理以识别出目标降落点的位置坐标；
步骤四：飞控***通过红外视觉模块获取无人机目标降落点的位置坐标，并使用卡尔曼滤波算法对采集的数据进行滤波处理，飞控***将目标降落点的位置坐标通过PID控制器转换为无人机的飞行数据，以逐渐减少无人机的当前位置坐标与目标降落点的位置坐标的差值，直至无人机的当前位置坐标与目标降落点的位置坐标重合；
如果无人机的当前位置坐标与目标降落点的位置坐标不重合，则继续执行步骤四；
如果无人机的当前位置坐标与目标降落点的位置坐标重合，则执行步骤五；
步骤五：飞控***继续执行控制无人机的速度，以保持无人机的当前位置坐标与目标降落点的位置坐标偏差减少，同时实时测量无人机的高度数据，以控制无人机的当前位置在下降时逐渐减少与目标降落点的位置的高度，且保持速度为一个较为平稳的数值以实现缓慢下降接近目标降落点的位置的控制；
步骤六：判断是否降落到目标降落点的位置，且无人机的当前位置坐标与目标降落点的位置坐标重合即完成精准降落过程。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，模块和相关工作单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的***、模块、单元和步骤，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于红外信标及视觉的无人机精准降落***，主要包括无人机***和红外信标模块，其特征在于，
所述无人机***至少包括飞控***和红外视觉模块，无人机上安装有三轴增稳平台，以配合所述飞控***保持无人机在飞行过程中的稳定及朝向不变；
所述红外视觉模块至少包括摄像头和图像处理模块，所述红外视觉模块安装在所述三轴增稳云台上，以保持摄像头始终垂直朝下实时捕捉所述红外信标模块发出的红外线标识信号以识别所述红外信标模块在目标降落点的位置；
所述红外信标模块至少包括红外发射管阵列，所述红外信标模块设置在无人机目标降落点的位置，在无人机降落时通过所述红外发射管阵列发出红外线标识信号以配合所述红外视觉模块进行数据采集以识别所述红外信标模块在目标降落点的位置；
其中，所述红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的所述红外信标模块在目标降落点的位置坐标发给所述飞控***；
所述飞控***至少包括GNSS定位模块和MCU，所述MCU与所述GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标。
2.根据权利要求1所述的***，其特征在于，所述红外发射管阵列具体是指能够连续发射940纳米波长的红外发射管阵列，用于发射红外线以供所述红外信标模块配合所述红外视觉模块进行数据采集。
3.根据权利要求2所述的***，其特征在于，所述红外信标模块通过所述红外发射管阵列连续发射940纳米波长的红外线，所述红外发射管阵列的发射角度为65度，所述红外线的发射距离为0-15米。
4.根据权利要求1所述的***，其特征在于，所述红外视觉模块识别所述红外信标模块在目标降落点的位置的步骤如下：
所述红外发射管阵列发射的红外线标识信号通过一个940纳米波长的红外带通滤光片，以保留920纳米至960纳米的红外线标识信号进入到摄像头内；
进入到摄像头内的红外线标识信号在所述红外视觉模块中的CMOS感光器件上成像以获取目标图像一；
所述图像处理模块对所述目标图像一进行图像采集以获取目标图像二，并对所述目标图像二依次进行灰度化处理、直方图均衡化处理、均值滤波处理、边缘提取处理以获取目标降落点的位置坐标；
所述红外视觉模块在所述CMOS感光器件的感光视野范围内输出目标降落点的位置坐标。
5.根据权利要求1所述的***，其特征在于，所述飞控***至少还包括IMU惯性测量单元、高度计及磁力计，所述飞控***的MCU获取无人机的飞行数据具体为：
所述MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
所述MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
所述MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据；
所述飞控***通过卡尔曼滤波算法融合所述姿态数据、所述高度数据、所述航向数据。
6.一种基于红外信标及视觉的无人机精准降落方法，其特征在于，无人机至少包括红外视觉模块和飞控***，所述飞控***至少包括GNSS定位模块和MCU，所述红外视觉模块至少包括摄像头和图像处理模块，无人机上安装有三轴增稳平台，所述摄像头安装在三轴增稳平台上，所述方法至少包括如下步骤：
步骤一：无人机在降落时通过所述GNSS定位模块估计当前位置是否在目标降落点位置的上方；
步骤二：当所述GNSS定位模块估计出无人机当前位置在所述目标降落点位置的上方且高度在15米以上时，所述飞控***通过所述GNSS定位模块获得估计的目标降落点位置，并控制无人机进行下降以减小当前位置与所述目标降落点位置的距离；
步骤三：当所述GNSS定位模块估计出所述无人机当前位置在所述目标降落点位置的上方且高度在15米以下时，所述红外视觉模块在无人机下降过程中实时检测设置在所述目标降落点位置的红外信标模块通过红外发射管阵列发出的红外线标识信号，对所获取的红外线标识信号经摄像头成像并经图像处理模块进行图像处理以识别出目标降落点的位置；
步骤四：所述飞控***通过MCU获取无人机的飞行数据，并通过所述红外视觉模块获取的所述目标降落点的位置坐标，通过卡尔曼滤波算法对所述飞行数据目标和所述降落点位置坐标进行滤波处理，通过PID控制器调控无人机的飞行以控制无人机的速度和位置；
步骤五：实时测量无人机的高度以逐步减少所述无人机的当前位置坐标与所述目标降落点位置坐标的差值，直至所述无人机的当前位置坐标与所述目标降落点位置坐标重合；
其中，所述红外视觉模块与飞控***通过CAN总线接口连接以进行数据通信，实时将经过处理后的所述红外信标模块在目标降落点的位置坐标发给所述飞控***；
所述MCU与所述GNSS定位模块通过数据接口相连以获取无人机当前飞行的位置坐标。
7.根据权利要求6所述的方法，其特征在于，所述红外发射管阵列具体是指能够连续发射940纳米波长的红外发射管阵列，用于发射红外线以供所述红外信标模块配合所述红外视觉模块进行数据采集。
8.根据权利要求7所述的方法，其特征在于，所述红外信标模块通过所述红外发射管阵列连续发射940纳米波长的红外线，所述红外发射管阵列的发射角度为65度，所述红外线的发射距离为0-15米。
9.根据权利要求6所述的方法，其特征在于，所述红外视觉模块识别所述红外信标模块在目标降落点的位置的步骤如下：
所述红外发射管阵列发射的红外线标识信号通过一个940纳米波长的红外带通滤光片，以保留920纳米至960纳米的红外线标识信号进入到摄像头内；
进入到摄像头内的红外线在所述红外视觉模块中的CMOS感光器件上成像以获取目标图像一；
所述图像处理模块对所述目标图像一进行图像采集以获取目标图像二，并对所述目标图像二依次进行灰度化处理、直方图均衡化处理、均值滤波处理、边缘提取处理以获取目标降落点的位置坐标；
所述红外视觉模块在所述CMOS感光器件的感光视野范围内输出目标降落点的位置坐标。
10.根据权利要求6所述的方法，其特征在于，所述飞控***至少还包括IMU惯性测量单元、高度计及磁力计，所述飞控***的MCU获取无人机的飞行数据具体为：
所述MCU与IMU惯性测量单元通过数据接口相连以获取无人机当前飞行的姿态数据；
所述MCU通过数据接口连接高度计以获取无人机当前飞行的高度数据；
所述MCU通过数据接口连接磁力计以获取无人机当前飞行的航向数据；
所述飞控***通过卡尔曼滤波算法融合所述姿态数据、所述高度数据、所述航向数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711182880.9A CN107908197A (zh) | 2017-11-23 | 2017-11-23 | 基于红外信标及视觉的无人机精准降落***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711182880.9A CN107908197A (zh) | 2017-11-23 | 2017-11-23 | 基于红外信标及视觉的无人机精准降落***和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107908197A true CN107908197A (zh) | 2018-04-13 |
Family
ID=61847581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711182880.9A Pending CN107908197A (zh) | 2017-11-23 | 2017-11-23 | 基于红外信标及视觉的无人机精准降落***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107908197A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108828500A (zh) * | 2018-06-22 | 2018-11-16 | 深圳草莓创新技术有限公司 | 无人机精准的降落引导方法及相关产品 |
| CN109131922A (zh) * | 2018-08-30 | 2019-01-04 | 上海复亚智能科技有限公司 | 一种无人机自动机场*** |
| CN110597282A (zh) * | 2019-09-05 | 2019-12-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无人机自主降落控制*** |
| CN110879617A (zh) * | 2019-12-30 | 2020-03-13 | 湖南星空机器人技术有限公司 | 一种红外引导无人机降落方法及装置 |
| CN111176323A (zh) * | 2019-12-30 | 2020-05-19 | 湖南华诺星空电子技术有限公司 | 一种雷达与红外融合的无人机降落控制方法及装置 |
| CN111596687A (zh) * | 2020-05-26 | 2020-08-28 | 北京航空航天大学 | 一种垂直起降无人机移动平台降落引导装置及其引导方法 |
| CN111746810A (zh) * | 2019-03-27 | 2020-10-09 | 顺丰科技有限公司 | 全天候无人机降落方法及降落***、设备和存储介质 |
| CN112925334A (zh) * | 2021-02-02 | 2021-06-08 | 国网江苏省电力有限公司泰州供电分公司 | 一种智能巡检无人机降落***及降落方法 |
| CN112985361A (zh) * | 2020-09-29 | 2021-06-18 | 云南向量创新科技有限公司 | 一种基于无人机免相控实景三维建模测绘方法及*** |
| CN113448351A (zh) * | 2021-08-30 | 2021-09-28 | 广州知行机器人科技有限公司 | 一种引导无人机精准降落的方法、装置及无人机机库 |
| CN114104310A (zh) * | 2021-12-31 | 2022-03-01 | 重庆高新区飞马创新研究院 | 一种基于GPS和AprilTag的视觉辅助无人机降落的设备与方法 |
| CN115202375A (zh) * | 2022-07-20 | 2022-10-18 | 广西电网有限责任公司电力科学研究院 | 用于无人机无线充电的两段式精准降落导引方法及*** |
| WO2024001111A1 (zh) * | 2022-06-30 | 2024-01-04 | 亿航智能设备（广州）有限公司 | 飞行器降落引导装置及方法、飞行器降落控制方法及*** |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226637A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种车轮与地面接触点的自动检测方法 |
| CN101574709A (zh) * | 2009-06-12 | 2009-11-11 | 东北大学 | 一种中厚板自动转钢方法 |
| CN201628839U (zh) * | 2010-01-19 | 2010-11-10 | 柯名会 | 红外监控摄像手机 |
| CN103997610A (zh) * | 2014-04-30 | 2014-08-20 | 辽宁卓异装备制造股份有限公司 | 夜视摄像装置及其调焦方法 |
| CN104176267A (zh) * | 2014-08-20 | 2014-12-03 | 电子科技大学 | 三维高指向性红外光飞机着陆导引*** |
| CN204408486U (zh) * | 2015-03-03 | 2015-06-17 | 深圳市宏天威科技有限公司 | 176°超广视角摄像机 |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105318888A (zh) * | 2015-12-07 | 2016-02-10 | 北京航空航天大学 | 基于无人机感知的无人驾驶车辆路径规划方法 |
| CN105782678A (zh) * | 2016-02-03 | 2016-07-20 | 苏州大势智慧信息科技有限公司 | 一种用于无人机航测的机械式两轴增稳云台装置 |
| CN205750551U (zh) * | 2016-05-23 | 2016-11-30 | 中国石油大学(华东) | 一种车载多旋翼无人机辅助回收*** |
| US9527392B2 (en) * | 2013-03-14 | 2016-12-27 | Aurora Flight Sciences Corporation | Aerial system and vehicle for continuous operation |
| CN106325305A (zh) * | 2015-06-29 | 2017-01-11 | 优利科技有限公司 | 对地定位或导航用相机、飞行器及其导航方法和*** |
| CN106356926A (zh) * | 2016-09-18 | 2017-01-25 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种无人机的自动加电***及方法 |
-
2017
- 2017-11-23 CN CN201711182880.9A patent/CN107908197A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101226637A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种车轮与地面接触点的自动检测方法 |
| CN101574709A (zh) * | 2009-06-12 | 2009-11-11 | 东北大学 | 一种中厚板自动转钢方法 |
| CN201628839U (zh) * | 2010-01-19 | 2010-11-10 | 柯名会 | 红外监控摄像手机 |
| US9527392B2 (en) * | 2013-03-14 | 2016-12-27 | Aurora Flight Sciences Corporation | Aerial system and vehicle for continuous operation |
| CN103997610A (zh) * | 2014-04-30 | 2014-08-20 | 辽宁卓异装备制造股份有限公司 | 夜视摄像装置及其调焦方法 |
| CN104176267A (zh) * | 2014-08-20 | 2014-12-03 | 电子科技大学 | 三维高指向性红外光飞机着陆导引*** |
| CN204408486U (zh) * | 2015-03-03 | 2015-06-17 | 深圳市宏天威科技有限公司 | 176°超广视角摄像机 |
| CN106325305A (zh) * | 2015-06-29 | 2017-01-11 | 优利科技有限公司 | 对地定位或导航用相机、飞行器及其导航方法和*** |
| CN105141938A (zh) * | 2015-08-18 | 2015-12-09 | 深圳先进技术研究院 | 视线定位装置 |
| CN105318888A (zh) * | 2015-12-07 | 2016-02-10 | 北京航空航天大学 | 基于无人机感知的无人驾驶车辆路径规划方法 |
| CN105782678A (zh) * | 2016-02-03 | 2016-07-20 | 苏州大势智慧信息科技有限公司 | 一种用于无人机航测的机械式两轴增稳云台装置 |
| CN205750551U (zh) * | 2016-05-23 | 2016-11-30 | 中国石油大学(华东) | 一种车载多旋翼无人机辅助回收*** |
| CN106356926A (zh) * | 2016-09-18 | 2017-01-25 | 中国空气动力研究与发展中心高速空气动力研究所 | 一种无人机的自动加电***及方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108828500A (zh) * | 2018-06-22 | 2018-11-16 | 深圳草莓创新技术有限公司 | 无人机精准的降落引导方法及相关产品 |
| CN109131922A (zh) * | 2018-08-30 | 2019-01-04 | 上海复亚智能科技有限公司 | 一种无人机自动机场*** |
| CN111746810A (zh) * | 2019-03-27 | 2020-10-09 | 顺丰科技有限公司 | 全天候无人机降落方法及降落***、设备和存储介质 |
| CN111746810B (zh) * | 2019-03-27 | 2022-02-22 | 丰翼科技(深圳)有限公司 | 全天候无人机降落方法及降落***、设备和存储介质 |
| CN110597282A (zh) * | 2019-09-05 | 2019-12-20 | 中国科学院长春光学精密机械与物理研究所 | 一种无人机自主降落控制*** |
| CN110879617A (zh) * | 2019-12-30 | 2020-03-13 | 湖南星空机器人技术有限公司 | 一种红外引导无人机降落方法及装置 |
| CN111176323A (zh) * | 2019-12-30 | 2020-05-19 | 湖南华诺星空电子技术有限公司 | 一种雷达与红外融合的无人机降落控制方法及装置 |
| CN111596687A (zh) * | 2020-05-26 | 2020-08-28 | 北京航空航天大学 | 一种垂直起降无人机移动平台降落引导装置及其引导方法 |
| CN112985361A (zh) * | 2020-09-29 | 2021-06-18 | 云南向量创新科技有限公司 | 一种基于无人机免相控实景三维建模测绘方法及*** |
| CN112925334A (zh) * | 2021-02-02 | 2021-06-08 | 国网江苏省电力有限公司泰州供电分公司 | 一种智能巡检无人机降落***及降落方法 |
| CN113448351A (zh) * | 2021-08-30 | 2021-09-28 | 广州知行机器人科技有限公司 | 一种引导无人机精准降落的方法、装置及无人机机库 |
| CN114104310A (zh) * | 2021-12-31 | 2022-03-01 | 重庆高新区飞马创新研究院 | 一种基于GPS和AprilTag的视觉辅助无人机降落的设备与方法 |
| WO2024001111A1 (zh) * | 2022-06-30 | 2024-01-04 | 亿航智能设备（广州）有限公司 | 飞行器降落引导装置及方法、飞行器降落控制方法及*** |
| CN115202375A (zh) * | 2022-07-20 | 2022-10-18 | 广西电网有限责任公司电力科学研究院 | 用于无人机无线充电的两段式精准降落导引方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107908197A (zh) | 基于红外信标及视觉的无人机精准降落***和方法 | |
| CN103822635B (zh) | 基于视觉信息的无人机飞行中空间位置实时计算方法 | |
| CN105335733B (zh) | 一种无人机自主着陆视觉定位方法及*** | |
| CN106873627B (zh) | 一种自动巡检输电线路的多旋翼无人机及方法 | |
| JP6390013B2 (ja) | 小型無人飛行機の制御方法 | |
| CN109911188A (zh) | 非卫星导航定位环境的桥梁检测无人机*** | |
| CN105222807B (zh) | 一种旋翼无人机精密进近航道指示器校验***及校验方法 | |
| CN104015931B (zh) | 一种无人机自动加油盲区视觉定位测控方法、***及实验平台 | |
| CN107015560A (zh) | 一种基于无人机的光伏阵列的巡检方法 | |
| EP2538298A1 (en) | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers | |
| CN109407708A (zh) | 一种基于多信息融合的精准着陆控制***及着陆控制方法 | |
| CN106927059A (zh) | 一种基于单目视觉的无人机降落方法及装置 | |
| CN106292126A (zh) | 一种智能航测飞行曝光控制方法、无人机控制方法及终端 | |
| CN105352495A (zh) | 加速度与光流传感器数据融合无人机水平速度控制方法 | |
| CN106647804A (zh) | 一种自动巡检方法及*** | |
| CN104536456A (zh) | 一种自主飞行四旋翼无人机路桥施工巡检***及方法 | |
| CN112486199A (zh) | 一种适用于偏远输电塔群无人机巡检控制***及巡检方法 | |
| CN106813900A (zh) | 一种基于无人机技术的民用机场助航灯光飞行校验方法 | |
| CN113232865B (zh) | 一种基于机器视觉的农用无人机喷药***及方法 | |
| CN106094876A (zh) | 一种无人机目标锁定***及其方法 | |
| WO2022036724A1 (zh) | 基于机器视觉的无人机目标跟踪***及方法 | |
| CN104735423B (zh) | 位于无人机上的输电设备辨认平台 | |
| CN113885580A (zh) | 基于无人机实现自动化巡检风机的路径规划方法及*** | |
| CN111006643A (zh) | 一种无人机遥感信息监测方法 | |
| CN112650271A (zh) | 基于星链和5g技术的无人机超视距飞行***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180413 |