CN105511488B - 一种基于无人飞行器的续拍方法和无人飞行器 - Google Patents
一种基于无人飞行器的续拍方法和无人飞行器 Download PDFInfo
- Publication number
- CN105511488B CN105511488B CN201510884003.0A CN201510884003A CN105511488B CN 105511488 B CN105511488 B CN 105511488B CN 201510884003 A CN201510884003 A CN 201510884003A CN 105511488 B CN105511488 B CN 105511488B
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- frame
- image data
- multiframe
- flight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000005611 electricity Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003028 elevating effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000288673 Chiroptera Species 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种基于无人飞行器的续拍方法和无人飞行器,该方法包括:在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;按照所述飞行状态信息进行飞行;当飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则针对第一无人飞行器进行续拍操作。续拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
Description
技术领域
本发明涉及无人飞行器的技术领域,特别是涉及一种基于无人飞行器的续拍方法和一种无人飞行器。
背景技术
随着科技的快速发展,无人飞行器广泛普及,在自然灾害监测与评估、城市规划与市政管理、数字地球以及广告摄影等领域,经常需要无人机进行航拍。
在很多场景下,航拍时间一般比较长,但是,由于无人飞行器的电池容量有限,其续航能力有限,航拍20分钟左右,往往会电力供应不足,导致无法继续拍摄。
因此,为了完成航拍,无人飞行器需要多次进行航拍,录制了多段视频。
由于航拍中断,导致前后两段视频相差较大,往往会无法衔接,出现断层问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于无人飞行器的续拍方法和相应的一种无人飞行器。
依据本发明的一个方面,提供了一种基于无人飞行器的续拍方法,包括:
在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
按照所述飞行状态信息进行飞行;
当飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则针对第一无人飞行器进行续拍操作。
可选地,所述在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据的步骤包括:
在第一无人飞行器中接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据。
可选地,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
可选地,所述飞行状态信息包括飞行轨迹信息;
所述按照所述飞行状态信息进行飞行的步骤包括:
按照所述飞行轨迹信息、以第一飞行速度进行飞行;
其中,所述第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
可选地,所述飞行状态信息包括拍摄角度;
所述按照所述飞行状态信息拍摄的一帧或多帧特征图像数据的步骤包括:
按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
可选地,所述按照所述飞行状态信息拍摄的一帧或多帧特征图像数据的步骤还包括:
将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
可选地,所述判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配的步骤包括:
提取所述一帧或多帧特征图像数据边缘的第一区域图像数据;
提取所述一帧或多帧候选图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据匹配;
若否,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据不匹配。
可选地,所述针对第一无人飞行器进行续拍操作的步骤包括:
发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
根据本发明的另一方面,提供了一种无人飞行器,包括:
续拍数据获取模块,适于在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
飞行模块,适于按照所述飞行状态信息进行飞行;
拍摄模块,适于在飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
图像匹配模块,适于判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则调用航拍继续模块;
航拍继续模块,适于针对第一无人飞行器进行续拍操作。
可选地,所述续拍数据获取模块还适于:
在第一无人飞行器中接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据。
可选地,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
可选地,所述飞行状态信息包括飞行轨迹信息;
所述飞行模块还适于:
按照所述飞行轨迹信息、以第一飞行速度进行飞行;
其中,所述第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
可选地,所述飞行状态信息包括拍摄角度;
所述拍摄模块还适于:
按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
可选地,所述拍摄模块还适于:
将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
可选地,所述图像匹配模块还适于:
提取所述一帧或多帧特征图像数据边缘的第一区域图像数据;
提取所述一帧或多帧候选图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据匹配;
若否,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据不匹配。
可选地,所述航拍继续模块还适于:
发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
本发明实施例中,第一无人飞行器按照第二无人飞行器的飞行状态信息飞行至距离第二无人飞行器一定范围内时,并拍摄一帧或多帧特征图像数据,与第二无人飞行器的候选图像数据进行匹配,以在合适的状态继续航拍操作,因此,续拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例的步骤流程图;
图2示出了根据本发明一个实施例的一种无人飞行器的结构示意图;
图3A至图3F示出了根据本发明一个实施例的一种无人飞行器的飞行原理图;以及
图4示出了根据本发明一个实施例的一种无人飞行器实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
需要说明的是,本发明实施例可以应用于无人飞行器(Unmanned AerialVehicle,UAV)中,即利用无线遥控或程序控制来执行特定航空任务的飞行器,其不搭载操作人员,采用空气动力为飞行器提供所需的升力,能够自动飞行或远程引导。
在具体实现中,无人飞行器具有多种传感器和摄像头,在航拍时,可以通过传感器记录飞行状态信息(即记录飞行时状态的信息),以及,调用摄像头拍摄一帧或多帧图像数据。
在本发明实施例中,若第一无人飞行器接收到替换指令,则可以自动进行无人飞行器的航拍替换。
进一步而言,第二无人飞行器在检测到满足预设的续拍条件时,可以向遥控器发送替换指令,遥控器可以将替换指令转发至第一无人飞行器。
相对而言,在第一无人飞行器中可以接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
在具体实现中,该续拍条件可以包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
当然,除上述续拍条件之外,本领域技术人员还可以根据实际情况设置其他续拍条件,本发明实施例对此不加以限制。
此外,除了第二无人飞行器发送替换指令之外,遥控器也可以直接发送替换指令给第一无人飞行器,本发明实施例对此亦不加以限制。
在触发航拍替换之后,可以第一无人飞行器可以获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据,以接近第二无人飞行器。
需要说明的是,为了避免发生控制的冲突,遥控器在航拍替换之前,具有第二无人飞行器的控制权,而不具有第一无人飞行器的控制权。
步骤102,按照所述飞行状态信息进行飞行;
在具体实现中,飞行状态信息可以包括飞行轨迹信息,如按照时间排列的位置点数据(包括经纬度、高度),可以始于发送替换指令时的位置点数据。
进一步而言,第二无人飞行器可以通过地理定位模块,例如,GPS(GlobalPositioning System,全球定位***)模块、北斗模块等,识别第二无人飞行器在飞行时所处的经纬度。
此外,第二无人飞行器还可以通过高度传感器,例如,气压高度传感器等,识别第二无人飞行器在飞行时所处的高度。
因此,第一无人飞行器可以按照该飞行轨迹信息、以第一飞行速度进行飞行,以接近第二无人飞行器。
其中,第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
需要说明的是,第二无人飞行器的第二飞行速度可以作为飞行状态信息由遥控器转发至第一无人飞行器,第一无人飞行器可以按照该第二飞行速度计算第一飞行速度。
第一无人飞行器的第一飞行速度、第二无人飞行器的第二飞行速度也都可以是预设的值,当触发航拍替换之后,第一无人飞行器、第二无人飞行器按照预设的第一飞行速度、第二飞行速度进行飞行,本发明对此不加以限制。
在飞行时,以四旋翼飞行器为例,如图2所示,四旋翼飞行器采用四个旋翼作为飞行的直接动力源,旋翼对称分布在机体的前、后、左、右四个方向,四个旋翼处于同一高度平面,且四个旋翼的结构和半径都相同,旋翼201和旋翼203逆时针旋转,旋翼202和旋翼204顺时针旋转,四个电机对称的安装在无人飞行器的支架端,支架中间空间安放飞行控制计算机200和其他外部设备(如摄像头)。
四旋翼飞行器是通过调节四个电机转速来改变旋翼转速,实现升力的变化,从而控制飞行器的姿态和位置。
四旋翼飞行器是一种六自由度的垂直升降机,但只有四个输入力,同时却有六个状态输出,所以它又是一种欠驱动***。。
规定沿x轴正方向运动称为向前运动,箭头在旋翼的运动平面上方表示此电机转速提高,在下方表示此电机转速下降,六自由度如下:
1、垂直运动;
如图3A所示,同时增加旋翼201、旋翼202、旋翼203、旋翼204的四个电机的输出功率,旋翼201、旋翼202、旋翼203、旋翼204转速增加使得总的拉力增大,当总拉力足以克服整机的重量时,四旋翼飞行器便离地垂直上升;反之,同时减小旋翼201、旋翼202、旋翼203、旋翼204的四个电机的输出功率,四旋翼飞行器则垂直下降,直至平衡落地,实现了沿z轴的垂直运动。
当外界扰动量为零时,在旋翼201、旋翼202、旋翼203、旋翼204产生的升力等于四旋翼飞行器所受重力时,四旋翼飞行器便保持悬停状态。
2、俯仰运动;
如图3B所示中,旋翼201的电机的转速上升,旋翼203的电机的转速下降(改变量大小相等),,旋翼202的电机、旋翼204的电机的转速保持不变。
由于旋翼201的升力上升,旋翼203的升力下降,产生的不平衡力矩使机身绕y轴旋转。
同理,当旋翼201的电机的转速下降,旋翼203的电机的转速上升,机身便绕y轴向另一个方向旋转,实现四旋翼飞行器的俯仰运动。
3、滚转运动;
如图3C所示,改变旋翼202和旋翼204的电机的转速,保持旋翼201和旋翼203的电机的转速不变,则可使机身绕x轴旋转(正向和反向),实现四旋翼飞行器的滚转运动。
4、偏航运动;
旋翼转动过程中由于空气阻力作用会形成与转动方向相反的反扭矩,为了克服反扭矩影响,可使四个旋翼中的两个正转,两个反转,且对角线上的各个旋翼转动方向相同。反扭矩的大小与旋翼转速有关,当四个电机转速相同时,四个旋翼产生的反扭矩相互平衡,四旋翼飞行器不发生转动;当四个电机转速不完全相同时,不平衡的反扭矩会引起四旋翼飞行器转动。
如图3D所示,当旋翼201和旋翼203的电机的转速上升,旋翼202和旋翼204的电机的转速下降时,旋翼201和旋翼203对机身的反扭矩大于旋翼202和旋翼204对机身的反扭矩,机身便在富余反扭矩的作用下绕z轴转动,实现飞行器的偏航运动,转向与旋翼201和旋翼203的电机的转向相反。
5、前后运动;
要想实现飞行器在水平面内前后、左右的运动,必须在水平面内对飞行器施加一定的力。
如图3E所示,增加旋翼203的电机的转速,使拉力增大,相应减小旋翼201的电机的转速,使拉力减小,同时保持其它两个电机转速不变,反扭矩仍然要保持平衡。
按图3B的理论,四旋翼飞行器首先发生一定程度的倾斜,从而使旋翼拉力产生水平分量,因此可以实现四旋翼飞行器的前飞运动。向后飞行与向前飞行正好相反。
在图3B和图3C中,四旋翼飞行器在产生俯仰、翻滚运动的同时也会产生沿x、y轴的水平运动。
6、倾向运动;
由于结构对称,所以倾向飞行的工作原理与前后运动完全一样。
如图3F所示,
增加旋翼204的电机的转速,使拉力增大,相应减小旋翼202的电机的转速,使拉力减小,同时保持其它两个电机转速不变,反扭矩仍然要保持平衡。
四旋翼飞行器首先发生一定程度的倾斜,从而使旋翼拉力产垂直平分量,因此可以实现四旋翼飞行器的倾向运动。向左飞行与向右飞行正好相反。
当然,上述四旋翼飞行器只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他无人飞行器,例如,六旋翼飞行器、单旋翼飞行器等等,本发明实施例对此不加以限制。
步骤103,当飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
若第一无人飞行器飞行至第二无人飞行器一定范围内,则表示第一无人飞行器与第二无人飞行器相距较小。
虽然第一无人飞行器按照飞行轨迹信息飞行,但是,也无法确保一定与第二无人飞行器航拍的位置完全重合,两者飞行的位置多多少少会存在差异,因此,为了提高前后两次飞行时所拍摄的录像衔接得更加准确,可以按照飞行状态信息对拍摄角度进行微调。
在具体实现中,飞行状态信息可以包括拍摄角度;
具体而言,无人飞行器中的摄像头安装在云台上,即安装、固定摄像头的支撑设备。
因此,可以按照该拍摄角度调整拍摄装置,调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
以全方位的云台为例,其内部设置有两个电机,分别负责云台的上下和左右各方向的转动,以带动摄像头沿上下和左右各方向转动,实现拍摄角度的调整。
此外,为了保持第一无人飞行器与第二无人飞行器之间的平稳衔接,避免发生碰撞,可以降低第一无人飞行器的第一飞行速度,将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
步骤104,判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则执行步骤105;
在本发明实施例中,可以计算候选图像数据与特征图像数据之间的相似度,若相似度大于或等于预设的相似度阈值,认为两者匹配、前后衔接,则可以以该特征图像数据作为起始点继续在先的航拍操作。
若相似度小于该相似度阈值,认为两者不匹配,前后不衔接,由于候选图像数据是持续拍摄的,因此,此时可以重新计算其他候选图像数据与特征图像数据之间的相似度,直至两者匹配。
其中,相似度可以用于对于两帧图像数据(候选图像数据与特征图像数据)之间内容的相似程度进行打分,根据分数的高低来判断图像数据内容的相近程度。
本发明实施例,可以对图像数据(候选图像数据与特征图像数据)进行整体对比,即对图像数据(候选图像数据与特征图像数据)整体计算相似度。
进一步而言,可以通过如下方式计算图像数据(候选图像数据与特征图像数据)之间整体的相似度:
一、基于直方图计算相似度;
假设具有图像数据A和图像数据B,分别计算两幅图像的直方图,HistA,HistB,然后计算两个直方图的归一化相关系数(如巴氏距离,直方图相交距离等等),获得相似度。
这种方式是基于向量之间的差异来进行图像相似程度的度量,直方图能够很好的归一化,比如通常的256个bin条的。
那么两帧分辨率不同的图像数据可以直接通过计算直方图来计算相似度很方便。
二、基于矩阵分解计算相似度;
图像数据本身就是一个矩阵,可以依靠矩阵分解,如SVD(Singular ValueDecomposition,奇异值分解)、NMF(Non-negative Matrix Factorization,非负矩阵分解)来获取矩阵中一些代表这个矩阵元素值和分布的一些鲁棒性特征来对图像数据的相似度进行计算。
三、基于特征点计算相似度。
每一帧图像数据都有自己的特征点,这些特征点表征图像数据中比较重要的一些位置,如Harris角点和Sift特征点等等。
那么,将得到的图像数据的特征点进行比较,如果相似的特征点数目较多,那么可以认为这两帧图像数据的相似程度较高。
此外,由于第一无人飞行器已经飞行至第二无人飞行器附近,候选图像数据与特征图像数据之间相差不大,因此,为了减少计算量,可以通过候选图像数据与特征图像数据之间边缘的对比,判断候选图像数据与特征图像数据是否匹配。
具体而言,可以提取一帧或多帧特征图像数据边缘的第一区域图像数据,提取一帧或多帧候选图像数据边缘的第二区域图像数据,判断所述第一区域图像数据与所述第二区域图像数据是否匹配。
若是,则判定一帧或多帧特征图像数据与一帧或多候选征图像数据匹配;若否,则判定一帧或多帧特征图像数据与一帧或多候选征图像数据不匹配。
进一步而言,可以通过如下方式检测图像数据(候选图像数据与特征图像数据)的边缘:
1、索贝尔算子;
索贝尔算子是一种一阶微分算子,利用像素近邻区域的梯度值来计算一个像素的梯度,然后根据一定的阈值来取舍,得到图像中的边缘。
2、坎尼边缘检测;
坎尼边缘检测算法是高斯函数的一阶微分,根据对信噪比与定位乘积进行测度,得到最优化逼近算子。
3、高斯的拉普拉斯算法
高斯的拉普拉斯LoG算法是一种二阶边缘检测方法,通过寻找图像的灰度值的二阶微分中的零穿越(Zero Corssing)来检测边缘点。
当然,上述匹配的判断方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他匹配的判断方式,本发明实施例对此不加以限制。另外,除了上述匹配的判断方式外,本领域技术人员还可以根据实际需要采用其它匹配的判断方式,本发明实施例对此也不加以限制。
步骤105,针对第一无人飞行器进行续拍操作。
在具体实现中,第一无人飞行器可以发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
继续航拍操作之前获取的一帧或多帧特征图像数据,与候选图像数据不匹配,无法作为起始点,可以直接删除。
继续航拍操作之后获取的一帧或多帧特征图像数据,与候选图像数据匹配,可以作为起始点,通过编码等处理,生成视频文件,而候选图像数据可以作为终结点,停止录制视频文件。
续拍前后的两段视频文件,可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
本发明实施例中,第一无人飞行器按照第二无人飞行器的飞行状态信息飞行至距离第二无人飞行器一定范围内时,并拍摄一帧或多帧特征图像数据,与第二无人飞行器的候选图像数据进行匹配,以在合适的状态继续航拍操作,因此,续拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,示出了根据本发明一个实施例的一种无人飞行器实施例的结构框图,具体可以包括如下模块:
续拍数据获取模块401,适于在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
飞行模块402,适于按照所述飞行状态信息进行飞行;
拍摄模块403,适于在飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
图像匹配模块404,适于判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则调用航拍继续模块405;
航拍继续模块405,适于针对第一无人飞行器进行续拍操作。
在本发明的一种可选实施例中,所述续拍数据获取模块401还可以适于:
在第一无人飞行器中接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据。
在具体实现中,所述续拍条件可以包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
在本发明的一种可选实施例中,所述飞行状态信息可以包括飞行轨迹信息;
所述飞行模块402还可以适于:
按照所述飞行轨迹信息、以第一飞行速度进行飞行;
其中,所述第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
在本发明的一种可选实施例中,所述飞行状态信息可以包括拍摄角度;
所述拍摄模块403还可以适于:
按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
在本发明的一种可选实施例中,所述拍摄模块403还可以适于:
将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
在本发明的一种可选实施例中,所述图像匹配模块404还可以适于:
提取所述一帧或多帧特征图像数据边缘的第一区域图像数据;
提取所述一帧或多帧候选图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据匹配;
若否,则判定所述一帧或多帧特征图像数据与所述一帧或多候选征图像数据不匹配。
在本发明的一种可选实施例中,所述航拍继续模块405还可以适于:
发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
对于无人飞行器实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于无人飞行器的续拍设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (16)
1.一种基于无人飞行器的续拍方法,包括:
在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
按照所述飞行状态信息进行飞行;
当飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则针对第一无人飞行器进行续拍操作。
2.如权利要求1所述的方法,其特征在于,所述在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据的步骤包括:
在第一无人飞行器中接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据。
3.如权利要求2所述的方法,其特征在于,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
4.如权利要求1或2或3所述的方法,其特征在于,所述飞行状态信息包括飞行轨迹信息;
所述按照所述飞行状态信息进行飞行的步骤包括:
按照所述飞行轨迹信息、以第一飞行速度进行飞行;
其中,所述第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
5.如权利要求1或2或3所述的方法,其特征在于,所述飞行状态信息包括拍摄角度;
所述按照所述飞行状态信息拍摄的一帧或多帧特征图像数据的步骤包括:
按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
6.如权利要求5所述的方法,其特征在于,所述按照所述飞行状态信息拍摄的一帧或多帧特征图像数据的步骤还包括:
将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
7.如权利要求1或2或3或6所述的方法,其特征在于,所述判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配的步骤包括:
提取所述一帧或多帧特征图像数据边缘的第一区域图像数据;
提取所述一帧或多帧候选图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述一帧或多帧特征图像数据与所述一帧或多帧候选图像数据匹配;
若否,则判定所述一帧或多帧特征图像数据与所述一帧或多帧候选图像数据不匹配。
8.如权利要求1或2或3或6所述的方法,其特征在于,所述针对第一无人飞行器进行续拍操作的步骤包括:
发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
9.一种无人飞行器续拍***,包括:
续拍数据获取模块,适于在第一无人飞行器中接收到替换指令时,获取第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据;
飞行模块,适于按照所述飞行状态信息进行飞行;
拍摄模块,适于在飞行至距离第二无人飞行器一定范围内时,按照所述飞行状态信息拍摄一帧或多帧特征图像数据;
图像匹配模块,适于判断所述一帧或多帧特征图像数据是否与所述一帧或多帧候选图像数据是否匹配,若是,则调用航拍继续模块;
航拍继续模块,适于针对第一无人飞行器进行续拍操作。
10.如权利要求9所述的无人飞行器续拍***,其特征在于,所述续拍数据获取模块还适于:
在第一无人飞行器中接收遥控器转发的、第二无人飞行器在满足预设的续拍条件时发送的替换指令;
获取遥控器转发的、第二无人飞行器在飞行时的飞行状态信息及拍摄的一帧或多帧候选图像数据。
11.如权利要求10所述的无人飞行器续拍***,其特征在于,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
12.如权利要求9或10或11所述的无人飞行器续拍***,其特征在于,所述飞行状态信息包括飞行轨迹信息;
所述飞行模块还适于:
按照所述飞行轨迹信息、以第一飞行速度进行飞行;
其中,所述第一无人飞行器的第一飞行速度大于第二无人飞行器的第二飞行速度。
13.如权利要求9或10或11所述的无人飞行器续拍***,其特征在于,所述飞行状态信息包括拍摄角度;
所述拍摄模块还适于:
按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧特征图像数据。
14.如权利要求13所述的无人飞行器续拍***,其特征在于,所述拍摄模块还适于:
将第一无人飞行器的第一飞行速度调整至与第二无人飞行器的第二飞行速度相同。
15.如权利要求9或10或11或14所述的无人飞行器续拍***,其特征在于,所述图像匹配模块还适于:
提取所述一帧或多帧特征图像数据边缘的第一区域图像数据;
提取所述一帧或多帧候选图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述一帧或多帧特征图像数据与所述一帧或多帧候选图像数据匹配;
若否,则判定所述一帧或多帧特征图像数据与所述一帧或多帧候选图像数据不匹配。
16.如权利要求9或10或11或14所述的无人飞行器续拍***,其特征在于,所述航拍继续模块还适于:
发送调整完毕的信号至遥控器,以驱动遥控器控制第二无人飞行器降落,及获取第一无人飞行器的遥控权限。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510884003.0A CN105511488B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510884003.0A CN105511488B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105511488A CN105511488A (zh) | 2016-04-20 |
CN105511488B true CN105511488B (zh) | 2018-05-04 |
Family
ID=55719548
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510884003.0A Active CN105511488B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105511488B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106070133A (zh) * | 2016-06-28 | 2016-11-09 | 深圳市元征科技股份有限公司 | 飞行灭蚊器控制方法及装置 |
CN106125767B (zh) * | 2016-08-31 | 2020-03-17 | 北京小米移动软件有限公司 | 飞行器的控制方法、装置及飞行器 |
CN107093191A (zh) * | 2017-03-06 | 2017-08-25 | 阿里巴巴集团控股有限公司 | 一种图像匹配算法的验证方法、装置及计算机存储介质 |
CN113794840B (zh) | 2017-09-29 | 2023-05-19 | 深圳市大疆创新科技有限公司 | 一种视频处理方法、设备、无人机及*** |
CN107796360B (zh) * | 2017-09-30 | 2020-06-09 | 杭州艾航科技有限公司 | 一种基于无人机视频测量单管塔平板天线角度的方法 |
CN108885470B (zh) * | 2017-11-25 | 2021-08-24 | 深圳市大疆创新科技有限公司 | 一种任务执行方法、移动装置、***及存储介质 |
CN108111752A (zh) * | 2017-12-12 | 2018-06-01 | 北京达佳互联信息技术有限公司 | 视频拍摄方法、装置及移动终端 |
WO2019127052A1 (zh) * | 2017-12-26 | 2019-07-04 | 深圳市大疆创新科技有限公司 | 一种飞行轨迹原路复演方法及飞行器 |
CN109040557B (zh) * | 2018-08-23 | 2020-12-11 | 湖南中信安科技有限责任公司 | 一种巡逻用执法记录仪及其控制方法和工作方法 |
WO2020258243A1 (zh) * | 2019-06-28 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、***及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟***中航拍视频的快速自动拼接技术 |
CN104035446A (zh) * | 2014-05-30 | 2014-09-10 | 深圳市大疆创新科技有限公司 | 无人机的航向生成方法和*** |
CN104527978A (zh) * | 2014-12-31 | 2015-04-22 | 深圳雷柏科技股份有限公司 | 一种跟拍型飞行器及其跟拍方法 |
US9139310B1 (en) * | 2014-08-08 | 2015-09-22 | SZ DJI Technology Co., Ltd | Systems and methods for UAV battery exchange |
CN105059550A (zh) * | 2015-08-31 | 2015-11-18 | 深圳市飞研智能科技有限公司 | 一种提升续航能力的双无人机 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140316614A1 (en) * | 2012-12-17 | 2014-10-23 | David L. Newman | Drone for collecting images and system for categorizing image data |
-
2015
- 2015-12-03 CN CN201510884003.0A patent/CN105511488B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟***中航拍视频的快速自动拼接技术 |
CN104035446A (zh) * | 2014-05-30 | 2014-09-10 | 深圳市大疆创新科技有限公司 | 无人机的航向生成方法和*** |
US9139310B1 (en) * | 2014-08-08 | 2015-09-22 | SZ DJI Technology Co., Ltd | Systems and methods for UAV battery exchange |
CN104527978A (zh) * | 2014-12-31 | 2015-04-22 | 深圳雷柏科技股份有限公司 | 一种跟拍型飞行器及其跟拍方法 |
CN105059550A (zh) * | 2015-08-31 | 2015-11-18 | 深圳市飞研智能科技有限公司 | 一种提升续航能力的双无人机 |
Also Published As
Publication number | Publication date |
---|---|
CN105511488A (zh) | 2016-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105511488B (zh) | 一种基于无人飞行器的续拍方法和无人飞行器 | |
CN105460217B (zh) | 一种基于无人飞行器的续拍方法和无人飞行器 | |
US10650235B2 (en) | Systems and methods for detecting and tracking movable objects | |
US11704812B2 (en) | Methods and system for multi-target tracking | |
US20210065400A1 (en) | Selective processing of sensor data | |
US11263761B2 (en) | Systems and methods for visual target tracking | |
Faessler et al. | Autonomous, vision‐based flight and live dense 3D mapping with a quadrotor micro aerial vehicle | |
CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
KR102680675B1 (ko) | 비행 제어 방법 및 이를 지원하는 전자 장치 | |
CN107850436A (zh) | 使用惯性传感器和图像传感器的传感器融合 | |
CN109857144A (zh) | 无人机、无人机控制***及控制方法 | |
Visser et al. | Closing the gap between simulation and reality in the sensor and motion | |
US20210009270A1 (en) | Methods and system for composing and capturing images | |
WO2019071543A1 (en) | SYSTEMS AND METHODS FOR AUTOMATIC DETECTION AND CORRECTION OF LUMINANCE VARIATIONS ON IMAGES | |
US11869236B1 (en) | Generating data for training vision-based algorithms to detect airborne objects | |
Fässler | Quadrotor control for accurate agile flight | |
CN110392891A (zh) | 活动体检测装置、控制装置、移动体、活动体检测方法及程序 | |
WO2021035746A1 (zh) | 图像处理方法、装置和可移动平台 | |
Murthy | Design of a quadcopter for search and rescue operation in natural calamities | |
Zheng et al. | Air2Land: A deep learning dataset for unmanned aerial vehicle autolanding from air to land | |
Ma et al. | KCF based 3D Object Tracking via RGB-D Camera of a Quadrotor | |
Urbanski | Control of the quadcopter position using visual feedback | |
Singh et al. | Development of a low-cost Collision Avoidance System based on Coulomb’s inverse-square law for Multi-rotor Drones (UAVs) | |
Cieśluk et al. | A stereovision system for real time obstacle avoidance by unmanned aerial vehicle | |
Alharbi et al. | Unmanned Aerial Vehicle for Human Surveillance by Using Face and Upperbody Classifiers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220721 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: Room 112, block D, No. 28, Xinjiekou outer street, Xicheng District, Beijing 100088 (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |
|
TR01 | Transfer of patent right |