CN105460217A - 一种基于无人飞行器的续拍方法和无人飞行器 - Google Patents
一种基于无人飞行器的续拍方法和无人飞行器 Download PDFInfo
- Publication number
- CN105460217A CN105460217A CN201510881759.XA CN201510881759A CN105460217A CN 105460217 A CN105460217 A CN 105460217A CN 201510881759 A CN201510881759 A CN 201510881759A CN 105460217 A CN105460217 A CN 105460217A
- Authority
- CN
- China
- Prior art keywords
- image data
- plane
- flight
- stopping
- photo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种基于无人飞行器的续拍方法和无人飞行器,该方法包括:当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作时记录的飞行状态信息和特征图像数据;按照所述飞行状态信息飞行至在先停止航拍操作的位置;在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则继续航拍操作。航拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
Description
技术领域
本发明涉及无人飞行器的技术领域,特别是涉及一种基于无人飞行器的续拍方法和一种无人飞行器。
背景技术
随着科技的快速发展,无人飞行器广泛普及,在自然灾害监测与评估、城市规划与市政管理、数字地球以及广告摄影等领域,经常需要无人机进行航拍。
在很多场景下,航拍时间一般比较长,但是,由于无人飞行器的电池容量有限,其续航能力有限,航拍20分钟左右,往往会电力供应不足,导致无法继续拍摄。
因此,为了完成航拍,无人飞行器需要多次进行航拍,录制了多段视频。
由于航拍中断,导致前后两段视频相差较大,往往会无法衔接,出现断层问题。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于无人飞行器的续拍方法和相应的一种无人飞行器。
依据本发明的一个方面,提供了一种基于无人飞行器的续拍方法,包括:
当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
按照所述飞行状态信息飞行至在先停止航拍操作的位置;
在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则继续航拍操作。
可选地,还包括:
在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
记录停止航拍操作时的飞行状态信息和特征图像数据;
基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
可选地,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
可选地,所述飞行状态信息包括经纬度和高度;
所述按照所述飞行状态信息飞行至在先停止航拍操作的位置的步骤包括:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
可选地,所述飞行状态信息包括拍摄角度;
所述在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据的步骤包括:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
可选地,所述判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配的步骤包括:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
可选地,还包括:
删除继续航拍操作之前获取的一帧或多帧候选图像数据;
存储继续航拍操作之后获取的一帧或多帧候选图像数据。
可选地,还包括:
向遥控器发送开始航拍操作的信号。
根据本发明的另一方面,提供了一种无人飞行器,包括:
续拍数据读取模块,适于在无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
飞行模块,适于按照所述飞行状态信息飞行至在先停止航拍操作的位置;
拍摄模块,适于在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
图像匹配模块,适于判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则调用航拍模块;
航拍继续模块,适于继续航拍操作。
可选地,还包括:
航拍停止模块,适于在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
续拍数据记录模块,适于记录停止航拍操作时的飞行状态信息和特征图像数据;
续拍特征对象生成模块,适于基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
可选地,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
可选地,所述飞行状态信息包括经纬度和高度;
所述飞行模块还适于:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
可选地,所述飞行状态信息包括拍摄角度;
所述拍摄模块还适于:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
可选地,所述图像匹配模块还适于:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
可选地,还包括:
候选图像数据删除模块,适于删除继续航拍操作之前获取的一帧或多帧候选图像数据;
候选图像数据存储模块,适于存储继续航拍操作之后获取的一帧或多帧候选图像数据。
可选地,还包括:
信号发送模块,适于向遥控器发送开始航拍操作的信号。
本发明实施例按照飞行状态信息飞行至在先停止航拍操作的位置,并获取一帧或多帧候选图像数据,与停止航拍时的特征图像数据进行匹配,以在合适的状态继续航拍操作,航拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例1的步骤流程图;
图2示出了根据本发明一个实施例的一种无人飞行器的结构示意图;
图3A至图3F示出了根据本发明一个实施例的一种无人飞行器的飞行原理图;
图4示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例2的步骤流程图;以及
图5示出了根据本发明一个实施例的一种无人飞行器实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例1的步骤流程图,具体可以包括如下步骤:
步骤101,当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
需要说明的是,本发明实施例可以应用于无人飞行器(UnmannedAerialVehicle,UAV)中,即利用无线遥控或程序控制来执行特定航空任务的飞行器,其不搭载操作人员,采用空气动力为飞行器提供所需的升力,能够自动飞行或远程引导。
在具体实现中,无人飞行器具有位置传感器和摄像头,在先可以在停止航拍操作时,可以通过位置传感器记录飞行状态信息(即记录停止飞行时状态的信息),以及,调用摄像头拍摄一帧特征图像数据。
将飞行状态信息和特征图像数据生成续拍特征对象,存储在数据库中。
若当前飞行时检测到续拍特征对象,则可以表示当前需要进行续拍。
步骤102,按照所述飞行状态信息飞行至在先停止航拍操作的位置;
在本发明实施例中,飞行状态信息可以包括经纬度和高度。
具体而言,无人飞行器中的位置传感器可以包括地理定位模块,例如,GPS(GlobalPositioningSystem,全球定位***)模块、北斗模块等,通过该地理定位模块,可以识别无人飞行器在停止航拍时所处的经纬度。
此外,无人飞行器中的位置传感器还可以包括高度传感器,例如,气压高度传感器等,可以识别无人飞行器在停止航拍时所处的高度。
因此,若检测到续拍特征对象,可以从中提取经纬度和高度,按照经纬度飞行至在先停止航拍操作的水平位置,在在先停止航拍操作的水平位置上,按照高度飞行至指定的垂直位置。
在飞行时,以四旋翼飞行器为例,如图2所示,四旋翼飞行器采用四个旋翼作为飞行的直接动力源,旋翼对称分布在机体的前、后、左、右四个方向,四个旋翼处于同一高度平面,且四个旋翼的结构和半径都相同,旋翼201和旋翼203逆时针旋转,旋翼202和旋翼204顺时针旋转,四个电机对称的安装在无人飞行器的支架端,支架中间空间安放飞行控制计算机200和其他外部设备(如摄像头)。
四旋翼飞行器是通过调节四个电机转速来改变旋翼转速,实现升力的变化,从而控制飞行器的姿态和位置。
四旋翼飞行器是一种六自由度的垂直升降机,但只有四个输入力,同时却有六个状态输出,所以它又是一种欠驱动***。。
规定沿x轴正方向运动称为向前运动,箭头在旋翼的运动平面上方表示此电机转速提高,在下方表示此电机转速下降,六自由度如下:
1、垂直运动;
如图3A所示,同时增加旋翼201、旋翼202、旋翼203、旋翼204的四个电机的输出功率,旋翼201、旋翼202、旋翼203、旋翼204转速增加使得总的拉力增大,当总拉力足以克服整机的重量时,四旋翼飞行器便离地垂直上升;反之,同时减小旋翼201、旋翼202、旋翼203、旋翼204的四个电机的输出功率,四旋翼飞行器则垂直下降,直至平衡落地,实现了沿z轴的垂直运动。
当外界扰动量为零时,在旋翼201、旋翼202、旋翼203、旋翼204产生的升力等于四旋翼飞行器所受重力时,四旋翼飞行器便保持悬停状态。
2、俯仰运动;
如图3B所示中,旋翼201的电机的转速上升,旋翼203的电机的转速下降(改变量大小相等),,旋翼202的电机、旋翼204的电机的转速保持不变。
由于旋翼201的升力上升,旋翼203的升力下降,产生的不平衡力矩使机身绕y轴旋转。
同理,当旋翼201的电机的转速下降,旋翼203的电机的转速上升,机身便绕y轴向另一个方向旋转,实现四旋翼飞行器的俯仰运动。
3、滚转运动;
如图3C所示,改变旋翼202和旋翼204的电机的转速,保持旋翼201和旋翼203的电机的转速不变,则可使机身绕x轴旋转(正向和反向),实现四旋翼飞行器的滚转运动。
4、偏航运动;
旋翼转动过程中由于空气阻力作用会形成与转动方向相反的反扭矩,为了克服反扭矩影响,可使四个旋翼中的两个正转,两个反转,且对角线上的各个旋翼转动方向相同。反扭矩的大小与旋翼转速有关,当四个电机转速相同时,四个旋翼产生的反扭矩相互平衡,四旋翼飞行器不发生转动;当四个电机转速不完全相同时,不平衡的反扭矩会引起四旋翼飞行器转动。
如图3D所示,当旋翼201和旋翼203的电机的转速上升,旋翼202和旋翼204的电机的转速下降时,旋翼201和旋翼203对机身的反扭矩大于旋翼202和旋翼204对机身的反扭矩,机身便在富余反扭矩的作用下绕z轴转动,实现飞行器的偏航运动,转向与旋翼201和旋翼203的电机的转向相反。
5、前后运动;
要想实现飞行器在水平面内前后、左右的运动,必须在水平面内对飞行器施加一定的力。
如图3E所示,增加旋翼203的电机的转速,使拉力增大,相应减小旋翼201的电机的转速,使拉力减小,同时保持其它两个电机转速不变,反扭矩仍然要保持平衡。
按图3B的理论,四旋翼飞行器首先发生一定程度的倾斜,从而使旋翼拉力产生水平分量,因此可以实现四旋翼飞行器的前飞运动。向后飞行与向前飞行正好相反。
在图3B和图3C中,四旋翼飞行器在产生俯仰、翻滚运动的同时也会产生沿x、y轴的水平运动。
6、倾向运动;
由于结构对称,所以倾向飞行的工作原理与前后运动完全一样。
如图3F所示,
增加旋翼204的电机的转速,使拉力增大,相应减小旋翼202的电机的转速,使拉力减小,同时保持其它两个电机转速不变,反扭矩仍然要保持平衡。
四旋翼飞行器首先发生一定程度的倾斜,从而使旋翼拉力产垂直平分量,因此可以实现四旋翼飞行器的倾向运动。向左飞行与向右飞行正好相反。
当然,上述四旋翼飞行器只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他无人飞行器,例如,六旋翼飞行器、单旋翼飞行器等等,本发明实施例对此不加以限制。
步骤103,在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
虽然当前按照飞行轨迹信息飞行,但是,也无法确保一定与先停止航拍的位置完全重合,两者飞行的位置多多少少会存在差异,因此,为了提高前后两次飞行时所拍摄的录像衔接得更加准确,可以按照飞行状态信息飞行至与停止航拍的位置附近的位置,在该附近的位置对拍摄角度进行微调。
在具体实现中,飞行状态信息可以包括拍摄角度。
具体而言,无人飞行器中的摄像头安装在云台上,即安装、固定摄像头的支撑设备。
因此,在所述在先停止航拍操作的位置中,按照该拍摄角度调整拍摄装置,调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
以全方位的云台为例,其内部设置有两个电机,分别负责云台的上下和左右各方向的转动,以带动摄像头沿上下和左右各方向转动,实现拍摄角度的调整。
步骤104,判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则执行步骤105;
步骤105,继续航拍操作。
在本发明实施例中,可以计算候选图像数据与特征图像数据之间的相似度,若相似度大于或等于预设的相似度阈值,认为两者匹配、前后衔接,则可以以该候选图像数据作为起始点继续在先的航拍操作。
若相似度小于该相似度阈值,认为两者不匹配,前后不衔接,由于候选图像数据是持续拍摄的,因此,此时可以重新计算另一帧候选图像数据与特征图像数据之间的相似度,直至两者匹配。
其中,相似度可以用于对于两帧图像数据(候选图像数据与特征图像数据)之间内容的相似程度进行打分,根据分数的高低来判断图像数据内容的相近程度。
本发明实施例,可以对图像数据(候选图像数据与特征图像数据)进行整体对比,即对图像数据(候选图像数据与特征图像数据)整体计算相似度。
进一步而言,可以通过如下方式计算图像数据(候选图像数据与特征图像数据)之间整体的相似度:
一、基于直方图计算相似度;
假设具有图像数据A和图像数据B,分别计算两幅图像的直方图,HistA,HistB,然后计算两个直方图的归一化相关系数(如巴氏距离,直方图相交距离等等),获得相似度。
这种方式是基于向量之间的差异来进行图像相似程度的度量,直方图能够很好的归一化,比如通常的256个bin条的。
那么两帧分辨率不同的图像数据可以直接通过计算直方图来计算相似度很方便。
二、基于矩阵分解计算相似度;
图像数据本身就是一个矩阵,可以依靠矩阵分解,如SVD(SingularValueDecomposition,奇异值分解)、NMF(Non-negativeMatrixFactorization,非负矩阵分解)来获取矩阵中一些代表这个矩阵元素值和分布的一些鲁棒性特征来对图像数据的相似度进行计算。
三、基于特征点计算相似度。
每一帧图像数据都有自己的特征点,这些特征点表征图像数据中比较重要的一些位置,如Harris角点和Sift特征点等等。
那么,将得到的图像数据的特征点进行比较,如果相似的特征点数目较多,那么可以认为这两帧图像数据的相似程度较高。
此外,由于无人飞行器已经飞行至与先停止航拍操作的位置附近的位置,候选图像数据与特征图像数据之间相差不大,因此,为了减少计算量,可以通过候选图像数据与特征图像数据之间边缘的对比,判断候选图像数据与特征图像数据是否匹配。
具体而言,可以提取一帧或多帧候选图像数据边缘的第一区域图像数据,提取特征图像数据边缘的第二区域图像数据,判断第一区域图像数据与所述第二区域图像数据是否匹配。
若是,则判定该候选图像数据与该特征图像数据匹配,若否,则判定该候选图像数据与该特征图像数据不匹配。
进一步而言,可以通过如下方式检测图像数据(候选图像数据与特征图像数据)的边缘:
1、索贝尔算子;
索贝尔算子是一种一阶微分算子,利用像素近邻区域的梯度值来计算一个像素的梯度,然后根据一定的阈值来取舍,得到图像中的边缘。
2、坎尼边缘检测;
坎尼边缘检测算法是高斯函数的一阶微分,根据对信噪比与定位乘积进行测度,得到最优化逼近算子。
3、高斯的拉普拉斯算法
高斯的拉普拉斯LoG算法是一种二阶边缘检测方法,通过寻找图像的灰度值的二阶微分中的零穿越(ZeroCorssing)来检测边缘点。
当然,上述匹配的判断方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他匹配的判断方式,本发明实施例对此不加以限制。另外,除了上述匹配的判断方式外,本领域技术人员还可以根据实际需要采用其它匹配的判断方式,本发明实施例对此也不加以限制。
本发明实施例按照飞行状态信息飞行至在先停止航拍操作的位置,并获取一帧或多帧候选图像数据,与停止航拍时的特征图像数据进行匹配,以在合适的状态继续航拍操作,航拍中断前后的两段视频文件可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
参照图4,示出了根据本发明一个实施例的一种基于无人飞行器的续拍方法实施例2的步骤流程图,具体可以包括如下步骤:
步骤401,在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
应用本发明实施例,可以预先设置续拍条件,在满足该续拍条件时,可以停止当前的航拍操作,已对无人飞行机进行调整,如下降并更换电池/充电等。
在具体实现中,该续拍条件可以包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
当然,除上述续拍条件之外,本领域技术人员还可以根据实际情况设置其他续拍条件,如接收到遥控器发出的停止航拍操作的指令等等,本发明实施例对此不加以限制。
步骤402,记录停止航拍操作时的飞行状态信息和特征图像数据;
在具体实现中,无人飞行器中可以通过地理定位模块,例如,GPS(GlobalPositioningSystem,全球定位***)模块、北斗模块等,识别无人飞行器在停止航拍时所处的经纬度。
此外,还可以通过高度传感器,例如,气压高度传感器等,识别无人飞行器在停止航拍时所处的高度。
并且,在停止航拍时调用摄像头拍摄一帧特征图像数据。
步骤403,基于所述飞行状态信息和所述特征图像数据生成续拍特征对象;
在具体实现中,飞行状态信息可以写入特征图像数据生成中,如直接嵌入特征图像数据上,或者,作为特征图像数据的名称等,即续拍特征对象为单一的图像文件。
飞行状态信息也可以独立于特征图像数据存储,如记载在xml(ExtensibleMarkupLanguage,可扩展标记语言)文件或其他文件中,即续拍特征对象为多个文件的集合。
步骤404,当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
步骤405,按照所述飞行状态信息飞行至在先停止航拍操作的位置;
步骤406,在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
步骤407,判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则执行步骤408;
步骤408,继续航拍操作;
步骤409,向遥控器发送开始航拍操作的信号;
在本发明实施例中,可以向遥控器发送开始航拍操作的信号,提示继续航拍操作,让用户通过遥控器可对无人飞行器进行控制。
步骤410,删除继续航拍操作之前获取的一帧或多帧候选图像数据;
步骤411,存储继续航拍操作之后获取的一帧或多帧候选图像数据。
在本发明实施例中,继续航拍操作之前获取的一帧或多帧候选图像数据,与特征图像数据不匹配,无法作为起始点,可以直接删除。
继续航拍操作之后获取的一帧或多帧候选图像数据,与特征图像数据匹配,可以作为起始点,存储之后可以通过编码等处理,生成视频文件。
续拍前后的两段视频文件,可以通过匹配的帧候选图像数据与特征图像数据进行衔接,避免了断层现象。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图5,示出了根据本发明一个实施例的一种无人飞行器实施例的结构框图,具体可以包括如下模块:
续拍数据读取模块501,适于在无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
飞行模块502,适于按照所述飞行状态信息飞行至在先停止航拍操作的位置;
拍摄模块503,适于在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
图像匹配模块504,适于判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则调用航拍模块505;
航拍继续模块505,适于继续航拍操作。
在本发明的一种可选实施例中,该无人飞行器还可以包括如下模块:
航拍停止模块,适于在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
续拍数据记录模块,适于记录停止航拍操作时的飞行状态信息和特征图像数据;
续拍特征对象生成模块,适于基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
在具体实现中,所述续拍条件可以包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
在本发明的一种可选实施例中,所述飞行状态信息可以包括经纬度和高度;
所述飞行模块502还可以适于:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
在本发明的一种可选实施例中,所述飞行状态信息可以包括拍摄角度;
所述拍摄模块503还可以适于:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
在本发明的一种可选实施例中,所述图像匹配模块504还可以适于:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
在本发明的一种可选实施例中,该无人飞行器还可以包括如下模块:
候选图像数据删除模块,适于删除继续航拍操作之前获取的一帧或多帧候选图像数据;
候选图像数据存储模块,适于存储继续航拍操作之后获取的一帧或多帧候选图像数据。
在本发明的一种可选实施例中,该无人飞行器还可以包括如下模块:
信号发送模块,适于向遥控器发送开始航拍操作的信号。
对于无人飞行器实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于无人飞行器的续拍设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种基于无人飞行器的续拍方法,包括:
当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
按照所述飞行状态信息飞行至在先停止航拍操作的位置;
在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则继续航拍操作。
A2、如A1所述的方法,还包括:
在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
记录停止航拍操作时的飞行状态信息和特征图像数据;
基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
A3、如A2所述的方法,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
A4、如A1或A2或A3所述的方法,所述飞行状态信息包括经纬度和高度;
所述按照所述飞行状态信息飞行至在先停止航拍操作的位置的步骤包括:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
A5、如A1或A2或A3所述的方法,所述飞行状态信息包括拍摄角度;
所述在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据的步骤包括:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
A6、如A1所述的方法,所述判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配的步骤包括:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
A7、如A1所述的方法,还包括:
删除继续航拍操作之前获取的一帧或多帧候选图像数据;
存储继续航拍操作之后获取的一帧或多帧候选图像数据。
A8、如A1或A2或A3或A6或A7所述的方法,还包括:
向遥控器发送开始航拍操作的信号。
本发明实施例还公开了B9、一种无人飞行器,包括:
续拍数据读取模块,适于在无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
飞行模块,适于按照所述飞行状态信息飞行至在先停止航拍操作的位置;
拍摄模块,适于在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
图像匹配模块,适于判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则调用航拍模块;
航拍继续模块,适于继续航拍操作。
B10、如B9所述的无人飞行器,还包括:
航拍停止模块,适于在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
续拍数据记录模块,适于记录停止航拍操作时的飞行状态信息和特征图像数据;
续拍特征对象生成模块,适于基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
B11、如B10所述的无人飞行器,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
B12、如B9或B10或B11所述的无人飞行器,所述飞行状态信息包括经纬度和高度;
所述飞行模块还适于:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
B13、如B9或B10或B11所述的无人飞行器,所述飞行状态信息包括拍摄角度;
所述拍摄模块还适于:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
B14、如B9所述的无人飞行器,所述图像匹配模块还适于:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
B15、如B9所述的无人飞行器,还包括:
候选图像数据删除模块,适于删除继续航拍操作之前获取的一帧或多帧候选图像数据;
候选图像数据存储模块,适于存储继续航拍操作之后获取的一帧或多帧候选图像数据。
B16、如B9或B10或B11或B14或B15所述的无人飞行器,还包括:
信号发送模块,适于向遥控器发送开始航拍操作的信号。
Claims (10)
1.一种基于无人飞行器的续拍方法,包括:
当无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
按照所述飞行状态信息飞行至在先停止航拍操作的位置;
在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则继续航拍操作。
2.如权利要求1所述的方法,其特征在于,还包括:
在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
记录停止航拍操作时的飞行状态信息和特征图像数据;
基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
3.如权利要求2所述的方法,其特征在于,所述续拍条件包括如下的一种或多种:
电量低于预设的电量阈值,飞行高度低于预设的高度阈值。
4.如权利要求1或2或3所述的方法,其特征在于,所述飞行状态信息包括经纬度和高度;
所述按照所述飞行状态信息飞行至在先停止航拍操作的位置的步骤包括:
按照所述经纬度飞行至在先停止航拍操作的水平位置;
在所述在先停止航拍操作的水平位置上,按照所述高度飞行至在先停止航拍操作的垂直位置。
5.如权利要求1或2或3所述的方法,其特征在于,所述飞行状态信息包括拍摄角度;
所述在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据的步骤包括:
在所述在先停止航拍操作的位置中,按照所述拍摄角度调整拍摄装置;
调用调整之后的拍摄装置获取一帧或多帧候选图像数据。
6.如权利要求1所述的方法,其特征在于,所述判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配的步骤包括:
提取所述一帧或多帧候选图像数据边缘的第一区域图像数据;
提取所述特征图像数据边缘的第二区域图像数据;
判断所述第一区域图像数据与所述第二区域图像数据是否匹配;
若是,则判定所述候选图像数据与所述特征图像数据匹配;
若否,则判定所述候选图像数据与所述特征图像数据不匹配。
7.如权利要求1所述的方法,其特征在于,还包括:
删除继续航拍操作之前获取的一帧或多帧候选图像数据;
存储继续航拍操作之后获取的一帧或多帧候选图像数据。
8.如权利要求1或2或3或6或7所述的方法,其特征在于,还包括:
向遥控器发送开始航拍操作的信号。
9.一种无人飞行器,包括:
续拍数据读取模块,适于在无人飞行器检测到续拍特征对象时,从所述续拍特征对象中提取在先停止航拍操作操作时记录的飞行状态信息和特征图像数据;
飞行模块,适于按照所述飞行状态信息飞行至在先停止航拍操作的位置;
拍摄模块,适于在所述在先停止航拍操作的位置中,按照所述飞行状态信息获取一帧或多帧候选图像数据;
图像匹配模块,适于判断所述一帧或多帧候选图像数据与所述特征图像数据是否匹配;若是,则调用航拍模块;
航拍继续模块,适于继续航拍操作。
10.如权利要求9所述的无人飞行器,其特征在于,还包括:
航拍停止模块,适于在无人飞行器检测到满足预设的续拍条件时,停止航拍操作;
续拍数据记录模块,适于记录停止航拍操作时的飞行状态信息和特征图像数据;
续拍特征对象生成模块,适于基于所述飞行状态信息和所述特征图像数据生成续拍特征对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510881759.XA CN105460217B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510881759.XA CN105460217B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105460217A true CN105460217A (zh) | 2016-04-06 |
CN105460217B CN105460217B (zh) | 2017-11-14 |
Family
ID=55598477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510881759.XA Active CN105460217B (zh) | 2015-12-03 | 2015-12-03 | 一种基于无人飞行器的续拍方法和无人飞行器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105460217B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106101563A (zh) * | 2016-08-15 | 2016-11-09 | 杨珊珊 | 无人飞行器延时拍摄装置及其延时拍摄方法 |
CN106586011A (zh) * | 2016-12-12 | 2017-04-26 | 高域(北京)智能科技研究院有限公司 | 航拍无人飞行器的对准方法及其航拍无人飞行器 |
CN108111752A (zh) * | 2017-12-12 | 2018-06-01 | 北京达佳互联信息技术有限公司 | 视频拍摄方法、装置及移动终端 |
CN108108268A (zh) * | 2017-11-28 | 2018-06-01 | 北京川上科技有限公司 | 一种视频录制应用的退出重启处理方法和装置 |
CN108885470A (zh) * | 2017-11-25 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 一种任务执行方法、移动装置、***及存储介质 |
CN109844455A (zh) * | 2017-05-19 | 2019-06-04 | 深圳市大疆创新科技有限公司 | 信息处理装置、航拍路径生成方法、航拍路径生成***、程序以及记录介质 |
WO2019196014A1 (zh) * | 2018-04-10 | 2019-10-17 | 深圳市大疆创新科技有限公司 | 无人机的工作数据存储方法及无人机 |
CN112119013A (zh) * | 2018-11-30 | 2020-12-22 | 乐天株式会社 | 显示控制***、显示控制装置及显示控制方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547386A (zh) * | 1999-02-08 | 2004-11-17 | ������������ʽ���� | 移动图像记录装置与数码照相机 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN103679674A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种无人飞行器实时图像拼接方法及*** |
US9164506B1 (en) * | 2014-07-30 | 2015-10-20 | SZ DJI Technology Co., Ltd | Systems and methods for target tracking |
WO2015179797A1 (en) * | 2014-05-23 | 2015-11-26 | Lily Robotics, Inc. | Unmanned aerial copter for photography and/or videography |
-
2015
- 2015-12-03 CN CN201510881759.XA patent/CN105460217B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1547386A (zh) * | 1999-02-08 | 2004-11-17 | ������������ʽ���� | 移动图像记录装置与数码照相机 |
CN103149939A (zh) * | 2013-02-26 | 2013-06-12 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
CN103679674A (zh) * | 2013-11-29 | 2014-03-26 | 航天恒星科技有限公司 | 一种无人飞行器实时图像拼接方法及*** |
WO2015179797A1 (en) * | 2014-05-23 | 2015-11-26 | Lily Robotics, Inc. | Unmanned aerial copter for photography and/or videography |
US9164506B1 (en) * | 2014-07-30 | 2015-10-20 | SZ DJI Technology Co., Ltd | Systems and methods for target tracking |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106101563A (zh) * | 2016-08-15 | 2016-11-09 | 杨珊珊 | 无人飞行器延时拍摄装置及其延时拍摄方法 |
CN106586011A (zh) * | 2016-12-12 | 2017-04-26 | 高域(北京)智能科技研究院有限公司 | 航拍无人飞行器的对准方法及其航拍无人飞行器 |
CN109844455A (zh) * | 2017-05-19 | 2019-06-04 | 深圳市大疆创新科技有限公司 | 信息处理装置、航拍路径生成方法、航拍路径生成***、程序以及记录介质 |
CN108885470A (zh) * | 2017-11-25 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 一种任务执行方法、移动装置、***及存储介质 |
WO2019100353A1 (zh) * | 2017-11-25 | 2019-05-31 | 深圳市大疆创新科技有限公司 | 一种任务执行方法、移动装置、***及存储介质 |
CN108108268A (zh) * | 2017-11-28 | 2018-06-01 | 北京川上科技有限公司 | 一种视频录制应用的退出重启处理方法和装置 |
CN108111752A (zh) * | 2017-12-12 | 2018-06-01 | 北京达佳互联信息技术有限公司 | 视频拍摄方法、装置及移动终端 |
WO2019196014A1 (zh) * | 2018-04-10 | 2019-10-17 | 深圳市大疆创新科技有限公司 | 无人机的工作数据存储方法及无人机 |
CN110574346A (zh) * | 2018-04-10 | 2019-12-13 | 深圳市大疆创新科技有限公司 | 无人机的工作数据存储方法及无人机 |
CN112119013A (zh) * | 2018-11-30 | 2020-12-22 | 乐天株式会社 | 显示控制***、显示控制装置及显示控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105460217B (zh) | 2017-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105460217A (zh) | 一种基于无人飞行器的续拍方法和无人飞行器 | |
CN105511488A (zh) | 一种基于无人飞行器的续拍方法和无人飞行器 | |
Faessler et al. | Autonomous, vision‐based flight and live dense 3D mapping with a quadrotor micro aerial vehicle | |
Wyder et al. | Autonomous drone hunter operating by deep learning and all-onboard computations in GPS-denied environments | |
CN105159321A (zh) | 一种基于无人飞行器的拍照方法和无人飞行器 | |
CN105045279A (zh) | 一种利用无人飞行器航拍自动生成全景照片的***及方法 | |
CN106164562A (zh) | 促进定位和定向移动计算设备的托架 | |
CN109496328A (zh) | 用于立体图像的选择性配对成像元件 | |
CN110832408B (zh) | 通过飞行器的基于神经网络的图像目标跟踪 | |
Attamimi et al. | Inclined image recognition for aerial mapping using deep learning and tree based models | |
Shah et al. | Design and develop an autonomous UAV airship for indoor surveillance and monitoring applications | |
US11869236B1 (en) | Generating data for training vision-based algorithms to detect airborne objects | |
Ceppi | Model-based Design of a Line-tracking Algorithm for a Low-cost Mini Drone through Vision-based Control | |
JP2019191428A (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
US11861870B2 (en) | Rapid object detection for vehicle situational awareness | |
JP2020034643A (ja) | 制御装置、撮像装置、制御方法、及びプログラム | |
Rahmania et al. | Exploration of the impact of kernel size for yolov5-based object detection on quadcopter | |
Dharmawan et al. | The use of video processing for quadrotor flight stability control monitoring | |
JP6565071B2 (ja) | 制御装置、撮像装置、飛行体、制御方法、及びプログラム | |
Attamimi et al. | Inclined Image Recognition for Aerial Mapping by Unmanned Aerial Vehicles | |
Urbanski | Control of the quadcopter position using visual feedback | |
WO2018163300A1 (ja) | 制御装置、撮像装置、撮像システム、移動体、制御方法、及びプログラム | |
Cobo et al. | Approach for autonomous landing on moving platforms based on computer vision | |
CANECO | AUTONOMOUS HIGH-PRECISION LANDING ON A UNMANNED SURFACE VEHICLE | |
Singh et al. | Development of a low-cost Collision Avoidance System based on Coulomb’s inverse-square law for Multi-rotor Drones (UAVs) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220726 Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015 Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Patentee before: Qizhi software (Beijing) Co.,Ltd. |