具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供的视频处理方法可以由一种视频处理设备执行,该视频处理设备可以设置在能够拍摄视频的无人机上,也可以设置在地面端的遥控器上。该视频处理方法可以应用于基于无人机的视频拍摄任务,在其他实施例中,也可以应用与能够自主移动的机器人等可运动设备的视频拍摄任务,下面对应用于无人机的视频处理方法进行举例说明。
本方案提出的视频处理方法采取了一种与轨迹相结合的视频处理方案,应用于无人机,通过确定飞行轨迹,在按照所确定的飞行轨迹进行自主飞行的过程中,能够通过挂载在无人机上的拍摄装置拍摄在各个航点位置的图像。具体的,在到达飞行轨迹的第一位置点时,可以控制无人机在该位置点转动或者控制无人机的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将该第一全景图像生成第一视频段;在该飞行轨迹上的第二位置点可以获取拍摄得到的环境图像组成的第二视频段;在到达飞行轨迹的第三位置点时,可以控制无人机在该位置点转动或者控制无人机的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;根据第一视频段、第二视频段及第三视频段生成目标视频,该目标视频不仅包括由全景图像合成的至少两个全景视频段(即第一视频段和第三视频段),还包括非全景视频段(即第二视频段),全景视频段具有较大视角,可以为用户提供拍摄区域的全局视觉效果,非全景图像可以为用户提供拍摄区域的局部视觉效果。因此,本发明实施例,可实现结合飞行轨迹为用户生成包括至少两个全景视频段的视频,给用户提供拍摄区域的全局视觉效果和局部视觉效果,并可实现全景视频段与非全景视频段之间平滑过渡,及实现多个全景视频段之间的平滑过渡,满足用户对视频的自动化、智能化拍摄以及处理需求。
需要说明的是,本发明实施例的飞行轨迹是指无人机的拍摄装置在进行拍摄图像的过程中的飞行轨迹,该飞行轨迹可以是非闭合的飞行轨迹,也可以是闭合的飞行轨迹,非闭合的飞行轨迹是指在拍摄图像的过程中飞行的起点与飞行的终点不是同一个位置点的飞行轨迹,闭合的飞行轨迹是指在拍摄图像的过程中飞行的起点与飞行的终点是同一个位置点的飞行轨迹。
在一个实施例中,飞行轨迹可以为非闭合的飞行轨迹,无人机按照该飞行轨迹飞行并拍摄图像。如图1所示,图1是本发明实施例提供的一种飞行轨迹的示意图。其中,11表示无人机、12表示位置点A、13表示位置点B、14表示位置点B,15表示用户,用户15可以通过视频处理设备确定位置点A和位置点B、及位置点C,根据位置点A、位置点B及位置点C确定出飞行轨迹,该视频处理设备可以控制无人机沿着由位置点A、位置点B及位置点C组成的飞行轨迹飞行,并通过挂载在无人机11上的拍摄装置拍摄在飞行过程中的图像。具体的,视频处理设备在确定由位置点A、位置点B及位置点C组成的飞行轨迹后,可以控制无人机11从该飞行轨迹中的任意位置开始按照飞行轨迹飞行,控制无人机11在第一位置点转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将该第一全景图像生成第一视频段;在该飞行轨迹上的第二位置点可以获取拍摄得到的环境图像组成的第二视频段;在到达飞行轨迹的第三位置点时,可以控制无人机11在该位置点转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;根据第一视频段、第二视频段及第三视频段生成目标视频。
举例来说,无人机11沿着图1所示的飞行轨迹从位置点A飞出,沿着位置点A飞行经过位置点B并达到位置点C,如果无人机到达位置点A,控制无人机11在位置点A转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将该第一全景图像生成第一视频段;在无人机按照飞行轨迹从位置点A向位置点B运动,并从位置点B到达位置点C的过程中,可以控制无人机11的拍摄装置进行拍摄得到第二视频段;在无人机到达位置点C时,控制无人机11在位置点C转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;根据第一视频段、第二视频段及第三视频段生成目标视频。
再举例来说,无人机11沿着图1所示的飞行轨迹从位置点B飞出,沿着位置点B飞行到达位置点A,控制无人机11在位置点A转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将该第一全景图像生成第一视频段;在无人机按照飞行轨迹从位置点A向位置点B运动,并从位置点B到达位置点C的过程中,可以控制无人机11的拍摄装置进行拍摄得到第二视频段;在无人机到达位置点C时,控制无人机11在位置点C转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;根据第一视频段、第二视频段及第三视频段生成目标视频。
上述获取第二视频段的实施方式还包括:在无人机按照飞行轨迹从位置点A运动到位置点B的过程中,可以控制无人机11的拍摄装置拍摄得子视频段1,在无人机按照飞行轨迹从位置点B运动到位置点C的过程中,可以控制无人机11的拍摄装置拍摄得子视频段2,将子视频段1和子视频段2进行拼接得到第二视频段。
在另一个实施例中,飞行轨迹可以为闭合的飞行轨迹,无人机按照该飞行轨迹飞行并拍摄图像。如图2所示,其中,11表示无人机、16表示位置点D、17表示位置点E、18表示位置点F,19表示位置点G,15表示用户,用户15可以通过视频处理设备确定位置点D和位置点E、位置点F及位置点G,根据位置点D和位置点E、位置点F及位置点G确定出飞行轨迹,该视频处理设备可以控制无人机沿着由位置点D、位置点E、位置点F及位置点G组成的飞行轨迹飞行,并通过挂载在无人机11上的拍摄装置拍摄在飞行过程中的图像。具体的,视频处理设备在确定由位置点D、位置点E、位置点F及位置点G组成的飞行轨迹后,可以控制无人机11从该飞行轨迹中的任意位置开始按照飞行轨迹飞行,控制无人机11第一位置转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将该第一全景图像生成第一视频段;在该飞行轨迹上的第二位置点可以获取拍摄得到的环境图像组成的第二视频段;在到达飞行轨迹的第三位置点时,可以控制无人机11在该位置点转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;在该飞行轨迹上的第四位置点可以获取拍摄得到的环境图像组成的第四视频段;根据第一视频段、第二视频段、第三视频段及第四视频段生成目标视频。
举例来说,无人机11沿着图2所示的飞行轨迹从位置点D飞出,沿着位置点D飞行经过位置点E并达到位置点F,然后沿着位置点F飞行经过位置点G并返回到位置点D,如果无人机到达位置点D,控制无人机11在位置点D转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第一全景图像,根据将第一全景图像生成第一视频段;在无人机按照飞行轨迹从位置点D向位置点E运动,并从位置点E到达位置点F的过程中,可以控制无人机11的拍摄装置进行拍摄得到第二视频段;在无人机到达位置点F时,控制无人机11在位置点F转动或者控制无人机11的云台做圆周转动,并在转动过程中拍摄环境图像,将拍摄到的各个环境图像进行拼接,得到第二全景图像,根据将该第二全景图像生成第三视频段;在无人机按照飞行轨迹从位置点F向位置点G运动,并从位置点G返回位置点D的过程中,可以控制无人机11的拍摄装置进行拍摄得到第四视频段,在无人机返回到位置点D时,根据第一视频段、第二视频段、第三视频段及第四视频段生成目标视频。
需要说明的是,本发明实施例的该视频处理设备可以采用轨迹生成控制算法确定无人机的飞行轨迹,该轨迹生成控制算法主要是规划从飞行起点到终点过程中拍摄装置拍摄第二视频段的飞行轨迹,以及控制无人机在某两个位置点转动,并在转动过程中控制拍摄装置拍摄环境图像以获取全景图像。本发明实施例的轨迹生成控制算法可以包括贝塞尔曲线或5-order-B-spline等中的至少一种算法,本发明实施例不做限定。
本发明实施例,该视频处理设备可以通过设定三个位置点,确定出三个位置点之间链接的任意形状的飞行轨迹,如直线、曲线、螺旋线等。在确定无人机的飞行轨迹的过程中,可以图1为例进行说明,如图1所示,将从位置点A经过位置点B到位置点C的曲线轨迹为确定的飞行轨迹。
需要说明的是,由于无人机的拍摄装置并不是超广角拍摄装置,而是普通拍摄装置,所以拍摄装置视角有限,每次只能拍摄很小视角的图像,因此需要规划拍摄角度,覆盖更大范围的视角。例如,假设采用圆周扫描的形式,可以先固定无人机云台的俯仰角pitch角度,然后通过转动偏航角yaw角,控制拍摄装置拍摄一周的环境图像,然后逐渐改变pitch角,通过转动偏航角yaw角,控制拍摄装置拍摄得到不同的环境图像。
本发明实施例,视频处理设备可以通过对拍摄到的各个环境图像进行拼接得到全景图像,具体的,该视频处理设备可采用的拼接算法来实现图像的拼接,如图3所示,该图像拼接过程包括:
S21、寻找特征匹配。
S22、BA优化。
S23、补偿曝光。
S24、寻找拼接线。
在步骤S21~S24中,当拼接开始时,首先无人机的云台可以在不同的pitch角度进行旋转,并可以通过拍摄装置拍摄得到多张图像,这些图像之间有一定的重叠率,如重叠率一般在0.2~0.3之间,为了避免拼接后的全景图像中存在重叠的部分,可以寻找每两张相邻图像的特征并进行匹配,并将匹配的特征进行光束平差(Bundle Adjustment,BA)优化,使得图像之间的相对位置更为精确,然后对每张图像进行曝光补偿,以及寻找每两张相邻图像的拼接线,最后通过曲线warp变形,将所有的图像投影为一张全景图像,此处的两张相邻图像可以是指两张拍摄时间间隔最短的图像,此处的全景图像可以是指第一全景图像或第二全景图像。
需要说明的是,本发明实施例对拍摄装置进行了标定,使用标定值作为所述拍摄装置内参数的初始值,根据拍摄到的各个环境图像可以进行有目的性的特征点的匹配,从而减少匹配过程中产生的误差。
本发明实施例,在得到目标全景图像(第一全景图像或第二全景图像)后,视频处理设备可以根据目标全景图像生成目标视频段(第一视频段或第三视频段),以图4为例进行说明,图4是本发明实施例提供的一种视频生成过程的示意图,其中,31表示目标全景图像的第一视角点,32表示第一成像点,33表示第一全景点,37表示第一投影平面,34表示第二视角点,35表示第二全景点,36表示第二成像点,38表示第二投影平面。所述类似小行星的全景投影,其实就是视角点在图4中31所示的第一视角点,投影平面在第一投影平面37,即在类似小行星的中心的一种投影方式,而正常视角的照相是视角点在第二视角点34,即在类似小行星的圆形的中心,投影平面在第二投影平面38的一种投影方式,通过将视角点从第一视角点31移动至第二视角点34,同时将投影平面从第一投影平面37移动到第二投影平面38,可以将目标全景图像逐步展开播放得到目标视频段。
请参见图5,图5是本发明实施例提供的一种生成全景图像的流程示意图。如图5所示,视频处理设备首先确定出无人机的飞行轨迹,然后控制所述无人机沿所确定的飞行轨迹进行飞行,控制无人机的拍摄装置在某个位置点(如第一拍摄点或第三拍摄点)时拍摄各个方位的图像,对各个方位上的图像进行拼接,得到球形全景图像(如得到第一全景图像或第二全景图像)。
需要说明的是上述第一位置点、第二位置点、第三位置点及第四位置点均为无人机的飞行轨迹上的位置点,各个位置点可以不相同,视频处理设备可以根据用户的选取操作、或根据用户的需求设置各个拍摄点,视频处理设备还可以根据飞行参数(如飞行高度、飞行距离或飞行时间等)自动设置各个位置点。
请参见图6,图6是本发明实施例提供的一种无人机***的结构示意图。所述***包括:视频处理设备51和无人机52。所述视频处理设备51可以为无人机的控制终端,具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的一种或多种,所述无人机52可以是旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。无人机包括动力***521,动力***用于为无人机提供飞行动力,其中,动力***521包括螺旋桨、电机、电调中的一种或多种,无人机还可以包括云台522以及拍摄装置523,拍摄装置523通过云台522搭载于无人机的主体上。拍摄装置用于在无人机的飞行过程中进行图像或视频拍摄,包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等,云台为多轴传动及增稳***,云台电机通过调整转动轴的转动角度来对成像设备的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小成像设备的抖动。
在一个实施例中,该视频处理设备51可以配置与用户交互的交互装置,该交互装置可以是触摸显示屏、键盘、按键、摇杆、波轮中的一种或多种,该交互装置上可以提供用户界面,用户可以在该视频处理设备51的用户界面上执行点击操作,该点击操作点击一次即可确认一个位置点,该视频处理设备51在接收到该点击操作所点击的3个位置点之后,视频处理设备51连接这三个位置点,形成由这三个点连接而成的飞行轨迹,该飞行轨迹可以直线轨迹也可以是曲线轨迹,从而控制无人机52按该飞行轨迹飞行,以使拍摄装置523按该飞行轨迹进行移动。需要说明的是,该用户界面上的点击操作,只是确认飞行轨迹的一种方法,对于飞行轨迹的确认方式,本发明实施例不做限定。
在一个实施例中,在无人机按照飞行轨迹运动的过程中,该视频处理设备51可以控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据第一全景图像生成第一视频段;在无人机按照飞行轨迹从第一拍摄点向第二拍摄点运动和从第二拍摄点向第三拍摄点运动的过程中,控制无人机的拍摄装置拍摄得到第二视频段;在无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段;根据第一视频段、第二视频段和第三视频段,生成目标视频。
请参见图7,图7是本发明实施例提供的一种视频处理方法的流程示意图,所述方法可以由视频处理设备执行,其中,视频处理设备的具体解释如前所述。具体的,本发明实施例的所述方法包括如下步骤。
S701、控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据该第一全景图像得到第一视频段。
本发明实施例中,为了给用户提供拍摄区域的全局视觉效果,并为用户提供更多关于拍摄区域的信息,视频处理设备可以控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据该第一全景图像得到第一视频段。具体地,视频处理设备首先可以确定三个位置点,根据该三个位置点确定无人机的飞行轨迹,在确定无人机的飞行轨迹后,使无人机按照所确定的飞行轨迹进行运动,在运动的过程中,视频处理设备可以控制该无人机的拍摄装置在到达第一拍摄点时拍摄环境图像得到第一全景图像,并根据该第一全景图像得到第一视频段。以图1为例进行说明,例如,视频处理设备首先确定三个位置点A、B及C,将位置点A、位置点B及位置点C之间的连接曲线确定为无人机的飞行轨迹,视频处理设备控制该无人机按照图1所示位置点A、位置点B及位置点C组成的飞行轨迹飞行,无人机可以沿着位置点A飞行经过位置点B并到达位置点C,在按照该飞行轨迹飞行的过程中,当无人机达到位置点A(第一拍摄点),该视频处理设备可以控制该无人机或控制无人机的云台在位置点A进行圆周转动,控制该无人机的拍摄装置在该无人机的转动过程中拍摄环境图像得到第一全景图像,从而根据该第一全景图像生成第一视频段。
在一个实施例中,该视频处理设备可以控制所述无人机在第一拍摄点转动以拍摄得到第一全景图像,具体的,控制所述无人机在第一拍摄点沿顺时针方向做圆周转动,或控制所述无人机沿逆时针方向做圆周转动,以便获取得到第一全景图像。例如,如图1所示,当无人机到达位置点A时,该视频处理设备可以控制无人机在位置点A沿顺时针方向进行圆周转动,或该视频处理设备可以控制无人机在位置点A沿逆时针方向进行圆周转动,并在做圆周转动的过程中控制拍摄装置进行拍摄得到第一全景图像。
在一个实施例中,在获取到第一全景图像后,视频处理设备可以对该第一全景图像进行展开处理,根据该展开处理过程中得到的各个图像,生成第一视频段。其中,根据该第一全景图像生成第一视频段的过程可以图4为例进行说明,具体地,将获取到的第一全景图像作为图4中的球形全景图像,首先从该第一全景图像的第一视角点31(北极点)开始逐步展开,展开方式为将视角点从第一视角点31开始逐步向球形全景图像的第二视角点34(球心)移动,展开所述第一全景图像,与此同时,将投影平面跟随视角点的移动从球形全景图像的球心平面37(第一投影平面)开始向该球形全景图像的南极点所在平面38(第二投影平面)移动,从而将所述第一全景图像逐步展开,生成第一视频段。
S702、在无人机按照飞行轨迹从该第一拍摄点向第二拍摄点运动和从该第二拍摄点向第三拍摄点运动的过程中,控制该无人机的拍摄装置拍摄得到第二视频段。
本发明实施例中,在无人机按照飞行轨迹从该第一拍摄点向第二拍摄点运动和从该第二拍摄点向第三拍摄点运动的过程中,为了给用户提供拍摄区域的局部视觉效果,以展现拍摄区域的局部特色(如某个标志性的建筑或某个人物),视频处理设备可以控制该无人机的拍摄装置拍摄得到第二视频段。具体可举例说明,如图1所示,假设无人机的飞行轨迹如图1中所示,该飞行轨迹为位置点A、位置点B及位置点C之间的曲线轨迹,在无人机按照该飞行轨迹进行移动的过程中,当无人机从位置点A飞出经过位置点B(第二拍摄点)并达到位置点C(第三拍摄点)的过程中,控制该无人机的拍摄装置拍摄得到第二视频段。
在一个实施例中,所述第一拍摄点、第二拍摄点及第三拍摄点可以是所述飞行轨迹上的三个位置点,例如,如图1所示,所述第一拍摄点可以是飞行轨迹上位置点A,第二拍摄点可以是飞行轨迹上的位置点B,第三拍摄点可以是飞行轨迹上的位置点C。
在一个实施例中,该第一拍摄点可以是根据接收到的在该飞行轨迹上的选择操作所选取的第一位置点,该第二拍摄点可以是根据接收到的在该飞行轨迹上的选择操作所选取的第二位置点,该第三拍摄点是根据接收到的在该飞行轨迹上的选择操作所选取的第三位置点。
在一个实施例中,该第一拍摄点为该无人机跟踪到目标对象到达第一位置点时该无人机所在的位置点;该第二拍摄点为该无人机跟踪到该目标对象到达第二位置点时该无人机所在的位置点;该第三拍摄点为该无人机跟踪到该目标对象到达第三位置点时该无人机所在的位置点,此处的目标对象为移动的物体或处于移动状态的人或动物等。
需要说明的是,视频处理设备可以通过拍摄点的设定,规划出任意形状的轨迹,如直线、曲线、螺旋线等,然后把整个曲线进行离散化作为无人机的经过点,引导无人机的飞行。
S703、在该无人机到达所述第三拍摄点,控制该无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据该第二全景图像生成第三视频段。
本发明实施例中,为了给用户提供拍摄区域的全局视觉效果,并为用户提供更多关于拍摄区域的信息,视频处理设备可以控制无人机的拍摄装置在第三拍摄点时拍摄环境图像得到第二全景图像,并根据该第二全景图像得到第三视频段。
在一个实施例中,该视频处理设备可以控制所述无人机在第三拍摄点转动以拍摄第二全景图像,具体的,可以控制所述无人机在第三拍摄点沿顺时针方向做圆周转动,或控制所述无人机沿逆时针方向做圆周转动,以便获取得到第二全景图像。例如,如图1所示,当无人机到达位置点C时,该视频处理设备可以控制无人机在位置点C沿顺时针方向进行圆周转动,或该视频处理设备可以控制无人机在位置点C沿逆时针方向进行圆周转动,并在做圆周转动的过程中控制拍摄装置进行拍摄得到第二全景图像。
在一个实施例中,在获取到第二全景图像后,视频处理设备可以对该第二全景图像进行展开处理,根据该展开处理过程中得到的各个图像,生成第三视频段。其中,根据该第二全景图像生成第三视频段的过程可以图4为例进行说明,具体地,将获取到的第二全景图像作为图4中的球形全景图像,首先从该第二全景图像的第一视角点31(北极点)开始逐步展开,展开方式为将视角点从第一视角点31开始逐步向球形全景图像的第二视角点34(球心)移动,展开所述第二全景图像,与此同时,将投影平面跟随视角点的移动从球形全景图像的球心平面37(第一投影平面)开始向该球形全景图像的南极点所在平面38(第二投影平面)移动,从而将所述第二全景图像逐步展开,生成第三视频段。
在一个实施例中,为了实现第一视频段与第二视频段的平滑过渡,及第二视频段与第三视频段的平滑过渡,进而,实现全景视频段(第一视频段或第三视频段)与非全景视频段(第二视频段)之间平滑过渡,及实现多个全景视频段(如第一视频段与第二视频段)之间的平滑过渡,视频处理设备可以将该第一全景图像的最后一张图像作为第二视频段的第一个视频帧,该第二视频段的最后一个视频帧作为该第二全景图像的第一张图像。
S704、根据该第一视频段、该第二视频段和该第三视频段,生成目标视频。
本发明实施例中,视频处理设备可以根据该第一视频段、该第二视频段和该第三视频段,生成目标视频。
本发明实施例中,该视频处理设备可以控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据第一全景图像生成第一视频段;在无人机按照飞行轨迹从第一拍摄点向第二拍摄点运动和从第二拍摄点向第三拍摄点运动的过程中,控制无人机的拍摄装置拍摄得到第二视频段;在无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段;根据第一视频段、第二视频段和第三视频段,生成目标视频,可实现结合飞行轨迹为用户生成包括至少两个全景视频段的视频,并可实现全景视频段与非全景视频段之间平滑过渡,及实现多个全景视频段之间的平滑过渡,可以给用户提供某个区域的全局视觉效果和局部视觉效果,满足用户对视频的自动化、智能化拍摄以及处理需求。
请参见图8,图8是本发明实施例提供的另一种视频处理方法的流程示意图,所述方法可以由视频处理设备执行,其中,视频处理设备的具体解释如前所述。本发明实施例的所述方法与上述图7所述实施例的区别在于,本实施例通过获取第一位置点、第二位置点及第三位置点确定无人机的飞行轨迹,通过控制云台或无人机转动,以控制拍摄装置在该无人机或云台转动过程中拍摄环境图像,并对各个环境图像进行拼接处理得到全景图像。
S801、获取第一位置点、第二位置点及第三位置点。
本发明实施例中,上述第一位置点以、第二位置点及第三位置点可以是视频处理设备根据用户输入的三组经纬度信息确定的,还可以是根据用户输入的位置信息确定的,此处用户输入的位置信息可以是指某个建筑的名称(XX大厦)或某个地名(XX市XX号),还可以是通过接收用户的点击操作确定的,还可以是根据无人机飞行的距离设置的,也可以是根据无人机飞行的高度设置的,如将飞行高度到达第一预设高度阈值(如50m)的位置点作为第一位置点,将飞行高度到达第二预设高度阈值(如30m)的位置点作为第二位置点,飞行高度到达第三预设高度阈值(如60m)的位置点作为第三位置点,此处的第一预设高度阈值、第三预设高度阈值可以大于第二预设高度阈值,第一预设高度阈值与第三高度阈值可以相等也可以不相等,本发明对此不做限定。
具体可以图1为例进行说明,当视频处理设备接收到用户的点击操作时,可以获取到如图1所示的位置点A为第一位置点,位置点B为第二位置点及位置点C为第三位置点。其中,需要说明的是,第一位置点、第二位置点及第三位置点可以是用户点击操作的任意点,例如,如图1中所示,第一位置点、第二位置点及第三位置点可以是位置点A、位置点B及位置点C,也可以是其他任意位置上的点,本发明实施例对飞行轨迹上位置点的确定不做限定。
S802、根据该第一位置点以及第二位置点的位置信息,确定出无人机的第一飞行轨迹。
在一个实施例中,视频处理设备可以根据确定的所述第一位置点及第二位置点的位置信息,按照第一轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一直线轨迹,并将所述第一直线轨迹确定为第一飞行轨迹。此处第一轨迹生成规则可以包括轨迹生成控制算法,无人机的飞行轨迹的确定通常有多种常用算法,如贝塞尔曲线、五次B样条曲线5-order-B-spline等算法。
在一个实施例中,根据该第一位置点及第二位置点的位置信息,按照第二轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一曲线轨迹,并将该第一曲线轨迹确定为第一飞行轨迹。此处第二轨迹生成规则可以包括轨迹生成控制算法,无人机的飞行轨迹的确定通常有多种常用算法,如贝塞尔曲线、五次B样条曲线5-order-B-spline等算法。具体可以图1为例进行说明,可以将位置点A与位置点B之间的曲线轨迹作为第一飞行轨迹。
S803、根据该第二位置点以及第三位置点的位置信息,确定出无人机的第二飞行轨迹。
在一个实施例中,根据该第二位置点及第三位置点的位置信息,按照第一轨迹生成规则,生成该第二拍摄点与该第三拍摄点之间的第二直线轨迹;将该第二直线轨迹确定为第二飞行轨迹。
在一个实施例中,根据该第二位置点及该第三位置点的位置信息,按照第二轨迹生成规则,生成该第二拍摄点与该第三拍摄点之间的第二曲线轨迹,将该第二曲线轨迹确定为第二飞行轨迹。具体可以图1为例进行说明,可以将位置点B与位置点C之间的曲线轨迹作为第二飞行轨迹。
在一个实施例中,第一拍摄点、第二拍摄点是无人机在按照所述第一飞行轨迹运动的过程中的两个时间点,第二拍摄点、第三拍摄点是无人机在按照所述第二飞行轨迹运动的过程中的两个时间点。具体地,视频处理设备可以通过设置拍摄时间间隔,来确定所述拍摄时间间隔的三个时间点,并将确定的三个时间点作为第一拍摄点、第二拍摄点及第三拍摄点。例如,视频处理设备可以预先设置无人机的拍摄装置的拍摄时间间隔为5秒,第一拍摄点为时间点10:00:05,从而可以确定第二拍摄点的时间点为10:00:10,确定第三拍摄点的时间点为10:00:15。
S804、将该第一位置点作为该第一拍摄点,并将该第二位置点作为该第二拍摄点,将该第三位置点作为该第三拍摄点。
本发明实施例中,视频处理设备可以将该第一位置点作为第一拍摄点,将该第二位置点作为第二拍摄点,将该第三位置点作为第三拍摄点。其中,该第一拍摄点、第二拍摄点及第三拍摄点可以是所述飞行轨迹上的三个位置点。
S805、控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据该第一全景图像得到第一视频段。
在一个实施例中,视频处理设备可以控制所述云台转动,其中,所述无人机的拍摄装置跟随所述云台转动拍摄得到所述第一全景图像。具体地,视频处理设备可以调整所述无人机云台的俯仰角至第一俯仰角;通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第一环境图像;在控制所述运动转动一周后,调整所述云台的俯仰角至第二俯仰角;通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第二环境图像;将所述第一环境图像和所述第二环境图像进行拼接处理,得到所述第一全景图像。
在一个实施例中,获取所述第一环境图像的第一特征点集合以及所述第二环境图像的第二特征点集合,根据所述第一特征点集合和所述第二特征点集合进行特征点匹配得到第一目标特征点集合,根据所述第一目标特征点集合,确定所述第一环境图像和所述第二环境图像的第一拼接线,根据所述第一拼接线,将所述第一环境图像和第二环境图像进行拼接处理,得到所述第一全景图像。
需要说明的是,本发明实施例在对第一环境图像和第二环境图像进行拼接处理时,对无人机的拍摄装置进行了标定,使用标定值作为所述拍摄装置内参数的初始值,使用惯性测量单元imu信息作为ba算法的初始值,可以减少迭代次数,以及利用已知的各个图像的两图像之间的关系,进行有目的特征点的匹配,从而可以减少匹配误差。
在一个实施例中,该视频处理设备可以控制该无人机转动;其中,该无人机的拍摄装置跟随该无人机转动拍摄得到该第一全景图像。具体地,该视频处理设备在控制所述无人机转动的过程中,可以控制所述无人机沿顺时针方向做圆周转动,或控制所述无人机沿逆时针方向做圆周转动,该无人机的拍摄装置跟随所述无人机转动拍摄得到第一全景图像。
S806、在无人机按照飞行轨迹从该第一拍摄点向第二拍摄点运动和从该第二拍摄点向第三拍摄点运动的过程中,控制该无人机的拍摄装置拍摄得到第二视频段。
S807、在该无人机到达所述第三拍摄点,控制该无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据该第二全景图像生成第三视频段。
在一个实施例中,视频处理设备可以控制云台转动,其中,无人机的拍摄装置跟随云台转动拍摄得到第二全景图像。具体地,调整无人机云台的俯仰角至第三俯仰角;通过转动云台的偏航角,控制云台做圆周转动,并获取拍摄装置在跟随所述运动转动的过程中拍摄得到的第三环境图像;在控制运动转动一周后,调整云台的俯仰角至第四俯仰角;通过转动云台的偏航角,控制云台做圆周转动,并获取拍摄装置在跟随运动转动的过程中拍摄得到的第四环境图像;将第三环境图像和第四环境图像进行拼接处理,得到第二全景图像。
在一个实施例中,获取第三环境图像的第三特征点集合以及第四环境图像的第四特征点集合,根据第三特征点集合和第四特征点集合进行特征点匹配得到第二目标特征点集合,根据第二目标特征点集合,确定第三环境图像和第四环境图像的第二拼接线,根据第二拼接线,将第三环境图像和第四环境图像进行拼接处理,得到所述第二全景图像。
需要说明的是,本发明实施例在对第三环境图像和第四环境图像进行拼接处理时,对无人机的拍摄装置进行了标定,使用标定值作为所述拍摄装置内参数的初始值,使用惯性测量单元imu信息作为ba算法的初始值,可以减少迭代次数,以及利用已知的各个图像的两图像之间的关系,进行有目的特征点的匹配,从而可以减少匹配误差。
在一个实施例中,该视频处理设备可以控制该无人机转动;其中,该无人机的拍摄装置跟随该无人机转动拍摄得到该第二全景图像。具体地,该视频处理设备在控制所述无人机转动的过程中,可以控制所述无人机沿顺时针方向做圆周转动,或控制所述无人机沿逆时针方向做圆周转动,该无人机的拍摄装置跟随所述无人机转动拍摄得到第二全景图像。
需要说明的是,视频处理设备可以在无人机的飞行轨迹上选取多个位置点作为拍摄全景图像的拍摄点,以便拍摄得到多个包括全景图像的视频段,本发明实施例对拍摄全景图像的视频段的数量不限定。
S808、根据该第一视频段、该第二视频段和该第三视频段,生成目标视频。
在一个实施例中,在根据该第一视频段、该第二视频段和该第三视频段,生成目标视频之后,如果检测到针对目标视频的播放指令,从第一视频段开始播放目标视频;或者,从第二视频段开始播放目标视频;或者,从第三视频段开始播放目标视频。具体地,在播放所述目标视频的过程中,该视频处理设备可以将该目标视频从第一视频段开始播放,在播放过程中通过第一视频段的最后一张图像(即第一视频段的最后一个视频帧)逐步过渡到第二视频段播放,并通过第二视频段的最后一张图像(即第二视频段的最后一个视频帧)逐步过渡到第三视频段播放。或者,在播放所述目标视频的过程中,该视频处理设备可以将该目标视频从第二视频段开始播放,在播放过程中通过第二视频段的最后一个视频帧逐步过渡到第三视频段播放,并通过第三视频段的最后一张图像(即第三视频段的最后一个视频帧)逐步过渡到第一视频段播放。或者,在播放所述目标视频的过程中,该视频处理设备可以将该目标视频从第三视频段开始播放,在播放过程中通过第三视频段的最后一个视频帧逐步过渡到第二视频段播放,并通过第二视频段的最后一张图像(即第二视频段的最后一个视频帧)逐步过渡到第一视频段播放。
在一个实施例中,在根据该第一视频段、该第二视频段和该第三视频段,生成目标视频之后,如果检测到针对目标视频的分享操作指令,将目标视频进行分享。例如,该视频处理设备可以在检测到针对所述目标视频的分享至应用软件(如微信、QQ等聊天软件)的操作指令时,可以将所述目标视频进行分享至所述应用软件的指定位置(如微信好友、微信朋友圈、QQ好友等)。
本发明实施例中,该视频处理设备可以控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据第一全景图像生成第一视频段;在无人机按照飞行轨迹从第一拍摄点向第二拍摄点运动和从第二拍摄点向第三拍摄点运动的过程中,控制无人机的拍摄装置拍摄得到第二视频段;在无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段;根据第一视频段、第二视频段和第三视频段,生成目标视频,可实现结合飞行轨迹为用户生成包括至少两个全景视频段的视频,并可实现全景视频段与非全景视频段之间平滑过渡,及实现多个全景视频段之间的平滑过渡,可以给用户提供某个区域的全局视觉效果和局部视觉效果,满足用户对视频的自动化、智能化拍摄以及处理需求。
请参见图9,图9是本发明实施例提供的一种视频处理设备的结构示意图。具体的,所述视频处理设备包括:处理器901、存储器902、用户接口903以及数据接口904,其中,所述用户接口903用户输出目标视频。
所述存储器902可以包括易失性存储器(volatile memory);存储器902也可以包括非易失性存储器(non-volatile memory);存储器902还可以包括上述种类的存储器的组合。所述处理器901可以是中央处理器(central processing unit,CPU)。所述处理器901还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA)或其任意组合。
可选地,所述存储器902用于存储程序指令。所述处理器901可以调用存储器902中存储的程序指令,用于执行如下步骤:
控制所述无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据所述第一全景图像得到第一视频段;
在无人机按照飞行轨迹从所述第一拍摄点向第二拍摄点运动和从所述第二拍摄点向第三拍摄点运动的过程中,控制所述无人机的拍摄装置拍摄得到第二视频段;
在所述无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段;
根据所述第一视频段、所述第二视频段和所述第三视频段,生成目标视频。
可选的,所述第一拍摄点、所述第二拍摄点和所述第三拍摄点是所述飞行轨迹上的三个位置点。
可选的,所述第一拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第一位置点;所述第二拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第二位置点;所述第三拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第三位置点。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
获取第一位置点、第二位置点和第三位置点;
根据所述第一位置点以及所述第二位置点的位置信息,确定出所述无人机的第一飞行轨迹;
根据所述第二位置点以及所述第三位置点的位置信息,确定出所述无人机的第二飞行轨迹;
将所述第一位置点作为所述第一拍摄点,将所述第二位置点作为所述第二拍摄点,将所述第三位置点作为所述第三拍摄点。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
根据所述第一位置点及所述第二位置点的位置信息,按照第一轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一直线轨迹;
将所述第一直线轨迹确定为所述第一飞行轨迹。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
根据所述第二位置点及所述第三位置点的位置信息,按照第一轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二直线轨迹;
将所述第二直线轨迹确定为第二飞行轨迹。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
根据所述第一位置点及所述第二位置点的位置信息,按照第二轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一曲线轨迹;
将所述第一曲线轨迹确定为所述第一飞行轨迹。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
根据所述第二位置点及所述第三位置点的位置信息,按照第二轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二曲线轨迹;
将所述第二曲线轨迹确定为第二飞行轨迹。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
将所述第一全景图像的最后一张图像作为第二视频段的第一个视频帧,所述第二视频段的最后一个视频帧作为所述第二全景图像的第一张图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
控制无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第一全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
控制所述无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第二全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
调整所述无人机云台的俯仰角至第一俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第一环境图像;
在控制所述运动转动一周后,调整所述云台的俯仰角至第二俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第二环境图像;
将所述第一环境图像和所述第二环境图像进行拼接处理,得到所述第一全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
调整所述无人机云台的俯仰角至第三俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第三环境图像;
在控制所述运动转动一周后,调整所述云台的俯仰角至第四俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第四环境图像;
将所述第三环境图像和所述第四环境图像进行拼接处理,得到所述第二全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
获取所述第一环境图像的第一特征点集合以及所述第二环境图像的第二特征点集合;
根据所述第一特征点集合和所述第二特征点集合进行特征点匹配得到第一目标特征点集合;
根据所述第一目标特征点集合,确定所述第一环境图像和所述第二环境图像的第一拼接线;
根据所述第一拼接线,将所述第一环境图像和第二环境图像进行拼接处理,得到所述第一全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
获取所述第三环境图像的第三特征点集合以及所述第四环境图像的第四特征点集合;
根据所述第三特征点集合和所述第四特征点集合进行特征点匹配得到第二目标特征点集合;
根据所述第二目标特征点集合,确定所述第三环境图像和所述第四环境图像的第二拼接线;
根据所述第二拼接线,将所述第三环境图像和第四环境图像进行拼接处理,得到所述第二全景图像。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
如果检测到针对所述目标视频的播放指令,从所述第一视频段开始播放所述目标视频;或者,
从所述第二视频段开始播放所述目标视频;或者,
从所述第三视频段开始播放所述目标视频。
进一步地,所述处理器901调用存储器902中存储的程序指令还用于执行如下步骤:
如果检测到针对所述目标视频的分享操作指令,将所述目标视频进行分享。
本发明实施例中,该视频处理设备可以控制无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据第一全景图像生成第一视频段;在无人机按照飞行轨迹从第一拍摄点向第二拍摄点运动和从第二拍摄点向第三拍摄点运动的过程中,控制无人机的拍摄装置拍摄得到第二视频段;在无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段;根据第一视频段、第二视频段和第三视频段,生成目标视频,可实现结合飞行轨迹为用户生成包括至少两个全景视频段的视频,并可实现全景视频段与非全景视频段之间平滑过渡,及实现多个全景视频段之间的平滑过渡,可以给用户提供某个区域的全局视觉效果和局部视觉效果,满足用户对视频的自动化、智能化拍摄以及处理需求。
本发明实施例还提供了一种无人机,包括:机身;设置在机身上的动力***,用于提供飞行动力;处理器,用于控制所述无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据所述第一全景图像得到第一视频段;在无人机按照飞行轨迹从所述第一拍摄点向第二拍摄点运动和从所述第二拍摄点向第三拍摄点运动的过程中,控制所述无人机的拍摄装置拍摄得到第二视频段,在所述无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段,根据所述第一视频段、所述第二视频段和所述第三视频段,生成目标视频。
可选的,所述第一拍摄点、所述第二拍摄点和所述第三拍摄点是所述飞行轨迹上的三个位置点。
可选的,所述第一拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第一位置点;所述第二拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第二位置点;所述第三拍摄点是根据接收到的在所述飞行轨迹上的选择操作所选取的第三位置点。
进一步,所述处理器还用于执行如下步骤:
获取第一位置点、第二位置点和第三位置点;
根据所述第一位置点以及所述第二位置点的位置信息,确定出所述无人机的第一飞行轨迹;
根据所述第二位置点以及所述第三位置点的位置信息,确定出所述无人机的第二飞行轨迹;
将所述第一位置点作为所述第一拍摄点,将所述第二位置点作为所述第二拍摄点,将所述第三位置点作为所述第三拍摄点。
进一步,所述处理器还用于执行如下步骤:
获取第一位置点、第二位置点和第三位置点;
根据所述第一位置点以及所述第二位置点的位置信息,确定出所述无人机的第一飞行轨迹;
根据所述第二位置点以及所述第三位置点的位置信息,确定出所述无人机的第二飞行轨迹;
将所述第一位置点作为所述第一拍摄点,将所述第二位置点作为所述第二拍摄点,将所述第三位置点作为所述第三拍摄点。
进一步,所述处理器还用于执行如下步骤:
根据所述第一位置点及所述第二位置点的位置信息,按照第一轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一直线轨迹;
将所述第一直线轨迹确定为所述第一飞行轨迹;
根据所述第二位置点及所述第三位置点的位置信息,按照第一轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二直线轨迹;
将所述第二直线轨迹确定为第二飞行轨迹。
进一步,所述处理器还用于执行如下步骤:
根据所述第一位置点及所述第二位置点的位置信息,按照第二轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一曲线轨迹;
将所述第一曲线轨迹确定为所述第一飞行轨迹;
根据所述第二位置点及所述第三位置点的位置信息,按照第二轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二曲线轨迹;
将所述第二曲线轨迹确定为第二飞行轨迹。
进一步,所述处理器还用于执行如下步骤:
将所述第一全景图像的最后一张图像作为第二视频段的第一个视频帧,所述第二视频段的最后一个视频帧作为所述第二全景图像的第一张图像。
进一步,所述处理器还用于执行如下步骤:
控制无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第一全景图像。
进一步,所述处理器还用于执行如下步骤:
控制所述无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第二全景图像。
进一步,所述处理器还用于执行如下步骤:
调整所述无人机云台的俯仰角至第一俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第一环境图像;
在控制所述运动转动一周后,调整所述云台的俯仰角至第二俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第二环境图像;
将所述第一环境图像和所述第二环境图像进行拼接处理,得到所述第一全景图像。
进一步,所述处理器还用于执行如下步骤:
调整所述无人机云台的俯仰角至第三俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第三环境图像;
在控制所述运动转动一周后,调整所述云台的俯仰角至第四俯仰角;
通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第四环境图像;
将所述第三环境图像和所述第四环境图像进行拼接处理,得到所述第二全景图像。
进一步,所述处理器还用于执行如下步骤:
获取所述第一环境图像的第一特征点集合以及所述第二环境图像的第二特征点集合;
根据所述第一特征点集合和所述第二特征点集合进行特征点匹配得到第一目标特征点集合;
根据所述第一目标特征点集合,确定所述第一环境图像和所述第二环境图像的第一拼接线;
根据所述第一拼接线,将所述第一环境图像和第二环境图像进行拼接处理,得到所述第一全景图像。
进一步,所述处理器还用于执行如下步骤:
获取所述第三环境图像的第三特征点集合以及所述第四环境图像的第四特征点集合;
根据所述第三特征点集合和所述第四特征点集合进行特征点匹配得到第二目标特征点集合;
根据所述第二目标特征点集合,确定所述第三环境图像和所述第四环境图像的第二拼接线;
根据所述第二拼接线,将所述第三环境图像和第四环境图像进行拼接处理,得到所述第二全景图像。
进一步,所述处理器还用于执行如下步骤:
如果检测到针对所述目标视频的播放指令,从所述第一视频段开始播放所述目标视频;或者,
从所述第二视频段开始播放所述目标视频;或者,
从所述第三视频段开始播放所述目标视频。
进一步,所述处理器还用于执行如下步骤:
如果检测到针对所述目标视频的分享操作指令,将所述目标视频进行分享。
所述无人机中处理器的具体实现可参考上述图7或图8所对应实施例的视频处理方法,在此不再赘述。其中,无人机可以是四旋翼无人机、六旋翼无人机、多旋翼无人机等类型的飞行器。所述动力***可以包括电机、电调、螺旋桨等结构,其中,电机负责带动飞行器螺旋桨,电调负责控制飞行器的电机的转速。
本发明实施例还提供了一种视频处理***,包括:视频处理设备和无人机;
所述视频处理设备,用于发送飞行控制指令给飞行器,所述飞行控制指令用于指示无人机按照确定的飞行轨迹进行飞行;
所述无人机,用于响应所述飞行控制指令,控制无人机按照所述飞行轨迹进行飞行并控制所述无人机上挂载的拍摄装置进行拍摄;
所述视频处理设备,还用于控制所述无人机的拍摄装置在第一拍摄点时拍摄环境图像得到第一全景图像,并根据所述第一全景图像得到第一视频段;在无人机按照飞行轨迹从所述第一拍摄点向第二拍摄点运动和从所述第二拍摄点向第三拍摄点运动的过程中,控制所述无人机的拍摄装置拍摄得到第二视频段,在所述无人机到达所述第三拍摄点,控制所述无人机的拍摄装置拍摄环境图像得到第二全景图像,并根据所述第二全景图像生成第三视频段,根据所述第一视频段、所述第二视频段和所述第三视频段,生成目标视频。
进一步,所述视频处理设备,用于获取第一位置点、第二位置点和第三位置点;根据所述第一位置点以及所述第二位置点的位置信息,确定出所述无人机的第一飞行轨迹;根据所述第二位置点以及所述第三位置点的位置信息,确定出所述无人机的第二飞行轨迹;将所述第一位置点作为所述第一拍摄点,将所述第二位置点作为所述第二拍摄点,将所述第三位置点作为所述第三拍摄点。
进一步,所述视频处理设备,用于根据所述第一位置点及所述第二位置点的位置信息,按照第一轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一直线轨迹,将所述第一直线轨迹确定为所述第一飞行轨迹,根据所述第二位置点及所述第三位置点的位置信息,按照第一轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二直线轨迹,将所述第二直线轨迹确定为第二飞行轨迹。
进一步,所述视频处理设备,还用于根据所述第一位置点及所述第二位置点的位置信息,按照第二轨迹生成规则,生成所述第一拍摄点与所述第二拍摄点之间的第一曲线轨迹,将所述第一曲线轨迹确定为所述第一飞行轨迹,根据所述第二位置点及所述第三位置点的位置信息,按照第二轨迹生成规则,生成所述第二拍摄点与所述第三拍摄点之间的第二曲线轨迹,将所述第二曲线轨迹确定为第二飞行轨迹。
进一步,所述视频处理设备,用于将所述第一全景图像的最后一张图像作为第二视频段的第一个视频帧,所述第二视频段的最后一个视频帧作为所述第二全景图像的第一张图像。
进一步,所述视频处理设备,用于控制无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第一全景图像。
进一步,所述视频处理设备,用于控制所述无人机转动或者承载所述拍摄装置的云台转动,其中,所述无人机的拍摄装置跟随所述无人机转动或者云台转动拍摄环境图像得到所述第二全景图像。
进一步,所述视频处理设备,用于调整所述无人机云台的俯仰角至第一俯仰角;通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第一环境图像;在控制所述运动转动一周后,调整所述云台的俯仰角至第二俯仰角,通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第二环境图像,将所述第一环境图像和所述第二环境图像进行拼接处理,得到所述第一全景图像。
进一步,所述视频处理设备,用于调整所述无人机云台的俯仰角至第三俯仰角;通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第三环境图像;在控制所述运动转动一周后,调整所述云台的俯仰角至第四俯仰角;通过转动所述云台的偏航角,控制所述云台做圆周转动,并获取所述拍摄装置在跟随所述运动转动的过程中拍摄得到的第四环境图像;将所述第三环境图像和所述第四环境图像进行拼接处理,得到所述第二全景图像。
进一步,所述视频处理设备,用于获取所述第一环境图像的第一特征点集合以及所述第二环境图像的第二特征点集合,根据所述第一特征点集合和所述第二特征点集合进行特征点匹配得到第一目标特征点集合,根据所述第一目标特征点集合,确定所述第一环境图像和所述第二环境图像的第一拼接线,根据所述第一拼接线,将所述第一环境图像和第二环境图像进行拼接处理,得到所述第一全景图像。
进一步,所述视频处理设备,用于获取所述第三环境图像的第三特征点集合以及所述第四环境图像的第四特征点集合,根据所述第三特征点集合和所述第四特征点集合进行特征点匹配得到第二目标特征点集合,根据所述第二目标特征点集合,确定所述第一环境图像和所述第二环境图像的第二拼接线,根据所述第二拼接线,将所述第一环境图像和第二环境图像进行拼接处理,得到所述第二全景图像。
进一步,所述视频处理设备,还用于如果检测到针对所述目标视频的播放指令,从所述第一视频段开始播放所述目标视频;或者,从所述第二视频段开始播放所述目标视频;或者,从所述第三视频段开始播放所述目标视频。
进一步,所述视频处理设备,还用于如果检测到针对所述目标视频的分享操作指令,将所述目标视频进行分享。
在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图7或图8所对应实施例中描述的视频处理方法方式,也可实现图9所述本发明所对应实施例的视频处理设备,在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元,例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备,例如所述设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。