CN110720209B - 一种图像处理方法及设备 - Google Patents

一种图像处理方法及设备 Download PDF

Info

Publication number
CN110720209B
CN110720209B CN201880037065.XA CN201880037065A CN110720209B CN 110720209 B CN110720209 B CN 110720209B CN 201880037065 A CN201880037065 A CN 201880037065A CN 110720209 B CN110720209 B CN 110720209B
Authority
CN
China
Prior art keywords
shooting
aerial vehicle
unmanned aerial
image data
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201880037065.XA
Other languages
English (en)
Other versions
CN110720209A (zh
Inventor
李阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110720209A publication Critical patent/CN110720209A/zh
Application granted granted Critical
Publication of CN110720209B publication Critical patent/CN110720209B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G05D1/0816—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft to ensure stability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供了一种图像处理方法及设备，其中，该图像处理方法可以应用于包含拍摄装置的无人机***中，获取拍摄对象与无人机之间的位置关系；并基于控制规则，控制无人机飞行，所述控制规则用于保持与拍摄对象之间的该位置关系；并通过拍摄装置对拍摄对象进行拍摄，获得多个图像数据；该多个图像数据用于以预设帧率生成定格动画。本发明实施例，与现有手持设备拍摄定格动画相比，能够获取到画面更加稳定的定格动画。

Description

一种图像处理方法及设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及设备。
背景技术
定格动画是通过逐格地拍摄对象，然后将拍摄的图像连续放映，从而产生动画效果。目前，定格动画是通过手持设备进行拍摄的，拍摄视角受拍摄者位置的限制，导致画面不够自由。
另外，在实践中发现，由于定格动画的拍摄需要保持拍摄目标与相机之间的相对位置关系稳定，故手持设备拍摄定格动画会导致拍摄过程繁琐，且拍摄画面稳定性较差。
而目前，随着飞行技术的发展，无人机或无人机等成为了当前比较热门的研究话题，因此，如何基于无人机进行定格动画的拍摄是一个亟待解决的问题。
发明内容
本发明实施例提供了一种图像处理方法及设备，可获得画面更加稳定的定格动画。
第一方面，本发明实施例提供了一种图像处理方法，应用于包含拍摄装置的无人机***中，所述方法包括：
获取拍摄对象与无人机之间的位置关系；
基于控制规则，控制所述无人机飞行，所述控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系；
并通过拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，所述多个图像数据用于以预设帧率生成定格动画。
第二方面，本发明实施例提供了一种图像处理设备，应用于包含拍摄装置的无人机***中，所述图像处理设备包括存储器、控制器以及拍摄装置；
所述存储器，用于存储程序指令；
所述控制器，用于执行所述存储器存储的程序指令，当所述程序指令被执行时，所述控制器用于执行如下步骤：
获取拍摄对象与无人机之间的位置关系；
基于控制规则，控制所述无人机飞行，所述控制规则用于保持与所述拍摄对象之间的所述位置关系；
通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，所述多个图像数据用于以预设帧率生成定格动画。
第三方面，本发明实施例提供了一种无人机，包括所述无人机的机身和拍摄装置；
所述拍摄装置搭载在所述无人机的机身上，或者，设置在云台上，通过所述云台搭载在所述无人机的机身上；
所述无人机还包括控制器和存储器，所述控制器用于调用所述存储器中存储的代码执行如第一方面所述的图像处理方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被控制器执行时使所述控制器执行如第一方面所述的图像处理方法。
第五方面，本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机实现如第一方面所述的图像处理方法。
本发明实施例可以基于控制规则，控制所述无人机飞行，以保持与所述拍摄对象之间的所述位置关系，并通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，以生成定格动画，从而使得拍摄对象在画面中更加稳定，并丰富了定格动画的拍摄视角。
附图说明
图1是本发明实施例提供的一种无人机***的结构示意图；
图2是本发明实施例提供的另一种无人机***的结构示意图；
图3是本发明实施例提供的一种图像处理方法的流程示意图；
图4是本发明实施例提供的一种图像处理设备的结构示意图；
图5是本发明实施例提供的一种无人机的结构示意图。
具体实施方式
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解，本文中使用的术语“和/或”是指包含一个或者多个相关联的列出项目的任何或所有可能组合。
本发明实施例提供的图像处理方法应用于包含拍摄装置的无人机***中，该无人机***可以包括无人机、控制设备、显示设备以及拍摄装置，其中，控制设备和显示设备可以集成为一个设备，也可以分别为不同的设备。拍摄装置可以直接搭载在无人机的机身或主体上，也可以通过云台搭载在无人机上。
本发明实施例中，所述控制设备可以为无人机的控制终端，具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的一种或多种。其中，显示设备用于显示无人机拍摄的画面或视频，以及显示生成的定格动画。控制设备和显示设备可以位于同一个壳体内，即集成为同一个设备，也可以为物理上分离的设备，即属于不同的设备。
本发明实施例中，无人机可以是旋翼型无人机，例如四旋翼无人机、六旋翼无人机、八旋翼无人机，也可以是固定翼无人机。无人机包括动力***，动力***用于为无人机提供飞行动力，其中，动力***包括螺旋桨、电机、电调中的一种或多种。可以理解的是，所述无人机也可以无人车或无人船。
本发明实施例中，拍摄装置可以直接搭载在无人机的机身或主体上，也可以通过云台搭载于无人机的机身或主体上。拍摄装置，用于在无人机的飞行过程中进行图像数据的拍摄，该拍摄装置包括但不限于多光谱成像仪、高光谱成像仪、可见光相机及红外相机等；云台为多轴传动及增稳***，云台电机通过调整转动轴的转动角度来对拍摄装置的拍摄角度进行补偿，并通过设置适当的缓冲机构来防止或减小拍摄装置的抖动。
其中，该图像数据包括图片或视频等。
请参阅图1，图1是本发明实施例提供的一种无人机***的结构示意图，无人机12可以执行本发明实施例所述的图像处理方法，无人机12设置有拍摄装置121，该拍摄装置121设置在云台122上，通过该云台122搭载于无人机12的主体上，无人机12的动力***以螺旋桨123为例，控制设备11可以操作无人机12的飞行。
再如图2所示，图2是本发明实施例提供的另一种无人机***的结构示意图，图2中，无人机22也可以执行本发明实施例所述的图像处理方法。无人机22也设置有拍摄装置221，其中，该无人机22设置的拍摄装置221直接搭载在无人机22的主体上。其中，无人机22的动力***以螺旋桨222为例。
其中，图1和图2所示的无人机***中，控制设备11以集成有显示设备为例，能够显示所拍摄的多张图片或多个视频，还能够显示以预设帧率生成的定格动画。
其中，图1和图2所示的无人机***的不同之处在于，图1所示的拍摄装置设置在云台上，通过云台搭载在无人机的机身上，故基于控制规则控制无人机飞行，以保持无人机与拍摄对象的位置关系时，还可以通过调整云台的姿态来实现。而图2所示的拍摄装置直接搭载在无人机的机身上，故在保持无人机与拍摄对象的位置关系时，除了控制无人机的飞行姿势外，还可以通过调整拍摄参数的焦距或者无人机的姿态来保持无人机与拍摄对象的位置关系。
本发明实施例中，图1中的无人机12或图2中的无人机22可以获取拍摄对象与无人机之间的位置关系，并基于控制规则，控制无人机飞行，以保持与拍摄对象之间的位置关系，并通过拍摄装置对拍摄对象进行拍摄，获得多个图像数据，从而，可以基于该多个图像数据以预设帧率生成定格动画。
其中，无人机可以将该多个图像数据发送给控制设备，比如由图1中的控制设备11或图2中的控制设备21，基于该多个图像数据以预设帧率生成定格动画。其中，图1中的控制设备11或图2中的控制设备21可以配置有图像处理装置和/或显示装置。
本发明实施例中，控制规则可以为用户通过控制设备，如遥控设备等，设置的控制规则；还可以为无人机基于传感器对周围环境的探测而输出的控制规则，本发明实施例不做限定。基于该控制规则，控制无人机飞行，以保持无人机与拍摄对象之间位置关系，从而使得拍摄对象在拍摄画面中更加稳定。
比如，在一种示例中，无人机具有视觉传感器，能够对周围环境进行深度观察，获取深度信息，从而判断拍摄对象与无人机之间的位置关系，故当拍摄对象的位置发生变化时，无人机可以对其与拍摄对象之间的位置关系进行补偿，比如，从高度和/或水平距离上做出相应的补偿，从而保持与拍摄对象之间的位置关系，使得拍摄画面中的拍摄对象的位置保持相对稳定，使得定格动画的拍摄效果更加稳定、流畅。
在另一种示例中，还可以通过其他方式来保持拍摄对象与无人机之间的位置关系，例如，由控制设备通过调整无人机的飞行姿态来保持拍摄对象与无人机之间的位置关系，或者调整云台的姿态来保持拍摄对象与无人机之间的位置关系。
在又一种示例中，还可以通过调整拍摄参数保持拍摄装置所拍摄的对象在画面中的位置保持稳定。比如，通过调焦来保持拍摄对象在画面中的尺寸大小和位置相同。
可以理解的是，在其他方式中，无人机也可以通过视觉技术来保持拍摄对象在画面中的尺寸大小和位置相同的方案从而来保持拍摄对象与无人机之间的位置关系，而不需要人工操作控制设备来保持拍摄对象与无人机之间的位置关系。
因此，本发明实施例采用无人机***来拍摄定格动画，与现有技术中采用手持设备拍摄定格动画的方式相比，能够保证拍摄对象在拍摄画面中的稳定性；同时，本发明实施例与手持设备的拍摄视角受拍摄者位置限制相比，还可以采用各种拍摄视角，丰富了拍摄视角，如俯视的视角来拍摄定格动画所需的图片或视频。
本发明实施例中，图像处理方法可以在多种模式的组合下执行。比如，智能模式、非智能模式、运动模式、固定模式、手动拍摄模式以及自动拍摄模式等。
其中，智能模式是指无人机或无人机上的云台可以对拍摄对象进行跟随。也就是说，拍摄对象的位置发生变化时，无人机会自动控制无人机或无人机的姿态也发生变化，以便于保持与拍摄对象之间的位置关系不变。例如，拍摄对象移动到拍摄画面的左边时，无人机自身控制无人机或无人机控制云台的姿态变化，使得拍摄对象还位于拍摄画面的中间。非智能模式是指无人机或无人机上的云台不会对拍摄对象进行跟随，若要保持无人机与拍摄对象之间的位置关系，用户需要手动操作控制设备来遥控无人机或云台的姿态。例如，拍摄对象移动到拍摄画面的左边时，用户需要操作控制设备上的操作杆等交互装置调整无人机或云台的姿态，使得拍摄对象还位于拍摄画面的中间。
其中，运动模式是指在无人机处于飞行过程中，无人机通过拍摄装置拍摄定格动画所需的图片或视频，这样，需要控制无人机保持与拍摄对象之间的位置关系时，可以以拍摄对象的运动轨迹来确定飞行轨迹。固定模式是指无人机处于悬停状态时，无人机或控制设备通过拍摄装置拍摄定格动画所需的图片或视频，这样，可以通过调整拍摄参数或云台姿态的方式来控制无人机保持与拍摄对象之间的位置关系。
其中，手动拍摄模式是指以拍摄参数对拍摄对象进行拍摄时，需要用户手动拍摄；而自动拍摄模式下，无人机可以通过拍摄装置以预设时间间隔进行自动拍摄。在实际实现中，用户可以通过控制设备向无人机发送自动拍摄指令，以使无人机通过拍摄装置在自动拍摄模式以预设时间间隔进行拍摄多张图片或多个短视频。
本发明实施例中，图像处理方法可以在多种模式的组合下执行。比如，智能模式可以分别与运动模式或固定模式相结合，以智能运动模式或智能固定模式执行本发明实施例所述的图像处理方法。相应的，非智能模式可以分别与运动模式或固定模式相结合，以非智能运动模式或非智能固定模式执行本发明实施例所述的图像处理方法。再比如，手动拍摄模式可以分别与运动模式或固定模式相结合，以手动拍摄的运动模式或手动拍摄的固定模式执行本发明实施例所述的图像处理方法。相应的，自动拍摄模式可以分别与运动模式或固定模式相结合，以自动拍摄的运动模式或自动拍摄的固定模式执行本发明实施例所述的图像处理方法。
以下基于上述所示的无人机***，对本发明实施例提供的图像处理方法进行进一步的阐述。请参阅图3，图3为本发明实施例提供的一种图像处理方法的流程示意图，其中，图3所示的图像处理方法可以应用在无人机中，该图像处理方法可以包括以下步骤：
101、获取拍摄对象与无人机之间的位置关系；
本发明实施例中，获取拍摄对象与无人机之间的位置关系，包括：获取用户选择的拍摄画面，并基于视觉传感器获取所述拍摄对象相对于拍摄装置或无人机的深度信息；基于所述深度信息，获取无人机与所述拍摄画面中的拍摄对象之间的位置关系。其中，用户选择的拍摄画面，可以具体为用户通过控制设备控制拍摄装置拍摄的第一张图片时的拍摄画面。
102、基于控制规则，控制所述无人机飞行，所述控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系；
在一种可选的实施方式中，该控制规则具体用于在所述无人机处于飞行过程中，控制所述无人机保持与所述拍摄对象之间的所述位置关系。这样，在拍摄对象移动时，可调整无人机的飞行轨迹或飞行姿态，保持与拍摄对象之间的位置关系。
在另一种可选的实施方式中，该控制规则具体用于在所述无人机处于悬停状态时，控制所述无人机保持与所述拍摄对象之间的所述位置关系。这样，在拍摄对象移动时，可以控制拍摄装置的姿态、拍摄参数以及搭载该拍摄装置的云台的姿态中的至少一种，以使无人机保持与拍摄对像之间的位置关系。
在又一种可选的实施方式中，基于控制规则，控制无人机飞行，包括：接收跟随模式指令；当所述跟随模式指令为跟随模式时，调整所述无人机的姿态、所述拍摄装置的姿态以及所述拍摄装置所在云台的姿态中的至少一种，以对所述拍摄对象进行跟随。其中，跟随模式也可以称为上文所述的智能跟随模式。
在又一种可选的实施方式中，基于控制规则，控制无人机飞行，包括：接收跟随模式指令；当所述跟随模式指令为非跟随模式时，无人机需要接收用户通过控制设备输入的操作指令，对无人机的飞行姿态或云台的姿态进行调整，以对拍摄对象进行跟随。其中，非跟随模式也可以称为上文所述的非智能跟随模式。
其中，上述四种实施方式中，可以相互组合，在所述无人机处于飞行过程中，以跟随模式或非跟随模式保持无人机与拍摄对象之间的位置关系；也可以在无人机处于悬停状态，以跟随模式或非跟随模式保持无人机与拍摄对象之间的位置关系。本发明实施例不做限定。
103、通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频；
在一种可选的实施方式中，通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，包括：接收用户输入的拍摄指令；响应所述拍摄指令，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。其中，每张图片对应一个拍摄指令。
在另一种可选的实施方式中，对所述拍摄对象进行拍摄，获得多张图片，包括：以预设时间间隔，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片。其中，无人机或拍摄装置可以在接收到自动拍摄指令时，以预设时间间隔进行自动拍摄。其中，该图像处理方法还可以包括：获取拍摄装置设定的拍摄参数。相应的，103中，可以通过拍摄装置以该拍摄参数对所述拍摄对象进行拍摄，获得多张图片或多个视频。其中，该设定的拍摄参数可以为：手动拍摄模式下，用户每次输入拍摄指令时设定的拍摄参数；或者，自动拍摄模式下，用户预先设定的拍摄参数；或者，根据用户选定的拍摄画面确定的拍摄参数。在一种实施方式中，该拍摄参数和位置关系可以对应存储到数据库中。
相应的，101中，获取拍摄对象与无人机之间的位置关系，包括：从数据库中获取拍摄对象与无人机之间的位置关系和拍摄参数。该实施方式，可以实现多次飞行的拍摄衔接。例如，用户在场景A，根据所述位置关系和拍摄参数对拍摄对象拍摄获得多张图片后，可以在场景B，再根据所述位置关系和拍摄参数对拍摄对象拍摄获得多张图片等。通过在多种场景下，进行无人机的飞行拍摄，并以相同的位置关系或预设幅度的拍摄参数拍摄的多张图片或多个视频，使得生成的定格动画的画面表现力更加丰富。
在又一种可选的实施方式中，以用户输入的拍摄指令或预设时间间隔进行拍摄时，拍摄参数可以以预设幅度进行调整；基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多张图片或多个视频。其中，该拍摄参数可以为滤镜、色彩风格、特效、焦距、快门、光圈和感光度值ISO中的至少一个参数。这样，拍摄出的多张图片或多个视频可以有一定的变化规律，使得最终生成的定格动画更加精彩。
本发明实施例中，该多张图片或多个视频用于以预设帧率生成定格动画。其中，该预设帧率可以由用户通过控制设备或显示设备来设定，也可以采用其他的控件或指令等方式发送给控制设备或无人机，由控制设备或无人机将该多张图片或多个视频以预设帧率生成定格动画，其中，控制设备可以接收无人机所拍摄的多张图片或多个视频。
可见，本发明实施例可以控制所述无人机保持与所述拍摄对象之间的所述位置关系，通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，从而使得拍摄对象在画面中更加稳定，并丰富了定格动画的拍摄视角。
请参阅图4，图4是本发明实施例提供的一种图像处理设备的结构示意图，其中，该图像处理设备可以设置在无人机中。如图4所示，该图像处理设备可以包括：
获取模块301，用于获取拍摄对象与无人机之间的位置关系；
控制模块302，用于基于控制规则，控制所述无人机飞行，所述控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，该图像处理设备还可以包括生成模块，用于基于所述多张图片或多个视频以预设帧率生成定格动画。在另一种可选的实施方式中，该图像处理设备还可以包括通信模块，该通信模块用于将该多张图片或多个视频发送给控制设备，由控制设备以预设帧率生成定格动画。
在一种可选的实施方式中，获取模块301获取拍摄对象与无人机之间的位置关系，具体为：
获取用户选择的拍摄画面，并基于视觉传感器获取所述拍摄画面中拍摄对象相对于所述拍摄装置或所述无人机的深度信息；
基于所述拍摄画面和所述深度信息，获取无人机与所述拍摄对象之间的位置关系。
在一种可选的实施方式中，所述控制规则具体用于在所述无人机处于飞行过程中，控制所述无人机保持与所述拍摄对象之间的所述位置关系；
或者，在所述无人机处于悬停状态时，控制所述无人机保持与所述拍摄对象之间的所述位置关系。
在一种可选的实施方式中，控制模块302通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
接收用户输入的拍摄指令；
响应所述拍摄指令，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，控制模块302通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
以预设时间间隔，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，控制模块302基于控制规则，控制所述无人机飞行，具体为：
接收跟随模式指令；
当所述跟随模式指令为跟随模式时，调整所述无人机的姿态、所述拍摄装置的姿态以及所述拍摄装置所在云台的姿态中的至少一种，以对所述拍摄对象进行跟随。
在一种可选的实施方式中，获取模块301获取拍摄对象与无人机之间的位置关系，具体为：
从数据库中获取拍摄对象与无人机之间的位置关系和拍摄参数，所述数据库中预先存储有拍摄定格动画所需的所述位置关系和所述拍摄参数。
相应的，控制模块302对所述拍摄对象进行拍摄，获得多张图片或多个视频，包括：
根据所述拍摄参数对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，控制模块302通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，包括：
以预设幅度调整所述拍摄参数；
基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多张图片或多个视频。
请参阅图5，图5是本发明实施例提供的一种无人机的结构示意图。其中，图5所示的无人机也可以包括图4所示的各模块，执行图4所示的各模块的操作。如图5所示，该无人机可以包括至少一个控制器401，例如CPU；至少一个存储器402，通信装置403。另外，该无人机还包括至少一个拍摄装置404，该拍摄装置404可以直接搭载在无人机的机身或主体上，也可以设置在云台上，并通过云台搭载在无人机上。上述控制器401、存储器402、通信装置403、拍摄装置404通过总线405连接。
所述存储器402，用于存储程序指令；
所述控制器401，用于执行所述存储器402存储的程序指令，当程序指令被执行时，所述控制器401用于执行如下步骤：
通过获取拍摄对象与无人机之间的位置关系；
控制所述无人机保持与所述拍摄对象之间的所述位置关系，通过所述拍摄装置404对所述拍摄对象进行拍摄，获得多张图片或多个视频。
其中，该多张图片或多个视频用于以预设帧率生成定格动画。在一种可选的实施方式中，控制器401可以基于该多张图片或多个视频以预设帧率生成定格动画。在另一种可选的实施方式中，控制器401可以通过通信装置403将该多张图片或多个视频发送给显示设备或集成了显示设备的遥控设备，由该显示设备或该遥控设备根据该多张图片或多个视频以预设帧率生成定格动画。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，获取拍摄对象与无人机之间的位置关系，具体为：
获取用户选择的拍摄画面，并基于视觉传感器获取所述拍摄画面所在拍摄场景的深度信息；
基于所述拍摄画面和所述深度信息，获取无人机与所述拍摄画面中的拍摄对象之间的位置关系。
在一种可选的实施方式中，所述控制规则具体用于：
在所述无人机处于飞行过程中，控制所述无人机保持与所述拍摄对象之间的所述位置关系；
或者，在所述无人机处于悬停状态时，控制所述无人机保持与所述拍摄对象之间的所述位置关系。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，通过所述拍摄装置根据所述拍摄参数对所述拍摄对象进行拍摄，获得多张图片，具体为：
接收用户输入的拍摄指令；
响应所述拍摄指令，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
以预设时间间隔，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，基于控制规则，控制所述无人机飞行，具体为：
接收跟随模式指令；
当所述跟随模式指令为跟随模式时，调整所述无人机的姿态、所述拍摄装置的姿态以及所述拍摄装置所在云台的姿态中的至少一种，以对所述拍摄对象进行跟随。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，获取拍摄对象与无人机之间的位置关系，具体为：
从数据库中获取拍摄对象与无人机之间的位置关系和拍摄参数，所述数据库中预先存储有拍摄定格动画所需的所述位置关系和所述拍摄参数。
相应的，控制器调用存储器402中存储的程序指令，对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：根据所述拍摄参数对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，所述控制器401调用存储器402中存储的程序指令，对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
以预设幅度调整所述拍摄参数；
基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多张图片或多个视频。
本发明实施例的所述控制器401的具体实现可参考上述各个实施例中相关内容的描述，在此不赘述。
本发明实施例还提供一种无人机***，该无人机***包括控制设备、拍摄装置和无人机，其中，拍摄装置可以设置在云台上，再通过云台搭载在无人机上；或者该拍摄装置也可以直接搭载在无人机上。
其中，无人机用于获取拍摄对象与无人机之间的位置关系，基于控制规则，控制所述无人机飞行，该控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系；并对所述拍摄对象进行拍摄，获得多张图片或多个视频；其中，所述多张图片或多个视频用于以预设帧率生成定格动画。
其中，该定格动画可由无人机生成，也可以由无人机将该多张图片或多个视频发送给控制设备，由控制设备生成预设帧率的定格动画。
在一种可选的实施方式中，无人机用于获取拍摄对象与无人机之间的位置关系，具体为：
获取用户选择的拍摄画面，并基于视觉传感器获取所述拍摄对象相对于拍摄装置或无人机的深度信息；
基于所述深度信息，获取无人机与所述拍摄对象之间的位置关系。
在一种可选的实施方式中，所述控制规则具体用于：
在所述无人机处于飞行过程中，无人机控制所述无人机保持与所述拍摄对象之间的所述位置关系；
或者，在所述无人机处于悬停状态时，无人机控制所述无人机保持与所述拍摄对象之间的所述位置关系。
在一种可选的实施方式中，无人机用于通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
无人机接收用户输入的拍摄指令；
响应所述拍摄指令，无人机通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，无人机用于通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
以预设时间间隔，无人机通过所述拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，无人机用于基于控制规则，控制无人机飞行，具体为：
接收跟随模式指令；
当所述跟随模式指令为跟随模式时，调整所述无人机的姿态、所述拍摄装置的姿态以及所述拍摄装置所在云台的姿态中的至少一种，以对所述拍摄对象进行跟随。
在另一种可选的实施方式中，无人机用于基于控制规则，控制无人机飞行，具体为：若接收的跟随模式指令为非跟随模式，则无人机将无法智能调整无人机的姿态、拍摄装置的姿态以及拍摄装置所在云台的姿态中的至少一种，以对拍摄对象进行跟随。而是由控制设备通过用户的操作来调整无人机的姿态、拍摄装置的姿态以及拍摄装置所在云台的姿态中的至少一种，以对拍摄对象进行跟随。
在一种可选的实施方式中，无人机用于获取拍摄对象与无人机之间的位置关系，具体为：
从数据库中获取拍摄对象与无人机之间的位置关系和拍摄参数，所述数据库中预先存储有拍摄定格动画所需的所述位置关系和所述拍摄参数。
相应的，无人机通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，包括：
根据所述拍摄参数对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在一种可选的实施方式中，无人机用于通过拍摄装置对所述拍摄对象进行拍摄，获得多张图片或多个视频，具体为：
以预设幅度调整所述拍摄参数；
基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多张图片或多个视频。
在本发明的实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被控制器执行时实现本发明图3所对应实施例中描述的图像处理方法，也可实现图图4或图5所述本发明所对应实施例的设备，在此不再赘述。
在本发明的实施例中还提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机实现本发明图3所对应实施例中描述的图像处理方法，也可实现图4或图5所述本发明所对应实施例的设备，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的设备的内部存储单元，例如设备的硬盘或内存。所述计算机可读存储介质也可以是所述设备的外部存储设备，例如所述设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (17)

1.一种图像处理方法，其特征在于，应用于包含拍摄装置的无人机中，所述方法包括：
获取用户选择的拍摄画面，并获取所述拍摄画面中拍摄对象与无人机之间的位置关系；
基于控制规则，控制所述无人机飞行，所述控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系；
通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，所述多个图像数据用于以预设帧率生成定格动画。
2.根据权利要求1所述的方法，其特征在于，所述获取所述拍摄画面中拍摄对象与无人机之间的位置关系，包括：
基于视觉传感器获取所述拍摄画面中拍摄对象相对于所述拍摄装置或所述无人机的深度信息；
基于所述深度信息，获取所述无人机与所述拍摄对象之间的位置关系。
3.根据权利要求1所述的方法，其特征在于，所述控制规则具体用于：
在所述无人机处于飞行过程中，控制所述无人机保持与所述拍摄对象之间的所述位置关系；
或者，在所述无人机处于悬停状态时，控制所述无人机保持与所述拍摄对象之间的所述位置关系。
4.根据权利要求3所述的方法，其特征在于，所述通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，包括：
接收用户输入的拍摄指令；
响应所述拍摄指令，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据。
5.根据权利要求3所述的方法，其特征在于，所述通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，包括：
以预设时间间隔，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据。
6.根据权利要求3所述的方法，其特征在于，所述基于控制规则，控制所述无人机飞行，包括：
接收跟随模式指令；
当所述跟随模式指令为跟随模式时，调整所述无人机的姿势、所述拍摄装置的姿势以及所述拍摄装置所在云台的姿势中的至少一种，以对所述拍摄对象进行跟随。
7.根据权利要求1所述的方法，其特征在于，所述通过拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，包括：
以预设幅度调整拍摄每个图像数据的拍摄参数；
通过拍摄装置基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多个图像数据。
8.一种图像处理设备，其特征在于，应用于包含拍摄装置的无人机***中，所述图像处理设备包括存储器、控制器以及拍摄装置；
所述存储器，用于存储程序指令；
所述控制器，执行所述存储器存储的程序指令，当程序指令被执行时，所述控制器用于执行如下步骤：
获取用户选择的拍摄画面，获取所述拍摄画面中拍摄对象与无人机之间的位置关系；
基于控制规则，控制所述无人机飞行，所述控制规则用于控制所述无人机保持与所述拍摄对象之间的所述位置关系；
通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，所述多个图像数据用于以预设帧率生成定格动画。
9.根据权利要求8所述的设备，其特征在于，所述控制器获取所述拍摄画面中拍摄对象与无人机之间的位置关系，具体为：
基于视觉传感器获取拍摄对象相对于所述拍摄装置或所述无人机的深度信息；
基于所述深度信息，获取无人机与所述拍摄对象之间的位置关系。
10.根据权利要求8所述的设备，其特征在于，所述控制规则具体用于：
在所述无人机处于飞行过程中，控制所述无人机保持与所述拍摄对象之间的所述位置关系；
或者，在所述无人机处于悬停状态时，控制所述无人机保持与所述拍摄对象之间的所述位置关系。
11.根据权利要求10所述的设备，其特征在于，所述控制器通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，具体为：
接收用户输入的拍摄指令；
响应所述拍摄指令，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据。
12.根据权利要求10所述的设备，其特征在于，所述控制器通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，具体为：
以预设时间间隔，通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据。
13.根据权利要求10所述的设备，其特征在于，所述控制器基于控制规则，控制所述无人机飞行，具体为：
接收跟随模式指令；
当所述跟随模式指令为跟随模式时，调整所述无人机的姿态、所述拍摄装置的姿态以及所述拍摄装置所在云台的姿态中的至少一种，以对所述拍摄对象进行跟随。
14.根据权利要求8所述的设备，其特征在于，所述控制器通过所述拍摄装置对所述拍摄对象进行拍摄，获得多个图像数据，具体为：
以预设幅度调整拍摄每个图像数据的所述拍摄参数；
通过所述拍摄装置基于调整的拍摄参数，对所述拍摄对象进行拍摄，获得多个图像数据。
15.一种无人机，其特征在于，包括所述无人机的机身和拍摄装置；
所述拍摄装置搭载在所述无人机的机身上，或者，设置在云台上，通过所述云台搭载在所述无人机的机身上；
所述无人机还包括控制器和存储器，所述控制器用于调用所述存储器中存储的代码执行如权利要求1至7任一项所述的图像处理方法。
16.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被控制器执行时使所述控制器执行如权利要求1至7中任一项所述的图像处理方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机实现权利要求1至7中任一项所述的图像处理方法。
CN201880037065.XA 2018-07-20 2018-07-20 一种图像处理方法及设备 Expired - Fee Related CN110720209B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096410 WO2020014953A1 (zh) 2018-07-20 2018-07-20 一种图像处理方法及设备

Publications (2)

Publication Number Publication Date
CN110720209A CN110720209A (zh) 2020-01-21
CN110720209B true CN110720209B (zh) 2021-05-04

Family

ID=69164880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037065.XA Expired - Fee Related CN110720209B (zh) 2018-07-20 2018-07-20 一种图像处理方法及设备

Country Status (2)

Country Link
CN (1) CN110720209B (zh)
WO (1) WO2020014953A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022000211A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 拍摄***的控制方法、设备、及可移动平台、存储介质
WO2022095012A1 (zh) * 2020-11-09 2022-05-12 深圳市大疆创新科技有限公司 快门调整方法、装置、拍摄装置、可移动平台
CN112734653A (zh) * 2020-12-23 2021-04-30 影石创新科技股份有限公司 一种视频图像的运动平滑处理方法、装置、设备及存储介质
CN115955553B (zh) * 2023-03-13 2023-06-13 南昌龙旗智能科技有限公司 Vr视频拍摄***及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
CN106708089A (zh) * 2016-12-20 2017-05-24 北京小米移动软件有限公司 跟随式的飞行控制方法及装置、无人机
CN107749942A (zh) * 2017-09-13 2018-03-02 深圳天珑无线科技有限公司 悬浮拍摄方法、移动终端及计算机可读存储介质
CN108122553A (zh) * 2017-12-20 2018-06-05 深圳市道通智能航空技术有限公司 一种无人机控制方法、装置、遥控设备和无人机***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072539A (ja) * 2012-09-27 2014-04-21 Nikon Corp 撮像装置
US9870637B2 (en) * 2014-12-18 2018-01-16 Intel Corporation Frame removal and replacement for stop-action animation
CN105306796A (zh) * 2015-10-10 2016-02-03 安霸半导体技术（上海）有限公司 具有定期红外照明和全局快门cmos传感器的夜视设备
CN105487552B (zh) * 2016-01-07 2019-02-19 深圳一电航空技术有限公司 无人机跟踪拍摄的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9242379B1 (en) * 2015-02-09 2016-01-26 The Trustees Of The University Of Pennysylvania Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
CN106708089A (zh) * 2016-12-20 2017-05-24 北京小米移动软件有限公司 跟随式的飞行控制方法及装置、无人机
CN107749942A (zh) * 2017-09-13 2018-03-02 深圳天珑无线科技有限公司 悬浮拍摄方法、移动终端及计算机可读存储介质
CN108122553A (zh) * 2017-12-20 2018-06-05 深圳市道通智能航空技术有限公司 一种无人机控制方法、装置、遥控设备和无人机***

Also Published As

Publication number Publication date
CN110720209A (zh) 2020-01-21
WO2020014953A1 (zh) 2020-01-23

Similar Documents

Publication Publication Date Title
CN110720209B (zh) 一种图像处理方法及设备
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
CN110730287B (zh) 一种可拆换的云台相机、飞行器、***及其云台拆换方法
CN113794840B (zh) 一种视频处理方法、设备、无人机及***
CN106899798B (zh) 自拍无人飞机***及其执行方法
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US10602064B2 (en) Photographing method and photographing device of unmanned aerial vehicle, unmanned aerial vehicle, and ground control device
CN108650522B (zh) 基于自动控制的可即时获取高清照片的直播***
CN105847682A (zh) 全景图像的拍摄方法、装置及***
CN110291780B (zh) 图像增稳控制方法、拍摄设备和可移动平台
CN113273172A (zh) 全景拍摄方法、装置、***及计算机可读存储介质
WO2021212445A1 (zh) 拍摄方法、可移动平台、控制设备和存储介质
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
US20220345607A1 (en) Image exposure method and device, unmanned aerial vehicle
TW202239184A (zh) 成像裝置和系統、捕獲圖像的方法以及電腦可讀儲存媒體
CN113709377A (zh) 控制飞行器拍摄旋转延时视频的方法、装置、设备及介质
CN110720210B (zh) 照明设备控制方法、设备、飞行器及***
CN110933297B (zh) 智能摄影***的摄影控制方法、装置、存储介质及***
CN109155820B (zh) 球形全景图的合成方法、无人机***、无人机、终端及其控制方法
CN110291776B (zh) 飞行控制方法及飞行器
US20200412945A1 (en) Image processing apparatus, image capturing apparatus, mobile body, image processing method, and program
US20220337744A1 (en) Camera system utilizing auxiliary image sensors
CN113542718B (zh) 一种无人机立体摄影方法
CN113287297A (zh) 控制方法、手持云台、***及计算机可读存储介质
CN113491099A (zh) 图像处理方法、装置、***、平台及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210504