CN105578034A - 一种对目标进行跟踪拍摄的控制方法、控制装置及*** - Google Patents

一种对目标进行跟踪拍摄的控制方法、控制装置及*** Download PDF

Info

Publication number
CN105578034A
CN105578034A CN201510916635.0A CN201510916635A CN105578034A CN 105578034 A CN105578034 A CN 105578034A CN 201510916635 A CN201510916635 A CN 201510916635A CN 105578034 A CN105578034 A CN 105578034A
Authority
CN
China
Prior art keywords
tracking target
image
feature
target
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510916635.0A
Other languages
English (en)
Inventor
李佐广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201510916635.0A priority Critical patent/CN105578034A/zh
Publication of CN105578034A publication Critical patent/CN105578034A/zh
Priority to PCT/CN2016/096070 priority patent/WO2017096949A1/zh
Priority to EP16872145.4A priority patent/EP3373248A4/en
Priority to US16/002,548 priority patent/US10782688B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及电子摄像技术领域，提供了一种对目标进行跟踪拍摄的控制方法、装置及***。该控制方法包括：在跟踪拍摄的过程中，控制装置控制无人机上的拍摄装置采集图像，并获取采集到的图像；在所述图像中选择跟踪目标；根据对连续相邻帧的图像的比较，计算跟踪目标的运动速度、运动方向以及其在当前图像中的位置；根据所计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得所述跟踪目标始终位于所述拍摄装置采集的图像中。本发明可以在航拍过程中自动对目标进行跟踪拍摄，不需要人工遥控无人机跟踪运动目标，因此定位精度高，可以对于各种运动目标跟踪拍摄，并获得高质量的视频或照片。

Description

一种对目标进行跟踪拍摄的控制方法、控制装置及***
【技术领域】
本发明涉及电子摄像技术领域，尤其涉及一种对目标进行跟踪拍摄的方法、控制装置及***。
【背景技术】
现有技术中，在目标进行跟踪拍摄时，大多采用无人机携带拍摄装置进行拍摄。但是，利用无人机进行拍摄时，需要人工控制遥控器进行跟随拍摄，当目标处于运动状态时，无法保证无人机与目标同步运动，并且也无法使目标始终处于拍摄画面的理想位置处，无法保证无人机运动的平稳，拍摄出来的画面质量难以得到保证。
因此，有必要提供一种对目标进行跟踪拍摄的方法、装置及***，实现对目标的智能跟踪拍摄，克服现有技术采用人工遥控无人机跟踪拍摄时，对正在高速运动、不规则运动或变速运动等运动目标跟踪困难，拍摄效果差的缺陷。
【发明内容】
本发明旨在提供一种对目标进行跟踪拍摄的方法、装置及***，克服现有技术采用人工遥控无人机跟踪拍摄时，对正在高速运动、不规则运动或变速运动等运动目标跟踪困难，拍摄效果差的缺陷。
为解决上述技术问题，本发明提供以下技术方案：
一方面，本发明提供一种对目标进行跟踪拍摄的控制方法，适用于无人机拍摄，所述方法包括：
在跟踪拍摄的过程中，控制装置控制无人机上的拍摄装置采集图像，并获取采集到的图像；
在所述图像中选择跟踪目标；
计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；
根据所计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得所述跟踪目标始终位于所述拍摄装置采集的图像中。
一些实施例中，所述在所述图像中选择跟踪目标包括：经由用户接口接收指示用户对跟踪目标的选择的用户输入信号，根据用户输入信号确定所述图像中的跟踪目标；或者包括：或者包括：对采集到的图像进行识别分析，根据分析结果确定所述图像中的运动目标作为跟踪目标。
一些实施例中，在所述图像中选择跟踪目标之后，所述方法还包括：提取跟踪目标的特征点；记录提取的特征点集及特征点个数，并生成特征模板；将特征模板存入模板库。
一些实施例中，在控制无人机对跟踪目标进行跟踪的过程中，所述方法还包括：提取跟踪目标的特征点；记录所提取的特征点的个数并生成新特征模板；将新特征模板的特征点与模板库中的特征模板的特征点进行比对；若新特征模板的特征点与模板库中每个特征模板的特征点匹配数目少于预设值，则将新特征模板存储到模板库中。
一些实施例中，所述方法还包括：当在控制无人机对跟踪目标进行跟踪的过程中出现跟踪失败时，从出现跟踪失败的当前图像提取SIFT特征，得到特征点集S1；从模板库中读取特征模板，得到特征模板的特征点集T1；将特征点集T1与特征点集S1进行匹配，根据匹配结果查找跟踪目标；若查找到跟踪目标则继续对跟踪目标进行跟踪，否则重复上述过程直到找到跟踪目标。
一些实施例中，所述方法还包括：当出现匹配错误时，对出现的错误的负样例和错误的正样例进行评估；根据评估结果生成学习样本，并更新模板库中存储的跟踪目标的特征模板及特征点。
一些实施例中，所述计算跟踪目标的运动速度、运动方向以及在当前图像中的位置，包括：采用LK光流算法在连续的相邻图帧的图像之间计算所述跟踪目标的运动速度、运动方向及其在当前图像中的位置。
一些实施例中，所述方法还包括：
当所述跟踪目标始终位于所述拍摄装置采集的图像中并保持稳定时，控制所述拍摄装置对跟踪目标进行拍摄；或者
当所述跟踪目标始终处于所述拍摄装置采集的图像中并且所述无人机上设有其他摄装置时，控制所述其他摄装置对所述跟踪目标进行拍摄
另一方面，本发明提供一种对目标进行跟踪拍摄的控制装置，适用于无人机拍摄，所述控制装置包括：获取单元，用于在跟踪拍摄的过程中，控制无人机上的拍摄装置采集图像，并获取采集到的图像；选择单元，用于在所述图像中选择跟踪目标；计算单元，用于通过对连续相邻帧的图像的比较，计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；跟踪单元，用于根据所计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得跟踪目标始终处于所述拍摄装置采集的图像中；拍摄控制单元，用于在所述跟踪目标始终处于所述拍摄装置采集的图像中时，控制所述拍摄装置对所述跟踪目标进行拍摄，或者用于在所述跟踪目标始终处于所述拍摄装置采集的图像中并且所述无人机上设有其他摄装置时，控制所述其他摄装置对所述跟踪目标进行拍摄。
一些实施例中，所述选择单元包括：用于获取指示用户对跟踪目标的选择的用户输入信号的信号获取子单元，以及用于根据所述用户输入信号确定所述图像中的跟踪目标的目标确定子单元；或者，
所述选择单元包括：用于对采集到的图像进行识别分析的分析子单元，以及用于根据所述分析子单元的分析结果识别所述图像中的运动目标作为跟踪目标的目标识别子单元。
一些实施例中，所述控制装置还包括：特征提取单元，用于在所述选择单元选择了跟踪目标之后，提取跟踪目标的特征点；模板生成单元，用于记录提取的特征点集及特征点个数并生成特征模板；存储单元，用于将所述特征模板存入模板库。
一些实施例中，所述特征提取单元还用于在控制无人机对跟踪目标进行跟踪的过程中，提取跟踪目标的特征点；所述模板生成单元还用于记录所提取的特征点的个数并生成新特征模板，并且其中，所述控制装置还包括：比对单元，用于将新特征模板的特征点与模板库中的特征模板的特征点进行比对，并且其中，所述存储单元还用于在比对单元的对比结果为新特征模板与模板库中每个特征模板的特征点匹配数目少于预设值时，将新模板存储到模板库中。
一些实施例中，所述特征提取单元还用于在跟踪单元跟踪失败时，从出现跟踪失败的当前图像提取SIFT特征，得到特征点集S1，并且其中，所述控制装置还包括：读取单元，用于从模板库中读取特征模板，得到特征模板的特征点集T1；匹配单元，用于将特征点集T1与特征点集S1进行匹配，根据匹配结果查找跟踪目标，并且其中所述跟踪单元还用于在查找到跟踪目标时继续对跟踪目标进行跟踪
一些实施例中，所述控制装置还包括：评估单元，用于当出现匹配错误时，对出现的错误的负样例和错误的正样例进行评估；更新单元，用于根据评估结果生成学习样本，并更新模板库中存储的跟踪目标的特征模板及特征点。
一些实施例中，所述计算单元，还用于采用LK光流算法在连续的相邻图帧的图像之间计算所述跟踪目标的运动速度、运动方向及其在当前图像中的位置。
再一方面，本发明提供一种用于对目标进行跟踪拍摄的***，包括如上所述的控制装置、无人机，以及安装在无人机上的拍摄装置，其中所述控制装置用于根据所述拍摄装置采集的图像，控制无人机对跟踪目标进行跟踪，以使得跟踪目标位于所述拍摄装置采集的图像中，所述拍摄装置用于对所述跟踪目标进行拍摄。
与现有技术相比，本发明的有益效果在于：通过获取拍摄装置采集的图像选择跟踪目标以及控制无人机对跟踪目标进行跟踪，在跟踪过程中控制拍摄装置对跟踪目标进行拍摄，因此不再需要人工遥控无人机跟踪运动目标，定位精度高，可以对各种运动目标跟踪拍摄，并获得高质量的视频或照片。
【附图说明】
图1为本发明第一实施例提供的一种对目标进行跟踪拍摄的方法的流程图。
图2为图1所示方法中步骤S130中计算跟踪目标的运动速度、运动方向以及其在当前图像中的位置的流程图。
图3为图1所示方法在出现跟踪失败时执行的检测步骤的流程图。
图4为图1所示方法在跟踪目标进行跟踪时，对跟踪目标进行学习的流程图。
图5为本发明第二实施例提供的一种对目标进行跟踪拍摄的***的结构示意图。
图6为图5所示***中控制装置的单元结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明实施例一提供了一种对目标进行跟踪拍摄的方法，该方法适用于无人机拍摄。本实施例中在无人机上安装有拍摄装置和控制装置。控制装置可以根据拍摄装置采集的图像控制无人机对跟踪目标进行跟踪拍摄，以使跟踪目标在拍摄装置采集的图像中的位置保持稳定。控制装置可以安装在无人机上，也可以通过无线通信与无人机、拍摄装置建立通讯。本实施例中的拍摄装置可以为运动相机，以对跟踪目标进行拍摄。本领域技术人员可以理解，拍摄装置也可以有两个，以分别执行定位拍摄和运动拍摄两种功能。即第一个拍摄装置拍摄定位图像，控制装置根据对定位图像的分析确定跟踪目标；第二个拍摄装置拍摄运动图像，用于对跟踪目标进行跟踪拍摄。
为了使描述更加清楚，下面将从控制装置的角度对本实施例的方法进行说明。请参阅图1，方法流程包括：
S110、在跟踪拍摄的过程中，控制装置获取无人机上的拍摄装置采集的图像，并获取采集到的图像；
S120、在该图像中选择跟踪目标；
S130、计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；
S140、根据所计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得跟踪目标始终位于所述第一拍摄装置采集的图像中。
实际应用中，步骤S120，在图像中选择跟踪目标的方式可以通过如下方式实现：
方式一人工选择
获取指示用户对跟踪目标的选择的用户输入信号，根据用户输入信号确定所述图像中的跟踪目标。用户可以仅有用户输入接口输入信号，该信号指示要选择的跟踪目标，控制装置可以根据获取到的用户输入信号，将用户选择的目标确定为跟踪目标。
方式二自动选择
对采集到的图像进行识别分析，根据分析结果确定所述图像中的运动目标作为跟踪目标。
这又包括两种方式，其一为利用帧差法进行的选择，其二为利用连通区域提取法的选择。
(1)利用帧差法选择
比较连续相邻帧的图像，根据比较结果确定图像中的运动目标作为跟踪目标。由于连续视频流的场景具有连续性，当目标静止的时候连续帧图像之间的变化很小；反之，若有运动则会引起显著帧间差。相邻帧差法就是利用连续的两帧或几帧视频图像的差分，进行运动目标检测检测，从而实现自动选择运动目标。
利用相邻帧差法进行运动目标检测，适合背景保持相对静止，运动目标相对背景运动的场景，因此，无人机在自动选择运动目标时，需要保持飞机相对静止(运动速度为0，或运动速度较小可以忽略不计)。
具体计算步骤如下：
直接计算帧差绝对值并计算第k帧图像与第k-l帧图像对应像素点的差别，运动检测的判决条件如下：
Σ ( x , y ) ∈ A | S ( x , y , t ) - S ( x , y , t - Δ t ) | > T 公式一
根据上述公式1得到一个二值差分图像D(x，y)。
公式二
其中S(x，y，t)为亮度图像序列在t时刻点(x,y)处的灰度值，Δt为帧间隔的整数倍，T为阂值，决定了运动检测的灵敏度。
得到二值图后，采用形态学处理，进行膨胀和腐蚀。能够滤除大部分的噪声点，得到较为清晰的目标。
(2)利用连通区域提取法选择
区域生长的基本思想是将具有相似性质的像素集合起来构成区域。具体实现方法是：对每个分割的区域找个种子像素作为生长的起点，再将种子像素周围邻域中与种子像素有相同或相似性质的像素(根据某种事先确定的生长或相似准则来判定)合并到种子像素所在的区域中。将这些新像素当作新的种子像素继续进行上面的过程，直到再没有满足条件的像素可被包括进来，这样一个区域就长成了。对测试图像进行检测，在所有区域形成以后，对所有的连通区域的面积进行计算，将面积最大的区域视为目标区域，该目标区域便是跟踪目标。
需要说明的是，如果实际应用中出现多个符合条件的运动目标，则可以选择最大的运动目标，作为需要跟踪的运动目标。
实际应用中，可以在采集的图像中叠加跟踪目标的外界矩形框。
具体地，步骤S130可以采用LK(Lucas–Kanade)光流算法在连续的相邻图帧的图像之间计算该跟踪目标的运动速度、运动方向及其在当前图像中的位置。
该方法是利用目标框(即外界矩形框)来表示被跟踪目标，并在连续的相邻帧的图像之间估计目标的运动。
原理如下：在上一帧图像的目标框中选择若干个像素点作为特征点，在下一帧图像中中寻找上一帧图像中的特征点在当前帧图像中的对应位置。然后，将这若干个特征点在相邻帧图像之间的位移变化进行排序，得到位移变化的中值，利用该中值，得到小于中值的50％的特征点，将这50％的特征点作为下一帧的特征点，并依此进行下去，就实现了动态更新特征点的目的。
光流跟踪的基本步骤如图2所示：
S210、将轮廓角点作为光流跟踪特征点，并初始化光流点points[0]，points[1]；
S220、设置金字塔搜索窗口，为每个金字塔层指定迭代终止条件；
S230、在前一帧图像prev_gray和当前帧图像gray两帧间计算特征点光流集points[1]，当计算出金字塔某一层光流后，将其加到对应的初始值中，作为下一层金字塔计算的初始输入；
S240、交换points[0]和points[1]，prev_gray和gray；
S250、判断ROI区域内光流点数目是否在一定阈值范围内，如果光流数量是否小于threshold，利用当前帧图像特征点重新初始化光流点；
S260、若进程结束回到第4步依次执行，否则停止跟踪。
需要说明的是，光流法主要是计算像素的移动光流，也就是速度，从而形成光流速度场。因此，光流法需要预先设定需要计算光流的特征点的数目，特征点越多，最终结果的精度就越高。
在一个优选的方案中，在步骤S120之后，该方法还包括：
S121、提取该跟踪目标的特征点；
S122、记录提取的特征点集及特征点个数并生成特征模板；
S123、将该特征模板存入模板库。
在一个可能的场景中，跟踪的过程中，可能会出现跟踪失败的情况，在一个优选的方案中可以通过一个检测的步骤重新查找失踪的目标。
本实施例中采用跟踪单元与检测单元互补的模式进行并行处理。首先跟踪单元假设相邻帧图像之间物体的运动是有限的，且跟踪目标是可见的，以此来估计跟踪目标的运动。如果跟踪目标在摄像装置的视野中消失，将造成跟踪失败。检测单元假设每一帧图像都是彼此独立的，并且根据以往检测和学习到的目标模型，对每一帧图像进行全图搜索以定位跟踪目标可能出现的区域。
请参阅图3，具体地检测步骤包括：
S310、从当前目标跟踪失败的图像提取SIFT特征，得到特征点集S1；
S320、从模板库中读取一个特征模板，得到特征模板的特征点集T1；
S330、将该特征点集T1和该特征点集S1进行匹配，根据匹配结果查找该跟踪目标；
S340、判断是否查找到该跟踪目标，若是执行步骤S350，否则继续执行步骤S320。
S350、继续对该跟踪目标进行跟踪。
具体地，在对特征点集T1和S1进行匹配时，判定匹配的特征点数目最多的为匹配到的运动目标，匹配过程可采用欧式距离进行计算。
在另一可能的场景中，在执行检测步骤时，也可能出现匹配错误的情况。
检测单元出现的匹配错误通常是错误的负样例和错误的正样例这两种情况。可以通过学习单元对跟踪目标的模型及关键特征点进行更新，以此来避免以后出现类似的错误。具体方法如下：
学习单元对跟踪过程中可能出现的错误的负样例和错误的正样例进行评估；
据评估结果生成学习样本，并更新模板库中存储的该跟踪目标的“特征模板”及“特征点”。
在一个优选的方案中，在对跟踪目标进行跟踪时，还可以对跟踪目标进行学习，请参阅图4，包括：
S410、提取跟踪目标的特征点；
S420、记录该特征点的个数并生成新特征模板；
S430、将该新特征模板的特征点与该模板库中的特征模板的特征点进行比对；
S440、若与该模板库中每个模板的特征点匹配的点数少于预设值，则将该新模板存储到该模板库中。
在一个可能的场景中，该方法还包括：
当所述跟踪目标始终位于所述拍摄装置采集的图像中并保持稳定时，控制所述拍摄装置对跟踪目标进行拍摄。
在另一可能的场景中，可以在无人机上设置其他摄装置，该方法还包括：
当跟踪目标始终位于拍摄装置采集的图像中并保持稳定时，控制该其他摄装置对跟踪目标进行拍摄。
本实施例的对目标进行跟踪拍摄的方法，在无人机上设置了拍摄装置和控制装置，控制装置通过获取拍摄装置采集的图像选择跟踪目标，并控制无人机对跟踪目标进行跟踪拍摄，使得在跟踪过程中跟踪目标在拍摄装置采集的图像中的位置保持稳定。因此，不再需要人工遥控无人机跟踪运动目标，定位精度高，可以对于各种运动目标跟踪拍摄，并获得高质量的视频或照片。
在上述实施例的基础上，本发明实施例二提供了一种对目标进行跟踪拍摄的***。请参阅图5，该***包括无人机51、安装在无人机上的拍摄装置52，以及控制装置54。其中，控制装置54用于根据拍摄装置52采集的图像控制无人机51对跟踪目标进行跟踪，并在跟踪过程中控制拍摄装置52对跟踪目标进行拍摄。实际应用中，控制装置54可以安装在无人机51上，也可以通过无线通信与无人机51、拍摄装置52建立通讯。
请参阅图6，控制装置54包括：
获取单元541，用于控制无人机上的拍摄装置采集图像，并获取采集到的图像；
选择单元542，用于在所采集的图像中选择跟踪目标；
计算单元543，用于通过对连续相邻帧的图像的比较，(例如可以根据LK光流算法)计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；
跟踪单元544，用于根据计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得跟踪目标在拍摄装置采集的图像中的位置保持稳定；
拍摄控制单元547，用于在该跟踪目标始终处于该拍摄装置52采集的图像中时，控制该拍摄装置52对该跟踪目标进行拍摄，或者用于在该跟踪目标始终处于该拍摄装置52采集的图像中并且该无人机上设有其他摄装置时，控制该其他摄装置对该跟踪目标进行拍摄。
在一个优选的方案中，选择单元542选择跟踪目标时，可以通过人工进行选择，或者利用帧差法进行选择，或者利用连通区域提取法进行选择。相应地，当通过人工选择跟踪目标时，选择单元542包括信号获取子单元，用于获取指示用户对跟踪目标的选择的用户输入信号；以及目标确定子单元，用于根据用户输入信号确定所述图像中的跟踪目标。当自动选择跟踪哦目标时，选择单元包括分析子单元，用于对采集到的图像进行识别分析；以及目标识别子单元，用于根据分析结果识别所述图像中的运动目标作为跟踪目标。分析子单元的识别分析可以包括帧差法比较分析，或是通过连通区域提取法进行的识别分析。
在一个可能的场景中，该装置还包括检测单元545，该检测单元545包括：
特征提取单元，用于在选择单元选择了跟踪目标之后，提取该跟踪目标的特征点；
模板生成单元，用于记录提取的特征点集及特征点个数并生成特征模板；
存储单元，用于将该特征模板存入模板库。
在一个可能的场景中，该装置还包括学习单元546，该学习单元546包括：
特征提取单元，用于在对该跟踪目标追踪目标的过程中，提取该跟踪目标的特征点；
模板生成单元，用于记录该特征点的个数并生成新特征模板；
比对单元，用于将该新特征模板的特征点与该模板库中的特征模板的特征点进行比对；
存储单元，用于在对比单元的对比结果为该新特征模板与该模板库中每个模板的特征点匹配的点数少于预设值时，则将该新模板存储到该模板库中。
在一个可能的场景中，该检测单元545，还包括读取单元和匹配单元：
特征提取单元，还用于在跟踪单元跟踪失败时，从当前目标跟踪失败的图像提取SIFT特征，得到特征点集S1；
读取单元，用于从该模板库中读取特征模板，得到特征模板的特征点集T1；
匹配单元，用于将该特征点集T1和该特征点集S1进行匹配，根据匹配结果查找该跟踪目标；
该跟踪单元543，还用于在查找到该跟踪目标时继续对该跟踪目标进行跟踪。
在一个可能的场景中，该学习单元546，还包括评估单元和更新单元。评估单元用于在该检测单元的出现匹配错误时，对该对跟踪过程中可能出现的错误的负样例和错误的正样例进行评估，更新单元用于根据评估结果生成学习样本，并更新模板库中该跟踪目标的“特征模板”及“特征点”。
本实施例的对目标进行跟踪拍摄的***，在无人机上设置了拍摄装置和控制装置，通过获取拍摄装置采集的图像，选择跟踪目标以及控制无人机对跟踪目标进行跟踪拍摄。因此，不再需要人工遥控无人机跟踪运动目标，定位精度高，可以对于各种运动目标跟踪拍摄，并获得高质量的视频或照片。
应理解，本发明所揭露的装置和方法，也可以通过其它的方式实现。例如，装置中对模块、单元的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或模块可以结合或者可以集成到另一个***，或一些特征可以忽略或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种对目标进行跟踪拍摄的方法，适用于无人机拍摄，其特征在于，所述方法包括：
在跟踪拍摄的过程中，控制装置控制无人机上的拍摄装置采集图像，并获取采集到的图像；
在所述图像中选择跟踪目标；
计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；
根据所计算的运动速度、运动方向以及在当前图像中的位置，控制无人机对跟踪目标进行跟踪，使得所述跟踪目标始终位于所述拍摄装置采集的图像中。
2.根据权利要求1所述的方法，其特征在于，在所述图像中选择跟踪目标包括：
获取指示用户对跟踪目标的选择的用户输入信号，根据用户输入信号确定所述图像中的跟踪目标；或者
对采集到的图像进行识别分析，根据分析结果确定所述图像中的运动目标作为跟踪目标。
3.根据权利要求1或2所述的方法，其特征在于，在所述图像中选择跟踪目标之后，所述方法还包括：
提取跟踪目标的特征点；
记录提取的特征点集及特征点个数，并生成特征模板；
将特征模板存入模板库。
4.根据权利要求3所述的方法，其特征在于，在控制无人机对跟踪目标进行跟踪的过程中，所述方法还包括：
提取跟踪目标的特征点；
记录所提取的特征点的个数并生成新特征模板；
将新特征模板的特征点与模板库中的特征模板的特征点进行比对；
若新特征模板的特征点与模板库中每个特征模板的特征点匹配数目少于预设值，则将新特征模板存储到模板库中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当在控制无人机对跟踪目标进行跟踪的过程中出现跟踪失败时，从出现跟踪失败的当前图像提取SIFT特征，得到特征点集S1；
从模板库中读取特征模板，得到特征模板的特征点集T1；
将特征点集T1与特征点集S1进行匹配，根据匹配结果查找跟踪目标；
若查找到跟踪目标则继续对跟踪目标进行跟踪，否则重复上述过程直到找到跟踪目标。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当出现匹配错误时，对出现的错误的负样例和错误的正样例进行评估；
根据评估结果生成学习样本，并更新模板库中存储的跟踪目标的特征模板及特征点。
7.根据权利要求6所述的方法，其特征在于，所述计算跟踪目标的运动速度、运动方向以及在当前图像中的位置，包括：
采用LK光流算法在连续的相邻图帧的图像之间计算所述跟踪目标的运动速度、运动方向及其在当前图像中的位置。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述跟踪目标始终位于所述拍摄装置采集的图像中并保持稳定时，控制所述拍摄装置对跟踪目标进行拍摄；或者
当所述跟踪目标始终处于所述拍摄装置采集的图像中并且所述无人机上设有其他拍摄装置时，控制所述其他拍摄装置对所述跟踪目标进行拍摄。
9.一种对目标进行跟踪拍摄的控制装置，适用于无人机拍摄，其特征在于，所述控制装置包括：
获取单元，用于在跟踪拍摄的过程中，控制无人机上的拍摄装置采集图像，并获取采集到的图像；
选择单元，用于在所述图像中选择跟踪目标；
计算单元，用于通过对连续相邻帧的图像的比较，计算跟踪目标的运动速度、运动方向以及在当前图像中的位置；
跟踪单元，用于根据所计算的运动速度、运动方向以及在当前图像中的位置，控制所述无人机对跟踪目标进行跟踪，使得所述跟踪目标始终处于所述拍摄装置采集的图像中；
拍摄控制单元，用于在所述跟踪目标始终处于所述拍摄装置采集的图像中时，控制所述拍摄装置对所述跟踪目标进行拍摄，或者用于在所述跟踪目标始终处于所述拍摄装置采集的图像中并且所述无人机上设有其他摄装置时，控制所述其他摄装置对所述跟踪目标进行拍摄。
10.根据权利要求9所述的控制装置，其特征在于，
所述选择单元包括：用于获取指示用户对跟踪目标的选择的用户输入信号的信号获取子单元，以及用于根据所述用户输入信号确定所述图像中的跟踪目标的目标确定子单元；或者，
所述选择单元包括：用于对采集到的图像进行识别分析的分析子单元，以及用于根据所述分析子单元的分析结果识别所述图像中的运动目标作为跟踪目标的目标识别子单元。
11.根据权利要求9或10所述的控制装置，其特征在于，所述控制装置还包括：
特征提取单元，用于在所述选择单元选择了跟踪目标之后，提取跟踪目标的特征点；
模板生成单元，用于记录提取的特征点集及特征点个数并生成特征模板；
存储单元，用于将所述特征模板存入模板库。
12.根据权利要求11所述的控制装置，其特征在于，
所述特征提取单元还用于在控制无人机对跟踪目标进行跟踪的过程中，提取跟踪目标的特征点；
所述模板生成单元还用于记录所提取的特征点的个数并生成新特征模板，并且其中，
所述控制装置还包括：比对单元，用于将新特征模板的特征点与模板库中的特征模板的特征点进行比对，并且其中，
所述存储单元还用于在比对单元的对比结果为新特征模板与模板库中每个特征模板的特征点匹配数目少于预设值时，将新模板存储到模板库中。
13.根据权利要求12所述的控制装置，其特征在于，
所述特征提取单元还用于在跟踪单元跟踪失败时，从出现跟踪失败的当前图像提取SIFT特征，得到特征点集S1，并且其中，
所述控制装置还包括：
读取单元，用于从模板库中读取特征模板，得到特征模板的特征点集T1；
匹配单元，用于将特征点集T1与特征点集S1进行匹配，根据匹配结果查找跟踪目标，并且其中
所述跟踪单元还用于在查找到跟踪目标时继续对跟踪目标进行跟踪。
14.根据权利要求13所述的控制装置，其特征在于，还包括：
评估单元，用于当出现匹配错误时，对出现的错误的负样例和错误的正样例进行评估；
更新单元，用于根据评估结果生成学习样本，并更新模板库中存储的跟踪目标的特征模板及特征点。
15.根据权利要求8所述的控制装置，其特征在于，所述计算单元，还用于采用LK光流算法在连续的相邻图帧的图像之间计算所述跟踪目标的运动速度、运动方向及其在当前图像中的位置。
16.一种用于对目标进行跟踪拍摄的***，其特征在于，所述***包括如权利要求8至15任一项所述的控制装置、无人机，以及安装在无人机上的拍摄装置，其中所述控制装置用于根据所述拍摄装置采集的图像，控制无人机对跟踪目标进行跟踪，以使得跟踪目标位于所述拍摄装置采集的图像中，所述拍摄装置用于对所述跟踪目标进行拍摄。
CN201510916635.0A 2015-12-10 2015-12-10 一种对目标进行跟踪拍摄的控制方法、控制装置及*** Pending CN105578034A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510916635.0A CN105578034A (zh) 2015-12-10 2015-12-10 一种对目标进行跟踪拍摄的控制方法、控制装置及***
PCT/CN2016/096070 WO2017096949A1 (zh) 2015-12-10 2016-08-19 一种对目标进行跟踪拍摄的方法、控制装置及***
EP16872145.4A EP3373248A4 (en) 2015-12-10 2016-08-19 Method, control device, and system for tracking and photographing target
US16/002,548 US10782688B2 (en) 2015-12-10 2018-06-07 Method, control apparatus, and system for tracking and shooting target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510916635.0A CN105578034A (zh) 2015-12-10 2015-12-10 一种对目标进行跟踪拍摄的控制方法、控制装置及***

Publications (1)

Publication Number Publication Date
CN105578034A true CN105578034A (zh) 2016-05-11

Family

ID=55887642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510916635.0A Pending CN105578034A (zh) 2015-12-10 2015-12-10 一种对目标进行跟踪拍摄的控制方法、控制装置及***

Country Status (4)

Country Link
US (1) US10782688B2 (zh)
EP (1) EP3373248A4 (zh)
CN (1) CN105578034A (zh)
WO (1) WO2017096949A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204549A (zh) * 2016-06-30 2016-12-07 北京文安智能技术股份有限公司 一种基于视频分析的广告牌监测方法、装置及电子设备
CN106250938A (zh) * 2016-07-19 2016-12-21 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
CN106303222A (zh) * 2016-07-29 2017-01-04 广东欧珀移动通信有限公司 防抖处理方法、装置及终端设备
CN106370184A (zh) * 2016-08-29 2017-02-01 北京奇虎科技有限公司 无人机自动跟踪拍摄的方法、无人机和移动终端设备
CN106845363A (zh) * 2016-12-27 2017-06-13 广州杰赛科技股份有限公司 巡航拍摄跟踪的方法及装置
WO2017096949A1 (zh) * 2015-12-10 2017-06-15 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的方法、控制装置及***
CN106874928A (zh) * 2016-12-28 2017-06-20 中国科学院长春光学精密机械与物理研究所 跟踪目标突发关键事件自动判决方法及***
CN106921833A (zh) * 2017-03-31 2017-07-04 思依暄机器人科技（深圳）有限公司 一种拍摄控制方法、装置和动态跟踪拍摄设备
CN107272732A (zh) * 2017-06-12 2017-10-20 广东工业大学 无人飞行装置集群***
WO2017219203A1 (zh) * 2016-06-20 2017-12-28 李珂悦 无人飞行器
CN107577245A (zh) * 2017-09-18 2018-01-12 深圳市道通科技股份有限公司 一种飞行器参数设定方法和装置及计算机可读存储介质
CN107622273A (zh) * 2016-07-13 2018-01-23 深圳雷柏科技股份有限公司 一种目标检测和辨识的方法和装置
CN107728637A (zh) * 2017-12-02 2018-02-23 广东容祺智能科技有限公司 一种智能化调整摄影角度的无人机***
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
CN108010055A (zh) * 2017-11-23 2018-05-08 塔普翊海（上海）智能科技有限公司 三维物体的跟踪***及其跟踪方法
CN108537726A (zh) * 2017-03-03 2018-09-14 杭州海康威视数字技术股份有限公司 一种跟踪拍摄的方法、设备和无人机
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
CN108734726A (zh) * 2017-12-04 2018-11-02 北京猎户星空科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN109214243A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标跟踪方法、装置及无人机
CN109215056A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标追踪方法及装置
CN109416536A (zh) * 2016-07-04 2019-03-01 深圳市大疆创新科技有限公司 用于自动跟踪和导航的***和方法
WO2019041569A1 (zh) * 2017-09-01 2019-03-07 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
CN109509212A (zh) * 2018-09-30 2019-03-22 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
CN109618131A (zh) * 2018-11-22 2019-04-12 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109716256A (zh) * 2016-08-06 2019-05-03 深圳市大疆创新科技有限公司 用于跟踪目标的***和方法
CN109746909A (zh) * 2017-11-08 2019-05-14 深圳先进技术研究院 一种机器人运动控制方法及设备
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN109791041A (zh) * 2016-10-06 2019-05-21 埃克斯-马赛大学 使用光流测量障碍物距离的***
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110008795A (zh) * 2018-01-04 2019-07-12 纬创资通股份有限公司 图像目标追踪方法及其***与计算机可读取存储介质
CN110245641A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 一种目标追踪拍摄方法、装置、电子设备
CN110291775A (zh) * 2018-05-29 2019-09-27 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN111127518A (zh) * 2019-12-24 2020-05-08 深圳火星探索科技有限公司 基于无人机的目标跟踪方法及装置
WO2020107524A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN111314609A (zh) * 2020-02-24 2020-06-19 浙江大华技术股份有限公司 一种控制云台追踪摄像的方法及装置
CN111383247A (zh) * 2018-12-29 2020-07-07 北京易讯理想科技有限公司 增强金字塔lk光流算法图像跟踪稳定性的方法
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及***
CN112184776A (zh) * 2020-09-30 2021-01-05 珠海大横琴科技发展有限公司 一种目标跟踪方法、装置及存储介质
CN112955712A (zh) * 2020-04-28 2021-06-11 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
CN113095141A (zh) * 2021-03-15 2021-07-09 南通大学 一种基于人工智能的无人机视觉学习***
CN113848979A (zh) * 2021-10-12 2021-12-28 苏州大学 基于前馈补偿pid控制的无人机复杂动态目标追踪方法
CN115035157A (zh) * 2022-05-31 2022-09-09 广东天太机器人有限公司 一种基于视觉跟踪的agv运动控制方法、装置及介质
WO2023036260A1 (zh) * 2021-09-10 2023-03-16 深圳市道通智能航空技术股份有限公司 一种图像获取方法、装置、飞行器和存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3444688A4 (en) * 2016-08-11 2019-07-10 Autel Robotics Co., Ltd. METHOD AND SYSTEM FOR TRACKING AND IDENTIFICATION AND AIRCRAFT
WO2019028761A1 (en) * 2017-08-10 2019-02-14 Beijing Airlango Technology, Co., Ltd. TRACKING OBJECT USING DEPTH INFORMATION
US10706561B2 (en) * 2017-12-21 2020-07-07 612 Authentic Media Systems and methods to track objects in video
CN108140245B (zh) * 2017-12-25 2022-08-23 深圳市道通智能航空技术股份有限公司 测距方法、装置以及无人机
US11380054B2 (en) 2018-03-30 2022-07-05 Cae Inc. Dynamically affecting tailored visual rendering of a visual element
US10964106B2 (en) 2018-03-30 2021-03-30 Cae Inc. Dynamically modifying visual rendering of a visual element comprising pre-defined characteristics
CN110892714A (zh) * 2018-07-20 2020-03-17 深圳市大疆创新科技有限公司 移动机器人的控制方法、装置、设备及存储介质
CN110020624B (zh) * 2019-04-08 2023-04-18 石家庄铁道大学 图像识别方法、终端设备及存储介质
JP7305263B2 (ja) * 2019-05-16 2023-07-10 アルパイン株式会社 無人航空機、点検方法および点検プログラム
CN111311642A (zh) * 2020-02-26 2020-06-19 深圳英飞拓科技股份有限公司 一种高速球型摄像机下的目标跟踪优化方法
CN113496136A (zh) 2020-03-18 2021-10-12 中强光电股份有限公司 无人机及其影像识别方法
CN112001949B (zh) * 2020-08-13 2023-12-05 地平线(上海)人工智能技术有限公司 确定目标点移动速度的方法、装置、可读存储介质及设备
CN113139985B (zh) * 2021-03-16 2022-09-16 北京理工大学 消除无人机与地面站通信延迟影响的跟踪目标框选方法
CN113489897B (zh) * 2021-06-28 2023-05-26 杭州逗酷软件科技有限公司 图像处理方法及相关装置
CN114241008B (zh) * 2021-12-21 2023-03-07 北京航空航天大学 一种适应场景和目标变化的长时区域跟踪方法
CN115200554B (zh) * 2022-07-14 2023-06-27 深圳市水务工程检测有限公司 一种基于图片识别技术的无人机摄影测量监管***及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074016A (zh) 2009-11-24 2011-05-25 杭州海康威视软件有限公司 运动目标自动跟踪的装置和方法
GB2506411B (en) * 2012-09-28 2020-03-11 2D3 Ltd Determination of position from images and associated camera positions
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN103455797B (zh) * 2013-09-07 2017-01-11 西安电子科技大学 航拍视频中运动小目标的检测与跟踪方法
CN104036524A (zh) * 2014-06-18 2014-09-10 哈尔滨工程大学 一种改进sift算法的快速目标跟踪方法
CN105518555B (zh) * 2014-07-30 2017-11-03 深圳市大疆创新科技有限公司 目标追踪***及方法
CN104574384B (zh) * 2014-12-26 2018-04-27 北京航天控制仪器研究所 一种基于mser和surf特征点匹配的目标丢失再捕获方法
CN105023278B (zh) * 2015-07-01 2019-03-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及***
US10586102B2 (en) * 2015-08-18 2020-03-10 Qualcomm Incorporated Systems and methods for object tracking
CN105578034A (zh) * 2015-12-10 2016-05-11 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的控制方法、控制装置及***

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10782688B2 (en) 2015-12-10 2020-09-22 Autel Robotics Co., Ltd. Method, control apparatus, and system for tracking and shooting target
WO2017096949A1 (zh) * 2015-12-10 2017-06-15 深圳市道通智能航空技术有限公司 一种对目标进行跟踪拍摄的方法、控制装置及***
WO2017219203A1 (zh) * 2016-06-20 2017-12-28 李珂悦 无人飞行器
CN106204549A (zh) * 2016-06-30 2016-12-07 北京文安智能技术股份有限公司 一种基于视频分析的广告牌监测方法、装置及电子设备
US11365014B2 (en) 2016-07-04 2022-06-21 SZ DJI Technology Co., Ltd. System and method for automated tracking and navigation
CN109416536A (zh) * 2016-07-04 2019-03-01 深圳市大疆创新科技有限公司 用于自动跟踪和导航的***和方法
CN109416536B (zh) * 2016-07-04 2022-03-22 深圳市大疆创新科技有限公司 用于自动跟踪和导航的***和方法
CN107622273A (zh) * 2016-07-13 2018-01-23 深圳雷柏科技股份有限公司 一种目标检测和辨识的方法和装置
CN106250938A (zh) * 2016-07-19 2016-12-21 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
CN106250938B (zh) * 2016-07-19 2021-09-10 易视腾科技股份有限公司 目标跟踪方法、增强现实方法及其装置
CN106303222A (zh) * 2016-07-29 2017-01-04 广东欧珀移动通信有限公司 防抖处理方法、装置及终端设备
US11906983B2 (en) 2016-08-06 2024-02-20 SZ DJI Technology Co., Ltd. System and method for tracking targets
CN109716256A (zh) * 2016-08-06 2019-05-03 深圳市大疆创新科技有限公司 用于跟踪目标的***和方法
US11148804B2 (en) 2016-08-06 2021-10-19 SZ DJI Technology Co., Ltd. System and method for tracking targets
CN106370184A (zh) * 2016-08-29 2017-02-01 北京奇虎科技有限公司 无人机自动跟踪拍摄的方法、无人机和移动终端设备
CN109791041A (zh) * 2016-10-06 2019-05-21 埃克斯-马赛大学 使用光流测量障碍物距离的***
CN106845363A (zh) * 2016-12-27 2017-06-13 广州杰赛科技股份有限公司 巡航拍摄跟踪的方法及装置
CN106874928B (zh) * 2016-12-28 2020-05-19 中国科学院长春光学精密机械与物理研究所 跟踪目标突发关键事件自动判决方法及***
CN106874928A (zh) * 2016-12-28 2017-06-20 中国科学院长春光学精密机械与物理研究所 跟踪目标突发关键事件自动判决方法及***
CN108537726A (zh) * 2017-03-03 2018-09-14 杭州海康威视数字技术股份有限公司 一种跟踪拍摄的方法、设备和无人机
CN108537726B (zh) * 2017-03-03 2022-01-04 杭州海康威视数字技术股份有限公司 一种跟踪拍摄的方法、设备和无人机
CN106921833A (zh) * 2017-03-31 2017-07-04 思依暄机器人科技（深圳）有限公司 一种拍摄控制方法、装置和动态跟踪拍摄设备
CN107272732A (zh) * 2017-06-12 2017-10-20 广东工业大学 无人飞行装置集群***
CN109214243A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标跟踪方法、装置及无人机
CN109215056A (zh) * 2017-07-03 2019-01-15 昊翔电能运动科技(昆山)有限公司 目标追踪方法及装置
WO2019041569A1 (zh) * 2017-09-01 2019-03-07 歌尔科技有限公司 一种运动目标的标记方法、装置和无人机
CN107748860A (zh) * 2017-09-01 2018-03-02 中国科学院深圳先进技术研究院 无人机的目标跟踪方法、装置、无人机及存储介质
WO2019052197A1 (zh) * 2017-09-18 2019-03-21 深圳市道通智能航空技术有限公司 飞行器参数设定方法和装置
CN107577245A (zh) * 2017-09-18 2018-01-12 深圳市道通科技股份有限公司 一种飞行器参数设定方法和装置及计算机可读存储介质
CN109753076A (zh) * 2017-11-03 2019-05-14 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN109753076B (zh) * 2017-11-03 2022-01-11 南京奇蛙智能科技有限公司 一种无人机视觉追踪实现方法
CN109746909A (zh) * 2017-11-08 2019-05-14 深圳先进技术研究院 一种机器人运动控制方法及设备
CN108010055B (zh) * 2017-11-23 2022-07-12 塔普翊海（上海）智能科技有限公司 三维物体的跟踪***及其跟踪方法
CN108010055A (zh) * 2017-11-23 2018-05-08 塔普翊海（上海）智能科技有限公司 三维物体的跟踪***及其跟踪方法
CN107728637A (zh) * 2017-12-02 2018-02-23 广东容祺智能科技有限公司 一种智能化调整摄影角度的无人机***
CN108734726A (zh) * 2017-12-04 2018-11-02 北京猎户星空科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN110008795B (zh) * 2018-01-04 2021-09-14 纬创资通股份有限公司 图像目标追踪方法及其***与计算机可读取记录介质
CN110008795A (zh) * 2018-01-04 2019-07-12 纬创资通股份有限公司 图像目标追踪方法及其***与计算机可读取存储介质
CN108566513A (zh) * 2018-03-28 2018-09-21 深圳臻迪信息技术有限公司 一种无人机对运动目标的拍摄方法
WO2019227309A1 (zh) * 2018-05-29 2019-12-05 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN110291775A (zh) * 2018-05-29 2019-09-27 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN110291775B (zh) * 2018-05-29 2021-07-06 深圳市大疆创新科技有限公司 一种跟踪拍摄方法、设备及存储介质
CN109509212B (zh) * 2018-09-30 2023-11-24 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
WO2020062546A1 (zh) * 2018-09-30 2020-04-02 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
CN109509212A (zh) * 2018-09-30 2019-03-22 惠州市德赛西威汽车电子股份有限公司 目标跟踪处理方法、电子设备
CN109618131A (zh) * 2018-11-22 2019-04-12 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
CN109618131B (zh) * 2018-11-22 2021-08-24 亮风台（上海）信息科技有限公司 一种用于呈现决策辅助信息的方法与设备
WO2020107524A1 (zh) * 2018-11-27 2020-06-04 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
US11657516B2 (en) 2018-11-27 2023-05-23 Omnivision Sensor Solution (Shanghai) Co., Ltd Target tracking method and computing device
CN111383247A (zh) * 2018-12-29 2020-07-07 北京易讯理想科技有限公司 增强金字塔lk光流算法图像跟踪稳定性的方法
CN109948526B (zh) * 2019-03-18 2021-10-29 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN111754543B (zh) * 2019-03-29 2024-03-29 杭州海康威视数字技术股份有限公司 图像处理方法、装置及***
CN111754543A (zh) * 2019-03-29 2020-10-09 杭州海康威视数字技术股份有限公司 图像处理方法、装置及***
CN110245641A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 一种目标追踪拍摄方法、装置、电子设备
CN111127518A (zh) * 2019-12-24 2020-05-08 深圳火星探索科技有限公司 基于无人机的目标跟踪方法及装置
CN111127518B (zh) * 2019-12-24 2023-04-14 深圳禾苗通信科技有限公司 基于无人机的目标跟踪方法及装置
CN111314609B (zh) * 2020-02-24 2021-07-20 浙江大华技术股份有限公司 一种控制云台追踪摄像的方法及装置
CN111314609A (zh) * 2020-02-24 2020-06-19 浙江大华技术股份有限公司 一种控制云台追踪摄像的方法及装置
CN112955712A (zh) * 2020-04-28 2021-06-11 深圳市大疆创新科技有限公司 目标跟踪方法、设备及存储介质
CN112184776A (zh) * 2020-09-30 2021-01-05 珠海大横琴科技发展有限公司 一种目标跟踪方法、装置及存储介质
CN113095141A (zh) * 2021-03-15 2021-07-09 南通大学 一种基于人工智能的无人机视觉学习***
WO2023036260A1 (zh) * 2021-09-10 2023-03-16 深圳市道通智能航空技术股份有限公司 一种图像获取方法、装置、飞行器和存储介质
CN113848979B (zh) * 2021-10-12 2023-01-17 苏州大学 基于前馈补偿pid控制的无人机复杂动态目标追踪方法
CN113848979A (zh) * 2021-10-12 2021-12-28 苏州大学 基于前馈补偿pid控制的无人机复杂动态目标追踪方法
CN115035157A (zh) * 2022-05-31 2022-09-09 广东天太机器人有限公司 一种基于视觉跟踪的agv运动控制方法、装置及介质
CN115035157B (zh) * 2022-05-31 2024-07-12 广东天太机器人有限公司 一种基于视觉跟踪的agv运动控制方法、装置及介质

Also Published As

Publication number Publication date
WO2017096949A1 (zh) 2017-06-15
US20180284777A1 (en) 2018-10-04
US10782688B2 (en) 2020-09-22
EP3373248A1 (en) 2018-09-12
EP3373248A4 (en) 2018-09-12

Similar Documents

Publication Publication Date Title
CN105578034A (zh) 一种对目标进行跟踪拍摄的控制方法、控制装置及***
US20230077355A1 (en) Tracker assisted image capture
Liu et al. Context-aware three-dimensional mean-shift with occlusion handling for robust object tracking in RGB-D videos
Lee et al. Key-segments for video object segmentation
CN107993245B (zh) 一种空天背景多目标检测和跟踪方法
Smeulders et al. Visual tracking: An experimental survey
CN108961312A (zh) 用于嵌入式视觉***的高性能视觉对象跟踪方法及***
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN110738667A (zh) 一种基于动态场景的rgb-d slam方法和***
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
CN114463619B (zh) 基于集成融合特征的红外弱小目标检测方法
Zhang et al. An optical flow based moving objects detection algorithm for the UAV
CN114613006A (zh) 一种远距离手势识别方法及装置
US20080198237A1 (en) System and method for adaptive pixel segmentation from image sequences
CN109583361A (zh) 基于能量最小化的场景视频文本跟踪方法
CN117671299A (zh) 一种回环检测方法、装置、设备及存储介质
EP4052224B1 (en) Method for generating a three dimensional, 3d, model
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images
CN110503663B (zh) 一种基于抽帧检测的随机多目标自动检测跟踪方法
Chuang et al. Moving object segmentation and tracking using active contour and color classification models
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及***
Sujatha et al. An innovative moving object detection and tracking system by using modified region growing algorithm
CN112907634A (zh) 基于无人机的车辆跟踪方法
Kovács et al. Shape-and-motion-fused multiple flying target recognition and tracking
Yoon et al. Fluctuation-Based Fade Detection for Local Scene Changes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20160511

RJ01 Rejection of invention patent application after publication