CN109828596A - 一种目标跟踪方法、装置和无人机 - Google Patents

一种目标跟踪方法、装置和无人机 Download PDF

Info

Publication number
CN109828596A
CN109828596A CN201910149496.1A CN201910149496A CN109828596A CN 109828596 A CN109828596 A CN 109828596A CN 201910149496 A CN201910149496 A CN 201910149496A CN 109828596 A CN109828596 A CN 109828596A
Authority
CN
China
Prior art keywords
visible light
camera
tracking
infrared
tracking information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910149496.1A
Other languages
English (en)
Inventor
雷小刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN201910149496.1A priority Critical patent/CN109828596A/zh
Publication of CN109828596A publication Critical patent/CN109828596A/zh
Priority to PCT/CN2020/076796 priority patent/WO2020173463A1/zh
Priority to US17/310,717 priority patent/US11924538B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例涉及无人机技术领域，具体公开了一种目标跟踪方法、装置及无人机，该方法应用于包括可见光摄像机和红外摄像机的无人机，包括：控制可见光摄像机对目标物进行视觉跟踪，并实时记录目标物的第一跟踪信息，以及，控制红外摄像机对目标物进行红外跟踪，并实时记录目标物的第二跟踪信息；确定可见光摄像机丢失目标物，则控制可见光摄像机根据第二跟踪信息重新锁定目标物并继续进行视觉跟踪；或者，确定红外摄像机丢失目标物，则控制红外摄像机根据第一跟踪信息重新锁定目标物并继续进行红外跟踪。通过上述技术方案，本发明实施例能够提高无人机的目标跟踪性能，扩大应用范围。

Description

一种目标跟踪方法、装置和无人机
技术领域
本发明实施例涉及无人机技术领域，尤其涉及一种目标跟踪方法、装置和无人机。
背景技术
无人驾驶飞机，简称无人机(Unmanned Aerial Vehicle，UAV)，是一种通过无线电遥控设备和内置的程序来控制飞行姿态的不载人飞机，由于其具有机动灵活、反应快速、无人驾驶、操作要求低等优点，现已广泛应用于航拍、植保、电力巡检、救灾等众多领域。
当前，可以利用无人机对给定的目标物进行识别和跟踪。然而，在现有的目标跟踪方式中，无人机通常是利用其上搭载的可见光摄像机对目标物进行视觉跟踪，当目标物特征稀少、体积小或者被遮挡时，容易丢失目标物，从而导致跟踪失败。
因此，现有的目标跟踪技术还有待于改进和发展。
发明内容
本发明实施例提供一种目标跟踪方法、装置和无人机，旨在于解决当目标物特征稀少、体积小或者被遮挡时，容易丢失目标物，从而导致跟踪失败的问题。
为解决上述技术问题，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供一种目标跟踪方法，应用于无人机，所述无人机包括可见光摄像机和红外摄像机，所述方法包括：
控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；
控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息；
确定所述可见光摄像机丢失所述目标物，则：
控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；或者，
确定所述红外摄像机丢失所述目标物，则：
控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
可选地，所述控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，包括：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像，确定所述目标物的图像特征和初始位置；
控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并实时记录所述目标物的所述第一跟踪信息。
可选地，所述控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，包括：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实时记录所述目标物的所述第二跟踪信息。
可选地，所述方法还包括：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
可选地，所述方法还包括：
将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。
可选地，当所述可见光摄像机丢失所述目标物时，所述方法还包括：
将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
可选地，所述方法还包括：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。
第二方面，本发明实施例提供一种目标跟踪装置，所述无人机包括可见光摄像机和红外摄像机，其特征在于，所述装置包括：
视觉跟踪单元，用于控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；
红外跟踪单元，用于控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息；
第一调整单元，用于在确定所述可见光摄像机丢失所述目标物时，控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；
第二调整单元，用于在确定所述红外摄像机丢失所述目标物时，控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
可选地，所述视觉跟踪单元具体用于：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像，确定所述目标物的图像特征和初始位置；
控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息。
可选地，所述红外跟踪单元具体用于：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实时记录所述目标物的所述第二跟踪信息。
可选地，所述装置还包括第三调整单元，所述第三调整单元具体用于：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
可选地，所述装置还包括：
第一发送单元，用于将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。
可选地，所述装置还包括：
第二发送单元，用于当所述可见光摄像机丢失所述目标物时，将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
可选地，所述装置还包括第四调整单元，所述第四调整单元具体用于：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。
第三方面，本发明实施例提供一种无人机，包括：
机身；
机臂，与所述机身相连；
可见光摄像机，设于所述机身；
红外摄像机，设于所述机身；
处理器，设于所述机身，所述处理器分别与所述可见光摄像机和所述红外摄像机通信连接；以及，
存储器，与所述处理器通信连接；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的目标跟踪方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使无人机执行如上所述的目标跟踪方法。
第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被无人机执行时，使所述无人机执行如上所述的目标跟踪方法。
本发明实施例的有益效果是：区别于现有技术的情况，本发明实施例提供的目标跟踪方法、装置和无人机通过控制无人机上的可见光摄像机和红外摄像机分别对目标物进行视觉跟踪和红外跟踪，并实时记录所述目标物的第一跟踪信息和第二跟踪信息，并且，当所述可见光摄像机丢失所述目标物时，控制所述可见光摄像机根据所述红外摄像机记录的第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪，或者，当所述红外摄像机丢失所述目标物时，控制所述红外摄像机根据所述可见光摄像机记录的第一跟踪信息重新锁定所述目标物并继续进行红外跟踪，能够利用两种类型的摄像机之间的相互协作，提高无人机的目标跟踪性能，扩大应用范围。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的目标跟踪方法的其中一种应用环境的示意图；
图2是本发明实施例提供的一种目标跟踪方法的流程示意图；
图3是本发明实施例提供的一种控制可见光摄像机对目标物进行视觉跟踪的方法的流程示意图；
图4是本发明实施例提供的一种控制红外摄像机对目标物进行红外跟踪的方法的流程示意图；
图5是本发明实施例提供的一种目标跟踪装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明各个实施例或者一实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”“第二”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
实施例一
图1是本发明实施例提供的目标跟踪方法的其中一种应用环境的示意图，请参阅图1，该应用环境包括：无人机10、遥控设备20以及目标物30。所述无人机10与所述遥控设备20之间可以通过任意方式进行无线通信连接，比如：可以利用无线保真技术(WirelessFidelity,Wi-Fi)、蓝牙(Bluetooth)技术或者诸如第3代(3rd Generation，3G)、***(4th Generation，4G)、或第五代(5th Generation，5G)等移动通信技术，来实现无线连接，在此不予限定。
其中，所述无人机10可以是任意类型的无人驾驶飞行器，其可以包括但不限于：单旋翼无人机、四旋翼无人机、六旋翼无人机、倾转旋翼无人机等等。
具体地，所述无人机10包括机身101以及与所述机身101相连的机臂102。所述机身101上搭载有可见光摄像机11、红外摄像机12、处理器13以及存储器14。
其中，所述可见光摄像机11是指利用光学成像原理形成影像并使用底片记录影像的设备，其可以为任意用于摄影的光学器材，所采集到的图像为可见光图像；所述红外摄像机12是指通过非接触探测红外能量(或者说，热量)，并将其转换为电信号，进而形成红外图像数据的设备，其具体可以是一个红外跟踪仪。所述可见光摄像机11和所述红外摄像机12均与所述处理器13通信连接，能够基于所述处理器13的指令执行相应的任务并给予所述处理器13相应的反馈，比如，采集图像、进行目标跟踪、记录目标物的跟踪信息等等。
所述处理器13可以是任意能够执行一定指令/任务的图像处理中心或者中央调控中心，其具体可以是一个MCU。所述处理器13除了用于指示所述可见光摄像机11和/或所述红外摄像机12执行相应的任务之外，还用于与所述遥控设备20进行通信，基于所述遥控设备20的指令执行相应的任务。从而，在本实施例中，可以由所述处理器13执行本发明实施例提供的目标跟踪方法。
所述存储器14与所述处理器13通信连接，可以是一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的目标跟踪方法对应的程序指令/模块。所述处理器13通过运行存储在存储器14中的非暂态软件程序、指令以及模块，可以实现下述任一方法实施例中的目标跟踪方法。具体地，所述存储器14可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器14还可以包括相对于处理器13远程设置的存储器，这些远程存储器可以通过网络连接至处理器13。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述遥控设备20可以是任意能够操控所述无人机10的设备，比如，遥控器、智能手机、平板电脑等。所述遥控设备20可以通过向所述无人机10发送控制指令来控制所述无人机10调整飞行姿态或者执行相应的任务，也可以接收来自所述无人机10的信号或图像数据。所述遥控设备20还可以配置有显示屏，用于根据图像数据来显示图像。
所述目标物30可以是任意给定的跟踪目标，比如，其具体可以为自行车、汽车、人、动物、其他飞行物体等等。
在实际应用中，当需要利用所述无人机10对目标物30进行跟踪时，用户/飞手可以通过所述遥控设备20向所述无人机10的处理器13发送目标跟踪指令。所述处理器13接收到该目标跟踪指令后，可采用本发明实施例提供的目标跟踪方法，控制所述可见光摄像机11和所述红外摄像机12对所述目标物30进行跟踪。具体为：控制所述可见光摄像机11对所述目标物30进行视觉跟踪，并实时记录所述目标物30的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；控制所述红外摄像机12对所述目标物30进行红外跟踪，并实时记录所述目标物30的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息。在跟踪的过程中，当确定所述可见光摄像机11丢失所述目标物30时，所述处理器13可控制所述可见光摄像机11根据所述第二跟踪信息重新锁定所述目标物30并继续进行视觉跟踪；或者，当确定所述红外摄像机12丢失所述目标物时，所述处理器13可以控制所述红外摄像机12根据所述第一跟踪信息重新锁定所述目标物30并继续进行红外跟踪。从而，通过所述可见光摄像机11和所述红外摄像机12之间的相互协作，可以实现对所述目标物30的持续跟踪，提高所述无人机10的目标跟踪性能，扩大其应用范围。
其中，需要说明的是，上述应用环境仅是为了进行示例性说明，在实际应用中，本发明实施例提供的目标跟踪方法和相关装置还可以进一步的拓展到其他合适的应用环境中，而不限于图1中所示的应用环境。比如，在其他的一些实施例中，所述可见光摄像机11和所述红外摄像机12也可以各自对应不同的图像处理中心，这两个不同的图像处理中心均能独立执行相应的跟踪任务，并且两者之间互通信息，当其中一个摄像机丢失所述目标物30时，由该摄像机对应的图像处理中心从另一个摄像机对应的图像处理中心获取所述目标物的跟踪信息，进而基于获取到的跟踪信息重新锁定所述目标物30并继续进行跟踪。
实施例二
图2是本发明实施例提供的一种目标跟踪方法的流程示意图。该方法可以由上述无人机10执行。
具体地，请参阅图2，该方法可以包括但不限于如下步骤：
步骤110：控制可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息。
在本实施例中，所述“目标物”即需要跟踪的目标，其可以由无人机基于一些给定特征(比如，动态特征、外形特征等)自主识别得到，也可以由用户通过遥控设备选定后反馈至所述无人机。所述“视觉跟踪”是指基于可见光图像序列对所述目标物进行跟踪。所述“第一跟踪信息”是指所述可见光摄像机在对所述目标物进行视觉跟踪时得到并记录下来的信息，用于方便所述无人机的红外摄像机锁定所述目标物。具体地，所述“第一跟踪信息”可以包括所述目标物的第一位置信息(比如，在可见光图像中的位置、相对于所述无人机的角度、相对于所述无人机的距离等)。通过所述第一位置信息，可以方便所述无人机快速定位所述目标物当前所在的位置，及时调整所述红外摄像机的拍摄角度，从而提升所述红外摄像机锁定所述目标物的效率。此外，在其他的一些实施例中，为了进一步保障目标物锁定的准确度，所述第一跟踪信息还可以包括形状、大小等标识所述目标物的特征的信息。
在具体实施时，根据所述无人机确定所述目标物的方式的不同，可以采用不同的方式控制所述可见光摄像机对所述目标物进行视觉跟踪。
比如，在一些实施例中，所述目标物由所述无人机自主识别得到，说明，所述可见光摄像机已经锁定了所述目标物，从而，所述可见光摄像机可以直接基于锁定的目标物的图像特征进行视觉跟踪。
又如，在另一些实施例中，所述目标物也可以由用户通过遥控设备指定，此时，可以采用如图3所示的方法控制所述可见光摄像机对所述目标物进行视觉跟踪。
具体地，请参阅图3，该方法可以包括但不限于如下步骤：
步骤111：控制可见光摄像机采集包括目标物的初始可见光图像。
在该实施例中，所述“初始可见光图像”是指用户选定目标物时，所述可见光摄像机采集到的图像。所述初始可见光图像中包含有将要选定的目标物。
在实际应用时，可将所述可见光摄像机采集到的图像反馈至遥控设备进行显示，以便用户在所显示的图像中选定目标物。从而，用户可以基于所显示的图像调整所述可见光摄像机的拍摄角度，而当用户不再调整所述可见光摄像机的拍摄角度时，说明用户在当前显示的图像中找到了所述目标物，那么，所述可见光摄像机在当前拍摄角度采集到的可见光图像即所述“初始可见光图像”。
步骤112：基于所述初始可见光图像，确定所述目标物的图像特征和初始位置。
当用户在所述遥控设备上标识出所述目标物时，可通过用户在所述初始可见光图像中标识的位置对所述目标物进行锁定，并确定所述目标物的图像特征和初始位置。其中，所述初始位置用于方便所述红外摄像机对所述目标物进行锁定，其具体可以为所述目标物在所述可见光图像中的位置、所述目标物相对所述无人机的角度或所述目标物相对所述无人机的距离中的一种或者多种。
步骤113：控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪。
一般地，视觉跟踪大多是根据目标物的图像特征进行，因此，在该实施例中，在获取到所述目标物的图像特征之后，即可控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪。
此外，在进行视觉跟踪的过程中，还实时记录所述目标物的所述第一跟踪信息，以便红外摄像机在丢失所述目标物时，根据所述第一跟踪信息重新锁定所述目标物。
步骤120：控制红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息。
其中，所述“红外跟踪”是指基于红外图像序列对所述目标物进行跟踪。所述“红外跟踪”与所述“视觉跟踪”同步进行。所述“第二跟踪信息”是指所述红外摄像机在对所述目标物进行红外跟踪时得到并记录下来的信息，用于方便所述可见光摄像机锁定所述目标物。
与所述“第一跟踪信息”相似地，所述“第二跟踪信息”也可以包括所述目标物的第二位置信息(比如，在红外图像中的位置、相对于所述无人机的角度、相对于所述无人机的距离等)，以及，为了进一步保障目标物锁定的准确度，所述第二跟踪信息还可以包括形状、大小等标识所述目标物的特征的信息。
在具体实施时，根据所述无人机确定所述目标物的方式的不同，也可以采用不同的方式控制所述红外摄像机对所述目标物进行红外跟踪。比如，在一些实施例中，所述目标物可以由所述红外摄像机基于一些给定的特征(比如，热能特征、轮廓特征等)自主识别得到，则，所述红外摄像机可以直接基于这些给定的特征进行红外跟踪。
或者，在另一些实施例中，所述目标物也可以由用户通过遥控设备指定，此时，可以在上述步骤111至113的基础上，采用如图4所示的方法控制所述红外摄像机对所述目标物进行红外跟踪。
具体地，请参阅图4，该方法可以包括但不限于如下步骤：
步骤121：控制红外摄像机采集包括目标物的初始红外图像。
在本实施例中，所述“初始红外图像”是指用户选定目标物时，红外摄像机采集到的图像，其与所述“初始可见光图像”对应相同的拍摄场景，其内也包含将要选定的目标物。
在实际应用中，可以预先将所述红外摄像机机的拍摄方向调整到与所述可见光摄像机的拍摄方向一致，以使所述红外摄像机和所述可见光摄像机的拍摄对象/场景一致。从而，当所述可见光摄像机采集到所述“初始可见光图像”时，所述红外摄像机即采集到所述“初始红外图像”。
步骤122：根据所述初始位置，从所述初始红外图像中提取出所述目标物的热能特征。
由于所述初始红外图像和所述初始可见光图像是针对同一拍摄场景的两种不同呈现方式，因此，在该实施例中，可以首先根据目标物的所述初始位置，在所述初始红外图像中定位到所述目标物，进而从所述初始红外图像中提取出所述目标物的热能特征。
步骤123：控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪。
一般地，红外跟踪大多是根据目标物的热能特征进行，因此，在该实施例中，在获取到所述目标物的热能特征之后，即可控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪。
同样地，在进行红外跟踪的过程中，还实时记录所述目标物的所述第二跟踪信息，以便可见光摄像机在丢失所述目标物时，根据所述第二跟踪信息重新锁定所述目标物。
其中，应当理解的是，在上述实施例中，将可见光摄像机采集到的图像反馈至遥控设备进行显示，以便用户在所述初始可见光图像中选定目标物，得到所述目标物的初始位置，进而基于所述初始位置，在所述初始红外图像中锁定所述目标物；主要是因为在一般情况下，可见光图像的视觉效果与肉眼观看效果相近，清晰度较高，用户可以在可见光图像中清楚地识别出想要跟踪的目标物，而红外图像则为通过采集热能组成的画面，用户无法具体地看清各种事物，只能看到热能的轮廓。在其他的一些实施例中，也可以同时将红外摄像机采集到的图像反馈至遥控设备进行辅助显示，以便用户同时在所述初始红外图像中选定目标物。
再者，在进行跟踪的过程中，当确定所述可见光摄像机丢失所述目标物时，比如，当所述目标物被遮挡或者所述目标物处于所述可见光摄像机的视场角之外时，执行下述步骤130。当确定所述红外摄像机丢失所述目标物时，比如，当所述红外摄像机探测不到所述目标物的热能特征时，执行下述步骤140。
步骤130：控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪。
在本实施例中，当所述可见光摄像机丢失所述目标物时，可以将所述红外摄像机在当前时刻记录的第二跟踪信息反馈至所述可见光摄像机，以使所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪。
其中，在一些实施例中，所述第二跟踪信息包括所述目标物的第二位置信息，从而，所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物的具体实施方式可以是：根据所述目标物当前的第二位置信息，判断所述目标物是否在所述可见光摄像机的视场角范围之内；如果在，则说明所述目标物可能被遮挡了，此时，可以以所述红外摄像机为主，对所述目标物进行红外跟踪，而所述可见光摄像机则持续基于所述红外摄像机反馈的第二位置信息，将所述目标物当前所在位置作为拍摄中心，直至所述目标物离开遮挡后，重新锁定所述目标物；如果不在，则说明所述目标物位于所述可见光摄像机的盲区，此时，可以根据所述目标物的第二位置信息调整所述可见光摄像机的拍摄角度，以使所述目标物落入所述可见光摄像机的视场角范围之内，进而结合所述目标物的图像特征和第二位置信息重新锁定所述目标物。
步骤140：控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
在本实施例中，当所述红外摄像机丢失所述目标物时，可以将所述可见光摄像机在当前时刻记录的第一跟踪信息反馈至所述红外摄像机，以使所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
其中，在一些实施例中，所述第一跟踪信息包括所述目标物的第一位置信息，从而，所述红外摄像机可以根据所述第一位置信息快速定位到所述目标物当前所在的位置，并提取该位置处的热能特征，如果提取到的热能特征与所述目标物的热能特征匹配，则重新锁定所述目标物并继续进行红外跟踪；如果不匹配，则向所述遥控设备请求人工介入。
通过上述技术方案可知，本发明实施例的有益效果在于：本发明实施例提供的目标跟踪方法通过控制无人机上的可见光摄像机和红外摄像机分别对目标物进行视觉跟踪和红外跟踪，并实时记录所述目标物的第一跟踪信息和第二跟踪信息，并且，当所述可见光摄像机丢失所述目标物时，控制所述可见光摄像机根据所述红外摄像机记录的第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪，或者，当所述红外摄像机丢失所述目标物时，控制所述红外摄像机根据所述可见光摄像机记录的第一跟踪信息重新锁定所述目标物并继续进行红外跟踪，能够利用两种类型的摄像机之间的相互协作，提高无人机的目标跟踪性能，扩大应用范围。
实施例三
进一步地，考虑到所述可见光摄像机和所述红外摄像机在进行目标跟踪的过程中有可能会因为受到环境因素的干扰而无法正确锁定目标物，本发明实施例提供了另一种目标跟踪方法。
该方法与上述实施例二提供的目标跟踪方法的不同之处在于，所述方法还包括：当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰。如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
通过上述技术方案可知，本发明实施例的有益效果在于：本发明实施例提供的目标跟踪方法通过当所述第一位置信息和第二位置信息不一致时，控制所述可见光摄像机和/或红外摄像机作出相应的调整，能够进一步提升目标跟踪的可靠性。
实施例四
为了方便用户实时观看所述目标物的跟踪画面，以及，便于用户及时调整需要跟踪的目标，本发明实施例四提供了又一种目标跟踪方法。
该方法与上述实施例二和实施例三的不同之处在于，在本实施例中，所述方法还包括：将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。便于用户清楚地了解所述目标物的运动状态。
进一步地，在一些实施例中，当所述可见光摄像机丢失所述目标物时，还可以将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。从而，即便所述可见光摄像机丢失了所述目标物，也可以通过所述红外摄像机采集到的红外图像向用户呈现所述目标物的运动状态。
再者，在另一些实施例中，当用户发现所述可见光摄像机跟踪的目标有误或者想要变更目标物时，还可以通过所述遥控设备向所述无人机发送目标调整指令，该目标调整指令可携带有新目标的位置信息或者图像特征。对应地，在该实施例中，该目标跟踪方法还可以包括：接收所述遥控设备发送的目标调整指令；控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息。其中，所述第三跟踪信息和所述第四跟踪信息分别与所述第一跟踪信息和所述第二跟踪信息类似，其不同之处仅在于：所述第一跟踪信息和所述第二跟踪信息是针对最开始锁定的目标物的跟踪信息，而所述第三跟踪信息和所述第四跟踪信息则是针对根据用户发送的目标调整指令重新锁定的新目标物的跟踪信息。
通过上述技术方案可知，本发明实施例的有益效果在于：本发明实施例提供的目标跟踪方法通过将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像，能够方便用户实时观看所述目标物的跟踪画面，以及，便于用户及时调整需要跟踪的目标。
实施例五
图5是本发明实施例提供的一种目标跟踪装置的结构示意图，该目标跟踪装置可以运行于如图1所示的无人机10，所述无人机包括可见光摄像机和红外摄像机。
具体地，请参阅图5，该装置500包括：视觉跟踪单元511、红外跟踪单元512、第一调整单元520以及第二调整单元530。其中：
所述跟踪单元511用于控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；
所述红外跟踪单元512用于控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息；
所述第一调整单元520用于在确定所述可见光摄像机丢失所述目标物时，控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；
所述第二调整单元530用于在确定所述红外摄像机丢失所述目标物时，控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
在本实施例中，可以首先通过视觉跟踪单元511控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，以及，通过红外跟踪单元512控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息；在进行跟踪的过程中，当确定所述可见光摄像机丢失所述目标物时，由第一调整单元520控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；当确定所述红外摄像机丢失所述目标物时，由第二调整单元530控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
具体地，在一些实施例中，所述视觉跟踪单元511具体用于：控制所述可见光摄像机采集包括目标物的初始可见光图像；基于所述初始可见光图像，确定所述目标物的图像特征和初始位置；控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息。所述红外跟踪单元512具体用于：控制所述红外摄像机采集所述目标物的初始红外图像；根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物的热能特征；控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实时记录所述目标物的所述第二跟踪信息。
进一步地，在一些实施例中，所述装置500还包括第三调整单元540。
所述第三调整单元540具体用于：当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰；如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
在一些实施例中，所述装置500还包括：第一发送单元550，用于将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。
在一些实施例中，所述装置500还包括：第二发送单元560，用于当所述可见光摄像机丢失所述目标物时，将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
在一些实施例中，所述装置500还包括：第四调整单元570。所述第四调整单元570具体用于：接收所述遥控设备发送的目标调整指令；控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息。其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。
需要说明的是，由于所述目标跟踪装置与上述方法实施例中的目标跟踪方法基于相同的发明构思，因此，上述方法实施例的相应内容同样适用于装置实施例，此处不再详述。
通过上述技术方案可知，本发明实施例的有益效果在于：本发明实施例提供的目标跟踪装置通过利用视觉跟踪单元511和红外跟踪单元512分别控制无人机上的可见光摄像机和红外摄像机分别对目标物进行视觉跟踪和红外跟踪，并实时记录所述目标物的第一跟踪信息和第二跟踪信息，并且，当确定所述可见光摄像机丢失所述目标物时，由第一调整单元520控制所述可见光摄像机根据所述红外摄像机记录的第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪，或者，当确定所述红外摄像机丢失所述目标物时，由所述第二调整单元530控制所述红外摄像机根据所述可见光摄像机记录的第一跟踪信息重新锁定所述目标物并继续进行红外跟踪，能够利用两种类型的摄像机之间的相互协作，提高无人机的目标跟踪性能，扩大应用范围。
应理解的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
实施例六
本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被图1中的一个处理器13执行，可使得上述一个或多个处理器执行上述任意方法实施例中的目标跟踪方法，例如，执行以上描述的图2中的方法步骤110-120、130或140，图3中的方法步骤111至113，图4中的方法步骤121至123。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序产品中的计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非暂态计算机可读取存储介质中，该计算机程序包括程序指令，当所述程序指令被无人机执行时，可使所述无人机执行上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
上述产品可执行本发明实施例所提供的目标跟踪方法，具备执行目标跟踪方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的目标跟踪方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种目标跟踪方法，应用于无人机，所述无人机包括可见光摄像机和红外摄像机，其特征在于，所述方法包括：
控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；
控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息；
确定所述可见光摄像机丢失所述目标物，则：
控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；或者，
确定所述红外摄像机丢失所述目标物，则：
控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
2.根据权利要求1所述的方法，其特征在于，所述控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，包括：
控制所述可见光摄像机采集所述目标物的初始可见光图像；
基于所述初始可见光图像，确定所述目标物的图像特征和初始位置；
控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并实时记录所述目标物的所述第一跟踪信息。
3.根据权利要求2所述的方法，其特征在于，所述控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，包括：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实时记录所述目标物的所述第二跟踪信息。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。
6.根据权利要求5所述的方法，其特征在于，当所述可见光摄像机丢失所述目标物时，所述方法还包括：
将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。
8.一种目标跟踪装置，应用于无人机，所述无人机包括可见光摄像机和红外摄像机，其特征在于，所述装置包括：
视觉跟踪单元，用于控制所述可见光摄像机对目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息，其中，所述第一跟踪信息包括所述目标物的第一位置信息；
红外跟踪单元，用于控制所述红外摄像机对所述目标物进行红外跟踪，并实时记录所述目标物的第二跟踪信息，其中，所述第二跟踪信息包括所述目标物的第二位置信息；
第一调整单元，用于在确定所述可见光摄像机丢失所述目标物时，控制所述可见光摄像机根据所述第二跟踪信息重新锁定所述目标物并继续进行视觉跟踪；
第二调整单元，用于在确定所述红外摄像机丢失所述目标物时，控制所述红外摄像机根据所述第一跟踪信息重新锁定所述目标物并继续进行红外跟踪。
9.根据权利要求8所述的装置，其特征在于，所述视觉跟踪单元具体用于：
控制所述可见光摄像机采集包括目标物的初始可见光图像；
基于所述初始可见光图像，确定所述目标物的图像特征和初始位置；
控制所述可见光摄像机基于所述图像特征对所述目标物进行视觉跟踪，并实时记录所述目标物的第一跟踪信息。
10.根据权利要求9所述的装置，其特征在于，所述红外跟踪单元具体用于：
控制所述红外摄像机采集所述目标物的初始红外图像；
根据所述目标物的所述初始位置，从所述初始红外图像中提取所述目标物的热能特征；
控制所述红外摄像机基于所述热能特征对所述目标物进行红外跟踪，并实时记录所述目标物的所述第二跟踪信息。
11.根据权利要求8-10任一项所述的装置，其特征在于，所述装置还包括第三调整单元，所述第三调整单元具体用于：
当所述第一位置信息和所述第二位置信息不一致时，判断所述可见光摄像机和所述红外摄像机是否受到干扰；
如果所述可见光摄像机没有受到干扰，则控制所述红外摄像机根据所述第一位置信息重新锁定所述目标物并继续进行红外跟踪；
如果所述可见光摄像机受到干扰，但所述红外摄像机没有受到干扰，则控制所述可见光摄像机根据所述第二位置信息重新锁定所述目标物并继续进行视觉跟踪；
如果所述可见光摄像机和所述红外摄像机均受到干扰，则向所述无人机的遥控设备发送手动控制请求，以退出自动跟踪模式。
12.根据权利要求8-11任一项所述的装置，其特征在于，所述装置还包括：
第一发送单元，用于将所述可见光摄像机采集到的可见光图像发送至所述无人机的遥控设备，以使所述遥控设备实时显示所述可见光图像。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第二发送单元，用于当所述可见光摄像机丢失所述目标物时，将所述红外摄像机采集到的红外图像发送至所述遥控设备，以使所述遥控设备显示所述红外图像或者同时显示所述可见光图像和所述红外图像。
14.根据权利要求12或13所述的装置，其特征在于，所述装置还包括第四调整单元，所述第四调整单元具体用于：
接收所述遥控设备发送的目标调整指令；
控制所述可见光摄像机根据所述目标调整指令重新锁定新目标物并进行视觉跟踪，以及，实时记录重新锁定的新目标物的第三跟踪信息；
控制所述红外摄像机根据所述第三跟踪信息对所述重新锁定的新目标物进行红外跟踪，并实时记录所述重新锁定的新目标物的第四跟踪信息；
其中，所述第三跟踪信息和所述第四跟踪信息为针对根据所述目标调整指令重新锁定的所述新目标物的跟踪信息。
15.一种无人机，其特征在于，包括：
机身；
机臂，与所述机身相连；
可见光摄像机，设于所述机身；
红外摄像机，设于所述机身；
处理器，设于所述机身，所述处理器分别与所述可见光摄像机和所述红外摄像机通信连接；以及，
存储器，与所述处理器通信连接；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一项所述的方法。
16.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使无人机执行如权利要求1-7任一项所述的方法。
CN201910149496.1A 2019-02-28 2019-02-28 一种目标跟踪方法、装置和无人机 Pending CN109828596A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910149496.1A CN109828596A (zh) 2019-02-28 2019-02-28 一种目标跟踪方法、装置和无人机
PCT/CN2020/076796 WO2020173463A1 (zh) 2019-02-28 2020-02-26 目标跟踪方法、装置和无人机
US17/310,717 US11924538B2 (en) 2019-02-28 2020-02-26 Target tracking method and apparatus and unmanned aerial vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910149496.1A CN109828596A (zh) 2019-02-28 2019-02-28 一种目标跟踪方法、装置和无人机

Publications (1)

Publication Number Publication Date
CN109828596A true CN109828596A (zh) 2019-05-31

Family

ID=66864818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910149496.1A Pending CN109828596A (zh) 2019-02-28 2019-02-28 一种目标跟踪方法、装置和无人机

Country Status (3)

Country Link
US (1) US11924538B2 (zh)
CN (1) CN109828596A (zh)
WO (1) WO2020173463A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
WO2020173463A1 (zh) * 2019-02-28 2020-09-03 深圳市道通智能航空技术有限公司 目标跟踪方法、装置和无人机
CN111694305A (zh) * 2020-06-12 2020-09-22 西安微电子技术研究所 一种异构多核无人机控制计算机
CN112034892A (zh) * 2020-09-09 2020-12-04 南京森林警察学院 麻醉式打击类警用智能化旋翼无人机及其控制方法及***

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11906361B2 (en) * 2020-10-28 2024-02-20 Datalogic Ip Tech S.R.L. Portable device combining indicia scan and contactless temperature functions
US11877052B2 (en) * 2020-12-08 2024-01-16 Cortica Ltd. Filming an event by an autonomous robotic system
CN116758117B (zh) * 2023-06-28 2024-02-09 云南大学 可见光与红外图像下的目标跟踪方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN101294823A (zh) * 2007-04-28 2008-10-29 长春奥普光电技术股份有限公司 实现多载荷光电跟踪设备自身自动调整两光轴平行的方法
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御***
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置
CN109218598A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种相机切换方法、装置及无人机

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US20050128291A1 (en) * 2002-04-17 2005-06-16 Yoshishige Murakami Video surveillance system
KR100927096B1 (ko) * 2008-02-27 2009-11-13 아주대학교산학협력단 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
US8244469B2 (en) * 2008-03-16 2012-08-14 Irobot Corporation Collaborative engagement for target identification and tracking
FR2944629B1 (fr) * 2009-04-17 2017-01-20 Univ De Tech De Troyes Systeme et procede de localisation de cible par un reseau de cameras
US9435520B2 (en) * 2012-08-16 2016-09-06 Ascendant Engineering Solutions Gimbal systems providing high-precision imaging capabilities in a compact form-factor
US20140226024A1 (en) * 2013-02-08 2014-08-14 Kutta Technologies, Inc. Camera control in presence of latency
US9245196B2 (en) * 2014-05-09 2016-01-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for tracking people in indoor environments using a visible light camera and a low-frame-rate infrared sensor
US10073454B2 (en) * 2016-03-17 2018-09-11 Northrop Grumman Systems Corporation Machine vision enabled swarm guidance technology
CA3035197A1 (en) * 2016-09-08 2018-03-15 Walmart Apollo, Llc Systems and methods for identifying pests in crop-containing areas via unmanned vehicles
CN106504363A (zh) 2016-10-19 2017-03-15 广东容祺智能科技有限公司 一种智能机载双光巡检***稳定平台自动跟踪方法
CN106683123B (zh) 2016-10-31 2019-04-02 纳恩博（北京）科技有限公司 一种目标跟踪方法及目标跟踪装置
EP3339803B1 (de) * 2016-12-22 2021-05-12 Leica Geosystems AG Koordinatenmessgerät mit automatischer zielobjekterkennung
CN206537523U (zh) * 2016-12-30 2017-10-03 昊翔电能运动科技(昆山)有限公司 用于无人机的云台减震装置
US10725472B2 (en) * 2017-08-10 2020-07-28 Beijing Airlango Technology Co., Ltd. Object tracking using depth information
CN110049921B (zh) * 2017-11-03 2022-12-23 深圳市大疆创新科技有限公司 用于红外跟踪的方法和***
US11205073B2 (en) * 2018-03-30 2021-12-21 Greensight Agronomics, Inc. System to automatically detect and report changes over time in a large imaging data set
CN109828596A (zh) 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
US20210208673A1 (en) * 2020-01-03 2021-07-08 Facebook Technologies, Llc Joint infrared and visible light visual-inertial object tracking

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101294823A (zh) * 2007-04-28 2008-10-29 长春奥普光电技术股份有限公司 实现多载荷光电跟踪设备自身自动调整两光轴平行的方法
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN106485245A (zh) * 2015-08-24 2017-03-08 南京理工大学 一种基于可见光和红外图像的全天候目标实时跟踪方法
CN107255468A (zh) * 2017-05-24 2017-10-17 纳恩博（北京）科技有限公司 目标跟踪方法、目标跟踪设备及计算机存储介质
CN109218598A (zh) * 2017-06-30 2019-01-15 北京臻迪科技股份有限公司 一种相机切换方法、装置及无人机
CN107566078A (zh) * 2017-09-14 2018-01-09 成都安则科技有限公司 一种无人机低空防御***
CN108364003A (zh) * 2018-04-28 2018-08-03 国网河南省电力公司郑州供电公司 基于无人机可见光及红外图像融合的电力巡检方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173463A1 (zh) * 2019-02-28 2020-09-03 深圳市道通智能航空技术有限公司 目标跟踪方法、装置和无人机
US11924538B2 (en) 2019-02-28 2024-03-05 Autel Robotics Co., Ltd. Target tracking method and apparatus and unmanned aerial vehicle
CN110147122A (zh) * 2019-06-14 2019-08-20 深圳市道通智能航空技术有限公司 一种移动目标的追踪方法、装置及无人机
CN111694305A (zh) * 2020-06-12 2020-09-22 西安微电子技术研究所 一种异构多核无人机控制计算机
CN111694305B (zh) * 2020-06-12 2021-11-09 西安微电子技术研究所 一种异构多核无人机控制计算机
CN112034892A (zh) * 2020-09-09 2020-12-04 南京森林警察学院 麻醉式打击类警用智能化旋翼无人机及其控制方法及***
CN112034892B (zh) * 2020-09-09 2024-04-12 南京森林警察学院 麻醉式打击类警用智能化旋翼无人机及其控制方法及***

Also Published As

Publication number Publication date
US20220191389A1 (en) 2022-06-16
US11924538B2 (en) 2024-03-05
WO2020173463A1 (zh) 2020-09-03

Similar Documents

Publication Publication Date Title
CN109828596A (zh) 一种目标跟踪方法、装置和无人机
CN110494360B (zh) 用于提供自主摄影及摄像的***和方法
JP7141403B2 (ja) 実時間オンライン自己運動推定を備えたレーザスキャナ
CN107329490B (zh) 无人机避障方法及无人机
Mueller et al. Persistent aerial tracking system for UAVs
Mademlis et al. Autonomous unmanned aerial vehicles filming in dynamic unstructured outdoor environments [applications corner]
KR101896654B1 (ko) 드론을 이용한 3d 영상 처리 시스템 및 방법
Karakostas et al. Shot type constraints in UAV cinematography for autonomous target tracking
CN106973221B (zh) 基于美学评价的无人机摄像方法和***
CN109791414A (zh) 基于视觉着陆的方法和***
CN110022444A (zh) 无人飞行机的全景拍照方法与使用其的无人飞行机
US20210112194A1 (en) Method and device for taking group photo
CN111796603A (zh) 烟雾巡检无人机***、巡检检测方法和存储介质
WO2020233682A1 (zh) 一种自主环绕拍摄方法、装置以及无人机
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
CN108460972A (zh) 一种基于无人机的多车牌自主检测和定位***及方法
KR20200067979A (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
KR20190093285A (ko) 드론을 이용한 예술사진 촬영방법 및 그 기능을 갖는 드론
WO2020154937A1 (zh) 一种负载的控制方法、装置及控制设备
KR102028622B1 (ko) 드론을 이용한 객체 자동 추적 방법 및 시스템
US20240118092A1 (en) Image-based cooperative simultaneous localization and mapping system and method
EP3919374B1 (en) Image capturing method
Bănică et al. Onboard visual tracking for UAV’S
Nowak Autonomous navigation of an unmanned aerial vehicle using infrared computer vision
Darling Autonomous close formation flight of small UAVs using vision-based localization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190531