CN110401799B - 一种自动跟踪拍摄方法及*** - Google Patents

一种自动跟踪拍摄方法及*** Download PDF

Info

Publication number
CN110401799B
CN110401799B CN201910713790.0A CN201910713790A CN110401799B CN 110401799 B CN110401799 B CN 110401799B CN 201910713790 A CN201910713790 A CN 201910713790A CN 110401799 B CN110401799 B CN 110401799B
Authority
CN
China
Prior art keywords
distance
camera
parameter
angle
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910713790.0A
Other languages
English (en)
Other versions
CN110401799A (zh
Inventor
彭宇
张明
黄龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruimo Intelligent Technology (Shenzhen) Co., Ltd
Original Assignee
Dongguan Songshan Lake International Robot Research Institute Co ltd
Ruimo Intelligent Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Songshan Lake International Robot Research Institute Co ltd, Ruimo Intelligent Technology Shenzhen Co ltd filed Critical Dongguan Songshan Lake International Robot Research Institute Co ltd
Priority to CN201910713790.0A priority Critical patent/CN110401799B/zh
Priority to PCT/CN2019/101268 priority patent/WO2021022580A1/zh
Publication of CN110401799A publication Critical patent/CN110401799A/zh
Application granted granted Critical
Publication of CN110401799B publication Critical patent/CN110401799B/zh
Priority to US17/499,903 priority patent/US20220026907A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B6/00—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential
    • G05B6/02—Internal feedback arrangements for obtaining particular characteristics, e.g. proportional, integral or differential electric
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种自动跟踪拍摄方法及***，所述方法包括：获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪。本发明通过调整摄像头的镜头转向角度来保证跟踪目标的拍摄效果，且通过拍摄移动装置同时进行距离跟踪和方向跟踪以在跟踪目标移动时始终正向跟随目标。

Description

一种自动跟踪拍摄方法及***
技术领域
本发明涉及人工智能技术领域，尤其涉及一种自动跟踪拍摄方法及***。
背景技术
随着智能设备的大众化，消费用户对各类智能电子设备的使用强度与热度越来越高，其中，拍照以及视频录制是当下智能设备中热门的功能，且消费者的使用频率属最高。
现有技术中，人们在创造目标更加灵动、场景切换更灵活的视频素材时，采用的方式无外乎是人工跟拍，即采用遥控无人机航拍或者是手持相机加稳定器跟拍，然而手持稳定器跟拍需要拍摄者投入较大的精力去跟随，包括稳定相机，费神费力；而航拍的追踪强度不够，对于针对式的视频拍摄功能不够强大，且续航能力较差，且这两种跟拍方式都需要两个甚至更多的跟拍者，不符合全智能化自动化的初衷。
发明内容
本发明所要解决的技术问题是提供一种自动跟踪拍摄方法及***，以达到自动定向跟随拍摄目标的目的。
第一方面，本发明实施例提供了一种自动跟踪拍摄方法，其包括：获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪。
第二方面，本发明实施例还提供了一种自动跟踪拍摄***，其包括云台相机以及拍摄移动装置，所述云台相机包括云台、设置在云台上的摄像头以及控制器，所述云台用于调整摄像头的镜头转向角度；所述拍摄移动装置用于放置云台相机，且该拍摄移动装置上设有用于控制拍摄移动装置前进方向的舵机及用于控制拍摄移动装置运行速度的电机；其中，所述控制器包括：第一获取单元，用于获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；处理单元，用于根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；控制调整单元，用于根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪。
与现有技术相比，本发明通过拍摄移动装置承载云台相机，云台相机获取yaw轴云台角度参数，根据摄像头摄取的图像进行处理以获取距离参数，以根据yaw轴云台角度参数控制云台的转动来调整摄像头的镜头转向角度，且分别根据yaw轴云台角度参数和距离参数计算获得舵机转角控制参数和电机速度控制参数，以根据电机速度控制参数控制拍摄移动装置电机的转速以实现距离跟踪，同时根据舵机转角控制参数控制拍摄移动装置中舵机的转动以使得舵机的转向角度与镜头转向角度相同，使得拍摄移动装置始终正向目标，以实现方向跟踪，可知，本发明通过调整摄像头的镜头转向角度来保证跟踪目标的拍摄效果，且通过拍摄移动装置同时进行距离跟踪和方向跟踪以在跟踪目标移动时保持跟随。
附图说明
图1为本发明实施例提供的自动跟踪拍摄***的实物示意图；
图2为本发明实施例提供的自动跟踪拍摄***的示意性框图；
图3为本发明实施例提供的自动跟踪拍摄***中控制器的示意性框图；
图4为本发明另一实施例提供的自动跟踪拍摄***中控制器的示意性框图；
图5为本发明实施例提供的自动跟踪拍摄方法的流程示意图；
图6为本发明实施例提供的自动跟踪拍摄方法的子流程示意图；
图7为本发明另一实施例提供的自动跟踪拍摄方法的流程示意图。
具体实施方式
为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。
参照图1及图2，图1和图2分别为本发明实施例提供的自动跟踪拍摄***300的实物图和示意性框图。如图所示，该自动跟踪拍摄***300包括云台相机310以及拍摄移动装置320，所述云台相机310包括云台311、设置在云台311上的摄像头312以及控制器313，本发明把摄像头312架设在云台311上，开启摄像头312对目标进行图像或视频拍摄，其中，云台311采用现有的三轴云台，能够带动摄像头312进行各个方向上的转动，实现角度的全方位调整；本发明中，所述控制器313可选用所有基于ARM-M3/M4内核架构的MCU，例如STM32系列、GD32系列或者其他平台的32位微控制芯片，优选地，选用型号为GD32F330的微控制芯片作为本实施例的控制器313，所述控制器313包括有第一获取单元3131、处理单元3132及控制调整单元3133，本实施例中，所述第一获取单元3131、处理单元3132及控制调整单元3133为可被型号为GD32F330的微控制芯片执行的程序模块；所述拍摄移动装置320用于放置云台相机310，该拍摄移动装置320上设有用于控制拍摄移动装置320前进方向的舵机321及用于控制拍摄移动装置320运行速度的电机322，可理解地，舵机321的转向控制上嵌套有一层yaw轴(航向轴)角度的控制环，优选地，本实施例中，所述拍摄移动装置320为智能小车，其底盘上设置有悬挂式避震结构，且其用于放置云台相机310的放置平台设计有二级减震结构，其所采用的电机322为高速无刷直流电机。
本实施例中，所述第一获取单元3131用于获得yaw轴云台角度参数，对摄像头312所获取的图像进行处理以获取距离参数；本发明中，第一获取单元3131基于深度学习神经网络直接获取yaw轴云台角度参数，且基于深度学习神经网络从图像中获取目标与摄像头312的距离即距离参数，该技术为本领域技术人员常用的技术手段，在此不再赘述；所述处理单元3132用于根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；所述控制调整单元3133用于根据yaw轴云台角度参数控制云台相机310云台311的转动进而控制摄像头312的转向，且根据舵机转角控制参数控制拍摄移动装置320中舵机321的转动以使得拍摄移动装置320正向目标，同时根据电机速度控制参数控制拍摄移动装置320中电机322的转速，以实现目标跟踪，可理解地，控制调整单元3133分别发送控制信号至云台311、舵机321以及电机322，其发送的控制信号可经过滤波放大等处理后经云台311、舵机321以及电机322内的驱动电路驱动所述云台311、舵机321以及电机322工作。可知，本发明中，当目标处于运动状态、位置不停变动时，控制调整单元3133根据yaw轴云台角度参数控制云台相机310中三轴云台的yaw轴朝目标移动的方向转动以带动摄像头312转动，同时根据舵机转角控制参数控制智能小车的舵机321朝与摄像头312转向相同的方向进行转向微调，直到摄像头312的转向回正，使得车头始终或者总是趋于朝向目标，以达到方向跟踪的目的，同时根据电机速度控制参数控制智能小车电机322的转速，达到距离跟踪的目的，则本发明自动跟踪拍摄***300中的摄像头312可跟随目标转动，以保证目标始终位于镜头内，同时拍摄移动装置320可在跟踪目标自由移动时保持跟随。
在一些实施例中，如图3所示，所述处理单元3132包括第一计算单元1321、第一PID计算单元1322、第二计算单元1323以及第二PID计算单元1324。
其中，所述第一计算单元1321用于计算yaw轴云台角度参数与预设角度参数的角度偏差值，所述预设角度参数为0°；本实施例中，所述yaw轴云台角度参数与预设角度参数的角度偏差值为实际采样值(镜头当前相对于正方向的角度，即三轴云台yaw轴相对于正方向的角度)与预设角度值的差值。所述第一PID计算单元1322用于利用PID算法根据所述角度偏差值计算获得舵机转角控制参数；所述PID算法(比例-积分-微分控制算法)的公式为：
Figure BDA0002154651800000051
其中，公式中的error为上述计算获得的角度偏差值，Kp、Ki、Kd分别是PID算法中比例项、积分项、微分项的系数，为固定值。所述第二计算单元1323用于计算所述距离参数与第一预设距离的距离偏差值；本发明中，距离偏差值为实际距离值(摄像头312相对于目标的距离)与第一预设距离的差值，优选地，为了获得更好的拍摄效果，所述第一预设距离可设置为2m，而在某些其他实施例中，也可根据实际需求进行设置。所述第二PID计算单元1324用于利用PID算法根据所述距离偏差值计算获得电机速度控制参数；可理解地，利用PID算法根据所述距离偏差值计算获得电机速度控制参数时，距离偏差值为该PID算法计算公式中的error。
综上可知，本发明的自动跟踪拍摄***300通过智能小车承载云台相机310，当跟踪目标左右移动时，云台相机310中三轴云台的yaw轴会朝目标移动的方向转动以带动摄像头312转动，以保证跟踪目标的拍摄效果，同时利用PID算法进行舵机321yaw轴的转向控制和电机322的速度控制，以达到同时对距离和方向的控制，以在跟踪目标自由移动时保持跟随，且智能小车使用的二级减震结构能够使得拍摄出来的视频更加平稳，高转速无刷直流电机能够满足高速移动的拍摄情况，舵机321在追踪目标方向突变时能够迅速响应不跟丢。
参照图4，图4是本发明自动跟踪拍摄***300另一实施例中控制器313的示意性框图。如图4所示，本实施例的自动跟踪拍摄***300是上述实施例的基础上在控制器313中增加了第一比较单元3134、第二获取单元3135、第二比较单元3136以及第三比较单元3137。
其中，所述第一比较单元3134用于将所述距离参数与第二预设距离进行比较；所述第二获取单元3135用于若所述距离参数小于等于第二预设距离，则获取拍摄移动装置320电机322的转速；所述第二比较单元3136用于将所获取的电机322的转速与第一预设转速进行比较；所述控制调整单元3133还用于若获取的电机322的转速小于等于第一预设转速，则控制电机322停止转动。本发明中，当所述距离参数小于某个预设距离值时，由于PID调制器里面的积分效应的非常小的差值随着时间推移逐步放大，使得智能小车实际表现为在这个预设距离值附近不断震荡，反复前进后退，则本实施例中，设置一定的控制空窗，以实现智能小车安全可靠的启动和停止，即在所述距离参数小于等于第二预设距离(例如1m)时，检测此时智能小车的速度，如果此时智能小车的速度很慢，即智能小车电机322的转速小于等于第一预设转速时，直接控制智能小车速度为0，且如果智能小车停止的位置在预设距离值附近范围内时，小车将一直维持静止的状态，达到停稳的状态。
所述第三比较单元3137用于将所述距离参数与第二预设距离、第三预设距离及第四预设距离进行比较。所述控制调整单元3133还用于若所述距离参数大于第二预设距离且小于等于第三预设距离，则控制拍摄移动装置320电机322的转速不超过第二预设转速，而若所述距离参数大于第三预设距离且小于等于第四预设距离，则控制拍摄移动装置320电机322的转速不超过第三预设转速，即当距离参数在第二预设距离和第三预设距离之间时设定智能小车电机322的最高转速为第二预设转速，而当所述距离参数在第三预设距离和第四预设距离之间时设定智能小车电机322的最高转速为第三预设转速，其中，所述第二预设转速小于第三预设转速。可理解地，本实施例中，为了保证目标在移动过程中急停不会过冲，根据摄像头312与目标的不同距离设置了不同阶级的最高速度限制，即如果距离参数值在某一段距离区间内，那么它的最高转速为当前距离区间阶级对应的最高速度限制值，实际控制中目标与摄像头312的距离越远，智能小车能够达到的最高速度越大。例如目标现在与摄像头312的距离在第二预设距离和第三预设距离之间(例如1-2米的距离范围处)，那么可以只允许智能小车最快能跑10KM/H，而如果距离参数在第三预设距离和第四预设距离之间(例如2～2.5米的距离范围处)，那可以允许小车最快跑到15KM/H，这样划分了几个距离范围，可避免智能小车离目标很近但是速度却很快导致刹车距离不够从而碰撞到目标的情况出现；本实施例中，若所述距离参数大于第四预设距离，小车不会因刹车距离不够而碰撞到目标，则***300没有对应的阶级的最高速度限制控制操作，即当目标与摄像头312的距离大于第四预设距离时，不限制该距离区间阶级的最高速度；而可理解地，小车因内部硬件限定而有一个总体的最高速度，在距离参数大于第四预设距离时***300虽然未设定有该距离区间阶级的最高速度，但其仍不能超过小车总体的最高速度。
参照图5，图5为本发明实施例提供的自动跟踪拍摄方法的流程示意图。如图所示，该方法包括以下步骤S110-S130：
S110、获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数。
本发明中，基于深度学习神经网络从图像中可直接获取yaw轴云台角度参数，yaw轴云台角度参数用于控制云台相机摄像头的转向，以使得摄像头的镜头朝向目标；同样，基于深度学习神经网络对摄像头所获取的图像进行处理可获取目标与摄像头的距离，该距离即为距离参数。
本实施例中，所述云台相机包括云台及设置在云台上的摄像头，即把摄像头架设在云台上，开启摄像头对目标进行图像或视频拍摄，其中，本发明中的云台采用现有的三轴云台，能够带动摄像头进行各个方向上的转动，实现角度的全方位调整，且摄像头也为本领域技术人员常用的摄像头，在此不再赘述。而本实施例中，云台相机放置于拍摄移动装置上，该拍摄移动装置为智能小车，以带动云台相机跟踪拍摄目标，其上设有舵机和电机。
S120、根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数。
本发明中，电机速度控制参数用于控制拍摄移动装置中电机的转速，舵机转角控制参数用于控制拍摄移动装置中舵机的转向。
具体地，在一些实施例中，如图6所示，所述步骤S120可包括步骤S121-S122。
S121、计算yaw轴云台角度参数与预设角度参数的角度偏差值以及所述距离参数与第一预设距离的距离偏差值。
本发明中，为了获得更好的拍摄效果和更好的跟踪效果，云台相机与拍摄移动装置保持相对静止，且用于放置云台相机的拍摄移动装置始终保持正向目标，则将所述预设角度参数设置为0°，而yaw轴云台角度参数与预设角度参数的角度偏差值为实际采样值(镜头当前相对于正方向的角度，即三轴云台yaw轴相对于正方向的角度)与预设角度值的差值；所述距离偏差值为实际距离值与第一预设距离的差值，该步骤中，所述第一预设距离可设置为2m，而在某些其他实施例中，也可根据实际需求进行设置。
可理解地，本实施例中，还可根据多个不同时间段获取的距离计算距离变化率，距离变化率跟目标向前跑的速度成正相关关系，也就是说，目标跑的越快，变化率越大，那么拍摄移动装置中的电机就需要在单位时间内增加更大的速度来追上目标，即目标的加速度越快，小车的加速度也越大，启动和停止就更加灵敏，而若目标的加速度越慢，小车的加速度也越小，加速和停止更加迟缓平稳，通过观察距离变化率大小可辅助控制拍摄移动装置的运动。
S122、利用PID算法根据所述角度偏差值和所述距离偏差值分别计算获得舵机转角控制参数和电机速度控制参数。
该步骤中利用PID算法根据所述角度偏差值计算获得舵机转角控制参数，同时根据距离偏差值计算获得电机速度控制参数，所述PID算法(比例-积分-微分控制算法)的公式为：
Figure BDA0002154651800000091
其中，公式中的error可为上述计算获得的角度偏差值或距离偏差值，Kp、Ki、Kd分别是PID算法中比例项、积分项、微分项的系数，为固定值，该步骤中，u可为舵机转角控制参数或电机速度控制参数。
S130、根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪。
具体地，该步骤中，所述根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，包括：计算yaw轴云台角度参数与预设角度参数的角度偏差值；根据所述角度偏差值控制云台相机云台的转动进而控制摄像头的转向。本发明中根据角度偏差值调整摄像头的拍摄角度，使得摄像头的镜头朝向目标，以保证目标始终位于镜头内，
本实施例中，可根据yaw轴云台角度参数与预设角度参数的差值即云台相机中摄像头的镜头转向角度与预设角度参数的差值和摄像头与目标的距离与预设距离的差值，利用PID算法进行舵机yaw轴的转向控制和电机的速度控制，以达到同时对距离和方向的控制，以在跟踪目标自由移动时保持跟随。即跟踪目标左右移动时，云台相机中三轴云台的yaw轴会朝目标移动的方向转动以带动摄像头转动，而智能小车的舵机也会朝与摄像头转向相同的方向进行转向微调，直到摄像头的转向回正，车头始终或者总是趋于朝向目标，以达到方向跟踪的目的，同时小车以与目标保持一定的距离为目的移动以达到距离跟踪。
参照图7，图7为本发明另一实施例中自动跟踪拍摄方法的流程示意图。本实施例的自动跟踪拍摄方法在上述实施例的基础上增加了以下步骤S140-S180，如图7所示，下面详细说明本实施例中所增加的步骤S140-S180。
S140、将所述距离参数与第二预设距离、第三预设距离及第四预设距离进行比较，若所述距离参数小于等于第二预设距离，执行步骤S150-S160；若所述距离参数大于第二预设距离且小于等于第三预设距离，执行步骤S170；若所述距离参数大于第三预设距离且小于等于第四预设距离，执行步骤S180。
可理解地，本实施例中，为了保证目标在移动过程中急停不会过冲，根据摄像头与目标的不同距离设置了不同阶级的最高速度限制，即如果摄像头与目标的距离值在某一段距离区间内，那么它的最高转速为当前距离区间阶级对应的最高速度限制值，以避免智能小车离目标很近但是速度却很快导致刹车距离不够从而碰撞到目标的情况出现。
本发明中，若所述距离参数大于第四预设距离，小车不会因刹车距离不够而碰撞到目标，则没有对应的阶级的最高速度限制控制操作，即当目标与摄像头的距离大于第四预设距离时，不限制该距离区间阶级的最高速度；而可理解地，小车因内部硬件限定而有一个总体的最高速度，在距离参数大于第四预设距离时虽然未设定有该距离区间阶级的最高速度，但其仍不能超过小车总体的最高速度。
S150、获取拍摄移动装置电机的转速，将所获取的电机的转速与第一预设转速进行比较。
该步骤中，若获取的摄像头与目标的距离小于等于第二预设距离，则获取拍摄移动装置电机的转速，并将其与第一预设转速进行比较。
S160、若获取的电机的转速小于等于第一预设转速，则控制电机停止转动。
摄像头与目标的距离小于某个预设距离值时，由于PID调制器里面的积分效应的非常小的差值随着时间推移逐步放大，使得智能小车实际表现为在这个预设距离值附近不断震荡，反复前进后退，则本实施例中，设置一定的控制空窗，以实现智能小车安全可靠的启动和停止，如上述步骤S150-S160所述，即在摄像头与目标的距离小于等于第二预设距离(例如1m)时，检测此时智能小车的速度，如果此时智能小车的速度很慢，即智能小车电机的转速小于等于第一预设转速时，直接控制智能小车速度为0，且如果智能小车停止的位置在预设距离值附近范围内时，小车将一直维持静止的状态，达到停稳的状态。
S170、控制拍摄移动装置电机的转速不超过第二预设转速。
该步骤中，当距离参数即摄像头与目标的距离在第二预设距离和第三预设距离之间时设定智能小车电机的最高转速为第二预设转速。
S180、控制拍摄移动装置电机的转速不超过第三预设转速。
该步骤中，当摄像头与目标的距离在第三预设距离和第四预设距离之间时设定智能小车电机的最高转速为第三预设转速，其中，所述第二预设转速小于第三预设转速。
综上所述，本发明通过拍摄移动装置承载云台相机，云台相机获取yaw轴云台角度参数，根据摄像头摄取的图像进行处理以获取距离参数，以根据yaw轴云台角度参数控制云台的转动来调整摄像头的镜头转向角度，且分别根据yaw轴云台角度参数和距离参数计算获得舵机转角控制参数和电机速度控制参数，以根据电机速度控制参数控制拍摄移动装置电机的转速以实现距离跟踪，同时根据舵机转角控制参数控制拍摄移动装置中舵机的转动以使得舵机的转向角度与镜头转向角度相同，使得拍摄移动装置始终正向目标，以实现方向跟踪，可知，本发明通过调整摄像头的镜头转向角度来保证跟踪目标的拍摄效果，且通过拍摄移动装置同时进行距离跟踪和方向跟踪以在跟踪目标移动时保持跟随。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。而对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (8)

1.一种自动跟踪拍摄方法，其特征在于，包括：
获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；
根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；
根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制用于放置云台相机的拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪；
且在所述对摄像头所获取的图像进行处理以获取距离参数之后，还包括：
将所述距离参数与第二预设距离进行比较；
若所述距离参数小于等于第二预设距离，则获取拍摄移动装置电机的转速；
将所获取的电机的转速与第一预设转速进行比较；
若获取的电机的转速小于等于第一预设转速，则控制电机停止转动。
2.如权利要求1所述的自动跟踪拍摄方法，其特征在于，所述根据所述yaw轴云台角度参数计算获得舵机转角控制参数，包括：
计算yaw轴云台角度参数与预设角度参数的角度偏差值；
利用PID算法根据所述角度偏差值计算获得舵机转角控制参数，以控制拍摄移动装置舵机的转动，使其正向目标。
3.如权利要求1所述的自动跟踪拍摄方法，其特征在于，所述根据所述距离参数计算获得电机速度控制参数，包括：
计算所述距离参数与第一预设距离的距离偏差值；
利用PID算法根据所述距离偏差值计算获得电机速度控制参数。
4.如权利要求1所述的自动跟踪拍摄方法，其特征在于，所述将所述距离参数与第二预设距离进行比较之后，还包括：
将所述距离参数与第三预设距离及第四预设距离进行比较；
若所述距离参数大于第二预设距离且小于等于第三预设距离，则控制拍摄移动装置电机的转速不超过第二预设转速；
若所述距离参数大于第三预设距离且小于等于第四预设距离，则控制拍摄移动装置电机的转速不超过第三预设转速；
其中，所述第二预设转速小于第三预设转速。
5.如权利要求1所述的自动跟踪拍摄方法，其特征在于，所述根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，包括：
计算yaw轴云台角度参数与预设角度参数的角度偏差值；
根据所述角度偏差值控制云台相机云台的转动进而控制摄像头的转向。
6.一种自动跟踪拍摄***，其特征在于，包括：
云台相机，包括云台、设置在云台上的摄像头以及控制器，所述云台用于调整摄像头的镜头转向角度；以及
拍摄移动装置，用于放置云台相机，且该拍摄移动装置上设有用于控制拍摄移动装置前进方向的舵机及用于控制拍摄移动装置运行速度的电机；
其中，所述控制器包括：
第一获取单元，用于获得yaw轴云台角度参数，对摄像头所获取的图像进行处理以获取距离参数；
处理单元，用于根据所述yaw轴云台角度参数计算获得舵机转角控制参数，且根据所述距离参数计算获得电机速度控制参数；
控制调整单元，用于根据yaw轴云台角度参数控制云台相机云台的转动进而控制摄像头的转向，且根据舵机转角控制参数控制拍摄移动装置中舵机的转动以使得拍摄移动装置正向目标，同时根据电机速度控制参数控制拍摄移动装置中电机的转速，以实现目标跟踪；
第一比较单元，用于将所述距离参数与第二预设距离进行比较；
第二获取单元，用于若所述距离参数小于等于第二预设距离，则获取拍摄移动装置电机的转速；以及
第二比较单元，用于将所获取的电机的转速与第一预设转速进行比较；
且所述控制调整单元还用于若获取的电机的转速小于等于第一预设转速，则控制电机停止转动。
7.如权利要求6所述的自动跟踪拍摄***，其特征在于，所述处理单元包括：
第一计算单元，用于计算yaw轴云台角度参数与预设角度参数的角度偏差值，所述预设角度参数为0°；
第一PID计算单元，用于利用PID算法根据所述角度偏差值计算获得舵机转角控制参数；
第二计算单元，用于计算所述距离参数与第一预设距离的距离偏差值；
第二PID计算单元，用于利用PID算法根据所述距离偏差值计算获得电机速度控制参数。
8.如权利要求6所述的自动跟踪拍摄***，其特征在于，所述控制器还包括：
第三比较单元，用于将所述距离参数与第二预设距离、第三预设距离及第四预设距离进行比较；
且所述控制调整单元还用于若所述距离参数大于第二预设距离且小于等于第三预设距离，则控制拍摄移动装置电机的转速不超过第二预设转速；而若所述距离参数大于第三预设距离且小于等于第四预设距离，则控制拍摄移动装置电机的转速不超过第三预设转速；其中，所述第二预设转速小于第三预设转速。
CN201910713790.0A 2019-08-02 2019-08-02 一种自动跟踪拍摄方法及*** Active CN110401799B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910713790.0A CN110401799B (zh) 2019-08-02 2019-08-02 一种自动跟踪拍摄方法及***
PCT/CN2019/101268 WO2021022580A1 (zh) 2019-08-02 2019-08-19 一种自动跟踪拍摄方法及***
US17/499,903 US20220026907A1 (en) 2019-08-02 2021-10-13 Method and system for automatically tracking and photographing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713790.0A CN110401799B (zh) 2019-08-02 2019-08-02 一种自动跟踪拍摄方法及***

Publications (2)

Publication Number Publication Date
CN110401799A CN110401799A (zh) 2019-11-01
CN110401799B true CN110401799B (zh) 2020-12-15

Family

ID=68327237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713790.0A Active CN110401799B (zh) 2019-08-02 2019-08-02 一种自动跟踪拍摄方法及***

Country Status (3)

Country Link
US (1) US20220026907A1 (zh)
CN (1) CN110401799B (zh)
WO (1) WO2021022580A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111097161A (zh) * 2019-12-30 2020-05-05 河池学院 一种基于ros的跑步运动员训练陪伴机器人
CN111506082A (zh) * 2020-05-17 2020-08-07 杭州电子科技大学 一种自动跟随拍摄避障***及方法
CN111698426B (zh) * 2020-06-23 2021-08-03 广东小天才科技有限公司 一种试题拍摄的方法、装置、电子设备和存储介质
WO2022061535A1 (zh) * 2020-09-22 2022-03-31 深圳市大疆创新科技有限公司 手持云台控制方法、手持云台、***及可读存储介质
CN112637497B (zh) * 2020-12-21 2022-04-01 维沃移动通信有限公司 拍摄控制方法、装置和电子设备
CN113110542B (zh) * 2021-04-16 2022-07-15 东北大学 一种基于单轴云台的四旋翼无人机目标追踪***
CN113485465A (zh) * 2021-06-01 2021-10-08 浙江大华技术股份有限公司 一种摄像机云台控制方法、装置、设备及存储介质
WO2023065125A1 (zh) * 2021-10-19 2023-04-27 深圳市大疆创新科技有限公司 拍摄方法、拍摄设备、终端设备及存储介质
TWI795987B (zh) * 2021-11-08 2023-03-11 致伸科技股份有限公司 雲台裝置
CN113984028A (zh) * 2021-12-22 2022-01-28 普宙科技(深圳)有限公司 一种激光云台跟踪光轴补偿方法和***
CN114693736A (zh) * 2022-04-08 2022-07-01 睿魔智能科技（深圳）有限公司 一种s形跟踪拍摄线路的跟踪方法及***
CN114973033B (zh) * 2022-05-30 2024-03-01 青岛科技大学 一种无人机自动检测目标和跟踪方法
PL442945A1 (pl) * 2022-11-24 2024-05-27 Enprom Spółka Z Ograniczoną Odpowiedzialnością Sposób punktowego monitorowania oraz układ do punktowego monitorowania obiektów zwłaszcza słupów elektroenergetycznych
CN116630374B (zh) * 2023-07-24 2023-09-19 贵州翰凯斯智能技术有限公司 目标对象的视觉跟踪方法、装置、存储介质及设备
CN118101905A (zh) * 2024-04-29 2024-05-28 浙江中煤液压机械有限公司 基于图像识别的自动跟机方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN106444810A (zh) * 2016-10-31 2017-02-22 浙江大学 借助虚拟现实的无人机机械臂空中作业***及其控制方法
CN106598081A (zh) * 2016-10-27 2017-04-26 纳恩博（北京）科技有限公司 一种图像采集方法及电子设备
CN106843215A (zh) * 2017-02-14 2017-06-13 上海大学 基于人体动态行为追踪的智能跟随机器人***和方法
US9696404B1 (en) * 2014-05-06 2017-07-04 The United States Of America As Represented By The Secretary Of The Air Force Real-time camera tracking system using optical flow feature points

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868894B1 (ko) * 2011-12-19 2018-06-20 한국전자통신연구원 로봇을 이용한 객체추적 시스템 및 그 추적방법
JP6717739B2 (ja) * 2016-12-27 2020-07-01 セコム株式会社 撮像装置
KR20190009103A (ko) * 2017-07-18 2019-01-28 삼성전자주식회사 외부 객체와의 거리에 기반하여 이동 되는 전자 장치 및 그 제어 방법
CN108664032A (zh) * 2018-06-08 2018-10-16 东北大学秦皇岛分校 一种基于机器视觉的自动跟随载物车的控制***及方法
CN109218665B (zh) * 2018-08-31 2021-05-18 上海集成电路研发中心有限公司 一种智能跟踪拍摄***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696404B1 (en) * 2014-05-06 2017-07-04 The United States Of America As Represented By The Secretary Of The Air Force Real-time camera tracking system using optical flow feature points
CN105425806A (zh) * 2015-12-25 2016-03-23 深圳先进技术研究院 移动机器人的人体探测与跟踪方法及装置
CN106598081A (zh) * 2016-10-27 2017-04-26 纳恩博（北京）科技有限公司 一种图像采集方法及电子设备
CN106444810A (zh) * 2016-10-31 2017-02-22 浙江大学 借助虚拟现实的无人机机械臂空中作业***及其控制方法
CN106843215A (zh) * 2017-02-14 2017-06-13 上海大学 基于人体动态行为追踪的智能跟随机器人***和方法

Also Published As

Publication number Publication date
WO2021022580A1 (zh) 2021-02-11
US20220026907A1 (en) 2022-01-27
CN110401799A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110401799B (zh) 一种自动跟踪拍摄方法及***
CN110222581B (zh) 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN109071034A (zh) 切换云台工作模式的方法、控制器和图像增稳设备
US10353403B2 (en) Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium
US20220137648A1 (en) Method and apparatus for tracking moving target and unmanned aerial vehicle
JP2016515348A (ja) 能動的に安定化させたカメラのポインティング制御を可能にするための方法及びシステム
FR2985581A1 (fr) Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
CN109960145B (zh) 移动机器人混合视觉轨迹跟踪策略
US11622080B2 (en) Automatic surround photographing method and system for target
CN111213002A (zh) 一种云台控制方法、设备、云台、***及存储介质
US20190122568A1 (en) Autonomous vehicle operation
CN108375983A (zh) 一种遥控装置、控制***以及控制方法
McGuire et al. Local histogram matching for efficient optical flow computation applied to velocity estimation on pocket drones
JP6516544B2 (ja) 制御装置、光学機器、撮像装置および制御方法
Karakostas et al. UAV cinematography constraints imposed by visual target tracking
Srikanth et al. Computational rim illumination with aerial robots
Suluh et al. Spatial navigation principles: Applications to mobile robotics
CN210414522U (zh) 一种摄影机器人及其控制***
Hulens et al. Autonomous flying cameraman with embedded person detection and tracking while applying cinematographic rules
EP3098683A1 (en) Method and system for dynamic point of interest shooting with uav
CN109816717A (zh) 动态场景中轮式移动机器人的视觉镇定控制
CN113978724B (zh) 一种飞行器跟随云台控制方法及***
CN110291013B (zh) 云台的控制方法、云台及无人飞行器
CN111506082A (zh) 一种自动跟随拍摄避障***及方法
Li et al. Onboard hover control of a quadrotor using template matching and optic flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211110

Address after: 518000 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong

Patentee after: Ruimo Intelligent Technology (Shenzhen) Co., Ltd

Address before: 518000 220, building 6, Qianhai Shenzhen Hong Kong youth dream workshop, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong

Patentee before: Ruimo Intelligent Technology (Shenzhen) Co., Ltd

Patentee before: Dongguan Songshanhu International Robot Research Institute Co., Ltd

TR01 Transfer of patent right