CN113687627B - 一种基于摄像机器人的目标跟踪方法 - Google Patents

一种基于摄像机器人的目标跟踪方法 Download PDF

Info

Publication number
CN113687627B
CN113687627B CN202110949804.6A CN202110949804A CN113687627B CN 113687627 B CN113687627 B CN 113687627B CN 202110949804 A CN202110949804 A CN 202110949804A CN 113687627 B CN113687627 B CN 113687627B
Authority
CN
China
Prior art keywords
target
camera
camera robot
robot
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110949804.6A
Other languages
English (en)
Other versions
CN113687627A (zh
Inventor
何健
褚轶
朱登明
朱正刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Original Assignee
TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES filed Critical TAICANG INSTITUTE OF COMPUTING TECHNOLOGY CHINESE ACADEMY OF SCIENCES
Priority to CN202110949804.6A priority Critical patent/CN113687627B/zh
Publication of CN113687627A publication Critical patent/CN113687627A/zh
Application granted granted Critical
Publication of CN113687627B publication Critical patent/CN113687627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36424—Balance mechanically arm to be moved
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种基于摄像机器人的目标跟踪方法。该基于摄像机器人的目标跟踪方法使得影视创作者能够在具有围绕目标跟踪物的过程拍摄需求中，能够只关注摄像机器人的机械臂的关键帧位置，利用目标跟踪算法在机械臂运动轨迹过程中，实时调整继续臂和摄像机，使得摄像机镜头实时对准目标物、摄像机镜头的焦距实时与目标物距离处于一致的位置。

Description

一种基于摄像机器人的目标跟踪方法
技术领域
本发明涉及摄像机器人的技术领域，特别是涉及一种基于摄像机器人的目标跟踪方法。
背景技术
随着近年来科技的进步与影视技术的发展，越来越多的影视制作开始使用摄像机器人进行摄像拍摄。基于摄像机器人的目标跟踪技术是一种持续跟踪拍摄静态目标物的便捷拍摄方法。
目标的运动改变了目标和场景的外观模式、非刚性目标结构、目标间及目标与场景间的遮挡、摄像机的运动等情况使目标跟踪任务变得特别困难。目标跟踪常应用于需要了解目标每帧的位置及形状的应用环境中，并常用假设来约束特定应用环境中的跟踪问题。
通过目标跟踪技术，影视创作者可以在拍摄之前先使用动画建模模块搭建需要拍摄的静态目标场景，通过关键帧规划出摄像机的运行轨迹，将摄像机的光心轨迹利用目标跟踪算法纠正摄像机器人轨迹的滚动角(roll)、偏航角(yaw)、俯仰角(pitch)，这样摄像机运行过程中画面中心可实时定位到目标跟踪物。同时，镜头控制器也可以运行镜头轨迹，实现自动跟焦的效果。利用目标跟踪技术，影视创作者可以通过计算机精准的控制摄像机器人，从而规划出自己想要的摄像机的运动轨迹，并且这些轨迹能不断精确的在空间中重复。精确的重复拍摄能够极大的提高特效镜头的拍摄效率和质量。
目前，摄像机运动控制***中目标跟踪技术通常使用卷尺来测量出摄像机器人与目标物之间的距离。这种卷尺测量导致的误差会极大的影响跟踪效果；并且需要专业技术人员的现场操作，针对部分高机位拍摄，尺量摄像机光心位置到目标物之间距离较为麻烦。进一步地，若轨迹进行重新设计和调整则非常浪费时间，以及其昂贵的租赁费用，会大大增加拍摄成本。
因此，针对上述技术问题，有必要提供一种简单且易调整的基于摄像机器人的目标跟踪方法。
发明内容
有鉴于此，本发明实施例的目的在于提供一种简单且易调整的基于摄像机器人的目标跟踪方法。
为了实现上述目的，本发明一实施例提供的技术方案如下：一种基于摄像机器人的目标跟踪方法包括：步骤S1:在预设场景中建立摄像机器人的三维空间模型，根据目标位置设计所述摄像机器人的机械臂轨迹，并选取所述机械臂轨迹的视频帧中若干帧作为基础计算帧，基于所述基础计算帧获得各个仿真目标的位姿信息；步骤S2：对所述各个仿真目标的位姿信息进行加权平均，将加权平均后的点值作为目标的理论位置的位姿信息，根据所述理论位置的位置信息调整摄像机器人的机械臂的参数，使得摄像机机器人的摄像机的光心正对目标；步骤S3：基于所述目标的理论位置的位姿信息，获得摄像机器人的机械臂的末端轨迹曲线，根据机械臂生成的逆向运动学，进行可达性分析和加速度分析，以获得摄像机器人的机械臂的安全运动范围及摄像机器人的机械臂的关节轨迹；步骤S4：基于所述摄像机器人的机械臂的关节轨迹，计算所述关节轨迹中每一位置点至三维空间内目标的直线距离，设置摄像机器人的摄像机的焦距；步骤S5：将摄像机器人的机械臂的关节轨迹和目标的预设轨迹进行同步合成，根据所述同步合成的结果，实时控制摄像机器人的机械臂和摄像机器人的摄像机，从而实现目标实时跟踪。
作为本发明的进一步改进，步骤S1中基于右手坐标系建立目标的三维空间模型。
作为本发明的进一步改进，基于所述基础计算帧获得各个仿真目标的位姿信息之后，规划摄像机器人的机械臂的笛卡尔轨迹。
作为本发明的进一步改进，所述步骤S3中通过可达性分析和加速度分析将机械臂的笛卡尔轨迹转换成关节轨迹。
作为本发明的进一步改进，所述基于所述基础计算帧的计算方法为采用射线聚焦方法计算出各个仿真目标的位姿信息。
作为本发明的进一步改进，所述步骤S2中的摄像机器人的机械臂的参数包括姿态滚动角，俯仰角和偏航角。
本发明具有以下优点：
本发明实施例提供的基于摄像机器人的目标跟踪方法使得影视创作者能够在具有围绕目标跟踪物的过程拍摄需求中，能够只关注摄像机器人的机械臂的关键帧位置，利用目标跟踪算法在机械臂运动轨迹过程中，实时调整继续臂和摄像机，使得摄像机镜头实时对准目标物、摄像机镜头的焦距实时与目标物距离处于一致的位置。由于本发明实施例提供的基于摄像机器人的目标跟踪方法只需要关注机械臂的运动，从而简化了目标跟踪的控制且易于实现调整。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于摄像机器人的目标跟踪方法的流程示意图；
图2为图1所示实施例中的另一种表达方式的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1和图2所示，一种基于摄像机器人的目标跟踪方法的流程示意图。在该实施例中，基于摄像机器人的目标跟踪方法包括五个步骤，每个步骤的具体内容如下所示。
步骤S1:在预设场景中建立摄像机器人的三维空间模型，根据目标位置设计所述摄像机器人的机械臂轨迹，并选取所述机械臂轨迹的视频帧中若干帧作为基础计算帧，基于所述基础计算帧获得各个仿真目标的位姿信息。进一步地，该实施例的三维空间模型是基于右手坐标系建立的。基于基础计算帧获得各个仿真目标的位姿信息之后，规划摄像机器人的机械臂的笛卡尔轨迹。
其中，基于所述基础计算帧的计算方法为采用射线聚焦方法计算出各个仿真目标的位姿信息。在预设场景中，做出多条若干帧(也称关键帧)从摄像机器人光心方向延伸出去的射线，调整每一根摄像距离光心的偏移并计算出各个仿真目标点，并在右手坐标系中显示，尽量将各个仿真目标点距离调整至右手坐标系中显示至同一点。
步骤S2：对所述各个仿真目标的位姿信息进行加权平均，将加权平均后的点值作为目标的理论位置的位姿信息，根据所述理论位置的位置信息调整摄像机器人的机械臂的参数，使得摄像机机器人的摄像机的光心正对目标。在该实施例中，摄像机器人的机械臂的参数包括姿态滚动角，俯仰角和偏航角。
由于规划出来机械臂轨迹的每一帧末端(x,y,z,r,p,y)不仅有位置信息，同时还具有姿态信息，决定了摄像机器人运行过程中实时拍摄方向。通过目标跟踪算法，保持笛卡尔空间下的位置x,y,z不变，调整姿态滚动角(roll)、俯仰角(pitch)、偏航角(yaw)，可使轨迹中每一点x,y,z,r,p,y对应的光心都正对目标物。
步骤S3：基于所述目标的理论位置的位姿信息，获得摄像机器人的机械臂的末端轨迹曲线，根据机械臂生成的逆向运动学，进行可达性分析和加速度分析，以获得摄像机器人的机械臂的安全运动范围及摄像机器人的机械臂的关节轨迹。只有通过了可达性分析和加速度分析的运动轨迹，才可以运行在真实的机械臂环境中。通过可达性分析和加速度验证，将笛卡尔轨迹转换成关节轨迹。转化过程中若逆向运动学无法算出解析解，则重复步骤S1进行关键帧空间位置调整。
步骤S4：基于所述摄像机器人的机械臂的关节轨迹，计算所述关节轨迹中每一位置点至三维空间内目标的直线距离，设置摄像机器人的摄像机的焦距。在设置摄像机器人的摄像机的焦距过程中，根据不同的摄像机器人或者不同的摄像机器人的摄像机，利用标定文件，进行焦距和光圈的轨迹规划。
步骤S5：将摄像机器人的机械臂的关节轨迹和目标的预设轨迹进行同步合成，根据所述同步合成的结果，实时控制摄像机器人的机械臂和摄像机器人的摄像机，从而实现目标实时跟踪。
本发明实施例提供的基于摄像机器人的目标跟踪方法使得影视创作者能够在具有围绕目标跟踪物的过程拍摄需求中，能够只关注摄像机器人的机械臂的关键帧位置，利用目标跟踪算法在机械臂运动轨迹过程中，实时调整继续臂和摄像机，使得摄像机镜头实时对准目标物、摄像机镜头的焦距实时与目标物距离处于一致的位置。
进一步地，由于本发明实施例提供的基于摄像机器人的目标跟踪方法只需要关注机械臂的运动，从而简化了目标跟踪的控制且易于实现调整对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于摄像机器人的目标跟踪方法，其特征在于，所述目标跟踪方法包括：
步骤S1:在预设场景中建立摄像机器人的三维空间模型，根据目标位置设计所述摄像机器人的机械臂轨迹，并选取所述机械臂轨迹的视频帧中若干帧作为基础计算帧，基于所述基础计算帧获得各个仿真目标的位姿信息；
步骤S2：对所述各个仿真目标的位姿信息进行加权平均，将加权平均后的点值作为目标的理论位置的位姿信息，根据所述理论位置的位置信息调整摄像机器人的机械臂的参数，使得摄像机机器人的摄像机的光心正对目标；
步骤S3：基于所述目标的理论位置的位姿信息，获得摄像机器人的机械臂的末端轨迹曲线，根据机械臂生成的逆向运动学，进行可达性分析和加速度分析，以获得摄像机器人的机械臂的安全运动范围及摄像机器人的机械臂的关节轨迹；
步骤S4：基于所述摄像机器人的机械臂的关节轨迹，计算所述关节轨迹中每一位置点至三维空间内目标的直线距离，设置摄像机器人的摄像机的焦距；
步骤S5：将摄像机器人的机械臂的关节轨迹和目标的预设轨迹进行同步合成，根据所述同步合成的结果，实时控制摄像机器人的机械臂和摄像机器人的摄像机，从而实现目标实时跟踪。
2.根据权利要求1所述的一种基于摄像机器人的目标跟踪方法，其特征在于，步骤S1中基于右手坐标系建立目标的三维空间模型。
3.根据权利要求2所述的一种基于摄像机器人的目标跟踪方法，其特征在于，基于所述基础计算帧获得各个仿真目标的位姿信息之后，规划摄像机器人的机械臂的笛卡尔轨迹。
4.根据权利要求3所述的一种基于摄像机器人的目标跟踪方法，其特征在于，所述步骤S3中通过可达性分析和加速度分析将机械臂的笛卡尔轨迹转换成关节轨迹。
5.根据权利要求1所述的一种基于摄像机器人的目标跟踪方法，其特征在于，所述基于所述基础计算帧的计算方法为采用射线聚焦方法计算出各个仿真目标的位姿信息。
6.根据权利要求1所述的一种基于摄像机器人的目标跟踪方法，其特征在于，所述步骤S2中的摄像机器人的机械臂的参数包括姿态滚动角，俯仰角和偏航角。
CN202110949804.6A 2021-08-18 2021-08-18 一种基于摄像机器人的目标跟踪方法 Active CN113687627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949804.6A CN113687627B (zh) 2021-08-18 2021-08-18 一种基于摄像机器人的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949804.6A CN113687627B (zh) 2021-08-18 2021-08-18 一种基于摄像机器人的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN113687627A CN113687627A (zh) 2021-11-23
CN113687627B true CN113687627B (zh) 2022-08-19

Family

ID=78580477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949804.6A Active CN113687627B (zh) 2021-08-18 2021-08-18 一种基于摄像机器人的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN113687627B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116663A (zh) * 2020-08-20 2020-12-22 太仓中科信息技术研究院 一种摄像机器人离线编程方法、***及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521843A (en) * 1992-01-30 1996-05-28 Fujitsu Limited System for and method of recognizing and tracking target mark
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN108601626A (zh) * 2015-12-30 2018-09-28 皇家飞利浦有限公司 基于图像的机器人引导
CN111131813A (zh) * 2019-10-29 2020-05-08 牧今科技 用于确定相机校准的姿态的方法和***
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
CN112859854A (zh) * 2021-01-08 2021-05-28 姜勇 一种自动跟随摄像的摄像机器人的摄像***及方法
CN113084827A (zh) * 2021-04-01 2021-07-09 北京飞影科技有限公司 一种摄像装置光心位置标定方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2928645C (en) * 2013-10-25 2021-10-26 Aleksandar VAKANSKI Image-based robot trajectory planning approach
WO2019049331A1 (ja) * 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521843A (en) * 1992-01-30 1996-05-28 Fujitsu Limited System for and method of recognizing and tracking target mark
CN103400409A (zh) * 2013-08-27 2013-11-20 华中师范大学 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法
CN104647390A (zh) * 2015-02-11 2015-05-27 清华大学 用于机械臂遥操作的多摄像机联合主动跟踪目标的方法
CN108601626A (zh) * 2015-12-30 2018-09-28 皇家飞利浦有限公司 基于图像的机器人引导
CN111131813A (zh) * 2019-10-29 2020-05-08 牧今科技 用于确定相机校准的姿态的方法和***
CN112541946A (zh) * 2020-12-08 2021-03-23 深圳龙岗智能视听研究院 一种基于透视多点投影的机械臂的位姿实时检测方法
CN112859854A (zh) * 2021-01-08 2021-05-28 姜勇 一种自动跟随摄像的摄像机器人的摄像***及方法
CN113084827A (zh) * 2021-04-01 2021-07-09 北京飞影科技有限公司 一种摄像装置光心位置标定方法及装置

Also Published As

Publication number Publication date
CN113687627A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
US7106361B2 (en) System and method for manipulating the point of interest in a sequence of images
US10165157B2 (en) Method and device for hybrid robotic/virtual pan-tilt-zoom cameras for autonomous event recording
US7027083B2 (en) System and method for servoing on a moving fixation point within a dynamic scene
US9369694B2 (en) Adjusting stereo images
CN108200445B (zh) 虚拟形象的虚拟演播***及方法
US5457370A (en) Motion control system for cinematography
CN107646126A (zh) 用于移动设备的相机姿态估计
JP7185860B2 (ja) 多軸可動視覚システムのキャリブレーション方法
US20110249095A1 (en) Image composition apparatus and method thereof
US12008708B2 (en) Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens
US9242379B1 (en) Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation
JP7082713B2 (ja) ローリングシャッター画像／ビデオのｓｆｍ／ｓｌａｍに対するアプリケーションで畳み込みニューラルネットワークを用いる画像／ビデオにおけるローリングシャッター補正
CN113687627B (zh) 一种基于摄像机器人的目标跟踪方法
CN101686406A (zh) 一种标定参数的获取方法和装置
Hu et al. Omnidirectional panoramic video system with frame-by-frame ultrafast viewpoint control
JP5044582B2 (ja) 撮影カメラ学習装置及びそのプログラム
JP2019121945A (ja) 撮像装置、その制御方法及びプログラム
JP2021124395A (ja) パン・チルト角算出装置及びそのプログラム
Dang et al. Imitation learning-based algorithm for drone cinematography system
CN111526297A (zh) 曲面屏图像采集方法、装置及终端设备
CN111031198A (zh) 一种实时电影生产技术
KR102686182B1 (ko) 이미지 합성을 위한 방법 및 데이터 처리 시스템
CN109919976A (zh) 基于摄像机器人的场景自动化复用方法、设备和存储介质
TWI692968B (zh) 三維建模裝置及應用於其之校準方法
CN117911629B (zh) 一种虚拟屏幕的显示方法和显示***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant