CN111192318A - 确定无人机位置和飞行方向的方法、装置及无人机 - Google Patents

确定无人机位置和飞行方向的方法、装置及无人机 Download PDF

Info

Publication number
CN111192318A
CN111192318A CN201811356896.1A CN201811356896A CN111192318A CN 111192318 A CN111192318 A CN 111192318A CN 201811356896 A CN201811356896 A CN 201811356896A CN 111192318 A CN111192318 A CN 111192318A
Authority
CN
China
Prior art keywords
coordinate system
unmanned aerial
aerial vehicle
camera
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811356896.1A
Other languages
English (en)
Other versions
CN111192318B (zh
Inventor
沈亢伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201811356896.1A priority Critical patent/CN111192318B/zh
Publication of CN111192318A publication Critical patent/CN111192318A/zh
Application granted granted Critical
Publication of CN111192318B publication Critical patent/CN111192318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提出确定无人机位置和飞行方向的方法、装置及无人机。方法包括：根据无人机的云台搭载的相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标，m≥4；根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系；根据相机拍摄到包含m个固定点的图像时云台相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系；根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。本发明提高了对无人机定位的精度。

Description

确定无人机位置和飞行方向的方法、装置及无人机
技术领域
本发明涉及无人机技术领域，尤其涉及确定无人机位置和飞行方向的方法、装置及无人机。
背景技术
无人机已被广泛应用于航拍摄影、电力巡检、环境监测、森林防火、灾情巡查、防恐救生、军事侦察、战场评估等领域，有效克服了有人驾驶飞机空中作业的不足，降低了购买与维护成本，提高了运载工具的安全性。
在无人机进行空中作业时，需要得知无人机的实时位置，以便对无人机进行控制。
发明内容
本发明提出确定无人机位置和飞行方向的方法、装置及无人机，以提高对无人机定位的精度。
本发明的技术方案是这样实现的：
根据无人机的云台搭载的相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标，m≥4；
根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系；
根据相机拍摄到包含m个固定点的图像时云台相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系；
根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
通过上述实施例，可同时计算出无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量，从而能够同时得到无人机的位置和飞行方向，提高了对无人机定位的精度。
所述计算相机坐标系到世界坐标系的转换关系包括：
计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T；
所述计算无人机坐标系到相机坐标系的转换关系包括：
计算无人机坐标系到相机坐标系的旋转矩阵Q；
所述计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量包括：
确定无人机在世界坐标系中的位置坐标为平移向量T，以及计算出无人机在世界坐标系中的飞行方向向量为：无人机在无人机坐标系中的飞行方向向量与旋转矩阵Q和旋转矩阵R的乘积。
当采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，无人机在无人机坐标系中的飞行方向向量为[0,0,1]。
所述云台相对无人机的旋转角度包括：翻滚角θ、俯仰角ф和偏航角
Figure BDA0001866314070000022
所述计算无人机坐标系到相机坐标系的转换关系包括：
根据如下原则：将无人机先绕偏航角对应轴旋转
Figure BDA0001866314070000023
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q。
所述旋转矩阵Q符合以下公式要求：
Figure BDA0001866314070000021
一种确定无人机位置和飞行方向的装置，该装置应用于无人机，所述无人机具有搭载相机和角度传感器的云台，该装置包括：
旋转角度获取模块，用于从角度传感器获取相机拍摄到包含m个固定点的图像时云台相对无人机的旋转角度，m≥4；
固定点坐标计算模块，用于根据相机拍摄到的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标；
第一坐标系转换关系计算模块，用于根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系；
第二坐标系转换关系计算模块，用于根据相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系；
无人机位置和飞行方向计算模块，用于根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
所述第一坐标系转换关系计算模块计算相机坐标系到世界坐标系的转换关系包括：
计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T；
所述第二坐标系转换关系计算模块计算无人机坐标系到相机坐标系的转换关系包括：
计算无人机坐标系到相机坐标系的旋转矩阵Q；
所述无人机位置和飞行方向计算模块计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量包括：
确定无人机在世界坐标系中的位置坐标为平移向量T，以及计算出无人机在世界坐标系中的飞行方向向量为：无人机在无人机坐标系中的飞行方向向量与旋转矩阵Q和旋转矩阵R的乘积。
当所述无人机位置和飞行方向计算模块采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，无人机在无人机坐标系中的飞行方向向量为[0,0,1]。
所述旋转角度获取模块获取的云台相对无人机的旋转角度包括：翻滚角θ、俯仰角ф和偏航角
Figure BDA0001866314070000031
所述第二坐标系转换关系计算模块计算无人机坐标系到相机坐标系的转换关系包括：
根据如下原则：将无人机先绕偏航角对应轴旋转
Figure BDA0001866314070000032
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q。
所述旋转矩阵Q符合以下公式要求：
Figure BDA0001866314070000041
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的确定无人机位置和飞行方向的方法的步骤。
一种无人机，包括：飞行控制器以及搭载有相机和角度传感器的云台，所述飞行控制器执行如上任一所述的确定无人机位置和飞行方向的方法。
本发明通过根据相机拍摄的包含m个固定点的图像，m≥4，计算相机坐标系到世界坐标系的转换关系，并根据相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系，从而得到无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量，从而能够同时得到无人机的位置和飞行方向，提高了对无人机定位的精度。
附图说明
图1为本发明一实施例提供的确定无人机位置和飞行方向的方法流程图；
图2为本发明另一实施例提供的确定无人机位置和飞行方向的方法流程图；
图3为本发明实施例提供的确定无人机位置和飞行方向的装置的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
相关技术提出了基于二维标签的无人机定位及目标跟踪方法。该方法是在无人机上搭载相机、云台，将相机对准一个二维标签，已知二维标签在世界坐标系中的位置，通过二维标签在相机中的像的位置来计算相机在世界坐标系中的位置，并将相机在世界坐标系中的位置作为无人机的坐标，其步骤如下：
A、对相机进行标定。根据相机拍摄的图像，标定出相机的内参数矩阵
Figure BDA0001866314070000051
其中，fx、fy为相机的焦距，u0、v0为相机的光心。
B、进行二维标签的检测。在云台相机拍摄的图像中识别出二维标签，得到二维标签在图像中的坐标[x，y，1]，x、y为用像素值表示的横、纵坐标。
C、进行二维标签的定位。根据相机内参数及二维标签在图像中的坐标，计算出相机的外参数，计算公式为：
Figure BDA0001866314070000052
其中，s表示一个比例系数；等式右边第二个矩阵为相机的外参数矩阵，即从世界坐标系到图像中的坐标系的变换矩阵，其中，r1～r9表征两个坐标系之间的旋转关系，t1-t3表征两个坐标系之间的平移关系，[X，Y，Z，1]为二维标签在世界坐标系中的坐标。
D、通过相机的外参数计算得到相机在世界坐标系中的坐标，即无人机的坐标。
E、以二维标签在画面中的移动速度和二维标签相对无人机的距离为输入，控制相机始终对准二维标签。
上述方法的缺点是，将无人机坐标等价于相机坐标，而未考虑到相机方向到无人机方向的转换，而实际上，相机方向要经过旋转才能得到无人机方向。
图1为本发明一实施例提供的确定无人机位置和飞行方向的方法流程图，其具体步骤如下：
步骤101：无人机的飞行控制器控制无人机的云台旋转，以使得云台搭载的相机拍摄周围环境中预设的m个固定点，m≥4。
步骤102：无人机的飞行控制器确定相机拍摄到预设的m个固定点，则从云台搭载的角度传感器获取云台相对无人机的旋转角度。
步骤103：无人机的飞行控制器根据相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标。
步骤104：无人机的飞行控制器根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系。
步骤105：无人机的飞行控制器根据相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系。
步骤106：无人机的飞行控制器根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
如此，通过无人机云台搭载的相机拍摄到的预设的m个固定点的图像以及拍摄到m个固定点时云台相对无人机的旋转角度，计算出相机坐标系到世界坐标系的转换关系、无人机坐标系到相机坐标系的转换关系，从而计算出无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量，从而能够同时得到无人机的位置和飞行方向，提高了对无人机定位的精度。
以下对相机坐标系到世界坐标系的转换，以及无人机坐标系到相机坐标系的转换给出详细说明：
图2为本发明另一实施例提供的确定无人机位置和飞行方向的方法流程图，其具体步骤如下：
步骤201：预先在无人机的飞行控制器上存储周围环境中的m个固定点在世界坐标系下的坐标，m≥4。
这里的“周围环境”即无人机的飞行环境。
计算世界坐标系、相机坐标系、无人机坐标系中两两坐标系之间的转换关系，即相当于计算两个坐标系之间转换的旋转矩阵和平移向量，其中，旋转矩阵为3*3的矩阵，平移向量为3维向量，即共需要求得12个未知量；考虑到每个固定点的坐标是一个三维向量，从而至少需要4个固定点的坐标才能求解包含12个未知量的且能得到唯一解的方程。
在实际应用中，m个固定点可同时位于一个标记物上，该标记物可以是一个平面，该标记物可以是贴在墙上的一张纸、或是一个牌子、或是一个显示屏等。
可以使用标记物上具有明显特征的特征点来直接作为固定点，这样就可以直接根据特征点的特征找到特征点(即固定点)；或者将与特征点有固定关系的点作为固定点，这样先根据特征点的特征找到特征点，然后根据固定点与特征点的关系找到固定点。
例如：标记物上标记了1个或多个特征点，特征点在标记物上的位置必须被精确显示。以4个特征点为例，4个特征点可以连成一个四边形，四边形的4个角即是4个特征点的位置，可将该4个特征点直接作为固定点。或者，也可以用一个四边形来表示一个特征点，四边形的对角线交点为特征点的位置，由于对角线交点与四边形的四个顶点有固定关系，则将四个顶点作为4个固定点。
标记物上使用文字或二维码存储了各个特征点的世界坐标系位置，也可以是与这些信息对应的某个索引标记或索引号(无人机可以根据这个索引标记或索引号获取对应的世界坐标系位置信息)。
标记物上有一个特征用于表示本标记物是定位标记物，该特征可以是一个特殊的图形、或颜色、或标记物本身的形状，或者，就是上文所说的包含了特殊信息的二维码、文字、索引标记/索引号。
当无人机云台上的相机对准该标记物时，可以从标记物上的文字、二维码或索引标记/索引号中读取特征点的世界坐标系位置信息，从而获得m个固定点的世界坐标。
进一步地，相距一定距离的多个标记物可以组合起来用于对飞行范围更大的无人机的定位。
步骤202：当需要获取无人机的位置和飞行方向时，无人机的飞行控制器控制云台旋转，以使得相机拍摄同时包含m个固定点的图像。
具体地，飞行控制器可预先存储m个固定点的特征，如：形状、颜色等识别特征，可控制云台依次在每个方向上按照预设步长转动，在相机拍摄的图像中实时检测是否同时出现了m个固定点，若是，则确定相机拍摄到了同时包含m个固定点的图像。
步骤203：当相机拍摄到同时包含m个固定点的图像时，无人机的飞行控制器从云台搭载的角度传感器获取云台相对无人机的旋转角度：翻滚角(roll)θ、俯仰角(pitch)ф和偏航角(yaw)
Figure BDA0001866314070000081
步骤204：无人机的飞行控制器根据相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标。
本步骤属于现有成熟技术，通过相机的内存数(如：焦距等)以及m个固定点在世界坐标系下的坐标和在图像上的坐标，可计算出m个固定点在相机坐标系下的坐标。
步骤205：无人机的飞行控制器根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T。
例如：设任一固定点r(1≤r≤m)在世界坐标系下的坐标为pos_r，在相机坐标下的坐标为c_r，则有方程：pos_r＝c_r×R+T，其中，R为3*3的矩阵，T为3维向量，则将m个固定点的坐标分别代入上述方程进行计算后，就可得到R和T。
步骤206：无人机的飞行控制器根据相机相对无人机的旋转角度：翻滚角θ、俯仰角ф和偏航角
Figure BDA0001866314070000082
计算无人机坐标系到相机坐标系的旋转矩阵Q。
例如：可以根据如下原则：将无人机先绕偏航角对应轴旋转
Figure BDA0001866314070000083
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q；其中，旋转矩阵Q可以符合以下公式要求：
Figure BDA0001866314070000091
步骤207：无人机的飞行控制器根据相机坐标系到世界坐标系的旋转矩阵R和平移向量T，以及无人机坐标系到相机坐标系的旋转矩阵Q，得到无人机坐标系到世界坐标系的旋转矩阵为Q×R，平移向量为T，则当前无人机在世界坐标系中的位置坐标为平移向量T，当前无人机在世界坐标系中的飞行方向向量为dir＝[0,0,1]×Q×R，其中，[0,0,1]为当采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，当前无人机在无人机坐标系中的飞行方向向量。
由于相机固定在无人机上，因此可以认为相机坐标系和无人机坐标系到世界坐标系的平移向量是相同的，而无人机所在的位置就是无人机坐标系的原点，因此，无人机坐标系到世界坐标系的平移向量T即为无人机在世界坐标系中的位置坐标。
在无人机巡航时，可在相机第一次对准m个固定点后控制相机跟踪该固定点，即始终保持相机对准m个固定点，或者，每隔一段时间控制相机对准m个固定点，或者，在接收到针对无人机的定位指示时控制相机对准m个固定点，这样通过本发明提供的技术方案就能够实时或周期性地或按要求获取无人机在世界坐标系中的位置和飞行方向。
图3为本发明实施例提供的确定无人机位置和飞行方向的装置的结构示意图，该装置应用于无人机，该无人机具有搭载相机和角度传感器的云台，该装置主要包括：云台控制模块31、旋转角度获取模块32、固定点坐标计算模块33、第一坐标系转换关系计算模块34、第二坐标系转换关系计算模块35和无人机位置和飞行方向计算模块36，其中：
云台控制模块31，用于控制无人机的云台旋转，以使得相机拍摄周围环境中预设的m个固定点，m≥4。
旋转角度获取模块32，用于从角度传感器获取相机拍摄到m个固定点时云台相对无人机的旋转角度。
固定点坐标计算模块33，用于根据相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标。
第一坐标系转换关系计算模块34，用于根据预先存储的m个固定点在世界坐标系下的坐标和固定点坐标计算模块33计算得到的m个固定点在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系。
第二坐标系转换关系计算模块35，用于根据旋转角度获取模块32获取的相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系。
无人机位置和飞行方向计算模块36，用于根据第一坐标系转换关系计算模块34计算得到的相机坐标系到世界坐标系的转换关系，以及第二坐标系转换关系计算模块35计算得到的无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
在实际应用中，第一坐标系转换关系计算模块34计算相机坐标系到世界坐标系的转换关系包括：
计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T；
第二坐标系转换关系计算模块35计算无人机坐标系到相机坐标系的转换关系包括：
计算无人机坐标系到相机坐标系的旋转矩阵Q；
无人机位置和飞行方向计算模块36计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量包括：
确定无人机在世界坐标系中的位置坐标为平移向量T，以及计算出无人机在世界坐标系中的飞行方向向量为：无人机在无人机坐标系中的飞行方向向量与Q和R的乘积。
当无人机位置和飞行方向计算模块采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，无人机在无人机坐标系中的飞行方向向量为[0,0,1]。
在实际应用中，旋转角度获取模块32获取的无人机的相机相对无人机的旋转角度包括：翻滚角θ、俯仰角ф和偏航角
Figure BDA0001866314070000112
第二坐标系转换关系计算模块35根据相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系包括：
根据如下原则：将无人机先绕偏航角对应轴旋转
Figure BDA0001866314070000113
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q。
其中，旋转矩阵Q符合以下公式要求：
Figure BDA0001866314070000111
在实际应用中，云台控制模块31包括：
根据预设的m个固定点的特征，控制云台旋转，以使得相机拍摄同时包含m个固定点的图像。
本发明实施例还提供一种无人机，该无人机包括飞行控制器以及搭载相机和角度传感器的云台，其中，飞行控制器执行如步骤101-106，或者如步骤201-207所述的确定无人机位置和飞行方向的方法。
本发明实施例还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，该指令在由处理器执行时使得处理器执行如步骤101-106，或者如步骤201-207所述的确定无人机位置和飞行方向的方法的步骤。
本发明实施例还提供一种电子设备，包括如上所述的非瞬时计算机可读存储介质、以及可访问非瞬时计算机可读存储介质的上述处理器。
本发明的有益技术效果如下：
可同时得到无人机在世界坐标系中的位置和飞行方向，提高了无人机的定位精度，从而提高了对无人机的控制精度；且由于不采用GPS技术进行定位，因此不受GPS信号强弱的制约，适用范围更广泛，在户外和室内都可使用。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种确定无人机位置和飞行方向的方法，其特征在于，该方法包括：
根据无人机的云台搭载的相机拍摄的包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标，m≥4；
根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系；
根据相机拍摄到所述包含m个固定点的图像时云台相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系；
根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
2.根据权利要求1所述的方法，其特征在于，所述计算相机坐标系到世界坐标系的转换关系包括：
计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T；
所述计算无人机坐标系到相机坐标系的转换关系包括：
计算无人机坐标系到相机坐标系的旋转矩阵Q；
所述计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量包括：
确定无人机在世界坐标系中的位置坐标为平移向量T，以及计算出无人机在世界坐标系中的飞行方向向量为：无人机在无人机坐标系中的飞行方向向量与旋转矩阵Q和旋转矩阵R的乘积。
3.根据权利要求2所述的方法，其特征在于，当采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，无人机在无人机坐标系中的飞行方向向量为[0,0,1]。
4.根据权利要求1或2所述的方法，其特征在于，所述云台相对无人机的旋转角度包括：翻滚角θ、俯仰角ф和偏航角
Figure FDA0001866314060000011
所述计算无人机坐标系到相机坐标系的转换关系包括：
根据如下原则：将无人机先绕偏航角对应轴旋转
Figure FDA0001866314060000021
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q。
5.根据权利要求4所述的方法，其特征在于，所述旋转矩阵Q符合以下公式要求：
Figure FDA0001866314060000022
6.一种确定无人机位置和飞行方向的装置，该装置应用于无人机，所述无人机具有搭载相机和角度传感器的云台，其特征在于，该装置包括：
旋转角度获取模块，用于从角度传感器获取相机拍摄到包含m个固定点的图像时云台相对无人机的旋转角度，m≥4；
固定点坐标计算模块，用于根据相机拍摄到的所述包含m个固定点的图像，计算m个固定点在相机坐标系下的坐标；
第一坐标系转换关系计算模块，用于根据m个固定点在世界坐标系下的坐标和在相机坐标系下的坐标，计算相机坐标系到世界坐标系的转换关系；
第二坐标系转换关系计算模块，用于根据相机相对无人机的旋转角度，计算无人机坐标系到相机坐标系的转换关系；
无人机位置和飞行方向计算模块，用于根据相机坐标系到世界坐标系的转换关系，以及无人机坐标系到相机坐标系的转换关系，计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量。
7.根据权利要求6所述的装置，其特征在于，所述第一坐标系转换关系计算模块计算相机坐标系到世界坐标系的转换关系包括：
计算相机坐标系到世界坐标系的旋转矩阵R和平移向量T；
所述第二坐标系转换关系计算模块计算无人机坐标系到相机坐标系的转换关系包括：
计算无人机坐标系到相机坐标系的旋转矩阵Q；
所述无人机位置和飞行方向计算模块计算无人机在世界坐标系中的位置坐标以及无人机在世界坐标系中的飞行方向向量包括：
确定无人机在世界坐标系中的位置坐标为平移向量T，以及计算出无人机在世界坐标系中的飞行方向向量为：无人机在无人机坐标系中的飞行方向向量与旋转矩阵Q和旋转矩阵R的乘积。
8.根据权利要求7所述的装置，其特征在于，当所述无人机位置和飞行方向计算模块采用无人机的正前方作为无人机在无人机坐标系中的飞行方向向量时，无人机在无人机坐标系中的飞行方向向量为[0,0,1]。
9.根据权利要求6或7所述的装置，其特征在于，所述旋转角度获取模块获取的云台相对无人机的旋转角度包括：翻滚角θ、俯仰角ф和偏航角
Figure FDA0001866314060000031
所述第二坐标系转换关系计算模块计算无人机坐标系到相机坐标系的转换关系包括：
根据如下原则：将无人机先绕偏航角对应轴旋转
Figure FDA0001866314060000033
角度、再绕俯仰角对应轴旋转ф角度、最后绕翻滚角对应轴旋转θ角度，构造无人机坐标系到相机坐标系的旋转矩阵Q。
10.根据权利要求9所述的装置，其特征在于，所述旋转矩阵Q符合以下公式要求：
Figure FDA0001866314060000032
11.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至5中任一项所述的确定无人机位置和飞行方向的方法的步骤。
12.一种无人机，其特征在于，包括：飞行控制器以及搭载有相机和角度传感器的云台，所述飞行控制器执行如权利要求1至5任一所述的确定无人机位置和飞行方向的方法。
CN201811356896.1A 2018-11-15 2018-11-15 确定无人机位置和飞行方向的方法、装置及无人机 Active CN111192318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811356896.1A CN111192318B (zh) 2018-11-15 2018-11-15 确定无人机位置和飞行方向的方法、装置及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811356896.1A CN111192318B (zh) 2018-11-15 2018-11-15 确定无人机位置和飞行方向的方法、装置及无人机

Publications (2)

Publication Number Publication Date
CN111192318A true CN111192318A (zh) 2020-05-22
CN111192318B CN111192318B (zh) 2023-09-01

Family

ID=70710606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811356896.1A Active CN111192318B (zh) 2018-11-15 2018-11-15 确定无人机位置和飞行方向的方法、装置及无人机

Country Status (1)

Country Link
CN (1) CN111192318B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261221A (zh) * 2020-09-21 2021-01-22 电子科技大学 一种基于智能终端的人体跌倒检测方法
CN112995890A (zh) * 2021-02-06 2021-06-18 广东特视能智能科技有限公司 无人机定位方法、装置、存储介质及无人机机巢
CN113436276A (zh) * 2021-07-13 2021-09-24 天津大学 基于视觉相对定位的多无人机编队方法
CN113686736A (zh) * 2021-08-19 2021-11-23 易视智瞳科技（深圳）有限公司 一种测量喷射阀发射方向的视觉方法及视觉***
CN113821052A (zh) * 2021-09-22 2021-12-21 一飞智控(天津)科技有限公司 集群无人机协同目标定位方法、***、协同目标定位终端
CN114020029A (zh) * 2021-11-09 2022-02-08 深圳大漠大智控技术有限公司 一种针对集群的航拍航线自动生成方法、装置及相关组件
CN115793698A (zh) * 2023-02-07 2023-03-14 北京四维远见信息技术有限公司 自动姿态控制***和方法

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090295908A1 (en) * 2008-01-22 2009-12-03 Morteza Gharib Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
EP2805671A2 (en) * 2013-05-23 2014-11-26 Stiftung caesar - center of advanced european studies and research assoziiert mit der Max-Planck-Gesellschaft Ocular videography system
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
US20150098618A1 (en) * 2013-10-08 2015-04-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating orientation of body, and computer readable storage medium of recording the method
WO2015173256A2 (de) * 2014-05-13 2015-11-19 Immersight Gmbh Verfahren und system zur bestimmung einer gegenständlichen lage
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
CN106326892A (zh) * 2016-08-01 2017-01-11 西南科技大学 一种旋翼式无人机的视觉着陆位姿估计方法
WO2017049816A1 (zh) * 2015-09-24 2017-03-30 北京零零无限科技有限公司 一种控制无人机随脸转动的方法和装置
CN106651961A (zh) * 2016-12-09 2017-05-10 中山大学 一种基于彩色立体标定物的无人机标定方法及***
CN107194941A (zh) * 2017-05-23 2017-09-22 武汉科技大学 一种基于单目视觉的无人机自主着陆方法、***及电子设备
WO2017181513A1 (zh) * 2016-04-20 2017-10-26 高鹏 无人机的飞行控制方法和装置
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107831776A (zh) * 2017-09-14 2018-03-23 湖南优象科技有限公司 基于九轴惯性传感器的无人机自主返航方法
CN107966136A (zh) * 2016-10-19 2018-04-27 杭州海康机器人技术有限公司 基于主无人机视觉的从无人机位置显示方法、装置及***
CN108007463A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 无人机姿态获取方法、装置及无人机
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
US20180150073A1 (en) * 2016-11-30 2018-05-31 Samsung Electronics Co., Ltd. Unmanned aerial vehicle and method for controlling flight of the same
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN108681718A (zh) * 2018-05-20 2018-10-19 北京工业大学 一种无人机低空目标精准检测识别方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090295908A1 (en) * 2008-01-22 2009-12-03 Morteza Gharib Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
EP2805671A2 (en) * 2013-05-23 2014-11-26 Stiftung caesar - center of advanced european studies and research assoziiert mit der Max-Planck-Gesellschaft Ocular videography system
US20150098618A1 (en) * 2013-10-08 2015-04-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating orientation of body, and computer readable storage medium of recording the method
WO2015173256A2 (de) * 2014-05-13 2015-11-19 Immersight Gmbh Verfahren und system zur bestimmung einer gegenständlichen lage
CN104215239A (zh) * 2014-08-29 2014-12-17 西北工业大学 基于视觉的无人机自主着陆导引装置及导引方法
WO2017049816A1 (zh) * 2015-09-24 2017-03-30 北京零零无限科技有限公司 一种控制无人机随脸转动的方法和装置
CN105225241A (zh) * 2015-09-25 2016-01-06 广州极飞电子科技有限公司 无人机深度图像的获取方法及无人机
WO2017181513A1 (zh) * 2016-04-20 2017-10-26 高鹏 无人机的飞行控制方法和装置
CN106326892A (zh) * 2016-08-01 2017-01-11 西南科技大学 一种旋翼式无人机的视觉着陆位姿估计方法
CN107966136A (zh) * 2016-10-19 2018-04-27 杭州海康机器人技术有限公司 基于主无人机视觉的从无人机位置显示方法、装置及***
US20180150073A1 (en) * 2016-11-30 2018-05-31 Samsung Electronics Co., Ltd. Unmanned aerial vehicle and method for controlling flight of the same
CN106651961A (zh) * 2016-12-09 2017-05-10 中山大学 一种基于彩色立体标定物的无人机标定方法及***
CN107194941A (zh) * 2017-05-23 2017-09-22 武汉科技大学 一种基于单目视觉的无人机自主着陆方法、***及电子设备
CN107314771A (zh) * 2017-07-04 2017-11-03 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN107831776A (zh) * 2017-09-14 2018-03-23 湖南优象科技有限公司 基于九轴惯性传感器的无人机自主返航方法
CN108007463A (zh) * 2017-11-29 2018-05-08 天津聚飞创新科技有限公司 无人机姿态获取方法、装置及无人机
CN108022255A (zh) * 2017-12-07 2018-05-11 深圳慧源创新科技有限公司 无人机自动跟踪方法、无人机自动跟踪装置和无人机
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN108681718A (zh) * 2018-05-20 2018-10-19 北京工业大学 一种无人机低空目标精准检测识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIN ZHANG ET AL.: "Measurement of Unmanned Aerial Vehicle Attitude Angles Based on a Single Captured Image", vol. 18, no. 18, pages 1 - 14 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261221A (zh) * 2020-09-21 2021-01-22 电子科技大学 一种基于智能终端的人体跌倒检测方法
CN112995890A (zh) * 2021-02-06 2021-06-18 广东特视能智能科技有限公司 无人机定位方法、装置、存储介质及无人机机巢
CN113436276A (zh) * 2021-07-13 2021-09-24 天津大学 基于视觉相对定位的多无人机编队方法
CN113686736A (zh) * 2021-08-19 2021-11-23 易视智瞳科技（深圳）有限公司 一种测量喷射阀发射方向的视觉方法及视觉***
CN113686736B (zh) * 2021-08-19 2024-02-20 易视智瞳科技（深圳）有限公司 一种测量喷射阀发射方向的视觉方法及视觉***
CN113821052A (zh) * 2021-09-22 2021-12-21 一飞智控(天津)科技有限公司 集群无人机协同目标定位方法、***、协同目标定位终端
CN114020029A (zh) * 2021-11-09 2022-02-08 深圳大漠大智控技术有限公司 一种针对集群的航拍航线自动生成方法、装置及相关组件
CN115793698A (zh) * 2023-02-07 2023-03-14 北京四维远见信息技术有限公司 自动姿态控制***和方法

Also Published As

Publication number Publication date
CN111192318B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN111192318B (zh) 确定无人机位置和飞行方向的方法、装置及无人机
JP7260269B2 (ja) 航空非破壊検査用の測位システム
CN109596118B (zh) 一种用于获取目标对象的空间位置信息的方法与设备
US20220077820A1 (en) Method and system for soar photovoltaic power station monitoring
JP6496323B2 (ja) 可動物体を検出し、追跡するシステム及び方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN107314771A (zh) 基于编码标志点的无人机定位以及姿态角测量方法
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN111966133A (zh) 一种云台视觉伺服控制***
CN106444837A (zh) 一种无人机避障方法及***
CN110333735B (zh) 一种实现无人机水陆二次定位的***和方法
JP2018537335A (ja) 無人航空機の飛行を制御する方法及びシステム
CN104298248A (zh) 旋翼无人机精确视觉定位定向方法
US10303943B2 (en) Cloud feature detection
CN113516708B (zh) 一种基于图像识别与uwb定位融合的输电线路巡检无人机精确定位***及方法
CN109035294B (zh) 一种运动目标的图像提取***及方法
CN112955711A (zh) 位置信息确定方法、设备及存储介质
CN112947550A (zh) 一种基于视觉伺服的非法飞行器打击方法及机器人
CN115291536B (zh) 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法
CN113126126A (zh) 一种全天时自动报靶***及其弹药落点定位方法
Moore et al. UAV altitude and attitude stabilisation using a coaxial stereo vision system
US20180012060A1 (en) Detecting and ranging cloud features
WO2021166845A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114973037B (zh) 一种无人机智能检测与同步定位多目标的方法
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310051 5th floor, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230615

Address after: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Hangzhou Hikvision Digital Technology Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: Hangzhou Hikvision Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant