CN108873031B - 一种2自由度吊舱的外参标定优化方法 - Google Patents
一种2自由度吊舱的外参标定优化方法 Download PDFInfo
- Publication number
- CN108873031B CN108873031B CN201810424166.4A CN201810424166A CN108873031B CN 108873031 B CN108873031 B CN 108873031B CN 201810424166 A CN201810424166 A CN 201810424166A CN 108873031 B CN108873031 B CN 108873031B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- pod
- coordinate system
- ground target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/53—Determining attitude
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
本发明属于吊舱外参标定技术领域,尤其是涉及一种2自由度吊舱的外参标定优化方法。本发明考虑到吊舱的2个姿态角即俯仰角和偏航角的输出是已知的,同时吊舱和无人机是捷联的,利用无人机自身携带的导航***提供的无人机姿态和位置信息、地面目标的位置信息以及吊舱自身反馈的姿态信息,通过相关的数值优化方法,可以对吊舱外参进行优化标定。该方法可以对地面目标进行更精确的定位。
Description
技术领域
本发明属于吊舱外参标定技术领域,尤其是涉及一种2自由度吊舱的外参标定优化方法。
背景技术
无人机在执行对地面目标定位任务的过程中,一般要求能够对目标实现无死角的定位,也就是说尽可能的全方位输出目标的空间位置。要实现这个任务,仅仅依靠相机是无法实现的,因此需要带有旋转功能的吊舱来实现。由于低成本且小型化,无人机的机载载荷重量和体积有限,一般小型无人机携带的吊舱都为二自由度的吊舱。
由于吊舱的旋转机构和其中的摄像机是固连安装的,目前常用的方法通常默认为这两者的坐标系是重叠的,事实上,由于机械误差和安装误差等因素的影响,这两者并不是严格重叠的,而无人机对地面目标的定位需要对目标进行投影映射,为了能够实现准确的目标空间定位,需要能够同时标定出吊舱相对于无人机的外参姿态以及吊舱中的旋转机构坐标和摄像机坐标之间的姿态。
发明内容
本发明的目的是提供一种2自由度吊舱的外参标定优化方法,适用于空中无人机对地面运动目标的实时定位的应用。
具体地,本发明采用的技术方案如下:
一种2自由度吊舱的外参标定优化方法,包括以下步骤:
(1)对于固定翼或者旋翼无人机,给定其一条标定优化数据采集的飞行航迹,无人机采用盘旋绕圈的模式按照给定的飞行轨迹飞行,无人机其吊舱能够实时的跟踪地面目标;地面目标上安装有GPS传感器且地面目标静止不动;
(2)通过GPS传感器采集一段时间(比如1分钟)地面目标实时空间位置数据,然后取平均,获得一个准确的地面目标空间位置PosT=[xT,yT,zT]。
(3)首先对本发明所用到的几个坐标系进行说明。世界坐标系owxwywzw的原点为无人机的起飞点,owxw,owyw,owzw分别指向东、北和天;图像坐标系o0uv的原点为图像左上角点o0,横坐标u和纵坐标v分别是图像所在的行和列,主点为(u0,v0);摄像机坐标系ocxcyczc原点为相机的光心,ocxc和ocyc轴与图像的u,v轴平行,oczc轴为相机光轴,焦距为f,ocxc和ocyc方向的有效焦距分别为fx和fy;吊舱坐标系opodxpodypodzpod的原点为吊舱安装轴的中心点,opodxpod和opodypod轴分别为吊舱的右侧和正前方,opodzpod满足右手法则。
假设地面目标中心位置在吊舱中成像位置为(u,v),根据目标投影原理、无人机信息(即步骤(1)中得到的无人机的GPS信息)和吊舱姿态输出信息(即步骤(1)中得到的吊舱反馈的姿态角),地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵;为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵,对应的欧拉角为 为吊舱坐标系从初始时刻到tk时刻的旋转矩阵,可以实时获取;为摄像机坐标系与吊舱坐标系的旋转矩阵,实时上这个旋转矩阵是固定不变的,对应的欧拉角为(u0,v0)为相机主点坐标;(fx,fy)分别为(u,v)方向上对应的有效焦距;zc为目标在光轴的投影。
(4)根据步骤(2)中得到的地面目标空间位置PosT=[xT,yT,zT],结合公式(1),且最终的目的是能够使得地面目标的定位准确,因此定义如下能量函数
其中N为采集的数量(无人机在步骤(1)中的飞行采集过程中,检测到地面目标的次数即为采集的数量),(xw,yw,zw)为无人机在世界坐标系中的空间位置,(xT,yT,zT)为目标实际的空间位置。
根据公式(1)和公式(2),采用Matlab中的fminsearch(fun,x0)优化函数来进行外参优化,其中fun为公式(2)(将公式(1)带入(2)),x0为初始输入,包含初始的输入外参姿态角和一般来说,为吊舱上电时刻的角度输出值,为零向量,最终获得的结果和就是外参姿态标定优化的结果,从而可以利用公式(1)实时的解算地面目标的空间位置。
与现有技术相比,本发明能够产生以下技术效果:
本发明考虑到吊舱的2个姿态角(俯仰角和偏航角)的输出是已知的,同时吊舱和无人机是捷联的,利用无人机自身携带的导航***提供的无人机姿态和位置信息、地面目标的位置信息(携带GPS等传感器)以及吊舱自身反馈的姿态信息,通过相关的数值优化方法,可以对吊舱外参进行优化标定。该方法可以对地面目标进行更精确的定位。
附图说明
图1是本发明提供的飞行轨迹示意图;
图2是坐标系定义示意图。
具体实施方式
下面对本发明的进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
本发明适用于空中无人机对地面运动目标的实时定位的应用,具体实施流程如下:
(1)对于固定翼或者旋翼无人机,如图1所示,给定其一条标定优化数据采集的飞行航迹。无人机采用盘旋绕圈的模式按照给定的飞行轨迹飞行,无人机其吊舱能够实时的跟踪地面目标;地面目标上安装有GPS且地面目标静止不动;
(2)通过GPS传感器采集一段时间(比如1分钟)地面目标实时空间位置数据,然后取平均,获得一个准确的地面目标空间位置PosT=[xT,yT,zT]。
(3)图2描述了摄像机坐标系、吊舱坐标系、世界坐标系和图像坐标系的对应关系。世界坐标系owxwywzw的原点为无人机的起飞点,owxw,owyw,owzw分别指向东、北和天;图像坐标系o0uv的原点为图像左上角点o0,横坐标u和纵坐标v分别是图像所在的行和列,主点为(u0,v0);摄像机坐标系ocxcyczc原点为相机的光心,ocxc和ocyc轴与图像的u,v轴平行,oczc轴为相机光轴,焦距为f,ocxc和ocyc方向的有效焦距分别为fx和fy;吊舱坐标系opodxpodypodzpod的原点为吊舱安装轴的中心点,opodxpod和opodypod轴分别为吊舱的右侧和正前方,opodzpod满足右手法则。
假设地面目标中心位置在吊舱中成像位置为(u,v),根据目标投影原理、无人机信息(即步骤(1)中得到的无人机的GPS信息)和吊舱姿态输出信息(即步骤(1)中得到的吊舱反馈的姿态角),地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵;为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵,对应的欧拉角为 为吊舱坐标系从初始时刻到tk时刻的旋转矩阵,可以实时获取;为摄像机坐标系与吊舱坐标系的旋转矩阵,实时上这个旋转矩阵是固定不变的,对应的欧拉角为(u0,v0)为相机主点坐标;(fx,fy)分别为(u,v)方向上对应的有效焦距;zc为目标在光轴的投影。
(4)根据步骤(2)中得到的地面目标空间位置PosT=[xT,yT,zT],结合公式(1),假设地面目标的高度与飞机的高度保持相同,且最终的目的是能够使得地面目标的定位准确,因此定义如下能量函数
其中N为采集的数据量(无人机在步骤(1)中的飞行采集过程中,检测到地面目标的次数即为采集的数量),(xw,yw,zw)为无人机在世界坐标系中的空间位置,(xT,yT,zT)为步骤(2)中得到的地面目标空间位置。
根据公式(1)和公式(2),采用Matlab中的fminsearch(fun,x0)优化函数来进行外参优化,其中fun为公式(2)(将公式(1)带入(2)),x0为初始输入,包含初始的输入外参姿态角和一般来说,为吊舱上电时刻的角度输出值,为零向量,最终获得的结果和就是外参姿态标定优化的结果,从而可以利用公式(1)实时的解算地面目标的空间位置。
以上所述仅为本发明的优选的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种2自由度吊舱的外参标定优化方法,其特征在于:包括以下步骤:
(1)给定无人机一条标定优化数据采集的飞行航迹,无人机采用盘旋绕圈的模式进行按照给定的飞行轨迹飞行,无人机其吊舱能够实时的跟踪地面目标;地面目标上安装有GPS传感器且地面目标静止不动;
(2)获得地面目标空间位置PosT=[xT,yT,zT];
(3)假设地面目标中心位置在吊舱中成像位置为(u,v),根据目标投影原理、步骤(1)中得到的无人机的GPS信息和步骤(1)中得到的吊舱反馈的姿态角,地面目标相对于无人机的距离在世界坐标系中的投影(xw,yw,zw)估计如下:
其中为吊舱中的摄像机坐标系到世界坐标系的旋转矩阵;为初始时刻吊舱坐标系到无人机机载坐标系的旋转矩阵,对应的欧拉角为 为吊舱坐标系从初始时刻到tk时刻的旋转矩阵,可以实时获取;为摄像机坐标系与吊舱坐标系的旋转矩阵,这个旋转矩阵是固定不变的,对应的欧拉角为(u0,v0)为相机主点坐标;(fx,fy)分别为(u,v)方向上对应的有效焦距;zc为目标在光轴的投影;
(4)定义如下能量函数
其中N为采集的数量,无人机在步骤(1)中的飞行采集过程中,检测到地面目标的次数即为采集的数量N,(xw,yw,zw)为无人机在世界坐标系中的空间位置,(xT,yT,zT)为步骤(2)中得到的地面目标空间位置;
2.根据权利要求1所述的2自由度吊舱的外参标定优化方法,其特征在于:无人机为固定翼或者旋翼无人机。
3.根据权利要求1或2所述的2自由度吊舱的外参标定优化方法,其特征在于:步骤(2)中,基于GPS传感器采集一段时间内地面目标实时空间位置数据,然后取平均,即得到地面目标空间位置PosT=[xT,yT,zT]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424166.4A CN108873031B (zh) | 2018-05-07 | 2018-05-07 | 一种2自由度吊舱的外参标定优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424166.4A CN108873031B (zh) | 2018-05-07 | 2018-05-07 | 一种2自由度吊舱的外参标定优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108873031A CN108873031A (zh) | 2018-11-23 |
CN108873031B true CN108873031B (zh) | 2020-09-18 |
Family
ID=64327082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810424166.4A Active CN108873031B (zh) | 2018-05-07 | 2018-05-07 | 一种2自由度吊舱的外参标定优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108873031B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347186B (zh) * | 2019-07-17 | 2022-04-05 | 中国人民解放军国防科技大学 | 基于仿生双目联动的地面运动目标自主跟踪*** |
CN113252079B (zh) * | 2021-07-05 | 2022-03-29 | 北京远度互联科技有限公司 | 无人机的吊舱校准方法、装置、电子设备及存储介质 |
CN114973037B (zh) * | 2022-06-15 | 2024-05-07 | 中国人民解放军军事科学院国防科技创新研究院 | 一种无人机智能检测与同步定位多目标的方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509304A (zh) * | 2011-11-24 | 2012-06-20 | 江南大学 | 基于智能优化的摄像机标定方法 |
CN104019829A (zh) * | 2014-06-09 | 2014-09-03 | 武汉克利福昇科技有限责任公司 | 一种基于pos***的车载全景相机和线阵激光扫描仪的外参标定方法 |
CN106803270A (zh) * | 2017-01-13 | 2017-06-06 | 西北工业大学深圳研究院 | 无人机平台基于单目slam的多关键帧协同地面目标定位方法 |
CN106875449A (zh) * | 2017-02-17 | 2017-06-20 | 深圳飞马机器人科技有限公司 | 一种基于飞行数据的无人机非量测型相机检校方法 |
CN107464264A (zh) * | 2016-06-02 | 2017-12-12 | 南京理工大学 | 一种基于gps的相机参数标定方法 |
CN107783555A (zh) * | 2016-08-29 | 2018-03-09 | 杭州海康机器人技术有限公司 | 一种基于无人机的目标定位方法、装置及*** |
CN107808402A (zh) * | 2017-10-31 | 2018-03-16 | 深圳市瑞立视多媒体科技有限公司 | 多相机***的标定方法、多相机***及终端设备 |
-
2018
- 2018-05-07 CN CN201810424166.4A patent/CN108873031B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509304A (zh) * | 2011-11-24 | 2012-06-20 | 江南大学 | 基于智能优化的摄像机标定方法 |
CN104019829A (zh) * | 2014-06-09 | 2014-09-03 | 武汉克利福昇科技有限责任公司 | 一种基于pos***的车载全景相机和线阵激光扫描仪的外参标定方法 |
CN107464264A (zh) * | 2016-06-02 | 2017-12-12 | 南京理工大学 | 一种基于gps的相机参数标定方法 |
CN107783555A (zh) * | 2016-08-29 | 2018-03-09 | 杭州海康机器人技术有限公司 | 一种基于无人机的目标定位方法、装置及*** |
CN106803270A (zh) * | 2017-01-13 | 2017-06-06 | 西北工业大学深圳研究院 | 无人机平台基于单目slam的多关键帧协同地面目标定位方法 |
CN106875449A (zh) * | 2017-02-17 | 2017-06-20 | 深圳飞马机器人科技有限公司 | 一种基于飞行数据的无人机非量测型相机检校方法 |
CN107808402A (zh) * | 2017-10-31 | 2018-03-16 | 深圳市瑞立视多媒体科技有限公司 | 多相机***的标定方法、多相机***及终端设备 |
Non-Patent Citations (3)
Title |
---|
Camera calibration for UAV ground feature localization;Ai-Ping Hu;《2011 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM)》;20110926;176-179 * |
二维旋转平台下的相机参数标定;顾国华 等;《光学精密工程》;20170731;第25卷(第7期);1890-1899 * |
基于单目视觉的GPS辅助相机外参数标定;吴修振 等;《光学精密工程》;20170831;第25卷(第8期);2252-2258 * |
Also Published As
Publication number | Publication date |
---|---|
CN108873031A (zh) | 2018-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10914590B2 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
US20220003213A1 (en) | Unmanned Aerial Vehicle Wind Turbine Inspection Systems And Methods | |
US10565732B2 (en) | Sensor fusion using inertial and image sensors | |
EP3158293B1 (en) | Sensor fusion using inertial and image sensors | |
EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
US11015956B2 (en) | System and method for automatic sensor calibration | |
EP3158411B1 (en) | Sensor fusion using inertial and image sensors | |
US10273000B2 (en) | Control of image triggering for aerial image capturing in nadir alignment for an unmanned aircraft | |
Johnson et al. | Real-time terrain relative navigation test results from a relevant environment for Mars landing | |
CN108873031B (zh) | 一种2自由度吊舱的外参标定优化方法 | |
CN112789672B (zh) | 控制和导航***、姿态优化、映射和定位技术 | |
WO2020103049A1 (zh) | 旋转微波雷达的地形预测方法、装置、***和无人机 | |
CN108733066B (zh) | 一种基于吊舱姿态反馈的目标跟踪控制方法 | |
CN106774374B (zh) | 一种无人机自动巡检方法及*** | |
US20230359197A1 (en) | Landing Site Localization for Dynamic Control of an Aircraft Toward a Landing Site | |
CN106352897B (zh) | 一种基于单目视觉传感器的硅mems陀螺误差估计与校正方法 | |
JP6275887B2 (ja) | センサ較正方法及びセンサ較正装置 | |
CN112009708B (zh) | 一种固定翼无人机、单镜头倾斜摄影***及方法 | |
CN102706360B (zh) | 一种利用光流传感器和速率陀螺对飞行器状态估计的方法 | |
CN110906922A (zh) | 无人机位姿信息的确定方法及装置、存储介质、终端 | |
Valasek et al. | Development and testing of a customized low-cost unmanned aircraft system based on multispectral and thermal sensing for precision agriculture applications | |
CN117953007B (zh) | 一种基于图像匹配的线性运动补偿控制方法 | |
CN115790574B (zh) | 一种无人机的光流定位方法、装置及无人机 | |
WO2024059347A1 (en) | Verifying flight system calibration and performing automated navigation actions | |
Coppa et al. | Development of unmanned aerial vehicle at Padova University |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |