CN114155290B - 一种用于大视场高速运动测量的***与方法 - Google Patents

一种用于大视场高速运动测量的***与方法 Download PDF

Info

Publication number
CN114155290B
CN114155290B CN202111372441.0A CN202111372441A CN114155290B CN 114155290 B CN114155290 B CN 114155290B CN 202111372441 A CN202111372441 A CN 202111372441A CN 114155290 B CN114155290 B CN 114155290B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
position information
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111372441.0A
Other languages
English (en)
Other versions
CN114155290A (zh
Inventor
潘大伟
王晓飞
雷秀军
郭红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Zhongke Junda Vision Technology Co ltd
Original Assignee
Hefei Fuhuang Junda High Tech Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Fuhuang Junda High Tech Information Technology Co ltd filed Critical Hefei Fuhuang Junda High Tech Information Technology Co ltd
Priority to CN202111372441.0A priority Critical patent/CN114155290B/zh
Publication of CN114155290A publication Critical patent/CN114155290A/zh
Application granted granted Critical
Publication of CN114155290B publication Critical patent/CN114155290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/43Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种用于大视场高速运动测量的***与方法,包括基于双目高速相机采集无人机在大视场中的飞行图像;获取无人机在大视场飞行过程中的实时精准位置信息;基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。本发明获取无人机在大视场中精准位置信息和飞行图像得到标定参数,标定过程简单、耗时短、效率高,且可以覆盖大视场空间的不同高度,再基于标定参数进行大师产运动目标的测量,实现了整个大视场空间的运动目标测量,同时测量的过程快速且高效。

Description

一种用于大视场高速运动测量的***与方法
技术领域
本发明属于双目相机标定领域,特别涉及一种用于大视场高速运动测量的***与方法。
背景技术
非接触式测量是目前物体静态或者动态参数测量的主流趋势,相机的双目标定则是目前光学测量的基础与前提,双目标定的目的就是还原真实世界与计算机图像中同一物体或同一位置的映射关系。现有的大视场范围内运动测量的办法多是使用全站仪进行标定,得到标定参数后根据参数方程进行目标的运动测量,标定的方法即一个特征明显的物体在视场范围内前后左右上下移动,全站仪测量每个静止物体的某一固定特征点(比如直径为1m的黑白宝马标志)的中心位置,进而还原真实世界与像素坐标系的关系。但是这种方法只适用地面以上一定高度范围内的标定还原,现场标定环境将物体置于3m以上有一定困难,高于10m及以上一方面架设困难,另一方面整体受风力影响难以固定进行测量。在效率方面,全站仪标定方法同样存耗时长、效率低的问题,因此通过全站仪进行标定后,进行视场运动目标测量存在耗时长、效率低,且难以对整个视场的运动目标进行检测等问题
发明内容
针对上述现有技术存在的问题,本发明提供了一种用于大视场高速运动测量的***与方法,通过获取无人机在大视场中的坐标和图像获取标定参数,基于标定参数对运动目标参数进行测量,标定过程简单、耗时短、效率高,可以对整个视场的运动目标进行检测。
本发明实施例的第一方面提供了一种用于大视场运动测量的RTK无人机标定***,所述***包括:
卫星定位基站,包括卫星定位单元和无线通信单元,所述卫星定位单元用于获取所述卫星定位基站的卫星定位信息,所述无线通信单元用于将卫星定位信息和预设基站位置信息组合为定位修正信息发送至无人机;
无人机,包括飞行器和RTK无人机模块,所述RTK无人机模块用于接收卫星定位基站发送的定位修正信息,基于定位修正信息计算无人机的实时精准位置信息,并发送至中心处理站;
高速相机,包括图像采集单元和授时触发单元,所述授时触发单元接收定位卫星的授时信息,启动图像采集单元采集RTK无人机模块的图像;
中心处理站,与高速相机通信连接,与RTK无人机模块通信连接,用于实时接收无人机的图像和无人机的实时精准位置信息,并基于接收数据构建数据转换模型,得到标定参数。
本发明实施例的第二方面提供了一种用于大视场高速运动测量的方法,所述方法包括:
基于双目高速相机采集无人机在大视场中的飞行图像;
获取无人机在大视场飞行过程中的实时精准位置信息;
基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
作为上述方案的进一步优化,所述无人机在大视场中的飞行轨迹的规划方法为:将整个视场空间在高度上分为至少一个高度空间,在同一高度空间内无人机在同一平面上以不规则形状飞行,飞行完整个平面后无人机飞入相邻高度空间飞行,直至飞行轨迹布满整个视场空间。
作为上述方案的进一步优化,所述无人机在相邻两个高度空间平面上的飞行轨迹分别为:
Figure BDA0003362798570000021
Figure BDA0003362798570000022
其中,W表示视场空间的宽度,L表示视场空间的长度,a表示常数;所述相邻相邻两个高度空间平面上的飞行轨迹通过两条相互垂直且相交于x轴的线段进行连接,所述两条线段其中一条垂直于x-z平面,另一条垂直于x-y平面。
作为上述方案的进一步优化,所述无人机的实时精准位置信息获取过程包括:
获取多个时间节点的卫星定位基站的卫星定位信息,所述卫星定位信息包括至少4颗卫星的定位信息;
基于卫星定位基站的卫星定位信息和预设位置信息,得到多个位置偏移差值;
基于多个位置偏移差值对同一无人机卫星定位信息进行偏移修正,输出多个无人机修正位置信息;
计算多个无人机修正位置信息的定位误差值,判断所述定位误差值是否满足预设精度;
若无人机修正位置信息的定位误差值满足预设精准度,则选取无人机修正位置信息的中间值作为无人机的实时精准位置信息。
作为上述方案的进一步优化,所述标定参数具体获取过程如下:
获取无人机的实时精准位置信息和定位时间,以及无人机飞行图像和图像采集时间;
基于定位时间和图像采集时间将相同时间节点的无人机的实时精准位置和飞行图像相互匹配,组成模型数据组;
获取模型数据组中无人机在飞行图像中的像素位置信息;
将无人机实时精准位置信息转化为和无人机像素位置信息同一类型的位置信息;
基于转换后的无人机的实时精准位置信息和无人机的像素位置信息构建模型函数;
基于所述模型函数的得到标定参数。
作为上述方案的进一步优化,所述无人机的实时精准位置和飞行图像相互匹配的具体过程如下:
获取双目高速相机的启动时间节点和预设采集频率;
基于双目高速相机的启动时间节点和预设采集频率,得到每张无人机飞行图像的采集时间节点;
获取无人机的起飞时间节点和预设定位频率;
基于无人机的起飞时间节点和预设定位频率,得到每个无人机实时精准位置信息的定位时间节点;
将飞行图像的采集时间节点与实时精准位置信息的定位时间节点相互对比,获取相同的时间节点,将所述时间节点对应的无人机的实时精准位置和无人机图像相互匹配,组成模型数据组。
作为上述方案的进一步优化,所述双目高速相机的启动时间节点和无人机的起飞时间节点相同,所述双目高速相机的预设采集频率是无人机实时精准位置信息的预设定位频率的整数倍。
作为上述方案的进一步优化,所述获取模型数据组中无人机在图像中的像素位置信息的方法如下:
获取双目高速相机启动后拍摄的前十张图像;
基于前十张图像的动态变化,分割出图像中运动目标;
计算分割出的运动目标所在区域的像素灰度特征,基于运动目标的灰度特征计算不同运动目标灰度特征与预设无人机灰度特征之间的相似度,选取无人机目标;
基于选取的无人机目标计算无人机图像所占像素数量,若无人机所占像素数量小于标准值,则计算无人机目标在两组高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;
若无人机所占像素数量大于标准值,则获取无人机目标的角点,计算获取的角点在两组高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息。
本发明实施例的第三方面提供了一种用于大视场高速运动测量的***,所述***包括:
图像采集模块,用于基于双目高速相机采集无人机在大视场中的飞行图像;
定位模块,用于获取无人机在大视场飞行过程中的实时精准位置信息;
标定模块,用于基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
运动目标测量模块,用于基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
本发明的一种用于大视场高速运动测量的***与方法,具备如下有益效果:
1.本发明通过卫星定位***获取无人机在大市场飞行过程中的实时精准位置信息,实现对大市场孔家不同高度的位置信息的采集,整个位置信息采集过程耗时短、采集效率高、可以覆盖整个大市场空间。
2.本发明通过时间匹配将同一时间点的无人机实时精准位置信息和双目高速相机采集无人机飞行图像进行匹配,构建数据转换模型,计算标定参数,然后根据标定参数对大市场空间中的运动目标进行运动参数测量,实现了覆盖大市场不同高度位置的运动目标测量,同时标定和测量的过程快速且高效。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是一种用于大视场运动测量的RTK无人机标定***的整体框架图;
图2是本发明一种用于大视场运动测量的方法整体流程图;
图3是无人机的飞行轨迹图;
图4是本发明结果验证***框架图;
图5是实验结果统计图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
本发明实施例提供了一种用于大视场运动测量的RTK无人机标定***,上述***包括:
卫星定位基站,包括卫星定位单元和无线通信单元,所述卫星定位单元用于获取所述卫星定位基站的卫星定位信息,所述无线通信单元用于将卫星定位信息和预设基站位置信息组合为定位修正信息发送至无人机;
无人机,包括飞行器和RTK无人机模块,所述RTK无人机模块用于接收卫星定位基站发送的定位修正信息,基于定位修正信息计算无人机的实时精准位置信息,并发送至中心处理站;
高速相机,包括图像采集单元和授时触发单元,所述授时触发单元接收定位卫星的授时信息,启动图像采集单元采集RTK无人机模块的图像;
中心处理站,与高速相机通信连接,与RTK无人机模块通信连接,用于实时接收无人机的图像和无人机的实时精准位置信息,并基于接收数据构建数据转换模型,得到标定参数。
参考图1,在本实施例中,通过无人机在大视场中飞行,再采用卫星定位获取无人机在真实世界的位置,可以更加灵活的获取大视场各个位置的相应坐标,覆盖大视场的不同高度,同时通过获取无人机再大视场运动过程中的实时坐标,实现了对大视场的运动测量,标定的过程更加的快速高效。
具体的是,再预设基站位置放置卫星定位基站,卫星定位基站通过内置的卫星定位单元获取其自身的卫星定位信息,并将获取的卫星定位信息和预设基站位置信息组合为定位修正信息,通过无线通信单元发送至无人机,无人机设置有飞行器和RTK无人机模块,RTK无人机模块与卫星定位基站无线连接,接收到卫星定位基站发送的定位修正信息后,RTK无人机模块会基于该定位修正信息对无人机的飞行过程中的实时卫星定位信息进行修正,计算出无人机的实时精准位置信息,并发送至中心处理站。同时高速相机会在无人机飞行的过程中采集无人机的图像,并通过有线通信将无人机图像传输至中心处理站,由中心处理站对无人机的图像和无人机的实时精准位置信息进行联合分析,计算出用于标定的参数。
基于上述一种用于大视场运动测量的RTK无人机标定***,上述RTK无人机模块包括:
第一数据传输单元,其的输出口与定位修正单元相连接,用于接收卫星定位基站发送的定位修正信息,并传输至定位修正单元;
定位修正单元,用于获取无人机运动时的实时卫星定位信息,并联合定位修正信息计算出无人机的实时精准位置信息;
第二数据传输单元,其输入口与定位修正单元相连接,用于将无人机的实时精准位置信息和定位时间发送至中心处理站。
进一步的,通过无人机中设置的RTK无人机模块,实现在无人机运动的过程中实时获取无人机的精准位置信息。具体的是,RTK无人机模块包括第一数据传输单元、第二数据传输单元和定位修正单元,无人机通过第一数据传输单元与卫星定位基站相互连接,第一数据传输单元的输出端口与定位修正单元相互连接,当,第一数据传输单元接收卫星定位基站发送的定位修正信息后,会通过输出端口传输至定位修正单元,定位修正单元还可以获取定位卫星发送的定位信息和定位时间,定位修正单元接收到无人机的卫星定位信息后会根据定位修正信息对其进行修正,计算出无人机的实时精准位置信息,定位修正单元还与第二数据传输单元的输入端口相连接,计算出无人机的实时精准位置信息后,定位修正单元会将该信息和定位时间传输至第二数据传输单元,由第二数据传输单元发送至中心处理站,实现实时获取无人机的精准位置信息。
本发明实施例提供了一种用于大视场高速运动测量的方法,上述方法包括:
基于双目高速相机采集无人机在大视场中的飞行图像;
获取无人机在大视场飞行过程中的实时精准位置信息;
基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
参考图2,在本实施例中,通过无人机在大视场中飞行,采用卫星定位获取无人机在大视场中的实时精准位置信息,可以更加灵活的获取大视场各个位置的相应坐标,覆盖大视场的不同高度,同时通过获取无人机在大视场运动过程中的实时精准位置信息进行大视场标定,标定的过程更加的快速高效,标定完成后可以实现对大视场运动目标的运动参数测量。
具体的是,通过双目高速相机采集无人机在大视场中的飞行图像,在基于卫星定位***实时获取无人机在大视场中飞行时的实时精准位置信息,其中无人机飞行轨迹覆盖整个大视场,可以获取到大视场中各个位置的定位信息,且获取速度。将获取的无人机飞行图像和实时精准位置信息进行匹配,可以得到两者之间的数据转换模型,对数据转换模型进行求解即可得到所需标定参数,然后通过双目相机采集大视场中任一运动目标的运动图像,在基于标定参数就可以得到运动目标在大视场中的位置信息,基于运动目标在大视场的位置信息变化情况及可得到运动目标的运动参数。
基于上述方法,上述无人机在大视场中的飞行轨迹的规划方法为:将整个视场空间在高度上分为至少一个高度空间,在同一高度空间内无人机在同一平面上以不规则形状飞行,飞行完整个平面后无人机飞入相邻高度空间飞行,直至飞行轨迹布满整个视场空间。
参考图3,大视场空间为长方体空间结构,无人机在大视场中的飞行轨迹为不规则形状,无人机的飞行轨迹的集体划分方式如下:通过多个与水平面平行的平面,将大视场空间划分为多个高度空间,其中相邻两个高度空间之间的高度差为均值。然后选取无人机的起飞高度空间,启动无人机后,无人机从起飞高度空间上平面的角点开始在平面内以不规则轨迹进行飞行,飞行完整个平面后,无人机飞入与当前所在高度空间相邻的高度空间进行飞行,直到无人机的飞行轨迹布满整个大视场空间。按照该方法进行飞行,无人机可以在最短时间完成飞行,且飞行轨迹可以涉及到主要视场空间。
基于上述方法,上述无人机在相邻两个高度空间平面上的飞行轨迹分别为:
Figure BDA0003362798570000081
Figure BDA0003362798570000082
其中,W表示视场空间的宽度,L表示视场空间的长度,a表示常数;所述相邻相邻两个高度空间平面上的飞行轨迹通过两条相互垂直且相交于x轴的线段进行连接,所述两条线段其中一条垂直于x-z平面,另一条垂直于x-y平面。
具体的是,无人机在向量两个高度空间平面内的飞行轨迹可用正弦函数进行表示,其中无人机在第一个高度空间平面内的飞行轨迹函数为:
Figure BDA0003362798570000083
则与之相邻的第二高度空间平面内无人机的飞行轨迹迹函数为:
Figure BDA0003362798570000084
且无人机在相邻高度空间平面内的飞行轨迹函数表达式以式(1)和式(2)交替出现。
进一步的,某一高度空间平面内的无人机飞行轨迹的终点与其下一相邻高度空间平面内的飞行轨迹的起点通过两条相互垂直且相交于x轴的线段进行连接,其中两条线段中的一条垂直于x-z平面,另一条垂直于x-y平面。
举例来说,参考图2,大视场空间为-一个长L,宽W,高H的立方体,以长边为X轴,短边为Y轴,空间高为Z轴建立坐标,将大视场空间划分成三个高度空间,其中相邻两个高度空间之间的高度差为H/4。选取无人机的起飞高度空间的高度为H/4,则无人机从Q点开始在
Figure BDA0003362798570000085
平面内飞行,其飞行轨如式(1),在
Figure BDA0003362798570000086
平面内飞行完成后,无人机经由线段S1和S2进入下一相邻高度空间,并在平面
Figure BDA0003362798570000087
飞行,飞行轨迹如式(2)。
基于上述方法,上述无人机的实时精准位置信息获取过程包括:
获取多个时间节点的卫星定位基站的卫星定位信息,所述卫星定位信息包括至少4颗卫星的定位信息;
基于卫星定位基站的卫星定位信息和预设位置信息,得到多个位置偏移差值;
基于多个位置偏移差值对同一无人机卫星定位信息进行偏移修正,输出多个无人机修正位置信息;
计算多个无人机修正位置信息的定位误差值,判断所述定位误差值是否满足预设精度;
若无人机修正位置信息的定位误差值满足预设精准度,则选取无人机修正位置信息的中间值作为无人机的实时精准位置信息。
在本实施例中,卫星定位信息存在一定的误差,因此需要通过卫星定位基站获取位置偏移差值,来对无人机的卫星定位信息进行偏移修正,从而得到无人机的精准位置信息。首先接收卫星定位基站的卫星定位信息和预设基站位置信息,卫星定位信息包括至少4颗卫星的定位信息,然后计算卫星定位基站的卫星定位信息与预设位置信息之间的位置偏移差值,其中预设位置信息为已知信息,基于上述获取过程,获取多个不同时间节点下卫星定位基站的卫星定位信息与预设位置信息之间的位置偏移差值,然后通过多个位置偏移差值对同一无人机的卫星定位信息进行偏移修正,输出多个无人机修正位置信息,然后计算多个无人机修正位置信息之间差值是否满足预设精度,如果多个无人机修正位置信息之间差值均小于1CM,则说明所求得的无人机修正位置信息满足预设精度,则可选取修正位置信息的中间值作为无人机的实时精准位置信息。
基于上述方法,上述标定参数具体获取过程如下:
获取无人机的实时精准位置信息和定位时间,以及无人机飞行图像和图像采集时间;
基于定位时间和图像采集时间将相同时间节点的无人机的实时精准位置和飞行图像相互匹配,组成模型数据组;
获取模型数据组中无人机在飞行图像中的像素位置信息;
将无人机实时精准位置信息转化为和无人机像素位置信息同一类型的位置信息;
基于转换后的无人机的实时精准位置信息和无人机的像素位置信息构建模型函数;
基于所述模型函数的得到标定参数。
在本实施例中,通过分析无人机的精准位置信息和无人机在飞行图像中的像素位置信息之间的映射关系,计算出用于标定的参数。由于无人机是不断运动的,因此首先中心处理模块需要将获取到的无人机的实时精准位置信息和无人机飞行图像进行匹配,优选的是按照定位时间和采集时间将相同时间节点获取的数据进行匹配组成模型数据组,其中每组模型数据组仅包含一个无人机的实时精准位置信息和一张无人机飞行图像,再获取无人机在飞行图像中的像素位置信息来与无人机的实时精准位置信息进行联合分析,由于两者不再统一坐标系,因此需要对无人机的实时精准位置信息进行转换,转换之后可以构造出两者对应的函数模型,通过求解该函数模型即可求得对应的标定参数。
基于上述标定参数获取过程,上述无人机的实时精准位置和飞行图像相互匹配的具体过程如下:
获取双目高速相机的启动时间节点和预设采集频率;
基于双目高速相机的启动时间节点和预设采集频率,得到每张无人机飞行图像的采集时间节点;
获取无人机的起飞时间节点和预设定位频率;
基于无人机的起飞时间节点和预设定位频率,得到每个无人机实时精准位置信息的定位时间节点;
将飞行图像的采集时间节点与实时精准位置信息的定位时间节点相互对比,获取相同的时间节点,将所述时间节点对应的无人机的实时精准位置和无人机图像相互匹配,组成模型数据组。
进一步的,由于无人机是运动状态的,因此无人机的实时精准位置信息与无人机图像并非完全对应的,因此需要对两者进行匹配,在本实施例中,通过高速相机的预设采集频率和无人机实时精准位置信息的预设定位频率以及定位卫星发送的授时信号获取采集时间节点和定位时间节点,从而进行时间匹配,得到相互对应的模型数据组。
其中,双目高速相机的启动时间节点和无人机的起飞时间节点相同,双目高速相机的预设采集频率是无人机实时精准位置信息的预设定位频率的整数倍。
具体的是,首先同时启动双目高速相机和无人机,获取双目高速相机的预设采集频率和无人机实时精准位置信息的预设定位频率,预设采集频率优选为100张每秒,预设定位频率为10次每秒,两者每间隔一定毫秒会出现一个相同时间节点,从而可以得到该时间节点对应的无人机的实时精准位置信息与无人机图像,完成两者之间的相互匹配。
基于上述标定参数具体计算过程,上述获取模型数据组中无人机在图像中的像素位置信息的方法如下:
获取双目高速相机启动后拍摄的前十张图像;
基于前十张图像的动态变化,分割出图像中运动目标;
计算分割出的运动目标所在区域的像素灰度特征,基于运动目标的灰度特征计算不同运动目标灰度特征与预设无人机灰度特征之间的相似度,选取无人机目标;
基于选取的无人机目标计算无人机图像所占像素数量,若无人机所占像素数量小于标准值,则计算无人机目标在两组高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;
若无人机所占像素数量大于标准值,则获取无人机目标的角点,计算获取的角点在两组高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息。
在本实施例中,首先获取双目高速相机拍摄的前十张图像分析图像中的运动目标,由于视场中可能存在其他运动目标干扰实验,因此需要对获取的运动目标进行筛选,具体的是通过计算不同运动目标的灰度特征,然后计算不同运动目标的灰度特征与预设无人机目标的灰度特征之间的相似性来选取无人机目标,在本实施例中,可选取灰度特征相似度最高的运动目标作为无人机目标。然后基于选取的无人机目标,确定无人机在图像中的像素位置信息,为了解决无人机图像过小难以判断的问题,首先需要无人机目标的像素点数,如果像素点数小于标准值,标准值优选为30个像素点,则通过计算无人机目标在两组双目高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;如果像素点数大于标准值,则获取无人机目标的角点,计算获取的角点在两组双目高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息,其中图像重合度阈值优选为0.8。
现有技术中,目标跟踪的方法首选光流法进行目标跟踪,但视频序列部分连续帧会出现位移较大的情况,在保持检测时间小于0.5s的条件下,稀疏光流容易丢失目标。鉴于此,本方法通过获取双目高速相机的获取的连续的前十帧图片进行差分计算,筛选图像的中运动物体的区域,再通过运动目标的特征值确定无人机目标,然后通过流光法对无人机目标区域进行准确性检测得到准确的无人机目标,选取无人机目标区域的质点作为无人机的像素坐标。
基于上述标定参数具体计算过程,上述模型函数的分析过程包括:
获取无人机的实时精准位置信息转化得到的无人机世界坐标P;
获取无人机的像素位置信息对应的坐标p;
基于无人机的世界坐标P构造相机的投影矩阵,对相机投影矩阵的末项进行归一化处理,得到相机的参数矩阵;
基于相机的成像模型构造模型函数,将无人机的像素位置信息对应的坐标p作为函数的值构造参数方程;
求解参数方程得到标定参数。
在本实施例中,根据相机的成像原理可以构造现实世界坐标点与相机拍摄的图像坐标点之间的映射关系,因此先需要获取无人机的实时精准位置信息转化得到的无人机世界坐标P(X,Y,Z),基于无人机世界坐标P(X,Y,Z)可得到相机的投影矩阵,其对应关系为
Figure BDA0003362798570000121
其中K表示相机的内参,R3×3为相机的旋转矩阵,T3×1为相机的平移矩阵,r表示相机的标定参数,对相机进行标定,需要确定相机的参数,基于相机的投影矩阵对参数r23进行归一化处理,则只需要确定相机的剩余11个参数即可,在基于成像模型,将无人机的像素位置信息对应的坐标p(u,v)作为函数的值构造参数方程,其中成像模型为小孔成像模型,参数方程如下式:
Figure BDA0003362798570000122
由式(1)可得每个世界坐标可构造两个方程,因此需要6个世界坐标才能求的全部的相机参数,世界坐标的数量越多所得参数越准确。
本发明实施例提供了一种用于大视场高速运动测量的***,上述***包括:
图像采集模块,用于基于双目高速相机采集无人机在大视场中的飞行图像;
定位模块,用于获取无人机在大视场飞行过程中的实时精准位置信息;
标定模块,用于基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
运动目标测量模块,用于基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
参考图4、5,在本实施例中,采用全站仪与标靶结合无人机标定参数测算和验证本***的标定精度,计算标定的误差,以判断本***的可行性,具体的是,保持双目高速相机位置不变,将标靶摆放在视场中,测量标靶在不同高度测量点上的坐标,记录双目高速相机拍摄的不同测量点的像素坐标pixl,i和pixr,i,i=0,1,…,n-1,其中pixl,i表示左侧相机拍摄的像素坐标,pixr,i表示右侧相机拍摄的像素坐标,n为测量点的数量。基于测量点像素坐标和相机参数,求解测量点的三维空间坐标W,
Figure BDA0003362798570000131
其中,K表示相机的内参,R表示相机旋转矩阵,T为相机的平移矩阵,distcoeffs表示相机的畸变矩阵。
以i=0时刻标靶为参考原点,计算其他测量点相对于该点的距离di,di=||Wi-W0||。然后记录全站仪测量的测量点坐标Li,i=0,1,…,n-1。以i=0时刻的测量点为参考原点,计算其他测量点相对于该点的距离
Figure BDA0003362798570000132
基于所求得的距离di
Figure BDA0003362798570000133
计算标定重投影误差ei
Figure BDA0003362798570000134
参图5,随着标定的测量点的数量提高,相应的标定的重投影误差逐步减小,当标定的测量点的数量达到60个时,标定的重投影误差逐渐趋向平稳,最终的重投影误差为1.41461个像素,相对于全站仪在小视场内的的0.900个像素的标定误差来说,本***的标定方法具有良好的可替代性与便捷性,可以实现大市场范围运动目标运动参数的精准测量。
本发明不局限于上述具体的实施方式,本领域的普通技术人员从上述构思出发,不经过创造性的劳动,所做出的种种变换,均落在本发明的保护范围之内。

Claims (8)

1.一种用于大视场运动测量的RTK无人机标定***,其特征在于,所述***包括:
卫星定位基站,包括卫星定位单元和无线通信单元,所述卫星定位单元用于获取所述卫星定位基站的卫星定位信息,所述无线通信单元用于将卫星定位信息和预设基站位置信息组合为定位修正信息发送至无人机;
无人机,包括飞行器和RTK无人机模块,所述RTK无人机模块用于接收卫星定位基站发送的定位修正信息,基于定位修正信息计算无人机的实时精准位置信息,并发送至中心处理站;
高速相机,包括图像采集单元和授时触发单元,所述授时触发单元接收定位卫星的授时信息,启动图像采集单元采集RTK无人机模块的图像;
中心处理站,与高速相机通信连接,与RTK无人机模块通信连接,用于实时接收无人机的图像和无人机的实时精准位置信息,并基于接收数据构建数据转换模型,得到标定参数;
所述标定参数具体获取过程如下:
获取无人机的实时精准位置信息和定位时间,以及无人机飞行图像和图像采集时间;
基于定位时间和图像采集时间将相同时间节点的无人机的实时精准位置和飞行图像相互匹配,组成模型数据组;
获取模型数据组中无人机在飞行图像中的像素位置信息;
将无人机实时精准位置信息转化为和无人机像素位置信息同一类型的位置信息;
基于转换后的无人机的实时精准位置信息和无人机的像素位置信息构建模型函数;
基于所述模型函数的得到标定参数;
所述无人机的实时精准位置和飞行图像相互匹配的具体过程如下:
获取双目高速相机的启动时间节点和预设采集频率;
基于双目高速相机的启动时间节点和预设采集频率,得到每张无人机飞行图像的采集时间节点;
获取无人机的起飞时间节点和预设定位频率;
基于无人机的起飞时间节点和预设定位频率,得到每个无人机实时精准位置信息的定位时间节点;
将飞行图像的采集时间节点与实时精准位置信息的定位时间节点相互对比,获取相同的时间节点,将所述时间节点对应的无人机的实时精准位置和无人机图像相互匹配,组成模型数据组。
2.根据权利要求1所述的一种用于大视场运动测量的RTK无人机标定***的一种用于大视场高速运动测量的方法,其特征在于,所述方法包括:
基于双目高速相机采集无人机在大视场中的飞行图像;
获取无人机在大视场飞行过程中的实时精准位置信息;
基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
3.根据权利要求2所述的方法,其特征在于,所述无人机在大视场中的飞行轨迹的规划方法为:将整个视场空间在高度上分为至少一个高度空间,在同一高度空间内无人机在同一平面上以不规则形状飞行,飞行完整个平面后无人机飞入相邻高度空间飞行,直至飞行轨迹布满整个视场空间。
4.根据权利要求3所述的方法,其特征在于,所述无人机在相邻两个高度空间平面上的飞行轨迹分别为:
Figure FDA0003658050510000021
Figure FDA0003658050510000022
其中,W表示视场空间的宽度,L表示视场空间的长度,a表示常数;所述相邻两个高度空间平面上的飞行轨迹通过两条相互垂直且相交于x轴的线段进行连接,两条所述线段其中一条垂直于x-z平面,另一条垂直于x-y平面。
5.根据权利要求2所述的方法,其特征在于,所述无人机的实时精准位置信息获取过程包括:
获取多个时间节点的卫星定位基站的卫星定位信息,所述卫星定位信息包括至少4颗卫星的定位信息;
基于卫星定位基站的卫星定位信息和预设位置信息,得到多个位置偏移差值;
基于多个位置偏移差值对同一无人机卫星定位信息进行偏移修正,输出多个无人机修正位置信息;
计算多个无人机修正位置信息的定位误差值,判断所述定位误差值是否满足预设精度;
若无人机修正位置信息的定位误差值满足预设精准度,则选取无人机修正位置信息的中间值作为无人机的实时精准位置信息。
6.根据权利要求2所述的方法,其特征在于,所述双目高速相机的启动时间节点和无人机的起飞时间节点相同,所述双目高速相机的预设采集频率是无人机实时精准位置信息的预设定位频率的整数倍。
7.根据权利要求6所述的方法,其特征在于,所述获取模型数据组中无人机在图像中的像素位置信息的方法如下:
获取双目高速相机启动后拍摄的前十张图像;
基于前十张图像的动态变化,分割出图像中运动目标;
计算分割出的运动目标所在区域的像素灰度特征,基于运动目标的灰度特征计算不同运动目标灰度特征与预设无人机灰度特征之间的相似度,选取无人机目标;
基于选取的无人机目标计算无人机图像所占像素数量,若无人机所占像素数量小于标准值,则计算无人机目标在两组高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;
若无人机所占像素数量大于标准值,则获取无人机目标的角点,计算获取的角点在两组高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息。
8.根据权利要求1所述RTK无人机标定***的一种用于大视场高速运动测量的***,其特征在于,所述***包括:
图像采集模块,用于基于双目高速相机采集无人机在大视场中的飞行图像;
定位模块,用于获取无人机在大视场飞行过程中的实时精准位置信息;
标定模块,用于基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
运动目标测量模块,用于基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
CN202111372441.0A 2021-11-18 2021-11-18 一种用于大视场高速运动测量的***与方法 Active CN114155290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111372441.0A CN114155290B (zh) 2021-11-18 2021-11-18 一种用于大视场高速运动测量的***与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111372441.0A CN114155290B (zh) 2021-11-18 2021-11-18 一种用于大视场高速运动测量的***与方法

Publications (2)

Publication Number Publication Date
CN114155290A CN114155290A (zh) 2022-03-08
CN114155290B true CN114155290B (zh) 2022-09-09

Family

ID=80456977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111372441.0A Active CN114155290B (zh) 2021-11-18 2021-11-18 一种用于大视场高速运动测量的***与方法

Country Status (1)

Country Link
CN (1) CN114155290B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN105346706A (zh) * 2015-11-13 2016-02-24 深圳市道通智能航空技术有限公司 飞行装置、飞行控制***及方法
CN107146256A (zh) * 2017-04-10 2017-09-08 中国人民解放军国防科学技术大学 基于差分gps***的外场大视场条件下的摄像机标定方法
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN109360240A (zh) * 2018-09-18 2019-02-19 华南理工大学 一种基于双目视觉的小型无人机定位方法
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标***及方法
CN111879354A (zh) * 2020-06-29 2020-11-03 广州中科智云科技有限公司 一种无人机精细化测量***
WO2021004312A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉***的车辆智能测轨迹方法
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技(深圳)有限公司 一种定位方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510551B (zh) * 2018-04-25 2020-06-02 上海大学 一种远距离大视场条件下相机参数的标定方法及***
CN112950671B (zh) * 2020-08-06 2024-02-13 中国人民解放军32146部队 一种无人机对运动目标实时高精度参数测量方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104501779A (zh) * 2015-01-09 2015-04-08 中国人民解放军63961部队 基于多站测量的无人机高精度目标定位方法
CN105346706A (zh) * 2015-11-13 2016-02-24 深圳市道通智能航空技术有限公司 飞行装置、飞行控制***及方法
CN107146256A (zh) * 2017-04-10 2017-09-08 中国人民解放军国防科学技术大学 基于差分gps***的外场大视场条件下的摄像机标定方法
CN109035320A (zh) * 2018-08-12 2018-12-18 浙江农林大学 基于单目视觉的深度提取方法
CN109360240A (zh) * 2018-09-18 2019-02-19 华南理工大学 一种基于双目视觉的小型无人机定位方法
CN109407697A (zh) * 2018-09-20 2019-03-01 北京机械设备研究所 一种基于双目视觉测距的无人机跟踪运动目标***及方法
WO2021004312A1 (zh) * 2019-07-08 2021-01-14 中原工学院 一种基于双目立体视觉***的车辆智能测轨迹方法
CN111879354A (zh) * 2020-06-29 2020-11-03 广州中科智云科技有限公司 一种无人机精细化测量***
CN113406682A (zh) * 2021-06-22 2021-09-17 腾讯科技(深圳)有限公司 一种定位方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114155290A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
US10885328B2 (en) Determination of position from images and associated camera positions
CA3027921C (en) Integrated sensor calibration in natural scenes
US7800736B2 (en) System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
CN112525162A (zh) 一种无人机测量输电线路影像距离的***及方法
CN110517325B (zh) 一种坐标变换及坐标变换的车身周围物体定位方法和***
CN106019264A (zh) 一种基于双目视觉的无人机危险车距识别***及方法
RU2550811C1 (ru) Способ и устройство определения координат объектов
US20030086604A1 (en) Three-dimensional database generating system and method for generating three-dimensional database
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN109920009B (zh) 基于二维码标识的控制点检测与管理方法及装置
CN110675448A (zh) 基于民航客机的地面灯光遥感监测方法、***及存储介质
CN115683062B (zh) 一种国土空间规划检测分析***
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN113012292A (zh) 一种基于无人机航拍的ar远程施工监控方法及***
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN112950671A (zh) 一种无人机对运动目标实时高精度参数测量方法
CN114529615A (zh) 雷达标定方法、装置及存储介质
CN114155290B (zh) 一种用于大视场高速运动测量的***与方法
CN110989645A (zh) 一种基于复眼成像原理的目标空间姿态处理方法
CN115950435A (zh) 无人机巡检影像的实时定位方法
CN116026323A (zh) 一种用于发动机油加注机定位与区域防错方法
CN114429515A (zh) 一种点云地图构建方法、装置和设备
CN114926552A (zh) 一种基于无人机图像计算像素点高斯坐标方法及***
CN211349110U (zh) 一种基于无人机采集的三维显示***
KR100874425B1 (ko) 옥외 광고물 크기 측정 시스템 및 이를 이용한 옥외광고물의 크기 측정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Fuhuang New Vision Building, No. 77 Wutaishan Road, Baohe Economic Development Zone, Hefei City, Anhui Province, 230051

Applicant after: HEFEI FUHUANG JUNDA HIGH-TECH INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 230088 Room 107, Building 3, Tiandao 10 Software Park, Hefei High-tech Zone, Anhui Province

Applicant before: HEFEI FUHUANG JUNDA HIGH-TECH INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Fuhuang New Vision Building, No. 77 Wutaishan Road, Baohe Economic Development Zone, Hefei City, Anhui Province, 230051

Patentee after: Hefei Zhongke Junda Vision Technology Co.,Ltd.

Address before: Fuhuang New Vision Building, No. 77 Wutaishan Road, Baohe Economic Development Zone, Hefei City, Anhui Province, 230051

Patentee before: HEFEI FUHUANG JUNDA HIGH-TECH INFORMATION TECHNOLOGY Co.,Ltd.