发明内容
针对上述现有技术存在的问题,本发明提供了一种用于大视场高速运动测量的***与方法,通过获取无人机在大视场中的坐标和图像获取标定参数,基于标定参数对运动目标参数进行测量,标定过程简单、耗时短、效率高,可以对整个视场的运动目标进行检测。
本发明实施例的第一方面提供了一种用于大视场运动测量的RTK无人机标定***,所述***包括:
卫星定位基站,包括卫星定位单元和无线通信单元,所述卫星定位单元用于获取所述卫星定位基站的卫星定位信息,所述无线通信单元用于将卫星定位信息和预设基站位置信息组合为定位修正信息发送至无人机;
无人机,包括飞行器和RTK无人机模块,所述RTK无人机模块用于接收卫星定位基站发送的定位修正信息,基于定位修正信息计算无人机的实时精准位置信息,并发送至中心处理站;
高速相机,包括图像采集单元和授时触发单元,所述授时触发单元接收定位卫星的授时信息,启动图像采集单元采集RTK无人机模块的图像;
中心处理站,与高速相机通信连接,与RTK无人机模块通信连接,用于实时接收无人机的图像和无人机的实时精准位置信息,并基于接收数据构建数据转换模型,得到标定参数。
本发明实施例的第二方面提供了一种用于大视场高速运动测量的方法,所述方法包括:
基于双目高速相机采集无人机在大视场中的飞行图像;
获取无人机在大视场飞行过程中的实时精准位置信息;
基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
作为上述方案的进一步优化,所述无人机在大视场中的飞行轨迹的规划方法为:将整个视场空间在高度上分为至少一个高度空间,在同一高度空间内无人机在同一平面上以不规则形状飞行,飞行完整个平面后无人机飞入相邻高度空间飞行,直至飞行轨迹布满整个视场空间。
作为上述方案的进一步优化,所述无人机在相邻两个高度空间平面上的飞行轨迹分别为:
其中,W表示视场空间的宽度,L表示视场空间的长度,a表示常数;所述相邻相邻两个高度空间平面上的飞行轨迹通过两条相互垂直且相交于x轴的线段进行连接,所述两条线段其中一条垂直于x-z平面,另一条垂直于x-y平面。
作为上述方案的进一步优化,所述无人机的实时精准位置信息获取过程包括:
获取多个时间节点的卫星定位基站的卫星定位信息,所述卫星定位信息包括至少4颗卫星的定位信息;
基于卫星定位基站的卫星定位信息和预设位置信息,得到多个位置偏移差值;
基于多个位置偏移差值对同一无人机卫星定位信息进行偏移修正,输出多个无人机修正位置信息;
计算多个无人机修正位置信息的定位误差值,判断所述定位误差值是否满足预设精度;
若无人机修正位置信息的定位误差值满足预设精准度,则选取无人机修正位置信息的中间值作为无人机的实时精准位置信息。
作为上述方案的进一步优化,所述标定参数具体获取过程如下:
获取无人机的实时精准位置信息和定位时间,以及无人机飞行图像和图像采集时间;
基于定位时间和图像采集时间将相同时间节点的无人机的实时精准位置和飞行图像相互匹配,组成模型数据组;
获取模型数据组中无人机在飞行图像中的像素位置信息;
将无人机实时精准位置信息转化为和无人机像素位置信息同一类型的位置信息;
基于转换后的无人机的实时精准位置信息和无人机的像素位置信息构建模型函数;
基于所述模型函数的得到标定参数。
作为上述方案的进一步优化,所述无人机的实时精准位置和飞行图像相互匹配的具体过程如下:
获取双目高速相机的启动时间节点和预设采集频率;
基于双目高速相机的启动时间节点和预设采集频率,得到每张无人机飞行图像的采集时间节点;
获取无人机的起飞时间节点和预设定位频率;
基于无人机的起飞时间节点和预设定位频率,得到每个无人机实时精准位置信息的定位时间节点;
将飞行图像的采集时间节点与实时精准位置信息的定位时间节点相互对比,获取相同的时间节点,将所述时间节点对应的无人机的实时精准位置和无人机图像相互匹配,组成模型数据组。
作为上述方案的进一步优化,所述双目高速相机的启动时间节点和无人机的起飞时间节点相同,所述双目高速相机的预设采集频率是无人机实时精准位置信息的预设定位频率的整数倍。
作为上述方案的进一步优化,所述获取模型数据组中无人机在图像中的像素位置信息的方法如下:
获取双目高速相机启动后拍摄的前十张图像;
基于前十张图像的动态变化,分割出图像中运动目标;
计算分割出的运动目标所在区域的像素灰度特征,基于运动目标的灰度特征计算不同运动目标灰度特征与预设无人机灰度特征之间的相似度,选取无人机目标;
基于选取的无人机目标计算无人机图像所占像素数量,若无人机所占像素数量小于标准值,则计算无人机目标在两组高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;
若无人机所占像素数量大于标准值,则获取无人机目标的角点,计算获取的角点在两组高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息。
本发明实施例的第三方面提供了一种用于大视场高速运动测量的***,所述***包括:
图像采集模块,用于基于双目高速相机采集无人机在大视场中的飞行图像;
定位模块,用于获取无人机在大视场飞行过程中的实时精准位置信息;
标定模块,用于基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
运动目标测量模块,用于基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
本发明的一种用于大视场高速运动测量的***与方法,具备如下有益效果:
1.本发明通过卫星定位***获取无人机在大市场飞行过程中的实时精准位置信息,实现对大市场孔家不同高度的位置信息的采集,整个位置信息采集过程耗时短、采集效率高、可以覆盖整个大市场空间。
2.本发明通过时间匹配将同一时间点的无人机实时精准位置信息和双目高速相机采集无人机飞行图像进行匹配,构建数据转换模型,计算标定参数,然后根据标定参数对大市场空间中的运动目标进行运动参数测量,实现了覆盖大市场不同高度位置的运动目标测量,同时标定和测量的过程快速且高效。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
本发明实施例提供了一种用于大视场运动测量的RTK无人机标定***,上述***包括:
卫星定位基站,包括卫星定位单元和无线通信单元,所述卫星定位单元用于获取所述卫星定位基站的卫星定位信息,所述无线通信单元用于将卫星定位信息和预设基站位置信息组合为定位修正信息发送至无人机;
无人机,包括飞行器和RTK无人机模块,所述RTK无人机模块用于接收卫星定位基站发送的定位修正信息,基于定位修正信息计算无人机的实时精准位置信息,并发送至中心处理站;
高速相机,包括图像采集单元和授时触发单元,所述授时触发单元接收定位卫星的授时信息,启动图像采集单元采集RTK无人机模块的图像;
中心处理站,与高速相机通信连接,与RTK无人机模块通信连接,用于实时接收无人机的图像和无人机的实时精准位置信息,并基于接收数据构建数据转换模型,得到标定参数。
参考图1,在本实施例中,通过无人机在大视场中飞行,再采用卫星定位获取无人机在真实世界的位置,可以更加灵活的获取大视场各个位置的相应坐标,覆盖大视场的不同高度,同时通过获取无人机再大视场运动过程中的实时坐标,实现了对大视场的运动测量,标定的过程更加的快速高效。
具体的是,再预设基站位置放置卫星定位基站,卫星定位基站通过内置的卫星定位单元获取其自身的卫星定位信息,并将获取的卫星定位信息和预设基站位置信息组合为定位修正信息,通过无线通信单元发送至无人机,无人机设置有飞行器和RTK无人机模块,RTK无人机模块与卫星定位基站无线连接,接收到卫星定位基站发送的定位修正信息后,RTK无人机模块会基于该定位修正信息对无人机的飞行过程中的实时卫星定位信息进行修正,计算出无人机的实时精准位置信息,并发送至中心处理站。同时高速相机会在无人机飞行的过程中采集无人机的图像,并通过有线通信将无人机图像传输至中心处理站,由中心处理站对无人机的图像和无人机的实时精准位置信息进行联合分析,计算出用于标定的参数。
基于上述一种用于大视场运动测量的RTK无人机标定***,上述RTK无人机模块包括:
第一数据传输单元,其的输出口与定位修正单元相连接,用于接收卫星定位基站发送的定位修正信息,并传输至定位修正单元;
定位修正单元,用于获取无人机运动时的实时卫星定位信息,并联合定位修正信息计算出无人机的实时精准位置信息;
第二数据传输单元,其输入口与定位修正单元相连接,用于将无人机的实时精准位置信息和定位时间发送至中心处理站。
进一步的,通过无人机中设置的RTK无人机模块,实现在无人机运动的过程中实时获取无人机的精准位置信息。具体的是,RTK无人机模块包括第一数据传输单元、第二数据传输单元和定位修正单元,无人机通过第一数据传输单元与卫星定位基站相互连接,第一数据传输单元的输出端口与定位修正单元相互连接,当,第一数据传输单元接收卫星定位基站发送的定位修正信息后,会通过输出端口传输至定位修正单元,定位修正单元还可以获取定位卫星发送的定位信息和定位时间,定位修正单元接收到无人机的卫星定位信息后会根据定位修正信息对其进行修正,计算出无人机的实时精准位置信息,定位修正单元还与第二数据传输单元的输入端口相连接,计算出无人机的实时精准位置信息后,定位修正单元会将该信息和定位时间传输至第二数据传输单元,由第二数据传输单元发送至中心处理站,实现实时获取无人机的精准位置信息。
本发明实施例提供了一种用于大视场高速运动测量的方法,上述方法包括:
基于双目高速相机采集无人机在大视场中的飞行图像;
获取无人机在大视场飞行过程中的实时精准位置信息;
基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
参考图2,在本实施例中,通过无人机在大视场中飞行,采用卫星定位获取无人机在大视场中的实时精准位置信息,可以更加灵活的获取大视场各个位置的相应坐标,覆盖大视场的不同高度,同时通过获取无人机在大视场运动过程中的实时精准位置信息进行大视场标定,标定的过程更加的快速高效,标定完成后可以实现对大视场运动目标的运动参数测量。
具体的是,通过双目高速相机采集无人机在大视场中的飞行图像,在基于卫星定位***实时获取无人机在大视场中飞行时的实时精准位置信息,其中无人机飞行轨迹覆盖整个大视场,可以获取到大视场中各个位置的定位信息,且获取速度。将获取的无人机飞行图像和实时精准位置信息进行匹配,可以得到两者之间的数据转换模型,对数据转换模型进行求解即可得到所需标定参数,然后通过双目相机采集大视场中任一运动目标的运动图像,在基于标定参数就可以得到运动目标在大视场中的位置信息,基于运动目标在大视场的位置信息变化情况及可得到运动目标的运动参数。
基于上述方法,上述无人机在大视场中的飞行轨迹的规划方法为:将整个视场空间在高度上分为至少一个高度空间,在同一高度空间内无人机在同一平面上以不规则形状飞行,飞行完整个平面后无人机飞入相邻高度空间飞行,直至飞行轨迹布满整个视场空间。
参考图3,大视场空间为长方体空间结构,无人机在大视场中的飞行轨迹为不规则形状,无人机的飞行轨迹的集体划分方式如下:通过多个与水平面平行的平面,将大视场空间划分为多个高度空间,其中相邻两个高度空间之间的高度差为均值。然后选取无人机的起飞高度空间,启动无人机后,无人机从起飞高度空间上平面的角点开始在平面内以不规则轨迹进行飞行,飞行完整个平面后,无人机飞入与当前所在高度空间相邻的高度空间进行飞行,直到无人机的飞行轨迹布满整个大视场空间。按照该方法进行飞行,无人机可以在最短时间完成飞行,且飞行轨迹可以涉及到主要视场空间。
基于上述方法,上述无人机在相邻两个高度空间平面上的飞行轨迹分别为:
其中,W表示视场空间的宽度,L表示视场空间的长度,a表示常数;所述相邻相邻两个高度空间平面上的飞行轨迹通过两条相互垂直且相交于x轴的线段进行连接,所述两条线段其中一条垂直于x-z平面,另一条垂直于x-y平面。
具体的是,无人机在向量两个高度空间平面内的飞行轨迹可用正弦函数进行表示,其中无人机在第一个高度空间平面内的飞行轨迹函数为:
则与之相邻的第二高度空间平面内无人机的飞行轨迹迹函数为:
且无人机在相邻高度空间平面内的飞行轨迹函数表达式以式(1)和式(2)交替出现。
进一步的,某一高度空间平面内的无人机飞行轨迹的终点与其下一相邻高度空间平面内的飞行轨迹的起点通过两条相互垂直且相交于x轴的线段进行连接,其中两条线段中的一条垂直于x-z平面,另一条垂直于x-y平面。
举例来说,参考图2,大视场空间为-一个长L,宽W,高H的立方体,以长边为X轴,短边为Y轴,空间高为Z轴建立坐标,将大视场空间划分成三个高度空间,其中相邻两个高度空间之间的高度差为H/4。选取无人机的起飞高度空间的高度为H/4,则无人机从Q点开始在
平面内飞行,其飞行轨如式(1),在
平面内飞行完成后,无人机经由线段S1和S2进入下一相邻高度空间,并在平面
飞行,飞行轨迹如式(2)。
基于上述方法,上述无人机的实时精准位置信息获取过程包括:
获取多个时间节点的卫星定位基站的卫星定位信息,所述卫星定位信息包括至少4颗卫星的定位信息;
基于卫星定位基站的卫星定位信息和预设位置信息,得到多个位置偏移差值;
基于多个位置偏移差值对同一无人机卫星定位信息进行偏移修正,输出多个无人机修正位置信息;
计算多个无人机修正位置信息的定位误差值,判断所述定位误差值是否满足预设精度;
若无人机修正位置信息的定位误差值满足预设精准度,则选取无人机修正位置信息的中间值作为无人机的实时精准位置信息。
在本实施例中,卫星定位信息存在一定的误差,因此需要通过卫星定位基站获取位置偏移差值,来对无人机的卫星定位信息进行偏移修正,从而得到无人机的精准位置信息。首先接收卫星定位基站的卫星定位信息和预设基站位置信息,卫星定位信息包括至少4颗卫星的定位信息,然后计算卫星定位基站的卫星定位信息与预设位置信息之间的位置偏移差值,其中预设位置信息为已知信息,基于上述获取过程,获取多个不同时间节点下卫星定位基站的卫星定位信息与预设位置信息之间的位置偏移差值,然后通过多个位置偏移差值对同一无人机的卫星定位信息进行偏移修正,输出多个无人机修正位置信息,然后计算多个无人机修正位置信息之间差值是否满足预设精度,如果多个无人机修正位置信息之间差值均小于1CM,则说明所求得的无人机修正位置信息满足预设精度,则可选取修正位置信息的中间值作为无人机的实时精准位置信息。
基于上述方法,上述标定参数具体获取过程如下:
获取无人机的实时精准位置信息和定位时间,以及无人机飞行图像和图像采集时间;
基于定位时间和图像采集时间将相同时间节点的无人机的实时精准位置和飞行图像相互匹配,组成模型数据组;
获取模型数据组中无人机在飞行图像中的像素位置信息;
将无人机实时精准位置信息转化为和无人机像素位置信息同一类型的位置信息;
基于转换后的无人机的实时精准位置信息和无人机的像素位置信息构建模型函数;
基于所述模型函数的得到标定参数。
在本实施例中,通过分析无人机的精准位置信息和无人机在飞行图像中的像素位置信息之间的映射关系,计算出用于标定的参数。由于无人机是不断运动的,因此首先中心处理模块需要将获取到的无人机的实时精准位置信息和无人机飞行图像进行匹配,优选的是按照定位时间和采集时间将相同时间节点获取的数据进行匹配组成模型数据组,其中每组模型数据组仅包含一个无人机的实时精准位置信息和一张无人机飞行图像,再获取无人机在飞行图像中的像素位置信息来与无人机的实时精准位置信息进行联合分析,由于两者不再统一坐标系,因此需要对无人机的实时精准位置信息进行转换,转换之后可以构造出两者对应的函数模型,通过求解该函数模型即可求得对应的标定参数。
基于上述标定参数获取过程,上述无人机的实时精准位置和飞行图像相互匹配的具体过程如下:
获取双目高速相机的启动时间节点和预设采集频率;
基于双目高速相机的启动时间节点和预设采集频率,得到每张无人机飞行图像的采集时间节点;
获取无人机的起飞时间节点和预设定位频率;
基于无人机的起飞时间节点和预设定位频率,得到每个无人机实时精准位置信息的定位时间节点;
将飞行图像的采集时间节点与实时精准位置信息的定位时间节点相互对比,获取相同的时间节点,将所述时间节点对应的无人机的实时精准位置和无人机图像相互匹配,组成模型数据组。
进一步的,由于无人机是运动状态的,因此无人机的实时精准位置信息与无人机图像并非完全对应的,因此需要对两者进行匹配,在本实施例中,通过高速相机的预设采集频率和无人机实时精准位置信息的预设定位频率以及定位卫星发送的授时信号获取采集时间节点和定位时间节点,从而进行时间匹配,得到相互对应的模型数据组。
其中,双目高速相机的启动时间节点和无人机的起飞时间节点相同,双目高速相机的预设采集频率是无人机实时精准位置信息的预设定位频率的整数倍。
具体的是,首先同时启动双目高速相机和无人机,获取双目高速相机的预设采集频率和无人机实时精准位置信息的预设定位频率,预设采集频率优选为100张每秒,预设定位频率为10次每秒,两者每间隔一定毫秒会出现一个相同时间节点,从而可以得到该时间节点对应的无人机的实时精准位置信息与无人机图像,完成两者之间的相互匹配。
基于上述标定参数具体计算过程,上述获取模型数据组中无人机在图像中的像素位置信息的方法如下:
获取双目高速相机启动后拍摄的前十张图像;
基于前十张图像的动态变化,分割出图像中运动目标;
计算分割出的运动目标所在区域的像素灰度特征,基于运动目标的灰度特征计算不同运动目标灰度特征与预设无人机灰度特征之间的相似度,选取无人机目标;
基于选取的无人机目标计算无人机图像所占像素数量,若无人机所占像素数量小于标准值,则计算无人机目标在两组高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;
若无人机所占像素数量大于标准值,则获取无人机目标的角点,计算获取的角点在两组高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息。
在本实施例中,首先获取双目高速相机拍摄的前十张图像分析图像中的运动目标,由于视场中可能存在其他运动目标干扰实验,因此需要对获取的运动目标进行筛选,具体的是通过计算不同运动目标的灰度特征,然后计算不同运动目标的灰度特征与预设无人机目标的灰度特征之间的相似性来选取无人机目标,在本实施例中,可选取灰度特征相似度最高的运动目标作为无人机目标。然后基于选取的无人机目标,确定无人机在图像中的像素位置信息,为了解决无人机图像过小难以判断的问题,首先需要无人机目标的像素点数,如果像素点数小于标准值,标准值优选为30个像素点,则通过计算无人机目标在两组双目高速相机所拍摄的图像中颜色信道的直方图,通过直方图匹配无人机的像素位置信息;如果像素点数大于标准值,则获取无人机目标的角点,计算获取的角点在两组双目高速相机所拍摄的图像中的重合度,选取重合度大于阈值的角点位置信息作为无人机像素位置信息,其中图像重合度阈值优选为0.8。
现有技术中,目标跟踪的方法首选光流法进行目标跟踪,但视频序列部分连续帧会出现位移较大的情况,在保持检测时间小于0.5s的条件下,稀疏光流容易丢失目标。鉴于此,本方法通过获取双目高速相机的获取的连续的前十帧图片进行差分计算,筛选图像的中运动物体的区域,再通过运动目标的特征值确定无人机目标,然后通过流光法对无人机目标区域进行准确性检测得到准确的无人机目标,选取无人机目标区域的质点作为无人机的像素坐标。
基于上述标定参数具体计算过程,上述模型函数的分析过程包括:
获取无人机的实时精准位置信息转化得到的无人机世界坐标P;
获取无人机的像素位置信息对应的坐标p;
基于无人机的世界坐标P构造相机的投影矩阵,对相机投影矩阵的末项进行归一化处理,得到相机的参数矩阵;
基于相机的成像模型构造模型函数,将无人机的像素位置信息对应的坐标p作为函数的值构造参数方程;
求解参数方程得到标定参数。
在本实施例中,根据相机的成像原理可以构造现实世界坐标点与相机拍摄的图像坐标点之间的映射关系,因此先需要获取无人机的实时精准位置信息转化得到的无人机世界坐标P(X,Y,Z),基于无人机世界坐标P(X,Y,Z)可得到相机的投影矩阵,其对应关系为
其中K表示相机的内参,R
3×3为相机的旋转矩阵,T
3×1为相机的平移矩阵,r表示相机的标定参数,对相机进行标定,需要确定相机的参数,基于相机的投影矩阵对参数r
23进行归一化处理,则只需要确定相机的剩余11个参数即可,在基于成像模型,将无人机的像素位置信息对应的坐标p(u,v)作为函数的值构造参数方程,其中成像模型为小孔成像模型,参数方程如下式:
由式(1)可得每个世界坐标可构造两个方程,因此需要6个世界坐标才能求的全部的相机参数,世界坐标的数量越多所得参数越准确。
本发明实施例提供了一种用于大视场高速运动测量的***,上述***包括:
图像采集模块,用于基于双目高速相机采集无人机在大视场中的飞行图像;
定位模块,用于获取无人机在大视场飞行过程中的实时精准位置信息;
标定模块,用于基于无人机在大视场中的飞行图形和实时精准位置信息构建数据转换模型,得到标定参数;
运动目标测量模块,用于基于所述标定参数大视场中运动目标进行测量,获取运动目标的运动参数。
参考图4、5,在本实施例中,采用全站仪与标靶结合无人机标定参数测算和验证本***的标定精度,计算标定的误差,以判断本***的可行性,具体的是,保持双目高速相机位置不变,将标靶摆放在视场中,测量标靶在不同高度测量点上的坐标,记录双目高速相机拍摄的不同测量点的像素坐标pix
l,i和pix
r,i,i=0,1,…,n-1,其中pix
l,i表示左侧相机拍摄的像素坐标,pix
r,i表示右侧相机拍摄的像素坐标,n为测量点的数量。基于测量点像素坐标和相机参数,求解测量点的三维空间坐标W,
其中,K表示相机的内参,R表示相机旋转矩阵,T为相机的平移矩阵,distcoeffs表示相机的畸变矩阵。
以i=0时刻标靶为参考原点,计算其他测量点相对于该点的距离d
i,d
i=||W
i-W
0||。然后记录全站仪测量的测量点坐标L
i,i=0,1,…,n-1。以i=0时刻的测量点为参考原点,计算其他测量点相对于该点的距离
参图5,随着标定的测量点的数量提高,相应的标定的重投影误差逐步减小,当标定的测量点的数量达到60个时,标定的重投影误差逐渐趋向平稳,最终的重投影误差为1.41461个像素,相对于全站仪在小视场内的的0.900个像素的标定误差来说,本***的标定方法具有良好的可替代性与便捷性,可以实现大市场范围运动目标运动参数的精准测量。
本发明不局限于上述具体的实施方式,本领域的普通技术人员从上述构思出发,不经过创造性的劳动,所做出的种种变换,均落在本发明的保护范围之内。