CN114565863A - 无人机图像的正射影像实时生成方法、装置、介质及设备 - Google Patents
无人机图像的正射影像实时生成方法、装置、介质及设备 Download PDFInfo
- Publication number
- CN114565863A CN114565863A CN202210151486.3A CN202210151486A CN114565863A CN 114565863 A CN114565863 A CN 114565863A CN 202210151486 A CN202210151486 A CN 202210151486A CN 114565863 A CN114565863 A CN 114565863A
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- aerial vehicle
- unmanned aerial
- ortho
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种无人机图像的正射影像实时生成方法、装置、介质及设备，包括：获取无人机实时采集的图像；对当前帧图像若干第一特征点与前一帧图像若干第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；根据若干第三特征点建立对极几何，计算视觉坐标系下的每一帧图像的初始姿态信息；根据初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；根据每一关键帧图像的初始姿态信息，计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；根据最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。本发明实施例能够实时估计无人机相机姿态，从而进行实时图像拼接，减小误差。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种无人机图像的正射影像实时生成方法、装置、介质及设备。
背景技术
近年来，由于无人机具有实时性、成本低等特点，无人机被广泛应用到各个领域，包括目前的城市巡查、防灾减灾、变化检测等。在无人机作业中，最重要的问题就是如何将无人机拍摄的照片进行场景重建，恢复作业现场状况，其中，最常用的就是SFM(Structurefrom Motion)算法，但该算法误差较大。
发明内容
本发明提供一种无人机图像的正射影像实时生成方法、装置、介质及设备，以解决现有技术误差较大的问题，本发明能够根据图像的实时性特点实时估计无人机相机姿态，从而进行实时图像拼接，减小误差，计算量小。
为实现上述目的，本发明实施例提供了一种无人机图像的正射影像实时生成方法，包括：
获取无人机实时采集的图像；
提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
进一步地，所述通过以下步骤提取任一帧图像的特征点：
以任一帧图像的任一像素点为中心像素点，获取预设范围内的每一局部像素点；
获取该帧图像的每一全局像素点，并分别计算每一所述全局像素点与所述中心像素点之间的每一全局像素差，对超过预设像素差阈值的全局像素差的绝对值进行统计，得到全局统计结果；
当所述全局统计结果不小于预设全局阈值时，分别计算每一局部像素点与所述中心像素点之间的每一局部像素差，对超过所述预设像素差阈值的局部像素差的绝对值进行统计，得到局部统计结果；
当所述局部统计结果不小于预设局部阈值时，得到该帧图像的特征点。
进一步地，所述根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一正射影像，包括：
当获取到至少三帧关键帧图像的初始姿态信息时，采用最小二乘法计算视觉坐标系与GNSS坐标系之间的旋转关系；
当所述旋转关系满足预设的旋转条件时，得到视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像。
进一步地，所述根据每一关键帧图像的最终姿态信息将每一正射影像进行实时拼接融合，以实时生成无人机图像的正射影像，包括：
根据每一关键帧图像的最终姿态信息，获取当前帧初始正射影像；
当当前帧初始正射影像与前一帧初始正射影像存在重叠区域时，计算所述重叠区域；
当所述重叠区域被观测到一次以上时，计算所述重叠区域的方差；
当所述方差小于预设方差阈值时，将所述当前帧初始正射影像更新到全局地图，以实时生成无人机图像的正射影像。
进一步地，所述计算所述重叠区域，包括：
根据下式计算所述重叠区域：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数。
进一步地，所述计算所述重叠区域的方差，包括：
根据下式计算所述重叠区域的方差：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数，sglobal是全局已有方差。
为实现上述目的，本发明实施例提供了一种无人机图像的正射影像实时生成装置，包括：
实时图像获取模块，用于获取无人机实时采集的图像；
特征点匹配模块，用于提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
初始姿态信息获取模块，用于根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
关键帧图像获取模块，用于根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
初始正射影像生成模块，用于根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
正射影像实时生成模块，用于根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
为实现上述目的，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述所述的无人机图像的正射影像实时生成方法。
为实现上述目的，本发明实施例提供了一种无人机图像的正射影像实时生成设备，包括处理器、存储器及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行在执行所述计算机程序时实现如上述所述的无人机图像的正射影像实时生成方法。
与现有技术相比，本发明实施例提供了一种无人机图像的正射影像实时生成方法、装置、介质及设备，通过获取无人机实时采集的图像；提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。由此可见，本发明实施例能够根据图像的实时性特点实时估计无人机相机姿态，从而进行实时图像拼接，能够保证实时性以及精度，适用于无人机的实时图像拼接，减小误差，计算量小。
附图说明
图1是本发明实施例提供的一种无人机图像的正射影像实时生成方法的流程图；
图2是本发明实施例提供的视觉坐标系与GNSS坐标系尺度不匹配示意图；
图3是本发明实施例提供的视觉坐标系与GNSS坐标系尺度匹配示意图；
图4是本发明实施例提供的一种无人机图像的正射影像实时生成装置的结构框图；
图5是本发明实施例提供的一种无人机图像的正射影像实时生成设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种无人机图像的正射影像实时生成方法的流程图，包括：
S1、获取无人机实时采集的图像；
S2、提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
S3、根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
S4、根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
S5、根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
S6、根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
示例性的，在步骤S2中，在两帧图像进行特征点匹配时，由于无人机作业的重叠率已经得知，根据前一帧特征点位置计算其在当前帧的估计位置，建立大小20的窗口，在该范围内进行查找，能够提升特征点匹配效率。具体地，根据无人机作业的重叠率，建立预设大小的窗口，以使当前帧图像与前一帧图像在所述预设大小的窗口内进行特征点匹配。
作为上述方案的改进，所述通过以下步骤提取任一帧图像的特征点：
以任一帧图像的任一像素点为中心像素点，获取预设范围内的每一局部像素点；
获取该帧图像的每一全局像素点，并分别计算每一所述全局像素点与所述中心像素点之间的每一全局像素差，对超过预设像素差阈值的全局像素差的绝对值进行统计，得到全局统计结果；
当所述全局统计结果不小于预设全局阈值时，分别计算每一局部像素点与所述中心像素点之间的每一局部像素差，对超过所述预设像素差阈值的局部像素差的绝对值进行统计，得到局部统计结果；
当所述局部统计结果不小于预设局部阈值时，得到该帧图像的特征点。
具体地，所述预设全局阈值为r2/3，其中，r2为局部像素点的总数量；所述预设局部阈值为r2/4，其中，r2为局部像素点的总数量；
示例性的，在任一帧图像上，以中心像素点c为中心，半径为r的预设圆形范围，获取预设圆形范围上的每一局部像素点p1、p2、...、pr2；
分别计算每一所述全局像素点与所述中心像素点之间的每一全局像素差，对超过预设像素差阈值的全局像素差的绝对值进行统计，若有不少于r2/3个全局像素差的绝对值超过预设像素差阈值T，继续分别计算每一局部像素点p1、p2、...、pr2与所述中心像素点之间的每一局部像素差，否则，判定所述中心像素点c不是特征点；
对超过所述预设像素差阈值的局部像素差的绝对值进行统计，若有不少于r2/4个局部像素差的绝对值超过预设像素差阈值T时，将所述中心像素点c作为该帧图像的特征点，否则，判定所述中心像素点c不是特征点。
示例性的，在步骤S3中，根据若干第三特征点建立对极几何，并基于SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)算法计算视觉坐标系下的每一帧图像的外方位参数即得到每一帧图像的初始姿态信息；
示例性的，在步骤S4中，采用回环检测算法对每一帧图像进行回环检测，得到每一关键帧图像；可以理解的，回环检测算法指的是通过会回环检测算法检测出之前访问过的场景。由于模型的不确定性以及设备的噪声，不确定性会逐渐增长。通过引入闭环检测算法，能够识别出历史访问过的场景以增加位姿之间的约束，可以很好的减少这种不确定性，提高无人机的实时图像拼接的准确性。
作为上述方案的改进，所述根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一正射影像，包括：
当获取到至少三帧关键帧图像的初始姿态信息时，采用最小二乘法计算视觉坐标系与GNSS坐标系之间的旋转关系；
当所述旋转关系满足预设的旋转条件时，得到视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像。
可以理解的，在得到每一帧图像在视觉坐标下的姿态信息时，就可以从第一帧连续推算到当前帧图像在视觉坐标系下的空间位置，然而通过上述步骤得到初始姿态信息并不是实际尺度，而是归一化尺度，在其后解算过程中都沿用了该尺度信息，就会导致尺度漂移，进而使得后续解算误差加大；
在无人机飞行过程中，无人机需依据GPS、北斗等GNSS导航***(GlobalNavigation Satellite System，全球导航卫星***)来规划航线，因此在无人机拍摄的每一张图像中都有图像曝光时刻的GNSS坐标系信息，如图2所示，如果将GNSS轨迹与推算得到的视觉轨迹叠合起来，会发现它们不再统一高度下，这就导致了失去了正射影像的实际意义；
因此，在本发明实施例中，利用最小二乘计算视觉坐标系与GNSS坐标系之间的旋转关系，从而得到视觉坐标系下的真实尺度信息。
如图3所示，对于每一关键帧图像，在经过上述步骤后，得到其视觉坐标和GNSS坐标，其视觉坐标即为A，GNSS坐标即为B，由于无人机在飞行过程中仅设计了平移旋转，因此可以默认为两个坐标系之间为刚体变换，则存在旋转矩阵R和平移矩阵t，使得B＝RA+t，当获取到至少3帧关键帧图像的初始姿态信息后，基于最小二乘原理求解R、t，使得最小||B-(RA+t)||，获取到其视觉坐标系下的真实尺度即最终姿态信息；本发明实施例利用最小二乘法，实时将SLAM解算结果与相机真实坐标进行归算，得到其真实尺度，同时将该尺度值更新到后续帧，减少单目SLAM中尺度漂移影响。
作为上述方案的改进，所述根据每一关键帧图像的最终姿态信息将每一正射影像进行实时拼接融合，以实时生成无人机图像的正射影像，包括：
根据每一关键帧图像的最终姿态信息，获取当前帧初始正射影像；
当当前帧初始正射影像与前一帧初始正射影像存在重叠区域时，计算所述重叠区域；
当所述重叠区域被观测到一次以上时，计算所述重叠区域的方差；
当所述方差小于预设方差阈值时，将所述当前帧初始正射影像更新到全局地图，以实时生成无人机图像的正射影像。
作为上述方案的改进，所述计算所述重叠区域，包括：
根据下式计算所述重叠区域：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数。
作为上述方案的改进，所述计算所述重叠区域的方差，包括：
根据下式计算所述重叠区域的方差：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数，sglobal是全局已有方差。
可以理解的是，在第一帧关键帧图像完成上述步骤后，得到了第一张初始正射影像，紧接着，第二帧、第三帧……等也会在经过上述步骤后获得第二张、第三张……经过处理具有真实地理信息的初始正射影像，由于无人机拍摄得到的照片具有一定的重叠度，对于后续到来的影像，必然存在重叠区域(旁向和航向均存在)，对于重叠区域，若直接叠加，或取栅格平均值，会造成其色调不一致，并存在拼接线等情况，传统方法则是人工在ENVI、PS等专业软件中进行匀光匀色，不能得到真实的无人机影像拼接图；
在本发明实施例中，首先计算重叠区域，由于重叠区域可能不止会出现一次，所以将观测次数作为主要权重考虑：
根据下式计算所述重叠区域：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数。
当重叠区域被观测到一次以上时，根据下式计算其方差：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数，sglobal是全局已有方差。
当小于一定阈值时，则认为多次观测值趋于稳定，则将本次计算得到的栅格值作为重叠区域更新到全局地图中，可以理解的是栅格值是指初始正射影像的每一个像素值。当大于一定阈值时，可以认为前后两次观测出现了不一致，暂时将结果保存，一旦新的照片存在该重叠区域，则重新计算其方差，将方差较低的初始正射影像更新到全局地图，并保存结果，若后期再有照片存在该重叠区域，按照上述方法再次进行更新。
本发明实施例所提供的一种无人机图像的正射影像实时生成方法，通过获取无人机实时采集的图像；提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。由此可见，本发明实施例能够根据图像的实时性特点实时估计无人机相机姿态，从而进行实时图像拼接，能够保证实时性以及精度，适用于无人机的实时图像拼接，减小误差，计算量小。
参见图4，是本发明实施例提供的一种无人机图像的正射影像实时生成装置的结构框图，所述无人机图像的正射影像实时生成装置10包括：
实时图像获取模块11，用于获取无人机实时采集的图像；
特征点匹配模块12，用于提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
初始姿态信息获取模块13，用于根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
关键帧图像获取模块14，用于根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
初始正射影像生成模块15，用于根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
正射影像实时生成模块16，用于根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
优选地，所述通过以下步骤提取任一帧图像的特征点：
以任一帧图像的任一像素点为中心像素点，获取预设范围内的每一局部像素点；
获取该帧图像的每一全局像素点，并分别计算每一所述全局像素点与所述中心像素点之间的每一全局像素差，对超过预设像素差阈值的全局像素差的绝对值进行统计，得到全局统计结果；
当所述全局统计结果不小于预设全局阈值时，分别计算每一局部像素点与所述中心像素点之间的每一局部像素差，对超过所述预设像素差阈值的局部像素差的绝对值进行统计，得到局部统计结果；
当所述局部统计结果不小于预设局部阈值时，得到该帧图像的特征点。
优选地，所述根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一正射影像，包括：
当获取到至少三帧关键帧图像的初始姿态信息时，采用最小二乘法计算视觉坐标系与GNSS坐标系之间的旋转关系；
当所述旋转关系满足预设的旋转条件时，得到视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像。
优选地，所述根据每一关键帧图像的最终姿态信息将每一正射影像进行实时拼接融合，以实时生成无人机图像的正射影像，包括：
根据每一关键帧图像的最终姿态信息，获取当前帧初始正射影像；
当当前帧初始正射影像与前一帧初始正射影像存在重叠区域时，计算所述重叠区域；
当所述重叠区域被观测到一次以上时，计算所述重叠区域的方差；
当所述方差小于预设方差阈值时，将所述当前帧初始正射影像更新到全局地图，以实时生成无人机图像的正射影像。
优选地，所述计算所述重叠区域，包括：
根据下式计算所述重叠区域：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数。
优选地，所述计算所述重叠区域的方差，包括：
根据下式计算所述重叠区域的方差：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数，sglobal是全局已有方差。
值得说明的是，本发明实施例所述的种无人机图像的正射影像实时生成装置10中各个模块的工作过程可参考上述实施例所述的无人机图像的正射影像实时生成方法的工作过程，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述实施例所述的无人机图像的正射影像实时生成方法。
参见图5，是本发明实施例提供的一种无人机图像的正射影像实时生成设备20的结构框图，所述无人机图像的正射影像实时生成设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述车载设备控制方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述无人机图像的正射影像实时生成设备20中的执行过程。
所述无人机图像的正射影像实时生成设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述无人机图像的正射影像实时生成设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是种无人机图像的正射影像实时生成设备20的示例，并不构成对种无人机图像的正射影像实时生成设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述无人机图像的正射影像实时生成设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述无人机图像的正射影像实时生成设备20的控制中心，利用各种接口和线路连接整个无人机图像的正射影像实时生成设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述无人机图像的正射影像实时生成设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述无人机图像的正射影像实时生成设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种无人机图像的正射影像实时生成方法，其特征在于，包括：
获取无人机实时采集的图像；
提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
2.如权利要求1所述的无人机图像的正射影像实时生成方法，其特征在于，通过以下步骤提取任一帧图像的特征点：
以任一帧图像的任一像素点为中心像素点，获取预设范围内的每一局部像素点；
获取该帧图像的每一全局像素点，并分别计算每一所述全局像素点与所述中心像素点之间的每一全局像素差，对超过预设像素差阈值的全局像素差的绝对值进行统计，得到全局统计结果；
当所述全局统计结果不小于预设全局阈值时，分别计算每一局部像素点与所述中心像素点之间的每一局部像素差，对超过所述预设像素差阈值的局部像素差的绝对值进行统计，得到局部统计结果；
当所述局部统计结果不小于预设局部阈值时，得到该帧图像的特征点。
3.如权利要求1所述的无人机图像的正射影像实时生成方法，其特征在于，所述根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一正射影像，包括：
当获取到至少三帧关键帧图像的初始姿态信息时，采用最小二乘法计算视觉坐标系与GNSS坐标系之间的旋转关系；
当所述旋转关系满足预设的旋转条件时，得到视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像。
4.如权利要求1所述的无人机图像的正射影像实时生成方法，其特征在于，所述根据每一关键帧图像的最终姿态信息将每一正射影像进行实时拼接融合，以实时生成无人机图像的正射影像，包括：
根据每一关键帧图像的最终姿态信息，获取当前帧初始正射影像；
当当前帧初始正射影像与前一帧初始正射影像存在重叠区域时，计算所述重叠区域；
当所述重叠区域被观测到一次以上时，计算所述重叠区域的方差；
当所述方差小于预设方差阈值时，将所述当前帧初始正射影像更新到全局地图，以实时生成无人机图像的正射影像。
5.如权利要求4所述的无人机图像的正射影像实时生成方法，其特征在于，所述计算所述重叠区域，包括：
根据下式计算所述重叠区域：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数。
6.如权利要求4所述的无人机图像的正射影像实时生成方法，其特征在于，所述计算所述重叠区域的方差，包括：
根据下式计算所述重叠区域的方差：
式中，xglobal是全局已有观测值，xnew是初始正射影像的观测值，n是初始正射影像的观测次数，sglobal是全局已有方差。
7.一种无人机图像的正射影像实时生成装置，其特征在于，包括：
实时图像获取模块，用于获取无人机实时采集的图像；
特征点匹配模块，用于提取当前帧图像的若干第一特征点与前一帧图像的若干第二特征点，并对若干所述第一特征点与若干所述第二特征点进行特征点匹配，得到相互匹配的若干第三特征点；
初始姿态信息获取模块，用于根据若干所述第三特征点建立对极几何，并基于SLAM算法计算视觉坐标系下的每一帧图像的初始姿态信息；
关键帧图像获取模块，用于根据每一帧图像的初始姿态信息，对每一帧图像进行回环检测，得到每一关键帧图像；
初始正射影像生成模块，用于根据每一关键帧图像的初始姿态信息，采用最小二乘法计算视觉坐标系下的每一关键帧图像的最终姿态信息，以生成每一初始正射影像；
正射影像实时生成模块，用于根据每一关键帧图像的最终姿态信息将每一初始正射影像进行实时拼接融合，以实时生成无人机图像的正射影像。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如权利要求1～6任一项所述的无人机图像的正射影像实时生成方法。
9.一种无人机图像的正射影像实时生成设备，其特征在于，包括处理器、存储器及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行在执行所述计算机程序时实现如权利要求1～6任一项所述的无人机图像的正射影像实时生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210151486.3A CN114565863B (zh) | 2022-02-18 | 2022-02-18 | 无人机图像的正射影像实时生成方法、装置、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210151486.3A CN114565863B (zh) | 2022-02-18 | 2022-02-18 | 无人机图像的正射影像实时生成方法、装置、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114565863A true CN114565863A (zh) | 2022-05-31 |
| CN114565863B CN114565863B (zh) | 2023-03-24 |
Family
ID=81713664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210151486.3A Active CN114565863B (zh) | 2022-02-18 | 2022-02-18 | 无人机图像的正射影像实时生成方法、装置、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565863B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782847A (zh) * | 2022-06-20 | 2022-07-22 | 南京航天宏图信息技术有限公司 | 一种基于无人机的矿山产能监测方法及装置 |
| CN115439672A (zh) * | 2022-11-04 | 2022-12-06 | 浙江大华技术股份有限公司 | 图像匹配方法、违建检测方法、终端设备以及存储介质 |
| CN115829833A (zh) * | 2022-08-02 | 2023-03-21 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
| CN117372273A (zh) * | 2023-10-26 | 2024-01-09 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030218674A1 (en) * | 2002-05-24 | 2003-11-27 | Sarnoff Corporation | Method and apparatus for video georegistration |
| CN107292297A (zh) * | 2017-08-09 | 2017-10-24 | 电子科技大学 | 一种基于深度学习和重叠率跟踪的视频车流量检测方法 |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及*** |
| CN111951201A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接方法、装置和存储介质 |
| WO2021062459A1 (en) * | 2019-10-04 | 2021-04-08 | Single Agriculture Pty Ltd | Weed mapping |
-
2022
- 2022-02-18 CN CN202210151486.3A patent/CN114565863B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030218674A1 (en) * | 2002-05-24 | 2003-11-27 | Sarnoff Corporation | Method and apparatus for video georegistration |
| CN107292297A (zh) * | 2017-08-09 | 2017-10-24 | 电子科技大学 | 一种基于深度学习和重叠率跟踪的视频车流量检测方法 |
| CN111951201A (zh) * | 2019-05-16 | 2020-11-17 | 杭州海康机器人技术有限公司 | 一种无人机航拍图像拼接方法、装置和存储介质 |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及*** |
| WO2021062459A1 (en) * | 2019-10-04 | 2021-04-08 | Single Agriculture Pty Ltd | Weed mapping |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782847A (zh) * | 2022-06-20 | 2022-07-22 | 南京航天宏图信息技术有限公司 | 一种基于无人机的矿山产能监测方法及装置 |
| CN115829833A (zh) * | 2022-08-02 | 2023-03-21 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
| CN115829833B (zh) * | 2022-08-02 | 2024-04-26 | 爱芯元智半导体(上海)有限公司 | 一种图像生成方法及移动设备 |
| CN115439672A (zh) * | 2022-11-04 | 2022-12-06 | 浙江大华技术股份有限公司 | 图像匹配方法、违建检测方法、终端设备以及存储介质 |
| CN117372273A (zh) * | 2023-10-26 | 2024-01-09 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
| CN117372273B (zh) * | 2023-10-26 | 2024-04-19 | 航天科工(北京)空间信息应用股份有限公司 | 无人机影像的正射影像生成方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114565863B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114565863B (zh) | 无人机图像的正射影像实时生成方法、装置、介质及设备 | |
| US9270891B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| US11113882B2 (en) | Generating immersive trip photograph visualizations | |
| CN113989450B (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、***及装置 | |
| CN111829532B (zh) | 一种飞行器重定位***和重定位方法 | |
| CN112634370A (zh) | 一种无人机打点方法、装置、设备及存储介质 | |
| US9460554B2 (en) | Aerial video annotation | |
| CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| CN115329111B (zh) | 一种基于点云与影像匹配的影像特征库构建方法及*** | |
| WO2024077935A1 (zh) | 一种基于视觉slam的车辆定位方法及装置 | |
| CN105444773A (zh) | 一种基于实景识别与增强现实的导航方法及*** | |
| CN117876608A (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| CN116630598B (zh) | 大场景下的视觉定位方法、装置、电子设备及存储介质 | |
| CN116858215B (zh) | 一种ar导航地图生成方法及装置 | |
| CN116363185B (zh) | 地理配准方法、装置、电子设备和可读存储介质 | |
| CN113326769A (zh) | 高精地图生成方法、装置、设备及存储介质 | |
| CN113012084A (zh) | 无人机影像实时拼接方法、装置及终端设备 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 | |
| WO2021051220A1 (zh) | 一种点云融合方法、设备、***及存储介质 | |
| CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
| CN110827340B (zh) | 地图的更新方法、装置及存储介质 | |
| CN114111817B (zh) | 基于slam地图与高精度地图匹配的车辆定位方法及*** | |
| CN113763468A (zh) | 一种定位方法、装置、***及存储介质 | |
| CN113592929B (zh) | 一种无人机航摄影像实时拼接方法与*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |