CN116045921A - 基于数字高程模型的目标定位方法、装置、设备及介质 - Google Patents

Abstract

本发明涉及基于数字高程模型的目标定位方法、装置、设备及介质，该方法包括：获取针对待定位目标的全动态视频，获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标所对应的像素点坐标转换为地理坐标；根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔；根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔；根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。通过本发明的方法，可确定出待定位目标的目标结果。

Description

基于数字高程模型的目标定位方法、装置、设备及介质

技术领域

本发明涉及定位技术领域，具体而言，本发明涉及基于数字高程模型的目标定位方法、装置、设备及介质。

背景技术

无人机视频巡检过程中，由于视频画面视野较大，而用户关注的威胁目标只占视频画面中很小一部分，且需要估计威胁目标和受保护目标的距离，才能对威胁目标进行定性分析。比如，针对油气管道无人机视频巡检，第三方施工车辆距离油气管道距离小于200m时，才视为该第三方施工车辆为威胁目标。故只有实现高精度的威胁目标定位，才能高效、准确实现无人机视频巡检任务。

现有的目标定位方法主要有下面三种：(1)基于共线构像的目标定位；(2)基于图像匹配模式的目标定位；(3)基于激光测距的有源目标定位。基于共线构像的目标定位方法，需要获取无人机的飞行姿态、经纬度，以及吊舱的姿态和吊舱相机传感器信息，然后根据共线条件方程计算地面目标位置。在实际使用中，该方法需要假定待测目标区域为平坦地面，目标定位精度较低；基于图像匹配模式的目标定位，该方法利用可获取的多角度多源图像，并在预先建立基准图像条件下，将经过校正的无人机吊舱图像与基准图片进行匹配，从而实现目标定位，该方法有较高的定位精度，但基准图片的获取有一定的限制性，且图片匹配实时性较差，实用性不高；基于激光测距的有源定位方法，该方法定位精度最高，但受限于成本，目前主要应用于军事领域。

此外，目标定位精度的误差也与输入的无人机参数(无人机姿态、经纬度)和吊舱参数(吊舱姿态、吊舱相机传感器信息)的时空一致性有关。现有方法是无人机参数和吊舱参数分别获取，再分别通过无人机数据链路和图像链路传回地面终端服务器，地面终端服务器获取无人机参数和吊舱参数，再通过目标定位算法进行融合解算，获取威胁目标的地理位置。该方法，数据链路和图像链路采用的频段和传输的数据量大小不一，传输过程中数据延迟相差较大，故该方法存在因传输过程中的链路延迟等造成输入数据时空不匹配，从而导致目标定位精度下降。

发明内容

本发明所要解决的技术问题是提供了基于数字高程模型的目标定位方法、装置、设备及介质，旨在解决上述至少一个技术问题。

本发明解决上述技术问题的技术方案如下：基于数字高程模型的目标定位方法，该方法包括：

获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

本发明的有益效果是：针对现有目标定位算法定位精度差和实效性差的问题，本申请方案中通过融入数字高程模型，通过将预测海拔和真实海拔之间的对比，可准确快速确定待定位目标的位置，即定位结果，在具备先验信息数字高程模型数据的情况下，降低了复杂地形对定位算法的影响，具有定位精度高、实时性强的特点。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述方法还包括：

通过搭载吊舱的无人机采集所述待定位目标区域的各帧图像、吊舱参数和无人机参数；

将各帧所述图像和各帧所述图像对应的吊舱参数和无人机参数进行编码，得到全动态视频。

采用上述进一步方案的有益效果是，在无人机机载端，将无人机所采集的无人机机载端进行时空同步数据处理，从而确保目标定位算法输入数据的高时空同步性。

进一步，上述方法还包括：

获取多个像素点坐标和每个所述像素点坐标对应的地理坐标；

根据各个所述像素点坐标和各个所述地理坐标，通过透视模型转换确定像素点坐标和地理坐标之间第一转换关系；

对于每帧所述图像，所述根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标。

采用上述进一步方案的有益效果是，基于透视模型转换可以准确的确定出像素点坐标和地理坐标之间第一转换关系，从而可准确地将图像对应的像素点坐标转换为地理坐标。

进一步，上述第一转换关系包括像素点坐标和像物理坐标之间的第二转换关系、像物理坐标和相机坐标之间的第三转换关系、吊舱相机坐标与吊舱云台坐标之间的第四转换关系、吊舱云台坐标与无人机机体坐标之间的第五转换关系、无人机机体坐标与北东地坐标之间的第六转换关系，北东地坐标与东北天坐标之间的第七转换关系和东北天坐标转换与地理坐标之间的第八转换关系；

对于每帧所述图像，所述根据所述图像对应的和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标；

根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标；

根据所述吊舱相机坐标，通过所述第四转换关系，将所述吊舱相机坐标转换为吊舱云台坐标；

根据所述吊舱云台坐标，通过所述第五转换关系，将所述吊舱云台坐标转换为无人机机体坐标；

根据所述无人机机体坐标，通过所述第六转换关系，将所述无人机机体坐标转换为北东地坐标；

根据所述北东地坐标，通过所述第七转换关系，将所述北东地坐标转换为东北天坐标；

根据所述东北天坐标，通过第八转换关系，将所述东北天坐标转换为地理坐标。

采用上述进一步方案的有益效果是，通过上述七个转换关系，可准确的将像素点坐标转换为地理坐标。

进一步，上述根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果，包括：

计算所述待定位目标对应的真实海拔和所述预测海拔之间的高度差值；

若所述高度差值小于阈值，则根据所述真实海拔和所述数字高程模型，确定所述待定位目标的定位结果；

若所述高度差值不小于所述阈值，则根据设定海拔步长和所述预测海拔，确定新的预测海拔，并根据所述新的预测海拔和所述真实海拔确定新的高度差值，直到所述新的高度差值小于所述阈值。

采用上述进一步方案的有益效果是，通过设定海拔步长的不断迭代，可以提高定位结果的准确性。

进一步，上述第二转换关系通过第一公式表示，所述根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一公式，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，其中，所述第一公式为：

其中，(u，v)为像素点坐标，(x，y)为像物理坐标，c_x，c_y为像物理坐标相对像素坐标的原点位置，dx，dy分别为单位像素对应的像物理坐标尺寸。

采用上述进一步方案的有益效果是，通过上述第一公式可准确表达第二转换关系，进而可准确将图像对应的像素点坐标转换为像物理坐标。

进一步，上述第三转换关系通过第二公式表示，所述根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标，包括：

根据所述图像对应的像物理坐标，通过所述第二公式，将所述像物理坐标转换为吊舱相机坐标，其中，所述第二公式为：

其中，p_c(x_c，y_c，z_c)表示吊舱相机坐标，f_x，f_y，c_x，c_y为通过相机内参确定的参数，p′c表示p_c的向量。

采用上述进一步方案的有益效果是，通过上述第二公式可准确表达第三转换关系，进而可准确将吊舱参数对应的像物理坐标转换为吊舱相机坐标。

第二方面，本发明为了解决上述技术问题还提供了基于数字高程模型的目标定位装置，该装置包括：

全动态视频获取模块，用于获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

坐标转换模块，用于获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

海拔确定模块，用于根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

定位模块，用于根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

第三方面，本发明为了解决上述技术问题还提供了一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行该计算机程序时实现本申请的基于数字高程模型的目标定位方法。

第四方面，本发明为了解决上述技术问题还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请的基于数字高程模型的目标定位方法。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。

图1为本发明一个实施例提供的基于数字高程模型的目标定位方法的流程示意图；

图2为本发明一个实施例提供的一种像素点坐标和像物理坐标之间的转换关系的示意图；

图3为本发明一个实施例提供的一种数字高程模型示意图；

图4为本发明一个实施例提供的基于数字高程模型的目标定位装置的结构示意图；

图5为本发明一个实施例提供的一种电子设备的结构示意图。

具体实施方式

以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

下面以具体实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

本发明实施例所提供的方案可以适用于任何需要对目标进行定位的应用场景中。本发明实施例所提供的方案可以由电子设备执行，比如，可以是用户的终端设备，包括以下至少一项：智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载设备。

本发明实施例提供了一种可能的实现方式，如图1所示，提供了一种基于数字高程模型的目标定位方法的流程图，该方案可以由任一电子设备执行，例如，可以是终端设备，或者由终端设备和服务器共同执行。为描述方便，下面将以终端设备作为执行主体为例对本发明实施例提供的方法进行说明，如图1中所示的流程图，该方法可以包括以下步骤：

步骤S110，获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

步骤S120，获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

步骤S130，确定所述待定位目标对应的真实海拔，根据各帧所述图像中待定位目标对应的地理坐标，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的预测海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

步骤S140，根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

针对现有目标定位算法定位精度差和实效性差的问题，本申请方案中通过融入数字高程模型，通过将预测海拔和真实海拔之间的对比，可准确快速确定待定位目标的位置，即定位结果，在具备先验信息数字高程模型数据的情况下，降低了复杂地形对定位算法的影响，具有定位精度高、实时性强的特点。

下面结合以下具体的实施例，对本发明的方案进行进一步的说明，在该实施例中，基于数字高程模型的目标定位方法可以包括以下步骤：

步骤S110，获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

可选的，在步骤S110之前，该方法还可以包括：

通过搭载吊舱的无人机采集所述待定位目标区域的各帧图像、吊舱参数和无人机参数；

将各帧所述图像和各帧所述图像对应的吊舱参数和无人机参数进行编码，得到全动态视频。

其中，吊舱姿态反应图像的俯仰、偏航、滚转三个角度。吊舱传感器数据反应图像的视场大小。无人机姿态也是一样，可反应吊舱的俯仰、偏航、滚转角度；无人机经纬度反应图像的地理位置。

其中，上述将各帧所述图像和各帧所述图像对应的吊舱参数和无人机参数进行编码，具体可以指的是按照各帧所述图像的获取顺序，将各帧图像按照设定格式进行打包。本申请方案中，无人机机载端处理器可采用视频融合算法对无人机参数和吊舱参数进行编码，得到全动态视频，然后再将全动态视频发送至地面终端服务器。地面终端服务器在获取全动态视频后，先会对全动态视频进行解码，以获取所述全动态视频中的各帧所述图像，以及每帧所述图像对应的吊舱参数和无人机参数。

步骤S120，获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

其中，无人机参数和吊舱参数反应图像姿态和位置，对待定位目标进行定位，是要获取待定位目标在地理坐标系下的定位结果，则先将图像坐标系下的待定位目标对应目标像素坐标转换为地理坐标系下的地理坐标，可以实现对待定位目标的准确定位。

其中，一帧图像中的目标可以有一个或多个，比如，待定位目标为车辆，该帧图像的像素是1920*1080，待定位目标在图像中的位置(像素坐标)是(797，680)。则最终要求解的是这个像素坐标对应的真实地理坐标。

可选的，上述方法还包括：

获取多个像素点坐标和每个所述像素点坐标对应的地理坐标；

根据各个所述像素点坐标和各个所述地理坐标，通过透视模型转换确定像素点坐标和地理坐标之间第一转换关系；通过该第一转换关系可以实现像素点坐标与地理坐标之间的转换。

则对于每帧所述图像，上述根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标。

可选的，上述所述第一转换关系包括像素点坐标和像物理坐标之间的第二转换关系、像物理坐标和相机坐标之间的第三转换关系、吊舱相机坐标与吊舱云台坐标之间的第四转换关系、吊舱云台坐标与无人机机体坐标之间的第五转换关系、无人机机体坐标与北东地坐标之间的第六转换关系，北东地坐标与东北天坐标之间的第七转换关系和东北天坐标转换与地理坐标之间的第八转换关系；

则对于每帧所述图像，上述根据所述图像对应的和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

S21，根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标；

可选的，上述第二转换关系可通过第一公式表示，则上述根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一公式，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，其中，所述第一公式为：

其中，(u，v)为像素点坐标，(x，y)为像物理坐标，c_x，c_y为像物理坐标相对像素坐标的原点位置，dx，dy分别为单位像素对应的像物理坐标尺寸，单位为mm/像素。

其中，像素点坐标和像物理坐标之间的转换关系可参见图2，像素坐标系(像素点坐标所在坐标系)和像物理坐标系(像物理坐标所在坐标系)都在成像平面上。将每帧图像的像素点坐标(u,v)转换为像物理坐标(x,y)；其中，像素坐标系和像物理坐标系都在成像平面上，只是各自的原点和度量单位不一样。像素坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。像物理坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。

S22，根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标(相机坐标系下的坐标)；

可选的，上述第三转换关系通过第二公式表示，则上述根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标，包括：

根据所述图像对应的像物理坐标，通过所述第二公式，将所述像物理坐标转换为吊舱相机坐标，其中，所述第二公式为：

其中，p_c(x_c，y_c，z_c)表示吊舱相机坐标，f_x，f_y，c_x，c_y为通过相机内参确定的参数，p′_c表示p_c的向量。

S23，根据所述吊舱相机坐标，通过所述第四转换关系，将所述吊舱相机坐标转换为吊舱云台坐标；

可选的，上述第四转换关系可通过第三公式表示，第四转换关系包括吊舱相机坐标和吊舱云台坐标之间的转换矩阵R_C→G，以及吊舱相机坐标系到吊舱云台坐标系的平移向量T_C→G，则上述根据所述吊舱相机坐标，通过所述第四转换关系，将所述吊舱相机坐标转换为吊舱云台坐标，包括：

根据所述吊舱相机坐标，通过所述第三公式，将所述吊舱相机坐标转换为吊舱云台坐标，其中，第三公式为：

P′_G＝R_C→GP′_C+T_C→G

其中，P′_G(x_G,y_G,z_G)，即P′_G表示吊舱云台坐标，p′_c表示吊舱相机坐标对应的向量。

S24，根据所述吊舱云台坐标，通过所述第五转换关系，将所述吊舱云台坐标转换为无人机机体坐标；

因为吊舱是搭载在无人机上的，因此，可将吊舱云台坐标转换为无人机机体坐标。

可选的，上述第五转换关系可通过第四公式表示，第五转换关系包括吊舱云台坐标与无人机机体坐标之间的转换矩阵R_C→UAS，以及吊舱云台坐标到无人机机体坐标的平移向量T_G→UAS，则上述根据所述吊舱云台坐标，通过所述第五转换关系，将所述吊舱云台坐标转换为无人机机体坐标，包括：

根据所述吊舱云台坐标，通过所述第四公式，将所述吊舱云台坐标转换为无人机机体坐标，其中，第四公式为：

P′_UAS＝R_C→UASR_C→GP′_C+R_C→UAST_C→G+T_G→UAS

其中，P′_UAS(x_UAS,y_UAS,z_UAS)，即P′_UAS表示无人机机体坐标。上述P′_C可通过吊舱云台坐标表示。

S25，根据所述无人机机体坐标，通过所述第六转换关系，将所述无人机机体坐标转换为北东地坐标；

可选的，上述第六转换关系可通过第五公式表示，第六转换关系包括无人机机体坐标与北东地坐标之间的转换矩阵R_UAS→NED，以及无人机机体坐标到北东地坐标的平移向量T_UAS→NED，则上述根据所述无人机机体坐标，通过所述第六转换关系，将所述无人机机体坐标转换为北东地坐标，包括：

根据所述无人机机体坐标，通过所述第五公式，将所述无人机机体坐标转换为北东地坐标，其中，第五公式为：

P′_NED＝R_UAS→NEDP′_UAS+T_UAS→NED

其中，P′_NED(x_NED,y_NED,z_NED)，即P′_NED表示北东地坐标。

S26，根据所述北东地坐标，通过所述第七转换关系，将所述北东地坐标转换为东北天坐标；

可选的，上述第七转换关系可通过第六公式表示，第七转换关系包括北东地坐标与东北天坐标之间的转换矩阵R_NED→ENU，以及北东地坐标到东北天坐标的平移向量T_NED→ENU，则上述根据所述北东地坐标，通过所述第七转换关系，将所述北东地坐标转换为东北天坐标，包括：

根据所述北东地坐标，通过所述第六公式，将所述北东地坐标转换为东北天坐标，其中，第六公式为：

P′_ENU＝R_NED→ENUP′_NED+T_NED→ENU

其中，P′_ENU(x_ENU,y_ENU,z_ENU)，即P′_ENU表示东北天坐标。

S27，根据所述东北天坐标，通过第八转换关系，将所述东北天坐标转换为地理坐标。

可选的，上述第八转换关系可通过第七公式表示，第八转换关系包括吊舱坐标到东北天坐标的平移向量T_C→ENU，以及吊舱坐标下z_C，则上述根据所述东北天坐标，通过第八转换关系，将所述东北天坐标转换为地理坐标，包括：

根据所述东北天坐标，通过第七公式，将所述东北天坐标转换为地理坐标P_ENU，其中，第七公式为：

P_ENU＝z_CP_′ENU-z_CT_C→ENU+T_C→ENU

步骤S130，根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

其中，上述数字高程模型可预先针对待定位目标所在区域中各个位置的经纬度信息和海拔确定的，即待定位目标所在区域中的各位置点由三个数值表示(经度，纬度，海拔)。具体可参见图3所示的数字高程模型示意图，图3中的栅格为数字高程模型，每个方格代表了该点的海拔高度，不同颜色代表不同高度，由黑到白海拔高度依此递减。如果视待定位目标所在区域对应的海拔与起飞点海拔一致，即z_ENU＝0，求得P_ENU为目标点相对高度为0的点。考虑到真实场景下，地形有起伏变化，待定位目标相对高度不为0。

步骤S140，根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

可选的，上述根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果，包括：

计算所述待定位目标对应的真实海拔和所述预测海拔之间的高度差值；ΔP_z为预测海拔z_ENU和根据数字高程模型确定的真实海拔z_DENU的海拔差值。

若所述高度差值ΔP_Z小于阈值ΔP_Zmin，则根据所述真实海拔和所述数字高程模型，确定所述待定位目标的定位结果；

若所述高度差值ΔP_Z不小于所述阈值ΔP_Zmin，则根据设定海拔步长和所述预测海拔，确定新的预测海拔，通常新的预测海拔等于设定海拔步长与预测海拔之和，然后根据所述新的预测海拔和所述真实海拔确定新的高度差值，将新的高度差值与阈值比较，直到所述新的高度差值小于所述阈值，可以确定得到待定位目标的定位结果P_DENU，通常该定位结果可通过经纬度表示。

通过本发明的方案，针对现有目标定位算法定位精度差和实效性差的问题，通过融入数字高程模型，基于透视模型的变化和变步长迭代算法提高定位精度的思路，在具备先验信息数字高程模型数据的情况下，降低了复杂地形对定位算法的影响，具有定位精度高、实时性强的特点；

针对输入目标定位算法输入数据时空不匹配的问题，通过无人机机载端视频融合算法将无人机参数、吊舱参数进行时空同步数据处理，从而确保目标定位算法输入数据的高时空同步性。

基于与图1中所示的方法相同的原理，本发明实施例还提供了一种基于数字高程模型的目标定位装置20，如图4中所示，该基于数字高程模型的目标定位装置20可以包括全动态视频获取模块210、坐标转换模块220、海拔确定模块230和定位模块240，其中：

全动态视频获取模块210，用于获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

坐标转换模块220，用于获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

海拔确定模块230，用于根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

定位模块240，用于根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

可选的，上述装置还包括：

全动态视频确定模块，用于通过搭载吊舱的无人机采集所述待定位目标区域的各帧图像、吊舱参数和无人机参数；将各帧所述图像和各帧所述图像对应的吊舱参数和无人机参数进行编码，得到全动态视频。

可选的，上述装置还包括：

第一转换关系确定模块，用于获取多个像素点坐标和每个所述像素点坐标对应的地理坐标；根据各个所述像素点坐标和各个所述地理坐标，通过透视模型转换确定像素点坐标和地理坐标之间第一转换关系；

对于每帧所述图像，上述坐标转换模块220在根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标时，具体用于：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标。

可选的，上述第一转换关系包括像素点坐标和像物理坐标之间的第二转换关系、像物理坐标和相机坐标之间的第三转换关系、吊舱相机坐标与吊舱云台坐标之间的第四转换关系、吊舱云台坐标与无人机机体坐标之间的第五转换关系、无人机机体坐标与北东地坐标之间的第六转换关系，北东地坐标与东北天坐标之间的第七转换关系和东北天坐标转换与地理坐标之间的第八转换关系；

对于每帧所述图像，上述坐标转换模块220在根据所述图像对应的和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标时，具体用于：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标；

根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标；

根据所述吊舱相机坐标，通过所述第四转换关系，将所述吊舱相机坐标转换为吊舱云台坐标；

根据所述吊舱云台坐标，通过所述第五转换关系，将所述吊舱云台坐标转换为无人机机体坐标；

根据所述无人机机体坐标，通过所述第六转换关系，将所述无人机机体坐标转换为北东地坐标；

根据所述北东地坐标，通过所述第七转换关系，将所述北东地坐标转换为东北天坐标；

根据所述东北天坐标，通过第八转换关系，将所述东北天坐标转换为地理坐标。

可选的，上述定位模块240在根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果时，具体用于：

计算所述待定位目标对应的真实海拔和所述预测海拔之间的高度差值；

若所述高度差值小于阈值，则根据所述真实海拔和所述数字高程模型，确定所述待定位目标的定位结果；

若所述高度差值不小于所述阈值，则根据设定海拔步长和所述预测海拔，确定新的预测海拔，并根据所述新的预测海拔和所述真实海拔确定新的高度差值，直到所述新的高度差值小于所述阈值。

可选的，上述第二转换关系通过第一公式表示，上述坐标转换模块220在根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标时，具体用于：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一公式，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，其中，所述第一公式为：

其中，(u，v)为像素点坐标，(x，y)为像物理坐标，c_x，c_y为像物理坐标相对像素坐标的原点位置，dx，dy分别为单位像素对应的像物理坐标尺寸。

可选的，上述第三转换关系通过第二公式表示，上述坐标转换模块220在根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标时，具体用于：

根据所述图像对应的像物理坐标，通过所述第二公式，将所述像物理坐标转换为吊舱相机坐标，其中，所述第二公式为：

其中，p_c(x_c，y_c，z_c)表示吊舱相机坐标，f_x，f_y，c_x，c_y为通过相机内参确定的参数，p′_c表示p_c的向量。

本发明实施例的基于数字高程模型的目标定位装置可执行本发明实施例所提供的基于数字高程模型的目标定位方法，其实现原理相类似，本发明各实施例中的基于数字高程模型的目标定位装置中的各模块、单元所执行的动作是与本发明各实施例中的基于数字高程模型的目标定位方法中的步骤相对应的，对于基于数字高程模型的目标定位装置的各模块的详细功能描述具体可以参见前文中所示的对应的基于数字高程模型的目标定位方法中的描述，此处不再赘述。

其中，上述基于数字高程模型的目标定位装置可以是运行于计算机设备中的一个计算机程序(包括程序代码)，例如该基于数字高程模型的目标定位装置为一个应用软件；该装置可以用于执行本发明实施例提供的方法中的相应步骤。

在一些实施例中，本发明实施例提供的基于数字高程模型的目标定位装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的基于数字高程模型的目标定位装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的基于数字高程模型的目标定位方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。

在另一些实施例中，本发明实施例提供的基于数字高程模型的目标定位装置可以采用软件方式实现，图4示出了存储在存储器中的基于数字高程模型的目标定位装置，其可以是程序和插件等形式的软件，并包括一系列的模块，包括全动态视频获取模块210、坐标转换模块220、海拔确定模块230和定位模块240，用于实现本发明实施例提供的基于数字高程模型的目标定位方法。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定。

基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。

在一个可选实施例中提供了一种电子设备，如图5所示，图5所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004，收发器4004可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本发明实施例的限定。

处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器4003用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备也可以是终端设备，图5示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

根据本发明的另一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种实施例实现方式中提供的基于数字高程模型的目标定位方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应该理解的是，附图中的流程图和框图，图示了按照本发明各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本发明实施例提供的计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于数字高程模型的目标定位方法，其特征在于，包括以下步骤：

获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过搭载吊舱的无人机采集所述待定位目标区域的各帧图像、吊舱参数和无人机参数；

将各帧所述图像和各帧所述图像对应的吊舱参数和无人机参数进行编码，得到全动态视频。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个像素点坐标和每个所述像素点坐标对应的地理坐标；

根据各个所述像素点坐标和各个所述地理坐标，通过透视模型转换确定像素点坐标和地理坐标之间第一转换关系；

对于每帧所述图像，所述根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标。

4.根据权利要求3所述的方法，其特征在于，所述第一转换关系包括像素点坐标和像物理坐标之间的第二转换关系、像物理坐标和相机坐标之间的第三转换关系、吊舱相机坐标与吊舱云台坐标之间的第四转换关系、吊舱云台坐标与无人机机体坐标之间的第五转换关系、无人机机体坐标与北东地坐标之间的第六转换关系，北东地坐标与东北天坐标之间的第七转换关系和东北天坐标转换与地理坐标之间的第八转换关系；

对于每帧所述图像，所述根据所述图像对应的和所述无人机参数，通过所述第一转换关系将所述图像中待定位目标对应的像素点坐标转换为地理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标；

根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标；

根据所述吊舱相机坐标，通过所述第四转换关系，将所述吊舱相机坐标转换为吊舱云台坐标；

根据所述吊舱云台坐标，通过所述第五转换关系，将所述吊舱云台坐标转换为无人机机体坐标；

根据所述无人机机体坐标，通过所述第六转换关系，将所述无人机机体坐标转换为北东地坐标；

根据所述北东地坐标，通过所述第七转换关系，将所述北东地坐标转换为东北天坐标；

根据所述东北天坐标，通过第八转换关系，将所述东北天坐标转换为地理坐标。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果，包括：

计算所述待定位目标对应的真实海拔和所述预测海拔之间的高度差值；

若所述高度差值小于阈值，则根据所述真实海拔和所述数字高程模型，确定所述待定位目标的定位结果；

若所述高度差值不小于所述阈值，则根据设定海拔步长和所述预测海拔，确定新的预测海拔，并根据所述新的预测海拔和所述真实海拔确定新的高度差值，直到所述新的高度差值小于所述阈值。

6.根据权利要求4所述的方法，其特征在于，所述第二转换关系通过第一公式表示，所述根据所述图像对应的吊舱参数和所述无人机参数，通过所述第二转换关系，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，包括：

根据所述图像对应的吊舱参数和所述无人机参数，通过所述第一公式，将所述图像中待定位目标对应的像素点坐标转换为像物理坐标，其中，所述第一公式为：

其中，(u，v)为像素点坐标，(x，y)为像物理坐标，c_x，c_y为像物理坐标相对像素坐标的原点位置，dx，dy分别为单位像素对应的像物理坐标尺寸。

7.根据权利要求6所述的方法，其特征在于，所述第三转换关系通过第二公式表示，所述根据所述图像中待定位目标对应的像物理坐标，通过所述第三转换关系，将所述像物理坐标转换为吊舱相机坐标，包括：

根据所述图像对应的像物理坐标，通过所述第二公式，将所述像物理坐标转换为吊舱相机坐标，其中，所述第二公式为：

其中，p_c(x_c，y_c，z_c)表示吊舱相机坐标，f_x，f_y，c_x，c_y为通过相机内参确定的参数，p_c′表示p_c的向量。

8.一种基于数字高程模型的目标定位装置，其特征在于，包括：

全动态视频获取模块，用于获取针对待定位目标的全动态视频，所述全动态视频是基于搭载吊舱的无人机采集所述待定位目标得到的数据确定的，所述数据包括各帧图像和各帧所述图像对应的吊舱参数和无人机参数，对于每帧图像，所述吊舱参数包括吊舱姿态和吊舱相机传感器信息，所述无人机参数包括无人机姿态及经纬度信息；

坐标转换模块，用于获取所述全动态视频中的各帧所述图像，对于每帧所述图像，根据所述图像对应的吊舱参数和所述无人机参数，将所述图像中待定位目标对应的像素点坐标转换为地理坐标；

海拔确定模块，用于根据各帧所述图像中待定位目标对应的地理坐标，确定所述待定位目标对应的预测海拔，根据各帧所述图像中待定位目标对应的地理坐标和预设的数字高程模型，确定所述待定位目标对应的真实海拔，所述数字高程模型包括各个点的经度、纬度和海拔；

定位模块，用于根据所述待定位目标对应的真实海拔和预测海拔，确定所述待定位目标的定位结果。

9.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7中任一项所述的方法。

Images