CN114066999A - 基于三维建模的目标定位***及方法 - Google Patents

Abstract

本发明公开了一种基于三维建模的目标定位***及方法，属于应急救援的技术领域，***中的图像识别模块通过人工智能算法识别出原始图像数据中每张图像上的目标；***中的目标分析模块分析判断每张图像上的各个目标在地面的位置是否相同，将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示；通过人工智能算法直接从原始图像数据中识别出目标，并计算目标位置后进行去重处理，从而有效减少了目标数据量，也避免同一目标被多次统计，从而提高了目标统计的准确性，且通过在相同图像数据所生成的三维模型上显示已统计的目标位置，使得目标的定位更为直观，更有利于为应急管理快速辅助决策提供必要的支撑。

Description

基于三维建模的目标定位***及方法

技术领域

本发明涉及应急救援的技术领域，更具体的说，本发明主要涉及一种基于三维建模的目标定位***及方法。

背景技术

近年来我国各地自然灾害频发，对应急救援的及时性以及救援的效率都提出了不小的考验。在自然灾害发生后，如何快速获取灾区地形以及受灾人员的准确位置，是制定应急救援决策的关键。由于目前主流的目标定位方式大多都并非针对应急救援场景的应用而研发，因此定位所需时间较长，数据冗余量大，且获取定位数据后也无法直观展示，从而不适于在应急救援场景中使用。鉴于此，有必要针对依靠计算机实现的应急救援的场景中所使用的受灾人员快速定位，以及展示的方法进行研究和改进。

发明内容

本发明的目的之一在于解决上述不足，提供一种基于三维建模的目标定位***及方法，以期望解决现有技术中同类目标定位方法定位所需时间长，数据冗余量大，无法直观展示定位数据，不适于在应急救援场景中使用等技术问题。

为解决上述的技术问题，本发明采用以下技术方案：

本发明第一方面提供了一种基于三维建模的目标定位***，所述的***包括：图像识别模块，用于通过人工智能算法识别出原始图像数据中每张图像上的目标；目标分析模块，用于分别分析判断每张图像上的各个目标在地面的位置是否相同，如相同，则认为当前的两个或多个目标为同一目标；所述分析判断每张图像上的目标，在地面的位置是否相同，为比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标；所述目标分析模块还用于将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示；所述地面三维模型通过所述原始图像数据所生成；所述去重为将判断为同一目标的两个或多个目标，作为一个目标进行统计。

作为优选，进一步的技术方案是：所述目标在地面的位置为：设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵；进而得到从相机中心出发且经过P点的射线上的任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为所述射线上的点与相机中心的距离值；通过射线与空间三角形求交算法，判断并得出所述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。

更进一步的技术方案是：所述目标为每张图像上的人员。

更进一步的技术方案是：所述原始图像数据为无人机拍摄并压缩处理后的多张图像。

更进一步的技术方案是：所述***用于应急管理中进行灾区人员定位，为救援决策提供支撑。

本发明第二方面提供了一种基于三维建模的目标定位方法，所述的方法包括如下步骤：

通过人工智能算法识别出原始图像数据中每张图像上的目标；

分别分析判断每张图像上的各个目标在地面的位置是否相同，如相同，则认为当前的两个或多个目标为同一目标；所述分析判断每张图像上的目标，在地面的位置是否相同，为比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标；

将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示；所述地面三维模型通过所述原始图像数据所生成；所述去重为将判断为同一目标的两个或多个目标，作为一个目标进行统计。

作为优选，进一步的技术方案是：所述目标在地面的位置为设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵；进而得到从相机中心出发且经过P点的射线上的任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为射线上的点与相机中心的距离值；

通过射线与空间三角形求交算法，判断并得出所述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。

更进一步的技术方案是：所述目标为每张图像上的人员；所述原始图像数据为无人机拍摄并压缩处理后的多张图像。

更进一步的技术方案是：所述***用于应急管理中进行灾区人员定位，为救援决策提供支撑。

本发明第三方面提供了一种计算机可读的存储介质，所述计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行上述的方法。

与现有技术相比，本发明的有益效果之一是：通过人工智能算法直接从原始图像数据中识别出目标，并计算目标位置后进行去重处理，从而有效减少了目标数据量，也避免同一目标被多次统计，从而提高了目标统计的准确性，且通过在相同图像数据所生成的三维模型上显示已统计的目标位置，使得目标的定位更为直观，更有利于为应急管理快速辅助决策提供必要的支撑。

附图说明

图1为用于说明本发明一个实施例的***示意框图。

图2为用于说明本发明一个实施例的目标分析模块结构示意框图。

图3为用于说明本发明一个实施例的方法流程图。

图4为用于说明本发明一个实施例的地面三维模型生成方法流程图。

具体实施方式

下面结合附图对本发明作进一步阐述。

本发明从原始图像数据中识别出目标，然后通过计算实现目标定位，将定位后的目标直接显示在三维模型上，并且该三维模型是在应急管理的技术需求之下快速生成的三维模型。在前述概要的基础上，本发明的一个实施例是一种基于三维建模的目标定位***，主要用于应急管理中进行灾区人员定位，为救援决策提供支撑。具体的，参考图1所示，按照模块的功能划分，该***主要包括两个部分，即图像识别模块与目标分析模块，图像识别模块与目标分析模块之间可进行数据传输。

具体的，由上述图像识别模块通过人工智能算法(AI)识别出原始图像数据中每张图像上的目标，目标识别可参考现有技术中同类的AI视频识别技术，一般而言，在本***应用中，通过AI识别图像上的目标为人员，更具体的是指受灾人员。并且前述原始图像数据一般指无人机拍摄并压缩处理后的多张图像。

通过上述方式获知了图像中的目标数据后，传输至目标分析模块，由目标分析模块分别分析判断每张图像上的各个目标，在地面的位置是否相同，如相同，则认为当前的两个或多个目标为同一目标。前述的地面的位置指的是地面坐标，并且该地面坐标与上述三位模型属于同一坐标系。

在目标分析模块中，进行分析判断每张图像上的目标在地面的位置是否相同的操作，具体是指比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标，需要分别统计。

正如上述所提到的目标判断，为防止多张图像中的同一目标被多次统计，导致目标数据量过多，目标分析模块需将每张图像上的目标去重后重新统计，前述去重指的是将判断为同一目标的两个或多个目标时，将当前的两个或多个目标作为一个目标进行统计。

具体来说，对于两张拍摄时间相近图像上的两个目标T1和T2，假设计算出其在地表的位置分别为L1和L2，假设L1和L2的距离小于指定阈值，那么就认为这T1和T2为同一个目标。反之则将T1和T2当做两个目标来统计，对于T1和T2不进行上述的去重处理。由于本发明的目标是灾区人员，同一人员在拍摄时间相近的两张图像中位移距离通常比较小，因此可以认为上述的假设是合理的。

由目标分析模块将重新统计后的目标定位在地面三维模型上显示。前述地面三维模型通过上述原始图像数据所生成，即上述AI识别目标的原始图像数据。

正如上述提到的，目标定位的地面坐标与三维模型在同一坐标系下，因此目标定位后可以直接以三维模型为背景进行显示，即目标定位在地面三维模型上显示。

在上述的实施例中，目标分析模块首先需要获知每个目标在地面的位置，才可进行上述的去重判断，本实施例提供了一种优选的方法，可由目标分析模块从原始图像获知目标在地面的位置，即地面坐标。

具体为设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

在式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵，前述R与K可通过空三优化算法通过原始图像数据计算得到，在本实施例中，两者相当于已知的量；进而得到从相机中心出发且经过P点的射线上任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为射线上的点与相机中心的距离值；正如前述所提到的，式(2)中的P点指的是从相机中心出发且经过P点的射线上的任意一点，其中自然也包括P点本身。

通过射线与空间三角形求交算法，判断并得出上述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。具体而言，由于三维模型代表的是地面地形，因此前述射线与三维模型中的三角形相交也即意味着与地面相交，进而当目标为前述射线上的一点时，即可获得目标在地面位置的坐标值。

上述射线与空间三角形求交算法可以参考如下过程实现：

假设一个点位于三角形(V0,V1,V2)上，前述V0,V1,V2为三角形的三个顶点的坐标，那么这个点就能够用例如以下的方式来表示：

T(u,v)＝(1-u-v)×V0+u×V1+v×V2

这里的u+v≤1,u≥0,v≥0；

而对于射线，我们一般使用以下的方程来表示它：

R(t)＝O+t×D(R为图像姿态旋转矩阵，O为射线的起始点，D为射线的方向)

所以，既然它们要有交点。我们就行直接使用例如以下的方法来得出：

O+t×D＝(1-u-v)×V0+u×V1+v×V2

上面方程组成三元一次线性方程组，可以求解t,u和v三个参数。如果0<u<1,0<v<1,且u+v≤1，那么求出来的点位于三角形内部，意味着射线与三角形相交。否则两者不相交。

在上述的三元一次线性方程组中，u,v是三角形所在平面上的点以三角形的三个顶点坐标表达的两个参数。u表示点在V0与V1线段上的归一化分量，v表示点在V0与V2线段上的归一化分量。即如果交点位于三角形内部则0<u<1,0<v<1,且u+v≤1。如果不满足上述条件，则交点位于三角形外部。t是射线上的一个点的参数，t表示点距离射线起点的有向距离。t>0表示点在射线的正向上。t<0表示在射线的负向上。

为保证本发明能够对本领域技术人员充分公开，参考图2所示，本发明的又一个实施例是应用在上述实施例中，分析目标是否相同及进行目标定位的目标分析模块的硬件结构，在本实施例中，其包括处理器、存储器与数据接口，通过数据接口接收原始图像数据中每张图像上的目标，并存储在存储器中，存储器还用于存储必要的计算机指令，由处理器读取存储器中每张图像上的目标，执行相应的计算机指令，进而实现上述实施例中的目标分析模块的功能。

在具体的实现中，处理器可以包括一个或多个中央处理器(central processingunit，CPU)，这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

存储器可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

数据接口可使用本领域内常用的任意一类计算机硬件的数据接口，用于使图像数据能被接收并写入智能建模单元内处理器可读的存储介质上。

参考图3所示，基于上述的***，本发明的另一个实施例是一种基于三维建模的目标定位方法，该方法包括如下步骤：

步骤S101、通过人工智能算法识别出原始图像数据中每张图像上的目标。方法应用于应急管理场景中，因此前述目标一般指的是原始图像数据中每张图像上的人员，由其是指受灾人员；并且原始图像数据主要来源于无人机拍摄并压缩处理后的多张图像。

步骤S102、分别分析计算各个目标在地面的位置；

步骤S103、判断每张图像上的是否相同，如相同，则认为当前的两个或多个目标为同一目标。

具体的，分析判断每张图像上的目标在地面的位置是否相同，为比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标，需要分别统计。

步骤S104、将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示。前述去重为将判断为同一目标的两个或多个目标，作为一个目标进行统计。

具体的，上述地面三维模型通过所述原始图像数据所生成。

优选的是，上述目标在地面的位置采用如下步骤得到：

步骤S1041、设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵；

步骤S1042、利用上述得到的射线方向v，构建从相机中心出发且经过P点的射线上的任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为所述射线与相机中心的距离值。正如前述所提到的，式(2)中的P点指的是从相机中心出发且经过P点的射线上的任意一点，其中自然也包括P点本身。

步骤S1043、通过射线与空间三角形求交算法，判断并得出所述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。本步骤中的射线与空间三角形求交算法可参考上述实施例的方法实现。

基于计算机软件类产品的一般形态，本发明的还一个实施例提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行上述实施例中的基于三维建模的目标定位方法。

其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、RAM、ROM、可擦式可编程只读存储器(erasableprogrammable read only memory，EPROM)、寄存器、硬盘、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性地存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specificintegrated circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

更为优选的是，上述已经提到地面三维模型通过原始图像数据所生成，并且目标的地面坐标与地面三维模型处于同一个坐标系中，因此目标定位后刻以三维模型为背景进行显示，两者可直接叠加即可实现灾区人员定位及显示，目标显示更为直观可靠，更利于为应急管理快速辅助决策提供必要的支撑。

在本发明上述的多个实施例中，通过图像的位置和姿态信息以及地表三维模型，可以精确定位灾区人员等目标在地面的位置，有效减少重叠图像上同一目标被统计多次的可能，增加目标统计的准确性。

参考图4所示，上述基于原始图像数据生成地面三维模型可通过如下的方法快速生成三维模型：

步骤S001、获取压缩后的原始图像数据，并通过压缩后的图像数据构建场景图；在构建场景图时，基于图像获取时的空间位置(经纬度)，根据空间近邻原则，选取与每张图像最近的一定数量(例如50张)图像作为其邻近图像，从而快速构建场景图。

步骤S002、使用SIFT(尺度不变特征转换Scale-invariant feature transform)或类似的算法提取每张图像上的特征点，用来完成图像匹配，特征点为每张图像上的特征点按尺度由大到小排列后，排列靠前的部分特征点。可选的，即仅保留尺度最大的一定数量(例如2000-4000个)的特征点，而不是使用全部的特征点来进行特征点匹配，这样可以大大减少匹配时间。

步骤S003、通过空三优化算法确定每张图像拍摄时的位置和姿态信息；空三优化算法为图像处理中常用的算法，其为根据匹配好的特征点，寻找最优的相机位置和姿态信息以及特征点的三维坐标，从而最小化三维点的重投影误差的平方和。

步骤S004、通过立体像对匹配算法由每张图像拍摄时的位置和姿态信息，生成稠密点云；结合图4所示，稠密点云生成是通过预设的图像降采样系数对每张图像进行降采样，且指定多个点云采样密度等级，且仅在高密度等级时才对图像进行全像素深度图生成；前述的图像降采样系数一般默认为2。前述立体像对匹配算法也是图像处理中常用的算法，其可根据每张图像与相邻图像的位置关系，确定每个像素与相邻图像上的同名像素，然后使用前方交会算法确定相应像素的位置，进而得到稠密点云。

可选的是，上述点云采样密度等级包括高密度等级、中密度等级与低密度等级；除了高密度等级时才对图像进行全像素深度图生成外，其他均采用间隔像素进行深度图生成，即在中密度等级时对图像水平方向和垂直方向上，每隔一个像素进行深度图生成；在低密度等级时对图像水平方向和垂直方向上，每隔两个像素进行深度图生成。通过指定降采样系数和点云采样密度，可以大大减少稠密点云生成数量和生成时间，也为后续的三维模型生成节约了时间。

步骤S005、根据已生成的稠密点云，生成三角网模型；然后将所述三角网模型与图像数据进行纹理映射，生成接近于所述建模区域实时图像的三维模型。其中三角网模型是通过Delaunay四面体剖分算法和图割方法基于已生成的稠密点云生成的。

在本步骤，可选的是，首先基于生成的稠密点云，生成Delaunay四面体空间剖分，构建全局优化图，图的节点由空间剖分中的四面体构建成，图的边为相邻四面体的三角面，然后确定每个点到其所见相机的连线相交的Delaunay四面体剖分中的三角面，累加权重值1到全局优化图中相应的边，得到可见线约束的全局优化图，最后使用最大流最小割算法对全局优化图进行分割，确定每个四面体与模型表面的内外关系，提取位于表面内外的相邻的四面体的共享三角面构成最终的三角网模型。然后选择与每个三角面最近的可见相机作为其关联相机，然后把同一关联相机的空间上相连通的三角面分成同一组，获取其在关联相机上拍摄的图像块，最后把所有的图像块按照打包算法组合成一张纹理图，实现三角网络的纹理映射，得到上述与建模区域实时图像相同或接近的三维模型。

除上述以外还需要说明的是，在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (10)

1.一种基于三维建模的目标定位***，其特征在于所述的***包括：

图像识别模块，用于通过人工智能算法识别出原始图像数据中每张图像上的目标；

目标分析模块，用于分别分析判断每张图像上的各个目标，在地面的位置是否相同，如相同，则认为当前的两个或多个目标为同一目标；

所述分析判断每张图像上的目标在地面的位置是否相同，为比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标；

所述目标分析模块还用于将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示；

所述地面三维模型通过所述原始图像数据所生成；所述去重为将判断为同一目标的两个或多个目标，作为一个目标进行统计。

2.根据权利要求1所述的基于三维建模的目标定位***，其特征在于所述目标在地面的位置为：设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵；进而得到从相机中心出发且经过P点的射线上任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为所述射线上的点与相机中心的距离值；

通过射线与空间三角形求交算法，判断并得出所述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。

3.根据权利要求1所述的基于三维建模的目标定位***，其特征在于：所述目标为每张图像上的人员。

4.根据权利要求1所述的基于三维建模的目标定位***，其特征在于：所述原始图像数据为无人机拍摄并压缩处理后的多张图像。

5.根据权利要求1所述的基于三维建模的目标定位***，其特征在于：所述***用于应急管理中进行灾区人员定位，为救援决策提供支撑。

6.一种基于三维建模的目标定位方法，其特征在于所述的方法包括如下步骤：

通过人工智能算法识别出原始图像数据中每张图像上的目标；

分别分析判断每张图像上的各个目标在地面的位置是否相同，如相同，则认为当前的两个或多个目标为同一目标；所述分析判断每张图像上的目标，在地面的位置是否相同，为比较目标在地面的位置之间的距离是否超过指定阈值，如未超过，则认为目标在地面的位置相同，反之则认为当前的两个或多个目标非同一目标；

将每张图像上的目标去重后重新统计，然后将重新统计后的目标定位在地面三维模型上显示；所述地面三维模型通过所述原始图像数据所生成；所述去重为将判断为同一目标的两个或多个目标，作为一个目标进行统计。

7.根据权利要求6所述的基于三维建模的目标定位方法，其特征在于：所述目标在地面的位置为设每张图像上的目标为P点，通过下式得到经过相机中心点与P点的射线方向v：

v＝R^'K^(-1)P (1)

式(1)中，R为图像姿态旋转矩阵，K为相机内参数矩阵；进而得到从相机中心出发且经过P点的射线上任意一点的参数方程：

P＝c+μv (2)

式(2)中，c为图像位置的向量，μ为所述射线上的点与相机中心的距离值；

通过射线与空间三角形求交算法，判断并得出所述射线与地面三维模型的三角形相交的点I，从而得到当前目标在地面位置的坐标值。

8.根据权利要求6所述的基于三维建模的目标定位方法，其特征在于：所述目标为每张图像上的人员；所述原始图像数据为无人机拍摄并压缩处理后的多张图像。

9.根据权利要求6所述的基于三维建模的目标定位方法，其特征在于：所述***用于应急管理中进行灾区人员定位，为救援决策提供支撑。

10.一种计算机可读的存储介质，其特征在于：所述计算机可读的存储介质中存储有指令，当计算机执行所述指令时，使得计算机执行权利要求6至9任意一项所述的方法。

Images