CN106296816B - 用于三维模型重建的无人机路径确定方法及装置 - Google Patents

Abstract

本发明公开了用于三维模型重建的无人机路径确定方法及装置，该方法包括如下步骤：构造构成被拍摄建筑的轮廓的三维点模型；确定无人机围绕所述建筑的飞行路径的拍摄点，使得每个拍摄点所述无人机上的相机能够拍摄覆盖所述三维点模型的相应点集，并且相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值；控制所述无人机按照所述飞行路径飞行，并在相应的拍摄点控制所述相机对所述建筑进行拍摄。仅需要获取三维重建目标建筑的高度值及二维正射影像图，便可计算出满足三维重建要求的最少拍摄点集，从而为三维重建数据采集过程提供指导，确保采集的影像照片满足三维重建要求，同时避免采集冗余的影像信息，提高三维重建过程的效率。

Description

用于三维模型重建的无人机路径确定方法及装置

【技术领域】

本发明涉及用于三维模型重建的无人机路径确定方法及装置。

【背景技术】

空间信息作为重要的基础数据，其采集与应用贯穿了应急管理的整个过程。现有的空间信息多以二维地图的形式表达，许多宝贵的地形和地物细节如纹理、高度、形状信息均难以呈现。在应急管理过程中，三维实景地图能够提供更直观、更详细的空间信息，更好的为应急决策提供支撑。

为了获取建筑的高精度三维模型，需要对建筑进行逐层环绕飞行，完全获取建筑的表面纹理信息。现有的纹理图像采集过程均依靠人工控制，凭经验确定无人机飞行轨迹和相机拍摄间隔。为保证照片的重叠率满足三维重建的需求，往往通过设置密集的飞行轨迹和较小的拍摄间隔，拍摄大量冗余的影像照片，导致三维重建软件要花费大量的时间去匹配和处理冗余信息，降低了三维重建效率。

【发明内容】

为了克服现有技术的不足，本发明提出一种用于三维模型重建的无人机路径确定方法及装置，能够快速、准确计算出满足三维重建要求的最小拍摄位置点集。

用于三维模型重建的无人机路径确定方法，包括如下步骤：

S1、构造构成被拍摄建筑的轮廓的三维点模型；

S2、确定无人机围绕所述建筑的飞行路径的拍摄点，使得每个拍摄点所述无人机上的相机能够拍摄覆盖所述三维点模型的相应点集，并且相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值；

S3、控制所述无人机飞到所述飞行路径上的拍摄点，并控制所述相机对所述建筑进行拍摄。

在一个实施例中，

在确定所述飞行路径中的拍摄所述建筑的立面的拍摄点的方法中，执行步骤S2。

在一个实施例中，

在步骤S2中，

对于所述无人机的航向方向上的相邻的拍摄点，对应的重叠率为航向方向上的重叠率和航向方向上的重叠率阈值；

对于所述建筑的垂直方向上的相邻的拍摄点，对应的重叠率为垂直方向上的重叠率和垂直方向上的重叠率阈值。

在一个实施例中，

在步骤S2中，先确定初始的飞行路径，然后计算相邻的拍摄点所述相机拍摄覆盖的点集的重叠率，直至相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值；

其中，初始的飞行路径的参数通过如下算法确定：

H3_Initial＝2×D1_Initial×tan(FOV_V)×(1-Overlap_Side)

其中，D1_Initial、H3_Initial、H1_Initial分别是初始飞行路径中无人机与所述建筑的水平距离、上下相邻的飞行路径段之间的距离、飞行路径的最低高度，Speed_UAV是无人机的飞行速度，Intervel_Photo是相机的拍照间隔，FOV_H和FOV_V分别是相机的水平视角的1/2和垂直视角的1/2，Overlap_Heading是无人机航向上的重叠率阈值，Overlap_Side是建筑的垂直方向的重叠率阈值，Height_Building是所述建筑的高度。

在一个实施例中，

所述无人机路径包括拍摄所述建筑的立面的立面飞行路径和拍摄所述建筑的顶面的顶面飞行路径，通过如下算法确定所述顶面飞行路径：

D2＝2×H4×tan(FOV_H)×(1-Overlap_Side)

其中，H4表示所述顶面飞行路径至所述建筑的顶面的垂直距离，D2表示所述顶面飞行路径中相邻的路径段之间的距离。

在一个实施例中，

在所述步骤S2中，通过如下步骤确定所述相应点集：

S21、遍历所述三维点模型中的所有点集，计算并选择落入所述相机的拍摄锥体内的初始点集；

S22、在所述初始点集中排除被遮挡点得到所述相应点集，其中，所述被遮挡点与所述相机的连线，与落入所述相机的拍摄锥体内的建筑的表面相交。

在一个实施例中，

在步骤S22中，

首先排除如下被遮挡点：被遮挡点与所述相机的连线，与所述建筑的顶面相交；

然后排除如下被遮挡点：被遮挡点与所述相机的连线，与落入所述相机的拍摄锥体内的建筑的立面相交。

本发明还提供了用于三维模型重建的无人机路径确定装置，包括如下单元：

第一处理单元，用于构造构成被拍摄建筑的轮廓的三维点模型；

第二处理单元，用于确定无人机围绕所述建筑的飞行路径的拍摄点，使得每个拍摄点所述无人机上的相机能够拍摄覆盖所述三维点模型的相应点集，并且相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值；

第三处理单元，用于控制所述无人机飞到所述飞行路径上的拍摄点，并控制所述相机对所述建筑进行拍摄。

在一个实施例中，

在确定所述飞行路径中的拍摄所述建筑的立面的拍摄点的方法中，所述第二处理单元执行工作。

在一个实施例中，

所述第二处理单元还用于

对于所述无人机的航向方向上的相邻的拍摄点，对应的重叠率为航向方向上的重叠率和航向方向上的重叠率阈值；

对于所述建筑的垂直方向上的相邻的拍摄点，对应的重叠率为垂直方向上的重叠率和垂直方向上的重叠率阈值。

本发明的有益效果是：

仅需要获取三维重建目标建筑的高度值及二维正射影像图，便可计算出满足三维重建要求的最少拍摄点集，从而为三维重建数据采集过程提供指导，确保采集的影像照片满足三维重建要求，同时避免采集冗余的影像信息，提高三维重建过程的效率。

【附图说明】

图1是本发明一种实施例的三维模型重建的无人机路径确定方法的流程示意图

图2是本发明一种实施例的建筑轮廓的三维点模型

图3是本发明一种实施例的建筑及无人机的飞行路径示意图

图4是本发明一种实施例的建筑轮廓的三维点模型及无人机的相机的拍摄锥体覆盖示意图

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示流程，一种实施例的三维模型重建的无人机路径确定方法，包括如下步骤：

S1、构造构成所要拍摄建筑的轮廓的三维点模型

大部分建筑的立面都是垂直于或者近似垂直于地面的，因此根据建筑的正射影像能够准确勾勒出建筑的横剖面轮廓。用户可以方便地从网络地图(比如百度卫星地图，Google卫星地图)上获得建筑的正射影像。设定本地NED坐标系为X轴朝北，Y轴朝东，Z轴垂直地平面朝下，原点在地平面上。从正射影像上还能分析出建筑在Y轴上的长度、在X轴上的宽度以及周长信息。建筑的高度可以通过实地测量或者目测估计，几米的误差不会影响无人机按照本发明规划的飞行路径进行三维重建的结果。

勾勒建筑的横剖面轮廓，得到一个封闭的曲线，用一个用户设定的分辨率，比如0.5m，将该曲线离散化，使得每相邻两个点之间的长度均为0.5m，由此得到建筑外轮廓在XY平面上的离散点序列。用同样的分辨率将建筑的高度离散化，得到Z方向的离散点序列。根据两个离散点序列，可以构造建筑的立面三维外表面点模型。

建筑的顶面可以近似为由横剖面轮廓围起来的二维多边形平面，在X、Y方向上以同样的分辨率将该多边形离散为网格。结合立面与顶面的三维点模型，得到建筑外表面(轮廓)的三维点模型。图2以网格的形式示例了一个现实的建筑的外表面三维点模型，每个网格节点都是用上述方法得到的。当然这个模型是非常粗略的，只能体现建筑的轮廓，不能体现建筑表面的细节。

S2、确定飞行路径关键参数的初始值

如背景技术里介绍的，要完全获取建筑表面纹理，需要对建筑逐层环绕飞行，飞行路径示意图如图3所示，可以分为立面环绕飞行路径、顶面蛇形扫描飞行路径，以及立面到顶面的过渡飞行路径三部分。

对于立面飞行路径，只要确定了立面拍摄点与建筑立面的距离、同一层相邻两个拍摄点的距离、上下两层拍摄点的间距(即上下相邻的飞行路径段之间的距离)、每个拍摄点的姿态角(俯仰角、横滚角、偏航角)、最低拍摄层的高度，以及最高拍摄层的高度，就能计算出无人机与相机在立面各个拍摄点的位置和姿态，从而构造出立面的飞行路径。因为建筑的立面不是平面，为了确保拍摄的照片满足三维重建重叠率的要求，这些参数值要通过反复迭代计算来确定。初始值的计算方法如下：

S21、计算立面环绕飞行时飞行路径与建筑的水平距离D1的初始值D1_Initial。

相对于建筑而来，无人机质心与相机焦点的位置可以认为是重叠的，因此拍摄点与建筑的水平距离也就是无人机飞行路径与建筑的水平距离D1。

可以假设立面为平面，根据无人机的飞行速度、相机的拍照间隔，以及三维重建对航向重叠率的要求来计算D1_Initial：

其中Speed_UAV是无人机的飞行速度，Intervel_Photo是相机的拍照间隔；FOV_H是相机的水平视角的1/2，Overlap_Heading是航向重叠率阈值(三维重建航向重叠率要求)。

D1_Initial的确定可以分为两种情况。

情况1：受到现场环境限制，比如有树木、其他地物影响，无人机与建筑的距离不能太近，只能在某一个范围外取值，这种情况下要先确定D1_Initial，然后再根据关系式调整无人机的飞行速度或者相机的拍照间隔。

情况2：受到无人机参数与相机参数的限制，无人机飞行速度与相机拍照间隔不能随意调整，这种情况下要先确定无人机的飞行速度与相机拍照间隔，再根据关系式计算D1_Initial。

由于相机的水平视角以及航向重叠率阈值都是确定的，而相机的拍照间隔也不是连续可调的，因此一般这三个参数会先定下来，然后调整无人机与建筑的距离以及无人机的飞行速度，使得无人机与建筑的距离满足环境要求，同时无人机的飞行速度也在一个合理范围内。

S22、确定初始的同一层相邻两个拍摄点的距离，也即立面飞行路径的航向间距。

确定了无人机的飞行速度与相机拍照间隔后，立面轨迹的航向间隔等于无人机飞行速度乘以相机拍照间隔。

S23、确定上下两层拍摄点的间距，也即立面飞行路径的初始旁向间距H3_Initial。

假设立面为平面，确定了飞行路径与建筑的水平距离后，计算H3_Initial：

H3_Initial＝2×D1_Initial×tan(FOV_V)×(1-Overlap_Side)

其中，FOV_V是相机的垂直视角的1/2，Overlap_Side是建筑的垂直方向的重叠率阈值。

S24、确定初始的立面最高拍摄层的高度H2。

立面飞行路径的最高高度要确保同时拍摄到建筑立面与顶面，取建筑高度Height_Building加上无人机与建筑的水平距离D1之和，当采用45度角倾斜拍摄时，理论上照片的50％拍摄到建筑立面，50％拍摄到建筑顶面。

S25、确定立面最低拍摄层的初始高度H1_Initial

立面飞行路径的最低高度要确保拍摄的照片能够完全覆盖建筑底部

S26、确定立面飞行路径中每个拍摄点的姿态角。

每个拍摄点的姿态角由两部分决定：无人机的姿态角和相机的姿态角。

理想情况下，无人机偏航角应指向同一高度的建筑二维质心。无人机的俯仰角和横滚角受飞行过程影响，理想情况下，在每个拍摄点的俯仰角与横滚角均为0。

相机装载在云台上，只需要调整相对于无人机平面的向下俯仰角，当立面轨迹高度低于建筑时，采用水平摄影，俯仰角为0度，当立面轨迹高度高于建筑时，采用倾斜摄影，俯仰角一般为42-45度。

顶面飞行路径如图3右侧图所示，是同一平面的扫描轨迹，类似的，只要确定了顶面拍摄点与建筑顶面的垂直距离、飞行方向上相邻两个拍摄点的距离，两列拍摄点的间距(也即顶面飞行路径中相邻的路径段之间的距离)、每个拍摄点的姿态角(俯仰角、横滚角、偏航角)，就能计算出无人机与相机在顶面各个拍摄点的位置和姿态，从而构造出顶面的飞行路径。因为在构造建筑三维点模型时，建筑的顶面已近似为平面，通过理论计算就能确保拍摄的照片满足三维重建重叠率的要求，计算方法如下：

S27、确定顶面扫描飞行时，飞行路径与建筑顶面的垂直距离H4。

类似的，顶面轨迹与建筑顶面的垂直距离根据无人机的飞行速度、相机的拍照间隔，以及航向重叠率阈值的要求来计算，与立面的距离D1不同的是，顶面路径的航向对应着相机的垂直视角，关系式为：

S28、确定顶面飞行路径的飞行方向上相邻拍摄点的距离也即顶面飞行路径的航向间隔。

类似的，确定了无人机的飞行速度与相机拍照间隔后，顶面飞行路径的航向间隔等于无人机飞行速度乘以相机拍照间隔。

S29、确定顶面飞行路径两列拍摄点的间距，也即顶面飞行路径的旁向间隔D2。

类似的，确定了顶面飞行路径与建筑顶面的垂直距离后，顶面的旁向对应了相机的水平视角以及三维重建对旁向重叠率的要求，计算公式为：

D2＝2×H4×tan(FOV_H)×(1-Overlap_Side)

S210、确定顶面飞行路径中每个拍摄点的姿态角。

顶面飞行路径中每个拍摄点的姿态角由两部分决定：一是无人机的姿态角，二是相机的姿态角。

无人机偏航角应一直指向飞行方向。无人机的俯仰角和横滚角受飞行过程影响，理想情况下，在每个拍摄点的俯仰角与横滚角均为0。

相机装载在云台上，只需要调整相对于无人机平面的向下俯仰角，顶面飞行路径中，俯仰角始终为90度，拍摄顶面的正射影像。

S211、确定过渡飞行路径。

在通常情况下，过渡飞行路径中拍摄的照片不参与三维重建，因而也不会影响三维重建，因此在过渡飞行路径中不需要调整无人机与相机的参数。

S3、计算最小拍摄点集。

根据步骤S2中确定的关键参数初始值，构造飞行路径，计算必须的拍摄位置点集，判断在这些拍摄位置点拍摄的照片是否均满足三维重建的航向与旁向重叠率要求。

S31、计算立面飞行路径中相邻的拍摄点所述相机拍摄覆盖的点集的重叠率。

相机的拍摄区域可以视为一个金字塔形的锥体，锥体的顶点可以近似为无人机质心，锥体的张角由相机的水平视角和垂直视角决定，在机体坐标系中很容易获得该锥体的解析表达式，再利用机体坐标系与本地NED坐标系之间的旋转与平移关系，可以获得在本地NED坐标系下相机的拍摄区域表达式。利用该锥体与建筑三维点模型的相对关系，可以算出建筑三维点模型中，有哪些点能够被相机拍到。

将某一拍摄点N拍摄的建筑表面点标记为1，没拍到的表面点标记为0，则我们能得到该位置拍摄到的建筑点集，记为I_N，I_N+1表示拍摄点N的下一个拍摄点N+1拍摄到的建筑点集，计算该拍摄点拍到的建筑表面点与相邻下一拍摄点拍到的建筑表面点之间的重叠率。对于某一个拍摄点而言，需要计算航向方向上相邻的拍摄点覆盖的建筑点之间的重叠率，还需要计算竖直方向上相邻的拍摄点覆盖的建筑点之间的重叠率。

重叠率的算法如下：

如果采用相机能够拍摄到的建筑的面积来计算重叠率，如图2所示，由于建筑的立面通常是不规则的曲面，相机能够拍摄到的建筑的面积计算非常困难，因此，本实施例采用利用相机拍摄覆盖的点集来计算重叠率的方案更加简单。

在一些情况下，相机拍摄覆盖的三维点模型中的点可能是被实际的建筑遮挡的，也就是说这些点是无法出现在相机拍摄出来的照片中的，因此，需要对这些被遮挡点进行排除。

如图4所示，经过步骤S1构造的三维点模型包含了网格化的建筑表面，网格的每一个节点坐标已知。不难理解，建筑立面可以看作由N个垂直于XoY平面的小矩形条组成，每个矩形条的高度等于建筑高度，每个矩形条的宽度等于一个网格的宽度。以O点为原点的四条射线范围内是相机的拍摄锥体。

S311、遍历建筑点集，判断是否落在拍摄锥体内。有多种算法实现该判断，比如可以通过判断建筑上的点(假设为E点)与O点的连线OE矢量与平面OAB、OBC、OCD、OAD的法向量之间的夹角关系，来判断E点是否在锥体内。

S312、对于落在锥体内的点集，判断遮挡关系，排除被遮挡点。由于建筑表面可以看成由N个垂直于XoY平面的小矩形条以及平行于XoY平面的顶面，共N+1个面构成的，不难理解，如果某个点被遮挡，则该点与O点的连线将穿过N+1个面中的某一个面。

S3121、先判断落在锥体内的点集中的点(以下统称F点)是否被建筑顶面遮挡，由于顶面是个平行于XoY的多边形，已知该多边形的边界点，所以只需要判断F点与O点之间的连线与顶面多边形是否有交点即可。如有交点，说明F点被顶面遮挡，不能被相机拍到，将该F点排除；如没有交点，说明没有被顶面遮挡。

S3122、继续判断经过步骤S3121处理剩下的点集中的点是否被建筑立面遮挡。不难理解，只有落入拍摄锥体内的立面部分才有可能遮挡住F点。

类似的，将落入锥体内的建筑立面部分看成多个垂直于XoY平面的矩形区域，因为知道图4中建筑每个节点的坐标，很容易列出这些矩形区域的方程，作一条F点到O点之间的连线，判断这条直线与这些矩形的关系，如果相交，则表示F点被遮挡，否则F点则未被遮挡。

在一些实施例中，可以通过如下方法减少需要遍历的点数：当发现O点高于建筑时，则位于拍摄锥体内的建筑顶面区域的点不需要再判断。

S32、不断调整参数，直至立面飞行路径上的拍摄点满足重叠率要求。

对于顶面飞行路径，由于拍摄的是正射影像，通过正射影像理论计算便能获得满足重叠率要求的拍摄点位置。

对于立面轨迹，如果在步骤S31中，如果某两个相邻拍摄点覆盖的点集的重叠率不满足三维重建要求的，则需要增大飞行路径与建筑的水平距离，或者改变无人机的飞行速度，或者相机的拍照间隔。由于改变飞行速度或相机拍照间隔会影响顶面飞行路径的参数，因此优先增大飞行路径与建筑的水平距离D1，并计算与D1相关的其他关键参数。

重构飞行路径，获取新的拍摄点集，重复步骤S3，直至所有拍摄点覆盖的点集的重叠率均满足三维重建要求。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (3)

1.用于三维模型重建的无人机路径确定方法，其特征是，包括如下步骤：

S1、构造构成被拍摄建筑的轮廓的三维点模型；

S2、确定无人机围绕所述建筑的飞行路径的拍摄点，使得每个拍摄点所述无人机上的相机能够拍摄覆盖所述三维点模型的相应点集，并且相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值；

S3、控制所述无人机飞到所述飞行路径上的拍摄点，并控制所述相机对所述建筑进行拍摄；

在步骤S2中，所述无人机路径包括拍摄所述建筑的立面的立面飞行路径和拍摄所述建筑的顶面的顶面飞行路径，先确定初始的立面、顶面飞行路径，然后计算相邻的拍摄点所述相机拍摄覆盖的点集的重叠率，直至相邻的拍摄点所述相机拍摄覆盖的点集的重叠率大于重叠率阈值，确定满足三维重建的重叠率要求的立面飞行路径和顶面飞行路径的参数，由此确定无人机飞行路径；

其中，初始的立面飞行路径的参数通过如下算法确定：

H3_Initial＝2×D1_Initial×tan(FOV_V)×(1-Overlap_Side)

其中，D1_Initial、H3_Initial、H1_Initial分别是初始飞行路径中无人机与所述建筑的水平距离、上下相邻的飞行路径段之间的距离、飞行路径的最低高度，Speed_UAV是无人机的飞行速度，Intervel_Photo是相机的拍照间隔，FOV_H和FOV_V分别是相机水平视角的1/2和垂直视角的1/2，Overlap_Heading是无人机航向上的重叠率阈值，Overlap_Side是建筑的垂直方向的重叠率阈值，Height_Building是所述建筑的高度；

确定初始的立面最高拍摄层的高度H2，初始的最高拍摄层的高度H2确保同时拍摄到建筑立面与顶面；

其中，通过如下算法确定所述顶面飞行路径：

D2＝2×H4×tan(FOV_H)×(1-Overlap_Side)

其中，H4表示所述顶面飞行路径至所述建筑的顶面的垂直距离，D2表示所述顶面飞行路径中相邻的路径段之间的距离。

2.如权利要求1所述的用于三维模型重建的无人机路径确定方法，其特征是，在所述步骤S2中，通过如下步骤确定所述相应点集：

S21、遍历所述三维点模型中的所有点集，计算并选择落入所述相机的拍摄锥体内的初始点集；

S22、在所述初始点集中排除被遮挡点得到所述相应点集，其中，所述被遮挡点与所述相机的连线，与落入所述相机的拍摄锥体内的建筑的表面相交。

3.如权利要求2所述的用于三维模型重建的无人机路径确定方法，其特征是，在步骤S22中，

首先排除如下被遮挡点：被遮挡点与所述相机的连线，与所述建筑的顶面相交；

然后排除如下被遮挡点：被遮挡点与所述相机的连线，与落入所述相机的拍摄锥体内的建筑的立面相交。