CN115713548A - 一种多期实景三维模型自动配准方法 - Google Patents

一种多期实景三维模型自动配准方法 Download PDF

Info

Publication number
CN115713548A
CN115713548A CN202211096255.3A CN202211096255A CN115713548A CN 115713548 A CN115713548 A CN 115713548A CN 202211096255 A CN202211096255 A CN 202211096255A CN 115713548 A CN115713548 A CN 115713548A
Authority
CN
China
Prior art keywords
dimensional
model
action
live
sift feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211096255.3A
Other languages
English (en)
Inventor
尚海兴
李祖锋
李桂林
贺春林
张钊
周伟
薛凯凯
柯生学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Northwest Engineering Corp Ltd
Original Assignee
PowerChina Northwest Engineering Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Northwest Engineering Corp Ltd filed Critical PowerChina Northwest Engineering Corp Ltd
Priority to CN202211096255.3A priority Critical patent/CN115713548A/zh
Publication of CN115713548A publication Critical patent/CN115713548A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开一种多期实景三维模型自动配准方法,包括以下步骤:提取实景三维模型最底层模型数据的顶点、纹理、顶点对应纹理坐标和三角网索引数据;提取纹理信息的SIFT特征;依据三角网平面约束计算SIFT特征空间位置;空间约束的SIFT特征相似性判定;基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数;根据三维相似变换参数,更新配准三维实景模型所有顶点的空间位置;输出顶点更新后的待配准实景三维模型。本发明可自动、快速得到多期实景三维模型的变换参数,使待配准三维实景模型空间位置统一至基准三维实景模型空间坐标系中,可以基于多期实景三维模型进行高几何精度的变化检测分析。

Description

一种多期实景三维模型自动配准方法
技术领域
本发明属于无人机摄影测量领域,特别涉及一种无人机摄影测量的多期实景三维模型自动配准方法。
背景技术
无人机低空摄影测量具有现势性强、分辨率高、采集方式灵活、传感器多样化等优点。基于无人机获取的高分辨率影像生成测区数字正射影像、数字表面模型、三维密集点云、三维实景模型等数字产品被广泛的应用在基础测绘、应急救灾、地灾监测、文物保护等领域。几何定位精度是决定数字产品应用场景的核心指标之一,而获取具有相同空间基准和统一几何定位精度的多期三维实景模型是实现大型工程勘测智能化管理的基础数据。然而,现有的无人机摄影测量数据处理技术流程高度依靠分布均匀的地面控制点,对于基于多期实景三维模型进行变化检测的应用而言存在以下两方面问题:
1.针对大型工程建设现场而言,每次采集无人机数据都需要布设控制点,灵活性太低、时间成本和经济成本较高;
2.多期实景三维模型的空间基准不统一,难以直接利用地物空间位置反映工程现场的变化情况。
发明内容
针对现有技术所存在的上述缺陷,本发明公开了一种多期实景三维模型配准方法,能够自动、高精度的获取多期实景三维模型之间的三维相似变换参数,使待配准实景三维模型空间位置统一至基准实景三维模型坐标***之中,可以省略掉每周期实景三维模型获取时布设地面控制点环节,极大提升了基于无人机三维实景模型进行变换监测的灵活性和经济性。
本发明公开一种多期实景三维模型配准方法,包括以下步骤:
S1,提取实景三维模型最底层模型数据的顶点、纹理、顶点对应纹理坐标和三角网索引数据;
S2,提取纹理信息的SIFT特征;
S3,依据三角网平面约束计算SIFT特征空间位置;
S4,空间约束的SIFT特征相似性判定;
S5,基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数;
S6,根据三维相似变换参数,更新待配准三维实景模型所有顶点的空间位置;
S7,输出顶点更新后的待配准实景三维模型。
优选的,所述S3中,依据三角网平面约束计算SIFT特征空间位置的具体步骤包括:
a1,将提取的SIFT特征点坐标转换为纹理坐标;
a2,搜索当前纹理坐标所包含的三角网;
a3,基于三角网的顶点空间坐标、顶点纹理坐标内插当前SIFT特征点的空间坐标。
优选的,所述基于三角网的顶点空间坐标、顶点纹理坐标内插当前SIFT特征点的空间坐标的方法为内插法。
优选的,分两步内插当前SIFT特征点的空间坐标。
优选的,分两步内插当前SIFT特征点的空间坐标,依次为:内插SIFT特征点平面坐标、内插SIFT特征点高程坐标。
优选的,所述S4中,空间约束的SIFT特征相似性判定的具体方法包括:
b1,确定当前SIFT特征点所处的空间包围盒;
b2,搜索当前包围盒内基准影像的SIFT特征向量,构成待匹配特征向量集合;
b3,计算当前SIFT特征点特征向量与待匹配特征向量集合的相似性,确定初始同名点对应关系。
优选的,所述确定当前SIFT特征点所处的空间包围盒,依据多期实景三维模型几何定位精度确定待配准的空间包围盒。
优选的,所述S5中,基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数的具体步骤包括:
c1,初始匹配像对中随机提取3对同名点;
c2,基于3对同名点计算三维相似变换参数;
c3,基于三维相似变换参数评估内点数量,并记录当前内点数量;
c4,重复c1至c3至循环次数上限;
c5,将内点数量最多的三维变换参数作为最优三维变换参数。
优选的,所述循环次数上限设置为100次。
优选的,所述S6中,根据三维相似变换参数,更新待配准三维实景模型所有顶点的空间位置的具体步骤包括:
d1,提取待配准所有三维模型顶点坐标;
d2,依据c5获取的三维变换参数对d1提取的顶点进行坐标转换。
本发明的有益效果在于:1.本发明自动提取实景三维模型的SIFT特征点,并通过剔除粗差后的同名点解算多期实景三维模型的三维相似变换模型参数,统一了多期实景三维模型的空间基准,提高了多期实景三维模型的相对定位几何精度;2.本发明将提取的SIFT特征点坐标映射至纹理坐标空间,并基于三角网顶点坐标与纹理坐标,解算SIFT特征点对应的空间点坐标,解决SIFT特征点坐标的空间定位问题;3.本发明可自动、快速的得到待配准实景三维模型相对基准实景三维模型的变换参数,可用于多期无人机实景三维模型的高精度几何配准。
附图说明
图1为本发明的流程图;
图2为分辨率最高的三维实景模型组成示意图;
图3为本发明的实景三维模型纹理贴图SIFT特征提取结果及三角网顶点纹理坐标示意图;
图4为本发明计算的SIFT特征空间位置示意图;
图5为本发明匹配得到的同名点残差分布图;
图6为基于本发明完成多期实景三维模型配准后的同名点残差分布图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚,下面将结合本发明的实施例以及附图,对本发明的技术方案进行清楚完整的描述。
SIFT,即尺度不变特征变换(Scale-invariant feature transform,SIFT),是用于图像处理领域的一种描述。
本发明公开一种多期实景三维模型配准方法,包括以下步骤:
S1,提取实景三维模型最底层模型数据的顶点、纹理、顶点对应纹理坐标和三角网索引数据;
获取一期实景三维模型数据,依次获取每个分块数据的最底层,即分辨率最高的模型数据,提取并保存模型顶点、纹理贴图、顶点对应的纹理贴图坐标和连接顶点的三角网索引数据。
S2,提取纹理信息的SIFT特征;
利用GPU并行实现的SIFT算法提取所有贴图纹理影像的128维SIFT特征向量,并将提取的SIFT特征向量进行保存。
S3,依据三角网平面约束计算SIFT特征空间位置;
具体步骤包括:
a1,将提取的SIFT特征点坐标转换为纹理坐标;
SIFT特征点的坐标系原点在纹理影像左上角,其中x轴坐标水平向右,y轴坐标垂直向下,单位为像元。纹理坐标的坐标系原点在纹理影像左下角,其中tx轴坐标系水平向右,ty轴坐标系垂直向上,单位为1。当获取SIFT特征点后,将其像点坐标映射为纹理坐标,映射方法如公式(1)所示:
Figure BDA0003834728080000051
公式(1)中,wid为纹理影像宽,hei为纹理影像高。
a2,搜索当前纹理坐标所包含的三角网;
实景三维模型由三角网构成,三角网顶点包含世界坐标系空间坐标,及对应的纹理贴图中纹理坐标。根据SIFT特征点的纹理坐标依次搜索当前纹理坐标包含的三角网,并获取三角网的顶点空间坐标和纹理坐标。
a3,基于三角网的顶点空间坐标、顶点纹理坐标内插当前SIFT特征点的空间坐标。
内插当前SIFT特征点空间坐标分两步:内插SIFT特征点平面坐标、内插SIFT特征点高程坐标。
首先,将三角网纹理坐标与三角网空间坐标平面位置定义为仿射变换,如等式(2)所示:
Figure BDA0003834728080000052
公式(2)中,a,b,c,d,e,f为三角网纹理坐标至三角网空间坐标平面位置的仿射变换模型参数,(Xw,Yw)为当前SIFT特征点对应的世界坐标系平面坐标。
其次,将三角网三个顶点的世界坐标系定义为共面条件,则三角网三个顶点的世界坐标系可表示为公式(3):
Figure BDA0003834728080000061
公式(3)中,Zw为当前SIFT特征点对应的空间点高程坐标,(Xi,Yi,Zi)i=1,2,3为三角网三个顶点对应的世界坐标,则当前SIFT特征点的高程Zw可由公式(4)计算得到:
Figure BDA0003834728080000062
公式(4)中,Y21=Y2-Y1,其它变量依次类推。
S4,空间约束的SIFT特征相似性判定;
具体方法包括:
b1,确定当前SIFT特征点所处的空间包围盒;
将基准实景三维模型按照固定间隔进行划分,使单个格网内包含的特征点数量不超过阈值(阈值取值2000-5000个)。单个格网即基准实景三维模型的搜索包围盒,将当前包围盒内所有SIFT特征点作为一个搜索单元。
b2,搜索当前包围盒内基准影像的SIFT特征向量,构成待匹配特征向量集合;
以基准实景三维模型搜索包围盒为中心,向四周扩大固定距离(扩大距离设置依据为基准三维模型与待配准实景三维模型的相对定位误差,一般取值20-50米),扩大后的包围盒即待配准实景三维模型的搜索包围盒,将该包围盒内包含的SIFT特征点作为待匹配单元。
b3,计算当前SIFT特征点特征向量与待匹配特征向量集合的相似性,确定初始同名点对应关系。
依据b1确定的基准实景三维模型搜索单元内SIFT特征点,与b2确定的待配准实景三维模型搜索单元SIFT特征点进行相似性判定,判定依据为算法SIFT的相似性阈值(通常取值0.7-0.9,推荐0.8)及最邻近像点与次邻近像点的距离比率阈值(通常取值0.6-0.8,推荐0.7)。依次完成基准实景三维模型搜索包围盒与待配准实景三维模型搜索包围盒相似性判定,获取所有基准实景三维模型与待配准实景三维模型的初始同名点列表。
S5,基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数;
具体步骤包括:
c1,初始匹配像对中随机提取3对同名点;
从b3中获取的初始同名点列表中,随机提取3对同名点。
c2,基于3对同名点计算三维相似变换参数;
将待配准实景三维模型与基准实景三维模型之间的坐标系转换定义为三维相似变换,其转换关系如公式(5)所示:
Figure BDA0003834728080000071
其中,(Xg,Yg,Zg)为待配准实景三维模型顶点的空间坐标,(Xb,Yb,Zb)为与(Xg,Yg,Zg)对应的基准实景三维模型顶点空间坐标。λ为两期实景三维模型空间坐标系的比例因子,(a1…b1…c3)为两期实景三维模型的相对旋转矩阵元素,(tx,ty,tz)为两期实景三维模型的相对平移量。旋转矩阵元素定义如等式(6)所示:
Figure BDA0003834728080000072
其中,
Figure BDA0003834728080000073
为两期实景三维模型相对旋转矩阵的旋转角元素。
当获取3组同名点列表后,基于S3获取的SIFT特征点空间坐标,按照最小二乘平差原理解算公式(5)中的7个未知数,获取待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数。
c3,基于三维相似变换参数评估内点数量,并记录当前内点数量;
基于c2解算得到的三维相似变换模型参数,按照公式(5)计算c1中剩余的初始同名点列表空间坐标差值,若该差值超过一定阈值(通常取值0.1-0.5米)则认定其为外点,否则为内点。统计当前三维相似变换参数得到的内点数量。
c4,重复c1至c3至循环次数上限;
循环次数上限一般设置为100次。
c5,将内点数量最多的三维变换参数作为最优三维变换参数。
按照最优三维变换参数获取的内点列表,按照c2进行整体平差解算,获取待配准实景三维模型相对基准实景三维模型的最优三维相似变换模型参数。
S6,根据三维相似变换参数,更新待配准三维实景模型所有顶点的空间位置;
d1,提取待配准所有三维模型顶点坐标;
d2,依据c5获取的三维变换参数对d1提取的顶点进行坐标转换。
依据c5获取的最优三维相似变换参数对d1提取的顶点进行坐标转换,转换公式为公式(5)。
S7,输出顶点更新后的待配准实景三维模型;
获取顶点更新后的待配准实景三维模型,基于顶点坐标更新后的实景三维模型,获取具有统一空间基准的实景三维模型,结果如图4所示。
通过以下实施例实验对本发明进一步验证说明:
⑴计算机运行条件
基于Windows 10 64位操作***,采用Visual Studio 2017C++环境开发本发明的可执行程序,用于测试方法的适应性与精度。硬件平台为Dell Precision 3630工作站,CPUi7-8700K3.7GHz,内存64G DDR4,硬盘512G SSD,显卡为英伟达Titan XP 12G。
⑵数据源
数据区实际地形以高山峡谷地形为主。采用无人机搭载全画幅相机DG4Pros获取1659张地面空间分辨率为2厘米的无人机影像。基于2020年获取的无人机影像进行三维自动重建,获取基准实景三维模型。基于2021年获取的无人机影像进行三维自动重建,获取待配准实景三维模型。
⑶实验内容
首先验证三角网平面约束计算SIFT特征空间位置计算过程。获取基准实景三维模型某一块数据文件,提取其高分辨率三维模型的纹理贴图、顶点坐标、顶点坐标对应的纹理坐标、顶点构成的三角网,结果如图2所示。对纹理贴图提取SIFT特征点,并将三角网顶点对应的纹理坐标映射至纹理贴图上,结果如图3所示。按照本发明计算SIFT特征点空间位置,并将其与三维模型、三角网顶点进行叠加显示,结果如图4所示。
其次验证三维相似变换模型参数计算结果,结果如图5所示。
最后验证配准前后三维实景模型的空间位置一致性,结果如图6所示。
⑷实验结果
从图2可以看出,分辨率最高的实景三维模型由顶点(实心点)、三角网(连接顶点的实心线)、纹理贴图构成,图2中的每一个顶点对应的纹理坐标如图3中正方形所示。在纹理贴图中提取SIFT特征后,将SIFT特征点坐标转换为纹理坐标,如图3中的十字丝所示。按照本发明计算每一个SIFT特征点的空间坐标后,将其映射至实景三维模型中,如图4中的十字丝所示。从图4中可以看出,SIFT特征点的空间平面位置依照仿射变换模型参数准确的映射至实景三维模型三角网中,同时其高程坐标紧贴实景三维模型表面,说明其高程内插也是准确的。说明本发明的三角网平面约束计算SIFT特征点空间位置是准确且可靠的。
基于本发明提取的SIFT特征点进行相似性判定后,可以获取大量同名点。但同名点中还是包含部分粗差点。基于本发明的粗差剔除后,可以获取分布均匀的同名点,且同名点包含空间坐标信息。如图5所示,两期实验数据共获取3560组同名点,但由于两组数据不具有统一的空间基准,其残差具有明显***性。经过本发明解算的三维相似变换后,同名点残差分布如图6所示。分析图6,配准后的同名点残差稳定在0附近,已不具有***性。配准前、配准后的同名点总体中误差由3.521米提高至0.095米。实验结果表明,本发明可以有效配准多期实景三维模型,且配准精度较高。

Claims (10)

1.一种多期实景三维模型自动配准方法,其特征在于,包括以下步骤:
S1,提取实景三维模型最底层模型数据的顶点、纹理、顶点对应纹理坐标和三角网索引数据;
S2,提取纹理信息的SIFT特征;
S3,依据三角网平面约束计算SIFT特征空间位置;
S4,空间约束的SIFT特征相似性判定;
S5,基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数;
S6,根据三维相似变换参数,更新待配准三维实景模型所有顶点的空间位置;
S7,输出顶点更新后的待配准实景三维模型。
2.根据权利要求1所述的多期实景三维模型自动配准方法,其特征在于,所述S3中,依据三角网平面约束计算SIFT特征空间位置的具体步骤包括:
a1,将提取的SIFT特征点坐标转换为纹理坐标;
a2,搜索当前纹理坐标所包含的三角网;
a3,基于三角网的顶点空间坐标、顶点纹理坐标内插当前SIFT特征点的空间坐标。
3.根据权利要求2所述的多期实景三维模型自动配准方法,其特征在于,所述基于三角网的顶点空间坐标、顶点纹理坐标内插当前SIFT特征点的空间坐标的方法为内插法。
4.根据权利要求3所述的多期实景三维模型自动配准方法,其特征在于,分两步内插当前SIFT特征点的空间坐标。
5.根据权利要求4所述的多期实景三维模型自动配准方法,其特征在于,分两步内插当前SIFT特征点的空间坐标,依次为:内插SIFT特征点平面坐标、内插SIFT特征点高程坐标。
6.根据权利要求1所述的多期实景三维模型自动配准方法,其特征在于,所述S4中,空间约束的SIFT特征相似性判定的具体方法包括:
b1,确定当前SIFT特征点所处的空间包围盒;
b2,搜索当前包围盒内基准影像的SIFT特征向量,构成待匹配特征向量集合;
b3,计算当前SIFT特征点特征向量与待匹配特征向量集合的相似性,确定初始同名点对应关系。
7.根据权利要求6所述的多期实景三维模型自动配准方法,其特征在于,所述确定当前SIFT特征点所处的空间包围盒,依据多期实景三维模型几何定位精度确定待配准的空间包围盒。
8.根据权利要求1所述的多期实景三维模型自动配准方法,其特征在于,所述S5中,基于三维相似转换模型约束剔除同名点粗差,并解算待配准三维实景模型相对基准三维实景模型的三维相似变换模型参数的具体步骤包括:
c1,初始匹配像对中随机提取3对同名点;
c2,基于3对同名点计算三维相似变换参数;
c3,基于三维相似变换参数评估内点数量,并记录当前内点数量;
c4,重复c1至c3至循环次数上限;
c5,将内点数量最多的三维变换参数作为最优三维变换参数。
9.根据权利要求8所述的多期实景三维模型自动配准方法,其特征在于,所述循环次数上限设置为100次。
10.根据权利要求8所述的多期实景三维模型自动配准方法,其特征在于,所述S6中,根据三维相似变换参数,更新待配准三维实景模型所有顶点的空间位置的具体步骤包括:
d1,提取待配准所有三维模型顶点坐标;
d2,依据c5获取的三维变换参数对d1提取的顶点进行坐标转换。
CN202211096255.3A 2022-09-06 2022-09-06 一种多期实景三维模型自动配准方法 Pending CN115713548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211096255.3A CN115713548A (zh) 2022-09-06 2022-09-06 一种多期实景三维模型自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211096255.3A CN115713548A (zh) 2022-09-06 2022-09-06 一种多期实景三维模型自动配准方法

Publications (1)

Publication Number Publication Date
CN115713548A true CN115713548A (zh) 2023-02-24

Family

ID=85230653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211096255.3A Pending CN115713548A (zh) 2022-09-06 2022-09-06 一种多期实景三维模型自动配准方法

Country Status (1)

Country Link
CN (1) CN115713548A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611726A (zh) * 2024-01-24 2024-02-27 埃洛克航空科技(北京)有限公司 一种实景模型日照显示方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611726A (zh) * 2024-01-24 2024-02-27 埃洛克航空科技(北京)有限公司 一种实景模型日照显示方法及装置
CN117611726B (zh) * 2024-01-24 2024-05-14 埃洛克航空科技(北京)有限公司 一种实景模型日照显示方法及装置

Similar Documents

Publication Publication Date Title
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
Wu et al. Integration of aerial oblique imagery and terrestrial imagery for optimized 3D modeling in urban areas
Xu et al. Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor
Rupnik et al. 3D reconstruction from multi-view VHR-satellite images in MicMac
CN113916130B (zh) 一种基于最小二乘法的建筑物位置测量方法
CN112215958B (zh) 一种基于分布式计算的激光雷达点云数据投影方法
CN113607135A (zh) 一种用于路桥施工领域的无人机倾斜摄影测量方法
CN114332134B (zh) 一种基于密集点云的建筑物立面提取方法和装置
CN114283070B (zh) 融合无人机影像与激光点云的地形断面制作方法
Kwak Automatic 3D building model generation by integrating LiDAR and aerial images using a hybrid approach
CN116518864A (zh) 一种基于三维点云对比分析的工程结构全场变形检测方法
CN115713548A (zh) 一种多期实景三维模型自动配准方法
CN112017219A (zh) 一种激光点云配准方法
CN116106904B (zh) 面向对象MT-InSAR的设施变形监测方法及设备
Gonzalez-Aguilera et al. From point cloud to CAD models: Laser and optics geotechnology for the design of electrical substations
Ioannidis et al. 5D Multi-Purpose Land Information System.
Arias et al. ORTHOIMAGE‐BASED DOCUMENTATION OF ARCHAEOLOGICAL STRUCTURES: THE CASE OF A MEDIAEVAL WALL IN PONTEVEDRA, SPAIN
CN113159174B (zh) 无控制点的dem匹配与形变量探测方法及装置
Arıcan et al. Research on 3D reconstruction of small size objects using structure from motion photogrammetry via smartphone images
Xu et al. Building Height Extraction From High-Resolution Single-View Remote Sensing Images Using Shadow and Side Information
CN114387488A (zh) 基于potree点云影像融合的道路提取***及方法
CN107358655B (zh) 基于离散平稳小波变换的半球面和圆锥面模型的辨识方法
Rau et al. Geometrical building modeling and its application to the ortho-rectification for aerial images
Wu et al. Building Facade Reconstruction Using Crowd-Sourced Photos and Two-Dimensional Maps
Abdelmajid Investigation and comparison of 3D laser scanning software packages

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination