CN110111413A - 一种基于水陆共存场景的稀疏点云三维模型建立方法 - Google Patents

Abstract

本发明公开的本发明实施例提供的基于水陆共存场景的稀疏点云三维模型建立方法，涉及计算机视觉技术领域，通过对图像进行去畸变，获取相机外参数与空间点坐标，对坐标进行优化，实现了对基于水陆共存场景的的三维稀疏点云三维模型的建立。

Description

一种基于水陆共存场景的稀疏点云三维模型建立方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于水陆共存场景的稀疏点云三维模型建立方法。

背景技术

基于视觉的三维模型建立，是通过摄像机获取场景中物体的图像并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。三维建立的过程通常包括图像预处理、特征点提取和三维稀疏点云建立、三维稠密点云建立和纹理化。其中三维稀疏点云建立是整个三维建立过程中最关键的一步，这一步中不仅需要求解特征点的三维坐标，而且需要求解相机在所有拍摄点的位置和姿态参数。

目前的研究中，普通陆地三维场景建立从理论到算法层面都已经非常成熟，已经获得商业应用。近年来，水下三维场景建立是一个很重要的研究课题，该类课题的难点是光线在传播过程中会经过不同的介质，从而产生折射现象而改变光路使物体成像时发生变形。消除图像中折射造成的影响及恢复水下物体的三维模型是许多水下三维场景建立的目标。在目前的研究中，只是研究待建立物体全部位于水下，或将相机放进防水罩浸入水下拍摄，即物体场景上的每个点的光线都会通过至少一次水-空气界面折射才能到达相机，目前该方向的研究尚处于完善阶段。在自然界中有大量水陆共存的场景，如岸边、滩涂、岛礁、河流、池塘等，它们都是无折射场景(陆地)和有折射场景(水下)共同存在的联合体。对这些水陆共存场景的三维建立，具有重要的现实意义和理论价值。

由于无折射场景(陆地)和有折射场景(水下)两种场景成像的物理模型不同，至今没有统一的用于此类场景的三维模型建立方法。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于水陆共存场景的稀疏点云三维模型建立方法，该方法包括：

(1)对图像进行去畸变

(11)根据相机标定方法，获得相机的内参数矩阵和畸变系数；

(12)根据所述内参数矩阵和畸变系数，对相机获取的多个图像去畸变，得到多个无失真图像；

(2)获取相机外参数与空间点坐标

(21)利用从运动恢复结构的方法，获得相机外参数的初始值并分别计算各个无失真图像在空间坐标系中的坐标，其中，所述空间坐标系依据水平面建立，其横轴和纵轴形成的坐标平面与水平面平行或重合，其竖轴的方向向下；

(3)对所述坐标进行优化

(31)构建约束函数其中，V为无失真图像集合，N_i表示在第i个无失真图像上具有投影点的坐标的集合，d_ij为水面上的观测点到水面上的投影直线l_i的距离为l_i为直线l在XOY平面上的投影，直线l是空间点X在图像平面π_c上的投影点x与当前图像平面中的无穷远的连线所形成的直线l＝r₃×x，而l_i＝H^Tl，变换矩阵H＝[r₁,r₂,t]，H由变换矩阵由相机的旋转向量R＝[r₁,r₂,r₃]和平移向量t＝[t₁,t₂,t₃]^T组合而成，求解此约束函数，得到满足所述约束方程的相机外参数R、t₁、t₂的最小值和及所述坐标在XOY平面上的最小值；

(32)根据约束函数得到满足此约束方程相机外参数t₃的最小值及所述坐标在竖直方向的最小值，其中，D(X,l)表示点X到直线l的距离，l_in和l_ref分别表示入射光线和折射光线在XOY平面上的坐标，X_z表示所述坐标竖直方向上的坐标值，Z_w表示XOY平面上的坐标值；

(4)利用折射定律还原水下点的实际坐标，根据所述实际坐标生成稀疏点云三维模型。

本发明实施例提供的水陆共存场景的三维稀疏点云建立方法具有以下有益效果：

能够实现对基于水陆共存场景的稀疏点云三维模型的建立。

附图说明

图1为本发明实施例提供的基于水陆共存场景的稀疏点云三维模型建立方法的流程示意图；

图2为本发明实施例提供的一个约束函数关系示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

参照图1，本发明实施例提供的基于水陆共存场景的三维稀疏点云三维模型建立方法包括以下步骤：

S101，对图像进行去畸变

S1011，根据相机标定方法，获得相机的内参数矩阵和畸变系数；

S1012，根据所述内参数矩阵和畸变系数，对相机获取的多个图像去畸变，得到多个无失真图像。

S102，获取相机外参数与空间点坐标

S1021，利用从运动恢复结构的方法，获得相机外参数的初始值并分别计算各个无失真图像在空间坐标系中的坐标，其中，所述空间坐标系依据水平面建立，其横轴和纵轴形成的坐标平面与水平面平行或重合，其竖轴的方向向下。

S103，对坐标进行优化

S1031，构建约束函数其中，V为无失真图像集合，N_i表示在第i个无失真图像上具有投影点的坐标的集合，d_ij为水面上的观测点到水面上的投影直线l_i的距离为l_i为直线l在XOY平面上的投影，直线l是空间点X在图像平面π_c上的投影点x与当前图像平面中的无穷远的连线所形成的直线l＝r₃×x，而l_i＝H^Tl，变换矩阵H＝[r₁,r₂,t]，H由变换矩阵由相机的旋转向量R＝[r₁,r₂,r₃]和平移向量t＝[t₁,t₂,t₃]^T组合而成，求解此约束函数，得到满足所述约束方程的相机外参数R、t₁、t₂的最小值和及所述坐标在XOY平面上的最小值；

S1032，根据约束函数得到满足此约束方程相机外参数t₃的最小值及所述坐标在竖直方向的最小值，其中，D(X,l)表示点X到直线l的距离，l_in和l_ref分别表示入射光线和折射光线在XOY平面上的坐标，X_z表示所述坐标竖直方向上的坐标值，Z_w表示XOY平面上的坐标值。

S104，利用折射定律还原水下点的实际坐标，根据实际坐标生成稀疏点云三维模型。

本发明实施例提供的基于水陆共存场景的稀疏点云三维模型建立方法，通过对图像进行去畸变，获取相机外参数与空间点坐标，对坐标进行优化，实现了对基于水陆共存场景的的三维稀疏点云三维模型的建立。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (1)

1.一种基于水陆共存场景的稀疏点云三维模型建立方法，其特征在于，包括：

(1)对图像进行去畸变

(11)根据相机标定方法，获得相机的内参数矩阵和畸变系数；

(12)根据所述内参数矩阵和畸变系数，对相机获取的多个图像去畸变，得到多个无失真图像；

(2)获取相机外参数与空间点坐标

(21)利用从运动恢复结构的方法，获得相机外参数的初始值并分别计算各个无失真图像在空间坐标系中的坐标，其中，所述空间坐标系依据水平面建立，其横轴和纵轴形成的坐标平面与水平面平行或重合，其竖轴的方向向下；

(3)对所述坐标进行优化

(31)构建约束函数其中，V为无失真图像集合，N_i表示在第i个无失真图像上具有投影点的坐标的集合，d_ij为水面上的观测点到水面上的投影直线l_i的距离为l_i为直线l在XOY平面上的投影，直线l是空间点X在图像平面π_c上的投影点x与当前图像平面中的无穷远的连线所形成的直线l＝r₃×x，而l_i＝H^Tl，变换矩阵H＝[r₁,r₂,t]，H由变换矩阵由相机的旋转向量R＝[r₁,r₂,r₃]和平移向量t＝[t₁,t₂,t₃]^T组合而成，求解此约束函数，得到满足所述约束方程的相机外参数R、t₁、t₂的最小值和及所述坐标在XOY平面上的最小值；

(32)根据约束函数得到满足此约束方程相机外参数t₃的最小值及所述坐标在竖直方向的最小值，其中，D(X,l)表示点X到直线l的距离，l_in和l_ref分别表示入射光线和折射光线在XOY平面上的坐标，X_z表示所述坐标竖直方向上的坐标值，Z_w表示XOY平面上的坐标值。

(4)利用折射定律还原水下点的实际坐标，根据所述实际坐标生成稀疏点云三维模型。