CN114998545A - 一种基于深度学习的三维建模阴影识别*** - Google Patents

Abstract

本发明公开了一种基于深度学习的三维建模阴影识别***，具体涉及阴影识别领域，包括采集图像模块、预处理模块、点云计算模块、点云配准模块、数据融合模块、纹理映射模块、阴影识别模块，所述图像采集模块通过无人机倾斜摄影技术采集图像，将采集到的图像通过工业计算机传输到图像预处理模块，所述图像预处理模块对采集到的图像进行预处理。本发明通过无人机倾斜摄影，能对图像数据深度挖掘，能高效率，低成本的获得精确的数据，减少人工干预，提升工作效率，缩短测绘外业的协同工作，节省测量人员的劳动时间，降低了外业劳动强度，解决了天气等外因造成的传统人工作业延误。

Description

一种基于深度学习的三维建模阴影识别***

技术领域

本发明涉及三维建模技术领域，更具体地说，本发明涉及一种基于深度学习的三维建模阴影识别***。

背景技术

现有的获取三维信息的方法大致有以下几种：使用航空影像、地面摄影、激光雷达、激光扫描仪和基于规划图纸二维数据资料的城市三维建模对建筑物的特征线进行自动提取能快速的获取三维模型的位置、形状和高度信息，通过激光扫描仪测距求算获取，这种方式获取的几何信息相当精确，激光雷达能快速的获取城市建筑模型及地表模型，这些获取模式大多只有地物顶部的信息特征，缺乏地物侧面的详细的轮廓。

现有的获取三维信息的方法不利于全方位的模型重建和场景感知，并且这些影像上建筑物容易产生墙面倾斜、屋顶位移和遮挡压盖的问题，航空影像获取物体的几何信息不够完整，需要外业采集建筑物的侧面纹理，激光雷达这种方式获取的数据量非常庞大，在此种方法下建立的三维立体模型没有建筑物的色彩纹理，基于规划图纸二维数据资料的城市三维建模数据时效性存在不确定性，对于建筑物顶部纹理存在盲区，高程数据的获取工作量比较大，这些方法不利于后续的几何纠正，处理方式比较复杂，不能满足日常城市三维信息的时效性要求。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于深度学习的三维建模阴影识别***，通过无人机倾斜摄影技术，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：包括采集图像模块、预处理模块、点云计算模块、点云配准模块、数据融合模块、纹理映射模块，以及阴影识别模块，所述图像采集模块得到工业计算机的指令通过无人机倾斜摄影技术多角度采集地面影像，将采集到的图像通过工业计算机传输到图像预处理模块，所述图像预处理模块通过图像几何变换单元、图像镶嵌与裁剪单元、畸变差校正单元，以及图像增强单元对采集到的图像进行预处理，所述点云计算模块对预处理过的图像进行坐标系和图像像素坐标系的转换计算，所述点云配准模块把图像中不同时间、角度，以及照度获取的多帧图像叠加匹配到统一的坐标系中，所述数据融合是将配准过的图像数据进行融合处理将融合处理过的图像信息传输到纹理映射模块，所述纹理映射模块是将图形绘制到表面，生成三维图像，将得到的图像数据进行阴影识别。

在一个优选的实施方式中，所述图像采集模块运用无人机倾斜摄影技术，所述无人机倾斜摄影技术是通过在同一无人机上搭载多台传感器，多角度采集影像，获取地面物体更为完整准确的信息，所述无人机倾斜摄影技术能快速采集影像数据，实现全自动化三维建模能真实地反映地物的外观、位置，以及高度，通过无人机倾斜摄影进行地形测绘，能减少人工干预，提升工作效率，能缩短测绘外业的协同共作，节省测量人员的劳动时间，降低了外业劳动强度，能提供丰富的地理信息。

在一个优选的实施方式中，所述图像预处理模块包括图像几何变换、图像镶嵌与裁剪、畸变差校正，以及图像增强处理，所述图像几何变换通过平移、转置、镜像、旋转，以及缩放几何变换对采集的图像进行处理，用于改正图像采集的仪器位置随机误差，所述图像镶嵌与裁剪将多幅图拼接起来形成一幅覆盖全区的图像，在进行图像的镶嵌时，要确定一幅参考图像，参考图像作为输出镶嵌图像的基准，决定镶嵌图像的对比度匹配和输出图像的像元大小和数据类型，镶嵌的多幅图像选择相近的成像时间，使得图像的色调保持一致，裁剪的目的是将研究之外的区域去除，所述畸变差校正由于透镜制造精度和组装工艺的偏差，导致原始图像失真，畸变系数根据x轴和y轴旋转的角度计算出变换矩阵，公式如下：

所述图像增强的目的是要改善图像的视觉效果，强调图像的整体特性，将不清晰的图像变得清晰，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果，图像增强的算法能分成两大类：空间域法和频率域法。

在一个优选的实施方式中，所述点云运算模块在图像增强之后，由图像计算点云数据，经过预处理后的深度图像具有二维信息，像素点的值是深度信息，表示物体表面到测绘***的直线距离，将坐标系与图像像素坐标系进行转换。

在一个优选的实施方式中，所述点云配准模块是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，消除冗余信息，三维图像的配准按不同的图像输入条件与重建输出需求被分为：粗糙配准、精细配准和全局配准，粗糙配准是从不同角度采集的深度图像，提取两帧图像之间的特征点包括直线、拐点、曲线，以及曲率显示特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点云处于同一尺度与参考坐标系内，通过自动记录坐标，得到粗匹配初始值，精细配准先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，全局配准是使用整幅图像直接计算转换矩阵，通过对两帧图像精细配准的结果，按照顺序进行多帧图像的配准，配准过程中，匹配误差被均匀地分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果。

在一个优选的实施方式中，所述数据融合模块将点云数据进行融合处理，获得更加精细的重建模型，以传感器的初始位置为原点构造体格网格，网格把点云空间分割成多个细小立方体，这种立方体叫做体素，通过为所有的体素赋予有效距离场值，来模拟表面，有效距离场值等于此体素到重建表面的最小距离值，当有效距离场值大于零，表示该体素在表面前，当有效距离场值小于零时，表示该体素在表面后，当有效距离场值越接近于零时，表示该体素贴近于场景的真实表面。

在一个优选的实施方式中，所述纹理映射模块就是从二维纹理平面到三维物体表面的映射，二维纹理平面有范围限制，在这个平面区域内，每个点都能用数学函数表达，能离散的分离出每点的灰度值和颜色值，屏幕上显示的像素的颜色可通过映射得到，确定物体表面的纹理属性，接着将物体表面上各点所对应的纹理值作为光照明模型中的相应参数进行光强度计算，绘制画面生成完整图像。

在一个优选的实施方式中，所述阴影识别模块运用HSV彩色空间的阴影检测，将RGB映射到HSV，根据阴影区域的高色调值、低亮度值和高饱和度特性，进行阈值选择并分割出阴影区域。

本发明的技术效果和优点：

本发明具体图像采集模块中的无人机倾斜摄影技术，所述无人机倾斜摄影通过在同一飞行平台上搭载多台传感器，同时从垂直、倾斜等不同角度采集影像，获取地面物体更为完整准确的信息，多角度采集信息，配合控制点或影像POS信息，影像上每个点都会有三维坐标，基于影像数据可对任意点线面进行量测，获取厘米级的测量精度并自动生成三维地理信息模型，快速获取地理信息，对建筑物等地物高度直接量算，无人机倾斜摄影三维建模通过对影像信息的数据深度挖掘，具有高效率、低成本、数据精确、操作灵活、侧面信息可用等优点，极大调节测绘内、外业的协同工作，解决了天气等外因造成的传统人工作业延误。

附图说明

图1为本发明的***流程图。

图2为本发明的***结构框图。

图3为本发明数据预处理模块的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本实施例提供了如图一所示的一种基于深度学习的三维建模阴影识别***，包括采集图像模块、预处理模块、点云计算模块、点云配准模块、数据融合模块、纹理映射模块，以及阴影识别模块，所述图像采集模块得到工业计算机的指令通过无人机倾斜摄影技术多角度采集地面影像，将采集到的图像通过工业计算机传输到图像预处理模块，所述图像预处理模块通过图像几何变换单元、图像镶嵌与裁剪单元、畸变差校正单元，以及图像增强单元对采集到的图像进行预处理，所述点云计算模块对预处理过的图像进行坐标系和图像像素坐标系的转换计算，所述点云配准模块把图像中不同时间、角度，以及照度获取的多帧图像叠加匹配到统一的坐标系中，所述数据融合是将配准过的图像数据进行融合处理将融合处理过的图像信息传输到纹理映射模块，所述纹理映射模块是将图形绘制到表面，生成三维图像，将得到的图像数据进行阴影识别。

本实施例与现有技术的区别在于采集图像模块和纹理映射模块，所述采集图像模块使用了无人机倾斜摄影技术，所述无人机倾斜摄影技术通过无人机搭载倾斜摄影相机进行地形测绘，能获取地物纹理细节，反映地物的实际情况，配合自动化的影像匹配可以减少人工干预，缩短测绘外业的协同工作时间，所述纹理映射模块是将平面图像映射到物体表面，产生物体表面的细节纹理。

如图1本实施例提供一种基于深度学习的三维建模阴影识别***的方法，具体包括下列步骤：

101、通过无人机倾斜摄影技术进行多角度的采集地面图像；

本实施例中，具体需要说明的是采集图像模块，所述图像采集模块运用无人机倾斜摄影技术，所述无人机倾斜摄影技术是通过在同一无人机上搭载多台传感器，多角度采集影像，获取地面物体更为完整准确的信息，所述无人机倾斜摄影技术能快速采集影像数据，实现全自动化三维建模能真实地反映地物的外观、位置，以及高度，通过无人机倾斜摄影进行地形测绘，能减少人工干预，提升工作效率，能缩短测绘外业的协同工作，节省测量人员的劳动时间，降低了外业劳动强度，能提供丰富的地理信息。

102、将采集到的图像进行图像几何变换、图像镶嵌与裁剪、畸变差改正，以及图像增强的处理；

本实施例中，具体需要说明的是图像预处理模块，所述图像预处理模块包括图像几何变换、图像镶嵌与裁剪、畸变差校正，以及图像增强处理，所述图像几何变换通过平移、转置、镜像、旋转，以及缩放几何变换对采集的图像进行处理，用于改正图像采集的仪器位置随机误差，所述图像镶嵌与裁剪将多幅图拼接起来形成一幅覆盖全区的图像，在进行图像的镶嵌时，要确定一幅参考图像，参考图像作为输出镶嵌图像的基准，决定镶嵌图像的对比度匹配和输出图像的像元大小和数据类型，镶嵌的多幅图像选择相近的成像时间，使得图像的色调保持一致，裁剪的目的是将研究之外的区域去除，所述畸变差校正由于透镜制造精度和组装工艺的偏差，导致原始图像失真，畸变系数根据x轴和y轴旋转的角度计算出变换矩阵，公式如下：

所述图像增强的目的是要改善图像的视觉效果，强调图像的整体特性，将不清晰的图像变得清晰，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果，图像增强的算法能分成两大类：空间域法和频率域法。

103、对预处理过的图像进行坐标系和图像像素坐标系的转换运算；

本实施例中，具体需要说明的是点云计算模块，所述点云运算模块在图像增强之后，由图像计算点云数据，经过预处理后的深度图像具有二维信息，像素点的值是深度信息，表示物体表面到测绘***的直线距离，将坐标系与图像像素坐标系进行转换。

104、把图像中不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中；

本实施例中，具体需要说明的是点云配准模块，所述点云配准模块是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中，计算出相应的平移向量与旋转矩阵，消除冗余信息，三维图像的配准按不同的图像输入条件与重建输出需求被分为：粗糙配准、精细配准和全局配准，粗糙配准是从不同角度采集的深度图像，提取两帧图像之间的特征点包括直线、拐点、曲线，以及曲率显示特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点云处于同一尺度与参考坐标系内，通过自动记录坐标，得到粗匹配初始值，精细配准先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，全局配准是使用整幅图像直接计算转换矩阵，通过对两帧图像精细配准的结果，按照顺序进行多帧图像的配准，配准过程中，匹配误差被均匀地分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果。

105、将配准过的图像数据进行融合处理；

本实施例中，具体需要说明的是数据融合模块，所述数据融合模块将点云数据进行融合处理，获得更加精细的重建模型，以传感器的初始位置为原点构造体格网格，网格把点云空间分割成多个细小立方体，这种立方体叫做体素，通过为所有的体素赋予有效距离场值，来模拟表面，有效距离场值等于此体素到重建表面的最小距离值，当有效距离场值大于零，表示该体素在表面前，当有效距离场值小于零时，表示该体素在表面后，当有效距离场值越接近于零时，表示该体素贴近于场景的真实表面。

106、将二维图像绘制到图像表面；

本实施例中，具体需要说明的是纹理映射模块，所述纹理映射模块就是从二维纹理平面到三维物体表面的映射，二维纹理平面有范围限制，在这个平面区域内，每个点都能用数学函数表达，能离散的分离出每点的灰度值和颜色值，屏幕上显示的像素的颜色可通过映射得到，确定物体表面的纹理属性，接着将物体表面上各点所对应的纹理值作为光照明模型中的相应参数进行光强度计算，绘制画面生成完整图像。

107、将得到的三维图像进行阴影识别；

本实施例中，具体需要说明的是阴影识别模块，所述阴影识别模块运用HSV彩色空间的阴影检测，将RGB映射到HSV，根据阴影区域的高色调值、低亮度值和高饱和度特性，进行阈值选择并分割出阴影区域。

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的三维建模阴影识别***，其特征在于：包括采集图像模块、预处理模块、点云计算模块、点云配准模块、数据融合模块、纹理映射模块，以及阴影识别模块，所述图像采集模块得到工业计算机的指令通过无人机倾斜摄影技术多角度采集地面影像，将采集到的图像通过工业计算机传输到图像预处理模块，所述图像预处理模块通过图像几何变换单元、图像镶嵌与裁剪单元、畸变差校正单元，以及图像增强单元对采集到的图像进行预处理，所述点云计算模块对预处理过的图像进行坐标系和图像像素坐标系的转换计算，所述点云配准模块把图像中不同时间、角度，以及照度获取的多帧图像叠加匹配到统一的坐标系中，所述数据融合是将配准过的图像数据进行融合处理将融合处理过的图像信息传输到纹理映射模块，所述纹理映射模块是将图形绘制到表面，生成三维图像，将得到的图像数据进行阴影识别。

2.根据权利要求1所述的一种基于深度学习的三维建模阴影识别***，其特征在于：所述图像采集模块运用无人机倾斜摄影技术，所述无人机倾斜摄影技术是通过在同一无人机上搭载多台传感器，多角度采集影像，获取地面物体更为完整准确的信息，所述无人机倾斜摄影技术能快速采集影像数据，实现全自动化三维建模能真实地反映地物的外观、位置，以及高度，通过无人机倾斜摄影进行地形测绘，能减少人工干预，提升工作效率，能缩短测绘外业的协同共作，节省测量人员的劳动时间，降低了外业劳动强度，能提供丰富的地理信息。

3.根据权利要求1所述的一种基于深度学***移、转置、镜像、旋转，以及缩放几何变换对采集的图像进行处理，用于改正图像采集的仪器位置随机误差，所述图像镶嵌与裁剪将多幅图拼接起来形成一幅覆盖全区的图像，在进行图像的镶嵌时，要确定一幅参考图像，参考图像作为输出镶嵌图像的基准，决定镶嵌图像的对比度匹配和输出图像的像元大小和数据类型，镶嵌的多幅图像选择相近的成像时间，使得图像的色调保持一致，裁剪的目的是将研究之外的区域去除，所述畸变差校正由于透镜制造精度和组装工艺的偏差，导致原始图像失真，畸变系数根据x轴和y轴旋转的角度计算出变换矩阵，公式如下：

所述图像增强的目的是要改善图像的视觉效果，强调图像的整体特性，将不清晰的图像变得清晰，扩大图像中不同物体特征之间的差别，改善图像质量、丰富信息量，加强图像判读和识别效果，图像增强的算法能分成两大类：空间域法和频率域法。

4.根据权利要求1所述的一种基于深度学习的三维建模阴影识别***，其特征在于：具体需要说明的是点云计算模块，所述点云运算模块在图像增强之后，由图像计算点云数据，经过预处理后的深度图像具有二维信息，像素点的值是深度信息，表示物体表面到测绘***的直线距离，将坐标系与图像像素坐标系进行转换。

5.根据权利要求1所述的一种基于深度学***移向量与旋转矩阵，消除冗余信息，三维图像的配准按不同的图像输入条件与重建输出需求被分为：粗糙配准、精细配准和全局配准，粗糙配准是从不同角度采集的深度图像，提取两帧图像之间的特征点包括直线、拐点、曲线，以及曲率显示特征，根据特征方程实现初步的配准，粗糙配准后的点云和目标点云处于同一尺度与参考坐标系内，通过自动记录坐标，得到粗匹配初始值，精细配准先计算初始点云上所有点与目标点云的距离，保证这些点和目标点云的最近点相互对应，同时构造残差平方和的目标函数，基于最小二乘法对误差函数进行最小化处理，经过反复迭代，直到均方误差小于设定的阈值，全局配准是使用整幅图像直接计算转换矩阵，通过对两帧图像精细配准的结果，按照顺序进行多帧图像的配准，配准过程中，匹配误差被均匀地分散到各个视角的多帧图像中，达到削减多次迭代引起的累积误差的效果。

6.根据权利要求1所述的一种基于深度学习的三维建模阴影识别***，其特征在于：所述数据融合模块将点云数据进行融合处理，获得更加精细的重建模型，以传感器的初始位置为原点构造体格网格，网格把点云空间分割成多个细小立方体，这种立方体叫做体素，通过为所有的体素赋予有效距离场值，来模拟表面，有效距离场值等于此体素到重建表面的最小距离值，当有效距离场值大于零，表示该体素在表面前，当有效距离场值小于零时，表示该体素在表面后，当有效距离场值越接近于零时，表示该体素贴近于场景的真实表面。

7.根据权利要求1所述的一种基于深度学***面到三维物体表面的映射，二维纹理平面有范围限制，在这个平面区域内，每个点都能用数学函数表达，能离散的分离出每点的灰度值和颜色值，屏幕上显示的像素的颜色可通过映射得到，确定物体表面的纹理属性，接着将物体表面上各点所对应的纹理值作为光照明模型中的相应参数进行光强度计算，绘制画面生成完整图像。

8.根据权利要求1所述的一种基于深度学习的三维建模阴影识别***，其特征在于：所述阴影识别模块运用HSV彩色空间的阴影检测，将RGB映射到HSV，根据阴影区域的高色调值、低亮度值和高饱和度特性，进行阈值选择并分割出阴影区域。

Images