CN109242855A - 基于多分辨率三维统计信息的屋顶分割方法、***及设备 - Google Patents

基于多分辨率三维统计信息的屋顶分割方法、***及设备 Download PDF

Info

Publication number
CN109242855A
CN109242855A CN201810794383.2A CN201810794383A CN109242855A CN 109242855 A CN109242855 A CN 109242855A CN 201810794383 A CN201810794383 A CN 201810794383A CN 109242855 A CN109242855 A CN 109242855A
Authority
CN
China
Prior art keywords
point cloud
building
pixel
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810794383.2A
Other languages
English (en)
Other versions
CN109242855B (zh
Inventor
徐士彪
孟维亮
郭建伟
张晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810794383.2A priority Critical patent/CN109242855B/zh
Publication of CN109242855A publication Critical patent/CN109242855A/zh
Application granted granted Critical
Publication of CN109242855B publication Critical patent/CN109242855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉领域,具体涉及一种基于多分辨率三维统计信息的屋顶分割方法、***及设备,旨在提供一种快速、鲁棒的屋顶分割方法。本发明的屋顶分割方法包括:从多视角航拍图像获取高精度深度及稠密三维点云信息;根据三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;将建筑物的点云作为初始先验,对多视角航拍图像进行精细建筑物分割;基于深度信息的建筑物过渡区域计算,从精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。本发明实现了快速、鲁棒、通用地进行屋顶分割,而且有效去除了建筑物侧面过渡区域的影响,提高了分割精细度。

Description

基于多分辨率三维统计信息的屋顶分割方法、***及设备
技术领域
本发明涉及计算机视觉领域,具体涉及一种基于多分辨率三维统计信息的屋顶分割方法、***及设备。
背景技术
建筑物是航拍图像中一个重要的组成部分,基于航拍图像的建筑物提取在城市规划、城市场景三维重建及虚拟飞行模拟等各个领域有着广泛的用途。然而虽然针对建筑物的提取取得了很大的进步,但是如何快速、鲁棒、通用地提取建筑物仍然是一个非常具有挑战性的问题。这是因为随着光照条件的变化、阴影条件的不一致以及图像分辨率和质量的差异,建筑物的外观特征往往呈现出丰富的多样性。同时,建筑物往往具有复杂的形状结构,而且会被建筑物周围的建筑侧面、其他建筑物或者树木遮挡,导致屋顶分割会出现错误。
有鉴于此,特提出本发明。
发明内容
为了解决现有技术中的上述问题,本发明提出了一种基于多分辨率三维统计信息的屋顶分割方法、***及设备,实现了快速、鲁棒地进行屋顶分割。
本发明的一方面,提出了一种基于多分辨率三维统计信息的屋顶分割方法,所述方法包括:
从多视角航拍图像获取高精度深度及稠密三维点云信息;
根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;
将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割;
基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
优选地,“从多视角航拍图像获取高精度深度及稠密三维点云信息”的步骤具体包括:
多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。
优选地,所述多视角航拍图像立体匹配图像对计算具体包括:
根据所述多视角航拍图像,计算摄像机i和j的主视图方向之间的角度θij
计算摄像机i和j的光学中心之间的距离dij
在满足θ1≤θij≤θ2的所述多视角航拍图像中,删除dij>d1或dij<d2的图像,得到剩余图像;
若所述剩余图像的数量小于k1,则将所述剩余图像作为第i个图像的相邻图像集,记为N(i);否则,将所述剩余图像根据θij·dij的值进行升序排序,并选取前k1个图像作为相邻图像集N(i);
在相邻图像集N(i)中选取θij·dij最小的图像,作为第i个图像的参考图像,从而形成立体图像对。
优选地,所述基于片元匹配的高精度稠密深度估计具体包括:
根据下式计算图像对间的单应性变换矩阵:
其中,Ii为所述多视角航拍图像集中第i个输入图像,Ij为图像Ii的参照图像,图像Ii和Ij对应的摄像机参数分别为{Ki,Ri,Ci}和{Kj,Rj,Cj},Ki、Kj为摄像机内参数,Ri、Rj为旋转矩阵,Ci、Cj为摄像机中心,ni为当前像素在空间的法线,Xi为当前像素在空间的三维坐标;
在输入图像Ii中,以像素p为中心设定一个矩形窗口B=W×W;
对窗口B中的每个像素q,使用单应性矩阵Hij(q)寻找在参考图像Ij中对应的像素;
根据下式计算每个像素p在代价函数最小时对应的深度值:
其中,fp为像素在空间的平面表示,同时包含三维坐标点和法线。
优选地,所述基于多视角深度信息融合的三维点云重建具体包括:
对每个视图进行深度优化,得到优化后的深度图;
对每个所述优化后的深度图去除冗余信息;
将所有去除冗余信息后的深度图投影到三维形式,进而合并成一个单一完整的点云。
优选地,“对每个视图进行深度优化,得到优化后的深度图”的步骤具体包括:
对于图像Ii的每个像素点p,根据该像素对应的深度信息λ和相机参数,利用下式的反投影方程将该像素点反投影到三维空间:
其中,p为像素的齐次坐标,X为像素点p反投影到世界坐标系上的三维点;
将X重新投影到图像Ii的相邻图像集N(i);
对于相邻图像集N(i)中第k个相邻图像,若满足
则确定X在图像Ii和图像Nk中是一致的;其中,d(X,Nk)为图像Nk的深度信息,κ(X,Nk)为重投影后的深度值,τ2为阈值;
若X在相邻图像集N(i)中至少有2个相邻图像是一致的,则X被认为是一个可靠的场景点,将图像Ii中对应像素p的深度值保留,否则将对应像素p的深度值去除。
优选地,“对每个所述优化后的深度图去除冗余信息”的步骤具体包括:
对于第i个所述优化后的深度图中的每个像素,重新利用所述反投影方程将该像素反投影到三维空间,得到点X;
将点X重新投影到相邻图像集N(i);
若X的深度相对于某个相邻图像的深度较小,则证明第i个图像在该相邻图像中的投影X被遮挡,进而从该相邻图像的深度图中删除对应像素的深度值;
若这两个深度差值小于预设的阈值,则证明在该相邻图像中的投影X表示相同的点,进而从该相邻图像的深度图中删除对应像素的深度值。
优选地,“根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云”的步骤具体包括:
多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。
优选地,所述多分辨率三维点云特征的统计分析具体包括:
通过将点云映射到地面上,获得相应的2D支撑网格,并对每个网格单元计算出投射到该网格单元的点的属性;
根据下式的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率:
Ftree=min(α·σH+β·σNz,1)
其中,所述预设类别包括:建筑物、地面和植被;Fground、Fbuilding和Ftree分别表示当前网格单元属于建筑物、地面和植被的概率;hi表示从网格单元中的点集到地面的最大高度,hi=max{pi→z}-zground,pi为网格单元中的像素,z为对应像素的高度,Zground为地平面的标准高度;为建筑物类别的高度阈值;α、β和γ为权重;σNz为网格单元中点的法线向量z分量绝对值的标准偏差;σH为点在网格单元中高度的标准偏差。
优选地,所述基于全局能量优化的点云分类标记包括:
通过对下式能量函数的代价值最小化求解,对点云进行语义标签分配:
其中,
E(f)为能量函数;fc为类别标签;c为网格单元的标号;C为网格单元的集合;ξ为权重;p和q为两个相邻网格单元;N为相邻网格单元集合;I(p,q)为一个示性函数,当相邻网格单元p和q拥有相同标签时该函数值为0,否则为1;γ′为权重,用于保持数据代价函数D(c,fc)和平滑代价函数Vp,q数量级的一致性;hp、hq分别为网格单元p和q的高度。
优选地,“将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割”的步骤具体包括:
以所述建筑物的点云为初始先验,将所述建筑物的点云在所述多视角航拍图像中的对应像素标记为前景建筑物,其他像素随机采样标记为背景区域,从而对所述多视角航拍图像中的像素进行初始分类;
利用所述初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型进而完成对前景建筑物和背景的初步概率估计;
结合所述高斯混合模型,根据下式获得精确建筑物分割结果:
其中,
Ec(xp,xq)=|xp-xq|
Ed(xp)为数据项,用来计算像素p分类为xp的概率;ζ为权重;Ec(xp,xq)为平滑项,用来确保近邻像素分类的一致性;高斯混合模型用于计算像素p属于前景建筑物的概率;高斯混合模型用于计算像素p属于背景区域的概率;xp、xq分别为对应像素的标记;像素q为像素p的近邻像素;U为所述多视角航拍图像中全部的像素点的集合。
优选地,“基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果”的步骤具体包括:
根据深度图像,利用下式计算过渡区域的中每个像素的法向量n(x)在主方向z的投影大小:
δn(x)=<z,n(x)>
其中,<·,·>代表两个变量的内积操作;
计算深度图的梯度变化图δh
根据δn(x)和δh的加权平均生成过渡区域概率图;
根据所述过渡区域概率图消除建筑侧面的影响,生成所述精细屋顶分割结果。
本发明的另一方面,提出了一种基于多分辨率三维统计信息的屋顶分割***,所述***包括:三维点云信息获取模块、建筑物点云生成模块、建筑物分割模块、建筑物侧面去除模块;
所述三维点云信息获取模块配置为:从多视角航拍图像获取高精度深度及稠密三维点云信息;
所述建筑物点云生成模块配置为:根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;
所述建筑物分割模块配置为:将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割;
所述建筑物侧面去除模块配置为:基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
本发明的第三方面,提出一种存储设备,其存储有程序,其特征在于,所述程序适于由处理器加载并执行,以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
本发明的第四方面,提出一种处理设备,包括:处理器和存储器;
所述处理器,适于执行程序;
所述存储器,适于存储该程序;
所述程序适于由所述处理器加载并执行,以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
与最接近的现有技术相比,本发明具有如下有益效果:
本发明的屋顶分割方法首先根据多视角航拍图像计算三维深度及点云信息;然后,根据三维统计信息对点云进行分类;其次,利用点云分类计算初始建筑物分割结果;最后,利用深度信息计算建筑物过渡区域,用于去除建筑物侧面对精细屋顶分割的干扰,从而获得精细屋顶分割结果。本发明实现了快速、鲁棒、通用地进行屋顶分割,而且有效去除了建筑物侧面过渡区域的影响,提高了屋顶分割的精细度。
附图说明
图1是本发明实施例中基于多分辨率三维统计信息的屋顶分割方法的主要步骤示意图;
图2a-图2c是本发明实施例中输入的多视角航拍图像示例;
图3a-图3c是本发明实施例中多视角航拍图像的深度估计结果;
图4a-图4b是本发明实施例中基于多视角航拍深度图聚合的三维点云;
图5a-图5c是本发明实施例中建筑物过渡区域估计结果;
图6a-图6c是本发明实施例中多视角航拍图像精细屋顶分割结果;
图7是本发明实施例中基于多分辨率三维统计信息的屋顶分割***的主要构成示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
图1是本发明一种基于多分辨率三维统计信息的屋顶分割方法实施例的主要步骤示意图。如图1所示,本事实施例的屋顶分割方法包括步骤S100-S400:
在步骤S100中,从多视角航拍图像获取高精度深度及稠密三维点云信息。该步骤中包括:多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。
其中,进行多视角航拍图像立体匹配图像对计算时,基于极线几何约束来选择符合条件的立体图像对,具体包括步骤S101-S105:
步骤S101,根据多视角航拍图像,对于第i个图像,计算对应的摄像机i和j的主视图方向之间的角度θij
其中,j=1,......,n,n为图像总数;如果相机的姿态通过运动结构恢复算法(SFM)来标定,则一组稀疏的三维点云和它们的可见性作为SFM的一种副产物产生,随后摄像机i和j间一个更好的θij可以被计算为可见点和摄像机中心之间的角度的平均值。
步骤S102,计算摄像机i和j的光学中心之间的距离dij
步骤S103,在满足θ1≤θij≤θ2的多视角航拍图像中,删除dij>d1或dij<d2的图像,得到剩余图像。其中,θ1、θ2为预设的阈值;本实施例中,θ1=5°,θ2=60°, 为dij的中位数;
步骤S104,若剩余图像的数量小于k1(本实施例中k1=10),则将剩余图像作为第i个图像的相邻图像集,记为N(i);否则,将剩余图像根据θij·dij的值进行升序排序,并选取前k1个图像作为相邻图像集N(i);
步骤S105,在相邻图像集N(i)中选取θij·dij最小的图像,作为第i个图像的参考图像,从而形成立体图像对。
基于片元匹配的高精度稠密深度估计具体包括步骤S106-S109:
步骤S106,根据公式(1)计算图像对间的单应性变换矩阵:
其中,Ii为多视角航拍图像集中第i个输入图像,Ij为图像Ii的参照图像,图像Ii和Ij对应的摄像机参数分别为{Ki,Ri,Ci}和{Kj,Rj,Cj},Ki、Kj为摄像机内参数,Ri、Rj为旋转矩阵,Ci、Cj为摄像机中心,ni为当前像素在空间的法线,Xi为当前像素在空间的三维坐标;
步骤S107,在输入图像Ii中,以像素p为中心设定一个矩形窗口B=W×W;本实施例中设置W=7个像素;
步骤S108,对窗口B中的每个像素q,使用单应性矩阵Hij(q)寻找在参考图像Ij中对应的像素;
步骤S109,根据公式(2)计算每个像素p在代价函数最小时对应的深度值:
其中,fp为像素在空间的平面表示,同时包含三维坐标点和法线。
图2a-图2c中示例性地给出了输入的多视角航拍图像。其中,图2a是第一个视角的航拍图像,图2b是第二个视角的航拍图像,图2c是第三个视角的航拍图像。
图3a-图3c中示例性地给出了多视角航拍图像的深度估计结果。其中,图3a是第一个视角航拍图像的深度图,图3b是第二个视角航拍图像的深度图,图3c是第三个视角航拍图像的深度图。
基于多视角深度信息融合的三维点云重建具体包括步骤S110-S112:
步骤S110,对每个视图进行深度优化,得到优化后的深度图。该步骤具体包括如下内容:
对于图像Ii的每个像素点p,根据该像素对应的深度信息λ和相机参数,利用公式(3)的反投影方程将该像素点反投影到三维空间:
其中,p为像素的齐次坐标,X为像素点p反投影到世界坐标系上的三维点;
将X重新投影到图像Ii的相邻图像集N(i),N(i)是在立体图像对选择阶段产生的;
对于相邻图像集N(i)中第k个相邻图像,若满足公式(4)所示的条件:
则确定X在图像Ii和图像Nk中是一致的;其中,d(X,Nk)为图像Nk的深度信息,κ(X,Nk)为重投影后的深度值,τ2为阈值;
若X在相邻图像集N(i)中至少有2个相邻图像是一致的,则X被认为是一个可靠的场景点,将图像Ii中对应像素p的深度值保留,否则将对应像素p的深度值去除。
经过上述优化过程后,大多数错误信息可以被删除,这会得到一个在每个视图下相对比较干净的深度图。
步骤S111,对每个优化后的深度图去除冗余信息。
深度优化之后,我们将利用所有的深度图通过聚合来重建三维点云场景。然而,直接合并深度图将含有大量的冗余三维点云,因为不同的深度图之间可以具有共同的场景覆盖,特别是对于相邻图像。因此,我们在本步骤中要去除冗余信息,具体包括:
对于第i个优化后的深度图中的每个像素,重新利用公式(3)的反投影方程将该像素反投影到三维空间,得到点X;
将点X重新投影到相邻图像集N(i);
若X的深度相对于某个相邻图像的深度较小,则证明第i个图像在该相邻图像中的投影X被遮挡,进而从该相邻图像的深度图中删除对应像素的深度值;
若这两个深度差值小于预设的阈值,则证明在该相邻图像中的投影X表示相同的点,进而从该相邻图像的深度图中删除对应像素的深度值。
步骤S112,将所有去除冗余信息后的深度图投影到三维形式,进而合并成一个单一完整的点云。
图4a-图4b示例性地给出了基于多视角航拍深度图聚合的三维点云。其中,图4a、图4b分别是聚合得到的三维点云的不同视角图像。
在步骤S200中,根据三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云。该步骤包括多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。
其中,多分辨率三维点云特征的统计分析具体包括步骤S201-S202:
步骤S201,为了将点云分别分类到不同的类别(建筑物、地面和植被),我们通过将点云映射到地面上,获得相应的2D支撑网格(网络分辨率可以人工设定为rg),并对每个网格单元计算出投射到该网格单元的点的属性;其中每个网格单元是标准的四邻接域;
步骤S202,根据公式(5)所示的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率:
其中,预设类别包括:建筑物、地面和植被;Fground、Fbuilding和Ftree分别表示当前网格单元属于建筑物、地面和植被的概率;hi表示从网格单元中的点集到地面的最大高度,hi=max{pi→z}-zground,pi为网格单元中的像素,z为对应像素的高度,Zground为地平面的标准高度;为建筑物类别的高度阈值;α、β和γ为权重;σNz为网格单元中点的法线向量z分量绝对值的标准偏差;σH为点在网格单元中高度的标准偏差。
基于全局能量优化的点云分类标记具体包括步骤S203:
步骤S203,通过对公式(6)所示的能量函数的代价值最小化求解,对点云进行语义标签分配:
其中,数据代价函数D(c,fc)将计算如何更好的分配单元格c适合的标签。在点云特征的统计分析过程中,归一化的鉴定函数为所有单元格提供了初始标记的估计值。平滑代价函数将测量邻近单元间的空间相关性。数据代价函数D(c,fc)和平滑代价函数Vp,q分别如公式(7)、(8)所示:
E(f)为能量函数;fc为类别标签;c为网格单元的标号;C为网格单元的集合;ξ为权重;p和q为两个相邻网格单元;N为相邻网格单元集合;I(p,q)为一个示性函数,当相邻网格单元p和q拥有相同标签时该函数值为0,否则为1;直观上,平滑代价函数会惩罚给一对相邻单元格(p,q)分配不同的标签的情况,代价函数同时要确保它们之间存在更小的高度差|hp-hq|。γ′为权重,用于保持数据代价函数D(c,fc)和平滑代价函数Vp,q数量级的一致性;hp、hq分别为网格单元p和q的高度。
在步骤S300中,将建筑物的点云作为初始先验,对多视角航拍图像进行精细建筑物分割。具体包括步骤S301-S303:
步骤S301,以建筑物的点云为初始先验,将建筑物的点云在多视角航拍图像中的对应像素标记为前景建筑物,其他像素随机采样标记为背景区域,从而对多视角航拍图像中的像素进行初始分类;
步骤S302,利用初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型进而完成对前景建筑物和背景的初步概率估计;
步骤S303,结合高斯混合模型,根据公式(9)获得精确建筑物分割结果:
其中,Ed(xp)为数据项,用来计算像素p分类为xp的概率,如公式(10)所示:
ζ为权重;Ec(xp,xq)为平滑项,用来确保近邻像素分类的一致性,如公式(11)所示:
Ec(xp,xq)=|xp-xq| (11)
高斯混合模型用于计算像素p属于前景建筑物的概率;高斯混合模型用于计算像素p属于背景区域的概率;xp、xq分别为对应像素的标记;像素q为像素p的近邻像素;U为多视角航拍图像中全部的像素点的集合。
步骤S400,基于深度信息的建筑物过渡区域计算,从精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
考虑到不是所有建筑都是俯视拍摄,因此建筑分割结果包括建筑侧面区域,因此需要基于深度图求取过渡区域,也就是深度变化比较明显的区域是建筑物侧面。因此,本步骤具体包括步骤S401-S404:
步骤S401,根据深度图像,利用公式(12)计算过渡区域的中每个像素的法向量n(x)在主方向z的投影大小:
δn(x)=<z,n(x)> (12)
其中,<·,·>代表两个变量的内积操作;
步骤S402,计算深度图的梯度变化图δh
步骤S403,根据δn(x)和δh的加权平均生成过渡区域概率图;
步骤S404,根据过渡区域概率图消除建筑侧面的影响,生成精细屋顶分割结果。
图5a-图5c中示例性地给出了本实施例中建筑物过渡区域估计结果。其中,图5a、图5b、图5c分别是第一个视角航拍图像的建筑物过渡区域计算结果、第二个视角航拍图像的建筑物过渡区域计算结果、第三个视角航拍图像的建筑物过渡区域计算结果。
图6a-图6c中示例性地给出了本实施例中多视角航拍图像精细屋顶分割结果。其中,图6a、图6b、图6c分别是第一个视角航拍图像屋顶分割结果、第二个视角航拍图像屋顶分割结果、第三个视角航拍图像屋顶分割结果。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
基于与上面的屋顶分割方法相同的技术构思,本发明还提出了一种屋顶分割***的实施例,下面进行具体说明。
图7是本发明的一种基于多分辨率三维统计信息的屋顶分割***实施例的主要构成示意图。如图7所示,本实施例的屋顶分割***1包括:三维点云信息获取模块10、建筑物点云生成模块20、建筑物分割模块30、建筑物侧面去除模块40。
其中,三维点云信息获取模块10配置为:从多视角航拍图像获取高精度深度及稠密三维点云信息;建筑物点云生成模块20配置为:根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;建筑物分割模块30配置为:将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割;建筑物侧面去除模块40配置为:基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
具体到每个模块中的详细功能配置可参看上面的屋顶分割方法中相关部分,此处不再赘述。
基于上面的屋顶分割方法,本发明还提出一种存储设备的实施例。该存储设备中存储有程序,所述程序适于由处理器加载并执行,以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
进一步的,本发明还提出一种处理设备的实施例。该处理设备包括:处理器和存储器。其中,处理器适于执行程序;存储器适于存储该程序;所述程序适于由所述处理器加载并执行,以实现上面所述的基于多分辨率三维统计信息的屋顶分割方法。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的方法步骤、模块,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (15)

1.一种基于多分辨率三维统计信息的屋顶分割方法,其特征在于,所述方法包括:
从多视角航拍图像获取高精度深度及稠密三维点云信息;
根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;
将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割;
基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
2.根据权利要求1所述的屋顶分割方法,其特征在于,“从多视角航拍图像获取高精度深度及稠密三维点云信息”的步骤具体包括:
多视角航拍图像立体匹配图像对计算、基于片元匹配的高精度稠密深度估计、基于多视角深度信息融合的三维点云重建。
3.根据权利要求2所述的屋顶分割方法,其特征在于,所述多视角航拍图像立体匹配图像对计算具体包括:
根据所述多视角航拍图像,计算摄像机i和j的主视图方向之间的角度θij
计算摄像机i和j的光学中心之间的距离dij
在满足θ1≤θij≤θ2的所述多视角航拍图像中,删除dij>d1或dij<d2的图像,得到剩余图像;
若所述剩余图像的数量小于k1,则将所述剩余图像作为第i个图像的相邻图像集,记为N(i);否则,将所述剩余图像根据θij·dij的值进行升序排序,并选取前k1个图像作为相邻图像集N(i);
在相邻图像集N(i)中选取θij·dij最小的图像,作为第i个图像的参考图像,从而形成立体图像对。
4.根据权利要求3所述的屋顶分割方法,其特征在于,所述基于片元匹配的高精度稠密深度估计具体包括:
根据下式计算图像对间的单应性变换矩阵:
其中,Ii为所述多视角航拍图像集中第i个输入图像,Ij为图像Ii的参照图像,图像Ii和Ij对应的摄像机参数分别为{Ki,Ri,Ci}和{Kj,Rj,Cj},Ki、Kj为摄像机内参数,Ri、Rj为旋转矩阵,Ci、Cj为摄像机中心,ni为当前像素在空间的法线,Xi为当前像素在空间的三维坐标;
在输入图像Ii中,以像素p为中心设定一个矩形窗口B=W×W;
对窗口B中的每个像素q,使用单应性矩阵Hij(q)寻找在参考图像Ij中对应的像素;
根据下式计算每个像素p在代价函数最小时对应的深度值:
其中,fp为像素在空间的平面表示,同时包含三维坐标点和法线。
5.根据权利要求4所述的屋顶分割方法,其特征在于,所述基于多视角深度信息融合的三维点云重建具体包括:
对每个视图进行深度优化,得到优化后的深度图;
对每个所述优化后的深度图去除冗余信息;
将所有去除冗余信息后的深度图投影到三维形式,进而合并成一个单一完整的点云。
6.根据权利要求5所述的屋顶分割方法,其特征在于,“对每个视图进行深度优化,得到优化后的深度图”的步骤具体包括:
对于图像Ii的每个像素点p,根据该像素对应的深度信息λ和相机参数,利用下式的反投影方程将该像素点反投影到三维空间:
其中,p为像素的齐次坐标,X为像素点p反投影到世界坐标系上的三维点;
将X重新投影到图像Ii的相邻图像集N(i);
对于相邻图像集N(i)中第k个相邻图像,若满足
则确定X在图像Ii和图像Nk中是一致的;其中,d(X,Nk)为图像Nk的深度信息,κ(X,Nk)为重投影后的深度值,τ2为阈值;
若X在相邻图像集N(i)中至少有2个相邻图像是一致的,则X被认为是一个可靠的场景点,将图像Ii中对应像素p的深度值保留,否则将对应像素p的深度值去除。
7.根据权利要求6所述的屋顶分割方法,其特征在于,“对每个所述优化后的深度图去除冗余信息”的步骤具体包括:
对于第i个所述优化后的深度图中的每个像素,重新利用所述反投影方程将该像素反投影到三维空间,得到点X;
将点X重新投影到相邻图像集N(i);
若X的深度相对于某个相邻图像的深度较小,则证明第i个图像在该相邻图像中的投影X被遮挡,进而从该相邻图像的深度图中删除对应像素的深度值;
若这两个深度差值小于预设的阈值,则证明在该相邻图像中的投影X表示相同的点,进而从该相邻图像的深度图中删除对应像素的深度值。
8.根据权利要求1所述的屋顶分割方法,其特征在于,“根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云”的步骤具体包括:
多分辨率三维点云特征的统计分析、基于全局能量优化的点云分类标记。
9.根据权利要求8所述的屋顶分割方法,其特征在于,所述多分辨率三维点云特征的统计分析具体包括:
通过将点云映射到地面上,获得相应的2D支撑网格,并对每个网格单元计算出投射到该网格单元的点的属性;
根据下式的三个鉴定函数测量某个网格单元属于三种不同的预设类别的概率:
Ftree=min(α·σH+β·σNz,1)
其中,所述预设类别包括:建筑物、地面和植被;Fground、Fbuilding和Ftree分别表示当前网格单元属于建筑物、地面和植被的概率;hi表示从网格单元中的点集到地面的最大高度,hi=max{pi→z}-zground,pi为网格单元中的像素,z为对应像素的高度,Zground为地平面的标准高度;为建筑物类别的高度阈值;α、β和γ为权重;σNz为网格单元中点的法线向量z分量绝对值的标准偏差;σH为点在网格单元中高度的标准偏差。
10.根据权利要求9所述的屋顶分割方法,其特征在于,所述基于全局能量优化的点云分类标记包括:
通过对下式能量函数的代价值最小化求解,对点云进行语义标签分配:
其中,
E(f)为能量函数;fc为类别标签;c为网格单元的标号;C为网格单元的集合;ξ为权重;p和q为两个相邻网格单元;N为相邻网格单元集合;I(p,q)为一个示性函数,当相邻网格单元p和q拥有相同标签时该函数值为0,否则为1;γ′为权重,用于保持数据代价函数D(c,fc)和平滑代价函数Vp,q数量级的一致性;hp、hq分别为网格单元p和q的高度。
11.根据权利要求1所述的屋顶分割方法,其特征在于,“将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割”的步骤具体包括:
以所述建筑物的点云为初始先验,将所述建筑物的点云在所述多视角航拍图像中的对应像素标记为前景建筑物,其他像素随机采样标记为背景区域,从而对所述多视角航拍图像中的像素进行初始分类;
利用所述初始分类的像素分别对图像前景区域和背景区域训练高斯混合模型进而完成对前景建筑物和背景的初步概率估计;
结合所述高斯混合模型,根据下式获得精确建筑物分割结果:
其中,
Ec(xp,xq)=|xp-xq|
Ed(xp)为数据项,用来计算像素p分类为xp的概率;ζ为权重;Ec(xp,xq)为平滑项,用来确保近邻像素分类的一致性;高斯混合模型用于计算像素p属于前景建筑物的概率;高斯混合模型用于计算像素p属于背景区域的概率;xp、xq分别为对应像素的标记;像素q为像素p的近邻像素;U为所述多视角航拍图像中全部的像素点的集合。
12.根据权利要求1所述的屋顶分割方法,其特征在于,“基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果”的步骤具体包括:
根据深度图像,利用下式计算过渡区域的中每个像素的法向量n(x)在主方向z的投影大小:
δn(x)=<z,n(x)>
其中,<·,·>代表两个变量的内积操作;
计算深度图的梯度变化图δh
根据δn(x)和δh的加权平均生成过渡区域概率图;
根据所述过渡区域概率图消除建筑侧面的影响,生成所述精细屋顶分割结果。
13.一种基于多分辨率三维统计信息的屋顶分割***,其特征在于,所述***包括:三维点云信息获取模块、建筑物点云生成模块、建筑物分割模块、建筑物侧面去除模块;
所述三维点云信息获取模块配置为:从多视角航拍图像获取高精度深度及稠密三维点云信息;
所述建筑物点云生成模块配置为:根据所述三维点云信息提取不同分辨率的三维点云特征统计信息,利用全局能量优化对三维点云场景进行语义分类,得到建筑物的点云;
所述建筑物分割模块配置为:将所述建筑物的点云作为初始先验,对所述多视角航拍图像进行精细建筑物分割;
所述建筑物侧面去除模块配置为:基于深度信息的建筑物过渡区域计算,从所述精细建筑物分割结果中去除建筑物侧面对精细屋顶分割的干扰,得到精细屋顶分割结果。
14.一种存储设备,其存储有程序,其特征在于,所述程序适于由处理器加载并执行,以实现权利要求1-12中任一项所述的基于多分辨率三维统计信息的屋顶分割方法。
15.一种处理设备,包括:处理器和存储器;
所述处理器,适于执行程序;
所述存储器,适于存储该程序;
其特征在于,所述程序适于由所述处理器加载并执行,以实现权利要求1-12中任一项所述的基于多分辨率三维统计信息的屋顶分割方法。
CN201810794383.2A 2018-07-19 2018-07-19 基于多分辨率三维统计信息的屋顶分割方法、***及设备 Active CN109242855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810794383.2A CN109242855B (zh) 2018-07-19 2018-07-19 基于多分辨率三维统计信息的屋顶分割方法、***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810794383.2A CN109242855B (zh) 2018-07-19 2018-07-19 基于多分辨率三维统计信息的屋顶分割方法、***及设备

Publications (2)

Publication Number Publication Date
CN109242855A true CN109242855A (zh) 2019-01-18
CN109242855B CN109242855B (zh) 2020-08-11

Family

ID=65072205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810794383.2A Active CN109242855B (zh) 2018-07-19 2018-07-19 基于多分辨率三维统计信息的屋顶分割方法、***及设备

Country Status (1)

Country Link
CN (1) CN109242855B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490415A (zh) * 2019-07-15 2019-11-22 同济大学 一种多无人机视觉协同的建筑进度评估方法
CN111242950A (zh) * 2020-01-03 2020-06-05 北京三快在线科技有限公司 一种建筑物边界确定方法及装置
JP2021033584A (ja) * 2019-08-22 2021-03-01 株式会社パスコ 建物変化識別装置及びプログラム
CN112686877A (zh) * 2021-01-05 2021-04-20 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及***
CN112750098A (zh) * 2021-04-06 2021-05-04 杭州蓝芯科技有限公司 深度图优化方法及装置、***、电子设备、存储介质
CN113537180A (zh) * 2021-09-16 2021-10-22 南方电网数字电网研究院有限公司 树障的识别方法、装置、计算机设备和存储介质
CN113763438A (zh) * 2020-06-28 2021-12-07 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN113822999A (zh) * 2021-09-22 2021-12-21 杭州趣村游文旅集团有限公司 一种数字乡村三维模型的建筑物分割方法
CN113965742A (zh) * 2021-02-28 2022-01-21 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN116071530A (zh) * 2023-03-07 2023-05-05 青岛市勘察测绘研究院 一种基于机载激光点云的建筑物屋***化分割方法
CN116662728A (zh) * 2023-07-28 2023-08-29 北京图知天下科技有限责任公司 一种屋顶平面的提取方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN104021586A (zh) * 2014-05-05 2014-09-03 深圳市城市管理监督指挥中心 基于北斗定位的空地一体城市生态文明管理***及方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
CN104484668A (zh) * 2015-01-19 2015-04-01 武汉大学 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN106126816A (zh) * 2016-06-24 2016-11-16 南京林业大学 重复建筑自动感知下的大规模als建筑点云建模方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877128A (zh) * 2009-12-23 2010-11-03 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN104021586A (zh) * 2014-05-05 2014-09-03 深圳市城市管理监督指挥中心 基于北斗定位的空地一体城市生态文明管理***及方法
CN104143194A (zh) * 2014-08-20 2014-11-12 清华大学 一种点云分割方法及装置
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN104484668A (zh) * 2015-01-19 2015-04-01 武汉大学 一种无人机多重叠遥感影像的建筑物轮廓线提取方法
CN106126816A (zh) * 2016-06-24 2016-11-16 南京林业大学 重复建筑自动感知下的大规模als建筑点云建模方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ER LI ET.AL.: ""Building Extraction from Remotely Sensed Images by Integrating Saliency Cue"", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
刘倩兰等: ""基于颜色和深度的场景分割"", 《北京信息科技大学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490415A (zh) * 2019-07-15 2019-11-22 同济大学 一种多无人机视觉协同的建筑进度评估方法
JP2021033584A (ja) * 2019-08-22 2021-03-01 株式会社パスコ 建物変化識別装置及びプログラム
CN111242950A (zh) * 2020-01-03 2020-06-05 北京三快在线科技有限公司 一种建筑物边界确定方法及装置
CN111242950B (zh) * 2020-01-03 2023-03-31 北京三快在线科技有限公司 一种建筑物边界确定方法及装置
CN113763438B (zh) * 2020-06-28 2024-04-19 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN113763438A (zh) * 2020-06-28 2021-12-07 北京京东叁佰陆拾度电子商务有限公司 一种点云配准方法、装置、设备及存储介质
CN112686877A (zh) * 2021-01-05 2021-04-20 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及***
CN112686877B (zh) * 2021-01-05 2022-11-11 同济大学 基于双目相机的三维房屋损伤模型构建测量方法及***
CN113965742A (zh) * 2021-02-28 2022-01-21 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN113965742B (zh) * 2021-02-28 2022-04-19 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN112750098A (zh) * 2021-04-06 2021-05-04 杭州蓝芯科技有限公司 深度图优化方法及装置、***、电子设备、存储介质
CN113537180B (zh) * 2021-09-16 2022-01-21 南方电网数字电网研究院有限公司 树障的识别方法、装置、计算机设备和存储介质
CN113537180A (zh) * 2021-09-16 2021-10-22 南方电网数字电网研究院有限公司 树障的识别方法、装置、计算机设备和存储介质
CN113822999A (zh) * 2021-09-22 2021-12-21 杭州趣村游文旅集团有限公司 一种数字乡村三维模型的建筑物分割方法
CN113822999B (zh) * 2021-09-22 2024-02-23 杭州趣村游文旅集团有限公司 一种数字乡村三维模型的建筑物分割方法
CN116071530A (zh) * 2023-03-07 2023-05-05 青岛市勘察测绘研究院 一种基于机载激光点云的建筑物屋***化分割方法
CN116662728A (zh) * 2023-07-28 2023-08-29 北京图知天下科技有限责任公司 一种屋顶平面的提取方法、电子设备及存储介质
CN116662728B (zh) * 2023-07-28 2023-10-27 北京图知天下科技有限责任公司 一种屋顶平面的提取方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN109242855B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN109242855A (zh) 基于多分辨率三维统计信息的屋顶分割方法、***及设备
CN104156972B (zh) 基于激光扫描测距仪与多相机融合的透视成像方法
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
Sirmacek et al. Performance evaluation for 3-D city model generation of six different DSMs from air-and spaceborne sensors
CN105844696B (zh) 基于射线模型三维重构的图像定位方法以及装置
CN103810744B (zh) 在点云中回填点
CN104376552B (zh) 一种3d模型与二维图像的虚实配准方法
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN108734728A (zh) 一种基于高分辨序列图像的空间目标三维重构方法
US9942535B2 (en) Method for 3D scene structure modeling and camera registration from single image
CN106228609A (zh) 一种基于空间特征信息的倾斜摄影三维建模方法
CN108401461A (zh) 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品
CN104820991B (zh) 一种基于代价矩阵的多重软约束立体匹配方法
CN107274483A (zh) 一种物体三维模型构建方法
CN107527038A (zh) 一种三维地物自动提取与场景重建方法
Barazzetti et al. True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach
CN111141264B (zh) 一种基于无人机的城市三维测绘方法和***
Pylvanainen et al. Automatic alignment and multi-view segmentation of street view data using 3d shape priors
CN107657659A (zh) 基于长方体拟合扫描三维点云的曼哈顿结构建筑物自动建模方法
CN107170037A (zh) 一种基于多摄像机的实时三维点云重建方法和***
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN108474658A (zh) 地面形态检测方法及***、无人机降落方法和无人机
CN111754618B (zh) 一种面向对象的实景三维模型多层次解译方法及***
CN112862966B (zh) 地表三维模型构建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant