CN115564661B - 建筑物玻璃区域立面自动修复方法及*** - Google Patents
建筑物玻璃区域立面自动修复方法及*** Download PDFInfo
- Publication number
- CN115564661B CN115564661B CN202210841530.3A CN202210841530A CN115564661B CN 115564661 B CN115564661 B CN 115564661B CN 202210841530 A CN202210841530 A CN 202210841530A CN 115564661 B CN115564661 B CN 115564661B
- Authority
- CN
- China
- Prior art keywords
- glass
- data
- elevation
- triangular
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 192
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 14
- 230000008439 repair process Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 1
- 238000009499 grossing Methods 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提出的建筑物玻璃区域立面自动修复方法及***，包括如下步骤：信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元；信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。通过利用深度学***滑算法对玻璃立面网格进行处理，优化玻璃立面模型，减少人工修复模型的工作，能够大幅度地提高工作效率。
Description
技术领域
本发明属于建筑信息三维实景重建技术领域，特别涉及一种建筑物玻璃区域立面自动修复方法及***。
背景技术
实景建模技术(也称作基于图像的三维重建)，主要指无人机倾斜摄影实景建模技术，是近年测绘遥感领域发展起来的一项高新实用技术，主要原理为通过在飞行平台上搭载一台或多台倾斜摄影相机，同时从垂直、倾斜等不同的角度采集影像，通过专业软件进行解析空中三角测量、几何校正、同名点匹配、区域网联合平差等处理，最后将平差后的数据(三个坐标信息及三个方向角信息)赋予每张倾斜影像，使得它们具有在虚拟三维空间中的位置和形态数据，合成高精度三维实景模型。三维实景模型可进行实时量测，每张斜片上的每个像素对应真实的地理坐标位置。能有效的辅助工程实践的各个环节的工作。
基于无人机(UAV)倾斜摄影测量的三维建模技术，效率高且成本低，被广泛应用于大范围的城市实景三维模型重建。建筑物是组成城市场景的重要元素，其中带有玻璃立面的建筑物非常普遍。玻璃立面信息还可以为城市光照分析、光污染评估、电信号处理、节能减排等应用提供重要支撑。
然而，由于玻璃材质的特殊属性和算法的局限性，现有的基于立体视觉(Multi-view Stereo,MVS)的三维重建方法，无法重建出完好的玻璃立面。原因在于玻璃立面往往存在不同程度的几何形变、纹理模糊等问题，影响了三维模型完整性和美观性。具体原因可大致归为以下两点：
1)玻璃往往具有单一颜色，材质均匀，为弱纹理表面。因此，传统的特征点提取和匹配算法无法生成较多且准确的同名点，从而在模型构网时，没有足够的3D点云，容易出现空洞。
2)较多无关信息的干扰。在无人机拍摄倾斜影像时，透明的玻璃后和不透明的玻璃反射的各种各样的物体会被捕捉，而这些无关的物体，会干扰玻璃立面的重建过程，引起3D点的位置偏移，从而造成3D模型的几何形变和纹理错乱。
针对上述问题，现有的玻璃区域立面修复方法是通过人工修复，首先确定模型中的玻璃立面，然后对没重建好的玻璃立面模型进行网格和纹理手工修复。这一过程，可以利用专业软件完成，例如，利用大势智慧的模型修复工具“模方”修复玻璃立面，首先将三维模型导入模方，其次通过目视的方法确定需要修复的区域，接着根据先验知识手工修改模型网格和修复模型纹理。但上述操作需要需要耗费大量的人力物力进行一步一步的操作，而导致生产效率较低。
为此，本发明提出一种建筑物玻璃区域立面自动修复方法及***，以达到优化三维重建结果，提高重建效率的目的。
发明内容
针对上述问题，本发明提出一种建筑物玻璃区域立面自动修复方法及***。
第一方面，本申请实施例提供了一种建筑物玻璃区域立面自动修复方法包括如下步骤：
信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元；
信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；
数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
根据本申请实施例的一种具体实现方式，所述目标影像信息数据包括不同视角下的图像信息及三维点云信息。
根据本申请实施例的一种具体实现方式，所述信息采集单元采集建筑物的目标影像信息数据包括：
通过至少一台倾斜摄影相机，从不同的角度进行影像采集，分别获取目标建筑物的目标影像信息数据。
根据本申请实施例的一种具体实现方式，所述信息预处理单元对所述目标影像信息数据进行玻璃立面提取处理，得到玻璃立面数据包括：
将经过人工标注含有玻璃区域的影像标注数据在预设的训练模型内进行训练，得到深度神经网络模型；
利用训练好的深度神经网络模型检测目标影像信息数据中的玻璃，得到玻璃区域的掩膜maski；
利用所述目标影像信息数据的上下文特征，提取所述目标影像信息数据中的玻璃区域立面影像数据，其中，所述上下文特征包括影像中目标像素与周围像素的关联，目标整体与背景的关联。
根据本申请实施例的一种具体实现方式，所述数据处理单元对所述玻璃立面数据进行处理包括：
结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系；
利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据；
利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复，优化玻璃立面模型。
根据本申请实施例的一种具体实现方式，所述结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系包括：
对三角网格做可视判断，得到可视三角网格Ti；
将可视三角网格Ti投影至倾斜影像中，对可视三角网格Ti进行投影判断，得到玻璃区域的三角网格集合Fset；
对三角网格集合Fset中的三角网格进行筛选，计算三角形的重叠度，对重叠度大于0.5的两个三角网格，计算他们到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合Gset。
根据本申请实施例的一种具体实现方式，所述对三角网格做可视判断，得到可视三角网格Ti包括：
对模型三角网格Tset中的三角网格Ti，设定其法向量为中心为Ci,，记Ci到相机中心Oi的向量为/>计算/>与/>之间的夹角，如果大于90°则三角网格Tj为不可视，如小于90°则三角网格Ti为可视。
根据本申请实施例的一种具体实现方式，所述对可视三角网格Ti进行投影判断，得到玻璃区域的三角网格集合Fset包括：
根据倾斜影像的像素平面坐标系(u，v)与三维模型的模型坐标(Xw，Yw，Zw)映射关系(见式(1))，将可视三角网格Ti，投影到倾斜影像中并记为Si；
如Si的两个或以上的点落在玻璃区域的maski中，则划分为玻璃，否则划分为非玻璃，并将划分为玻璃的三角网格集合记为Fset；
式(1)中：
dx、dy分别代表单个像素的横轴尺寸、纵轴尺寸；
u0、v0分别代表像主点在像平面坐标系的横坐标和纵坐标；
f代表相机焦距；
R为相机外方位元素构成的3×3旋转矩阵；
0T为(0，0，0)；
t为相机光心在世界坐标系的平移向量；
Xw、Yw、Zw为模型坐标值。
根据本申请实施例的一种具体实现方式，所述利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据包括：
对玻璃立面集合Gset中的所有三角网格Tn，计算其法向量为利用 meanshift算法(见式(2))对三角网格的法向量kn进行聚类；
将Gset划分为q组，进行立面的平滑修复(见式(3))；
Gset＝G1∪G2∪…∪Gq (3)
式(2)中：
Sk是一个半径为h的高维球区域；
K表示在这n个样本点xi中，有k个点落入Sk区域。
根据本申请实施例的一种具体实现方式，所述利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复中算法公式为：
式中：
f和g分别为空间域核以及值域核，核函数都为高斯函数；
aq为三角片的q的面积；
cq为三角片的q的中心；
S为满足|cq-p|<2σf的三角网格集；
p'为计算得到新顶点的位置。
第二方面，提供了一种建筑物玻璃区域立面自动修复***，所述***包括：
信息采集模块，所述信息采集模块用于采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元模块；
所述信息预处理模块，所述信息预处理模块用于接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理模块；
所述数据处理模块，所述数据处理模块用于接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
本发明的建筑物玻璃区域立面自动修复方法及***，通过利用深度学***滑算法对玻璃立面网格进行处理，具有如下优点：
(1)本发明提出的建筑物玻璃区域立面自动修复方法，可以优化三维模型中的玻璃立面，有效缓解玻璃立面的几何畸变，提升模型的美观性和完整性，同时减少人工耗费，提高重建效率。
(2)本发明结合深度学习方法和三维模型几何信息，利用图像与三角网格的对应关系，在多视角约束下，自动提取三维模型中的玻璃立面数据信息。提取的玻璃立面数据信息可为模型修复工和模型应用提供重要的语义信息。
(3)本发明通过采用分组策略，利用带有边缘约束的网格降噪算法，对网格进行平滑修复。在平滑过程中引入平面信息和边缘约束，可有效保证玻璃立面网格的边缘特征以及优化后模型的完整性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的建筑物玻璃区域立面自动修复方法流程示意图；
图2示出了本发明实施例的对所述玻璃立面数据进行平滑修复处理流程示意图；
图3示出了本发明实施例的确定图像与三角网格的对应关系流程示意图；
图4为本发明实施例中训练数据样本示意图；
图5示出了本实施例中建立模型三角网格与倾斜影像对应关系方法示意图；
图6示出了本发明实施例中玻璃立面网格平滑方法示意图；
图7示出了本发明实施例中的三个不同的实景三维建筑及玻璃立面区域检测结果示意图；
图(A)、图(B)、图(C)为三个不同的实景三维建筑模型，图(a)、图(b)、图(c)分别为图(A)、图(B)、图(C)模型中对应的玻璃立面检测结果；图(D)和图(d)分别截取自图(C)和图(c)的局部区域；以及，
图8示出了本发明实施中模型A和模型B两个实景三维建筑模型的玻璃立面区域修复前后对比结果示意图；
图(a)、图(b)、图(c)、图(d)的修复前后图截取自模型A；图 (e)、图(f)、图(g)、图(h)的修复前后图截取自模型B。
图9示出了本发明实施例中建筑物玻璃区域立面自动修复***的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种建筑物玻璃区域立面自动修复方法及***，优化在三维重建过程中玻璃立面往往存在不同程度的几何形变、纹理模糊等问题的同时提高了工作效率。
请参照图1，图1示出了本发明实施例的建筑物玻璃区域立面自动修复方法流程示意图。如图1所示，本发明的建筑物玻璃区域立面自动修复方法包括如下步骤：
步骤S100：信息采集单元采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元。
具体地，信息采集单元从不同的角度进行影像采集，分别获取目标建筑物的目标影像信息数据，其中，目标影像信息数据包括不同视角下的图像信息及三维点云信息。示例性的，本发明实施例中的信息采集单元在实际过程中为至少一台安装在云台上的倾斜摄影相机。当倾斜摄影相机从不同角度对目标建筑物进行影像采集，获得目标影像信息数据之后通过有线或无线的方式将目标影像信息数据发送至信息预处理单元，等待进行下一步的操作。
步骤S200：信息预处理单元接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元。
具体的，将经过人工标注含有玻璃区域的影像标注数据在预设的训练模型内进行训练，得到深度神经网络模型；利用训练好的深度神经网络模型检测目标影像信息数据中的玻璃，得到玻璃区域的掩膜maski；利用所述目标影像信息数据的上下文特征，提取所述目标影像信息数据中的玻璃区域立面影像数据，其中，所述上下文特征包括影像中目标像素与周围像素的关联，目标整体与背景的关联。
更进一步地，为了提高为了提高模型的泛化能力，对含有玻璃区域的影像数据进行增强，包括但不限于旋转、镜像。
步骤S300：数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
更进一步的，请参照图2，图2示出了本发明实施例的对所述玻璃立面数据进行平滑修复处理流程示意图。如图2所示，对所述玻璃立面数据进行平滑修复处理包括如下步骤：
步骤S301：结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系。请参照图3，图3示出了本发明实施例的确定图像与三角网格的对应关系流程示意图。如图3所示，确定图像与三角网格的对应关系包括如下步骤：
步骤S3011：对三角网格做可视判断，得到可视三角网格Ti。
判断的具体过程如下：对模型三角网格Tset中的三角网格Ti，设定其法向量为中心为Ci,，记Ci到相机中心Oi的向量为/>计算/>与/>之间的夹角，如果大于90°则三角网格Tj为不可视，如小于90°则三角网格Ti为可视。
步骤S3012：将可视三角网格Ti投影至倾斜影像中，对可视三角网格Ti进行投影判断，得到玻璃区域的三角网格集合Fset；
判断的具体过程如下：根据倾斜影像的像素平面坐标系(u，v)与三维模型的模型坐标(Xw，Yw，Zw)映射关系(见式(1))，将可视三角网格Ti，投影到倾斜影像中并记为Si；
如Si的两个或以上的点落在玻璃区域的maski中，则划分为玻璃，否则划分为非玻璃，并将划分为玻璃的三角网格集合记为Fset；
式(1)中：
dx、dy分别代表单个像素的横轴尺寸、纵轴尺寸；
u0、v0分别代表像主点在像平面坐标系的横坐标和纵坐标；
f代表相机焦距；
R为相机外方位元素构成的3×3旋转矩阵，
0T为(0，0，0)；
t为相机光心在世界坐标系的平移向量；
Xw、Yw、Zw为模型坐标值。
步骤S3013：对三角网格集合Fset中的三角网格进行筛选，计算三角形的重叠度(IoU)，对IoU大于0.5的两个三角网格，计算他们到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合Gset。
然后步骤S302：利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据。
具体为对玻璃立面集合Gset中的所有三角网格Tn，计算其法向量为利用meanshift算法(见式(2))对三角网格的法向量kn进行聚类；
将Gset划分为q组，进行立面的平滑修复(见式(3))；
Gset＝G1∪G2∪…∪Gq (3)
式(2)中：
Sk是一个半径为h的高维球区域，
K表示在这n个样本点xi中，有k个点落入Sk区域。
最后，步骤S303：利用带有边缘约束的网格降噪平滑算法，对网格的各组玻璃立面数据进行平滑修复，优化玻璃立面模型。
其中，对网格的各组玻璃立面数据进行平滑修复中算法公式为：
式中：
f和g分别为空间域核以及值域核，核函数都为高斯函数；
aq为三角片的q的面积，
cq为三角片的q的中心，
S为满足|cq-p|<2σf的三角网格集，
p'为计算得到新顶点的位置。
本发明的建筑物玻璃区域立面自动修复方法首先利用深度学***滑算法对玻璃立面网格进行处理，优化玻璃立面模型，减少人工修复模型的工作，提高生产效率。
接下来，将结合实际情况进行示例性说明：当数台倾斜摄影相机从不同角度对目标建筑物进行影像采集，获得目标影像信息数据即倾斜影像之后通过无线传输的方式将所获得的倾斜影像传送至信息预处理单元，在预处理单元中将倾斜影像裁剪为512×512像素大小，选取含有玻璃影像，利用Labelme标注工具进行人工标注。为了提高模型的泛化能力，对数据进行增强，包括旋转、镜像等。接着，在含有玻璃区域的影像数据准备好后，数据内容，请参照图4，在ImageNet预训练模型上进行训练。在图4中， (a)列为裁剪成512*512像素大小的倾斜影像，(b)列为标注的玻璃立面区域，(c)列为标注的玻璃立面边缘。在表1的训练环境下，设置批量大小(batchsize)为2，初始学习率为0.002，并分别的60000，80000，100000 次迭代时下降，权重衰减和动量分别为0.0001和0.9，模型训练直到loss 不再下降。最后，利用训练好的模型检测多视角倾斜影像中的玻璃，得到玻璃区域的掩膜maski(玻璃区域的maski像素值为1，背景区域的像素值为0)。本实施例中选用ImageNet预训练模型的主要原因包括：一方面 ImageNet是图像领域里有很多事先标注好训练数据的数据集合，分量足训练出的参数准确；另一方面ImageNet有1000类，类别多，通用性好，预训练完后适应性强，无需考虑能否使用的情况。
表1：玻璃检测模型训练环境
在多视角约束下，根据三角网格与倾斜影像对应关系，提取建筑物玻璃立面。本发明结合深度学习方法和三维模型几何信息，利用图像与三角网格的对应关系，在多视角约束下，自动提取三维模型中的玻璃立面。提取的玻璃立面信息可为模型修复工和模型应用提供重要的语义信息
具体请参照图5，图5示出了本实施例中建立模型三角网格与倾斜影像对应关系方法示意图。首先，对三角网格做可视判断。对模型三角网格Tset中的三角网格Ti，其法向量为中心为Ci,记Ci到相机中心Oi的向量为/>计算/>与/>之间的夹角，如果大于90°则继续判断下一个三角网格Tj的可视性，如小于90°则三角网格Ti为可视，对可视三角网格进行投影判断。其次，根据倾斜影像的像素平面坐标系(u，v)与三维模型的模型坐标(Xw，Yw，Zw)映射关系(见公式(1))，将可视三角网格Ti，投影到倾斜影像中并记为Si，如Si的两个或以上的点落在maski中，则很有可能为玻璃，否则不是，并将很有可能为玻璃的三角网格集合记为Fset。最后，对 Fset中的三角网格进行筛选，计算三角形的重叠度，三角形重叠度IoU大于0.5的两个三角网格，分别计算他们到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合Gset。
公式(1)中，dx、dy分别代表单个像素的横轴尺寸、纵轴尺寸；u0、 v0分别代表像主点在像平面坐标系的横坐标和纵坐标；f代表相机焦距；R 为相机外方位元素构成的3×3旋转矩阵，0T为(0，0，0)；t为相机光心在世界坐标系的平移向量；Xw、Yw、Zw为模型坐标值。
对玻璃立面集合Gset中的所有三角网格Tn，计算其法向量为利用 meanshift算法对三角网格的法向量kn进行聚类。meanshift算法是一个迭代过程，先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束，基本形式定义为公式(2)， Sk是一个半径为h的高维球区域，K表示在这n个样本点xi中，有k个点落入Sk区域中。最后将Gset划分为q组，进行立面的平滑修复。
Gset＝G1∪G2∪…∪Gq (3)
对分组后的玻璃立面，利用带有边缘约束的网格双边滤波降噪算法，对网格进行平滑，优化玻璃立面模型，具体请参考图6，图6示出了本发明实施例中玻璃立面网格平滑方法示意图。具体的，网格双边滤波降噪算法原理见公式(4)。
其中，f和g分别为空间域核以及值域核，核函数都为高斯函数，aq为三角片的q的面积，cq为三角片的q的中心，S为满足|cq-p|<2σf的三角网格集，p'为计算得到新顶点的位置。此外，在降噪过程中加入边缘约束，从能保证了玻璃立面网格边缘的完整性。
根据上述步骤，对三个不同的实景三维建筑进行建模、玻璃立面区域检测以及对玻璃立面区域平滑修复。具体请参照图7和图8，图7示出了本发明实施例中的三个不同的实景三维建筑及玻璃立面区域检测结果示意图；图8示出了本发明实施中模型A和模型B两个实景三维建筑模型的玻璃立面区域修复前后对比结果示意图，
其中，图7中，图(A)、图(B)、图(C)为三个不同的实景三维建筑模型，图(a)、图(b)、图(c)分别为图(A)、图(B)、图(C) 模型中对应的玻璃立面检测结果；图(D)和图(d)分别截取自图(C) 和图(c)的局部区域；图8中，图(a)、图(b)、图(c)、图(d)的修复前后图截取自模型A；图(e)、图(f)、图(g)、图(h)的修复前后图截取自模型B。从模型修复前后结果来看，本方法可以较好的修复三维建筑模型的玻璃立面，改善了玻璃立面的几何和纹理形变。
本发明采用分组策略，利用带有边缘约束的网格降噪算法，对网格进行平滑。在平滑过程中引入平面信息和边缘约束，可有效保证玻璃立面网格的边缘特征以及优化后模型的完整性。
本发明还提供了一种建筑物玻璃区域立面自动修复***，请参照图9，图9示出了本发明实施例中建筑物玻璃区域立面自动修复***的结构示意图。如图9所示，所述***包括：信息采集模块、信息预处理模块及数据处理模块。
信息采集模块，所述信息采集模块用于采集建筑物的目标影像信息数据，将所述标目标影像信息数据发送至信息预处理单元模块；
所述信息预处理模块，所述信息预处理模块用于接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理模块；
所述数据处理模块，所述数据处理模块用于接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
本发明提出的建筑物玻璃区域立面自动修复方法，可以优化三维模型中的玻璃立面，有效缓解玻璃立面的几何畸变，提升模型的美观性和完整性，同时减少人工耗费，提高重建效率。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种建筑物玻璃区域立面自动修复方法，其特征在于：
包括如下步骤：
信息采集单元采集建筑物的目标影像信息数据，将所述目标影像信息数据发送至信息预处理单元；
信息预处理单元接收所述目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理单元；
数据处理单元接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型；
所述数据处理单元对所述玻璃立面数据进行处理包括：
结合三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系；
利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据；
利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复，优化玻璃立面模型；
所述利用带有边缘约束的网格双边滤波降噪算法，对网格的各组玻璃立面数据进行平滑修复中算法公式如下：
式中：
f和g分别为空间域核以及值域核，核函数都为高斯函数；
aq为三角片的q的面积；
cq为三角片的q的中心；
S为满足|cq-p|<2σf的三角网格集；
p'为计算得到新顶点的位置。
2.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述信息采集单元采集建筑物的目标影像信息数据包括：
通过至少一台倾斜摄影相机，从不同的角度进行影像采集，分别获取目标建筑物的目标影像信息数据。
3.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述信息预处理单元对所述目标影像信息数据进行玻璃立面提取处理，得到玻璃立面数据包括：
将经过人工标注含有玻璃区域的影像标注数据在预设的训练模型内进行训练，得到深度神经网络模型；
利用训练好的深度神经网络模型检测目标影像信息数据中的玻璃，得到玻璃区域的掩膜maski；
利用所述目标影像信息数据的上下文特征，提取所述目标影像信息数据中的玻璃区域立面影像数据，其中，所述上下文特征包括影像中目标像素与周围像素的关联，目标整体与背景的关联。
4.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述结合所述三维点云信息的几何结构信息，在多视角约束下，确定图像与三角网格的对应关系包括：
对三角网格做可视判断，得到可视三角网格Ti；
将可视三角网格Ti投影至倾斜影像中，对可视三角网格Ti进行投影判断，得到玻璃区域的三角网格集合Fset；
对三角网格集合Fset中的三角网格进行筛选，计算三角形的重叠度，对重叠度大于0.5的两个三角网格，计算该两个三角网格到相机中心的距离，保留距离更近的三角网格，得到玻璃立面的三角网格集合Gset；
所述对三角网格做可视判断，得到可视三角网格Ti包括：
对模型三角网格Tset中的三角网格Ti，设定其法向量为中心为Ci，记Ci到相机中心Oi的向量为/>计算/>与/>之间的夹角，如果大于90°则三角网格Ti为不可视，如小于90°则三角网格Ti为可视。
5.根据权利要求4所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述对可视三角网格Ti进行投影判断，得到玻璃区域的三角网格集合Fset包括：
根据公式(1)获取倾斜影像的像素平面坐标系(u，v)与三维模型的模型坐标(Xw，Yw，Zw)映射关系，将可视三角网格Ti，投影到倾斜影像中并记为Si；
如Si的两个或以上的点落在玻璃区域的maski中，则划分为玻璃，否则划分为非玻璃，并将划分为玻璃的三角网格集合记为Fset；
式(1)中：
dx、dy分别代表单个像素的横轴尺寸、纵轴尺寸；
u0、v0分别代表像主点在像平面坐标系的横坐标和纵坐标；
f代表相机焦距；
R为相机外方位元素构成的3×3旋转矩阵；
0T为(0，0，0)；
t为相机光心在世界坐标系的平移向量；
Xw、Yw、Zw为模型坐标值。
6.根据权利要求1所述的建筑物玻璃区域立面自动修复方法，其特征在于：所述利用meanshift算法对三角网格的法向量进行聚类，将聚类完成的数据进行分组，得到各组玻璃立面数据包括：
对玻璃立面集合Gset中的所有三角网格Tn，计算其法向量为利用公式(2)对三角网格的法向量kn进行聚类；
根据公式(3)将Gset划分为q组，进行立面的平滑修复；
Gset＝G1∪G2∪...∪Gq (3)
式(2)中：
Sk是一个半径为h的高维球区域；
K表示在这n个样本点xi中，有k个点落入Sk区域。
7.一种用于实现权利要求1所述建筑物玻璃区域立面自动修复方法的建筑物玻璃区域立面自动修复***，其特征在于：所述***包括：
信息采集模块，所述信息采集模块用于采集建筑物的目标影像信息数据，将所述目标影像信息数据发送至信息预处理单元模块；
所述信息预处理模块，所述信息预处理模块用于接收所述标目标影像信息数据，进行玻璃立面提取处理，得到玻璃立面数据，发送至数据处理模块；
所述数据处理模块，所述数据处理模块用于接收所述玻璃立面数据，对所述玻璃立面数据进行平滑修复处理，生成优化后的玻璃立面模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841530.3A CN115564661B (zh) | 2022-07-18 | 2022-07-18 | 建筑物玻璃区域立面自动修复方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210841530.3A CN115564661B (zh) | 2022-07-18 | 2022-07-18 | 建筑物玻璃区域立面自动修复方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115564661A CN115564661A (zh) | 2023-01-03 |
| CN115564661B true CN115564661B (zh) | 2023-10-10 |
Family
ID=84739466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210841530.3A Active CN115564661B (zh) | 2022-07-18 | 2022-07-18 | 建筑物玻璃区域立面自动修复方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115564661B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458764A (zh) * | 2019-07-08 | 2019-11-15 | 天津大学 | 一种基于形态学图形处理的点云数据平滑方法 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和*** |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| CN114022620A (zh) * | 2022-01-06 | 2022-02-08 | 武汉大势智慧科技有限公司 | 一种三维场景重建中散乱纹理的剔除方法和*** |
| CN114066768A (zh) * | 2021-11-24 | 2022-02-18 | 武汉大势智慧科技有限公司 | 建筑物立面图像修复方法、装置、设备及存储介质 |
| CN114089330A (zh) * | 2022-01-18 | 2022-02-25 | 北京航空航天大学 | 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 |
| CN114359503A (zh) * | 2021-12-13 | 2022-04-15 | 广西壮族自治区自然资源和不动产登记中心 | 一种基于无人机倾斜摄影建模方法 |
| CN114494292A (zh) * | 2022-01-19 | 2022-05-13 | 武汉大势智慧科技有限公司 | 一种建筑物立面玻璃区域提取方法及*** |
| CN114612488A (zh) * | 2022-03-11 | 2022-06-10 | 中国电建集团中南勘测设计研究院有限公司 | 建筑物单体化信息提取方法、计算机装置及存储介质 |
-
2022
- 2022-07-18 CN CN202210841530.3A patent/CN115564661B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458764A (zh) * | 2019-07-08 | 2019-11-15 | 天津大学 | 一种基于形态学图形处理的点云数据平滑方法 |
| CN112927360A (zh) * | 2021-03-24 | 2021-06-08 | 广州蓝图地理信息技术有限公司 | 一种基于倾斜模型与激光点云数据融合的三维建模方法和*** |
| CN113128405A (zh) * | 2021-04-20 | 2021-07-16 | 北京航空航天大学 | 一种结合语义分割与点云处理的植物识别与模型构建方法 |
| CN114066768A (zh) * | 2021-11-24 | 2022-02-18 | 武汉大势智慧科技有限公司 | 建筑物立面图像修复方法、装置、设备及存储介质 |
| CN114359503A (zh) * | 2021-12-13 | 2022-04-15 | 广西壮族自治区自然资源和不动产登记中心 | 一种基于无人机倾斜摄影建模方法 |
| CN114022620A (zh) * | 2022-01-06 | 2022-02-08 | 武汉大势智慧科技有限公司 | 一种三维场景重建中散乱纹理的剔除方法和*** |
| CN114089330A (zh) * | 2022-01-18 | 2022-02-25 | 北京航空航天大学 | 一种基于深度图像修复的室内移动机器人玻璃检测与地图更新方法 |
| CN114494292A (zh) * | 2022-01-19 | 2022-05-13 | 武汉大势智慧科技有限公司 | 一种建筑物立面玻璃区域提取方法及*** |
| CN114612488A (zh) * | 2022-03-11 | 2022-06-10 | 中国电建集团中南勘测设计研究院有限公司 | 建筑物单体化信息提取方法、计算机装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115564661A (zh) | 2023-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020192355A1 (zh) | 一种城市观山可视域的测量方法及*** | |
| CN110428501B (zh) | 全景影像生成方法、装置、电子设备及可读存储介质 | |
| CN104463969B (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
| CN114494292A (zh) | 一种建筑物立面玻璃区域提取方法及*** | |
| CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
| CN114549956B (zh) | 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法 | |
| CN112435252B (zh) | 一种战斗部破片穿孔和凹坑检测方法 | |
| WO2024088071A1 (zh) | 三维场景重建方法、装置、设备及存储介质 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN110322541A (zh) | 一种从五个倾斜相机中选择最优墙面纹理的方法 | |
| CN115032648A (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
| CN114841944A (zh) | 基于挂轨轨道机器人的尾矿坝表面形变巡检方法 | |
| CN116030208A (zh) | 一种真实无人机虚拟仿真输电线路场景搭建方法及*** | |
| CN114463521A (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| CN116503567B (zh) | 基于ai大数据的智慧建模管理*** | |
| CN115564661B (zh) | 建筑物玻璃区域立面自动修复方法及*** | |
| CN112102504A (zh) | 一种基于混合现实的三维场景和二维图像混合方法 | |
| Coorg | Pose imagery and automated three-dimensional modeling of urban environments | |
| CN115546716A (zh) | 一种基于双目视觉的输电线路周边火灾源头定位方法 | |
| CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 | |
| CN115131459A (zh) | 平面布置图重建方法及装置 | |
| CN114937203A (zh) | 基于多目视觉图像视差的机场跑道异物检测方法 | |
| CN107146286B (zh) | 基于影像边缘特征的三维模型自动调整方法 | |
| CN113554747A (zh) | 一种基于三维模型的无人机巡检数据的查看方法 | |
| Wu et al. | Retrieval of siltation 3D properties in artificially created water conveyance tunnels using image-based 3D reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |