CN114117614A - 一种建筑物立面纹理自动生成方法和*** - Google Patents

一种建筑物立面纹理自动生成方法和*** Download PDF

Info

Publication number
CN114117614A
CN114117614A CN202111459597.2A CN202111459597A CN114117614A CN 114117614 A CN114117614 A CN 114117614A CN 202111459597 A CN202111459597 A CN 202111459597A CN 114117614 A CN114117614 A CN 114117614A
Authority
CN
China
Prior art keywords
network
window
building facade
image
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111459597.2A
Other languages
English (en)
Inventor
向阳
张民瑶
谭瑞丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhai Dashi Intelligence Technology Co ltd
Original Assignee
Wuhai Dashi Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhai Dashi Intelligence Technology Co ltd filed Critical Wuhai Dashi Intelligence Technology Co ltd
Priority to CN202111459597.2A priority Critical patent/CN114117614A/zh
Publication of CN114117614A publication Critical patent/CN114117614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉技术领域，具体涉及一种建筑物立面纹理自动生成方法和***。本发明采用能够进行对象识别的深度学习网络进行窗户提取，针对合成新的建筑物立面墙面纹理，使用Pix2PixHD网络合成建筑物立面纹理，最后根据得到的窗户信息和其真实的布局结构，将窗户贴在合成的建筑物立面纹理图像上。本发明采用图像生成和窗户提取的方法，生成真实的建筑物立面纹理，并根据提取窗户的掩模文件，保持窗户的真实布局信息和实际大小，节省了人工获取窗户位置和大小的时间，生成的建筑物立面保持了原立面上窗户的真实位置、结构布局，保证了立面上物体布局的真实性，产生更符合实际模型中立面尺寸大小情况的建筑物立面图像。

Description

一种建筑物立面纹理自动生成方法和***
技术领域
本发明涉及计算机视觉技术领域，涉及计算机视觉图像生成、三维城市建模、数字孪生技术，特别是涉及一种基于多视图像建模数据的建筑物立面纹理自动生成方法和***。
背景技术
对现实城市场景的分析和三维建模是计算机视觉和计算机图形学的基本问题，随着三维城市建筑模型在房屋调查，立体测量以及城市规划等领域的广泛使用，也使得建筑物的三维模型构建受到了极大的关注。由于建模成本较低、模型纹理细节表现丰富以及建模时间短，速度快等优点，倾斜摄影建模现已发展成为大规模重建的主流方法。
目前，倾斜摄影建模大都采用多视图立体视觉(Multi-view Stereo,MVS)方法。其工作流程有以下三个步骤：首先对用无人机获取的航拍图像,先使用从运动获取结构(structure from motion，SFM)获得相机参数以及场景稀疏三维信息，然后使用MVS方法进行密集匹配获取稠密的三维点云模型，最后对点云通过泊松表面重建和纹理映射即可得到建筑物的三维模型。但是现有的流程也存在一些问题，如在模型重建的时候，会发生扭曲；另外纹理在贴图的时候也可能由于拉伸裁剪变换等操作发生扭曲，所以在映射后导致纹理贴合不好，给人一种扭曲的感觉。此外，建筑物在无人机图像采集时，采集的图像数量不够或者建筑物被植被遮挡等原因，导致得到的三维建筑物模型存在建筑物立面产生扭曲、空洞等现象。因此需要对建筑物立面进行纹理替换。
针对通过来自无人机拍摄的多视图像，利用摄影测量或者计算机视觉方法生成的三维建筑物模型存在部分立面扭曲，纹理质量差的问题。尤其是针对图像纹理生成问题。目前常用GAN网络进行图片纹理合成，建筑物立面图像不仅包含墙面纹理，还包含窗户等物体，若对建筑物立面上的窗户等也进行图像生成，会破坏建筑物立面实际窗户的位置、大小以及窗户的布局信息，不符合三维建筑表达真实场景的要求。
发明内容
为了解决城市三维建模中存在的部分建筑物立面容易发生扭曲、纹理质量差，难以满足三维建筑表达真实场景要求的问题，本发明实施例的目的在于提供了一种建筑物立面纹理自动生成方法和***，关注于建筑物立面纹理自动替换的问题，通过对扭曲、空洞的建筑物立面进行替换，进而达到建筑物立面完整的目的，立面替换后的建筑物可以使三维模型中的建筑物看起来更加规整、统一，模型整体看起来更加整洁。
为实现上述目的，本发明实施例提供了如下的技术方案：
第一方面，在本发明提供的一个实施例中，提供了一种建筑物立面纹理自动生成方法，包括以下步骤：
获取原始建筑物立面数据集，预处理得到建筑物立面窗户提取的训练样本；
构建用于建筑物立面图像识别的深度学习网络，根据所述训练样本对所述深度学习网络进行训练，得到基于深度学习网络的建筑物立面窗户识别模型；
获取原始建筑物立面墙面数据集；
将所述原始建筑物立面墙面数据集输入Pix2PixHD网络进行参数微调和模型训练，得到基于Pix2PixHD网络的建筑物立面墙面纹理图像合成模型；
获取待测建筑物立面图像，分别输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型，得到建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像；
对窗户掩模文件进行规则化处理及补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
在本发明提供的一些实施例中，预处理得到建筑物立面窗户提取的训练样本的方法，包括：
获取原始建筑物立面数据集；
标注所述原始建筑物立面数据集中的窗户特征并保存；
对保存数据进行数据增强处理，得到建筑物立面窗户提取的训练样本。
在本发明提供的一些实施例中，所述增强处理为对标注并保存的原始建筑物立面数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强。
在本发明提供的一些实施例中，所述贴合在合成的建筑物立面墙面纹理图像上的窗户生成方法，包括：
获取的待测建筑物立面图像；
利用建筑物立面窗户识别模型将所述待测建筑物立面图像的窗口进行检测、定位，获取建筑物立面窗户的二值文件；
对获取的窗户二值文件进行掩模规则化，使用规则化后的窗户掩模文件；
根据所述窗户掩模文件从窗户数据库中获得合适大小和风格的窗户。
在本发明提供的一些实施例中，所述获取原始建筑物立面墙面数据集之前，还包括：采用生成对抗网络(GAN)接收一个随机输入的噪声图像，生成建筑物立面图片并输出，标签为真实的墙面纹理图像，对影像对进行伸缩变化进行数据增强，得到原始建筑物立面墙面数据集。
在本发明提供的一些实施例中，所述生成对抗网络使用生成网络制造的数据分布来拟合真实的数据分布，使用判别网络输入建筑物立面图片，计算出输入的所述建筑物立面图片为生成的或真实图片的概率，预测真假结果。
在本发明提供的一些实施例中，所述建筑物立面窗户识别模型中进行窗户位置和窗户分割采用的深度学习网络为Mask-Rcnn网络，Mask-Rcnn网络进行窗户位置和窗户分割，Mask-Rcnn网络的主干特征提取网络和特征金字塔网络对输入的建筑物立面图像进行卷积特征提取将底层信息进行融合，由区域建议网络生成建议窗口，并对每一层级的特征窗口进行融合池化，生成固定尺寸的特征图，对固定大小的特征图进行分类、边框回归以及窗户Mask预测。
在本发明提供的一些实施例中，所述Pix2PixHD网络包括在GAN网络训练中相互对抗的生成网络和判别网络，所述生成网络和判别网络共同学习到各自的最优转态，达到纳什分布；其中，所述生成网络用于根据输入数据生成目标域的数据分布，最大化判别网络识别错误的概率；所述判别网络用于最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。
在本发明提供的一些实施例中，所述Pix2PixHD网络中的生成网络包括全局生成网络和局部增强网络；所述生成网络进行提升生成图像的分辨率的方法为：
所述局部增强网络提取输入图像的局部浅层特征，并将所述输入图像进行2倍下采样，下采样结果输入到全局生成网络中；
所述全局生成网络获取图像的全局特征；
将所述局部增强网络的局部特征和所述全局生成网络的全局特征进行逐像素相加，并输入到所述局部增强网络中。
在本发明提供的一些实施例中，所述Pix2PixHD网络中的判别网络为多尺度的判别网络，所述多尺度的判别网络用于不同图像尺度的判别组件组成判别网络，对生成网络合成的图像以及标签图像分别进行不同采样系数的下采样，下采样后的标签图片和合成图片分别给到不同判别组件中。
第二方面，在本发明提供的另一个实施例中，提供了一种建筑物立面纹理自动生成***，所述建筑物立面纹理自动生成***采用前述建筑物立面纹理自动生成方法将提取的窗户贴在合成的建筑物立面纹理图像上；所述建筑物立面纹理自动生成***包括深度学习网络训练模块、Pix2PixHD网络训练模块以及纹理图像映射模块。
深度学习网络训练模块，用于通过制作建筑物立面窗户提取训练样本对深度学习网络训练，得到基于深度学习网络的建筑物立面窗户识别模型；
Pix2PixHD网络训练模块，用于通过原始建筑物立面墙面数据集对Pix2PixHD网络进行参数微调和模型训练，得到基于Pix2PixHD网络的建筑物立面墙面纹理图像合成模型；以及
纹理图像映射模块，用于对输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型的待测建筑物立面图像，得到的建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像，进行窗户掩模文件的规则化处理及未检测出的窗户补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
本发明提供的技术方案，具有如下有益效果：
本发明的建筑物立面纹理自动生成方法和***，采用图像生成和窗户提取的方法，生成真实的建筑物立面纹理，并根据提取窗户的掩模文件，保持窗户的真实布局信息和实际大小。具体的，采用能够进行对象识别的深度学习网络进行窗户提取，针对合成新的建筑物立面墙面纹理，使用Pix2PixHD网络合成建筑物立面纹理，最后根据得到的窗户信息和其真实的布局结构，将窗户贴在合成的建筑物立面纹理图像上。
本发明的优点如下：
1、本发明提供的建筑物立面纹理自动生成方法和***，能够自动提取建筑物立面上的窗户掩模，节省了人工获取窗户位置和大小的时间。
2、本发明提供的建筑物立面纹理自动生成方法和***，能够生成的建筑物立面保持了原立面上窗户的真实位置、结构布局，保证了立面上物体布局的真实性。
3、本发明提供的建筑物立面纹理自动生成方法和***，能够生成符合实际模型中立面尺寸大小情况的建筑物立面图像，能够根据实际模型中立面的尺寸需求生成更大的图像。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对示例性实施例或相关技术描述中所需要使用的附图作一简单地介绍，附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种建筑物立面纹理自动生成方法的流程图。
图2为本发明实施例提供的一种建筑物立面纹理自动生成方法中窗户生成的流程图。
图3为本发明实施例提供的一种建筑物立面纹理自动生成方法中建筑物立面纹理自动生成的流程图。
图4为本发明实施例提供的一种建筑物立面纹理自动生成方法中Mask-Rcnn网络的网络结构图。
图5为本发明实施例提供的一种建筑物立面纹理自动生成方法中提取的窗户掩模文件的示意图。
图6为本发明实施例提供的一种建筑物立面纹理自动生成方法中GAN网络结构的网络结构图。
图7为本发明实施例提供的一种建筑物立面纹理自动生成方法中Pix2PixHD生成网络示意图。
图8为本发明实施例提供的一种建筑物立面纹理自动生成方法中Pix2PixHD判别网络损失计算示意图。
图9为本发明实施例提供的一种建筑物立面纹理自动生成***的***框图。
图10为本发明实施例提供的一种建筑物立面纹理自动生成方法在应用时输入的建筑物立面图像示意图。
图11为本发明实施例提供的一种建筑物立面纹理自动生成方法在应用时规则化后的窗户掩模文件示意图。
图12为本发明实施例提供的一种建筑物立面纹理自动生成方法在应用时生成建筑物立面结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明示例性实施例中的附图，对本发明示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前常用GAN网络进行图片纹理合成，建筑物立面图像不仅包含墙面纹理，还包含窗户等物体，若对建筑物立面上的窗户等也进行图像生成，会破坏建筑物立面实际窗户的位置、大小以及窗户的布局信息，不符合三维建筑表达真实场景的要求的问题。
为解决上述问题，本发明实施例提供的一种基于多视图像建模数据的建筑物立面纹理替换自动生成方法和***，采用图像生成和窗户提取的方法，生成真实的建筑物立面纹理，并根据提取窗户的掩模文件，保持窗户的真实布局信息和实际大小。
以下结合附图并通过具体实施方式来进一步说明本发明的技术方案。
参阅图1所示，图1为本发明提供的一种建筑物立面纹理自动生成方法的流程图。本发明的一个实施例提供了一种建筑物立面纹理自动生成方法，包括以下步骤：
S1：获取原始建筑物立面数据集，预处理得到建筑物立面窗户提取的训练样本。
在本实施例中，制作建筑物立面窗户提取训练样本时，预处理得到建筑物立面窗户提取的训练样本的方法，包括：
获取原始建筑物立面数据集；
标注所述原始建筑物立面数据集中的窗户特征并保存；
对保存数据进行数据增强处理，得到建筑物立面窗户提取的训练样本。
其中，所述增强处理为对标注并保存的原始建筑物立面数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强。
需要特别说明的是，提取训练样本时，首先，准备建筑物立面数据集，即原始建筑物立面数据集，使用标注软件对窗户进行人工数据标注，标注结果保存为Json格式，对数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强，以增强网络的分割识别结果和模型的泛化性能。
S2：构建用于建筑物立面图像识别的深度学习网络，根据所述训练样本对所述深度学习网络进行训练，得到基于深度学习网络的建筑物立面窗户识别模型。
需要特别说明的是，本实施例是利用窗户训练数据集对深度学习网络进行参数微调和模型训练，对训练好的模型进行测试，提取建筑物立面窗户的位置信息和掩模文件。
S3：获取原始建筑物立面墙面数据集。
在本实施例中，输入为噪声图像，标签为真实的墙面纹理图像。对影像对进行伸缩变化进行数据增强。
S4：获取待测建筑物立面图像，分别输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型，得到建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像。
在本实施例中，对Pix2PixHD网络进行参数微调和模型训练。模型训练好后进行测试，得到合成的建筑物立面墙面纹理图像。
S5：获取待测建筑物立面图像，分别输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型，得到建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像。
S6：对窗户掩模文件进行规则化处理及补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
其中，补全操作为对未检测出来的窗户进行补全。
采用上述的建筑物立面纹理自动生成方法，本发明实施例能够自动提取建筑物立面上的窗户掩模，节省了人工获取窗户位置和大小的时间；能够生成的建筑物立面保持了原立面上窗户的真实位置、结构布局，保证了立面上物体布局的真实性；并能够生成符合实际模型中立面尺寸大小情况的建筑物立面图像，能够根据实际模型中立面的尺寸需求生成更大的图像。
在本发明提供的另一个实施例中，提供了一种建筑物立面纹理自动生成方法，该方法还包括：采用能够进行对象识别的Mask-RCNN网络进行窗户提取，针对合成新的建筑物立面墙面纹理，使用Pix2PixHD网络合成建筑物立面纹理，最后根据得到的窗户信息和其真实的布局结构，将窗户贴在合成的建筑物立面纹理图像上。
在本实施例中，参见图2所示，所述窗户，即贴合在合成的建筑物立面墙面纹理图像上的窗户，其生成方法，包括：
S11、获取的待测建筑物立面图像；
S12、利用建筑物立面窗户识别模型将所述待测建筑物立面图像的窗口进行检测、定位，获取建筑物立面窗户的二值文件；
S13、对获取的窗户二值文件进行掩模规则化，使用规则化后的窗户掩模文件；
S14、根据所述窗户掩模文件从窗户数据库中获得合适大小和风格的窗户。
在本实施例中，Mask-RCNN网络作为建筑物立面窗户识别模型中进行窗户位置和窗户分割的深度学习网络。所述Mask-Rcnn网络进行窗户位置和窗户分割，Mask-Rcnn网络的主干特征提取网络和特征金字塔网络对输入的建筑物立面图像进行卷积特征提取将底层信息进行融合，由区域建议网络生成建议窗口，并对每一层级的特征窗口进行融合池化，生成固定尺寸的特征图，对固定大小的特征图进行分类、边框回归以及窗户Mask预测。
在本实施例中，参见图3所示，建筑物立面纹理自动生成的工作流程为：
首先根据准备的建筑物立面纹理数据集对模型进行调参、模型训练，然后利用训练好的模型生成合适大小的建筑物立面。接下来利用Mask-Rcnn获取对原建筑物立面的窗口进行检测、定位，获取建筑物立面窗户的二值文件，并对获取的窗户二值文件进行掩模规则化，使用规则化后的窗户掩模文件，从提前准备的窗户数据库中选择合适大小和风格的窗户，将其贴在生成的建筑物立面上，获得具有真实窗户布局的建筑物立面，最后将得到的建筑物立面纹理图像映射到三维建筑模型上。
在本发明实施例中，所述Mask-Rcnn网络的网络结构参见图4所示，本发明采用Mask-Rcnn网络进行窗户位置和窗户分割。所述Mask-Rcnn网络的结构为：利用主干特征提取网络和特征金字塔网络(Feature Pyramid Networks，FPN)对输入的建筑物立面图像进行卷积特征提取，并将底层信息进行融合，由区域建议网络(Region Proposal Network，RPN)生成建议窗口，并对每一层级的特征窗口进行融合池化，生成固定尺寸的特征图，对固定大小的特征图进行分类、边框回归以及窗户Mask预测。
需要特别说明的是，本实施例中，对获取的建筑物立面数据集使用标注软件对窗户进行人工标注，并使用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强，然后进行模型训练。模型测试阶段提取的窗户掩模结果如图5所示，图5为提取的窗户掩模文件的示意图。
在本发明提供的一个实施例中，所述Pix2PixHD网络包括在GAN网络训练中相互对抗的生成网络和判别网络，所述生成网络和判别网络共同学习到各自的最优转态，达到纳什分布；其中，所述生成网络用于根据输入数据生成目标域的数据分布，最大化判别网络识别错误的概率；所述判别网络用于最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。
在本实施例中，所述Pix2PixHD网络中的生成网络包括全局生成网络和局部增强网络；所述生成网络进行提升生成图像的分辨率的方法为：
所述局部增强网络提取输入图像的局部浅层特征，并将所述输入图像进行2倍下采样，下采样结果输入到全局生成网络中；
所述全局生成网络获取图像的全局特征；
将所述局部增强网络的局部特征和所述全局生成网络的全局特征进行逐像素相加，并输入到所述局部增强网络中。
所述Pix2PixHD网络中的判别网络为多尺度的判别网络，所述多尺度的判别网络用于不同图像尺度的判别组件组成判别网络，对生成网络合成的图像以及标签图像分别进行不同采样系数的下采样，下采样后的标签图片和合成图片分别给到不同判别组件中。
在本实施例中，参见图7和图8所示，所述Pix2PixHD网络中生成网络标记为G，判别网络标记为D，因此，G表示生成网络，D表示判别网络。生成网络的作用是根据输入数据生成目标域的数据分布，即最大化判别网络识别错误的概率，让判别网络误认为图像是真实样本图像而不是生成的假图像；判别网络的目标是最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。生成网络和判别网络在GAN网络训练中相互对抗，最终二者共同学习到各自的最优转态，达到纳什分布。
为了提升生成图像的分辨率，Pix2PixHD设计了一个由粗到细的生成网络，生成网络包括两个子网络如图7所示。G1是全局生成网络，G2是局部增强网络，输入图像先通过G2网络得到局部浅层特征，然后将输入图像进行2倍下采样，下采样结果输入到G1网络中，G1网络是一个完整的编码解码网络结构，可以获取图像的全局特征，最后将G2网络的局部特征和G1网络的全局特征进行逐像素相加(Element-wise Add)，输入到G2网络中。其中G2网络将G1网络生成的图像分辨率扩大两倍。至于判别网络，为了更好的能够生产处高分辨率的图片，Pix2PixHD采用多尺度的判别网络，如图8所示。采用三个网络结构相同但是作用于不同图像尺度的判别组件组成判别网络，对生成网络合成的图像以及标签图像分别进行采样系数为1,2,4的下采样。这样将下采样后的标签图片和合成图片分别给到三个判别组件中，分辨率最小的图片对应的判别网络会有更大的感受野，有图像生成的全局感更强，分辨率最大的图像对应的判别网络则是会捕捉到更加丰富的细节。
在本发明提供的另一个实施例中，获取原始建筑物立面墙面数据集之前，还包括：采用生成对抗网络(GAN)接收一个随机输入的噪声图像，生成建筑物立面图片并输出，标签为真实的墙面纹理图像，对影像对进行伸缩变化进行数据增强，得到原始建筑物立面墙面数据集。
其中，所述生成对抗网络使用生成网络制造的数据分布来拟合真实的数据分布，使用判别网络输入建筑物立面图片，计算出输入的所述建筑物立面图片为生成的或真实图片的概率，预测真假结果。
在本实施例中，所述生成对抗网络(Generative adversarial network，GAN)的博弈过程使用生成网络(Generator Network，G)制造的数据分布来拟合真实的数据分布。即是一个生成建筑物立面图片的网络，接收一个随机的噪声，生成建筑物立面图片并输出。判别网络(Discriminator Network，D)的作用是通过输入的一张建筑物立面图片，判别器可以计算出该图为生成的或真实图片的概率。两者分别根据返回的结果反向更新网络，相互抗衡，动态变化最后达到纳什均，GAN网络结构如图6所示。
在本实施例中，基于GAN性能的优越性，该模型逐渐被运用到图像处理领域的各个方向，其中包括图像转换、图像修复、风格迁移、图像生成等。建筑物立面生成属于利用GAN网络进行图片生成，由于实际模型中建筑物立面大小较大，因此，本专利采用Mask-Rcnn网络进行窗户位置和窗户分割，Pix2PixHD网络框架进行高清建筑物立面纹理生成。
综上所述，本发明提供了一种建筑物立面纹理自动生成方法，实现过程包括建筑物立面纹理数据集制作、模型参数微调及训练以及模型测试。具体实现过程为：
(1)制作用于建筑物立面纹理数据集用于模型训练。由于建筑物立面图像尺寸都比较大，无法直接输入进网络进行模型训练，此外训练数据集尺寸过大会造成训练过程中耗显存，导致模型训练较慢等问题。因此需要对训练数据裁剪到合适大小。最后通过数据增强来增加数据集的多样性，主要进行水平旋转和伸缩变换等。
(2)模型参数微调以及训练。对模型中的超参数进行微调，如学习率、迭代次数、批处理大小等，在训练时观察训练损失和验证损失的曲线变化，当训练损失曲线不再降低或者验证集精度不再增加时，可以提前停止模型训练。
(3)模型测试。调用训练好的模型进行测试，通过输入噪声图像，得到模型生成的建筑物立面纹理图像。
(4)使用Mask-Rcnn网络分割提取原始建筑物立面图像上的窗户以及获取其位置信息，并对窗户掩模文件进行规则化，然后利用规则化后的窗户掩模文件从提前准备好的素材库中检索到合适的窗户，贴到生成建筑物立面合适位置。通过纹理映射即可将生成的立面纹理结果贴合到三维模型中。
本发明的建筑物立面纹理自动生成方法，采用图像生成和窗户提取的方法，生成真实的建筑物立面纹理，并根据提取窗户的掩模文件，保持窗户的真实布局信息和实际大小，节省了人工获取窗户位置和大小的时间，生成的建筑物立面保持了原立面上窗户的真实位置、结构布局，保证了立面上物体布局的真实性，产生更符合实际模型中立面尺寸大小情况的建筑物立面图像。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在本发明提供的一个实施例中，图9示出了本发明实施例提供的建筑物立面纹理自动生成***的结构框图。如图9所示，在本发明提供的优选实施方式中，一种建筑物立面纹理自动生成***，包括深度学习网络训练模块100、Pix2PixHD网络训练模块200以及纹理图像映射模块300。其中：
所述深度学习网络训练模块100，用于通过制作建筑物立面窗户提取训练样本对深度学习网络训练，得到基于深度学习网络的建筑物立面窗户识别模型。
在本实施例中，制作建筑物立面窗户提取训练样本时，获取原始建筑物立面数据集，预处理得到建筑物立面窗户提取的训练样本。在预处理时，获取原始建筑物立面数据集；标注所述原始建筑物立面数据集中的窗户特征并保存；对保存数据进行数据增强处理，得到建筑物立面窗户提取的训练样本。
其中，所述增强处理为对标注并保存的原始建筑物立面数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强。
需要特别说明的是，提取训练样本时，首先，准备建筑物立面数据集，即原始建筑物立面数据集，使用标注软件对窗户进行人工数据标注，标注结果保存为Json格式，对数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强，以增强网络的分割识别结果和模型的泛化性能。
在深度学习网络训练时，利用窗户训练数据集对深度学习网络进行参数微调和模型训练，对训练好的模型进行测试，提取建筑物立面窗户的位置信息和掩模文件。在本实施例中，进行对象识别的深度学习网络可以为Mask-RCNN网络。
在本实施例中，Mask-RCNN网络作为建筑物立面窗户识别模型中进行窗户位置和窗户分割的深度学习网络。所述Mask-Rcnn网络进行窗户位置和窗户分割，Mask-Rcnn网络的主干特征提取网络和特征金字塔网络对输入的建筑物立面图像进行卷积特征提取将底层信息进行融合，由区域建议网络生成建议窗口，并对每一层级的特征窗口进行融合池化，生成固定尺寸的特征图，对固定大小的特征图进行分类、边框回归以及窗户Mask预测。
所述Pix2PixHD网络训练模块200，用于通过原始建筑物立面墙面数据集对Pix2PixHD网络进行参数微调和模型训练，得到基于Pix2PixHD网络的建筑物立面墙面纹理图像合成模型。
在本实施例中，原始建筑物立面墙面数据集获取时，输入为噪声图像，标签为真实的墙面纹理图像。对影像对进行伸缩变化进行数据增强。然后对Pix2PixHD网络进行参数微调和模型训练。模型训练好后进行测试，得到合成的建筑物立面墙面纹理图像。
所述Pix2PixHD网络包括在GAN网络训练中相互对抗的生成网络和判别网络，所述生成网络和判别网络共同学习到各自的最优转态，达到纳什分布；其中，所述生成网络用于根据输入数据生成目标域的数据分布，最大化判别网络识别错误的概率；所述判别网络用于最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。
在本实施例中，参见图7和图8所示，所述Pix2PixHD网络的结构图中，G表示生成网络，D表示判别网络。生成网络的作用是根据输入数据生成目标域的数据分布，即最大化判别网络识别错误的概率，让判别网络误认为图像是真实样本图像而不是生成的假图像；判别网络的目标是最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。生成网络和判别网络在GAN网络训练中相互对抗，最终二者共同学习到各自的最优转态，达到纳什分布。
为了提升生成图像的分辨率，Pix2PixHD设计了一个由粗到细的生成网络，生成网络包括两个子网络如图7所示。G1是全局生成网络，G2是局部增强网络，输入图像先通过G2网络得到局部浅层特征，然后将输入图像进行2倍下采样，下采样结果输入到G1网络中，G1网络是一个完整的编码解码网络结构，可以获取图像的全局特征，最后将G2网络的局部特征和G1网络的全局特征进行逐像素相加(Element-wise Add)，输入到G2网络中。其中G2网络将G1网络生成的图像分辨率扩大两倍。至于判别网络，为了更好的能够生产处高分辨率的图片，Pix2PixHD采用多尺度的判别网络，如图8所示。采用三个网络结构相同但是作用于不同图像尺度的判别组件组成判别网络，对生成网络合成的图像以及标签图像分别进行采样系数为1,2,4的下采样。这样将下采样后的标签图片和合成图片分别给到三个判别组件中，分辨率最小的图片对应的判别网络会有更大的感受野，有图像生成的全局感更强，分辨率最大的图像对应的判别网络则是会捕捉到更加丰富的细节。
所述纹理图像映射模块300，用于对输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型的待测建筑物立面图像，得到的建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像，进行窗户掩模文件的规则化处理及未检测出的窗户补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
在本实施例中，对窗户掩模文件进行规则化处理和未检测出来的窗户进行补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上。最后通过纹理映射将合成的建筑物立面纹理图像映射到三维模型中。
在本实施例中，建筑物立面纹理自动生成***在执行时采用如前述的一种建筑物立面纹理自动生成方法的步骤，因此，本实施例中对建筑物立面纹理自动生成***的运行过程不再详细介绍。
综上所述，本发明提供的技术方案具有以下优点：
1、本发明提供的建筑物立面纹理自动生成方法和***，能够自动提取建筑物立面上的窗户掩模，节省了人工获取窗户位置和大小的时间。
2、本发明提供的建筑物立面纹理自动生成方法和***，能够生成的建筑物立面保持了原立面上窗户的真实位置、结构布局，保证了立面上物体布局的真实性。
3、本发明提供的建筑物立面纹理自动生成方法和***，能够生成符合实际模型中立面尺寸大小情况的建筑物立面图像，能够根据实际模型中立面的尺寸需求生成更大的图像。
本发明提供的建筑物立面纹理自动生成方法和***以下实验中得到充分验证。如图10为输入的建筑物立面图像，由于Mask-Rcnn网络提取的掩模文件中，窗户的大小和形状不规则，因此使用规则化算法对所有窗户大小进行规则化，图11为对提取的窗户掩模文件(图5所示)进行大小尺寸规则化后新的掩模文件。图12为从提前准备的窗户数据库中检索到的窗户文件后贴合到生成立面的结果，对比图10可以发现，窗户的布局位置保持不变。最后，通过纹理贴图方法，将图12的结果映射到建筑物三维模型中，即可以得到如图10所示的具有凹凸结构的建筑物立面纹理。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种建筑物立面纹理自动生成方法，其特征在于，包括：
获取原始建筑物立面数据集，预处理得到建筑物立面窗户提取的训练样本；
构建用于建筑物立面图像识别的深度学习网络，根据所述训练样本对所述深度学习网络进行训练，得到基于深度学习网络的建筑物立面窗户识别模型；
获取原始建筑物立面墙面数据集；
将所述原始建筑物立面墙面数据集输入Pix2PixHD网络进行参数微调和模型训练，得到基于Pix2PixHD网络的建筑物立面墙面纹理图像合成模型；
获取待测建筑物立面图像，分别输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型，得到建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像；
对窗户掩模文件进行规则化处理及补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
2.如权利要求1所述的建筑物立面纹理自动生成方法，其特征在于，预处理得到建筑物立面窗户提取的训练样本的方法，包括：
获取原始建筑物立面数据集；
标注所述原始建筑物立面数据集中的窗户特征并保存；
对保存数据进行数据增强处理，得到建筑物立面窗户提取的训练样本。
3.如权利要求2所述的建筑物立面纹理自动生成方法，其特征在于，所述增强处理为对标注并保存的原始建筑物立面数据采用随机90°倍数旋转、水平翻转和伸缩变换的方法进行数据增强。
4.如权利要求1所述的建筑物立面纹理自动生成方法，其特征在于，所述贴合在合成的建筑物立面墙面纹理图像上的窗户生成方法，包括：
获取的待测建筑物立面图像；
利用建筑物立面窗户识别模型将所述待测建筑物立面图像的窗口进行检测、定位，获取建筑物立面窗户的二值文件；
对获取的窗户二值文件进行掩模规则化，使用规则化后的窗户掩模文件；
根据所述窗户掩模文件从窗户数据库中获得合适大小和风格的窗户。
5.如权利要求1或4所述的建筑物立面纹理自动生成方法，其特征在于，所述建筑物立面窗户识别模型中进行窗户位置和窗户分割采用的深度学习网络为Mask-Rcnn网络，Mask-Rcnn网络进行窗户位置和窗户分割，Mask-Rcnn网络的主干特征提取网络和特征金字塔网络对输入的建筑物立面图像进行卷积特征提取将底层信息进行融合，由区域建议网络生成建议窗口，并对每一层级的特征窗口进行融合池化，生成固定尺寸的特征图，对固定大小的特征图进行分类、边框回归以及窗户Mask预测。
6.如权利要求1所述的建筑物立面纹理自动生成方法，其特征在于，所述获取原始建筑物立面墙面数据集之前，还包括：采用生成对抗网络接收一个随机输入的噪声图像，生成建筑物立面图片并输出，标签为真实的墙面纹理图像，对影像对进行伸缩变化进行数据增强，得到原始建筑物立面墙面数据集。
7.如权利要求6所述的建筑物立面纹理自动生成方法，其特征在于，所述Pix2PixHD网络包括在生成对抗网络训练中相互对抗的生成网络和判别网络，所述生成网络和判别网络共同学习到各自的最优转态，达到纳什分布；所述生成网络用于根据输入数据生成目标域的数据分布，最大化判别网络识别错误的概率；所述判别网络用于最大化判别损失，以正确的将生成网络的结果进行判断，准确的识别出生成网络生成的图像以及目标域的标签图像。
8.如权利要求7所述的建筑物立面纹理自动生成方法，其特征在于，所述Pix2PixHD网络中的生成网络包括全局生成网络和局部增强网络；所述生成网络进行提升生成图像的分辨率的方法为：
所述局部增强网络提取输入图像的局部浅层特征，并将所述输入图像进行2倍下采样，下采样结果输入到全局生成网络中；
所述全局生成网络获取图像的全局特征；
将所述局部增强网络的局部特征和所述全局生成网络的全局特征进行逐像素相加，并输入到所述局部增强网络中。
9.如权利要求7所述的建筑物立面纹理自动生成方法，其特征在于，所述Pix2PixHD网络中的判别网络为多尺度的判别网络，所述多尺度的判别网络用于不同图像尺度的判别组件组成判别网络，对生成网络合成的图像以及标签图像分别进行不同采样系数的下采样，下采样后的标签图片和合成图片分别给到不同判别组件中。
10.一种建筑物立面纹理自动生成***，其特征在于，所述建筑物立面纹理自动生成***采用权利要求1-9中任意一项所述建筑物立面纹理自动生成方法将提取的窗户贴在合成的建筑物立面纹理图像上；所述建筑物立面纹理自动生成***包括：
深度学习网络训练模块，用于通过制作建筑物立面窗户提取训练样本对深度学习网络训练，得到基于深度学习网络的建筑物立面窗户识别模型；
Pix2PixHD网络训练模块，用于通过原始建筑物立面墙面数据集对Pix2PixHD网络进行参数微调和模型训练，得到基于Pix2PixHD网络的建筑物立面墙面纹理图像合成模型；以及
纹理图像映射模块，用于对输入所述建筑物立面窗户识别模型和所述建筑物立面墙面纹理图像合成模型的待测建筑物立面图像，得到的建筑物立面窗户的位置信息和掩模文件和合成的建筑物立面墙面纹理图像，进行窗户掩模文件的规则化处理及未检测出的窗户补全，并根据掩模文件中窗户的真实布局和大小信息，将窗户贴合在合成的建筑物立面墙面纹理图像上，通过纹理映射将合成的建筑物立面纹理图像映射到建筑物的三维模型中。
CN202111459597.2A 2021-12-01 2021-12-01 一种建筑物立面纹理自动生成方法和*** Pending CN114117614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111459597.2A CN114117614A (zh) 2021-12-01 2021-12-01 一种建筑物立面纹理自动生成方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111459597.2A CN114117614A (zh) 2021-12-01 2021-12-01 一种建筑物立面纹理自动生成方法和***

Publications (1)

Publication Number Publication Date
CN114117614A true CN114117614A (zh) 2022-03-01

Family

ID=80365734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111459597.2A Pending CN114117614A (zh) 2021-12-01 2021-12-01 一种建筑物立面纹理自动生成方法和***

Country Status (1)

Country Link
CN (1) CN114117614A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387416A (zh) * 2022-03-24 2022-04-22 北京飞渡科技有限公司 针对倾斜摄影三维重建的纹理自动生成和修复方法
CN116109755A (zh) * 2023-01-04 2023-05-12 泰瑞数创科技(北京)股份有限公司 一种基于CycleGAN算法生成不同场景建筑物纹理的方法
CN116542891A (zh) * 2023-05-12 2023-08-04 广州民航职业技术学院 一种高分辨率飞机蒙皮表面损伤图像合成方法及***
CN116958381A (zh) * 2023-06-20 2023-10-27 西南交通大学 建筑物立面替换纹理自动生成方法
CN117830646A (zh) * 2024-03-06 2024-04-05 陕西天润科技股份有限公司 一种基于立体影像快速提取建筑物顶部高程的方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387416A (zh) * 2022-03-24 2022-04-22 北京飞渡科技有限公司 针对倾斜摄影三维重建的纹理自动生成和修复方法
CN114387416B (zh) * 2022-03-24 2022-05-27 北京飞渡科技有限公司 针对倾斜摄影三维重建的纹理自动生成和修复方法
CN116109755A (zh) * 2023-01-04 2023-05-12 泰瑞数创科技(北京)股份有限公司 一种基于CycleGAN算法生成不同场景建筑物纹理的方法
CN116109755B (zh) * 2023-01-04 2023-11-28 泰瑞数创科技(北京)股份有限公司 一种基于CycleGAN算法生成不同场景建筑物纹理的方法
CN116542891A (zh) * 2023-05-12 2023-08-04 广州民航职业技术学院 一种高分辨率飞机蒙皮表面损伤图像合成方法及***
CN116958381A (zh) * 2023-06-20 2023-10-27 西南交通大学 建筑物立面替换纹理自动生成方法
CN117830646A (zh) * 2024-03-06 2024-04-05 陕西天润科技股份有限公司 一种基于立体影像快速提取建筑物顶部高程的方法

Similar Documents

Publication Publication Date Title
CN114117614A (zh) 一种建筑物立面纹理自动生成方法和***
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN106547880B (zh) 一种融合地理区域知识的多维度地理场景识别方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN110188835B (zh) 基于生成式对抗网络模型的数据增强行人再识别方法
CN106548169B (zh) 基于深度神经网络的模糊文字增强方法及装置
CN107481279A (zh) 一种单目视频深度图计算方法
CN110263712B (zh) 一种基于区域候选的粗精行人检测方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN112967341B (zh) 基于实景图像的室内视觉定位方法、***、设备及存储介质
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及***
CN111339832A (zh) 人脸合成图像的检测方法及装置
CN104463962B (zh) 基于gps信息视频的三维场景重建方法
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
CN107578424A (zh) 一种基于时空分类的动态背景差分检测方法、***及装置
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN115147644A (zh) 图像描述模型的训练和描述方法、***、设备及存储介质
CN111325184A (zh) 一种遥感影像智能解译与变化信息检测方法
CN112507835B (zh) 一种基于深度学习技术分析多目标对象行为的方法及***
CN113076806A (zh) 一种结构增强的半监督在线地图生成方法
CN111680640A (zh) 一种基于领域迁移的车型识别方法及***
CN116843754A (zh) 一种基于多特征融合的视觉定位方法及***
CN113920254B (zh) 一种基于单目rgb的室内三维重建方法及其***
CN110929632A (zh) 面向复杂场景的车辆目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination