CN117115243B - 一种基于街景图片的建筑群外立面窗户定位方法及装置 - Google Patents
一种基于街景图片的建筑群外立面窗户定位方法及装置 Download PDFInfo
- Publication number
- CN117115243B CN117115243B CN202311370849.3A CN202311370849A CN117115243B CN 117115243 B CN117115243 B CN 117115243B CN 202311370849 A CN202311370849 A CN 202311370849A CN 117115243 B CN117115243 B CN 117115243B
- Authority
- CN
- China
- Prior art keywords
- building
- view
- facade
- target
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 5
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000002411 adverse Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种基于街景图片的建筑群外立面窗户定位方法，应用于城市三维建模技术领域，包括：收集目标建筑群每个建筑外立面的多视角街景图片集，并对其进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；基于合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。本发明能够充分利用街景图片在城市信息获取方面的优势，解决从街景图片中识别建筑群外立面窗户位置的技术问题，促进高细节度城市三维模型的快速构建。
Description
技术领域
本发明涉及城市三维建模技术领域，特别是指一种基于街景图片的建筑群外立面窗户定位方法及装置。
背景技术
随着智慧城市、数字地球等理念的快速发展，城市三维精细建模的需求日益强烈。快速、准确地确定城市中建筑群外立面窗户的空间位置能促进高细节度城市三维模型的快速构建。街景图片具有覆盖全、获取成本低等优势，用户可以从地图网站通过相应API接口灵活、免费地下载所关心地理位置的街景图片。通过街景图片来快速识别城市建筑群外立面窗户的位置信息可以弥补传统手段在自动化、便捷性和成本上的不足，在城市三维建模领域具有广阔应用前景。然而，建筑立面的街景图片往往受到周围树木、杂物等的遮挡，影响了从建筑立面识别窗户信息的准确度。关于如何尽可能地消除这类遮挡带来的不利影响、实现基于街景图片的建筑群外立面窗户位置信息的高精度识别，目前尚且缺乏成熟的方法。
发明内容
本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位方法及装置，以充分利用街景图片在城市信息获取方面的优势，解决从街景图片中识别建筑群外立面窗户位置的技术问题，促进高细节度城市三维模型的快速构建。所述技术方案如下：
一方面，本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位方法，包括以下步骤：
S1： 收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
S2： 对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；
S3： 基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；
S4： 基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。
优选的, 在所述S1的收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集，包括：
S11： 获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据；
S12： 基于所述底面轮廓多边形数据，识别目标建筑群中每个建筑外立面及其位置；
S13： 基于目标建筑群中的每个建筑外立面的位置和所述路网数据，识别和目标建筑群中每个建筑外立面的距离在预设范围内的路段，按照预设间隔，沿着所述路段布置每个建筑外立面对应的系列观测点；
S14： 将从所述每个建筑外立面对应的系列观测点中的每个观测点到对应的外立面的射线方向作为视线方向；基于所述视线方向，提取每个建筑外立面对应的系列拍摄方位角数据；
S15： 按照所述每个建筑外立面对应的系列观测点以及系列拍摄方位角数据，从预设的地图网站抓取每个建筑外立面对应每个观测点的街景图片，得到每个建筑外立面的多视角街景图片集，组成多视角街景图片数据集。
优选的, 在所述S11的获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据，包括：
S111： 获取目标建筑群的范围数据，所述范围数据包括经度范围和纬度范围；
S112： 根据所述范围数据，获取范围内的路网数据，所述路网数据包括组成路网中心线的各个节点的位置坐标；
S113： 根据所述范围数据，获取范围内的每个建筑的底面轮廓多边形数据，所述每个建筑的底面轮廓多边形数据包括底面轮廓多边形的各个节点的位置坐标。
优选的, 在所述S2的对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图，包括：
S21： 基于所述多视角街景图片数据集，通过深度学习算法从多视角街景图片数据集中的每个街景图片中分割出用目标掩码框定的建筑外立面对象，得到建筑目标掩码图，组成每个建筑外立面的建筑目标掩码图集；
S22： 通过矫正算法，获取所述多视角街景图片数据集中的每个街景图片的矫正参数，将每个街景图片按照矫正参数矫正为原始正视图，得到每个建筑外立面的原始正视图集；
S23： 按照每个街景图片的矫正参数，将其对应的建筑目标掩码图矫正为目标掩码正视图，得到每个建筑外立面的目标掩码正视图集；
S24： 基于每个建筑外立面的目标掩码正视图集，建立目标掩码正视图两两之间的像素对应关系，作为每个建筑外立面的原始正视图两两之间的像素对应关系；
S25： 在每个建筑外立面的目标掩码正视图集的每个目标掩码正视图中，计算目标掩码不为空值比例，选定目标掩码不为空值比例最高的目标掩码正视图对应的原始正视图作为每个建筑外立面的基准正视图，所述目标掩码不为空值对应的是原始正视图中不受遮挡的部分图像；
S26： 基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素；
S27： 基于每个建筑外立面的原始正视图集，按照每个建筑外立面的原始正视图两两之间的像素对应关系，对每个建筑外立面的基准正视图中受遮挡部分的像素进行填充，得到每个建筑外立面的合成街景正视图。
优选的, 在所述S26的基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素，包括：
S261： 对每个建筑外立面的基准正视图中受遮挡部分的每一个像素，基于每个建筑外立面的原始正视图两两之间的像素对应关系，获取其他非基准正视图的原始正视图中，对应的像素值，组成像素值序列[a1,a2,…an]；
S262：将像素值序列[ , /> ,…/>]，输入公式（1），得到估计的像素值：
（1）
其中，为估计的像素值，/>为原始正视图权重；
S263： 基于估计的像素值，对每个建筑外立面的基准正视图中受遮挡部分的每一个像素进行填充，得到每个建筑外立面的合成街景正视图。
优选的, 在所述S3的基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标，包括：
S31： 基于每个建筑外立面的合成街景正视图，通过深度学习算法分割出用目标掩码框定的每个窗户，得到每个建筑外立面的窗户目标掩码图；
S32： 对每个建筑外立面的窗户目标掩码图进行二值化处理，然后利用反差算法，提取每个建筑外立面的每个窗户的轮廓；
S33： 基于每个建筑外立面的每个窗户的轮廓，提取每个建筑外立面的每个窗户的顶点的像素坐标。
优选的, 在所述S4的基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标，包括：
S41： 建立每个建筑外立面的像素坐标系和世界坐标系的旋转矩阵，所述旋转矩阵是世界坐标系到正视图拍摄相机坐标系的变换矩阵；
S42： 将每个建筑外立面的每个窗户的顶点的像素坐标与旋转矩阵相乘得到每个建筑外立面的每个窗户的投影后的顶点坐标；
S43： 将每个窗户的投影后的顶点坐标和建筑外立面的中心坐标点相加，得到每个窗户位置的世界坐标，组成目标建筑群建筑外立面窗户位置的世界坐标数据。
第二方面，本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位装置，包括以下步骤：
数据单元： 用于收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
合成单元： 用于对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；
像素坐标单元： 用于基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；
世界坐标单元： 用于基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。
第三方面，本发明实施例提供了一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行如上所述的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
上述技术方案，与现有技术相比至少具有如下有益效果：本发明提供的基于街景图片的建筑群外立面窗户定位方法及装置充分利用了街景图片易获取、覆盖全等优势，通过多视角街景图片的融合尽可能消除建筑立面所受遮挡对于后续窗户位置识别所带来的不利影响，实现了从街景图片中快速确定城市建筑群外立面窗户位置信息，从而可以为高细节度城市三维模型的快速构建提供技术支撑。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于街景图片的建筑群外立面窗户定位方法的执行流程示意图；
图2是本发明实施例提供的目标建筑群所在区域范围内的路网形状和每个建筑的底面轮廓多边形示意图；
图3是本发明实施例提供的某个外立面的窗户的目标掩码正视图；
图4是本发明实施例提供的一种基于街景图片的建筑群外立面窗户定位装置框图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器。如图1所示的一种基于街景图片的建筑群外立面窗户定位方法流程图，该方法的处理流程可以包括如下的步骤：
S1： 收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
优选的, 所述S1，包括：
S11： 获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据；
优选的, 所述S111，包括：
S111： 获取目标建筑群的范围数据，所述范围数据包括经度范围和纬度范围；
S112： 根据所述范围数据，获取范围内的路网数据，所述路网数据包括组成路网中心线的各个节点的位置坐标；
S113： 根据所述范围数据，获取范围内的每个建筑的底面轮廓多边形数据，所述每个建筑的底面轮廓多边形数据包括底面轮廓多边形的各个节点的位置坐标；
S12： 基于所述底面轮廓多边形数据，识别目标建筑群中每个建筑外立面及其位置；
S13： 基于目标建筑群中的每个建筑外立面的位置和所述路网数据，识别和目标建筑群中每个建筑外立面的距离在预设范围内的路段，按照预设间隔，沿着所述路段布置每个建筑外立面对应的系列观测点；
S14： 将从所述每个建筑外立面对应的系列观测点中的每个观测点到对应的外立面的射线方向作为视线方向；基于所述视线方向，提取每个建筑外立面对应的系列拍摄方位角数据；
S15： 按照所述每个建筑外立面对应的系列观测点以及系列拍摄方位角数据，从预设的地图网站抓取每个建筑外立面对应每个观测点的街景图片，得到每个建筑外立面的多视角街景图片集，组成多视角街景图片数据集。
在一些实施例中，本发明实施例以中国北方一大学校园内的建筑群为目标建筑群。图2展示了本发明实施例所提供的目标建筑群所在区域范围内的路网形状和每栋建筑的底面轮廓多边形示意图。
需要说明的是，本发明实施例所提供的目标建筑群中的某栋建筑的某个外立面的多视角街景图片为沿着与该外立面距离最近的路网按照预设距离20米布置的系列观测点对着该立面拍摄得到。
S2： 对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；
优选的, 所述S2，包括：
S21： 基于所述多视角街景图片数据集，通过深度学习算法从多视角街景图片数据集中的每个街景图片中分割出用目标掩码框定的建筑外立面对象，得到建筑目标掩码图，组成每个建筑外立面的建筑目标掩码图集；
S22： 通过矫正算法，获取所述多视角街景图片数据集中的每个街景图片的矫正参数，将每个街景图片按照矫正参数矫正为原始正视图，得到每个建筑外立面的原始正视图集；
S23： 按照每个街景图片的矫正参数，将其对应的建筑目标掩码图矫正为目标掩码正视图，得到每个建筑外立面的目标掩码正视图集；
S24： 基于每个建筑外立面的目标掩码正视图集，建立目标掩码正视图两两之间的像素对应关系，作为每个建筑外立面的原始正视图两两之间的像素对应关系；
S25： 在每个建筑外立面的目标掩码正视图集的每个目标掩码正视图中，计算目标掩码不为空值比例，选定目标掩码不为空值比例最高的目标掩码正视图对应的原始正视图作为每个建筑外立面的基准正视图，所述目标掩码不为空值对应的是原始正视图中不受遮挡的部分图像；
S26： 基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素；
优选的, 所述S226，包括：
S261： 对每个建筑外立面的基准正视图中受遮挡部分的每一个像素，基于每个建筑外立面的原始正视图两两之间的像素对应关系，获取其他非基准正视图的原始正视图中，对应的像素值，组成像素值序列[a1,a2,…an];
S262： 将像素值序列[a1,a2,…an]，输入公式（1），得到估计的像素值：
（1）
其中，为估计的像素值，/>为原始正视图权重；
S263： 基于估计的像素值，对每个建筑外立面的基准正视图中受遮挡部分的每一个像素进行填充，得到每个建筑外立面的合成街景正视图；
S27： 基于每个建筑外立面的原始正视图集，按照每个建筑外立面的原始正视图两两之间的像素对应关系，对每个建筑外立面的基准正视图中受遮挡部分的像素进行填充，得到每个建筑外立面的合成街景正视图。
在一些实施例中，将所述每一个视角的建筑立面图片矫正为正视图，得到该建筑立面的一系列正视图，其中每张正视图中该建筑立面所受遮挡部分存在差异；
优选的，举例来说，以其中一个视角的建筑立面图片矫正而来的正视图作为该建筑立面的基准图片，对于所述基准图片中受遮挡部分的像素，判断其他正视图中该像素所处位置是否属于受遮挡部分，若在其他正视图中存在图片A1,A2…,An的该像素不属于受遮挡部分，则将图片A1,A2…,An在相同位置处的像素提取出来，带入公式（1），所述基准图片中受遮挡部分的像素替换为估计的像素值。各个图片的权重可以按照遮挡情况估计，也可以只选其中一张图片权重为1，其他图片权重为零。最终得到目标建筑群各个建筑立面的合成街景正视图，所述合成街景正视图中建筑立面对象的受遮挡面积比所述多视角街景图片中任意一张图片中建筑立面对象的受遮挡面积均小。
需要进一步说明的是，在本发明实施例中，采用Mask R-CNN深度神经网络模型对建筑立面进行检测，进而从每一个视角下的街景图片中分割出建筑立面对象。相较于建筑立面矫正后的正视图，合成街景正视图中建筑立面受到遮挡的面积明显减小，为后续窗户像素的识别提供了高质量的建筑立面图片。
S3： 基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；
优选的, 所述S3，包括：
S31： 基于每个建筑外立面的合成街景正视图，通过深度学习算法分割出用目标掩码框定的每个窗户，得到每个建筑外立面的窗户目标掩码图；
S32： 对每个建筑外立面的窗户目标掩码图进行二值化处理，然后利用反差算法，提取每个建筑外立面的每个窗户的轮廓；
S33： 基于每个建筑外立面的每个窗户的轮廓，提取每个建筑外立面的每个窗户的顶点的像素坐标。
在一些实施例中，在本发明实施例中，采用Mask R-CNN深度神经网络模型对建筑立面上的窗户像素进行分割。图3展示了本发明实施例所提供的某栋建筑的某个立面的窗户像素分割结果示意图。图中白色像素为属于窗户的像素。
S4： 基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界 坐标。
优选的, 所述S4，包括：
S41： 建立每个建筑外立面的像素坐标系和世界坐标系的旋转矩阵，所述旋转矩阵是世界坐标系到正视图拍摄相机坐标系的变换矩阵；
S42： 将每个建筑外立面的每个窗户的顶点的像素坐标与旋转矩阵相乘得到每个建筑外立面的每个窗户的投影后的顶点坐标；
S43： 将每个窗户的投影后的顶点坐标和建筑外立面的中心坐标点相加，得到每个窗户位置的世界坐标，组成目标建筑群建筑外立面窗户位置的世界坐标数据。
需要说明的是，在本发明实施例中，对于任一建筑的任一外立面的任一窗户，基于该窗户的像素坐标，在该窗户所占据像素块的外轮廓长方形的每个顶点的x和y像素坐标后补充常数1，使得每个顶点的像素坐标构成形为（x,y,1）的3×1的坐标向量，然后对每个顶点的3×1的坐标向量左乘3×3的旋转矩阵得到一新的3×1的坐标向量，进而对每个顶点的新的3×1的坐标向量依次左乘3×4的旋转矩阵的逆矩阵和4×4的视角矩阵的逆矩阵得到一个4×1的坐标向量，该坐标向量的前三个元素即为相应顶点的世界坐标
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图4所示，本发明实施例提供了一种基于街景图片的建筑群外立面窗户定位装置，包括以下步骤：
数据单元410： 用于收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
合成单元420： 用于对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图；
像素坐标单元430： 用于基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标；
世界坐标单元440： 用于基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个 窗户位置的世界坐标。
本发明提供了一种基于街景图片的建筑群外立面窗户定位方法及装置，本发明不用专门采集数据，而是利用现有的街景图片。同时，本发明可以快速的为城市建筑群外立面窗户定位，并提供轮廓信息，解决从街景图片中识别建筑群外立面窗户位置的技术问题，促进高细节度城市三维模型的快速构建。
本发明提供了一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行如上所述的方法。
本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的方法。
图5是本发明实施例提供的一种电子设备500的结构示意图，该电子设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）501和一个或一个以上的存储器502，其中，所述存储器502中存储有至少一条指令，所述至少一条指令由所述处理器501加载并执行以实现上述中文文本拼写检查方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述中文文本拼写检查方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
有以下几点需要说明：
（1）本发明实施例附图只涉及到与本发明实施例涉及到的结构，其他结构可参考通常设计。
（2）为了清晰起见，在用于描述本发明的实施例的附图中，层或区域的厚度被放大或缩小，即这些附图并非按照实际的比例绘制。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”或者可以存在中间元件。
（3）在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，本发明的保护范围应以权利要求的保护范围为准，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于街景图片的建筑群外立面窗户定位方法，其特征在于，包括：
S1：收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
S2：对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图：
所述S2的对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图，包括：
S21： 基于所述多视角街景图片数据集，通过深度学习算法，从多视角街景图片数据集中的每个街景图片中，分割出用目标掩码框定的建筑外立面对象，得到建筑目标掩码图，组成每个建筑外立面的建筑目标掩码图集；
S22： 通过矫正算法，获取所述多视角街景图片数据集中的每个街景图片的矫正参数，将每个街景图片按照矫正参数矫正为原始正视图，得到每个建筑外立面的原始正视图集；
S23： 按照每个街景图片的矫正参数，将其对应的建筑目标掩码图矫正为目标掩码正视图，得到每个建筑外立面的目标掩码正视图集；
S24： 基于每个建筑外立面的目标掩码正视图集，建立目标掩码正视图两两之间的像素对应关系，作为每个建筑外立面的原始正视图两两之间的像素对应关系；
S25： 在每个建筑外立面的目标掩码正视图集的每个目标掩码正视图中，计算目标掩码不为空值比例，选定目标掩码不为空值比例最高的目标掩码正视图对应的原始正视图，作为每个建筑外立面的基准正视图，所述目标掩码不为空值对应的是原始正视图中不受遮挡的部分图像；
S26： 基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素；
S27： 基于每个建筑外立面的原始正视图集，按照每个建筑外立面的原始正视图两两之间的像素对应关系，对每个建筑外立面的基准正视图中受遮挡部分的像素进行填充，得到每个建筑外立面的合成街景正视图；
S3：基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标：
所述S3的基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标，包括：
S31： 基于每个建筑外立面的合成街景正视图，通过深度学习算法分割出用目标掩码框定的每个窗户，得到每个建筑外立面的窗户目标掩码图；
S32： 对每个建筑外立面的窗户目标掩码图进行二值化处理，然后利用反差算法，提取每个建筑外立面的每个窗户的轮廓；
S33： 基于每个建筑外立面的每个窗户的轮廓，提取每个建筑外立面的每个窗户的顶点的像素坐标；
S4：基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。
2.根据权利要求1所述的基于街景图片的建筑群外立面窗户定位方法，其特征在于，所述S1的收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集，包括：
S11：获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据；
S12：基于所述底面轮廓多边形数据，识别目标建筑群中每个建筑外立面及其位置；
S13：基于目标建筑群中的每个建筑外立面的位置和所述路网数据，识别和目标建筑群中每个建筑外立面的距离在预设范围内的路段，按照预设间隔，沿着所述路段布置每个建筑外立面对应的系列观测点；
S14：将所述每个建筑外立面对应的系列观测点中的每个观测点到对应的外立面的射线方向作为视线方向；基于所述视线方向，提取每个建筑外立面对应的系列拍摄方位角数据；
S15：按照所述每个建筑外立面对应的系列观测点以及系列拍摄方位角数据，从预设的地图网站抓取每个建筑外立面对应每个观测点的街景图片，得到每个建筑外立面的多视角街景图片集，组成多视角街景图片数据集。
3.根据权利要求2所述的基于街景图片的建筑群外立面窗户定位方法，其特征在于，所述S11的获取目标建筑群所在区域范围内的路网数据和每个建筑的底面轮廓多边形数据，包括：
S111：获取目标建筑群的范围数据，所述范围数据包括经度范围和纬度范围；
S112：根据所述范围数据，获取范围内的路网数据，所述路网数据包括组成路网中心线的各个节点的位置坐标；
S113：根据所述范围数据，获取范围内的每个建筑的底面轮廓多边形数据，所述每个建筑的底面轮廓多边形数据包括底面轮廓多边形的各个节点的位置坐标。
4.根据权利要求1所述的基于街景图片的建筑群外立面窗户定位方法，其特征在于，所述S26的基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素，包括：
S261：对每个建筑外立面的基准正视图中受遮挡部分的每一个像素，基于每个建筑外立面的原始正视图两两之间的像素对应关系，获取其他非基准正视图的原始正视图中，对应的像素值，组成像素值序列[a1,a2,...an]；
S262：将像素值序列[a1,a2,...an]，输入公式（1），得到估计的像素值：
（1）
其中，为估计的像素值，/>为原始正视图权重；
S263：基于估计的像素值，对每个建筑外立面的基准正视图中受遮挡部分的每一个像素进行填充，得到每个建筑外立面的合成街景正视图。
5.根据权利要求1所述的基于街景图片的建筑群外立面窗户定位方法，其特征在于，所述S4的基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标，包括：
S41：建立每个建筑外立面的像素坐标系和世界坐标系的旋转矩阵，所述旋转矩阵是世界坐标系到正视图拍摄相机坐标系的变换矩阵；
S42：将每个建筑外立面的每个窗户的顶点的像素坐标与旋转矩阵相乘得到每个建筑外立面的每个窗户的投影后的顶点坐标；
S43：将每个窗户的投影后的顶点坐标和建筑外立面的中心坐标点相加，得到每个窗户位置的世界坐标，组成目标建筑群建筑外立面窗户位置的世界坐标数据。
6.一种基于街景图片的建筑群外立面窗户定位装置，其特征在于，所述装置适用于上述权利要求1-5中任意一项所述的基于街景图片的建筑群外立面窗户定位方法，装置包括：
数据单元：用于收集目标建筑群每个建筑外立面的多视角街景图片集，得到多视角街景图片数据集；
合成单元：用于对所述多视角街景图片数据集进行视角融合，得到目标建筑群每个建筑外立面的合成街景正视图，具体包括：
S21： 基于所述多视角街景图片数据集，通过深度学习算法，从多视角街景图片数据集中的每个街景图片中，分割出用目标掩码框定的建筑外立面对象，得到建筑目标掩码图，组成每个建筑外立面的建筑目标掩码图集；
S22： 通过矫正算法，获取所述多视角街景图片数据集中的每个街景图片的矫正参数，将每个街景图片按照矫正参数矫正为原始正视图，得到每个建筑外立面的原始正视图集；
S23： 按照每个街景图片的矫正参数，将其对应的建筑目标掩码图矫正为目标掩码正视图，得到每个建筑外立面的目标掩码正视图集；
S24： 基于每个建筑外立面的目标掩码正视图集，建立目标掩码正视图两两之间的像素对应关系，作为每个建筑外立面的原始正视图两两之间的像素对应关系；
S25： 在每个建筑外立面的目标掩码正视图集的每个目标掩码正视图中，计算目标掩码不为空值比例，选定目标掩码不为空值比例最高的目标掩码正视图对应的原始正视图，作为每个建筑外立面的基准正视图，所述目标掩码不为空值对应的是原始正视图中不受遮挡的部分图像；
S26： 基于每个建筑外立面的基准正视图和所述基准正视图对应的目标掩码正视图，识别所述基准正视图中受遮挡部分的像素；
S27： 基于每个建筑外立面的原始正视图集，按照每个建筑外立面的原始正视图两两之间的像素对应关系，对每个建筑外立面的基准正视图中受遮挡部分的像素进行填充，得到每个建筑外立面的合成街景正视图；
像素坐标单元：用于基于所述合成街景正视图识别目标建筑群每个建筑外立面的每个窗户位置的像素坐标，具体包括：
S31： 基于每个建筑外立面的合成街景正视图，通过深度学习算法分割出用目标掩码框定的每个窗户，得到每个建筑外立面的窗户目标掩码图；
S32： 对每个建筑外立面的窗户目标掩码图进行二值化处理，然后利用反差算法，提取每个建筑外立面的每个窗户的轮廓；
S33： 基于每个建筑外立面的每个窗户的轮廓，提取每个建筑外立面的每个窗户的顶点的像素坐标；
世界坐标单元：用于基于目标建筑群每个建筑外立面的每个窗户位置的像素坐标，通过坐标转换得到目标建筑群每个建筑外立面的每个窗户位置的世界坐标。
7.一种电子设备，其特征在于，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述权利要求1至5任一项所述的基于街景图片的建筑群外立面窗户定位方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述权利要求1至5中任一项所述的基于街景图片的建筑群外立面窗户定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370849.3A CN117115243B (zh) | 2023-10-23 | 2023-10-23 | 一种基于街景图片的建筑群外立面窗户定位方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311370849.3A CN117115243B (zh) | 2023-10-23 | 2023-10-23 | 一种基于街景图片的建筑群外立面窗户定位方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117115243A CN117115243A (zh) | 2023-11-24 |
| CN117115243B true CN117115243B (zh) | 2024-02-09 |
Family
ID=88809500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311370849.3A Active CN117115243B (zh) | 2023-10-23 | 2023-10-23 | 一种基于街景图片的建筑群外立面窗户定位方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115243B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117931979B (zh) * | 2024-03-22 | 2024-07-05 | 腾讯科技（深圳）有限公司 | 一种电子地图中的楼块显示方法和相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763656A (zh) * | 2010-01-28 | 2010-06-30 | 北京航空航天大学 | 三维城市建筑分层分户模型的构建与显示控制方法 |
| CN110956196A (zh) * | 2019-10-11 | 2020-04-03 | 东南大学 | 一种城市建筑物窗墙比自动识别方法 |
| WO2020192354A1 (zh) * | 2019-03-28 | 2020-10-01 | 东南大学 | 一种嵌入式城市设计场景仿真方法及*** |
| CN112507444A (zh) * | 2021-02-03 | 2021-03-16 | 四川见山科技有限责任公司 | 一种基于ai构建的数字城市建筑夜景生成方法及*** |
| CN115482355A (zh) * | 2022-09-21 | 2022-12-16 | 南京国图信息产业有限公司 | 一种众源数据驱动的lod2级城市建筑物模型增强建模算法 |
| CN115739438A (zh) * | 2022-12-12 | 2023-03-07 | 中大智能科技股份有限公司 | 基于无人机的建筑物外立面外观修复方法及*** |
| CN115841542A (zh) * | 2022-10-10 | 2023-03-24 | 阿里巴巴（中国）有限公司 | 一种建筑物建模方法、装置、计算机设备及存储介质 |
-
2023
- 2023-10-23 CN CN202311370849.3A patent/CN117115243B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763656A (zh) * | 2010-01-28 | 2010-06-30 | 北京航空航天大学 | 三维城市建筑分层分户模型的构建与显示控制方法 |
| WO2020192354A1 (zh) * | 2019-03-28 | 2020-10-01 | 东南大学 | 一种嵌入式城市设计场景仿真方法及*** |
| CN110956196A (zh) * | 2019-10-11 | 2020-04-03 | 东南大学 | 一种城市建筑物窗墙比自动识别方法 |
| CN112507444A (zh) * | 2021-02-03 | 2021-03-16 | 四川见山科技有限责任公司 | 一种基于ai构建的数字城市建筑夜景生成方法及*** |
| CN115482355A (zh) * | 2022-09-21 | 2022-12-16 | 南京国图信息产业有限公司 | 一种众源数据驱动的lod2级城市建筑物模型增强建模算法 |
| CN115841542A (zh) * | 2022-10-10 | 2023-03-24 | 阿里巴巴（中国）有限公司 | 一种建筑物建模方法、装置、计算机设备及存储介质 |
| CN115739438A (zh) * | 2022-12-12 | 2023-03-07 | 中大智能科技股份有限公司 | 基于无人机的建筑物外立面外观修复方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117115243A (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9942535B2 (en) | Method for 3D scene structure modeling and camera registration from single image | |
| EP1242966B1 (en) | Spherical rectification of image pairs | |
| Xie et al. | Study on construction of 3D building based on UAV images | |
| CN109255808B (zh) | 基于倾斜影像的建筑物纹理提取方法和装置 | |
| CN117115243B (zh) | 一种基于街景图片的建筑群外立面窗户定位方法及装置 | |
| CN112489099B (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| KR100904078B1 (ko) | 항공 사진의 영상정합을 이용한 3차원 공간 정보 생성 시스템 및 방법 | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
| CN108629742B (zh) | 真正射影像阴影检测与补偿方法、装置及存储介质 | |
| CN113034347B (zh) | 倾斜摄影图像处理方法、装置、处理设备及存储介质 | |
| CN116106904B (zh) | 面向对象MT-InSAR的设施变形监测方法及设备 | |
| Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images | |
| Ma et al. | Low‐Altitude Photogrammetry and Remote Sensing in UAV for Improving Mapping Accuracy | |
| CN114140593B (zh) | 数字地球和全景图融合显示方法和装置 | |
| CN117095098A (zh) | 图像渲染方法、装置、电子设备及计算机可读存储介质 | |
| CN115131504A (zh) | 一种宽视场大场景下的多人三维重建方法 | |
| Wu et al. | Building Facade Reconstruction Using Crowd-Sourced Photos and Two-Dimensional Maps | |
| CN113642395B (zh) | 面向城市增强现实信息标注的建筑物场景结构提取方法 | |
| Fan et al. | Pano2Geo: An efficient and robust building height estimation model using street-view panoramas | |
| CN116805277B (zh) | 一种视频监控目标节点像素坐标转换方法及*** | |
| Ye et al. | Aerial Image Stitching Method Based on Feature Transfer and Tile Image | |
| Zhou et al. | Object detection and spatial location method for monocular camera based on 3D virtual geographical scene | |
| CN118097339B (zh) | 一种基于低空摄影测量的深度学习样本增强方法和装置 | |
| CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 | |
| CN112767469B (zh) | 一种城市海量建筑高度智能化获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |