CN115393501A - 信息处理方法及装置 - Google Patents
信息处理方法及装置 Download PDFInfo
- Publication number
- CN115393501A CN115393501A CN202110568010.5A CN202110568010A CN115393501A CN 115393501 A CN115393501 A CN 115393501A CN 202110568010 A CN202110568010 A CN 202110568010A CN 115393501 A CN115393501 A CN 115393501A
- Authority
- CN
- China
- Prior art keywords
- building
- sample
- target
- test
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title abstract description 9
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000012360 testing method Methods 0.000 claims description 234
- 238000000034 method Methods 0.000 claims description 119
- 238000000605 extraction Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 34
- 238000013461 design Methods 0.000 claims description 21
- 238000002372 labelling Methods 0.000 claims description 21
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000007667 floating Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims 1
- 230000008569 process Effects 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000004927 fusion Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/04—Architectural design, interior design
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Civil Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Structural Engineering (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种信息处理方法及装置。在生成建筑的三维模型时,借助建筑的平面图以及建筑的立面图可以提高生成的模型的精准度以及完整度,例如,可以提高生成的建筑的三维模型与真实的建筑之间的相似度。构件的大样详图中包括构件的具体细节,例如包括构件中的所有的基础元素、各个基础元素之间的相对位置以及相互连接的关系等。如此,在生成建筑的三维模型时,借助建筑中包括的构件的大样详图可以提高生成的建筑的三维模型的LOD的等级,进而可以提高生成的建筑的三维模型的精细度,例如,可以提高生成的建筑的三维模型中的细节的丰富度和真实度。使用自动化的方式获取建筑中包括的各个构件的类别,可以降低人工成本。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种建筑的三维模型的生成方法、一种建筑的三维模型的生成装置、一种建筑构件类别识别模型的训练方法、一种建筑构件类别识别模型的训练装置、一种建筑构件类别识别模型的评估方法、一种建筑构件类别识别模型的评估装置、一种建筑构件类别识别方法及一种建筑构件类别识别装置。
背景技术
数字建筑代表了城市信息化的发展方向,是推动信息化的重要手段,进入21世纪以来,数字建筑得到了较快的发展,已成为当前具有发展潜力的战略性高技术领域之一。为了使得数字建筑可以应用在各种***中,则需要生成建筑的三维模型,然而,目前仅存在建筑的二维图纸。
发明内容
本申请示出了信息处理方法及装置。
一方面,本申请示出了一种建筑的三维模型的生成方法,所述方法包括:
获取建筑的基础信息,所述基础信息至少包括:所述建筑的平面图、所述建筑的立面图以及所述建筑中包括的构件的大样详图;获取所述建筑中包括的各个构件的类别;根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型。
另一方面,本申请示出了一种建筑构件类别识别模型的训练方法,所述方法包括:获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像、所述样本矢量图像中的样本基础元素的样本几何特征以及所述样本建筑中的样本构件的标注类别,所述样本基础元素用于构成所述样本建筑中的所述样本构件;创建类别识别模型的网络结构;使用所述样本数据集对所述类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型;所述网络结构至少包括特征提取网络以及构件识别网络;所述特征提取网络用于根据所述样本像素图像获取所述样本建筑的样本类别特征;所述构件识别网络用于根据所述样本几何特征以及所述样本类别特征识别所述样本建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别模型的评估方法,所述方法包括:获取至少一个测试数据集,所述测试数据集中包括:测试建筑的测试矢量图像对应的所述测试建筑的测试像素图像、所述测试矢量图像中的测试基础元素的测试几何特征以及所述测试建筑中的测试构件的标注类别;所述测试基础元素用于构成所述测试建筑中的所述测试构件;根据所述测试像素图像、所述测试几何特征以及类别识别模型识别所述测试建筑中的构件的类别;根据所述测试建筑中的测试构件的标注类别以及识别的所述测试建筑中的构件的类别获取所述类别识别模型的识别质量;其中,在所述类别识别模型中,根据所述测试像素图像获取所述测试建筑的测试类别特征,然后根据所述测试几何特征以及所述测试类别特征识别所述测试建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别方法,所述方法包括:获取目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像,以及,获取所述目标矢量图像的目标基础元素的目标几何特征,所述目标基础元素用于构成所述目标建筑中的构件;根据所述目标像素图像获取所述目标建筑的目标类别特征;根据所述目标几何特征以及所述目标类别特征识别所述目标建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别模型的训练方法,所述方法包括:获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像以及所述样本建筑的标注蒙版图像,所述标注蒙版图像的尺寸与所述样本像素图像的尺寸相同,所述标注蒙版图像中标注有所述样本像素图像中的样本基础元素以及所述样本基础元素的标注类别;所述样本基础元素用于构成所述样本建筑中的样本构件;使用所述样本数据集对类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型。
另一方面,本申请示出了一种建筑构件类别识别方法,所述方法包括:获取所述目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像;根据所述目标像素图像以及类别识别模型获取目标建筑的目标蒙版图像;所述目标蒙版图像的尺寸与所述目标像素图像的尺寸相同,所述目标蒙版图像中标注有所述类别识别模型识别出的所述目标像素图像中的基础元素以及所述基础元素的类别;所述基础元素用于构成目标建筑中的构件;根据所述目标蒙版图像以及所述目标矢量图像中的各个基础元素,识别所述目标矢量图像中的构件的类别。
另一方面,本申请示出了一种建筑的三维模型的生成装置,所述装置包括:第一获取模块,用于获取建筑的基础信息,所述基础信息至少包括:所述建筑的平面图、所述建筑的立面图以及所述建筑中包括的构件的大样详图;第二获取模块,用于获取所述建筑中包括的各个构件的类别;生成模块,用于根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型。
另一方面,本申请示出了一种建筑构件类别识别模型的训练装置,所述装置包括:第三获取模块,用于获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像、所述样本矢量图像中的样本基础元素的样本几何特征以及所述样本建筑中的样本构件的标注类别,所述样本基础元素用于构成所述样本建筑中的所述样本构件;创建模块,用于创建类别识别模型的网络结构;第一训练模块,用于使用所述样本数据集对所述类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型;所述网络结构至少包括特征提取网络以及构件识别网络;所述特征提取网络用于根据所述样本像素图像获取所述样本建筑的样本类别特征;所述构件识别网络用于根据所述样本几何特征以及所述样本类别特征识别所述样本建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别模型的评估装置,所述装置包括:第四获取模块,用于获取至少一个测试数据集,所述测试数据集中包括:测试建筑的测试矢量图像对应的所述测试建筑的测试像素图像、所述测试矢量图像中的测试基础元素的测试几何特征以及所述测试建筑中的测试构件的标注类别;所述测试基础元素用于构成所述测试建筑中的所述测试构件;第一识别模块,用于根据所述测试像素图像、所述测试几何特征以及类别识别模型识别所述测试建筑中的构件的类别;第五获取模块,用于根据所述测试建筑中的测试构件的标注类别以及识别的所述测试建筑中的构件的类别获取所述类别识别模型的识别质量;其中,在所述类别识别模型中,根据所述测试像素图像获取所述测试建筑的测试类别特征,然后根据所述测试几何特征以及所述测试类别特征识别所述测试建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别装置,所述装置包括:
第六获取模块,用于获取目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像,以及,获取所述目标矢量图像的目标基础元素的目标几何特征,所述目标基础元素用于构成所述目标建筑中的构件;第七获取模块,用于根据所述目标像素图像获取所述目标建筑的目标类别特征;第二识别模块,用于根据所述目标几何特征以及所述目标类别特征识别所述目标建筑中的构件的类别。
另一方面,本申请示出了一种建筑构件类别识别模型的训练装置,所述装置包括:第八获取模块,用于获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像以及所述样本建筑的标注蒙版图像,所述标注蒙版图像的尺寸与所述样本像素图像的尺寸相同,所述标注蒙版图像中标注有所述样本像素图像中的样本基础元素以及所述样本基础元素的标注类别;所述样本基础元素用于构成所述样本建筑中的样本构件;第二训练模块,用于使用所述样本数据集对类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型。
另一方面,本申请示出了一种建筑构件类别识别装置,所述装置包括:
第九获取模块,用于获取所述目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像;第十获取模块,用于根据所述目标像素图像以及类别识别模型获取目标建筑的目标蒙版图像;所述目标蒙版图像的尺寸与所述目标像素图像的尺寸相同,所述目标蒙版图像中标注有所述类别识别模型识别出的所述目标像素图像中的基础元素以及所述基础元素的类别;所述基础元素用于构成目标建筑中的构件;第三识别模块,用于根据所述目标蒙版图像以及所述目标矢量图像中的各个基础元素,识别所述目标矢量图像中的构件的类别。
另一方面,本申请示出了一种电子设备,所述电子设备包括:处理器;
用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如前述的任一方面所示的方法。
另一方面,本申请示出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。
另一方面,本申请示出了一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。
与现有技术相比,本申请实施例包括以下优点:
在本申请中,建筑的立面图包括建筑的各个侧面的图像,立面图也可以体现建筑的立体信息,建筑的平面图可以包括建筑的俯视图像等。如此,之后在生成建筑的三维模型时,借助建筑的平面图以及建筑的立面图可以提高生成的模型的精准度以及完整度,例如,可以提高生成的建筑的三维模型与真实的建筑之间的相似度。
附图说明
图1是本申请示出的一种建筑的三维模型的生成方法的步骤流程图。
图2是本申请示出的一种建筑构件类别识别模型的训练方法的步骤流程图。
图3是本申请示出的一种建筑构件类别识别模型的网络结构的示意图。
图4是本申请示出的一种建筑构件类别识别模型的网络结构的示意图。
图5是本申请示出的一种建筑构件类别识别模型的网络结构的示意图。
图6是本申请示出的一种建筑构件类别识别模型的评估方法的步骤流程图。
图7是本申请示出的一种获取模型的识别质量的方法的步骤流程图。
图8是本申请示出的一种建筑构件类别识别方法的步骤流程图。
图9是本申请示出的一种建筑构件类别识别模型的训练方法的步骤流程图。
图10是本申请示出的一种建筑构件类别识别方法的步骤流程图。
图11是本申请示出的一种建筑的三维模型的生成装置的结构示意图。
图12是本申请示出的一种建筑构件类别识别模型的训练装置的结构示意图。
图13是本申请示出的一种建筑构件类别识别模型的评估装置的结构示意图。
图14是本申请示出的一种建筑构件类别识别装置的结构示意图。
图15是本申请示出的一种建筑构件类别识别模型的训练装置的结构示意图。
图16是本申请示出的一种建筑构件类别识别装置的结构示意图。
图17是本申请示出的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参照图1,示出了本发明实施例的一种建筑的三维模型的生成方法的步骤流程图,通过该方法可以根据生成建筑的三维模型,其中,该方法应用于电子设备中,该方法具体可以包括如下步骤:
在步骤S101中,获取建筑的基础信息,建筑的基础信息至少包括:建筑的平面图、建筑的立面图以及建筑中包括的构件的大样详图。
建筑的平面图、建筑的立面图以及建筑中包括的构件的大样详图包括二维平面图等,二维平面图可以包括矢量图像等,如,CAD图像等。
在步骤S102中,获取建筑中包括的各个构件的类别。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
其中,获取建筑中包括的各个构件的类别的具体获取方式可以自动化的方式。具体地,获取建筑中包括的各个构件的类别可以参见之后如图8或图10所示的实施例,在此不做详述。
在步骤S103中,根据建筑中包括的各个构件的类别以及建筑的基础信息生成建筑的三维模型。
在本申请一个实施例中,可以根据立面图获取建筑中包括的构件之间的依赖关系,以及,根据平面图以及立面图获取建筑中的各个楼层的轴网信息;然后根据建筑的基础信息、建筑中包括的构件之间的依赖关系、建筑中的各个楼层的轴网信息以及建筑中包括的各个构件的类别生成建筑的三维模型。在生成建筑的三维模型的过程中,根据轴网信息将立面图、平面图以及大样详图对齐;在对齐后的立面图、平面图以及大样详图中定位各个构件;将各个构件按照各自的位置以及构件之间的依赖关系组合得到建筑的三维模型。
其中,根据建筑中包括的各个构件的类别以及建筑的基础信息使用当前已存在的方式生成建筑的三维模型,例如,可以根据建筑中包括的各个构件的类别以及建筑的基础信息借助autodest revit软件来生成建筑的三维模型。当然也可以借助其他方式来生成建筑的三维模型,本申请对生成建筑的三维模型的具体生成方式不做限定。
在本申请中,建筑的三维模型可以包括BIM(Building Information Modeling,建筑信息模型)等。当然,也可以包括其他形式的模型,本申请对此不加以限定。
在一个实施例中,在本步骤中,可以根据建筑中包括的各个构件的类别以及基础信息生成包括建筑中的各个构件的参数信息的Json文件;参数信息至少包括构件的几何特征、构件在建筑中的位置以及构件的类别。之后可以根据Json文件获取建筑的三维模型。
构件的几何特征包括构件的长度、宽度以及厚度等,以及还可以包括构件中的基础元素以及基础元素的几何特征,在基础元素包括线段的情况下,基础元素的几何特征包括线段的两个端点在建筑中的位置等。
在一个实施例中,可以将Json文件作为建筑的三维模型。
在另一个实施例中,可以对Json文件加密,得到预设格式的文件;根据预设格式的文件获取建筑的三维模型。例如,可以将预设格式的文件作为建筑的三维模型。
之后在外部流转的数据可以不是Json文件,而是根据预设格式的文件获取的建筑的三维模型,预设格式的文件是加密后的,如此,根据预设格式的文件获取的建筑的三维模型中的数据是已经加密的,从而可以提高数据的保密性。
预设格式可以包括“.aim”格式,当然,也可以为其他格式,本申请对此不加以限定。
本申请对具体的加密方式不做限定。
在一个实施例中,在需要显示建筑的三维模型以供用户查看时,可以将建筑的三维模型的预设格式的文件转换为Json文件,然后渲染Json文件,从而实现显示建筑的三维模型。
在本申请中,建筑的立面图包括建筑的各个侧面的图像,立面图也可以体现建筑的立体信息,建筑的平面图可以包括建筑的俯视图像等。如此,之后在生成建筑的三维模型时,借助建筑的平面图以及建筑的立面图可以提高生成的模型的精准度以及完整度,例如,可以提高生成的建筑的三维模型与真实的建筑之间的相似度。
构件的大样详图中包括构件的具体细节,例如包括构件中的所有的基础元素、各个基础元素之间的相对位置以及相互连接的关系等。如此,在生成建筑的三维模型时,借助建筑中包括的构件的大样详图可以提高生成的建筑的三维模型的LOD(Levels of Detail,多细节层次)的等级,进而可以提高生成的建筑的三维模型的精细度,例如,可以提高生成的建筑的三维模型中的细节的丰富度和真实度。
其中,可以使用自动化的方式获取建筑中包括的各个构件的类别,也即,获取建筑中包括的各个构件的类别的过程可以没有人工参与,从而可以降低人工成本。另外,由于人的生理问题,如果是人为在图像上拾取建筑中包括的各个构件的类别,则可能会出错以及速度较慢(人只能串行拾取),从而导致获取的建筑中包括的各个构件的类别的准确度低以及效率低,而通过自动化的方式获取建筑中包括的各个构件的标注类别可以规避人的生理问题(避免出错以及可以并行获取的建筑中包括的各个构件的类别),从而可以提高获取的建筑中包括的各个构件的类别的准确度以及效率。
在本申请中,建筑中的一些构件之间存在依赖关系,例如,门依赖于墙以及窗户依赖于墙,在生成建筑的三维模型的过程中,如果不考虑构件之间的依赖关系,而是依次分别单独生成建筑中的各个构件的模型,则在根据各个构件的模型组合建筑的三维模型之后,得到的建筑的三维模型往往无法体现这些构件之间的依赖关系,从而使得得到的建筑的三维模型与真实的建筑不匹配,导致得到的建筑的三维模型的精准度低。而在本申请中,在生成建筑的三维模型时,可以参考建筑中的构件之间的依赖关系,使得建筑的三维模型可以体现这些构件之间的依赖关系,从而使得生成的建筑的三维模型与真实的建筑匹配,进而可以提高生成的建筑的三维模型的精准度。
在本申请中,各个楼层的轴网信息包括各个楼层在水平方向上的位置,且建筑的平面图以及建筑的立面图可以是针对整个建筑的(包括建筑中的多个楼层,例如,包括建筑中的所有楼层等),则在电子设备生成建筑的三维模型时,可以根据各个楼层的轴网信息自动将建筑的各个楼层对齐,这样,生成的建筑的三维模型中的建筑的各个楼层是对齐的,不需要人工将建筑的各个楼层对齐,从而可以降低人工成本。
通过本申请生成的建筑的三维模型可以应用于建筑的三维展示场景。
通过本申请生成的建筑的三维模型还可以应用于AR(Augmented Reality,增强现实)查看建筑的场景或VR(Virtual Reality虚拟现实)查看建筑的场景。例如,可以生成建筑的三维模型,以供用户可以看到建筑的立体结构以及建筑中的构件的立体结构,以带给用户更加真实的查看建筑的感受。
通过本申请生成的建筑的三维模型还可以应用于地图场景,例如,在用户查看某一区域地图时,可以生成该区域中的建筑的三维模型,以供用户可以在地图上看到该区域中的建筑的立体结构,以带给用户更加贴近真实的查看地图的感受。
通过本申请生成的建筑的三维模型还可以应用于建筑的3D打印、建筑的数字化保存、在大量建筑中搜索建筑、建筑的身份识别、对至少两个建筑的形状或体积进行对比以及对已经损毁的建筑进行立体重构等。
还可以将本申请生成的建筑的三维模型提供给装修公司,以使装修公司根据建筑的三维模型制定对建筑的装修方案。
还可以将本申请生成的建筑的三维模型提供给建筑的材料供应商,以使建筑的材料供应商根据建筑的三维模型计算建筑所需的材料的数量,并提供该数量的材料。
还可以将本申请生成的建筑的三维模型提供给修建建筑的施工方,以使修建建筑的施工方根据建筑的三维模型修建建筑。
还可以将本申请生成的建筑的三维模型提供给审核建筑的监管部门,以使监管部门可以根据建筑的三维模型审核建筑是否合法合规。
还可以将本申请生成的建筑的三维模型提供给学习设计建筑的学习者,以使学习者根据建筑的三维模型学习建筑的设计知识。
还可以将本申请生成的建筑的三维模型提供给建筑的管道设计师和/或建筑的电路设计师等,以使管道设计师可以在建筑的三维模型上直接操作,以在建筑的三维模型上添加建筑的管道,例如,上水管道和/或下水管道等,以及,使电路设计师可以在建筑的三维模型上直接操作,以在建筑的三维模型上添加建筑的电路管线等。
并且,还可以将本申请生成的建筑的三维模型提供给建筑的其他方面的相关设计师等,以使建筑的其他方面的相关设计师可以在建筑的三维模型上直接操作,以根据实际需求在建筑的三维模型上添加建筑的其他方面的相关设计。
在本申请一个实施例中,通过图1所示的实施例生成的建筑的三维模型包括建筑的结构设计的三维模型;该方法还包括:获取建筑的设施设计的三维模型;设施设计的三维模型中包括用于添加在建筑中的附加设施;附加设置包括管道以及电线等,管道包括下水管道以及饮用水进水管道等。
可以将结构设计的三维模型与设施设计的三维模型融合,得到融合后的三维模型;其中,结构设计的三维模型的尺寸与设施设计的三维模型的尺寸可以相同,可以将结构设计的三维模型与设施设计的三维模型中的相同位置的内容融合,得到融合后的三维模型。
然后,确定融合后的三维模型中的错误的附加设施;以及确定错误的附加设施的错误类型;例如,可以根据建筑业内的设计规范等各种相关规范来确定融合后的三维模型中的不符合建筑业内的设计规范等各种相关规范的附加设施,并作为错误的附加设施。
之后可以输出错误的附加设施和/或错误的附加设施的错误类型。错误类型可以根据建筑业内的设计规范等各种相关规范来确定,例如,门的尺寸不合格、管道的设置位置不合格、承重墙上悬挂有重物以及窗户尺寸不合格等。
其中,输出错误的附加设施和/或错误的附加设施的错误类型的方式包括以下至少一种:在融合后的三维模型上标注错误的附加设施和/或错误的附加设施的错误类型;以列表形式显示错误的附加设施和/或错误的附加设施的错误类型;在平面图、立面图和大样详图中至少一个上标注错误的附加设施和/或错误的附加设施的错误类型;以及,在融合后的三维模型、平面图、立面图和大样详图中至少一个上悬浮显示弹窗,并在弹窗上以列表形式显示错误的附加设施和/或错误的附加设施的错误类型。
或者,使用电子设备的用户也可以对融合后的三维模型的错误的附加设施进行修改,以将错误的附加设施修改为符合建筑业内的设计规范以及施工贵方等各种相关规范的附加设施,也即,将错误的附加设施修改为正确的附加设置。
例如,使用电子设备的用户可以输入对融合后的三维模型的错误的附加设施的修改操作,电子设备接收对融合后的三维模型的错误的附加设施的修改操作;根据修改操作对融合后的三维模型中的错误的附加设施修改,得到修改后的融合后的三维模型,然后可以显示修改后的融合后的三维模型,以供用户查看修改结果。
在本申请中,图1所示的生成建筑的三维模型的流程的触发条件可以是人工触发的。
例如,在用户需要使得电子设备生成建筑的三维模型的情况下,用户可以在电子设备中输入生成操作,以使电子设备根据生成操作开始执行图1所示的实施例,以生成建筑的三维模型。
其中,生成操作可以包括改变电子设备的姿态的改变操作、在电子设备的触摸屏上输入特定手势的输入操作、在电子设备中输入特定语音指令的输入操作、在电子设备上输入特定的面部表情动作的输入操作以及点击电子设备的触摸屏上显示的特定的虚拟按钮的点击操作等。
本申请提供的方法可以为电子设备(如手机、电脑、PAD等)中的某个应用程序的工作方法,相应的,本发明提供的存储器可以为电子设备的存储介质,该应用程序调用电子设备的摄像机、存储器、处理器等硬件,以实现上述方法。
为了能够提高识别矢量图像中的建筑的构件的类别的精准度,参照图2,示出了本发明实施例的一种建筑构件类别识别模型的训练方法的步骤流程图,通过该方法可以生成类别识别模型,之后可以基于类别识别模型来识别矢量图像中的建筑的构件的类别,以提高识别的矢量图像中的建筑的构件的类别的精准度。
其中,该方法应用于电子设备中,该方法具体可以包括如下步骤:
在步骤S201中,获取至少一个样本数据集,样本数据集中包括:样本建筑的样本矢量图像对应的样本建筑的样本像素图像、样本矢量图像中的样本基础元素的样本几何特征以及样本建筑中的样本构件的标注类别。样本基础元素用于构成样本建筑中的样本构件。
样本数据集可以为多个,不同的样本数据集中可以包括:不同的样本建筑的样本矢量图像对应的样本建筑的样本像素图像、不同的样本矢量图像中的样本基础元素的样本几何特征以及不同的样本建筑中的样本构件的标注类别。
样本像素图像可以包括RGB(Red Green Blue,红绿蓝)图像等。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
在本申请中,如果电子设备得到的是样本建筑的样本像素图像,则电子设备可以直接将样本像素图像添加在样本数据集中,如果电子设备得到的样本建筑的样本矢量图像,其中,由于后续使用的类别识别模型能够支持对像素图像的处理,因此,电子设备可以将样本建筑的样本矢量图像转换为样本建筑的样本像素图像,具体转换方式可以参见当前已存在的方式,在此不做详述。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
用于构成建筑中的构件的基础元素可以包括用于构成建筑中的构件的线条等。
本申请中的构件可以包括不可数构件,例如,墙以及停车位等。
其中,在得到样本矢量图像之后,可以解析样本矢量图像,得到样本矢量图像中的各个样本基础元素,然后可以获取每两个样本基础元素之间的距离,并获取各个样本基础元素分别在样本矢量图像中的位置以及各个样本基础元素的长度,之后根据每两个样本基础元素之间的距离、各个样本基础元素分别在样本矢量图像中的位置以及各个样本基础元素的长度获取样本矢量图像中的样本基础元素的样本几何特征。
在一个实施例中,可以在得到样本矢量图像之后,可以根据extract_grometry_features函数来获取样本矢量图像中的样本基础元素的样本几何特征。
当然,也可以通过其他可行的方式获取样本矢量图像中的样本基础元素的样本几何特征,本申请对获取样本矢量图像中的样本基础元素的样本几何特征的具体获取方式不做限定。
在步骤S202中,创建类别识别模型的网络结构。
类别识别模型可以包括HRNET(High-Resoultion Net)或DeepLabV3P等,当然,也可以包括其他类别的模型,本申请对此不加以限定。
参见图3,在本申请一个实施例中,类别识别模型的网络结构至少包括:特征提取网络以及构件识别网络。
特征提取网络用于根据样本像素图像获取样本建筑的样本类别特征。
构件识别网络用于根据样本矢量图像中的样本基础元素的样本几何特征以及样本建筑的样本类别特征识别样本建筑中的构件的类别。
类别识别模型的输入端包括特征提取网络的输入端以及构件识别网络的输入端。
构件识别网络的输入端还与特征提取网络的输出端连接。
类别识别模型的输出端包括构件识别网络的输出端。
可以将样本像素图像输入类别识别模型的特征提取网络中,特征提取网络可以根据样本像素图像获取样本建筑的样本类别特征,然后将样本建筑的样本类别特征输入构件识别网络中,另外,样本矢量图像中的样本基础元素的样本几何特征可以输入构件识别网络,因此,构件识别网络可以根据样本矢量图像中的样本基础元素的样本几何特征以及样本建筑的样本类别特征识别样本建筑中的构件的类别,并输出识别的样本建筑中的构件的类别。
在本申请中,可以基于需求来生成类别识别模型的网络结构,生成的类别识别模型之后可能会应用到不同的应用场景中,不同的应用场景适用的类别识别模型的网络结构不同。
在本申请中,以图3~图5所示的类别识别模型的网络结构进行举例说明,但不作为对本申请保护范围的限制。
在步骤S203中,使用样本数据集对类别识别模型中的网络参数训练,直至网络参数收敛,得到类别识别模型。
在本申请中,在创建出类别识别模型的网络结构之后,就可以根据至少一个样本数据集对类别识别模型中的网络参数进行训练。
在训练过程中,可以在类别识别模型输入样本建筑的样本像素图像以及样本矢量图像中的样本基础元素的样本几何特征,以使类别识别模型中的特征提取网络根据样本像素图像获取样本建筑的样本类别特征,然后将样本类别特征输入构件识别网络中;以使类别识别模型中的构件识别网络根据样本矢量图像中的样本基础元素的样本几何特征以及样本建筑的样本类别特征识别样本建筑中的构件的类别,并输出识别的样本建筑中的构件的类别。
之后可以借助损失函数,并基于识别的样本建筑中的构件的类别与样本建筑中的样本构件的标注类别调整类别识别模型中的网络结构中的网络参数,直至类别识别模型中的网络参数收敛,从而就可以完成训练,得到的类别识别模型即可上线使用。
在图3所示的实施例的基础之上,在本申请另一个实施例中,参见图4,特征提取网络包括:卷积神经网络(Convolutional Neural Networks)。卷积神经网络中包括特征融合层以及级联排列的多个卷积层。
排列顺序为首位的卷积层用于对样本建筑的样本像素图像进行特征提取,得到样本建筑的样本卷积特征。
在级联排列的相邻的任意两个卷积层中,排列顺序靠后的卷积层用于根据排列顺序靠前的卷积层输出的样本卷积特征对样本建筑的样本像素图像进行特征提取,得到样本建筑的样本卷积特征。
特征融合层用于将各个卷积层输出的样本卷积特征按照各个样本卷积特征在样本像素图像中对应的位置对齐融合,得到样本建筑的样本类别特征。
卷积神经网络的输入端包括各个卷积层的输入端。样本建筑的样本卷积特征可以分别输入至各个卷积层的输入端。
在级联排列的相邻的任意两个卷积层中,排列顺序靠前的卷积层的输出端与排列顺序靠后的卷积层的输入端连接。
各个卷积层的输出端均与特征融合层的输入端连接。
卷积神经网络的输出端包括特征融合层的输出端。
在图3或4所示的实施例的基础之上,在本申请另一个实施例中,参见图5,构件识别网络包括:图卷积神经网络(Graph Convolutional Network)。
图卷积神经网络中包括级联排列的多个图卷积层。
排列顺序为首位的图卷积层用于对样本建筑的样本类别特征以及样本矢量图像中的样本基础元素的样本几何特征进行图卷积处理,得到样本建筑的样本图卷积特征。
在级联排列的相邻的任意两个图卷积层中,排列顺序靠后的图卷积层用于对排列顺序靠前的图卷积层输出的样本图卷积特征、样本建筑的样本类别特征以及样本矢量图像中的样本基础元素的样本几何特征进行图卷积处理,得到样本建筑的样本图卷积特征。
排列顺序为末位的图卷积层用于对排列顺序为次末位的图卷积层输出的样本图卷积特征、样本建筑的样本类别特征以及样本矢量图像中的样本基础元素的样本几何特征进行图卷积处理,得到样本建筑中的构件的类别。
图卷积神经网络的输入端包括各个图卷积层的输入端。样本建筑的样本类别特征可以分别输入至各个图卷积层的输入端。样本矢量图像中的样本基础元素的样本几何特征也可以分别输入至各个图卷积层的输入端。
级联排列的相邻的任意两个图卷积层中,排列顺序靠前的图卷积层的输出端与排列顺序靠后的图卷积层的输入端连接。
图卷积神经网络的输出端包括排列顺序为末位的图卷积层的输出端。
其中,通过图3~图5所示的实施例,可以分别创建多个不同的网络结构的类别识别模型,之后可以根据实际情况选择不同网络结构的类别识别模型来识别矢量图像中的建筑的构件的类别。
一方面,本申请中的类别识别模型可以支持大规模数据训练,从而可以提高训练出的类别识别模型的泛化能力,进而可以提高基于类别识别模型识别建筑的构件的类别的准确率。
又一方面,当前已经存在的识别建筑中的构件的类别的方案无法准确识别建筑中的不可数构件(例如墙以及停车位等)的类别,本申请中的类别识别模型支持识别建筑中的不可数构件(例如墙以及停车位等)的类别。
又一方面,在根据建筑的像素图像提取建筑的卷积特征时,可以通过上述级联的方式依次进行多轮提取,实现对目标建筑的目标像素图像由粗糙至精细的多层次特征提取,每一轮的特征提取都是对上一轮提取的特征进行进一步更精细的特征提取,进而可以进一步地提高最终获取的目标建筑的目标类别特征的精准度。
另一方面,类别识别模型中可以使用图卷积神经网络对建筑的类别特征以及矢量图像中的基础元素的几何特征进行处理,借助图卷积神经网络的强大的图像处理能力,从而可以提高类别识别模型识别建筑的构件的类别的准确率。
进一步地,使用图卷积神经网络对建筑的类别特征以及矢量图像中的基础元素的几何特征进行多轮处理,每一轮处理都可以根据建筑的类别特征以及矢量图像中的基础元素的几何特征对上一轮处理得到的图卷积特征进一步更精细地处理,以实现对建筑的类别特征以及矢量图像中的基础元素的几何特征由粗糙至精细的多层次处理,进而可以进一步地提高类别识别模型识别建筑的构件的类别的准确率。
在另一个实施例中,在训练得到类别识别模型之后,可以评估类别识别模型识别矢量图像中的建筑的构件的类别的准确率是否满足要求,如果类别识别模型识别矢量图像中的建筑的构件的类别的准确率满足要求,则可以将类别识别模型上线应用,如果类别识别模型识别矢量图像中的建筑的构件的类别的准确率不满足要求,则可以继续优化类别识别模型,直至类别识别模型识别矢量图像中的建筑的构件的类别的准确率满足要求之后,再将类别识别模型上线应用。
为了评估类别识别模型识别矢量图像中的建筑的构件的类别的准确率是否满足要求,图6示出了本发明实施例的一种建筑构件类别识别模型的评估方法的步骤流程图,该方法应用于电子设备中,该方法具体可以包括如下步骤:
在步骤S301中,获取至少一个测试数据集,测试数据集中包括:测试建筑的测试矢量图像对应的测试建筑的测试像素图像、测试矢量图像中的测试基础元素的测试几何特征以及测试建筑中的测试构件的标注类别;测试基础元素用于构成测试建筑中的构件。
测试数据集可以为多个,不同的测试数据集中可以包括:不同的测试建筑的测试矢量图像对应的测试建筑的测试像素图像、不同的测试矢量图像中的测试基础元素的测试几何特征以及不同的测试建筑中的测试构件的标注类别。
测试像素图像可以包括RGB图像等。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
在本申请中,如果电子设备得到的是测试建筑的测试像素图像,则电子设备可以直接将测试像素图像添加在测试数据集中,如果电子设备得到的测试建筑的测试矢量图像,其中,由于后续使用的类别识别模型能够支持对像素图像的处理,因此,电子设备可以将测试建筑的测试矢量图像转换为测试建筑的测试像素图像,具体转换方式可以参见当前已存在的方式,在此不做详述。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
用于构成建筑中的构件的基础元素可以包括用于构成建筑中的构件的线条等。
其中,在得到测试矢量图像之后,可以解析测试矢量图像,得到测试矢量图像中的各个测试基础元素,然后可以获取每两个测试基础元素之间的距离,并获取各个测试基础元素分别在测试矢量图像中的位置以及各个测试基础元素的长度,之后根据每两个测试基础元素之间的距离、各个测试基础元素分别在测试矢量图像中的位置以及各个测试基础元素的长度获取测试矢量图像中的测试基础元素的测试几何特征。
在一个实施例中,可以在得到测试矢量图像之后,可以根据extract_grometry_features函数来获取测试矢量图像中的测试基础元素的测试几何特征。
当然,也可以通过其他可行的方式获取测试矢量图像中的测试基础元素的测试几何特征,本申请对获取测试矢量图像中的测试基础元素的测试几何特征的具体获取方式不做限定。
在步骤S302中,根据测试像素图像、测试矢量图像中的测试基础元素的测试几何特征以及类别识别模型识别测试建筑中的构件的类别。
可以将测试像素图像、测试矢量图像中的测试基础元素的测试几何特征输入已训练的类别识别模型中,以使类别识别模型对测试像素图像以及测试几何特征处理,得到测试建筑中的构件的类别,并输出测试建筑中的构件的类别,电子设备可以得到类别识别模型输出的测试建筑中的构件的类别。
具体地,类别识别模型可以根据测试像素图像获取测试建筑的测试类别特征,然后根据测试矢量图像中的测试基础元素的测试几何特征以及测试建筑的测试类别特征识别测试建筑中的构件的类别。具体流程可以参见图8所示的实施例,在此不做详述。
在步骤S303中,根据测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别获取类别识别模型的识别质量。
本步骤具体可以参见图7所示的实施例,在此不做详述。
在本申请一个实施例中,参见图7,步骤S303可以通过如下流程实现,包括:
在步骤S401中,根据测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别,获取类别识别模型的类别识别质量。
本步骤可以通过如下流程实现,包括:
4011、根据测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别,在类别识别模型识别出的构件中,确定类别识别正确的构件的正确数量。
在本申请中,对于类别识别模型在测试建筑中识别出的任意一个构件,根据该构件的类别确定该构件在测试建筑中对应的标注构件;获取该构件与该标注构件之间的匹配分值;在该匹配分值大于预设阈值的情况下,确定该构件的类别识别正确;之后可以对已经记录的类别识别正确的构件的正确数量累加,得到更新后的类别识别正确的构件的正确数量。
对于类别识别模型在测试建筑中识别出的其他每一个构件,同样执行上述操作,之后最新得到的更新后的类别识别正确的构件的正确数量即为“在类别识别模型识别出的构件中,确定类别识别正确的构件的正确数量”。
4012、根据测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别,在类别识别模型识别出的构件中,确定类别识别错误的构件的错误数量。
在本申请中,对于类别识别模型在测试建筑中识别出的任意一个构件,根据该构件的类别确定该构件在测试建筑中对应的标注构件;获取该构件与该标注构件之间的匹配分值;在该匹配分值小于或等于预设阈值的情况下,确定该构件的类别识别错误;之后可以对已经记录的类别识别错误的构件的错误数量累加,得到更新后的类别识别错误的构件的错误数量。
对于类别识别模型在测试建筑中识别出的其他每一个构件,同样执行上述操作,之后最新得到的更新后的类别识别错误的构件的错误数量即为:在类别识别模型识别出的构件中,确定类别识别错误的构件的错误数量。
其中,如果步骤4011中已经执行了“对于类别识别模型在测试建筑中识别出的任意一个构件,根据该构件的类别确定该构件在测试建筑中对应的标注构件;获取该构件与该标注构件之间的匹配分值”,则在步骤4012中可以不再执行“对于类别识别模型在测试建筑中识别出的任意一个构件,根据该构件的类别确定该构件在测试建筑中对应的标注构件;获取该构件与该标注构件之间的匹配分值”,可以直接使用步骤4011中执行“对于类别识别模型在测试建筑中识别出的任意一个构件,根据该构件的类别确定该构件在测试建筑中对应的标注构件;获取该构件与该标注构件之间的匹配分值”之后得到的结果(构件与标注构件之间的匹配分值)即可。
预设阈值可以根据实际情况设置,例如可以包括0.4、0.5或0.6等,本申请对此不加以限定。
类别识别错误的构件的错误数量除了包括类别识别错误的构件的总的错误数量之外,还可以包括各个错误类型各自对应的错误数量。
例如,假设在上述评估过程中,类别识别错误的构件的总的错误数量为30,其中,12次将门识别为窗户,11次将窗户识别为门,7次将楼梯识别为电梯,则类别识别错误的构件的错误数量可以包括:识别错误的构件的总数量30,将门识别为窗户的次数12,将窗户识别为门的次数11以及将楼梯识别为电梯的次数7。
如此,该方法还包括:对已经记录的、将该标注类别的构件识别为该类别的构件的错误数量累加,得到更新后的将该标注类别的构件识别为该类别的构件的错误数量。
4013、测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别,在测试建筑中的测试构件中,确定类别识别模型未识别出的测试构件的未识别数量。
在本申请中,对于测试建筑中的任意一个测试构件,根据该测试构件的标注类别和类别识别模型在测试建筑中识别出的所有构件确定该标注构件是否被类别识别模型识别出。
在该标注构件未被类别识别模型识别出的情况下,对已经记录的类别未识别出的测试构件的未识别数量累加,得到更新后的未识别出的测试构件的未识别数量。
对于测试建筑中的其他每一个标注构件,同样执行上述操作,之后最新得到的更新后的未识别出的测试构件的未识别数量即为“在测试建筑中的测试构件中,确定类别识别模型未识别出的测试构件的未识别数量”。
本申请对步骤4011、步骤4012和步骤4013之间的先后顺序不做限定,可以并行执行步骤4011、步骤4012和步骤4013。
4014、根据正确数量、错误数量以及未识别数量确定类别识别模型的类别识别质量。
在一个实施例中,可以对正确数量以及错误数量进行加权求和,得到第一和值,再计算正确数量与第一和值之间的比值,得到类别识别模型的类别识别质量。
在另一个实施例中,在错误数量包括各个错误类型各自对应的错误数量的情况下,可以对正确数量以及各个错误类型各自对应的错误数量进行加权求和,得到第一和值,在计算正确数量与第一和值之间的比值,得到类别识别模型的类别识别质量。
在另一个实施例中,在错误数量包括各个错误类型各自对应的错误数量以及类别识别错误的构件的总的错误数量的情况下,可以对正确数量、类别识别错误的构件的总的错误数量以及各个错误类型各自对应的错误数量进行加权求和,得到第一和值,在计算正确数量与第一和值之间的比值,得到类别识别模型的类别识别质量。
其中,在本申请一个实施例中,在获取该构件与该标注构件之间的匹配分值时,可以获取类别识别模型识别出的该构件中包括的基础元素;获取测试建筑中的该标注构件中包括的标注基础元素。
其中,基础元素包括用于构成构件的线条等,识别出的该构件中包括的基础元素的几何信息与标注构件中包括的标注基础元素的几何信息可能相同,也可能有差异。相同是指基础元素的数量相同且各个位置上对应的基础元素的长度相同。
之后可以根据识别出的该构件中包括的基础元素以及该标注基础元素获取该构件与该标注构件之间的匹配分值。
例如,可以获取识别出的该构件中包括的基础元素与该标注基础元素之间的并集,以及,获取识别出的该构件中包括的基础元素与该标注基础元素之间的交集。
其中,如果识别出的该构件中包括的某一基础元素的长度以及在测试像素图像中的位置与该标注构建中的一个标注基础元素的长度以及在测试像素图像中的位置分别相同,则识别出的该构件中包括的该基础元素属于该交集,否则,识别出的该构件中包括的该基础元素不属于该交集。
对于该交集中的任意一个基础元素(此时标注基础元素与基础元素是等价的),可以计算该基础元素的长度与特定数值之间的和值,然后计算该特定数值对数(log),对于该交集中的其他每一个基础元素,同样如此,将得到的所有对数求和,得到第二和值。
对于该并集中的任意一个基础元素,可以计算该基础元素的长度与特定数值之间的和值,然后计算该特定数值对数(log),对于该并集中的其他每一个基础元素,同样如此,将得到的所有对数求和,得到第三和值。
之后可以计算第二和值与第三和值的比值,得到该构件与该标注构件之间的匹配分值之间的匹配分值。
其中,特定数值可以根据实际情况而定,在此不做详述。
在步骤S402中,根据测试建筑中的测试构件的标注类别以及识别的测试建筑中的构件的类别,获取类别识别模型的元素分隔质量。
确定类别识别模型识别的类别识别正确的构件,然后按照前述方式获取各个构件分别与各自对应的标注构件之间的匹配分值,然后计算各个构件分别与各自对应的标注构件之间的匹配分值之间的第四和值,之后可以计算第四和值与类别识别正确的构件的正确数量之间的比值,并作为类别识别模型的元素分隔质量。
本申请对步骤S401和步骤S402之间的先后顺序不做限定,可以先执行步骤S401,再执行步骤S402,或者并行执行步骤S401和S402。
在步骤S403中,根据类别识别模型的类别识别质量以及类别识别模型的元素分隔质量获取类别识别模型的识别质量。
在本申请一个实施例中,可以计算类别识别质量以及元素分隔质量之间的乘积,得到类别识别模型的识别质量。
或者,在本申请另一实施例中,可以对类别识别质量以及元素分隔质量进行加权求和,得到类别识别模型的识别质量。
在将训练得到的类别识别模型部署在线上应用之后,如果电子设备需要识别出矢量图像中的建筑的构件的类别,则电子设备可以将建筑的矢量图像对应的建筑的像素图像以及矢量图像的基础元素的几何特征输入基于前述实施例训练出的类别识别模型中,以使类别识别模型根据像素图像获取建筑的类别特征,以及根据矢量图像中的基础元素的几何特征以及建筑的类别特征识别建筑中的构件的类别,以及输出识别的建筑中的构件的类别,如此,电子设备就可以得到建筑中的构件的类别。
具体地,类别识别模型“根据像素图像获取建筑的类别特征,以及根据矢量图像中的基础元素的几何特征以及建筑的类别特征识别建筑中的构件的类别”的具体过程可以参见图8所示的实施例。
参照图8,示出了本申请一种建筑构件类别识别方法的流程示意图,该方法应用于电子设备中,该方法可以包括:
在步骤S501中,获取目标建筑的目标矢量图像对应的目标建筑的目标像素图像,以及,获取目标矢量图像的目标基础元素的目标几何特征,目标基础元素用于构成目标建筑中的构件。
目标像素图像可以包括RGB图像等。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
在本申请中,如果电子设备得到的是目标建筑的目标像素图像,则电子设备可以直接将目标像素图像添加在目标数据集中,如果电子设备得到的目标建筑的目标矢量图像,其中,由于后续使用的类别识别模型能够支持对像素图像的处理,因此,电子设备可以将目标建筑的目标矢量图像转换为目标建筑的目标像素图像,具体转换方式可以参见当前已存在的方式,在此不做详述。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
用于构成建筑中的构件的基础元素可以包括用于构成建筑中的构件的线条等。
其中,在得到目标矢量图像之后,可以解析目标矢量图像,得到目标矢量图像中的各个目标基础元素,然后可以获取每两个目标基础元素之间的距离,并获取各个目标基础元素分别在目标矢量图像中的位置以及各个目标基础元素的长度,之后根据每两个目标基础元素之间的距离、各个目标基础元素分别在目标矢量图像中的位置以及各个目标基础元素的长度获取目标矢量图像中的目标基础元素的目标几何特征。
在一个实施例中,可以在得到目标矢量图像之后,可以根据extract_grometry_features函数来获取目标矢量图像中的目标基础元素的目标几何特征。
当然,也可以通过其他可行的方式获取目标矢量图像中的目标基础元素的目标几何特征,本申请对获取目标矢量图像中的目标基础元素的目标几何特征的具体获取方式不做限定。
在步骤S502中,根据目标像素图像获取目标建筑的目标类别特征。
特征提取网络可以包括卷积神经网络等,当然,也可以包括其他用于提取类别特征的网络,本申请对此不加以限定。
在一个实施例中,本步骤可以通过如下流程实现,包括:
5021、对目标建筑的目标像素图像进行特征提取,得到目标建筑的第1目标卷积特征。
特征提取网络包括卷积神经网络。卷积神经网络中包括特征融合层以及级联排列的多个卷积层。
在本申请中,可以将目标像素图像输入卷积神经网络中的第1卷积层中,以使卷积神经网络中的第1卷积层对目标像素图像进行特征提取,得到目标建筑的第1目标卷积特征。
5022、根据第1目标卷积特征对目标建筑的目标像素图像进行特征提取,得到目标建筑的第2目标卷积特征。依次类推,根据第N-1目标卷积特征对目标建筑的目标像素图像进行特征提取,得到样本建筑的第N目标卷积特征。N为大于1的正整数。
在本申请中,可以将第1目标卷积特征以及目标像素图像输入卷积神经网络中的第2卷积层中,以使卷积神经网络中的第2卷积层根据第1目标卷积特征对目标像素图像进行特征提取,得到目标建筑的第2目标卷积特征。
然后,将第2目标卷积特征以及目标像素图像输入特征提取网络中的第3卷积层中,以使特征提取网络中的第3卷积层根据第2目标卷积特征对目标像素图像进行特征提取,得到目标建筑的第3目标卷积特征。
以此类推,将第N-1目标卷积特征以及目标像素图像输入卷积神经网络中的第N卷积层中,以使卷积神经网络中的第N卷积层根据第N-1目标卷积特征对目标像素图像进行特征提取,得到目标建筑的第N-1目标卷积特征。
5023、将第1目标卷积特征、第2目标卷积特征......以及第N目标卷积特征按照各自在目标像素图像中对应的位置对齐融合,得到目标建筑的目标类别特征。
在本申请中,可以将第1目标卷积特征、第2目标卷积特征......以及第N目标卷积特征输入特征融合层中,以使特征融合层将第1目标卷积特征、第2目标卷积特征......以及第N目标卷积特征按照各自在目标像素图像中对应的位置对齐融合,得到目标建筑的目标类别特征,例如,将目标建筑的目标类别特征输入至构件识别网络。
在步骤S503中,根据目标矢量图像的目标基础元素的目标几何特征以及目标建筑的目标类别特征识别目标建筑中的构件的类别。
在一个实施例中,本步骤可以通过如下流程实现,包括:
5031、对目标建筑的目标类别特征以及目标矢量图像的目标基础元素的目标几何特征进行图卷积处理,得到目标建筑的第1目标图卷积特征。
构件识别网络包括:图卷积神经网络。图卷积神经网络中包括级联排列的多个图卷积层。
在本申请中,可以将目标建筑的目标类别特征以及目标矢量图像的目标基础元素的目标几何特征输入图卷积神经网络中的第1图卷积层中,以使图卷积神经网络中的第1图卷积层对目标建筑的目标类别特征以及目标矢量图像的目标基础元素的目标几何特征处理,得到目标建筑的第1目标图卷积特征。
5032、对第1目标图卷积特征、目标建筑的目标类别特征以及目标矢量图像的目标基础元素的目标几何特征进行图卷积处理,得到目标建筑的第2目标图卷积特征。依次类推,对第N-2目标图卷积特征、目标建筑的目标类别特征以及目标矢量图像的目标基础元素的目标几何特征进行图卷积处理,得到目标建筑的第N-1目标图卷积特征。N为大于1的正整数。
在本申请中,可以将目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第1目标图卷积特征输入图卷积神经网络中的第2图卷积层中,以使图卷积神经网络中的第2图卷积层对目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第1目标图卷积特征处理,得到目标建筑的第2目标图卷积特征。
可以将目标建筑的目标类别特征、目标矢量图像的基础元素的目标几何特征以及第2目标图卷积特征输入图卷积神经网络中的第3图卷积层中,以使图卷积神经网络中的第3图卷积层对目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第2目标图卷积特征处理,得到目标建筑的第3目标图卷积特征。
以此类推,可以将目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第N-2目标图卷积特征输入图卷积神经网络中的第N-1图卷积层中,以使图卷积神经网络中的第N-1图卷积层对目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第N-2目标图卷积特征处理,得到目标建筑的第N-1目标图卷积特征。
5033、对第N-1目标图卷积特征、目标建筑的目标类别特征以及目标矢量图像的基础元素的目标几何特征进行图卷积处理,得到目标建筑中的构件的类别。
可以将目标建筑的目标类别特征、目标矢量图像的目标基础元素的目标几何特征以及第N-1目标图卷积特征输入图卷积神经网络中的第N图卷积层中,以使图卷积神经网络中的第N图卷积层对目标建筑的目标类别特征、目标矢量图像的基础元素的目标几何特征以及第N-1目标图卷积特征处理,得到目标建筑中的构件的类别。
一方面,本申请中的类别识别模型可以支持大规模数据训练,从而可以提高训练出的类别识别模型的泛化能力,进而可以提高基于类别识别模型识别建筑的构件的类别的准确率。
又一方面,当前已经存在的识别建筑中的构件的类别的方案无法准确识别建筑中的不可数构件(例如墙以及停车位等)的类别,本申请中的类别识别模型支持识别建筑中的不可数构件(例如墙以及停车位等)的类别。
又一方面,在根据建筑的像素图像提取建筑的卷积特征时,可以通过上述级联的方式依次进行多轮提取,实现对目标建筑的目标像素图像由粗糙至精细的多层次特征提取,每一轮的特征提取都是对上一轮提取的特征进行进一步更精细的特征提取,进而可以进一步地提高最终获取的目标建筑的目标类别特征的精准度。
另一方面,类别识别模型中可以使用图卷积神经网络对建筑的类别特征以及矢量图像中的基础元素的几何特征进行处理,借助图卷积神经网络的强大的图像处理能力,从而可以提高类别识别模型识别建筑的构件的类别的准确率。
进一步地,使用图卷积神经网络对建筑的类别特征以及矢量图像中的基础元素的几何特征进行多轮处理,每一轮处理都可以根据建筑的类别特征以及矢量图像中的基础元素的几何特征对上一轮处理得到的图卷积特征进一步更精细地处理,以实现对建筑的类别特征以及矢量图像中的基础元素的几何特征由粗糙至精细的多层次处理,进而可以进一步地提高类别识别模型识别建筑的构件的类别的准确率。
另一方面,为了能够提高识别矢量图像中的建筑的构件的类别的精准度,参照图9,示出了本发明实施例的一种建筑构件类别识别模型的训练方法的步骤流程图,通过该方法可以生成类别识别模型,之后可以基于类别识别模型来识别矢量图像中的建筑的构件的类别,以提高识别的矢量图像中的建筑的构件的类别的精准度。
其中,该方法应用于电子设备中,该方法具体可以包括如下步骤:
在步骤S601中,获取至少一个样本数据集,样本数据集中包括:样本建筑的样本矢量图像对应的样本建筑的样本像素图像以及样本建筑的标注蒙版图像,标注蒙版图像的尺寸与样本像素图像的尺寸相同,标注蒙版图像中标注有样本像素图像中的样本基础元素以及样本基础元素的标注类别;样本基础元素用于构成样本建筑中的样本构件。
样本数据集可以为多个,不同的样本数据集中可以包括:不同的样本建筑的样本矢量图像对应的样本建筑的样本像素图像、不同的样本矢量图像中的样本基础元素的样本几何特征以及不同的样本建筑中的样本构件的标注类别。
样本像素图像可以包括RGB图像等。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
在本申请中,如果电子设备得到的是样本建筑的样本像素图像,则电子设备可以直接将样本像素图像添加在样本数据集中,如果电子设备得到的样本建筑的样本矢量图像,其中,由于后续使用的类别识别模型能够支持对像素图像的处理,因此,电子设备可以将样本建筑的样本矢量图像转换为样本建筑的样本像素图像,具体转换方式可以参见当前已存在的方式,在此不做详述。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
用于构成建筑中的构件的基础元素可以包括用于构成建筑中的构件的线条等。
本申请中的构件可以包括不可数构件,例如,墙以及停车位等。
样本建筑的标注蒙版图像可以通过如下方式获取:创建与样本像素图像的尺寸相同的初始化蒙版图像,初始化蒙版图像可以为纯黑色的蒙版图像,然后人工根据样本建筑的样本矢量图像中的各个样本基础元素在样本矢量图像中位置分别确定样本建筑的样本矢量图像中的各个样本基础元素在初始化蒙版图像中的位置,然后将样本建筑的样本矢量图像中的各个样本基础元素按照各自在初始化蒙版图像中的位置绘制在初始化蒙版图像上,并在初始化蒙版图像上标注各个样本基础元素的标注类别,从而得到样本建筑的标注蒙版图像。
在步骤S602中,使用样本数据集对类别识别模型中的网络参数训练,直至网络参数收敛,得到类别识别模型。
在训练过程中,可以将输入样本建筑的样本像素图像输入类别识别模型中,以使类别识别模型对样本建筑的样本像素图像处理,得到样本建筑的识别蒙版图像,识别蒙版图像与样本像素图像的尺寸相同,识别蒙版图像中标注有识别出的样本像素图像中的基础元素以及识别出的基础元素的类别,并输出样本建筑的识别蒙版图像。
之后可以借助损失函数,并基于样本建筑的标注蒙版图像与样本建筑的识别蒙版图像调整类别识别模型中的网络参数,直至类别识别模型中的网络参数收敛,从而就可以完成训练,得到的类别识别模型即可上线使用。
一方面,本申请中的类别识别模型可以支持大规模数据训练,从而可以提高训练出的类别识别模型的泛化能力,进而可以提高基于类别识别模型识别建筑的构件的类别的准确率。
又一方面,当前已经存在的识别建筑中的构件的类别的方案无法准确识别建筑中的不可数构件(例如墙以及停车位等)的类别,本申请中的类别识别模型支持识别建筑中的不可数构件(例如墙以及停车位等)的类别。
在将训练得到的类别识别模型部署在线上应用之后,如果电子设备需要识别出矢量图像中的建筑的构件的类别,则电子设备可以将建筑的矢量图像对应的建筑的像素图像输入基于前述实施例训练出的类别识别模型中,以使类别识别模型对建筑的矢量图像对应的建筑的像素图像,得到建筑的蒙版图像,之后根据蒙版图像以及建筑的矢量图像中的各个基础元素,识别矢量图像中的构件的类别。
具体地,参照图10,示出了本申请一种建筑构件类别识别方法的流程示意图,该方法应用于电子设备中,该方法可以包括:
在步骤S701中,获取目标建筑的目标矢量图像对应的目标建筑的目标像素图像。
在本申请中,如果电子设备得到的是目标建筑的目标像素图像,则电子设备可以直接将目标像素图像添加在目标数据集中,如果电子设备得到的目标建筑的目标矢量图像,其中,由于后续使用的类别识别模型能够支持对像素图像的处理,因此,电子设备可以将目标建筑的目标矢量图像转换为目标建筑的目标像素图像,具体转换方式可以参见当前已存在的方式,在此不做详述。
在步骤S702中,根据目标像素图像以及类别识别模型获取目标建筑的目标蒙版图像;目标蒙版图像的尺寸与目标像素图像的尺寸相同,目标蒙版图像中标注有类别识别模型识别出的目标像素图像中的基础元素以及基础元素的类别;基础元素用于构成目标建筑中的构件。
目标像素图像可以包括RGB图像等。
本申请中的构件可以包括建筑中的门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶以及孔等建筑中可能存在的实体,上述仅为举例,不作为对本申请保护范围的限制。
构件的类别可以理解为:构件属于门、窗、墙、梁、柱、板、电梯、栏杆、停车位、楼梯、洞、台阶或孔等。
矢量图像中具有基础元素,基础元素构成了矢量图像中的构件,基础元素包括线条等。相应地,矢量图像对应的像素图像中也具有基础元素,基础元素构成了像素图像中的构件,基础元素包括线条等。可以识别基础元素的类别,在识别出基础元素的类别之后,就可以确定出基础元素构成的构件的类别。
用于构成建筑中的构件的基础元素可以包括用于构成建筑中的构件的线条等。
本申请中的构件可以包括不可数构件,例如,墙以及停车位等。
在步骤S703中,根据目标蒙版图像以及目标建筑的目标矢量图像中的各个基础元素,识别目标矢量图像中的构件的类别。
在一个实施例中,对于目标矢量图像中的任意一个基础元素,可以确定该基础元素在目标蒙版图像中的对应基础元素;在目标蒙版图像中获取对应基础元素的类别,并作为该基础元素的类别;对于目标矢量图像中的其他每一个基础元素,同样如此。然后根据确定出的目标矢量图像中的各个基础元素的类别确定目标矢量图像中的构件的类别。
一方面,本申请中的类别识别模型可以支持大规模数据训练,从而可以提高训练出的类别识别模型的泛化能力,进而可以提高基于类别识别模型识别建筑的构件的类别的准确率。
又一方面,当前已经存在的识别建筑中的构件的类别的方案无法准确识别建筑中的不可数构件(例如墙以及停车位等)的类别,本申请中的类别识别模型支持识别建筑中的不可数构件(例如墙以及停车位等)的类别。
参照图11,示出了本申请一种建筑的三维模型的生成装置的实施例的结构框图,具体可以包括如下模块:第一获取模块11,用于获取建筑的基础信息,所述基础信息至少包括:所述建筑的平面图、所述建筑的立面图以及所述建筑中包括的构件的大样详图;第二获取模块12,用于获取所述建筑中包括的各个构件的类别;生成模块13,用于根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型。
参照图12,示出了本申请一种建筑构件类别识别模型的训练装置的实施例的结构框图,具体可以包括如下模块:第三获取模块21,用于获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像、所述样本矢量图像中的样本基础元素的样本几何特征以及所述样本建筑中的样本构件的标注类别,所述样本基础元素用于构成所述样本建筑中的所述样本构件;创建模块22,用于创建类别识别模型的网络结构;第一训练模块23,用于使用所述样本数据集对所述类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型;所述网络结构至少包括特征提取网络以及构件识别网络;所述特征提取网络用于根据所述样本像素图像获取所述样本建筑的样本特征;所述构件识别网络用于根据所述样本几何特征以及所述样本类别特征识别所述样本建筑中的构件的类别。
参照图13,示出了本申请一种建筑构件类别识别模型的评估装置的实施例的结构框图,具体可以包括如下模块:第四获取模块31,用于获取至少一个测试数据集,所述测试数据集中包括:测试建筑的测试矢量图像对应的所述测试建筑的测试像素图像、所述测试矢量图像中的测试基础元素的测试几何特征以及所述测试建筑中的测试构件的标注类别;所述测试基础元素用于构成所述测试建筑中的所述测试构件;第一识别模块32,用于根据所述测试像素图像、所述测试几何特征以及类别识别模型识别所述测试建筑中的构件的类别;第五获取模块33,用于根据所述测试建筑中的测试构件的标注类别以及识别的所述测试建筑中的构件的类别获取所述类别识别模型的识别质量;其中,在所述类别识别模型中,根据所述测试像素图像获取所述测试建筑的测试类别特征,然后根据所述测试几何特征以及所述测试类别特征识别所述测试建筑中的构件的类别。
参照图14,示出了本申请一种建筑构件类别识别装置的实施例的结构框图,具体可以包括如下模块:第六获取模块41,用于获取目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像,以及,获取所述目标矢量图像的目标基础元素的目标几何特征,所述目标基础元素用于构成所述目标建筑中的构件;第七获取模块42,用于根据所述目标像素图像获取所述目标建筑的目标类别特征;第二识别模块43,用于根据所述目标几何特征以及所述目标类别特征识别所述目标建筑中的构件的类别。
参照图15,示出了本申请一种建筑构件类别识别模型的训练装置的实施例的结构框图,具体可以包括如下模块:第八获取模块51,用于获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像以及所述样本建筑的标注蒙版图像,所述标注蒙版图像的尺寸与所述样本像素图像的尺寸相同,所述标注蒙版图像中标注有所述样本像素图像中的样本基础元素以及所述样本基础元素的标注类别;所述样本基础元素用于构成所述样本建筑中的样本构件;第二训练模块52,用于使用所述样本数据集对类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型。
参照图16,示出了本申请一种建筑构件类别识别装置的实施例的结构框图,具体可以包括如下模块:第九获取模块61,用于获取所述目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像;第十获取模块62,用于根据所述目标像素图像以及类别识别模型获取目标建筑的目标蒙版图像;所述目标蒙版图像的尺寸与所述目标像素图像的尺寸相同,所述目标蒙版图像中标注有所述类别识别模型识别出的所述目标像素图像中的基础元素以及所述基础元素的类别;所述基础元素用于构成目标建筑中的构件;第三识别模块63,用于根据所述目标蒙版图像以及所述目标矢量图像中的各个基础元素,识别所述目标矢量图像中的构件的类别。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。
本申请实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括服务器、网关、子设备等,子设备为物联网设备等设备。
本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端设备如IoT设备等电子设备。
图17示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。
对于一个实施例,图17示出了示例性装置1300,该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310,和被耦合到控制模块1306的网络接口1312。
处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1300能够作为本申请实施例中所述网关等服务器设备。
在一些实施例中,装置1300可包括具有指令1314的一个或多个计算机可读介质(例如,存储器1306或NVM/存储设备1308)和与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
对于一个实施例,控制模块1304可包括任意适当的接口控制器,以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
控制模块1304可包括存储器控制器模块,以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例,存储器1306可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,存储器1306可包括双倍数据速率四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,控制模块1304可包括一个或多个输入/输出控制器,以向NVM/存储设备1308及(一个或多个)输入/输出设备1310提供接口。
例如,NVM/存储设备1308可被用于存储数据和/或指令1314。NVM/存储设备1308可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1308可包括在物理上作为装置1300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。
(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、拼音组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信,装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G等,或它们的组合进行无线通信。
对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中,装置1300可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请实施例提供了一种电子设备,包括:一个或多个处理器;和,其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如本申请中一个或多个所述的方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程信息处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程信息处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例和落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的信息处理方法及装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种建筑的三维模型的生成方法,其特征在于,所述方法包括:
获取建筑的基础信息,所述基础信息至少包括:所述建筑的平面图、所述建筑的立面图以及所述建筑中包括的构件的大样详图;
获取所述建筑中包括的各个构件的类别;
根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型,包括:
根据所述立面图获取所述建筑中包括的构件之间的依赖关系,以及,根据所述平面图以及所述立面图获取所述建筑中的各个楼层的轴网信息;
根据所述轴网信息将所述立面图、所述平面图以及所述大样详图对齐;
在对齐后的所述立面图、所述平面图以及所述大样详图中定位各个构件;
将各个构件按照各自的位置以及构件之间的依赖关系组合得到建筑的三维模型。
3.根据权利要求1所述的方法,其特征在于,所述建筑的三维模型包括所述建筑的结构设计的三维模型;
所述方法还包括:
获取所述建筑的设施设计的三维模型;所述设施设计的三维模型中包括用于添加在所述建筑中的附加设施;
将所述结构设计的三维模型与所述设施设计的三维模型融合,得到融合后的三维模型;
确定融合后的三维模型中的错误的附加设施;以及确定错误的附加设施的错误类型;
输出错误的附加设施和/或错误的附加设施的错误类型。
4.根据权利要求3所述的方法,其特征在于,所述输出错误的附加设施和/或错误的附加设施的错误类型的方式包括以下至少一种:
在融合后的三维模型上标注错误的附加设施和/或错误的附加设施的错误类型;
以列表形式显示错误的附加设施和/或错误的附加设施的错误类型;
在所述平面图、所述立面图和所述大样详图中至少一个上标注错误的附加设施和/或错误的附加设施的错误类型;
以及,
在融合后的三维模型、所述平面图、所述立面图和所述大样详图中至少一个上悬浮显示弹窗,并在所述弹窗上以列表形式显示错误的附加设施和/或错误的附加设施的错误类型。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
接收对融合后的三维模型的错误的附加设施的修改操作;
根据所述修改操作对融合后的三维模型中的错误的附加设施修改,得到修改后的融合后的三维模型;
显示修改后的融合后的三维模型。
6.根据权利要求1所述的方法,其特征在于,所述根据所述建筑中包括的各个构件的类别以及所述基础信息生成所述建筑的三维模型,包括:
根据所述建筑中包括的各个构件的类别以及所述基础信息生成包括所述建筑中的各个构件的参数信息的Json文件;构件的参数信息至少包括构件的几何特征、构件在建筑中的位置以及构件的类别;
对所述Json文件加密,得到预设格式的文件;
根据预设格式的文件获取所述建筑的三维模型。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
将所述建筑的三维模型的所述预设格式的文件转换为所述Json文件;
渲染所述Json文件,以实现显示所述建筑的三维模型。
8.一种建筑构件类别识别模型的训练方法,其特征在于,所述方法包括:
获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像、所述样本矢量图像中的样本基础元素的样本几何特征以及所述样本建筑中的样本构件的标注类别,所述样本基础元素用于构成所述样本建筑中的所述样本构件;
创建类别识别模型的网络结构;
使用所述样本数据集对所述类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型;
所述网络结构至少包括特征提取网络以及构件识别网络;
所述特征提取网络用于根据所述样本像素图像获取所述样本建筑的样本类别特征;
所述构件识别网络用于根据所述样本几何特征以及所述样本类别特征识别所述样本建筑中的构件的类别。
9.一种建筑构件类别识别模型的评估方法,其特征在于,所述方法包括:
获取至少一个测试数据集,所述测试数据集中包括:测试建筑的测试矢量图像对应的所述测试建筑的测试像素图像、所述测试矢量图像中的测试基础元素的测试几何特征以及所述测试建筑中的测试构件的标注类别;所述测试基础元素用于构成所述测试建筑中的所述测试构件;
根据所述测试像素图像、所述测试几何特征以及类别识别模型识别所述测试建筑中的构件的类别;
根据所述测试建筑中的测试构件的标注类别以及识别的所述测试建筑中的构件的类别获取所述类别识别模型的识别质量;
其中,在所述类别识别模型中,根据所述测试像素图像获取所述测试建筑的测试类别特征,然后根据所述测试几何特征以及所述测试类别特征识别所述测试建筑中的构件的类别。
10.一种建筑构件类别识别方法,其特征在于,所述方法包括:
获取目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像,以及,获取所述目标矢量图像的目标基础元素的目标几何特征,所述目标基础元素用于构成所述目标建筑中的构件;
根据所述目标像素图像获取所述目标建筑的目标类别特征;
根据所述目标几何特征以及所述目标类别特征识别所述目标建筑中的构件的类别。
11.一种建筑构件类别识别模型的训练方法,其特征在于,所述方法包括:
获取至少一个样本数据集,所述样本数据集中包括:样本建筑的样本矢量图像对应的所述样本建筑的样本像素图像以及所述样本建筑的标注蒙版图像,所述标注蒙版图像的尺寸与所述样本像素图像的尺寸相同,所述标注蒙版图像中标注有所述样本像素图像中的样本基础元素以及所述样本基础元素的标注类别;所述样本基础元素用于构成所述样本建筑中的样本构件;
使用所述样本数据集对类别识别模型中的网络参数训练,直至所述网络参数收敛,得到所述类别识别模型。
12.一种建筑构件类别识别方法,其特征在于,所述方法包括:
获取所述目标建筑的目标矢量图像对应的所述目标建筑的目标像素图像;
根据所述目标像素图像以及类别识别模型获取目标建筑的目标蒙版图像;所述目标蒙版图像的尺寸与所述目标像素图像的尺寸相同,所述目标蒙版图像中标注有所述类别识别模型识别出的所述目标像素图像中的基础元素以及所述基础元素的类别;所述基础元素用于构成目标建筑中的构件;
根据所述目标蒙版图像以及所述目标矢量图像中的各个基础元素,识别所述目标矢量图像中的构件的类别。
13.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1-12任一项所述的方法。
14.一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-12任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110568010.5A CN115393501A (zh) | 2021-05-24 | 2021-05-24 | 信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110568010.5A CN115393501A (zh) | 2021-05-24 | 2021-05-24 | 信息处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115393501A true CN115393501A (zh) | 2022-11-25 |
Family
ID=84114426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110568010.5A Pending CN115393501A (zh) | 2021-05-24 | 2021-05-24 | 信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393501A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561879A (zh) * | 2023-07-12 | 2023-08-08 | 中铁水利信息科技有限公司 | 基于bim的水利工程信息管理***及其方法 |
-
2021
- 2021-05-24 CN CN202110568010.5A patent/CN115393501A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116561879A (zh) * | 2023-07-12 | 2023-08-08 | 中铁水利信息科技有限公司 | 基于bim的水利工程信息管理***及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2770752C1 (ru) | Способ и устройство для обучения модели распознавания лица и устройство для определения ключевой точки лица | |
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
CN109635511B (zh) | 一种基于条件生成对抗网络的高层居住区强排方案生成设计方法 | |
CN110992238B (zh) | 一种基于双通道网络的数字图像篡改盲检测方法 | |
CN107704857A (zh) | 一种端到端的轻量级车牌识别方法及装置 | |
CN109961068A (zh) | 图像识别、训练、搜索方法和装置及设备、介质 | |
US8843352B2 (en) | System and methods facilitating interfacing with a structure design and development process | |
CN106156693A (zh) | 用于面部识别的基于多模型表示的鲁棒错误纠正方法 | |
CN104484656A (zh) | 基于深度学习的唇语识别唇形模型库构建方法 | |
CN112241565A (zh) | 建模方法及相关装置 | |
CN104484494A (zh) | 基于建筑bim模型的结构电算自动导荷载方法 | |
CN110728707A (zh) | 基于非对称深度卷积神经网络的多视角深度预测方法 | |
US11631195B2 (en) | Indoor positioning system and indoor positioning method | |
CN104504088A (zh) | 一种用于唇语识别的唇形模型库构建方法 | |
KR20200136723A (ko) | 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치 | |
CN114758337A (zh) | 一种语义实例重建方法、装置、设备及介质 | |
CN115311618A (zh) | 一种基于深度学习和对象匹配的装配质量检查方法 | |
CN114494436A (zh) | 室内场景定位方法及装置 | |
CN113011677A (zh) | 基于车库的车位排布优化方法及相关产品 | |
Ward et al. | Estimating energy consumption of residential buildings at scale with drive-by image capture | |
CN116385660A (zh) | 室内单视图场景语义重建方法及*** | |
Urbieta et al. | Generating BIM model from structural and architectural plans using Artificial Intelligence | |
CN115393501A (zh) | 信息处理方法及装置 | |
CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
Jiang et al. | Scan4Façade: Automated as-is façade modeling of historic high-rise buildings using drones and AI |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240307 Address after: 51 Belarusian Pasha Road, Singapore, Lai Zan Da Building 1 # 03-06, Postal Code 189554 Applicant after: Alibaba Innovation Co. Country or region after: Singapore Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore Applicant before: Alibaba Singapore Holdings Ltd. Country or region before: Singapore |