CN113742810A - 一种比例尺识别方法和基于临摹图的三维模型建立*** - Google Patents

一种比例尺识别方法和基于临摹图的三维模型建立*** Download PDF

Info

Publication number
CN113742810A
CN113742810A CN202010468928.8A CN202010468928A CN113742810A CN 113742810 A CN113742810 A CN 113742810A CN 202010468928 A CN202010468928 A CN 202010468928A CN 113742810 A CN113742810 A CN 113742810A
Authority
CN
China
Prior art keywords
scale
module
size
dimensional model
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010468928.8A
Other languages
English (en)
Other versions
CN113742810B (zh
Inventor
宋璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Qunhe Information Technology Co Ltd
Original Assignee
Hangzhou Qunhe Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Qunhe Information Technology Co Ltd filed Critical Hangzhou Qunhe Information Technology Co Ltd
Priority to CN202010468928.8A priority Critical patent/CN113742810B/zh
Publication of CN113742810A publication Critical patent/CN113742810A/zh
Application granted granted Critical
Publication of CN113742810B publication Critical patent/CN113742810B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种比例尺识别方法，通过采用深度学习确定的比例尺区域确定网络框选出数字区域和标尺区域，通过双向重叠度确定尺寸标注对后，再通过综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，以此来确定比例尺，使得该比例尺识别方法适应性更强、适用范围更广，识别准确度更高。还公开了一种基于临摹图的三维模型建立***，通过临摹图的入和用户交互行为，经过图片上传模块上传图片，经过比例尺确定模块确定准确的比例尺，再经过墙体门窗生成模块和三维模型生成模块最终产出可用于家装设计的户型3D模型。

Description

一种比例尺识别方法和基于临摹图的三维模型建立***
技术领域
本发明涉及图像处理领域，具体涉及一种比例尺识别方法和一种基于临摹图的三维模型建立***。
背景技术
比例尺是制图领域必备的图形化技术语言，用来指代图纸上的物体与实际物理尺寸的对应关系，典型的比例尺包含两部分，分别为数字和标尺。其中，数字为***数字，指代对应标尺的实际物理尺寸，单位通常为毫米。标尺标示一般是工字形或冂字形，与数字方向平行的线段指代标尺的方向和图纸上对应的大小，其两端具有与之垂直的截至标识线段，表示该标尺的起止位置。通常一张图纸会有多处标尺来标识不同位置的尺寸。
目前对图纸所描述物体的信息化主要依赖于人工对齐标尺并输入对应的尺寸，一方面存在人为对齐的偏差，另一方面不利于生产效率的提高。
申请公布号为CN 110414477A的专利申请公开了一种图像比例尺检测方法及装置，包括以下步骤：(1)获取待测图像，所述待测图像包括目标尺寸标注图示，所述目标尺寸标注图示包括尺寸文本子图示和与所述尺寸文本子图示对应的尺寸界线子图示；(2)识别所述目标尺寸标注图示中的尺寸文本，得到实际尺寸；(3)检测所述目标尺寸标注图示中尺寸界线位置，根据所述尺寸界线位置确定图上尺寸；(4)根据所述实际尺寸和图上尺寸确定待测图像的比例尺。该专利申请在一定程度上解决了人工标注偏差的问题并提高生成效率，但是仍然很多明显不足，具体包括：
不足一：步骤(1)中确定图像的目标尺寸标注图示时，只能确定具有规范的数字、尺寸线和尺寸界线组成的标尺且标注在整个图像外侧的标注图示，针对如图3所示的没有尺寸线和尺寸界线只有数字且标注在图像内部的标注图示，该图像比例尺检测方法将无法处理，也就是该图像比例尺检测方法具有很强的应用局限性。
不足二：步骤(3)中在确定界线位置时，通过从尺寸文本图示的两端开始向两侧检测垂直于标注方向每一序列的像素和，当相邻两序列的像素和的差值大于预设阈值时，将远离尺寸文本子图示对应序列的坐标信息作为尺寸界线位置，该方法只能检测数字标示包含在尺寸界线之内的情况，针对数字标示很大且设置在尺寸界线之外的情况，通过从尺寸文本图示的两端开始向两侧检测垂直于标注方向每一序列的像素来判断尺寸界线的方法显然不能识别这种情况下的尺寸界线，或者直接将其他标尺的尺寸界线作为当前标尺的尺寸界线，也就是该图像比例尺检测方法在检测标尺时会漏检或检测结果错误。
不足三，当图纸轻微的倾斜或旋转时，此时将无法通过步骤(3)的方式确定尺寸界限，由于标尺自身的偏差和照片的噪声，对这种翻拍图纸的识别将造成困扰，进而无法准确识别比例尺，也就是该图像比例尺检测方法具有很强的应用局限性。
不足四，步骤(4)根据实际尺寸和图上尺寸确定比例尺时仅排除边缘文本，选择中间文本进行输出方式容易将边缘正确识别的结果排除，将中间误识别的文本作为最终结果展示，导致识别结果错误。
发明内容
鉴于上述，本发明的目的是提供一种比例尺识别方法，以解决现有比例尺识别不准确且不具有普适性问题。
本发明的另一目的是提供一种基于临摹图的三维模型建立***，以解决直接根据临摹图建立三维模型导致标注尺寸与真实物理尺寸不对应的问题。
第一方面，为实现上述发明目的，本发明实施例提供了一种比例尺识别方法，包括以下步骤：
获取待测图像，所述待测图像包含尺寸标注图示，所述尺寸标注图示包含数字图示，或者和标尺图示；
采用预训练的比例尺区域确定网络识别待测图像中的数字图示和标尺图示，框选出数字区域和标尺区域；
计算数字区域相对于标尺区域的第一重叠度和标尺区域相对于数字区域的第二重叠度，筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对；
采用文本识别网络对尺寸标注对中数字区域进行文本识别，获得实际尺寸，计算尺寸标注对中标尺区域边框沿数字书写方向的距离为图上尺寸；
综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，根据最优单位标尺确定比例尺。
在一个实施方式中，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
采用最小二乘法对所有尺寸标注对的实际尺寸和图上尺寸进行拟合，拟合直线的斜率为最优单位标尺。
在另外一个实施方式中，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
根据每个尺寸标注对的实际尺寸和图上尺寸计算属于每个尺寸标注对的单位标尺；
对所有尺寸标注对对应的单位标尺进行统计，以中位数对应的单位标尺作为最优单位标尺。
在另外一个实施方式中，所述筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对包括：
首先，利用重叠度阈值对所述第一重叠度和所述第二重叠度进行筛选，保留大于重叠度阈值的第一重叠度和第二重叠度；
然后，再筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对。
第二方面，为实现上述另一目的，本发明实施例提供了一种基于临摹图的三维模型建立***，包括图像上传模块、比例尺确定模块、墙体门窗生成模块和三维模型生成模块；
所述图像上传模块用于接收用户上传的临摹图，并将临摹图保存在云端并进行图像展示；
所述比例尺确定模块用于对临摹图进行比例尺识别，包括采用上述比例尺识别方法进行自动识别和用户自行设置比例尺，以确定最终比例尺；
所述墙体门窗生成模块用于根据确定的最终比例尺自动生成墙体和门窗或手动绘制墙体和门窗，以确定最终墙体和门窗；
所述三维模型生成模块用于根据确定的最终墙体和门窗生成三维模型。
在一个实施方式中，所述比例尺确定模块包括比例尺自动生成模块、比例尺确认模块和比例尺编辑模块以及比例尺记录模块；
所述比例尺自动生成模块设于云端，在用户选择比例尺自动识别时，用于采用上述比例尺识别方法对临摹图进行比例尺识别，输出识别比例尺至比例尺记录模块；
所述比例尺确认模块设于客户端，用于对接收的识别比例尺进行满意度确认，在对识别比例尺满意时，确认识别比例尺后输出确认的识别比例尺至比例尺记录模块；
所述比例尺编辑模块设于客户端，在用户选择比例尺手动输入时，用于接收用户编辑的编辑比例尺，并将该编辑比例尺输出至比例尺记录模块；在对识别比例尺不满意时，用于接收用户编辑的修改比例尺，并将该修改比例尺输出至比例尺记录模块；
所述比例尺记录模块设于云端，用于记录最终比例尺，该最终比例尺包括识别比例尺、编辑比例尺或修改比例尺。
在一个实施方式中，所述墙体门窗生成模块包括自动绘制模块、手动绘制模块、墙体记录模块，
所述自动绘制模块设于云端，在用户选择自动绘制时，用于根据最终比例尺和图像自动绘制墙体和门窗，并发送自动绘制墙体和门窗至墙体记录模块；
所述手动绘制模块设于客户端，在用户选择手动绘制时，用于根据最终比例尺和图像手动绘制墙体和门窗，并发送手动绘制墙体和门窗至墙体记录模块；
所述墙体记录模块设于云端，用于记录最终墙体和门窗绘制结果，所述最终墙体和门窗绘制结果包括手动绘制墙体和门窗结果和自动绘制墙体和门窗结果。
在一个实施方式中，所述三维模型生成模块包括自动生成模块、模型确认模块和模型编辑模块，
所述自动生成模块设于云端，用于根据最终墙体和门窗绘制结果生成三维模型，并将该三维模型传输至模型确认模块；
所述模型确认模块设于客户端，用于对接收的三维模型进行满意确认，满意时输出三维模块；
所述模型编辑模块设于客户端，在用户对三维模型不满意时，重新绘制修改三维模型中的墙体和/或门窗，并将修改结果传输至自动生成模块或墙体记录模块。
在另外一个实施方式中，在用户对三维模型不满意时，将三维模型对应的二维图提供给所述墙体门窗生成模块的手动绘制模块进行墙体窗户的重新修改。
相对于现有技术，本发明具有的有效效果至少包括：
本发明实施例提供的比例尺识别方法，通过采用深度学习确定的比例尺区域确定网络框选出数字区域和标尺区域，通过双向重叠度确定尺寸标注对后，再通过综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，以此来确定比例尺，使得该比例尺识别方法适应性更强、适用范围更广，识别准确度更高。
本发明实施例提供的基于临摹图的三维模型建立***，通过临摹图的入和用户交互行为，经过图片上传模块上传图片，经过比例尺确定模块确定准确的比例尺，再经过墙体门窗生成模块和三维模型生成模块最终产出可用于家装设计的户型3D模型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是本发明提供的比例尺识别方法一实施例的流程图；
图2是本发明提供的待测图像的一示例图；
图3是本发明提供的待测图像的另一示例图；
图4是本发明提供的训练样本中数字区域和标尺区域的示意图；
图5是本发明提供的采用比例尺识别方法确定的比例尺可视化呈现图；
图6是本发明提供的基于临摹图的三维模型建立***一实施例的结构示意图；
图7是本发明提供的比例尺确定模块一实施例的结构示意图；
图8是本发明提供的墙体门窗生成模块一实施例的结构示意图；
图9是本发明提供的三维模型生成模块一实施例的结构示意图；
图10是本发明提供的基于临摹图的三维模型建立***建立三维模型的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
实施例1
为了解决现有比例尺识别不准确且不具有普适性的问题，本发明实施例提供了一种比例尺识别方法包括。图1为本发明提供的比例尺识别方法一实施例的流程图。如图1所示，该比例尺识别方法包括以下步骤：
S101，获取待测图像，所述待测图像包含尺寸标注图示，所述尺寸标注图示包含数字图示，或者和标尺图示。
待测图像是待识别比例尺的图像，该待测图像中包含有目标图像，还包含有围绕在该目标图像内外的尺寸标注图示。如图2所示的待测图像，尺寸标注图示标注在目标图像***，具体包含数字图示SI和标尺图示SII。再如图3所示的待测图像，尺寸标注图示标注在目标图像内，具体只包括数字图示SIII。当然还有一些待测图像，包含如图2所示的数字图示SI和标尺图示SII，还包含如图3所示的数字图示SIII。
S102，采用预训练的比例尺区域确定网络识别待测图像中的数字图示和标尺图示，框选出数字区域和标尺区域。
本实施例中，以Faster R-CNN、Mask R-CNN、SPP-Net、YOLOv3、SSD、M2Det为基础网络，以ImageNet数据集上收敛的分类网络的权重来初始化基础网络，然后，再用构建的训练样本对初始化的基础网络进行网络参数微调，以确定预训练的比例尺区域确定网络。当然，还可以以R-CNN、Fast R-CNN、Light-Head R-CNN、Cascade R-CNN、YOLO、YOLOv2、YOLT、DSSD、FSSD、ESSD、MDSSD、Pelee、Fire SSD、R-FCN、FPN、DSOD、RetinaNet、MegDet、RefineNet、DetNet、SSOD、CornerNet、ZSD(Zero-Shot Object Detection)、OSD(One-Shotobject Detection)等网络为基础网络。
在构建训练样本时，每条尺寸标注图示标签采用一个向量表示[label,x,y,w,h]，其中，label表示图示类别，取值分别为0和1，分别表示数字图示和标尺图示；x,y,w,h表示采用归一化的方式表示标注图示对应的矩形框位置，具体是矩形框中心的坐标(x,y)，矩形框的宽度w和高度h。
如图4所示，每个训练样本的数字区域和标尺区域一般采用矩形框框选出来。其中，可以采用红色矩形框框选出数字文本作为数字区域，采用蓝色矩形框框选出标尺作为标尺区域，需要注意的是，框选数字标示的矩形框是包含数字文本的最小外接矩阵，框选标尺区域的矩形框的两端要严格对齐标尺线两端。
针对标注在目标图像内的尺寸标注图示，虽然不包含标尺图示，在构建训练样本时，同样也能采用矩形框框选出标尺区域，该标尺区域对应的矩形框的两端要严格与数字标示书写方向的实体的两端对齐。该实体为数字标示对应的实体，在户型图中，该实体可以是墙体、门窗等。
S103，计算数字区域相对于标尺区域的第一重叠度和标尺区域相对于数字区域的第二重叠度，筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对。
通过比例尺区域确定网络框选的数字区域和标尺区域会很多，当尺寸标注图示标注比较密集时，并不清楚数字区域和标尺区域的匹配关系，若直接采用数字区域和标尺区域进行比例尺计算会导致计算结果错误。为解决这个问题，本发明实施例定义了尺寸标注对概念，即将属于同一个尺寸标注图示的一组数字区域和标尺区域组成一个尺寸标注对。
实施例中，采用重叠度来确定数字区域和标尺区域的匹配关系。具体可以计算数字区域和标尺区域的重叠度IOU，然后通过重叠度阈值筛选确定尺寸标注对。虽然直接计算一个方向的重叠度IOU可以确定数字区域和标尺区域的匹配关系，但是这种匹配关系仍然存在一点误差。因此，本发明中采用双向匹配重叠度来筛选尺寸标注对。
在一个实施方式中，首先，计算区域相对于标尺区域的第一重叠度IOU1和标尺区域相对于数字区域的第二重叠度IOU2；然后在筛选第一重叠度IOU1和第二重叠度IOU2之和最大的一组数字区域和标尺区域为尺寸标注对。通过双向重叠度筛选能够提升匹配精度，获得更加准确的尺寸标注对。
在另外一个实施方式中，为了进一步提升尺寸标注对的匹配速度和筛选准确度精确，在筛选尺寸标注对之前，还需要对第一重叠度IOU1和第二重叠度IOU2进行预筛选，以滤除偏差太大的尺寸标注对。即所述筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对包括：
首先，利用重叠度阈值对所述第一重叠度IOU1和所述第二重叠度IOU2进行筛选，保留大于重叠度阈值的第一重叠度IOU1和第二重叠度IOU2；
然后，再筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对。
实施例中，重叠度阈值可以根据尺寸标注图示的密集程度设置，一般不低于0.9。由于该重叠度阈值。由于重叠度阈值设置大于0.9，且采用双向重叠度判断，因此可以准确地确定属于同一个尺寸标注图示的尺寸标注对。
S104，采用文本识别网络对尺寸标注对中数字区域进行文本识别，获得实际尺寸，计算尺寸标注对中标尺区域边框沿数字书写方向的距离为图上尺寸。
在确定尺寸标注对之后，可以采用任意文本识别网络对尺寸标注对中数字区域进行文本识别，获得实际尺寸。同时，还需要计算实际尺寸对应的图上尺寸，具体计算尺寸标注对中标尺区域边框沿数字书写方向的像素宽度值，将该像素宽度值作为图上尺寸。
S105，综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，根据最优单位标尺确定比例尺。
在根据尺寸标注对的实际尺寸和图上尺寸后，即可以利用实际尺寸除以图上尺寸，即可以得到单位像素对应的图上所示的实际尺寸，称为单位标尺。
正常情况下，来自于同一张图形的所有单位标尺都应该是一致的，但是由于文本数字的误识别、标尺位置的识别偏差、固有的作图误差，拍摄引起的图像畸变误差等，往往每个尺寸标注图示计算出的单位标尺都会有一些细微差别。为解决这个问题，本发明中通过统计多个单位标尺确定最优单位标尺。
在一个实施方式中，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
采用最小二乘法对所有尺寸标注对的实际尺寸和图上尺寸进行拟合，拟合直线的斜率为最优单位标尺。
采用最小二乘法拟合的方式可以有效排除异常值，并充分综合考虑所有尺寸标注对的实际尺寸和图上尺寸，以此确定最优单位标尺，并利用该最优单位标尺确定比例尺，提升了比例尺的准确性。
在另外一个实施方式中，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
根据每个尺寸标注对的实际尺寸和图上尺寸计算属于每个尺寸标注对的单位标尺；
对所有尺寸标注对对应的单位标尺进行统计，以中位数对应的单位标尺作为最优单位标尺。
采用中位数的方式确定所有尺寸标注对的单位标尺的最优单位标尺，充分考虑了所有尺寸标注对的实际尺寸和图上尺寸，以此确定最优单位标尺，并利用该最优单位标尺确定比例尺，提升了比例尺的准确性。
在确定好最优单位标尺后，将该最优单位标尺作为最终比例尺，并该最终比例尺在与最优单位标尺最接近的单位标尺对应的尺寸标注图示进行可视化展示，如图5所示。
上述比例尺识别方法不仅适用于如图2～4所示的户型图领域，还适用于CAD零件制图领域。同样，针对零件内外部的尺寸标注图示均可以是被正确识别确定比例尺，利用零件三视图的所有尺寸信息进行精确3D建模，从而解放人工建模的繁重劳动量。
除此之外，当业主和装修设计师通常只能拿到户型图的纸质文件，直接对纸质图纸进行拍摄后的图片难免会存在一些变形，如图6所示，对后续的数字化造成影响。本发明比例尺识别方法由于采用深度学习的方式对各种形式的标尺进行训练，且综合所有单位标尺确定比例尺，对这种情况具有较强的适应性，仍然可以准确识别比例尺。
本发明实施例提供的比例尺识别方法，通过采用深度学习确定的比例尺区域确定网络框选出数字区域和标尺区域，通过双向重叠度确定尺寸标注对后，再通过综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，以此来确定比例尺，使得该比例尺识别方法适应性更强、适用范围更广，识别准确度更高。
实施例2
图6是本发明提供的基于临摹图的三维模型建立***一实施例的结构示意图。如图6所示，该基于临摹图的三维模型建立***600包括图像上传模块601、比例尺确定模块602、墙体门窗生成模块603和三维模型生成模块604。
其中，图像上传模块601用于接收用户上传的临摹图，并将临摹图保存在云端并进行图像展示。
比例尺确定模块602用于对临摹图进行比例尺识别，包括采用实施例1提供的比例尺识别方法进行自动识别和用户自行设置比例尺，以确定最终比例尺。
墙体门窗生成模块603用于根据确定的最终比例尺自动生成墙体和门窗或手动绘制墙体和门窗，以确定最终墙体和门窗。
三维模型生成模块604用于根据确定的最终墙体和门窗生成三维模型。
其中，图像上传模块601设于客户端，通过各客户端的图像上传模块上传户型临摹图至云端，下面以客户端为例进行说明。客户端将临摹图文件的二进制数据发送到云端，云端接收到图片的二进制数据后后生成图片ID并保存二进制数据流为图片文件到云端存储介质，然后将访问该图片的URL(Uniform Resource Locator,统一资源定位符)地址返回给客户端。客户端通过从该URL获取图片资源展示给用户。
在一个实施方式中，如图7所示，比例尺确定模块602包括比例尺自动生成模块701、比例尺确认模块702和比例尺编辑模块703以及比例尺记录模块704。
其中，比例尺自动生成模块701设于云端，在用户选择比例尺自动识别时，用于采用实施例1提供的比例尺识别方法对临摹图进行比例尺识别，输出识别比例尺至比例尺记录模块。
比例尺确认模块702设于客户端，用于对接收的识别比例尺进行满意度确认，在对识别比例尺满意时，确认识别比例尺后输出确认的识别比例尺至比例尺记录模块。
比例尺编辑模块703设于客户端，在用户选择比例尺手动输入时，用于接收用户编辑的编辑比例尺，并将该编辑比例尺输出至比例尺记录模块；在对识别比例尺不满意时，用于接收用户编辑的修改比例尺，并将该修改比例尺输出至比例尺记录模块。
比例尺记录模块704设于云端，用于记录最终比例尺，该最终比例尺包括识别比例尺、编辑比例尺或修改比例尺。
比例尺自动生成模块701中采用的比例尺识别方法的方法步骤和达到的效果与实施例1提供的比例尺识别方法相同，此处不再赘述。
该比例尺确定模块602通过比例尺自动生成模块701自动生成识别比例尺，通过比例尺确认模块702实现对识别比例尺进行用户确认，通过比例尺编辑模块703获得用户输入的编辑比例尺和修改比例尺，这样通过人机交互的方式能够使用户参与到比例尺确认过程中，提升比例尺的准确性，即提供真实的图上尺寸与真实尺寸的比例，为生成三维模型提供稳定的尺寸基础。
在一个实施方式中，如图8所示，墙体门窗生成模块603包括自动绘制模块801、手动绘制模块802、墙体记录模块803。
其中，自动绘制模块801设于云端，在用户选择自动绘制时，用于根据最终比例尺和图像自动绘制墙体和门窗，并发送自动绘制墙体和门窗至墙体记录模块；
所述手动绘制模块802设于客户端，在用户选择手动绘制时，用于根据最终比例尺和图像手动绘制墙体和门窗，并发送手动绘制墙体和门窗至墙体记录模块。
所述墙体记录模块803设于云端，用于记录最终墙体和门窗绘制结果，所述最终墙体和门窗绘制结果包括手动绘制墙体和门窗结果和自动绘制墙体和门窗结果。
该墙体门窗生成模块603通过自动绘制模块801自动绘制墙体门窗，通过手动绘制模块802手动绘制墙体门窗。这样通过人机交互的方式能够使用户参与到墙体门窗生成过程中，使得生成的墙体门窗符合用户的意愿。
在一个实施方式中，如图9所示，三维模型生成模块604包括自动生成模块901、模型确认模块902和模型编辑模块903。
其中，自动生成模块901设于云端，用于根据最终墙体和门窗绘制结果生成三维模型，并将该三维模型传输至模型确认模块；
模型确认模块902设于客户端，用于对接收的三维模型进行满意确认，满意时输出三维模块；
模型编辑模块903设于客户端，在用户对三维模型不满意时，重新绘制修改三维模型中的墙体和/或门窗，并将修改结果传输至自动生成模块或墙体记录模块。
该三维模型生成模块604通过自动生成模块901根据墙体门窗识别结果生成三维模型，通过模型确认模块902对三维模型进行满意度确认，并通过模型编辑模块903进行不满意位置编辑。这样通过人机交互的方式能够使用户参与到三维模型生成过程中，使得生成的三维模型符合用户的意愿。
在另外一个实施方式中，在用户对三维模型不满意时，将三维模型对应的二维图提供给所述墙体门窗生成模块的手动绘制模块进行墙体窗户的重新修改。
图10是本发明提供的基于临摹图的三维模型建立***建立三维模型的流程图。如图10所示，利用该基于临摹图的三维模型建立***建立三维模型的过程为：
通过图片上传模块上传临摹图至云端，云端对临摹图进行保存后发至客户端进行展示。
客户端成功展示户型临摹图后，向用户询问是否进行比例尺自动识别。如果用户选择是，则将此信息发送到云端，云端依靠实施例1提供的比例尺识别方法智能辅助进行比例尺的自动识别，得到比例尺识别结果后将标尺和对应的尺寸展示在临摹图上供用户查看、确认或修改。如果用户不使用自动识别，则展示默认标尺和输入框，由用户自行对齐标尺并输入对应的实际尺寸。用户确认比例尺信息后，将比例尺信息记录在云端，完成比例尺确认。
对比例尺自动识别结果的修改和手动设置比例尺的过程是类似的，用户可通过鼠标移动标尺以对齐临摹图上的标尺或墙体，通过标尺两端的热区可以调整标尺的大小，通过鼠标滚轮可以对临摹图进行缩放，标尺下方填写图上标尺距离对应的实际尺寸。比例尺信息确认后对临摹图进行自适应缩放进行展示。
无论是比例尺自动识别还是人工设置，得到确定的比例尺信息后，询问用户是否进行墙体门窗的自动识别或手动绘制。如果用户选择是，则将此信息发送到云端，云端依靠体门窗自动绘制方法智能辅助进行墙体门窗和房间的自动识别，并将识别结果返回给前端并展示在临摹图底图上供用户查看确认或修改。如果用户选择手动绘制，则以平面方式展示临摹图底图，用户自行选用画墙功能在2D平面绘制房间的所有墙体，然后在对应的墙体上添加门窗等组件，并设置房间类型。
对墙体门窗识别结果的修改与手动绘制类似，用户可选择显示临摹图以方便查看墙体和门窗的位置是否正确，选择隐藏临摹图来查看户型绘制是否完整，房间是否封闭。选中墙体或门窗的元素可对其参数进行修改，如墙体厚度，门窗长度、宽度、高端等。
云端进行墙体门窗自动绘制方法如下：
首先通过语义分割来获得临摹图上墙体和房间的分割，然后通过目标检测方法识别门窗的大小和位置，放置于对应的墙体上，以实现绘制墙体和门窗的自动绘制。
实施例中，还可以通过目标检测方法对临摹图中的主要家具类型和位置进行识别，以平面布置图例的方式展示，进一步的，还可以根据不同的房间类型为每个房间设置地面默认材质进行展示，如客餐厅采用米色瓷砖，厨房卫生间采用白色瓷砖，卧室采用原木色地板等。如果用户选择手动绘制方式，则统一初始化为原木地板材质，用户可对其进行修改。
完成墙体门窗和房间的绘制后，还需要根据门窗和墙体的识别参数进行3D建模，未能识别的参数取一组常规经验值来进行初始化，如：
外墙厚度200mm，内墙厚度120mm
普通窗离地900mm，高度1200mm，厚度60mm
飘窗离地450mm，高度1200mm
普通门长度800mm，高度2000mm，厚度220mm，离地0mm
终端或云端采用基于WebGL实现的3D渲染图形框架ThreeJS对墙体和门窗进行3D模型的绘制和展示，用户可以通过3个自由度的旋转，缩放，查看具体的房间的3D视图等操作确认3D模型的正确性，如有偏差可直接选中对应的元素进行参数更改，也可以切换到2D模式再进行修改。
直到用户通过不断的交互调整硬装参数得到满意的3D模型，临摹图到3D模型的转换就完成了，用户可在此基础上利用该户型的3D模型和家具饰品的3D模型进行装修方案的设计。
该基于临摹图的三维模型建立***基于临摹图的入和用户交互行为，经过图片上传模块上传图片，经过比例尺确定模块确定准确的比例尺，再经过墙体门窗生成模块和三维模型生成模块最终产出可用于家装设计的户型3D模型。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种比例尺识别方法，其特征在于，所述比例尺识别方法包括以下步骤：
获取待测图像，所述待测图像包含尺寸标注图示，所述尺寸标注图示包含数字图示，或者和标尺图示；
采用预训练的比例尺区域确定网络识别待测图像中的数字图示和标尺图示，框选出数字区域和标尺区域；
计算数字区域相对于标尺区域的第一重叠度和标尺区域相对于数字区域的第二重叠度，筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对；
采用文本识别网络对尺寸标注对中数字区域进行文本识别，获得实际尺寸，计算尺寸标注对中标尺区域边框沿数字书写方向的距离为图上尺寸；
综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的最优单位标尺，根据最优单位标尺确定比例尺。
2.如权利要求1所述的比例尺识别方法，其特征在于，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
采用最小二乘法对所有尺寸标注对的实际尺寸和图上尺寸进行拟合，拟合直线的斜率为最优单位标尺。
3.如权利要求1所述的比例尺识别方法，其特征在于，所述综合所有尺寸标注对的实际尺寸和图上尺寸确定表示单位像素对应实际尺寸的单位标尺包括：
根据每个尺寸标注对的实际尺寸和图上尺寸计算属于每个尺寸标注对的单位标尺；
对所有尺寸标注对对应的单位标尺进行统计，以中位数对应的单位标尺作为最优单位标尺。
4.如权利要求1所述的比例尺识别方法，其特征在于，所述筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对包括：
首先，利用重叠度阈值对所述第一重叠度和所述第二重叠度进行筛选，保留大于重叠度阈值的第一重叠度和第二重叠度；
然后，再筛选第一重叠度和第二重叠度之和最大的一组数字区域和标尺区域为尺寸标注对。
5.一种基于临摹图的三维模型建立***，其特征在于，包括图像上传模块、比例尺确定模块、墙体门窗生成模块和三维模型生成模块；
所述图像上传模块用于接收用户上传的临摹图，并将临摹图保存在云端并进行图像展示；
所述比例尺确定模块用于对临摹图进行比例尺识别，包括采用权利要求1～4所示的比例尺识别方法进行自动识别和用户自行设置比例尺，以确定最终比例尺；
所述墙体门窗生成模块用于根据确定的最终比例尺自动生成墙体和门窗或手动绘制墙体和门窗，以确定最终墙体和门窗；
所述三维模型生成模块用于根据确定的最终墙体和门窗生成三维模型。
6.如权利要求5所述的基于临摹图的三维模型建立***，其特征在于，所述比例尺确定模块包括比例尺自动生成模块、比例尺确认模块和比例尺编辑模块以及比例尺记录模块；
所述比例尺自动生成模块设于云端，在用户选择比例尺自动识别时，用于采用权利要求1～4所示的比例尺识别方法对临摹图进行比例尺识别，输出识别比例尺至比例尺记录模块；
所述比例尺确认模块设于客户端，用于对接收的识别比例尺进行满意度确认，在对识别比例尺满意时，确认识别比例尺后输出确认的识别比例尺至比例尺记录模块；
所述比例尺编辑模块设于客户端，在用户选择比例尺手动输入时，用于接收用户编辑的编辑比例尺，并将该编辑比例尺输出至比例尺记录模块；在对识别比例尺不满意时，用于接收用户编辑的修改比例尺，并将该修改比例尺输出至比例尺记录模块；
所述比例尺记录模块设于云端，用于记录最终比例尺，该最终比例尺包括识别比例尺、编辑比例尺或修改比例尺。
7.如权利要求5所述的基于临摹图的三维模型建立***，其特征在于，所述墙体门窗生成模块包括自动绘制模块、手动绘制模块、墙体记录模块，
所述自动绘制模块设于云端，在用户选择自动绘制时，用于根据最终比例尺和图像自动绘制墙体和门窗，并发送自动绘制墙体和门窗至墙体记录模块；
所述手动绘制模块设于客户端，在用户选择手动绘制时，用于根据最终比例尺和图像手动绘制墙体和门窗，并发送手动绘制墙体和门窗至墙体记录模块；
所述墙体记录模块设于云端，用于记录最终墙体和门窗绘制结果，所述最终墙体和门窗绘制结果包括手动绘制墙体和门窗结果和自动绘制墙体和门窗结果。
8.如权利要求5所述的基于临摹图的三维模型建立***，其特征在于，所述三维模型生成模块包括自动生成模块、模型确认模块和模型编辑模块，
所述自动生成模块设于云端，用于根据最终墙体和门窗绘制结果生成三维模型，并将该三维模型传输至模型确认模块；
所述模型确认模块设于客户端，用于对接收的三维模型进行满意确认，满意时输出三维模块；
所述模型编辑模块设于客户端，在用户对三维模型不满意时，重新绘制修改三维模型中的墙体和/或门窗，并将修改结果传输至自动生成模块或墙体记录模块。
9.如权利要求5所述的基于临摹图的三维模型建立***，其特征在于，在用户对三维模型不满意时，将三维模型对应的二维图提供给所述墙体门窗生成模块的手动绘制模块进行墙体窗户的重新修改。
CN202010468928.8A 2020-05-28 2020-05-28 一种比例尺识别方法和基于临摹图的三维模型建立*** Active CN113742810B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010468928.8A CN113742810B (zh) 2020-05-28 2020-05-28 一种比例尺识别方法和基于临摹图的三维模型建立***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468928.8A CN113742810B (zh) 2020-05-28 2020-05-28 一种比例尺识别方法和基于临摹图的三维模型建立***

Publications (2)

Publication Number Publication Date
CN113742810A true CN113742810A (zh) 2021-12-03
CN113742810B CN113742810B (zh) 2023-08-15

Family

ID=78724162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468928.8A Active CN113742810B (zh) 2020-05-28 2020-05-28 一种比例尺识别方法和基于临摹图的三维模型建立***

Country Status (1)

Country Link
CN (1) CN113742810B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742881A (zh) * 2022-05-16 2022-07-12 佛山欧神诺云商科技有限公司 2d户型图实际比例计算方法、装置、***及存储介质
CN114882306A (zh) * 2022-04-06 2022-08-09 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN115238368A (zh) * 2022-09-21 2022-10-25 中南大学 基于计算机视觉的桥墩图纸识别自动化建模方法和介质
CN116343253A (zh) * 2023-03-13 2023-06-27 苏州威视通智能科技有限公司 一种cad图纸长度单位与像素值比例的识别、获取与计算方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0868645A (ja) * 1994-08-29 1996-03-12 Nissan Motor Co Ltd ナビゲーションシステム
US5553209A (en) * 1994-01-28 1996-09-03 Hughes Aircraft Company Method for automatically displaying map symbols
CN102013205A (zh) * 2010-11-30 2011-04-13 百度在线网络技术（北京）有限公司 电子地图标记渲染方法及装置
CN107958064A (zh) * 2017-12-04 2018-04-24 携程旅游网络技术（上海）有限公司 地图展示航班信息的方法、装置、电子设备、存储介质
CN108763606A (zh) * 2018-03-12 2018-11-06 江苏艾佳家居用品有限公司 一种基于机器视觉的户型图元素自动提取方法与***
CN108804815A (zh) * 2018-06-08 2018-11-13 杭州群核信息技术有限公司 一种基于深度学习辅助识别cad中墙体的方法和装置
CN109145171A (zh) * 2018-07-23 2019-01-04 广州市城市规划勘测设计研究院 一种多尺度地图数据更新方法
CN110032938A (zh) * 2019-03-12 2019-07-19 北京汉王数字科技有限公司 一种藏文识别方法、装置及电子设备
US10445569B1 (en) * 2016-08-30 2019-10-15 A9.Com, Inc. Combination of heterogeneous recognizer for image-based character recognition
CN110414477A (zh) * 2019-08-06 2019-11-05 广东三维家信息科技有限公司 图像比例尺检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5553209A (en) * 1994-01-28 1996-09-03 Hughes Aircraft Company Method for automatically displaying map symbols
JPH0868645A (ja) * 1994-08-29 1996-03-12 Nissan Motor Co Ltd ナビゲーションシステム
CN102013205A (zh) * 2010-11-30 2011-04-13 百度在线网络技术（北京）有限公司 电子地图标记渲染方法及装置
US10445569B1 (en) * 2016-08-30 2019-10-15 A9.Com, Inc. Combination of heterogeneous recognizer for image-based character recognition
CN107958064A (zh) * 2017-12-04 2018-04-24 携程旅游网络技术（上海）有限公司 地图展示航班信息的方法、装置、电子设备、存储介质
CN108763606A (zh) * 2018-03-12 2018-11-06 江苏艾佳家居用品有限公司 一种基于机器视觉的户型图元素自动提取方法与***
CN108804815A (zh) * 2018-06-08 2018-11-13 杭州群核信息技术有限公司 一种基于深度学习辅助识别cad中墙体的方法和装置
CN109145171A (zh) * 2018-07-23 2019-01-04 广州市城市规划勘测设计研究院 一种多尺度地图数据更新方法
CN110032938A (zh) * 2019-03-12 2019-07-19 北京汉王数字科技有限公司 一种藏文识别方法、装置及电子设备
CN110414477A (zh) * 2019-08-06 2019-11-05 广东三维家信息科技有限公司 图像比例尺检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882306A (zh) * 2022-04-06 2022-08-09 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN114882306B (zh) * 2022-04-06 2023-08-18 国家基础地理信息中心 地形图比例尺鉴别方法、装置、存储介质及电子设备
CN114742881A (zh) * 2022-05-16 2022-07-12 佛山欧神诺云商科技有限公司 2d户型图实际比例计算方法、装置、***及存储介质
CN115238368A (zh) * 2022-09-21 2022-10-25 中南大学 基于计算机视觉的桥墩图纸识别自动化建模方法和介质
CN116343253A (zh) * 2023-03-13 2023-06-27 苏州威视通智能科技有限公司 一种cad图纸长度单位与像素值比例的识别、获取与计算方法

Also Published As

Publication number Publication date
CN113742810B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN113742810B (zh) 一种比例尺识别方法和基于临摹图的三维模型建立***
Chang et al. Matterport3d: Learning from rgb-d data in indoor environments
Macher et al. From point clouds to building information models: 3D semi-automatic reconstruction of indoors of existing buildings
CN111091538B (zh) 一种管道焊缝自动识别、缺陷检测方法及装置
Ham et al. An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery
CA3157926A1 (en) Systems and methods for building a virtual representation of a location
Rashidi et al. Generating absolute-scale point cloud data of built infrastructure scenes using a monocular camera setting
Fichtner et al. Semantic enrichment of octree structured point clouds for multi‐story 3D pathfinding
US11989848B2 (en) Browser optimized interactive electronic model based determination of attributes of a structure
JP6781432B2 (ja) 電波伝搬シミュレーションモデルの作成方法、作成システム、作成装置および作成プログラム
CN102439605A (zh) 确定艺术品作者的方法和装置
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
US20230035477A1 (en) Method and device for depth map completion
Tarsha Kurdi et al. Comparison of LiDAR building point cloud with reference model for deep comprehension of cloud structure
CN113744350B (zh) 基于单张图像的柜体结构识别方法、装置、设备及介质
CN117132564A (zh) 基于YOLOv3的蓝宝石衬底表面缺陷检测方法及***
CN114332741B (zh) 一种面向建筑数字孪生的视频检测方法及***
Bacharidis et al. Fusing georeferenced and stereoscopic image data for 3D building Facade reconstruction
US20230290090A1 (en) Searchable object location information
CN114114457B (zh) 基于多模态测井数据的裂缝表征方法、装置及设备
Obrock et al. First steps to automated interior reconstruction from semantically enriched point clouds and imagery
JP3645404B2 (ja) 建築図面からドアを認識する方法及びその装置
CN111914717B (zh) 一种基于抄表数据智能识别的数据录入方法及装置
JP3679241B2 (ja) 建設図面認識方法及び認識装置
JP3961595B2 (ja) 建築図面認識方法及び認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant