CN113424206B - 针对结构的机器学习工具 - Google Patents

针对结构的机器学习工具 Download PDF

Info

Publication number
CN113424206B
CN113424206B CN202080011231.6A CN202080011231A CN113424206B CN 113424206 B CN113424206 B CN 113424206B CN 202080011231 A CN202080011231 A CN 202080011231A CN 113424206 B CN113424206 B CN 113424206B
Authority
CN
China
Prior art keywords
machine learning
data
components
algorithm
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080011231.6A
Other languages
English (en)
Other versions
CN113424206A (zh
Inventor
马克·P·萨尔基西安
萨曼莎·沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Som Architectural Design Office
Original Assignee
Som Architectural Design Office
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Som Architectural Design Office filed Critical Som Architectural Design Office
Publication of CN113424206A publication Critical patent/CN113424206A/zh
Application granted granted Critical
Publication of CN113424206B publication Critical patent/CN113424206B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Computational Mathematics (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Civil Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Structural Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种针对结构的机器学习工具，用于（1）设计结构，（2）验证施工，以及（3）评估由恶化、属性变化或破坏性事件造成的损坏。该工具包括各种预先训练的机器学习模型和后处理算法。该工具包括用户界面，该用户界面允许用户上传他们的数据，通过一个或多个预先训练的机器学习模型对该数据进行分析，并以各种方式对该机器学习结果进行后处理。该工具显示该结果，并允许用户以各种格式将其输出。

Description

针对结构的机器学习工具
相关申请数据
本申请要求于2019年2月28日提交的美国专利申请第62/812,029的优先权权益，所述美国专利申请的全部内容在法律允许的范围内通过引用并入本文。
技术领域
本公开涉及采用机器学习的工具。本公开还涉及自动化结构评估。
背景技术
结构设计通常由相应领域的各种专业人员共同完成，包括但不限于岩土工程师、结构工程师、机械工程师、电气工程师、建筑师和室内设计师。每个专业团体都依赖于其它团体在相应领域的专长。设计考虑通常包括多个变量，如项目使用、形状、美学、风效应和地震效应、太阳能效应、能源、水使用等。对这些变量的考虑通常是根据不同专业人员所涉及的经验和知识进行试错的。
为了将设计传达给其它利益相关方，专业人员制作绘图集和规范文件，并提交给其它专业人员、客户和总承包商。这些绘图和规范统称为合同文件，并且然后分发给分包商。分包商随后将它们转换成施工图，这些施工图描绘出与其相应行业相对应的结构部分。这些施工图由总承包商和专业人员审查，以符合合同文件。然后它们被用来制造零件和建造结构。绘图可以使用2D绘图软件或使用3D建模软件手工制作。
贯穿施工过程，承包商将实施质量保证/质量控制(QA/QC)程序，以确保工程质量，并确保工程满足预期。此外，检查员将检查施工工程，并将其与施工文件进行比较，以确保结构按预期建造。检查日期和时间由检查公司和一个或多个承包商提前协调。检查员将亲自访问现场，手动检查有问题的一个或多个物品，并准备一份检查报告以记录他们的发现。
变更通常发生在施工过程中，无论是由于设计变更、承包商错误、不可预见的条件还是其它原因。总承包商记录这些变更，并且一旦结构完成，向客户提交竣工绘图集。
在结构的整个寿命期间，将对其进行检查和维修，以对其进行维护。这些检查通常是手动执行的，并且可能是昂贵、耗时和危险的。它们在可能跨越几十年的时间间隔内不连续地进行。因此，在这些检查期间，可能会忽略可能导致结构严重损坏甚至倒塌的问题。
自然灾害发生后，由合格的专业人员对受损结构进行目视检查。由于对检查的巨大需求和专家的有限供应，受损建筑的业主和企业主可以等待几个月来完成检查。在某些情况下，在检查完成之前，他们不能居住或经营自己的企业。与自然灾害相关联的最大经济损失之一是由于维修和重建造成的停工期，而缓慢的人工检查过程加剧了该停工期。
以上所描述的传统过程发生在结构的整个生命周期中，从设计到施工再到操作和维护，通常都是手动的，效率低下，并有出错的余地。本发明将机器学习并入至这些过程中，以使它们自动化，提高它们的效率并减少错误。
发明内容
本文公开了一个或多个涉及结合结构评估使用机器学习的***或工具的发明。此新工具在本文主要被称为针对结构的机器学习工具，尽管有时它也被简称为工具或机器学习工具。此针对结构的机器学习工具经过专门训练和编程，以使用机器学习来评估结构的性能，从图像或绘图中标识结构的整体或部分，评估结构的损坏，或上述的任何组合。贯穿本公开的对涵盖深度学习的机器学习的引用。应当理解，一个或多个本发明落入机器学习的深度学习子集。
在解决弹性时，此机器学习工具可以缩放并用于为从个人财产所有者到在自然或人为灾难前后评估结构的城市、县或国家的广泛用户建立弹性项目。此评估可以与更广泛的弹性计划相连接，以解决事件发生后的关键需求。
在实施例中，机器学习工具包括：计算***，所述计算***具有一个或多个数据处理器和存储器；用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据，所述数据标识一个或多个结构、其组件或两者；数据库，所述数据被存储在所述数据库中，数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；以及非瞬态数据处理器可执行指令，所述非瞬态数据处理器可执行指令被存储在所述存储器中，所述指令包括一个或多个预先训练的机器学习模型，其中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而从图像、点云数据或其三维表示或绘图中评估结构的性能或设计，从图像或点云数据中标识结构的组件，标识结构的一个或多个组件并从绘图中提取相关文本，从图像或点云数据中标识并评估结构中的损伤，或前述的任何组合。
在实施例中，机器学习工具包括：计算***，所述计算***具有一个或多个数据处理器和存储器；用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据，所述数据标识一个或多个结构、其组件或两者；数据库，所述数据被存储在所述数据库中，数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；以及非瞬态数据处理器可执行指令，所述非瞬态数据处理器可执行指令被存储在所述存储器中，所述指令包括一个或多个预先训练的机器学习模型和一个或多个后处理算法，其中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而从图像、点云数据或其三维表示或绘图中评估结构的性能或设计，从图像或点云数据中标识结构的组件，标识结构的一个或多个组件并从绘图中提取相关文本，从图像或点云数据、或前述的任何组合中标识并评估结构中的损伤，并且所述一个或多个后处理算法包括，数量算法、测量算法、比较算法、数字模型生成算法或前述的任何组合。
在实施例中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而评估结构设计、标识结构组件以及评估结构中的损伤。
在实施例中，所述一个或多个后处理算法包括，数量算法、测量算法、比较算法和数字模型生成算法。
在实施例中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而评估结构设计、标识结构组件以及评估结构中的损伤，并且所述一个或多个后处理算法包括，数量算法、测量算法、比较算法和数字模型生成算法。
在实施例中，结构的组件包括结构组件和非结构组件。
在实施例中，所述数量算法将由所述一个或多个机器学习模型标识的每个类别的实例的数量相加，以提供针对每个类别的经标识的实例的总计数。
在实施例中，所述测量算法包括以下步骤：使用计算机视觉，检测由所述一个或多个机器学习模型标识的区域中的边缘，计算这些区域内的像素距离，并将所述像素距离转换成由所述用户基于相机属性及其与结构的空间关系指定的另一距离单位。
在实施例中，所述比较算法包括以下步骤：将从所述一个或多个机器学习模型中提取的信息与由所述用户输入的，通过对物理绘图的机器学习分析自动获得的，或是从数字绘图或数字模型中自动获得的基准进行比较；报告原始机器学习结果与所述基准之间的任何偏差。
在实施例中，所述数字模型生成算法包括使用来自所述一个或多个机器学习模型的结果，通过对由所述一个或多个机器学习模型标识的每个类别的所述像素或点进行分组，并将其转换成二维线或三维组件来生成所标识的元素的二维数字绘图或三维数字模型，其中所述二维线是通过将所述像素或点的组减少至穿过所述像素或点组的中心的线或折线来创建的。通过确定所述机器学习所标识的像素或点组的外部限制，确定其尺寸、位置和方向，并基于以上获得的所述类别信息、质心(位置)信息、角度(朝向)信息和尺寸信息生成适当的组件来创建组件。
数字绘图/模型可以通过云平台或通过软件插件进行链接。
在实施例中，机器学习工具包括：计算***，所述计算***具有一个或多个数据处理器和存储器，所述存储器存储数据处理器可执行指令；用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据；数据库，所述数据被存储在所述数据库中；数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；所述数据处理器可执行指令被存储在所述存储器中，其中，所述数据处理器可执行指令实现以下步骤：使用预先训练的机器学习模型处理所述数据，并评估结构设计，标识结构的组件，评估结构中的损伤，或前述的任何组合，并且通过调用数量算法、测量算法、比较算法、数字模型生成算法，或上述的任何组合,处理来自前一步骤的结果。
在实施例中，机器学习用于分析用户上传的原始数据，以评估结构的设计、标识组件和/或评估由于劣化事件、属性变化事件或破坏性事件造成的损坏。
在实施例中，机器学习分析的数据用于确定量和/或测量值。
在另一个实施例中，机器学习分析数据用于自动生成结构的数字模型。
在另一个实施例中，将机器学习分析的数据与特定公差、2D绘图、3D数字模型等形式的基准进行比较。
在另一个实施例中，从本发明获得的结果可以以各种格式显示和输出。
以下将更详细地描述这些和其它方面和特征。
附图说明
并入本说明书中并且构成本说明书的一部分的附图示出一个或多个本发明的实施方式，并且与描述一起用于解释一个或多个本发明的优点和原理。在附图中：
图1描绘了示出根据本文公开的原理训练机器学习模型的过程的流程图。
图2描绘了示出用于采用本文公开的原理的结构的机器学习工具与客户端计算机之间通过网络的连接的框图。
图3描绘了示出包括针对图2的结构的机器学习工具的不同组件的框图。
图4A、图4B和图4C描绘了流程图，示出了针对图2和图3的结构的机器学习工具的示例性步骤，用于处理数据、确定量和/或测量、生成数字模型、将结果与基准进行比较并输出结果。
图5示出了流程图，示出了针对图2和图3的结构的机器学习工具示例性步骤，用于根据已分析的数据确定量和/或测量。
图6示出了流程图，示出了针对图2和图3的结构的机器学习工具示例性步骤，用于根据已分析的数据生成数字模型。
图7示出了流程图，示出了针对图2和图3的结构的机器学习工具示例性步骤，用于将已分析的数据的结果与基准进行比较。
图8A、图8A-1、图8A-2、图8A-3、图8B、图8B-1、图8B-2、图9A、图9B、图9C、图9D、图9E、图9F、图9G、图9H、图9I、图9J、图9K、图9L、图10A、图10B、图10C、图10D、图10E、图10F、图10G、图10H、图10I、图10J、图10K、图10L、图10M、图10N、以及图10N-1至图10N-5示出了已经从机器学习工具获得的各种应用和结果，如针对图2和图3的结构的机器学习工具。
图11至图19示出了在使用机器学习工具进行结构学习期间，不同步骤处的用户界面的屏幕截图。
图20A描绘了示出图2和图3的机器学习工具根据本文所公开的原理实施测量算法的示例性步骤的流程图。
图20B至图21F是用于描述图20A的步骤的图像。
图21A描绘了示出图2和图3的机器学习工具根据本文所公开的原理实施数字模型生成算法的示例性步骤的流程图。
图21B至图21K示出了描述图21A的步骤的有用图像。
图22A描绘了流程图，示出了图2和图3的机器学习工具根据本文所公开的原理实施从图像生成二维线或折线的算法的示例性步骤。
图22B是用于解释图22A的步骤的步骤的图像。
图23A描绘了流程图，示出了图2和图3的机器学习工具根据本文所公开的原理实施从点云数据生成二维生成二维数字模型组件的算法的示例性步骤。
图23B是用于解释图23A的步骤的图像。
图24A描绘了流程图，示出了图2和图3的机器学习工具根据本文所公开的原理实施比较算法的示例性步骤。
图24B至图24E是用于解释图24A的步骤的图像。
具体实施方式
虽然本文描述了一个或多个本发明的各种实施例，但是对于本领域技术人员来说显而易见的是，在一个或多个本发明的范围内可以有更多的实施例和实施方式。因此，除了根据所附权利要求及其等同物，一个或多个本发明不受限制。
本文描述了一种针对结构的机器学习工具，可以用于(1)设计结构，(2)验证施工，和/或(3)评估由于劣化事件、属性变化事件或破坏性事件等造成的损坏。传统过程发生在结构的整个生命周期中，从设计到施工再到操作和维护，通常都是手动的，效率低下，并有出错的余地。根据本文所公开的原理，机器学习可以被并入至这些过程中，以使它们自动化，提高它们的效率并减少错误。
根据本文所公开的原理，机器学习模型可以用于根据结构的绘图评估其性能(例如，在不同的风负载事件或地震事件下)，根据图像标识结构的组件，根据绘图标识结构的组件，根据图像标识和评估结构中的损伤，或上述的任何组合。原始数据可以是照片、渲染、手绘或数字绘图、点云数据等。针对结构的机器学习工具可以计算与这些项目相关的数量和测量。针对结构的机器学习工具可以将项目以及数量和/或测量与适当的基准进行比较。基准可以通过绘图、数字模型或其它格式获得。
图1至图7是示出针对结构的机器学习工具的过程和架构的图。参考图11至图19来理解用户如何与机器学习工具交互。图11至图19所示出的用户界面被提供为实例。针对结构的用户界面的机器学习工具可能与这些图中所示出的机器学习工具不同。
图1描绘了流程图，示出了用于训练机器学***和/或使用头顶无人机获得。优选地，原始数据是与其结构或组件相关的图像数据。照片可以通过数码相机、数字单镜头反射(DSLR)相机、手机相机、无人机、卫星图像、点云数据、扫描文件或其它方式获得。点云数据可以通过3D激光扫描或其它方式获得。在步骤104中，根据是否要使用分类、对象检测、分割或其它机器学习技术，通过分配总体的、对象级的、像素级的或点级的注释，对原始数据进行电子注释。
在步骤106中，带注释的数据被用作输入来训练现有的神经网络或其它类型的机器学习算法。本公开中对神经网络的引用包括深度神经网络。一些常见的机器学习算法是最近邻、朴素贝叶斯、决策树、线性回归、支持向量机和神经网络。这种机器学习算法以及如何训练它们是众所周知的，尽管不同的销售商或供应商可能仅支持其中的子集。例如，亚马逊公司的亚马逊机器学习(Amazon ML)目前仅支持三种类型的算法：二元分类、类分类和回归。谷歌的开源TensorFlow机器学习框架被利用来训练开源神经网络或其它类型的机器学习算法，与目前的结构机器学习工具的开发相结合。不同的机器学习框架也可以并入至本发明中。所使用的开源神经网络的实例为YOLO、Faster R-CNN、DeepLabV2、ResNet-101、PointNet和PointNet++。在以下的参考章节中所描述的这些神经网络，可以在对步骤104中处理的数据进行训练之前，在其它数据集(如开源COCO数据集)上进行预训练，以提高它们的准确性。为了减少计算时间，高分辨率文件可以细分为多个部分，用作神经网络的独立输入。然后，神经网络输出可以重组成原始格式。如以下更详细描述的，在图9G的图像914中示出了检测剪切螺柱的分析子图像的样本，并且在图9H的图像916中示出了重组照片的样本。
在步骤108中，通过将机器学习预测与注释数据进行比较来评估神经网络的准确性。如果精度不足，可以在步骤110中通过提高质量(例如，通过使用更一致的图像、使用更好的照明条件、使用更好的聚焦、避开障碍物等)来提高精度和/或输入数据的数量，改进注释(例如，通过使注释更加精确、一致等)，改变一些或全部网络超参数(例如，时期、迭代、批量、学习率、辍学率、衰减率等)，和/或改变网络本身。如果精度足够，在步骤112输出神经网络参数。网络参数和输出参数作为机器学习模型308被并入至结构208的机器学习工具中，用于分析新的原始数据。随着时间的推移，新数据可以添加至原始数据集，并可以通过重新训练现有网络来开发新的机器学习模型。机器学习模型也可以随着新的且经改进的神经网络的创建而更新。新的机器学习技术也可以在它们被创建出来时被并入至本发明中。
图2描绘了示出数据处理***200的框图，该***包括经由网络206连接的多个客户端计算机202和204以及针对结构的机器学习工具208。针对结构的机器学习工具208是特别配置的计算机或计算机***，如本文所描述的。网络206是适合于连接计算机202、204和208进行通信的类型，如电路切换网络或分组切换网络。而且，网络206可以包括多个不同的网络，如局域网、如因特网等广域网、包括具有专用通信链路的电话网络的电话网络、无连接网络以及无线网络。在图2所示出的说明性实例中，网络206是因特网。图2所示出的计算机202、204和208中的每一个都经由合适的通信链路连接至网络206，如专用通信线路或无线通信链路。用户可以将原始数据上传至针对结构的机器学习工具208，分析数据以及通过网络连接查看和输出结果。
图3示出了包括体现本发明原理的针对结构的机器学习工具208的不同组件。针对结构的机器学习工具208是特别配置的计算机***300，该特别配置的计算机***包括单个计算机或一组计算机，具有一个或多个用于执行非瞬态数据处理器可读指令的数据处理器(未示出)以及在其中存储指令的相关存储器(未示出)。***300可以驻留在云网络中。
在前端上，用户界面302能够为用户或如客户端计算机等客户端设备显示选项和结果。前端还可以包括显示器和已知的输入设备(例如，键盘、鼠标或通信端口，如USB端口或无线通信装置)，或选项和结果信息可以通过其自己的输入设备和显示器传送给客户端计算机。在后端上，存储组件304存储数据库，该数据库包括针对结构的机器学***台上运行，也可以跨网络(包括因特网)在另一个计算机/平台上运行。微软公司开发的关系型数据库管理***SQL服务器适合作为数据库304。
后端还包括用于分析用户数据和结果的各种机器学习模型308和后处理算法或模块。并入至工具208中的机器学习模型是神经网络，所述神经网络已经按照图1中概述的过程针对特定目的进行了预训练(例如，对结构的设计进行分类，如其在风负载下的预期建筑性能，从照片或点云数据中标识结构组件和非结构部件，从绘图中标识组件和子组件，标识和分类损坏等)。
后处理算法包括但不限于数量算法310、测量算法312、比较算法314和数字模型生成算法316。这些算法在以下标题下的章节中有更详细的解释：算法，尽管它们也结合图5至图7进行了讨论。
数量算法/模块310对由一个或多个机器学习模型标识的每个类别的实例的数量求和，以提供针对每个类别的已标识的实例的总计数(例如，每个图像中的总剪切螺柱计数)。测量算法/模块312使用经典的计算机视觉技术来检测由机器学习模型标识的区域中的边缘，计算这些区域内的像素距离，并且基于关于相机属性和位置/角度的已知/已输入信息，将像素距离转换成由用户指定的另一距离单位。比较算法/模块314将从机器学习模型中提取的信息与从用户输入的信息中手动获得的、通过物理绘图的机器学习分析自动获得的或从数字绘图/模型中自动获得的基准进行比较。数字绘图/模型可以是向量图形格式、任何计算机辅助设计(CAD)格式、任何三维建模或建筑信息建模(BIM)软件程序(如Revit、AutoCAD 3D、Tekla、Rhino)格式等。报告原始机器学习结果与所述基准之间的任何偏差。比较可以基于任何合适的标准，包括位置、数量、测量等。在比较数量或测量的情况下，可以首先使用数量算法310或测量算法312。机器学习结果可以首先使用数字模型生成算法/模块316转换成数字模型格式。
数字模型生成算法316使用机器学习模型结果来生成所标识的元素的二维数字绘图或三维数字模型。数字绘图/模型可以是向量图形格式、任何计算机辅助设计(CAD)格式、任何三维建模或建筑信息建模(BIM)软件程序(如Revit、AutoCAD 3D、Tekla、Rhino)格式等。数字绘图或模型是通过对针对每个类别的机器学习模型所标识的像素或点进行分组，并将它们转换成二维线路或三维组分来生成的。线路是通过将像素或点的组减少到穿过所述像素或点组中心的线路或折线来创建的。通过确定所述机器学习所标识的像素或点组的外部限制，确定其尺寸、位置和方向，并基于以上获得的所述类别信息、质心(位置)信息、角度(朝向)信息和尺寸信息生成适当的组件来创建组件。机器学习模型和后处理算法也可以单独采用，独立于图3所示出的架构。它们可以单独采用，也可以相互结合使用。
图4A、图4B和图4C描绘了示出针对结构的机器学习工具208用于处理原始数据(在A处输入)、确定数量和/或测量、生成数字模型、将结果与基准进行比较并输出结果的示例性步骤400的流程图。在步骤402中，用户界面302为用户显示不同的机器学习分析选项，包括应用程序和数据格式。该应用程序可以包括但不限于评估设计、标识组件(例如，验证施工)和标识损坏。在某些情况下，点云格式的数据可以使用CloudCompare进行预处理，该CloudCompare是一种用于处理点云和网格模型的开源软件。所述步骤由数据处理器可执行指令或软件实现。
图11示出了用户界面302的初始显示器的屏幕截图，具有用于应用程序和数据格式的菜单选择。图12示出了用户界面302的显示器的屏幕截图，其中选择了应用程序的下拉菜单。图13示出了用户界面的显示器的屏幕截图，其中已经选择了应用程序“评估损伤”，并且已经选择了数据格式的下拉菜单。这些应用程序选项和数据格式选项对于此特定工具是示例性的，但是可以包括其它应用程序和数据格式，或可以省略所列举的那些应用程序和数据格式中的一些。
在步骤404和406中，工具从用户接收应用程序和数据格式信息。在步骤408中，显示用于上传数据的界面，并且一旦用户上传数据，就在步骤410中接收数据。图14示出了用户界面的显示器，其中提示用户上传图像数据。在步骤412中，用户界面302基于在步骤404和406中接收的应用程序和数据格式信息，生成针对可用于分析数据的不同机器学习模型的显示。可以同时选择和采用多个机器学习模型。在步骤414中，从用户接收机器学习模型选择。图15示出了针对步骤412的显示器的屏幕截图，其中提示用户选择机器学习模型。如可以看到的，用户已经上传了木质胶合层合梁的图像。图16示出了选择了机器学习模型的下拉菜单的用户界面显示器的屏幕截图，其中“地震后损坏”、“木材检查”、“砖石裂缝”、“混凝土裂缝”和“锈斑”模型选项是可见的。此图中并未示出所有可用的模型。这些对在步骤404中接收的此特定工具和应用程序是示例性的，但是可以包括其它模型或可以省略这些模型中的一些。在步骤416中，使用选定的机器学习模型来分析数据，并且在步骤418中，用户界面导致结果的显示。图17示出了使用“木材检查”模型显示结果的用户界面的屏幕截图。如可以看到的，在梁中检测到两个检查，一个沿着梁较长，并且一个在梁末端处较短。此时，向用户提供用于选择后处理算法的选项，如在屏幕截图的底部可见。
如果与步骤404和406中选择的应用程序和数据格式一致，则用户可以选择使用数量算法/模块310从步骤420的结果中确定数量。如果被选择，则在步骤422中对数据集中每个类别的实例的数量进行计数，并在步骤424中显示数量。如果与步骤404和406中选择的应用程序和数据格式一致，用户可以选择使用测量算法/模块312从步骤426的结果中确定测量。如果选择，则按照图5中概述的过程计算测量，并在以下详细描述，并且然后***进行至步骤428。如果没有选择，则***进行至步骤428。
如果与步骤404和406中选择的应用程序和数据格式一致，则用户可以选择在步骤428中使用数字模型生成器模块316生成数字模型。如果被选择，则按照图6中概述的过程创建数字模型，并在以下详细描述，并且然后***前进至步骤430。如果没有选择，则***进行至步骤430。
如果与步骤404和406中选择的应用程序和数据格式一致，则用户可以选择在步骤430中使用比较模块314与基准进行比较。如果被选择，则按照图7中概述的过程执行比较，并在以下详细描述，并且然后***前进至步骤432。如果没有选择，则***进行至步骤432。
在步骤432中，用户可以选择输出文件/结果。在步骤434和436中，针对结构的机器学习工具208接收用户对要输出的文件/结果及其格式的选择。格式可以包括但不限于图像文件、pdf文件、excel文件、csv文件和文本文件。在步骤438中，选定的文件/结果以选定的格式输出。
图5描绘了流程图500，示出了针对结构的机器学习工具用于根据处理后的数据确定测量的示例性步骤。在步骤502中，用户输入测量单位。在步骤504中，用户输入已标识的要测量的一个或多个组件。
利用图像数据集510，在步骤512中，用户输入将像素测量转换成步骤502中指定的单位所需的信息。用户从预设列表中选择相机类型，所述预设列表已经包含与列表中的每个相机类型相关联的相机属性。可选地，用户可以手动输入相机属性。然后，用户还输入(1)相机镜头与所讨论的组件之间的距离，(2)所讨论的组件的平面中的已知参考对象的尺寸和/或(3)用于捕获相同区域的两个图像之间的角度。在步骤514中，使用经典的计算机视觉来检测在步骤416中标识的一个或多个组件的一个或多个区域中的边缘。在步骤516中，计算所标识的一个或多个区域中的一个或多个边缘像素测量，并且使用在步骤512中获得的信息将这些一个或多个测量转换成在步骤502中指定的单位。
利用点云数据506，在步骤508中，直接从存储在点云数据中的地理空间信息计算测量。
在步骤518中显示测量结果。图18示出了在对“木材检查”机器学习模型的结果运行计算测量后处理算法之后，用户界面显示的屏幕截图。如可以看到的，两种检查的测量结果已经生成。两种检查被称为检查1和检查2。
图6描绘了流程图600，示出了针对结构的机器学习工具208使用数字绘图/模型生成算法/模块316从经处理的数据生成数字绘图/模型的示例性步骤。例如，可以使用机器学习模型从无人机图像和/或点云数据中标识后张钢筋束的区域。然后，这些区域被转换成数字图形/模型中的细节线路或钢筋束组件。
在步骤602中，用户输入针对数字模型的文件格式。在步骤604和606中，用户输入文件名和文件位置以保存数字模型。在步骤608中，算法将在步骤416中分割的点云数据转换成在步骤602中指定的数字模型格式。在步骤610中，当数字模型的创建完成时，通知用户。
图7描绘了流程图700，示出了针对结构208的机器学习工具用于将处理后的数据的结果与基准进行比较的示例性步骤。在步骤702中，用户可以选择手动或自动进行比较。如果用户选择手动比较，则在步骤704中，信息被手动输入至***300中。如果用户选择自动比较选项，使用机器学习模型、数量算法和测量算法提取的信息可以在步骤706中通过绘图和/或在步骤718中通过数字模型与预期设计进行比较。绘图可以由设计专业人员制作，或可以由承包商、分包商、制造商或其他人制作施工图。数字模型可以由设计专业人员、制造商或其他人开发。
在自动与绘图进行比较的情况下，在步骤708中显示用于上传数据的用户界面。在步骤710中，接收数据。在步骤712中，用户界面显示可用于分析数据的不同机器学习模型。可以选择多个模型。优选地，已经训练了不同的机器学习模型来标识不同的绘图组件，如不同的元件和视图，以及子组件，包括尺寸线路和焊接符号。使用光学字符识别，可以检测与每个组件和子组件相关联的文本。在步骤714中，针对结构的机器学习工具208接收用户的模型选择，并且在步骤716中，使用那些模型来分析数据。
在自动与数字模型进行比较的情况下，用户在步骤720中指定数字模型的路径。在步骤722中接收该路径，并且在步骤724中建立到数字模型的链接。
在与绘图比较和与数字模型比较的两种情况下，然后在步骤726中通过比较算法/模块314处理数据。在自动与绘图进行比较的情况下，从一个或多个图像和/或点云数据中提取的信息将自动与从一个或多个绘图中提取的信息进行比较，并报告任何偏差。例如，从图像中提取的角撑板尺寸可以自动与从所讨论的角撑板的施工图中提取的尺寸进行比较。利用数字模型比较，直接比较数字模型与一个或多个图像和/或点云数据分析结果的相关信息，其中任何偏差都会被报告出来。例如，***300可以将在步骤416中从无人机图像和/或点云数据标识的后张钢筋束的区域与数字模型中的轮廓进行比较，并突出超出指定公差的任何偏差。
在步骤730中，显示手动和/或自动比较结果。图19示出了用户界面的屏幕截图，其中显示了比较结果。如可以看到的，梁末端的较短和较不宽的检查(检查1)在公差范围内，而沿着梁的较长和较宽的检查(检查2)不在用户输入的公差范围内。
图8至图10提供了针对结构不同应用程序的机器学习工具的实例。
就设计而言，可以采用针对结构的机器学习工具使用结构的二维表示或三维表示来评估结构的设计。可以针对设计的结构性能、美学质量、材料量、环境条件等进行评估，针对结构的机器学习工具可以用来帮助设计者快速评估大量的体量选项，而不依赖于来自有经验的专业人员的反馈。它还可以用于提出新的体量选项，并与其它机器学习模型相结合，以针对如美学、风效应、太阳能、材料量等多个参数优化形状。
例如，针对结构的机器学***区段组成，这些区段被平铺在一起成为一个图像，在这种情况下是如图像816所示出的正方形图像。不同的灰色阴影被用来表示背景和建筑物的平面，通过其可以拍摄该区段。图8B示出了在到达形状814之前由机器学习模型分析的不同高层建筑设计排列808、810和812，该形状被机器学习模型分类为对于减轻风效应是最佳的。图像816示出了形状814的二维图像表示。
在施工验证方面，可以使用针对结构的机器学习工具来检查现场工作、跟踪施工进度、改进施工质量保证和质量控制进程，以及生成竣工绘图或数字模型。由针对结构的机器学习工具标识的组件可以是本质上结构性的或非结构性的，并且可以包括各种材料，如钢、混凝土、木材、砖石、玻璃等。该工具可以检测的组件的实例是后张钢筋束、增强钢筋、角撑板、螺栓、剪切螺柱、焊缝、嵌入物、外墙锚等。机器学习分析的结果可以用于计算数量和测量。
针对结构的机器学习工具还可以包括机器学习模型，该机器学习模型标识组件并从绘图中提取文本。来自现场机器学习分析的结果可以与来自绘图机器学习分析的结果进行比较和/或直接与数字模型进行比较。
图9A、图9B、图9C、图9D、图9E、图9F、图9G和图9H示出了根据本公开的原理使用现场照片标识的组件。在图像904和908中，分别使用分割技术和对象检测技术从无人机照片902中标识后张钢筋束和墙锚。图像906示出了与针对所述板的设计绘图重叠的后张钢筋束的机器学习结果。后张钢筋束的实际布局相较于设计布局的差异在此图中显而易见，证明了使用本工具进行施工验证的重要性。在图像910中，使用对象检测来标识螺栓。在图像912中，使用分割来标识焊缝。在图像914和图像916中，使用对象检测来标识用于制造与钢框架复合的金属面板和混凝土板的剪切螺柱。由于剪切螺柱很小，并且通常在很大的面积上计数，所以可以使用数字单镜头反射(DSLR)相机来拍摄包含剪切螺柱的大面积的高分辨率照片。图像被分成九个子图像，并且然后每个子图像被独立地分析。然后将分析后的子图像重新组合，以原始照片格式显示结果。这允许现场用户拍摄单张照片，同时使***能够以有效的分辨率处理图像。在图像914中示出了已分析的子图像的样本，并且在图像916中示出了重组照片的样本。
图9I、图9J、图9K和图9L示出了从施工图中标识的组件，以及使用机器学习分析结果计算测量的实例。通过对象检测将施工图细分为可管理的组件和子组件，并使用光学字符识别来提取它们相关联的文本块，针对结构的机器学习工具可以用于“读取”施工图。图像918和图像920示出了钢梁施工图中不同组件视图的标识结果，并示出了钢施工图中的不同子组件，如尺寸线路、焊接符号和螺栓分组。图像922和图像924示出了使用对象检测从现场照片和施工图标识的相同角撑板。然后，针对结构的机器学习工具可以使用这两个结果进行比较分析。
将机器学习与测量技术相结合进行施工验证的实例是增强钢筋的标识及其尺寸和间距的计算。在图像926和图像928中，使用分割来标识增强钢筋。一旦钢筋已经被标识，针对结构的机器学习工具可以利用经典的计算机视觉来检测那些区域中的边缘，如图像930所示出的。通过使用关于相机属性、相机位置、相机角度和/或参考对象尺寸的已知信息来确定测量，如以下更详细描述的。
在损伤检测方面，可以采用针对结构的机器学习工具来监测结构的健康，评估其性能，并在破坏性事件后进行损伤评估。本文，术语“破坏性事件”意指包括所有人为和自然的破坏性事件，包括但不限于地震、风暴、飓风、***、强风、恐怖袭击、***和任何其它可能损坏结构的人为或自然的破坏性事件。由机器学习工具标识的损坏本质上可以是结构性的或非结构性的，并且可以被分类为不同的严重程度，包括但不限于轻、中、重或严重。针对结构的机器学习工具还可以检测材料中的缺陷，包括但不限于检查木质构件以及砖石、混凝土、钢或其他类似类型构件中的裂缝。它还可以标识倒塌的结构或结构的已倒塌部分。机器学习分析结果还可以与测量技术相结合，以计算所标识的受损区域的大小(面积、长度、高度、深度)。
图10A、图10B、图10C、图10D和图10E示出了2017年墨西哥普埃布拉-莫雷洛斯地震后图像的机器学习损伤评估结果。在此地震之后被访问的地点在图像1002中被标识。图像1004、图像1006、图像1008、图像1010和图像1012示出了由机器学习模型使用对象检测标识的不同损伤类型(结构性/非结构性)和严重程度(轻/中/重/严重)。图像1010和图像1012示出了使用3,000次迭代训练的机器学习模型(图像1010)与使用10,000次迭代训练的机器学习模型(图像1012)之间的结果差异，表明可以对模型训练进行调整以提高模型的精度，如以下更详细描述的。
使用针对如本文所描述的结构的机器学习工具向用户提供关于结构损坏程度、它是否可以被占用以及它是否需要大修的即时反馈。这些结果可以用于加快破坏性事件后的结构评估过程，并减轻人工检查造成的时间损失。针对结构的机器学习工具还可以使用自然灾害数据库，从侦察小组和当地志愿者实时上传的照片中自动标识和评估损伤，而不是在事件发生后的几周或几个月内手动对照片进行编目。
图10F、图10G、图10H、图10I和图10J展示了可以如何采用这种针对结构的机器学习工具来评估结构的性能。这些图像示出了机器学习模型的结果，所述模型被训练来标识砌体拱顶的异常变形、铰链和已坍塌部分，这些部分在受到横向载荷的振动台上进行了物理测试。在图像1014、图像1016、图像1018和图像1020中，使用对象检测从测试样品和振动台的整体拍摄中标识出异常拱顶变形。在图像1022和图像1024中，使用对象检测从测试样品的侧视图照片中标识拱顶的已塌陷部分。这些照片是从每秒240帧(fps)的慢动作视频中收集的，这些视频是用安装在振动台旁边三脚架上的相机捕获的。在图像1026中，使用对象检测从测试样品的俯视照片中检测到铰链。此照片也是从240-fps的慢动作视频中收集的，该视频是由一台定位在振动台上方的相机拍摄的。
应当理解，针对结构的机器学习工具可以用于原地结构或正在研究的结构。检测到准确、即时、时间敏感的行为。
图10K、图10L、图10M和图10N示出了如何使用针对结构的机器学习工具，以通过标识和测量随时间的推移来检测组件的劣化来监测结构的健康。在此实例中，在建筑工地监测重木材胶合层压木材(胶合木)梁的检查形成。监测是在很长一段时间内进行的，从梁安装到建筑物运行，以评估木材如何适应环境。数码单镜头反光(DSLR)相机和辅助设备安装在建筑物内的相机盒内部。DSLR相机被编程为使用定时遥控快门释放每天拍摄一次梁。这些图像会自动上传至在线云帐户，并可以使用针对结构的机器学习工具进行处理，以标识检查并计算其尺寸。
图像1030示出了胶合梁，其中胶带的线路指示了一些值得注意的木材检查的位置。图像1032示出了用于标识特写图像中的检查的机器学习分析的结果，以及在所述区域中使用经典计算机视觉来计算所标识的检查的尺寸。图像1036和图像1038示出了安装在建筑物中的相机盒。
相机盒设计示出在图像1040中。这些箱子是用胶合板制成的。它们被设计成安装在平行托梁之间并固定在其上。设计了可调节的底座来调节每个被监测位置的相机角度。在盒子的前部切出孔，以向相机镜头提供监测主梁的无阻碍的视野。
算法
在此章节中，更详细地描述了以上所提及的各种算法。
测量算法312
图20A描绘了流程图2000，示出了用于从已经由工具的机器学习模型分析的图像中确定测量的过程中的不同步骤。首先，在步骤2004中接收机器学习分析的结果。如果使用对象检测2006来分析图像，则在步骤2008中，对象检测结果作为感兴趣区域从图像的其余部分中隔离出来。然后对这些感兴趣的区域进行图像分割，以隔离与图像中的检查相关联的像素。在步骤2010中，该区域被变换以隔离图像中的暗斑。然后，在步骤2012中，从变换后的图像获得轮廓，并且在步骤2014中，轮廓覆盖在原始图像上方。接下来，在步骤2016中，在孤立像素上生成凸包。凸包是使用OpenCV中的minAreaRect函数创建的。此函数创建具有包围所有像素的最小区域的矩形，返回像素高度、像素宽度和在像素上方绘制的矩形的旋转。此过程可以在较小的子步骤中执行，以精确地确定弯曲、弯折、成角度、盘旋等对象的尺寸。凸包可以拟合在已分割的感兴趣区域的更小的子片段上，以在整个对象上实现更紧密的拟合。在步骤2018中，从minAreaRect函数接收一个或多个边界矩形的像素高度、像素宽度和旋转。在步骤2020中，接收相机属性、位置和/或参考对象尺寸，并且在步骤2022中，将其用于将像素距离转换成其它单位。如果凸包被拟合在已分割的感兴趣区域的较小子片段上方，则为每个子片段单独确定的尺寸被组合以确定对象的整体尺寸。如果图像是由工具的机器学习模型使用分割2004来分析的，则在步骤2016中使用聚类最近邻方法来对片段进行分组，然后如以上所描述的遵循步骤2016至2024。
以下等式1和2可以用来将对象像素高度hop转换成对象的毫米高度，ho。等式1使用相机焦距f(mm)、相机镜头与所讨论的组件之间的距离do(mm)、所讨论的对象的高度hop(像素)、传感器的高度hs(mm)和图像的高度hi(像素)。等式2使用已知参考对象的尺寸，即所讨论的组件平面中的hkp(像素)和hk(mm)和对象测量hop(像素)。
/>
如果用两个相机对同一个对象拍照，它们的位置和属性可以用来确定对象距离do。在等式3中，对象距离do由两个相机B之间的距离、图像像素分辨率x、相机的水平视角φ和两幅图片hi1-hi2中相同对象之间的像素距离来确定。然后，如以上所描述的，等式1和2可以用于将像素测量转换为毫米。
为了获得不同单位的对象测量，毫米测量可以用上述等式中的其它单位代替。同样的等式可以用来计算对象平面上的任何测量。
图20B至图20F示出了测量算法过程中不同步骤的结果，该测量算法过程用于从通过使用对象检测的工具分析的图像中测量胶合层压木材(胶合木)梁的检查尺寸。图像2028示出了原始图像，然后由工具的机器学习模型使用对象检测来检测和定位图像中的检查来分析原始图像。在图像2030中示出了从对象检测结果中提取的感兴趣区域的子片段。图像2032中示出了变换后的子片段。重叠在原始图像上的轮廓示出在图像2034中。图像2036示出了由工具确定的凸包和检查尺寸。
数字模型生成算法316
数字模型生成是指以以下格式生成数字绘图和/或模型：向量图形格式、任何计算机辅助设计(CAD)格式、任何三维建模或建筑信息建模(BIM)软件程序，如Revit BIM、AutoCAD 3D、Tekla、Rhino等。
图像清理(分割)
在生成数字模型元件之前，可以按照图21A的流程图2100中概述的程序清理来自工具的机器学习模型的已分割的图像结果。在步骤2102中，接收来自工具的机器学习分析的结果。在步骤2104中，使用OpenCV函数扩张来自步骤2102的图像。此函数在以每个像素为中心的核中找到最大像素值。在步骤2106中，使用OpenCV函数侵蚀来侵蚀图像。此函数与扩张函数相反，计算核区域的局部最小值。这两种函数结合在一起可以有助于降低图像中的噪声，并且隔离图像中的主要元素。在步骤2108中，像素值被舍入至它们最接近的整数值，以进一步降低图像中的噪声。在步骤2110中，滤波器应用于步骤2108中获得的图像。Pillow(PIL)函数最大滤波器和最小滤波器分别用于确定给定大小的窗口中的最大和最小像素值。图像中的像素随后被转换成单通道格式，使得每个像素具有范围从0到255的值。在步骤2112中，在步骤2110中获得的图像中的所有像素被重新分配为两个值：0或255，取决于像素值是否高于200。此操作是为了消除图像中的所有中间亮像素和暗像素，并且仅保留极端像素值。在步骤2114中，图像被转换成红绿蓝(RGB)格式。在步骤2116中，可以再次应用PIL最大滤波器函数来使图像中的暗像素变淡，以进一步降低噪声并隔离图像中的重要元素。该过程中概述的不同步骤可以以任何顺序或组合使用。代替流程图2100中概述的技术或除了流程图2100中概述的技术之外，可以使用类似的技术来清理图像。
图21B至图21K示出了清理无人机图像的结果，该图像由工具的机器学习模型分析，以使用分割来标识后张钢筋束。图像2118示出了原始无人机图像，而图像2120示出了来自机器学习分析的结果(步骤2102)。图像2122示出了4次迭代后图像的膨胀，并且图像2124示出了图像的后续侵蚀(步骤2104和步骤2106)。图像2126示出了像素值舍入后的图像(步骤2108)。图像2128示出了在对其应用滤波器之后的图像，并且图像2130示出了在像素已经被分类成两组之后的图像(步骤2110和步骤2112)。图像2132示出了转换成RGB格式后的图像(步骤2114)。图像2136示出了重叠在原始图像2118上的图像2132。图像2134示出了已经应用最终滤波器后的图像(步骤2116)。
从图像生成二维直线或折线(分割)
图22A描绘了流程图2200，示出了用于从已经由工具的机器学习模型使用分割分析的图像生成向量线的过程中的不同步骤。在步骤2202中，接收来自工具的机器学习分析的结果，并且如果适用的话，接收流程图2100中概述的图像清理过程的结果。在步骤2204中，从步骤2202获得的图像中未被分配给类别的像素被移除。在步骤2206中，使用Scikit图像库中的骨架化函数对图像进行骨架化，这将图像缩小到一个像素宽的表示。在步骤2208中，光栅图像被转换成向量图像。在步骤2210中，向量图像中的线根据它们的位置和朝向被分组。在步骤2212中，线组可以被转换成折线。这些线或折线可以由用户按原样使用，或由用户导入到他们选择的数字绘图或建模软件程序中。
在图22B中，图像2214示出了清理图像2134，并且图像2216示出了骨架化版本(步骤2206)。
从图像生成三维数字模型组件
为了从图像生成数字模型组件，机器学习结果首先通过测量算法按照流程图2000中概述的过程进行处理。代替步骤2016中的凸包或除了凸包之外，可以在像素组周围生成线边界轮廓(x形状)。这些轮廓可以用于计算测量以及每个形状的质心和角度。一旦针对图像中标识的每个类别的每个对象获得了测量、质心(位置)和角度(朝向)，该信息将用于以适当的数字模型格式生成对应的模型组件。
从点云数据生成三维数字模型组件
图23A描绘了流程图2300，示出了该工具如何用于从点云数据生成数字模型组件。在步骤2302中，接收将点云数据分割成不同类别的机器学习分析的结果。在步骤2304中，使用聚类最近邻方法对分割的点进行分组。在步骤2306中，在每个聚类的高度上以设定的间隔为其生成区段。在步骤2308中，使用凸包和/或x形状(线边界)技术在每个区段生成点轮廓。在步骤2310中，使用一个或多个形状轮廓来计算形状质心和角度。在步骤2312中，使用一个或多个形状轮廓来确定横截面尺寸。在步骤2314中，针对每个聚类计算竖直高度。在步骤2316中，使用以上所获得的聚类类别、质心(位置)、角度(朝向)和维度信息，针对每个聚类生成数字模型组件。
图23B示出了图像2318，示出了如何围绕点聚类区段生成轮廓。
比较算法314
与数字模型的比较
与数字模型的比较涵盖与以上章节中所描述的格式的数字绘图或模型的比较。
图24A描绘了流程图2400，示出了该工具如何被用来将机器学***面。在步骤2426中，计算数字模型元件与从机器学习分析结果生成的元件之间的偏移。
图24B是图像2428，示出了来自数字模型的嵌入板与通过使用对象检测的工具的机器学***面的实例。图24D是图像432，示出了数字模型与从机器学***面图中指示了在每个控制点处计算的偏移。
参考文献
以下是在针对结构的机器学习工具开发中使用的开源第三方资源的非详尽列表：
·You Only Look Once(YOLO)：YOLO是机器学习网络，开源MIT许可证。此网络用于在开发目前公开的针对结构的机器学习工具中训练图像级分类模型。参见，https://pjreddie.com/darknet/yolo/。
·Tensorflow：Tensorflow是谷歌机器学习的开源框架，这是在开发目前公开的结构机器学习工具时使用的机器学习框架。Tensorflow在Apache 2.0开源许可证下可用。参见，https://www.tensorflow.org。
·Tensorflow Object Detection(张量流检测对象API)：Tensorflow ObjectDetection API是建立在张量流顶部之上的开源框架，用于构建、训练和部署对象检测模型。在目前公开的针对结构的机器学习工具的开发中，它被用于训练对象检测模型，并且在Apache 2.0许可证下可用。参见，https://github.com/tensorflow/models/tree/master/research/object_detection。
·Faster Region-Convolutional Neural Network(更快的区域卷积神经网络)(R-CNN)：更快的R-CNN是机器学习网络，可在开源MIT许可证下可用。此网络用来自MS COCO数据集的预训练权重初始化，用于在当前公开的针对结构的机器学习工具的开发中训练对象检测模型。参见，https://github.com/ShaoqingRen/faster_rcnn和https://github.com/rbgirshick/py-faster-rcnn。
·DeepLabV2:DeepLabV2是用于语义分割的深度神经网络，可在开源MIT许可证下获得。在开发目前公开的针对结构的机器学习工具时，此网络被用于训练语义分割模型。参见，https://github.com/tensorflow/models/tree/master/research/deeplab。
·ResNet101:ResNet101是剩余的神经网络，它是在来自ImageNet数据库的100多万幅图像上训练的，并且可以在开源MIT许可证下获得。在目前公开的针对结构的机器学习工具的开发中，此网络被用于训练对象检测和语义分割机器学习模型。参见，https://github.com/KaimingHe/deep-residual-networks。
·PointNet和PointNet++：PointNet和PointNet++是针对点云数据的神经网络，可在开源MIT许可证下获得。在目前公开的针对结构的机器学习工具的开发中，这些网络被用于直接在点云数据上训练机器学习模型。参见https://github.com/charlesq34/pointnet和https://github.com/charlesq34/pointnet2。
·Common Objects in Context(COCO)dataset(上下文中的常见对象(COCO)数据集)：COCO数据集是一个大规模的对象检测、分割和字幕数据集。在目前公开的针对结构的机器学习工具的开发中，一些神经网络用来自COCO数据集的预先训练的权重初始化。COCO数据集可在知识共享属性4.0许可证下获得。参见，http://cocodataset.org。
·Google’s Optical Character Recognition(谷歌的光学字符识别)(OCR)：谷歌的OCR是用于检测图像内文本的工具，在开发目前公开的结构机器学习工具时，它被用来从绘图中提取文本。谷歌的OCR在Apache 2.0开源许可证下可用。参见，https://cloud.***.com/vision/docs/ocr。
·CloudCompare：CloudCompare是用于处理3D点云和三角形网格模型的软件应用程序，在某些情况下，它被用来处理点云数据，并在目前公开的针对结构的机器学习工具的开发中为机器学习分析做准备。CloudCompare在GNU库通用公共许可证2.0版本下可用。参见，cloudcompare.org。
·Revit BIM是建筑信息建模应用程序，可从美国的Advenser LLC和印度的Advenser工程服务PvT有限公司获得。参见，www.revit-modeling.com。
·Open Source Computer Vision Library(开源计算机视觉库)(OpenCV)：OpenCV是开源的计算机视觉和机器学习软件库，可在伯克利软件分发(BSD)许可证下获得。参见，opencv.org。
·Pillow(PIL)：Pillow是PIL叉授权的开源PIL软件许可证。它是由亚历克斯·克拉克和贡献者开发的。参见，https://pillow.readthedocs.io/en/stable。
·Scikit-image：Scikit-image是开源的图像处理库，适用于获得伯克利软件分发(BSD)许可证的Python编程语言。参见，https://scikit-image.org。
·Python：Python是开源编程语言，可在Python许可证下获得。参见，python.org。
·NumPy：NumPy是一个开源的Python包，用于科学计算，在NumPy许可证下可用。参见，www.numpy.org。
请注意，机器学习模型可以随着新的且经改进的框架和神经网络的创建而更新。新的机器学习技术也可以在它们被创建出来时被并入。因此，在目前公开的针对结构的机器学习工具的开发中，可以使用不同于上面所列出的其它开源的、第三方的资源。

Claims (8)

1.一种机器学习***，包括：
计算***，所述计算***具有一个或多个数据处理器和存储器；
用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据，所述数据标识一个或多个结构、其组件或两者；
数据库，所述数据被存储在所述数据库中；
数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；
以及非瞬态数据处理器可执行指令，所述非瞬态数据处理器可执行指令被存储在所述存储器中，所述指令包括一个或多个预先训练的机器学习模型和一个或多个后处理算法，
其中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而(a)根据结构的图像、表征结构的点云数据，结构的三维表示或结构的绘图来评估结构的性能或设计，(b)从图像、点云数据、三维表示、或绘图中标识结构的一个或多个组件，从绘图中标识结构的一个或多个组件并提取与一个或多个组件相关的文本，从图像或点云数据中标识并评估结构中的一个或多个损伤，或前述的任何组合，
和(c)生成一个第一输出文件，其包含被标识的一个或多个被单独限定的组件，
并且所述一个或多个后处理算法包括，数量算法、测量算法、比较算法、数字模型生成算法或前述的任何组合；这些算法处理第一输出文件并生成第二输出文件，其包含已标识的一个或多个组件的分类以及一个或多个组件的分类计数、每个已标识的一个或多个组件的区域测量、一个机器学习模型的输出与基准之间的偏差、一个或多个组件的二维线或三维表示、或上述的任何组合；
其中，
(1)测量算法包括以下步骤：(a)使用计算机视觉，检测由一个或多个机器学习模型标识的区域中的边缘，以及(b)计算这些区域内的像素距离，并根据相机的属性及其与结构的空间关系，将像素距离转换为用户指定的另一距离单位；
(2)比较算法包括以下步骤：(a)将从一个或多个机器学习模型中提取的信息与(i)由用户输入的，(ii)通过机器学习分析物理绘图自动获得的，或(iii)从数字绘图或数字模型自动获得的基准进行比较，以及(b)报告从一个或多个机器学习模型中提取的信息与基准之间的任何偏差；
(3)数字模型生成算法包括使用来自一个或多个机器学习模型的结果，通过对每类标识组件的像素或点组进行分组，并将其转换为二维线或三维组件来生成标识元素的二维数字绘图或三维数字模型，其中所述线是通过将像素或点组缩小为穿过所述像素或点组的中心的线或折线来创建的；其中，通过确定机器学习标识的像素或点组的外部界限，确定其尺寸、位置和方向，并根据上述获得的类别、位置、方向和尺寸信息生成适当的组件，来创建转换后的组件；以及
(4)数量算法将由所述一个或多个机器学习模型标识的一个或多个类别中的组件实例的数量相加，以提供针对每个类别的组件的标识实例的总计数。
2.根据权利要求1所述的机器学习***，其中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而评估结构设计、标识结构组件以及评估结构中的损伤。
3.根据权利要求1所述的机器学习***，其中，所述一个或多个后处理算法包括，数量算法、测量算法、比较算法和数字模型生成算法。
4.根据权利要求1所述的机器学习***，其中：
所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而评估结构的设计、标识结构的组件以及评估结构中的损伤，并且
所述一个或多个后处理算法包括，数量算法、测量算法、比较算法和数字模型生成算法。
5.根据权利要求1所述的机器学习***，其中，所述结构的组件包括结构组件和非结构组件。
6.一种机器学习***，包括：
计算***，所述计算***具有一个或多个数据处理器和存储器，所述存储器存储非瞬态数据处理器可执行指令；
用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据；
数据库，所述数据被存储在所述数据库中；和
数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；其中，当由数据处理器执行时，所述数据处理器可执行指令实现以下步骤：
使用预先训练的机器学习模型处理所述数据，并评估结构设计，标识结构的组件，评估结构中的损伤，或前述的任何组合，并且生成一个第一输出文件，其包含被标识的被限定组件，并且通过调用数量算法、测量算法、比较算法、数字模型生成算法，或上述算法的任何组合,处理来自上一步骤的第一输出文件，并生成第二输出文件，其包含已标识组件的数量、已标识组件的测量结果，其中，
(1)测量算法包括以下步骤：(a)使用计算机视觉，检测由一个或多个机器学习模型标识的区域中的边缘，以及(b)计算这些区域内的像素距离，并根据相机的属性及其与结构的空间关系，将像素距离转换为用户指定的另一距离单位；
(2)比较算法包括以下步骤：(a)将从一个或多个机器学习模型中提取的信息与(i)由用户输入的，(ii)通过机器学习分析物理绘图自动获得的，或(iii)从数字绘图或数字模型自动获得的基准进行比较，以及(b)报告从一个或多个机器学习模型中提取的信息与基准之间的任何偏差；
(3)数字模型生成算法包括使用来自一个或多个机器学习模型的结果，通过对每类标识组件的像素或点组进行分组，并将其转换为二维线或三维组件来生成标识元素的二维数字绘图或三维数字模型，其中所述线是通过将像素或点组缩小为穿过所述像素或点组的中心的线或折线来创建的；其中，通过确定机器学习标识的像素或点组的外部界限，确定其尺寸、位置和方向，并根据上述获得的类别、位置、方向和尺寸信息生成适当的组件，来创建转换后的组件；以及
(4)数量算法将由所述一个或多个机器学习模型标识的一个或多个类别中的组件实例的数量相加，以提供针对每个类别的组件的标识实例的总计数。
7.一种机器学习***，包括：
计算***，所述计算***具有一个或多个数据处理器和存储器；
用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据；
数据库，所述数据被存储在所述数据库中；
数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；并且
非瞬态数据处理器可执行指令，所述非瞬态数据处理器可执行指令被存储在所述存储器中，
其中，当由数据处理器执行时，所述数据处理器可执行指令导致：所述用户界面提示用户选择机器学习分析和数据格式，
接收来自所述用户的所述数据并将所述数据存储在所述数据库中，提示所述用户从被预先训练的一个或多个机器学习模型中进行选择，以处理所述数据库中的所述数据从而从图像、点云数据、三维表示或绘图中评估结构的性能或设计；通过从图像或点云数据中标识结构的组件，从绘图中标识结构的组件并提取相关文本，从图像或点云数据中标识并评估结构中的损伤，或前述的任何组合，
调用每个所选的机器学习模型，并使用经调用的所述每个模型处理所述数据，生成一个第一输出文件，其包含被标识的被限定组件，提示所述用户选择一个或多个后处理算法，所述一个或多个后处理算法包括数量算法、测量算法、比较算法、数字模型生成算法或前述的任何组合，并且
调用每个后处理算法，以及处理第一输出文件并生成第二输出文件，
其中，
(1)测量算法包括以下步骤：(a)使用计算机视觉，检测由一个或多个机器学习模型标识的区域中的边缘，以及(b)计算这些区域内的像素距离，并根据相机的属性及其与结构的空间关系，将像素距离转换为用户指定的另一距离单位；
(2)比较算法包括以下步骤：(a)将从一个或多个机器学习模型中提取的信息与(i)由用户输入的，(ii)通过机器学习分析物理绘图自动获得的，或(iii)从数字绘图或数字模型自动获得的基准进行比较，以及(b)报告从一个或多个机器学习模型中提取的信息与基准之间的任何偏差；
(3)数字模型生成算法包括使用来自一个或多个机器学习模型的结果，通过对每类标识组件的像素或点组进行分组，并将其转换为二维线或三维组件来生成标识元素的二维数字绘图或三维数字模型，其中所述线是通过将像素或点组缩小为穿过所述像素或点组的中心的线或折线来创建的；其中，通过确定机器学习标识的像素或点组的外部界限，确定其尺寸、位置和方向，并根据上述获得的类别、位置、方向和尺寸信息生成适当的组件，来创建转换后的组件；以及
(4)数量算法将由所述一个或多个机器学习模型标识的一个或多个类别中的组件实例的数量相加，以提供针对每个类别的组件的标识实例的总计数。
8.一种机器学习***，包括：
计算***，所述计算***具有一个或多个数据处理器和存储器；
用户界面，可以经由所述用户界面向用户输出信息，并且所述用户可以经由所述用户界面输入信息和数据，所述数据标识结构、其组件或两者；
数据库，所述数据被存储在所述数据库中；
数据库管理***，所述数据库管理***与所述数据库通信，以将所述数据存储在所述数据库中并且从所述数据库中检索所述数据；以及
非瞬态数据处理器可执行指令，所述非瞬态数据处理器可执行指令被存储在所述存储器中，
(A)所述指令包括一个或多个预先训练的机器学习模型，其中，所述一个或多个机器学习模型被预先训练以处理所述数据库中的所述数据，从而从图像、点云数据或其三维表示或绘图中评估结构的性能或设计；通过从图像或点云数据中标识结构的组件，从绘图中标识结构的一个或多个组件并提取相关文本，从图像或点云数据中标识并评估结构中的损伤，或前述的任何组合，生成一个第一输出文件，其包含被标识的被限定组件；
(B)一种或多种后处理算法，包括数量算法、测量算法、比较算法、数字模型生成算法或上述算法的任何组合，这些算法处理第一输出文件并生成第二输出文件，其包含已标识的一个或多个组件的分类以及一个或多个组件的分类计数、每个已标识的一个或多个组件的区域测量、一个机器学习模型的输出与基准之间的偏差、一个或多个组件的二维线或三维表示，或上述的任何组合，其中
(1)测量算法包括以下步骤：(a)使用计算机视觉，检测由一个或多个机器学习模型标识的区域中的边缘，以及(b)计算这些区域内的像素距离，并根据相机的属性及其与结构的空间关系，将像素距离转换为用户指定的另一距离单位；
(2)比较算法包括以下步骤：(a)将从一个或多个机器学习模型中提取的信息与(i)由用户输入的，(ii)通过机器学习分析物理绘图自动获得的，或(iii)从数字绘图或数字模型自动获得的基准进行比较，以及(b)报告从一个或多个机器学习模型中提取的信息与基准之间的任何偏差；
(3)数字模型生成算法包括使用来自一个或多个机器学习模型的结果，通过对每类标识组件的像素或点组进行分组，并将其转换为二维线或三维组件来生成标识元素的二维数字绘图或三维数字模型，其中所述线是通过将像素或点组缩小为穿过所述像素或点组的中心的线或折线来创建的；其中，通过确定机器学习标识的像素或点组的外部界限，确定其尺寸、位置和方向，并根据上述获得的类别、位置、方向和尺寸信息生成适当的组件，来创建转换后的组件；以及
(4)数量算法将由所述一个或多个机器学习模型标识的一个或多个类别中的组件实例的数量相加，以提供针对每个类别的组件的标识实例的总计数。
CN202080011231.6A 2019-02-28 2020-02-19 针对结构的机器学习工具 Active CN113424206B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962812029P 2019-02-28 2019-02-28
US62/812,029 2019-02-28
PCT/US2020/018770 WO2020176304A1 (en) 2019-02-28 2020-02-19 Machine learning tool for structures

Publications (2)

Publication Number Publication Date
CN113424206A CN113424206A (zh) 2021-09-21
CN113424206B true CN113424206B (zh) 2024-05-24

Family

ID=69811965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011231.6A Active CN113424206B (zh) 2019-02-28 2020-02-19 针对结构的机器学习工具

Country Status (6)

Country Link
US (1) US11341627B2 (zh)
EP (1) EP3931768A1 (zh)
JP (1) JP7352632B2 (zh)
CN (1) CN113424206B (zh)
CA (1) CA3125524A1 (zh)
WO (1) WO2020176304A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
CN113039556B (zh) 2018-10-11 2022-10-21 特斯拉公司 用于使用增广数据训练机器模型的***和方法
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11150664B2 (en) 2019-02-01 2021-10-19 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
EP3980916A4 (en) * 2019-06-06 2023-06-21 Bluebeam, Inc. METHODS AND SYSTEMS FOR AUTOMATIC DESIGN ELEMENT DETECTION IN A TWO-DIMENSIONAL DESIGN DOCUMENT
US11904417B2 (en) * 2019-10-15 2024-02-20 International Business Machines Corporation Automated material welding
US20210358202A1 (en) * 2020-05-13 2021-11-18 Electronic Caregiver, Inc. Room Labeling Drawing Interface for Activity Tracking and Detection
US11461292B2 (en) * 2020-07-01 2022-10-04 International Business Machines Corporation Quick data exploration
US11657373B2 (en) * 2020-08-21 2023-05-23 Accenture Global Solutions Limited System and method for identifying structural asset features and damage
US11625141B2 (en) * 2020-09-22 2023-04-11 Servicenow, Inc. User interface generation with machine learning
CN112326552B (zh) * 2020-10-21 2021-09-07 山东大学 基于视觉和力觉感知的隧道掉块病害检测方法和***
CN112580574A (zh) * 2020-12-28 2021-03-30 北京翰立教育科技有限公司 一种基于识别手写文字的智能学习方法及装置
CN113160112B (zh) * 2020-12-30 2024-02-02 苏州特文思达科技有限公司 基于机器学习的钢格板产品智能识别检测方法
WO2022251906A1 (en) * 2021-05-31 2022-12-08 Abyss Solutions Pty Ltd Method and system for detecting coating degradation
CN113533369B (zh) * 2021-06-21 2024-05-17 国网山东省电力公司鱼台县供电公司 一种输电线路巡检装置
US20230153987A1 (en) * 2021-11-17 2023-05-18 Verizon Media Inc. Object defect detection
CN114863018B (zh) * 2022-04-28 2024-06-25 北京石油化工学院 一种基于rgb-d深度图像的焊缝三维重建方法
US11710306B1 (en) * 2022-06-24 2023-07-25 Blackshark.Ai Gmbh Machine learning inference user interface
WO2024054815A1 (en) * 2022-09-06 2024-03-14 University Of Georgia Research Foundation, Inc. Pavement management system using satellite data and machine learning

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
JP2014159981A (ja) * 2013-02-19 2014-09-04 Kddi Corp 検査補助装置
CN104063708A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理设备、记录介质和信息处理***
JP2015184773A (ja) * 2014-03-20 2015-10-22 日本ユニシス株式会社 画像処理装置および３次元物体トラッキング方法
CN105102926A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法
CN105793852A (zh) * 2013-12-04 2016-07-20 M·奥利尼克 具有海量医疗分析的医疗处理计算机规划方法和***
CN106204723A (zh) * 2016-06-28 2016-12-07 浙江大学 一种面向三维服装模拟的纸样缝合信息自动设置方法
WO2018055340A1 (en) * 2016-09-21 2018-03-29 Emergent Network Intelligence Ltd Automatic image based object damage assessment
CN108012049A (zh) * 2016-10-31 2018-05-08 三星Sds株式会社 视频分析方法及其装置
CN108974044A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道资产勘测***
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040054568A1 (en) 2002-07-01 2004-03-18 Bradley Gary J. Automated construction project estimator tool
US7587061B1 (en) 2002-12-23 2009-09-08 Pacenti James R Symbol recognition system software and method
JP2004362333A (ja) 2003-06-05 2004-12-24 Mitsubishi Electric Corp 写真計測システム及び写真計測方法
US9582932B2 (en) * 2012-06-05 2017-02-28 Apple Inc. Identifying and parameterizing roof types in map data
US9230339B2 (en) * 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
US9082015B2 (en) 2013-03-15 2015-07-14 State Farm Mutual Automobile Insurance Company Automatic building assessment
US10861224B2 (en) 2013-07-23 2020-12-08 Hover Inc. 3D building analyzer
US9536148B2 (en) 2013-09-27 2017-01-03 Real Data Guru, Inc. Property assessment and prospecting tool
CN103605970A (zh) 2013-12-02 2014-02-26 华中师范大学 一种基于机器学习的图纸建筑元素识别方法及***
US10029422B2 (en) * 2014-10-07 2018-07-24 Voxel Llc Three-dimensional modelling and/or manufacturing apparatus, and related processes
GB2537681B (en) * 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
US20170154314A1 (en) * 2015-11-30 2017-06-01 FAMA Technologies, Inc. System for searching and correlating online activity with individual classification factors
US9846915B2 (en) 2016-03-17 2017-12-19 Conduent Business Services, Llc Image capture system for property damage assessment
US10511676B2 (en) 2016-03-17 2019-12-17 Conduent Business Services, Llc Image analysis system for property damage assessment and verification
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
US20180082414A1 (en) 2016-09-21 2018-03-22 Astralink Ltd. Methods Circuits Assemblies Devices Systems Platforms and Functionally Associated Machine Executable Code for Computer Vision Assisted Construction Site Inspection
US10529029B2 (en) 2016-09-23 2020-01-07 Aon Benfield Inc. Platform, systems, and methods for identifying property characteristics and property feature maintenance through aerial imagery analysis
US10726558B2 (en) 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
CA3056498A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
US20180373931A1 (en) * 2017-06-21 2018-12-27 Panton, Inc. Image recognition system for roof damage detection and management
US10769429B2 (en) * 2018-08-31 2020-09-08 Wipro Limited Method and system for extracting text from an engineering drawing

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591449A (zh) * 2010-10-27 2012-07-18 微软公司 虚拟内容和现实内容的低等待时间的融合
JP2014159981A (ja) * 2013-02-19 2014-09-04 Kddi Corp 検査補助装置
CN105102926A (zh) * 2013-03-15 2015-11-25 法罗技术股份有限公司 三维坐标扫描仪和操作方法
CN104063708A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理设备、记录介质和信息处理***
CN105793852A (zh) * 2013-12-04 2016-07-20 M·奥利尼克 具有海量医疗分析的医疗处理计算机规划方法和***
JP2015184773A (ja) * 2014-03-20 2015-10-22 日本ユニシス株式会社 画像処理装置および３次元物体トラッキング方法
CN106204723A (zh) * 2016-06-28 2016-12-07 浙江大学 一种面向三维服装模拟的纸样缝合信息自动设置方法
WO2018055340A1 (en) * 2016-09-21 2018-03-29 Emergent Network Intelligence Ltd Automatic image based object damage assessment
CN108012049A (zh) * 2016-10-31 2018-05-08 三星Sds株式会社 视频分析方法及其装置
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN108974044A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道资产勘测***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"BIM技术在既有建筑检测加固中的应用探索";蒋璐等;《土木建筑工程信息技术》;第8卷(第5期);第26-29页 *
"基于点云的建筑物表面损伤三维重建与属性提取方法";徐照等;《土木工程与管理学报》;第35卷(第3期);第28-33页及第51页 *

Also Published As

Publication number Publication date
US20200279364A1 (en) 2020-09-03
CN113424206A (zh) 2021-09-21
JP2022522257A (ja) 2022-04-15
EP3931768A1 (en) 2022-01-05
JP7352632B2 (ja) 2023-09-28
WO2020176304A1 (en) 2020-09-03
CA3125524A1 (en) 2020-09-03
US11341627B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
CN113424206B (zh) 针对结构的机器学习工具
Lin et al. Bridge inspection with aerial robots: Automating the entire pipeline of visual data capture, 3D mapping, defect detection, analysis, and reporting
Bruno et al. Historic Building Information Modelling: performance assessment for diagnosis-aided information modelling and management
Zhang et al. Automated progress control using laser scanning technology
Esfahani et al. Quantitative investigation on the accuracy and precision of Scan-to-BIM under different modelling scenarios
Ham et al. An automated vision-based method for rapid 3D energy performance modeling of existing buildings using thermal and digital imagery
Pocobelli et al. Building information models for monitoring and simulation data in heritage buildings
Chen et al. Convolutional neural networks (CNNs)-based multi-category damage detection and recognition of high-speed rail (HSR) reinforced concrete (RC) bridges using test images
KR102423579B1 (ko) 3d 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템
Giel et al. Using laser scanning to access the accuracy of as-built BIM
CN115409069A (zh) 村镇建筑的识别方法、分类方法、装置、电子设备和介质
Shih et al. Point-cloud-based comparison between construction schedule and as-built progress: Long-range three-dimensional laser scanner’s approach
Wang et al. A graphics-based digital twin framework for computer vision-based post-earthquake structural inspection and evaluation using unmanned aerial vehicles
Noichl et al. " BIM-to-Scan" for Scan-to-BIM: Generating Realistic Synthetic Ground Truth Point Clouds based on Industrial 3D Models
Levine et al. Development of a building information model-guided post-earthquake building inspection framework using 3D synthetic environments
Mohammadkhorasani et al. Augmented reality-computer vision combination for automatic fatigue crack detection and localization
Pantoja-Rosero et al. Automated image-based generation of finite element models for masonry buildings
KR101081937B1 (ko) 지상 레이저 스캐너를 이용한 구조물간 접합 가능성 평가 방법
Mirzaei et al. Automatic generation of structural geometric digital twins from point clouds
Choi et al. Semi-automated visualization method for visual inspection of buildings on BIM using 3D point cloud
Pan Three-dimensional vision-based structural damage detection and loss estimation–towards more rapid and comprehensive assessment
Noghabaei et al. Automated compatibility checking of prefabricated components using 3D as-built models and BIM
Kim et al. Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance
KR20190044342A (ko) 창호 자재 발주 방법
Tarkhan et al. Capturing façade diversity in urban settings using an automated window to wall ratio extraction and detection workflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant