CN115240140A - 基于图像识别的设备安装进度监控方法及*** - Google Patents

基于图像识别的设备安装进度监控方法及*** Download PDF

Info

Publication number
CN115240140A
CN115240140A CN202210831579.0A CN202210831579A CN115240140A CN 115240140 A CN115240140 A CN 115240140A CN 202210831579 A CN202210831579 A CN 202210831579A CN 115240140 A CN115240140 A CN 115240140A
Authority
CN
China
Prior art keywords
equipment
model
bim
image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210831579.0A
Other languages
English (en)
Inventor
秦旷宇
钟彬
史健勇
曾远帆
吕征宇
周亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shanghai Electric Power Co Ltd
Original Assignee
Shanghai Jiaotong University
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, State Grid Shanghai Electric Power Co Ltd filed Critical Shanghai Jiaotong University
Priority to CN202210831579.0A priority Critical patent/CN115240140A/zh
Publication of CN115240140A publication Critical patent/CN115240140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Structural Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Civil Engineering (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种基于图像识别的设备安装进度监控方法及***，其中方法包括：分别构建BIM结构模型和BIM设备模型，并将BIM设备模型添加到BIM结构模型中的所需位置上，得到BIM模型；扫描施工环境，获得施工环境图像，将BIM模型叠加到施工环境图像中，得到虚实结合的场景图像；按照设定的速率分别获取场景图像和施工环境图像，识别场景图像中的BIM设备模型与施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况。本发明不依赖特定设备，对工程项目进行实时数据获取，统计的设备安装进度过程能够由***自动完成，提高了工作效率，实现工程建设进度的可视化和信息交互，进而实现对工程现场设备安装进度的实时监控。

Description

基于图像识别的设备安装进度监控方法及***
技术领域
本发明涉及工程进度管理技术领域，具体地，涉及一种基于图像识别的设备安装进度监控方法及***，同时提供了一种相应的设备和计算机可读存储介质。
背景技术
对基建项目进行进度管理，保证工程如期完成，是建设单位和施工单位关心的一个重要管理指标。为了保证工程进度,实现工程进度目标，各单位在施工对进度进行追踪管理。我们常规的方法是以已经编制好的横道图、网络图计划为基线计划。随着工程的进展，收集进度相关的数据,并对原计划进行更新。通过新的计划和基线计划的比较来判断工程进度的快慢,然后通过纠偏方式来调整进度。用这种传统的方法对工程项目进行进度管理，当然有其很多的优点。但是最大的缺陷在于，缺乏可视化和信息交互。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于图像识别的设备安装进度监控方法及***，同时提供了一种相应的设备和计算机可读存储介质。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种基于图像识别的设备安装进度监控方法，包括：
分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM 结构模型中的所需位置上，得到BIM模型；
扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像；
按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况。
可选地，所述分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM结构模型中的所需位置上，得到BIM模型，包括：
根据CAD图纸，按照模型与施工现场1：1比例，分别创建BIM结构模型和BIM 设备模型，并将所述设BIM备模型按照放置的真实位置添加到所述BIM结构模型中，得到初步BIM模型；
将所述初步BIM模型转化为三维模型文件，并分别对所述BIM结构模型和所述BIM设备模型进行材质配置，得到最终的BIM模型；其中：
所述BIM结构模型的材质为固定材质，所述BIM设备模型的材质根据设备类型、设备型号和设备名称三个维度进行区别设置。
可选地，所述扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像，包括：
对施工现场进行扫描，获得施工环境图像；
在所述BIM模型上创建标点，获得虚拟空间坐标，并获取所述施工环境图像中与所述标点相对应的点，得到施工环境空间坐标；
将所述虚拟空间坐标与所述施工环境坐标进行配准，使得所述BIM模型与所述施工环境图像进行重叠，得到虚实结合的场景图像。
可选地，所述按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况，包括：
按照设定的速率分别获取所述场景图片和所述施工现场图像，并按照时间戳将所述场景图片和所述施工现场图像一一对应，识别所述场景图片中的BIM设备模型和所述施工现场图像中的真实设备；
利用所述BIM模型的材质，判断所述BIM设备模型与所述真实设备是否重叠：
如果重叠，则进一步判断所述BIM设备模型与所述真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记所述真实设备为已安装设备；如果不是，则搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记所述真实设备为已安装设备；
反之，则标记所述真实设备为未安装设备；
完成对设备安装情况的自动统计。
可选地，所述利用所述BIM模型的材质，判断所述BIM设备模型与所述真实设备是否重叠，包括：
设置所述BIM结构模型为半透明材质；根据设备类型、设备型号和设备名称三个维度，设置所述BIM设备模型为不同的单色材质；
获取当前画面中所有的非半透明材质，并根据预设置的单色材质与BIM设备模型对应关系，获取所述BIM设备模型在当前画面中的二维坐标；同时，识别当前画面中的真实设备，并得到所述真实设备的二维坐标，根据这两组坐标判断所述BIM设备模型与所述真实设备是否重叠。
可选地，所述搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，包括：
从所述场景图像中获取所述BIM结构模型的长宽像素值，以x倍像素值为直径画圆或矩形，获得指定像素点范围，其中，x可为可调参数；
当所述指定像素点范围内存在与所述BIM设备模型同一设备类型、设备型号和设备名称的真实设备时，则认为已安装所述真实设备。
根据本发明的另一个方面，提供了一种基于图像识别的设备安装进度监控***，包括：
BIM模型处理模块，该模块用于分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM结构模型中的所需位置上，得到BIM模型；
定位模块，该模块用于扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像；
图像处理模块，该模块用于按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备，并进行关联；
进度识别模块，该模块用于判断所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，进行安装进度识别，实现对设备安装情况的自动统计；
网络模块，该模块用于负责各模块之间的通信。
可选地，所述BIM模型处理模块，包括：
模型构建单元，该单元用于根据CAD图纸，按照模型与施工现场1：1比例，分别创建BIM结构模型和BIM设备模型，并将设BIM备模型按照放置的真实位置添加到BIM结构模型中，得到初步BIM模型；
格式转化单元，该单元用于将所述初步BIM模型转化为三维模型文件；
属性导出单元，该单元用于将初步BIM模型按构件将模型属性导出为文本文档，模型属性包含模型类型，所属***，型号，名称，尺寸数据，可用于后续的所述初步 BIM模型材质设置；
材质单元，该单元用于将所述初步BIM模型按照设备类型、设备型号和设备名称三个维度赋予不同材质，得到最终的BIM模型。
可选地，所述定位模块，包括：
视觉惯性SLAM单元，该单元用于在BIM模型上创建标点，获得虚拟空间坐标，并获取施工环境图像中与标点相对应的点，得到施工环境空间坐标；将虚拟空间坐标与施工环境坐标进行配准，使得施工环境中设备移动时保持稳定，得到虚实结合的场景图像；
坐标输入单元，该单元用于输出初始坐标，为虚拟空间和现实空间的坐标匹配提供初始位姿，所述初始位姿用于提高坐标匹配准确性。
可选地，所述图像处理模块，包括：
场景录制单元，该单元用于按照设定的速率分别获取所述场景图片和所述施工现场图像；
传感器数据记录单元，该单元用于记录获取的每一帧所述场景图片和所述施工现场图像；
数据处理单元，该单元用于按照时间戳将所述场景图片和所述施工现场图像一一对应，对所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备进行关联。
可选地，所述进度识别模块，包括：
图像识别单元，该单元用于识别每一帧图像中，出现的所述BIM设备模型的类型和位置以及出现的真实设备的类别和位置；
图像匹配单元，该单元用于判断所述BIM设备模型与所述真实设备是否重叠，如果重叠，则进一步判断所述BIM设备模型与所述真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记所述真实设备为已安装设备；如果不是，则搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记所述真实设备为已安装设备；反之，则标记所述真实设备为未安装设备。
可选地，该***还包括如下任意一个或任意多个模块：
-记录模块，该模块用于存储***运行过程中产生的数据；
-进度模型查看模块，该模块用于展示设备安装进度。
根据本发明的第三个方面，提供了一种设备，包括：计算机以及与所述计算机相连的现场扫描装置；其中：
所述现场扫描装置，包括：摄像头和惯性传感器，用于扫描施工环境，获取施工环境图像，并发送至所述计算机；
所述计算机包括：显示器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述任一项所述的***。
可选地，所述现场扫描装置可以采用移动智能设备，例如：手机、平板电脑等。
根据本发明的四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述任一项所述的***。
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
本发明不依赖特定设备，可通过市场化最常见的移动智能设备(例如手机、平板电脑等)实现现场数据扫描，运行过程中所有计算可在服务器(计算机)上进行，智能设备可以提供所需的现场图像数据和惯性传感器数据，降低了对设备的要求。
本发明统计的设备安装进度过程能够由***自动完成，提高了工作效率。
本发明特别针对工程建设中设备安装环节，在设备安装过程可以进行可视化存档及安装进度自动统计，实现工程建设进度的可视化和信息交互。
本发明通过带有高清相机的移动智能设备、支持网络的其他设备实现现场数据采集，可对工程项目进行实时数据获取，获得工程现场设备安装进度，进而实现对工程现场设备安装进度的实时监控。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中基于图像识别的设备安装进度监控方法的整体流程图；
图2为本发明一实施例中基于图像识别的设备安装进度监控***的功能结构图；
图3为本发明一优选实施例中基于图像识别的设备安装进度监控方法的整体流程图；
图4为本发明一优选实施例中基于图像识别的设备安装进度监控***的功能结构图；
图5为本发明一具体应用实例中的初始界面示意图；
图6为本发明一具体应用实例中的场景数据采集界面示意图；其中，(a)为 BIM模型界面，(b)为施工环境图像界面；
图7为本发明一具体应用实例中的设备识别过程示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种基于图像识别的设备安装进度监控方法。
如图1所示，该实施例提供的基于图像识别的设备安装进度监控方法，可以包括如下步骤：
S1，分别构建BIM结构模型和BIM设备模型，并将BIM设备模型添加到BIM结构模型中的所需位置上，得到BIM模型；
S2，扫描施工环境，获得施工环境图像，将BIM模型叠加到施工环境图像中，得到虚实结合的场景图像；
S3，按照设定的速率分别获取场景图像和施工环境图像，识别场景图像中的BIM设备模型与施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况。
在S1的一优选实施例中，分别构建BIM结构模型和BIM设备模型，并将BIM设备模型添加到BIM结构模型中的所需位置上，得到BIM模型，可以包括如下步骤：
S101，根据CAD图纸，按照模型与施工现场1：1比例，分别创建BIM结构模型和BIM设备模型，并将设BIM备模型按照放置的真实位置添加到BIM结构模型中，得到初步BIM模型；
S102，将初步BIM模型转化为三维模型文件，并分别对BIM结构模型和BIM设备模型进行材质配置，得到最终的BIM模型；在一具体应用实例中，三维模型文件可以为FBX、OBJ文件；其中：
BIM结构模型的材质为固定材质，BIM设备模型的材质根据设备类型、设备型号和设备名称三个维度进行区别设置。在一具体应用实例中，BIM结构模型的材质可以选择半透明材质进行添加；BIM设备模型材质按设备类型区别，且同类型不同设备也需要做区分，可以选择添加单色材质。
在S2的一优选实施例中，扫描施工环境，获得施工环境图像，将BIM模型叠加到施工环境图像中，得到虚实结合的场景图像，可以包括如下步骤：
S201，对施工现场进行扫描，获得施工环境图像；
S202，在BIM模型上创建标点，获得虚拟空间坐标，并获取施工环境图像中与标点相对应的点，得到施工环境空间坐标；
S203，将虚拟空间坐标与施工环境坐标进行配准，使得BIM模型与施工环境图像进行重叠，得到虚实结合的场景图像。
在S3的一优选实施例中，按照设定的速率分别获取场景图像和施工环境图像，识别场景图像中的BIM设备模型与施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况，可以包括如下步骤：
S301，按照设定的速率分别获取场景图片和施工现场图像，并按照时间戳将场景图片和施工现场图像一一对应，识别场景图片中的BIM设备模型和施工现场图像中的真实设备；
S302，利用BIM模型的材质，判断BIM设备模型与真实设备是否重叠：
如果重叠，则进一步判断BIM设备模型与真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记真实设备为已安装设备；如果不是，则搜索BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记真实设备为已安装设备；
反之，则标记真实设备为未安装设备；
S303，完成对设备安装情况的自动统计。
在S302的一优选实施例中，利用BIM模型的材质，判断BIM设备模型与真实设备是否重叠，包括：
设置BIM结构模型为半透明材质；根据设备类型、设备型号和设备名称三个维度，设置BIM设备模型为不同的单色材质；
获取当前画面中所有的非半透明材质，并根据预设置的单色材质与BIM设备模型对应关系，获取BIM设备模型在当前画面中的二维坐标；同时，识别当前画面中的真实设备，并得到真实设备的二维坐标，根据这两组坐标判断BIM设备模型与真实设备是否重叠。
在S302的一优选实施例中，搜索BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，可以包括如下步骤：
S3021，从场景图像中获取BIM结构模型的长宽像素值，以x倍像素值为直径画圆或矩形，获得指定像素点范围，其中，x可为可调参数；
S3022，当指定像素点范围内存在与BIM设备模型同一设备类型、设备型号和设备名称的真实设备时，则认为已安装真实设备。
在本发明部分实施例中：
采用带摄像头和惯性传感器的设备，对施工环境空间进行扫描，将BIM结构模型与BIM设备模型一起，叠加显示在施工环境空间的扫描图像中。该叠加显示可以通过显示器进行显示。
创建BIM模型需要进行以下处理：
依据CAD图纸建模的BIM结构模型和BIM设备模型，将BIM模型转化为三维模型文件(例如FBX、OBJ等格式的文件)，将BIM结构模型和BIM设备模型材质替换为不同种类的材质。进行格式转换并替换材质后，将其导入开发工具(例如U3D 软件)。也可以开发软件中进行材质替换操作。
BIM结构模型的材质固定，例如可以添加半透明材质，BIM设备模型材质按设备类型区别，且同类型不同设备(可以通过设备名称进行区别)也需要做区分，可以添加单色材质。
采用带摄像头和惯性传感器的设备，对施工环境空间进行扫描，将BIM结构模型与BIM设备模型一起，叠加显示在施工环境空间的扫描图像中，具体可以为：
通过在BIM模型上创建标点，与施工环境中的点进行坐标配准，使得虚拟空间坐标与施工环境空间坐标重叠。
当虚拟空间坐标与施工环境空间坐标重叠时，采集施工环境的扫描图像和屏幕画面(即场景图像)，以设定的速率(例如每秒30帧的速度)存储图像，进行设备安装进度识别。进一步地，以相同帧率拍摄视频(用于获得施工环境的扫描图像)和录制屏幕(用于获得场景图像)；通过图像识别，获取视频中设备数据，包含设备类型、设备型号、设备名称、识别准确率、时间、位置和相机Transform属性；获取录制屏幕中BIM设备模型的设备数据，通过材质颜色数值和范围得到设备位置信息。
通过图像识别过去到的参数作用，设备类型和设备型号用于在结果中标注设备，识别准确率用于判断此次图像识别是否正确(准确率大于指定数值即视为准确)，时间、位置和相机Transform属性三个参数用于确认虚实数据是否同步。
通过录制屏幕得到的图像数据中，存在着代表不同设备的单色色块，通过查询GPU渲染过程数据，可以获得单色色块的具体RGB数值和在当前画面中的二维坐标。
通过读取每帧图像，自动统计设备安装情况，统计方式如下：
识别场景图像中BIM设备模型的单色材质是否与识别到的施工环境图像中的真实设备重叠，如果重叠，进一步判断两种设备是否同一类型且为同一种设备，如果是则标记真实设备为已安装设备。如果不是，则搜索半透明材质指定像素点范围内，是否具有同类型且同一种设备(即设备类型、设备型号和设备名称均相同)，如果是则标记真实设备为已安装设备，反之，则标志真实设备为未安装设备。通过对比从视频获取的设备数据和从录制屏幕中获取的设备数据，最终得到设备的安装进度。
搜索半透明材质指定像素点范围内，具体可以为：
从场景图像中获取BIM结构模型长宽像素值，以x倍像素值为直径画圆或矩形； x可为可调参数。
当指定像素点范围内存在与BIM设备模型相同设备类型且相同设备型号和设备名称的真实设备时，则认为已安装真实设备。
该过程给予了一个容许偏差值，当设备位置差值小于容许偏差值时，可认为该设备已经安装。
本发明一实施例提供了一种基于图像识别的设备安装进度监控***。
如图2所示，该实施例提供的基于图像识别的设备安装进度监控***，可以包括如下模块：
BIM模型处理模块，该模块用于分别构建BIM结构模型和BIM设备模型，并将 BIM设备模型添加到BIM结构模型中的所需位置上，得到BIM模型；
定位模块，该模块用于扫描施工环境，获得施工环境图像，将BIM模型叠加到施工环境图像中，得到虚实结合的场景图像；
图像处理模块，该模块用于按照设定的速率分别获取场景图像和施工环境图像，识别场景图像中的BIM设备模型与施工环境图像中的真实设备，并进行关联；
进度识别模块，该模块用于判断场景图像中的BIM设备模型与施工环境图像中的真实设备之间的位置关系，进行安装进度识别，实现对设备安装情况的自动统计；
网络模块，该模块用于负责各模块之间的通信，使得数据交互工作顺利进行。
在一优选实施例中，BIM模型处理模块，可以包括如下单元：
模型构建单元，该单元用于根据CAD图纸，按照模型与施工现场1：1比例，分别创建BIM结构模型和BIM设备模型，并将设BIM备模型按照放置的真实位置添加到 BIM结构模型中，得到初步BIM模型；在一具体应用实例中，该模型构建单元可以是现有的三维建模软件或者建模软件的插件；
格式转化单元，该单元用于将初步BIM模型转化为FBX、OBJ等格式的三维模型文件；
属性导出单元，该单元用于按构件将模型属性导出为文本文档；在一具体应用实例中，模型属性包含模型类型(设备类型)、所属***、模型型号(设备型号)、模型名称(设备名称)、尺寸数据，可用于后续的对初步BIM模型材质的设置；
材质单元，该单元用于将初步BIM模型按照设备类型、设备型号和设备名称三个维度赋予不同材质，得到最终的BIM模型。
进一步地，材质单元中存在多种着色器，每种着色器可控制一种或多种材质。
在一优选实施例中，定位模块，可以包括如下单元：
视觉惯性SLAM单元，该单元用于在BIM模型上创建标点，获得虚拟空间坐标，并获取施工环境图像中与标点相对应的点，得到施工环境空间坐标；将虚拟空间坐标与施工环境坐标进行配准，使得施工环境中设备移动时保持稳定，得到虚实结合的场景图像；
坐标输入单元，该单元用于输出初始坐标，为虚拟空间和现实空间匹配提供初始位姿，该初始位姿可以用于提高坐标匹配准确性。
在一优选实施例中，图像处理模块，可以包括如下单元：
场景录制单元，该单元用于按照设定的速率分别获取场景图片和施工现场图像；
传感器数据记录单元，该单元用于记录获取的每一帧场景图片和施工现场图像；在一具体应用实例中，当每帧图像被记录时，同步记录该时候施工现场图像中真实设备的数据，包括加速度，角速度等；
数据处理单元，该单元用于按照时间戳将场景图片和施工现场图像一一对应，对场景图像中的BIM设备模型与施工环境图像中的真实设备进行关联；在一具体应用实例中，可以根据施工现场图像中真实设备的数据(加速度，角速度)，计算每帧图像被获取时，真实设备的位姿。
进一步地，通过实时计算真实位姿，得到设备的移运动轨迹，将此运用轨迹与 BIM模型中的相机同步，便可以实现BIM模型与施工环境的稳定融合。
在一优选实施例中，进度识别模块，可以包括如下单元：
图像识别单元，该单元用于识别每一帧图像中，出现的BIM设备模型的类型和位置以及出现的真实设备的类别和位置；
图像匹配单元，该单元用于判断BIM设备模型与真实设备是否重叠，如果重叠，则进一步判断BIM设备模型与真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记真实设备为已安装设备；如果不是，则搜索BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记真实设备为已安装设备；反之，则标记真实设备为未安装设备。
在一优选实施例中，该***还包括如下任意一个或任意多个模块：
-记录模块，该模块用于存储***运行过程中产生的一系列数据；
-进度模型查看模块，该模块用于展示设备安装进度。
需要说明的是，本发明提供的方法中的步骤，可以利用***中对应的模块、装置、单元等予以实现，本领域技术人员可以参照方法的技术方案实现***的组成，即，方法中的实施例可理解为构建***的优选例，在此不予赘述。
本发明一实施例提供了一种设备，可以包括：计算机以及与计算机相连的现场扫描装置；其中：
现场扫描装置，包括：摄像头和惯性传感器，用于扫描施工环境，获取施工环境图像，并发送至计算机；
计算机包括：显示器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时可用于执行上述任一项该方法，或，运行上述任一项该***。
在一具体应用实例中，该现场扫描装置可以采用移动智能设备，例如：包含了摄像头和惯性传感器的手机、平板电脑等设备，也可以采用外接带有惯性传感器的摄像头的笔记本电脑等容易携带的设备。
本发明一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可用于执行上述任一项该方法，或，运行上述任一项该***。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
为使本发明上述实施例的目的、技术方案和优点更加清楚，下面将结合一具体应用实例及附图，对本发明上述实施例中的技术方案进一步清楚、完整地描述。
在以下具体应用实例中，采用的带有显示屏、摄像头和惯性传感器的设备，可以是包含这些硬件的智能手机、平板电脑，也可以是外接带有惯性传感器的摄像头的平板电脑、笔记本电脑设备等等。依赖带有显示屏、摄像头和惯性传感器的设备，以下具体应用实例中虚拟模型叠加在现实模型上的功能有了实现的硬件基础。
该具体应用实例提供了一种基于图像识别的设备安装进度监控方法进行说明。如图 3所示，该具体应用实例提供的一种基于图像识别的设备安装进度监控方法，包括如下步骤：
步骤100：使用建模软件，根据CAD图纸别分创建BIM结构模型，BIM设备模型。将模型导入开发工具，如U3D，UE4，并为不同类型模型添加不同材质。
步骤200：通过定位功能，将虚拟空间坐标与现实空间匹配，然后将BIM模型显示在屏幕中，即实现虚实融合。
步骤300：获取场景图像，同步读取惯性传感器数据，按时间戳将图像与传感器数据一一对应。
步骤400：逐帧获取图片中的BIM设备模型，和施工现场的设备信息，得到设备安装信息。
其中，步骤100对应与BIM模型处理模块，步骤200对应于定位模块，步骤300 对应于图像处理模块，步骤400对应于进度识别模块。当不同模块被安装在不用设备上时，网络模块负责信息传输交互。
在步骤100中，建模软件使用Revit软件，开发工具使用U3D软件，编程语言为 C#。模型导入工具一部分基于Revit软件进行二次开发，主要功能是逐构件将信息导出为文本文档，文本文档按构件族类型Family和构件编号Element-ID命名。模型导入工具基于U3D开发，主要功能是将属性文本文档文件与模型FBX关联。
进一步地，并为不同类型模型添加不同材质，具体是指：为所有结构柱模型添加同一种材质M_柱，为外墙添加材质M_外墙，...，为消防喷头添加材质M_喷头，50KV 变压器添加材质M_PT50KV，排烟管道添加M_PYDuct等等。所有材质皆为纯色，不同材质用不同RGB值区分，目的是便于之后的图像识别过程。所有材质都采用两个Pass 进行着色，第一Pass只渲染背面，Cull设置为Front；第二个Pass只渲染前面，Cull设置为Back。
在步骤200中，将虚拟空间坐标与现实空间匹配，具体实现过程为：在BIM模型俯视图中选择两个点，暂时记录两点在模型空间中的坐标，该坐标为平面坐标(垂直方向值为0)。然后开启摄像头，识别施工现场地面平面，然后在相应位置添加两个锚点。将模型空间中的两个坐标与施工现场地面平面上的两个虚拟标点重叠，即实现虚拟空间坐标与现实空间的匹配。
进一步地，识别施工现场地面平面的方法，举例来说，采用U3D自带插件ARFoundation中的UnityEngine.XR.ARFoundation.ARPlanesChangedEventArgs进行操作。识别施工现场平面后添加锚点的操作，则采用UnityEngine.Object.Instantiate进行操作。至于锚点与虚拟空间的平面锚点匹配方式，具体过程为：
假设虚拟空间两点坐标X1，X2；锚点坐标A1，A2，虚拟空间坐标系e，现实空间坐标系E，平移向量T，旋转向量R，则
计算T,R值，使得E＝Re+T；
其中
Figure BDA0003745746310000131
进一步地，当虚拟空间与现实空间坐标匹配上后，随着设备移动，BIM模型需要能够稳定的叠加在现实空间上，这一过程采用SLAM技术实现。在机器人领域，这项技术被定义为即时定位与地图构建(simultaneous localization and mapping，即SLAM)，SLAM 技术可以描述为：机器人在未知环境从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上构建增量式地图，实现机器人的自主定位和导航。对于一个SLAM技术，根据其使用的传感器不同，主要有三种解决方法：基于RGB-D相机的SLAM，基于激光点云的SLAM，以及基于视觉的SLAM。基于视觉的SLAM如果结合了视觉惯性里程计(Visual-Inertial Odometry,即VIO)，则被称为 VIO-SLAM，具体又可分为基于单目摄像头、双目摄像头和RGB-D摄像头三种。三种实现方案各有优劣：
基于单目摄像头的VIO-SLAM方案成本低，但是空间尺度不确定，初始化问题；
双目摄像头的VIO-SLAM方案可获取空间尺度，但是配置复杂，成本较高；
RGB-D摄像头的VIO-SLAM方案也可获取空间尺度，成本低，但易受光照干扰。
对于本具体应用实例而言，可根据不同现场情况，单目摄像头方案和RGB-D方案皆可，在本具体应用实例中采用单目方案。
在步骤300中，获取屏幕图像，同步读取惯性传感器数据，按时间戳将图像与传感器数据一一对应，具体包括：
屏幕录制功能使用UnityEngine.Recorder实现，录制帧率30，屏幕录制数据集记为： RecorderSet30。使用Unity.Application.RequestUserAuthorization()获取摄像头权限，摄像头数据集记为：WebCamTexturSet30；加速度传感器数据使用 Sensor.TYPE_ACCELEROMETER获取，方向传感器Sensor.TYPE_ORIENTATION，陀螺仪传感器Sensor.TYPE_GYROSCOPE，线性加速度传感器 Sensor.TYPE_LINEAR_ACCELERATION，重力传感器Sensor.TYPE_GRAVITY，总计为 VIOSET。时间戳使用System.DateTime.Now获取，记为：TimeSET。将所有数据按每秒 30组，打包成一个数据集合DATASET，然后通过网络模块发送至进度识别模块。
进一步地，惯性传感器数据集合可用于相机Transform的验证，非必须。
进一步地，屏幕录制功能运行时，BIM模型中的结构模型材质，可将透明度设为0。
在步骤400中，逐帧获取图片中的BIM设备模型，和施工现场的设备信息，得到设备安装信息，具体包括：获取一组DATASET，首先识别RecorderSet30中关于BIM 设备模型的材质色块，得到此幅图片中的设备类型，数量，以及在图片中的相对像素坐标CBIM。然后识别WebCamTexturSet30中存在的设备类型，及相对像素坐标CR，并统计其数量。
进一步地，本具体应用实例中，为了实现图像识别功能，引用了图像识别数据库PaddlePaddle。数据集采集自施工项目中实际使用的设备。
进一步地，图像识别结果被记录为序列化信息，从每张图像中得到多条设备数据，包含设备类型、识别准确率、时间、位置(图片中的相对坐标)、该时刻相机Transform 属性，m(Family.Name，λ，Time，CR，Transform)；截取λ最大值前后20条数据作为进度监测数据集记为mSet[Family.Name]，不足20条则取到最大值。
进一步地，获得屏幕录制数据，具体为mSet[Family.Name]对应时间段图像集合，计算这些图像中，设备位置是否一致。
进一步地，获得屏幕录制数据中设备的类型与位置，具体过程为：
在图片中搜索目标设备材质，具体为提前设置的颜色参数，获得所有该RGB值像素点，得到边界数值，然后根据边界数值计算中点，中点坐标即为设备位置CBIM。
进一步地，考虑实际施工作业过程中，设备安装位置常常因为各种原因与图纸有些许偏差，故在进行设备安装进度识别时，给予一个容许偏差值D，只要满足：
D≥|CBIM-CR|
即可认为该设备已经安装，安装位置为CR。
其中D＝F(X,Y,L),X和Y是设备在图像中的尺寸，L是BIM设备模型距离相机距离，可由m.Transform和mSet[Family.name].Transform计算得到。
经过循环操作，所有设备都将被检测一边，最终得到施工项目设备安装进度信息。以上步骤产生的所有计算结果，都将被存储于记录模块中。
设备安装情况可通过进度模型查看模块查看。
具体地，在本具体应用实例中，定义了七个功能模块：BIM模型处理模块、定位模块、图像处理模块、进度识别模块、网络模块、记录模块和进度模型查看模块。BIM模型处理模块为Revit平台上构建模型并提供模型信息导出为FBX，模型属性信息导出为文本稳当，Unity平台上加载FBX，设置模型材质。定位模块处理虚拟空间坐标与现实空间的匹配，使BIM模型能够叠加显示在施工场景中。图像处理模块分为三个功能组：场景录制单元，获取摄像头图像和屏幕图像、传感器数据记录单元和数据处理单元，按每帧将多个数据集打包。进度识别模块，分别识别摄像头数据集和屏幕录制数据集中设备信息，对比得到设备安装信息。网络模块负责各个模块之间的通信。记录模块负责存储***运行过程中产生的所有数据。进度模型查看模块负责向用户展示监测结果。
在一些实例中，各个模块之间的通信，可采用移动手机作为前端采集设备，云服务器作为后端处理设备：除了定位模块和图像处理模块，其余三个模块皆设置在后端服务器中。
在一些实例中，采用独立单目摄像头+平板电脑作为硬件时，除了图像处理模块的场景录制单元，其余皆设置在后端服务器中。
下面对该具体应用实例中所涉及的设备安装进行监控***的组成结构进行说明。
如图4所示，该具体应有个实例中提供的设备安装进行监控***，可用于执行如上述的基于图像识别的设备安装进度监控方法，包括如下模块：
BIM模型处理模块1，用于转化模型格式，修改模型材质，统计模型信息。
定位模块2，用于虚拟空间和现实空间的坐标匹配，实现虚实融合效果。
图像处理模块3，用于采集屏幕图像，同时获取设备的惯性传感器数据，并与图像关联。
进度识别模块4，识别设备模型在施工场景中是否被安装。
网络模块5，负责各模块之间的通信。
记录模块6，负责***运行过程中产生的所有数据。
进度模型查看模块7，负责展示设备安装进度。
进一步地，BIM模型处理模块1，包括：
模型构建单元10，创建BIM结构模型和BIM设备模型，并将设BIM备模型按照放置的真实位置添加到BIM结构模型中；
格式转化单元11，用于将BIM模型处理成FBX、OBJ等格式。
属性导出单元12，按构件将模型属性导出为文本文档。
材质单元13，用于将模型按类别赋予不用材质。
进一步地，定位模块2，其特征在于，包括：
视觉惯性SLAM单元21，实现获取设备在空间中的位置，使虚拟空间和现实空间的坐标匹配，设备移动时保持稳定。
坐标输入单元22，用于输出初始坐标，为虚拟空间和现实空间匹配提供初始位姿。
进一步地，图像处理模块3，包括：
场景录制单元31，虚拟空间和现实空间坐标匹配后，录制BIM模型叠加显示在现实场景上的图像，同时，摄像头记录无BIM模型的场景图像。
传感器数据记录单元32，当每帧图像被记录时，同步记录该时候惯性传感器数据，包括加速度，角速度等。
数据处理单元33，根据惯性传感器数据，计算每帧图像被获取时，设备的位姿。
进一步地，进度识别模块4，包括：
图像识别单元41，用于识别每帧图像中，出现的BIM设备模型类别和位置，以及出现的现实设备模型类别和位置。
图像匹配单元42，用于计算不同来源的同类模型是否出现在指定像素范围内。
进一步地，不同来源的同类模型，是指：BIM设备模型和施工现场的真实存在的设备模型。,
下面对该具体应用实例中提供的设备安装进度监控方法及***在实际运行时使用界面进一步说明。
如图5所示，对该具体应用实例中的设备安装进度监控方法及***所对应实际运行时使用界面的具体举例，说明如下：
图5为执行的初始界面也是场景选择界面，在该具体应用实例中，对软件界面进行了最大程度的简化，仅保留了与本具体应用实例中技术方案相关的功能。图6为场景数据采集界面，图7是设备识别示例。
应用方式为：
(1)在进入一个新的施工环境时，首先在“SELECT PROJECT”界面选择施工环境对应的BIM结构模型，然后在模型俯视图上创建两个定位点。定位点最好选择柱子四角点，提高后续配准精度。最后点击左侧按钮进入场景数据采集界面。
(2)进入场景采集界面后，移动设备，尽可能多的获取地面信息，以建立工作平面。然后点击按钮，创建两个锚点，锚点位置为BIM模型中定位点在施工现场对应位置。点击按钮“配准缩放”或“配准无缩放”，BIM模型将被叠加到施工现场。进一步地，两个按钮不影响本发明功能的实施，BIM设备的识别是基于色块的。
(3)模型叠加后，点击“采集”按钮，用户带着设备开始在施工场景中缓慢移动，全面地对现场进行采集。以消防喷头为例：图7中(a)是摄像头采集画面，图7中(b) 是屏幕显示画面，图7中(c)是设备识别示例。
需要说明的是，具体的界面交互可以根据用户喜好，实际工程状况进行调整，本实施例仅是方法演示的一种举例，不用于对本发明的限制。
在该具体应用实例中，设备安装进度监控方法及***均可以通过计算机可读存储介质实现，该计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如上述方法被执行。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(P RAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(tr ansitory media)，如调制的数据信号和载波。
需要说明的是，软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如， RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。如本说明书实施例所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Net work Processor， NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (ApplicationSpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本发明上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRA M)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEP ROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(trans itory me d i a)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和 /或技术方案。
本发明上述实施例提供的基于图像识别的设备安装进度监控方法及***，使用带有摄像头和惯性传感器的设备，对施工环境空间进行扫描，并将BIM模型叠加显示到施工环境中，然后同步采集摄像头和屏幕图像数据，通过图像识别***自动判断设备安装情况，不依赖特定设备，可通过市场化最常见的移动智能设备(例如手机、平板电脑等)实现现场数据扫描，运行过程中所有计算可在服务器(计算机) 上进行，智能设备可以提供所需的现场图像数据和惯性传感器数据，降低了对设备的要求，统计的设备安装进度过程能够由***自动完成，提高了工作效率，特别针对工程建设中设备安装环节，在设备安装过程进行可视化存档及安装进度自动统计，实现工程建设进度的可视化和信息交互，通过带有高清相机的移动智能设备、支持网络的其他设备实现现场数据采集，可对工程项目进行实时数据获取，获得工程现场设备安装进度，进而实现对工程现场设备安装进度的实时监控。
本发明上述实施例中未尽事宜均为本领域公知技术。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于图像识别的设备安装进度监控方法，其特征在于，包括：
分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM结构模型中的所需位置上，得到BIM模型；
扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像；
按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况。
2.根据权利要求1所述的基于图像识别的设备安装进度监控方法，其特征在于，所述分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM结构模型中的所需位置上，得到BIM模型，包括：
根据CAD图纸，按照模型与施工现场1:1比例，分别创建BIM结构模型和BIM设备模型，并将所述设BIM备模型按照放置的真实位置添加到所述BIM结构模型中，得到初步BIM模型；
将所述初步BIM模型转化为三维模型文件，并分别对所述BIM结构模型和所述BIM设备模型进行材质配置，得到最终的BIM模型；其中：
所述BIM结构模型的材质为固定材质，所述BIM设备模型的材质根据设备类型、设备型号和设备名称三个维度进行区别设置。
3.根据权利要求1所述的基于图像识别的设备安装进度监控方法，其特征在于，所述扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像，包括：
对施工现场进行扫描，获得施工环境图像；
在所述BIM模型上创建标点，获得虚拟空间坐标，并获取所述施工环境图像中与所述标点相对应的点，得到施工环境空间坐标；
将所述虚拟空间坐标与所述施工环境坐标进行配准，使得所述BIM模型与所述施工环境图像进行重叠，得到虚实结合的场景图像。
4.根据权利要求1所述的基于图像识别的设备安装进度监控方法，其特征在于，所述按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，自动统计设备安装情况，包括：
按照设定的速率分别获取所述场景图片和所述施工现场图像，并按照时间戳将所述场景图片和所述施工现场图像一一对应，识别所述场景图片中的BIM设备模型和所述施工现场图像中的真实设备；
利用所述BIM模型的材质，判断所述BIM设备模型与所述真实设备是否重叠：
如果重叠，则进一步判断所述BIM设备模型与所述真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记所述真实设备为已安装设备；如果不是，则搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记所述真实设备为已安装设备；
反之，则标记所述真实设备为未安装设备；
完成对设备安装情况的自动统计。
5.根据权利要求4所述的基于图像识别的设备安装进度监控方法，其特征在于，还包括如下任意一项或任意多项：
-所述利用所述BIM模型的材质，判断所述BIM设备模型与所述真实设备是否重叠，包括：
设置所述BIM结构模型为半透明材质；根据设备类型、设备型号和设备名称三个维度，设置所述BIM设备模型为不同的单色材质；
获取当前画面中所有的非半透明材质，并根据预设置的单色材质与BIM设备模型对应关系，获取所述BIM设备模型在当前画面中的二维坐标；同时，识别当前画面中的真实设备，并得到所述真实设备的二维坐标，根据这两组坐标判断所述BIM设备模型与所述真实设备是否重叠；
-所述搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，包括：
从所述场景图像中获取所述BIM结构模型的长宽像素值，以x倍像素值为直径画圆或矩形，获得指定像素点范围，其中，x可为可调参数；
当所述指定像素点范围内存在与所述BIM设备模型同一设备类型、设备型号和设备名称的真实设备时，则认为已安装所述真实设备。
6.一种基于图像识别的设备安装进度监控***，其特征在于，包括：
BIM模型处理模块，该模块用于分别构建BIM结构模型和BIM设备模型，并将所述BIM设备模型添加到所述BIM结构模型中的所需位置上，得到BIM模型；
定位模块，该模块用于扫描施工环境，获得施工环境图像，将所述BIM模型叠加到所述施工环境图像中，得到虚实结合的场景图像；
图像处理模块，该模块用于按照设定的速率分别获取所述场景图像和所述施工环境图像，识别所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备，并进行关联；
进度识别模块，该模块用于判断所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备之间的位置关系，进行安装进度识别，实现对设备安装情况的自动统计；
网络模块，该模块用于负责各模块之间的通信。
7.根据权利要求6所述的基于图像识别的设备安装进度监控***，其特征在于，还包括如下任意一项或任意多项：
-所述BIM模型处理模块，包括：
模型构建单元，该单元根据CAD图纸，按照模型与施工现场1:1比例，分别创建BIM结构模型和BIM设备模型，并将设BIM备模型按照放置的真实位置添加到BIM结构模型中，得到初步BIM模型；
格式转化单元，该单元用于将所述初步BIM模型转化为三维模型文件；
属性导出单元，该单元用于将初步BIM模型按构件将模型属性导出为文本文档，用于后续的所述初步BIM模型材质设置；
材质单元，该单元用于将所述初步BIM模型按照设备类型、设备型号和设备名称三个维度赋予不同材质，得到最终的BIM模型；
-所述定位模块，包括：
视觉惯性SLAM单元，该单元用于在BIM模型上创建标点，获得虚拟空间坐标，并获取施工环境图像中与标点相对应的点，得到施工环境空间坐标；将虚拟空间坐标与施工环境坐标进行配准，使得施工环境中设备移动时保持稳定，得到虚实结合的场景图像；
坐标输入单元，该单元用于输出初始坐标，为虚拟空间和现实空间的坐标匹配提供初始位姿；
-所述图像处理模块，包括：
场景录制单元，该单元用于按照设定的速率分别获取所述场景图片和所述施工现场图像；
传感器数据记录单元，该单元用于记录获取的每一帧所述场景图片和所述施工现场图像；
数据处理单元，该单元用于按照时间戳将所述场景图片和所述施工现场图像一一对应，对所述场景图像中的BIM设备模型与所述施工环境图像中的真实设备进行关联；
-所述进度识别模块，包括：
图像识别单元，该单元用于识别每一帧图像中，出现的所述BIM设备模型的类型和位置以及出现的真实设备的类别和位置；
图像匹配单元，该单元用于判断所述BIM设备模型与所述真实设备是否重叠，如果重叠，则进一步判断所述BIM设备模型与所述真实设备是否为同一设备类型、设备型号和设备名称，如果是，则标记所述真实设备为已安装设备；如果不是，则搜索所述BIM结构模型的材质指定像素点范围内，是否具有与其同一设备类型、设备型号和设备名称的真实设备，如果有，则标记所述真实设备为已安装设备；反之，则标记所述真实设备为未安装设备。
8.根据权利要求6或7所述的基于图像识别的设备安装进度监控***，其特征在于，还包括如下任意一个或任意多个模块：
-记录模块，该模块用于存储***运行过程中产生的数据；
-进度模型查看模块，该模块用于展示设备安装进度。
9.一种设备，其特征在于，包括：计算机以及与所述计算机相连的现场扫描装置；其中：
所述现场扫描装置，包括：摄像头和惯性传感器，用于扫描施工环境，获取施工环境图像，并发送至所述计算机；
所述计算机包括：显示器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行权利要求1-5中任一项所述的方法，或，运行权利要求6-8中任一项所述的***。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-5中任一项所述的方法，或，运行权利要求6-8中任一项所述的***。
CN202210831579.0A 2022-07-14 2022-07-14 基于图像识别的设备安装进度监控方法及*** Pending CN115240140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210831579.0A CN115240140A (zh) 2022-07-14 2022-07-14 基于图像识别的设备安装进度监控方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210831579.0A CN115240140A (zh) 2022-07-14 2022-07-14 基于图像识别的设备安装进度监控方法及***

Publications (1)

Publication Number Publication Date
CN115240140A true CN115240140A (zh) 2022-10-25

Family

ID=83673461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210831579.0A Pending CN115240140A (zh) 2022-07-14 2022-07-14 基于图像识别的设备安装进度监控方法及***

Country Status (1)

Country Link
CN (1) CN115240140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597259A (zh) * 2023-05-26 2023-08-15 广州欢聚马克网络信息有限公司 现场信息校验方法及其装置、设备、介质、产品

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116597259A (zh) * 2023-05-26 2023-08-15 广州欢聚马克网络信息有限公司 现场信息校验方法及其装置、设备、介质、产品
CN116597259B (zh) * 2023-05-26 2023-12-05 广州欢聚马克网络信息有限公司 现场信息校验方法及其装置、设备、介质、产品

Similar Documents

Publication Publication Date Title
Wang et al. Vision-based framework for automatic progress monitoring of precast walls by using surveillance videos during the construction phase
US10685489B2 (en) System and method for authoring and sharing content in augmented reality
Fazel et al. An interactive augmented reality tool for constructing free-form modular surfaces
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
US10755480B2 (en) Displaying content in an augmented reality system
Bostanci et al. Augmented reality applications for cultural heritage using Kinect
EP2782027A1 (en) Apparatus and method providing augmented reality contents based on web information structure
Zollmann et al. Interactive 4D overview and detail visualization in augmented reality
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
US20110109628A1 (en) Method for producing an effect on virtual objects
US10997785B2 (en) System and method for collecting geospatial object data with mediated reality
Barrile et al. Geomatics and augmented reality experiments for the cultural heritage
US11631195B2 (en) Indoor positioning system and indoor positioning method
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
Amin et al. Key functions in BIM-based AR platforms
CN111161398A (zh) 一种图像生成方法、装置、设备及存储介质
CN115240140A (zh) 基于图像识别的设备安装进度监控方法及***
Pintore et al. Mobile mapping and visualization of indoor structures to simplify scene understanding and location awareness
WO2020106508A1 (en) Experience driven development of mixed reality devices with immersive feedback
Afif et al. Orientation control for indoor virtual landmarks based on hybrid-based markerless augmented reality
CN111127661B (zh) 一种数据处理方法、装置及电子设备
Li et al. Outdoor augmented reality tracking using 3D city models and game engine
CN111207672B (zh) 一种ar量房方法
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
Liu et al. On the precision of third person perspective augmented reality for target designation tasks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230926

Address after: 200122, 1122 deep road, Pudong New Area, Shanghai

Applicant after: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co.

Address before: 200122, 1122 deep road, Pudong New Area, Shanghai

Applicant before: STATE GRID SHANGHAI MUNICIPAL ELECTRIC POWER Co.

Applicant before: SHANGHAI JIAO TONG University

TA01 Transfer of patent application right