CN109760059A - 基于bim的机械臂装配任务规划方法及建筑装配方法 - Google Patents

Abstract

本发明提供一种基于BIM的机械臂装配任务规划方法，属于土木工程建筑施工领域。该方法将基于图像的场景建模技术、BIM平台、机械臂和机器人操作***相结合，快速生成装配任务计划的规划方法；对机械臂施工场景进行三维重建，形成场景模型；对设计的建筑BIM模型和三维重建的场景模型在BIM平台做结合匹配处理，生成任务模型；依据任务模型生成机械臂执行装配任务的构件坐标，赋值给机器人操作***的控制程序，生成控制指令；机械臂按照控制指令进行装配操作，依据规划的装配顺序和点位坐标，完成装配任务。本发明能有效解决机械臂执行装配构件操作的效率问题和精准度问题，成本低，误差小，具有良好的实用性。

Description

基于BIM的机械臂装配任务规划方法及建筑装配方法

技术领域

本发明属于土木工程建筑施工领域，更具体地，涉及一种基于BIM平台的机械臂执行装配任务的规划方法。

背景技术

随着建筑技术的进步，人们对建筑提出了更高的要求，标准化设计、精细化施工以及快速建造逐渐引起行业重视。大力发展装配式建筑，推动产业结构调整升级，实现建筑的环境友好性，既是社会经济发展的客观要求，也是建筑业产业升级的主流趋势。

装配式建筑，在设计与施工之间增加了制造环节，工厂按照设计部门的设计，制造各种所需的预制件，然后运输至现场拼装，即设计—制造—装配。在装配式建筑施工过程中，构件的现场拼装成为新的技术难题。目前的预制构件的拼装一般采用吊装的方法，在构件吊装前，一般会采用对预制构件编号的方式，控制吊装顺序。这种方式在施工安全保障、施工精度以及施工效率上都存在一定的问题。而建筑施工机器人的发展为预制构件的拼装提供了新的可能。

在装配作业中，通常会使用机械臂(或称工业机器人，如市场上常见的ABB机器人、库卡机器人)，机械臂具有载重量大、定位精度高、响应速度快等特点。目前来看，较为可行的途径是采用模块化结构，利用机器人进行模块的预制、组装，这将大幅减小机器人的作业难度，同时可有效提高新建筑的建造速度。机械臂以其能够重复指令、精确定位、精细操作等特点，成为实现快速建造、精细建造的良好工具。

目前，机械臂在工业应用中主要采用离线编程、视觉引导、手动控制等几种控制方式。现有发明多是从机器人运动路径规划和基于ROS***来实现机械臂的抓取和路径校正，缺少与BIM的结合应用以及从任务视角进行的机械臂规划。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于BIM的机械臂装配任务规划方法及对应的建筑装配方法，其目的在于，借助BIM在建筑信息集成、分析方面的优势，结合实际取景和三维建模，快速获得机器人可用的任务级装配规划及程序，能有效解决机械臂执行装配构件操作的效率问题和精准度问题，协助操作人员实现机械臂装配作业的任务级规划，实现对装配过程的仿真模拟与自动规划，制定符合实际要求的装配方案。

为了实现上述目的，按照本发明的一个方面，提供了一种基于BIM的机械臂装配任务规划方法，包括如下步骤：

步骤1：对实施装配操作任务的机械臂及其工作场景，进行基于图像的三维重建，获得机械臂与工作场景的支持法线和贴图坐标的三维还原重建模型；

步骤2：基于目标建筑模型的装配构件单元，应用BIM平台构建出目标建筑对应的由装配构件单元组成的建筑设计BIM模型；

步骤3：将步骤1获得的三维还原重建模型导入到BIM平台，测量其尺寸信息，并通过缩放操作使其成为与真实尺寸一致的三维重建场景模型；

步骤4：在BIM平台中调整步骤3获得的机械臂及其工作面的三维重建场景模型，将其底座坐标系标定到BIM平台的世界坐标系，形成坐标系原点相统一的机械臂及其工作面的三维场景模型；

步骤5：将步骤2获得的建筑设计BIM模型，与步骤4获得的三维场景模型在BIM平台进行整合，形成机械臂操作装配任务的概念模型，表示机械臂执行的装配任务完成后目标建筑的理想状态；

步骤6：应用步骤5获得的概念模型，生成目标建筑的每个构件单元上供机械臂的夹具执行装配操作的点位坐标；

步骤7：将步骤6生成的点位坐标按照施工顺序排列，表示机械臂每个动作所处位置的初始坐标，然后将初始坐标转换为机械臂的可执行程序代码，获得机械臂的主程序代码；

步骤8：按照步骤7获得主程序代码后，在机器人控制***ROS中进行调试，形成机械臂装配控制程序，即完成机械臂装配的任务级规划。

进一步地，步骤1包括如下子步骤：

1.1、场地准备，包括：按照实际施工要求在现场布置机械臂及其工作面、构件放置区域，以及场景建模相机和建模计算机工作站；

1.2、通过标靶对机械臂底座平面和工作面的四个角进行标记；

1.3、使用场景建模相机环绕机械臂及其工作面拍摄多张照片，同时确保相邻图像至少60％的重叠；

1.4、基于步骤1.3采集的图像，依次通过稀疏重建、稠密重建、网格映射及贴图处理，最后以支持法线和贴图坐标的OBJ格式生成机械臂与工作场景的三维还原重建模型并存储；

步骤4中，利用在场景重建模型中工作面的四个转角的标靶对机械臂底座坐标系进行标定，将底座坐标系标定到BIM平台的世界坐标系。

进一步地，步骤2中，每个装配构件单元包括自身几何参数以及供机器人抓取所需的抓取点的位置。

进一步地，装配构件单元之间的连接采用榫卯结构，抓取点位于榫卯结构的凹处。

进一步地，多个建筑设计BIM模型采用同样的装配构件单元进行装配，同样的装配构件单元以相同朝向逐个传送至构件放置区域的同一位置，机械臂每取走一个装配构件单元则向构件放置区域的同一位置再放置一个同样的装配构件单元。

为了实现上述目的，按照本发明的另一个方面，提供了一种基于BIM的建筑装配方法，其按照如前所述的任意一种基于BIM的机械臂装配任务规划方法，获得机械臂装配的任务级规划，然后将相应的机械臂装配控制程序导入机械臂控制***，控制机械臂执行相应的装配任务操作，拼装出目标建筑的实体模型。

总体而言，本发明所构思的以上技术方案与现有技术相比，具有下列优点：

(1)充分利用了场景建模技术的还原和仿真能力，利用基于图像的技术快速重建环境点云模型，其中包括获得机器人与施工区域的相对位置关系；

(2)对机械臂和工作面的特征点进行测量，并结合理论概念模型，对实际位置进行了修正，解决了机械臂坐标系的标定和施工区的标定，可以快速测量两个平面之间的转换关系；

(3)充分利用了理论概念模型，考虑了其控制点位的准确性，确定了每个建筑构件放置的目标点的三维坐标，对不同建筑形式的装配任务进行了装配顺序规划；

(4)通过设计模型的标定以及机械臂的路径的反复修正，使得机械臂运动更安全更可靠，避免与周围环境发生碰撞，安全性更高。

(5)本发明提出的方法，将机械臂稳定可靠、精度高的特点，三维场景重建技术的高度还原现实施工场景的特点，与BIM模型参数化表达能力和计算能力强大的特点相结合，有效解决了机械臂执行装配任务操作高效精准的问题。

附图说明

附图1为本发明优选实施例的三维场景重建步骤的流程示意图；

附图2为本发明优选实施例的实施方式的装配计划生成流程示意图；

附图3为本发明优选实施例所应用于的机械臂示意图；

附图4为本发明优选实施例的装配构件单元示意图；

附图5是利用图4的装配构件单元拼装成的墙体模型示意图；

附图6是利用图4的装配构件单元拼装成的楼梯模型示意图；

附图7是利用图4的装配构件单元拼装成的金字塔模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本原理如下：BIM在建筑信息集成、分析计算等方面具有优势，已成为发展自动化施工的支撑工具。已有研究将扫描后的场景点云信息导入BIM，自动检测完成状态。在BIM平台的基础上，按照本发明的构思，机器人装配场景信息一旦导入，就可以快速生成装配任务的三维坐标。基于图像的三维重建是一种高度灵活的场景建模和计算技术。本发明提出的任务级规划快速重建了机器人装配的实时场景模型，并将其引入BIM平台。通过对装配任务模型的标定和计算，快速生成可执行模块结构的放置点，最后根据机器人控制程序的调用生成装配控制指令。

本发明的实施方式主要包括图像采集、场景分析、模型结合、装配输出这几个部分。附图1、2展示了三维重建及生成装配规划的基本步骤。现结合机械臂执行装配任务操作的实施案例，对本发明进行更为详细的介绍：

步骤1：对实施装配操作任务的机械臂及其工作场景，进行基于图像的三维重建，获得机械臂与工作场景的支持法线和贴图坐标的三维还原重建模型；主要是对实施装配操作任务的机器人的工作场景，包括工作面、操作区域等采集一组多视角环绕的图像作为素材，用以进行三维重建工作；

在一个具体的场景中，包括如下子步骤：

1.1、实验场地准备，包括机械臂及其工作面、构件放置区域的准备，实验平台包括第七代大型工业机器人如ABB工业机器人(如图3所示，具有6个自由度，是目前相同负载等级中性能最好的机器人)、施工平面(1.6m*0.9m)、场景建模相机(Sony a5100)和建模计算机工作站(Dell precision)，施工空间约8平方米；工作场景主要由机器人停放区、构件准备区、构件操作区(工作面)组成；

1.2、通过制作的标靶对机械臂底座平面和施工平面的四个角进行标记；

1.3、在施工场景周围，围绕机械臂及其工作面拍摄了48张照片，同时确保至少60％的相邻图像重叠；

1.4、通过图像信息的采集，利用场景建模软件进行数据导入，具体地基于图像的场景捕获技术，并将捕获场景保存为基于SFM技术的三维点云图形，技术支持可以采用Autodesk平台的Recap Photo软件，能够通过采集的多视角场景照片进行三维重建。三维点云模型包含大量的几何信息和大量的语义信息，语义信息的添加可以促进场景BIM模型的形成。随后通过稀疏重建、稠密重建、网格映射、贴图处理等过程，最后以OBJ的文件格式生成场景模型并存储，可以采用支持OBJ格式文件的Rhinoceros软件进行相应操作，对三维重建的模型文件进行适当的剪切和保留，在场景建模软件中调整好后，另存为支持法线和贴图坐标的OBJ文件，确保贴图坐标信息可以存入其中，形成场景的三维还原重建模型。

步骤2：根据目标建筑模型的装配构件，应用BIM平台构建出目标建筑对应的建筑设计BIM模型，即形成机械臂实施装配任务操作的任务模型，该任务模型能够显示构件单元几何形状、连接形式、装配顺序和放置点。

具体地，设计由装配构件单元组成的建筑模型，可设计由不同数目的构件单元组成的不同形式的建筑模型。如图4～7所示，可以利用Revit软件设计三种不同的装配任务模型，分别是墙体模型、楼梯模型和金字塔模型。根据不同的目标建筑，涉及的构件单元的类型和数量也会不同。本实施例中装配构件单元数量为墙体12个，楼梯20个，金字塔型30个，其中，所有的施工任务都用同样的装配构件单元进行装配，每个构件单元不仅包含基本的几何参数，还包含机器人抓取所需的点位置，构件之间的连接采用榫卯结构；其中，抓取稳定的前提条件就是抓取产生的摩擦力能够支撑被抓物体的重力，可行的抓取点位于凹处。

构件单元的质量、形式、姿态和连接方式应该结合机械臂和工作面的特征进行考虑，例如用榫卯连接的方式保证其拼装的紧密度，并且避免横向位移形成的误差。

步骤3：将步骤1获得的三维还原重建模型导入到BIM平台，测量其尺寸信息，并通过缩放操作使其成为与真实尺寸一致的三维重建场景模型；

步骤4：在BIM平台中调整步骤3获得的机械臂及其工作面的三维重建场景模型，将其底座坐标系标定到BIM平台的世界坐标系，形成坐标系原点相统一的机械臂及其工作面的三维场景模型。场景模型标定的作用是将重建的场景模型表示为可操作的BIM模型，确定装配机器人的控制坐标系，装配机器人的基本坐标系是相对固定的，一般是ROS***内置的已知坐标系。

可以在BIM平台中调整机械臂及其工作面的场景三维模型，将其底座坐标系，即机器人基本坐标系，标定到BIM平台建模软件的世界坐标系，即形成坐标系原点相统一的机械臂及其工作面的三维场景模型。

具体地，可以将重构场景模型导入Rhino中，利用四个转角的标靶对机械臂底座坐标系进行标定，将其底座坐标系，即机器人基本坐标系，标定到BIM平台建模软件Rhino的世界坐标系；根据施工平面的四个角点，将其统一为虚拟施工模型，任务模型需要建立在虚拟工作平面上，其尺寸与场景模型中的工作平面相同。

由于任务模型中包含标靶，在BIM平台中，基础平面坐标***和原点的位置可以被确定，在此基础上通过使机器人运动的正方向和BIM平台坐标系的正方向保持一致，完成三维场景模型的校准。

步骤5：将步骤2获得的建筑设计BIM模型，与步骤4获得的三维场景模型在BIM平台进行整合，形成机械臂操作装配任务的概念模型，表示机械臂执行的装配任务完成后目标建筑的理想状态；通常可以应用BIM平台构建出所述步骤2中不同建筑形式的BIM模型，即为形成机械臂实施装配任务操作的任务模型。

具体地，将所述步骤2中形成的OBJ格式的机械臂及其工作面的三维场景模型，导入到BIM平台的软件中，测量其尺寸信息，并通过缩放操作使其成为与真实尺寸一致的模型。本实施例中，把三种BIM施工任务模型导入到Rhino中，即导入到步骤4中标定完成机器人坐标系与世界坐标***一的重构场景模型中，并将任务模型建立在虚拟工作平面上。当BIM任务模型与场景模型匹配时，以虚拟工作平面和重建工作平面的四个标靶作为参考，实现施工任务与机器人装配的匹配。

步骤6：应用步骤5获得的概念模型，生成目标建筑的每个构件单元上供机械臂的夹具执行装配操作的抓取点的坐标以及每个构件的放置点的坐标；具体地，应用BIM软件的参数化计算能力，可以一键生成墙体、楼梯和金字塔三种不同施工任务模型的每个装配构件单元的抓取点和放置点的三维坐标；优选地，可以定用顶点传送的方式，例如机器人、传送带等方式，将同样的装配构件单元按照相同朝向逐个放置于构件放置区的同一位置，每取走一个就再放置一个，如此可以使得任务模型中抓取点的坐标只有一组，从而大大简化机械臂的运动路线以及减少任务模型的数据容量。

步骤7：将步骤6生成的点位坐标按照施工顺序排列，表示机械臂每个动作所处位置的初始坐标，然后将初始坐标转换为机械臂的可执行程序代码，获得机械臂的主程序代码；

具体地，按照4D BIM模型(即包含了动作顺序的3D BIM)中定义的施工顺序排列，最后生成机器人控制程序可提取的一组执行目标点文件。对于一般的机器人操作***(ROS***)，这个文件可以保存为“txt”格式，方便控制程序随时使用。例如，给定设计中所有构件块的最终位置和方向，将生成组装计划并写入一个文本文件中，存储为计划，每个构件的放置点在生成后将被保存并导出为“txt”文件，可以查看和调用，也可以转换成“xlsx”。在后续在线构建阶段可以提取上述计划文件进行处理，获得主程序代码。

步骤8：按照步骤7获得主程序代码后，由BIM生成的施工任务目标点文件可由关联程序调用，完成所有施工执行目标点的分配，形成机械臂装配控制程序，即完成机械臂装配的任务级规划。生成的“xlsx”文件可由接口程序调用生成控制程序，对三个施工任务的装配过程在机器人平台上进行仿真，验证程序的可行性；

步骤9：根据任务级规划程序，机械臂执行装配任务操作，完成对所设计三种建筑模型的组装和构建，直至结束装配。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于BIM的机械臂装配任务规划方法，其特征在于，包括如下步骤：

步骤1：对实施装配操作任务的机械臂及其工作场景，进行基于图像的三维重建，获得机械臂与工作场景的支持法线和贴图坐标的三维还原重建模型；

步骤2：基于目标建筑模型的装配构件单元，应用BIM平台构建出目标建筑对应的由装配构件单元组成的建筑设计BIM模型；

步骤3：将步骤1获得的三维还原重建模型导入到BIM平台，测量其尺寸信息，并通过缩放操作使其成为与真实尺寸一致的三维重建场景模型；

步骤4：在BIM平台中调整步骤3获得的机械臂及其工作面的三维重建场景模型，将其底座坐标系标定到BIM平台的世界坐标系，形成坐标系原点相统一的机械臂及其工作面的三维场景模型；

步骤5：将步骤2获得的建筑设计BIM模型，与步骤4获得的三维场景模型在BIM平台进行整合，形成机械臂操作装配任务的概念模型，表示机械臂执行的装配任务完成后目标建筑的理想状态；

步骤6：应用步骤5获得的概念模型，生成目标建筑的每个构件单元上供机械臂的夹具执行装配操作的点位坐标；

步骤7：将步骤6生成的点位坐标按照施工顺序排列，表示机械臂每个动作所处位置的初始坐标，然后将初始坐标转换为机械臂的可执行程序代码，获得机械臂的主程序代码；

步骤8：按照步骤7获得主程序代码后，在机器人控制***ROS中进行调试，形成机械臂装配控制程序，即完成机械臂装配的任务级规划。

2.根据权利要求1所述的一种基于BIM的机械臂装配任务规划方法，其特征在于，步骤1包括如下子步骤：

1.1、场地准备，包括：按照实际施工要求在现场布置机械臂及其工作面、构件放置区域，以及场景建模相机和建模计算机工作站；

1.2、通过标靶对机械臂底座平面和工作面的四个角进行标记；

1.3、使用场景建模相机环绕机械臂及其工作面拍摄多张照片，同时确保相邻图像至少60％的重叠；

1.4、基于步骤1.3采集的图像，依次通过稀疏重建、稠密重建、网格映射及贴图处理，最后以支持法线和贴图坐标的OBJ格式生成机械臂与工作场景的三维还原重建模型并存储；

步骤4中，利用在场景重建模型中工作面的四个转角的标靶对机械臂底座坐标系进行标定，将底座坐标系标定到BIM平台的世界坐标系。

3.根据权利要求1或2所述的一种基于BIM的机械臂装配任务规划方法，其特征在于，步骤2中，每个装配构件单元包括自身几何参数以及供机器人抓取所需的抓取点的位置。

4.根据权利要求3所述的一种基于BIM的机械臂装配任务规划方法，其特征在于，装配构件单元之间的连接采用榫卯结构，抓取点位于榫卯结构的凹处。

5.根据权利要求3所述的一种基于BIM的机械臂装配任务规划方法，其特征在于，多个建筑设计BIM模型采用同样的装配构件单元进行装配，同样的装配构件单元以相同朝向逐个传送至构件放置区域的同一位置，机械臂每取走一个装配构件单元则向构件放置区域的同一位置再放置一个同样的装配构件单元。

6.一种基于BIM的建筑装配方法，其特征在于，按照权利要求1～4任意一项所述的基于BIM的机械臂装配任务规划方法，获得机械臂装配的任务级规划，然后将相应的机械臂装配控制程序导入机械臂控制***，控制机械臂执行相应的装配任务操作，拼装出目标建筑的实体模型。