CN115330712A - 一种基于虚实融合的装配式建筑预制构件智能质检方法及*** - Google Patents

Abstract

本发明提供一种基于虚实融合的装配式建筑预制构件智能质检方法及***,首先通过增强现实设备结合深度相机获取预制构件的图像，并对获取的图像进行预处理；然后通过图像转换技术将获取的图像转换为若干个点云后再通过三维重建技术拼接生成完整的点云三维模型；再提取预制构件BIM设计模型的点云数据作为质量检测的参考点云；最后对预制构件进行质量检测。本发明基于待测预制构件的二维图像和三维重建技术获取相应的三维点云数据，通过AR设备沉浸式进行质检过程并通过手势交互进行操作，能够感知场景中物体以及物体的尺寸大小、预留孔尺寸有无和平整度，让质量检测无纸化、智能化、可视化，检测精确度较高，受环境影响相对较小。

Description

一种基于虚实融合的装配式建筑预制构件智能质检方法及 ***

技术领域

本发明涉及装配式建筑工业技术领域，具体涉及一种基于虚实融合的装配式建筑预制构件智能质检方法及***。

背景技术

装配式建筑是在工厂内预先对各类型的建筑预制构件进行加工，然后运输到建设工地现场通过可靠的连接装配而成的建筑，相对现有的现浇结构建筑而言，具有可规模化生产，建设速度快、建造成本低的优点，是建筑业发展的一个重要方向。

其中，建筑预制构件的质量控制是保障装配式建筑质量的核心。任何一块预制构件中的瑕疵都可能对最终的建筑质量产生不可避免的影响，进而为整个建筑工程带来难以估量的损失。预制构件中通常会预留大量用于装配安装的各类工装，对这些工装的参数检测是预制构件质量检测的重要内容，如果预制构件上的工装的数量或位置与设计不符，可能会产生高昂的维修成本，甚至会直接导致预制构件报废，给企业造成较大的损失。

在一个工业化的建筑用预制构件生产车间中，往往会生产根据订单需要生成多个不同类型的预制构件。为了降低成本，现有的生产企业一般采取多种构配件在同一生产线上转换工艺进行生产的模式。在生产中，不同产品的技术类别繁多，操作工艺差别大，指标体系复杂。且现有的预制构件的体积大、类型多，且结构复杂；这给预制构件质量检测自动化、智能化技术方案的设计带来了极大困难。现有的自动化检测方法在处理建筑预制构件中工装检测的问题时大都举步维艰，检测结果的准确度往往难以达到要求，甚至需要人工进行复核。

目前现有的质量检测方法都局限于人眼检测和钢尺检测，检测效率低且容易受到质检人员个人状态的影响，且质检的结果需要经过纸笔记录，智能化程度低。目前现有的2D计算机视觉技术虽然能进行自动检测，但局限性大，易受拍摄角度影响，且质检结果无法可视化。对于三维问题，如平整度等缺陷无法检测，效率相对于3D视觉来讲较低，同时无法对质量问题进行追溯，这些都会给企业带来较大的损失。

发明内容

本发明的目的提供一种基于虚实融合的装配式建筑预制构件智能质检方法及***，以解决上述背景技术中提出的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于虚实融合的装配式建筑预制构件智能质检方法，具体包括以下步骤：

通过增强现实设备结合深度相机获取预制构件的深度图像、彩色图像及IR图像，并对获取的深度图像进行预处理；

通过图像转换技术将获取的深度图像、彩色图像转换为若干个点云后再通过三维重建技术拼接生成完整的点云三维模型；

提取预制构件BIM设计模型的点云数据作为质量检测的参考点云；

基于点云三维模型中的点云与参考点云的配准融合、RANSAC算法以及最小二乘法对预制构件进行质量检测。

进一步地，预制构件的图像获取具体通过以下方法实现：

质检人员佩戴配置有深度相机的AR眼镜或头盔，使用张正友标定法对相机进行标定；

使用标定好的相机采集被测预制构件的深度图像、彩色图像及IR图像。

进一步地，所述深度图像的预处理包括采用图像分割的方法除去图像中的背景信息以及采用图像滤波算法对图像进行去噪处理。

进一步地，所述通过图像转换技术将获取的深度图像、彩色图像转换为点云具体通过以下方法实现：以相机内参作为变换的约束条件，将图像坐标系转换为世界坐标系，获取预制构件的三维点云，转换公式如下：

其中：x、y、z是点云坐标系，x'，y'，z'是图像坐标系，D为图像深度值；

对点云1、点云2…点云N重叠区域特征点提取，计算相邻点云的旋转和平移系数，根据计算出来的参数将所有点云映射到点云1上进行数据融合，通过三维重建技术拼接生成完整的点云三维模型。

进一步地，所述参考点云通过Dynamo for Revit对预制构件BIM设计模型的点云数据实现自动提取。

进一步地，所述质量检测包括但不限于预制构件尺寸检测、预留孔检测以及平整度检测，所述尺寸检测采用RANSAC算法和最小二乘法的拟合；预留孔检测及平整度检测采用点云与参考点云的配准融合实现。

一种基于虚实融合的装配式建筑预制构件智能质检***，用于实现上述所述的基于虚实融合的装配式建筑预制构件智能质检方法，包括：

图像采集模块，所述图像采集模块包括可佩戴的配置有深度相机的增强现实设备，能够对待测预制构件进行图像数据采集，并将采集到的图像数据传输至云服务器***中心进行图像处理和分析；

图像预处理模块，所述图像预处理模块用于对图像采集模块获取的深度图像进行背景去除及降噪处理；

图像转化模块，所述图像转化模块能够将预处理后的图像数据集转换为若干个点云，并将所有点云进行拼接后通过三维重建技术生成完整的点云模型；

构件质检模块，所述构件质检模块包括预制构件尺寸检测、预留孔检测、平整度检测，并自动生成质检结果分析图展示在质检人员增强现实设备的可视化区域中；

后台管理模块，所述后台管理模块包括对质检预制构件的进行图像采集数据记录、质检记录、构件维修记录、质检数据分析可视化报表的操作。

由以上技术方案可知，本发明基于预制构件的二维图像和三维重建技术获取相应的三维点云数据，可以通过AR设备沉浸式进行质检过程并通过手势交互进行操作，能够感知场景中物体以及物体的尺寸大小、预留孔尺寸有无和平整度，让质量检测无纸化、智能化、可视化，检测精确度较高，受环境影响相对较小，且除了日常检测环节，也可应用于对外展示。

附图说明

图1为本发明所述虚实融合的智能质检方法的步骤流程图；

图2为本发明实施例中的构件扫描界面图；

图3为本发明实施例中的用户确认信息界面图；

图4为本发明实施例中的构件尺寸检测界面图；

图5为本发明实施例中的构件预留孔检测界面图；

图6为本发明实施例中的构件平整度检测页面图。

具体实施方式

下面结合附图对本发明的一种优选实施方式做详细的说明。

如图1所示的基于虚实融合的装配式建筑预制构件智能质检方法具体包括以下步骤：

S1、通过增强现实设备结合深度相机获取预制构件的深度图像、彩色图像及IR图像，并对获取的深度图像进行预处理；

本优选实施例中，质检人员通过佩戴配置有深度相机的AR眼镜或头盔采集预制构件的图像，为防止深度相机获取的图像产生畸变，在具体的图像采集中，先采用张正友标定法对深度相机进行标定，从而得到深度相机与真实世界之间的对应关系，进而确定待测预制构件某点在三维空间中与其在对象中的点之间的位置关系；然后再使用标定好的相机采集被测预制构件的深度图像、彩色图像及IR图像；

所述增强现实(AugmentedReality，AR)是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”；且基于3D视觉技术通过3D摄像头能够采集视野内空间每个点位的三维坐标信息，通过算法复原智能获取三维立体成像，不会轻易受到外界环境、复杂光线的影响，技术更加稳定，能够解决以往二维体验和安全性较差的问题；

在具体的使用中，通过AR眼镜或头盔，质检人员可以选择需要质检的模块，然后自主选择对待测预制构件的某个角度或者环绕预制构件的一周进行预制构件图像数据的采集，当采集到足够数量的数据后，AR眼镜或头盔显示区域显示图像采集已完成，并将采集结果展示在质检人员面前；通过深度相机能够对10*7的棋盘格多个角度进行拍照，从而采集足够数量的照片用于计算相机的内参、外参以及畸变系数；

所述深度图像的预处理包括：采用图像分割的方法除去深度图像中的背景信息，采用图像滤波算法对深度图像进行去噪处理；图像滤波算法对图像像素的灰度值和位置信息进行充分考虑，通过计算每个像素点到中心点的距离在对噪点进行快速准确的去除同时能有效保留图像的边缘信息，起到在保证不影响有用信息的基础上进行平滑处理的目的，以减少后续工作量，为图像生成点云以及三维重建一系列操作提供精准的原始图像；

S2、通过图像转换技术将获取的深度图像、彩色图像转换为若干个点云后再通过三维重建技术拼接生成完整的点云三维模型；

将二维图像转换为三维的点云模型，在很好的保持原始特征同时，能够大大减少点云数据，可以减少庞大的点云数据带来的工作量；具体的，深度图像加彩色图像转换为点云实质就是坐标系之间转换，即将图像坐标系转换为世界坐标系，从而获取预制构件的三维点云，变换的约束条件是相机内参，具体的转换公式如下：

其中：x、y、z是点云坐标系，x′，y′，z′是图像坐标系，D为图像深度值；

然后对点云1、点云2…点云N重叠区域特征点提取，计算相邻点云的旋转和平移系数，根据计算出来的参数将所有点云映射到点云1进行数据融合，通过三维重建技术生成完整点云；同时可以通过3D Unity技术对模型进行AR可视化、手势交互的操作，实现AR模型在AR显示区域的显示以及可视化手势交互；且为避免得到的点云过于稠密会影响后续点云配准融合效果，本优选实施例需要对点云进行精简的算法处理；

S3、提取预制构件BIM设计模型的点云数据作为质量检测的参考点云；

本优选实施例所述参考点云通过Dynamo for Revit对预制构件BIM设计模型的点云数据实现自动提取；

S4、基于点云三维模型中的点云与参考点云的配准融合、RANSAC算法以及最小二乘法对预制构件进行质量检测；

本优选实施例中，所述质量检测包括预制构件尺寸检测、预留孔检测以及平整度检测，所述尺寸检测采用RANSAC算法和最小二乘法的拟合；预留孔检测及平整度检测采用三维模型中的点云与参考点云的配准融合实现，具体的是将点云与参考点云放于同一坐标平面，以Z轴作为测量标准，如果相差为负值，则说明预制构件凹陷，正值说明预制构件凸起。

本质检方法基于待测预制构件的二维图像和三维重建技术获取相应的三维点云数据，可以通过AR设备沉浸式进行质检过程并通过手势交互进行操作，能够感知场景中物体以及物体的距离、尺寸大小和位置朝向，让质量检测无纸化、智能化、可视化，检测精确度较高，受环境影响相对较小，且除了日常检测环节，也可应用于对外展示。

上述基于虚实融合的装配式建筑预制构件智能质检方法，可以通过以下实施例所述的智能质检***实现，所述智能质检***包括但不限于：

图像采集模块，所述图像采集模块包括可佩戴的配置有深度相机的增强现实设备，能够对待测预制构件进行图像数据采集，并将采集到的图像数据传输至云服务器***中心进行图像处理和分析；

图像预处理模块，所述图像预处理模块用于对图像采集模块获取的深度图像进行背景去除及降噪处理；

图像转化模块，所述图像转化模块能够将预处理后的图像数据集转换为若干个点云，并将所有点云进行拼接后通过三维重建技术生成完整的点云模型；

构件质检模块，所述构件质检模块包括预制构件尺寸检测、预留孔检测、平整度检测，并自动生成质检结果分析图展示在质检人员增强现实设备的可视化区域中；

后台管理模块，所述后台管理模块包括对质检预制构件的进行图像采集数据记录、质检记录、构件维修记录、质检数据分析可视化报表的操作。

具体的，如图2-6所示，质检人员佩戴AR眼睛或头盔后，在模块选择界面选择尺寸检测选项后，进入三大方面即尺寸信息、预留孔的有无、平整度的质量检测模块，***开始即可自动检测，并将检测到的尺寸大小等信息和是否合格展现在质检人员面前，自动生成结果分析图，若合格将合格信息以及质检结果分析图保存到后台管理***中，若不合格，AR眼镜发出警告警报，在屏幕中央展示不合格信息，同时也将其和质检结果分析图保存到后台管理***中，若合格，则可将质检结果分析数据及图像上传到云服务器后台管理***中；若不合格，则AR眼镜发出警报，并在屏幕中央展示不合格信息，同时也可将其和质检结果分析数据及像上传到云服务器后台管理***中。如对预制外墙进行质检，若尺寸偏差符合质量检测标准5mm误差以内，预留孔无缺失、平整度符合质量检测标准，则判定质量合格，上传至后台管理***；整个质检过程通过人机交互的方式，充分体现了质检智能化、质检可视化。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims (7)

1.一种基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，具体包括以下步骤：

通过增强现实设备结合深度相机获取预制构件的深度图像、彩色图像及IR图像，并对获取的深度图像进行预处理；

通过图像转换技术将获取的深度图像、彩色图像转换为若干个点云后再通过三维重建技术拼接生成完整的点云三维模型；

提取预制构件BIM设计模型的点云数据作为质量检测的参考点云；

基于点云三维模型中的点云与参考点云的配准融合、RANSAC算法以及最小二乘法对预制构件进行质量检测。

2.根据权利要求1所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，预制构件的图像获取具体通过以下方法实现：

质检人员佩戴配置有深度相机的AR眼镜或头盔，使用张正友标定法对相机进行标定；

使用标定好的相机采集被测预制构件的深度图像、彩色图像及IR图像。

3.根据权利要求2所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，所述深度图像的预处理包括采用图像分割的方法除去图像中的背景信息以及采用图像滤波算法对图像进行去噪处理。

4.根据权利要求1所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，所述通过图像转换技术将获取的深度图像、彩色图像转换为点云具体通过以下方法实现：

以相机内参作为变换的约束条件，将图像坐标系转换为世界坐标系，获取预制构件的三维点云，转换公式如下：

其中：x、y、z是点云坐标系，x′，y′，z′是图像坐标系，D为图像深度值；

对点云1、点云2…点云N重叠区域特征点提取，计算相邻点云的旋转和平移系数，根据计算出来的参数将所有点云映射到点云1上进行数据融合，通过三维重建技术拼接生成完整的点云三维模型。

5.根据权利要求1所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，所述参考点云通过Dynamo for Revit对预制构件BIM设计模型的点云数据实现自动提取。

6.根据权利要求1所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，所述质量检测包括但不限于预制构件尺寸检测、预留孔检测以及平整度检测，所述尺寸检测采用RANSAC算法和最小二乘法的拟合；预留孔检测及平整度检测采用点云与参考点云的配准融合实现。

7.一种基于虚实融合的装配式建筑预制构件智能质检***，用于实现上述权利要求1-6任一所述的基于虚实融合的装配式建筑预制构件智能质检方法，其特征在于，包括：

图像采集模块，所述图像采集模块包括可佩戴的配置有深度相机的增强现实设备，能够对待测预制构件进行图像数据采集，并将采集到的图像数据传输至云服务器***中心进行图像处理和分析；

图像预处理模块，所述图像预处理模块用于对图像采集模块获取的深度图像进行背景去除及降噪处理；

图像转化模块，所述图像转化模块能够将预处理后的图像数据集转换为若干个点云，并将所有点云进行拼接后通过三维重建技术生成完整的点云模型；

构件质检模块，所述构件质检模块包括预制构件尺寸检测、预留孔检测、平整度检测，并自动生成质检结果分析图展示在质检人员增强现实设备的可视化区域中；

后台管理模块，所述后台管理模块包括对质检预制构件的进行图像采集数据记录、质检记录、构件维修记录、质检数据分析可视化报表的操作。

Images