CN211604116U - 一种投影式增强现实紧固件装配引导及检测装置 - Google Patents

Abstract

本实用新型公开了一种投影式增强现实紧固件装配引导及检测装置，它包括有数据库模块，服务器模块，可视化展示模块和图像采集与处理模块，所述数据库模块通过线路与服务器模块相连，所述服务器模块通过线路与可视化展示模块相连，所述服务器模块通过线路与图像采集与处理模块相互连接。本实用新型可提高紧固件装配与检测的智能化，减轻工人劳动强度以及提升装配质量与效率，反馈信息更加清晰直观，更具交互宜人性。

Description

一种投影式增强现实紧固件装配引导及检测装置

技术领域

本实用新型属于增强现实技术领域，具体涉及一种投影式增强现实紧固件装配引导及检测装置。

背景技术

随着智能制造技术的发展，增强现实技术逐步深入制造领域，并且已经开始应用于制造业的辅助装配过程。增强现实（AR）是一种将真实世界与虚拟世界“无缝”集成的技术，通过将计算机生成的信息叠加到真实世界而使用户达到超越现实的感官体验。增强现实技术在制造业的应用可以有效解决传统二维图纸的表达不直观和信息不集中等缺点，特别是在结构复杂，装配工艺繁琐的装备制造领域，可以提高装配效率、降低成本。

中国专利公开号CN 107423650 A中公开了一种投影式增强现实装配诱导与监测***，包括加载有装配诱导信息的计算机、电子标签扫描仪、电子标签、工作台以及投影仪组，所述投影仪组和电子标签扫描仪连接至所述计算机，所述投影仪组通过安装支架固定于所述工作台的上方，所述电子标签设置于所述***作部件。上述现有技术涉及的装配引导方式需要将待装配的零部件上粘贴电子标签，并经过电子标签扫描仪读入数据，但是不适用于体积小、数量多、表面质量要求高以及不允许有视觉污染的紧固件；而且改装配监测***侧重于对人的监测，通过对人的骨骼点识别追踪来判断操作者的动作是否合格到位；对紧固件装配质量的检测仅适用于螺纹连接的紧固件，在一些需要铆钉连接、焊接的装配场合不适用，而且缺少装配检测结果的直接反馈及错装分类。

发明内容

本实用新型的目的就是针对上述现有技术的不足，提供一种可提高紧固件装配与检测的智能化，减轻工人劳动强度以及提升装配质量与效率的投影式增强现实紧固件装配引导及检测装置。

本实用新型采用的技术方案如下：一种投影式增强现实紧固件装配引导及检测装置，它包括有数据库模块，服务器模块，可视化展示模块和图像采集与处理模块，所述数据库模块通过线路与服务器模块相连，所述服务器模块通过线路与可视化展示模块相连，所述服务器模块通过线路与图像采集与处理模块相互连接。

所述数据库模块由微型计算机构成，用于负责数字样机和工艺知识库的导入和存储。

所述服务器模块由计算机构成，用于负责工艺知识的规范化加工处理，与各个模块的通信以及对检测信息的感知判断。

所述可视化展示模块由投影仪，配套支架和机箱构成，用于负责投射紧固件装配辅助引导信息、装配检测反馈信息以及装配操作流程的人机交互。

所述图像采集与处理模块由工业相机，固定支架和图形处理器组成，用于负责工件上紧固件孔位的图像采集、图像的预处理、几何特征的提取与分析以及装配操作全过程的监测。

所述投影仪为LED投影仪，该LED投影仪具有体积小，便捷环保以及使用寿命长的优点。

硬件方面，所述数据库模块，服务器模块，可视化展示模块和图像采集与处理模块均安装在装配工架上，用以固定和调节各个模块的位置。

通讯方面，采用客户端/服务器架构（C/S架构），服务器模块作为服务器端，数据库模块、可视化展示模块和图像采集与处理模块分别作为3个客户端，采用Socket通信方式，负责数据的发送与接收。

本实用新型的有益效果有：

（1）本实用新型大大提高了装配工艺流程的智能化，取代了以往的纸质文档和电子技术手册，引导信息更加直观，减轻了装配工人的理解负担与作业强度，提高了紧固件装配的质量和效率；

（2）本实用新型在紧固件装配状态检测中实现了实时监测，无需使用目前主流零件检测方法——基于人工标识的方法来实现对零件的三维注册，不存在视觉污染和操作过程复杂等缺陷，可以在表面要求较高的金属零件追踪中应用；

（3）本实用新型可根据相机采集的图片与模板比对判断检测结果，并且对装配状态进行感知分类，在工件表面投影错误警示，反馈信息更加清晰直观，更具交互宜人性。

附图说明

图1为本实用新型的结构示意图；

图2为本实用新型的具体实施过程示意图；

图中1、数据库模块；2、服务器模块；3、可视化展示模块；4、图像采集与处理模块。

具体实施方式

下面结合附图对本实用新型作进一步地说明：

如图1-2所示，本实用新型它包括有数据库模块1，服务器模块2，可视化展示模块3和图像采集与处理模块4，所述数据库模块1通过线路与服务器模块2相连，所述数据库模块1，服务器模块2，可视化展示模块3和图像采集与处理模块4均安装在装配工架上，用以固定和调节各个模块的位置。

所述数据库模块1由微型计算机构成，用于负责数字样机和工艺知识库的导入和存储。

所述服务器模块2通过线路与可视化展示模块3相连，所述服务器模块2由计算机构成，用于负责工艺知识的规范化加工处理，与各个模块的通信以及对检测信息的感知判断。所述可视化展示模块3由投影仪，配套支架和机箱构成，用于负责投射紧固件装配辅助引导信息、装配检测反馈信息以及装配操作流程的人机交互。

所述服务器模块2通过线路与图像采集与处理模块4相互连接，所述图像采集与处理模块4由工业相机，固定支架和图形处理器组成，用于负责工件上紧固件孔位的图像采集、图像的预处理、几何特征的提取与分析以及装配操作全过程的监测。

本实用新型的使用过程如下：

步骤1：准备和搭建硬件***及相关软件环境，在数据库模块1中的微型计算机上安装三维建模软件CATIA，在服务器模块2内的计算机上安装Visual Studio 2013和Untiy3D软件，并在Visual Studio 2013开发平台上配置开源图像处理库OpenCV3.0.0以及服务器上安装工业相机的配套驱动程序；

步骤2：调节投影仪与工业相机的视野与焦距，使其能够充分覆盖待装配工件，使工业相机采集的图像清晰以及颜色鲜明；

步骤3：联合标定投影仪和工业相机，获取投影仪和工业相机的内参和外参，使投影仪的图像坐标系和工业相机坐标***一于同一世界坐标系，便于投影图像与相机图像的空间关系进行换算；

步骤4：向数据库模块1中导入三维数字样机及相关装配工艺要求，其中三维数字样机即数字化模型，它包括待装配产品的形状尺寸和紧固件的型号、数量和位置工艺信息；

步骤5：工业相机采集待装配的零部件图片，进行图像预处理，提取图像的几何特征，确定紧固件孔位坐标；

步骤6：比对图像采集的真实紧固件孔位信息与三维数模信息，同时服务器模块2提取安装同一牌号的紧固件的孔位信息，向可视化展示模块3发送引导指令，在这些孔位上投射同一彩色色块，提示操作者进行安装；

步骤7：操作者按照引导提示信息进行紧固件装配，同型号紧固件装配完成后，进入安装检测阶段；

步骤8：工业相机将采集的图片进行图像预处理，图像分割，将局部孔位图片与紧固件安装完毕的图片进行图像的相似度比较，设定阈值，判定安装结果；

步骤9：服务器模块2根据安装结果将装配状态分为3类：紧固件漏装、紧固件错装和装配完成，并分别在相应孔位上投射三种不同颜色提示信息和文字预警信号提示操作者；

步骤10：工业相机进行实时监测，当操作者纠正错误装配，装配警示信息消失，变为正确安装反馈，直至该型号的紧固件全部正确安装，该装配引导检测工序结束。

本实用新型涉及的其它未说明部分与现有技术相同。

Claims (7)

1.一种投影式增强现实紧固件装配引导及检测装置，其特征是它包括有数据库模块（1），服务器模块（2），可视化展示模块（3）和图像采集与处理模块（4），所述数据库模块（1）通过线路与服务器模块（2）相连，所述服务器模块（2）通过线路与可视化展示模块（3）相连，所述服务器模块（2）通过线路与图像采集与处理模块（4）相互连接。

2.根据权利要求1所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述数据库模块（1）由微型计算机构成，用于负责数字样机和工艺知识库的导入和存储。

3.根据权利要求1所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述服务器模块（2）由计算机构成，用于负责工艺知识的规范化加工处理，与各个模块的通信以及对检测信息的感知判断。

4.根据权利要求1所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述可视化展示模块（3）由投影仪，配套支架和机箱构成，用于负责投射紧固件装配辅助引导信息、装配检测反馈信息以及装配操作流程的人机交互。

5.根据权利要求1所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述图像采集与处理模块（4）由工业相机，固定支架和图形处理器组成，用于负责工件上紧固件孔位的图像采集、图像的预处理、几何特征的提取与分析以及装配全过程的监测。

6.根据权利要求1所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述数据库模块（1），服务器模块（2），可视化展示模块（3）和图像采集与处理模块（4）均安装在装配工架上，用以固定和调节各个模块的位置。

7.根据权利要求4所述的投影式增强现实紧固件装配引导及检测装置，其特征是所述投影仪为LED投影仪。

Images