CN113936291A - 一种基于机器视觉的铝模板质检、回收方法 - Google Patents

一种基于机器视觉的铝模板质检、回收方法 Download PDF

Info

Publication number
CN113936291A
CN113936291A CN202111193381.6A CN202111193381A CN113936291A CN 113936291 A CN113936291 A CN 113936291A CN 202111193381 A CN202111193381 A CN 202111193381A CN 113936291 A CN113936291 A CN 113936291A
Authority
CN
China
Prior art keywords
aluminum template
quality inspection
image information
template
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111193381.6A
Other languages
English (en)
Inventor
王晓
韩通阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Zhineng Zhizao Data Technology Co ltd
Original Assignee
Qingdao Zhineng Zhizao Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Zhineng Zhizao Data Technology Co ltd filed Critical Qingdao Zhineng Zhizao Data Technology Co ltd
Priority to CN202111193381.6A priority Critical patent/CN113936291A/zh
Publication of CN113936291A publication Critical patent/CN113936291A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的铝模板质检、回收方法，沿铝模板移动方向设置智能机械臂，传送装置上的位置感应器与用于采集铝膜板图像信息的CCD相机分别与PLC控制器相连构成数据交换网络；被采集到的铝模板图像信息通过网络发送到工控机，工控机调用专用自研模板质检算法模块对采集到的图像信息进行分析处理，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机对被检测物体作出相应处理。本发明解决了因为工地施工环境恶劣导致铝模板二维码或标识被水泥覆盖、使用不当导致缺失或污损，使得PDA等移动终端无法扫描，想要回收再利用必须要浪费大量人力、时间去完成模板的分拣的问题，节省人力成本及时间成本。

Description

一种基于机器视觉的铝模板质检、回收方法
技术领域
本发明涉及建筑模板检测的技术领域，尤其涉及一种基于机器视觉的铝模板质检、回收方法。
背景技术
近年来的铝模板制造业中，对生产完的铝模板质检主要依靠人工核验，而人工核验存在成本高、核验不标准等问题，导致出厂的铝模板存在较多的质量问题。
现有的铝模板行业一般使用二维码或其他印记进行追踪，这些方式虽然能够满足铝模板在信息记录上的要求，但是在环境恶劣的工地使用后，易被水泥覆盖或因使用不当导致缺失或污损，使得PDA等移动终端无法扫描，从而导致铝模板制造企业对使用后的铝模板的回收再利用需要花费大量人力、时间去完成模板的分拣，无法快速对铝模板进行全生命周期的追踪。
本申请发明人在实现本申请实施例的技术方案的过程中，发现上述技术至少存在如下技术问题：
1、主要依靠人工检测，铝模板质检成本较高、检验不标准的问题；
2、工地施工环境恶劣导致铝模板二维码或标识被水泥覆盖、使用不当导致缺失或污损，使得PDA等移动终端无法扫描，想要回收再利用必须要浪费大量人力、时间去完成模板的分拣的问题。
发明内容
有鉴于此，本发明提出了一种基于机器视觉的铝模板质检、回收方法，本发明使用机器视觉并结合CAD图纸对模板自动检测，解决了铝模板检测主要依靠人工检测，检测成本高且核验不标准的问题，减少了质检人员，从而降低了铝模板制造企业的生产成本，同时出厂的铝模板质量提高，提升了企业的品牌形象；同时本发明使用机器视觉自动识别模板类别、尺寸等信息，结合出厂的模板明细进行平库，解决了因为工地施工环境恶劣导致铝模板二维码或标识被水泥覆盖、使用不当导致缺失或污损，使得PDA等移动终端无法扫描，想要回收再利用必须要浪费大量人力、时间去完成模板的分拣的问题，大大节省了人力成本以及时间成本，使得铝模板制造企业可以快速再利用旧模板。
本发明的技术方案是这样实现的：
一种基于机器视觉的铝模板质检、回收方法，其特征在于，包括：
a、沿铝模板移动方向设置智能机械臂，智能机械臂与传送装置相配合，传送装置上的位置感应器与用于采集铝膜板图像信息的CCD相机分别与PLC控制器相连构成数据交换网络；
b、将由智能机械臂抓取的铝模板放置于传送装置上，当铝模板传输到某一设定位置时被位置传感器检测到，位置传感器向PLC控制器发送“铝模板被探测到”的电脉冲信号；
c、PLC控制器经过计算得出何时铝模板将移动到CCD相机的采集位置，PLC控制器准确向采集卡发送触发信号，CCD相机采集铝模板图像数据并暂停传送装置；
d、被采集到的铝模板图像信息通过网络发送到工控机，工控机调用专用自研模板质检算法模块对采集到的图像信息进行分析处理，并与数据库中对应CAD图纸进行比对质检，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机对被检测物体作出相应处理；质检通过则启动传送装置，未通过质检则闪烁显示质检结果并通知质检员处理；
e、智能机械臂接收到质检结果信息后，将铝模板抓取堆放至对应位置，到达码垛数量预设后发送消息通知管理员；
f、***循环上述a-e工作，完成对铝模板队列连续处理。
可选地，专用自研模板质检算法模块包括图像信息获取模块、图像信息处理模块、***控制模块、机电执行模块、人机交互模块；***控制模块分别与图像信息获取模块、图像信息处理模块以及机电执行模块连接，图像信息获取模块获取被检测物体的位置信息，触发***控制模块，由***控制模块得出机电执行模块所需要的检测数据；***控制模块与人机交互模块相互通信，完成操作者对质检***的检测参数进行更新和下达指令执行工作。
实施本发明的这种质检、回收方法，具有以下有益效果：
1、本技术能够大幅减少质检环节、铝模板回收再利用环节的人工成本和时间成本，实现了铝模板制造企业的降本增效；
2、精确度高：针对铝模板独立研究算法，对于铝模板特征有加强，精确度明显高于通用算法；
3、稳定性高：选用国际一线厂商进行配套并且进行定制调试，专门适应铝模板生产场景，不易产生故障；
4、速度快：上下料机械化，时间可设置，极大提高产量和质量；
5、自研算法质检范围广，成功率高，主要体现在以下方面：
①产品表面缺陷：划伤、划痕、辊印、凹坑、粗糙、波纹；
②金属产品表面的夹杂、破损、污点；
③装配质量检测：零件装配完整性检测，装配尺寸精度检测，位置/角度测量。
附图说明
为了说明而非限制的目的，现在将根据本发明的优选实施例、特别是参考附图来描述本发明，其中：
图1是本申请实施方式中的工作原理示意图；
图2是本申请实施方式中的专用自研模板质检算法模块流程示意图。
图3是质检算法检测流程示意图；
图4是用于轮廓图的物理形变校准的神经网络示意图；
具体实施方式
参考图1和图4，一种基于机器视觉的铝模板质检、回收方法，包括：
a、沿铝模板移动方向设置智能机械臂，智能机械臂与传送装置相配合，传送装置上的位置感应器2与用于采集铝膜板图像信息的CCD相机3分别与PLC控制器1相连构成数据交换网络；
b、将由智能机械臂抓取的铝模板放置于传送装置上，当铝模板传输到某一设定位置时被位置传感器2检测到，位置传感器2向PLC控制器1发送“铝模板被探测到”的电脉冲信号；
c、PLC控制器1经过计算得出何时铝模板将移动到CCD相机3的采集位置，PLC控制器1准确向采集卡4发送触发信号，CCD相机3采集铝模板图像数据并暂停传送装置；
d、被采集到的铝模板图像信息通过网络发送到工控机5，工控机5调用专用自研模板质检算法模块7对采集到的图像信息进行分析处理，并与数据库中对应CAD图纸进行比对质检，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机6对被检测物体作出相应处理；质检通过则启动传送装置，未通过质检则闪烁显示质检结果并通知质检员处理；
具体地，对于图像质检算法的检测步骤如下：
①测量标定及图像预处理
采集***从相机获取待测铝膜板灰度图像，并从所述汽车纵梁图像中圈定感兴趣工作区域(ROI)。该区域的选择需要考虑相机的有效采样范围，并对相机进行标定，去除由广角相机造成的采样边缘物理形变情况。通常在采样过程中，应尽量将待测铝膜板放置于图像最中心的1/2范围内，同时所选ROI也应尽可能覆盖待测铝膜板；
在正确标定ROI区域之后，运用测量工具测量ROI范围内的实际长宽尺寸，从而确定像素精度；
采用图像平滑函数对图像去噪，如高斯平滑函数，详细公式如下：
Figure BDA0003302120080000041
在上式中，(x，y)表示为在模糊半径内的所有像素的x、y值，σ是正态分布的标准偏差，e表示自然常数。实际实验中采用了5x5高斯平滑函数，σ＝0.8；采用直方图均衡化对平滑后的铝膜板图像进行曝光均衡化调整。
②图像二值化并提取图像轮廓
采用OTSU对ROI区域进行二值化评估，求得阈值t；
将得到的阈值t应用于平滑后图像的灰度图中，得到二值图；
其中，汽车纵梁图像的灰度图中，像素值大于阈值t像素点视为前景，设置为白色，像素值小于阈值t像素点视为背景，设置为黑色，实现前后景分离；
然后对提取到的二值化图运用高斯函数差分DOG边缘检测算法提取轮廓信息；
③轮廓图的物理形变校准
将提取的采样图片的轮廓图与从CAD中的轮廓信息进行匹配。这里考虑到采样图片与CAD图纸中存在一定的物理偏差，如水平位置偏移、旋转及缩放等，算法优先训练了一个浅层全连接神经网络学习当前轮廓图及CAD图纸之间的相对物理偏差，用于两者的位移、旋转及缩放等物理变化的校准。具体地：
(1)该神经网络用于计算采样轮廓图与CAD图纸之间的相对物理偏差。因此每次调用该神经网络，需要采样轮廓图I作为输入，且该网络经过运算，会求出待测轮廓图所需要的x、y位移量offsetxoffsety、旋转尺度θ及缩放尺度r；
在实际实验中，网络整体包含3层的全连接层，每层网络分别包含50，50，4个神经元，激活函数采用了ReLU；优化器Optimizer采用了SGD，学习率设置为为0.03；
(2)考虑到训练一个高效的神经网络需要大量的标记数据，在准备数据阶段，可以通过对CAD图纸轮廓图片ICAD进行多次随机上述物理变化得到变化后的图片I′CAD，并将这些次随机变化的参数保留用作标记量(即x、y位移量offsetxoffsety、旋转尺度θ及缩放尺度r)，从而实现数据的准备；
在实际实验中，运用一张CAD图纸，分别生成10000组随机偏移量，旋转尺度及缩放尺度参数设置，使训练集数据包含10000组变化后的图片I′CAD及相对应的标记量x、y位移量offsetxoffsety、旋转尺度θ及缩放尺度r；在将图片输入到网络中进行训练前，将所有生成的I′CAD尺寸变换为(500x500)
(3)在训练神经网络的过程，Loss定义为如下公式：
Figure BDA0003302120080000061
其中，
Figure BDA0003302120080000062
类型的参数表示为通过神经网络计算得到的输出值，如
Figure BDA0003302120080000063
等；f()表示在I′CAD上采用神经网络计算后的x、y位移量
Figure BDA0003302120080000064
旋转尺度
Figure BDA0003302120080000065
及缩放尺度
Figure BDA0003302120080000066
得到的校准图；λ表示为惩罚参数；
在实际实验中，λ5＝0.5，其余λ1，...λ4＝0.1；
(4)在结束神经网络训练后，用训练好的神经网络参数，对每张测试图片Isample计算其所对应的所有物理形变矫正参数
Figure BDA0003302120080000067
(即x、y位移量
Figure BDA0003302120080000068
旋转尺度
Figure BDA0003302120080000069
及缩放尺度
Figure BDA00033021200800000610
)，从而将此参数带入到f()，得到gsample＝f(Isample)，表示为当前测试采样轮廓图的物理形变校准结果；
④输出检测结果
通过上述步骤3，可以使采样的铝膜板轮廓图及CAD图纸处于同一种姿态。最后将两幅图相减，得到两幅图相异的区域d。
d＝|gsample-ICAD|
在实际实验中，若d(x，y)在标记的检测点的区域内值不为0，则说明该区域存在异常，则算法输出“不合格”；若d(x，y)在标记的检测点的区域内值都为0，则说明该区域不存在异常，算法输出检测“合格”；
若检测不合格，通过d(x，y)在标记的监测点区域内的连通域大小判断对应的像素范围，并运用标定信息得到的像素精度从而得出异常区域的尺寸范围。
e、智能机械臂接收到质检结果信息后，将铝模板抓取堆放至对应位置，到达码垛数量预设后发送消息通知管理员；
f、***循环上述a-e工作，完成对铝模板队列连续处理。
专用自研模板质检算法模块7包括图像信息获取模块72、图像信息处理模块73、***控制模块71、机电执行模块74、人机交互模块75；***控制模块71分别与图像信息获取模块72、图像信息处理模块73以及机电执行模块74连接，图像信息获取模块72获取被检测物体的位置信息，触发***控制模块71，由***控制模块71得出机电执行模块74所需要的检测数据；***控制模块71与人机交互模块75相互通信，完成操作者对质检***的检测参数进行更新和下达指令执行工作。其中，***控制模块71是整个***的处理中心，从被检测物体的位置信息触发，到得出***机电模块所需要的检测数据，每一部分都需要***控制模块71的参与。
本申请实施方式中，可在传送装置末端架设机械臂，可节省末端人工。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (2)

1.一种基于机器视觉的铝模板质检、回收方法，其特征在于，包括：
a、沿铝模板移动方向设置智能机械臂，智能机械臂与传送装置相配合，传送装置上的位置感应器与用于采集铝膜板图像信息的CCD相机分别与PLC控制器相连构成数据交换网络；
b、将由智能机械臂抓取的铝模板放置于传送装置上，当铝模板传输到某一设定位置时被位置传感器检测到，位置传感器向PLC控制器发送“铝模板被探测到”的电脉冲信号；
c、PLC控制器经过计算得出何时铝模板将移动到CCD相机的采集位置，PLC控制器准确向采集卡发送触发信号，CCD相机采集铝模板图像数据并暂停传送装置；
d、被采集到的铝模板图像信息通过网络发送到工控机，工控机调用专用自研模板质检算法模块对采集到的图像信息进行分析处理，并与数据库中对应CAD图纸进行比对质检，得出被检测对象是否符合预设要求的结论，根据“合格”或“不合格”信号，执行机对被检测物体作出相应处理；质检通过则启动传送装置，未通过质检则闪烁显示质检结果并通知质检员处理；
e、智能机械臂接收到质检结果信息后，将铝模板抓取堆放至对应位置，到达码垛数量预设后发送消息通知管理员；
f、***循环上述a-e工作，完成对铝模板队列连续处理。
2.根据权利要求1所述的基于机器视觉的铝模板质检、回收方法，其特征在于，专用自研模板质检算法模块包括图像信息获取模块、图像信息处理模块、***控制模块、机电执行模块、人机交互模块；***控制模块分别与图像信息获取模块、图像信息处理模块以及机电执行模块连接，图像信息获取模块获取被检测物体的位置信息，触发***控制模块，由***控制模块得出机电执行模块所需要的检测数据；***控制模块与人机交互模块相互通信，完成操作者对质检***的检测参数进行更新和下达指令执行工作。
CN202111193381.6A 2021-10-13 2021-10-13 一种基于机器视觉的铝模板质检、回收方法 Pending CN113936291A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111193381.6A CN113936291A (zh) 2021-10-13 2021-10-13 一种基于机器视觉的铝模板质检、回收方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111193381.6A CN113936291A (zh) 2021-10-13 2021-10-13 一种基于机器视觉的铝模板质检、回收方法

Publications (1)

Publication Number Publication Date
CN113936291A true CN113936291A (zh) 2022-01-14

Family

ID=79278729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111193381.6A Pending CN113936291A (zh) 2021-10-13 2021-10-13 一种基于机器视觉的铝模板质检、回收方法

Country Status (1)

Country Link
CN (1) CN113936291A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509025A (zh) * 2022-02-15 2022-05-17 中交四公局第一工程有限公司 一种铝合金模板装配施工工艺质量检测方法及***
CN117890214A (zh) * 2024-03-14 2024-04-16 西安汉华建筑实业有限公司 一种基于机器视觉的铝模板质检检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114509025A (zh) * 2022-02-15 2022-05-17 中交四公局第一工程有限公司 一种铝合金模板装配施工工艺质量检测方法及***
CN117890214A (zh) * 2024-03-14 2024-04-16 西安汉华建筑实业有限公司 一种基于机器视觉的铝模板质检检测方法
CN117890214B (zh) * 2024-03-14 2024-06-04 西安汉华建筑实业有限公司 一种基于机器视觉的铝模板质检检测方法

Similar Documents

Publication Publication Date Title
CN108982508B (zh) 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法
CN111062915B (zh) 一种基于改进YOLOv3模型的实时钢管缺陷检测方法
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN106935683B (zh) 一种太阳能电池片高速视觉定位及矫正***及其方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN113936291A (zh) 一种基于机器视觉的铝模板质检、回收方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN113538503B (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析***及方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及***
CN114235837A (zh) 基于机器视觉的led封装表面缺陷检测方法、装置、介质及设备
CN114549504A (zh) 一种基于机器视觉的外观质量检测方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及***
CN113705564B (zh) 一种指针式仪表识别读数方法
CN117330582A (zh) 一种高分子pe薄膜表面晶点检测***
CN112109374A (zh) 一种基于计算机视觉***定位及控制折弯模具装卸的方法
CN114820582B (zh) 一种基于混合注意力形变卷积神经网络的手机表面缺陷精准分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination