CN108489999A - 工件的组装瑕疵检测方法 - Google Patents

工件的组装瑕疵检测方法 Download PDF

Info

Publication number
CN108489999A
CN108489999A CN201810243687.XA CN201810243687A CN108489999A CN 108489999 A CN108489999 A CN 108489999A CN 201810243687 A CN201810243687 A CN 201810243687A CN 108489999 A CN108489999 A CN 108489999A
Authority
CN
China
Prior art keywords
detection data
information
acquisition
matrix
directional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810243687.XA
Other languages
English (en)
Inventor
程宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hengli Zhifang Automation Engineering Co Ltd
Original Assignee
Sichuan Hengli Zhifang Automation Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hengli Zhifang Automation Engineering Co Ltd filed Critical Sichuan Hengli Zhifang Automation Engineering Co Ltd
Priority to CN201810243687.XA priority Critical patent/CN108489999A/zh
Publication of CN108489999A publication Critical patent/CN108489999A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种工件的组装瑕疵检测方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：(10)通过三个视频采集设备获得对工件内组装的部位进行视频采集，获得瑕疵检测数据，所述组装的部位是由机器人将不同工件组装后被组装的工件彼此相邻或相连接的位置；(20)对检测数据进行减震和稳定化；(30)对经过稳定化的数据进行组装瑕疵识别。本方法提高了通过图像识别机器人组装瑕疵的准确度和可靠性。

Description

工件的组装瑕疵检测方法
技术领域
本发明属于机器人车间操作质量监控技术领域，特别是涉及一种工件的组装瑕疵检测方法。
背景技术
机器人已经被普遍地应用到生产线，包括组装、焊接、涂胶等场合都常见机器人执行操作的身影。例如，人们对于汽车等机械加工制品的性能和外观的要求也越来越高。汽车涂装效果是汽车外观给人最直接的印象。汽车涂装工艺是汽车制造四大工艺(冲压、焊装、涂装、总装)之一，其质量直接影响消费者对于汽车品牌的第一印象。由于汽车涂装质量受到多种因素的影响，如：涂料本身、涂装环境以及各个工艺参数设定等，使得汽车涂装成为一项高精度、高难度的工作，因此汽车车身喷漆烘干后仍然需要进行瑕疵检测。但由于汽车表面的高反光特性，使得瑕疵检测异常困难。
目前，我国机器人加工车间中的涂装瑕疵检测环节均由人工完成，通过打油石，光照等方法，从不同角度结合观察和触摸等方式对微小瑕疵进行检测。在生产线上，完成涂装烘干后，一般由多名工人对瑕疵进行检测，为后续修复环节提供依据。这项工作不仅需要检测人员具有丰富的工作经验，并且要求检测工人始终保持高强度的注意力，对于流水线连续工作的工人，很容易产生视觉疲劳，从而易导致检测效率和检测准确率下降，不可避免地会出现误检漏检的现象。另一方面，随着世界经济的区域调整和中国经济的产业转型，人工成本也越来越高，采用人工检测的方法也无法适应目前高速、精准、自动化的生产要求。因此，如何提高瑕疵检测的自动化水平，降低生产成本是我国汽车产业也是世界机器人加工业面临的迫切问题。此外，通过视频检测瑕疵是本领域常用的技术手段，但车间难免由于传输带运动、机械加工操作等造成视频采集过程中存在对摄像设备的震动，影响利用其图像进行瑕疵检测的质量。
发明内容
为了提高机器人组装瑕疵监控准确度，解决在机器人加工过程中图像检测设备受到震动造成图像不利于瑕疵检测的问题，本发明提供了一种工件的组装瑕疵检测方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：
(10)通过三个视频采集设备获得对工件内组装的部位进行视频采集，获得瑕疵检测数据，所述组装的部位是由机器人将不同工件组装后被组装的工件彼此相邻或相连接的位置；
(20)对检测数据进行减震和稳定化；
(30)对经过稳定化的数据进行组装瑕疵识别。
进一步地，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
进一步地，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
进一步地，所述检测数据是由多个图像组成的帧数据集合。
进一步地，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
进一步地，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
进一步地，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
进一步地，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
进一步地，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
进一步地，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出组装瑕疵预警信息。
本发明的技术方案具有如下有益效果：
通过多个不同焦距的摄像头、照相机等摄像设备采集到的对工件内组装的部位进行视频采集，获得瑕疵检测数据，所述组装的部位是由机器人将不同工件组装后被组装的工件彼此相邻或相连接的位置的稳定化处理，提高了识别组装瑕疵过程中由于机器人所在流水线或操作工件的抖动、震动产生的组装瑕疵检测图像模糊不清的问题，提高了供机器人监控服务器通过灰度面积检测进行被组装在一起的工件的彼此相连接或相邻接的表面之间存在的瑕疵的检测识别的准确度和可靠性。
附图说明
图1示出了本发明的方法流程框图。
具体实施方式
根据本发明的优选实施例，如图1所示的工件的组装瑕疵检测方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，包括：
(10)通过三个视频采集设备获得对工件内组装的部位进行视频采集，获得瑕疵检测数据，所述组装的部位是由机器人将不同工件组装后被组装的工件彼此相邻或相连接的位置；
(20)对检测数据进行减震和稳定化；
(30)对经过稳定化的数据进行组装瑕疵识别。
优选地，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
优选地，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
优选地，所述检测数据是由多个图像组成的帧数据集合。
优选地，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
优选地，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
优选地，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
优选地，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
优选地，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
优选地，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出组装瑕疵预警信息。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工件的组装瑕疵检测方法，用于将设置在机器人作业区域的多个监控设备的数据加以稳定化，其特征在于，包括：
(10)通过三个视频采集设备获得对工件内组装的部位进行视频采集，获得瑕疵检测数据，所述组装的部位是由机器人将不同工件组装后被组装的工件彼此相邻或相连接的位置；
(20)对检测数据进行减震和稳定化；
(30)对经过稳定化的数据进行组装瑕疵识别。
2.根据权利要求1所述的工件的组装瑕疵检测方法，其特征在于，所述步骤(10)的图像满足如下条件：所述视频采集设备的拍摄角度彼此不同。
3.根据权利要求1所述的工件的组装瑕疵检测方法，其特征在于，所述视频采集设备的焦距能够进行自动调整，且各自的调整范围彼此不同。
4.根据权利要求3所述的工件的组装瑕疵检测方法，其特征在于，所述检测数据是由多个图像组成的帧数据集合。
5.根据权利要求4所述的工件的组装瑕疵检测方法，其特征在于，所述步骤(10)包括：
(101)第一视频采集设备采集第一检测数据并记录其第一采集方向信息；
(102)第二视频采集设备采集第二检测数据并记录其第二采集方向信息；
(103)第三视频采集设备采集第三检测数据并记录其第三采集方向信息；
(104)对所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行第一收集，得到第一检测数据集。
6.根据权利要求5所述的工件的组装瑕疵检测方法，其特征在于，所述步骤(20)包括：
(201)根据第一检测数据、第二检测数据和第三检测数据在不同时刻分别对应的第一采集方向、第二采集方向、第三采集方向，对第一检测数据集中的各帧数据进行重新组合，得到第二检测数据集；
(202)将第二检测数据集传输到机器人监控服务器。
7.根据权利要求6所述的工件的组装瑕疵检测方法，其特征在于，所述第一采集方向信息包括水平信息和姿态信息，所述水平信息表示视频采集设备的焦距所在直线朝向现场数据来源的方向的方向角，所述姿态信息表示所述视频采集设备的三维加速度矢量。
8.根据权利要求7所述的工件的组装瑕疵检测方法，其特征在于，所述第一收集包括：将所述第一检测数据、第二检测数据、第三检测数据、第一采集方向信息、第二采集方向信息和第三采集方向信息进行保存，得到第一检测数据集。
9.根据权利要求8所述的工件的组装瑕疵检测方法，其特征在于，所述步骤(201)包括：
(2011)在第一时刻t1，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第一水平信息差值α1和第二水平信息差值α2；
(2012)在第一时刻t1之后的第二时刻t2，分别计算第一采集方向信息的水平信息与第二采集方向信息的水平信息、第一采集方向信息的水平信息与第三采集方向信息的水平信息这两者之间的差值，该差值分别对应于第三水平信息差值α3和第四水平信息差值α4；
(2013)计算第一采集方向信息的姿态信息、第二采集方向信息的姿态信息和第三采集方向信息的姿态信息这三种姿态信息在第一时刻t1与第二时刻t2之间的时间段内的第一姿态信息变化率g1、第二姿态信息变化率g2和第三姿态信息变化率g3，其中所述第一、第二和第三姿态信息变化率是通过三维加速度的矢量和与第二时刻与第一时刻之间的时间差之间的比值计算得到的；
(2014)计算像素匹配矩阵A如下：
(2015)设在第一时刻t1，第一检测数据对应的像素集合对应的矩阵为m，第二检测数据对应的像素集合对应的矩阵为n，第三检测数据对应的像素集合对应的矩阵为p；在第二时刻t2，第一检测数据对应的像素集合对应的矩阵为x，第二检测数据对应的像素集合对应的矩阵为y，第三检测数据对应的像素集合对应的矩阵为z，计算第一过渡矩阵C1为：
其中mod(t2-t1,2)表示对t2-t1的差值的绝对值取相对于2的商的余数；
(2016)以作为翻转中心点的空间坐标，对矩阵A进行对称翻转，得到矩阵A’；
(2017)计算第二过渡矩阵C2为：
(2018)利用矩阵C2对矩阵A’进行内插，得到矩阵A”，
计算第二检测数据集中与第二时刻t2对应的检测数据帧对应的像素集合对应的矩阵q：
(2019)将q进行保存，进而不断累积得到第二检测数据集。
10.根据权利要求9所述的工件的组装瑕疵检测方法，其特征在于，所述步骤(30)包括：当所述第二检测数据集的帧数据中，与预定位置相对应的空间坐标对应的帧数据的灰度大于预设灰度阈值时，发出组装瑕疵预警信息。
CN201810243687.XA 2018-03-23 2018-03-23 工件的组装瑕疵检测方法 Pending CN108489999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810243687.XA CN108489999A (zh) 2018-03-23 2018-03-23 工件的组装瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810243687.XA CN108489999A (zh) 2018-03-23 2018-03-23 工件的组装瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN108489999A true CN108489999A (zh) 2018-09-04

Family

ID=63319571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810243687.XA Pending CN108489999A (zh) 2018-03-23 2018-03-23 工件的组装瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN108489999A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576829A (zh) * 2003-07-09 2005-02-09 通用电气公司 分析和识别制造零件中的缺陷的***及方法
CN102700572A (zh) * 2012-06-06 2012-10-03 西安电子科技大学 铁路安全行车闭塞区间可视化接力监控预警方法
CN103175838A (zh) * 2011-12-21 2013-06-26 北京兆维电子(集团)有限责任公司 基于机器视觉的ps版表面检测***
CN106125699A (zh) * 2016-08-23 2016-11-16 常州轻工职业技术学院 一种基于图像识别检测的自动化生产线及其工作方法
CN108453441A (zh) * 2018-03-22 2018-08-28 四川恒立智方自动化工程有限公司 工业焊接机器人焊接质量识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1576829A (zh) * 2003-07-09 2005-02-09 通用电气公司 分析和识别制造零件中的缺陷的***及方法
CN103175838A (zh) * 2011-12-21 2013-06-26 北京兆维电子(集团)有限责任公司 基于机器视觉的ps版表面检测***
CN102700572A (zh) * 2012-06-06 2012-10-03 西安电子科技大学 铁路安全行车闭塞区间可视化接力监控预警方法
CN106125699A (zh) * 2016-08-23 2016-11-16 常州轻工职业技术学院 一种基于图像识别检测的自动化生产线及其工作方法
CN108453441A (zh) * 2018-03-22 2018-08-28 四川恒立智方自动化工程有限公司 工业焊接机器人焊接质量识别方法

Similar Documents

Publication Publication Date Title
CN106239476B (zh) 机器人与具备力的显示功能的机器人控制装置
CN105354880B (zh) 一种基于线激光扫描的喷砂机器人自动路径生成方法
CN108663987B (zh) 机床的控制***
CN104400279B (zh) 基于ccd的管道空间焊缝自动识别与轨迹规划的方法
CN111013883A (zh) 一种可用于多车型的智能喷涂的机器人控制方法
CN113465511B (zh) 一种钢卷尺寸在线测量及全方位端面缺陷在线检测方法
CN103394973B (zh) 数字图像相关法测量高速正交切削过程应变装置及方法
CN105563481B (zh) 一种用于轴孔装配的机器人视觉引导方法
CN107088892A (zh) 一种基于双目视觉的工业机器人运动精度检测方法
CN105414710B (zh) 主被动视觉焊接熔池复合传感装置及采用该装置实现的传感方法
KR20140044054A (ko) 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
CN114905333A (zh) 一种基于多维数据分析的机床作业在线智能监测***
CN112010024A (zh) 一种基于激光和视觉融合检测的货箱自动抓取方法及***
CN112858332A (zh) 基于机器视觉的同步器齿毂表面缺陷检测方法、***、终端
CN110728657A (zh) 一种基于深度学习的环状轴承外表面缺陷检测方法
Xia et al. Workpieces sorting system based on industrial robot of machine vision
CN113267452A (zh) 一种基于机器视觉的发动机缸体表面缺陷检测方法及***
CN105388842A (zh) 一种零件表面加工缺陷的定位方法
CN115546125A (zh) 一种基于点云信息的增材制造熔敷层的误差检测并对轨迹纠偏的方法
CN108453441A (zh) 工业焊接机器人焊接质量识别方法
CN108435456A (zh) 工业机器人喷涂控制***
CN108489999A (zh) 工件的组装瑕疵检测方法
CN108067725A (zh) 一种新的机器人激光视觉焊缝检测***及方法
CN108535263A (zh) 涂胶机器人工作状态检测装置
CN108422122A (zh) 基于图像识别的流水线工况监控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904

RJ01 Rejection of invention patent application after publication