CN114782617A - 基于机器视觉进行高精度自动化喷胶的方法及*** - Google Patents

基于机器视觉进行高精度自动化喷胶的方法及*** Download PDF

Info

Publication number
CN114782617A
CN114782617A CN202111209078.0A CN202111209078A CN114782617A CN 114782617 A CN114782617 A CN 114782617A CN 202111209078 A CN202111209078 A CN 202111209078A CN 114782617 A CN114782617 A CN 114782617A
Authority
CN
China
Prior art keywords
glue spraying
point cloud
historical
model
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111209078.0A
Other languages
English (en)
Inventor
张玉强
黄武
贾朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenyue Intelligent Equipment Foshan Co ltd
Original Assignee
Zhenyue Intelligent Equipment Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenyue Intelligent Equipment Foshan Co ltd filed Critical Zhenyue Intelligent Equipment Foshan Co ltd
Priority to CN202111209078.0A priority Critical patent/CN114782617A/zh
Publication of CN114782617A publication Critical patent/CN114782617A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1015—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to a conditions of ambient medium or target, e.g. humidity, temperature ; responsive to position or movement of the coating head relative to the target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05D—PROCESSES FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05D1/00—Processes for applying liquids or other fluent materials
    • B05D1/26—Processes for applying liquids or other fluent materials performed by applying the liquid or other fluent material from an outlet device in contact with, or almost in contact with, the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Spray Control Apparatus (AREA)

Abstract

本发明提供一种基于机器视觉进行高精度自动化喷胶的方法及***，通过三维相机进行点云采集、预处理以及目标识别，提取得到每个汽车内饰的点云模型；将汽车内饰的点云模型与存储的多个历史点云模型进行比对，匹配得到相似度最高的历史点云模型，并进一步得到了对应的历史喷胶轨迹及参数，基于该历史喷胶轨迹参数，通过喷胶机器人依次对多个汽车内饰进行自动化的喷胶。由于本发明的方法基于实时三维图像和自动模型匹配自动得到喷胶轨迹及参数，因此不需要根据汽车内饰的种类人为切换喷胶轨迹和参数，也不需要人为示教喷胶机器人，提高了生产效率。此外，还能通过多次的喷胶结果对喷胶轨迹及参数进行迭代优化，持续提升喷胶精度。

Description

基于机器视觉进行高精度自动化喷胶的方法及***
技术领域
本发明属于智能喷胶技术领域，具体涉及一种基于机器视觉进行高精度自动化喷胶的方法及***。
背景技术
汽车内饰是汽车内部所用的汽车产品，包括汽车坐垫、汽车仪表板、汽车后备箱垫板等，汽车内饰的制作过程一般为在成型的汽车内饰工件上复合上特定材质的皮革或面料，从而形成最终的汽车内饰产品，在上述的复合过程中，需要在汽车内饰工件的表面进行喷胶操作。汽车内饰产品有许多种，相应地，有多种不同形状的汽车内饰需要进行喷胶操作。在实际生产中，汽车内饰的生产通常是多种类、小批量的生产，因此，目前的汽车内饰的自动化喷胶具有以下的问题：第一，在一小批汽车内饰喷胶完成后，需要切换产品，相应地，需要操作人员重新设定喷胶程序，并重新示教机器人的喷胶轨迹，操作繁琐；第二，以上切换过程需要操作人员到机器人的附近进行手动示教，并在机器人与操作终端间往返调整喷胶参数，因此非常耗时，每次切换需要一到两个小时；第三，在一天的生产过程中往往需要进行多次的切换，因此切换过程所花费的时间几乎占到总生产时间的一半，生产效率低下。同时，随着技术发展与产品升级，喷胶的精度要求也越来越高，因此，现有的自动化喷胶技术难以满足上述的多种汽车内饰的高精度喷胶需要。
通过3D机器视觉的引导能够对机器人进行更精确的控制，从而有望实现高精度的自动化喷胶，然而，目前还缺乏基于3D机器视觉对汽车内饰进行自动化喷胶的方法。
发明内容
为解决上述问题，提供一种基于机器视觉进行高精度自动化喷胶的方法及***，本发明采用了如下技术方案：
本发明提供了一种基于机器视觉进行高精度自动化喷胶的方法，基于机器视觉通过喷胶机器人对放置在预定工作区域内的待喷胶的多个工件进行高精度的喷胶操作，其特征在于，包括步骤S1，通过三维相机对预定工作区域进行点云采集，得到点云数据；步骤S2，对点云数据进行预处理，得到场景点云；步骤S3，对场景点云进行点云聚类分割，得到每个汽车内饰对应的点云模型；步骤S4，对每个汽车内饰，将点云模型分别与多个历史点云模型进行比对，获取相似度最高的历史点云模型；步骤S5，对每个汽车内饰，获取历史点云模型所对应的历史喷胶轨迹以及历史喷胶轨迹参数；步骤S6，按照预先设定的顺序依次对多个汽车内饰进行喷胶操作，具体地，对每个汽车内饰，基于历史喷胶轨迹以及历史喷胶轨迹参数，通过喷胶机器人进行喷胶操作。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S4包括如下子步骤：步骤S4-1，对点云模型以及历史点云模型进行重采样，分别得到当前模型关键点和历史模型关键点；步骤S4-2，基于当前模型关键点计算当前模型描述子，基于历史模型关键点计算历史模型描述子；步骤S4-3，对每个历史点云模型，基于当前模型描述子和历史描述子，将点云模型与历史点云模型进行点云匹配，得到匹配点对以及相似度；步骤S4-4，获取相似度最高的历史点云模型以及对应的匹配点对；步骤S4-5，基于匹配点对，计算点云模型和历史点云模型之间的转换矩阵。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S6包括如下子步骤：步骤S6-1，对于每个汽车内饰，基于转换矩阵将历史喷胶轨迹转换为本次喷胶轨迹，并基于转换矩阵将历史喷胶轨迹参数转换为本次喷胶轨迹参数；步骤S6-2，按照预先设定的顺序依次将多个本次喷胶轨迹进行连接，得到最终的喷胶轨迹，并按照预先设定的顺序依次将多个本次喷胶轨迹参数进行合并，得到最终的喷胶轨迹参数；步骤S6-3，基于最终的喷胶轨迹以及最终的喷胶轨迹参数，通过喷胶机器人进行喷胶操作。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，根据喷胶结果对历史喷胶轨迹及历史喷胶轨迹参数进行优化及更新，具体包括如下步骤：步骤A1，根据喷胶结果对本次喷胶轨迹以及本次喷胶轨迹参数进行相应的修正；步骤A2，通过转换矩阵将本次喷胶轨迹和本次喷胶轨迹参数转换到历史喷胶轨迹的坐标系；步骤A3，将历史喷胶轨迹更新为本次喷胶轨迹，并将历史喷胶轨迹参数更新为本次喷胶轨迹参数。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S1包括如下子步骤：步骤S1-1，通过三维相机从不同视点对工件进行多次拍摄，得到多个深度图；步骤S1-2，将多个深度图分别转换为多个部分点云；其中，多个深度图完全覆盖预定工作区域，点云数据为多个部分点云的集合。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，步骤S2包括如下子步骤：步骤S2-1，对点云数据进行点云滤波；步骤S2-2，对点云数据进行下采样；步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到场景点云；步骤S2-5，基于点云特征，对场景点云进行点云分割，去除多个汽车内饰以外的点云。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，点云聚类分割采用欧式点云聚类分割方法。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，历史喷胶轨迹参数包括轨迹方向以及轨迹行间距。
本发明提供的基于机器视觉进行高精度自动化喷胶的方法，还可以具有这样的技术特征，其中，三维相机采用双目视觉方案、三维结构光方案、TOF方案、激光三角法方案中的任意一种或几种的组合。
本发明提供了一种基于机器视觉进行高精度自动化喷胶的***，其特征在于，包括三维相机，用于对待喷胶的汽车内饰进行三维摄像；喷胶机器人，用于对汽车内饰进行喷胶操作；以及控制装置，用于对三维摄像以及喷胶操作的过程进行控制，其中，控制装置包括：点云采集部，通过三维相机采集包含有汽车内饰的场景点云，并对场景点云进行预处理；历史模型存储部，存储有多个历史点云模型；目标识别部，从场景点云中识别出各个汽车内饰，得到各个汽车内饰所对应的点云模型；模型比对部，将点云模型分别与各个历史点云模型进行比对，得到相似度最高的历史点云模型；喷胶轨迹生成部，获取与相似度最高的历史点云模型相对应的历史喷胶轨迹以及历史喷胶轨迹参数，并将历史喷胶轨迹转换为基于当前喷胶机器人坐标系的喷胶轨迹；喷胶控制部，控制喷胶机器人根据喷胶轨迹以及历史喷胶轨迹参数依次对汽车内饰进行喷胶操作；以及喷胶轨迹优化部，根据喷胶结果对历史喷胶轨迹以及历史喷胶轨迹参数进行优化以及更新。
发明作用与效果
根据本发明的基于机器视觉进行高精度自动化喷胶的方法，通过三维相机对预定工作区域进行点云采集及预处理，得到了包含有区域内所有汽车内饰三维信息的场景点云；通过对场景点云进行点云聚类分割，提取得到了每个汽车内饰的点云模型；将汽车内饰的点云模型与存储的多个历史点云模型进行比对，匹配得到相似度最高的历史点云模型，并进一步得到了对应的历史喷胶轨迹及历史喷胶轨迹参数，基于该历史喷胶轨迹及历史喷胶轨迹参数，就能够通过喷胶机器人依次对多个汽车内饰进行自动化的喷胶。由于本发明的方法基于实时三维图像和自动模型匹配来自动得到和各个汽车内饰所对应的历史喷胶轨迹及参数，因此，不需要根据汽车内饰的种类来人为切换喷胶轨迹和参数，也不需要再人为示教喷胶机器人，节省了大量的时间，大大提高了汽车内饰的生产效率。
附图说明
图1是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的流程图；
图2是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S1的流程图；
图3是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S2的流程图；
图4是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S4的流程图；
图5是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S6的流程图；
图6是本发明实施例中历史喷胶轨迹及历史喷胶轨迹参数优化及更新的流程图；
图7是本发明实施例中基于机器视觉进行高精度自动化喷胶的***的结构框图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于机器视觉进行高精度自动化喷胶的方法及***作具体阐述。
<实施例>
本实施例中，待喷胶的汽车内饰的数量为两个，分别为汽车坐垫和汽车仪表板，汽车坐垫的上表面大致为马鞍面，汽车仪表板的上表面大致为单曲面并具有多处凹陷、孔洞等结构。需要进行喷胶操作的范围为两个汽车内饰的整个上表面。两个汽车内饰同时通过支架固定放置在预定工作区域内。
本实施例中，三维相机为三维结构光相机，通过三维相机中的结构光源投射出黑白相间的结构光，该结构光投射到物体表面后，结构光所产生的黑白条纹或斑点根据物体表面的形状产生不同程度的变形，三维相机能够基于该变形解算出物体表面点的位置信息，从而得到物体的深度图。
本实施例中，喷胶机器人具有六轴机械臂，因此具有六轴自由度，能够实现多种轨迹及多种不同角度的喷胶操作。同时，喷胶机器人的末端设置有自动喷枪，自动喷枪与存储有喷胶用的胶液的储胶设备流体连通，用于喷出胶液。三维相机固定安装在喷胶机器人机械臂的六轴法兰上。
本实施例中，控制装置为工控机，该工控机上安装有三维视觉喷涂软件、PCL(Point Cloud Library)库以及OMPL(Open Motion Planning Library)库，三维视觉喷涂软件包括UI界面、机器人模块、手眼标定模块、3D视觉模块、3D点云处理模块以及喷涂工艺包。该工控机分别与三维相机以及喷胶机器人相连接，用于控制三维相机对待喷胶的汽车内饰进行点云采集，以及控制喷胶机器人对汽车内饰进行喷胶。
工控机中存储有多个历史点云模型，包括汽车坐垫、汽车仪表板、汽车车门扶手等汽车内饰的点云模型。工控机中还存储有多组历史喷胶轨迹和历史喷胶轨迹参数，多组喷胶轨迹和历史喷胶轨迹参数分别对应于多个历史点云模型。
本实施例首先通过三维相机对待喷胶的多个汽车内饰进行点云采集；接着，对采集到的场景点云进行预处理；然后，从场景点云中提取出各个汽车内饰的点云模型；然后，通过比对找到相似度最高的历史点云模型；进一步，获取与历史点云模型对应的历史喷胶轨迹；最后，根据历史喷胶轨进行喷胶；此外，还可以根据喷胶结果对历史喷胶轨迹进行优化及更新。总体包括7个流程：采集三维点云、预处理、目标识别、模型比对、获取喷胶轨迹、进行喷胶、优化喷胶轨迹。
图1是发明实施例中基于机器视觉进行高精度自动化喷胶的方法的流程图。
如图1所示，基于机器视觉进行高精度自动化喷胶的方法包括如下步骤：
步骤S1，通过三维相机对预定工作区域进行点云采集，得到点云数据。
图2是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S1的流程图。
如图2所示，本实施例的步骤S1具体包括如下子步骤：
步骤S1-1，通过三维相机从不同视点进行多次拍摄，得到多个深度图；
步骤S1-2，将多个深度图转换为多个部分点云。
其中，多个深度图完全覆盖预定工作区域，点云数据为多个部分点云的集合。
本实施例中，通过三维相机从四个预先设定的视点对预定工作区域进行拍摄，得到四张深度图，这四张深度图完全覆盖整个预定工作区域，也即完全覆盖待喷胶的两个汽车内饰。
然后，基于相机内参，通过现有技术的转换方法将四个深度图分别转为四个部分点云，这四个部分点云的集合为包含有两个汽车内饰三维信息的点云数据。三维点云数据包含有空间分辨率、点位精度、表面法向量等信息，可以表达物体的空间轮廓和具***置。
步骤S2，对点云数据进行预处理，得到场景点云。
图3是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S2的流程图。
如图3所示，本实施例的步骤S2具体包括如下子步骤：
步骤S2-1，对点云数据进行点云滤波；
步骤S2-2，对点云数据进行下采样；
步骤S2-3，对点云数据进行特征描述及提取，得到点云特征；
步骤S2-4，基于点云特征，对点云数据进行点云拼接，得到场景点云；
步骤S2-5，基于点云特征，对场景点云进行点云分割，去除工件的轮廓以外的点云。
本实施例中，点云滤波、下采样以及点云特征提取的方法均为PCL库中的现有算法。
通过点云滤波可以对三维点云进行平滑，解决三维点云数据密度不规则的问题，同时可以去除离群点等噪音数据。
通过下采样可以减少三维点云中点的数量，即减少了点云数据，并同时保持点云的形状特征，能够减少后续计算的计算量，同时一定程度上提升计算精度。
通过特征描述及提取能够得到三维点云的点云特征，本实施例中，点云特征包括点云单点特征以及点云局部特征。
本实施例中，点云拼接采用PCL库中的ICP最近点迭代算法，将多个部分点云转换到同一坐标系，基于点云特征将不同部分点云中的部分相同点进行重叠，从而将四个部分点云拼接成完整的场景点云。
点云分割采用PCL库中的RANSAC随机采样一致性算法，该算法能够从杂乱的点云中检测出具有特殊外形的物体，本实施例的场景点云中，除两个汽车内饰外的背景基本为平面，因此，通过该算法能够很好地去除场景点云中的背景部分，而保留两个汽车内饰的部分。
因此，通过本实施例的步骤S2，得到了包含两个汽车内饰三维信息的场景点云。
步骤S3，对场景点云进行点云聚类分割，得到每个汽车内饰的点云模型。
本实施例中，点云聚类分割采用PCL库中的欧式聚类分割算法，以欧式距离作为距离判断标准，通过KD-Tree近邻搜索算法找到最近点，并将最近点中小于设定阈值的点聚类到集合中，从而聚类得到两个汽车内饰的点云模型。
步骤S4，对每个汽车内饰，将点云模型分别与多个历史点云模型进行比对，获取相似度最高的历史点云模型。
图4是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S4的流程图。
如图4所示，本实施例的步骤S4具体包括如下子步骤：
步骤S4-1，对点云模型以及历史点云模型分别进行重采样，得到当前模型关键点和历史模型关键点；
步骤S4-2，基于当前模型关键点计算当前模型描述子，基于历史模型关键点计算历史模型描述子；
步骤S4-3，对每个历史点云模型，基于当前模型描述子和历史模型描述子，将点云模型与历史点云模型进行点云匹配，得到匹配点对以及相似度；
步骤S4-4，获取相似度最高的历史点云模型以及对应的匹配点对；
步骤S4-5，基于匹配点对，计算点云模型和历史点云模型之间的转换矩阵。
本实施例中，重采样为PCL库中的均匀采样方法，均匀采样能够有效降低点云中的噪音数据，且不改变点云中点的位置，因此适合于提取关键点。
模型描述子为SHOT(法线方向直方图特征)描述子，可以通过PCL库中的现有算法进行计算。
点云匹配采用PCL库中的KD-Tree近邻搜索算法，在点云模型中，为历史点云模型的每一个历史模型关键点匹配一个模型描述子最相似的当前模型关键点，从而得到多个点对，从多个点对中去除模型描述子距离过远的点对，得到多个匹配点对。匹配点对的数量即可作为两个模型的相似度。
变换矩阵通过PCL库中现有的点云转换方法来计算。变换矩阵包括旋转矩阵和平移矩阵。通过变换矩阵能够进行点云模型与历史点云模型之间的变换。
本实施例中，以汽车坐垫为例，将汽车坐垫的点云模型分别与多个存储的历史点云模型进行点云匹配，历史点云模型包括有汽车坐垫、汽车仪表板、汽车车门扶手等的点云模型，通过上述的计算和点云匹配，匹配点对数量最多的是汽车坐垫的历史点云模型，因此，就将该汽车坐垫的历史点云模型作为相似度最高的历史点云模型，并计算上述的变换矩阵。
如上所述，通过本实施例的步骤S4，匹配到了相似度最高的历史点云模型，并得到了两个模型间的变换矩阵。
步骤S5，对每个汽车内饰，获取相似度最高的历史点云模型所对应的历史喷胶轨迹以及历史喷胶轨迹参数。
本实施例中，工控机中的历史点云模型和历史喷胶轨迹及历史喷胶轨迹参数为对应存储，因此找到相似度最高的历史点云模型后，可以直接读取得历史喷胶轨迹及参数。
步骤S6，按照预先设定的顺序依次对多个所述汽车内饰进行所述喷胶操作，具体地，对每个所述汽车内饰，基于所述历史喷胶轨迹以及所述历史喷胶轨迹参数，通过所述喷胶机器人进行所述喷胶操作。
图5是本发明实施例中基于机器视觉进行高精度自动化喷胶的方法的步骤S5的流程图。
如图5所示，本实施例的步骤S6具体包括如下子步骤：
步骤S6-1，对于每个汽车内饰，通过变换矩阵将历史喷胶轨迹转换为本次喷胶轨迹，并通过变换矩阵将历史喷胶轨迹参数转换为本次喷胶轨迹参数；
步骤S6-2，按照预先设定的顺序依次将多个本次喷胶轨迹进行连接，得到最终的喷胶轨迹，并按照预先设定的顺序依次将多个本次喷胶轨迹参数进行合并，得到最终的喷胶轨迹参数；
步骤S6-3，基于最终的喷胶轨迹以及最终的喷胶轨迹参数，通过喷胶机器人进行喷胶操作。
本实施例中，由于设备条件、环境影响等因素，本次采集的点云与历史采集的点云之间不可避免会有一些距离、角度的差异，因此，需要通过上述的变换矩阵将历史喷胶轨迹转换到对应于当前的点云模型的机器人坐标系。
历史喷胶轨迹参数中包括轨迹方向以及轨迹行间距等，因此也需要通过上述的变换矩阵进行转换。
本实施例中，以喷胶机器人的位置为基准，预先设定的顺序为从近到远。
如上所述，通过实时三维拍摄、自动模型匹配及自动喷胶轨迹获取，对两个不同的汽车内饰依次进行了自动化的喷胶。
此外，本实施例中，操作人员还可以根据喷胶结果对历史喷胶轨迹以及历史喷胶轨迹参数进行优化及更新。该优化及更新可以异步于上述的喷胶过程进行，不影响喷胶过程。
图6是本发明实施例中历史喷胶轨迹及参数优化及更新的流程图。
如图6所示，本实施例中，历史喷胶轨迹及所述历史喷胶轨迹参数的优化及更新具体包括如下步骤：
步骤A1，根据喷胶结果对所述本次喷胶轨迹以及本次喷胶轨迹参数进行相应的优化；
步骤A2，通过变换矩阵将优化后的本次喷胶轨迹和本次喷胶轨迹参数转换到历史喷胶轨迹的坐标系；
步骤A3，将历史喷胶轨迹更新为本次喷胶轨迹，并将历史喷胶轨迹参数更新为本次喷胶轨迹参数。
本实施例中，喷胶结果包括以下的问题：汽车内饰的一角未被喷胶覆盖到、整体胶层稍厚。根据以上问题，操作人员通过工控机上的三维视觉喷涂软件进行相应的轨迹和参数优化，具体地，针对一角未覆盖到的问题，操作人员通过UI界面，手动对喷胶轨迹进行编辑，在相应的位置增加关键点并通过软件生成额外的喷胶轨迹段；针对整体胶层稍厚的问题，操作人员通过UI界面，在喷胶参数中的流量一栏输入一个更小的值。然后，操作人员将优化后的喷胶轨迹及参数通过上述的变换矩阵转换到历史喷胶轨迹的坐标系，并将转换后的喷胶轨迹及参数作为新的历史喷胶轨迹和新的历史喷胶轨迹参数存储到工控机中，以备下次喷胶调取使用。
本实施例还提供一种基于机器视觉进行高精度自动化喷胶的***。
图7是本发明实施例中基于机器视觉进行高精度自动化喷胶的***的结构框图。
如图7所示，本发明实施例的基于机器视觉进行高精度自动化喷胶的***10包括上述的三维相机11、上述的喷胶机器人12以及上述的控制装置13。
控制装置13包括主控制部131、历史模型存储部132、点云采集部133、目标识别部134、模型比对部135、喷胶轨迹生成部136、喷胶控制部137以及喷胶轨迹优化部138。
历史模型存储部132用于存储上述的多个历史点云模型。
点云采集部133采用上述的步骤S1-2的方法来采集包含有汽车内饰的场景点云并进行预处理。
目标识别部134采用上述的步骤S3的方法来从场景点云中识别出各个汽车内饰，并得到各个汽车内饰的点云模型。
模型比对部135采用上述的步骤S4的方法来将汽车内饰的点云模型与历史模型存储部132中存储的历史点云模型进行比对，得到相似度最高的历史点云模型。
喷胶轨迹生成部136采用上述的步骤S5的方法来获取与相似度最高的历史点云模型对应的历史喷胶轨迹及历史喷胶轨迹参数，并将历史喷胶轨迹及历史喷胶轨迹参数转换到喷胶机器人12的坐标系。
喷胶控制部137采用上述的步骤S6的方法来控制喷胶机器人12根据历史喷胶轨迹及历史喷胶轨迹参数依次对汽车内饰进行喷胶操作。
喷胶轨迹优化部138采用上述的优化及更新方法对历史喷胶轨迹及历史喷胶轨迹参数进行优化及更新。
实施例作用与效果
根据本实施例提供的基于机器视觉进行高精度自动化喷胶的方法及***，通过三维相机对预定工作区域进行点云采集及预处理，得到了包含有区域内所有汽车内饰三维信息的场景点云；通过对场景点云进行点云聚类分割，提取得到了每个汽车内饰的点云模型；将汽车内饰的点云模型与存储的多个历史点云模型进行比对，匹配到相似度最高的历史点云模型，并进一步得到了对应的历史喷胶轨迹及历史喷胶轨迹参数，基于该历史喷胶轨迹及历史喷胶轨迹参数，就能够通过喷胶机器人依次对多个汽车内饰进行自动化的喷胶。由于本发明的方法基于实时三维图像和自动模型匹配来自动得到和各个汽车内饰所对应的喷胶轨迹和参数，因此，不需要根据汽车内饰的种类来人为切换喷胶轨迹和参数，也不需要再人为示教喷胶机器人，节省了大量的时间，大大提高了汽车内饰的生产效率。
具体地，对汽车内饰的点云模型和历史点云模型进行重采样，分别得到两者的模型关键点，并基于模型关键点分别得到模型描述子，基于模型描述子进行点云模型与历史点云模型的点云匹配，对每个历史点云模型，都得到了匹配点对以及相似度，因此，通过比对就能够获取相似度最高的历史点云模型，进一步得到对应的历史喷胶轨迹，并能够计算得到转换矩阵，从而能够通过转换矩阵将历史喷胶轨迹转换到当前的机器人坐标系并加以运用。通过上述的方法能够自动获取高精度的历史喷胶轨迹，不需要实时采集高精度、高密度的三维点云，也不需要再将三维点云重构成曲面模型再生成喷胶轨迹，因此，省去了大量的实时运算，大大提高了生产效率，并减少了运算的能耗。
不仅如此，由于本发明的方法还根据喷胶结果来对历史喷胶轨迹及参数进行相应的优化和更新，因此，能够提升下一次自动化喷胶的精度，并且通过多次的喷胶结果可以进行持续的迭代优化，喷胶的精度能够持续得到提升。同时，喷胶轨迹及参数的优化和更新可异步于生产进行，不影响汽车内饰的生产效率。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
本实施例中，历史喷胶轨迹及参数的优化由操作人员人工完成，在实际应用中，也可以通过自动化的方法来完成，例如，可以在胶液中添加荧光剂，通过拍摄得到喷胶的荧光轨迹，通过图像处理和比对方法将荧光轨迹与预存的理想轨迹进行比较，根据比较结果自动对喷胶轨迹及参数进行相应的优化。
本实施例中，三维相机采用三维结构光方案，在实际应用中，三维相机也可以采用双目视觉方案、TOF方案、激光三角法方案等，或者采用多种技术的结合，例如采用双目视觉加三维结构光的组合方案。
本实施例中，需要进行喷胶的区域为汽车内饰的整个上表面，在实际应用中，需要进行喷胶的区域也可以为汽车内饰的部分上表面，可以由操作人员在汽车内饰的点云模型中手动进行框选来得到喷胶区域。

Claims (10)

1.一种基于机器视觉进行高精度自动化喷胶的方法，基于机器视觉通过喷胶机器人对放置在预定工作区域内的待喷胶的多个汽车内饰进行高精度喷胶，其特征在于，包括：
步骤S1，通过三维相机对所述预定工作区域进行点云采集，得到点云数据；
步骤S2，对所述点云数据进行预处理，得到场景点云；
步骤S3，对所述场景点云进行点云聚类分割，得到每个所述汽车内饰的点云模型；
步骤S4，对每个所述汽车内饰，将所述点云模型分别与多个历史点云模型进行比对，获取相似度最高的所述历史点云模型；
步骤S5，对每个所述汽车内饰，获取相似度最高的所述历史点云模型所对应的历史喷胶轨迹以及历史喷胶轨迹参数；
步骤S6，按照预先设定的顺序依次对多个所述汽车内饰进行所述喷胶操作，具体地，对每个所述汽车内饰，基于所述历史喷胶轨迹以及所述历史喷胶轨迹参数，通过所述喷胶机器人进行所述喷胶操作。
2.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述步骤S4包括如下子步骤：
步骤S4-1，对所述点云模型以及所述历史点云模型分别进行重采样，得到当前模型关键点和历史模型关键点；
步骤S4-2，基于所述当前模型关键点计算当前模型描述子，基于所述历史模型关键点计算历史模型描述子；
步骤S4-3，对每个所述历史点云模型，基于所述当前模型描述子和所述历史描述子，将点云模型与历史点云模型进行点云匹配，得到匹配点对以及相似度；
步骤S4-4，获取相似度最高的所述历史点云模型以及对应的所述匹配点对；
步骤S4-5，基于所述匹配点对，计算所述点云模型和所述历史点云模型之间的变换矩阵。
3.根据权利要求2所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述步骤S6包括如下子步骤：
步骤S6-1，对于每个所述汽车内饰，通过所述变换矩阵将所述历史喷胶轨迹转换为本次喷胶轨迹，并通过所述变换矩阵将所述历史喷胶轨迹参数转换为本次喷胶轨迹参数；
步骤S6-2，按照预先设定的顺序依次将多个所述本次喷胶轨迹进行连接，得到最终的喷胶轨迹，并按照预先设定的顺序依次将多个所述本次喷胶轨迹参数进行合并，得到最终的喷胶轨迹参数；
步骤S6-3，基于所述最终的喷胶轨迹以及所述最终的喷胶轨迹参数，通过所述喷胶机器人进行所述喷胶操作。
4.根据权利要求3所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，根据喷胶结果对所述历史喷胶轨迹及所述历史喷胶轨迹参数进行优化及更新，具体包括如下步骤：
步骤A1，根据所述喷胶结果对所述本次喷胶轨迹以及本次喷胶轨迹参数进行相应的优化；
步骤A2，通过所述变换矩阵将优化后的所述本次喷胶轨迹和所述本次喷胶轨迹参数转换到所述历史喷胶轨迹的坐标系；
步骤A3，将所述历史喷胶轨迹更新为所述本次喷胶轨迹，并将所述历史喷胶轨迹参数更新为所述本次喷胶轨迹参数。
5.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述步骤S1包括如下子步骤：
步骤S1-1，通过所述三维相机从不同视点进行多次拍摄，得到多个深度图；
步骤S1-2，将多个所述深度图分别转换为多个部分点云；
其中，多个所述深度图完全覆盖所述预定工作区域，
所述点云数据为多个所述部分点云的集合。
6.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述步骤S2包括如下子步骤：
步骤S2-1，对所述点云数据进行点云滤波；
步骤S2-2，对所述点云数据进行下采样；
步骤S2-3，对所述点云数据进行特征描述及提取，得到点云特征；
步骤S2-4，基于所述点云特征，对所述点云数据进行点云拼接，得到所述场景点云；
步骤S2-5，基于所述点云特征，对所述场景点云进行点云分割，去除所述多个汽车内饰以外的点云。
7.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述点云聚类分割采用欧式点云聚类分割方法。
8.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述历史喷胶轨迹参数包括轨迹方向以及轨迹行间距。
9.根据权利要求1所述的基于机器视觉进行高精度自动化喷胶的方法，其特征在于：
其中，所述三维相机采用双目视觉方案、三维结构光方案、TOF方案、激光三角法方案中的任意一种或几种的组合。
10.一种基于机器视觉进行高精度自动化喷胶的***，其特征在于，包括：
三维相机，用于对待喷胶的汽车内饰进行三维摄像；
喷胶机器人，用于对所述汽车内饰进行喷胶操作；以及
控制装置，用于对所述三维摄像以及所述喷胶操作的过程进行控制，
其中，所述控制装置包括：
点云采集部，通过所述三维相机采集包含有所述汽车内饰的场景点云，并对所述场景点云进行预处理；
历史模型存储部，存储有多个历史点云模型；
目标识别部，从所述场景点云中识别出各个所述汽车内饰，得到各个所述汽车内饰的点云模型；
模型比对部，将所述点云模型分别与各个所述历史点云模型进行比对，得到相似度最高的所述历史点云模型；
喷胶轨迹生成部，获取与相似度最高的所述历史点云模型相对应的历史喷胶轨迹以及历史喷胶轨迹参数，并将所述历史喷胶轨迹转换到所述喷胶机器人的坐标系；
喷胶控制部，控制所述喷胶机器人根据所述历史喷胶轨迹以及所述历史喷胶轨迹参数依次对所述汽车内饰进行所述喷胶操作；以及
喷胶轨迹优化部，根据喷胶结果对所述历史喷胶轨迹以及历史喷胶轨迹参数进行优化以及更新。
CN202111209078.0A 2021-10-18 2021-10-18 基于机器视觉进行高精度自动化喷胶的方法及*** Pending CN114782617A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111209078.0A CN114782617A (zh) 2021-10-18 2021-10-18 基于机器视觉进行高精度自动化喷胶的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111209078.0A CN114782617A (zh) 2021-10-18 2021-10-18 基于机器视觉进行高精度自动化喷胶的方法及***

Publications (1)

Publication Number Publication Date
CN114782617A true CN114782617A (zh) 2022-07-22

Family

ID=82422581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111209078.0A Pending CN114782617A (zh) 2021-10-18 2021-10-18 基于机器视觉进行高精度自动化喷胶的方法及***

Country Status (1)

Country Link
CN (1) CN114782617A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649545A (zh) * 2024-01-30 2024-03-05 武汉市双桥科技有限公司 基于人工智能的喷涂轨迹规划方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649545A (zh) * 2024-01-30 2024-03-05 武汉市双桥科技有限公司 基于人工智能的喷涂轨迹规划方法及***
CN117649545B (zh) * 2024-01-30 2024-04-12 武汉市双桥科技有限公司 基于人工智能的喷涂轨迹规划方法及***

Similar Documents

Publication Publication Date Title
CN110227876B (zh) 基于3d点云数据的机器人焊接路径自主规划方法
CN111152229B (zh) 3d机械视觉的机械手引导方法和装置
CN110434671A (zh) 一种基于特征测量的铸造件表面机加工轨迹校准方法
CN111035115B (zh) 一种基于3d视觉鞋底涂胶路径规划方法和装置
CN109202912A (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN108932736A (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN102527554A (zh) 一种自由曲面喷涂机器人的喷枪轨迹规划方法
CN104647377B (zh) 一种基于认知***的工业机器人及其控制方法
CN114571153B (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN111644935A (zh) 一种机器人三维扫描测量装置及工作方法
CN108876852B (zh) 一种基于3d视觉的在线实时物体识别定位方法
CN114061486B (zh) 面向飞机大型蒙皮曲面的自动化测量装置及其测量方法
CN111496789B (zh) 一种离线复杂曲面喷涂轨迹规划***及控制方法
CN114055255B (zh) 一种基于实时点云的大型复杂构件表面打磨路径规划方法
CN113319859B (zh) 一种机器人示教方法、***、装置及电子设备
CN111736528A (zh) 一种基于视觉纠偏的激光切割自动编程***
CN114782617A (zh) 基于机器视觉进行高精度自动化喷胶的方法及***
CN112958974A (zh) 一种基于三维视觉的可交互自动化焊接***
CN115139535B (zh) 基于三维重建技术的3d打印机逆反馈检测方法及***
Lai et al. Integration of visual information and robot offline programming system for improving automatic deburring process
CN115965960A (zh) 一种基于深度学习与3d点云的焊缝识别方法
Xu et al. A new welding path planning method based on point cloud and deep learning
CN114820804A (zh) 基于机器视觉进行自动化喷胶的方法及***
Zhang et al. Robot automation grinding process for nuclear reactor coolant pump based on reverse engineering
Filaretov et al. Method of combination of three-dimensional models of details with their CAD-models at the presence of deformations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination