CN210847488U - 基于计算机视觉的机器人激光清洗路径规划装置 - Google Patents
基于计算机视觉的机器人激光清洗路径规划装置 Download PDFInfo
- Publication number
- CN210847488U CN210847488U CN201920685560.3U CN201920685560U CN210847488U CN 210847488 U CN210847488 U CN 210847488U CN 201920685560 U CN201920685560 U CN 201920685560U CN 210847488 U CN210847488 U CN 210847488U
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- laser cleaning
- teaching
- module
- computer workstation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000009012 visual motion Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000003466 welding Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229910000838 Al alloy Inorganic materials 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003486 chemical etching Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006303 photolysis reaction Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
Images
Landscapes
- Laser Beam Processing (AREA)
Abstract
本实用新型公开了一种基于计算机视觉的机器人激光清洗路径规划装置。该装置中包括：视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置；其中，采用基于计算机视觉的示教方法，用户通过示教装置完成路径规划时，以人机协作的方式指导机器人对目标工件的进行激光清洗。此方法应用于小型工件的流水线作业，可提高工作效率；对于待加工的大型工件，可提高示教效率，同时充分结合了人的经验，避免在真实复杂环境中视觉自动识别方法失误率高的问题。
Description
技术领域
本实用新型涉及机器人技术与应用领域，更具体地说，涉及一种利用机器视觉方法，对机器人激光清洗路径进行规划。
背景技术
随着轨道交通的快速发展，地铁和高速列车产量大大增加。铝合金和钢作为轨道交通生产的主要材料，应用在高铁上时采用的连接方式主要为焊接，因此，为避免焊缝缺陷、提高焊接质量，在制造和检修过程中，常需要对一些复杂结构材料进行锈蚀、油污和油漆去除，在焊接前对焊接材料进行焊前清洗。
随着生产工艺与要求的提高，传统的处理方式如机械打磨法、化学腐蚀法等存在着清洗过程耗时长、效率低、损伤基材、加工成本高以及存在作业环境恶劣和环境污染等缺点，因此逐渐被淘汰，而采用激光清洗方式则可以很好的解决上述问题。
激光清洗利用激光能量密度高、聚焦性强、方向性好等特点，通过透镜组合聚焦光束，把光束集中到一个很小的区域中，利用激光脉冲的振动、分子的光分解或相变或它们的粒子联合作用等克服污物与基体表面之间的结合力，使污物脱离表面而达到清洗的目的。激光清洗作为当前最有前景的新型清洗方法，具有高效、绿色无污染、无损伤、非接触式清洗等特点，但如何有效提高激光清洗任务的自动化程度是当前工业界面临的一个难题。
实用新型内容
本实用新型要解决的技术问题在于，针对现有技术的缺陷，提供一种基于计算机视觉的机器人激光清洗路径规划装置。
本实用新型解决其技术问题所采用的技术方案是：构造一种基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，该装置包括视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置；其中：
所述视觉运动捕捉模块包括若干个对示教装置和机械臂进行实时拍摄的红外摄像机；
所述深度摄像头安装于机械臂末端和示教装置上；所述深度摄像头连接到计算机工作站，用于拍摄并传输目标工件的彩色图像与深度图像到计算机工作站；
示教装置上设有若干个示教标记点，所述示教装置用于定义机械臂的运动路径，通过所述标记点，使得示教装置上标记点构成的刚体被所述视觉运动捕捉模块识别到；
所述机械臂的每个关节上均设有关节标记点，通过所述关节标记点，对机械臂进行运动学参数标定；其中，所述机械臂连接到计算机工作站，且其末端固定有激光清洗装置；所述机械臂用于沿着示教装置的运动路径，利用所述激光清洗装置对目标工件进行激光清洗；
所述计算机工作站，用于根据接收到的数据，一方面进一步规划机械臂的运动路径，并驱动机械臂沿着规划好的路径运动；另一方面在调整好机械臂与目标工件之间的相对位姿后，驱动激光清洗装置对目标工件进行激光清洗。
进一步的，每个红外摄像机通过数据交换设备连接到计算机工作站，进一步将所述每个红外摄像机处理所得的数据同步传输到计算机工作站。
进一步的，在搭建若干台红外摄像机时，通过T型和L型标定工具，对由若干个红外摄像机构成的摄像机***的空间坐标系进行标定。
进一步的，所述示教装置还包括轨迹定义控制开关、深度摄像头控制开关和无线通信模块，其中：
所述无线通信模块与计算机工作站无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。
进一步的，所述计算机工作站包括计算机主机，以及运行在计算机主机内的控制软件；所述控制软件包括用于接收和处理所有实时数据的数据处理模块、用于对机械臂进行运动控制和标定的机械臂控制模块和机械臂标定模块、用于对目标工件进行三维重建的三维重建模块、用于显示或回放机械臂运动过程的可视化模块，以及用于对激光清洗装置进行控制的激光控制模块。
进一步的，所述计算机工作站还包括与计算机主机相连的显示终端；所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放；其中，可视化模块的实时显示包括真实录像，以及利用OpenGL软件进行三维场景模拟。
在本实用新型所述的一种基于计算机视觉的机器人激光清洗路径规划方法及装置中，用户通过示教装置对机械臂进行示教，使机械臂末端沿着示教杆定义的路径完成相应的运动。同时，采用基于计算机视觉的示教方法，用户通过示教装置完成路径规划的时候，以人机协作的方式指导机器人对目标工件的进行激光清洗。此方法应用于小型工件的流水线作业，可提高工作效率，具有广阔的应用前景。
附图说明
下面将结合附图及实施例对本实用新型作进一步说明，附图中：
图1是本实用新型基于计算机视觉的机器人激光清洗路径规划装置的结构图；
图2是本实用新型基于计算机视觉的机器人激光清洗路径规划装置的方法流程图；
图3是示教装置的结构图。
具体实施方式
为了对本实用新型的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本实用新型的具体实施方式。
请参考图1，其为本实用新型中机械臂示教装置的结构图，在本实用新型提出的一种机械臂示教装置中，该装置包括视觉运动捕捉模块、计算机工作站、示教装置和机械臂，其中：
1、视觉捕捉模块：
所述视觉运动捕捉模块包括8个红外摄像机，且每台摄像机通过云台支架进行固定，每台摄像机离地的距离为2.5米；在对上述8个红外摄像机进行搭建的时候，一方面将摄像机呈正方形的布置在场地内，其中，正方形的半径长为3米，每台红外摄像机的中心均对准工件台的操作区域；另一方面为了能够保证计算机工作站能够有效的识别到标记点或刚体的空间坐标，利用T型和L型标定工具标定由8台摄像机构成的摄像机***的空间坐标系；
所述视觉运动捕捉模块以有线的方式连接到计算机工作站，其中，每台红外摄像机通过线缆连接到数据交换机的输入端，其输出端连接到计算机工作站，进一步将所述每个红外摄像机处理所得的数据同步传输到计算机工作站；本实施例中，数据获取帧率为240FPS。
2、示教装置：
本实施例中，采用手持示教杆对机械臂的运动路径进行预定义，所述示教杆上设有8个示教标记点、轨迹定义控制开关、深度摄像头控制开关、深度摄像头和无线通信模块；其中：
本实施例中所述示教标记点采用反光球体，使得摄像机能够定位到示教杆；打开控制开关，即可驱动示教杆开始示教工作，而在整个示教的过程中，该装置上设有的8个反光球体共同构成一个刚体，经由摄像装置进行拍摄并传输到计算机工作站，由计算机工作站进一步处理得到所述刚体的空间坐标，然后根据所述空间坐标得到示教杆末端的空间姿态；
所述无线通信模块与计算机工作站的USB接口无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，当开启轨迹定义控制开关和深度摄像头控制开关对示教杆进行控制的时候，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。
本实施例中，在示教杆内还设有电源模块，所述电源模块可采用由两节5号电池组成，进一步对示教杆进行供电；或者通过MicroUSB充电口对示教杆进行充电；其中，由电源开关按钮控制其通断模式(整个示教杆的设计图，请参考图3，其中，所述手持示教杆包括轨迹定义开关按钮1、深度摄像头开关按钮2、无线通信模块3、电源模块4、电源开关按钮5、MicroUSB充电口6、USB接口7、深度摄像头8和8个标记点9)，通过手持示教杆末端规划清洗路径，对机械臂进行示教。
3、计算机工作站
所述计算机工作站包括计算机主机、与计算机主机相连的显示终端，以及运行在计算机主机内的控制软件，通过所述控制软件对计算机主机接收到的所有数据进行处理；
所述控制软件包括用于处理数据的数据处理模块、用于对机械臂进行运动路径规划的机械臂控制模块、用于对机械臂进行标定的机械臂标定模块、对激光清洗装置进行控制的激光控制模块、用于对目标工件进行三维重建的三维重建模块和用于显示或回放机械臂运动过程的可视化模块；其中，所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放。
4、机械臂
所述机械臂连接到计算机工作站，所述机械臂末端固定有激光清洗装置和深度摄像头；所述机械臂连接到计算机主机的USB接口；在示教杆进行示教的过程中，所述计算机工作站根据处理所得的示教杆末端的空间姿态数据，对机械臂进行运动路径规划，并驱动机械臂末端按照规划好的路径，完成相应的运动；其中，在机械臂沿着规划好的路径运动时，利用安装于机械臂末端和示教杆上的深度摄像头对目标工件进行拍摄，实时传输目标工件的彩色、深度图像到计算机工作站，站内由数据处理模块和三维重建模块对该项数据采用ICP算法对目标工件进行三维重建后，进一步得到示教杆与目标工件的相对位姿；而当计算机工作站根据所得的示教杆与目标工件的相对位姿，对设于机械臂末端的激光清洗装置和目标工件之间的相对位姿进行调整的同时，激光控制模块驱动激光清洗装置对目标工件的进行激光清洗。
作为一个优选的实施例，为了保证机械臂的定位精度，在对机械臂进行路径规划前，需利用机械臂上设有的多个关节标记点，对机械臂进行标定。
作为一个优选的实施例，当对目标工件进行二次激光清洗，机械臂从初始状态运行至由机械臂控制模块规划好的路径起始点的过程中，由设于机械臂末端的深度摄像头对目标工件再次进行三维重建；其中，将当前清洗过程中得到的3D点云模板，与上次清洗过程中已进行处理并存储于三维重建模块的3D点云模板进行匹配；若目标工件与示教装置的相对位姿存在偏差，则利用机械臂控制模块对机械臂进行实时的运动补偿，进一步提高激光清洗过程的精确度。
请参考图2，其为本实用新型基于计算机视觉的机器人激光清洗路径规划装置的方法流程图，其中，具体的处理步骤包括：
S1、环境搭建：搭建视觉运动捕捉模块，具体为：以机械臂为中心，呈环形布置并搭建8台红外摄像机；其中，每台红外摄像机的中心均对准工件台的操作区域；搭建完成后，标定摄像机***的空间坐标系；
S2、机械臂标定：通过机械臂控制软件控制机械臂末端运动，同时利用步骤S1搭建好的红外摄像机拍摄并传输机械臂上的每个关节标记点的位置到机械臂标定模块中，该模块利用接收到的数据对机械臂进行标定；
S3、数据处理：标定完成后，用户根据目标工件待清洗的区域，驱动示教杆开始进行示教；示教过程中，一方面利用步骤S1搭建好的红外摄像机拍摄并传输示教标记点构成的刚体空间位置到数据处理模块；另一方面利用设于示教装置上的深度摄像头，拍摄并传输目标工件的彩色图像与深度图像到数据处理模块；其中，由数据处理模块进一步计算得到示教杆末端的空间姿态，以及目标工件的点云数据；而得到的所述点云数据经由三维重建模块，对其进行滤波处理后，利用该项数据对目标工件进行三维重建，进一步得到目标工件的3D点云模板，以及示教杆与目标工件的相对位姿；
S4、路径规划：机械臂控制模块根据步骤S2处理得到的示教杆末端的空间姿态，对机械臂进行运动路径规划，驱动机械臂完成相应运动；在机械臂沿着规划好的路径运动时，机械臂控制模块调整好激光清洗装置与目标工件的相对位姿后，由激光控制模块驱动激光清洗装置沿着机械臂的运动路径对目标工件进行激光清洗；其中，在机械臂运动的过程中，与可视化模块连接的显示终端，对机械臂的运动过程进行可视化显示。
上面结合附图对本实用新型的实施例进行了描述，但是本实用新型并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实用新型的启示下，在不脱离本实用新型宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本实用新型的保护之内。
Claims (6)
1.一种基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，该装置包括视觉运动捕捉模块、计算机工作站、机械臂、设于机械臂末端的激光清洗装置、深度摄像头和示教装置；其中：
所述视觉运动捕捉模块包括若干个对示教装置和机械臂进行实时拍摄的红外摄像机；
所述深度摄像头安装于机械臂末端和示教装置上；所述深度摄像头连接到计算机工作站，用于拍摄并传输目标工件的彩色图像与深度图像到计算机工作站；
示教装置上设有若干个示教标记点，所述示教装置用于定义机械臂的运动路径，通过所述标记点，使得示教装置上标记点构成的刚体被所述视觉运动捕捉模块识别到；由计算机工作站进一步处理得到所述刚体的空间坐标，然后根据所述空间坐标得到示教装置末端的空间姿态；
所述机械臂的每个关节上均设有关节标记点，通过所述关节标记点，对机械臂进行运动学参数标定；其中，所述机械臂连接到计算机工作站，且其末端固定有激光清洗装置；所述机械臂用于沿着示教装置的运动路径，利用所述激光清洗装置对目标工件进行激光清洗；
所述计算机工作站，用于根据接收到的数据，一方面进一步规划机械臂的运动路径，并驱动机械臂沿着规划好的路径运动；另一方面在调整好机械臂与目标工件之间的相对位姿后，驱动激光清洗装置对目标工件进行激光清洗。
2.根据权利要求1所述的基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，每个红外摄像机通过数据交换设备连接到计算机工作站，进一步将所述每个红外摄像机处理所得的数据同步传输到计算机工作站。
3.根据权利要求1所述的基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，在搭建若干台红外摄像机时，通过T型和L型标定工具，对由若干个红外摄像机构成的摄像机***的空间坐标系进行标定。
4.根据权利要求1所述的基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，所述示教装置还包括轨迹定义控制开关、深度摄像头控制开关和无线通信模块，其中：
所述无线通信模块与计算机工作站无线连接；所述轨迹定义控制开关和深度摄像头控制开关均与无线通信模块连接，用于控制机械臂和激光清洗装置的运行模式；其中，控制过程中产生的控制信号经由无线传输模块实时传输到计算机工作站，由其进一步控制机械臂和激光清洗装置的运动路径的开始和结束位置。
5.根据权利要求1所述的基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，所述计算机工作站包括计算机主机，以及运行在计算机主机内的控制软件；所述控制软件包括用于接收和处理所有实时数据的数据处理模块、用于对机械臂进行运动控制和标定的机械臂控制模块和机械臂标定模块、用于对目标工件进行三维重建的三维重建模块、用于显示或回放机械臂运动过程的可视化模块，以及用于对激光清洗装置进行控制的激光控制模块。
6.根据权利要求5所述的基于计算机视觉的机器人激光清洗路径规划装置，其特征在于，所述计算机工作站还包括与计算机主机相连的显示终端；所述可视化模块通过显示终端对示教过程以及机械臂运动过程进行实时显示或回放；其中，可视化模块的实时显示包括真实录像，以及利用OpenGL软件进行三维场景模拟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920685560.3U CN210847488U (zh) | 2019-05-14 | 2019-05-14 | 基于计算机视觉的机器人激光清洗路径规划装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201920685560.3U CN210847488U (zh) | 2019-05-14 | 2019-05-14 | 基于计算机视觉的机器人激光清洗路径规划装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210847488U true CN210847488U (zh) | 2020-06-26 |
Family
ID=71303688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201920685560.3U Expired - Fee Related CN210847488U (zh) | 2019-05-14 | 2019-05-14 | 基于计算机视觉的机器人激光清洗路径规划装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210847488U (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113070290A (zh) * | 2021-04-12 | 2021-07-06 | 哈尔滨学院 | 一种基于计算机视觉的机器人激光清洗路径规划装置 |
| CN115861494A (zh) * | 2023-02-20 | 2023-03-28 | 青岛大学 | 一种跨模态变换器模型式自动舞蹈生成方法 |
-
2019
- 2019-05-14 CN CN201920685560.3U patent/CN210847488U/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113070290A (zh) * | 2021-04-12 | 2021-07-06 | 哈尔滨学院 | 一种基于计算机视觉的机器人激光清洗路径规划装置 |
| CN115861494A (zh) * | 2023-02-20 | 2023-03-28 | 青岛大学 | 一种跨模态变换器模型式自动舞蹈生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110116116A (zh) | 基于计算机视觉的机器人激光清洗路径规划***及方法 | |
| CN110125944B (zh) | 一种机械臂示教***和方法 | |
| CN110170995B (zh) | 一种基于立体视觉的机器人快速示教方法 | |
| CN108481323A (zh) | 基于增强现实的机器人运动轨迹自动编程***及方法 | |
| CN110170996B (zh) | 一种基于立体视觉的机器人快速示教*** | |
| CN112643207B (zh) | 基于计算机视觉的激光自动除锈***及方法 | |
| CN113333998A (zh) | 一种基于协作机器人的自动化焊接***及方法 | |
| CN104325268A (zh) | 一种基于智能学习的工业机器人三维空间自主装配方法 | |
| CN210847488U (zh) | 基于计算机视觉的机器人激光清洗路径规划装置 | |
| CN110142770B (zh) | 一种基于头戴显示装置的机器人示教***及方法 | |
| CN101770710A (zh) | 用于遥控焊接的激光视觉传感辅助遥控示教方法 | |
| CN111906788B (zh) | 一种基于机器视觉的卫浴智能打磨***及其打磨方法 | |
| CN113352300B (zh) | 一种喷涂机器人示教器及方法 | |
| CN113246142B (zh) | 一种基于激光引导的测量路径规划方法 | |
| CN111774775B (zh) | 用于大型结构件龙门式机器人焊接的三维视觉***及控制方法 | |
| CN112223292A (zh) | 结构件焊缝智能磨抛机器人在线打磨*** | |
| CN112958974A (zh) | 一种基于三维视觉的可交互自动化焊接*** | |
| CN113021082A (zh) | 一种基于遥操作及全景视觉的机器人铸件打磨方法 | |
| CN210361314U (zh) | 一种基于增强现实技术的机器人示教装置 | |
| CN116214508A (zh) | 一种机械臂三维自动扫描装置及扫描方法 | |
| CN113223071B (zh) | 一种基于点云重建的工件焊缝定位的方法 | |
| CN117047237B (zh) | 一种异形件智能柔性焊接***与方法 | |
| CN110961583A (zh) | 采用激光扫描的钢包定位装置及其使用方法 | |
| CN111360789B (zh) | 工件加工的示教方法、控制方法及机器人示教*** | |
| CN217618390U (zh) | 一种基于视觉识别的激光焊接*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200626 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |