CN111906788B - 一种基于机器视觉的卫浴智能打磨***及其打磨方法 - Google Patents

一种基于机器视觉的卫浴智能打磨***及其打磨方法 Download PDF

Info

Publication number
CN111906788B
CN111906788B CN202010805350.0A CN202010805350A CN111906788B CN 111906788 B CN111906788 B CN 111906788B CN 202010805350 A CN202010805350 A CN 202010805350A CN 111906788 B CN111906788 B CN 111906788B
Authority
CN
China
Prior art keywords
polishing
bathroom
intelligent
robot
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010805350.0A
Other languages
English (en)
Other versions
CN111906788A (zh
Inventor
郑明辉
胡涛
张华�
刘业涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enshi Xirui Intelligent Technology Co ltd
Hubei University for Nationalities
Original Assignee
Enshi Xirui Intelligent Technology Co ltd
Hubei University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enshi Xirui Intelligent Technology Co ltd, Hubei University for Nationalities filed Critical Enshi Xirui Intelligent Technology Co ltd
Priority to CN202010805350.0A priority Critical patent/CN111906788B/zh
Publication of CN111906788A publication Critical patent/CN111906788A/zh
Application granted granted Critical
Publication of CN111906788B publication Critical patent/CN111906788B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/005Manipulators for mechanical processing tasks
    • B25J11/0065Polishing or grinding
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B1/00Processes of grinding or polishing; Use of auxiliary equipment in connection with such processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00Arrangements for automatic control of a series of individual steps in grinding a workpiece
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B9/00Machines or devices designed for grinding edges or bevels on work or for removing burrs; Accessories therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)

Abstract

本发明属于工业机器人领域,涉及一种基于机器视觉的卫浴智能打磨***,包括打磨机器固定装置以及固定安装在打磨机器固定装置上的打磨控制装置和卫浴固定装置,打磨控制装置包括固定安装在打磨机器固定装置上的打磨机器人、连接在打磨机器人自由端的光学摄像头和气动打磨装置,打磨机器人纵轴的顶部固定安装有智能打磨控制模块,打磨机器人一侧的打磨机器固定装置上安装有控制装置,解决了现有抛光机器人不能实时构建三维场景、规划打磨路径,导致其适应性不强,无法满足多品种、小批量、非标准打磨工件生产要求的问题。

Description

一种基于机器视觉的卫浴智能打磨***及其打磨方法
技术领域
本发明属于工业机器人领域,涉及一种基于机器视觉的卫浴智能打磨***及其打磨方法。
背景技术
机器人研究水平的高低直接与一个国家的经济、科技水平密切相关,在一定程度上反映了这个国家的综合实力。目前,打磨拋光主要以人工为主,由于对人体的高危害,打磨抛光行业已面临严重的用工荒;采用通用六自由度工业机器人虽然能实现自动打磨抛光,但设备昂贵,难以在薄利的打磨抛光行业大规模应用。鉴于此,本专利开展打磨抛光机器人智能控制***的研究和开发,提升我国金属抛光打磨行业装备水平。因此,研发抛光打磨机器人智能打磨***不仅具有很髙的学术价值,同时也具有相当大的现实意义。
国内外相关高校和科研机构对抛光打磨机器人以及用于抛光打磨机器人的拉制***的研究己经有了很大进展,并取得了大量的研究成果,主要是朝着自适应、多任务、可重复编程、对复杂模具抛光离线编程以及运动仿真的智能型机器人抛光***方向发展。实践证明,机器人加工在研磨过程中,有精度高、稳定性好、质量好、效率是人工的3-4倍等优点,并且机器人能提供更高、更可靠、更广阔的控制手段,但在抛光打磨控制***、三维场景构建、路径规划等方面仍然有许多技术需要突破。
发明内容
有鉴于此,本发明为了解决现有抛光机器人不能实时构建三维场景、规划打磨路径,导致其适应性不强,无法满足多品种、小批量、非标准打磨工件生产要求的问题,提供一种基于机器视觉的卫浴智能打磨***及其打磨方法。该卫浴智能打磨***利用机器视觉技术,利用SLAM实现打磨工作台场景的实时三维重建,然后利用计算机视觉技术实现重建三维场景中的卫浴对象识别,并识别需要打磨卫浴区域的三维坐标,然后在相对坐标系下将打磨区域三维坐标映射到机械臂坐标空间下,最后基于打磨区域类型和打磨区域空间位置驱动机械臂完成拟打磨卫浴区域的打磨。
为达到上述目的,本发明提供一种基于机器视觉的卫浴智能打磨***,包括打磨机器固定装置以及固定安装在打磨机器固定装置上的打磨控制装置和卫浴固定装置,打磨控制装置包括固定安装在打磨机器固定装置上的打磨机器人、连接在打磨机器人自由端的光学摄像头和气动打磨装置,打磨机器人纵轴的顶部固定安装有智能打磨控制模块,打磨机器人一侧的打磨机器固定装置上安装有控制装置和PLC控制柜。
本基础方案的有益效果在于:打磨机器固定装置用于支撑打磨控制装置和卫浴固定装置。打磨机器人通过自身空间位置的移动,带动光学摄像头和气动打磨装置对待打磨卫浴工件的扫描和打磨轨迹的实现,并实时对待打磨卫浴工件的工作场景进行三维重构,并识别需要打磨卫浴区域的三维坐标,然后在相对坐标系下将打磨区域三维坐标映射到打磨机器人的机械臂坐标空间下,最后基于打磨区域类型和打磨区域空间位置驱动机械臂完成拟打磨卫浴区域的打磨。智能打磨控制模块将待打磨卫浴工件的三维坐标和待打磨卫浴工件打磨区域的三维坐标发送到控制装置,控制装置接受到打磨区域的三维位置坐标后,控制打磨机器人驱动气动打磨装置对卫浴工件待打磨区域进行打磨。
进一步,智能打磨控制模块为NVIDIA Jetson模块,智能打磨控制模块与光学摄像头通过USB进行通信。有益效果:打磨机器人驱动光学摄像头对待打磨的卫浴工件进行非接触式旋转扫描,智能打磨控制模块接受光学摄像头拍摄的多组待打磨卫浴工件图像数据,完成打磨场景的三维重建和待打磨卫浴工件的三维识别,在对待打磨卫浴工件三维识别的基础上,智能打磨控制模块同时也完成待打磨卫浴工件打磨区域的定位。
进一步,光学摄像头包括高清相机、激光发生器和滤光片。有益效果:高清相机负责采集激光发生器投射在卫浴工件表面处的550nm波长的红色线激光,将采集到的线激光图像通过叠加生成完整的图像。滤光片负责滤除550nm波长以外的光波,有利于提高高清相机采集图片的质量。
进一步,气动打磨装置包括与打磨机器人机械臂连接的气动支撑架、打磨头。有益效果:气动支撑架的作用是为打磨头提供支撑装置,通过外接压缩气作用于气动支撑架,气动支撑架受力传导到打磨头,从而作用到打磨头上。
进一步,打磨机器固定装置包括长方体状的底座和均匀固定安装在底座四周的若干支腿。有益效果:支腿用于支撑打磨机器固定装置、打磨控制装置和卫浴固定装置,且具有调整底座水平度的作用。
一种基于机器视觉的卫浴智能打磨***的打磨方法,包括以下步骤:
A、固定作业场景的360°单目多视角图像获取
将卫浴固定装置和打磨机器人的相对位置坐标固定,控制装置控制打磨机器人围绕卫浴固定装置进行360°绕行,光学摄像头实时将拍摄的图像数据传输到智能打磨控制模块中进行数据处理;
B、基于智能打磨控制模块的三维重建及识别
智能打磨控制模块收到一组卫浴固定装置的360°图像数据后,基于智能打磨控制模块上的GPU资源,使用LSD-SLAM算法对卫浴固定装置所处在的作业场景进行稠密的三维重建;在三维重建的结果上再基于智能打磨控制模块上的GPU资源使用PointCNN网络对三维场景模型进行卫浴的识别;最后在识别卫浴三维模型的基础上,使用精细的PointCNN网络实现卫浴毛刺的识别,从而确定卫浴打磨的空间位置坐标;
C、基于力控的视觉引导卫浴打磨控制
智能打磨控制模块将打磨的卫浴毛刺三维空间坐标传输到控制装置中,控制装置利用识别的卫浴类型和毛刺的大小,确定打磨参数,然后控制装置基于打磨参数和毛刺的空间位置坐标,驱动打磨机器人控制气动打磨装置实现卫浴毛刺的打磨;
D、基于视觉识别的卫浴打磨质量评判
控制装置驱动打磨机器人完成所有识别毛刺的打磨后,控制装置驱动打磨机器人控制光学摄像头完成卫浴固定装置所处在的作业场景二次360°图像拍摄,控制光学摄像头再将采集到的图像数据传送到智能打磨控制模块,智能打磨控制模块完成打磨作业区的二次三维场景重建,并对卫浴的毛刺进行二次识别,从而实现卫浴打磨质量的评价。
进一步,步骤A中将卫浴固定装置的固定坐标输入控制装置中,并以卫浴固定装置的中心点位置坐标为参考点。
进一步,步骤C将识别的卫浴打磨空间位置坐标转换为机器人坐标系下的空间坐标传输到控制装置中。
本发明的有益效果在于:
1、本发明所公开的基于机器视觉的卫浴智能打磨***,能够实现基于三维视觉的六轴工业机器人自适应校准,从而使得同一机器人在同一工作流水线上能够自适应的去识别打磨对象。并且通过打磨区域的自动定位,改变原有基于固定路径的打磨策略,该智能工业机器人可以实现基于区域的打磨,从而提高了打磨效率,延长了打磨耗材的使用时间,省去了人工辅助完成打磨校准的繁琐工作。该基于机器视觉的卫浴智能打磨***能够根据实际场景进行实时调整打磨区域的三维坐标,而传统机器人打磨技术无法完成根据特定卫浴类型进行打磨策略的设计,所有机械臂的参数都属于经验数据。
2、本发明所公开的基于机器视觉的卫浴智能打磨***,当把待打磨的卫浴放置在机器人作业台上后,机器人将自动控制前端机械臂的高清相机实现对卫浴固定装置上作业台的360°拍照,然后再利用具有GPU算力的智能控制***实现作业台的三维重建,并在智能控制***上利用多层卷积神经网络实现作业台上卫浴的识别。在此基础上,利用微调技术实现卫浴打磨区域的识别和空间定位。智能控制***将利用定位的打磨区域空间坐标转换成机械臂坐标系的空间位置坐标,然后并根据卫浴类型进行机械臂力控***的自动控制,最后根据视觉数据实现打磨力控的自适应反馈,实现打磨区域的自动调整。
3、本发明所公开的基于机器视觉的卫浴智能打磨***,能够实现基于机器视觉的工作机器人业务作业质量的实时测评,可以直接通过对比打磨前和打磨后三维点云的几何特征,从而判断打磨业务的质量,提高最终的打磨成品率。
4、本发明所公开的基于机器视觉的卫浴智能打磨***,基于NVIDIA Jetson的算法加速,在现有的工作机器人本体上利用NVIDIA Jetson平台加速复杂的LSD-SLAM算法,并在NVIDIA Jetson平台上部署PointCNN网络,确保了提出的智能工业机器人的实时性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明基于机器视觉的卫浴智能打磨***的结构示意图;
图2为本发明基于机器视觉的卫浴智能打磨***中卫浴识别PointCNN网络的训练算法流程图;
图3为本发明基于机器视觉的卫浴智能打磨***中卫浴毛刺识别PointCNN网络的训练算法流程图;
图4为本发明基于机器视觉的卫浴智能打磨***的识别算法流程图;
图5为本发明基于机器视觉的卫浴智能打磨***的打磨流程图。
附图标记:打磨机器固定装置1、卫浴固定装置2、光学摄像头3、气动打磨装置4、打磨机器人5、智能打磨控制模块6、控制装置7、卫浴工件8、PLC控制柜9。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
其中,附图仅用于示例性说明,表示的仅是示意图,而非实物图,不能理解为对本发明的限制;为了更好地说明本发明的实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本发明的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本专利中SLAM(Simultaneous Localization and Mapping)技术指机器人同步定位与建图,即机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图,实现机器人的自主定位和导航。
如图1所示的一种基于机器视觉的卫浴智能打磨***,包括打磨机器固定装置1以及固定安装在打磨机器固定装置上的打磨控制装置和卫浴固定装置2,打磨机器固定装置用于支撑打磨控制装置和卫浴固定装置2。打磨机器固定装置包括长方体状的底座和均匀固定安装在底座四周的若干支腿,支腿用于支撑打磨机器固定装置、打磨控制装置和卫浴固定装置,且具有调整底座水平度的作用。
卫浴固定装置上放置有待打磨的卫浴工件。卫浴固定装置用于将待打磨的卫浴工件支撑并固定在相应的位置。卫浴固定装置包括固定在打磨机器固定装置底座上的底部固定框架、固定在底座固定框架四角处的支撑柱以及固定在支撑柱上的顶部固定框架,顶部固定框架上固定安装有上部带有夹头的夹持杆。待打磨的卫浴工件打磨完成后,开启夹持杆上的夹头将打磨后的卫浴工件取走更换,实现待打磨卫浴工件简单、高效的流转。
打磨控制装置包括固定安装在打磨机器固定装置底座上的打磨机器人5、连接在打磨机器人自由端的光学摄像头3和气动打磨装置4,打磨机器人为工业六关节机器人,主要通过自身空间位置的移动,带动光学摄像头和气动打磨装置对待打磨卫浴工件8的扫描和打磨轨迹的实现,并实时对待打磨卫浴工件的工作场景进行三维重构,并识别需要打磨卫浴区域的三维坐标,然后在相对坐标系下将打磨区域三维坐标映射到打磨机器人的机械臂坐标空间下,最后基于打磨区域类型和打磨区域空间位置驱动机械臂完成拟打磨卫浴区域的打磨。
打磨机器人5纵轴的顶部固定安装有智能打磨控制模块6,智能打磨控制模块为NVIDIA Jetson模块,智能打磨控制模块6与光学摄像头通过USB进行通信。打磨机器人5驱动光学摄像头对待打磨的卫浴工件进行非接触式旋转扫描,智能打磨控制模块6接受光学摄像头3拍摄的多组待打磨卫浴工件图像数据,完成打磨场景的三维重建和待打磨卫浴工件的三维识别,在对待打磨卫浴工件三维识别的基础上,智能打磨控制模块同时也完成待打磨卫浴工件打磨区域的定位。智能打磨控制模块将待打磨卫浴工件的三维坐标和待打磨卫浴工件打磨区域的三维坐标发送到控制装置7,控制装置接受到打磨区域的三维位置坐标后,控制打磨机器人驱动气动打磨装置对卫浴工件待打磨区域进行打磨。
光学摄像头3包括高清相机、激光发生器、滤光片,高清相机负责采集激光发生器投射在卫浴工件表面处的550nm波长的红色线激光,将采集到的线激光图像通过叠加生成完整的图像,通过控制装置内的信号发生器(如锯齿型信号发生器)产生一定频率的矩形波,当高清相机收到矩形波信号的高电平时,高清相机采集一幅图片,不同的矩形波触发信号可以实现高清相机不同的图像采样频率。滤光片负责滤除550nm波长以外的光波,有利于提高高清相机采集图片的质量。
气动打磨装置4包括与打磨机器人机械臂连接的气动支撑架、打磨头,气动支撑架的作用是为打磨头提供支撑装置,通过外接压缩气作用于气动支撑架,气动支撑架受力传导到打磨头,从而作用到打磨头上。利用气体调压阀调节压缩气流量,输出不同大小的压力,从而实现对打磨头的支撑和调节压力的目的。打磨头为末端执行机构,根据不同的打磨要求,可以方便的选择不同规格的打磨片,从而实现不同的打磨工艺。
PLC控制柜9包括用于给打磨机器人、打磨浮动头控制器、高清相机、激光发生器提供电源,控制装置7用于控制机器人本体运动、打磨头压力大小、高清相机采集、激光发生器开闭的控制装置。PLC控制柜9可以提供多种规格的直流电和交流电,例如提供给高清相机的48V直流电,提供给打磨头的220V交流电,提供给打磨机器人本体的三相380V交流电,提供给激光发生器的12V直流电等。控制装置7还用于收集卫浴固定装置的坐标,确定打磨参数并控制机器人本体运动,通过控制电磁调压阀阀门大小间接控制打磨头的压力,通过千兆以太网通信协议接收高清相机的数据,发送控制装置处理好的指令等。
该基于机器视觉的卫浴智能打磨***,利用计算机视觉和人工智能技术实现打磨场景下的卫浴识别、打磨区域定位,并实现机器人臂的智能打磨,如打磨路径的规划、打磨力度的自适用反馈。其核心解决的问题是:(1)基于计算机视觉的卫浴识别和卫浴打磨区域定位;(2)基于打磨区域类型和打磨区域空间位置的机器人臂的智能驱动。
一种基于机器视觉的卫浴智能打磨***的打磨方法,包括以下步骤:
A、固定作业场景的360°单目多视角图像获取
将卫浴固定装置和打磨机器人的相对位置坐标固定,在控制装置中输入卫浴固定装置的固定坐标,并以卫浴固定装置的中心点位置坐标为参考点,控制装置控制打磨机器人围绕卫浴固定装置进行360°绕行,与此同时控制装置驱动光学摄像头按照设定拍摄速率对卫浴固定装置进行拍照,光学摄像头实时将拍摄的图像数据传输到智能打磨控制模块中进行数据处理;
B、基于智能打磨控制模块的三维重建及识别
智能打磨控制模块收到一组卫浴固定装置的360°图像数据后,基于智能打磨控制模块上的GPU资源,使用Large-Scale Direct Monocular SLAM算法(LSD-SLAM算法)对卫浴固定装置所处在的作业场景进行稠密的三维重建;在三维重建的结果上再基于智能打磨控制模块上的GPU资源使用PointCNN网络对三维场景模型进行卫浴的识别;最后在识别卫浴三维模型的基础上,使用精细的PointCNN网络实现卫浴毛刺的识别,从而确定卫浴打磨的空间位置坐标;
C、基于力控的视觉引导卫浴打磨控制
智能打磨控制模块将打磨的卫浴毛刺三维空间坐标传输到控制装置中,控制装置利用识别的卫浴类型和毛刺的大小,确定打磨参数,然后控制装置基于打磨参数和毛刺的空间位置坐标,驱动打磨机器人控制气动打磨装置实现卫浴毛刺的打磨;
D、基于视觉识别的卫浴打磨质量评判
控制装置驱动打磨机器人完成所有识别毛刺的打磨后,控制装置驱动打磨机器人控制光学摄像头完成卫浴固定装置所处在的作业场景二次360°图像拍摄,控制光学摄像头再将采集到的图像数据传送到智能打磨控制模块,智能打磨控制模块完成打磨作业区的二次三维场景重建,并对卫浴的毛刺进行二次识别,从而实现卫浴打磨质量的评价。
本专利基于机器视觉的卫浴智能打磨***的算法分为两个方面:训练算法和识别算法。
训练算法利用现有的数据集实现卫浴的识别和毛刺的识别,其中卫浴识别PointCNN网络的训练算法流程见图2,卫浴毛刺识别PointCNN网络的训练算法流程见图3。
识别算法利用LSD-SLAM算法、卫浴PointCNN网络、卫浴毛刺PointCNN网络实现打磨作业区的三维场景重建、卫浴识别和毛刺识别,具体算法流程见图4。
如图5所示该基于机器视觉的卫浴智能打磨***的工作原理为:
(1)通过打磨机器人软件平台(Robot Operating System,ROS)对六轴工业机器人的JT1和JT6电机进行旋转控制,实现打磨机器人基于固定作业场景的360°单目多视角图像获取。然后利用Large-Scale Direct Monocular SLAM(LSD-SLAM)对获取到的场景图像进行稠密的三维重建,从而构建全局一致性的工业机器人打磨三维场景。在具体实现过程中,将利用ROS完成三维场景重建的相关控制,并将开展基于NVIDIA Jetson的LSD-SLAM算法的加速,以满足六轴工业机器人对实时性的要求。
(2)构建工业机器人的打磨三维场景后,利用PointCNN模型对三维场景模型进行三维打磨对象识别。为了更好的发挥PointCNN深度学习模型的优势,将构建面向打磨领域的三维场景数据集,通过人工标记和自动化工具对三维场景中的打磨对象进行类别、形状等属性的标记,在训练过程中使用多层感知器对输入特征同时进行加权和重新排列,从而克服点云不规则和无序的特点,实现基于卷积神经网络的点云目标识别。为了实现打磨区域的自动识别,还将在实现识别打磨对象的基础上,通过构建打磨对象的毛刺区域数据集,进一步利用PointCNN对打磨对象的打磨区域进行定位。在具体的实现过程中,拟采用NVIDIA Jetson对网络进行加速,从而可以将网络部署在机器人本体上,使得提出的智能机器人具备更强的实用性。
(3)将识别的打磨区域空间坐标转换为机器人坐标系下的空间坐标,然后将转换后的空间坐标发送到机器人控制***中,并根据识别的打磨卫浴类型确定机器人打磨力控参数,从而实现基于视觉识别的机器人自动打磨。
(4)根据打磨区域的识别和定位,智能打磨机器人完成了基于区域的打磨后,再利用基于LSD-SLAM的视觉智能感知三维场景构建的技术对打磨后的打磨场景进行三维重建,并利用PointCNN网络实现打磨后打磨对象的识别和点云获取。然后将打磨前的打磨对象打磨区域和打磨后的打磨对象打磨区域进行立体空间几何特征匹配,判断拟打磨区域的完成度。如打磨区域完成度低,***将驱动工业机器人进行二次打磨。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于机器视觉的卫浴智能打磨***的打磨方法,其特征在于,包括以下步骤:
A、固定作业场景的360°单目多视角图像获取
将卫浴固定装置和打磨机器人的相对位置坐标固定,控制装置控制打磨机器人围绕卫浴固定装置进行360°绕行,光学摄像头实时将拍摄的图像数据传输到智能打磨控制模块中进行数据处理;
B、基于智能打磨控制模块的三维重建及识别
智能打磨控制模块收到一组卫浴固定装置的360°图像数据后,基于智能打磨控制模块上的GPU资源,使用LSD-SLAM算法对卫浴固定装置所处在的作业场景进行稠密的三维重建;在三维重建的结果上再基于智能打磨控制模块上的GPU资源使用PointCNN网络对三维场景模型进行卫浴的识别;最后在识别卫浴三维模型的基础上,使用精细的PointCNN网络实现卫浴毛刺的识别,从而确定卫浴打磨的空间位置坐标;
C、基于力控的视觉引导卫浴打磨控制
智能打磨控制模块将打磨的卫浴毛刺三维空间坐标传输到控制装置中,控制装置利用识别的卫浴类型和毛刺的大小,确定打磨参数,然后控制装置基于打磨参数和毛刺的空间位置坐标,驱动打磨机器人控制气动打磨装置实现卫浴毛刺的打磨;
D、基于视觉识别的卫浴打磨质量评判
控制装置驱动打磨机器人完成所有识别毛刺的打磨后,控制装置驱动打磨机器人控制光学摄像头完成卫浴固定装置所处在的作业场景二次360°图像拍摄,控制光学摄像头再将采集到的图像数据传送到智能打磨控制模块,智能打磨控制模块完成打磨作业区的二次三维场景重建,并对卫浴的毛刺进行二次识别,从而实现卫浴打磨质量的评价。
2.如权利要求1所述基于机器视觉的卫浴智能打磨***的打磨方法,其特征在于,步骤A中将卫浴固定装置的固定坐标输入控制装置中,并以卫浴固定装置的中心点位置坐标为参考点。
3.如权利要求2所述基于机器视觉的卫浴智能打磨***的打磨方法,其特征在于,步骤C将识别的卫浴打磨空间位置坐标转换为机器人坐标系下的空间坐标传输到控制装置中。
4.如权利要求1所述基于机器视觉的卫浴智能打磨***的打磨方法所采用的卫浴智能打磨***,其特征在于,包括打磨机器固定装置以及固定安装在打磨机器固定装置上的打磨控制装置和卫浴固定装置,打磨控制装置包括固定安装在打磨机器固定装置上的打磨机器人、连接在打磨机器人自由端的光学摄像头和气动打磨装置,打磨机器人纵轴的顶部固定安装有智能打磨控制模块,打磨机器人一侧的打磨机器固定装置上安装有控制装置和PLC控制柜。
5.如权利要求4所述基于机器视觉的卫浴智能打磨***,其特征在于,智能打磨控制模块为NVIDIA Jetson模块,智能打磨控制模块与光学摄像头通过USB进行通信。
6.如权利要求5所述基于机器视觉的卫浴智能打磨***,其特征在于,光学摄像头包括高清相机、激光发生器和滤光片。
7.如权利要求6所述基于机器视觉的卫浴智能打磨***,其特征在于,气动打磨装置包括与打磨机器人机械臂连接的气动支撑架、打磨头。
8.如权利要求7所述基于机器视觉的卫浴智能打磨***,其特征在于,打磨机器固定装置包括长方体状的底座和均匀固定安装在底座四周的若干支腿。
CN202010805350.0A 2020-08-12 2020-08-12 一种基于机器视觉的卫浴智能打磨***及其打磨方法 Active CN111906788B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010805350.0A CN111906788B (zh) 2020-08-12 2020-08-12 一种基于机器视觉的卫浴智能打磨***及其打磨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010805350.0A CN111906788B (zh) 2020-08-12 2020-08-12 一种基于机器视觉的卫浴智能打磨***及其打磨方法

Publications (2)

Publication Number Publication Date
CN111906788A CN111906788A (zh) 2020-11-10
CN111906788B true CN111906788B (zh) 2021-09-14

Family

ID=73284274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010805350.0A Active CN111906788B (zh) 2020-08-12 2020-08-12 一种基于机器视觉的卫浴智能打磨***及其打磨方法

Country Status (1)

Country Link
CN (1) CN111906788B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001381A (zh) * 2021-03-23 2021-06-22 合肥中科重明科技有限公司 一种3d打印毛坯件的表面抛光装置及操作方法
CN113510702B (zh) * 2021-06-16 2022-08-02 扬州鹏顺散热器有限公司 一种基于激光视觉引导的工业机器人
CN114367880A (zh) * 2021-12-30 2022-04-19 浙江庆元万美文具有限公司 一种铅笔表面光洁度的生产设备及其制作方法
CN114580846B (zh) * 2022-01-28 2023-03-24 广东开放大学(广东理工职业学院) 一种视觉和数字孪生结合的加工路径实时修正方法
CN116442249B (zh) * 2023-06-19 2023-08-18 广东隆崎机器人有限公司 装配控制方法、装配设备及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007009950A1 (de) * 2007-03-01 2008-09-04 Maschinen- Und Stahlbau Julius Lippert Gmbh & Co. Kg Vorrichtung zum Beseitigen des Grates von einem druckgegossenen Keramikgegenstand
CN103995934A (zh) * 2014-05-22 2014-08-20 北京铭隆世纪科技有限公司 自动打磨的实现方法及装置
CN107378780A (zh) * 2017-07-19 2017-11-24 江苏大学 一种基于视觉***的机器人铸件打磨自适应方法
CN109483369A (zh) * 2018-12-13 2019-03-19 中国船舶重工集团公司第七六研究所 一种具有三维视觉的机器人打磨***及其控制方法
CN110355757A (zh) * 2019-07-05 2019-10-22 佛山智能装备技术研究院 基于3d视觉的体感交互***
CN111230862A (zh) * 2020-01-10 2020-06-05 上海发那科机器人有限公司 一种基于视觉识别功能的手持工件去毛刺方法和***
CN111376111A (zh) * 2018-12-30 2020-07-07 广州智信科技有限公司 打磨方法及打磨装置
CN210939628U (zh) * 2019-11-06 2020-07-07 珠海汉迪自动化设备有限公司 浴缸自动加工装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007009950A1 (de) * 2007-03-01 2008-09-04 Maschinen- Und Stahlbau Julius Lippert Gmbh & Co. Kg Vorrichtung zum Beseitigen des Grates von einem druckgegossenen Keramikgegenstand
CN103995934A (zh) * 2014-05-22 2014-08-20 北京铭隆世纪科技有限公司 自动打磨的实现方法及装置
CN107378780A (zh) * 2017-07-19 2017-11-24 江苏大学 一种基于视觉***的机器人铸件打磨自适应方法
CN109483369A (zh) * 2018-12-13 2019-03-19 中国船舶重工集团公司第七六研究所 一种具有三维视觉的机器人打磨***及其控制方法
CN111376111A (zh) * 2018-12-30 2020-07-07 广州智信科技有限公司 打磨方法及打磨装置
CN110355757A (zh) * 2019-07-05 2019-10-22 佛山智能装备技术研究院 基于3d视觉的体感交互***
CN210939628U (zh) * 2019-11-06 2020-07-07 珠海汉迪自动化设备有限公司 浴缸自动加工装置
CN111230862A (zh) * 2020-01-10 2020-06-05 上海发那科机器人有限公司 一种基于视觉识别功能的手持工件去毛刺方法和***

Also Published As

Publication number Publication date
CN111906788A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111906788B (zh) 一种基于机器视觉的卫浴智能打磨***及其打磨方法
CN109483369B (zh) 一种具有三维视觉的机器人打磨***及其控制方法
CN103831695B (zh) 大型自由曲面机器人打磨***
CN109623656A (zh) 基于厚度在线检测的移动式双机器人协同打磨装置及方法
CN109702290B (zh) 基于视觉识别的钢板坡口切割方法
CN111644935A (zh) 一种机器人三维扫描测量装置及工作方法
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
CN105499953A (zh) 基于工业机器人的汽车发动机活塞、缸体装配***及方法
CN104369188A (zh) 基于机器视觉和超声波传感器的工件抓取装置与方法
CN210452170U (zh) 一种基于六维力传感器的机器人柔性智能打磨***
CN110281108A (zh) 一种基于六维力传感器的机器人柔性智能打磨***
CN111055293A (zh) 一种基于曲面自适应的工业机器人高精度恒力打磨方法
CN106041946A (zh) 基于图像处理的机械人打磨生产方法及应用其的生产***
CN109202912A (zh) 一种基于单目深度传感器和机械臂配准目标轮廓点云的方法
CN109013405A (zh) 一种具有铸件表面自主检测及次品分拣功能的机器人***
CN111067197A (zh) 一种基于3d扫描的机器人鞋底动态涂胶***及方法
CN106144524B (zh) 一种高速运动中用ccd视觉定位方法及装置
CN111923053A (zh) 基于深度视觉的工业机器人物件抓取示教***及方法
CN113246142B (zh) 一种基于激光引导的测量路径规划方法
CN113601333B (zh) 智能柔性打磨方法、装置及设备
CN100361792C (zh) 一种移动机械手控制***
CN112775959A (zh) 机械手的抓取位姿确定方法及***、存储介质
CN112643207A (zh) 基于计算机视觉的激光自动除锈***及方法
CN111774775B (zh) 用于大型结构件龙门式机器人焊接的三维视觉***及控制方法
CN112139860A (zh) 基于力控机器人打磨的柔顺轨迹输出方法及其实施装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant