CN114750160A - 机器人控制方法、装置、计算机设备和存储介质 - Google Patents
机器人控制方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114750160A CN114750160A CN202210527441.1A CN202210527441A CN114750160A CN 114750160 A CN114750160 A CN 114750160A CN 202210527441 A CN202210527441 A CN 202210527441A CN 114750160 A CN114750160 A CN 114750160A
- Authority
- CN
- China
- Prior art keywords
- robot
- positioning robot
- horizontal
- vertical
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本申请涉及一种机器人控制方法、装置、计算机设备、存储介质和计算机程序产品,将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下,通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置,计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差,当第一误差和第二误差均在允许误差范围内时,根据垂直位置、水平位置和基础模型计算空间坐标,将空间坐标发送至垂直定位机器人和水平定位机器人,提高机器人的工作可靠性。
Description
技术领域
本申请涉及机器人技术领域,特别是涉及一种机器人控制方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着机器人技术的发展,协作机器人在工业3C、汽车电子、生活日用品以及生物安全等领域发挥了不可代替的作用,在提高产品质量、生产效率的同时,也可以保障人的生命安全。协作机器人+视觉,能协助人类完成机械性的工作,充分发挥机器人的效率及视觉的精准。其突出优势在于高效率、高精度,能够极大地促进制造业和服务行业的快速发展。
传统的机器人视觉定位方法是通过设置在机械臂上的相机实现的,相机采集待测产品的图像,帮助机器人对待测产品进行定位,定位后机器人便可在产品上执行任务。但是,这种视觉定位方法由于视场角等原因,无法判断产品倾斜等因素带来的误差,导致定位不够准确,降低了机器人的工作可靠性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高机器人的工作可靠性的机器人控制方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面,本申请提供了一种机器人控制方法,用于对机器人进行控制,所述机器人包括垂直定位机器人和水平定位机器人,所述垂直定位机器人和所述水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,所述控制方法包括:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
在其中一个实施例中,所述计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差之后,还包括:
当所述第一误差或所述第二误差不在允许误差范围内时,发送调整指令至各所述机器人,并返回所述通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;所述调整指令用于控制各所述图像采集装置调整姿态。
在其中一个实施例中,所述调整指令还用于控制所述垂直定位机器人上的图像采集装置和所述水平定位机器人上的图像采集装置保持空间90°垂直。
在其中一个实施例中,所述计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差之前,还包括:
通过所述图像采集装置、所述垂直定位机器人和所述水平定位机器人获取基础模型。
在其中一个实施例中,所述基础模型包括垂直基础模型和水平基础模型,所述通过所述图像采集装置、所述垂直定位机器人和所述水平定位机器人获取基础模型,包括:
发送第一标定指令至所述垂直定位机器人;所述第一标定指令用于控制所述垂直定位机器人上的图像采集装置以初始垂直空间方向姿态确定垂直基础模型;
发送第二标定指令至所述水平定位机器人;所述第二标定指令用于控制所述水平定位机器人上的图像采集装置以初始水平空间方向姿态确定水平基础模型。
在其中一个实施例中,所述将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下之前,还包括:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置分配到同一个网段。
第二方面,本申请还提供了一种机器人控制装置,用于对机器人进行控制,所述机器人包括垂直定位机器人和水平定位机器人,所述垂直定位机器人和所述水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,所述装置包括:
坐标统一模块,用于将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
位置采集模块,用于通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
误差计算模块,用于计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
控制坐标计算模块,用于当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
执行模块,用于将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
上述机器人控制方法、装置、计算机设备、存储介质和计算机程序产品,用于对机器人进行控制,机器人包括垂直定位机器人和水平定位机器人,垂直定位机器人和水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,控制方法包括:将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下,通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置,计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差,当第一误差和第二误差均在允许误差范围内时,根据垂直位置、水平位置和基础模型计算空间坐标,将空间坐标发送至垂直定位机器人和水平定位机器人,使垂直定位机器人和水平定位机器人基于空间坐标工作。垂直定位机器人和水平定位机器人通过图像采集装置进行视觉相互校准,采用误差梯度下降的方法,在空间的垂直方向和水平方向计算出待标定产品在空间范围内的高精度姿态,提高了视觉定位的精度,提高了机器人的工作可靠性。
附图说明
图1为一个实施例中机器人控制方法的流程图;
图2为一个实施例中机器人的作业示意图;
图3为另一个实施例中机器人控制方法的流程图;
图4为一个实施例中机器人控制方法的详细流程图;
图5为一个实施例中机器人控制装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的机器人控制方法,用于对机器人进行控制,机器人的数量为两个以上,包括垂直定位机器人和水平定位机器人。其中,垂直定位机器人和水平定位机器人的数量均可以为两个以上,垂直定位机器人和水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位。具体地,图像采集装置可以设置在垂直定位机器人和水平定位机器人的机械臂上,机械臂带着图像采集装置移动。图像采集装置一般可以为相机,如CCD相机等,也可以为红外摄像头等其他类型的装置。
在一个实施例中,如图1所示,提供了一种机器人控制方法,用于对机器人进行控制,机器人包括垂直定位机器人和水平定位机器人,垂直定位机器人和水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位。机器人一般为协作机器人,例如可以为搬运机器人、焊接机器人、模具加工机器人或工业打螺丝机等。该控制方法可以由设置于其中一个机器人中的控制器执行,各机器人之间可以通讯。或者,该机器人控制方法也可以由服务器执行,服务器与各机器人之间可以进行数据传输。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。控制方法包括以下步骤:
步骤202,将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下。
其中,由于摄像机可安放在环境中的任意位置,在环境中选择一个基准坐标系来描述摄像机的位置,并用它描述环境中任何物体的位置,该坐标系称为世界坐标系。因为每台机器人有自己单独的世界坐标系,每台图像采集装置有自己单独的像素坐标系,将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下,方便计算。标定可以使垂直定位机器人、水平定位机器人自己的坐标系和图像采集装置的像素坐标***一到一个世界坐标系,便于后续操作。
步骤204,通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置。
其中,如图2所示,垂直定位机器人可以通过设置于其上的图像采集装置对待标定产品在高度方向上进行定位。以图像采集装置设置在垂直定位机器人的机械臂上为例,机械臂的运动方向为待标定产品的高度方向,带动图像采集装置在待标定产品的高度方向上运动,对待标定产品进行定位。对待标定产品进行定位可以理解为使待标定产品位于图像采集装置的合适视野范围内,使待标定产品的图像清晰。定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,垂直位置可以包括高度坐标和角度等。
类似的,水平定位机器人可以通过设置于其上的图像采集装置对待标定产品在水平方向上进行定位。以图像采集装置设置在水平定位机器人的机械臂上为例,机械臂的运动方向为待标定产品的水平方向,带动图像采集装置在待标定产品的水平方向上运动,对待标定产品进行定位。进一步地,水平方向可以包括第一方向和第二方向,即x方向和y方向,第一方向和第二方向垂直。通过第一方向和第二方向可以得到水平方向上的位置,实现水平定位。定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置,水平位置可以包括水平坐标和角度等。
步骤206,计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差。
其中,垂直位置可以理解为待标定产品发生运动后,图像采集装置对运动后的待标定产品进行定位后的垂直位置,水平位置可以理解为待标定产品发生运动后,图像采集装置对运动后的待标定产品进行定位后的水平位置,待标定产品的运动可以为翻转或位移等。基础模型用于指示图像采集装置标定待标定产品时的初始位置,可以包括待标定产品的初始位置和各图像采集装置的初始位置。基础模型可通过人为示教的过程确定,例如手动控制机器人移动位置,确定初始垂直空间和水平空间,得到基础模型。
第一误差为垂直位置与基础模型中垂直位置的偏差值,第一误差可以表征在待标定产品在垂直方向运动(例如位移和翻转)后,图像采集装置对待标定产品重新定位后的垂直位置与初始垂直位置的偏差值。类似的,第二误差为水平位置与基础模型中水平位置的偏差值,第二误差可以表征在待标定产品在水平方向运动(例如位移和翻转)后,图像采集装置对待标定产品重新定位后的水平位置与初始水平位置的偏差值。通过第一误差和第二误差可以得到图像采集装置的运动方向和运动程度,从而表征待标定产品的运动方向和运动程度等。
步骤208,当第一误差和第二误差均在允许误差范围内时,根据垂直位置、水平位置和基础模型计算空间坐标。
当第一误差和第二误差均在允许误差范围内时,考虑图像采集装置的运动幅度较小,则认为待标定产品的运动幅度较小,此时可认为待标定产品已经处于目标范围内。空间坐标为待标定产品的空间坐标,用于表征待标定产品的空间位置。根据垂直位置、水平位置可以得到图像采集装置当前所处的位置,结合基础模型可以得到图像采集装置位置、待标定产品的位置以及图像采集装置与待标定产品之间的对应关系,从而可以计算出待标定产品的空间坐标。
步骤210,将空间坐标发送至垂直定位机器人和水平定位机器人,使垂直定位机器人和水平定位机器人基于空间坐标工作。
得到了空间坐标后,将空间坐标发送至垂直定位机器人和水平定位机器人,使垂直定位机器人和水平定位机器人可以根据空间坐标对待标定产品执行动作,完成相应的工作。
上述机器人控制方法,用于对机器人进行控制,机器人包括垂直定位机器人和水平定位机器人,垂直定位机器人和水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,控制方法包括:将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下,通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置,计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差,当第一误差和第二误差均在允许误差范围内时,根据垂直位置、水平位置和基础模型计算空间坐标,将空间坐标发送至垂直定位机器人和水平定位机器人,使垂直定位机器人和水平定位机器人基于空间坐标工作。垂直定位机器人和水平定位机器人通过图像采集装置进行视觉相互校准,采用误差梯度下降的方法,在空间的垂直方向和水平方向计算出待标定产品在空间范围内的高精度姿态,提高了视觉定位的精度,提高了机器人的工作可靠性。
在一个实施例中,如图3所示,步骤206之后,机器人控制方法还包括步骤207。
步骤207,当第一误差或第二误差不在允许误差范围内时,发送调整指令至各机器人,并返回步骤204。
其中,调整指令用于控制各图像采集装置调整姿态。各机器人在接收到调整指令后,带动图像采集装置运动,从而调整设置在机器人上的图像采集装置的姿态,例如调整拍照角度或调整图像采集装置与待标定产品之间的距离等,以重新对待标定产品进行定位。控制图像采集装置调整姿态后,返回步骤204,重新对待标定产品进行定位,并与基础模型对比,一直迭代,直到第一误差和第二误差均在允许误差范围内时,再计算出空间坐标并发送至垂直定位机器人和水平定位机器人,使机器人完成任务。
进一步地,调整指令还用于控制垂直定位机器人上的图像采集装置和水平定位机器人上的图像采集装置始终保持空间90°垂直。由于图像采集装置一般为平面相机,可以提供X、Y和角度3个方向参数,垂直定位机器人上的图像采集装置和水平定位机器人上的图像采集装置始终保持空间90°垂直时,就可以提供垂直定位机器人和水平定位机器人空间6个自由度的坐标,来实现纠偏,进一步提高视觉定位精度。
在一个实施例中,如图3所示,步骤206之前,机器人控制方法还包括步骤205。
步骤205,通过图像采集装置、垂直定位机器人和水平定位机器人获取基础模型。
基础模型用于指示图像采集装置标定待标定产品时的初始位置,可以包括待标定产品的初始位置和各图像采集装置的初始位置。通过图像采集装置、垂直定位机器人和水平定位机器人可以获取基础模型,可以使每次对待标定产品的定位都更加贴合实际,以提高视觉定位精度。基础模型可通过人为示教的过程确定,例如手动控制垂直定位机器人和水平定位机器人移动位置,确定初始垂直空间和水平空间,得到基础模型。可以理解,在其他实施例中,基础模型也可以为在执行方法前已经设置好的初始值,不需要每次都重新标定,以节约工作流程。
在一个实施例中,如图3所示,步骤205包括步骤302和步骤304。
步骤302,发送第一标定指令至垂直定位机器人。
其中,第一标定指令用于控制垂直定位机器人上的图像采集装置以初始垂直空间方向姿态确定垂直基础模型。垂直定位机器人上的图像采集装置接收到第一标定指令后,以初始垂直空间方向姿态(如RZ方向)确定垂直基础模型。垂直基础模型可以包括待标定产品的垂直位置和图像采集装置的初始位置。
步骤304,发送第二标定指令至水平定位机器人。
其中,第二标定指令用于控制水平定位机器人上的图像采集装置以初始水平空间方向姿态确定水平基础模型。水平定位机器人上的图像采集装置接收到第二标定指令后,以初始水平空间方向姿态(如RX和RY方向)确定水平基础模型。水平基础模型可以包括待标定产品的水平位置和图像采集装置的水平位置。通过垂直定位机器人和水平定位机器人获取基础模型可以使得到的基础模型更加全面、准确。
在一个实施例中,如图3所示,步骤202之前,机器人控制方法还包括步骤201。
步骤201,将垂直定位机器人、水平定位机器人和图像采集装置分配到同一个网段。
其中,同一个网段是指网络段相同的地址,子网掩码是用来切割地址的网络地址和主机地址的,但是反过来看,同一网段的地址子网掩码一定相同,为每个网段都分配一个IP地址段,这就是同一网段。将垂直定位机器人、水平定位机器人和图像采集装置分配到同一个网段,可以使垂直定位机器人和水平定位机器人之间,以及垂直定位机器人、水平定位机器人与图像采集装置直接通讯,提高通信效率。可以理解,在其他实施例中,也可以通过辅助设备使垂直定位机器人、水平定位机器人和图像采集装置间接通讯,只要本领域技术人员认为可以实现即可。
为了更好地理解上述实施例,以下结合一个具体的实施例进行详细的解释说明。在一个实施例中,以机器人均为协作机器人,协作机器人的数量和图像采集装置的数量均为两个,图像采集装置为相机为例,请参见图4,机器人控制方法包括:
开始时,启动所有协作机器人和相机,并将其IP配置在同一个网段,配置在同一个网段可以使两台协作机器人之间,以及协作机器人与相机直接通讯,提高通讯效率。相机1安装在协作机器人1末端上,相机2安装在协作机器人末端2上。
接着,将协作机器人1和协作机器人2以及相机1和相机2标定到同一世界坐标系下。因为每台协作机器人有自己做单独世界坐标系,每台相机有自己单独像素坐标系,需要将所有的协作机器人和相机统一到一个世界坐标系,方便计算,标定的作用就是将两台协作机器人自己的坐标系和相机的像素坐标***一到一个世界坐标系。
同时,将相机1以初始垂直空间方向姿态(RZ方向)确定标定产品基础模型,将相机2以初始水平空间方向姿态(RX和RY方向)确定标定产品基础模型(RX和RY方向两种模型),如图示意。初始垂直空间和初始水平空间通过人为示教的过程确定,也就是手动控制协作机器人移动位置确定初始垂直空间和水平空间。
当产品以某一空间角度偏移时,协作机器人1带着相机1在RZ方向定位产品后与基础模型对比,协作机器人2带着相机2在RX和RY方向定位产品与基础模型对比后,若RZ、RX和RY方向模型均在误差范围内,即可利用相机1和相机2数据计算出X、Y、Z、RX、RY和RZ坐标发给执行机构完成任务。一般协作机器人有6个关节即6个自由度,X、Y、Z、RX、RY和RZ分别对应这个6个自由度;X、Y、Z与RX、RY、RZ的不同之处在于在世界坐标系下移动的方向不同。
反之,若RZ、RX和RY方向模型不在误差范围内,则调整协作机器人1姿态,同时协作机器人2随之做出相应姿态调整,使相机1与相机2始终保持空间90°相对位置不变。相机1与相机2始终保持空间90°垂直作用是:相机是平面相机,可以提供X、Y和角度3个方向参数,两个相机以空间90°组合,就可以提供协作机器人空间6个自由度的坐标来实现纠偏。
相机1和相机2位置调整完后,相机1再次在RZ方向定位与基础模型对比,相机2在RX和RY方向与基础模型对比,一直迭代,直至RX、RY和RZ方向定位产品与基础模型均在误差范围内即可将此时X、Y、Z、RX、RY和RZ坐标发个执行机构完成任务。
本方案根据相机的实时位置与基础位置进行对比,来确定协作机器人1(也就是执行机构)是否已到达执行位置(也就是产品的空间6自由度位置)。因为先阶段相机的像素已到达亿级别,通过标定之后,已经计算出相机的像素当量(一个像素代表实际物理量,例如两个点之间实际物理间距是10mm,像素间距是100pixel,像素当量=10/100=0.1mm/pixel),当实际物理距离越小,相机的像素够大,像素当量就越小,就可以实现微米级别定位(比如相机的拍照的实际范围60mm*40mm,相机的像素分辨率为6000pixel*4000pixel,像素当量就是0.01mm/pixel,当相机的实时位置与基础模型误差在一个像素以内,即达到了微米级别定位)。
上述机器人控制方法,将平面视觉安装协作机器人末端,通过双臂协作机器人及平面高精度相机,使用双相机的交互迭代,采用误差梯度下降的方法,标定出工件在空间范围的高精度姿态,求出机械臂空间范围内,工件的空间位置(X,Y,Z)及空间姿态角(RX,RY,RZ)。多台协作机器人通过视觉相互校准,在空间的垂直方向和水平方向多次迭代,计算出产品的高精度6D姿态,既能保证协作机器人的空间自由度,也保证了平面视觉的精度。能够使多机协作机器人+视觉共同完成空间立体产品高精度抓取,将目前协作机器人配3D相机毫米级别的定位精度提升至10微米级别,例如在半导体封装和高精度芯片组装等领域。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的机器人控制方法的机器人控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个机器人控制装置实施例中的具体限定可以参见上文中对于机器人控制方法的限定,在此不再赘述。
在一个实施例中,如图5所示,提供了一种机器人控制装置,包括坐标统一模块102、位置采集模块104、误差计算模块106、控制坐标计算模块108和执行模块110,其中:
坐标统一模块102,用于将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下;
位置采集模块104,用于通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置;
误差计算模块106,用于计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差;
控制坐标计算模块108,用于当第一误差和第二误差均在允许误差范围内时,根据垂直位置、水平位置和基础模型计算空间坐标;
执行模块110,用于将空间坐标发送至垂直定位机器人和水平定位机器人,使垂直定位机器人和水平定位机器人基于空间坐标工作。
在一个实施例中,机器人控制装置还包括调整模块,调整模块用于在误差计算模块106计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差之后,发送调整指令至各机器人,并返回由位置采集模块104通过垂直定位机器人上的图像采集装置定位待标定产品后,获取垂直定位机器人上的图像采集装置的垂直位置,并通过水平定位机器人上的图像采集装置定位待标定产品后,获取水平定位机器人上的图像采集装置的水平位置。
在一个实施例中,调整指令还用于控制垂直定位机器人上的图像采集装置和水平定位机器人上的图像采集装置保持空间90°垂直。
在一个实施例中,机器人控制装置还包括基础模型获取模块,基础模型获取模块用于在误差计算模块106计算垂直位置与基础模型的第一误差,及水平位置与基础模型的第二误差之前,通过图像采集装置、垂直定位机器人和水平定位机器人获取基础模型。
在一个实施例中,基础模型获取模块还用于发送第一标定指令至垂直定位机器人,并发送第二标定指令至水平定位机器人。其中,第一标定指令用于控制垂直定位机器人上的图像采集装置以初始垂直空间方向姿态确定垂直基础模型;第二标定指令用于控制水平定位机器人上的图像采集装置以初始水平空间方向姿态确定水平基础模型。
在一个实施例中,机器人控制装置还包括网段分配模块,网段分配模块用于在坐标统一模块102将垂直定位机器人、水平定位机器人和图像采集装置标定到同一世界坐标系下之前,将垂直定位机器人、水平定位机器人和图像采集装置分配到同一个网段。
上述机器人控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储基础位置、水平位置、基础模型和空间坐标等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人控制方法。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种机器人控制方法,其特征在于,用于对机器人进行控制,所述机器人包括垂直定位机器人和水平定位机器人,所述垂直定位机器人和所述水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,所述控制方法包括:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
2.根据权利要求1所述的方法,其特征在于,所述计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差之后,还包括:
当所述第一误差或所述第二误差不在允许误差范围内时,发送调整指令至各所述机器人,并返回所述通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;所述调整指令用于控制各所述图像采集装置调整姿态。
3.根据权利要求2所述的方法,其特征在于,所述调整指令还用于控制所述垂直定位机器人上的图像采集装置和所述水平定位机器人上的图像采集装置保持空间90°垂直。
4.根据权利要求1所述的方法,其特征在于,所述计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差之前,还包括:
通过所述图像采集装置、所述垂直定位机器人和所述水平定位机器人获取基础模型。
5.根据权利要求4所述的方法,其特征在于,所述基础模型包括垂直基础模型和水平基础模型,所述通过所述图像采集装置、所述垂直定位机器人和所述水平定位机器人获取基础模型,包括:
发送第一标定指令至所述垂直定位机器人;所述第一标定指令用于控制所述垂直定位机器人上的图像采集装置以初始垂直空间方向姿态确定垂直基础模型;
发送第二标定指令至所述水平定位机器人;所述第二标定指令用于控制所述水平定位机器人上的图像采集装置以初始水平空间方向姿态确定水平基础模型。
6.根据权利要求1所述的方法,其特征在于,所述将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下之前,还包括:
将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置分配到同一个网段。
7.一种机器人控制装置,其特征在于,用于对机器人进行控制,所述机器人包括垂直定位机器人和水平定位机器人,所述垂直定位机器人和所述水平定位机器人上均设置有图像采集装置,用于对待标定产品进行视觉定位,所述装置包括:
坐标统一模块,用于将所述垂直定位机器人、所述水平定位机器人和所述图像采集装置标定到同一世界坐标系下;
位置采集模块,用于通过所述垂直定位机器人上的图像采集装置定位待标定产品后,获取所述垂直定位机器人上的图像采集装置的垂直位置,并通过所述水平定位机器人上的图像采集装置定位待标定产品后,获取所述水平定位机器人上的图像采集装置的水平位置;
误差计算模块,用于计算所述垂直位置与基础模型的第一误差,及所述水平位置与所述基础模型的第二误差;
控制坐标计算模块,用于当所述第一误差和所述第二误差均在允许误差范围内时,根据所述垂直位置、所述水平位置和所述基础模型计算空间坐标;
执行模块,用于将所述空间坐标发送至所述垂直定位机器人和所述水平定位机器人,使所述垂直定位机器人和所述水平定位机器人基于所述空间坐标工作。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210527441.1A CN114750160B (zh) | 2022-05-16 | 2022-05-16 | 机器人控制方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210527441.1A CN114750160B (zh) | 2022-05-16 | 2022-05-16 | 机器人控制方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114750160A true CN114750160A (zh) | 2022-07-15 |
CN114750160B CN114750160B (zh) | 2023-05-23 |
Family
ID=82335711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210527441.1A Active CN114750160B (zh) | 2022-05-16 | 2022-05-16 | 机器人控制方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114750160B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115533908A (zh) * | 2022-10-11 | 2022-12-30 | 江苏高倍智能装备有限公司 | 一种多机械手配合托举工件时的对准控制方法及*** |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS648408A (en) * | 1987-07-01 | 1989-01-12 | Hitachi Ltd | Method for matching coordinate system |
US20050273199A1 (en) * | 2004-06-02 | 2005-12-08 | Fanuc Ltd. | Robot system |
DE102006004153A1 (de) * | 2006-01-27 | 2007-08-02 | Vision Tools Hard- Und Software Entwicklungs-Gmbh | Automatisches Einmessen kooperierender Roboter |
WO2014161603A1 (en) * | 2013-04-05 | 2014-10-09 | Abb Technology Ltd | A robot system and method for calibration |
CN106272444A (zh) * | 2016-08-31 | 2017-01-04 | 山东中清智能科技有限公司 | 一种实现手眼关系和双机器人关系同时标定的方法 |
CN107995885A (zh) * | 2016-11-18 | 2018-05-04 | 深圳配天智能技术研究院有限公司 | 一种坐标系标定方法 、***及装置 |
JP2018094649A (ja) * | 2016-12-09 | 2018-06-21 | ファナック株式会社 | 複数のロボットを含むロボットシステム、ロボット制御装置、及びロボット制御方法 |
CN108519055A (zh) * | 2018-04-26 | 2018-09-11 | 华中科技大学 | 一种基于视觉的双机器人相对位姿在线标定方法 |
CN108687776A (zh) * | 2017-04-05 | 2018-10-23 | 大族激光科技产业集团股份有限公司 | 一种机器人控制*** |
US20190143523A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | Robotic system architecture and control processes |
CN112692828A (zh) * | 2020-12-18 | 2021-04-23 | 上海新时达机器人有限公司 | 机器人标定方法、***、装置及存储介质 |
-
2022
- 2022-05-16 CN CN202210527441.1A patent/CN114750160B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS648408A (en) * | 1987-07-01 | 1989-01-12 | Hitachi Ltd | Method for matching coordinate system |
US20050273199A1 (en) * | 2004-06-02 | 2005-12-08 | Fanuc Ltd. | Robot system |
DE102006004153A1 (de) * | 2006-01-27 | 2007-08-02 | Vision Tools Hard- Und Software Entwicklungs-Gmbh | Automatisches Einmessen kooperierender Roboter |
WO2014161603A1 (en) * | 2013-04-05 | 2014-10-09 | Abb Technology Ltd | A robot system and method for calibration |
CN106272444A (zh) * | 2016-08-31 | 2017-01-04 | 山东中清智能科技有限公司 | 一种实现手眼关系和双机器人关系同时标定的方法 |
CN107995885A (zh) * | 2016-11-18 | 2018-05-04 | 深圳配天智能技术研究院有限公司 | 一种坐标系标定方法 、***及装置 |
JP2018094649A (ja) * | 2016-12-09 | 2018-06-21 | ファナック株式会社 | 複数のロボットを含むロボットシステム、ロボット制御装置、及びロボット制御方法 |
CN108687776A (zh) * | 2017-04-05 | 2018-10-23 | 大族激光科技产业集团股份有限公司 | 一种机器人控制*** |
US20190143523A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | Robotic system architecture and control processes |
CN108519055A (zh) * | 2018-04-26 | 2018-09-11 | 华中科技大学 | 一种基于视觉的双机器人相对位姿在线标定方法 |
CN112692828A (zh) * | 2020-12-18 | 2021-04-23 | 上海新时达机器人有限公司 | 机器人标定方法、***、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
付贵;: "基于机器视觉的工业机器人标定方法研究" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115533908A (zh) * | 2022-10-11 | 2022-12-30 | 江苏高倍智能装备有限公司 | 一种多机械手配合托举工件时的对准控制方法及*** |
CN115533908B (zh) * | 2022-10-11 | 2023-10-03 | 江苏高倍智能装备有限公司 | 一种多机械手配合托举工件时的对准控制方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114750160B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102532072B1 (ko) | 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법 | |
JP6591507B2 (ja) | 同時運動学およびハンドアイ較正 | |
CN109153125B (zh) | 用于定向工业机器人的方法和工业机器人 | |
RU2664257C2 (ru) | Системы и способы отслеживания местоположения подвижного целевого объекта | |
CN111801198A (zh) | 一种手眼标定方法、***及计算机存储介质 | |
US10331728B2 (en) | System and method of robot calibration using image data | |
CN110253574B (zh) | 一种多任务机械臂位姿检测和误差补偿方法 | |
WO2021169855A1 (zh) | 机器人校正方法、装置、计算机设备及存储介质 | |
JPWO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN113379849A (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
CN112330752A (zh) | 多相机联合标定方法、装置、终端设备及可读存储介质 | |
WO2023083056A1 (zh) | 用于标定机器人的运动学参数的方法和装置 | |
CN114347013A (zh) | 印刷电路板与fpc柔性电缆线的装配方法及相关设备 | |
CN114750160B (zh) | 机器人控制方法、装置、计算机设备和存储介质 | |
CN115446847A (zh) | 用于提高机器人***的3d眼手协调准确度的***和方法 | |
JP2682763B2 (ja) | ロボット機体の作動誤差の自動測定方法 | |
CN114833825B (zh) | 协作机器人控制方法、装置、计算机设备和存储介质 | |
US20240001557A1 (en) | Robot and robot hand-eye calibrating method | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution | |
WO2020010625A1 (zh) | 机器人运动学模型优化方法、***和存储装置 | |
CN115446836A (zh) | 一种基于多种图像特征信息混合的视觉伺服方法 | |
CN115567781A (zh) | 基于灵巧摄像头的拍摄方法、装置和计算机设备 | |
JP7423387B2 (ja) | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 | |
CN109146979B (zh) | 用于补偿机械手走位偏差的方法 | |
CN112815851A (zh) | 手眼标定方法及装置、***、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |