CN109421050B - 一种机器人的控制方法及装置 - Google Patents

一种机器人的控制方法及装置 Download PDF

Info

Publication number
CN109421050B
CN109421050B CN201811037353.3A CN201811037353A CN109421050B CN 109421050 B CN109421050 B CN 109421050B CN 201811037353 A CN201811037353 A CN 201811037353A CN 109421050 B CN109421050 B CN 109421050B
Authority
CN
China
Prior art keywords
camera
tool
arm
actual
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811037353.3A
Other languages
English (en)
Other versions
CN109421050A (zh
Inventor
刘健冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201811037353.3A priority Critical patent/CN109421050B/zh
Publication of CN109421050A publication Critical patent/CN109421050A/zh
Application granted granted Critical
Publication of CN109421050B publication Critical patent/CN109421050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本申请提供一种机器人的控制方法及装置，用于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机，所述方法包括：获取所述摄像机拍摄的图像，将所述图像转换为基准图像；根据所述基准图像，检测待操作的目标对象；在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。

Description

一种机器人的控制方法及装置
技术领域
本申请涉及机器人技术领域，特别涉及一种机器人的控制方法及装置。
背景技术
机器人一般安装有摄像机，利用摄像机获取到的图像，机器人可以控制机械臂末端执行做各种动作。摄像机相当于机器人的“眼睛”，机械臂末端相当于机器人的“手”，通过手眼之间的配合完成预先设置的动作任务。
在控制机器人的机械臂末端执行对目标对象的操作动作的过程中，一个重要的步骤就是求解目标对象与机器人末端之间的相对位置关系。一种具体方法是：采集目标对象图像数据并标注图像中目标对象与摄像机之间的相对位置关系，进而训练一运动控制模型，每次根据输入的图像数据、输出机械臂末端的运动策略以调整机械臂末端向目标对象移动，运动控制模型判断出目标对象和机械臂末端之间的位置关系满足操作条件的情况下，机械臂末端工具执行操作指令完成对目标对象的操作。由于运动模型是基于基准环境采集数据训练而成的，在实际环境中摄像机存在安装误差或实际摄像机参数与采集样本数据时的摄像机参数不一致的情况下，直接套用原来训练好的模型会引入较大误差，导致机械臂末端工具对目标对象操作失败。
发明内容
有鉴于此，本申请实施例提供了一种机器人的控制方法及装置，以解决现有技术中存在的技术缺陷。
本申请实施例公开了一种机器人的控制方法，用于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机；
所述方法包括：
a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像；
a4、根据所述基准图像，检测待操作的目标对象；
a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；
a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
在本申请的一个示意性的实施方案中，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，包括：
根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；
根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；
根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
在本申请的一个示意性的实施方案中，所述实际环境中所述机械臂末端工具的第一实际运动策略通过以下公式求得：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
在本申请的一个示意性的实施方案中，在步骤a4之后，所述方法还包括：
a10、在所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行步骤a2。
在本申请的一个示意性的实施方案中，将所述摄像机拍摄的图像转换为所述基准图像，包括：
获取在基准环境中的基准摄像机的内参数；
获取当前的所述摄像机的内参数；
根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；
根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
在本申请的一个示意性的实施方案中，通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：
Figure 310849DEST_PATH_IMAGE001
其中，
所述基准图像为基准环境中所述摄像机中的图像；
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的所述摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。
在本申请的一个示意性的实施方案中，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。
本申请实施例公开了一种机器人的控制装置，设置于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机，所述装置包括：
转换模块，用于获取所述摄像机拍摄的图像，将所述图像转换为基准图像；
检测模块，用于根据所述基准图像，检测待操作的目标对象；
实际运动策略确定模块，用于在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；
运动控制模块，用于根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
在本申请的一个示意性的实施方案中，所述实际运动策略确定模块包括：
误差计算模块，用于根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；
基准运动策略确定模块，用于根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；
实际运动策略计算模块，用于根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
在本申请的一个示意性的实施方案中，实际运动策略计算模块通过以下公式计算得到所述实际环境中所述机械臂末端工具的第一实际运动策略：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
在本申请的一个示意性的实施方案中，所述装置还包括：
调整模块，用于若所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行所述转换模块。
在本申请的一个示意性的实施方案中，所述转换模块包括：
第一参数获取模块，用于获取在基准环境中的基准摄像机的内参数；
第二参数获取模块，用于获取当前的所述摄像机的内参数；
参数误差获取模块，用于根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；
基准图像获取模块，用于根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
在本申请的一个示意性的实施方案中，所述转换模块通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：
Figure 261618DEST_PATH_IMAGE002
其中，
所述基准图像为基准环境中所述摄像机中的图像；
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的所述摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。
在本申请的一个示意性的实施方案中，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。
本申请实施例公开了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现以下步骤：
a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像；
a4、根据所述基准图像，检测待操作的目标对象；
a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；
a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
本申请实施例公开了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如上所述的机器人的控制方法的步骤。
本申请提供的机器人的控制方法及装置，在控制机器人抓取目标对象的过程中，把摄像机看作是机械臂的一部分，这样就不用计算目标对象与机械臂末端之间的位置关系，在确定摄像机的位姿满足机械臂末端工具对目标对象的操作条件的情况下，基于运动控制模型确定机械臂末端工具的第一实际运动策略，根据第一实际运动策略控制机械臂末端工具运动，以完成对目标对象的动作，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。
附图说明
图1是本申请一实施例的机器人的第一种控制方法的流程示意图；
图2是本申请一实施例的机器人的第二种控制方法的流程示意图；
图3是本申请一实施例的机器人的第三种控制方法的流程示意图；
图4是本申请一实施例的机器人的第四种控制方法的流程示意图；
图5是本申请一实施例的机器人的控制装置的结构示意图；
图6是本申请一实施例的计算设备的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请中，提供了一种机器人的控制方法及装置、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。
本申请实施例公开了一种机器人的控制方法，用于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机。
本实施例中，摄像机可以固定于机械臂末端，随着机械臂的移动而移动，也可以不固定于机械臂末端。无论何种情况，都需要求解出机械臂末端工具与摄像机之间的在实际环境中的实际位姿关系矩阵E1。不管摄像机与机械臂末端是相对固定连接、还是分别安装在实际环境中，二者的相对位置都会是确定的。求解出实际位姿关系矩阵E1后，便可以将摄像机看做是机械臂的一部分，通过摄像机的位姿来判断是否满足机械臂末端工具对目标对象的操作条件。
现有技术中，对于机械臂末端工具到所述摄像机的第一位姿关系矩阵E1可以通过eye-in-hand标定法获得。例如传统的标定法（例如，现有技术中Tsai-Lenz的OpenCV实现）、自标定法（例如Ma的Self-calibration法和Lei的Self-calibration法），主动视觉标定法等。各种方法都有其优缺点：传统标定法精度较高但计算过程复杂；自标定法鲁棒性不强；主动视觉标定法计算简单，鲁棒性较强，但需要一个高精度的主动视觉平台，而机器人由于加工、安装等误差，理想结构参数通常与实际存在较大偏差，会导致精度也不高。总体来说，获取第一位姿关系矩阵E1的eye-in-hand标定法很多，不同的场景下需求不同。
参见图1，所述方法包括下述步骤102~108：
102、获取所述摄像机拍摄的图像，将所述图像转换为基准图像。
可选地，参见图2，所述步骤102包括：
202、获取在基准环境中的基准摄像机的内参数。
本步骤中，基准摄像机可以为采集训练样本时所用的第一台摄像机。
摄像机自身参数包括焦距、光轴偏移等，都能够由摄像机的内参数描述。
204、获取当前的所述摄像机的内参数。
206、根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差。
208、根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
具体地，可以获取当前的摄像机拍摄的图像中的关键点，然后根据关键点的坐标信息以及参数误差，计算关键点在基准环境中的坐标信息，从而得到在基准环境中的基准图像。
下述内容以一个具体来进行说明。在一个具体应用实例中，若某一目标点在摄像机坐标系下空间位置为P=(x，y，z)，其图像坐标p=(u，v)，它们存在以下关系：
Figure 989403DEST_PATH_IMAGE003
（1）
其中，
u0，v0，fu，fv为基准摄像机的内参数，可以利用张正友标定法标定出来。
fu ＝ f/dx，fv = f/dy，分别称为u轴和v轴上的归一化焦距；
f是摄像机的焦距；
dx和dy分别表示u轴和v轴上单位像素的尺寸大小。
u0和v0则表示的是光学中心，即摄像机光轴与图像平面的交点，通常位于图像中心处，故其值常取分辨率的一半。
以采集训练样本时所用的第一台摄像机作为基准摄像机，假设其参数为参数u0，v0，fu，fv，则采用当前的摄像机做样本采集或实际测量时，需要首先对新摄像机做参数标定，得到其内参数u0'，v0'，fu'，fv'。然后采集图像。假设目标点在当前的摄像机中的像素坐标为(u'，v')，带入上述公式（1），得以下关系：
Figure 540470DEST_PATH_IMAGE004
（2）
其中，
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。
利用当前的摄像机拍摄一张照片后，各像素信息存为{(u'，v'，R，G，B)}。将该存储的像素信息按照公式（2）的规则，转换为基准摄像机摄时应当得到的像素集合{(u，v，R，G，B)}，相当于将摄像机拍摄的图像转换为基准图像。
需要注意，实际使用时，一般情况下直接转换得到的目标点在基准摄像机坐标系下的坐标值u和v不是整数，需要再做一步近邻插值。下面举例说明两种插值方法：
1）最近邻插值：变换后的目标图像某点像素值等于源图像中与变换前相应点最近的点的像素值。例如，设水平方向和垂直方向缩放的比例分别为w和h，那么目标图像中的点des(x，y)对应的源图像中的点src的坐标为(x0，y0)=(x/w，y/h)。其中，x0，y0可能为小数，故对其四舍五入，即(x0，y0)=int(x0+0.5，y0+0.5)，因此点des(x，y)的像素值就是点src(x0，y0)的像素值。
2）还可以双线性插值，处理的图像比最近邻插值处理的图像平滑、清晰，最终得到校正后图像上各像素的RGB值。
每当换用新的相机进行样本采集或者位姿估计时，先利用上述变换将采集到的图像转换为标准图像，得到新图像的图像坐标、以及坐标的RGB值。此时并未和空间位置坐标（x，y，z）***，再进行后续处理，从而保证样本数据之间以及样本数据与实际数据之间的一致性。
104、根据所述基准图像，检测待操作的目标对象。
106、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略。
本实施例中，位姿指的是位置值和姿态值，其中，位置值包括空间坐标值（x，y，z），姿态值包括空间角度值（Rx，Ry，Rz）。
其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到。
另外，由于摄像机与机械臂末端工具之间的位姿关系矩阵已经确定，通过摄像机的位姿可以判断机械臂末端工具是否满足对目标对象的操作条件。
操作条件可以为多种，例如机械臂末端工具对所述目标对象的距离小于等于第一阈值。第一阈值可以根据实际需求设置，例如可以设置为10厘米、20厘米等。
更具体地，参见图3，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，包括：
302、根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差。
实际使用时，大多数的摄像机会存在基准环境与实际环境之间的误差，例如不同品牌不同型号的摄像机，安装误差大多会存在，不同的工艺精度会导致安装误差有大小的区别。
304、根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略。
306、根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
在一个具体的应用实例中，实际环境中机械臂末端工具的第一实际运动策略通过以下公式求得：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
108、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
机械臂末端工具对目标对象的动作包括：抓取、移动、翻转等动作。
以抓取目标对象为例，第一实际运动策略可以为：前移2cm合爪；所述机械臂末端工具对目标对象的动作为：抓取动作。
本申请提供的机器人的控制方法，在控制机器人抓取目标对象的过程中，把摄像机看作是机械臂的一部分，这样在确定摄像机的位姿满足机械臂末端工具对目标对象的操作条件的情况下，基于运动控制模型确定机械臂末端工具的第一实际运动策略，根据第一实际运动策略控制机械臂末端工具运动，以完成对目标对象的动作；在摄像机的位姿不满足机械臂末端工具对目标对象的操作条件的情况下，则调整摄像机的位姿至满足机械臂末端工具对目标对象的操作条件，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。
本申请实施例还公开了一种机器人的控制方法，参见图4，包括步骤402~410。其中，步骤402、404、408、410分别与上述实施例的步骤102、104、106、108一致，有关步骤402、404、408、410的详细解释，参见上述实施例中步骤102、104、106、108的内容。
402、获取所述摄像机拍摄的图像，将所述图像转换为基准图像。
404、根据所述基准图像，检测待操作的目标对象。
406、判断所述摄像机的位姿是否满足机械臂末端工具对所述目标对象的操作条件，若是，执行步骤408，若否，执行步骤412。
408、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略。
其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到。
410、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
412、在所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行步骤402。
本实施例中，控制机械臂运动的方法有多种，可以控制机械臂末端工具一次运动至满足操作条件，也可以控制机械臂末端工具多工步运动至满足操作条件，每工步运动一个设定的运动量。那么，在机械臂末端工具运动一个工步后，需要根据基准图像判断摄像机的位姿是否满足机械臂末端工具对目标对象的操作条件。
举例来说，在调整所述摄像机的位姿至目标位姿的过程中，调整可以包括：前移、上移、下移、左移、右移等。
本申请提供的机器人的控制方法，在控制机器人抓取目标对象的过程中，把摄像机看作是机械臂的一部分，这样在确定摄像机的位姿满足机械臂末端工具对目标对象的操作条件的情况下，基于运动控制模型确定机械臂末端工具的第一实际运动策略，根据第一实际运动策略控制机械臂末端工具运动，以完成对目标对象的动作；在摄像机的位姿不满足机械臂末端工具对目标对象的操作条件的情况下，则调整摄像机的位姿至满足机械臂末端工具对目标对象的操作条件，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。
在采集数据前，先标定出机械臂末端工具到所述摄像机的实际位姿关系矩阵E1，并将该实际位姿关系矩阵E1加入机器人运动模型中。在采集样本数据时，不再控制机械臂末端的运动，改为控制摄像机的位姿（例如，在现有技术中，若摄像机与机械臂末端安装方向不一致，原有算法在采集数据时进行平移、前进等操作时是以机械臂末端为基准的，此时摄像机的运动路径可能是斜向前进。在本申请的方法中，事先考虑摄像机与机械臂末端的安装角度、位置等信息，直接控制摄像机进行平移或前进）。机器人运动模型只体现摄像机获取到的图像与“摄像机—目标对象”之间相对位置变化的关系。最终进行操作（例如抓取目标）时，再通过标定出的摄像机与末端机械臂间的位姿参数进行补偿，从而保证机械臂移动到指定的操作位置。利用本申请的控制方法，可以回避摄像机与机械臂末端安装误差所引入的模型误差。
本申请实施例还公开了一种机器人的控制装置，参见图5，设置于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机，所述装置包括：
转换模块502，用于获取所述摄像机拍摄的图像，将所述图像转换为基准图像；
检测模块504，用于根据所述基准图像，检测待操作的目标对象；
实际运动策略确定模块506，用于在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；
运动控制模块508，用于根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
可选地，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。
可选地，实际运动策略确定模块506包括：
误差计算模块5062，用于根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；
基准运动策略确定模块5064，用于根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；
实际运动策略计算模块5066，用于根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
可选地，实际运动策略确定模块506通过以下公式计算得到所述实际环境中所述机械臂末端工具的第一实际运动策略：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
可选地，所述装置还包括：
调整模块510，用于若所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行所述转换模块。
可选地，转换模块502包括：
第一参数获取模块5022，用于获取在基准环境中的基准摄像机的内参数；
第二参数获取模块5024，用于获取当前的所述摄像机的内参数；
参数误差获取模块5026，用于根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；
基准图像获取模块5028，用于根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
可选地，转换模块502通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：
Figure 11903DEST_PATH_IMAGE004
其中，
所述基准图像为基准环境中所述摄像机中的图像；
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的所述摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数。
本申请提供的机器人的控制装置，在控制机器人抓取目标对象的过程中，把摄像机看作是机械臂的一部分，这样就不用计算目标对象与机械臂末端之间的位置关系，在确定摄像机的位姿满足机械臂末端工具对目标对象的操作条件的情况下，基于运动控制模型确定机械臂末端工具的第一实际运动策略，根据第一实际运动策略控制机械臂末端工具运动，以完成对目标对象的动作，从而避免了摄像机与机械臂末端之间的安装误差导致的抓取物体失败。
上述为本实施例的一种机械臂的控制装置的示意性方案。需要说明的是，该机械臂的控制装置的技术方案与上述的机械臂的控制方法的技术方案属于同一构思，机械臂的控制装置的技术方案未详细描述的细节内容，均可以参见上述机械臂的控制方法的技术方案的描述。
图6是示出了根据本申请一实施例的计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610相连接。
虽然图6中没有示出，但是应该知道，计算设备600还可以包括网络接口，网络接口使得计算设备600能够经由一个或多个网络通信。这些网络的示例包括局域网（LAN）、广域网（WAN）、个域网（PAN）或诸如因特网的通信网络的组合。网络接口可以包括有线或无线的任何类型的网络接口（例如，网络接口卡（NIC））中的一个或多个，诸如IEEE802.11无线局域网（WLAN）无线接口、全球微波互联接入（Wi-MAX）接口、以太网接口、通用串行总线（USB）接口、蜂窝网络接口、蓝牙接口、近场通信（NFC）接口，等等。
在本申请的一个实施例中，计算设备600的上述以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备（例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等）、移动电话（例如，智能手机）、可佩戴的计算设备（例如，智能手表、智能眼镜等）或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中，处理器执行所述指令时实现以下步骤a2~a8：
a2、获取所述摄像机拍摄的图像，将所述图像转换为基准图像。
a4、根据所述基准图像，检测待操作的目标对象。
a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略。
其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到。
a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的机器人的控制方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述机器人的控制方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述机器人的控制方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的机器人的控制方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述机器人的控制方法的技术方案的描述。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。
本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (16)

1.一种机器人的控制方法，其特征在于，用于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机；
所述方法包括：
a2、获取所述摄像机拍摄的图像、所述摄像机的内参数和基准摄像机的内参数，根据所述摄像机的内参数和所述基准摄像机的内参数将所述图像转换为在基准环境中的基准图像；
a4、根据所述基准图像，检测待操作的目标对象；
a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由所述基准环境中训练得到；
a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
2.根据权利要求1所述的机器人的控制方法，其特征在于，
基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，包括：
根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；
根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；
根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
3.根据权利要求2所述的机器人的控制方法，其特征在于，所述实际环境中所述机械臂末端工具的第一实际运动策略通过以下公式求得：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
4.根据权利要求1所述的机器人的控制方法，其特征在于，在步骤a4之后，所述方法还包括：
a10、在所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行步骤a2。
5.如权利要求1所述的机器人的控制方法，其特征在于，
将所述摄像机拍摄的图像转换为所述基准图像，包括：
获取在基准环境中的基准摄像机的内参数；
获取当前的所述摄像机的内参数；
根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；
根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
6.如权利要求5所述的机器人的控制方法，其特征在于，
通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：
Figure 685079DEST_PATH_IMAGE001
其中，
所述基准图像为基准环境中所述摄像机中的图像；
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的所述摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数；
u0为基准摄像机u轴与图像平面的交点；
v0为基准摄像机v轴与图像平面的交点；
fu为基准摄像机u轴上的归一化焦距；
fv为基准摄像机v轴上的归一化焦距；
u0'为当前的所述摄像机u轴与图像平面的交点；
v0'为当前的所述摄像机v轴与图像平面的交点；
fu'为当前的所述摄像机u轴上的归一化焦距；
fv'为当前的所述摄像机v轴上的归一化焦距。
7.如权利要求1所述的机器人的控制方法，其特征在于，
所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。
8.一种机器人的控制装置，其特征在于，设置于机器人***中，所述机器人***包括机械臂、机械臂末端工具以及摄像机，所述装置包括：
转换模块，用于获取所述摄像机拍摄的图像、所述摄像机的内参数和基准摄像机的内参数，根据所述摄像机的内参数和所述基准摄像机的内参数将所述图像转换为在基准环境中的基准图像；
检测模块，用于根据所述基准图像，检测待操作的目标对象；
实际运动策略确定模块，用于在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略，其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由所述基准环境中训练得到；
运动控制模块，用于根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
9.根据权利要求8所述的机器人的控制装置，其特征在于，所述实际运动策略确定模块包括：
误差计算模块，用于根据所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系以及实际环境中的实际位姿关系，计算所述基准环境与所述实际环境之间的安装误差；
基准运动策略确定模块，用于根据运动控制模型得到基准环境中所述机械臂末端工具的第一基准运动策略；
实际运动策略计算模块，用于根据所述安装误差以及所述基准环境中所述机械臂末端工具的第一基准运动策略，计算得到实际环境中所述机械臂末端工具的第一实际运动策略。
10.根据权利要求9所述的机器人的控制装置，其特征在于，实际运动策略计算模块通过以下公式计算得到所述实际环境中所述机械臂末端工具的第一实际运动策略：
T1= E1 -1*E0*T0
其中，T0为基准环境中所述机械臂末端工具的第一基准运动策略，T1为实际环境中所述机械臂末端工具的第一实际运动策略；
E0为所述摄像机与所述机械臂末端工具之间在基准环境中的基准位姿关系矩阵；
E1为所述摄像机与所述机械臂末端工具之间在实际环境中的实际位姿关系矩阵。
11.根据权利要求8所述的机器人的控制装置，其特征在于，所述装置还包括：
调整模块，用于若所述摄像机的位姿不满足机械臂末端工具对所述目标对象的操作条件，则调整所述摄像机的位姿至目标位姿，并获取所述摄像机在目标位姿下拍摄的图像，然后执行所述转换模块。
12.根据权利要求8所述的机器人的控制装置，其特征在于，所述转换模块包括：
第一参数获取模块，用于获取在基准环境中的基准摄像机的内参数；
第二参数获取模块，用于获取当前的所述摄像机的内参数；
参数误差获取模块，用于根据所述摄像机的内参数以及所述基准摄像机的内参数得到当前的所述摄像机与所述基准摄像机的参数误差；
基准图像获取模块，用于根据所述摄像机拍摄的图像以及所述参数误差进行转换，得到在基准环境中的所述基准图像。
13.根据权利要求12所述的机器人的控制装置，其特征在于，
所述转换模块通过以下公式将所述摄像机拍摄的图像转换为所述基准图像：
Figure 748850DEST_PATH_IMAGE001
其中，
所述基准图像为基准环境中所述摄像机中的图像；
（u，v）为目标点在基准摄像机坐标系中的坐标值；
（u'，v'）为目标点在当前的所述摄像机坐标系中的坐标值；
u0，v0，fu，fv为基准摄像机的内参数；
u0'，v0'，fu'，fv'为当前的所述摄像机的内参数；
u0为基准摄像机u轴与图像平面的交点；
v0为基准摄像机v轴与图像平面的交点；
fu为基准摄像机u轴上的归一化焦距；
fv为基准摄像机v轴上的归一化焦距；
u0'为当前的所述摄像机u轴与图像平面的交点；
v0'为当前的所述摄像机v轴与图像平面的交点；
fu'为当前的所述摄像机u轴上的归一化焦距；
fv'为当前的所述摄像机v轴上的归一化焦距。
14.根据权利要求8所述的机器人的控制装置，其特征在于，所述操作条件为所述机械臂末端工具与所述目标对象的距离小于等于第一阈值。
15.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现以下步骤：
a2、获取摄像机拍摄的图像，将所述图像转换为基准图像；
a4、根据所述基准图像，检测待操作的目标对象；
a6、在确定所述摄像机的位姿满足机械臂末端工具对所述目标对象的操作条件的情况下，基于运动控制模型确定所述机械臂末端工具的第一实际运动策略；其中，所述摄像机与所述机械臂末端工具之间的位置相对固定，所述运动控制模型由基准环境中训练得到；
a8、根据所述第一实际运动策略控制所述机械臂末端工具运动，以完成对目标对象的动作。
16.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-7任意一项所述机器人的控制方法的步骤。
CN201811037353.3A 2018-09-06 2018-09-06 一种机器人的控制方法及装置 Active CN109421050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811037353.3A CN109421050B (zh) 2018-09-06 2018-09-06 一种机器人的控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811037353.3A CN109421050B (zh) 2018-09-06 2018-09-06 一种机器人的控制方法及装置

Publications (2)

Publication Number Publication Date
CN109421050A CN109421050A (zh) 2019-03-05
CN109421050B true CN109421050B (zh) 2021-03-26

Family

ID=65514860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811037353.3A Active CN109421050B (zh) 2018-09-06 2018-09-06 一种机器人的控制方法及装置

Country Status (1)

Country Link
CN (1) CN109421050B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110421565B (zh) * 2019-08-07 2022-05-13 江苏汇博机器人技术股份有限公司 一种用于实训的机器人全局定位与测量***和方法
CN110464471B (zh) * 2019-09-10 2020-12-01 深圳市精锋医疗科技有限公司 手术机器人及其末端器械的控制方法、控制装置
CN111015655B (zh) * 2019-12-18 2022-02-22 深圳市优必选科技股份有限公司 机械臂抓取方法、装置、计算机可读存储介质及机器人
CN113733078B (zh) * 2020-05-27 2022-09-13 中国人民解放军63920部队 机械臂精调控制量判读方法、计算机可读存储介质
WO2022021156A1 (zh) * 2020-07-29 2022-02-03 西门子（中国）有限公司 用于机器人抓取三维物体的方法和装置
CN113510697B (zh) * 2021-04-23 2023-02-14 知守科技(杭州)有限公司 机械手定位方法、装置、***、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人***中再校准三维视觉传感器的方法和设备
CN101092035A (zh) * 2006-06-20 2007-12-26 发那科株式会社 机器人控制装置
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人***
CN106695792A (zh) * 2017-01-05 2017-05-24 中国计量大学 基于机器视觉的码垛机器人跟踪监控***及方法
WO2017065308A9 (en) * 2015-10-13 2017-08-31 Canon Kabushiki Kaisha Imaging apparatus, production system, imaging method, program, and recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1727839A (zh) * 2004-07-28 2006-02-01 发那科株式会社 机器人***中再校准三维视觉传感器的方法和设备
CN101092035A (zh) * 2006-06-20 2007-12-26 发那科株式会社 机器人控制装置
CN103406905A (zh) * 2013-08-20 2013-11-27 西北工业大学 一种具有视觉伺服及检测功能的机器人***
WO2017065308A9 (en) * 2015-10-13 2017-08-31 Canon Kabushiki Kaisha Imaging apparatus, production system, imaging method, program, and recording medium
CN106695792A (zh) * 2017-01-05 2017-05-24 中国计量大学 基于机器视觉的码垛机器人跟踪监控***及方法

Also Published As

Publication number Publication date
CN109421050A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
CN109421050B (zh) 一种机器人的控制方法及装置
CN110193849B (zh) 一种机器人手眼标定的方法及装置
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
US9128366B2 (en) Image processing system, image processing method, and computer program product
EP3771198B1 (en) Target tracking method and device, movable platform and storage medium
EP2849428A1 (en) Image processing device, image processing method, image processing program, and storage medium
CN112907620B (zh) 相机位姿的估计方法、装置、可读存储介质及电子设备
CN112022355A (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
WO2020057121A1 (zh) 数据处理方法及装置、电子设备及存储介质
CN113256718B (zh) 定位方法和装置、设备及存储介质
JP5926462B2 (ja) 光学防震カメラモジュールの自動調節方法及びシステム
CN114445506A (zh) 相机标定处理方法、装置、设备及存储介质
JP2015532446A5 (zh)
CN113361365A (zh) 定位方法和装置、设备及存储介质
CN111754624A (zh) 变换矩阵确定方法、设备和可记录介质
JP2018009918A (ja) 自己位置検出装置、移動体装置及び自己位置検出方法
CN103516960A (zh) 一种基于船舶运动姿态预报的船载视频稳像方法
JP2009301181A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN108347577A (zh) 一种成像***和方法
JP2009302731A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN113592907B (zh) 基于光流的视觉伺服跟踪方法及装置
CN112643718B (zh) 图像处理设备及其控制方法和存储其控制程序的存储介质
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
JP6315542B2 (ja) 画像生成装置及び画像生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant