CN112116664B - 手眼标定轨迹生成方法、装置、电子设备及存储介质 - Google Patents
手眼标定轨迹生成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112116664B CN112116664B CN202010923062.5A CN202010923062A CN112116664B CN 112116664 B CN112116664 B CN 112116664B CN 202010923062 A CN202010923062 A CN 202010923062A CN 112116664 B CN112116664 B CN 112116664B
- Authority
- CN
- China
- Prior art keywords
- robot
- target
- calibration plate
- pose
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000036544 posture Effects 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种手眼标定轨迹生成方法、装置、电子设备及存储介质，通过获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据；从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
Description
技术领域
本发明涉及工业机器人技术领域，尤其涉及一种手眼标定轨迹生成方法、装置、电子设备及存储介质。
背景技术
目前，为实现工业机器人精密化、智能化，需要依赖机器人视觉***。
而机器人视觉应用中的第一步，也是特别重要的一步就是机器人手眼标定。比较常用的机器人视觉***通常是Eye-in-Hand***，一般会在机器人末端法兰盘上安装3D相机，使3D相机随着机器人的运动而运动，对该视觉***的手眼标定的准确度决定了该机器人的加工制造精度主要由手眼标定的准确度决定。因此做好机器人手眼标定尤为重要。
针对Eye-in-Hand***，一般地，在进行手眼标定时，需要人为的去设置机器人的运动轨迹和拍照位置点，然后在机器人按照设定的运动轨迹运动时，在预设的拍照位置点用相机采集标定板的照片并记录机器人的位姿。人工设计标定时的机器人运动轨迹和拍照位置点，不但效率低，而且对工作人员的专业水平和经验要求高，导致使用单位的用人成本高。
发明内容
鉴于上述现有技术的不足之处，本申请实施例的目的在于提供一种手眼标定轨迹生成方法、装置、电子设备及存储介质，可提高工作效率，且对工作人员的专业水平和经验要求低。
第一方面，本申请实施例提供一种手眼标定轨迹生成方法，应用于机器人，包括步骤：
A1.获取多个目标旋转角度值；
A2.获取机器人的初始位姿；
A3.根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；
A4.根据所述多个目标位姿进行移动；
A5.在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
A6.记录调节后的机器人的位姿数据。
所述的手眼标定轨迹生成方法中，步骤A2包括：获取机器人的初始姿态和初始位置；
步骤A3包括：
A301.根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
A302.用所述多个归一化的四元素分别点乘所述初始姿态后进行归一化处理，得到多个目标姿态；
A303. 把所述初始位置分别与所述多个目标姿态结合得，得到多个目标位姿。
所述的手眼标定轨迹生成方法中，步骤A5包括：
A501.获取相机拍摄的图片；
A502.判断标定板在所述图片中是否完整；
A503.若标定板在所述图片中不完整，则根据标定板在所述图片中缺失情况判断机器人需要移动的方向；
A504. 使所述机器人朝所述需要移动的方向移动，直到标定板完整暴露在相机的视野中。
进一步的，步骤A503包括：
获取标定板在所述图片中缺失的特征点信息；
根据缺失的特征点在标定板上的位置和标定板与机器人之间的相对位置关系，判断机器人需要移动的方向。
进一步的，步骤A504包括：
使所述机器人在所述需要移动的方向上以预设的步长步进式移动；
每次移动后获取相机拍摄的图片并判断标定板在所述图片中是否完整；
若标定板在所述图片中完整，则停止移动。
第二方面，本申请实施例提供一种手眼标定轨迹生成装置，应用于机器人，包括：
第一获取模块，用于获取多个目标旋转角度值；
第二获取模块，用于获取机器人的初始位姿；
生成模块，用于根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；
第一执行模块，用于根据所述多个目标位姿进行移动；
位置调整模块，用于在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
记录模块，用于记录调节后的机器人的位姿数据。
所述的手眼标定轨迹生成装置中，所述第二获取模块在获取机器人的初始位姿时，获取机器人的初始姿态和初始位置；
所述生成模块在根据所述多个目标旋转角度值和初始位姿生成多个目标位姿时，
根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
用所述多个归一化的四元素分别点乘所述初始姿态后进行归一化处理，得到多个目标姿态；
把所述初始位置分别与所述多个目标姿态结合得，得到多个目标位姿。
所述的手眼标定轨迹生成装置中，所述位置调整模块在调节机器人的位置时，
获取相机拍摄的图片；
判断标定板在所述图片中是否完整；
若标定板在所述图片中不完整，则根据标定板在所述图片中缺失情况判断机器人需要移动的方向；
使所述机器人朝所述需要移动的方向移动，直到标定板完整暴露在相机的视野中。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行所述的手眼标定轨迹生成方法的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行项所述的手眼标定轨迹生成方法的步骤。
有益效果：
本申请实施例提供的一种手眼标定轨迹生成方法、装置、电子设备及存储介质，通过获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据；从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
附图说明
图1为本申请实施例提供的手眼标定轨迹生成方法的流程图。
图2为本申请实施例提供的手眼标定轨迹生成装置的模块图。
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，本申请实施例提供的一种手眼标定轨迹生成方法，应用于机器人，包括步骤：
A1.获取多个目标旋转角度值；
A2.获取机器人的初始位姿；
A3.根据多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照目标旋转角度值转动后得到的位姿；
A4.根据多个目标位姿进行移动；
A5.在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
A6.记录调节后的机器人的位姿数据。
该方法是针对Eye-in-Hand***的，即相机设置在机器人末端。在该方法的原理是：给定一些目标旋转角度值，若机器人在初始位姿下（在初始位姿下，相机能够拍摄到完整的标定板）按照给定的目标旋转角度值绕对应的轴向旋转，每次旋转后，引起位姿变化，使标定板在照片中的位置会发生变化，当标定板在照片中不完整时通过调节机器人的位置使标定板重新完全暴露在相机视野，调节后机器人的位姿再次发生变化，以调整后的位姿作为标定轨迹的节点，由于给定了多个目标旋转角度值，可得到多个节点，即得到标定轨迹，且保证了在每个节点处拍照均能完整的拍摄到标定板。从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
其中，步骤A1中，可直接获取多个预设的目标旋转角度值（例如25°、30°、35°、40°、45°、50°、-25°、-30°、-35°、-40°、-45°、-50°）；也可以获取角度范围和目标数量，再根据目标数量在角度范围内选取对应数量的角度值作为目标旋转角度值。对于后一种方式，可根据目标数量在该角度范围内等间隔地选取角度值，也可以在该角度范围内随机选取角度值。
其中，由于机器人的位姿是包括姿态和位置的，位姿一般用三个姿态角（欧拉角）表示，位置一般用三个轴的坐标（x、y、z），因此，步骤A2包括：获取机器人的初始姿态和初始位置。
进一步的，步骤A3包括：
A301. 根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
A302. 用多个归一化的四元素分别点乘初始姿态后进行归一化处理，得到多个目标姿态；
A303. 把初始位置分别与多个目标姿态结合得，得到多个目标位姿。
根据机器人运动学中的Z-Y-X欧拉角函数，旋转变换矩阵可表示为：
其中，，α、β、γ分别为三个姿态角；
上式通过计算可得到：
上式将各个参数简化为m的系数矩阵，根据四元数的定义，通过以下公式计算/>：
进而可通过以下公式计算归一化的四元素：
其中，为归一化的四元素，/>为四元数/>的模长。
步骤A302中，可用以下公式进行计算：
其中，为目标姿态，/>为点乘后得到的姿态，/>为/>的模长，/>为初始姿态。
在步骤A303中，以目标位姿计算得到的目标姿态作为目标位姿的姿态，以步骤A2获取的初始位置作为目标位姿的位置，从而得到目标位姿。
例如，步骤A1中获取了25°、30°、35°、40°、45°、50°、-25°、-30°、-35°、-40°、-45°、-50°十二个目标旋转角度值，则在步骤A301中，计算机器人绕X轴旋转25°时的归一化的四元素（α=25°、β=0°、γ=0°）、机器人绕Y轴旋转25°时的归一化的四元素（α=0°、β=25°、γ=0°）、机器人绕Z轴旋转25°时的归一化的四元素（α=0°、β=0°、γ=25°），再计算计算机器人绕X轴旋转30°时的归一化的四元素（α=30°、β=0°、γ=0°）、机器人绕Y轴旋转30°时的归一化的四元素（α=0°、β=30°、γ=0°）、机器人绕Z轴旋转30°时的归一化的四元素（α=0°、β=0°、γ=30°），以此类推，最终得到36个归一化的四元素。从而通过步骤A6最终会得到36 个机器人的位姿数据，最多可得到36个标定轨迹的节点。
其中，步骤A4中，根据多个目标位姿进行移动时，机器人依次移动至各个目标位姿处。
在步骤A3中，可按照计算得到各目标位姿数据的先后顺序，对各目标位姿数据进行编号，从而在步骤A4中，可根据编号顺序使机器人依次移动至各目标位姿。也可在步骤A4之前，根据生成多个目标位姿数据，获取一个优选顺序，使机器人按照该优选顺序在各目标位姿之间移动的总路径最短，从而在步骤A4中，按照该优选顺序使机器人依次移动至各目标位姿。
具体的，步骤A5包括：
A501.获取相机拍摄的图片；
A502.判断标定板在图片中是否完整；
A503.若标定板在图片中不完整，则根据标定板在图片中缺失情况判断机器人需要移动的方向；
A504. 使机器人朝需要移动的方向移动，直到标定板完整暴露在相机的视野中。
其中，步骤A502中可通过识别特征点个数是否正确来判断标定板在图片中是否完整，但不限于此。例如，标定板为矩形板，以四个角点为特征点，特征点的个数为4个，若图片中的角点数不为4，则表示标定板在图片中不完整。
其中，步骤A503包括：
获取标定板在图片中缺失的特征点信息；
根据缺失的特征点在标定板上的位置和标定板与机器人之间的相对位置关系，判断机器人需要移动的方向。
特征点是标定板上的一些点，如标定板的角点或专门设置在标定板上表面的一些点状图案，一般地，不同的特征点之间具有不同的特征（如颜色和/或形状，但不限于此）以便确定出现在图片中的特征点的身份；以矩形的标定板为例，标定板有四个角点，四个角点处涂有不同的颜色，当在图片中，标定板缺少了左下角的角点（通过出现在图片中的三个角点的颜色，可判断缺少的是左下角的角点），此时需要机器人朝标定板的左下角方向移动,可以用从标定板中心到该缺少的角点的方向作为目标方向，由于标定板坐标系与机器人基坐标系的转换关系是可以预先标定得到的（例如采用现有的机器人工件坐标系标定方法进行标定），该目标方向转换为在机器人基坐标系中的方向，即得到机器人需要移动的方向。
可见，可以先获取标定板中心到缺少的特征点的方向（以下称为第一目标方向），然后根据标定板坐标系与机器人基坐标系的转换关系把该第一目标方向转换为机器人基坐标系中的方向，并以该方向作为机器人需要移动的方向；若缺少的特征点数量为多个，可以先计算所有缺少的特征点的重心点位置，然后获取标定板中心到该重心点的方向（以下称为第二目标方向），再根据标定板坐标系与机器人基坐标系的转换关系把该第二目标方向转换为机器人基坐标系中的方向，并以该方向作为机器人需要移动的方向。
若标定板在图片中显示的部分不包含标定板的中心点，则可先获取显示部分的重心点（获取图像中某个区域的重心点的方法是现有技术），并先以该重心点替代上述方法中的标定板中心点使机器人移动，直到标定板的中心出现在图片中，再用标定板中心点执行上述方法使机器人移动。
其中步骤A504中，标定板完整暴露在相机的视野中是指标定板能够完整第出现在相机拍摄的图片中，具体的，步骤A504包括：
使机器人在需要移动的方向上以预设的步长（该步长可称为第一步长）步进式移动；
每次移动后获取相机拍摄的图片并判断标定板在图片中是否完整；
若标定板在图片中完整，则停止移动。
由于每按照第一步长移动一次都获取相机拍摄的图片来判断标定板在图片中是否完整，由于每次获取的图片中缺少的特征点情况可能有变化，从而会改变需要机器人需要移动的方向，因此，随着机器人移动，其移动方向会随着标定板在图片中显示的情况的变化而自动变化，从而能够更加可靠地保证标定板可完全暴露在相机视野中。
如果获取的目标旋转角度值过大，可能会导致某些目标位姿处拍摄的图片中，没有包含标定板（由于若图片中没有包含特征点，则难以判断显示在图片中的部分是属于标定板的哪个位置的，从而也无法得知缺少的部分属于标定板的哪个位置，导致无法获取目标方向，因此，判断拍摄的图片中是否包含标定板一般以图片中是否包含标定板的特征点为准，即，若拍摄的图片中包含至少一个特征点，则判断图片中包含标定板）；此时，在步骤A5中，可使机器人先按预设的路径移动，直到标定板出现在相机的视野内（以至少一个特征点能够出现在相机拍摄的图片中为准），然后再按照步骤A501-A504进行位置机器人的位置调节。
例如，预设的路径为先朝前移动预设距离、返回起始位置后再往后移动预设距离、返回起始位置后再往左移动预设距离、返回起始位置后再往右移动预设距离，移动过程中一旦发现标定板出现在相机的视野内即停止移动；或者预设的路径为半径逐渐增大的螺旋路径，沿螺旋路径移动过程中一旦发现标定板出现在相机的视野内即停止移动。沿预设路径移动时，可以以预设的步长（该步长可称为第二步长）步进式移动，每移动一步后获取相机拍摄的图片并判断标定板是否出现在图片中。若按预设的路径移动也无法使标定板出现在相机的视野内，则移动至下一个目标位姿继续后续处理（即放弃该目标位姿）。
需要说明的是，为了保证机器人移动至各目标位姿时，标定板不会偏离相机的视野过大，一般地，可在步骤A1之前，先使机器人移动至最优初始位姿，使标定板位于相机的正下方，且相机的光轴朝下正对定板位的中心。
由上可知，该手眼标定轨迹生成方法，通过获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据；从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
请参阅图2，本申请实施例提供一种手眼标定轨迹生成装置，应用于机器人，包括第一获取模块1、第二获取模块2、生成模块3、第一执行模块4、位置调整模块5、记录模块6；
其中，第一获取模块1，用于获取多个目标旋转角度值；
其中，第二获取模块2，用于获取机器人的初始位姿；
其中，生成模块3，用于根据多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照目标旋转角度值转动后得到的位姿；
其中，第一执行模块4，用于根据多个目标位姿进行移动；
其中，位置调整模块5，用于在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
其中，记录模块6，用于记录调节后的机器人的位姿数据。
在一些实施方式中，第一获取模块1直接获取多个预设的目标旋转角度值（例如25°、30°、35°、40°、45°、50°、-25°、-30°、-35°、-40°、-45°、-50°）。
在另一些实施方式中，第一获取模块1获取角度范围和目标数量，再根据目标数量在角度范围内选取对应数量的角度值作为目标旋转角度值。其中，可根据目标数量在该角度范围内等间隔地选取角度值，也可以在该角度范围内随机选取角度值。
其中第二获取模块2在获取机器人的初始位姿时，机器人的初始姿态和初始位置；
从而生成模块3在根据多个目标旋转角度值和初始位姿生成多个目标位姿时，
根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
用多个归一化的四元素分别点乘初始姿态后进行归一化处理，得到多个目标姿态；
把初始位置分别与多个目标姿态结合得，得到多个目标位姿。
其中，第一执行模块4根据多个目标位姿进行移动时，使机器人依次移动至各个目标位姿处。
在一些实施方式中，生成模块3在生成多个目标位姿数据时，按照计算得到各目标位姿数据的先后顺序，对各目标位姿数据进行编号，从而第一执行模块4根据编号顺序使机器人依次移动至各目标位姿。
在另一些实施方式中，该手眼标定轨迹生成装置还包括第三获取模块；该第三获取模块，用于根据生成多个目标位姿数据，获取一个优选顺序，使机器人按照该优选顺序在各目标位姿之间移动的总路径最短；从而第一执行模块4按照该优选顺序使机器人依次移动至各目标位姿。
其中，位置调整模块5在调节机器人的位置时，
获取相机拍摄的图片；
判断标定板在图片中是否完整；
若标定板在图片中不完整，则根据标定板在图片中缺失情况判断机器人需要移动的方向；
使机器人朝需要移动的方向移动，直到标定板完整暴露在相机的视野中。
其中，可通过识别特征点个数是否正确来判断标定板在图片中是否完整，但不限于此。例如，标定板为矩形板，以四个角点为特征点，特征点的个数为4个，若图片中的角点数不为4，则表示标定板在图片中不完整。
其中，位置调整模块5在根据标定板在图片中缺失情况判断机器人需要移动的方向时，
获取标定板在图片中缺失的特征点信息；
根据缺失的特征点在标定板上的位置和标定板与机器人之间的相对位置关系，判断机器人需要移动的方向。
特征点是标定板上的一些点，如标定板的角点或专门设置在标定板上表面的一些点状图案；以矩形的标定板为例，标定板有四个角点，当在图片中，标定板缺少了左下角的角点，此时需要机器人朝标定板的左下角方向移动,可以用从标定板中心到该缺少的角点的方向作为目标方向，由于标定板坐标系与机器人基坐标系的转换关系是可以预先标定得到的（例如采用现有的机器人工件坐标系标定方法进行标定），该目标方向转换为在机器人基坐标系中的方向，即得到机器人需要移动的方向。
可见，可以先获取标定板中心到缺少的特征点的方向（以下称为第一目标方向），然后根据标定板坐标系与机器人基坐标系的转换关系把该第一目标方向转换为机器人基坐标系中的方向，并以该方向作为机器人需要移动的方向；若缺少的特征点数量为多个，可以先计算所有缺少的特征点的重心点位置，然后获取标定板中心到该重心点的方向（以下称为第二目标方向），再根据标定板坐标系与机器人基坐标系的转换关系把该第二目标方向转换为机器人基坐标系中的方向，并以该方向作为机器人需要移动的方向。
若标定板在图片中显示的部分不包含标定板的中心点，则可先获取显示部分的重心点（获取图像中某个区域的重心点的方法是现有技术），并先以该重心点替代上述方法中的标定板中心点使机器人移动，直到标定板的中心出现在图片中，再用标定板中心点执行上述方法使机器人移动。
其中，位置调整模块5在使机器人朝需要移动的方向移动时，
使机器人在需要移动的方向上以预设的步长（该步长可称为第一步长）步进式移动；
每次移动后获取相机拍摄的图片并判断标定板在图片中是否完整；
若标定板在图片中完整，则停止移动。
由于每按照第一步长移动一次都获取相机拍摄的图片来判断标定板在图片中是否完整，由于每次获取的图片中缺少的特征点情况可能有变化，从而会改变需要机器人需要移动的方向，因此，随着机器人移动，其移动方向会随着标定板在图片中显示的情况的变化而自动变化，从而能够更加可靠地保证标定板可完全暴露在相机视野中。
如果获取的目标旋转角度值过大，可能会导致某些目标位姿处拍摄的图片中，没有包含标定板；此时，位置调整模块5，可使机器人先按预设的路径移动，直到标定板出现在相机的视野内，然后再执行上述的步骤：获取相机拍摄的图片；判断标定板在图片中是否完整；若标定板在图片中不完整，则根据标定板在图片中缺失情况判断机器人需要移动的方向；使机器人朝需要移动的方向移动，直到标定板完整暴露在相机的视野中。
例如，预设的路径为先朝前移动预设距离、返回起始位置后再往后移动预设距离、返回起始位置后再往左移动预设距离、返回起始位置后再往右移动预设距离，移动过程中一旦发现标定板出现在相机的视野内即停止移动；或者预设的路径为半径逐渐增大的螺旋路径，沿螺旋路径移动过程中一旦发现标定板出现在相机的视野内即停止移动。沿预设路径移动时，可以以预设的步长（该步长可称为第二步长）步进式移动，每移动一步后获取相机拍摄的图片并判断标定板是否出现在图片中。
由上可知，该手眼标定轨迹生成装置，通过获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据；从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
请参阅图3，本申请实施例还提供一种电子设备100，包括处理器101和存储器102，存储器102中存储有计算机程序，处理器101通过调用存储器102中存储的计算机程序，用于执行上述的手眼标定轨迹生成方法的步骤。
其中，处理器101与存储器102电性连接。处理器101是电子设备100的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器102内的计算机程序，以及调用存储在存储器102内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
存储器102可用于存储计算机程序和数据。存储器102存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器101通过调用存储在存储器102的计算机程序，从而执行各种功能应用以及数据处理。
在本实施例中，电子设备100中的处理器101会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器102中，并由处理器101来运行存储在存储器102中的计算机程序，从而实现各种功能：获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据。
由上可知，该电子设备，通过获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据；从而无需人工设计标定轨迹，可提高工作效率，且对工作人员的专业水平和经验要求低。
本申请实施例还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时运行上述的手眼标定轨迹生成方法的步骤，以实现以下功能：获取多个目标旋转角度值；获取机器人的初始位姿；根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；根据所述多个目标位姿进行移动；在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；记录调节后的机器人的位姿数据。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，其方案与本发明实质上相同。
Claims (8)
1.一种手眼标定轨迹生成方法，应用于机器人，所述机器人的末端设置有相机，其特征在于，包括步骤：
A1.获取多个目标旋转角度值；
A2.获取机器人的初始位姿；在所述初始位姿下，所述相机的光轴朝下正对标定板的中心；
A3.根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；
A4.根据所述多个目标位姿进行移动；
A5.在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
A6.记录调节后的机器人的位姿数据；
步骤A2包括：获取机器人的初始姿态和初始位置；
步骤A3包括：
A301.根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
A302.用所述多个归一化的四元素分别点乘所述初始姿态后进行归一化处理，得到多个目标姿态；
A303. 把所述初始位置分别与所述多个目标姿态结合得，得到多个目标位姿；
所述多个归一化的四元素的计算公式具体为：
；
；
；
；
；
；
其中，为归一化的四元素；/>为四元素/>的模长；/>为四元素，且/>，m11=cαcβ，m12=/>，m21=/>，m22=/>，m23=/>，m31=，m32=/>，m33=/>；/>；α、β、γ分别为机器人绕X轴、Y轴和Z轴进行旋转时的姿态角；
所述多个目标姿态的计算公式具体为：
；
；
其中，为目标姿态，/>为点乘后得到的姿态，/>为/>的模长，/>为初始姿态。
2.根据权利要求1所述的手眼标定轨迹生成方法，其特征在于，步骤A5包括：
A501.获取相机拍摄的图片；
A502.判断标定板在所述图片中是否完整；
A503.若标定板在所述图片中不完整，则根据标定板在所述图片中缺失情况判断机器人需要移动的方向；
A504. 使所述机器人朝所述需要移动的方向移动，直到标定板完整暴露在相机的视野中。
3.根据权利要求2所述的手眼标定轨迹生成方法，其特征在于，步骤A503包括：
获取标定板在所述图片中缺失的特征点信息；
根据缺失的特征点在标定板上的位置和标定板与机器人之间的相对位置关系，判断机器人需要移动的方向。
4.根据权利要求2所述的手眼标定轨迹生成方法，其特征在于，步骤A504包括：
使所述机器人在所述需要移动的方向上以预设的步长步进式移动；
每次移动后获取相机拍摄的图片并判断标定板在所述图片中是否完整；
若标定板在所述图片中完整，则停止移动。
5.一种手眼标定轨迹生成装置，应用于机器人，所述机器人的末端设置有相机，其特征在于，包括：
第一获取模块，用于获取多个目标旋转角度值；
第二获取模块，用于获取机器人的初始位姿；在所述初始位姿下，所述相机的光轴朝下正对标定板的中心；
生成模块，用于根据所述多个目标旋转角度值和初始位姿生成多个目标位姿；其中目标位姿为机器人从初始位姿按照所述目标旋转角度值转动后得到的位姿；
第一执行模块，用于根据所述多个目标位姿进行移动；
位置调整模块，用于在每个目标位姿处，根据标定板的位置进行位置调节，使标定板完整暴露在相机的视野中；
记录模块，用于记录调节后的机器人的位姿数据；
所述第二获取模块在获取机器人的初始位姿时，获取机器人的初始姿态和初始位置；
所述生成模块在根据所述多个目标旋转角度值和初始位姿生成多个目标位姿时，
根据每个目标旋转角度值，计算机器人分别绕X、Y、Z轴旋转对应角度时的归一化的四元素，得到多个归一化的四元素；
用所述多个归一化的四元素分别点乘所述初始姿态后进行归一化处理，得到多个目标姿态；
把所述初始位置分别与所述多个目标姿态结合得，得到多个目标位姿；
所述多个归一化的四元素的计算公式具体为：
；
；
；
；
；
；
其中，为归一化的四元素；/>为四元素/>的模长；/>为四元素，且/>，m11=cαcβ，m12=/>，m21=/>，m22=/>，m23=/>，m31=，m32=/>，m33=/>；/>；α、β、γ分别为机器人绕X轴、Y轴和Z轴进行旋转时的姿态角；
所述多个目标姿态的计算公式具体为：
；
；
其中，为目标姿态，/>为点乘后得到的姿态，/>为/>的模长，/>为初始姿态。
6.根据权利要求5所述的手眼标定轨迹生成装置，其特征在于，所述位置调整模块在调节机器人的位置时，
获取相机拍摄的图片；
判断标定板在所述图片中是否完整；
若标定板在所述图片中不完整，则根据标定板在所述图片中缺失情况判断机器人需要移动的方向；
使所述机器人朝所述需要移动的方向移动，直到标定板完整暴露在相机的视野中。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-4任一项所述的手眼标定轨迹生成方法的步骤。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-4任一项所述的手眼标定轨迹生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923062.5A CN112116664B (zh) | 2020-09-04 | 2020-09-04 | 手眼标定轨迹生成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923062.5A CN112116664B (zh) | 2020-09-04 | 2020-09-04 | 手眼标定轨迹生成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112116664A CN112116664A (zh) | 2020-12-22 |
| CN112116664B true CN112116664B (zh) | 2024-05-28 |
Family
ID=73802260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923062.5A Active CN112116664B (zh) | 2020-09-04 | 2020-09-04 | 手眼标定轨迹生成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112116664B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439555A (zh) * | 2022-08-29 | 2022-12-06 | 佛山职业技术学院 | 一种无公共视场多相机外参数标定方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106885585A (zh) * | 2016-12-30 | 2017-06-23 | 国家测绘地理信息局卫星测绘应用中心 | 一种基于光束法平差的星载摄影测量***一体化检校方法 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
| CN107478223A (zh) * | 2016-06-08 | 2017-12-15 | 南京理工大学 | 一种基于四元数和卡尔曼滤波的人体姿态解算方法 |
| CN107498558A (zh) * | 2017-09-19 | 2017-12-22 | 北京阿丘科技有限公司 | 全自动手眼标定方法及装置 |
| CN108549322A (zh) * | 2018-04-11 | 2018-09-18 | 广州启帆工业机器人有限公司 | 一种针对机器人圆弧轨迹运动的位姿同步方法和装置 |
| CN108592950A (zh) * | 2018-05-17 | 2018-09-28 | 北京航空航天大学 | 一种单目相机和惯性测量单元相对安装角标定方法 |
| JP2018202608A (ja) * | 2018-09-28 | 2018-12-27 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体 |
| CN110202573A (zh) * | 2019-06-04 | 2019-09-06 | 上海知津信息科技有限公司 | 全自动手眼标定、工作平面标定方法及装置 |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| CN111152223A (zh) * | 2020-01-09 | 2020-05-15 | 埃夫特智能装备股份有限公司 | 一种全自动机器人手眼标定方法 |
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
| CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
| CN111515944A (zh) * | 2020-03-30 | 2020-08-11 | 季华实验室 | 非固定路径机器人自动标定方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
| JP7003463B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
-
2020
- 2020-09-04 CN CN202010923062.5A patent/CN112116664B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107478223A (zh) * | 2016-06-08 | 2017-12-15 | 南京理工大学 | 一种基于四元数和卡尔曼滤波的人体姿态解算方法 |
| CN107063228A (zh) * | 2016-12-21 | 2017-08-18 | 上海交通大学 | 基于双目视觉的目标姿态解算方法 |
| CN106885585A (zh) * | 2016-12-30 | 2017-06-23 | 国家测绘地理信息局卫星测绘应用中心 | 一种基于光束法平差的星载摄影测量***一体化检校方法 |
| CN107498558A (zh) * | 2017-09-19 | 2017-12-22 | 北京阿丘科技有限公司 | 全自动手眼标定方法及装置 |
| CN108549322A (zh) * | 2018-04-11 | 2018-09-18 | 广州启帆工业机器人有限公司 | 一种针对机器人圆弧轨迹运动的位姿同步方法和装置 |
| CN108592950A (zh) * | 2018-05-17 | 2018-09-28 | 北京航空航天大学 | 一种单目相机和惯性测量单元相对安装角标定方法 |
| JP2018202608A (ja) * | 2018-09-28 | 2018-12-27 | キヤノン株式会社 | ロボット装置、ロボット装置の制御方法、プログラムおよび記録媒体 |
| CN110202573A (zh) * | 2019-06-04 | 2019-09-06 | 上海知津信息科技有限公司 | 全自动手眼标定、工作平面标定方法及装置 |
| CN110497386A (zh) * | 2019-08-26 | 2019-11-26 | 中科新松有限公司 | 一种协作机器人手眼关系自动标定装置及方法 |
| CN111152223A (zh) * | 2020-01-09 | 2020-05-15 | 埃夫特智能装备股份有限公司 | 一种全自动机器人手眼标定方法 |
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
| CN111515944A (zh) * | 2020-03-30 | 2020-08-11 | 季华实验室 | 非固定路径机器人自动标定方法 |
| CN111415417A (zh) * | 2020-04-14 | 2020-07-14 | 大连理工江苏研究院有限公司 | 一种集成稀疏点云的移动机器人拓扑经验地图构建方法 |
Non-Patent Citations (3)
| Title |
|---|
| Data Selection for Hand-eye Calibration: A Vector Quantization Approach;Jochen Schmidt;The International Journal of Robotics Research;20080930;第27卷(第9期);1027-1053 * |
| Robust Hand–Eye Calibration of an Endoscopic Surgery Robot Using Dual Quaternions;Jochen Schmidt;DAGM 2003:Pattern Recognition;20030912;548-556 * |
| 手眼标定之基本原理（https://blog.csdn.net/Yong_Qi2015/article/details/83960141）;3D视觉工坊;CSDN;1 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112116664A (zh) | 2020-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6964989B2 (ja) | 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体 | |
| CN104842352B (zh) | 利用了视觉反馈的机器人*** | |
| TWI670153B (zh) | 機器人及機器人系統 | |
| US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
| CN106483963B (zh) | 机器人***的自动标定方法 | |
| US11014233B2 (en) | Teaching point correcting method, program, recording medium, robot apparatus, imaging point creating method, and imaging point creating apparatus | |
| US20080027580A1 (en) | Robot programming method and apparatus with both vision and force | |
| CN113246135B (zh) | 机器人手眼标定方法、装置、电子设备及存储介质 | |
| JP2018111166A (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
| CN113664835B (zh) | 机器人自动手眼标定方法与*** | |
| CN113370221B (zh) | 机器人tcp标定***、方法、装置、设备及存储介质 | |
| CN113664838B (zh) | 机器人定位放置控制方法、装置、电子设备及存储介质 | |
| CN112809668B (zh) | 一种机械臂自动手眼标定的方法及***、终端 | |
| CN112123341A (zh) | 机器人双臂协调运动控制方法、装置和电子设备 | |
| CN112116664B (zh) | 手眼标定轨迹生成方法、装置、电子设备及存储介质 | |
| CN115446847A (zh) | 用于提高机器人***的3d眼手协调准确度的***和方法 | |
| CN112743548B (zh) | 一种统一两种机械臂手眼标定的方法及***、终端 | |
| US11577400B2 (en) | Method and apparatus for managing robot system | |
| CN113814987A (zh) | 多相机机器人手眼标定方法、装置、电子设备及存储介质 | |
| CN110533727B (zh) | 一种基于单个工业相机的机器人自定位方法 | |
| CN114505864B (zh) | 一种手眼标定方法、装置、设备及存储介质 | |
| US20230130816A1 (en) | Calibration system, calibration method, and calibration apparatus | |
| CN112643718B (zh) | 图像处理设备及其控制方法和存储其控制程序的存储介质 | |
| CN110672009B (zh) | 基于机器视觉的基准定位、物体姿态调整及图形显示方法 | |
| CN115781698B (zh) | 分层式手眼标定机器人运动位姿自动生成方法、***、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |