CN116652970B - 一种四轴机械臂2d手眼标定方法及***、存储介质 - Google Patents
一种四轴机械臂2d手眼标定方法及***、存储介质 Download PDFInfo
- Publication number
- CN116652970B CN116652970B CN202310941577.1A CN202310941577A CN116652970B CN 116652970 B CN116652970 B CN 116652970B CN 202310941577 A CN202310941577 A CN 202310941577A CN 116652970 B CN116652970 B CN 116652970B
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- hand
- pose
- eye
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000013519 translation Methods 0.000 claims abstract description 22
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000009434 installation Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种四轴机械臂2D手眼标定方法及***、存储介质，其中方法步骤包括：将手眼矩阵关系式，分别分解为旋转矩阵关系，及平移分量关系；以角距离定义两个旋转矩阵表示的姿态之间的距离，将做为一个标量，建立优化的目标函数；以通过最小化的值来求解旋转分量，获取三个方向的姿态；基于SVD法分解中的平移分量，以解得值。籍此获取五个自由度的手眼位姿关系，使四轴SCARA机械臂的视觉抓取方式不再受相机安装角度、抓取平面高度固定的限制。
Description
技术领域
本发明涉及机器人手眼标定技术，尤其涉及一种四轴机械臂2D手眼标定方法及***、存储介质。
背景技术
目前在机械臂与物体存在相对位置移动的场景下，视觉识别起着至关重要的作用。机械臂视觉抓取的关键因素之一在于“手眼关系”的标定，即相机到机械臂末端的转换关系。
根据手眼***中相机的安装方式可分为两种情况：眼在手上（eye in hand），眼在手外（eye on hand）。为确定手眼关系，常用的方法为“九点标定法”，即通过标定板上的九个点在图像中的像素坐标和机械臂基座标下的物理坐标计算相机和机械臂之间的转换关系。九点法具有尺度固定性的特点，仅适用于抓取平面与相机平面相对固定的情况，换句话说，手眼关系中的6个自由度的位姿关系，九点法仅能计算三个/>，因此，其适用场景受到较大的限制。
若要标定出完整的6个自由度的手眼关系，一般认为需要将旋转和平移组成其次变换矩阵，根据基座标、相机、末端手抓、标定板之间的变换关系构造关系式，采集多组数据，利用线性或者非线性算法计算手眼矩阵。但该方法要求至少需要包含两个非平行旋转运动的末端位姿才能够求解（Tsai and Lenz 1989，A New Technique for FullyAutonomous and Efficient 3D Robotics Hand/Eye Calibration）。
而对于四轴的SCARA机械臂，由于其各个旋转轴都是平行的关系，所以无法用上述方法求解手眼关系。
针对四轴SCARA机械臂，现有技术曾提出了多种手眼标定方案，如“SCARA机械手固定相机视觉***手眼标定的高精度方法”（中国专利公开号：CN109159114A）、“一种四轴机械臂的手眼标定方法及装置”（中国专利公开号：CN116038701A）等均在“九点法”的基础上提出了针对四轴机械臂的标定方法，但仍然只能计算手眼关系中三个自由度关系，如此一来，却限制了应用场景中相机平面与抓取平面必须是平行的，且抓取高度相对固定，从而使得应用场景受到限制。
发明内容
为此，本发明的主要目的在于提供一种四轴机械臂2D手眼标定方法及***、存储介质，以实现至少能够计算出五个自由度的手眼位姿关系，使四轴SCARA机械臂的视觉抓取方式不再受相机安装角度、抓取平面高度固定的限制。
为了实现上述目的，根据本发明的第一个方面，提供了一种四轴机械臂2D手眼标定方法，其步骤包括：
步骤S100 将手眼矩阵关系式，分别分解为旋转矩阵关系/>，及平移分量关系/>；
步骤S200以角距离定义两个旋转矩阵表示的姿态之间的距离，将/>做为一个标量，建立优化的目标函数/>；以通过最小化/>的值来求解旋转分量/>，其中/>为手眼矩阵X的旋转分量，包含/>三个方向的姿态；
步骤S300基于SVD法分解中的平移分量，以求解获得/>值。
在可能的优选实施方式中，所述的四轴机械臂2D手眼标定方法，其中步骤S200中角距离
。
其中，为矩阵Q的转置，tr表示矩阵的迹，/>；
而当时，则/>。
在可能的优选实施方式中，其中步骤S300中的求解步骤包括：
步骤S310对进行奇异值分解为/> ；结合平移分量关系式，转换为/>；
步骤S320令，经SVD分解后，S为奇异值组成的对角矩阵：，故而/>，以经求解后获得/>值。
在可能的优选实施方式中，所述四轴机械臂2D手眼标定方法，步骤还包括：
步骤S400定义误差项；建立优化的目标函数/>，进行迭代优化求解，以优化/>值，其中/>为预设固定值；
其中，W为平衡矩阵E中旋转向量和平移向量的数据维度不一样所造成的影响的调节参数。
在可能的优选实施方式中，所述四轴机械臂2D手眼标定方法，步骤还包括：
步骤S500移动机械臂工具末端到pose1，使相机能够清晰的观察到标定板，获取pose1对应的以及/>；移动机械臂工具末端到标定板的原点，记为pose2，获取pose2处的/>；
步骤S600记pose1到pose2的位姿变化为；将机械臂工具末端从pose1到pose2的实际z轴变化为/>的Z分量，记为/>，而pose1到pose2，相机中的z轴变换为/>的Z分量，记为/>；计算手眼关系中/>。
在可能的优选实施方式中，其中步骤S100中，所述手眼矩阵关系式中，，其中/>分别表示两组机械臂工具末端位姿数据/>，而/>分别表示两组标定板在相机坐标系下的位姿数据/>。
在可能的优选实施方式中，其中的各组数据的获取步骤包括：
步骤S110移动机械臂，使相机能够清晰的捕获到标定板图片，以将此时机械臂工具末端的位姿记为，并采集对应标定板图像；
步骤S120重复移动机械臂，采集n组数据，记机械臂工具末端位姿为：。
在可能的优选实施方式中，其中的各组数据的计算步骤包括：
步骤S130建立世界坐标系到像素坐标系的投影关系：
其中为像素坐标系坐标，/>为相机内参矩阵，/>表示标定板到相机坐标系的位姿，将标定板在相机坐标系下的位姿的齐次矩阵/>记为/>，/>表示世界坐标系下的坐标，/>表示特征点在相机坐标系下的深度；
步骤S140通过最小化重投影误差法求解最优的参数：
同时将步骤S110采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为：
。
为了实现上述目的，对应上述方法，本发明第二个方面，还提供了一种四轴机械臂2D手眼标定***，其包括：
存储单元，用于存储包括如上任一所述四轴机械臂2D手眼标定方法步骤的程序，以供控制单元，处理单元适时调取执行；
控制单元，用于控制机械臂使相机能够清晰的捕获到标定板图片，记录此时机械臂末端的位姿，并采集对应标定板图像，重复移动机械臂，采集n组数据，记末端位姿为；
处理单元，用于根据相机内参，来计算标定板在相机坐标系下的位姿，同时将采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为；将手眼矩阵关系式/>，分别分解为旋转矩阵关系/>，及平移分量关系/>；其中/>，/>，其中/>分别表示两组机械臂工具末端位姿数据/>，而/>分别表示两组标定板在相机坐标系下的位姿数据/>；以角距离/>定义两个旋转矩阵表示的姿态之间的距离，将/>做为一个标量，建立优化的目标函数/>；以通过最小化/>的值来求解旋转分量/>，其中/>为手眼矩阵X的旋转分量，包含/>三个方向的姿态；当/>时，则；之后基于SVD法分解/>中的平移分量，以求解获得/>值。
为了实现上述目的，对应上述方法，本发明第三个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上任一所述四轴机械臂2D手眼标定方法的步骤。
通过本发明提供的该四轴机械臂2D手眼标定方法及***、存储介质，巧妙的将手眼矩阵关系式分解为旋转矩阵关系式及平移分量关系式，以分别求取出（）及（/>）五个自由度，从而突破了现有技术针对四轴SCARA机械臂的标定方案，只能计算出三个自由度关系的限制。
此外在四轴SCARA机械臂的应用中，由于的值通常设为固定值，因此理论上本案可以获得完整的6个自由度手眼位姿关系，但为了适应一些特殊的视觉应用方式，本发明同时也提供了一种计算/>的方案，从而使得本案能够完整的计算出6个自由度手眼位姿关系，以使四轴SCARA机械臂的视觉抓取方式，不再受相机安装角度、抓取平面高度固定等场景的限制。籍此扩大了四轴SCARA机械臂在工业场景的应用范围。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的四轴机械臂2D手眼标定方法的步骤示意图；
图2为现有技术的四轴SCARA机械臂结构示意图；
图3为本发明的四轴机械臂2D手眼标定方法中，机器人基座标系ROBOT与标定板坐标系WORLD，在不同位姿的数据转换关系示意图；
图4为本发明的四轴机械臂2D手眼标定***结构示意图。
具体实施方式
为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S100”、“S200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
根据机器人运动学和机器人动力学的理论，四轴SCARA机械臂一般设计成图2所示结构，轴1为垂直升降轴，轴2、轴3、轴4为绕Z的旋转轴，其中轴4为末端法兰盘所在的轴，夹取工具固定其上。由于四轴SCARA机械臂的特性，其能表示的空间位姿只有四个自由度，分别是x, y, z, Rz。也就是说除了空间位置坐标（x，y，z）外，四轴SCARA机械臂的抓取姿态只能绕Z轴旋转，绕X轴和Y轴的转动使无法实现的。
进一步的，在三维空间中刚体的位姿可用旋转R和平移t表示，通常将刚体运动的旋转和平移用一个齐次变换矩阵H表示，在六轴铰接式机械臂的手眼标定过程中，若眼在手上（eye in hand），标定板在机械臂基座标下的位置关系由链式齐次坐标变换表示为：
若眼在手外（eye on hand），标定则固定在机械臂末端，所以标定板与末端的位姿关系保持不变，标定过程的链式齐次坐标变换为：
其中为机械臂工具末端在基座标系下的位姿, />表示基座标在机械臂末端工具坐标系下的位姿，显然/>；该位姿数据可直接从机械臂中读取，表示相机坐标系到工具末端坐标系间的位姿关系，也就是需要求解的eye in hand时的手眼矩阵；/>表示相机坐标系与基座标系的位姿关系，也是需要求解的eye onhand时的手眼关系；/>表示标定板在相机坐标系下的位姿，可由标定板识别算法获取。
由于上式中有和/>（或/>和/>）两个未知量，而需要求得的是或/>，同时鉴于/>或/>是固定不变的（因为标定过程中标定板和机械臂基座标之间的位置关系固定，或标定板与末端工具的位置关系固定），所以标定过程需要采集多组机械臂末端数据和标定板识别数据，消去/>或/>，构造方程来求解/>或。
为此如图1所示，本发明提供了一种四轴机械臂2D手眼标定方法，其步骤包括：
步骤S100
假设机器人基座标系为ROBOT，标定板坐标系为WORLD，根据不同位姿的数据转换关系如图3所示，可建立手眼矩阵关系式
。
其中，，/>，/>分别表示第一组和第二组数据的机械臂末端位姿数据/>，/>分别为第一组和第二组数据的标定板在相机坐标系下的位姿数据，/>为要求解的手眼关系/>。A，B，X均为刚***姿变换的齐次矩阵：
具体的，根据相机的安装方式不同，机械臂视觉抓取可分为眼在手上和眼在手外。当眼在手上时，相机可安装在机械臂末端，保证标定板与基座标位置相对固定；当眼在手外时，相机可固定安装于环境中，标定板可安装在机械臂末端，以保证相机与机械臂末端位置相对固定。两种情形的数据采集的方式均相同。
在后续计算前，若相机内参未确定时，可先进行相机内参标定。相机内参是相机的固有属性，由方向上的焦距/>，原点偏移量/>以及一系列畸变系数组成，当相机的焦距、对焦环固定之后，内参就固定不变了。根据相机小孔成像模型：
。
其中，为像素坐标点，/>为空间坐标点。内参标定过程通常需要借助特定的标定物，常用的标定物为特定图案的标定板，如棋盘格标定板、圆形标定板、ChArUco、Apriltag grid等多种形式。
标定板是三维空间中的一个平面，根据上式所示的投影成像关系得到成像平面/>，通过两个平面的对应点的坐标，可求得两个平面之间的单应性矩阵/>。标定板上的规格和尺寸是已知的，图像中的角点可以通过角点检测算法提取到，根据上式可得/>，其中/>为像中的点坐标，/>为标定板上的点坐标，/>,表示两个平面的单应性矩阵，改变相机和标定板之间的位姿关系，采集多张标定板图像，可得到了多组单应性矩阵，通过最小二乘求解/>，将/>进行分解即可求得相机内参数K。
进一步的，其中的各组数据获取步骤包括：
步骤S110移动机械臂，使相机能够清晰的捕获到标定板图片，以将此时机械臂工具末端的位姿记为，并采集对应标定板图像。
其中，本示例中该标定板可设置为特定规格的图案，包括但不限于棋盘格标定板、圆形标定板、ChArUco、Apriltag grid等多种形式，只要能够得到标定物到相机的位姿关系的方案，都可在标定板涉及揭露范围内。
步骤S120重复移动机械臂，采集n组数据，记机械臂工具末端位姿/>为：
即n组数据，通过两两组合生成一个A， 如。
进一步的，其中的各组数据的计算步骤包括：
步骤S130 在相机内参已知的情况下，示例使用PnP（Perspective-n-Point）算法来计算。PnP算法的求解方式有多种，常见的有直接线性变换法（Direct LinearTransform， DLT），EPnP，最小化重投影误差法，本示例以最小化重投影误差法为例，求解标定板位姿。
例如：根据小孔成像原理，建立世界坐标系到像素坐标系的投影关系：
其中为像素坐标系坐标，/>为相机内参矩阵，/>表示标定板到相机坐标系的位姿，将标定板在相机坐标系下的位姿的齐次矩阵/>记为/>，/>表示世界坐标系下的坐标，/>表示特征点在相机坐标系下的深度；
步骤S140通过最小化重投影误差法求解最优的参数：
/>
同时将步骤S110采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为：
即n组数据，通过两两组合生成一个B，如B。
进一步的，无论是eye in hand还是eye on hand都可以由式分解为：
/>
/>
由式（2）（3）可看出，旋转矩阵R与平移分量无关，可独立计算，而平移向量则与旋转相关，需要依赖于/>的结果去计算。对于6关节的机械臂，可以在空间中绕x，y，z轴自由旋转，因此根据（2）（3）可直接计算手眼矩阵/>。
步骤S200计算旋转分量。
具体来说，根据式（2）旋转分量可单独计算，均为旋转矩阵，表示空间中刚体的旋转姿态，其中/>表示手眼矩阵X的旋转分量，包含/>三个方向的姿态。而表示等式左右两边的旋转矩阵表示的姿态一致。
此时用角距离表示两个旋转矩阵表示的姿态之间的距离，令，则角距离/>定义为：
/>
其中，为矩阵Q的转置，tr表示矩阵的迹（方阵特征值的和）。/>为一个标量，通过最小化/>的值来计算旋转分量/>。优化的目标函数为：
/>
然后示例使用Levenberg-Marquardt算法进行迭代优化求解，便可计算得到的结果，而令/>时，则/>。
步骤S300计算
具体来说，根据式（3）在求得的情况下计算/>，由于/>的秩为2（其中/>为单位矩阵，线性代数中的一个常量，相当于实数中的1），因此/>的解不唯一，无法直接求解，本发明提出一种基于SVD分解的平移分量求解方案，首先对/>进行奇异值分解：
/>
结合式（3）（9）可得：
/>
式（10）的右边均为已知量，令：
/>
SVD分解后，S为奇异值组成的对角矩阵：
/>
结合式（10）（11）（12），可得：
/>
根据式（13）可求得的值，对于采集的n组数据，每组数据可求得一组/>值，将n组数据计算/>的平均值作为最终结果，可增加结果的精度和鲁棒性。
步骤S400优化值
由于本示例是分两步求解旋转和平移，因此计算过程会受到Rx的累计误差影响而导致精度下降。为此本示例提出使用非线性优化对计算结果进行微调，进一步提高标定结果的精度，其步骤包括：
定义误差项E为：
/>
优化的目标函数为：
/>
其中，W的作用是为了平衡矩阵E中旋转向量和平移向量的数据维度不一样造成的影响（旋转矩阵有9个量，平移向量有3个量）。
同时所有的n组数据均示例用Levenberg-Marquardt进行优化，但本领域技术人员应当知晓，本示例下所有所称的非线性优化算法，也可采用如高斯-牛顿法、最速下降法等进行替代。
此外因为无法确定，所以整个优化过程中需要保持/>为预设的固定值即可。
进一步的，由于在四轴SCARA机械臂的应用中，的值通常设为固定值，但是对于一些特殊的视觉应用方式，/>的值则必须准确。
因此，为了得到完整的外参，本发明还示例了一种确认值的步骤如下：
步骤S500移动机械臂工具末端到pose1，使相机能够清晰的观察到标定板，获取pose1对应的以及/>；移动机械臂工具末端到标定板的原点，记为pose2，获取pose2处的/>。
步骤S600记pose1到pose2的位姿变化为；将机械臂工具末端从pose1到pose2的实际z轴变化为/>的Z分量，记为/>；而pose1到pose2，相机中的z轴变换为/>的Z分量，记为/>；籍此便可计算手眼关系中的/>，从而确定/>值。
其中在实际实施中，机械臂末端与标定板原点重合操作难度比较大，作为替代方法，也可以将机械臂末端移动到标定板原点正上方或者正下发已知高度的点，然后再计算过程中将这个已知的高度补偿进去即可。
由此，通过上述示例步骤， 便可计算出完整的四轴SCARA机械臂的六个自由度手眼位姿关系。使得四轴SCARA机械臂的视觉抓取应用中，不再受相机安装方式、夹爪安装方式等因素的影响。
另一方面，对应上述示例的四轴机械臂2D手眼标定方法，如图4所示，本发明还提供了一种四轴机械臂2D手眼标定***，其包括：
存储单元，用于存储包括如上任一所述四轴机械臂2D手眼标定方法步骤的程序，以供控制单元，处理单元适时调取执行；
控制单元，用于控制机械臂使相机能够清晰的捕获到标定板图片，记录此时机械臂末端的位姿，并采集对应标定板图像，重复移动机械臂，采集n组数据，记末端位姿为；
处理单元，用于根据相机内参，来计算标定板在相机坐标系下的位姿，同时将采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为。
之后处理单元还将手眼矩阵关系式，分别分解为旋转矩阵关系，及平移分量关系/>；其中/>，/>，其中/>分别表示两组机械臂工具末端位姿数据/>，而/>分别表示两组标定板在相机坐标系下的位姿数据/>；而后以角距离/>定义两个旋转矩阵表示的姿态之间的距离，将/>做为一个标量，建立优化的目标函数：
以通过最小化的值来求解旋转分量/>，其中/>为手眼矩阵X的旋转分量，包含三个方向的姿态。
其中当时，则/>。
之后处理单元还基于SVD法分解中的平移分量，以求解获得/>值。
进一步的，当需要对值进行优化时，该处理单元还通过优化的目标函数：
对所有的n组数据均示例采用Levenberg-Marquardt进行优化，从而完成对 值的优化。
另一方面，当的值则必须确定时，该控制单元还用于，移动机械臂工具末端到pose1，使相机能够清晰的观察到标定板，获取pose1对应的/>以及/>；移动机械臂工具末端到标定板的原点，记为pose2，获取pose2处的/>。
而处理单元还用于，记pose1到pose2的位姿变化为；将机械臂工具末端从pose1到pose2的实际z轴变化为/>的Z分量，记为/>，而pose1到pose2，相机中的z轴变换为/>的Z分量，记为/>，以计算手眼关系中/>，从而确定/>值。
另一方面，对应上述方法，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上任一所述四轴机械臂2D手眼标定方法的步骤。
终上所述，通过本发明提供的该四轴机械臂2D手眼标定方法及***、存储介质，巧妙的将手眼矩阵关系式分解为旋转矩阵关系式及平移分量关系式，以分别求取出（）及（/>）五个自由度，从而突破了现有技术针对四轴SCARA机械臂的标定方案，只能计算出三个自由度关系的限制。
此外在四轴SCARA机械臂的应用中，由于的值通常设为固定值，因此理论上本案可以获得完整的6个自由度手眼位姿关系，但为了适应一些特殊的视觉应用方式，本发明同时也提供了一种计算/>的方案，从而使得本案能够完整的计算出6个自由度手眼位姿关系，以使四轴SCARA机械臂的视觉抓取方式，不再受相机安装角度、抓取平面高度固定等场景的限制。籍此扩大了四轴SCARA机械臂在工业场景的应用范围。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块/单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块/单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块/单元可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块/单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块/单元视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。
Claims (8)
1.一种四轴机械臂2D手眼标定方法，其步骤包括：
步骤S100 将手眼矩阵关系式，分别分解为旋转矩阵关系/>，及平移分量关系/>；其中/>，/>，其中/>分别表示两组机械臂工具末端位姿数据/>，而/>分别表示两组标定板在相机坐标系下的位姿数据/>；/>、/>均为旋转矩阵；/>为单位矩阵；
步骤S200以角距离定义两个旋转矩阵表示的姿态之间的距离，将/>做为一个标量，建立优化的目标函数/>；以通过最小化/>的值来求解旋转分量/>，其中/>为手眼矩阵X的旋转分量，包含/>三个方向的姿态；
步骤S300基于SVD法分解中的平移分量，以求解获得/>值步骤包括：
步骤S310对进行奇异值分解为/> ；结合平移分量关系式，转换为；
步骤S320令，经SVD分解后，S为奇异值组成的对角矩阵：，故而/>，以经求解后获得/>值。
2.根据权利要求1所述的四轴机械臂2D手眼标定方法，其中步骤S200中角距离
；
其中，为矩阵Q的转置，tr表示矩阵的迹，/>；
而当时，则/>。
3.根据权利要求1所述的四轴机械臂2D手眼标定方法，步骤还包括：
步骤S400定义误差项，其中/>为标定板在机械臂基座标下的位置关系、/>为机械臂工具末端在基座标系下的位姿、/>为相机坐标系与基座标系的位姿关系、/>表示标定板在相机坐标系下的位姿；建立优化的目标函数/>，进行迭代优化求解，以优化/>值，其中/>为预设固定值；
；
其中，W为平衡矩阵E中旋转向量和平移向量的数据维度不一样所造成的影响的调节参数。
4.根据权利要求1所述的四轴机械臂2D手眼标定方法，步骤还包括：
步骤S500移动机械臂工具末端到pose1，使相机能够清晰的观察到标定板，获取pose1对应的以及/>；移动机械臂工具末端到标定板的原点，记为pose2，获取pose2处的；
步骤S600记pose1到pose2的位姿变化为；将机械臂工具末端从pose1到pose2的实际z轴变化为/>的Z分量，记为/>，而pose1到pose2，相机中的z轴变换为/>的Z分量，记为/>；计算手眼关系中/>。
5.根据权利要求1所述的四轴机械臂2D手眼标定方法，其中的各组数据获取步骤包括：
步骤S110移动机械臂，使相机能够清晰的捕获到标定板图片，以将此时机械臂工具末端的位姿记为，并采集对应标定板图像；
步骤S120重复移动机械臂，采集n组数据，记机械臂工具末端位姿为：。
6.根据权利要求1所述的四轴机械臂2D手眼标定方法，其中的各组数据的计算步骤包括：
步骤S130建立世界坐标系到像素坐标系的投影关系：
；
其中为像素坐标系坐标，/>为相机内参矩阵，/>表示标定板到相机坐标系的位姿，将标定板在相机坐标系下的位姿的齐次矩阵/>记为/>，/>表示世界坐标系下的坐标，表示特征点在相机坐标系下的深度；
步骤S140通过最小化重投影误差法求解最优的参数：
；
同时将步骤S110采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为：
。
7.一种四轴机械臂2D手眼标定***，其包括：
存储单元，用于存储包括如权利要求1至6中任一所述四轴机械臂2D手眼标定方法步骤的程序，以供控制单元，处理单元适时调取执行；
控制单元，用于控制机械臂使相机能够清晰的捕获到标定板图片，记录此时机械臂末端的位姿，并采集对应标定板图像，重复移动机械臂，采集n组数据，记末端位姿为；
处理单元，用于根据相机内参，来计算标定板在相机坐标系下的位姿，同时将采集到的每张标定板图像，都对应一个在相机坐标系下的位姿，记为/>；将手眼矩阵关系式/>，分别分解为旋转矩阵关系/>，及平移分量关系；其中/>，/>，其中/>分别表示两组机械臂工具末端位姿数据/>，而/>分别表示两组标定板在相机坐标系下的位姿数据/>；以角距离/>定义两个旋转矩阵表示的姿态之间的距离，将/>做为一个标量，建立优化的目标函数/>；以通过最小化/>的值来求解旋转分量/>，其中/>为手眼矩阵X的旋转分量，包含/>三个方向的姿态；当/>时，则；之后基于SVD法分解/>中的平移分量，以求解获得/>值。
8.一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至6中任一所述四轴机械臂2D手眼标定方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310941577.1A CN116652970B (zh) | 2023-07-28 | 2023-07-28 | 一种四轴机械臂2d手眼标定方法及***、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310941577.1A CN116652970B (zh) | 2023-07-28 | 2023-07-28 | 一种四轴机械臂2d手眼标定方法及***、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116652970A CN116652970A (zh) | 2023-08-29 |
| CN116652970B true CN116652970B (zh) | 2023-10-31 |
Family
ID=87720964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310941577.1A Active CN116652970B (zh) | 2023-07-28 | 2023-07-28 | 一种四轴机械臂2d手眼标定方法及***、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116652970B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117182931B (zh) * | 2023-11-07 | 2024-01-23 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及***，存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
| CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及*** |
| CN111823233A (zh) * | 2020-06-30 | 2020-10-27 | 浙江德尚韵兴医疗科技有限公司 | 基于高精度立体光学定位的机械臂手眼标定***及方法 |
| EP4094897A1 (de) * | 2021-05-26 | 2022-11-30 | MVTec Software GmbH | Hand-auge-kalibrierung von kamerageführten apparaturen |
| CN116038701A (zh) * | 2022-12-30 | 2023-05-02 | 北京中科原动力科技有限公司 | 一种四轴机械臂的手眼标定方法及装置 |
| CN116352710A (zh) * | 2023-03-24 | 2023-06-30 | 电子科技大学 | 一种用于大型航天构件的机器人自动标定与三维测量方法 |
| WO2023134237A1 (zh) * | 2022-01-14 | 2023-07-20 | 北京京东乾石科技有限公司 | 用于机器人的坐标系标定方法、装置、***以及介质 |
-
2023
- 2023-07-28 CN CN202310941577.1A patent/CN116652970B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109483516A (zh) * | 2018-10-16 | 2019-03-19 | 浙江大学 | 一种基于空间距离和极线约束的机械臂手眼标定方法 |
| CN111775152A (zh) * | 2020-06-29 | 2020-10-16 | 深圳大学 | 基于三维测量引导机械臂抓取散乱堆叠工件的方法及*** |
| CN111823233A (zh) * | 2020-06-30 | 2020-10-27 | 浙江德尚韵兴医疗科技有限公司 | 基于高精度立体光学定位的机械臂手眼标定***及方法 |
| EP4094897A1 (de) * | 2021-05-26 | 2022-11-30 | MVTec Software GmbH | Hand-auge-kalibrierung von kamerageführten apparaturen |
| WO2023134237A1 (zh) * | 2022-01-14 | 2023-07-20 | 北京京东乾石科技有限公司 | 用于机器人的坐标系标定方法、装置、***以及介质 |
| CN116038701A (zh) * | 2022-12-30 | 2023-05-02 | 北京中科原动力科技有限公司 | 一种四轴机械臂的手眼标定方法及装置 |
| CN116352710A (zh) * | 2023-03-24 | 2023-06-30 | 电子科技大学 | 一种用于大型航天构件的机器人自动标定与三维测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116652970A (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110276806B (zh) | 用于四自由度并联机器人立体视觉手眼***的在线手眼标定和抓取位姿计算方法 | |
| CN109483516B (zh) | 一种基于空间距离和极线约束的机械臂手眼标定方法 | |
| CN109859275B (zh) | 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法 | |
| CN109591011B (zh) | 复合材料三维结构件单边缝合激光视觉路径自动跟踪方法 | |
| CN110666798B (zh) | 一种基于透视变换模型的机器人视觉标定方法 | |
| CN113379849B (zh) | 基于深度相机的机器人自主识别智能抓取方法及*** | |
| CN110136204B (zh) | 基于双侧远心镜头相机机床位置标定的音膜球顶装配*** | |
| CN109658460A (zh) | 一种机械臂末端相机手眼标定方法和*** | |
| CN110717943A (zh) | 用于二维平面的眼在手上机械手手眼标定方法及*** | |
| CN116652970B (zh) | 一种四轴机械臂2d手眼标定方法及***、存储介质 | |
| CN111801198A (zh) | 一种手眼标定方法、***及计算机存储介质 | |
| CN111862238B (zh) | 一种全空间单目光笔式视觉测量方法 | |
| CN114643578B (zh) | 一种提高机器人视觉引导精度的标定装置及方法 | |
| CN115861445B (zh) | 一种基于标定板三维点云的手眼标定方法 | |
| CN111612794A (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及*** | |
| CN110136068B (zh) | 基于双侧远心镜头相机之间位置标定的音膜球顶装配*** | |
| CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
| CN113751981B (zh) | 基于双目视觉伺服的空间高精度装配方法和*** | |
| CN112229323B (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN114055444A (zh) | 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质 | |
| CN112958960A (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
| CN114029982A (zh) | 一种相机在机器臂外的手眼标定装置及其标定方法 | |
| CN113593050A (zh) | 一种双目视觉引导的机器人智能装配方法、***及装置 | |
| CN117173254A (zh) | 一种相机标定方法、***、装置和电子设备 | |
| CN114643577B (zh) | 一种通用型机器人视觉自动标定装置和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |