CN102452081B - 机械手臂***参数的校正方法与校正装置 - Google Patents

Abstract

本发明公开了一种机械手臂***参数的校正方法，机械手臂***包括基座、机械手臂与摄像单元。校正方法包括设置平面在摄像单元前，设置激光单元在机械手臂的第二端并投射光束至平面形成光点，取得激光单元相对机械手臂的第一初始参数集合、平面相对机械手臂的第二初始参数集合、摄像单元的第三初始参数集合、摄像单元相对机械手臂的第四初始参数集合与机械手臂的第二端相对第一端的第五参数集合，取得光点相对摄像单元的实际位置，藉由第一至第五参数集合取得光点相对摄像单元的预测位置，将预测位置与实际位置的差异量形成方程式，并以算法取得参数解。

Description

机械手臂***参数的校正方法与校正装置

技术领域

本发明是有关于一种机械手臂***参数的校正方法与校正***，且特别是有关于同时校正摄像单元的内部参数，以及摄像单元与机械手臂的相互关系的一种机械手臂的校正方法与校正***。

背景技术

在自动化生产中，常利用机械手臂进行工件的抓取、排列或组装，而进一步在机械手臂与视觉的整合***，其例如是在一生产在线让机械手臂使用视觉***自动抓取在输送带上的目标物，则是利用目标物在摄影机影像中的特征点位置来标定目标物的位置和姿态。为了使***能够精准地测定目标物的位置和姿态，此***需经过使用前的校正方能达成。

发明内容

本发明提供一种机械手臂***参数的校正方法，以使机械手臂***具有较高的精度。

本发明提供一种校正装置，其藉由简易的构件而达到校正摄像单元的内部参数，及摄像单元与机械手臂之间的空间关系。

本发明的一实施例提出一种机械手臂***参数的校正方法。机械手臂***包括一基座、一机械手臂与至少一摄像单元，其中机械手臂具有一第一端与一第二端，第一端连接至基座。上述的参数特别是指摄影单元的内部参数、以及摄像单元相对于机械手臂的第一端的旋转矩阵与平移向量。校正方法包括，设置一平面在摄像单元前，以及设置一激光单元在机械手臂的第二端，其中激光单元投射一光束至平面上形成一光点，之后分别取得激光单元相对于机械手臂的第二端的一第一初始参数集合、平面相对于机械手臂的第一端的一第二初始参数集合、摄像单元的内部参数，亦即是摄像单元的一第三初始参数集合、与摄像单元相对于机械手臂的第一端的旋转矩阵与平移向量，亦即是摄像单元相对于机械手臂的第一端的一第四初始参数集合。接着，移动机械手臂的第二端到至少一位置姿态，使光点在摄像单元上所形成的影像而取得光点相对于摄像单元的至少一实际位置，以取得机械手臂的第二端相对于第一端的一第五参数集合。接着，藉由第一初始参数集合、第二初始参数集合、第三初始参数集合、第四初始参数集合与第五参数集合取得光点相对于摄像单元的至少一预测位置。接着将彼此对应的预测位置与实际位置的相对差异量形成一方程式，最后藉由一算法取得此方程式的参数解，以校正该第一初始参数集合、该第二初始参数集合、该第三初始参数集合与该第四初始参数集合。

本发明的一实施例提出一种校正装置，用以校正一机械手臂***。机械手臂***包括一机械手臂与至少一摄像单元。校正装置包括一激光单元、一控制单元以及一平面。激光单元组装在机械手臂上。控制单元电性连接机械手臂与摄像单元。平面配置在摄像单元的可视范围内。激光单元发射一光束至平面上形成一光点，其中控制单元藉由摄像单元撷取在平面上的光点的影像，而同时校正摄像单元的内部参数及摄像单元与机械手臂之间的空间几何关系。

基于上述，在本发明的上述实施例中，机械手臂***参数的校正方法藉由设置在摄像单元的可视范围内的一平面与配置在机械手臂上的激光单元，以让使用者能方便地同时校正摄像单元的参数及机械手臂与摄像单元之间的关系参数。此举让机械手臂***能以较简易且方便的方式便能达到精确地校正机械手臂***的效果。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1是依照本发明一实施例的一种机械手臂***与校正装置的示意图；

图2绘示图1的机械手臂***的校正方法的流程图；

图3绘示在图1机械手臂***在校正流程中用以取得初始参数的示意图。

【主要组件符号说明】

10：监视器

100：校正装置

200：机械手臂***

210：机械手臂

110：激光单元

120：控制单元

130：平面

220：摄像单元

140：光点

230：基座

180：图样

182、182a：格点

E1：第一端

E2：第二端

具体实施方式

图1是依照本发明一实施例的一种机械手臂***参数与校正装置的示意图。请参考图1，在本实施例中，校正装置100用以校正一机械手臂***200，此机械手臂***200包括一机械手臂210与一摄像单元220，而校正装置100包括一激光单元110、一控制单元120与一平面130，其中控制单元120电性连接机械手臂210与摄像单元220，而平面130位于摄像单元220的可视范围内，激光单元110藉由发射激光束至平面130而在平面130上形成一光点140。摄像单元220例如是一摄影机，其用以撷取平面130及光点140的影像。再者，机械手臂210具有彼此相对的一第一端E1与一第二端E2，其中第一端E1组装至一基座230，而激光单元110组装在机械手臂210的第二端E2。其中，该控制单元120藉由该摄像单元220撷取在该平面130上的该光点140的影像而同时校正该摄像单元220的内部参数，及该摄像单元220与该机械手臂之间的空间关系。

为了使机械手臂210藉由视觉***而自动抓取一目标物，因此本发明提供一种机械手臂***参数的校正方法，上述的机械手臂***参数特别是指摄影单元220的内部参数、以及摄像单元220相对于机械手臂210的第一端E1的旋转矩阵与平移向量。图2绘示图1的机械手臂***的校正方法的流程图。请同时参考图1及图2，在本实施例中，将上述校正装置100与机械手臂***200的相关构件组装后，首先控制单元120在步骤S210中取得激光单元110相对于机械手臂210的第二端E2的一第一初始参数集合。

若由于机械手臂210的位置姿态不适当，而造成例如光点140不是位于摄像单元220的可视范围内，则接着，在步骤S225中，改变机械手臂210的位置姿态，使光点140在平面130上的位置改变至摄像单元220的可视范围内。

接着，在步骤S230中，取得机械手臂210的第二端E2相对于第一端E1的一第五参数集合。

接着，在步骤S240中，藉由激光单元110投射光束在平面130上所形成的光点140在摄像单元220上所形成的影像，而取得光点140相对于摄像单元220的至少一实际位置。

接着，在步骤S250中，取得摄像单元220的一第三初始参数集合(亦即是前述的摄影单元220的内部参数)及平面130相对于摄像单元220的初始空间关系，并在步骤S260与步骤S270中，取得摄像单元220相对于机械手臂210的第一端E1的一第四初始参数集合(亦即是前述之摄像单元220相对于机械手臂210的第一端E1的旋转矩阵与平移向量)，以及平面130相对于机械手臂210的第一端E1的一第二初始参数集合。

于步骤S280中，藉由第一初始参数集合、第二初始参数集合、第三初始参数集合、第四初始参数集合与第五参数集合取得光点140相对于摄像单元220的至少一预测位置，亦即在此是将光点140从机械手臂210的机械坐标系转换至摄像单元220的影像坐标系。

最后，于步骤S290及步骤S300中，将彼此对应的预测位置与实际位置的相对差异量形成一方程式，及藉由一算法取得此方程式的参数解，以校正前述的第一初始参数集合、第二初始参数集合、第三初始参数集合与第四初始参数集合。

在本实施例中，由于摄像单元220的不确定性、参数的不准确以及影像运算误差，将导致此相对差异量并不为零。故而藉由本发明的校正方法而能对机械手臂***参数进行校正，使方程式取得最佳参数解而让上述的不确定性与误差达到最小。

再加以详述如下，在本实施例中，摄像单元220的第三初始参数集合实质上为摄影机的内部参数(intrinsic parameters)，其包括两个焦距(focal length)、两个主轴点(principal point)、一偏斜系数(skew coefficient)与五个失真系数(distortion coefficient)。但本实施例并不限于上述这些内部参数。

在此，将在空间中的特征点p_c[x_cy_cz_c]^T对应到摄影机影像的中位置(u_p，v_p)关系形成如下的式子：[u_p v_p]＝h(p_c，Ω)，其中Ω表示所有内部参数的集合。

再者，第二初始参数集合包括平面130相对于机械手臂210的第一端E1的一法向量n_B，P与平面130的一位置向量T_B，P，该法向量n_B，P为平面130在第一端E1座标系的垂直方向向量，该位置向量T_B，P为平面130在第一端E1座标系的位置向量。第四初始参数集合包括摄像单元220相对于机械手臂210的第一端E1的一第一旋转矩阵R_B，C与一第一平移向量T_B，C，其中第一旋转矩阵R_B，C为从摄像单元220座标系转换到第一端E1座标系的旋转关系，第一平移向量T_B，C为从摄像单元220座标系转换到第一端E1座标系的平移关系。再者，更藉由第四初始参数集合与平面130相对于摄像单元220的初始空间关系而能取得平面130相对于机械手臂210的第一端E1的第二初始参数集合。

此外，在本实施例中，由于激光单元110是安装于机械手臂210的末端作用器(End-effector)上的第二端E2，因此两者之间的关系(即第一初始参数集合)可由一单位向量u_E，L以及一第二平移向量T_E，L来描述，该单位向量u_E，L为激光光束在第二端E2座标系的方向向量，第二平移向量T_E，L为激光光束在第二端E2坐标系上的位置。另外，第一端E1组装在基座230，依据机械手臂210各个关节的运动，而可得出机械手臂210的第二端E2相对于第一端E1的一第五参数集合，来描述第二端E2相对于第一端E1的空间转换关系，亦即第二端E2相对于基座230的空间转换关系，其包括第二端E2相对于第一端E1的一第二旋转矩阵R_B，E与一第三平移向量T_B，E，第二旋转矩阵R_B，E为从第二端E2坐标系转换到第一端E1坐标系的旋转关系，第三平移向量T_B，E为从第二端E2坐标系转换到第一端E1坐标系的平移关系。

如此一来，平面130上的光点140在机械手臂210的坐标系中的位置为P_B＝R_B，E(d_lu_E，L+T_E，L)+T_B，E，其中

$d_l=\frac{{(T_{B,P}-T_{B,L})}^T\·n_{B,P}}{{\left(R_{B,E}{u}_{E,L}\right)}^T\·n_{B,P}}=\frac{{(T_{B,P}-(R_{B,E}{T}_{E,L}+T_{B,E}))}^T\·n_{B,P}}{{\left(R_{B,E}{u}_{E,L}\right)}^T\·n_{B,P}}$

之后将光点140由机械手臂210的坐标系转换至摄像单元220的坐标系中，依据摄像单元220的投影模型可推算光点落于影像中的位置为

实际由影像得到的光点影像位置为

进一步地定义两者之间的相对差异量：

$e={\left[\begin{array}{c}u\\ v\end{array}\right]}_{\mathrm{camera}}-{\left[\begin{array}{c}u\\ v\end{array}\right]}_{\mathrm{predict}}$

在此为了使方程式达到最佳化，因此在步骤S241中，使用者可对目前已收集的数据数量进行判断。当需要进行重复收集数据时，使用者可藉由步骤S243改变机械手臂210的姿态，而让光点140在平面130上的位置亦随之改变。藉由此举以进行重复收集光点140的预测位置与相对的实际位置的数据数量达到一定值之后再进行后续步骤的相关计算。

在此，藉由第一初始参数集合、第三初始参数集合、第五参数集合、光点140的多个实际位置与平面130相对于摄像单元220的初始空间关系，而能取得摄像单元220相对于机械手臂210的第一端E1的第四初始参数集合。其中，此时的第五参数集合包括多个第二旋转矩阵与多个第三平移向量。

此外，图3绘示在图1机械手臂***在校正流程中用以取得摄像单元220的初始参数的示意图，在此并省略部分构件以能清楚辨识相关结构。上述的初始参数包括初始内部参数(即第三初始参数集合)以及平面130在摄像单元220的坐标系中的初始位置及姿态。请参考图1至图3，在本实施例中，校正方法更包括步骤S220，即设置一图样180在平面130(标示于图1)上，并以摄像单元220取得图样180的影像后从平面130上移除此图样180，以方便在后续步骤中取得方程式的一初始参数。

详细地说，方程式在进行最佳化演算之前需要一初始参数。此初始参数的取得可以通过在每次平面130放置好时，将特定的图样180放置于平面130上，如图3所绘示的格点182乃是一例，格点182之间的相对位置为已知，在监视器10形成的影像画面中，格点182a的位置经由影像处理获得，纪录下每一格点182a画面的所有格点182a的位置。将这些格点182a位置作为数据，利用Zhang算法可以得到摄像单元220的内部参数(即第三初始参数集合)以及格点182在摄像单元220的坐标系中的位置，亦即平面130相对于摄像单元220的初始空间关系。这些数据便作为机械手臂***200中的摄像单元220的初始内部参数(即第三初始参数集合)以及平面130在摄像单元220的坐标系中的初始位置及姿态，以利后续取得第四初始参数集合与第二初始参数集合。

将图1所示的光点140的实际位置和机械手臂210的第二端E2的位置姿态(即第二端E2相对于第一端E1的空间转换关系，亦即第五参数集合)、激光单元110相对于第二端E2的相对关系(第一初始参数集合)、摄像单元220的初始内部参数(第三初始参数集合)以及平面130在摄像单元220的坐标系中的初始位置及姿态(即平面相对于摄像单元的空间关系)代入***模型并计算，便可取得摄像单元220与机械手臂210的第一端E1之间的初始空间参数(第四初始参数集合)，以及平面130相对于机械手臂210的第一端E1的第二初始参数集合。在此计算摄像单元220与机械手臂210的第一端E1之间的第四初始参数集合是利用下述限制条件：

u_B，L×(R_B，CP_C+T_B，C-T_B，L)＝[0]，

其中u_B，L＝R_B，Eu_E，L，T_B，L＝R_B，ET_E，L+T_B，E。

如此一来，所取得的第一初始参数集合、第二初始参数集合、第三初始参数集合与第四初始参数集合便可用以做为最佳化算法运算的初始值。但在此所说明取得上述初始参数集合的方法仅为一例，并非唯一手段。

基于上述，若在校正过程中将平面130放置在N_j个不同的位置姿态上，并且每一位置姿态下，都命令机械手臂210移动到N_i个不同的位置姿态，如此形成的最佳化方程式为：

$\underset{S}{\min }\underset{j=1}{\overset{N_j}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_i}{\mathrm{\Σ}}}{\left(\begin{array}{c}{\left[\begin{array}{c}{u}_{i,j}\\ v_{i,j}\end{array}\right]}_{\mathrm{camera}}-{\left[\begin{array}{c}{u}_{i,j}\left(S\right)\\ v_{i,j}\left(S\right)\end{array}\right]}_{\mathrm{predict}}\end{array}\right)}^2$

其中S包括上述所有需要校正的参数。

最后便利用最佳化算法，例如Levenberg-Marquardt算法、Gauss-Newton算法或gradient descent算法，计算出最佳的参数解。

另一方面，当使用者于步骤S241中判断仍须继续进行数据收集时，亦可在此时藉由步骤S252的判断以及步骤S244改变平面130的位置与姿态，藉以取得更多的数据(即取得更多光点的预测位置与实际位置)以提高方程式的参数解的准确性。

除此之外，本发明的校正方法亦可使用于多个摄像单元的***中。在本发明另一未绘示的实施例中，机械手臂***包括M个摄像单元，且这些摄像单元具有重复的可视范围，因此平面上的光点便会同时出现在各个摄像单元的影像中。与上述实施例类似，若我们在校正过程中将平面放置在N_j个不同的位置姿态上，并且每一位置姿态下，都命令机械手臂移动到N_i个不同的位置姿态，如此形成的最佳化方程式为：

$\underset{s_1,..,s_M\⋐S}{\min }\underset{j=1}{\overset{N_j}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_i}{\mathrm{\Σ}}}\left({\left(\begin{array}{c}{\left[\begin{array}{c}{u}_{i,j}\\ v_{i,j}\end{array}\right]}_{\mathrm{cameral}}-{\left[\begin{array}{c}{u}_{i,j}\left(S_1\right)\\ v_{i,j}\left(S_1\right)\end{array}\right]}_{\mathrm{predict}}\end{array}\right)}^2+...+{\left(\begin{array}{c}{\left[\begin{array}{c}{u}_{i,j}\\ v_{i,j}\end{array}\right]}_{\mathrm{cameraM}}-{\left[\begin{array}{c}{u}_{i,j}\left(S_M\right)\\ v_{i,j}\left(S_M\right)\end{array}\right]}_{\mathrm{predict}}\end{array}\right)}^2\begin{array}{c}\end{array}\right)$

其中与上述实施例不同的是，子集合S_M包括第M个摄像单元的内部参数(第三初始参数集合)、第M个摄像单元相对于机械手臂的外部空间关系参数(第四初始参数集合)、第一初始参数集合、第二初始参数集合与第五参数集合。

综上所述，在本发明的上述实施例中，机械手臂***参数的校正方法藉由设置在摄像单元的可视范围内的一平面，以及配置在机械手臂上的激光单元，便让使用者得以同时校正摄像单元的参数及机械手臂与摄像单元之间的关系参数。此举让机械手臂***能以较简易且方便的方式便能达到精确地校正机械手臂***的效果。

虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求书所界定者为准。

Claims (19)

1.一种机械手臂***参数的校正方法，该机械手臂***包括一基座、一机械手臂、与至少一摄像单元，其中该机械手臂具有一第一端与一第二端，该第一端连接至该基座，其特征在于，该校正方法包括：

取得一激光单元相对于该机械手臂的该第二端的一第一初始参数集合，其中该激光单元设置在该机械手臂的该第二端；

取得一平面相对于该机械手臂的该第一端的一第二初始参数集合，其中该平面设置在该摄像单元前；

取得该摄像单元的一第三初始参数集合；

取得该摄像单元相对于该机械手臂的该第一端的一第四初始参数集合；

取得该机械手臂的该第二端相对于该第一端的一第五参数集合；

移动该机械手臂的该第二端到至少一位置姿态，其中该激光单元投射一光束至该平面上形成一光点，使该光点在该摄像单元上形成影像而取得该光点相对于该摄像单元的至少一实际位置；

藉由该第一初始参数集合、该第二初始参数集合、该第三初始参数集合、该第四初始参数集合与该第五参数集合取得该光点相对于该摄像单元的至少一预测位置；

将彼此对应的该预测位置与该实际位置的相对差异量形成一方程式；以及

藉由一算法取得该方程式的参数解，以校正该第一初始参数集合、该第二初始参数集合、该第三初始参数集合与该第四初始参数集合，进而同时校正摄像单元的内部参数，以及摄像单元与机械手臂的空间关系。

2.如权利要求1所述的校正方法，其特征在于，该第一初始参数集合包括该激光单元相对于该机械手臂的该第二端的一单位向量与一第二平移向量。

3.如权利要求1所述的校正方法，其特征在于，该第五参数集合包括该机械手臂的该第二端相对于该第一端的至少一第二旋转矩阵与至少一第三平移向量。

4.如权利要求1所述的校正方法，其特征在于，该第三初始参数集合为该摄像单元的一内部参数，该内部参数包括两个焦距、两个主轴点、一偏斜系数与五个失真系数。

5.如权利要求1所述的校正方法，其特征在于，该第四初始参数集合包括该摄像单元相对于该机械手臂的该第一端的一第一旋转矩阵与一第一平移向量。

6.如权利要求1所述的校正方法，其特征在于，该第二初始参数集合包括该平面的一法向量与该平面的一位置向量。

7.如权利要求6所述的校正方法，其特征在于，藉由该第四初始参数集合与该平面相对于该摄像单元的空间关系，而取得该平面相对于该机械手臂的该第二初始参数集合。

8.如权利要求1所述的校正方法，其特征在于，该方程式为该实际位置与该预测位置的相对差异量的最小化。

9.如权利要求1所述的校正方法，其特征在于，该算法包括Levenberg-Marquardt算法、Gauss-Newton算法或gradient descent算法。

10.如权利要求1所述的校正方法，更包括：

改变该机械手臂的姿态，以改变该光点在该平面上的位置，以取得该光点的多个该预测位置与多个该实际位置。

11.如权利要求10所述的校正方法，其特征在于，藉由该第一初始参数集合、该第三初始参数集合、该第五参数集合、该光点的该些实际位置与该平面相对于该摄像单元的空间关系，而取得该摄像单元相对于该机械手臂的该第一端的该第四初始参数集合。

12.如权利要求11所述的校正方法，其特征在于，该第五参数集合包括多个第二旋转矩阵与多个第三平移向量。

13.如权利要求1所述的校正方法，更包括：设置一图样在该平面上以取得该方程式的一初始参数。

14.如权利要求13所述的校正方法，其特征在于，藉由计算多张该图样的影像而取得该摄像单元的该第三初始参数集合。

15.如权利要求13所述的校正方法，在设置该图样在该平面上之前，更包括：

改变该平面的位置或姿态，以取得该光点的多个该预测位置与多个该实际位置。

16.一种校正装置，适用于一机械手臂***，该机械手臂***包括一机械手臂与至少一摄像单元，该校正装置包括：

一激光单元，组装在该机械手臂上；

一控制单元，电性连接该机械手臂与该摄像单元；以及

一平面，配置在该摄像单元的可视范围内，该激光单元发射一光束至该平面上形成一光点，其中该控制单元藉由该摄像单元撷取在该平面上的该光点的影像而同时校正该摄像单元的内部参数，及该摄像单元与该机械手臂之间的空间关系。

17.如权利要求16所述的校正装置，其特征在于，该机械手臂包括：

一基座；

一臂部，具有彼此相对的一第一端与一第二端，该第一端组装在该基座上，而该激光单元组装在该第二端。

18.如权利要求16所述的校正装置，其特征在于，该平面具有多个格点。

19.如权利要求17所述的校正装置，其特征在于，该控制单元更藉由下述步骤，以校正该摄像单元的该内部参数，及该摄像单元与该机械手臂之间的空间关系：

该控制单元取得该激光单元相对于该机械手臂的该第二端的一第一初始参数集合；

该控制单元取得该平面相对于该机械手臂的该第一端的一第二初始参数集合；

该控制单元取得该摄像单元的一第三初始参数集合；

该控制单元取得该摄像单元相对于该机械手臂的该第一端的一第四初始参数集合；

该控制单元取得该机械手臂的该第二端相对于该第一端的一第五参数集合；

移动该机械手臂的该第二端到至少一位置姿态，使该光点在该摄像单元上形成该影像而取得该光点相对于该摄像单元的至少一实际位置；

该控制单元藉由该第一初始参数集合、该第二初始参数集合、该第三初始参数集合、该第四初始参数集合与该第五参数集合取得该光点相对于该摄像单元的至少一预测位置；

该控制单元将彼此对应的该预测位置与该实际位置的相对差异量形成一方程式；以及

该控制单元藉由一算法取得该方程式的参数解，以校正该第一初始参数集合、该第二初始参数集合、该第三初始参数集合与该第四初始参数集合。

Images