CN103706568B - 基于机器视觉的机器人分拣方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的机器人分拣***及方法。该***包括CCD数字相机、镜头、光源、六轴关节机器人本体、电气控制柜和真空吸盘；CCD数字相机通过交换机与工业计算机连接，六轴关节机器人本体与电气控制柜相连，电气控制柜接入交换机，真空吸盘刚性固定在六轴关节机器人本体的末端；相机单元进行被分拣物品的图片拍摄、数据采集，并通过交换机传输至工业计算机；工业计算机对采集到的被分拣物品图片进行图像处理和精确定位后，通过交换机向电气控制柜发送控制信号；电气控制柜根据收到的控制信号操纵六轴关节机器人本体执行相应的分拣动作。本发明在分拣作业中提高了工作效率、减少了操作工人，降低了生产成本。

Description

基于机器视觉的机器人分拣方法

技术领域

本发明涉及智能机器人技术领域，特别是涉及一种基于机器视觉的机器人分拣***及方法。

背景技术

分拣作业是大多数流水化生产线上的一个重要环节。基于机器视觉的机器人分拣与人工分拣作业相比，不但高效、准确，而且在质量保障、卫生保障等方面有着人工作业无法替代的优势；与传统的机械分拣作业相比，基于机器视觉的机器人分拣则有着适应范围广、随时能变换作业对象和变换分拣工序的优势。机器人分拣技术是机器人技术和机器视觉技术的有机结合，日本以及欧美一些发达国家，在机械、食品、医药、化妆品等生产领域应用机器人分拣已经相当普及，而我国目前真正付诸实施的机器人分拣***还几乎是空白。根据目前我国的市场需求状况和相关技术基础，研究、开发和应用机器人分拣技术有着十分重要的意义。

国内也有一部分人针对基于机器视觉的机器人分拣***进行了研究并取得了一定的成果，目前研制的分拣***绝大多数架构模式为使用知名厂家的现有工业机器人***，通过串口、以太网等通信息方式，与机器视觉***进行数据通信，实现分拣***的集成，而这样的***架构使得机器视觉***和机器人***相对独立，灵活性差，开放性低，依赖性高，操作不方便，可移植性差，同时在进行这两个***通信对接过程中难度大，研发周期长。

发明内容

本发明的目的在于提供一种基于机器视觉的机器人分拣***及方法，在分拣作业中提高工作效率、减少操作工人，降低生产成本。

实现本发明目的的技术解决方案为：一种基于机器视觉的机器人分拣***，包括控制单元、相机单元、机器人单元和治具单元，其中控制单元包括工业计算机、交换机，相机单元包括CCD数字相机、镜头和光源，机器人单元包括六轴关节机器人本体和电气控制柜，治具单元包括真空吸盘；

CCD数字相机通过交换机与工业计算机连接，六轴关节机器人本体与电气控制柜相连，电气控制柜接入交换机，真空吸盘刚性固定在六轴关节机器人本体的末端，且与六轴关节机器人本体的前臂共轴；

相机单元进行被分拣物品的图片拍摄、数据采集，并将拍摄的图片和采集的数据通过交换机传输至工业计算机；工业计算机对采集到的被分拣物品图片进行图像处理和精确定位后，通过交换机向电气控制柜发送控制信号；电气控制柜根据收到的控制信号操纵六轴关节机器人本体执行相应的分拣动作。

一种基于机器视觉的机器人分拣方法，包括以下步骤：

步骤1，确定被分拣的目标物品，将被分拣物品的特征选择或输入工业计算机；

步骤2，调整镜头和光源的角度使二者对准待分拣物品放置区，CCD数字相机进行被分拣物品的图片拍摄、数据采集，并将拍摄的图片和采集的数据通过交换机传输至工业计算机；

步骤3，工业计算机的图像处理模块对被分拣物品图片进行图像处理，判断图像中是否有目标物品：如果没有，则返回步骤2；如果有，则将所有目标物品提取出来，并进入下一步；

步骤4，工业计算机的机器人控制模块对CCD数字相机和六轴关节机器人本体进行手眼标定后，根据图像坐标系、相机坐标系及机器人坐标系之间的转换关系确定各个目标物品在机器人坐标系的位置和姿态信息，将获取的各个目标物品的位置与姿态信息储存到文件中；

步骤5，确定所分拣的目标物品进行堆放的目标位置即分拣目标物品放置区，并通过机器人控制模块求取各个目标物品位置与姿态运动学逆解，进行六轴关节机器人本体的动作轨迹规划；

步骤6，通过交换机向电气控制柜发送控制信号，电气控制柜根据收到的控制信号操纵六轴关节机器人本体执行相应的分拣动作，引导六轴关节机器人本体完成所有目标物品的吸取、搬运和堆放。

本发明与现有技术相比，其显著优点在于：（1）同时具备机器人控制功能和图像处理功能灵活性好，开放性高；（2）在分拣作业中提高工作效率、减少操作工人；（3）降低生产成本，且可移植性强、适应性广。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明基于机器视觉的机器人分拣***结构图。

图2是本发明基于机器视觉的机器人分拣方法流程图。

图3是本发明图像坐标系、相机坐标系及机器人坐标系之间的转换示意图。

图4是实施例1中对被分拣物品图片进行图像处理过程示意图，其中(a)为原始图像，(b)为阈值分割后的图像，(c)为连通区域提取后的图像，(d)为特征提取后的图像。

图1中标号：1为CCD数字相机，2为镜头，3为光源，4为相机固定支架，5为真空吸盘，6为待分拣物品放置区，7为分拣目标物品放置区，8为六轴关节机器人本体，9为电气控制柜，10为交换机，11为工业计算机。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

结合图1，本发明基于机器视觉的机器人分拣***，包括控制单元、相机单元、机器人单元和治具单元，其中控制单元包括工业计算机11、交换机10，相机单元包括CCD数字相机1、镜头2和光源3，机器人单元包括六轴关节机器人本体8和电气控制柜9，治具单元包括真空吸盘5；CCD数字相机1通过交换机10与工业计算机11连接，六轴关节机器人本体8与电气控制柜9相连，电气控制柜9接入交换机10，真空吸盘5刚性固定在六轴关节机器人本体8的末端，且与六轴关节机器人本体8的前臂共轴；

所述相机单元的CCD数字相机1、镜头2和光源3顺次固定于相机固定支架4，光源3与镜头2同轴设置且二者角度均可调。所述治具单元还包括空压机、电磁阀和真空发生器，用于真空吸盘5对被分拣物品进行吸取。所述工业计算机11包括图像处理模块和机器人控制模块。

相机单元进行被分拣物品的图片拍摄、数据采集，并将拍摄的图片和采集的数据通过交换机10传输至工业计算机11；工业计算机11对采集到的被分拣物品图片进行图像处理和精确定位后，通过交换机10向电气控制柜9发送控制信号；电气控制柜9根据收到的控制信号操纵六轴关节机器人本体8执行相应的分拣动作。

结合图2，本发明基于机器视觉的机器人分拣方法，首先利用相机单元的CCD数字相机1、镜头2和光源3对待分拣物品放置区6的待分拣物品进行图像采集，经由交换机10传输到工业计算机11，工业计算机11通过图像处理模块得到目标物品的精确位置，再利用机器人控制模块求取各个目标物品位置与姿态运动学逆解，进行自动轨迹规划，从而引导机器人单元的六轴关节机器人本体8和电气控制柜9及治具单元的真空吸盘5完成所有目标物品的精确吸取、搬运、堆放动作，使其堆放在目标物品放置区7，具体步骤如下：

步骤1，确定被分拣的目标物品，将被分拣物品的特征选择或输入工业计算机11；所述将被分拣物品的特征选择或输入工业计算机11，具体为：

（1.1）如果数据库文件列表中没有所需目标物品，则在交互界面中对目标物品特征进行输入并储存，形成数据库文件；

（1.2）如果数据库文件列表中有所需目标物品，则直接选择并确定。

步骤2，调整镜头2和光源3的角度使二者对准待分拣物品放置区6，CCD数字相机1进行被分拣物品的图片拍摄、数据采集，并将拍摄的图片和采集的数据通过交换机10传输至工业计算机11；

步骤3，工业计算机11的图像处理模块对被分拣物品图片进行图像处理，判断图像中是否有目标物品：如果没有，则返回步骤2；如果有，则将所有目标物品提取出来，并进入下一步；其中图像处理的步骤如下：

（3.1）对被分拣物品图片进行灰度化；灰度值线性比例缩放公式如下：

f(g)＝min(max(ag+b+0.5,0),2^b-1)

式中a为对比度，b为亮度，g为灰度值；

（3.2）对灰度化后的图像进行阈值分割；将图像内处于指定灰度范围的灰度值全部选到输出区域S中：

S＝{(r,c)∈R|g_min≤f_r,c≤g_max}

f_r,c为图像中坐标为（r,c）像素点的灰度值；g_min为用于阈值分割的最小灰度值；g_max-为用于阈值分割的最大灰度值，R为图像区域；

（3.3）对阈值分割后的图像进行连通区域提取；

（3.4）对连通区域提取后的图像进行特征提取和匹配；区域特征选择面积M为：

$M=\left|R\right|=\underset{(r,c)\∈R}{\mathrm{\Σ}}1$

M为区域的面积，|R|为区域内的点数；

（3.5）根据特征提取和匹配后的图像判断是否有目标物品，给定目标物品的像素面积值区间（m，n），所获取面积在此区间之内的为目标物品。

步骤4，工业计算机11的机器人控制模块对CCD数字相机1和六轴关节机器人本体8进行手眼标定后，根据图像坐标系、相机坐标系及机器人坐标系之间的转换关系确定各个目标物品在机器人坐标系的位置和姿态信息，将获取的各个目标物品的位置与姿态信息储存到文件中；具体过程如下：

（4.1）手眼标定

将已知标定板固定安装在六轴关节机器人本体8的工具末端，机器人动作使标定板移动至CCD数字相机1的视野范围内，获取图像并对图像进行处理，获取标定板在相机坐标系的位姿，并记录此时机器人工具坐标系末端的位姿；移动机器人，重复以上步骤N次得到N组数据，使标定板覆盖相机视野的各个区域；

（4.2）坐标转换

对N组数据进行处理，其中工具坐标系和机器人坐标系的转换关系^baseH_tool已知，标定板坐标系与相机坐标系的转换关系^camH_cal已知，则：

^camH_cal=^camH_base ^baseH_tool ^toolH_cal

根据上式，通过对N组数据的处理，获取相机坐标和机器人坐标系之间的转换关系^camH_base，标定板坐标系与坐标系之间的转换关系^toolH_cal为中间变量，如图3所示。

步骤5，确定所分拣的目标物品进行堆放的目标位置即分拣目标物品放置区7，并通过机器人控制模块求取各个目标物品位置与姿态运动学逆解，进行六轴关节机器人本体8的动作轨迹规划；所述确定分拣目标物品放置区7的方式包括两种：利用机器人控制模块点动示教目标位置并储存，或离线手动输入目标位置。所述求取各个目标物品位置与姿态运动学逆解的具体过程如下：

（5.1）已知六轴关节机器人本体8中各轴连杆参数如下：

l₆为第一轴连杆轴心即原点到第二轴转动轴轴心在X轴方向上的距离，l₁为第一轴连杆轴心即原点到第二轴转动轴轴心在Z轴方向上的距离；l₂为第二轴连杆的长度；l₃为第三轴连杆轴心到第四轴连杆轴心在Z轴方向上的距离；l₄为第三轴轴心到四轴末端在X轴方向上的距离；l₅为第五轴连杆的长度；l₇为第一轴轴心到第三轴连杆轴心在Y轴上的距离，在该机器人中l₇为0；

末端点位姿为(x,y,z,A,B,C)，其中(x,y,z)为机器人坐标系下的坐标位置，(A,B,C)为末端机器人坐标系下的姿态角；

求解六轴关节机器人本体8中各轴转动的角度θ₁,θ₂,θ₃,θ₄,θ₅,θ₆，下式中c代表cosθ，s代表sinθ，c、s的下标代表对应的角度，c、s的双下标代表对应的角度和，即c₂₃代表cos(θ₂+θ₃)、s₂₃代表sin(θ₂+θ₃)；

（5.2）求解θ₁

根据机器人末端点位姿(x,y,z,A,B,C)，可获取机器人坐标系与工具坐标系之间的转换矩阵T：

$T=\left[\begin{array}{cccc}{n}_x& o_x& a_x& x\\ n_y& o_y& a_y& y\\ n_z& o_z& a_z& z\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

式中，

$\left\{\begin{array}{c}{n}_x=c_B{c}_C\\ n_y=s_A{s}_B{c}_C-c_A{s}_C\\ n_z=c_A{s}_B{c}_C+s_A{s}_C\\ o_x=c_B{s}_C\\ o_y=s_A{s}_B{s}_C+c_A{c}_C\\ o_z=c_A{s}_B{s}_C-s_A{c}_C\\ a_x=-s_B\\ a_y=s_A{c}_B\\ a_z=c_A{c}_B\end{array}\right.---\left(2\right)$

$T_1^w=T*T_1^0_0^w=\left[\begin{array}{cccc}{c}_1& {-s}_1& 0& 0\\ s_1& c_1& 0& 0\\ 0& 0& 1& l_1\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

式中，为第一轴坐标系和机器人坐标系之间的转换关系，依次类推，w为机器人坐标系；

对式(3)同时左乘得：

${\left(T_1^w\right)}^{-1}*T=T_2^1*T_3^2*T_4^3*T_5^4*T_6^5*T_T^6---\left(4\right)$

即

$\left[\begin{array}{cccc}{c}_1& s_1& 0& 0\\ -s_1& c_1& 0& 0\\ 0& 0& 1& -l_1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{n}_x& o_x& a_x& x\\ n_y& o_y& a_y& y\\ n_z& o_z& a_z& z\\ 0& 0& 0& 1\end{array}\right]=T_T^1---\left(5\right)$

令 $T_T^1=\left[\begin{array}{cccc}{r}_{11}& r_{21}& r_{31}& q_{x1}\\ r_{12}& r_{22}& r_{32}& q_{y1}\\ r_{13}& r_{23}& r_{33}& q_{z1}\\ 0& 0& 0& 1\end{array}\right],$ 式中

r₁₁＝c₁n_x+s₁n_y＝-c₆(s₅s₂₃-c₄c₅c₂₃)-s₄c₅s₂₃(6)

r₂₁＝-s₁n_x+c₁n_y＝-c₄c₆-s₄c₅c₆(7)

r₃₁＝n_z＝s₄s₆s₂₃-c₆(s₅c₂₃+c₄c₅s₂₃)(8)

r₁₂＝c₁o_x+s₁o_y＝s₆(s₅s₂₃-c₄c₅c₂₃)-s₄c₆c₂₃(9)

r₂₂＝-s₁o_x+c₁o_y＝c₅s₄s₆-c₄c₆(10)

r₃₂＝o_z＝s₆(s₅c₂₃+c₄c₅s₂₃)+s₄c₆s₂₃(11)

r₁₃＝c₁a_x+s₁a_y＝-c₅s₂₃-c₄s₅c₂₃(12)

r₂₃＝-s₁a_x+c₁a_y＝s₄s₅(13)

r₃₃＝c₄s₅s₂₃-c₅c₂₃(14)

q_x1＝l₆+l₂c₂+l₃c₂₃-l₄s₂₃-l₅(c₅s₂₃+c₄s₅c₂₃)(15)

q_y1＝l₅s₄s₅(16)

q_z1＝-l₂s₂-l₃s₂₃-l₄c₂₃-l₅(c₅c₂₃-c₄s₅s₂₃)(17)

由式（8）及式（11）可得：

${\mathrm{\θ}}_1=\arctan \left(\frac{y-a_y{l}_5}{x-a_x{l}_5}\right)---\left(18\right)$

（5.3）求解θ₃

由θ₁可得矩阵内各项的值，将式（10）和式（12）平方后相加得：

${\mathrm{\θ}}_3=\arctan \left(\frac{l_3}{l_4}\right)-\arctan (k,\±\sqrt{{l_3}^2+{l_4}^2-k^2})---\left(19\right)$

其中 $k=\frac{{(q_{x1}-l_6-a_x{l}_5)}^2+{(q_{z1}-a_z{l}_5)}^2-{l_2}^2-{l_3}^2-{l_4}^2}{2l_2}---\left(20\right)$

（5.4）求解θ₂

将式(17)代入式（10）（12）并联立两式得

${\mathrm{\θ}}_{23}={\mathrm{\θ}}_2+{\mathrm{\θ}}_3=\arctan \left(\frac{(q_{x1}-l_6-a_x{l}_5)(l_2{s}_3-l_4)-(q_{z1}-a_z{l}_5)(l_2{c}_3+l_3)}{(q_{x1}-l_6-a_x{l}_5)(l_2{c}_3+l_3)+(q_{z1}-a_z{l}_5)(l_2{s}_3-l_4)}\right)---\left(21\right)$

则

θ₂＝θ₂₃-θ₃(22)

（5.5）求解θ₄

联立式（7）、（9）得：

c₄s₅＝a_zs₂₃-a_xc₂₃(23)

联立式（8）、（10）得：

${\mathrm{\θ}}_4=\arctan \left(\frac{a_y}{a_z{s}_{23}-a_x{c}_{23}}\right)---\left(24\right)$

（5.6）求解θ₅

联立式（7）（9）得

c₅＝-a_xs₂₃-a_zc₂₃(25)

联立式（8）、（19）得

${\mathrm{\θ}}_5=\arctan \left(\frac{\frac{a_y}{\sin \left({\mathrm{\θ}}_4\right)}}{-(a_x{s}_{23}+a_z{c}_{23})}\right)---\left(26\right)$

若sin(θ₄)＝0，则联立（7）、（9）得

${\mathrm{\θ}}_5=\arctan \left(\frac{\frac{a_z{s}_{23}-a_x{c}_{23}}{\cos \left({\mathrm{\θ}}_4\right)}}{-(a_x{s}_{23}+a_z{c}_{23})}\right)---\left(27\right)$

步骤6，通过交换机10向电气控制柜9发送控制信号，电气控制柜9根据收到的控制信号操纵六轴关节机器人本体8执行相应的分拣动作，引导六轴关节机器人本体8完成所有目标物品的吸取、搬运和堆放。

实施例1

在待分拣物品放置区6随机散落一些面积约为16mm²，圆形的维生素B药片，利用本基于机器视觉的机器人分拣***完成散落药片的分拣作业，其具体步骤如下：

1）对散落的维生素B药片特征进行选择和输入，确定将被吸取的目标物品是维生素B药片。

在交互界面中新建目标物品维生素B药片，并按照特征顺序进行输入，形状选择圆形、面积填写16mm²、允许误差填写±5%，确定后并储存。

2）用工业CCD数字相机对散落的维生素B药片进行采集，得到整体图像后，通过以太网将图像数据信息传输到工业计算机。

3）利用图像处理程序对图4(a)中图像进行阈值分割、连通区域提取、特征提取和匹配等处理，提取出所有符合要求的维生素B药片，并将其数目和状态在交互界面中显示。

①对图像进行阈值分割，选取阈值为（86，255），如图4(b)所示；

②对图像进行连通区域提取，采用8联通的方法提取共同边缘，如图4(c)所示；

③对图像进行特征提取和匹配，像素面积区间（6000，12000），如图4(d)所示；

④判断是否有目标物品：有

⑤在交互界面中显示目标物品的数目和状态：数目为6个，状态为显示各个维生素B药片的在图像中的位置分布。

4）对相机和机器人进行手眼标定后通过图像坐标系、相机坐标系及机器人坐标系的转换关系的计算，确定各个维生素B药片在机器人世界坐标系的位置和姿态。

5）通过交互界面确定维生素B药片的堆放目标位置，利用机器人控制模块点动示教到药瓶所在位置并储存；

6）将获取的各个维生素B药片位置与姿态信息储存到文件中，并通过机器人控制模块求取各个维生素B药片位置与姿态运动学逆解，进行自动轨迹规划，从而引导机器人完成所有维生素B药片的精确吸取、搬运、堆放动作。

根据图4(d)中经过图像处理后的图像，可以看出散落的6个维生素B药片全部被检测到，同时得到经过坐标转换后的各个维生素B药片中心点在机器人世界坐标系的位置，并控制机器人对所有药片进行吸取，其吸取位置与药片实际位置的误差在0.2mm之内，满足实际应用要求。实验结果显示基于机器视觉的机器人分拣***将散落的维生素B药片精确快速地吸取、搬运、堆放到指定的药瓶中。

Claims (6)

1.一种基于机器视觉的机器人分拣方法，其特征在于，包括以下步骤：

步骤1，确定被分拣的目标物品，将被分拣物品的特征选择或输入工业计算机(11)；

步骤2，调整镜头(2)和光源(3)的角度使二者对准待分拣物品放置区(6)，CCD数字相机(1)进行被分拣物品的图片拍摄、数据采集，并将拍摄的图片和采集的数据通过交换机(10)传输至工业计算机(11)；

步骤3，工业计算机(11)的图像处理模块对被分拣物品图片进行图像处理，判断图像中是否有目标物品：如果没有，则返回步骤2；如果有，则将所有目标物品提取出来，并进入下一步；

步骤4，工业计算机(11)的机器人控制模块对CCD数字相机(1)和六轴关节机器人本体(8)进行手眼标定后，根据图像坐标系、相机坐标系及机器人坐标系之间的转换关系确定各个目标物品在机器人坐标系的位置和姿态信息，将获取的各个目标物品的位置与姿态信息储存到文件中；

步骤5，确定所分拣的目标物品进行堆放的目标位置即分拣目标物品放置区(7)，并通过机器人控制模块求取各个目标物品位置与姿态运动学逆解，进行六轴关节机器人本体(8)的动作轨迹规划；

步骤6，通过交换机(10)向电气控制柜(9)发送控制信号，电气控制柜(9)根据收到的控制信号操纵六轴关节机器人本体(8)执行相应的分拣动作，引导六轴关节机器人本体(8)完成所有目标物品的吸取、搬运和堆放。

2.根据权利要求1所述的基于机器视觉的机器人分拣方法，其特征在于，步骤1所述将被分拣物品的特征选择或输入工业计算机(11)，具体为：

(1.1)如果数据库文件列表中没有所需目标物品，则在交互界面中对目标物品特征进行输入并储存，形成数据库文件；

(1.2)如果数据库文件列表中有所需目标物品，则直接选择并确定。

3.根据权利要求1所述的基于机器视觉的机器人分拣方法，其特征在于，步骤3所述工业计算机(11)的图像处理模块对被分拣物品图片进行图像处理，其中图像处理的步骤如下：

(3.1)对被分拣物品图片进行灰度化；灰度值线性比例缩放公式如下：

f(g)＝min(max(ag+b+0.5,0),2^b-1)

式中a为对比度，b为亮度，g为灰度值；

(3.2)对灰度化后的图像进行阈值分割；将图像内处于指定灰度范围的灰度值全部选到输出区域S中：

S＝{(r,c)∈R|g_min≤f_r,c≤g_max}

f_r,c为图像中坐标为(r,c)像素点的灰度值；g_min为用于阈值分割的最小灰度值；g_max为用于阈值分割的最大灰度值，R为图像区域；

(3.3)对阈值分割后的图像进行连通区域提取；

(3.4)对连通区域提取后的图像进行特征提取和匹配；区域特征选择面积M为：

$M=\left|R\right|=\underset{(r,c)\∈R}{\Σ}1$

M为区域的面积，|R|为区域内的点数；

(3.5)根据特征提取和匹配后的图像判断是否有目标物品，给定目标物品的像素面积值区间(m，n)，所获取面积在此区间之内的为目标物品。

4.根据权利要求1所述的基于机器视觉的机器人分拣方法，其特征在于，步骤4所述工业计算机(11)的机器人控制模块对CCD数字相机(1)和六轴关节机器人本体(8)进行手眼标定后，根据图像坐标系、相机坐标系及机器人坐标系之间的转换关系确定各个目标物品在机器人坐标系的位置和姿态信息，具体过程如下：

(4.1)手眼标定

将已知标定板固定安装在六轴关节机器人本体(8)的工具末端，机器人动作使标定板移动至CCD数字相机(1)的视野范围内，获取图像并对图像进行处理，获取标定板在相机坐标系的位姿，并记录此时机器人工具坐标系末端的位姿；移动机器人，重复以上步骤N次得到N组数据，使标定板覆盖相机视野的各个区域；

(4.2)坐标转换

对N组数据进行处理，其中工具坐标系和机器人坐标系的转换关系^baseH_tool已知，标定板坐标系与相机坐标系的转换关系^camH_cal已知，则：

^camH_cal＝^camH_base ^baseH_tool ^toolH_cal

根据上式，通过对N组数据的处理，获取相机坐标和机器人坐标系之间的转换关系^camH_base，标定板坐标系与工具坐标系之间的转换关系^toolH_cal为中间变量。

5.根据权利要求1所述的基于机器视觉的机器人分拣方法，其特征在于，步骤5所述确定分拣目标物品放置区(7)的方式包括两种：利用机器人控制模块点动示教目标位置并储存，或离线手动输入目标位置。

6.根据权利要求1所述的基于机器视觉的机器人分拣方法，其特征在于，步骤5所述求取各个目标物品位置与姿态运动学逆解的具体过程如下：

(5.1)已知六轴关节机器人本体(8)中各轴连杆参数如下：

l₆为第一轴连杆轴心即原点到第二轴转动轴轴心在X轴方向上的距离，l₁为第一轴连杆轴心即原点到第二轴转动轴轴心在Z轴方向上的距离；l₂为第二轴连杆的长度；l₃为第三轴连杆轴心到第四轴连杆轴心在Z轴方向上的距离；l₄为第三轴轴心到四轴末端在X轴方向上的距离；l₅为第五轴连杆的长度；l₇为第一轴轴心到第三轴连杆轴心在Y轴上的距离，在该机器人中l₇为0；

末端点位姿为(x,y,z,A,B,C)，其中(x,y,z)为机器人坐标系下的坐标位置，(A,B,C)为末端机器人坐标系下的姿态角；

求解六轴关节机器人本体(8)中各轴转动的角度θ₁,θ₂,θ₃,θ₄,θ₅,θ₆，下式中c代表cosθ，s代表sinθ，c、s的下标代表对应的角度，c、s的双下标代表对应的角度和，即c₂₃代表cos(θ₂+θ₃)、s₂₃代表sin(θ₂+θ₃)；

(5.2)求解θ₁

根据机器人末端点位姿(x,y,z,A,B,C)，可获取机器人坐标系与工具坐标系之间的转换矩阵T：

$T=\left[\begin{array}{cccc}{n}_x& o_x& a_x& x\\ n_y& o_y& a_y& y\\ n_z& o_z& a_z& z\\ 0& 0& 0& 1\end{array}\right]---\left(1\right)$

式中，

$\left\{\begin{array}{c}{n}_x=c_B{c}_C\\ n_y=s_A{s}_B{c}_C-c_A{s}_C\\ n_z=c_A{s}_B{c}_C+s_A{s}_C\\ o_x=c_B{s}_C\\ o_y=s_A{s}_B{s}_C+c_A{c}_C\\ o_z=c_A{s}_B{s}_C-s_A{c}_C\\ a_x=-s_B\\ a_y=s_A{c}_B\\ a_z=c_A{c}_B\end{array}\right.---\left(2\right)$

$T_1^w=T_0^w*T_1^0=\left[\begin{array}{cccc}{c}_1& -s_1& 0& 0\\ s_1& c_1& 0& 0\\ 0& 0& 1& l_1\\ 0& 0& 0& 1\end{array}\right]---\left(3\right)$

式中，为第一轴坐标系和机器人坐标系之间的转换关系，依次类推，w为机器人坐标系；

对式(3)同时左乘得：

${\left(T_1^w\right)}^{-1}*T=T_2^1*T_3^2*T_4^3*T_5^4*T_6^5*T_T^6---\left(4\right)$

即

$\left[\begin{array}{cccc}{c}_1& s_1& 0& 0\\ -s_1& c_1& 0& 0\\ 0& 0& 1& -l_1\\ 0& 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{n}_x& o_x& a_x& x\\ n_y& o_y& a_y& y\\ n_z& o_z& a_z& z\\ 0& 0& 0& 1\end{array}\right]=T_T^1---\left(5\right)$

令 $T_T^1=\left[\begin{array}{cccc}{r}_{11}& r_{21}& r_{31}& q_{x1}\\ r_{12}& r_{22}& r_{32}& q_{y1}\\ r_{13}& r_{23}& r_{33}& q_{z1}\\ 0& 0& 0& 1\end{array}\right],$ 式中

r₁₁＝c₁n_x+s₁n_y＝-c₆(s₅s₂₃-c₄c₅c₂₃)-s₄c₅s₂₃(6)

r₂₁＝-s₁n_x+c₁n_y＝-c₄c₆-s₄c₅c₆(7)

r₃₁＝n_z＝s₄s₆s₂₃-c₆(s₅c₂₃+c₄c₅s₂₃)(8)

r₁₂＝c₁o_x+s₁o_y＝s₆(s₅s₂₃-c₄c₅c₂₃)-s₄c₆c₂₃(9)

r₂₂＝-s₁o_x+c₁o_y＝c₅s₄s₆-c₄c₆(10)

r₃₂＝o_z＝s₆(s₅c₂₃+c₄c₅s₂₃)+s₄c₆s₂₃(11)

r₁₃＝c₁a_x+s₁a_y＝-c₅s₂₃-c₄s₅c₂₃(12)

r₂₃＝-s₁a_x+c₁a_y＝s₄s₅(13)

r₃₃＝c₄s₅s₂₃-c₅c₂₃(14)

q_x1＝l₆+l₂c₂+l₃c₂₃-l₄s₂₃-l₅(c₅s₂₃+c₄s₅c₂₃)(15)

q_y1＝l₅s₄s₅(16)

q_z1＝-l₂s₂-l₃s₂₃-l₄c₂₃-l₅(c₅c₂₃-c₄s₅s₂₃)(17)

由式(8)及式(11)可得：

${\mathrm{\θ}}_1=arctan\left(\frac{y-a_y{l}_5}{x-a_x{l}_5}\right)---\left(18\right)$

(5.3)求解θ₃

由θ₁可得矩阵内各项的值，将式(10)和式(12)平方后相加得：

${\mathrm{\θ}}_3=arctan\left(\frac{l_3}{l_4}\right)-arctan(k,\±\sqrt{{l_3}^2+{l_4}^2-k^2})---\left(19\right)$

其中 $k=\frac{{(q_{x1}-l_6-a_x{l}_5)}^2+{(q_{z1}-a_z{l}_5)}^2-{l_2}^2-{l_3}^2-{l_4}^4}{2l_2}---\left(20\right)$

(5.4)求解θ₂

将式(17)代入式(10)(12)并联立两式得

${\mathrm{\θ}}_{23}={\mathrm{\θ}}_2+{\mathrm{\θ}}_3=arctan\left(\frac{(q_{x1}-l_6-a_x{l}_5)(l_2{s}_3-l_4)-(q_{z1}-a_z{l}_5)(l_2{c}_3+l_3)}{(q_{x1}-l_6-a_x{l}_5)(l_2{c}_3+l_3)+(q_{z1}-a_z{l}_5)(l_2{s}_3-l_4)}\right)---\left(21\right)$

则

θ₂＝θ₂₃-θ₃(22)

(5.5)求解θ₄

联立式(7)、(9)得：

c₄s₅＝a_zs₂₃-a_xc₂₃(23)

联立式(8)、(10)得：

${\mathrm{\θ}}_4=arctan\left(\frac{a_y}{a_z{s}_{23}-a_x{c}_{23}}\right)---\left(24\right)$

(5.6)求解θ₅

联立式(7)(9)得

c₅＝-a_xs₂₃-a_zc₂₃(25)

联立式(8)、(19)得

${\mathrm{\θ}}_5=arctan\left(\frac{\frac{a_y}{sin\left({\mathrm{\θ}}_4\right)}}{-(a_x{s}_{23}+a_z{c}_{23})}\right)---\left(26\right)$

若sin(θ₄)＝0，则联立式(7)、(9)得

${\mathrm{\θ}}_5=arctan\left(\frac{\frac{a_z{s}_{23}-a_x{c}_{23}}{cos\left({\mathrm{\θ}}_4\right)}}{-(a_x{s}_{23}+a_z{c}_{23})}\right)---\left(27\right).$