CN114332985A - 一种基于双机械臂协同的肖像轮廓智能绘制方法 - Google Patents

Abstract

本发明公开了一种基于双机械臂协同的肖像轮廓智能绘制方法，将原始RGB彩色图像输入深度学习人脸识别模型，获得五官的像素坐标信息；进行图像预处理操作，获得二值图像；通过二值图像轮廓提取，得到轮廓图像；然后将轮廓图像分为左右两部分；对左半边轮廓图像和右半边轮廓图像进行像素点排列，形成若干段不连续的轨迹段；将像素坐标转换为机械臂工具坐标系下的坐标；对轨迹段坐标增加机械臂姿态信息，形成机械臂可识别的一系列轨迹；对轨迹进行无干涉双臂绘图运动规划；通过TCP/IP协议将不干涉的轨迹传输给两只机械臂，进行双机械臂协同肖像图绘制。本发明方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

Description

一种基于双机械臂协同的肖像轮廓智能绘制方法

技术领域

本发明涉及一种基于双机械臂协同的肖像轮廓智能绘制方法，属于机器人绘图技术领域。

背景技术

随着科技的进步，人工智能技术得到飞速发展,在当今时代这种高新技术也用在了越来越多的场合，尤其是与机器人的结合，使得智能机器人的应用范围也非常广泛。通过机械臂进行绘画也逐渐走进大众视野。

目前机械臂绘画多数都是通过单臂进行像素点的逐行打印，其还是不能模仿人类画家一样的绘图顺序和手法进行肖像图的绘制。双臂机器人在智能绘图方面目前应用较少，通过两只机械臂的协作配合，能够表现出比单臂机器人更优雅的姿态和绘制技巧，且绘制效率高，便于在教育教学等多种场合进行展示。

发明内容

为了解决现有技术问题，本发明的目的在于克服已有技术存在的不足，提供一种基于双机械臂协同的肖像轮廓智能绘制方法，该方法采用十四自由度的冗余双臂机器人进行绘制，每只手臂都是七自由度的冗余机械臂，可以很好地避开奇异点进行运动。利用深度学习人脸识别模型和图像预处理技术，获得肖像图五官的像素坐标和二值图像；采用轮廓提取技术获得轮廓图像，提出逆/顺时针搜索算法对轮廓中每一轨迹段的若干像素点进行排序；通过坐标系转换矩阵得到机械臂工具坐标系下的坐标信息，与机械臂姿态信息组合形成一系列可用于机械臂运动控制的轨迹点，通过TCP/IP协议实现上位机与机械臂之间的数据传输以实现肖像图轮廓绘制。该方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

为达到上述发明创造目的，本发明采用如下技术方案：

一种基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤如下：

(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；

(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；

(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x_i，y_i，z_i)，坐标系I一般为平面坐标系，默认z_i为0；

(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；

(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；

(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；

(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；

(8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；

(9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。

优选地，上述步骤1中，所述将原始RGB彩色图像输入卷积神经网络CNN得到肖像图五官的位置信息，包括：

卷积神经网络由三个级联网络组成，用于人脸识别，可以获得五官的位置信息；

五官的位置信息用(x₁，y₁，z₁)，(x₂，y₂，z₂)，，(x₃，y₃，z₃)，(x₄，y₄，z₄)，(x₅，y₅，z₅)等坐标表示，其中(x₁，y₁，z₁)表示左眼的中心坐标，(x₂，y₂，z₂)表示右眼的中心坐标，(x₃，y₃，z₃)表示鼻子的中心坐标，(x₄，y₄，z₄)表示左边嘴角的坐标，(x₅，y₅，z₅)表示右边嘴角的坐标。

优选地，上述步骤2中，所述将所述原始RGB彩色图像经过图像预处理操作得到二值图像，包括：

图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算操作。

优选地，上述步骤4中，所述利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，包括：

所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段。

优选地，上述步骤5中，所述对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序，包括：

在对每条轨迹段中的若干个像素点进行排序的过程中，由于机械臂绘制每一条轨迹段是一个连续的过程，在轨迹段j的起始位置落笔，在轨迹段j的末端位置抬笔，再移动到第j+1条轨迹段的起始位置落笔，所以在每条轨迹段的起始位置和末端位置设置1和0标记落笔与抬笔动作；

所述逆时针搜索算法即首先遍历左半边轮廓图像中的每一行，找到第一个黑色像素点，像素值为0，以此像素点为中心点，在8邻域内从正上方开始，按照逆时针的方向去寻找下一个黑色像素点，如果找到，就将此像素点加入当前轨迹段队列；如果没找到，就继续对下一行的像素点进行搜寻，直至左半边轮廓图像的像素点全部搜索完毕，其中搜索过的像素点像素值设为255，表示已遍历。

优选地，上述步骤6中，所述将所有轨迹段像素点在坐标系I中的坐标信息转换为坐标系T中的坐标信息用于轨迹绘制，包括：

转换公式为

其中

表示坐标系I到坐标系T的转换矩阵，^TP_i表示像素点i在坐标系T中的坐标信息，具体为(^TX_i,^TY_i,^TZ_i)，^IP_i表示像素点i在坐标系I中的坐标信息，具体为(^IX_i,^IY_i,^IZ_i)。

优选地，上述步骤7中，所述对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可用于机械臂运动的坐标点，包括：

所述方法是由十四自由度冗余双机械臂进行绘制，所以每只机械臂分别具有七个自由度，所述坐标点数据格式为(X_i,Y_i,Z_i,q₁,q₂,q₃,q₄)，其中前三项为机械臂末端在坐标系T中的坐标信息，后四项用四元数形式表示，为机械臂姿态信息；

两只机械臂在绘图过程中始终保持笔尖垂直于纸面的姿态，即在绘图过程中只有X_i,Y_i,Z_i三个数值会发生变化，姿态信息q₁,q₂,q₃,q₄始终保持不变；机械臂的绘图姿态由示教得到，在示教过程中要避开一些潜在的障碍物，保持机械臂由初始姿态移动到绘图姿态的过程中平稳匀速；在初次示教完机械臂的绘图姿态之后，记录下q₁,q₂,q₃,q₄的数值，作为固定参数通过程序与X_i,Y_i,Z_i坐标信息进行组合，得到可用于机械臂运动控制的数据格式。

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：

1.本发明采用十四自由度冗余双臂机器人进行肖像图的绘制，可很好地避开奇异点，像人的手臂一样灵活；

2.本发明将人工智能深度学习技术与机器人进行结合，实现双机械臂的智能高效协作绘图，使得智能机器人的应用更加灵活；

3.本发明对原始RGB彩色肖像图进行背景去除，消除了后续预处理步骤中背景像素点对前景像素的干扰，使得二值图像轮廓清晰，提升了最终的轮廓绘制效果；

4.本发明提出的逆/顺时针搜索算法对像素点的排序速度快，效率高。

附图说明

图1是本发明优选实施例基于双机械臂协作的肖像轮廓智能绘制方法总体流程图。

图2是本发明优选实施例的像素坐标系示意图。

图3是本发明优选实施例的逆/顺时针搜索算法流程图。

图4-1、4-2是本发明优选实施例的轮廓点排列方法的示意图。

具体实施方式

以下结合具体的实施例子对上述方案做进一步说明，本发明的优选实施例详述如下：

实施例一：

在本实施例中，参见图1，一种基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤如下：

(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；

(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；

(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x_i，y_i，z_i)，坐标系I一般为平面坐标系，默认z_i为0；

(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；

(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；

(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；

(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；

(8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；

(9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。

本实施例方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

实施例二：

本实施例与实施例一基本相同，特别之处在于：

在本实施例中，参见图1-图4，一种基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤如下：

1.将原始RGB彩色图像(520像素×390像素)输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息，具体方法如下：

1.1卷积神经网络由三个级联网络组成，分别用于粗略定位人脸位置、精细定位人脸位置、输出五官的坐标信息，在实际操作中，首先将所述RGB彩色图像的尺寸调整为520×390，然后将此图像输入到深度学习训练好的模型中进行预测，得到的输出即为五官在像素坐标系下的坐标信息。

1.2五官的位置信息用(x₁，y₁，z1)，(x₂，y₂，z₂)，，(x₃，y₃，z₃)，(x₄，y₄，z₄)，(x₅，y₅，z₅)等坐标表示，其中(x₁，y₁，z₁)表示左眼的中心坐标，(x₂，y₂，z₂)表示右眼的中心坐标，(x₃，y₃，z₃)表示鼻子的中心坐标，(x₄，y₄，z₄)表示左边嘴角的坐标，(x₅，y₅，z₅)表示右边嘴角的坐标，由于像素坐标系一般为二位坐标系，故坐标中的z值默认为0。

2.将所述原始RGB彩色图像经过图像预处理操作得到二值图像，具体方法如下：

2.1图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算等操作，其中风格转换首先将RGB图像转换到YUV颜色空间，单独对Y通道进行边缘检测，，对每一像素计算水平分量与垂直分量，接下来采用线积分卷积算法对图像进行滤波，最终得到转换后的风格图像。

形态学运算中主要采用形态学闭运算，在OpenCV中，形态学运算是作用在像素值为255的像素点，故采用闭运算可以使得黑色部分线条变细，实现图像去噪的作用。

以上步骤1和2分为两条支路并行处理。

4.利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，具体方法如下：

4.1通过步骤1.1得到的坐标系I中的五官坐标信息，(x₁，y₁，z₁)表示左眼的中心坐标，(x₂，y₂，z₂)表示右眼的中心坐标，所以两只眼睛的中心位置表示为(x_c，y_c)，其中x_c＝x₁+(x₂-x₁)/2，y_c＝y₁+(y₂-y₁)/2，以过点(x_c，y_c)且平行于坐标系I中Y轴的直线将轮廓图像分为两部分。

所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段，假设一个轮廓由m段轨迹组成，每段轨迹由n个像素点组成，那么轮廓与轨迹段的具体格式如下：

轮廓格式：[[1，(x₁，y₁，z₁)，(x₂，y₂，z₂)，……，(x_n，y_n，z_n)，0]₁，[1，(x₁，y₁，z₁)，(x₂，y₂，z₂)，……，(x_n，y_n，z_n)，0]₂，……，[1，(x₁，y₁，z₁)，(x₂，y₂，z₂)，……，(x_n，y_n，z_n)，0]_m]

轨迹段格式：[1，(x₁，y₁，z₁)，(x₂，y₂，z₂)，……，(x_n，y_n，z_n)，0]

5.对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序。由此，形成若干段不连续的轨迹段，具体方法如下：

5.1在对每条轨迹段中的若干个像素点进行排序的过程中，由于机械臂绘制每一条轨迹段是一个连续的过程，在轨迹段j的起始位置落笔，在轨迹段j的末端位置抬笔，再移动到第j+1条轨迹段的起始位置落笔，所以在每条轨迹段的起始位置和末端位置设置1和0标记落笔与抬笔动作，具体见上述轮廓格式与轨迹段格式。

5.2所述逆时针搜索算法参见图4-1，首先遍历左半边轮廓图像中的每一行，找到第一个黑色像素点，其像素值为0，像素坐标为(i,j)，以此像素点为中心点，在8邻域内从正上方开始，即像素坐标为(i-1,j)的像素点，按照逆时针的方向去寻找下一个黑色像素点，如果找到，就将此像素点加入当前轨迹段队列；如果没找到，就继续对下一行的像素点进行搜寻，直至左半边轮廓图像的像素点全部搜索完毕，其中搜索过的像素点像素值设为255，表示已遍历，所述顺时针搜索算法参见图4-2，与逆时针搜索算法同理。

6.将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系(以下简称坐标系T)中的坐标信息用于轨迹绘制，具体方法如下：

6.1坐标系I到坐标系T的转换公式为

其中

表示坐标系I到坐标系T的转换矩阵，^TP_i表示像素点i在坐标系T中的坐标信息，具体为(^TX_i,^TY_i,^TZ_i)，^IP_i表示像素点i在坐标系I中的坐标信息，具体为(^IX_i,^IY_i,^IZ_i)。

7.对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点，具体方法如下：

7.1所述方法是由十四自由度冗余双机械臂进行绘制，所以每只机械臂分别具有七个自由度，即由七个参数来表示机械臂末端的位姿，其数据格式为(X_i,Y_i,Z_i,q₁,q₂,q₃,q₄)，其中前三项为机械臂末端在坐标系T中的坐标信息，为直角坐标信息，后四项用四元数形式表示，为机械臂姿态信息。

7.2两只机械臂在绘图过程中始终保持笔尖垂直于纸面的姿态，即在绘图过程中只有X_i,Y_i,Z_i三个数值会发生变化，姿态信息q₁,q₂,q₃,q₄始终保持不变。机械臂的绘图姿态由示教得到，在示教过程中要避开一些潜在的障碍物，保持机械臂由初始姿态移动到绘图姿态的过程中平稳匀速。在初次示教完机械臂的绘图姿态之后，记录下q₁,q₂,q₃,q₄的数值，作为固定参数通过程序与X_i,Y_i,Z_i坐标信息进行组合，得到可用于机械臂运动控制的数据格式。

8.基于左臂优先原则的无干涉双臂绘图运动规划。以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕。

9.上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制，具体方法如下：

将上位机与机械臂控制器通过一根网线进行连接，上位机主动与机械臂建立通讯关系，获得机械臂的静态IP地址后，将此IP地址输入程序中，运行程序便可进行数据传输。

本实施例基于双机械臂协同的肖像轮廓智能绘制方法，操作步骤包括：将原始RGB彩色图像输入深度学***行于像素坐标系Y轴的直线将所述轮廓图像分为左右两部分；在像素坐标系下，分别利用逆时针搜索算法和顺时针搜索算法对左半边轮廓图像和右半边轮廓图像进行像素点排列，形成若干段不连续的轨迹段；将所述轨迹段的像素坐标转换为机械臂工具坐标系下的坐标；对所述轨迹段坐标增加机械臂姿态信息，形成机械臂可识别的一系列轨迹；对所述轨迹进行基于左臂优先原则的无干涉双臂绘图运动规划，保证两只机械臂在绘制过程中不发生干涉；通过TCP/IP协议将所述不干涉的轨迹传输给两只机械臂，进行双机械臂协同肖像图绘制。本本实施例方法实现了双机械臂协同绘图的功能，绘制效率高且效果逼真，便于在教育教学等场合进行展示。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。

Claims (7)

1.一种基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，操作步骤如下：

(1)将原始RGB彩色图像输入卷积神经网络CNN，得到肖像图五官在像素坐标系——以下简称坐标系I中的坐标信息；

(2)将所述原始RGB彩色图像经过图像预处理操作得到二值图像；

(3)提取上述二值图像的轮廓，得到轮廓中的每一个像素点在坐标系I中的坐标信息(x_i，y_i，z_i)，坐标系I一般为平面坐标系，默认z_i为0；

(4)利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分；

(5)对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序；由此，形成若干段不连续的轨迹段；

(6)将所有轨迹段像素点在坐标系I中的坐标信息转换为机械臂工具坐标系——以下简称坐标系T中的坐标信息用于轨迹绘制；

(7)对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可以用于机械臂运动控制的轨迹点；

(8)基于左臂优先原则的无干涉双臂绘图运动规划；以左臂当前轨迹段为基准，从右臂的所有轨迹段中找到第一条不与左臂发生干涉的轨迹段，如果找到，则左右机械臂同时绘制各自当前轨迹段；如果未找到，则右臂在安全位置等待，直到左臂完成当前轨迹段的绘制；然后，再依照上述过程进行左臂下一条轨迹段的绘制，直至完成左臂所有轨迹段的绘制；最后，将右臂剩余轨迹段绘制完毕；

(9)上位机通过TCP/IP协议获得机械臂的静态IP地址，实现数据传输，将上述所有轨迹段传输给左右机械臂的控制器进行绘制。

2.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将原始RGB彩色图像输入卷积神经网络CNN得到肖像图五官的位置信息，包括：

卷积神经网络由三个级联网络组成，用于人脸识别，可以获得五官的位置信息；

五官的位置信息用(x₁，y₁，z₁)，(x₂，y₂，z₂),，(x₃，y₃，z₃)，(x₄，y₄，z₄)，(x₅，y₅，z₅)等坐标表示，其中(x₁，y₁，z₁)表示左眼的中心坐标，(x₂，y₂，z₂)表示右眼的中心坐标，(x₃，y₃，z₃)表示鼻子的中心坐标，(x₄，y₄，z₄)表示左边嘴角的坐标，(x₅，y₅，z₅)表示右边嘴角的坐标。

3.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将所述原始RGB彩色图像经过图像预处理操作得到二值图像，包括：

图像预处理包括背景去除、风格转换、图像灰度化、自适应阈值处理、形态学运算操作。

4.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述利用过两只眼睛的中心位置且平行于坐标系I中Y轴的直线将轮廓图像分为左右两部分，包括：

所述左右两部分包括左半边轮廓图像和右半边轮廓图像，它们分别由若干段不连续的轨迹段组成，每条轨迹段由若干个相邻的像素点组成，为使机器人按照轨迹段进行绘制，需将所述轨迹中的像素点进行逐个排序，形成若干条由顺序连贯像素点组成的轨迹段。

5.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述对于左半边轮廓图像，采用逆时针搜索算法对每条轨迹中的像素点进行排序；对于右半边轮廓图像，采用顺时针搜索算法对每条轨迹中的像素点进行排序，包括：

在对每条轨迹段中的若干个像素点进行排序的过程中，由于机械臂绘制每一条轨迹段是一个连续的过程，在轨迹段j的起始位置落笔，在轨迹段j的末端位置抬笔，再移动到第j+1条轨迹段的起始位置落笔，所以在每条轨迹段的起始位置和末端位置设置1和0标记落笔与抬笔动作；

所述逆时针搜索算法即首先遍历左半边轮廓图像中的每一行，找到第一个黑色像素点，像素值为0，以此像素点为中心点，在8邻域内从正上方开始，按照逆时针的方向去寻找下一个黑色像素点，如果找到，就将此像素点加入当前轨迹段队列；如果没找到，就继续对下一行的像素点进行搜寻，直至左半边轮廓图像的像素点全部搜索完毕，其中搜索过的像素点像素值设为255，表示已遍历。

6.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述将所有轨迹段像素点在坐标系I中的坐标信息转换为坐标系T中的坐标信息用于轨迹绘制，包括：

转换公式为

其中

表示坐标系I到坐标系T的转换矩阵，^TP_i表示像素点i在坐标系T中的坐标信息，具体为(^TX_i,^TY_i,^TZ_i)，^IP_i表示像素点i在坐标系I中的坐标信息，具体为(^IX_i,^IY_i,^IZ_i)。

7.根据权利要求1所述的基于双机械臂协同的肖像轮廓智能绘制方法，其特征在于，所述对所述转换到坐标系T中的坐标信息增加机械臂姿态信息，将坐标系T中所述坐标信息与姿态信息进行组合，得到一系列可用于机械臂运动的坐标点，包括：

所述方法是由十四自由度冗余双机械臂进行绘制，所以每只机械臂分别具有七个自由度，所述坐标点数据格式为(X_i,Y_i,Z_i,q₁,q₂,q₃,q₄)，其中前三项为机械臂末端在坐标系T中的坐标信息，后四项用四元数形式表示，为机械臂姿态信息；

两只机械臂在绘图过程中始终保持笔尖垂直于纸面的姿态，即在绘图过程中只有X_i,Y_i,Z_i三个数值会发生变化，姿态信息q₁,q₂,q₃,q₄始终保持不变；机械臂的绘图姿态由示教得到，在示教过程中要避开一些潜在的障碍物，保持机械臂由初始姿态移动到绘图姿态的过程中平稳匀速；在初次示教完机械臂的绘图姿态之后，记录下q₁,q₂,q₃,q₄的数值，作为固定参数通过程序与X_i,Y_i,Z_i坐标信息进行组合，得到可用于机械臂运动控制的数据格式。

Images