CN113381667A - 一种基于ros与图像处理的寻苗行走***及其方法 - Google Patents

Abstract

本发明提出一种基于ROS与图像处理的寻苗行走***及其方法，所述***包括摄像头、上位机模块、电机控制***和ROS***；所述摄像头来获取图像信息，所述上位机模块获取并处理图像信息，所述电机控制***与上位机模块通过ROS***进行通讯，获取控制信息，输出控制信号控制电机旋转，控制车体行走。本发明可以实现小车机器人四轮分跨田垄两侧，在田地中根据前方苗的位置，寻找定位作物所在直线，并且能够实时根据直线与自身前进方向的偏差，进行方向调整，从而实现循着作物行走的效果。

Description

一种基于ROS与图像处理的寻苗行走***及其方法

技术领域

本发明属于图像处理、电机控制技术领域，特别是涉及一种基于ROS与图像处理的寻苗行走***及其方法。

背景技术

图像处理技术是利用计算机将获取得到的图像进行处理的技术，主要包括图像分割、图像识别、图像增强和复原等。利用图像处理技术，可以让机械获得“眼睛”，获取视觉这一重要信息，从而更加方便准确地对机械进行控制。

机械的行动则离不开电机。通过对电机旋转方向、旋转速度的精确控制，可以实现对机械运动的精确控制。本***使用的直流电机控制起来相对简单，常用的控制方法是PWM(脉冲宽度调制)技术，其原理是对逆变电路开关器件的通断进行控制，使输出端得到一系列幅值相等的脉冲，用这些脉冲来代替正弦波或所需要的波形。也就是在输出波形的半个周期中产生多个脉冲，使各脉冲的等值电压为正弦波形，所获得的输出平滑且低次谐波少。按一定的规则对各脉冲的宽度进行调制，既可改变逆变电路输出电压的大小，也可改变输出频率，通过改变PWM信号的占空比可以控制电机旋转的速度，改变PWM信号的正负输出来控制电机旋转的方向。在行走控制***中，往往利用双轮差速的方式来进行方向调节。

普通的开环控制并不稳定，我们通常需要加入反馈实现闭环控制。我们使用的，也是最常用的是“比例积分微分控制”，简称PID控制。它根据给定值和实际输出值构成控制偏差，将偏差按比例、积分和微分通过线性组合构成控制量，对被控对象进行控制。

ROS(机器人操作***)是用于编写机器人软件程序的一种具有高度灵活性的软件架构。ROS***提供了一种发布-订阅式通信框架，用以简单、快速地构建分布式计算系。

发明内容

本发明是为了实现小车机器人四轮分跨田垄两侧，在田垄中可以在无需人员操作的情况下，自主寻找定位前方苗线，并且能够沿着苗线进行行走的功能，从而提供了一种基于ROS与图像处理的寻苗行走***及其方法。

本发明是通过以下技术方案实现的，本发明提出一种基于ROS与图像处理的寻苗行走***，所述***包括摄像头、上位机模块、电机控制***和ROS***；所述摄像头来获取图像信息，所述上位机模块获取并处理图像信息，所述电机控制***与上位机模块通过ROS***进行通讯，获取控制信息，输出控制信号控制电机旋转，控制车体行走。

进一步地，所述上位机模块使用的是树莓派4B,通过程序编写对应的上位机控制模块，该上位机控制模块包括：

用于接收摄像头获取的实时图像信息的图像接收模块；

用于处理图像信息，获取作物位置信息，进而获取作物所在路径直线信息，计算得到路径直线偏角度与偏移量的图像处理模块；

用于向电机控制***发送偏角度与偏移量的控制信息发送模块；

用于对电机控制***发送的应答信息进行接收的应答信息接收模块。

进一步地，所述电机控制***包括开发板和电机驱动板，在所述开发板内，通过程序编写电机控制模块，该电机控制模块包括：

用于对上位机模块发送的偏角度与偏移量进行接收的控制信息接收模块；

用于将偏角度与偏移量转化为控制信号的控制信息处理模块；

用于向电机驱动板发送控制信号的控制信号发送模块；

用于测量并且获取电机当前转速的编码器模块；

用于根据当前电机实际旋转速度调整大小的PID闭环控制模块；

电机驱动板用于接收开发板发送的PWM控制信号，并调整其电压电流大小为适合电机使用，输出调整后的控制信号给电机。

进一步地，所述ROS***，用于将上位机模块与电机控制***作为节点，在共同话题内发布、订阅消息，实现通讯功能。

本发明还提出一种基于ROS与图像处理的寻苗行走***的寻苗行走方法，所述方法包括以下步骤：

步骤一、摄像头挂载于小车上，实时获取前方地面信息，将其发送给上位机模块；

步骤二、上位机模块接收图像信息，根据图像中的颜色信息来区分地面与作物，提取其中的绿色部分，将作物从图像中提取出来，获取作物的坐标信息；

步骤三、上位机模块处理作物信息，通过提取出的作物的坐标，利用最小二乘法找到作物所在直线，将直线在图像中标记出来；

步骤四、上位机模块计算获得直线与车体当前行进方向的偏角度，同时获得直线与图像中心点之间的偏移量，通过偏角度与偏移量计算车体需要调整正向的角速度w＝k*0.005-dist*0.08；其中k表示偏角度，dist表示偏移量；

步骤五、上位机模块创建话题，同时作为ROS***中的一个节点，将角速度w数据发布到ROS***中的话题内，等待被电机控制***的控制信息接收模块接收；

步骤六、电机控制***的控制信息接收模块作为ROS***中另一个节点，订阅话题，从话题中接收上位机模块发送的角速度w；

步骤七、根据角速度w，通过公式：左轮速度v_left＝v-w*0.3，右轮速度v_right＝v+w*0.3，计算出车体调整需要的左右轮的速度，其中v是初始设定的前进线速度；

步骤八、根据计算出的速度，改变电机控制模块输出PWM信号的占空比，计算左轮角速度w_left＝50*v_left/v，右轮角速度w_right＝50*v_right/v，以此来控制电机旋转的速度，利用差速调控原理，控制车体前进与转向；

步骤九、利用编码器模块测量电机实际旋转速度，并且将速度信息发送回给电机控制模块；

步骤十、电机控制模块接收电机实际速度信息，利用PID调控，实时调整输出的PWM信号，其中PID的参数设置为：P＝50，I＝100，D＝0；

步骤十一、持续判断是否有新图像传入，若有新图像传入，重复步骤二至步骤十；否则等待一定时间后，结束。

进一步地，在步骤二至步骤五中执行以下操作：

步骤1、提取图像的下半部分，只考虑离车体近的作物信息，避免受到远作物的位置信息影响；

步骤2、使用函数cv2.cvColor(),将新图像由RGB空间转换至HSV空间；

步骤3、设置绿色颜色提取范围，低边界low＝(35,60,60)，高边界high＝(80,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；从HSV空间中提取绿色部分，找到作物，获取作物信息；

步骤4、对mask图像进行形态学操作，利用cv2.morphologyEx()函数，先进行开运算，将白色部分先腐蚀再膨胀，再进行闭运算，将白色部分先膨胀再腐蚀，对作物信息进行处理，使其更加清晰准确；

步骤5、获取出白色部分中的所有坐标，通过这些坐标信息，利用最小二乘法，找到作物所在直线y＝kx+b，其中k＝(xy_sum-x_sum*y_sum/N)/(x_s_sum-x_sum*x_sum/N)，b＝y_sum/N-k*x_sum/N，其中xy_sum是横纵坐标乘积的和，x_sum是横坐标的和，y_sum是纵坐标的和，x_s_sum是横坐标的平方和，N表示点的数目；

步骤6、利用偏移量公式

计算出直线与图像中心的偏移量；

步骤7、利用ROS***发布话题，将偏角度k与偏移量dist发布到话题中，等待被电机控制模块订阅提取。

本发明有益效果为：本发明可以实现小车机器人四轮分跨田垄两侧，在田地中根据前方苗的位置，寻找定位作物所在直线，并且能够实时根据直线与自身前进方向的偏差，进行方向调整，从而实现循着作物行走的效果。本发明的小车机器人的行走部分实现了智能化，只需要人工远程操作开始，即可让小车机器人自主行走，可以降低人力资源。

附图说明

图1为基于ROS与图像处理的寻苗行走***的整体功能实现流程图；

图2为树莓派进行图像处理的方法流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1-2，本发明提出一种基于ROS与图像处理的寻苗行走***，所述***包括摄像头、上位机模块、电机控制***和ROS***；所述摄像头来获取图像信息，所述上位机模块获取并处理图像信息，所述电机控制***与上位机模块通过ROS***进行通讯，获取控制信息，输出控制信号控制电机旋转，控制车体行走。

进一步地，所述上位机模块使用的是树莓派4B(Raspberry 4Pi model B),通过程序编写对应的上位机控制模块，该上位机控制模块包括：

用于接收摄像头获取的实时图像信息的图像接收模块；

用于处理图像信息，获取作物位置信息，进而获取作物所在路径直线信息，计算得到路径直线偏角度与偏移量的图像处理模块；

用于向电机控制***发送偏角度与偏移量的控制信息发送模块；

用于对电机控制***发送的应答信息进行接收的应答信息接收模块。

进一步地，所述电机控制***包括Arduino Mega2560开发板和L298N电机驱动板，在所述开发板内，通过程序编写电机控制模块，该电机控制模块包括：

用于对上位机模块发送的偏角度与偏移量进行接收的控制信息接收模块；

用于将偏角度与偏移量转化为控制信号的控制信息处理模块；

用于向电机驱动板发送控制信号的控制信号发送模块；

用于测量并且获取电机当前转速的编码器模块；

用于接收电机旋转速度信息的反馈信号接收模块；

用于根据当前电机实际旋转速度调整大小的PID闭环控制模块；

电机驱动板用于接收开发板发送的PWM控制信号，并调整其电压电流大小为适合电机使用，输出调整后的控制信号给电机。

进一步地，所述ROS***，用于将上位机模块与电机控制***作为节点，在共同话题内发布、订阅消息，实现通讯功能。

本发明还提出一种基于ROS与图像处理的寻苗行走***的寻苗行走方法，所述方法包括以下步骤：

步骤一、摄像头挂载于小车上，实时获取前方地面信息，将其发送给上位机模块；

步骤二、上位机模块接收图像信息，根据图像中的颜色信息来区分地面与作物，提取其中的绿色部分，将作物从图像中提取出来，获取作物的坐标信息；

步骤三、上位机模块处理作物信息，通过提取出的作物的坐标，利用最小二乘法找到作物所在直线，将直线在图像中标记出来；

步骤四、上位机模块计算获得直线与车体当前行进方向的偏角度，同时获得直线与图像中心点之间的偏移量，通过偏角度与偏移量计算车体需要调整正向的角速度w＝k*0.005-dist*0.08；其中k表示偏角度，dist表示偏移量；

步骤五、上位机模块创建话题，同时作为ROS***中的一个节点，将角速度w数据发布到ROS***中的话题内，等待被电机控制***的控制信息接收模块接收；

步骤六、电机控制***的控制信息接收模块作为ROS***中另一个节点，订阅话题，从话题中接收上位机模块发送的角速度w；

步骤七、根据角速度w，通过公式：左轮速度v_left＝v-w*0.3，右轮速度v_right＝v+w*0.3，计算出车体调整需要的左右轮的速度，其中v是初始设定的前进线速度；

步骤八、根据计算出的速度，改变电机控制模块输出PWM信号的占空比，计算左轮角速度w_left＝50*v_left/v，右轮角速度w_right＝50*v_right/v，以此来控制电机旋转的速度，利用差速调控原理，控制车体前进与转向；

步骤九、利用编码器模块测量电机实际旋转速度，并且将速度信息发送回给电机控制模块；

步骤十、电机控制模块接收电机实际速度信息，利用PID调控，实时调整输出的PWM信号，其中PID的参数设置为：P＝50，I＝100，D＝0；

步骤十一、持续判断是否有新图像传入，若有新图像传入，重复步骤二至步骤十；否则等待一定时间后，结束。

进一步地，在步骤二至步骤五中执行以下操作：

步骤1、提取图像的下半部分，只考虑离车体近的作物信息，避免受到远作物的位置信息影响；

步骤2、使用函数cv2.cvColor(),将新图像由RGB空间转换至HSV空间；

步骤3、设置绿色颜色提取范围，低边界low＝(35,60,60)，高边界high＝(80,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；从HSV空间中提取绿色部分，找到作物，获取作物信息；

步骤4、对mask图像进行形态学操作，利用cv2.morphologyEx()函数，先进行开运算，将白色部分先腐蚀再膨胀，再进行闭运算，将白色部分先膨胀再腐蚀，对作物信息进行处理，使其更加清晰准确；

步骤5、获取出白色部分中的所有坐标，通过这些坐标信息，利用最小二乘法，找到作物所在直线y＝kx+b，其中k＝(xy_sum-x_sum*y_sum/N)/(x_s_sum-x_sum*x_sum/N)，b＝y_sum/N-k*x_sum/N，其中xy_sum是横纵坐标乘积的和，x_sum是横坐标的和，y_sum是纵坐标的和，x_s_sum是横坐标的平方和，N表示点的数目；

步骤6、利用偏移量公式

计算出直线与图像中心的偏移量；

步骤7、利用ROS***发布话题，将偏角度k与偏移量dist发布到话题中，等待被电机控制模块订阅提取。

以上对本发明所提出的一种基于ROS与图像处理的寻苗行走***及其方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于ROS与图像处理的寻苗行走***，其特征在于：所述***包括摄像头、上位机模块、电机控制***和ROS***；所述摄像头来获取图像信息，所述上位机模块获取并处理图像信息，所述电机控制***与上位机模块通过ROS***进行通讯，获取控制信息，输出控制信号控制电机旋转，控制车体行走。

2.根据权利要求1所述的***，其特征在于：所述上位机模块使用的是树莓派4B,通过程序编写对应的上位机控制模块，该上位机控制模块包括：

用于接收摄像头获取的实时图像信息的图像接收模块；

用于处理图像信息，获取作物位置信息，进而获取作物所在路径直线信息，计算得到路径直线偏角度与偏移量的图像处理模块；

用于向电机控制***发送偏角度与偏移量的控制信息发送模块；

用于对电机控制***发送的应答信息进行接收的应答信息接收模块。

3.根据权利要求2所述的***，其特征在于：所述电机控制***包括开发板和电机驱动板，在所述开发板内，通过程序编写电机控制模块，该电机控制模块包括：

用于对上位机模块发送的偏角度与偏移量进行接收的控制信息接收模块；

用于将偏角度与偏移量转化为控制信号的控制信息处理模块；

用于向电机驱动板发送控制信号的控制信号发送模块；

用于测量并且获取电机当前转速的编码器模块；

用于根据当前电机实际旋转速度调整大小的PID闭环控制模块；

电机驱动板用于接收开发板发送的PWM控制信号，并调整其电压电流大小为适合电机使用，输出调整后的控制信号给电机。

4.根据权利要求3所述的***，其特征在于：所述ROS***，用于将上位机模块与电机控制***作为节点，在共同话题内发布、订阅消息，实现通讯功能。

5.一种如权利要求1-4中任一项所述的基于ROS与图像处理的寻苗行走***的寻苗行走方法，其特征在于：所述方法包括以下步骤：

步骤一、摄像头挂载于小车上，实时获取前方地面信息，将其发送给上位机模块；

步骤二、上位机模块接收图像信息，根据图像中的颜色信息来区分地面与作物，提取其中的绿色部分，将作物从图像中提取出来，获取作物的坐标信息；

步骤三、上位机模块处理作物信息，通过提取出的作物的坐标，利用最小二乘法找到作物所在直线，将直线在图像中标记出来；

步骤四、上位机模块计算获得直线与车体当前行进方向的偏角度，同时获得直线与图像中心点之间的偏移量，通过偏角度与偏移量计算车体需要调整正向的角速度w＝k*0.005-dist*0.08；其中k表示偏角度，dist表示偏移量；

步骤五、上位机模块创建话题，同时作为ROS***中的一个节点，将角速度w数据发布到ROS***中的话题内，等待被电机控制***的控制信息接收模块接收；

步骤六、电机控制***的控制信息接收模块作为ROS***中另一个节点，订阅话题，从话题中接收上位机模块发送的角速度w；

步骤七、根据角速度w，通过公式：左轮速度v_left＝v-w*0.3，右轮速度v_right＝v+w*0.3，计算出车体调整需要的左右轮的速度，其中v是初始设定的前进线速度；

步骤八、根据计算出的速度，改变电机控制模块输出PWM信号的占空比，计算左轮角速度w_left＝50*v_left/v，右轮角速度w_right＝50*v_right/v，以此来控制电机旋转的速度，利用差速调控原理，控制车体前进与转向；

步骤九、利用编码器模块测量电机实际旋转速度，并且将速度信息发送回给电机控制模块；

步骤十、电机控制模块接收电机实际速度信息，利用PID调控，实时调整输出的PWM信号，其中PID的参数设置为：P＝50，I＝100，D＝0；

步骤十一、持续判断是否有新图像传入，若有新图像传入，重复步骤二至步骤十；否则等待一定时间后，结束。

6.根据权利要求5所述的方法，其特征在于：在步骤二至步骤五中执行以下操作：

步骤1、提取图像的下半部分，只考虑离车体近的作物信息，避免受到远作物的位置信息影响；

步骤2、使用函数cv2.cvColor(),将新图像由RGB空间转换至HSV空间；

步骤3、设置绿色颜色提取范围，低边界low＝(35,60,60)，高边界high＝(80,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；从HSV空间中提取绿色部分，找到作物，获取作物信息；

步骤4、对mask图像进行形态学操作，利用cv2.morphologyEx()函数，先进行开运算，将白色部分先腐蚀再膨胀，再进行闭运算，将白色部分先膨胀再腐蚀，对作物信息进行处理，使其更加清晰准确；

步骤5、获取出白色部分中的所有坐标，通过这些坐标信息，利用最小二乘法，找到作物所在直线y＝kx+b，其中k＝(xy_sum-x_sum*y_sum/N)/(x_s_sum-x_sum*x_sum/N)，b＝y_sum/N-k*x_sum/N，其中xy_sum是横纵坐标乘积的和，x_sum是横坐标的和，y_sum是纵坐标的和，x_s_sum是横坐标的平方和，N表示点的数目；

步骤6、利用偏移量公式

计算出直线与图像中心的偏移量；

步骤7、利用ROS***发布话题，将偏角度k与偏移量dist发布到话题中，等待被电机控制模块订阅提取。

Images