CN111413977A - 一种基于机器视觉的割草机器人的路径规划***及方法 - Google Patents

一种基于机器视觉的割草机器人的路径规划***及方法 Download PDF

Info

Publication number
CN111413977A
CN111413977A CN202010253533.6A CN202010253533A CN111413977A CN 111413977 A CN111413977 A CN 111413977A CN 202010253533 A CN202010253533 A CN 202010253533A CN 111413977 A CN111413977 A CN 111413977A
Authority
CN
China
Prior art keywords
pin
lawn
processor
image
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010253533.6A
Other languages
English (en)
Inventor
刘旭颖
张自嘉
韩智轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202010253533.6A priority Critical patent/CN111413977A/zh
Publication of CN111413977A publication Critical patent/CN111413977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/648—Performing a task within a working area or space, e.g. cleaning
    • G05D1/6484—Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape
    • G05D1/6486—Performing a task within a working area or space, e.g. cleaning by taking into account parameters or characteristics of the working area or space, e.g. size or shape by taking into account surface condition, e.g. soiled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/15—Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/20—Land use
    • G05D2107/23—Gardens or lawns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Harvester Elements (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于机器视觉的割草机器人的路径规划***，包括图像采集装置、图像处理装置、处理器、驱动装置、存储器、传感器组模块和电子设备，所述图像采集装置连接图像处理装置用来将采集到的图像进行图像信息特征提取，所述图像处理装置、驱动装置、电子设备、存储器和传感器组模块均连接在处理器上，所述处理器和电子设备通过蓝牙模块连接，所述存储器了处理器连接用于存储机器人控制程序。本发明的一种基于机器视觉的割草机器人的路径规划***通过处理器、图像处理装置以及传感器组的配合使用，自动化控制割草机器人进行割草路径规划并割草，提高了割草效率，节约了时间和人力。

Description

一种基于机器视觉的割草机器人的路径规划***及方法
技术领域
本发明涉及自动化控制技术领域，具体涉及一种基于机器视觉的割草机器人的路径规划***及方法。
背景技术
随着科学技术的不断发展以及自动化产业水平的不断提高，人们的生活质量随之提升，所以人们对城市绿化程度的要求也在不断提高。在公园、高尔夫球场、住宅小区或者别墅等区域内，都会为了提升环境美观度而修剪草坪，但草坪的修剪存在重复性，需要消耗大量的人力和物力。为了降低草坪维护作业的劳动成本，各种不同的割草机器人应运而生。但目前的割草机器人对割草区域的确定，一般通过人工埋边界线，将边界线围合成的区域作为割草机器人的割草区域。这样的方式效率低下，限制了割草机器人的灵活性。
针对上述问题，本专利设计了一种基于多传感器与机器视觉相结合的割草机器人控制***，通过多种传感器与视觉结合，使得割草机器人能够感知周围环境，并通过控制装置，做出相应的执行动作。
发明内容
本发明所要解决的技术问题是提供一种基于机器视觉的割草机器人的路径规划***及方法来解决现有技术中通过人工进行割草路径规划带来的效率低下、浪费时间和人力的问题。
为解决以上技术问题，本发明的技术方案为：提供一种基于机器视觉的割草机器人的路径规划***，其创新点在于：包括图像采集装置、图像处理装置、处理器、驱动装置、存储器、传感器组模块和电子设备，图像采集装置连接图像处理装置用来将采集到的图像进行图像信息特征提取，所述图像处理装置、驱动装置、电子设备、存储器和传感器组模块均连接在处理器上，图像处理装置和处理器连接是为了将提取到的图像信息传送至处理器，传感器组模块和处理器连接功能在于将采集到的割草机器人周围环境内的信息传送至处理器，处理器分别与电子设备和驱动装置连接来将处理结果进行人机交互，且驱动机器人装置进行路径规划和割草，所述处理器和电子设备通过蓝牙模块连接，所述存储器了处理器连接用于存储机器人控制程序。
进一步的，所述图像采集装置为摄像头，所述摄像头的型号为OV7620，所述图像处理装置为DSP，所述DSP的型号为TMS320VC5509ADSP，所述处理器的型号为AT89C51。
进一步的，所述驱动装置包括刀片装置驱动和车轮装置驱动，所述车轮装置驱动通过电机驱动模块驱动，所述电机驱动模块的型号为L298，所述车轮装置驱动和处理器连接来通过处理器控制机器人的行动，所述刀片装置驱动连接电流传感器来通过刀片传感器控制刀片动作。
进一步的，所述传感器组模块包括温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器。
进一步的，所述温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器的型号分别为：DS18B20、TCRT5000、HC-SR501、SRF04、ACS712ELCTR-05B-T和MPU6050。
进一步的，其具体电路结构为：所述电路结构包括电机驱动模块U1、温度传感器U2、处理器U3、光电耦合器U4、电流传感器U5、红外传感器U6、热释电红外传感器U7、MAX488收发器U8、MAX488收发器U9、角度传感器U10、摄像头U11、超声波测距传感器U12、蓝牙模块U13、图像处理装置U14、一个刀片驱动电机和四个车轮驱动电机，还包括电阻R1-R8、电容C1-C5、二极管D1-D9和三极管Q2。
所述U3的引脚1连接U4的引脚1，所述U3的引脚2-7分别连接U1的引脚5、引脚7、引脚10、引脚12、引脚6和引脚11，所述U3的引脚8连接U2的引脚2，所述U3的引脚10和引脚11分别连接U9的引脚5和引脚6，所述U3的引脚21连接U5的引脚7，所述U3的引脚32和33分别连接U13的引脚3和引脚2，所述U3的引脚34连接U7的引脚3，所述U3的引脚35连接U10的引脚4和6，所述U3的引脚36连接U10的引脚3，所述U3的引脚37连接U6的引脚4，所述U3的引脚38和引脚39分别连接U12的引脚2和引脚3。
所述U1的引脚9连接C1的一端，所述U1的引脚4分别连接C2和C5的一端，所述C1、C2和C5的另一端均接地，所述U1的引脚9和引脚4均接12V电源，所述U1的引脚2分别连接D1的正极、D6的负极和两个车轮驱动电机的一端，所述U1的引脚3分别连接D3的正极、D7的负极和两个车轮驱动电机的另一端，所述U1的引脚13分别连接D4的正极、D8的负极和另外两个车轮驱动电机的一端，所述U1的引脚14分别连接D5的正极、D9的负极和另外两个车轮驱动电机的另一端，所述D1、D2、D3和D4的负极均接12V电源，所述D6、D7、D8和D9的正极均接地。
所述U4的引脚4分别连接R4和R5的一端，所述R4的另一端通过一个RL电路连接U5的引脚1和引脚2，所述R5的另一端连接Q2的基极，所述Q2的发射极连接RL电路，所述Q2的集电极连接，所述R4的另一端和RL电路均连接12V电源，所述Q2的集电极接地。
所述U5的引脚3和引脚4均连接刀片驱动电机的一端，所述刀片驱动电机的另一端接地，所述U5的引脚6连接C4的一端，所述U5的引脚8连接C3的一端，所述C3的另一端连接D2的负极，所述D2的正极连接R6的一端，所述R6的另一端和U5的引脚8均接5V电源，所述C4的另一端、U5的引脚5和C3的另一端均接地。
所述U9的引脚1连接U8的引脚1和R7的一端所述R7的另一端连接U8的引脚2和U9的引脚2，所述U9的引脚4连接R8的一端和U8的引脚3，所述R8的另一端连接U8的引脚4，所述U8的引脚5和引脚6分别连接U14的引脚8和引脚9，所述U14的引脚1-7分别连接U11的引脚1-7。
所述U2的引脚3、U12的引脚1、U6的引脚1、U10的引脚1、U13的引脚6和U7的引脚1均连接3v3电源，所述U2的引脚1、U12的引脚5、U6的引脚3、U10的引脚2、U13的引脚4和U7的引脚2均接地，所述U4的引脚2和引脚3、U1的引脚8、U9的引脚8和U8的引脚7均接地，所述U9的引脚7和U8的引脚8均接电源。
为解决以上技术问题，本发明的技术方案还提供一种基于机器视觉的割草机器人的路径规划方法，其创新点在于：具体包括以下步骤：
(1)将小车方放置在草坪边界处，设置好障碍物的面积阈值、草坪所占比例值和障碍物安全距离值；
(2)移动小车，使其从边界出发，利用各传感器检测草坪中的障碍物以及割草机器人的刀片状态、工作状态，并利用摄像头采集草坪图像，将摄像头采集的图像传入图像处理装置进行图片处理；
(3)当小车在边界行走时，将经过处理的图片的处理结果传入处理器，得到草坪与路面边界，处理器计算出当前草坪所占面积以及比例值，将此时的比例值和设定好的草坪所占比例值进行对比，若小于设定好的比例值，则处理器控制车轮驱动装置来控制割草机器人调整路线；
(4)当机器人在草坪内圈行走时，图像处理装置对采集到的草坪图像进行分割，得到草坪内已割和未割界线，并将处理结果传入处理器，由处理器判断机器人左右区域像素点大小，区分未割草坪，并计算未割草坪比例值，并根据该比例值控制机器人行走方向，反复循环来实现区域全覆盖，完成草坪割草。
进一步的，在割草机器人路径规划过程中，若摄像头视觉识别和传感器检测到障碍物，将拍摄到的障碍物图片在图像处理装置内经过二值化分割，提取障碍物数据并进行形态学操作，求出障碍物的凸包，计算面积，当障碍物面积小于设定阈值时，将该障碍物忽略，若面积大于设定阈值时，通过蓝牙模块将障碍物类型与距离发送至电子设备并根据设定的距离参数进行比较，若摄像头视觉测距和各传感器测距都小于障碍物安全距离，则处理器控制割草机器人偏转避障。
进一步的，在图像处理装置进行的图片处理主要包括计算路面图片、草坪未割图片、草坪已割图片、障碍物的灰度共生矩阵特征值与颜色特征，对于已割与未割草坪的拼接图、草坪与路面的图，选取能量、熵、相关性、对比度中不同特征值进行纹理特征二值图像的映射，选取效果较好的参考特征值与遍历窗口进行分割，经过形态学操作，提取边界线；
对于障碍物利用SVM进行图像分类，提取图片特征，将这些特征聚成n类，对训练集中的图片构造“bag of words”，就是将图片中的特征归到不同的类中，然后统计每一类的特征的频率，然后训练一个多类分类器，将每张图的“bag of words”作为特征向量，将该张图片的类别作为标签，对于未知类别的图片，计算它的“bag of words”，使用训练的分类器进行分类。
进一步的，所述割草机器人在运行过程中需要保证路径之间的间距小于割草机器人的宽度。
本发明和现有技术相比，产生的有益效果为：
(1)本发明的一种基于机器视觉的割草机器人的路径规划***通过处理器、图像处理装置以及传感器组的配合使用，自动化控制割草机器人进行割草路径规划并割草，提高了割草效率，节约了时间和人力。
(2)本发明的一种基于机器视觉的割草机器人的路径规划方法通过颜色与纹理结合的分割方法，提取草坪与路面的边界线，提取草坪内部已割与未割的边界线，实现无需铺设边界线的识别方法；基于视觉与传感器结合的方法识别障碍物的距离、障碍物的种类(发送至电子设备)，能提高割草机器人的避障能力。
附图说明
为了更清晰地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于机器视觉的割草机器人的路径规划***的***框图。
图2为图1中的***的电路结构图。
图3为本发明的一种基于机器视觉的割草机器人的路径规划方法的流程图。
图4为本发明的割草机器人的外观示意图。
图5为本发明的一种基于机器视觉的割草机器人的路径规划的示意图。
图6为本发明的边界图像的提取流程图。
图7为本发明的已割与未割草坪不同特征值的纹理特征图。
图8为本发明的割草刀片检测流程图。
图9为本发明的割草机器人行使速度控制流程图。
具体实施方式
下面将通过具体实施方式对本发明的技术方案进行清楚、完整地描述。
本发明提供一种基于机器视觉的割草机器人的路径规划***，其***框图如图1所示，包括图像采集装置、图像处理装置、处理器、驱动装置、存储器、传感器组模块和电子设备，图像采集装置连接图像处理装置用来将采集到的图像进行图像信息特征提取，所述图像处理装置、驱动装置、电子设备、存储器和传感器组模块均连接在处理器上，图像处理装置和处理器连接是为了将提取到的图像信息传送至处理器，传感器组模块和处理器连接功能在于将采集到的割草机器人周围环境内的信息传送至处理器，处理器分别与电子设备和驱动装置连接来将处理结果进行人机交互，且驱动机器人装置进行路径规划和割草，所述处理器和电子设备通过蓝牙模块连接，蓝牙模块的型号为HC05，所述存储器了处理器连接用于存储机器人控制程序。
本发明的图像采集装置为摄像头，所述摄像头的型号为OV7620，所述图像处理装置为DSP，所述DSP的型号为TMS320VC5509ADSP，所述处理器的型号为AT89C51。本发明的驱动装置包括刀片装置驱动和车轮装置驱动，所述车轮装置驱动通过电机驱动模块驱动，所述电机驱动模块的型号为L298，所述车轮装置驱动和处理器连接来通过处理器控制机器人的行动，所述刀片装置驱动连接电流传感器来通过刀片传感器控制刀片动作。
本发明的一种基于机器视觉的割草机器人的路径规划***的传感器组模块包括温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器。温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器的型号分别为：DS18B20、TCRT5000、HC-SR501、SRF04、ACS712ELCTR-05B-T和MPU6050。本发明的超声波传感器、温度传感器、红外传感器、热释电红外传感器用于避障，由于超声波传感器受温度影响，所以与温度传感器配合使用，能更好的计算障碍物距离。此外，超声波传感器在小于30cm的距离为其盲区，所以结合红外传感器的使用能更好的实现避障。热释电红外传感器是预防割草机器人在工作过程中，有小动物误闯。电流传感器与割草刀片(刀片装置驱动)连接，用于检测在刀片运转过程中是否有堵塞情况，若刀片意外堵塞，电路中电流值会变大，电流传感器会将电流值反馈到处理器，一旦过流，处理器关闭刀片装置驱动，并将这一信息通过蓝牙模块传输给电子设备。角度传感器与处理器连接，将角度传感器按摆动方向在割草机器人上侧向布置，根据角度传感器产生的角位移，可以得出机器人所受下滑力、向心力作用产生的倾翻力的大小，当角位移达到预先设定的数值时，使汽车减速，若减速后依旧大于设定值，则关闭驱动装置，并将机器人侧翻信息与所在位置发送至电子设备。
本发明的一种基于机器视觉的割草机器人的路径规划***的具体电路结构如图2所示，电路结构包括电机驱动模块U1、温度传感器U2、处理器U3、光电耦合器U4、电流传感器U5、红外传感器U6、热释电红外传感器U7、MAX488收发器U8、MAX488收发器U9、角度传感器U10、摄像头U11、超声波测距传感器U12、蓝牙模块U13、图像处理装置U14、一个刀片驱动电机和四个车轮驱动电机，还包括电阻R1-R8、电容C1-C5、二极管D1-D9和三极管Q2。
U3的引脚1连接U4的引脚1，所述U3的引脚2-7分别连接U1的引脚5、引脚7、引脚10、引脚12、引脚6和引脚11，所述U3的引脚8连接U2的引脚2，所述U3的引脚10和引脚11分别连接U9的引脚5和引脚6，所述U3的引脚21连接U5的引脚7，所述U3的引脚32和33分别连接U13的引脚3和引脚2，所述U3的引脚34连接U7的引脚3，所述U3的引脚35连接U10的引脚4和6，所述U3的引脚36连接U10的引脚3，所述U3的引脚37连接U6的引脚4，所述U3的引脚38和引脚39分别连接U12的引脚2和引脚3。
U1的引脚9连接C1的一端，所述U1的引脚4分别连接C2和C5的一端，所述C1、C2和C5的另一端均接地，所述U1的引脚9和引脚4均接12V电源，所述U1的引脚2分别连接D1的正极、D6的负极和两个车轮驱动电机的一端，所述U1的引脚3分别连接D3的正极、D7的负极和两个车轮驱动电机的另一端，所述U1的引脚13分别连接D4的正极、D8的负极和另外两个车轮驱动电机的一端，所述U1的引脚14分别连接D5的正极、D9的负极和另外两个车轮驱动电机的另一端，所述D1、D2、D3和D4的负极均接12V电源，所述D6、D7、D8和D9的正极均接地。
U4的引脚4分别连接R4和R5的一端，所述R4的另一端通过一个RL电路连接U5的引脚1和引脚2，所述R5的另一端连接Q2的基极，所述Q2的发射极连接RL电路，所述Q2的集电极连接，所述R4的另一端和RL电路均连接12V电源，所述Q2的集电极接地。
U5的引脚3和引脚4均连接刀片驱动电机的一端，所述刀片驱动电机的另一端接地，所述U5的引脚6连接C4的一端，所述U5的引脚8连接C3的一端，所述C3的另一端连接D2的负极，所述D2的正极连接R6的一端，所述R6的另一端和U5的引脚8均接5V电源，所述C4的另一端、U5的引脚5和C3的另一端均接地。
U9的引脚1连接U8的引脚1和R7的一端所述R7的另一端连接U8的引脚2和U9的引脚2，所述U9的引脚4连接R8的一端和U8的引脚3，所述R8的另一端连接U8的引脚4，所述U8的引脚5和引脚6分别连接U14的引脚8和引脚9，所述U14的引脚1-7分别连接U11的引脚1-7。
U2的引脚3、U12的引脚1、U6的引脚1、U10的引脚1、U13的引脚6和U7的引脚1均连接3v3电源，所述U2的引脚1、U12的引脚5、U6的引脚3、U10的引脚2、U13的引脚4和U7的引脚2均接地，所述U4的引脚2和引脚3、U1的引脚8、U9的引脚8和U8的引脚7均接地，所述U9的引脚7和U8的引脚8均接电源。
本发明的技术方案还提供一种基于机器视觉的割草机器人的路径规划方法，其流程图如图3所示，本发明的小车如图4所示，具体包括以下步骤：
(1)将小车方放置在草坪边界处，设置好障碍物的面积阈值、草坪所占比例值和障碍物安全距离值；
(2)移动小车，使其从边界出发，利用各传感器检测草坪中的障碍物以及割草机器人的刀片状态、工作状态，并利用摄像头采集草坪图像，将摄像头采集的图像传入图像处理装置进行图片处理，如图5所示为路径规划示意图；
(3)当小车在边界行走时，将经过处理的图片的处理结果传入处理器，得到草坪与路面边界，处理器计算出当前草坪所占面积以及比例值，将此时的比例值和设定好的草坪所占比例值进行对比，若小于设定好的比例值，则处理器控制车轮驱动装置来控制割草机器人调整路线；
(4)当机器人在草坪内圈行走时，图像处理装置对采集到的草坪图像进行分割，得到草坪内已割和未割界线，并将处理结果传入处理器，由处理器判断机器人左右区域像素点大小，区分未割草坪，并计算未割草坪比例值，并根据该比例值控制机器人行走方向，反复循环来实现区域全覆盖，完成草坪割草。
在割草机器人路径规划过程中，若摄像头视觉识别和传感器检测到障碍物，将拍摄到的障碍物图片在图像处理装置内经过二值化分割，提取障碍物数据并进行形态学操作，求出障碍物的凸包，计算面积，当障碍物面积小于设定阈值时，将该障碍物忽略，若面积大于设定阈值时，通过蓝牙模块将障碍物类型与距离发送至电子设备并根据设定的距离参数进行比较，若摄像头视觉测距和各传感器测距都小于障碍物安全距离，则处理器控制割草机器人偏转避障。割草机器人在运行过程中需要保证路径之间的间距小于割草机器人的宽度。
在图像处理装置进行的图片处理主要包括计算路面图片、草坪未割图片、草坪已割图片、障碍物的灰度共生矩阵特征值与颜色特征，如图6所示，对于已割与未割草坪的拼接图、草坪与路面的图，选取能量、熵、相关性、对比度中不同特征值进行纹理特征二值图像的映射，选取效果较好的参考特征值与遍历窗口进行分割，经过形态学操作，提取边界线，处理后得到的草坪已割和未割的特征图如图7所示。对于障碍物利用SVM进行图像分类，提取图片特征，将这些特征聚成n类，对训练集中的图片构造“bag of words”，就是将图片中的特征归到不同的类中，然后统计每一类的特征的频率，然后训练一个多类分类器，将每张图的“bag of words”作为特征向量，将该张图片的类别作为标签，对于未知类别的图片，计算它的“bag of words”，使用训练的分类器进行分类。
本发明在路径规划好后进行控制机器人割草，机器人割草前需进行刀片检测，通过电流传感器检测刀片是否堵塞，若堵塞，则停止刀片驱动电机的运转，将割草刀片过流信息及其机器人所在位置通过处理器发送至电子设备，等待人员进行处理，流程图如图8所示。
在本发明的割草机器人行驶中，还需要对其速度进行控制，控制流程如图9所示，在使用机器人之前须设定好速度阈值，通过角度传感器传入处理器当前的角位移数值，处理器对该数值和速度阈值进行对比，若大于速度阈值，则控制机器人的车轮装置驱动减速，减速后处理器再将角度传感器传入的角位移数值和速度阈值比较，若还是大于速度阈值，则控制割草机器人侧翻，停止车轮装置驱动，并将信息发送至电子设备。
上面所述的实施例仅仅是本发明的优选实施方式进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计构思的前提下，本领域中普通工程技术人员对本发明的技术方案作出的各种变型和改进均应落入本发明的保护范围，本发明的请求保护的技术内容，已经全部记载在技术要求书中。

Claims (10)

1.一种基于机器视觉的割草机器人的路径规划***，其特征在于：包括图像采集装置、图像处理装置、处理器、驱动装置、存储器、传感器组模块和电子设备，所述图像采集装置连接图像处理装置用来将采集到的图像进行图像信息特征提取，所述图像处理装置、驱动装置、电子设备、存储器和传感器组模块均连接在处理器上，图像处理装置和处理器连接是为了将提取到的图像信息传送至处理器，传感器组模块和处理器连接功能在于将采集到的割草机器人周围环境内的信息传送至处理器，处理器分别与电子设备和驱动装置连接来将处理结果进行人机交互，且驱动机器人装置进行路径规划和割草，所述处理器和电子设备通过蓝牙模块连接，所述存储器了处理器连接用于存储机器人控制程序。
2.根据权利要求1所述的一种基于机器视觉的割草机器人的路径规划***，其特征在于：所述图像采集装置为摄像头，所述摄像头的型号为OV7620，所述图像处理装置为DSP，所述DSP的型号为TMS320VC5509ADSP，所述处理器的型号为AT89C51。
3.根据权利要求1所述的一种基于机器视觉的割草机器人的路径规划***，其特征在于：所述驱动装置包括刀片装置驱动和车轮装置驱动，所述车轮装置驱动通过电机驱动模块驱动，所述电机驱动模块的型号为L298，所述车轮装置驱动和处理器连接来通过处理器控制机器人的行动，所述刀片装置驱动连接电流传感器来通过刀片传感器控制刀片动作。
4.根据权利要求1所述的一种基于机器视觉的割草机器人的路径规划***，其特征在于：所述传感器组模块包括温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器。
5.根据权利要求4所述的一种基于机器视觉的割草机器人的路径规划***，其特征在于：所述温度传感器、红外传感器、热释电红外传感器、超声波测距模块、电流传感器和角度传感器的型号分别为：DS18B20、TCRT5000、HC-SR501、SRF04、ACS712ELCTR-05B-T和MPU6050。
6.根据权利要求1所述的一种基于机器视觉的割草机器人的路径规划***，其特征在于：其具体电路结构为：所述电路结构包括电机驱动模块U1、温度传感器U2、处理器U3、光电耦合器U4、电流传感器U5、红外传感器U6、热释电红外传感器U7、MAX488收发器U8、MAX488收发器U9、角度传感器U10、摄像头U11、超声波测距传感器U12、蓝牙模块U13、图像处理装置U14、一个刀片驱动电机和四个车轮驱动电机，还包括电阻R1-R8、电容C1-C5、二极管D1-D9和三极管Q2；
所述U3的引脚1连接U4的引脚1，所述U3的引脚2-7分别连接U1的引脚5、引脚7、引脚10、引脚12、引脚6和引脚11，所述U3的引脚8连接U2的引脚2，所述U3的引脚10和引脚11分别连接U9的引脚5和引脚6，所述U3的引脚21连接U5的引脚7，所述U3的引脚32和33分别连接U13的引脚3和引脚2，所述U3的引脚34连接U7的引脚3，所述U3的引脚35连接U10的引脚4和6，所述U3的引脚36连接U10的引脚3，所述U3的引脚37连接U6的引脚4，所述U3的引脚38和引脚39分别连接U12的引脚2和引脚3；
所述U1的引脚9连接C1的一端，所述U1的引脚4分别连接C2和C5的一端，所述C1、C2和C5的另一端均接地，所述U1的引脚9和引脚4均接12V电源，所述U1的引脚2分别连接D1的正极、D6的负极和两个车轮驱动电机的一端，所述U1的引脚3分别连接D3的正极、D7的负极和两个车轮驱动电机的另一端，所述U1的引脚13分别连接D4的正极、D8的负极和另外两个车轮驱动电机的一端，所述U1的引脚14分别连接D5的正极、D9的负极和另外两个车轮驱动电机的另一端，所述D1、D2、D3和D4的负极均接12V电源，所述D6、D7、D8和D9的正极均接地；
所述U4的引脚4分别连接R4和R5的一端，所述R4的另一端通过一个RL电路连接U5的引脚1和引脚2，所述R5的另一端连接Q2的基极，所述Q2的发射极连接RL电路，所述Q2的集电极连接，所述R4的另一端和RL电路均连接12V电源，所述Q2的集电极接地；
所述U5的引脚3和引脚4均连接刀片驱动电机的一端，所述刀片驱动电机的另一端接地，所述U5的引脚6连接C4的一端，所述U5的引脚8连接C3的一端，所述C3的另一端连接D2的负极，所述D2的正极连接R6的一端，所述R6的另一端和U5的引脚8均接5V电源，所述C4的另一端、U5的引脚5和C3的另一端均接地；
所述U9的引脚1连接U8的引脚1和R7的一端所述R7的另一端连接U8的引脚2和U9的引脚2，所述U9的引脚4连接R8的一端和U8的引脚3，所述R8的另一端连接U8的引脚4，所述U8的引脚5和引脚6分别连接U14的引脚8和引脚9，所述U14的引脚1-7分别连接U11的引脚1-7；
所述U2的引脚3、U12的引脚1、U6的引脚1、U10的引脚1、U13的引脚6和U7的引脚1均连接3v3电源，所述U2的引脚1、U12的引脚5、U6的引脚3、U10的引脚2、U13的引脚4和U7的引脚2均接地，所述U4的引脚2和引脚3、U1的引脚8、U9的引脚8和U8的引脚7均接地，所述U9的引脚7和U8的引脚8均接电源。
7.一种基于机器视觉的割草机器人的路径规划方法，其特征在于：具体包括以下步骤：
(1)将小车方放置在草坪边界处，设置好障碍物的面积阈值、草坪所占比例值和障碍物安全距离值；
(2)移动小车，使其从边界出发，利用各传感器检测草坪中的障碍物以及割草机器人的刀片状态、工作状态，并利用摄像头采集草坪图像，将摄像头采集的图像传入图像处理装置进行图片处理；
(3)当小车在边界行走时，将经过处理的图片的处理结果传入处理器，得到草坪与路面边界，处理器计算出当前草坪所占面积以及比例值，将此时的比例值和设定好的草坪所占比例值进行对比，若小于设定好的比例值，则处理器控制车轮驱动装置来控制割草机器人调整路线；
(4)当机器人在草坪内圈行走时，图像处理装置对采集到的草坪图像进行分割，得到草坪内已割和未割界线，并将处理结果传入处理器，由处理器判断机器人左右区域像素点大小，区分未割草坪，并计算未割草坪比例值，并根据该比例值控制机器人行走方向，反复循环来实现区域全覆盖，完成草坪割草。
8.根据权利要求7所述的一种基于机器视觉的割草机器人的路径规划方法，其特征在于：在割草机器人路径规划过程中，若摄像头视觉识别和传感器检测到障碍物，将拍摄到的障碍物图片在图像处理装置内经过二值化分割，提取障碍物数据并进行形态学操作，求出障碍物的凸包，计算面积，当障碍物面积小于设定阈值时，将该障碍物忽略，若面积大于设定阈值时，通过蓝牙模块将障碍物类型与距离发送至电子设备并根据设定的距离参数进行比较，若摄像头视觉测距和各传感器测距都小于障碍物安全距离，则处理器控制割草机器人偏转避障。
9.根据权利要求8所述的一种基于机器视觉的割草机器人的路径规划方法，其特征在于：在图像处理装置进行的图片处理主要包括计算路面图片、草坪未割图片、草坪已割图片、障碍物的灰度共生矩阵特征值与颜色特征，对于已割与未割草坪的拼接图、草坪与路面的图，选取能量、熵、相关性、对比度中不同特征值进行纹理特征二值图像的映射，选取效果较好的参考特征值与遍历窗口进行分割，经过形态学操作，提取边界线；
对于障碍物利用SVM进行图像分类，提取图片特征，将这些特征聚成n类，对训练集中的图片构造“bag of words”，就是将图片中的特征归到不同的类中，然后统计每一类的特征的频率，然后训练一个多类分类器，将每张图的“bag of words”作为特征向量，将该张图片的类别作为标签，对于未知类别的图片，计算它的“bag of words”，使用训练的分类器进行分类。
10.根据权利要求7所述的一种基于机器视觉的割草机器人的路径规划方法，其特征在于：所述割草机器人在运行过程中需要保证路径之间的间距小于割草机器人的宽度。
CN202010253533.6A 2020-04-01 2020-04-01 一种基于机器视觉的割草机器人的路径规划***及方法 Pending CN111413977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010253533.6A CN111413977A (zh) 2020-04-01 2020-04-01 一种基于机器视觉的割草机器人的路径规划***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010253533.6A CN111413977A (zh) 2020-04-01 2020-04-01 一种基于机器视觉的割草机器人的路径规划***及方法

Publications (1)

Publication Number Publication Date
CN111413977A true CN111413977A (zh) 2020-07-14

Family

ID=71491822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010253533.6A Pending CN111413977A (zh) 2020-04-01 2020-04-01 一种基于机器视觉的割草机器人的路径规划***及方法

Country Status (1)

Country Link
CN (1) CN111413977A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112425400A (zh) * 2020-11-26 2021-03-02 常州卡夫特机械有限公司 一种智能修剪植被丛的方法、装置及电力割草机
WO2022095161A1 (zh) * 2020-11-09 2022-05-12 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人
WO2022095170A1 (zh) * 2020-11-09 2022-05-12 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203012510U (zh) * 2013-01-07 2013-06-19 西北农林科技大学 一种基于多传感器信息融合的山地农业机器人避障***
CN205692049U (zh) * 2016-06-24 2016-11-16 桑斌修 一种无边界线的割草机器人
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及***
CN108021130A (zh) * 2017-11-07 2018-05-11 北京勇搏科技有限公司 一种无人驾驶的收割机
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法
US20190025851A1 (en) * 2017-07-21 2019-01-24 AI Incorporated Polymorphic path planning for robotic devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203012510U (zh) * 2013-01-07 2013-06-19 西北农林科技大学 一种基于多传感器信息融合的山地农业机器人避障***
CN205692049U (zh) * 2016-06-24 2016-11-16 桑斌修 一种无边界线的割草机器人
CN106155053A (zh) * 2016-06-24 2016-11-23 桑斌修 一种割草方法、装置以及***
US20190025851A1 (en) * 2017-07-21 2019-01-24 AI Incorporated Polymorphic path planning for robotic devices
CN108021130A (zh) * 2017-11-07 2018-05-11 北京勇搏科技有限公司 一种无人驾驶的收割机
CN109063575A (zh) * 2018-07-05 2018-12-21 中国计量大学 一种基于单目视觉的智能割草机自主有序割草方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
左锦: ""视觉导航草坪修剪机器人控制***设计"", 《工业控制计算机》 *
童逸舟等: ""基于灰度共生矩阵的草地未割区域分界线提取"", 《杭州电子科技大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022095161A1 (zh) * 2020-11-09 2022-05-12 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人
WO2022095170A1 (zh) * 2020-11-09 2022-05-12 苏州科瓴精密机械科技有限公司 一种障碍物识别方法、装置、设备、介质及除草机器人
CN112425400A (zh) * 2020-11-26 2021-03-02 常州卡夫特机械有限公司 一种智能修剪植被丛的方法、装置及电力割草机

Similar Documents

Publication Publication Date Title
CN111413977A (zh) 一种基于机器视觉的割草机器人的路径规划***及方法
CN109063575B (zh) 一种基于单目视觉的智能割草机自主有序割草方法
CN109797691B (zh) 一种无人清扫车及其行车方法
CN109287246B (zh) 基于激光雷达构建地图的智能割草机
CN106017477A (zh) 一种果园机器人的视觉导航***
EP2884364B1 (en) Autonomous gardening vehicle with camera
US9497901B2 (en) Boundary definition system for a robotic vehicle
CN205843680U (zh) 一种果园机器人的视觉导航***
CN106054898A (zh) 智能除草机及除草方法
WO2022021630A1 (zh) 自动行走设备及其控制方法和***及可读存储介质
CN103901890B (zh) 基于家庭庭院的户外自动行走装置及其控制***和方法
CN205880664U (zh) 智能除草机
CN213424010U (zh) 一种割草机器人割草范围识别装置
CN112477533B (zh) 设施农业路轨两用运输机器人
CN111353431A (zh) 自动工作***、自动行走设备及其控制方法及计算机可读存储介质
CN216058333U (zh) 一种智能移动水果采摘机器人
WO2021139397A1 (zh) 自移动设备的控制方法
CN113079801A (zh) 基于ros***的智能割草机器人及激光扫描雷达地图构建方法
CN114937258B (zh) 割草机器人的控制方法、割草机器人以及计算机存储介质
CN111339961A (zh) 自动工作***、自动行走设备及其控制方法及计算机可读存储介质
CN113156929B (zh) 自移动设备
WO2021139683A1 (zh) 自移动设备
CN112068572A (zh) 一种无人收割***及方法
CN108901206B (zh) 一种果园自动驾驶除草拖拉机
CN113848872B (zh) 自动行走设备及其控制方法及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200714