CN117109555A - 一种适应于树林环境下的树干喷涂机器人的控制方法 - Google Patents

一种适应于树林环境下的树干喷涂机器人的控制方法 Download PDF

Info

Publication number
CN117109555A
CN117109555A CN202310940523.3A CN202310940523A CN117109555A CN 117109555 A CN117109555 A CN 117109555A CN 202310940523 A CN202310940523 A CN 202310940523A CN 117109555 A CN117109555 A CN 117109555A
Authority
CN
China
Prior art keywords
robot
trunk
tree
area
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310940523.3A
Other languages
English (en)
Inventor
涂昱坦
张波涛
余佳珂
陈旷镒
赵百川
许凯胜
李远晓
曹钧扬
梁轶博
李韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310940523.3A priority Critical patent/CN117109555A/zh
Publication of CN117109555A publication Critical patent/CN117109555A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B13/00—Machines or plants for applying liquids or other fluent materials to surfaces of objects or other work by spraying, not covered by groups B05B1/00 - B05B11/00
    • B05B13/02—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work
    • B05B13/04—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation
    • B05B13/0431—Means for supporting work; Arrangement or mounting of spray heads; Adaptation or arrangement of means for feeding work the spray heads being moved during spraying operation with spray heads moved by robots or articulated arms, e.g. for applying liquid or other fluent material to 3D-surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05B—SPRAYING APPARATUS; ATOMISING APPARATUS; NOZZLES
    • B05B12/00—Arrangements for controlling delivery; Arrangements for controlling the spray area
    • B05B12/08—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means
    • B05B12/12—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus
    • B05B12/124—Arrangements for controlling delivery; Arrangements for controlling the spray area responsive to condition of liquid or other fluent material to be discharged, of ambient medium or of target ; responsive to condition of spray devices or of supply means, e.g. pipes, pumps or their drive means responsive to conditions of ambient medium or target, e.g. humidity, temperature position or movement of the target relative to the spray apparatus responsive to distance between spray apparatus and target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0075—Manipulators for painting or coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开了一种适应于树林环境下的树干喷涂机器人的控制方法，属于移动机器人控制技术领域。设计智能化树干喷涂机器人；使用三维激光雷达构建三维点云地图，建立二维栅格地图；在树林环境下，基于深度相机，构造树干目标点路径规划算法；识别并分割树干涂刷区域，并计算该区域的面积；机器人将第一棵树木喷涂完成后，进行原地检索，检索下一棵距离最近的树木，执行上述步骤，完成对下一棵树木的涂刷工作。本发明中的机器人稳定性更强，测距精度高，并且能够实现自主定位和识别。同时行进路线高效简单，减少了事故频发和安全性能低的问题。本发明中的机器人更具智能化、更高的泛用性和更高的安全性。

Description

一种适应于树林环境下的树干喷涂机器人的控制方法
技术领域
本发明涉及移动机器人控制技术领域，尤其是涉及一种适应于树林环境下的树干喷涂机器人的控制方法。
背景技术
树林绿化***具有保育土壤、涵养水源、固碳释氧、净化环境、树林游憩、缓解热岛效应、生物多样性等生态效益。在树干涂白这一方面无法做到全覆盖式的病虫害防治，树林资源面临着很大的威胁。
目前，在智能化树干涂白机器人这一方面，未涌现大量成果。现有成果中2012年12月19日公告的发明专利CN201110048905提出了一种智能树干涂白机器人，它包括机架***、机器人行走***、石灰浆供应***、自动涂白执行***和为各***供电的电源。该机器人可以自动沿着人行道行走，并对人行道两侧的树木进行快速、高效地喷涂石灰溶液。但是，该机器人应用场景狭窄，仅能应用在路边人行道两侧的树木，无法做到树林环境下全覆盖式的树干涂白、病虫害防护工作，城市树林绿化资源依旧面临着很大的威胁。并且该机器人采用四轮式底盘结构，较为简单，稳定性能不足；采用超声波传感器进行测距，容易受到外界环境因素的干扰，测距精度较差；定位与识别技术并未详细阐述，机器人对自身周围环境的感知能力较差，容易发生侧翻、撞车、撞人等恶性情况。
发明内容
本发明的目的是提供一种适应于树林环境下的树干喷涂机器人的控制方法，解决了目前树干涂白机器人，在工作中识别精度不高、行进路线低效复杂、事故频发、安全性能低的问题。
为实现上述目的，本发明提供了一种适应于树林环境下的树干喷涂机器人的控制方法，S1、设计智能化树干喷涂机器人，包含机器人底盘***、多传感器融合建图***、树干识别与分割***，视觉导航***，树干喷涂***；
S2、使用三维激光雷达构建三维点云地图，以点云信息为基础，建立高度为60cm平面上的二维栅格地图；
S3、在树林环境下，基于深度相机，构造树干目标点路径规划算法，包括以下步骤：
S31、将树干涂白机器人放置于树林区域的边缘，下达工作指令，机器人上的深度摄像机获取到第一幅视野图像。再采用先进的计算机视觉技术，将设定的树林区域范围内的可见树木精准识别并标记树干轮廓。通过三步坐标变换，像素坐标→图像坐标→世界坐标系，得到该点相对于摄像机的坐标和该点在世界坐标系下的坐标。通过静态坐标变换将cameralink坐标转换到baselink坐标，通过动态坐标变换将baselink坐标转换到世界地图下；从而将树木的位置标记在二维栅格地图中；
S32、基于深度学习算法，识别分割路面物体，将物体进行多分类处理；利用深度相机对视野内的物体进行语义分割，识别并分类石头、树干、草丛、动物、人等处于静止状态下的物体；
S33、采取逐个提取筛选的方式，对高度在60cm以下的物体进行筛选后，机器人将视野内的高度处于阈值范围以内的物体判定为障碍物；
S34、机器人对可见范围内的障碍物进行分类排序；
S35、根据同排同序列原则，对所排的序列进行标号；
S36、在同序列障碍物之间，选取供机器人通行的最优通道；
S4、识别并分割树干涂刷区域，并计算该区域的面积，包括以下步骤：
S41、通过实验获取到掩码区域面积SMaskArea与实际已知面积SRealArea的比值R，生成包含不同比率和相应目标尺寸的列表；
S42、使用OpenCV库的minAreaRect方法计算以平方像素为单位面积的掩码区域面积。从获取到的列表中，选取与目标树干掩码区域面积相近的比率，求比率的平均值以平均值来代替正确比率。通过运算计算涂刷区域的面积η，确定涂刷量C；
S5、机器人将第一棵树木喷涂完成后，进行原地检索，检索下一棵距离最近的树木，执行步骤S1～S4，完成对下一棵树木的涂刷工作。
优选的，在步骤S1中，树干喷涂***的运作方式包括以下步骤：
S11、安装有六自由度机械臂的机器人基于世界空间采用抛物线混合算法进行轨迹规划，机械臂根据控制***下发的指令执行喷涂动作；
S12、机械臂末端的机械喷爪根据树干的直径张开合适的角度，喷爪大小适配相应的树干；
S13、喷爪上的传感器，实时监测周围环境变化，并自动调整涂料喷涂量和涂布厚度，确保每棵树的涂白效果达到最佳状态。
优选的，在步骤S33中，采取逐个提取筛选的方式为对高度在60cm以下的物体进行筛选后，机器人将视野内的高度处于阈值范围以内的物体判定为障碍物，通过像素点与实际点位相互映射方法，计算该物体的最大高度H和最大宽度W；
高度计算公式如下：
宽度计算公式如下：
对H和W的有效性进行判断：
H≥z2公式(3)
H×W≥2S公式(4)
当上面两个条件同时成立时，H与W才具有有效性；
S是一个常数，计算方法如下：
定义图像中的物体表面均匀分布着Q个像素点，每个像素点占据的方格面积为P；
存在缩放因子k，计算方法如下：
点3点4连成的直线与点1点2连成的直线相交于一点，该点的坐标表示为(x,y,z)
经过同比例放缩得到与实际中物体的表面积为：
S＝k×P×Q公式(6)
定义h是履带车底盘高度，w是履带车宽度的十分之一，当H,W值有效时，对该物体进行判定：若H<horW<w，则表示物体不能对机器人的行进造成阻碍，则舍弃该物体；反之，则视为障碍物。
优选的，机器人对可见范围内的障碍物进行分类排序的方法为：
定义障碍物距离机器人前视基准面的最短距离为φ，障碍物到最短路径ρ的距离为δ，障碍物与机器人之间的直线距离为D，障碍物偏离深度相机视野中心的角度为θ，则由下列公式：
φ＝|Dsinθ|公式(8)
δ＝Dcosθ公式(9)
得到各个障碍物φ值和δ值；
以φ的大小为条件，按照小的排前、大的排后、同类并排的原则，对障碍物进行初步分类排序。定义同类判定阈值为C：C值较小，根据使用场景的实际情况自定义C值。得到下列两种情况：
由此得到从小到大、同类同排的物体序列。此方法称为叶脉状排序分类法。
优选的，在步骤S36中，在同序列障碍物之间选取供机器人通行的最优通道的方法，包括以下步骤：
S361、设同序列中共有n个障碍物，对应有n个δ值，每两个障碍物的δ值进行作差，差值记为Δδ，共有种可能，对应/>个值，取差值Δδ较小的n-1个值为有效值Y，共有n-1个Y值；
Y＝Δδ(取n-1项Δδ的较小值)
定义每个有效值都对应有自己的代价值T，代价值计算公式如下：
先对有效值Y进行判定，再对代价值进行比较，得到代价值中的最小值Tmin，则判定最小值Tmin对应的两个障碍物之间的通道为最优行进通道；
S362、如果同序列障碍物之间的通道无法供机器人通行，则采取以下方法处理：取差值Δδ最大的1个值为Δδmax，差值Δδ最大时对应的障碍物设为障碍物3、障碍物4，参数设定：距离D→D3 or D4,δ→δ3 or δ4，偏转角度θ→θ3 or θ4；
此时，机器人将此序列内的多个障碍物视为一整块障碍物，拟合成相似长方体，障碍物的占地面积的计算公式如下：
则进行同比例放缩，将该长方体障碍物，在二维栅格地图中标记出来，在二维栅格地图中，机器人将以长方体侧方附近的某个点为目标点，规划出一条通往该目标点的最短路径，机器人将以障碍物侧方附近的某个点为目标点，规划出一条通往该目标点的最短路径。
优选的，在步骤S4中，包含不同比率和相应目标尺寸的列表，以及通过该列表中的数据，获取到涂刷区域的面积η，涂刷量C的方法，具体如下：
比率R的计算公式如下所示：
从而生成包含不同比率和相应目标尺寸的列表；
从S42-S43步骤获取到的列表中，选取与目标树干掩码区域面积相近的比率，求比率的平均值以平均值来代替正确比率；
η的计算公式如下所示：
C的计算公式如下：
C＝Π×η 公式(14)。
一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的任一项所述的方法。
一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现上述的任一项所述的方法。
因此，本发明采用上述结构的一种适应于树林环境下的树干喷涂机器人的控制方法，具备以下有益效果：
本发明中的机器人稳定性更强，测距精度高，并且能够实现自主定位和识别。同时行进路线高效简单，减少了事故频发和安全性能低的问题。本发明中的机器人更具智能化、更高的泛用性和更高的安全性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种适应于树林环境下的树干喷涂机器人的控制方法的机器人结构示意图；
图2为本发明一种适应于树林环境下的树干喷涂机器人的控制方法的机器人标记树木位置流程图；
图3为本发明一种适应于树林环境下的树干喷涂机器人的控制方法的机器人判断障碍物流程图；
图4为本发明一种适应于树林环境下的树干喷涂机器人的控制方法的机器人整体运作流程图。
具体实施方式
以下通过附图和实施例对本发明的技术方案作进一步说明。
除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
实施例1
如图，本发明提供了一种适应于树林环境下的树干喷涂机器人的控制方法，包括以下步骤：
S1、设计智能化树干喷涂机器人，内容包括：
S1-1、机器人底盘***：采用履带轮式结构，6个支撑轮，2个驱动轮，并搭配25cm宽的履带。该底盘不仅可以平稳的在柏油路上行驶，还可以在环境复杂的树林里正常行驶，更能以低速攀爬45°坡面。面对高度较小的障碍物体，机器人可以直接从障碍物体上翻越，从而大大节省行驶距离。此外，为了保证机器人的安全性和可靠性，***还将设置各种安全保护措施，包括碰撞检测、电子围栏、紧急停止按钮等，以应对意外情况的发生。该底盘***具有更高的泛用性，实用性。
S1-2、多传感器融合建图***：机器人搭载三维激光，进行三维激光点云建图。使用深度相机获取到目标树干的位置信息。该位置信息与激光雷达获取到的局部地图相结合，通过语义标定将树干的位置信息标定到局部地图中，获取到包含当前树林环境语义信息的复合语义-栅格地图。
S1-3、树干识别与分割***：采用Mask-R-CNN模型算法，使用摄像头识别视野前方的树干。经过算法处理，机器人将视野中的树干表面区域进行掩膜覆盖。在机器人和树干存在一定距离的情况下，估计每个像素表示的面积和实际已知面积，而后对图像中存在的每个目标计算比率，从而生成包含不同比率和相应目标信息的列表。通过列表筛选对应距离的最正确比例，以此计算树干所要涂刷区域的真实面积。
S1-4、视觉导航***：在该***中，深度相机充当人眼的作用，机器人模仿人类的思维和行为，对同序列障碍物之间的可行通道进行识别判断。若可通行时，则以最短路径规避障碍物，接近目标点位；如果不可通行，则机器人向障碍物群的边缘行驶，从边缘绕过障碍物群。
S1-5、树干喷涂***：机器人上安装了一个六自由度的机械臂，基于世界空间采用抛物线混合算法进行轨迹规划。所述机械臂根据控制***下发的指令执行喷涂动作。机械臂末端执行器是一个机械喷爪，机械喷爪能够根据树干的直径张开合适的角度，喷爪大小可以适配大多数的树干。喷爪上安装有一系列传感器，包括距离传感器、光感传感器等，以实时监测周围环境变化，并自动调整涂料喷涂量和涂布厚度，确保每棵树的涂白效果达到最佳状态。
S2、使用三维激光雷达构建三维点云地图，以点云信息为基础，建立一定高度下的二维栅格地图的方法包括以下步骤：
S2-1、树林环境较为复杂，机器人需要获取到具体的周围环境，实时对环境进行扫描分析。机器人上搭载一台三维激光雷达，采用激光SLAM的建图方法，构建树林环境下的三维点云地图。
S2-2、以三维雷达获取到的点云信息为基础，取纵方向z1＝60cm为平面的点云信息，建立该平面区域内的二维栅格地图，可以获取到60cm高度以上的障碍物位置信息。
S2-3、机器人定位自身位姿和障碍物的位置，在行进过程中对障碍物加以规避。
S3、在树林环境下，基于深度相机，构造树干目标点路径规划算法。具体方案如下：
S3-1、在树干涂白机器人底盘中央位置搭载一台大范围可视广角的深度摄像机，以90°的视野范围为基础，在树林区域内大面积检索树干，并将识别到的树干位置标记在二维栅格地图中。具体内容是：
S3-1-1、将树干涂白机器人放置于树林区域的边缘，下达工作指令，机器人上的深度摄像机获取到第一幅视野图像。再采用先进的计算机视觉技术，将设定的树林区域范围内的可见树木精准识别出来。设树干与机器人之间的直线路径ρ为机器人到树干的最短路径。取最近的一棵树为第一棵树。
S3-1-2、定义树干表面点的像素坐标为(u,v)，通过三步坐标变换，像素坐标→图像坐标→世界坐标系，得到该点相对于摄像机的坐标为(xt,yt,zt)，该点在世界坐标系下的坐标为(xw,yw,zw)。
S3-1-3、通过静态坐标变换将cameralink坐标转换到baselink坐标，通过动态坐标变换将baselink坐标转换到世界地图下。从而将树木的位置标记在二维栅格地图中。
S3-2、基于深度学习算法，识别分割路面物体，将物体进行多分类处理。利用深度相机对视野内的物体进行语义分割，识别并分类石头、树干、草丛、动物、人等处于静止状态下的物体。
S3-3、采取逐个提取筛选的方式，对高度在60cm以下的物体进行筛选后，机器人将视野内的高度处于阈值范围以内的物体判定为障碍物。具体方法如下：
S3-3-1、假设物体表面有N个点，对这些点进行标号n(n＝1,2,3,4,5,…)，N个点分别与深度相机获取到的深度图像中的像素点相映射。这些点在深度相机坐标系下的坐标表示为(xn,yn,zn)。定义点n到机器人原点O的直线距离为Ln。Ln的计算公式如下：
S3-3-2、取N个点中，|zn|最小的点为点1，坐标为(x1,y1,0)；zn最大的点为点2，坐标为(x2,y2,z2)；|xn|最小的点为点3，坐标为(x3,y3,z3)；xn最大的点为点4，坐标为(x4,y4,z4)。计算该物体的最大高度H和最大宽度W，L4和L3由公式(1-1)得出。计算方法如下：
(1)高度计算公式如下：
(2)宽度计算公式如下：
S3-3-3、对H和W的有效性进行判断：
H≥z2公式(1-4)
H×W≥2S公式(1-5)
当上面两个条件同时成立时，H与W才具有有效性。
S3-3-4、S是一个常数，计算方法如下：
S3-3-4-1、定义图像中的物体表面均匀分布着Q个像素点，每个像素点占据的方格面积为P。
S3-3-4-2、存在缩放因子k，计算方法如下：
点3点4连成的直线与点1点2连成的直线相交于一点，该点的坐标表示为(x,y,z)
联立求解得
推导k值为：
S3-3-4-2、经过同比例放缩可以得到与实际中物体的表面积为：
S＝k×P×Q公式(1-9)
S3-3-5、定义h是履带车底盘高度，w是履带车宽度的十分之一。当H,W值有效时，对该物体进行判定：若H<horW<w，则表示物体不能对机器人的行进造成阻碍，则舍弃该物体；反之，则表示物体会对机器人的行进造成阻碍，视为障碍物，并将障碍物标记到二维栅格地图中。
S3-4、机器人对可见范围内的障碍物进行分类排序。
S3-4-1、定义障碍物距离机器人前视基准面的最短距离为φ，障碍物到最短路径ρ的距离为δ，障碍物与机器人之间的直线距离为D，障碍物偏离深度相机视野中心的角度为θ。则由下列公式：
δ＝Dcosθ公式(1-12)
得到各个障碍物值和δ值(δ存在正负，正值代表障碍物在最短路径的左边，负值代表障碍物在最短路径的右边)。
S3-4-2、以的大小为条件，按照小的排前、大的排后、同类并排的原则，对障碍物进行初步分类排序。定义同类(同排)判定阈值为C：C值较小，可根据使用场景的实际情况自定义C值。可得下列两种情况：
由此得到从小到大、同类同排的物体序列。此方法可称为叶脉状排序分类法。
S3-5、根据同排同序列原则，对所排的序列进行标号：序列1，序列2、序列3、序列4、序列5……序列n。每个序列距离机器人前视平面的最短距离为(在序列1中可能包含有多个障碍物，它们的/>值相近，δ值不相同；序列1和其他序列中的障碍物/>值相差较大，δ值可能相同)
S3-6、在同序列障碍物之间，选取可供机器人通行的最优通道。内容如下：
S3-6-1、首先，机器人会在同序列的障碍物中，进行δ值处理。设同序列中共有n个障碍物，对应有n个δ值，每两个障碍物的δ值进行作差，差值记为Δδ，共有种可能，对应个值，取差值Δδ较小的n-1个值为有效值Y，共有n-1个Y值
Y＝Δδ(取n-1项Δδ的较小值)
定义每个有效值都对应有自己的代价值T，代价值计算公式如下：
S3-6-2、接着采用异步判定法，判定行进通道是否为最优行进通道。
S3-6-2-1、先对有效值Y进行判定，若其小于设定的机器人直径，则该两个障碍物之间的通道舍弃；反之，则接受该两个障碍物之间的通道。
S3-6-2-2、再对代价值进行比较，得到代价值中的最小值Tmin，则判定最小值Tmin,对应的两个障碍物之间的通道为最优行进通道(在这里先考虑存在Y>机器人直径的可能)。
S3-7、如果存在有效值Y小于机器人直径，则判定机器人视野范围内存在行进通道。在行进通道存在的前提下，以直线路径ρ为参照，规划同序列障碍物之间可行的最短路径。具体如下：
S3-7-1、定义最优通道对应的两个障碍物为障碍物1、障碍物2。参数设定：距离D→D1orD2,δ→δ1orδ2，偏转角度θ→θ1orθ2。规划最短路径存在两种情况：
S3-7-1-1、当处于情况(1)时，机器人将沿着树干相对机器人的直线距离ρ行进距离L，L的计算公式如下：
由此，机器人到达第一阶段目标点，已越过序列1的障碍物阻碍。
S3-7-1-2、当处于情况(2)时，取|δ1|,|δ2|中的较小值δmin，机器人的半径为r；以机器人面向的方向为起始轴，定义偏航角为θ偏，机器人行进的直线距离为L。θ偏和L的计算公式如下：
由此，机器人到达第一阶段目标点，表明机器人已经越过序列1的障碍物阻碍。
S3-8、承接S3-6步骤。如果所有的有效值Y均小于机器人直径，则判定机器人视野范围内没有行进通道。机器人将执行后续操作，从同序列障碍物的边缘寻找可行进通道。内容如下：
S3-8-1、取差值Δδ最大的1个值为Δδmax，差值Δδ最大时对应的障碍物设为障碍物3、障碍物4，参数设定：距离D→D3orD4,δ→δ3orδ4，偏转角度θ→θ3orθ4。此时，机器人将此序列内的多个障碍物视为一整块障碍物，可以拟合成相似长方体。该一整块障碍物的占地面积的计算公式如下：
则进行同比例放缩，将该长方体障碍物，在二维栅格地图中标记出来。在二维栅格地图中，机器人将以长方体侧方附近的某个点为目标点，规划出一条通往该目标点的最短路径。
S3-8-2、机器人沿着最短路径到达第一阶段的目标点，表明机器人已经从长方体障碍物的侧边缘越过序列1的障碍物阻碍。
S3-9、机器人以最短路径通过同一序列障碍物后，会进行一个原地旋转的过程，使深度相机的视野中心再次对准目标树干。机器人会再次进行S3-3到S3-8的操作，再次对下一序列的障碍物进行识别分类，从而筛选出可以通过该序列障碍物群的最优行驶通道。
S3-10、机器人沿着最优通道行驶，进一步靠近目标树干，直到机器人停止在距离目标树干50cm处。
S4、采用计算机视觉和深度学习方法中的卷积神经网络(CNN)等算法，识别并分割树干涂刷区域，并计算该区域的面积。通过面积的大小控制喷涂量。具体内容如下：
S4-1、采用深度学习算法MaskR-CNN模型算法，机器人将树干部分需要涂刷的区域与环境进行分割，并将涂刷区域标记为红色。
S4-2、计算涂刷区域的面积η，确定涂刷量C。方法如下：
S4-2-1、使用OpenCV库的minAreaRect方法计算以平方像素(px2)为单位面积的掩码区域面积SMaskArea。
S4-2-2、测量以平方厘米(cm2)为单位的实际已知面积SRealArea。
S4-2-3、而后计算每个目标的比率，比率R的计算公式如下所示：
从而生成包含不同比率和相应目标尺寸的列表。
S4-2-4、使用S4-2-1步骤的方法，可以获得树干掩码区域。但是，要计算实际已知面积，就要使用先前得出的目标掩码计算的比率。由于树木的自然特征和目标在其树干上的位置，有必要找到一种解决方案来确定用于计算树干面积的最正确比率。从S4-2-3步骤获取到的列表中，选取与目标树干掩码区域面积相近的比率，求比率的平均值以平均值来代替正确比率。
η的计算公式如下所示：
C的计算公式如下：
C＝Π×η 公式(1-20)
S5、机器人将第一棵树木喷涂完成后，进行原地检索，检索下一棵距离最近的树木，执行S1～S4，完成对下一棵树木的涂刷工作。
因此，本发明采用上述的一种适应于树林环境下的树干喷涂机器人的控制方法，机器人稳定性更强，测距精度高，并且能够实现自主定位和识别。同时行进路线高效简单，减少了事故频发和安全性能低的问题。本发明中的机器人更具智能化、更高的泛用性和更高的安全性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

Claims (8)

1.一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于，包括以下步骤：
S1、设计智能化树干喷涂机器人，包含机器人底盘***、多传感器融合建图***、树干识别与分割***，视觉导航***，树干喷涂***；
S2、使用三维激光雷达构建三维点云地图，以点云信息为基础，建立高度为60cm平面上的二维栅格地图；
S3、在树林环境下，基于深度相机，构造树干目标点路径规划算法，包括以下步骤：
S31、将树干涂白机器人放置于树林区域的边缘，下达工作指令，机器人上的深度摄像机获取到第一幅视野图像；再采用先进的计算机视觉技术，将设定的树林区域范围内的可见树木精准识别并标记树干轮廓；通过三步坐标变换，像素坐标→图像坐标→世界坐标系，得到该点相对于摄像机的坐标和该点在世界坐标系下的坐标；通过静态坐标变换将cameralink坐标转换到baselink坐标，通过动态坐标变换将baselink坐标转换到世界地图下；从而将树木的位置标记在二维栅格地图中；
S32、基于深度学习算法，识别分割路面物体，将物体进行多分类处理；利用深度相机对视野内的物体进行语义分割，识别并分类石头、树干、草丛、动物、人等处于静止状态下的物体；
S33、采取逐个提取筛选的方式，对高度在60cm以下的物体进行筛选后，机器人将视野内的高度处于阈值范围以内的物体判定为障碍物；
S34、机器人对可见范围内的障碍物进行分类排序；
S35、根据同排同序列原则，对所排的序列进行标号；
S36、在同序列障碍物之间，选取供机器人通行的最优通道；
S4、识别并分割树干涂刷区域，并计算该区域的面积，包括以下步骤：
S41、通过实验获取到掩码区域面积SMaskArea与实际已知面积SRealArea的比值R，生成包含不同比率和相应目标尺寸的列表；
S42、使用OpenCV库的minAreaRect方法计算以平方像素为单位面积的掩码区域面积；从获取到的列表中，选取与目标树干掩码区域面积相近的比率，求比率的平均值以平均值来代替正确比率；通过运算计算涂刷区域的面积η，确定涂刷量C；
S5、机器人将第一棵树木喷涂完成后，进行原地检索，检索下一棵距离最近的树木，执行步骤S1～S4，完成对下一棵树木的涂刷工作。
2.根据权利要求1所述的一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于，在步骤S1中，树干喷涂***的运作方式包括以下步骤：
S11、安装有六自由度机械臂的机器人基于世界空间采用抛物线混合算法进行轨迹规划，机械臂根据控制***下发的指令执行喷涂动作；
S12、机械臂末端的机械喷爪根据树干的直径张开合适的角度，喷爪大小适配相应的树干；
S13、喷爪上的传感器，实时监测周围环境变化，并自动调整涂料喷涂量和涂布厚度，确保每棵树的涂白效果达到最佳状态。
3.根据权利要求1所述的一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于，在步骤S33中，采取逐个提取筛选的方式为对高度在60cm以下的物体进行筛选后，机器人将视野内的高度处于阈值范围以内的物体判定为障碍物，通过像素点与实际点位相互映射方法，计算该物体的最大高度H和最大宽度W；
高度计算公式如下：
宽度计算公式如下：
对H和W的有效性进行判断：
H≥z2 公式(3)
H×W≥2S 公式(4)
当上面两个条件同时成立时，H与W才具有有效性；
S是一个常数，计算方法如下：
定义图像中的物体表面均匀分布着Q个像素点，每个像素点占据的方格面积为P；
存在缩放因子k，计算方法如下：
点3点4连成的直线与点1点2连成的直线相交于一点，该点的坐标表示为(x,y,z)
经过同比例放缩得到与实际中物体的表面积为：
S＝k×P×Q 公式(6)
定义h是履带车底盘高度，w是履带车宽度的十分之一，当H,W值有效时，对该物体进行判定：若H<h orW<w，则表示物体不能对机器人的行进造成阻碍，则舍弃该物体；反之，则视为障碍物。
4.根据权利要求3所述的一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于步骤S34、S35，机器人对可见范围内的障碍物进行分类排序的方法为：
定义障碍物距离机器人前视基准面的最短距离为障碍物到最短路径ρ的距离为δ，障碍物与机器人之间的直线距离为D，障碍物偏离深度相机视野中心的角度为θ，则由下列公式：
δ＝Dcosθ 公式(9)
得到各个障碍物值和δ值；
以的大小为条件，按照小的排前、大的排后、同类并排的原则，对障碍物进行初步分类排序；定义同类判定阈值为C：C值较小，根据使用场景的实际情况自定义C值，得到下列两种情况：
由此得到从小到大、同类同排的物体序列，此方法称为叶脉状排序分类法。
5.根据权利要求1所述的一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于，在步骤S36中，在同序列障碍物之间选取供机器人通行的最优通道的方法，包括以下步骤：
S361、设同序列中共有n个障碍物，对应有n个δ值，每两个障碍物的δ值进行作差，差值记为Δδ，共有种可能，对应/>个值，取差值Δδ较小的n-1个值为有效值Y，共有n-1个Y值；
Y＝Δδ(取n-1项Δδ的较小值)
定义每个有效值都对应有自己的代价值T，代价值计算公式如下：
先对有效值Y进行判定，再对代价值进行比较，得到代价值中的最小值Tmin，则判定最小值Tmin对应的两个障碍物之间的通道为最优行进通道；
S362、如果同序列障碍物之间的通道无法供机器人通行，则采取以下方法处理：取差值Δδ最大的1个值为Δδmax，差值Δδ最大时对应的障碍物设为障碍物3、障碍物4，参数设定：距离D→D3 or D4,δ→δ3orδ4，偏转角度θ→θ3orθ4；
此时，机器人将此序列内的多个障碍物视为一整块障碍物，拟合成相似长方体，障碍物的占地面积的计算公式如下：
则进行同比例放缩，将该长方体障碍物，在二维栅格地图中标记出来，在二维栅格地图中，机器人将以长方体侧方附近的某个点为目标点，规划出一条通往该目标点的最短路径。
6.根据权利要求1所述的一种适应于树林环境下的树干喷涂机器人的控制方法，其特征在于，在步骤S4中，包含不同比率和相应目标尺寸的列表，以及通过该列表中的数据，获取到涂刷区域的面积η，涂刷量C的方法，具体如下：
比率R的计算公式如下所示：
从而生成包含不同比率和相应目标尺寸的列表；
从S42-S43步骤获取到的列表中，选取与目标树干掩码区域面积相近的比率，求比率的平均值以平均值来代替正确比率；
η的计算公式如下所示：
C的计算公式如下：
C＝Π×η公式(14)。
7.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-6中任一项所述的方法。
8.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-6中任一项所述的方法。
CN202310940523.3A 2023-07-28 2023-07-28 一种适应于树林环境下的树干喷涂机器人的控制方法 Pending CN117109555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310940523.3A CN117109555A (zh) 2023-07-28 2023-07-28 一种适应于树林环境下的树干喷涂机器人的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310940523.3A CN117109555A (zh) 2023-07-28 2023-07-28 一种适应于树林环境下的树干喷涂机器人的控制方法

Publications (1)

Publication Number Publication Date
CN117109555A true CN117109555A (zh) 2023-11-24

Family

ID=88810116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310940523.3A Pending CN117109555A (zh) 2023-07-28 2023-07-28 一种适应于树林环境下的树干喷涂机器人的控制方法

Country Status (1)

Country Link
CN (1) CN117109555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117734676A (zh) * 2024-02-19 2024-03-22 知行汽车科技(苏州)股份有限公司 一种自动泊车方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117734676A (zh) * 2024-02-19 2024-03-22 知行汽车科技(苏州)股份有限公司 一种自动泊车方法、装置、设备及存储介质
CN117734676B (zh) * 2024-02-19 2024-05-03 知行汽车科技(苏州)股份有限公司 一种自动泊车方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Yu et al. Occlusion-aware risk assessment for autonomous driving in urban environments
US11967161B2 (en) Systems and methods of obstacle detection for automated delivery apparatus
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
Reina et al. Ambient awareness for agricultural robotic vehicles
Kammel et al. Lidar-based lane marker detection and mapping
Zhu et al. 3d lidar point cloud based intersection recognition for autonomous driving
CN107422730A (zh) 基于视觉导引的agv运输***及其驾驶控制方法
CN117109555A (zh) 一种适应于树林环境下的树干喷涂机器人的控制方法
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
Silva et al. Monocular trail detection and tracking aided by visual SLAM for small unmanned aerial vehicles
Suger et al. Terrain-adaptive obstacle detection
Kannan et al. Autonomous drone delivery to your door and yard
Khalilullah et al. Development of robot navigation method based on single camera vision using deep learning
Guo et al. Curb detection and compensation method for autonomous driving via a 3-D-LiDAR sensor
Bohlmann et al. Autonomous person following with 3D LIDAR in outdoor environment
Muffert et al. Stix-fusion: A probabilistic stixel integration technique
Tazaki et al. Outdoor autonomous navigation utilizing proximity points of 3D Pointcloud
Rasmussen et al. Trail following with omnidirectional vision
de Lima et al. Air-ground collaborative localisation in forests using lidar canopy maps
Podoprosvetov et al. Development of complex control system for the autonomous vehicle Niva
Li et al. 3D-Lidar based obstacle detection and fast map reconstruction in rough terrain
Uzawa et al. Dataset Generation for Deep Visual Navigation in Unstructured Environments
Chang et al. Real-Time Visual-Servo Navigation for Map-Free Self-Driving in Unstructured Outdoor Environments
Andersen et al. Vision assisted laser scanner navigation for autonomous robots
Nakayama et al. 3D Road Boundary Estimation using 3D LiDAR with Scanline-wise 1D Deep Feature and Particle Filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination