CN111950524A - 一种基于双目视觉和rtk的果园局部稀疏建图方法和*** - Google Patents

一种基于双目视觉和rtk的果园局部稀疏建图方法和*** Download PDF

Info

Publication number
CN111950524A
CN111950524A CN202010889827.8A CN202010889827A CN111950524A CN 111950524 A CN111950524 A CN 111950524A CN 202010889827 A CN202010889827 A CN 202010889827A CN 111950524 A CN111950524 A CN 111950524A
Authority
CN
China
Prior art keywords
longitude
coordinate
latitude
camera
rtk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010889827.8A
Other languages
English (en)
Other versions
CN111950524B (zh
Inventor
刘海峰
孟祥宝
钟林忆
潘明
冯小川
李腾宇
刘朝阳
卢嘉威
黄家怿
高翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU JIANKUN NETWORK TECHNOLOGY DEVELOPMENT CO LTD
Guangdong Modern Agricultural Equipment Research Institute
Original Assignee
GUANGZHOU JIANKUN NETWORK TECHNOLOGY DEVELOPMENT CO LTD
Guangdong Modern Agricultural Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU JIANKUN NETWORK TECHNOLOGY DEVELOPMENT CO LTD, Guangdong Modern Agricultural Equipment Research Institute filed Critical GUANGZHOU JIANKUN NETWORK TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN202010889827.8A priority Critical patent/CN111950524B/zh
Publication of CN111950524A publication Critical patent/CN111950524A/zh
Application granted granted Critical
Publication of CN111950524B publication Critical patent/CN111950524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉和RTK的果园局部稀疏建图方法和***，利用农业作业车辆安装的高精度定位RTK及双目视觉测距模块，基于深度学习方法识别果树，并通过双目测距并结合RTK得到每棵树的经纬度坐标，获得局部稀疏建图。本发明公开的***包括双目视觉模块和RTK定位模块；所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机，分别为左摄像机和右摄像机，左右视觉图像经过计算后获取果树坐标；RTK定位模块获取RTK模块所在位置的经纬度信息；双目视觉模块和RTK定位模块安装于作业车辆上，双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。

Description

一种基于双目视觉和RTK的果园局部稀疏建图方法和***
技术领域
本发明涉及果园建图方法和***，通过获取每棵果树的经纬度坐标，最终实现果园局部稀疏建图。
背景技术
地图是农业领域无人农机作业路径规划的前提，尤其是我国山地丘陵地区环境下的自动导航与驾驶，更是离不开作业环境的地图，由于缺少作业环境地图，一定程度上已经限制了当前我国无人农机自动驾驶作业的实际应用及推广。当前，基于路径规划的方法，不管是传统的人工势场法、蚁群算法或A*、D*算法，还是目前比较流行的SLAM(即时定位与建图)或VSLAM(基于视觉的即时定位与建图)算法，都要基于全局或局部已知的地图。由于果园环境下的特殊性，目前常用的建图方法如SLAM或无人机航拍都不能有效地解决其无人行走机械的路径规划问题。比如SLAM多用于室内，在室外环境下视觉SLAM容易受光线条件的影响，激光SLAM成本高，单线激光雷达又完全满足不了需求。无人机航拍虽然可以建出比较高精度的俯视地图，但是人工成本高，需要专业的人员进行航拍并构建地图，如果环境发生变化就要重新建图，另外还需要做地图与实际定位的坐标匹配，对农机作业或管理人员来说操作技术难度大。
本发明专利针对果园的主要目标果树进行建图，将每棵树当成一个坐标点来看待，并计算出这个点的经纬度。如果得到了这个点的经纬度，那么就可以方便实现无人农机作业的路径规划、果树定靶等功能，在完成一次建图情况下，下次无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，本发明公开了一种基于双目视觉和RTK的果园局部稀疏建图方法和***，利用农业作业车辆安装的高精度定位RTK及双目视觉测距模块，基于深度学习方法识别果树，并通过双目测距并结合RTK得到每棵树的经纬度坐标，获得局部稀疏建图。
为了达到上述目的，本发明公开的***采用以下技术方案予以实现：
一种基于双目视觉和RTK的果园局部稀疏建图***，包括双目视觉模块和RTK定位模块；所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机，分别为左摄像机和右摄像机，左右视觉图像经过计算后获取果树坐标；RTK定位模块获取RTK模块所在位置的经纬度信息；双目视觉模块和RTK定位模块安装于作业车辆上，双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。
本发明公开的一种基于双目视觉和RTK的果园局部稀疏建图方法，其局部稀疏建图方法包括以下步骤：
(1)双目视觉相机成像；采集得到时间连续的一帧帧的图像；其图像采集方法为：利用双目摄像头拍摄在行进过程中的视频，将视频按每秒30帧张图像解压成多张图像；
(2)对第i帧图像，通过深度学习算法对果树进行识别，并获取视觉图像中第k棵果树中心的像素坐标Pik(x，y)；深度学习算法核心采用卷积神经网络，深度学习步骤包括对收集的果树原始图像进行预处理，构成训练集和测试集，计算训练集和测试集的均值图像，通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x，y)；
(a)原始图像预处理包括：利用LabelImg软件对图像进行标签制作，即：将图像中每一颗果树用长方形框将其框起来，并保存这一棵树的标签(x,y,w,h)。其中，包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度；随后对标注好的数据集按8：2比例分为训练集和测试集；
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练；其中，设置学习率为：0.001、每次输入图像张数为：2000；
(c)部署训练好的深度学习模型，对新获取的图像进行识别，获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x，y)；
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为：
Figure BDA0002656577250000021
其中，双目相机的参考坐标系为坐标系XYZ，其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方；f为相机焦距，B为是两个相机的基线距离，y＝yl＝yr，下标l表示双目视觉左相机，下标r表示双目视觉中右相机，xr-xl为视差；
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)，结合RTK坐标系下获取的坐标，计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik，yik，zik)；从而得到双目相机所获连续图像中识别得到的果树坐标集；
(5)针对双目相机所获得连续图像中识别得到的果树坐标集，进行实时聚类，从而获得每棵树的唯一经纬度坐标。
作为本发明公开的方法的一种优选实施方式：所述步骤(5)的实时聚类方法步骤包括：
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树，其经纬度坐标分别为
Figure BDA0002656577250000031
并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、...、Sk1[]个数组中；
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树，其经纬度坐标分别为
Figure BDA0002656577250000032
将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离：
Figure BDA0002656577250000033
Figure BDA0002656577250000034
计算获得共k2组，每组共k1个平面距离；
(c)取
Figure BDA0002656577250000035
其中，1≤i≤k2，1≤k1′≤k1。如果
Figure BDA0002656577250000036
将坐标点F2i存放在一个新的数组Sk1+i[N]中；如果距离
Figure BDA0002656577250000037
则认为坐标F2i和坐标F1k1′为同一棵树的经纬度坐标，并将F2i***到F1k1′所在的数组最后一个元素后；其中，Threshold为设定的阈值；
(d)以此类推，基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树，其经纬度坐标分别为
Figure BDA0002656577250000038
将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离，并按步骤(c)依次***相应的数组或新数组中；
(e)计算每棵树对应经纬度加权平均值；通过步骤(a)～(d)，不断迭代将新的图像中识别计算出来的果树的经纬度坐标***进相应的距离阈值小于Threshold的数组中，获得数组S1[N1]、S2[N2]、...、Sm[Nm](其中，Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标，共计Nm个坐标)，并对各数组中的各元素进行加权求和计算新的经纬度加权平均值；即：第m棵果树的经纬度加权平均值
Figure BDA0002656577250000039
其中，αmi为数组Sm[Nm]中元素Sm(i)的置信度权值，数组Sm[Nm]中各元素置信度和值满足：
Figure BDA00026565772500000310
由于在建图的过程认为RTK和双目视觉模是前进的，一般情况下，相机距离果树越近所测量的结果的误差越小，因此可以认为，αmi+1≥αmi(1≤i≤Nm-1)；αm1、αm2...αmi的取值服从指数型分布，即αmi＝αm1qi-1，并满足
Figure BDA0002656577250000041
其中q为权重公比；由此计算获得：
Figure BDA0002656577250000042
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
作为本发明公开的方法的一种优选实施方式：所述Threshold的值为30cm。
作为本发明公开的方法的一种优选实施方式：
i)设双目相机的水平可视角度为H，RTK移动方向的方位角为Azimuth，聚类数目为N(N>1)；根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm，计算其相对于RTK当前的经纬度的方位角PTR；
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件：H/2≤(PTR-Azimuth)%360)≤(360-H/2)时，即认为果树已经出了相机的视野，此时将该数组的加权平均值Fm作为一棵树的坐标P(m)，至此便完成了该棵果树建模；
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足：H/2≤(PTR-Azimuth)％360)≤360-H/2时，即认为果树已经出了相机的视野，仅清空该数组即可，并不将该数组的加权平均值作为果树的坐标。
本发明的有益效果是：
1、由于果园环境下的特殊性，目前常用的建图方法如SLAM或无人机航拍都不能有效地解决其无人行走机械的路径规划问题。比如SLAM多用于室内，在室外环境下视觉SLAM容易受光线条件的影响，激光SLAM成本高，单线激光雷达又完全满足不了需求。无人机航拍虽然可以建出比较高精度的俯视地图，但是人工成本高，需要专业的人员进行航拍并构建地图，如果环境发生变化就要重新建图，另外还需要做地图与实际定位的坐标匹配，对农机作业或管理人员来说操作技术难度大。
本发明针对果园的主要目标果树进行建图，将每棵树当成一个坐标点来看待，并计算出这个点的经纬度。如果得到了这个点的经纬度，那么就可以方便实现无人农机作业的路径规划、果树定靶等功能，在完成一次建图情况下，下次无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。从而克服上述建图方法的缺点。
2、本发明利用无人行走机械安装的高精度定位RTK及双目视觉测距模块，基于深度学习方法识别果树，并通过双目测距并结合RTK得到每棵树的经纬度坐标，获得局部稀疏建图的方法。本发明中，针对双目视觉通常存在的技术难点并予以解决。
(1)首先需要进行目标识别，以找到目标点，即找到果树而非其他物体；然后再进行立体匹配，以找到左右图像的对应点。本发明专利利用深度学习算法，来进行果树的目标识别。
(2)在建图过程中，通过车载的双目视觉***移动，将获得连续的一帧帧图像，要确定每一棵树的唯一经纬度坐标，需要识别每一棵树在每一帧图像上的具体身份。利用人工进行每棵树的标注通常是不现实的，其他常用的方法可以有光流跟踪法、实例分割等方法，但这些方法往往需要较大的算力。本专利利用实时聚类方法，将不同帧的同一个棵果树归类到同一簇中，从而实现对果树的具体身份识别，从而克服其他方法的缺点。
附图说明
图1为本发明公开的***的一种具体实施方式的组成结构示意图；
图2为本发明公开的建图方法的一种具体实施方式的算法示意图；
图3为本发明的聚类流程图；
图4为本发明的一种具体实施例的稀疏建图测试结果。
附图标记说明：
1-左摄像机，2-右摄像机，3-RTK天线，4-作业车辆。
具体实施方式
下面结合附图及实施例描述本发明具体实施方式：
如图1～4所示，其示出了本发明的具体实施方式，如图所示，本发明的***的具体实施例如下：
一种基于双目视觉和RTK的果园局部稀疏建图***，其实现方法包括：
所述***包括双目视觉模块和RTK定位模块构成。双目视觉模块包括左右两个摄像机，用于采集果园果树视觉图像，左右视觉图像经过计算后可以获取果树坐标；RTK定位模块用于获取RTK模块所在位置的经纬度信息。双目视觉模块和RTK定位模块安装于作业车辆上，双目视觉模块的左右摄像机对称安装于RTK天线左右两侧。(图1)
本发明的方法的具体实施例如下：
一种基于双目视觉和RTK的果园局部稀疏建图方法(图2)，所述局部稀疏建图方法包括以下步骤：
(1)双目视觉相机成像，采集得到时间连续的一帧帧的图像。其图像采集方法为：利用双目摄像头拍摄在行进过程中的视频，将视频按每秒30帧张图像解压成多张图像。
(2)对第i帧图像，通过深度学习算法对果树进行识别，并获取视觉图像中第k棵果树中心的像素坐标Pik(x，y)。其深度学习算法核心采用卷积神经网络，深度学习步骤包括对收集的果树原始图像进行预处理，构成训练集和测试集，计算训练集和测试集的均值图像，通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x，y)。
(a)原始图像预处理包括：利用LabelImg软件对图像进行标签制作，即：将图像中每一颗果树用长方形框将其框起来，并保存这一棵树的标签(x,y,w,h)。其中，包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度。随后对标注好的数据集按8：2比例分为训练集和测试集。
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练。其中，设置学习率为：0.001、每次输入图像张数为：2000。
(c)部署训练好的深度学习模型，对新获取的图像进行识别，获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x，y)。
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为：
Figure BDA0002656577250000061
其中，双目相机的参考坐标系为坐标系XYZ，其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方。f为相机焦距，B为是两个相机的基线距离，y＝yl＝yr，下标l表示双目视觉左相机，下标r表示双目视觉中右相机，xr-xl为视差。
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)，结合RTK坐标系下获取的坐标，计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik，yik，zik)；从而得到双目相机所获连续图像中识别得到的果树坐标集。
(5)针对双目相机所获得连续图像中识别得到的果树坐标集，进行实时聚类，从而获得每棵树的唯一经纬度坐标。如图3，其实时聚类方法步骤包括：
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树，其经纬度坐标分别为
Figure BDA0002656577250000062
并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、...、Sk1[]个数组中。
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树，其经纬度坐标分别为
Figure BDA0002656577250000071
将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离：
Figure BDA0002656577250000072
Figure BDA0002656577250000073
计算获得共k2组，每组共k1个平面距离。
(c)取
Figure BDA0002656577250000074
其中，1≤i≤k2，1≤k1′≤k1。如果
Figure BDA0002656577250000075
将坐标点F2i存放在一个新的数组Sk1+i[N]中；如果距离
Figure BDA0002656577250000076
则认为坐标F2i和坐标F1k1′为同一棵树的经纬度坐标，并将F2i***到F1k1′所在的数组最后一个元素后。其中，Threshold为设定的阈值，本专利设定Threshold值为30cm，但不限定于为该值。
(d)以此类推，基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树，其经纬度坐标分别为
Figure BDA0002656577250000077
将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离，并按步骤(c)依次***相应的数组或新数组中。
(e)计算每棵树对应经纬度加权平均值。通过步骤(a)～(d)，不断迭代将新的图像中识别计算出来的果树的经纬度坐标***进相应的距离阈值小于Threshold的数组中，获得数组S1[N1]、S2[N2]、...、Sm[Nm](其中，Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标，共计Nm个坐标)，并对各数组中的各元素进行加权求和计算新的经纬度加权平均值。即：第m棵果树的经纬度加权平均值
Figure BDA0002656577250000078
其中，ami为数组Sm[Nm]中元素Sm(i)的置信度权值，数组Sm[Nm]中各元素置信度和值满足：
Figure BDA0002656577250000079
由于在建图的过程认为RTK和双目视觉模是前进的，一般情况下，相机距离果树越近所测量的结果的误差越小，因此可以认为，ami+1≥ami(1≤i≤Mm-1)。本专利中，αm1、αm2...αmi的取值服从指数型分布，即αmi＝αm1qi-1，并满足
Figure BDA00026565772500000710
其中q为权重公比。由此计算获得：
Figure BDA00026565772500000711
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
i)设双目相机的水平可视角度为H，RTK移动方向的方位角为Azimuth，聚类数目为N(N>1)。根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm，计算其相对于RTK当前的经纬度的方位角PTR。
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件：H/2≤(PTR-Azimuth)％360)≤(360-H/2)时，即认为果树已经出了相机的视野，此时将该数组的加权平均值Fm作为一棵树的坐标P(m)，至此便完成了该棵果树建模。
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足：H/2≤(PTR-Azimuth)％360)≤360-H/2时，即认为果树已经出了相机的视野，仅清空该数组即可，并不将该数组的加权平均值作为果树的坐标。
通常，双目视觉通常存在以下难点：(1)首先需要进行目标识别，以找到目标点，即找到果树而非其他物体；然后再进行立体匹配，以找到左右图像的对应点。本发明专利利用深度学习算法，来进行果树的目标识别。(2)在建图过程中，通过车载的双目视觉***移动，将获得连续的一帧帧图像，要确定每一棵树的唯一经纬度坐标，需要识别每一棵树在每一帧图像上的具体身份。利用人工进行每棵树的标注通常是不现实的，其他常用的方法可以有光流跟踪法、实例分割等方法，但这些方法往往需要较大的算力。本专利利用实时聚类方法，将不同帧的同一个棵果树归类到同一簇中，从而实现对果树的具体身份识别，从而克服其他方法的缺点。
另外，具体的，设定的RTK移动速度为1m/s，双目相机采集图像的速度为30fps，基于深度学习的实时目标检测速度为20fps，上述设定的阈值Threshold＝30cm，上述设定的数组聚类数量N＝25，公比q＝1.1。通过实验验证，最终得到的基于双目立体视觉和深度学习的果园稀疏建图结果如图4所示。
其中，如图4所示，虚线为双目相机和RTK走过的路线，空心圆图形是通过每帧图片计算得到的果树的经纬度，五角星图形为经过聚类得到的果树的唯一经纬度，方块图形代表果树的实际坐标。通过对比表明，基于双目立体视觉和深度学习计算得到的果树坐标与实际坐标的偏差在20厘米以内，通过该方法可以较为准确的标记出果园果树的分布情况，为实现在果园环境下的无人驾驶农机的路径规划提供基本的地图。
综上所述，本发明专利包括基于双目视觉和RTK的果园局部稀疏建图***，由农业作业车辆安装的高精度定位RTK及双目视觉测距模块组成。本发明专利针对果园的主要目标果树进行建图，将每棵树当成一个坐标点来看待，并计算出这个点的经纬度。其局部稀疏建图的方法包括：基于深度学习方法识别视觉图像中的目标果树；通过双目测距并结合RTK得到每棵树的经纬度坐标；然后对获得的每颗目标果树进行实时聚类并最终获取唯一的加权经纬度坐标。通过获取每棵目标果树的经纬度坐标，那么就可以方便实现无人农机作业的路径规划、果树定靶等功能，在完成一次建图情况下，后续无人农机作业路径规划、果树定靶等无需再引入任何传感器或设备进行辅助目标识别。
上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (5)

1.一种基于双目视觉和RTK的果园局部稀疏建图***，其特征在于：包括双目视觉模块和RTK定位模块；所述双目视觉模块包括左右两个用于采集果园果树视觉图像的摄像机，分别为左摄像机和右摄像机，左右视觉图像经过计算后获取果树坐标；RTK定位模块获取RTK模块所在位置的经纬度信息；双目视觉模块和RTK定位模块安装于作业车辆上，双目视觉模块的左摄像机和右摄像机对称安装于RTK定位模块的RTK天线左右两侧。
2.一种基于双目视觉和RTK的果园局部稀疏建图方法，其特征在于，所述局部稀疏建图方法包括以下步骤：
(1)双目视觉相机成像；采集得到时间连续的一帧帧的图像；其图像采集方法为：利用双目摄像头拍摄在行进过程中的视频，将视频按每秒30帧张图像解压成多张图像；
(2)对第i帧图像，通过深度学习算法对果树进行识别，并获取视觉图像中第k棵果树中心的像素坐标Pik(x，y)；深度学习算法核心采用卷积神经网络，深度学习步骤包括对收集的果树原始图像进行预处理，构成训练集和测试集，计算训练集和测试集的均值图像，通过深度学习识别出在第i帧图像中的第k棵树中心的像素坐标Pik(x，y)；
(a)原始图像预处理包括：利用LabelImg软件对图像进行标签制作，即：将图像中每一颗果树用长方形框将其框起来，并保存这一棵树的标签(x,y,w,h)；其中，包括(x,y)为该棵树在图像中的中心点坐标、w为果树宽度、h为果树高度；随后对标注好的数据集按8：2比例分为训练集和测试集；
(b)使用深度神经网络训练算法Yolo-v3对模型进行训练；其中，设置学习率为：0.001、每次输入图像张数为：2000；
(c)部署训练好的深度学习模型，对新获取的图像进行识别，获得第i帧图像中第k棵果树在图像中的像素坐标Pik(x，y)；
(3)进行机器视觉立体匹配并计算视差,根据每棵树中心的像素坐标、视差以及相机参数计算第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)为：
Figure FDA0002656577240000011
其中，双目相机的参考坐标系为坐标系XYZ，其中坐标轴X指向右侧、坐标轴Y指向正上方、坐标轴Z指向正前方；f为相机焦距，B为是两个相机的基线距离，y＝yl＝yr，下标l表示双目视觉左相机，下标r表示双目视觉中右相机，xr-xl为视差；
(4)根据第i帧图像的第k棵果树的三维坐标Pik(xc,yc,zc)，结合RTK坐标系下获取的坐标，计算得到该棵果树在WGS-84坐标系下经纬度坐标Fik(xik，yik，zik)；从而得到双目相机所获连续图像中识别得到的果树坐标集；
(5)针对双目相机所获得连续图像中识别得到的果树坐标集，进行实时聚类，从而获得每棵树的唯一经纬度坐标。
3.如权利要求2所述的局部稀疏建图方法，其特征在于，所述步骤(5)的实时聚类方法步骤包括：
(a)假定双目视觉和RTK得到第1帧图像F1中的共k1棵果树，其经纬度坐标分别为
Figure FDA0002656577240000021
并这将k1棵树的经纬度坐标分别存放在S1[]、S2[]、...、Sk1[]个数组中；
(b)基于双目视觉和RTK得到第2帧图像F2中的共k2棵果树，其经纬度坐标分别为
Figure FDA0002656577240000022
将F2中的每个经纬度坐标依次和F1中的每个经纬度坐标计算平面距离：
Figure FDA0002656577240000023
Figure FDA0002656577240000024
计算获得共k2组，每组共k1个平面距离；
(c)取
Figure FDA0002656577240000025
其中，1≤i≤k2，1≤k1′≤k1。如果
Figure FDA0002656577240000026
将坐标点F2i存放在一个新的数组Sk1+i[N]中；如果距离
Figure FDA0002656577240000027
则认为坐标F2i和坐标F1k1′为同一棵树的经纬度坐标，并将F2i***到F1k1′所在的数组最后一个元素后；其中，Threshold为设定的阈值；
(d)以此类推，基于双目视觉和RTK得到第j帧图像Fj中的共kj棵果树，其经纬度坐标分别为
Figure FDA0002656577240000028
将Fj中的每个经纬度坐标依次和上一相邻图像Fj-1中的每个经纬度坐标计算平面距离，并按步骤(c)依次***相应的数组或新数组中；
(e)计算每棵树对应经纬度加权平均值；通过步骤(a)～(d)，不断迭代将新的图像中识别计算出来的果树的经纬度坐标***进相应的距离阈值小于Threshold的数组中，获得数组S1[N1]、S2[N2]、...、Sm[Nm](其中，Sm[Nm]表示第m棵果树在多张图像中分别获得的经纬度坐标，共计Nm个坐标)，并对各数组中的各元素进行加权求和计算新的经纬度加权平均值；即：第m棵果树的经纬度加权平均值
Figure FDA0002656577240000029
其中，αmi为数组Sm[Nm]中元素Sm(i)的置信度权值，数组Sm[Nm]中各元素置信度和值满足：
Figure FDA0002656577240000031
由于在建图的过程认为RTK和双目视觉模是前进的，相机距离果树越近所测量的结果的误差越小，因此，αmi+1≥αmi(1≤i≤Nm-1)；αm1、αm2...αmi的取值服从指数型分布，即αmi＝αm1qi-1，并满足
Figure FDA0002656577240000032
其中q为权重公比；由此计算获得：
Figure FDA0002656577240000033
(f)判断步骤(e)计算获得的经纬度加权平均值是否为果树最终坐标。
4.如权利要求3所述的局部稀疏建图方法，其特征在于：所述Threshold的值为30cm。
5.如权利要求4所述的局部稀疏建图方法，其特征在于：
i)设双目相机的水平可视角度为H，RTK移动方向的方位角为Azimuth，聚类数目为N(N>1)；根据步骤(e)获得的第m棵果树的经纬度加权平均值Fm，计算其相对于RTK当前的经纬度的方位角PTR；
ii)当数组Sm[Nm]内的元素数量Nm>N且方位角PTR满足条件：H/2≤(PTR-Azimuth)％360)≤(360-H/2)时，即认为果树已经出了相机的视野，此时将该数组的加权平均值Fm作为一棵树的坐标P(m)，至此便完成了该棵果树建模；
iii)当数组Sm[Nm]内的元素数量Nm<N且PTR也满足：H/2≤(PTR-Azimuth)％360)≤360-H/2时，即认为果树已经出了相机的视野，仅清空该数组即可，并不将该数组的加权平均值作为果树的坐标。
CN202010889827.8A 2020-08-28 2020-08-28 一种基于双目视觉和rtk的果园局部稀疏建图方法和*** Active CN111950524B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010889827.8A CN111950524B (zh) 2020-08-28 2020-08-28 一种基于双目视觉和rtk的果园局部稀疏建图方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010889827.8A CN111950524B (zh) 2020-08-28 2020-08-28 一种基于双目视觉和rtk的果园局部稀疏建图方法和***

Publications (2)

Publication Number Publication Date
CN111950524A true CN111950524A (zh) 2020-11-17
CN111950524B CN111950524B (zh) 2024-03-29

Family

ID=73367481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010889827.8A Active CN111950524B (zh) 2020-08-28 2020-08-28 一种基于双目视觉和rtk的果园局部稀疏建图方法和***

Country Status (1)

Country Link
CN (1) CN111950524B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833292A (zh) * 2021-02-04 2021-05-25 东北农业大学 一种夹持杆、夹持机构以及植被覆盖度采集装置
CN114721441A (zh) * 2022-06-10 2022-07-08 南京航空航天大学 多信源融合的车载无人机自主降落控制方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107255446A (zh) * 2017-08-01 2017-10-17 南京农业大学 一种矮化密植果树冠层三维地图构建***和方法
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及***
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
WO2019080924A1 (zh) * 2017-10-26 2019-05-02 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
WO2020168668A1 (zh) * 2019-02-22 2020-08-27 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
CN107255446A (zh) * 2017-08-01 2017-10-17 南京农业大学 一种矮化密植果树冠层三维地图构建***和方法
WO2019080924A1 (zh) * 2017-10-26 2019-05-02 广州极飞科技有限公司 导航图配置方法、避障方法以及装置、终端、无人飞行器
CN108489496A (zh) * 2018-04-28 2018-09-04 北京空间飞行器总体设计部 基于多源信息融合的非合作目标相对导航运动估计方法及***
WO2020168668A1 (zh) * 2019-02-22 2020-08-27 广州小鹏汽车科技有限公司 一种车辆的slam建图方法及***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833292A (zh) * 2021-02-04 2021-05-25 东北农业大学 一种夹持杆、夹持机构以及植被覆盖度采集装置
CN114721441A (zh) * 2022-06-10 2022-07-08 南京航空航天大学 多信源融合的车载无人机自主降落控制方法及装置
CN114721441B (zh) * 2022-06-10 2022-08-05 南京航空航天大学 多信源融合的车载无人机自主降落控制方法及装置

Also Published As

Publication number Publication date
CN111950524B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测***及方法
CN109631855B (zh) 基于orb-slam的高精度车辆定位方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
Dong et al. 4D crop monitoring: Spatio-temporal reconstruction for agriculture
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
CN103679674B (zh) 一种无人飞行器实时图像拼接方法及***
CN111259809A (zh) 基于DANet的无人机海岸线漂浮垃圾巡检***
CN105930819A (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN107491071B (zh) 一种智能多机器人协同测图***及其方法
CN105869178A (zh) 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法
CN106162144A (zh) 一种用于夜视环境的视觉图像处理设备、***和智能机器
CN109583373B (zh) 一种行人重识别实现方法
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN111950524B (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和***
CN116258817A (zh) 一种基于多视图三维重建的自动驾驶数字孪生场景构建方法和***
CN115115859A (zh) 基于无人机航拍的长线性工程施工进度智能识别与分析方法
CN104182968A (zh) 宽基线多阵列光学探测***模糊动目标分割方法
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN115861591A (zh) 基于transformer关键纹理编码匹配的无人机定位方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN114648557A (zh) 一种基于高空视角与地面视角的多目标协同跟踪方法
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及***
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant