CN114911244A - 田埂避障控制方法、装置和农用自动驾驶设备 - Google Patents
田埂避障控制方法、装置和农用自动驾驶设备 Download PDFInfo
- Publication number
- CN114911244A CN114911244A CN202210692316.6A CN202210692316A CN114911244A CN 114911244 A CN114911244 A CN 114911244A CN 202210692316 A CN202210692316 A CN 202210692316A CN 114911244 A CN114911244 A CN 114911244A
- Authority
- CN
- China
- Prior art keywords
- ridge
- map
- obstacle avoidance
- global
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 20
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例提供一种田埂避障控制方法、装置和农用自动驾驶设备,该方法包括:实时采集行进方向上的图像;利用田埂识别模型检测图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据;将该点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和该农用自动驾驶设备的当前位姿;根据全局田埂地图和局部路径规划的损失函数,计算农用自动驾驶设备从当前位姿到达指定目标点的田埂避障最佳运动轨迹,以进行田埂避障。该方法可以实现在适合时机进行田埂精准避障,既提高了农业作业的效率,还减少了人力成本等。
Description
相关申请的交叉引用
本申请要求于2021年06月17日提交中国专利局的申请号为CN202110668636.3、名称为“田埂识别躲避方法、装置和农用自动驾驶设备”的专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种田埂避障控制方法、装置和农用自动驾驶设备。
背景技术
随着自动驾驶的发展,在农业种植方面也引进了农业机械的自动驾驶作业功能,农田由于面积庞大,农田可以规划行驶路线,机械设备可以装载自动驾驶装置完成导航,调头等作业。目前在农业上常见的自动驾驶多依赖于GPS定位技术引导农业机械设备导航,调头等。
现有的农用机械设备在导航行驶过程中需要依赖GPS轨迹完成躲避时田埂掉头或转弯操作。但是在实际作业过程中,由于GPS轨迹难免出现误差,导致出现过早或者太晚转弯掉头的情况,因此实际过程中自动驾驶的调头需要人为辅助才能完成。
发明内容
有鉴于此,本申请实施例提供一种田埂避障控制方法、装置和农用自动驾驶设备,可以实现在适合时机进行田埂精准避障。
第一方面,本申请实施例提供一种田埂避障控制方法,应用于农用自动驾驶设备,所述方法包括:
实时采集行进方向上的图像;
利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据;
将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿;
根据所述全局田埂地图和用于局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹;
根据所述最佳运动轨迹控制所述农用自动驾驶设备进行田埂避障。
在一些实施例中,将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿,包括:
从所述点云数据中提取前方田埂的轮廓信息,并基于所述点云数据构建对应的田埂概率地图;
对所述田埂概率地图进行方向旋转,以使当前田埂的方向与当前全局的田埂栅格地图的方向匹配,然后利用当前田埂的轮廓宽度与所述全局的田埂栅格地图中的田埂进行宽度粗略匹配,再利用轮廓点云按照单位像素移动和/或单位角度旋转进行距离最近匹配,以使所述田埂概率地图的像素坐标值映射到所述全局的田埂栅格地图的坐标值,得到与前方田埂匹配的全局田埂地图,所述全局田埂地图作为下一时刻全局的田埂栅格地图;
将与前方田埂匹配时的所述点云数据的拍摄位姿作为所述农用自动驾驶设备的当前位姿。
在一些实施例中,所述基于所述点云数据构建对应的田埂概率地图,包括:
根据所述点云数据建立对应的二维栅格地图,并遍历所有的栅格,对呈黑色像素值的栅格,以所述农用自动驾驶设备为中心建立高斯分布,计算得到初始概率地图;
对所述初始概率地图中的每个栅格进行对数计算,得到田埂概率地图。
在一些实施例中,所述局部路径规划的损失函数的表达式如下:
F(x)=w1*O(x)+w2*1/R(x);
式中,F(x)表示损失函数,取F(x)最小时的运动轨迹作为田埂避障最佳运动轨迹;O(x)表示所述农用自动驾驶设备转弯后经过指定目标点的第x条运动轨迹,Max为预设最大值,dis为第x条运动轨迹与前方田埂的最小距离;R(x)表示第x条运动轨迹的转弯半径;w1和w2分别为预设的权重,且w1与w2之和等于1。
在一些实施例中,所述田埂识别模型为二分类的支持向量机;所述田埂识别模型的获取,包括:
获取存在田埂的多个图像作为正样本和不存在田埂的多个图像作为负样本,以对所述二分类的支持向量机进行分类训练,获得田埂识别模型。
在一些实施例中,该田埂避障控制方法还包括:
收集所述田埂识别模型的识别结果出现错误的所述图像作为训练样本,利用所述训练样本以及正确识别结果对所述田埂识别模型进行训练。
在一些实施例中,所述得到前方田埂的点云数据,之后还包括:
利用预设大小的卷积核对所述点云数据进行滤波,得到去干扰的点云数据,所述去干扰的点云数据用于进行后续的匹配操作。
第二方面,本申请实施例提供一种田埂避障控制装置,应用于农用自动驾驶设备,所述装置包括:
图像采集模块,用于实时采集行进方向上的图像;
田埂识别模块,用于利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据;
地图建图模块,用于将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿;
轨迹规划模块,用于根据所述全局田埂地图和局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹;
运动控制模块,用于根据所述最佳运动轨迹控制所述农用自动驾驶设备进行前方田埂避障。
第三方面,本申请实施例提供一种农用自动驾驶设备,所述农用自动驾驶设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施上述的田埂避障控制方法。
第四方面,本申请实施例提供一种可读存储介质,其存储有计算机程序,所述计算机程序在处理器上执行时,实施上述的田埂避障控制方法。
本申请的实施例具有如下有益效果:
本申请实施例的田埂避障控制方法通过实时采集行进方向上的图像,并利用田埂识别模型检测前方是否存在田埂,然后得到前方田埂的点云数据后,将该点云数据映射到当前全局的田埂栅格地图中进行匹配,以用于对全局的田埂栅格地图进行更新,得到与前方田埂匹配的全局田埂地图和该农用自动驾驶设备的当前位姿;最后根据更新的全局田埂地图采用局部路径规划原理,计算农用自动驾驶设备从当前位姿到达指定目标点的田埂避障最佳运动轨迹,以此进行前方田埂的避障。该方法通过对前方田埂进行实时识别,并对田埂进行建图及更新以及采用局部路径规划技术来实现在适合时机进行田埂避障,大大提高了农业作业的工作效率,由于每次遇到田埂时设备可以自动转弯而避开田埂,不需要人为辅助完成,减少了人力成本等。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例的农用自动驾驶设备的结构示意图;
图2示出了农用自动驾驶设备顶部安装有摄像头的示意图;
图3示出了本申请实施例的田埂避障控制方法的第一流程图;
图4示出了本申请实施例的田埂避障控制方法的田埂识别模型的获取流程图;
图5示出了基于本申请实施例的方法得到的一种田埂图像及田埂点云示意图;
图6示出了本申请实施例的田埂避障控制方法的第二流程图;
图7示出了对田埂点云数据进行滤波后的点云示意图;
图8示出了本申请实施例的田埂避障控制方法的田埂点云与全局田埂栅格地图的匹配流程图;
图9示出了利用改进型DWA方法得到的经过指定目标点的若干转弯运动轨迹的示意图;
图10示出了本申请实施例的田埂避障控制装置的结构示意图。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。
通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在下文中,可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合,并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
除非另有限定,否则这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义,除非在本申请的各种实施例中被清楚地限定。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。
请参照图1,为本申请实施例提出的农用自动驾驶设备的结构示意图。示范性地,该农用自动驾驶设备主要包括存储器11、处理器12和摄像装置13等,其中,存储器11存储有计算机程序,摄像装置13主要用于采集农用自动驾驶设备在行进方向上等的图像,处理器12用于执行所述计算机程序以实施本申请实施例的田埂避障控制方法,以实现在躲避田埂时的转弯或掉头操作不会过早或过晚,达到精确避开田埂的效果。
其中,存储器11可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器11用于存储计算机程序,处理器12在接收到执行指令后,可相应地执行所述计算机程序。
其中,处理器12可以是一种具有信号的处理能力的集成电路芯片。处理器12可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、图形处理器(GraphicsProcessing Unit,GPU)及网络处理器(Network Processor,NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件中的至少一种。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
其中,摄像装置13用于图像采集,在本申请中,具体用于在农用自动驾驶设备在行进时实时采集其前方的图像画面,进而方便农用自动驾驶设备进行田埂识别等处理。在一种实施方式中,如图2所示,摄像装置13可设置在农用自动驾驶设备的顶部,并且该摄像装置13的镜头方向与行驶方向一致,以便在行驶时获取前方的图像。其中摄像装置13的设置高度的大小会影响其能拍摄到的前方视野范围,因此,其设置高度可以根据实际运用场景等需求来适应性调整,这里不作限定。
可以理解,本申请实施例的农用自动驾驶设备可包括但不限于用于在农田、果园等中作业的各种无人驾驶机器人,同理,还可以用于特定道路等场合下的自动洒水车以及自动喷雾车等,这里不作限定。
基于上述结构的农用自动驾驶设备,本申请实施例提出一种田埂避障控制方法,通过该方法可以实现在适合时机进行田埂精准避障,从而提高了作业效率等。
请参照图3,示范性地,该田埂避障控制方法包括步骤S110~S150:
S110,实时采集行进方向上的图像。
在实际作业过程中,农用自动驾驶设备可通过其安装的摄像装置13来实时采集行行方向上的图像,以获得农用自动驾驶设备前方的图像画面。
S120,利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据。
其中,该田埂识别模型主用于识别图像中是否存在田埂,通过预先构建并训练得到。例如,该田埂识别模型可包括但不限于包括支持向量机(SVM)、逻辑回归或者其他二分类等方法构建。可以理解,通过仅识别存在田埂或不存在田埂,可以减少农用自动驾驶设备的运算量,使该田埂识别模型可以正常运行在运算能力较低的处理***中。
在一种实施方式中,可基于二分类的支持向量机构建该田埂识别模型,如图4所示,该田埂识别模型的获取过程,包括:
S210,获取存在田埂的多个图像作为正样本和不存在田埂的多个图像作为负样本。
例如,在训练支持向量机前,可以收集一定数量的包含有田埂在内的图像,并确定为正样本,以及收集不具有田埂的其它图像,并确定为负样本。其中,该正负样本的图像均可以取自于农用自动驾驶设备的摄像头,也即可以在农用自动驾驶设备进行工作时通过该摄像头获取,这里不做限定。
进一步地,考虑到各个样本图像的尺寸、方向等可能存在一些差异,为此,对支持向量机进行训练前,可先对这些样本进行一些预处理操作,该方法还包括步骤S220和S230:
S220,对所述正样本以及所述负样本进行预设尺寸裁剪。
其中,该预设尺寸可根据模型的输入图像的尺寸来设定。以上述的支持向量机为例,可以先对采集的样本图像按照支持向量机所支持的输入尺寸进行裁剪,使得用于训练的样本的尺寸一致。
S230,对裁剪后的所述正样本以及所述负样本进行预设方向调整,使所述正样本以及所述负样本方向一致。
其中,上述进行预设方向的调整,也即将正样本以及负样本的图像统一摆正为一个方向,例如,若均为通过农用自动驾驶设备的摄像装置所采集的图像时,摆正为拍摄时的方向等。可以理解,经过尺寸及方向调整后的正样本和负样本将能够用于输入到二分类的支持向量机进行直接处理。
S240,利用获取的正样本和负样本对二分类的支持向量机进行分类训练,获得田埂识别模型。
进而,对直接获得的或经过预处理后的各个正样本和负样本分别进行正标签和负标签标注,然后将带标注的这些样本输入到二分类的支持向量机中,以进行田埂特征学习及分类训练,最终使得该二分类的支持向量机能输出一个存在田埂或不存在田埂的识别结果。
作为另一种可选的方案,对于前期训练的田埂识别模型,在进行实际作业过程中,可能会有对实时图像的识别结果产生错误的时候,此时则可以将识别错误的相应实时图像,作为训练样本,并将相应正确的识别结果作为相应的标签,对田埂识别模型进行重复训练,从而进一步提高模型识别的准确率。
对于上述步骤S120,示范性地,在获取前方的实时图像后,将该实时图像输入至上述训练得到的田埂识别模型,以通过该田埂识别模型识别行驶方向前方是否存在田埂。进而,对于存在田埂的实时图像,进行图像二值化处理,得到仅包含黑白两种颜色的灰度图像,而该灰度图像即包含有前方田埂信息的点云数据。例如,如图5中的左侧所示的识别到的田埂图像,经过图像二值化处理后,可得到右侧所示的田埂点云数据。
作为一种可选的方案,如图6所示,得到前方田埂的点云数据之后,该田埂避障控制方法还包括:
S160,利用预设大小的卷积核对所述点云数据进行滤波,得到去干扰的点云数据。其中,该去干扰的点云数据用于进行后续的匹配操作。
例如,该卷积核的大小可以是2*2、3*3、或5*5等,具体可根据实际需求来适应性调整,这里不作限定。可以理解,通过对得到的初始点云数据进行滤波处理,可以过滤掉一些明显的噪点,以保证利用较为准确的点云数据来进行后续的匹配操作等。例如,对于图7左侧所示的初始点云数据,经过滤波后,可得到图7右侧所示的去干扰的点云数据。
于是,在通过上述步骤S120或S160得到当前的田埂点云数据后,则进一步将其与全局的田埂地图进行匹配,从而对全局的田埂地图进行实时更新,以及准确地确定农用自动驾驶设备的当前位姿。
S130,将点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和农用自动驾驶设备的当前位姿。
其中,所述的匹配是指将当前实时得到的田埂点云数据投影到全局的田埂栅格地图中,以使得田埂点云与全局地图中的田埂尽量重合,而重合程度最高的位置即为农用自动驾驶设备的当前位姿。
本实施例中,在实际作业之前,可通过预先对作业的农田进行一次完整拍摄,以得到一个包含全部田埂信息的全局地图,并对其进行栅格化处理,得到初始的全局田埂栅格地图。然后,在行进过程中,会采集多帧画面,通过对每帧图像画面进行田埂识别并获得存在的田埂点云数据,然后利用每次获得的田埂点云数据不断更新最近一次获得的全局田埂栅格地图,也用于确定农用自动驾驶设备的最新位姿。其中,每次更新后的全局田埂栅格地图将作为下一时刻全局的田埂栅格地图。
在一种实施方式中,如图8所示,步骤S130包括子步骤S310~S330:
S310,从所述点云数据中提取前方田埂的轮廓信息,并基于所述点云数据构建对应的田埂概率地图。
结合图7,从田埂的点云数据中,可以看到田埂区域均为黑色像素,即从中提取出最外层的一圈黑色像素即为当前田埂的轮廓。同时,为了与全局的田埂栅格地图进行匹配,本实施例将基于该点云数据建立对应的局部田埂栅格地图,再对栅格地图中每个概率值进行二值化,以得到概率地图。可以理解,概率地图的采用方便进行田埂精准匹配以及在地图中进行避障路径规划等。
在一种实施方式中,基于点云数据构建对应的田埂概率地图,包括:
根据该点云数据建立对应的二维栅格地图,并遍历所有的栅格,对呈黑色像素值的栅格,以农用自动驾驶设备为中心建立高斯分布,计算得到初始概率地图;对该初始概率地图中的每个栅格进行对数计算,得到田埂概率地图。其中,概率地图是以栅格地图为基础且每个栅格的像素值等于概率值的地图。可以理解,利用高斯分布可以使得所建的地图具有正向概率大,两边分布概率小的特性。
例如,可按照如下的高斯分布公式来计算出每个栅格为田埂的概率值:
式中,变量x选取为采集的图像画面中从最左侧或最右侧像素距离农用自动驾驶设备中心的角度值θ,故f(θ)等于概率值Px;σ2和μ分别为高斯分布公式的方差和数学期望,例如,可设置σ=5,μ=0,具体可根据实际经验值来设定,这里仅为一种示例,不作为唯一限定。
由此,可计算得到初始概率地图。然后,求解初始概率地图中每个栅格像素的对数,即得到概率值二值化的概率地图。接着,对同样为栅格形式的概率地图与全局的田埂栅格地图进行匹配。本实施例中,通过对最近邻迭代匹配算法(ICP)进行改进,通过进行方向-宽度-临近点的依次匹配,具体参见步骤S320,从而得到最佳匹配的田埂地图。
S320,对田埂概率地图进行方向旋转,以使当前田埂的方向与当前全局的田埂栅格地图的方向匹配,然后利用当前田埂的轮廓宽度与全局的田埂栅格地图中的田埂进行宽度粗略匹配,再利用轮廓点云按照单位像素移动和/或单位角度旋转进行距离最近匹配,以使田埂概率地图的像素坐标值映射到全局的田埂栅格地图的坐标值,得到与前方田埂匹配的全局田埂地图。
S330,将与前方田埂匹配时的点云数据的拍摄位姿作为农用自动驾驶设备的当前位姿。
本实施例中,通过将点云数据投影到全局田埂栅格地图中进行匹配,可以利用点云数据对全局的田埂栅格地图进行实时更新,还可以确定农用自动驾驶设备当前的实际位姿。
于是,在通过上述步骤S130得到了本次更新的全局田埂地图,然后利用局部路径规划技术来实现田埂避障。
S140,根据所述全局田埂地图和用于局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹。
其中,这里的指定目标点是指农用自动驾驶设备通过转弯避障田埂后经过的第一个目标点,通常选取为下一条作业路径的初始点。可以理解,在全局的田埂栅格地图中除了包含田埂信息外,还包括多条规划的作业路径。
在一种实施方式中,可利用改进的动态窗口算法(即DWA算法)进行局部路径规划。其中,DWA算法的原理主要是在速度空间中采样多组速度,并模拟这些速度在一定时间内的运动轨迹,再通过一个评价函数对这些轨迹打分,从而选取出一个最优的速度来运动。
本实施例中,将构建一个损失函数用于对避开当前田埂的转弯运动轨迹进行评价。如图9所示,在竖直方向上的三条虚线表示三条作业路径,而黑色的粗线表示田埂,当农用自动驾驶设备运行到A点时,为避免与田埂发生碰撞,可通过在全局的田埂栅格地图中穷尽出从当前位姿A点到经过第2条作业路径的初始目标点B点的所有可能的转弯运动轨迹,然后结合构建的损失函数进行评价,即可以从中选取出一条最佳运动轨迹。
例如,该局部路径规划的损失函数的表达式如下:
F(x)=w1*O(x)+w2*1/R(x);
式中,F(x)表示损失函数,取F(x)最小时的运动轨迹作为田埂避障最佳运动轨迹;O(x)表示农用自动驾驶设备转弯后经过指定目标点的第x条运动轨迹,Max为预设最大值,dis为第x条运动轨迹与前方田埂的最小距离;R(x)表示第x条运动轨迹的转弯半径;w1和w2分别为预设的权重,且w1与w2之和等于1。
由此,可以得到一条既能够躲避田埂且转弯时机又不会过晚也不会过早的最佳运动轨迹。可以理解,运动轨迹的转弯半径与实际的作业路径的宽度、到田埂的最小距离等均有影响,因此,选取出一个合适的转弯半径,就可以达到在合适的时机进行转弯并顺滑地进入下一条作业路径进行继续作业,而不会出现过早或者太晚调头的现象。
S150,根据所述最佳运动轨迹控制农用自动驾驶设备进行田埂避障。
最后,根据上述步骤规划出的最佳运动轨迹控制农用自动驾驶设备按时对应的转弯半径进行转弯,以顺利到达下一条作业路径的初始点,直至再次识别到前方存在田埂时,重复上述步骤S110~S150,直至作业结束。
本申请实施例的田埂避障控制方法通过采用二分类的模型对前方田埂是否存在进行实时识别,并在识别到田埂时,利用高斯分布和对数概率法来对田埂进行地图构建并不断对全局田埂地图进行更新,然后结合局部的转弯路径规划来进行田埂避障,由此可以实现在躲避田埂时的转弯或掉头操作不会过早或过晚,即在适合时机进行田埂精准避障,一方面大大提高了农业作业的工作效率,另一方面,由于每次遇到田埂时设备可以自动转弯而避开田埂,不需要人为辅助完成,减少了人力成本等。
请参照图10,基于上述实施例的方法,本申请实施例提出一种田埂避障控制装置100,应用于农用自动驾驶设备,示范性地,该田埂避障控制装置100包括:
图像采集模块110,用于实时采集行进方向上的图像。
田埂识别模块120,用于利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据。
地图建图模块130,用于将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿。
轨迹规划模块140,用于根据所述全局田埂地图和局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹。
运动控制模块150,用于根据所述最佳运动轨迹控制所述农用自动驾驶设备进行前方田埂避障。
可以理解,本实施例的装置对应于上述实施例的方法,上述实施例中的方法的可选项同样适用于本实施例,故在此不再重复描述。
本申请还提供了一种可读存储介质,用于储存上述农用自动驾驶设备中使用的所述计算机程序。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种田埂避障控制方法,其特征在于,应用于农用自动驾驶设备,所述方法包括:
实时采集行进方向上的图像;
利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据;
将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿;
根据所述全局田埂地图和用于局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹;
根据所述最佳运动轨迹控制所述农用自动驾驶设备进行田埂避障。
2.根据权利要求1所述的田埂避障控制方法,其特征在于,将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿,包括:
从所述点云数据中提取前方田埂的轮廓信息,并基于所述点云数据构建对应的田埂概率地图;
对所述田埂概率地图进行方向旋转,以使当前田埂的方向与当前全局的田埂栅格地图的方向匹配,然后利用当前田埂的轮廓宽度与所述全局的田埂栅格地图中的田埂进行宽度粗略匹配,再利用轮廓点云按照单位像素移动和/或单位角度旋转进行距离最近匹配,以使所述田埂概率地图的像素坐标值映射到所述全局的田埂栅格地图的坐标值,得到与前方田埂匹配的全局田埂地图,所述全局田埂地图作为下一时刻全局的田埂栅格地图;
将与前方田埂匹配时的所述点云数据的拍摄位姿作为所述农用自动驾驶设备的当前位姿。
3.根据权利要求2所述的田埂避障控制方法,其特征在于,所述基于所述点云数据构建对应的田埂概率地图,包括:
根据所述点云数据建立对应的二维栅格地图,并遍历所有的栅格,对呈黑色像素值的栅格,以所述农用自动驾驶设备为中心建立高斯分布,计算得到初始概率地图;
对所述初始概率地图中的每个栅格进行对数计算,得到田埂概率地图。
5.根据权利要求1所述的田埂避障控制方法,其特征在于,所述田埂识别模型为二分类的支持向量机;所述田埂识别模型的获取,包括:
获取存在田埂的多个图像作为正样本和不存在田埂的多个图像作为负样本,以对所述二分类的支持向量机进行分类训练,获得田埂识别模型。
6.根据权利要求1所述的田埂避障控制方法,其特征在于,还包括:
收集所述田埂识别模型的识别结果出现错误的所述图像作为训练样本,利用所述训练样本以及正确识别结果对所述田埂识别模型进行训练。
7.根据权利要求1至6中任一项所述的田埂避障控制方法,其特征在于,所述得到前方田埂的点云数据,之后还包括:
利用预设大小的卷积核对所述点云数据进行滤波,得到去干扰的点云数据,所述去干扰的点云数据用于进行后续的匹配操作。
8.一种田埂避障控制装置,其特征在于,应用于农用自动驾驶设备,所述装置包括:
图像采集模块,用于实时采集行进方向上的图像;
田埂识别模块,用于利用田埂识别模型检测所述图像中是否存在田埂,并对存在田埂的图像进行图像二值化处理,得到前方田埂的点云数据;
地图建图模块,用于将所述点云数据映射到当前全局的田埂栅格地图中进行匹配,得到与前方田埂匹配的全局田埂地图和所述农用自动驾驶设备的当前位姿;
轨迹规划模块,用于根据所述全局田埂地图和局部路径规划的损失函数,计算从所述当前位姿到达指定目标点的田埂避障最佳运动轨迹;
运动控制模块,用于根据所述最佳运动轨迹控制所述农用自动驾驶设备进行前方田埂避障。
9.一种农用自动驾驶设备,其特征在于,所述农用自动驾驶设备包括处理器、存储器和摄像装置,所述摄像装置用于采集行进方向上的图像,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的田埂避障控制方法。
10.一种可读存储介质,其特征在于,其存储有计算机程序,所述计算机程序在处理器上执行时,实施根据权利要求1-7中任一项所述的田埂避障控制方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110668636.3A CN113341986A (zh) | 2021-06-17 | 2021-06-17 | 田埂识别躲避方法、装置和农用自动驾驶设备 |
CN2021106686363 | 2021-06-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114911244A true CN114911244A (zh) | 2022-08-16 |
CN114911244B CN114911244B (zh) | 2024-07-09 |
Family
ID=77475737
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110668636.3A Pending CN113341986A (zh) | 2021-06-17 | 2021-06-17 | 田埂识别躲避方法、装置和农用自动驾驶设备 |
CN202210692316.6A Active CN114911244B (zh) | 2021-06-17 | 2022-06-17 | 田埂避障控制方法、装置和农用自动驾驶设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110668636.3A Pending CN113341986A (zh) | 2021-06-17 | 2021-06-17 | 田埂识别躲避方法、装置和农用自动驾驶设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113341986A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117606477A (zh) * | 2023-10-19 | 2024-02-27 | 天津大学 | 一种多信息融合的路径规划方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109557928A (zh) * | 2019-01-17 | 2019-04-02 | 湖北亿咖通科技有限公司 | 基于矢量地图和栅格地图的自动驾驶车辆路径规划方法 |
CN109658373A (zh) * | 2017-10-10 | 2019-04-19 | 中兴通讯股份有限公司 | 一种巡检方法、设备及计算机可读存储介质 |
CN110045729A (zh) * | 2019-03-12 | 2019-07-23 | 广州小马智行科技有限公司 | 一种车辆自动驾驶方法及装置 |
KR102083909B1 (ko) * | 2018-10-23 | 2020-03-04 | 주식회사 모빌테크 | 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 |
US20200164513A1 (en) * | 2018-11-27 | 2020-05-28 | Cloudminds (Beijing) Technologies Co., Ltd. | Positioning and navigation method for a robot, and computing device thereof |
CN112014857A (zh) * | 2020-08-31 | 2020-12-01 | 上海宇航***工程研究所 | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006055858A1 (de) * | 2006-11-27 | 2008-05-29 | Carl Zeiss Ag | Verfahren und Anordnung zur Steuerung eines Fahrzeuges |
CN102661733B (zh) * | 2012-05-28 | 2014-06-04 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
US9841768B2 (en) * | 2014-03-28 | 2017-12-12 | Yanmar Co., Ltd. | Autonomous travelling service vehicle |
US10627812B2 (en) * | 2017-02-14 | 2020-04-21 | Honda Research Institute Europe Gmbh | Risk based driver assistance for approaching intersections of limited visibility |
CN107672817B (zh) * | 2017-09-21 | 2020-05-22 | 内蒙古工业大学 | 一种移动式车载无人机的智能起降*** |
CN109240284B (zh) * | 2018-08-10 | 2021-06-22 | 江苏大学 | 一种无人驾驶农机的自主路径规划方法及装置 |
CN112861887A (zh) * | 2019-11-08 | 2021-05-28 | 中国科学院长春光学精密机械与物理研究所 | 一种障碍物快速检测方法、***及终端设备 |
CN111563416A (zh) * | 2020-04-08 | 2020-08-21 | 安徽舒州农业科技有限责任公司 | 一种基于插秧机的自动转向方法及*** |
CN111784657A (zh) * | 2020-06-29 | 2020-10-16 | 福建中航赛凡信息科技有限公司 | 一种基于数字图像的水泥路面病害自动识别的***及方法 |
-
2021
- 2021-06-17 CN CN202110668636.3A patent/CN113341986A/zh active Pending
-
2022
- 2022-06-17 CN CN202210692316.6A patent/CN114911244B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658373A (zh) * | 2017-10-10 | 2019-04-19 | 中兴通讯股份有限公司 | 一种巡检方法、设备及计算机可读存储介质 |
KR102083909B1 (ko) * | 2018-10-23 | 2020-03-04 | 주식회사 모빌테크 | 포인트 클라우드 맵 기반의 자율주행차량용 차선데이터 정보 자동 추출 방법 |
US20200164513A1 (en) * | 2018-11-27 | 2020-05-28 | Cloudminds (Beijing) Technologies Co., Ltd. | Positioning and navigation method for a robot, and computing device thereof |
CN109557928A (zh) * | 2019-01-17 | 2019-04-02 | 湖北亿咖通科技有限公司 | 基于矢量地图和栅格地图的自动驾驶车辆路径规划方法 |
CN110045729A (zh) * | 2019-03-12 | 2019-07-23 | 广州小马智行科技有限公司 | 一种车辆自动驾驶方法及装置 |
CN112014857A (zh) * | 2020-08-31 | 2020-12-01 | 上海宇航***工程研究所 | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117606477A (zh) * | 2023-10-19 | 2024-02-27 | 天津大学 | 一种多信息融合的路径规划方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114911244B (zh) | 2024-07-09 |
CN113341986A (zh) | 2021-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
Fang et al. | On-road vehicle tracking using part-based particle filter | |
Petrovskaya et al. | Model based vehicle detection and tracking for autonomous urban driving | |
Yao et al. | Estimating drivable collision-free space from monocular video | |
US11195028B2 (en) | Real-time simultaneous detection of lane marker and raised pavement marker for optimal estimation of multiple lane boundaries | |
Lookingbill et al. | Reverse optical flow for self-supervised adaptive autonomous robot navigation | |
Levinson | Automatic laser calibration, mapping, and localization for autonomous vehicles | |
CN115049700A (zh) | 一种目标检测方法及装置 | |
CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
CN111723724B (zh) | 一种路面障碍物识别方法和相关装置 | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
Roberts | Attentive visual tracking and trajectory estimation for dynamic scene segmentation | |
Chira et al. | Real-time detection of road markings for driving assistance applications | |
Mazzia et al. | Deepway: a deep learning waypoint estimator for global path generation | |
CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
de Paula Veronese et al. | An accurate and computational efficient system for detecting and classifying ego and sides lanes using LiDAR | |
CN114911244B (zh) | 田埂避障控制方法、装置和农用自动驾驶设备 | |
CN113255444A (zh) | 图像识别模型的训练方法、图像识别方法和装置 | |
Fries et al. | Monocular template-based vehicle tracking for autonomous convoy driving | |
KR20210069816A (ko) | 부착형 농작업 경로 인식 장치 | |
CN113158779B (zh) | 一种行走方法、装置和计算机存储介质 | |
Andreyanov et al. | Driver assistance system for agricultural machinery for obstacles detection based on deep neural networks | |
CN113793371B (zh) | 目标分割追踪方法、装置、电子设备和存储介质 | |
CN114646317A (zh) | 车辆视觉定位导航控制方法、装置及计算机设备、介质 | |
Tsaregorodtsev et al. | Automated static camera calibration with intelligent vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |