CN118170145A - 一种基于视觉的无人驾驶收割机自适应收割方法和装置 - Google Patents

Abstract

本发明公开了一种基于视觉的无人驾驶收割机自适应收割方法和装置，其包括：步骤1，根据待收割农田选定工作区域、起点及终点，利用选定的路线模式，确定全局规划算法，计算出初始的全局路径；步骤2，在收割机行驶到起点后，根据收割机在起点采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，将与最近的田垄相邻的田垄通道作为目标田垄通道，进入步骤3；步骤3，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准；步骤4，将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径；步骤5，按照更新后的全局路径，规划局部路径，并进行收割；步骤6，在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点，并返回步骤2。本发明的收割机能在待收割农田内自行识别作物及田垄宽度，并输出对应收割的路径规划方案，提高机器自动化收割的效率。

Description

一种基于视觉的无人驾驶收割机自适应收割方法和装置

技术领域

本发明涉及无人驾驶收割机技术领域，特别是涉及一种基于视觉的无人驾驶收割机自适应收割方法和装置。

背景技术

在农业中，作物收割是收割机领域的一个重要方向，改进作物收割方法，既可以提高收割效率，也可以降低人工成本，还可以减少作物损失。农田的无人化运作是未来农业不可避免的趋势。目前，作物收割的自动化也面临着一些技术和经济的挑战。作物的种类、形态、生长环境和收割要求各异，因而机械的设计和适应性较难统一和标准化。作物的收割效果需要考量收割率、作物的完整程度和原植株的损坏程度等多个指标。但是，现有的收割机器人环境感知能力、智能化程度等均较为有限。因此，如何提高收割机器的自动化和智能化程度，是目前面临的挑战之一。

市面上的手工调节收割间距的收割机，由一个或多个驱动轮组成，并且可以配备一个或多个定位盘来进行定位作业。定位盘可以根据地面基准线、田块边界线等因素自动调整盘子角度、位置和数量等参数，实现高效、精确、节省的定位作业。可调节间距的收割机也可以通过手动操作台上的旋钮或杆来调节盘子之间的间距，以适应不同的地面和田块。但是，手工调节的收割机自动化程度较低，需要人力进行配合，难以满足大面积农田的收割场景。可调节间距的收割机的操作需要一定的技术和经验，机手需要根据不同的作物和地形来手动调节定位盘之间的间距，以保证收割的精度和效果。如果操作不当，可能导致定位盘的损坏或作物的损伤。如果遇到坡度较大或地面不平的地形，定位盘可能无法正常工作，影响收割的质量和安全性。

为了提升自动化水平，目前有一款公开的无人车技术，可以通过摄像机采集田垄图像，得到田垄的实际边界和宽度。利用田垄宽度，调整无人车滚轮间距，识别田垄宽度。但是，该方法仅能在对齐田垄的情况下进行调整，自动化程度依旧偏低。

发明内容

本发明的目的在于提供一种基于视觉的无人驾驶收割机自适应收割装置和方法，收割机能在待收割农田内自行识别作物及田垄宽度，并输出对应收割的路径规划方案，提高机器自动化收割的效率。

为实现上述目的，本发明提供一种基于视觉的无人驾驶收割机自适应收割方法，其包括：

步骤1，根据待收割农田选定工作区域、起点及终点，利用选定的路线模式，确定全局规划算法，计算出初始的全局路径；其中，工作区域包括待收割农田及其两端的掉头区域，待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，起点和终点均布置在垄间通道两端的掉头区域；

步骤2，在收割机行驶到起点后，根据收割机在起点采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，将与最近的田垄相邻的田垄通道作为目标田垄通道，进入步骤3；

步骤3，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准；

步骤4，将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径；

步骤5，按照更新后的全局路径，规划局部路径，并进行收割；

步骤6，在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点，并返回步骤2。

进一步地，步骤2中的“选出目标田垄通道”具体包括：

步骤21，根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合；

步骤22，根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合；

步骤23，选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w；

步骤24，根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w；

步骤25，在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道A和第N条田垄外的第N垄间通道B，作为目标田垄通道。

进一步地，步骤3中的“位姿调整”的方法具体包括：

步骤31，沿第一垄间通道A和第N垄间通道B垂直方向任意画一条线，该线与第一垄间通道A和第N垄间通道B的两个交点形成线段d，线段d的中点为O，经过中点O做线段d的垂直线p，使垂直线p与第一垄间通道A和第N垄间通道B平行，将垂直线p作为收割机的基准线；

步骤32，在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行；

步骤33，判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准。

进一步地，步骤4具体包括：

步骤41，根据收割机的当前的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄方向上的总长度L，计算出需要沿田垄方向收割的轮数M＝L/l，l＝N*w；

步骤42，每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

进一步地，选定的路线模式包括S形状和8字形状。

本发明还提供一种基于视觉的无人驾驶收割机自适应收割装置，其包括：

全局路径规划单元，其用于根待收割农田选定工作区域、起点及终点，利用选定的路线模式，确定全局规划算法，计算出初始的全局路径；其中，工作区域包括待收割农田及其两端的掉头区域，待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，起点和终点均布置在垄间通道两端的掉头区域；

识别单元，其用于在收割机行驶到起点后，以及掉头、换到更新后的全局路径中的下一个目标垄间通道的起点后，根据收割机采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，并选出目标田垄通道；

位姿调整单元，其用于选出目标田垄通道后，在控制单元控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准；

路径更新单元，其用于将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径；

局部路径生成单元，其用于按照更新后的全局路径，规划局部路径，并进行收割；

决策单元，其用于在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点。

进一步地，识别单元具体包括：

垄间通道像素特征点获取子单元，其用于根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合；

坐标转换子单元，其用于根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合；

田垄宽度计算子单元，其用于选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w；

单轮收割田垄数量确定子单元，其用于根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w；

目标田垄通道确定子单元，其用于在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道A和第N条田垄外的第N垄间通道B，作为目标田垄通道。

进一步地位姿调整单元具体包括：

收割机基准线确定子单元，其用于沿第一垄间通道A和第N垄间通道B垂直方向任意画一条线，该线与第一垄间通道A和第N垄间通道B的两个交点形成线段d，线段d的中点为O，经过中点O做线段d的垂直线p，使垂直线p与第一垄间通道A和第N垄间通道B平行，将垂直线p作为收割机的基准线；

朝向调整子单元，其用于在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行；

位姿对齐判断子单元，其用于判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准。

进一步地，路径更新单元具体包括：

收割的轮数计算子单元，其用于根据收割机的当前的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄方向上的总长度L，计算出需要沿田垄方向收割的轮数M＝L/l，l＝N*w；

全局路径更新子单元，其用于每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

进一步地，选定的路线模式包括S形状和8字形状。

本发明的主要有益效果为以下几方面：

1.基于视觉的路径规划方法，能将车轮精准实时对齐，既保证了收割宽度，又避免了碾压到作物造成损失。

2.收割宽度可以根据实际田垄情况进行自适应调节。

3.实现了全程无人化操作。

附图说明

图1是本发明实施例的待收割农田的分布示意图。

图2是本发明实施例的一路线模式的全局路径的示意图。

图3是本发明实施例的另一路线模式的全局路径的示意图。

图4是本发明实施例的收割机采集到的待收割农田的图像示意图。

图5是本发明实施例的识别出的单个田垄和垄间通道的示意图。

图6是本发明实施例的收割机与基准线尚未对齐的示意图。

图7是本发明实施例的收割机与基准线尚对齐后的示意图。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明实施例提供的基于视觉的无人驾驶收割机自适应收割方法包括：

步骤1，根据待收割农田选定工作区域、起点及终点，利用选定的路线模式如S形或8字形等，确定全局规划算法，计算出初始的全局路径。

如图1和图2所示，工作区域包括待收割农田和掉头区域。待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，文中提及的田垄方向指的是其长度方向，也是中心线方向。与田垄的长度方向垂直的方向为田垄的宽度方向，即图2中示意的L示意的方向。每一条垄间通道具有起点和终点，且起点和终点均位于全局路径上。全局路径包括路径的形状、目标点(如图2中的圆圈示意的起点)、目标点顺序。其中，形状即由选定的路线模式确定，例如图2中的S形，也可以是图3中的8字形(图3中的start表示起点，end表示终点)，还可以是其它选定的形状。目标点也是全局路径的路径点，起点和终点均布置在待收割农田两端的掉头区域。为了直观呈现掉头区域，可以基本参考图1中的两个椭圆分别圈定的区域。收割机位置是可以通过现有的GPS得到。

步骤2，通过收割机上的摄像头可以获取田间的图像，根据收割机采集到的待收割农田的图像，识别出所采集图像中的作物和田垄边界，进而确定单个田垄和垄间通道。

如图4和图5所示，图4是待收割农田的分布的图像，通过多任务神经网络能够识别出：作物所在的区域为田垄，白线所在的作物间的黑色通道为垄间通道。此时的步骤2中的“选出目标田垄通道”具体包括：

步骤21，根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合。

步骤22，根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合。

在一个实施例中，步骤22中的“转换矩阵G”的获取方法具体包括：

在全局坐标系下，在大地上选取若干对数目的特征点(清晰的地面点，尽可能让他们不构成规则的图形，尽可能包括整个画面)；获取每个特征点相对自车的位置，分别表示为(X1，Y1)，(X2，Y2)，(X3，Y3)，…，获取每个特征点在图像坐标系中的位置，分别表示为(u1，v1)，(u2，v2)，(u3，v3)，…，求得转换矩阵G。其中，可以通过最小二乘法、对地面一条射线进行连续深度估计利用标定板进行标定的方法、或者、将标定板平放在地面，利用平面变换的方法，求得图像到地面的转换矩阵G。

在一个实施例中，步骤22具体包括：

步骤221，根据转换矩阵G和垄间通道的像素特征点集合(u',v')，根据式(1)计算计算垄间通道的特征点集合相对于自车的相对位置(X',Y')：

(X',Y')＝G*(u',v') (1)

步骤222，根据收割机的GPS位置(Xz,Yz,Zz)，根据式(2)计算垄间通道的在全局坐标系下的平行线集合(X^w,Y^w)：

(X^w,Y^w)＝(Xz,Yz)+(X',Y') (2)。

步骤23，选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w。

已知自车的GPS位置(Xz,Yz,Zz)，通过标定得知像素点相对于自车的位置的转换矩阵G。如图5所示，首先利用多任务神经网络分别识别出单个田垄和垄间通道，得到图4所在视角下垄间通道的像素特征点坐标集合，即白线所占据的像素点的集合。提取垄间通道的像素特征点集合，将像素特征点集合通过转换矩阵G和自车的全局位置，换算到全局坐标系，得到在全局坐标系下的平行线集合{l1，l2，l3，l4，…}。选择任意相邻的两条线(例如{l1，l2})，任意在l1上取第一点，做垂直于l1的直线与l2相交，求得该直线和l2的交点第二点，求得第一点和第二点连接成的第一直线段的长度，即求得田垄的实际宽度w。

步骤24，根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w。其中，收割机从一条垄间通道的一端沿中心线方向(田垄的长度方向)行驶到另一端，才视为完成单轮收割。

步骤25，在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道A和第N条田垄外的第N垄间通道B，作为目标田垄通道。如图5所示，N＝3，即可同时收割三条田垄，选中加粗的两条垄间通道A、B作为收割机对齐的目标，更具体地，垄间通道中线对齐滚轮中线。

在上述实施例中，还可以采用其他方式选出目标田垄通道，例如，人工选择田垄通道，手工输入田垄和其通道的宽度，也可以现有公开技术中的利用遥感影响作田垄识别，该可以使用现有公开技术中的利用图像传统数学办法处理(二值化、形态学或聚类等方法)分割田垄和垄间通道等等。

步骤2还包括：找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，并选出目标田垄通道，进入步骤3。如果识别出最近的田垄无作物，则行驶到相邻的下一条田垄通道，按照当前版本的全局路径继续行驶，直到识别到作物。

步骤3，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准。

本实施例中，根据田垄的宽度，选择收割机宽度，从而确定收割机滚轮的间距，相应调整收割机滚轮间距以及收割机的位姿，使得收割机滚轮对齐选中的垄间通道，从而可以尽可能覆盖田埂的范围，避免重复或漏收的情况，同时避免收割机碾压到作物造成损失。这个步骤需要使用一些控制或反馈的方法，如PID控制、模糊控制等，生成相应的控制信号，如定位盘的角度、位置、数量等，以调节收割机的间距。

在一个实施例中，步骤3中的“位姿调整”的方法具体包括：

步骤31，沿第一垄间通道A和第N垄间通道B垂直方向任意画一条线，该线与第一垄间通道A和第N垄间通道B的两个交点连接成的第二直线段d，第二直线段d的中点为O，经过中点O做第二直线段d的垂直线p，使垂直线p与第一垄间通道A和第N垄间通道B平行，将垂直线p作为收割机的基准线。

步骤32，在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行。

步骤33，判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准，否则，根据两条田垄线的全局位置和方向继续对收割机位姿调整。其中，阈值的数值可以根据摄像头实际高度进行调试获得，例如阈值为1/2，如图6所示，第一垄间通道A和第N垄间通道B与其所在图像的上下边界形成的四边形，为中间闭合的区域，如果该区域闭合的面积小于1/2，判断未对齐；如图7所示，如果该区域闭合的面积等于或大于1/2，则判断已对齐。

例如：设定收割田垄范围为图6中示出的N＝3，已知单条田垄的宽度w，则判定调整收割机滚轮间距为d＝N*w。已知选中的垄间通道分别为图5和图6中对应的第一垄间通道A和第N垄间通道B，沿第一垄间通道A和第N垄间通道B垂直方向任意画一条线，获得第二直线段d，计算第二直线段d的中点O(Xo,Yo)，经过点O，做第二直线段d的垂直线p，使得垂直线p与第一垄间通道A和第N垄间通道B平行，则垂直线p为收割机的基准线。如图5所示，有时收割机与基准线尚未对齐，将收割机的中心点位置和点O进行连线，得到直线i。调整收割机的位姿，直到i和p重合。重合后，原地将收割机的朝向调整至与i平行。此时收割机可通过图像计算出的田垄方向和收割机朝向平行，如图7所示。

在上述实施例中，还可以采用其他方式进行位姿调整，例如，先规划收割机中心点至垂直线p点上，然后原地旋转直到全局坐标系下收割机车身与第一垄间通道A和第N垄间通道B平行，更精确地，收割机两侧轮胎内侧对齐第一垄间通道A和第N垄间通道B的田垄边界侧。

步骤4，将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径。全局路径可以通过卫星图得到田垄方向，但是田垄宽度通过卫星图只能有一个大概，无法得知精确的宽度，因此步骤4还会根据收割机采集到的田垄宽度进行实际调整。

更新全局路径时，根据收割机的当前位置，即收割机的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄长度方向上的总长度L，收割机沿田垄方向进行收割，可以计算出需要沿田垄方向收割的轮数M＝L/l。

每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

例如，设定步骤1的初始的全局路径呈现为图1和图2所示的S形状，那么，在每次更新全局路径的时候，首先，估计出待收割农田内的田垄数，得到需要沿田垄方向收割的轮数M＝L/l，如图2，其中，L为待收割农田垂直田垄的中心线(平行于图2中的虚线)方向上的总长度，l＝N*w。其中，每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶l距离后，以自车当前位置为起点，按照上述方法对剩下路径的全局路径规划重新更新。

还例如，设定步骤1的初始的全局路径呈现为图3所示的8字形状，其与上述S形状提供的更新全局路径方法唯一不同的地方在于：在当前规划的最后一轮收割的终点后，收割机不是在掉头区域行驶往前行驶l距离，此时a的数值取为1，而是以相邻的下一个垄间通道的端点作为自车当前位置，即收割机的起点，再按照S形状提供的方法更新全局路径。甚至还可以将收割机起点和终点设置在同一位置，但是，这样的路径规划与上述S形状提供的更新全局路径方法不同点在于：在掉头区域沿垂直于田垄长度的方向往前行驶2l距离，此时a的数值取为2，再以自车当前位置为起点，对剩下路径的全局路径规划重新更新。用这种方式收割，不仅可以将每一条田垄的作物收割干净，而且还可以二次对田垄的作物进行收割，避免作物浪费。

步骤5，按照更新后的全局路径，使用如概率路图(英文简称为RPM)算法、快速随机扩展树(英文简称为RRT)算法或Lattice规划算法等局部路径规划方法规划局部路径，并进行收割。

步骤6，掉头、换到更新后的全局路径中的下一个目标垄间通道的起点，并返回步骤2。

本发明实施例还提供一种基于视觉的无人驾驶收割机自适应收割装置，其包括全局路径规划单元、识别单元、位姿调整单元、路径更新单元、局部路径生成单元和决策单元，其中：

全局路径规划单元用于根据选定待收割农田、起点及终点，计算出初始的全局路径。其中，待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，起点和终点均位于全局路径上，起点和终点布置在垄间通道两端的掉头区域。

识别单元用于在收割机行驶到起点后，根据收割机在起点采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，将与最近的田垄相邻的田垄通道作为目标田垄通道。

位姿调整单元用于选出目标田垄通道后，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准。

路径更新单元其用于将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径。

局部路径生成单元用于按照更新后的全局路径，规划局部路径，并进行收割。

决策单元用于在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点。

在一个实施例中，识别单元具体包括垄间通道像素特征点获取子单元、坐标转换子单元、田垄宽度计算子单元、单轮收割田垄数量确定子单元和目标田垄通道确定子单元，其中：

垄间通道像素特征点获取子单元用于根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合。

坐标转换子单元用于根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合。

田垄宽度计算子单元用于选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w。

单轮收割田垄数量确定子单元用于根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w。

目标田垄通道确定子单元用于在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道A和第N条田垄外的第N垄间通道B，作为目标田垄通道。

在一个实施例中，位姿调整单元具体包括收割机基准线确定子单元、朝向调整子单元和位姿对齐判断子单元，其中：

收割机基准线确定子单元用于沿第一垄间通道A和第N垄间通道B垂直方向任意画一条线，该线与第一垄间通道A和第N垄间通道B的两个交点形成线段d，线段d的中点为O，经过中点O做线段d的垂直线p，使垂直线p与第一垄间通道A和第N垄间通道B平行，将垂直线p作为收割机的基准线。

朝向调整子单元用于在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行。

位姿对齐判断子单元用于判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准。

在一个实施例中，路径更新单元具体包括收割的轮数计算子单元和全局路径更新子单元，其中：

收割的轮数计算子单元用于根据收割机的当前的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄方向上的总长度L，计算出需要沿田垄方向收割的轮数M＝L/l，l＝N*w。

全局路径更新子单元用于每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于视觉的无人驾驶收割机自适应收割方法，其特征在于，包括：

步骤1，根据待收割农田选定工作区域、起点及终点，利用选定的路线模式，确定全局规划算法，计算出初始的全局路径；其中，工作区域包括待收割农田及其两端的掉头区域，待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，起点和终点均布置在垄间通道两端的掉头区域；

步骤2，在收割机行驶到起点后，根据收割机在起点采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，将与最近的田垄相邻的田垄通道作为目标田垄通道，进入步骤3；

步骤3，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准；

步骤4，将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径；

步骤5，按照更新后的全局路径，规划局部路径，并进行收割；

步骤6，在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点，并返回步骤2。

2.如权利要求1所述的基于视觉的无人驾驶收割机自适应收割方法，其特征在于，步骤2中的“选出目标田垄通道”具体包括：

步骤21，根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合；

步骤22，根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合；

步骤23，选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w；

步骤24，根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w；

步骤25，在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道(A)和第N条田垄外的第N垄间通道(B)，作为目标田垄通道。

3.如权利要求2所述的基于视觉的无人驾驶收割机自适应收割方法，其特征在于，步骤3中的“位姿调整”的方法具体包括：

步骤31，沿第一垄间通道(A)和第N垄间通道(B)垂直方向任意画一条线，该线与第一垄间通道(A)和第N垄间通道(B)的两个交点形成线段d，线段d的中点为O，经过中点O做线段d的垂直线p，使垂直线p与第一垄间通道(A)和第N垄间通道(B)平行，将垂直线p作为收割机的基准线；

步骤32，在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行；

步骤33，判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准。

4.如权利要求2或3所述的基于视觉的无人驾驶收割机自适应收割方法，其特征在于，步骤4具体包括：

步骤41，根据收割机的当前的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄方向上的总长度L，计算出需要沿田垄方向收割的轮数M＝L/l，l＝N*w；

步骤42，每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

5.如权利要求4所述的基于视觉的无人驾驶收割机自适应收割方法，其特征在于，选定的路线模式包括S形状和8字形状。

6.一种基于视觉的无人驾驶收割机自适应收割装置，其特征在于，包括：

全局路径规划单元，其用于根待收割农田选定工作区域、起点及终点，利用选定的路线模式，确定全局规划算法，计算出初始的全局路径；其中，工作区域包括待收割农田及其两端的掉头区域，待收割农田包括多条中心线平行的田垄和垄间通道，且田垄与垄间通道间隔分布，起点和终点均布置在垄间通道两端的掉头区域；

识别单元，其用于在收割机行驶到起点后，根据收割机在起点采集到的待收割农田的图像，确定单个田垄和垄间通道，找到距离收割机所在位置最近的田垄，如果识别出最近的田垄有作物，则确定最近的田垄为将要收割的田垄，将与最近的田垄相邻的田垄通道作为目标田垄通道；

位姿调整单元，其用于选出目标田垄通道后，控制收割机行驶到距离目标田垄通道最近的掉头区域，调整收割机宽度，进行位姿调整，直至位姿达到预设标准；

路径更新单元，其用于将收割机的当前位置更新为起点，根据收割机的起点、终点和收割机宽度，更新全局路径；

局部路径生成单元，其用于按照更新后的全局路径，规划局部路径，并进行收割；

决策单元，其用于在行驶到当前轮收割的终点后，行驶到更新后的全局路径中的下一轮收割的起点。

7.如权利要求6所述的基于视觉的无人驾驶收割机自适应收割装置，其特征在于，识别单元具体包括：

垄间通道像素特征点获取子单元，其用于根据识别出的待收割农田的当前图像中单个田垄和垄间通道，得到当前图像视角下垄间通道的像素特征点坐标集合；

坐标转换子单元，其用于根据垄间通道的像素特征点集合，将像素特征点集合通过图像坐标系与自车坐标系之间的转换矩阵G、以及收割机的GPS位置，转换为全局坐标系下的平行线集合；

田垄宽度计算子单元，其用于选择平行线集合中任意相邻的第一条线和第二条线，过第一条线上第一点做垂直于第一条线的垂线，垂线与第二条线的交点为第二点，第一点和第二点连接成的第一直线段的长度为田垄的实际宽度w；

单轮收割田垄数量确定子单元，其用于根据收割机单轮可同时收割的最大宽度为W和田垄的实际宽度w，获得单轮可同时收割的田垄条数为N＝W/w；

目标田垄通道确定子单元，其用于在单轮可同时收割的N条田垄中，将第1条田垄外的第一垄间通道(A)和第N条田垄外的第N垄间通道(B)，作为目标田垄通道。

8.如权利要求7所述的基于视觉的无人驾驶收割机自适应收割装置，其特征在于，位姿调整单元具体包括：

收割机基准线确定子单元，其用于沿第一垄间通道(A)和第N垄间通道(B)垂直方向任意画一条线，该线与第一垄间通道(A)和第N垄间通道(B)的两个交点形成线段d，线段d的中点为O，经过中点O做线段d的垂直线p，使垂直线p与第一垄间通道(A)和第N垄间通道(B)平行，将垂直线p作为收割机的基准线；

朝向调整子单元，其用于在收割机与基准线尚未对齐的情形下，过收割机的中心点和中点O，得到直线i，调整收割机的位姿，直到直线i和垂直线p重合，原地将收割机的朝向调整至与直线i平行；

位姿对齐判断子单元，其用于判断第1条田垄和第N条田垄与图像的边界连接后形成的闭合区域的面积是否大于阈值，如果是，则判定位姿达到预设标准。

9.如权利要求7或8所述的基于视觉的无人驾驶收割机自适应收割装置，其特征在于，路径更新单元具体包括：

收割的轮数计算子单元，其用于根据收割机的当前的GPS位置(Xz,Yz,Zz)，收割机收割宽度d，以及待收割农田垂直田垄方向上的总长度L，计算出需要沿田垄方向收割的轮数M＝L/l，l＝N*w；

全局路径更新子单元，其用于每完成一轮田垄的收割，则在掉头区域沿垂直于田垄长度的方向往前行驶al距离后，以自车当前位置为起点，对剩下路径的全局路径重新更新，a为预设倍数。

10.如权利要求5所述的基于视觉的无人驾驶收割机自适应收割装置，其特征在于，选定的路线模式包括S形状和8字形状。