CN109814551A - 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法 - Google Patents

谷物处理自动驾驶***、自动驾驶方法以及自动识别方法 Download PDF

Info

Publication number
CN109814551A
CN109814551A CN201910007336.3A CN201910007336A CN109814551A CN 109814551 A CN109814551 A CN 109814551A CN 201910007336 A CN201910007336 A CN 201910007336A CN 109814551 A CN109814551 A CN 109814551A
Authority
CN
China
Prior art keywords
described image
cereal
region
image
automated driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910007336.3A
Other languages
English (en)
Inventor
吴迪
张虓
王清泉
童超
沈永泉
王波
范顺
陈睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fengjiang Intelligent Agriculture Co Ltd
Original Assignee
Fengjiang Intelligent Agriculture Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fengjiang Intelligent Agriculture Co Ltd filed Critical Fengjiang Intelligent Agriculture Co Ltd
Priority to CN201910007336.3A priority Critical patent/CN109814551A/zh
Publication of CN109814551A publication Critical patent/CN109814551A/zh
Priority to CA3125700A priority patent/CA3125700C/en
Priority to AU2019419580A priority patent/AU2019419580B2/en
Priority to RU2021122066A priority patent/RU2763451C1/ru
Priority to EP19907809.8A priority patent/EP3907576A4/en
Priority to JP2021539091A priority patent/JP2022517747A/ja
Priority to KR1020217024305A priority patent/KR102683902B1/ko
Priority to PCT/CN2019/107537 priority patent/WO2020140492A1/zh
Priority to US17/366,409 priority patent/US20210365037A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1274—Control or measuring arrangements specially adapted for combines for drives
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
    • A01D41/12—Details of combines
    • A01D41/127—Control or measuring arrangements specially adapted for combines
    • A01D41/1278—Control or measuring arrangements specially adapted for combines for automatic steering
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/15—Agricultural vehicles
    • B60W2300/158—Harvesters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Environmental Sciences (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

本发明提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***包括一谷物处理主机、一图像获取装置、以及一图像处理***。所述图像获取装置被设置于所述谷物处理主机，所述图像获取装置获取所述谷物处理主机周围的至少一图像，其中所述图像处理***基于所述图像获取装置获取的图像，利用图像分割识别技术识别出所述图像中的区域，其中所述谷物处理主机根据所述图像处理***识别出所述区域自动地控制驾驶。

Description

谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
技术领域
本发明涉及农业机械自动驾驶领域，尤其涉及一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法。
背景技术
农业机械是指在作物种植业和畜牧业生产过程中，以及农、畜产品初加工和处理过程中所使用的各种机械，其中农业机械的种类繁多，比如播种设备、翻地设备、靶地设备、旋耕设备、植保设备、收割设备等。农业机械在运行过程中需要兼顾机械设备的行走***和作业***，也就是说，所述农业机械设备行走在农田时，需要根据农田的作业情况调整农业机械设备的运行路线。
这种需要实时判断农田作业情况和农田中作物生长情况，来操作农业机械设备的运行和调整作业***的运行情况的复杂情况，现在只能通过具有专业技术的机械操作人员完成。由于驾驶过程中需要考虑复杂的作业环境，因此现有技术的农业设备还需要操作人员基于实时的农田作物的信息调整所述农业机械设备的运行。人工操作设备运行会往往会因为判断错误或操作的失误而导致较高的机械设备故障率，和不能很好的完成作业任务。
现有技术的农业机械设备的智能化程度较低，还不能够摆脱驾驶人员实现农业设备的自动驾驶操作。基于PTK的卫星定位的方式，能够获得高精度的卫星定位信息，但是对于自动驾驶的农业机械设备，特别是收割机设备，在作业时，更重要的是需要判断当前农田中作物的收割区域、未收割区域、以及农田的边界区域等信息，才能准确地操作或调整所述农业机械设备的运行。此外，采用PTK的卫星定位的方式对于农业设备的性能要求较高，所需要的制造成本和维护成本相对来说都很高昂，因此，这种现有技术的自动驾驶的定位方式不适用于当前的农业机械设备的自动驾驶模式中。
发明内容
本发明的一个主要优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***基于图像对农田的区域进行区域划分，以便于为自动驾驶***提供技术支持。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***基于获取的图像，划分农田的区域为未作业区域、已作业区域、以及田边界区域，以供所述自动驾驶***根据划分的区域选择行驶路线。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***为收割机作业设备划分农田的区域为未经收割的区域、已经收割过的区域以及田边界区域，以供所述收割机作业设备根据划分的区域类型规划出所述收割机作业设备的作业路线。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***的图像处理***利用图像分割识别技术识别获取的所述图像的图像区域，和划分农田的所述未作业区域、所述已作业区域、以及所述田边界区域，以及划分相邻两区域之间的边界。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***实时地获取周围的图像信息，和将获取的图像信息传输至所述图像处理***，以便在行驶过程中实时地调整所述自动驾驶***识别的区域界线。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***实时地获取车辆周围的图像信息，并基于获取的图像信息实时地更新所述图像识别***所识别的所述农田的区域和边界，以便准确地为车辆行驶和作业提供技术支持。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***的所述图像处理***基于获取的视觉图形信息，利用图像分割技术识别出图像中的所述未作业区域、所述已作业区域、以及所述田边界区域，以及划分相邻两区域的边界。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***不需要高精度的卫星定位，降低了所述自动驾驶设备的生产制造难度，同时也降低了设备的维护成本。
本发明的另一个优势在于提供一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***基于所述图像处理***输出的区域划分信息，进行路径规划，以实现自动驾驶和自动驾驶作业。
本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。
依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一基于视觉的农田区域自动识别方法，适于一谷物处理自动驾驶***对农田区域进行划分和识别，其中所述自动识别方法包括如下步骤：
(a)获取所述谷物处理主机周围农田的至少一图像；和
(b)分割所述图像为多个像元区域，和基于图像分割识别技术识别出所述图像的区域。
根据本发明的一实施例，在上述自动识别方法的步骤(a)中，基于所述谷物处理自动驾驶***的位置，实时地拍摄所述谷物处理自动驾驶***周围的图像信息。
根据本发明的一实施例，在上述自动识别方法的步骤(b)中，由一图像处理***利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。
根据本发明的一实施例，在上述自动识别方法的步骤(b)中，进一步包括如下步骤：
(b.1)分割所述图像为多个所述像元区域，和归一化所述像元区域的像素值为一数组；
(b.2)提取每一数组对应的所述像元区域的特征；以及
(b.3)基于所述像元区域对应的特征，输出所述图像的分类标签。
根据本发明的一实施例，在上述自动识别方法的步骤(b.3)中，所述分类标签对应于所述未作业区域、所述已作业区域、以及所述田边界区域。
根据本发明的一实施例，在上述自动识别方法的步骤(b)中，所述图像处理***利用深度学习的卷积神经网络算法分割所述图像，和划分所述图像的区域。
根据本发明的一实施例，所述自动识别方法进一步包括步骤：
(c)对比所述图像处理***识别出的区域和区域边界范围是否保持一致，若不能保持一致，则调整所述图像对应的区域范围和区域边界；若保持一致，则保持所述区域范围和区域边界不变。
根据本发明的另一方面，本方进一步提供一谷物处理自动驾驶***的自动驾驶方法，其中所述自动驾驶方法包括如下方法步骤：
(I)获取至少一图像，和识别所述图像中农田的区域；和
(II)基于所述农田的区域识别的信息，控制所述谷物处理主机的行驶。
根据本发明的一实施例，在上述自动驾驶方法步骤(I)进一步包括如下步骤：利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。
根据本发明的一实施例，在上述自动驾驶方法步骤(II)进一步包括步骤：
获取所述谷物处理主机的定位信息；和
基于所述定位信息和所述农田的识别信息，更新所述导航信息的导航信息。
根据本发明的一实施例，在上述自动驾驶方法步骤(II)中，根据所述谷物处理主机的定位信息、所述农田的区域规划信息、以及所述导航信息，藉由一驾驶控制***控制一车辆主体行驶。
根据本发明的一实施例，在上述自动驾驶方法步骤(II)中，所述驾驶控制***控制所述车辆主体行驶在所述未作业区域中进行作业任务。
根据本发明的另一方面，本发明进一步提供一谷物处理自动驾驶***，包括：
一谷物处理主机；
一图像获取装置，其中所述图像获取装置被设置于所述谷物处理主机，所述图像获取装置获取所述谷物处理主机周围的至少一图像；以及
一图像处理***，其中所述图像处理***基于所述图像获取装置获取的图像，利用图像分割识别技术识别出所述图像中的区域，其中所述谷物处理主机根据所述图像处理***识别出所述区域自动地控制驾驶。
根据本发明的一实施例，所述图像获取装置为设置于所述谷物处理主机前侧的一摄像装置，其中所述图像获取装置通过拍照的方式获取所述谷物处理主机前方的图像。
根据本发明的一实施例，所述图像处理***基于所述图像，识别出所述图像中的至少一已作业区域、至少一未作业区域、以及至少一田边界区域。
根据本发明的一实施例，所述图像处理***进一步包括：
一图像分割模块，其中所述图像分割模块分割所述图像为多个像元区域，其中每一所述像元区域包括至少一像素单元；
一特征化模块，其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征；以及
一区域划分模块，其中所述区域规划模块根据所述像元区域的特征识别和划分所述图像的区域。
根据本发明的一实施例，所述特征化模块进一步包括一像元处理模块，其中所述像元处理模块归一化处理所述像元区域中所述像素单元为一数组。
根据本发明的一实施例，所述谷物处理自动驾驶***进一步包括一定位装置和一导航***，所述定位装置和所述导航***被设置于所述谷物处理主机，其中所述定位装置获取所述谷物处理主机的位置信息，其中所述导航***为所述谷物处理主体提供导航信息。
根据本发明的一实施例，所述谷物处理主机进一步包括：
一车辆主体，其中所述车辆主体提供行驶和作业动力；
一作业***，其中所述作业***被设置于所述车辆主体，藉由所述车辆主体驱动所述作业***作业；
一驾驶控制***，其中所述驾驶控制***基于所述定位装置的定位信息、导航信息以及图像的识别信息，控制所述车辆主体自动地行进和作业。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的第一较佳实施例的一谷物处理自动驾驶***的***示意图。
图2是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的图像获取示意图。
图3A是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***获取的一种图像的示意图。
图3B是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***获取的另一种图像的示意图。
图3C是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***获取的另一种图像的示意图。
图4是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的一图像处理***划分识别所述图像区域的示意图。
图5A是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的所述图像处理***分割所述图像区域的示意图。
图5B是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的所述图像处理***的***框图。
图6是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的所述图像处理***提取所述图像区域特征识别的示意图。
图7是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的所述图像处理***输出所述图像的区域划分示意图。
图8是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的所述图像处理***输出所述图像的区域划分的界线划分变化示意图。
图9是根据本发明的上述较佳实施例的所述谷物处理自动驾驶***的自动驾驶场景示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参照本发明说明说明书附图之图1至图9，依照本发明第一较佳实施例的一谷物处理自动驾驶***、自动驾驶方法以及自动识别方法，其中所述谷物处理自动驾驶***可被实施为具有谷物处理功能的农作物收割机设备、农作物播种设备、农作物翻耕设备、以及农作物植保设备等。可以理解的是，本发明中所述的谷物处理自动驾驶设备的类型在此仅仅作为示例性质的，而非限制。因此其他类型的农作物设备亦可应用于此。所述谷物处理自动驾驶***获取周围的至少一图像，和基于视觉地识别处理所述图像中的农田的区域类型，并划分所述图像中的农田的各种区域类型和边界。
所述谷物处理自动驾驶***根据划分的各个区域类型和边界，其中所述谷物处理自动驾驶***划分农田的区域类型包括至少一已作业区域100、至少一未作业区域200、以及至少一田边界区域300，并且所述谷物处理自动驾驶***根据划分的区域类型由导航***规划出车辆的行走路线，以实现无人自动驾驶和无人自动驾驶地作业。
值得一提的是，自动驾驶汽车，在自动驾驶模式下为识别获取车辆行走的路线，需要获取精确的车辆定位信息，通常需要高精度的卫星定位信息，并且所述自动驾驶汽车需时刻更新道路中存在的障碍物信息、路面车辆信息、以及路面行人等信息，以在高速运行状态下实现自动驾驶功能。本发明的所述谷物处理自动驾驶***获取的图像是对应于农田中的农作物谷物的图像数据信息，其中所述图像是基于车辆当前位置获取的所述车辆周边的图像。所述谷物处理自动驾驶***不需要太高精度的卫星定位信息，只需要普通米级精度的卫星定位(GPS定位或者北斗定位等)。相应地，所述谷物处理自动驾驶***所获取和处理的图像与自动驾驶汽车不同，因此，所述谷物处理自动驾驶***所形成的路径规划和驾驶方式也不相同。可以理解的是，本发明的所述谷物处理自动驾驶***基于视觉的识别所述农田的区域和自动驾驶功能与自动驾驶汽车的识别模式不同。
如图1和图2所示，所述谷物处理自动驾驶***获取周边的至少一图像，其中所述谷物处理自动驾驶***根据获取得到的所述图像识别划分出所述农田对应的区域类型和区域之间的界线。所述谷物处理自动驾驶***通过定点拍照、摄像，移动地拍照等方式获取所述谷物处理自动驾驶***周边的所述图像。可以理解的是，所述谷物处理自动驾驶***获取图像的方式在此仅仅作为示例性质的，而非限制。所述谷物处理自动驾驶***包括一谷物处理主机10和至少一图像获取装置20，其中所述图像获取装置20获取所述谷物处理主机10周边的至少一所述图像。
优选地，所述图像获取装置20被设置于所述谷物处理主机10，其中所述图像获取装置20通过拍照或视频拍摄的方式获取所述谷物处理主机10周边的所述图像。更优选地，所述图像获取装置20被设置于所述谷物处理主机10的前方，其中所述图像获取装置20能够实时地获取所述谷物处理主机10前方的图像，其中所述谷物处理主机10基于所述图像获取装置20拍摄的图像信息所识别划分出的区域设定行驶路线。值得一提的是，所述图像获取装置20拍摄的图像是基于所述谷物处理主机10视野范围内的图像。换言之，所述图像获取装置20获取基于谷物处理主机10视野方向的图像，根据所述图像获取装置20被安装至所述谷物处理主机10的位置调整所述谷物处理主机10的行驶方向。
更多地，所述图像获取装置20拍摄所述谷物处理主机10行驶方向的天地的视觉，其中所述图像可以是被拍摄得到的二维平面图像或三维立体图像。可以理解的是，所述图像获取装置20拍摄得到的图像的类型在此仅仅作为示例性质的，而非限制。
值得一提的是，所述谷物处理主机10能够在行驶过程中完成农作物谷物的处理，比如收割、耕种、翻耕、植保作业等。示例性地，在本发明的第一较佳实施例中，所述谷物处理主机10被实施为一收割机设备，其中所述谷物处理主机10被控制地行驶至农田的未作业区域200进行收割作业，以收割所述未作业区域200内的农作物，比如水稻，小麦，玉米等。所述谷物处理主机10根据所述图像获取装置20获取的图像划分出的区域进行田间的自动驾驶，或无人自动驾驶等。可以理解的是，所述谷物处理主机10的类型在此仅仅作为示例性质的，而非限制。
如图3A至图3C所示，所述谷物处理主机10在行驶过程中，由所述图像获取装置20实时地获取所述谷物处理主机10周边的图像。图3A示出了所述谷物处理主机10作为一谷物收割机时，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是否收获情况分为至少一未收割区域100a，至少一已收割区域200a，以及至少一田边界区域300a，其中所述已收割区域200a是已经收割农作物的区域，其中所述已收割区域200a中原有的农作物被收割。所述未收割区域100a是还农作物还存在的区域，其中所述未收割区域100a中还存在生长的农作物。所述田边界区域300a是农田中分隔农作物间隔的地垄、农田周边的外边界、以及农田中存在障碍物区域，其中所述田边界区域300a不被种植农作物。
图3B示出了所述谷物处理主机10作为一谷物耕种机械时，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是否耕种分为至少一未耕种区域100b，至少一已耕种区域200b，以及至少一田边界区域300b，其中所述未耕种区域100b代表还未耕种农作物的区域，所述已耕种区域200b代表已经被耕种农作物的区域，所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。
图3C示出了所述谷物处理主机10作为一谷物植保设备时，比如农药喷洒设备，所述图像获取装置20拍摄的所述图像。农田中的区域根据所述谷物是够已经喷药分为至少一未喷药区域100c，至少一以喷药区域200c，以及至少一田边界区域300c。所述未喷药区域100c代表还未农作物还未喷洒农药的区域，所述以喷药区域200c代表已经被喷洒农药的农作物区域，所述田边界300b是间隔农作物种植的地垄和农田周边的外边界、以及农田中存在障碍物区域。
如图1和图4所示，所述图像获取装置20获取的图像被利用图像分割识别技术识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300，并区分所述区域之间的界线。所述谷物处理自动驾驶***进一步包括一图像处理***30，其中所述图像处理***30基于所述图像获取装置20获取的所述农田的所述图像，利用图像分割识别技术从图像中识别出所述未作业区域100、所述已作业区域200、以及所述田边界区域300。可以理解的是，所述图像处理***30利用图像分割识别技术识别所述图像中的区域和边界被用于表示所述谷物处理主机10行驶前方的所述农田的区域和边界。基于所述图像处理***30利用图像分割识别技术识别出的所述区域和边界，所述谷物处理主机10被控制地在农田中的未作业区域行驶和进行作业。比如收割机设备，被设置于所述收割机设备前端的所述图像获取装置20获取收割机设备前方的农田的图像，其中所述图像获取装置20拍摄的图像被所述图像处理***30分割识别，以识别划分出所述收割机设备行驶方向的农田的所述未作业区域100、所述已作业区域200、以及所述田边界区域300。所述谷物处理主机10即收割机设备的主机基于所述图像处理***30识别出的区域和边界规划车辆行驶路径和收割作业。
值得一提的是，所述图像处理***30选自基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等其中的任一分割识别方法对所述图像获取装置20获取的图像进行分割识别，以识别出所述图像中的区域和边界。优选地，所述图像处理***30利用深度学习算法对所述图像分割识别和对所述图像进行区域划分和边界的限定。换言之，所述图像处理***30利用深度学习算法识别所述图像中对应的农田的区域和边界，以供所述谷物处理主机根据识别划分的区域和边界行驶和进行作业。可更优选地，所述图像处理***30利用的深度学习算法为卷积神经网络算法的图像分割识别技术从图像中识别出对应农田中的所述未作业区域100、已作业区域200、以及所述田边界区域300。
值得一体地是，所述图像处理***30利用的处理算法在此仅仅作为示例性质的，而非限制。因此，所述图像处理***30还可利用其它算法对获取的图像进行分割识别，以识别出图像中农田的区域和边界。
如图5A和图6所示，所述图像处理***30对所述图像获取装置20获取的所述图像分割成为多个像元区域301，其中每一所述像元区域301内包含至少一像素单元。可以理解的是，所述图像对应于所述谷物处理主机10周围的区域，相应地，所述图像的所述像元区域301对应于被拍摄的农田中的特定区域的农田或农作物的图像信息。对分割形成的每一所述像元区域301进行归一化处理，使得所述像元区域301的所述像素单元归一化为与像素值对应大小的一数值或数组。换言之，所述图像处理***30将分割形成的所述像元区域301归一化为对应的数值或数组，以供所述图像处理***提取图像的特征，和对区域的划分。
所述图像处理***30基于每一所述像元区域301所对应的数组，提取所述像元区域301对应的图像特征。所述图像处理***30根据所述像元区域301对应的所述数组得出所述像元区域301对应的图像特征。所述图像处理***30利用卷积神经网络算法，比如二维卷积神经网络时，所述卷积神经网络的输入层对应输入所述像元区域301中对应的二维数组或三维数组。所述卷积神经网络的隐含层对输入层的数组进行特征提取，和在特征提取后进行特征选择和信息过滤。所述卷积神经网络基于所述数组对应的特征输出所述像元区域301的一分类标签，其中所述分类标签分别对应所述未作业区域100、已作业区域200、以及所述田边界区域300。
如图6和图7所示，所述图像处理***30通过提取所述像元区域301对应数组的特征，识别所述像元区域301对应的区域特征，其中所述像元区域301对应的特征主要包括有农作物植株的高度特征、农田中农作物植株的间隔、农作物颜色、农田土地颜色、农作物种类特征、农田土地特征、农作物颗粒饱满程度、农作物颗粒数量等。所述图像处理***30根据提取特征输出对应像元区域301的一分类标签，其中所述分类标签基于所述特征信息对应地标识出所述像元区域301对应的区域类型和边界界线。
如图5B所示，所述图像处理***30包括一图像分割模块31、一特征化模块32、以及一区域划分模块33。所述图像分割模块31获取所述图像获取模块20拍摄的图像，和对图像分割处理形成多个所述像元区域301，其中每一所述像元区域301对应包括至少一像素单元。所述特征化模块32利用深度学习算法提取所述像元区域301对应的特征类型，和对特征选择，以及信息过滤。所述区域划分模块33基于所述特征化模块32提取的所述像元区域301对应的特征，对所述图像划分，以生成对应所述未作业区域100、已作业区域200、以及所述田边界区域300的分类标签。
优选地，所述图像分割模块31分割所述图像为多个所述像元区域301，其中每一所述像元区域301的大小、形状和范围相同。可以理解的是，所述图像分割模块31还可根据所述图像像素阈值大小进行分割，换言之，所述退昂分割模块31分割的所述像元区域301的大小、形状和范围可不同。更优选地，所述图像处理***30的所述特征化模块32采用卷积神经网络算法时，所述图像分割模块31分割的所述像元区域301为单个像素单元。
所述特征化模块32包括一像元处理模块321、一特征提取模块322、以及一特征输出模块323，其中所述像元处理模块321处理所述像元区域301中像素单元对应的数组。换言之，所述像元处理模块321将所述像元区域301归一化为适于处理的数组。所述特征提取模块322输入所述像元处理模块321处理的所述像元区域301的数组后提取所述数组对应的特征类型，和对特征进行选择，以及信息过滤，以保留可用数据，排出干扰数据，进而使得特征提取结果更准备。所述特征输出模块323输出由所述特征提取模块322结合所述特征提取模块322提取的特征，藉由所述区域划分模块33结合所述特征输出模块323输出的特征，生成对应区域的所述分类标签。
所述区域划分模块33基于所述特征化模块32提取得到的所述像元区域301对应的特征，划分所述图像对应的各个区域，和设定区域边界。相应地，所述区域划分模块33进一步包括一区域分割模块331和一边界划分模块332，其中所述区域分割模块331根据所述像元区域301的特征划分不同的区域，其中所述边界划分模块332划分所述区域对应的边界范围，以便于认定区域的范围。
所述谷物处理自动驾驶***的所述谷物处理主机10在行驶过程中，由所述图像获取装置20实时地获取所述谷物处理主机10前方视野范围内的图像。相应地，所述图像处理***30实时地获取所述图像获取装置20拍摄的图像，和利用图像分割识别技术识别出所述图像对应于农田的区域划分和区域边界范围。当所述图像处理***30识别出的区域划分和区域边界范围不能与之前的区域边界范围保持一致时，调整所述图像对应的区域划分和区域边界范围。
如图8所示，所述谷物处理主机10在行驶作业过程中，不可避免的会产生振动，和行驶方向偏移等问题。当所述谷物处理主机10行驶方向偏移，或因为车辆的震动而造成的区域划分变化时，所述图像处理***30实时地更新所述图像对应的区域划分和区域边界范围。
如图1所示，所述谷物处理自动驾驶***进一步还包括一定位装置40和一导航***50，其中所述定位装置40被设置于所述谷物处理主机10，以获取所述谷物处理主机10的位置定位信息。优选地，所述定位装置40利用卫星定位信息获取所述谷物处理主机10的位置信息，比如GPS或北斗定位装置等。所述导航***50被设置于所述谷物处理主机10，其中所述导航***50对所述谷物处理主机10的行驶进行导航，以供所述谷物处理主机10基于利用所述定位装置40的定位信息和所述图像处理***30得到的区域规划信息，以及所述导航***50的导航信息，实现无人自动驾驶和作业。
可以理解的是，所述图像处理***30基于所述图像而得到的农田的区域划分和区域边界范围信息等被实时地更新至所述导航***50，以更新所述导航***50的导航信息。优选地，所述导航***50被实施为惯性组合导航***。可以理解的是，所述导航***50的类型在此仅仅作为示例性质的，而非限制，因此，所述导航***50还可以被实施为其他类型的导航装置。
相应地，所述谷物处理自动驾驶***的所述谷物处理主机10包括一车辆主体11，设置于所述车辆主体11的一作业***12，以及一驾驶控制***13，其中所述作业***12被所述车辆主体11带动，和实现谷物处理的作业，比如收割作业。所述驾驶控制***13控制所述车辆主体11的行驶和控制所述作业***12的作业。值得一提的是，所述驾驶控制***13具有一无人驾驶模式和一操作驾驶模式。当所述谷物处理自动驾驶***处于所述无人驾驶模式时，所述驾驶控制***13控制所述车辆主体11自动地运行和所述作业***12的作业。相应地，当谷物处理自动驾驶***处于所述操作驾驶模式时，所述驾驶控制***允许驾驶人员通过人工操作的方式操作所述车辆主体11的运行和控制所述作业***的作业。
本发明说明书附图之图9示出了所述谷物处理自动驾驶***在农田中无人驾驶和收割作业的实施方式。所述谷物处理主机10的所述驾驶控制***13处于所述无人驾驶模式时，所述驾驶控制***13获取所述定位装置40提供的所述车辆主体11的定位信息、所述导航***50提供的导航信息、以及所述图像处理***30提供的区域识别信息，进而控制所述车辆主体11行驶在所述农田的所述未作业区域100，以完成谷物的收割作业。所述谷物处理主机10在行驶作业过程中，所述图像获取装置20实时地获取所述车辆主体11行驶前方的所述图像，其中所述图像被所述图像处理***30利用图像分割识别技术识别出区域范围和边界范围。当所述图像处理***30得到的区域划分和边界范围与之前的区域划分和边界范围不一致时，所述图像处理***30替换原有的区域划分和边界范围，和更新所述导航***50的导航数据，以使所述驾驶控制***13获取新的导航信息调整行驶和作业路线。
依照本发明的另一方面，本发明进一步提供一自动识别农田区域和边界的方法，适于所述谷物处理自动驾驶***对农田区域进行划分和识别，进而便于所述谷物处理自动驾驶***基于农田区域的识别进行无人驾驶和收割作业。所述自动识别方法包括如下方法步骤：
(a)获取所述谷物处理主机10周围农田的至少一图像；和
(b)利用图像分割技术分割所述图像，和识别划分所述图像的区域。
在上述自动识别方法的步骤(a)中，基于所述谷物处理主机10的位置和行驶方向，实时地拍摄所述谷物处理主机10周围的图像信息。在上述自动识别方法的步骤(b)中，所述图像处理***利用图像分割技术分割所述图像信息，和识别划分所述图像的区域为所述未作业区域100、所述已作业区域200、以及所述田边界区域300。上述自动识别方法的步骤(b)中，进一步包括如下步骤：
(b.1)分割所述图像为多个所述像元区域301，和归一化所述像元区域301的像素值为一数组；
(b.2)提取每一数组对应的所述像元区域301的特征；以及
(b.3)基于所述像元区域301对应的特征，输出所述图像的分类标签。
在上述自动识别方法的步骤(b.3)中，所述分类标签对应于所述未作业区域100、所述已作业区域200、以及所述田边界区域300。
上述自动识别方法的步骤(b)中，所述图像处理***30利用深度学习的卷积神经网络算法分割所述图像，和识别划分所述图像的区域。
上述自动识别方法进一步包括：步骤(c)对比所述图像处理***30识别出的区域划分和区域边界范围与之前的区域边界范围是否保持一致，若不能保持一致，则调整所述图像对应的区域划分和区域边界范围，若能够保持一致，则保持区域划分和边界范围不变。
依照本发明的另一方面，本发明进一步提供一谷物处理自动驾驶***的自动驾驶方法，其中所述自动驾驶方法包括如下方法步骤：
(I)获取至少一图像，和识别所述图像中农田的区域和田边界；和
(II)基于所述农田的区域识别信息，控制所述谷物处理主机10的行驶。
上述自动驾驶方法步骤(I)包括本发明提供的所述自动识别农田区域和边界的方法，其中所述驾驶控制***13基于所述图像处理***30识别的区域信息和田边界控制所述谷物处理主机10的驾驶和作业。
上述自动驾驶方法步骤(II)进一步包括步骤：
获取所述谷物处理主机10的定位信息；和
基于所述定位信息和所述农田的识别信息，更新所述导航***的导航信息。
相应地，在上述方法步骤(II)中，所述驾驶控制***13根据所述谷物处理主机10的定位信息、所述图像处理***30得到的所述农田的区域规划信息、以及所述导航信息，控制所述谷物处理主机10的所述车辆主体11行驶。
优选地，所述驾驶控制***13控制所述车辆主体11行驶在所述未作业区域100中进行作业任务。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (20)

1.一自动识别方法，适于一谷物处理自动驾驶***识别农田区域进行，其特征在于，其中所述自动识别方法包括如下步骤：
(a)获取所述谷物处理主机周围农田的至少一图像；和
(b)分割所述图像为多个像元区域，和基于图像分割识别技术识别出所述图像的区域。
2.根据权利要求1所述的自动识别方法，其中在上述自动识别方法的步骤(a)中，基于所述谷物处理自动驾驶***的位置，实时地拍摄所述谷物处理自动驾驶***周围的图像信息。
3.根据权利要求1所述的自动识别方法，其中在上述自动识别方法的步骤(b)中，由一图像处理***利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。
4.根据权利要求3所述的自动识别方法，其中在上述自动识别方法的步骤(b)中，进一步包括如下步骤：
(b.1)分割所述图像为多个所述像元区域，和归一化所述像元区域的像素值为一数组；
(b.2)提取每一数组对应的所述像元区域的特征；以及
(b.3)基于所述像元区域对应的特征，输出所述图像的分类标签。
5.根据权利要求4所述的自动识别方法，其中在上述自动识别方法的步骤(b.3)中，所述分类标签对应于所述未作业区域、所述已作业区域、以及所述田边界区域。
6.根据权利要求5所述的自动识别方法，其中在上述自动识别方法的步骤(b)中，所述图像处理***利用深度学习算法分割所述图像，和识别划分所述图像的区域。
7.根据权利要求3所述的自动识别方法，其中所述自动识别方法进一步包括步骤：
(c)对比所述图像处理***识别出的区域和区域边界范围是否保持一致，若不能保持一致，则调整所述图像对应的区域范围和区域边界；若保持一致，则保持所述区域范围和区域边界不变。
8.一谷物处理自动驾驶***的自动驾驶方法，其特征在于，其中所述自动驾驶方法包括如下方法步骤：
(I)获取至少一图像，和识别所述图像中农田的区域；和
(II)基于所述农田的区域识别的信息，控制所述谷物处理主机的行驶。
9.根据权利要求8所述的自动驾驶方法，其中在上述自动驾驶方法步骤(I)进一步包括如下步骤：利用图像分割技术分割所述图像信息，和划分所述图像的区域为未作业区域、已作业区域、以及田边界区域。
10.根据权利要求9所述的自动驾驶方法，其中在上述自动驾驶方法步骤(II)进一步包括步骤：
获取所述谷物处理主机的定位信息；和
基于所述定位信息和所述农田的识别信息，更新所述导航信息的导航信息。
11.根据权利要求10所述的自动驾驶方法，其中在上述自动驾驶方法步骤(II)中，根据所述谷物处理主机的定位信息、所述农田的区域规划信息、以及所述导航信息，藉由一驾驶控制***控制一车辆主体行驶。
12.根据权利要求11所述的自动驾驶方法，其中在上述自动驾驶方法步骤(II)中，所述驾驶控制***控制所述车辆主体行驶在所述未作业区域中进行作业任务。
13.一谷物处理自动驾驶***，其特征在于，包括：
一谷物处理主机；和
一图像处理***，其中所述图像处理***获取至少一农田的图像，利用图像分割识别技术识别出所述图像中的区域，其中所述谷物处理主机根据所述图像处理***识别出所述区域自动地控制驾驶。
14.根据权利要求13所述的谷物处理自动驾驶***，其中所述谷物处理自动驾驶***进一步包括一图像获取装置，其中所述图像获取装置被设置于所述谷物处理主机，所述图像获取装置获取所述谷物处理主机周围的至少一图像，和将获取的所述图像传输至所述图像处理***，以供所述图像处理***识别出所述图像中的区域信息。
15.根据权利要求14所述的谷物处理自动驾驶***，其中所述图像获取装置为设置于所述谷物处理主机前侧的一摄像装置，其中所述图像获取装置通过拍照的方式获取所述谷物处理主机前方的图像。
16.根据权利要求14所述的谷物处理自动驾驶***，其中所述图像处理***基于所述图像，识别出所述图像中的至少一已作业区域、至少一未作业区域、以及至少一田边界区域。
17.根据权利要求16所述的谷物处理自动驾驶***，其中所述图像处理***进一步包括：
一图像分割模块，其中所述图像分割模块分割所述图像为多个像元区域，其中每一所述像元区域包括至少一像素单元；
一特征化模块，其中所述特征化模块基于所述像元区域的所述像素单元提取每一像元区域对应的特征；以及
一区域划分模块，其中所述区域规划模块根据所述像元区域的特征识别和划分所述图像的区域。
18.根据权利要求17所述的谷物处理自动驾驶***，其中所述特征化模块进一步包括一像元处理模块，其中所述像元处理模块归一化处理所述像元区域中所述像素单元为一数组。
19.根据权利要求14至18任一所述的谷物处理自动驾驶***，其中所述谷物处理自动驾驶***进一步包括一定位装置和一导航***，所述定位装置和所述导航***被设置于所述谷物处理主机，其中所述定位装置获取所述谷物处理主机的位置信息，其中所述导航***为所述谷物处理主体提供导航信息。
20.根据权利要求19所述的谷物处理自动驾驶***，其中所述谷物处理主机进一步包括：
一车辆主体，其中所述车辆主体提供行驶和作业动力；
一作业***，其中所述作业***被设置于所述车辆主体，藉由所述车辆主体驱动所述作业***作业；
一驾驶控制***，其中所述驾驶控制***基于所述定位装置的定位信息、导航信息以及图像的识别信息，控制所述车辆主体自动地行进和作业。
CN201910007336.3A 2019-01-04 2019-01-04 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法 Pending CN109814551A (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201910007336.3A CN109814551A (zh) 2019-01-04 2019-01-04 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
CA3125700A CA3125700C (en) 2019-01-04 2019-09-24 Automatic driving system for grain processing, automatic driving method and automatic identification method
AU2019419580A AU2019419580B2 (en) 2019-01-04 2019-09-24 Grain processing self-driving system, self-driving method, and automatic recognition method
RU2021122066A RU2763451C1 (ru) 2019-01-04 2019-09-24 Система автоматического вождения для переработки зерна, способ автоматического вождения и способ автоматической идентификации
EP19907809.8A EP3907576A4 (en) 2019-01-04 2019-09-24 SELF-DRIVING CEREAL PROCESSING SYSTEM, SELF-DRIVING METHOD AND AUTOMATIC RECOGNITION METHOD
JP2021539091A JP2022517747A (ja) 2019-01-04 2019-09-24 穀物処理自動運転システム、自動運転方法及び自動識別方法
KR1020217024305A KR102683902B1 (ko) 2019-01-04 2019-09-24 곡물처리 자동조종 시스템, 자동조종 방법 및 자동 식별 방법
PCT/CN2019/107537 WO2020140492A1 (zh) 2019-01-04 2019-09-24 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
US17/366,409 US20210365037A1 (en) 2019-01-04 2021-07-02 Automatic driving system for grain processing, automatic driving method, and automatic identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910007336.3A CN109814551A (zh) 2019-01-04 2019-01-04 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法

Publications (1)

Publication Number Publication Date
CN109814551A true CN109814551A (zh) 2019-05-28

Family

ID=66603885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910007336.3A Pending CN109814551A (zh) 2019-01-04 2019-01-04 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法

Country Status (8)

Country Link
US (1) US20210365037A1 (zh)
EP (1) EP3907576A4 (zh)
JP (1) JP2022517747A (zh)
CN (1) CN109814551A (zh)
AU (1) AU2019419580B2 (zh)
CA (1) CA3125700C (zh)
RU (1) RU2763451C1 (zh)
WO (1) WO2020140492A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140492A1 (zh) * 2019-01-04 2020-07-09 丰疆智能科技股份有限公司 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
WO2021139397A1 (zh) * 2020-01-07 2021-07-15 苏州宝时得电动工具有限公司 自移动设备的控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110286670A (zh) * 2019-04-09 2019-09-27 丰疆智能科技股份有限公司 多台自动收割机的行驶路径规划***及其方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070089390A1 (en) * 2005-10-25 2007-04-26 Hendrickson Larry L Crop attribute map input for vehicle guidance
CN105761286A (zh) * 2016-02-29 2016-07-13 环境保护部卫星环境应用中心 基于多光谱遥感影像的水色异常对象提取方法及***
CN105957079A (zh) * 2016-04-28 2016-09-21 淮阴师范学院 基于Landsat OLI多光谱影像的湖泊水域信息提取方法
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN107063257A (zh) * 2017-02-05 2017-08-18 安凯 一种分离式扫地机器人及其路径规划方法
CN107798653A (zh) * 2017-09-20 2018-03-13 北京三快在线科技有限公司 一种图像处理的方法和一种装置
CN107831770A (zh) * 2017-11-07 2018-03-23 北京勇搏科技有限公司 一种无人驾驶收割机
CN108021130A (zh) * 2017-11-07 2018-05-11 北京勇搏科技有限公司 一种无人驾驶的收割机
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备
CN108960247A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像显著性检测方法、装置以及电子设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944774B2 (ja) * 1991-03-20 1999-09-06 ヤンマー農機株式会社 自動走行作業機における画像処理方法
JP3044141B2 (ja) * 1992-11-05 2000-05-22 株式会社クボタ 作物植付機用の植付け状態検出装置
JP3585948B2 (ja) * 1994-02-09 2004-11-10 富士重工業株式会社 自律走行作業車の走行制御方法
WO1998046065A1 (en) * 1997-04-16 1998-10-22 Carnegie Mellon University Agricultural harvester with robotic control
US6686951B1 (en) * 2000-02-28 2004-02-03 Case, Llc Crop row segmentation by K-means clustering for a vision guidance system
US6721453B1 (en) * 2000-07-10 2004-04-13 The Board Of Trustees Of The University Of Illinois Method and apparatus for processing an image of an agricultural field
US6819780B2 (en) * 2001-02-02 2004-11-16 Cnh America Llc Method and apparatus for automatically steering a vehicle in an agricultural field using a plurality of fuzzy logic membership functions
US7792622B2 (en) * 2005-07-01 2010-09-07 Deere & Company Method and system for vehicular guidance using a crop image
RU2307730C1 (ru) * 2006-07-06 2007-10-10 Московский государственный университет инженерной экологии Способ визуального контроля ориентации тележки мобильного робота при его перемещении по горизонтальной поверхности в заданном помещении
DE102010027775A1 (de) * 2010-04-15 2011-10-20 Robert Bosch Gmbh Navigation mit einem Gitter
KR101188891B1 (ko) * 2010-12-16 2012-10-09 (주)마이크로인피니티 이미지 도안용 잔디관리장치
CN103914070A (zh) * 2014-04-02 2014-07-09 中国农业大学 一种用于谷物联合收割机的视觉导航辅助驾驶***
CN103914071B (zh) * 2014-04-02 2017-08-29 中国农业大学 一种用于谷物联合收割机的视觉导航路径识别***
CN106687877A (zh) * 2014-07-16 2017-05-17 株式会社理光 ***，机械，控制方法和程序
EP2980669B1 (en) * 2014-08-01 2017-09-20 AGCO Corporation Determining field characterisitics using optical recognition
US10609862B2 (en) * 2014-09-23 2020-04-07 Positec Technology (China) Co., Ltd. Self-moving robot
JP2016114984A (ja) * 2014-12-11 2016-06-23 福田　敏男 作業車両
RU2608792C2 (ru) * 2015-07-16 2017-01-24 федеральное государственное бюджетное образовательное учреждение высшего образования "Алтайский государственный технический университет им. И.И. Ползунова" (АлтГТУ) Способ определения положения мобильной машины на плоскости
DE102016118227A1 (de) * 2016-09-27 2018-03-29 Claas Selbstfahrende Erntemaschinen Gmbh Bildanlysesystem für landwirtschaftliche Arbeitsmaschinen
SE541287C2 (en) * 2017-02-27 2019-06-11 Katam Tech Ab Forest surveying apparatus and method using video sequences to generate 3D models
US20190124819A1 (en) * 2017-10-31 2019-05-02 Agjunction Llc Vehicle implement control
CN107710994A (zh) * 2017-11-07 2018-02-23 北京勇搏科技有限公司 一种基于无人驾驶技术的谷物条播播种机
CN109115225A (zh) * 2018-08-31 2019-01-01 江苏大学 一种无人作业谷物联合收割机导航方法与导航装置
CN109588107A (zh) * 2018-12-29 2019-04-09 丰疆智慧农业股份有限公司 收割机及其自动驾驶方法
CN109631903A (zh) * 2019-01-04 2019-04-16 丰疆智慧农业股份有限公司 谷物处理自动驾驶***及其自动驾驶方法和路径规划方法
CN109814551A (zh) * 2019-01-04 2019-05-28 丰疆智慧农业股份有限公司 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070089390A1 (en) * 2005-10-25 2007-04-26 Hendrickson Larry L Crop attribute map input for vehicle guidance
CN105761286A (zh) * 2016-02-29 2016-07-13 环境保护部卫星环境应用中心 基于多光谱遥感影像的水色异常对象提取方法及***
CN105957079A (zh) * 2016-04-28 2016-09-21 淮阴师范学院 基于Landsat OLI多光谱影像的湖泊水域信息提取方法
CN106845424A (zh) * 2017-01-24 2017-06-13 南京大学 基于深度卷积网络的路面遗留物检测方法
CN107063257A (zh) * 2017-02-05 2017-08-18 安凯 一种分离式扫地机器人及其路径规划方法
CN108960247A (zh) * 2017-05-22 2018-12-07 阿里巴巴集团控股有限公司 图像显著性检测方法、装置以及电子设备
CN107798653A (zh) * 2017-09-20 2018-03-13 北京三快在线科技有限公司 一种图像处理的方法和一种装置
CN107831770A (zh) * 2017-11-07 2018-03-23 北京勇搏科技有限公司 一种无人驾驶收割机
CN108021130A (zh) * 2017-11-07 2018-05-11 北京勇搏科技有限公司 一种无人驾驶的收割机
CN108389614A (zh) * 2018-03-02 2018-08-10 西安交通大学 基于图像分割与卷积神经网络构建医学影像图谱的方法
CN108416307A (zh) * 2018-03-13 2018-08-17 北京理工大学 一种航拍图像路面裂缝检测方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020140492A1 (zh) * 2019-01-04 2020-07-09 丰疆智能科技股份有限公司 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
WO2021139397A1 (zh) * 2020-01-07 2021-07-15 苏州宝时得电动工具有限公司 自移动设备的控制方法

Also Published As

Publication number Publication date
CA3125700A1 (en) 2020-07-09
JP2022517747A (ja) 2022-03-10
KR20210110856A (ko) 2021-09-09
AU2019419580B2 (en) 2022-12-08
EP3907576A4 (en) 2022-09-28
AU2019419580A1 (en) 2021-08-26
CA3125700C (en) 2023-07-04
RU2763451C1 (ru) 2021-12-29
EP3907576A1 (en) 2021-11-10
WO2020140492A1 (zh) 2020-07-09
US20210365037A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN109631903A (zh) 谷物处理自动驾驶***及其自动驾驶方法和路径规划方法
US11937524B2 (en) Applying multiple processing schemes to target objects
US20230413798A1 (en) Vision based targeting of agricultural objects
US20230404056A1 (en) Multiaction treatment of plants in an agricultural environment
US11694434B2 (en) Precision agricultural treatment based on growth stage in real time
CN109588107A (zh) 收割机及其自动驾驶方法
CN109814551A (zh) 谷物处理自动驾驶***、自动驾驶方法以及自动识别方法
US20210186006A1 (en) Autonomous agricultural treatment delivery
WO2023069841A1 (en) Autonomous detection and control of vegetation
KR102683902B1 (ko) 곡물처리 자동조종 시스템, 자동조종 방법 및 자동 식별 방법
RU2774651C1 (ru) Система автоматического вождения для переработки зерна, способ автоматического вождения и способ планирования траектории
US20230126714A1 (en) Method of spraying small objects
US20230166283A1 (en) Fluid spraying system for targeting small objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 441100 No. 1 Dongfengjingguan Avenue, Xiangzhou International Logistics Park, Xiangyang City, Hubei Province

Applicant after: FENGJIANG INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 441100 No. 1 Dongfengjingguan Avenue, Xiangzhou International Logistics Park, Xiangyang City, Xiangyang City, Hubei Province

Applicant before: FENGJIANG WISDOM AGRICULTURE Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528

RJ01 Rejection of invention patent application after publication