CN112715159A - 基于机械臂的柑橘自动化采摘方法及装置 - Google Patents

基于机械臂的柑橘自动化采摘方法及装置 Download PDF

Info

Publication number
CN112715159A
CN112715159A CN202011642676.2A CN202011642676A CN112715159A CN 112715159 A CN112715159 A CN 112715159A CN 202011642676 A CN202011642676 A CN 202011642676A CN 112715159 A CN112715159 A CN 112715159A
Authority
CN
China
Prior art keywords
citrus
picking
orange
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011642676.2A
Other languages
English (en)
Inventor
王珏
郑禄
帖军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Qingchuan University
South Central Minzu University
Original Assignee
Wuhan Qingchuan University
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Qingchuan University, South Central University for Nationalities filed Critical Wuhan Qingchuan University
Priority to CN202011642676.2A priority Critical patent/CN112715159A/zh
Publication of CN112715159A publication Critical patent/CN112715159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D91/00—Methods for harvesting agricultural products
    • A01D91/04—Products growing above the soil
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于机械臂的柑橘自动化采摘方法及装置，本发明根据当前位置信息确定目标区域范围，查找目标区域范围对应的柑橘品种以及柑橘品种对应的成熟柑橘颜色值区间，从初始图像中截取柑橘图像并进行颜色检测，以获得当前柑橘颜色值，根据当前柑橘颜色值和成熟柑橘颜色值区间判断柑橘图像对应的目标柑橘是否为成熟柑橘，在目标柑橘为成熟柑橘时，根据初始图像确定目标柑橘对应的目标枝干并确定切割位置，控制第一机械臂将采摘筐移动至柑橘的下方区域，并控制第二机械臂将切割装置移动至切割位置，控制切割装置对目标枝干进行切割，以使目标柑橘落入采摘筐中，以达到智能采摘柑橘的效果，避免了出现误摘，造成浪费了的问题。

Description

基于机械臂的柑橘自动化采摘方法及装置
技术领域
本发明涉及自动采摘技术领域，尤其涉及一种基于机械臂的柑橘自动化采摘方法及装置。
背景技术
现有技术中采摘柑橘的方式，多为通过人工来进行采摘，但是随着人工费用的增加以及果园产量的增加，人工采摘的方式费时费力，而且效率很难提高。所以，为了提高采摘效率，目前还存在通过机械设备来自动采摘柑橘的方式，但是，现有的自动采摘无法自动识别柑橘品种以及成熟度，在采摘柑橘的过程中容易将未成熟的柑橘采摘，从而导致容易出现误摘，造成浪费。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提出一种基于机械臂的柑橘自动化采摘方法及装置，旨在解决现有技术中自动采摘柑橘时，容易出现误摘，造成浪费的技术问题。
为实现上述目的，本发明提供一种基于机械臂的柑橘自动化采摘方法，所述基于机械臂的柑橘自动化采摘方法基于柑橘自动化采摘设备，所述柑橘自动化采摘设备包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述基于机械臂的柑橘自动化采摘方法包括以下步骤：
通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围；
查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间；
通过所述摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像；
对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值；
根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘；
在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置；
控制所述第一机械臂将所述采摘筐移动至所述柑橘的下方区域，并控制所述第二机械臂将所述切割装置移动至所述切割位置；
控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入所述采摘筐中。
可选地，所述柑橘自动化采摘设备还包括储物筐；
所述控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入所述采摘筐中之后，还包括：
查找所述柑橘品种对应的柑橘体积，并获取所述采摘筐的采摘筐体积；
根据所述柑橘体积和所述采摘筐体积确定柑橘数量，并根据所述柑橘数量确定目标切割次数；
记录所述切割装置的切割次数，并将所述切割次数与所述目标切割次数进行比较；
在所述切割次数与所述目标切割次数一致时，控制所述第一机械臂将所述采摘筐移动至所述储物筐的上方区域，并将所述采摘筐中的柑橘移入至所述储物筐中进行存储；
对所述切割次数进行清零处理。
可选地，所述定位芯片为北斗定位芯片；
所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围之前，还包括：
在接收到用户输入的智能采摘指令时，根据所述智能采摘指令确定采摘信息；
根据所述采摘信息确定采摘位置，并根据所述采摘位置进行路径规划，以获得采摘路径；
通过所述北斗定位芯片和所述采摘路径控制所述柑橘自动化采摘设备按照所述采摘路径进行移动；
在所述柑橘自动化采摘设备移动至所述采摘位置时，控制所述柑橘自动化采摘设备进入采摘模式；
在所述采摘模式下，执行所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围的步骤。
可选地，所述通过所述摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像，包括：
通过所述摄像设备拍摄初始图像，所述初始图像为RGB格式的图像；
对所述初始图像进行格式转换，以获得待处理图像，所述待处理图像为HSI格式的图像；
从所述待处理图像中提取色调特征和饱和度特征；
根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，以获得融合图像；
基于预设最大类间差法和所述融合图像确定前景区域；
根据所述前景区域在所述初始图像中确定柑橘区域，并根据所述柑橘区域从所述初始图像中截取柑橘图像。
可选地，所述对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值，包括：
检测所述柑橘图像中像素点的像素点数量，并获取各像素点的颜色值；
根据所述颜色值和所述像素点数量计算平均颜色值；
根据所述平均颜色值确定当前柑橘颜色值；
相应地，所述根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘，包括：
将所述当前柑橘颜色值与所述成熟柑橘颜色值区间进行比较，以判断所述当前柑橘颜色值是否在所述成熟柑橘颜色值区间内，获得判断结果；
根据所述判断结果判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
可选地，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间，包括：
将所述目标区域范围与预设第一映射列表中的待选区域范围进行匹配，获得第一匹配结果；
根据所述第一匹配结果确定与所述目标区域范围对应的柑橘品种；
将所述柑橘品种与预设第二映射列表中的待选成熟柑橘颜色值区间进行匹配，获得第二匹配结果；
根据所述第二匹配结果确定与所述柑橘品种对应的成熟柑橘颜色值区间。
可选地，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间之前，还包括：
获取待选区域范围以及所述待选区域范围内种植的柑橘对应的待选柑橘品种；
根据所述待选区域范围和所述待选柑橘品种建立预设第一映射列表；
获取待选柑橘品种对应的样本柑橘图像，并根据所述样本柑橘图像确定待选成熟柑橘颜色值区间；
根据所述待选柑橘品种和所述待选成熟柑橘颜色值区间建立预设第二映射列表。
此外，为实现上述目的，本发明还提出一种基于机械臂的柑橘自动化采摘装置，所述基于机械臂的柑橘自动化采摘装置包括：
定位模块，用于通过定位芯片确定柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围；
色值区间模块，用于查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间；
图像处理模块，用于通过摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像；
颜色检测模块，用于对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值；
成熟检测模块，用于根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘；
切割位置模块，用于在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置；
机械臂控制模块，用于控制第一机械臂将采摘筐移动至所述柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置；
采摘控制模块，用于控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入采摘筐中。
此外，为实现上述目的，本发明还提出一种基于机械臂的柑橘自动化采摘设备，所述柑橘自动化采摘设备包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述柑橘自动化采摘设备还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机械臂的柑橘自动化采摘程序，所述基于机械臂的柑橘自动化采摘程序配置有实现如上所述的基于机械臂的柑橘自动化采摘方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于机械臂的柑橘自动化采摘程序，所述基于机械臂的柑橘自动化采摘程序被处理器执行时实现如上文所述的基于机械臂的柑橘自动化采摘方法的步骤。
本发明提出的基于机械臂的柑橘自动化采摘方法，通过定位芯片确定柑橘自动化采摘设备的当前位置信息，根据当前位置信息确定目标区域范围，查找目标区域范围对应的柑橘品种，并查找柑橘品种对应的成熟柑橘颜色值区间，通过摄像设备拍摄初始图像，并从初始图像中截取柑橘图像，对柑橘图像进行颜色检测，以获得当前柑橘颜色值，根据当前柑橘颜色值和成熟柑橘颜色值区间判断柑橘图像对应的目标柑橘是否为成熟柑橘，在目标柑橘为成熟柑橘时，根据初始图像确定目标柑橘对应的目标枝干，并根据目标枝干确定切割位置，控制第一机械臂将采摘筐移动至柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置，控制切割装置对目标枝干进行切割，以使目标柑橘落入采摘筐中，以达到智能采摘柑橘的效果，避免了出现误摘，造成浪费了的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的基于机械臂的柑橘自动化采摘设备结构示意图；
图2为本发明基于机械臂的柑橘自动化采摘方法第一实施例的流程示意图；
图3为本发明基于机械臂的柑橘自动化采摘方法一实施例的柑橘自动化采摘设备的结构示意图；
图4为本发明基于机械臂的柑橘自动化采摘方法一实施例的果园的区域范围示意图；
图5为本发明基于机械臂的柑橘自动化采摘方法第二实施例的流程示意图；
图6为本发明基于机械臂的柑橘自动化采摘方法第三实施例的流程示意图；
图7为本发明基于机械臂的柑橘自动化采摘装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于机械臂的柑橘自动化采摘设备结构示意图。
如图1所示，该基于机械臂的柑橘自动化采摘设备可以包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述柑橘自动化采摘设备还可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random AccessMemory，RAM)存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对基于机械臂的柑橘自动化采摘设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及基于机械臂的柑橘自动化采摘程序。
在图1所示的基于机械臂的柑橘自动化采摘设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的基于机械臂的柑橘自动化采摘程序，并执行本发明实施例提供的基于机械臂的柑橘自动化采摘方法。
基于上述硬件结构，提出本发明基于机械臂的柑橘自动化采摘方法实施例。
参照图2，图2为本发明基于机械臂的柑橘自动化采摘方法第一实施例的流程示意图。
在第一实施例中，所述柑橘自动化采摘设备包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述基于机械臂的柑橘自动化采摘方法包括以下步骤：
步骤S10，通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围。
需要说明的是，本实施例的执行主体可为柑橘自动化采摘设备的控制器，其中，所述控制器可为远程控制器，也可为本地控制器，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制。
应当理解的是，采摘筐设置在第一机械臂末端，切割装置设置在第二机械臂末端，通过控制第一机械臂可以调整采摘筐的位置，通过控制第二机械臂可以调整切割装置的位置。其中，采摘筐可为各种形状的采摘筐，本实施例对此不做限制。切割装置可为刀片型切割装置，也可为剪刀型切割装置，还可为其他类型的切割装置，本实施例对此不做限制。
应当理解的是，本实施例中的摄像设备、第一机械臂、第二机械臂、切割装置以及采摘筐均可为单个也可为多个，本实施例对此不做限制。在本实施例中，以上述设备均为单个为例进行说明。
在具体实现中，如图3所示，图3为柑橘自动化采摘设备的结构示意图，图中的A为摄像设备，B为储物筐，C为设备主体，D为采摘筐，E为切割装置，F为第一机械臂，G为第二机械臂。柑橘自动化采摘设备还包括多个导向轮，通过导向轮来控制柑橘自动化采摘设备的移动。
可以理解的是，由于成熟柑橘和未成熟柑橘的存在颜色差异，例如，未成熟柑橘一般为绿色，而成熟柑橘一般为橙色，因此，可通过柑橘的颜色来判断柑橘是否成熟，然后在柑橘成熟时，才对其进行采摘。其中，不同品种的柑橘在成熟时的颜色存在差异，因此，为了提高检测的准确性，可先确定柑橘的柑橘品种。由于本方案可应用在果园，而果农在种植果树时，一般会分区域种植，即在一片区域范围内种植相同品种的橘子，所以可通过定位的方式来确定当前范围内的柑橘的柑橘品种。
应当理解的是，为了达到更好的定位效果，本实施例中的定位芯片优选北斗定位芯片，可通过定位芯片确定柑橘自动化采摘设备的当前位置信息，然后根据当前位置信息确定柑橘自动化采摘设备当前所处的目标区域范围。
在具体实现中，可如图4所示，图4为果园的区域范围示意图，例如，可将果园的种植区域分为如图所示的O1、O2、O3、O4、O5、O6六个区域范围，在每个区域种植对应品种的柑橘。可根据柑橘自动化采摘设备的当前位置信息，根据当前位置信息确定柑橘自动化采摘设备所处的目标区域范围，在柑橘自动化采摘设备处于O1区域范围时，可查找O1区域范围对应的柑橘品种。
步骤S20，查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间。
应当理解的是，由于不同的区域范围种植的柑橘的品种不相同，因此可查找目标区域范围对应的柑橘品种，即查找目标区域范围内种植的柑橘的柑橘品种。然后，由于不同品种的柑橘成熟时的颜色存在区别，因此，在确定柑橘品种后，可查找柑橘品种对应的成熟柑橘颜色值区间。
应当理解的是，由于成熟柑橘的颜色并不是完全一样的，并且有的柑橘的成熟期较长，会随着时间的变化而变化，因此，可为不同品种的柑橘设置成熟柑橘颜色值区间，只要柑橘的柑橘颜色值处于成熟柑橘颜色值区间内，即可判断该柑橘为成熟柑橘。
步骤S30，通过所述摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像。
应当理解的是，可通过摄像设备拍摄初始图像，并根据初始图像确定柑橘区域，进而从初始图像中截取柑橘图像。其中，柑橘图像的数量可为一个，也可为多个，本实施例对此不做限制。例如，在初始图像中存在一个柑橘图像时，便可截取出一个柑橘图像，而在初始图像中存在多个柑橘图像时，便可截取出多个柑橘图像。
步骤S40，对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值。
应当理解的是，在得到柑橘图像后，可对柑橘图像进行颜色检测，以获得当前柑橘颜色值。其中，为了达到更好的检测效果，可获取柑橘图像中所有像素点的颜色值，然后计算它们的平均颜色值，以确定当前柑橘颜色值。
步骤S50，根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
可以理解的是，在确定当前柑橘颜色值和成熟柑橘颜色值区间后，可将当前柑橘颜色值和成熟柑橘颜色值区间进行比较，以判断当前柑橘颜色值是否在成熟柑橘颜色值区间内，进而判断柑橘图像对应的目标柑橘是否为成熟柑橘。
步骤S60，在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置。
应当理解的是，在目标柑橘为成熟柑橘时，则可对目标柑橘进行采摘。在采摘柑橘时，一般存在两种采摘方式，第一种是单个采摘，即每次采摘一个柑橘；而另一种是多个采摘，即每次采摘一串柑橘。由于本方案是为了提高采摘的精度，避免误摘，因此，本方案采用的是单个采摘的方式。
可以理解的是，由于每个柑橘都有对应的枝干，而为了避免柑橘损伤，可通过对枝干进行切割的方式来采摘柑橘。所以，可根据初始图像确定目标柑橘对应的目标枝干，然后根据目标枝干确定切割位置。
步骤S70，控制所述第一机械臂将所述采摘筐移动至所述柑橘的下方区域，并控制所述第二机械臂将所述切割装置移动至所述切割位置。
应当理解的是，可控制第一机械臂将采摘筐移动至柑橘的下方区域，具体可为距离该柑橘预设距离的下方区域，所述预设距离可根据时间情况进行设置，例如5CM、10CM等，本实施例对此不做限制。
可以理解的是，在控制第一机械臂的同时，还可控制第二机械臂将切割装置移动至切割位置。
步骤S80，控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入所述采摘筐中。
应当理解的是，在通过第一机械臂和第二机械臂将采摘筐和切割装置移动到上述位置后，可控制切割装置对目标枝干进行切割，以使目标柑橘落入采摘筐中，以达到智能采摘柑橘的效果。
本实施例中通过定位芯片确定柑橘自动化采摘设备的当前位置信息，根据当前位置信息确定目标区域范围，查找目标区域范围对应的柑橘品种，并查找柑橘品种对应的成熟柑橘颜色值区间，通过摄像设备拍摄初始图像，并从初始图像中截取柑橘图像，对柑橘图像进行颜色检测，以获得当前柑橘颜色值，根据当前柑橘颜色值和成熟柑橘颜色值区间判断柑橘图像对应的目标柑橘是否为成熟柑橘，在目标柑橘为成熟柑橘时，根据初始图像确定目标柑橘对应的目标枝干，并根据目标枝干确定切割位置，控制第一机械臂将采摘筐移动至柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置，控制切割装置对目标枝干进行切割，以使目标柑橘落入采摘筐中，以达到智能采摘柑橘的效果，避免了出现误摘，造成浪费了的问题。
在一实施例中，如图5所示，基于第一实施例提出本发明基于机械臂的柑橘自动化采摘方法第二实施例，所述柑橘自动化采摘设备还包括储物筐，所述步骤S80之后，还包括：
步骤S901，查找所述柑橘品种对应的柑橘体积，并获取所述采摘筐的采摘筐体积。
应当理解的是，由于同一柑橘品种的柑橘在成熟期的柑橘体积比较一致，而不同柑橘品种的柑橘在成熟期的柑橘体积则并不相同。因此，在确定柑橘品种后，可查找柑橘品种对应的柑橘体积。其中，所述柑橘体积为所述柑橘品种的柑橘在成熟期的平均体积。
应当理解的是，由于通过第一机械臂来控制采摘筐的位置移动，因此，为了避免第一机械臂的受力过大，采摘筐不会设置太大，而为了避免机械臂来回移动，影响到采摘效率，采摘筐也不能设置太小。因此，可设置合适大小的采摘筐，并且获取采摘筐的采摘筐体积。由于采摘筐上部开口，所以本实施例中所说的采摘筐体积指的是采摘筐的容量体积。
步骤S902，根据所述柑橘体积和所述采摘筐体积确定柑橘数量，并根据所述柑橘数量确定目标切割次数。
可以理解的是，在确定柑橘体积和采摘筐体积后，可根据柑橘体积和采摘筐体积确定采摘筐可装的柑橘数量，如果超出这个数量的话柑橘可能会溢出。因此，在采摘过程中，可在采摘的柑橘的数量达到该柑橘数量时，将采摘筐中的柑橘移入储物筐中进行存储。
应当理解的是，由于本方案是对柑橘进行单个采摘，因此，切割装置每进行一次切割，便有一个柑橘落入采摘筐中。所以，切割装置的切割次数与柑橘的数量对应的，因此，在确定柑橘数量后，可根据柑橘数量确定目标切割次数。
步骤S903，记录所述切割装置的切割次数，并将所述切割次数与所述目标切割次数进行比较。
应当理解的是，在进行智能采摘的过程中，可记录切割装置的切割次数，并将切割次数与目标切割次数进行比较。
步骤S904，在所述切割次数与所述目标切割次数一致时，控制所述第一机械臂将所述采摘筐移动至所述储物筐的上方区域，并将所述采摘筐中的柑橘移入至所述储物筐中进行存储。
可以理解的是，在切割次数与目标切割次数一致时，说明此时需要将采摘筐中的柑橘移入至储物筐中，因此，可控制第一机械臂将采摘筐移动至储物筐的上方区域，并将采摘筐中的柑橘移入至储物筐中进行存储，其中，可采取倾倒的方式进行转移。例如，在采摘筐移动至储物筐的上方区域时，控制第一机械臂将采摘筐进行翻转，以将采摘筐中的柑橘移入至储物筐中进行存储。
步骤S905，对所述切割次数进行清零处理。
应当理解的是，在将采摘筐中的柑橘移入至储物筐中后，可对切割次数进行清零处理，以进行下一周期的次数记录。
进一步地，所述定位芯片为北斗定位芯片，所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围之前，还包括：
在接收到用户输入的智能采摘指令时，根据所述智能采摘指令确定采摘信息；根据所述采摘信息确定采摘位置，并根据所述采摘位置进行路径规划，以获得采摘路径；通过所述北斗定位芯片和所述采摘路径控制所述柑橘自动化采摘设备按照所述采摘路径进行移动；在所述柑橘自动化采摘设备移动至所述采摘位置时，控制所述柑橘自动化采摘设备进入采摘模式；在所述采摘模式下，执行所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围的步骤。
应当理解的是，用户可指定柑橘自动化采摘设备到不同的位置进行采摘，在接收到用户输入的智能采摘指令时，可根据智能采摘指令确定采摘信息，进而根据采摘信息确定采摘位置，并根据采摘位置进行路径规划，以获得采摘路径。其中，采摘位置为用户指定的采摘位置，可为一个也可为多个，在采摘位置为多个时，控制柑橘自动化采摘设备依次到达这些采摘位置进行采摘。
可以理解的是，可通过北斗定位芯片和采摘路径控制柑橘自动化采摘设备按照采摘路径进行移动，在柑橘自动化采摘设备移动至采摘位置时，控制柑橘自动化采摘设备进入采摘模式，在采摘模式下，通过定位芯片确定柑橘自动化采摘设备的当前位置信息，并根据当前位置信息确定目标区域范围。
本实施例中通过查找所述柑橘品种对应的柑橘体积，并获取所述采摘筐的采摘筐体积；根据所述柑橘体积和所述采摘筐体积确定柑橘数量，并根据所述柑橘数量确定目标切割次数；记录所述切割装置的切割次数，并将所述切割次数与所述目标切割次数进行比较；在所述切割次数与所述目标切割次数一致时，控制所述第一机械臂将所述采摘筐移动至所述储物筐的上方区域，并将所述采摘筐中的柑橘移入至所述储物筐中进行存储；对所述切割次数进行清零处理。可合理地使用采摘筐，在采摘筐中的柑橘数量达到一定数量时，将柑橘移入至储物筐中进行存储，避免了机械臂受力过大，也避免了柑橘溢出，提高了柑橘采摘的效率，也避免了采摘过程中的浪费。
在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明基于机械臂的柑橘自动化采摘方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S30，包括：
步骤S301，通过所述摄像设备拍摄初始图像，所述初始图像为RGB格式的图像。
应当理解的是，摄像设备拍摄的图像一般为RGB格式的图像，因此，通过摄像设备拍摄的初始图像为RGB格式的图像。
步骤S302，对所述初始图像进行格式转换，以获得待处理图像，所述待处理图像为HSI格式的图像。
需要说明的是，摄像头采集的数字图像是以红、绿、蓝(RGB)颜色***形式表述。既不依赖于操作***的硬件，又不符合人的视觉特征，因此在对颜色特征进行描述时，可将RGB颜色***转换成与人的视觉习惯相似的颜色***。
在本实施例中，选用HSI颜色***来进行颜色描述，HSI颜色***直接采取颜色特征的三个量：色调H、饱和度S和亮度I来描述颜色，比较符合人对颜色的秒速习惯。其中，将RGB颜色空间向HSI颜色空间转换的方式有球体法、柱体法以及双锥体法等，本实施例对此不做限制。
步骤S303，从所述待处理图像中提取色调特征和饱和度特征。
需要说明的是，由于图像中可能包含地面、杂草和枯叶等物体的图像，柑橘可能被部分覆盖，在这种情况下，仅靠色调特征无法将目标和背景进行良好的区别。而通过饱和度图像进行处理的话，目标和背景有较大的差异，因为地面的光照弱、饱和度低，用饱和度特征可以分割图像。但仅依靠饱和度分割图像又会将未成熟果作为目标处理，因此两者必须有机结合。将色调和饱和度线性组合，可表示为：
Fout＝αH+βS
其中，α、β为组合系数，可由训练产生或经验给出实践，针对不同的场景需提供不同的参数组合。如图像中目标上存在较多阴影，则应使α>β；如果图像中存在较多的灰背景，则应使α<β。
步骤S304，根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，以获得融合图像。
应当理解的是，考虑到色调参数主要与对象具有的颜色区域有关，饱和度主要与颜色的纯度有关。因此，如果H值小，说明对象不在目标区域，应减小S值的权重；如果S值小，说明对象颜色纯度低，可能是地表或其他背景，应减小H的权重；当H和S均具有较大值时，说明对象具有目标区域色调特征又有较大的纯度，则要加强各自的权重系数。如果将两个参数互为权重，进行数据融合可实现有效互补，称为共振激励法。共振激励法具有较好的突出目标区域的能力，可表示为：
Fout＝HS
根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，可获得融合图像。
步骤S305，基于预设最大类间差法和所述融合图像确定前景区域。
应当理解的是，可基于预设最大类间差法和融合图像确定前景区域和背景区域，具体为，按照图像的灰度特性，将图像分成背景和目标两部分，将背景部分作为背景区域，并将目标部分作为前景区域。
步骤S306，根据所述前景区域在所述初始图像中确定柑橘区域，并根据所述柑橘区域从所述初始图像中截取柑橘图像。
应当理解的是，由于融合图像是根据初始图像进行处理后得到的，其中的物***置特征并未发生改变，因此，在确定前景区域后，可根据前景区域在初始图像中确定柑橘区域，然后根据柑橘区域从初始图像中截取柑橘图像。
进一步地，所述对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值，包括：
检测所述柑橘图像中像素点的像素点数量，并获取各像素点的颜色值；根据所述颜色值和所述像素点数量计算平均颜色值；根据所述平均颜色值确定当前柑橘颜色值；
相应地，所述根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘，包括：
将所述当前柑橘颜色值与所述成熟柑橘颜色值区间进行比较，以判断所述当前柑橘颜色值是否在所述成熟柑橘颜色值区间内，获得判断结果；根据所述判断结果判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
应当理解的是，在得到柑橘图像后，可检测柑橘柑橘图像中所有像素点的像素点数量，并获取各像素点的颜色值，进而根据各像素点的颜色值和像素点数量计算各像素点的平均颜色值，将平均颜色值作为当前柑橘颜色值。
可以理解的是，可将当前柑橘颜色值与成熟柑橘颜色值区间进行比较，以判断当前柑橘颜色值是否在成熟柑橘颜色值区间内，并根据判断结果判断柑橘图像对应的目标柑橘是否为成熟柑橘。例如，在当前柑橘颜色值在成熟柑橘颜色值区间内时，可判定柑橘图像对应的目标柑橘为成熟柑橘。在当前柑橘颜色值不在成熟柑橘颜色值区间内时，可判定柑橘图像对应的目标柑橘不为成熟柑橘。
进一步地，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间，包括：
将所述目标区域范围与预设第一映射列表中的待选区域范围进行匹配，获得第一匹配结果；根据所述第一匹配结果确定与所述目标区域范围对应的柑橘品种；将所述柑橘品种与预设第二映射列表中的待选成熟柑橘颜色值区间进行匹配，获得第二匹配结果；根据所述第二匹配结果确定与所述柑橘品种对应的成熟柑橘颜色值区间。
应当理解的是，为了提高柑橘品种和成熟柑橘颜色值区间的查找效率和查找精度。可预先建立预设第一映射列表和预设第二映射列表，通过预设第一映射列表和目标区域范围确定目标区域范围对应的柑橘品种，并通过预设第二映射列表和柑橘品种确定与柑橘品种对应的成熟柑橘颜色值区间。
进一步地，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间之前，还包括：
获取待选区域范围以及所述待选区域范围内种植的柑橘对应的待选柑橘品种；根据所述待选区域范围和所述待选柑橘品种建立预设第一映射列表；获取待选柑橘品种对应的样本柑橘图像，并根据所述样本柑橘图像确定待选成熟柑橘颜色值区间；根据所述待选柑橘品种和所述待选成熟柑橘颜色值区间建立预设第二映射列表。
应当理解的是，建立第一映射列表的方式可为，获取果园中的待选区域范围，并且获取各待选区域范围种植的柑橘对应的待选柑橘品种，根据待选区域范围和待选柑橘品种建立预设第一映射列表，其中，预设第一映射列表中记录有待选区域范围和待选柑橘品种之间的对应关系。
应当理解的是，建立第二映射列表的方式可为，获取多张待选柑橘品种对应的样本柑橘图像，其中，样本柑橘图像为成熟期的柑橘的图像，样本柑橘图像的数量越多越好。通过对样本柑橘图像进行颜色检测，并对检测结果进行统计和整理，最终确定待选成熟柑橘颜色值区间，并根据待选柑橘品种和待选成熟柑橘颜色值区间建立预设第二映射列表，其中，预设第二映射列表中记录有待选柑橘品种与待选成熟柑橘颜色值区间之间的对应关系。
本实施例中通过所述摄像设备拍摄初始图像，所述初始图像为RGB格式的图像；对所述初始图像进行格式转换，以获得待处理图像，所述待处理图像为HSI格式的图像；从所述待处理图像中提取色调特征和饱和度特征；根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，以获得融合图像；基于预设最大类间差法和所述融合图像确定前景区域；根据所述前景区域在所述初始图像中确定柑橘区域，并根据所述柑橘区域从所述初始图像中截取柑橘图像，通过格式转换以及上述图像处理的方式，可准确地截取出柑橘图像，提高图像分割的精度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于机械臂的柑橘自动化采摘程序，所述基于机械臂的柑橘自动化采摘程序被处理器执行时实现如上文所述的基于机械臂的柑橘自动化采摘方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图7，本发明实施例还提出一种基于机械臂的柑橘自动化采摘装置，所述基于机械臂的柑橘自动化采摘装置包括：
定位模块10，用于通过定位芯片确定柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围。
色值区间模块20，用于查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间。
图像处理模块30，用于通过摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像。
颜色检测模块40，用于对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值。
成熟检测模块50，用于根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
切割位置模块60，用于在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置。
机械臂控制模块70，用于控制第一机械臂将采摘筐移动至所述柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置。
采摘控制模块80，用于控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入采摘筐中。
本实施例中通过定位芯片确定柑橘自动化采摘设备的当前位置信息，根据当前位置信息确定目标区域范围，查找目标区域范围对应的柑橘品种，并查找柑橘品种对应的成熟柑橘颜色值区间，通过摄像设备拍摄初始图像，并从初始图像中截取柑橘图像，对柑橘图像进行颜色检测，以获得当前柑橘颜色值，根据当前柑橘颜色值和成熟柑橘颜色值区间判断柑橘图像对应的目标柑橘是否为成熟柑橘，在目标柑橘为成熟柑橘时，根据初始图像确定目标柑橘对应的目标枝干，并根据目标枝干确定切割位置，控制第一机械臂将采摘筐移动至柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置，控制切割装置对目标枝干进行切割，以使目标柑橘落入采摘筐中，以达到智能采摘柑橘的效果，避免了出现误摘，造成浪费了的问题。
在一实施例中，所述基于机械臂的柑橘自动化采摘装置还包括存储模块，用于查找所述柑橘品种对应的柑橘体积，并获取所述采摘筐的采摘筐体积；根据所述柑橘体积和所述采摘筐体积确定柑橘数量，并根据所述柑橘数量确定目标切割次数；记录所述切割装置的切割次数，并将所述切割次数与所述目标切割次数进行比较；在所述切割次数与所述目标切割次数一致时，控制所述第一机械臂将所述采摘筐移动至所述储物筐的上方区域，并将所述采摘筐中的柑橘移入至所述储物筐中进行存储；对所述切割次数进行清零处理。
在一实施例中，所述基于机械臂的柑橘自动化采摘装置还包括路径模块，用于在接收到用户输入的智能采摘指令时，根据所述智能采摘指令确定采摘信息；根据所述采摘信息确定采摘位置，并根据所述采摘位置进行路径规划，以获得采摘路径；通过所述北斗定位芯片和所述采摘路径控制所述柑橘自动化采摘设备按照所述采摘路径进行移动；在所述柑橘自动化采摘设备移动至所述采摘位置时，控制所述柑橘自动化采摘设备进入采摘模式；在所述采摘模式下，执行所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围的步骤。
在一实施例中，所述图像处理模块30，还用于通过所述摄像设备拍摄初始图像，所述初始图像为RGB格式的图像；对所述初始图像进行格式转换，以获得待处理图像，所述待处理图像为HSI格式的图像；从所述待处理图像中提取色调特征和饱和度特征；根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，以获得融合图像；基于预设最大类间差法和所述融合图像确定前景区域；根据所述前景区域在所述初始图像中确定柑橘区域，并根据所述柑橘区域从所述初始图像中截取柑橘图像。
在一实施例中，所述颜色检测模块40，还用于检测所述柑橘图像中像素点的像素点数量，并获取各像素点的颜色值；根据所述颜色值和所述像素点数量计算平均颜色值；根据所述平均颜色值确定当前柑橘颜色值；成熟检测模块50，还用于将所述当前柑橘颜色值与所述成熟柑橘颜色值区间进行比较，以判断所述当前柑橘颜色值是否在所述成熟柑橘颜色值区间内，获得判断结果；根据所述判断结果判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
在一实施例中，所述色值区间模块20，还用于将所述目标区域范围与预设第一映射列表中的待选区域范围进行匹配，获得第一匹配结果；根据所述第一匹配结果确定与所述目标区域范围对应的柑橘品种；将所述柑橘品种与预设第二映射列表中的待选成熟柑橘颜色值区间进行匹配，获得第二匹配结果；根据所述第二匹配结果确定与所述柑橘品种对应的成熟柑橘颜色值区间。
在一实施例中，所述基于机械臂的柑橘自动化采摘装置还包括映射列表模块，用于获取待选区域范围以及所述待选区域范围内种植的柑橘对应的待选柑橘品种；根据所述待选区域范围和所述待选柑橘品种建立预设第一映射列表；获取待选柑橘品种对应的样本柑橘图像，并根据所述样本柑橘图像确定待选成熟柑橘颜色值区间；根据所述待选柑橘品种和所述待选成熟柑橘颜色值区间建立预设第二映射列表。
在本发明所述基于机械臂的柑橘自动化采摘装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，基于机械臂的柑橘自动化采摘设备，或者网络基于机械臂的柑橘自动化采摘设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于机械臂的柑橘自动化采摘方法，其特征在于，所述基于机械臂的柑橘自动化采摘方法基于柑橘自动化采摘设备，所述柑橘自动化采摘设备包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述基于机械臂的柑橘自动化采摘方法包括以下步骤：
通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围；
查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间；
通过所述摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像；
对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值；
根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘；
在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置；
控制所述第一机械臂将所述采摘筐移动至所述柑橘的下方区域，并控制所述第二机械臂将所述切割装置移动至所述切割位置；
控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入所述采摘筐中。
2.如权利要求1所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述柑橘自动化采摘设备还包括储物筐；
所述控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入所述采摘筐中之后，还包括：
查找所述柑橘品种对应的柑橘体积，并获取所述采摘筐的采摘筐体积；
根据所述柑橘体积和所述采摘筐体积确定柑橘数量，并根据所述柑橘数量确定目标切割次数；
记录所述切割装置的切割次数，并将所述切割次数与所述目标切割次数进行比较；
在所述切割次数与所述目标切割次数一致时，控制所述第一机械臂将所述采摘筐移动至所述储物筐的上方区域，并将所述采摘筐中的柑橘移入至所述储物筐中进行存储；
对所述切割次数进行清零处理。
3.如权利要求1所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述定位芯片为北斗定位芯片；
所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围之前，还包括：
在接收到用户输入的智能采摘指令时，根据所述智能采摘指令确定采摘信息；
根据所述采摘信息确定采摘位置，并根据所述采摘位置进行路径规划，以获得采摘路径；
通过所述北斗定位芯片和所述采摘路径控制所述柑橘自动化采摘设备按照所述采摘路径进行移动；
在所述柑橘自动化采摘设备移动至所述采摘位置时，控制所述柑橘自动化采摘设备进入采摘模式；
在所述采摘模式下，执行所述通过所述定位芯片确定所述柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围的步骤。
4.如权利要求1所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述通过所述摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像，包括：
通过所述摄像设备拍摄初始图像，所述初始图像为RGB格式的图像；
对所述初始图像进行格式转换，以获得待处理图像，所述待处理图像为HSI格式的图像；
从所述待处理图像中提取色调特征和饱和度特征；
根据所述色调特征和所述饱和度特征通过预设共振激励法进行数据融合，以获得融合图像；
基于预设最大类间差法和所述融合图像确定前景区域；
根据所述前景区域在所述初始图像中确定柑橘区域，并根据所述柑橘区域从所述初始图像中截取柑橘图像。
5.如权利要求1所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值，包括：
检测所述柑橘图像中像素点的像素点数量，并获取各像素点的颜色值；
根据所述颜色值和所述像素点数量计算平均颜色值；
根据所述平均颜色值确定当前柑橘颜色值；
相应地，所述根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘，包括：
将所述当前柑橘颜色值与所述成熟柑橘颜色值区间进行比较，以判断所述当前柑橘颜色值是否在所述成熟柑橘颜色值区间内，获得判断结果；
根据所述判断结果判断所述柑橘图像对应的目标柑橘是否为成熟柑橘。
6.如权利要求1～5中任一项所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间，包括：
将所述目标区域范围与预设第一映射列表中的待选区域范围进行匹配，获得第一匹配结果；
根据所述第一匹配结果确定与所述目标区域范围对应的柑橘品种；
将所述柑橘品种与预设第二映射列表中的待选成熟柑橘颜色值区间进行匹配，获得第二匹配结果；
根据所述第二匹配结果确定与所述柑橘品种对应的成熟柑橘颜色值区间。
7.如权利要求6所述的基于机械臂的柑橘自动化采摘方法，其特征在于，所述查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间之前，还包括：
获取待选区域范围以及所述待选区域范围内种植的柑橘对应的待选柑橘品种；
根据所述待选区域范围和所述待选柑橘品种建立预设第一映射列表；
获取待选柑橘品种对应的样本柑橘图像，并根据所述样本柑橘图像确定待选成熟柑橘颜色值区间；
根据所述待选柑橘品种和所述待选成熟柑橘颜色值区间建立预设第二映射列表。
8.一种基于机械臂的柑橘自动化采摘装置，其特征在于，所述基于机械臂的柑橘自动化采摘装置包括：
定位模块，用于通过定位芯片确定柑橘自动化采摘设备的当前位置信息，并根据所述当前位置信息确定目标区域范围；
色值区间模块，用于查找所述目标区域范围对应的柑橘品种，并查找所述柑橘品种对应的成熟柑橘颜色值区间；
图像处理模块，用于通过摄像设备拍摄初始图像，并从所述初始图像中截取柑橘图像；
颜色检测模块，用于对所述柑橘图像进行颜色检测，以获得当前柑橘颜色值；
成熟检测模块，用于根据所述当前柑橘颜色值和所述成熟柑橘颜色值区间判断所述柑橘图像对应的目标柑橘是否为成熟柑橘；
切割位置模块，用于在所述目标柑橘为成熟柑橘时，根据所述初始图像确定所述目标柑橘对应的目标枝干，并根据所述目标枝干确定切割位置；
机械臂控制模块，用于控制第一机械臂将采摘筐移动至所述柑橘的下方区域，并控制第二机械臂将切割装置移动至所述切割位置；
采摘控制模块，用于控制所述切割装置对所述目标枝干进行切割，以使所述目标柑橘落入采摘筐中。
9.一种基于机械臂的柑橘自动化采摘设备，其特征在于，所述柑橘自动化采摘设备包括：定位芯片、摄像设备、机械臂、切割装置以及采摘筐，所述机械臂包括第一机械臂和第二机械臂，所述采摘筐设置在所述第一机械臂末端，所述切割装置设置在所述第二机械臂末端，所述柑橘自动化采摘设备还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于机械臂的柑橘自动化采摘程序，所述基于机械臂的柑橘自动化采摘程序被处理器执行时实现如权利要求1至7中任一项所述的基于机械臂的柑橘自动化采摘方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于机械臂的柑橘自动化采摘程序，所述基于机械臂的柑橘自动化采摘程序被处理器执行时实现如权利要求1至7中任一项所述的基于机械臂的柑橘自动化采摘方法的步骤。
CN202011642676.2A 2020-12-30 2020-12-30 基于机械臂的柑橘自动化采摘方法及装置 Pending CN112715159A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011642676.2A CN112715159A (zh) 2020-12-30 2020-12-30 基于机械臂的柑橘自动化采摘方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011642676.2A CN112715159A (zh) 2020-12-30 2020-12-30 基于机械臂的柑橘自动化采摘方法及装置

Publications (1)

Publication Number Publication Date
CN112715159A true CN112715159A (zh) 2021-04-30

Family

ID=75609125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011642676.2A Pending CN112715159A (zh) 2020-12-30 2020-12-30 基于机械臂的柑橘自动化采摘方法及装置

Country Status (1)

Country Link
CN (1) CN112715159A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114766197A (zh) * 2022-04-14 2022-07-22 重庆市农业科学院 成熟甘蓝的鉴别方法及甘蓝采摘方法
CN114847011A (zh) * 2022-06-01 2022-08-05 上海非夕机器人科技有限公司 采摘方法、装置、计算机设备、存储介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022737A (ja) * 2006-07-19 2008-02-07 Kochi Univ Of Technology 収穫ロボット
CN105123127A (zh) * 2015-10-16 2015-12-09 北方民族大学 枸杞采摘机器人及其控制方法
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘***及方法
CN109220226A (zh) * 2018-10-31 2019-01-18 哈尔滨理工大学 果实自动识别分类及采摘的果园智能化***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022737A (ja) * 2006-07-19 2008-02-07 Kochi Univ Of Technology 収穫ロボット
CN105123127A (zh) * 2015-10-16 2015-12-09 北方民族大学 枸杞采摘机器人及其控制方法
CN108064560A (zh) * 2016-11-14 2018-05-25 广东技术师范学院 基于Kinect景深相机的水果自动采摘***及方法
CN109220226A (zh) * 2018-10-31 2019-01-18 哈尔滨理工大学 果实自动识别分类及采摘的果园智能化***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114766197A (zh) * 2022-04-14 2022-07-22 重庆市农业科学院 成熟甘蓝的鉴别方法及甘蓝采摘方法
CN114766197B (zh) * 2022-04-14 2024-03-12 重庆市农业科学院 甘蓝采摘方法
CN114847011A (zh) * 2022-06-01 2022-08-05 上海非夕机器人科技有限公司 采摘方法、装置、计算机设备、存储介质和程序产品

Similar Documents

Publication Publication Date Title
Zhou et al. Using colour features of cv.‘Gala’apple fruits in an orchard in image processing to predict yield
CN112136505B (zh) 一种基于视觉选择注意机制的水果采摘顺序规划方法
Bulanon et al. Development of a real-time machine vision system for the apple harvesting robot
CN109447945B (zh) 基于机器视觉和图形处理的小麦基本苗快速计数方法
CN110223349A (zh) 一种采摘点定位方法
CN105701829B (zh) 一种套袋绿色果实图像分割方法
CN112715159A (zh) 基于机械臂的柑橘自动化采摘方法及装置
CN104239886B (zh) 基于图像分析的草坪与背景分界线的提取方法
CN110163810A (zh) 一种图像处理方法、装置以及终端
CN104949981A (zh) 一种棉花五真叶期自动检测方法及***
CN113191334B (zh) 一种基于改进CenterNet的植物冠层密集叶片计数方法
CN114067207A (zh) 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法
CN111199192A (zh) 一种采用平行线取样的田间红提葡萄整体成熟度检测方法
CN112990103A (zh) 一种基于机器视觉的串采二次定位方法
CN111462058A (zh) 一种水稻有效穗快速检测方法
JP4961555B2 (ja) 植物の対象部分の位置特定方法とその方法による対象部分の位置特定装置及びその装置を用いた作業用ロボット
Zhang et al. Yield estimation of citrus fruit using rapid image processing in natural background
CN116863452A (zh) 植物病害识别方法、存储介质和识别***
Fernando et al. Ai based greenhouse farming support system with robotic monitoring
Al-Mashhadani et al. Autonomous ripeness detection using image processing for an agricultural robotic system
CN107993243A (zh) 一种基于rgb图像的小麦分蘖数自动检测方法
CN115937314A (zh) 一种油茶果生长姿态检测方法
CN114700941B (zh) 一种基于双目视觉的草莓采摘方法、机器人***
CN110232345A (zh) 使用计算机生成杂草识别模型的程序和杂草识别装置
CN110111263A (zh) 一种基于图像处理的烤烟种植指导***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210430