CN112691939A - 果蔬品质智能感知分拣机器人*** - Google Patents

Abstract

本发明提供一种果蔬品质智能感知分拣机器人***，该***包括：传感器模块用于采集目标果蔬的光谱数据、声波数据、图像数据、气味数据和触觉信息；决策模块用于根据光谱数据、声波数据和预设品质预测分析模型，获取内部品质评价指标，同时根据图像数据、气味数据和触觉信息，获取外部品质评价指标，并根据内部品质评价指标、外部品质评价指标以及预设等级分级方式，获取目标果蔬的等级；执行模块用于根据所述目标果蔬的等级，将所述目标果蔬移动到相应位置；人机交互模块用于实现分拣机器人***与用户的交互。本发明采用多台传感器采集目标果蔬的信息，能够检测目标果蔬的多个内外部品质指标，实现了果蔬的智能、无损、实时、高通量检测分级。

Description

果蔬品质智能感知分拣机器人***

技术领域

本发明涉及计算机及机器人技术领域，尤其涉及一种果蔬品质智能感知分拣机器人***。

背景技术

我国是果蔬生产大国，每年果蔬生产达全球20％以上，但是大部分果蔬产品缺乏采后处理环节，特别是缺少分级环节，造成果蔬产品品质混级，产品附加值低，不能很好地按质论价，在国际果蔬贸易中缺乏竞争力。

分级是将果蔬按一定的品质标准分为若干等级，是果蔬采后加工处理的重要环节，是进行果蔬商品化必不可少的步骤。分级的意义在于使果蔬在大小、色泽、成熟度等方面获得良好的一致性，为消费者提供整齐一致、级差明显的果蔬产品，剔除有缺陷的产品，减少腐败和霉变的发生，保障果蔬产品后续的运输、贮藏以及销售等。

传统果蔬分级方式为人工分级，人工分级方式受分级者的主观感受影响较大，难以保证准确性和一致性。人工分级的处理速度慢，大批量分级依赖大量的人力，分级成本昂贵。机械化分级技术目前处于起步阶段，果蔬检测分级设备的分级指标局限于外部品质指标，如根据果蔬大小、颜色等外部信息分级，能够检测果蔬内部品质分级的设备少，但是内部指标是衡量果蔬品质的重要考虑因素，如内部病害、甜度、酸度、维生素含量等。

内部品质难以从果蔬外表看出，传统的内部品质检测方法为有损检测，抽取一部分样本，采用破坏性的理化试验方法测定，影响销售，因此无法做到大规模、高通量、即时检测。国内市场缺少快速、无损、多指标、高通量的果蔬检测分级设备。

发明内容

本发明提供一种分拣机器人***，用以解决现有技术中无法进行果蔬无损检测的缺陷，实现果蔬品质的分级检测。

本发明提供一种分拣机器人***，包括：传感器模块、决策模块、执行模块和人机交互模块，其中：

所述传感器模块用于采集目标果蔬的光谱数据、声波数据、图像数据、气味数据和触觉信息；

所述决策模块用于根据所述光谱数据、所述声波数据和预设品质预测分析模型，获取所述内部品质评价指标，并根据所述图像数据、所述气味数据和所述触觉信息，获取外部品质评价指标，并根据所述内部品质评价指标、所述外部品质评价指标以及预设等级分级方式，获取所述目标果蔬的等级；

所述执行模块用于根据所述目标果蔬的等级，将所述目标果蔬移动到相应位置。

根据本发明提供的一种分拣机器人***，还包括人机交互模块，所述人机交互模块用于显示所述光谱数据、所述声波数据、所述图像数据、所述气味数据、所述触觉信息、所述内部品质评价指标和所述外部品质评价指标。

根据本发明提供的一种分拣机器人***，所述决策模块还用于根据样本果蔬的光谱数据、声波数据和所述样本果蔬内部品质评价指标，建立所述预设品质预测分析模型，其中，所述样本果蔬内部品质评价指标通过实验方法测定，并通过所述人机交互模块输入。

根据本发明提供的一种分拣机器人***，所述内部品质评价指标包括糖度、酸度、水分、维生素含量、蛋白质含量和有无黑心病。

根据本发明提供的一种分拣机器人***，所述外部品质评价指标包括颜色、大小、外观缺陷、香气、硬度和脆度。

根据本发明提供的一种分拣机器人***，所述预设等级分级方式包括食用性分级方法、营养价值分级方法和新鲜度分级方法，所述食用性分级方法根据颜色、大小、外观缺陷、香气、脆度、糖度、酸度和有无黑心病进行分级，所述营养价值分级方法根据蛋白质含量、糖度、酸度、维生素含量和水分进行分级，所述新鲜度分级方法根据颜色、糖度、酸度、硬度和水分进行分级。

根据本发明提供的一种分拣机器人***，所述传感器模块包括视觉单元、听觉单元、嗅觉单元和触觉单元，其中：

所述视觉单元包括工业相机和光学传感器，所述工业相机用于采集所述目标果蔬的图像，所述光学传感器用于采集所述目标果蔬的光谱信息；

所述听觉单元用于采集所述目标果蔬的声波信息；

所述嗅觉单元用于采集所述目标果蔬的气味信息；

所述触觉单元用于采集所述目标果蔬的触觉信息。

本发明提供的一种分拣机器人***，采用多台传感器采集目标果蔬的信息，能够检测目标果蔬的多个内外部品质指标，根据多个指标评价果蔬等级更加全面，实现了智能高效检测分级，并且能够实现果蔬的无损检测。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种分拣机器人***的结构示意图；

图2为本发明实施例提供的一种分拣机器人***的工作流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前国内市场缺少快速、无损、多指标、高通量的果蔬检测分级设备。研发能够同时检测多个内外品质指标的果蔬检测分级机器人***可以提高果蔬农产品检测分级效率，提高果蔬产品附加值，提高我国果蔬产品的国际竞争力。

本发明实施例的无损检测机器人***应用了光谱学、声学等多种内部品质无损检测方法，优于人工感知能力，可以代替人工完成果蔬的检测分级，还可以取代传统的破坏性方法检测果蔬的内部品质，如糖度、酸度、维生素含量、成熟度、有无黑心病等。

视觉、听觉、嗅觉等感知能力能够帮助人分辨果蔬优劣，但是人的感知具有一定的局限，例如，人眼只能感知可见光波段、听觉范围局限于20赫兹—20K赫兹，嗅觉灵敏度不如动物，味觉和触觉感知因人而异，同样不够灵敏。飞速发展的传感器技术能够弥补人感知能力的不足，帮助人类获取更多信息。

本发明实施例的机器人***采用多台传感器采集果蔬信息，能够检测果蔬的多个内外部品质指标，根据多个指标评价果蔬等级更加全面，实现了智能高效检测分级。机器人***的决策模块相当于人的大脑，起着储存数据、建立模型、分析数据、评判等级的作用，并具备学习能力，在学习模式下，能够储存采集的传感器数据用于建模，实现自动更新维护模型。

本发明实施例提供一种分拣机器人***，如图1所示，该***包括：传感器模块、决策模块和执行模块，其中：

所述传感器模块用于采集目标果蔬的光谱数据、声波数据、图像数据、气味数据和触觉信息；

所述决策模块用于根据所述光谱数据、所述声波数据和预设品质预测分析模型，获取所述内部品质评价指标和外部品质评价指标中的脆度，并根据所述图像数据、所述气味数据和所述触觉信息，获取所述外部品质评价指标中的其它指标，并根据所述内部品质评价指标、所述外部品质评价指标以及预设等级分级方式，获取所述目标果蔬的等级；

所述执行模块用于根据所述目标果蔬的等级，将所述目标果蔬移动到相应位置。

具体地，本发明实施例中的分拣机器人***由传感器模块、决策模块和执行模块三个部分组成，其中传感器模块中包括多种类型的传感器，比如图像传感器、嗅觉传感器和气味传感器等，可以采集目标果蔬的光谱数据、声波数据、图像数据、气味数据和触觉信息等。并将光谱数据和声波数据、图像数据、气味数据、触觉信息输入到决策模型中。

决策模型根据光谱数据、声波数据和预设品质预测分析模型，得到内部品质评价指标与外部品质评价指标中的脆度，该内部品质评价指标用来评价果蔬的内部质量，比如糖度、酸度、维生素含量、蛋白质含量和有无黑心病等，预设品质预测分析模型表示光谱数据、声波数据和内部品质评价指标、脆度之间的对应关系。

并且根据图像数据、气味数据和触觉信息，得到外部品质评价指标，该外部品质评价指标包括果蔬颜色、果蔬大小、外观缺陷、香气、硬度等。

然后根据内部品质评价指标和外部品质评价指标，结合预设等级分级方式，得到目标果蔬的等级，本发明实施例中预设等级分级方式包括三种分级方式，三种分级方式分别从食用性、营养价值和新鲜度三个方面进行分级。

决策模块将目标果蔬的等级传输给执行模块，执行模块接收到目标果蔬的等级后，机器人执行相应的移动指令，将目标果蔬移动到相应的位置。

本发明提供的一种分拣机器人***，采用多台传感器采集目标果蔬的信息，能够检测目标果蔬的多个内外部品质指标，根据多个指标评价果蔬等级更加全面，实现了智能高效检测分级，并且能够实现果蔬的无损检测。

在上述实施例的基础上，还包括人机交互模块，所述人机交互模块用于显示所述光谱数据、所述声波数据、所述图像数据、所述气味数据、所述触觉信息、所述内部品质评价指标和所述外部品质评价指标。

具体地，该分拣机器人***还包括人机交互模块，该人机交互模块用于显示中间结果及分类结果，比如采集到的光谱数据、声波数据、图像数据、气味数据、触觉信息、内部品质评价指标和外部品质评价指标等。

在上述实施例的基础上，所述决策模块还用于根据样本果蔬的光谱数据、声波数据和所述样本果蔬内部品质评价指标，建立所述预设品质预测分析模型，其中，所述样本果蔬内部品质评价指标通过实验方法测定，并通过所述人机交互模块输入。

具体地，预设品质预测分析模型是根据是决策模型处于学习模式时建立的，通过采集大量样本果蔬的光谱数据、声波数据和该样本果蔬的内部品质评价指标，建立预设品质预测分析模型。

机器人***在第一次检测果蔬之前需要先运行学习模式进行建模，当机器人处于学习模式时，传感器模块采集样本果蔬的信息数据，决策模块存储光谱数据、声波数据等用于建模，执行模块不执行分级动作，只是将样本果蔬从机器人***中转移出去。

在学习模式下，一方面要用多种传感器采集果蔬数据，另一方面需要用实验方法测定果蔬的内部品质评价指标，如糖度、酸度、是否有黑心病等，将这些数据作为参考值输入决策分析模块，决策模块使用偏最小二乘法(PLS)等基于光谱和声波等信号建立多元独立的预测模型。当采集的果蔬数据达到设定量后，预测模型建立完成，便可以启动检测模式。

当机器人***处于检测模式时，传感器模块采集果蔬数据，决策模块将数据代入建立好的预设品质预测分析模型，得出果蔬品质指标预测结果，综合多指标检测结果进行等级判别，将等级信息传达给分级动作执行模块，分级模块完成果蔬的分级动作。

如图2所示，该发明基于一种分拣机器人***，该***由传感器模块、决策模块、执行模块和人机交互模块组成，其中：

传感器模块包括视觉单元、听觉单元、嗅觉单元和触觉单元组成，视觉单元由工业相机和光学传感器分别采集目标果蔬的图像和光谱信息，听觉单元由声波传感器采集声波信息，嗅觉单元由气味传感器采集气味信息，触觉单元由触觉传感器采集触觉信息。

传感器模块将采集的这些信息传输到决策模块中，此时决策模块处于检测阶段，决策模块将光谱数据、声波数据等输入到预设品质预测分析模型中，得到果蔬的内部品质评价指标，该内部品质评价指标包括糖度、酸度、维生素含量、蛋白质含量和有无黑心病等。

然后根据图像数据、气味数据和触觉信息，得到该果蔬的外部品质评价指标，该外部品质评价指标包括颜色、大小、外观缺陷、香气和脆度等，外观缺陷是指表面损伤和腐烂情况。

然后根据内部品质评价指标和外部品质评价指标，结合预设等级分级方式，预设等级分级方式可以从三个方面进行等级分级，例如食用性、营养价值和新鲜度三个方面，不同方面的侧重点不同。

举例地，表1为本发明实施例中果蔬的预设等级分级方式评价表，如表1所示，可以根据内外部品质综合评价来评价果蔬的食用性，此种情况的分级指标包括颜色、大小、外观缺陷、香气、脆度、糖度、酸度和有无黑心病，分级结果包括优品、良品、次品和不可食用四个等级；根据营养品质综合评价指标来评价果蔬的营养等级，此种情况下的评价指标包括蛋白质含量、糖度、酸度、维生素含量和水分，分级结果包括高营养价值和低营养价值两个等级；根据新鲜度评价指标来对果蔬进行新鲜度分级，此种情况下的评价指标包括颜色、糖度、酸度、硬度和水分等指标，分级结果为新鲜、次新鲜和不新鲜三个等级。

表1

执行模块主要功能是执行果蔬的分级动作，执行模块接收到决策模块的等级判定结果后将果蔬移动到相应的位置，完成分级动作。执行模块相当于果蔬品质无损感知评价分选机器人***的手，代替人工完成分选。

人机交互模块包括指令输入、反馈输出和数据输入输出。指令的输入包括通过人机交互软件界面和语音输入指令两种方式，人机交互模块使用深度学习方法处理人类自然语言，该模块可以接收并理解人类语言指令并做出相应反应，也可以通过软件交互界面为机器人***设置工作参数，如检测的果蔬种类、检测指标、等级数目。

人机交互模块向外部输出反馈信息有两种方式，软件交互界面或语音播报，可以与人进行问答交流。

数据的输入包括模型的输入、数据库的数据输入，数据输出包括数据库数据输出、检测结果的输出、模型的输出。

机器人***具有两种工作模式：学习模式和检测模式，工作流程如图2所示。多传感器模块采集的数据一部分可以直接转换为果蔬的品质指标数据，另一部分则需要代入预测模型才能获取品质指标数据，如光学传感器和声波传感器采集的数据。

分拣机器人***在第一次检测果蔬之前需要首先运行学习模式进行建模，当分拣机器人***处于学习模式时，多传感器模块采集果蔬信息，决策模块储存数据信息用于建模，执行模块不执行分级动作，只是将果蔬从机器人***转移出去。

在学习模式下，一方面要用多种传感器采集果蔬数据，另一方面需要用实验方法测定果蔬的内部品质指标，如糖度、酸度、是否有黑心病等，将这些数据作为参考值输入决策分析模块，决策分析模块使用偏最小二乘法(PLS)等基于光谱和声波信号等建立多元品质指标预测模型。当采集的果蔬数据达到设定量后，预测模型建立完成，便可以启动检测模式。

当机器人***处于检测模式，多传感器模块采集果蔬数据，决策分析模块将数据代入建立好的预测模型，得出果蔬品质指标预测结果，综合多指标检测结果进行等级判别，将等级信息传达给分级动作执行模块，分级模块完成果蔬的分级动作。

综上，为解决我国目前果蔬缺乏采后分级环节、果蔬产品附加值低、分级方式落后等问题，高效率一体化实现果蔬检测分级，本发明利用多种先进传感器技术采集果蔬内外部品质信息，使用智能决策模块对传感器传回数据进行分析处理并评判果蔬等级，机器人执行模块根据果蔬等级做出分级动作，搭建了果蔬品质无损感知评价分选机器人***，

该***主要包括四部分：多传感器模块、信息决策模块、执行模块、人机交互模块(包括指令和数据)。该发明的实现主要分为以下四步：

(1)将多种传感器组合到一个模块用于获取果蔬信息，这些传感器将从视觉、听觉、嗅觉、味觉、触觉等多感知角度代替人类获取果蔬的多种信息，获取的信息用于果蔬内外部品质指标的预测。

(2)开发一个具有数据库功能、数据分析功能、学习功能、推理功能的决策***，能够储存大量信息并建立模型，并具有更新维护模型的功能，在机器人***中的作用如同大脑，是机器人***的大脑，能够对传感器模块采集的信息进行分析处理，判定果蔬的等级信息，向下一级的分级动作执行模块传达分级指令。决策***的模型可以由采集数据创建也可以通过数据交互模块将现有的模型置入。

(3)设计分级动作执行模块，能够抓取、转移、放置果蔬，根据决策***传达的分级指令将果蔬放置到不同指定位置完成分级。

(4)开发指令及数据交互模块，为机器人***提供人机交互功能。指令交互通过语言和软件交互界面实现，数据交互包括模型和果蔬检测数据的输入和输出。

发明的果蔬品质无损感知评价分选机器人***可以在线高通量检测果蔬的多个内外部品质指标，例如颜色、大小、外观缺陷、香气、脆度、糖度、酸度、维生素含量、成熟度、有无黑心病等，适用于多种果蔬的在线无损检测、评价、分级、分选和标识等。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种果蔬品质智能感知分拣机器人***，其特征在于，包括：传感器模块、决策模块和执行模块，其中：

所述传感器模块用于采集目标果蔬的光谱数据、声波数据、图像数据、气味数据和触觉信息；

所述决策模块用于根据所述光谱数据、所述声波数据和预设品质预测分析模型，获取所述内部品质评价指标和外部品质评价指标中的脆度，并根据所述图像数据、所述气味数据和所述触觉信息，获取所述外部品质评价指标中的其它指标，并根据所述内部品质评价指标、所述外部品质评价指标以及预设等级分级方式，获取所述目标果蔬的等级；

所述执行模块用于根据所述目标果蔬的等级，将所述目标果蔬移动到相应位置。

2.根据权利要求1所述的果蔬品质智能感知分拣机器人***，其特征在于，还包括人机交互模块，所述人机交互模块用于显示所述光谱数据、所述声波数据、所述图像数据、所述气味数据、所述触觉信息、所述内部品质评价指标和所述外部品质评价指标。

3.根据权利要求2所述的果蔬品质智能感知分拣机器人***，其特征在于，所述决策模块还用于根据样本果蔬的光谱数据、声波数据和所述样本果蔬内部品质评价指标，建立所述预设品质预测分析模型，其中，所述样本果蔬内部品质评价指标通过实验方法测定，并通过所述人机交互模块输入。

4.根据权利要求1所述的果蔬品质智能感知分拣机器人***，其特征在于，所述内部品质评价指标包括糖度、酸度、水分、维生素含量、蛋白质含量和有无黑心病。

5.根据权利要求4所述的果蔬品质智能感知分拣机器人***，其特征在于，所述外部品质评价指标包括颜色、大小、外观缺陷、香气、硬度和脆度。

6.根据权利要求5所述的果蔬品质智能感知分拣机器人***，其特征在于，所述预设等级分级方式包括食用性分级方法、营养价值分级方法和新鲜度分级方法，所述食用性分级方法根据颜色、大小、外观缺陷、香气、脆度、糖度、酸度和有无黑心病进行分级，所述营养价值分级方法根据蛋白质含量、糖度、酸度、维生素含量和水分进行分级，所述新鲜度分级方法根据颜色、糖度、酸度、硬度和水分进行分级。

7.根据权利要求1所述的果蔬品质智能感知分拣机器人***，其特征在于，所述传感器模块包括视觉单元、听觉单元、嗅觉单元和触觉单元，其中：

所述视觉单元包括工业相机和光学传感器，所述工业相机用于采集所述目标果蔬的图像，所述光学传感器用于采集所述目标果蔬的光谱信息；

所述听觉单元用于采集所述目标果蔬的声波信息；

所述嗅觉单元用于采集所述目标果蔬的气味信息；

所述触觉单元用于采集所述目标果蔬的触觉信息。

Images