CN112115824A - 果蔬检测方法、装置、电子设备以及计算机可读介质 - Google Patents

果蔬检测方法、装置、电子设备以及计算机可读介质 Download PDF

Info

Publication number
CN112115824A
CN112115824A CN202010927887.4A CN202010927887A CN112115824A CN 112115824 A CN112115824 A CN 112115824A CN 202010927887 A CN202010927887 A CN 202010927887A CN 112115824 A CN112115824 A CN 112115824A
Authority
CN
China
Prior art keywords
fruit
vegetable
fruits
vegetables
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010927887.4A
Other languages
English (en)
Other versions
CN112115824B (zh
Inventor
孙建成
王勃
王云吉
于忠京
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Douniu Network Technology Co ltd
Original Assignee
Beijing Douniu Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Douniu Network Technology Co ltd filed Critical Beijing Douniu Network Technology Co ltd
Priority to CN202010927887.4A priority Critical patent/CN112115824B/zh
Publication of CN112115824A publication Critical patent/CN112115824A/zh
Application granted granted Critical
Publication of CN112115824B publication Critical patent/CN112115824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种果蔬检测方法、装置、电子设备以及计算机可读介质。所述方法包括：数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。本发明的上述方法能够对果蔬的品质进行有效且准确的检测。

Description

果蔬检测方法、装置、电子设备以及计算机可读介质
技术领域
本发明涉及一种果蔬检测方法、装置、电子设备以及计算机可读介质。
背景技术
随着农业种植水平的发展，市场上不同果蔬的品质参差不齐，通常品质优秀的果蔬(精品)价格更高，而品质相对较差的则价格会相对较低。也正是由于价格的差异，对于市场果蔬的品质检测与分类显得尤为重要，从而避免以次充好或者品质不达标的现象发生。如今，对于果蔬的品质检测的方法主要有人工检验与分拣方法，通常因不够智能化与自动化而效率较低，同时也引入人的主观判断，标准因人而异。或者是借助一些机械设备如传送带与不同大小尺寸的“漏洞”，使得不同果径大小的果蔬经过不同尺寸的“漏洞”掉入对应的品质区域。果蔬的品质通常涉及多方面影响因素，如果径大小、色泽、表皮纹理、表面损伤等，此类机械设备目前并做不到同时包含所有影响因素的综合评估，从而影响检测效果。
例如，已知一种基于RGB的水果分类的现有技术。首先在固定灯光光照条件下通过RGB颜色识别传感器检测水果表面的RGB成分，检测水果表面着色度，获取图像色彩值，用合适的色相值累计着色面积百分比进行颜色分级。对于水果的大小，该方法通过摄像头采集图像，经过预处理包括对图像进行灰度处理、取合适阈值分割、形态学处理、边缘检测，再通过提取图像区域点，计算图像面积、重心、周长特征参数。依据此计算水果相对于水果放置平台的位置，从而对水果目标精确定位。另外，基于品质识别结果，利用设计的机械设备实现对不同品质水果的分拣。
然而，上述现有技术借助边缘检测实现，对边缘内部图像提取RGB信息。对边缘切割依赖太高，增加技术难度的同时也增加了针对不同形状物体检测的不确定性。此外，通过RGB颜色信息反映水果品质的方法只能作为品质检测的参考依据之一，而影响品质好坏的因素还有很多，如果形、色泽、表面损伤、表皮纹理等。因而它可能只对部分水果有效，使得该方法应用场景单一。当切换到不同品类或者说应用到多个品类时，需要重新手动设定不同的判别阈值来实现按品质分离，可迁移性与可扩展性不强。此外，该技术方法是基于分类的思想，人为设定的品质分类阈值与结果有着决定性关系。而不同季节不同环境如光照环境下该阈值是有差别的，该方法就是在人为设定的特定光照环境下实现的，从另一个角度说明可扩展性不强。
发明内容
针对以上问题，本发明提供一种果蔬检测方法、装置、电子设备以及计算机可读介质，其能够对果蔬的品质进行有效且准确的检测。
根据本发明的一方面，提供一种果蔬检测方法，包括：
数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；
模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及
检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。
优选地，果蔬检测方法还包括图像对生成步骤，将在所述数据集生成步骤中生成的所述数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。
优选地，在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对输入至所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至所述已训练的深度学习模型中进行检测。
优选地，所述深度学习模型的损失函数为对比损失函数(Contrastive loss)，基于该损失函数，对所述深度学习模型进行训练。
优选地，在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对根据通道(channel)维度进行连接操作，并将连接后的图像数据输入所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的待检测的图像数据输入至所述深度学习模型中进行检测。
优选地，所述深度学习模型的损失函数为Pytorch深度学习框架中torch.nn.BCEWithLogitsLoss，基于该损失函数，对所述深度学习模型进行训练。
优选地，在所述图像对生成步骤中，将所形成的图像对中的具有相同品质的果蔬的图像标记为第一值，将所形成的图像对中的具有不同品质的果蔬的图像标记为第二值，并且
在所述检测步骤中，对所述深度学习模型输出的检测结果进行处理，以映射到所述第一值至所述第二值的范围内，从而判断所述待检测的果蔬图像与标准图像的相似度。
优选地，在所述数据集生成步骤中，根据果蔬的种类和品质，采集果蔬的图像，并生成基于果蔬的种类和品质的数据集，并且
在所述检测步骤中，识别所述待检测的果蔬图像中的果蔬的种类和品质。
优选地，所述果蔬的品质包括果蔬的果径大小、形状、色泽、表皮纹理、表面着锈、以及表面损伤情况中的至少一者。
优选地，在所述数据集生成步骤中，所采集的果蔬的图像是具有单个果蔬的图像。
根据本发明的另一方面，提供一种果蔬检测装置，包括：
数据集生成单元，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；
模型训练单元，基于所生成的所述数据集，对深度学习模型进行训练；以及
检测单元，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。
根据本发明的另一方面，提供一种检测果蔬的电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如以上方面所述的果蔬检测方法。
根据本发明的另一方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上方面所述的果蔬检测方法。
发明的有益效果
根据本发明的果蔬检测方法和装置，实现了对果蔬品质的综合评估，包含纹理、虫蛀、色泽、果形等影响因素，不再需要显式地检测每一项指标。而检测一个单独品类的所有影响指标是一件极其困难的事情。本发明的果蔬检测方法和装置可以在真实环境背景下实现，可解决复杂的环境情况。
此外，与基于分类任务的数万量级样本相比，本发明提供了一种基于小样本的果蔬品类检测方法，能够在小样本数量基础上完成品质检测，并能够达到更好的效果，从而减少成本并提高效率。
另外，本发明的果蔬检测方法和装置基于相似度实现。当需要识别新的品类时，当前模型可作为预训练模型，在提供新品类不同品质的标准样本下可根据当前模型做出检测。在训练模型时，如果包含的品类足够多，则相当于人的学习经验更丰富，对于新品类不再需要重新训练模型，具有很好的迁移性。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，但其说明仅用于解释本发明，并不构成对本发明的不当限定。
图1示出根据本发明的一优选实施例的果蔬检测方法。
图2示出根据本发明的另一优选实施例的果蔬检测方法。
图3示出本发明的果蔬检测方法的一优选的具体操作实例的流程图。
图4示出根据本发明的一优选的具体操作实例的中的第一训练检测方式。
图5示出根据本发明的一优选的具体操作实例的深度学习模型中的卷积单元。
图6示出根据本发明的一优选的具体操作实例的中的第二训练检测方式。
图7是根据本发明实施例的果蔬检测装置的主要单元示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。
结合图1-6说明本发明的果蔬检测方法。图1示出根据本发明的一优选实施例的果蔬检测方法。图2示出根据本发明的另一优选实施例的果蔬检测方法。图3示出本发明的果蔬检测方法的一优选的具体操作实例的流程图。图4示出根据本发明的一优选的具体操作实例的中的第一训练检测方式。图5示出根据本发明的一优选的具体操作实例的深度学习模型中的卷积单元。图6示出根据本发明的一优选的具体操作实例的中的第二训练检测方式。
本发明提供了一种果蔬检测方法。如图1所示，根据本发明的一优选实施例的果蔬检测方法包括数据集生成步骤S1，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练步骤S2，基于所生成的数据集，对深度学习模型进行训练；以及检测步骤S3，基于已训练的深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。根据本发明的实施例的果蔬检测方法，能够对果蔬的品质进行有效且准确的检测。
在本发明的实施例中，果蔬的品质包括果蔬的果径大小、形状、色泽、表皮纹理、表面着锈、以及表面损伤情况中的至少一者。
如图2所示，根据本发明的另一优选实施例的果蔬检测方法还可以包括：图像对生成步骤S4，将在数据集生成步骤S1中生成的所述数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。
以下描述根据本发明的上述另一优选实施例的果蔬检测方法中的模型训练与检测的一具体实例。在模型训练步骤S2中，将图像对生成步骤S4中生成的图像对输入至深度学习模型中，以对深度学习模型进行训练。在检测步骤S3中，将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至已训练的深度学习模型中进行检测。其中，深度学习模型的损失函数例如被定义为对比损失函数(Contrastive loss)，基于该损失函数，对深度学习模型进行训练。
以下描述根据本发明的上述另一优选实施例的果蔬检测方法中的模型训练与检测的另一具体实例。在模型训练步骤S2中，将图像对生成步骤S4中生成的图像对根据通道维度进行连接操作，并将连接后的图像数据输入至深度学习模型中，以对深度学习模型进行训练。在检测步骤S3中，将待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的待检测的图像数据输入至深度学习模型中进行检测。其中，深度学习模型的损失函数例如被定义为Pytorch深度学习框架中torch.nn.BCEWithLogitsLoss，该函数为深度学习框架中的已定义的方法。基于该损失函数，对所述深度学习模型进行训练。
进一步优选地，在图像对生成步骤S4中，可以将所形成的图像对中的具有相同品质的果蔬的图像标记为第一值，将所形成的图像对中的具有不同品质的果蔬的图像标记为第二值。在检测步骤S3中，例如可以对深度学习模型输出的检测结果进行处理，以映射到第一值至第二值的范围内，从而判断待检测的果蔬图像与标准图像的相似度。
此外，根据本发明的又一优选实施例的果蔬检测方法，在数据集生成步骤S1中，根据果蔬的种类和品质，采集果蔬的图像，并生成基于果蔬的种类和品质的数据集；而在检测步骤S3中，识别待检测的果蔬图像中的果蔬的种类和品质。
以下参考图3-6描述根据本发明的实施例的果蔬检测方法的一优选的具体操作实例。
如图3所示，该具体操作实例的果蔬检测方法包括：
(1)数据集构建步骤：拍摄待识别所有品类的不同品质的多张图像(例如，各20张)，从而构建果蔬的数据集。图像中可以仅包含待识别品类的单个个体。背景可以例如是纯色底色，优选为白底色。不同品类的不同品质样本可以单独作为一类，其中不同品类的次品样本尽可能多的包含各种影响品质的因素，例如，色泽不好、虫蛀、果形太小等。
(2)图像预处理步骤：将上述拍摄所得的图像做图像增强处理，扩充数据集的同时增加模型的泛化能力。处理方式包括：图像不同角度旋转、水平翻转、图像亮度调整、图像对比度调整、图像饱和度调整等。数据集中每类样本包含原图与原图对应的经过上述至少一项处理的数张扩充图像。
(3)图像对生成步骤：将预处理后的数据集中的图像两两随机组合，从而形成用于训练的图像对。其中，将来自同一类(具有相同品质)图像对的标识标记为0，将来自不同类(具有不同品质)图像对的标识标记为1，作为数据进入模型前的第一步准备。在该步骤中，可以保持标识为0与标识为1的图像对的数量相当，从而防止数据倾斜。对于来自同一类图像对和来自不同类图像对的标识，其不限于0和1，还可以是例如-1和1这样其他的数值组合，只要是能够实现本发明的方案即可。
(4)模型输入准备步骤：首先调整图像对中的图像大小，例如将图像对中的图像调整大小为(300，300)。此时，保证调整大小后的原图像部分宽高比不变，以防止画面中物体出现拉伸形变，其余的相比于调整后图像大小的像素值缺失部分采用定值填充。
(5)模型训练和检测步骤：如图3所示，具有两种不同的训练检测方式来实现深度学习模型的训练和检测，其对应两种不同的模型输入形式。
(5.1)如图4所示，第一训练检测方式对图像对不再做其它处理，图像对中的两张图像分别进入深度学习模型进行训练，其中两个输入共享同一个深度学习网络。
在第一训练检测方式的深度模型训练步骤中，深度学习模型包括卷积层与全连接层。卷积层包含三个图像填充-卷积-relu激活-批量正则化(Padding-Convolution-Relu-BatchNormalization)单元。如图5所示，第一个卷积层输入通道为3。全连接层部分包含3个全连接层，在全连接层之间分别有一个relu激活单元，输出层的输出向量维度为5。优化方式采用Adam算法优化，学习率设定为0.0005。该第一方式的模型的损失函数定义为对比损失函数(Contrastive Loss)，公式如下所示：
Figure BDA0002669086190000091
其中，L代表计算得到的对比损失结果值，N表示样本对的数目，y为样本对间两个样本是否匹配的标签，y＝0表示样本间匹配，对应地，y＝1则样本间不匹配，d为样本对间两个样本的距离度量，margin为设定的阈值参数。
在该损失函数的训练下，会使来自同一类的图像对间距离越来越近，来自不同类的图像对间距离越来越远，从而达到相似度区别的效果。该模型的训练过程中，大概500epochs后基本达到拟合状态。
在第一训练检测方式的品质检测步骤中，对于每一类待识别品类的不同品质分别选取具有代表性的标准图像，将待检测图片与标准图片分别组成不同图像对，每个图像对中的两张图像单独作为输入经过模型计算，利用输出计算每一对图像输出向量间的欧几里得距离，并通过例如tanh激活函数将结果映射到0到1的区间。而该分数此时正是图像对间的区分度，该值越大，则说明这两张图像不属于同一类的可能性越高。因此，选取分数最小的图像对，其中标准图像对应的类别与品质正是待检测图像的所述类别与品质。
(5.2)如图6所示，第二训练检测方式例如将两张通道为3的RGB图像在通道维度进行连接操作，即连接后的通道为6，将处理后的向量作为模型的输入。
在第二训练检测方式的深度模型训练步骤中，深度学习模型包括卷积层与全连接层。卷积层包含三个图像填充-卷积-relu激活-批量正则化(Padding-Convolution-Relu-BatchNormalization)单元。如图6所示，第一个卷积层输入通道为6。全连接层部分包含3个全连接层，在全连接层之间分别有一个relu激活单元，输出层输出向量维度为1。优化方式采用Adam优化，学习率设定为0.00005。该第二方式下的模型的损失函数定义为BCEWithLogitsLoss，将相似与否定义为一种二分类问题而不是直接将品质好坏定义为二分类问题。该模型的训练过程中，大概1200epochs后基本达到拟合状态。
在第二训练检测方式的品质检测步骤中，每一类待识别品类的不同品质分别选取具有代表性的标准图像，将待检测图片与标准图片按通道维度连接作为输入经过模型计算，并将模型输出通过例如sigmoid激活函数将结果映射到0到1的区间。而该分数此时正是图像对间的区分度，该值越大，则说明这两张图像不属于同一类的可能性越高。因此，选取分数最小的图像对，其中标准图像对应的类别与品质正是待检测图像的所述类别与品质。
本发明的果蔬检测方法所实现的效果为，最终使来自同一品质(同一类别)间的相似度得分是否尽可能的高(例如，接近1)，而使来自不同品质(不同类别)间的相似度得分是否尽可能低(例如，接近0)。通过这种评估方式可以一定程度上验证品质的好坏或者检测的准确度。从理论上来说，第二训练检测方式在将图像对进行拼接之后，可以通过深度学习网络更好的学习到区分图像对的模型。
以下参考图7描述是根据本发明实施例的日志匹配装置。
如图7所示，果蔬检测装置100包括数据集生成单元101，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；模型训练单元102，基于所生成的数据集，对深度学习模型进行训练；以及检测单元103，基于已训练的深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。根据本发明的实施例的果蔬检测装置，能够对果蔬的品质进行有效且准确的检测。
在本发明的实施例中，果蔬的品质包括果蔬的果径大小、形状、色泽、表皮纹理、表面着锈、以及表面损伤情况中的至少一者。
根据本发明的另一优选实施例的果蔬检测装置还可以包括：图像对生成单元，将数据集生成单元101生成的数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。
以下具体描述根据本发明的上述另一优选实施例的果蔬检测装置中的模型训练与检测的一具体实例。模型训练单元102将图像对生成单元中生成的图像对输入至深度学习模型中，以对深度学习模型进行训练。检测单元103将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至已训练的深度学习模型中进行检测。其中，深度学习模型的损失函数例如被定义为对比损失函数(Contrastive loss)，基于该损失函数，对深度学习模型进行训练。
以下具体描述根据本发明的上述另一优选实施例的果蔬检测装置中的模型训练与检测的另一具体实例。模型训练单元102将图像对生成单元中生成的图像对根据通道维度进行连接操作，并将连接后的图像数据输入至深度学习模型中，以对深度学习模型进行训练。检测单元103将待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的图像数据输入至深度学习模型中进行检测。其中，深度学习模型的损失函数例如被定义为BCEWithLogitsLoss，基于该损失函数，对所述深度学习模型进行训练。
进一步优选地，图像对生成单元可以将所形成的图像对中的具有相同品质的果蔬的图像标记为第一值，将所形成的图像对中的具有不同品质的果蔬的图像标记为第二值。检测单元103例如可以对深度学习模型输出的检测结果进行处理，以映射到第一值至第二值的范围内，从而判断待检测的果蔬图像与标准图像的相似度。
此外，根据本发明的又一优选实施例的果蔬检测装置，数据集生成单元101根据果蔬的种类和品质，采集果蔬的图像，并生成基于果蔬的种类和品质的数据集；而检测单元103识别待检测的果蔬图像中的果蔬的种类和品质。
作为另一方面，本发明还提供了一种检测果蔬的电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明的上述实施例中的果蔬检测方法。
作为又一方面，本发明还提供了一种计算机可读介质，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被处理器执行时，使得程序执行上述实施例中所描述的果蔬检测方法。
作为本方法的一个应用实例，在数据集生成阶段收集了甜瓜品类下羊角蜜甜瓜精品、羊角蜜甜瓜次品、博洋甜瓜精品、博洋甜瓜次品各20张样本进行模拟。对于甜瓜品类来说，品质不好的样本表现为例如有虫蛀、瓜皮纹理不均匀、瓜形不好看或果径太小等，在对应的次品样本集下尽量都包含了这些现象的样本。上述提到的两种训练检测方式在本应用实例中均有实现，结果表明两种方式对品质的区分都可以达到较为理想的效果，而按通道将图像对连接的方式的表现相对更优。这里所说的表现通过相似品质的相似度结果分数与1更加接近，而不同品质的相似度结果分数与0更加接近来具体衡量。在实现过程中，具体的操作步骤流程、模型定义与参数设置等与上述技术方案中所述的内容相同。因此，由于已做具体描述，此处不再过多说明。
此外，例如可在MiniImageNet等已有数据集上，根据上述图像对的相似性的技术构思进行模型训练，再将模型应用到待识别品类上做迁移训练。该方法在理论上称为元学习(Meta Learning)，但其构思和方法与本发明相通。
相比于传统的果蔬品质检测方法，本发明提出一种基于相似度的果蔬品质的检测方法，其能够实现综合性的、易迁移的且基于少量样本的品质检测。在模型训练阶段，不同的模型结构、参数定义、优化方法、损失函数等均属于该本发明的方法的具体实现方式，并且对于本发明的方法的调整也应当在本发明的保护范围内。上述实施例仅是本发明的具体的实例。在训练阶段涉及的果蔬品类越多，则模型会学到更多的知识。因此，本发明适用于多品类的检测方法。品类的扩展与相似物体的属性识别与本发明技术构思相符。
根据本发明的果蔬检测方法和装置，实现了对果蔬品质的综合评估，包含纹理、虫蛀、色泽、果形等影响因素，不再需要显式地检测每一项指标。而检测一个单独品类的所有影响指标是一件极其困难的事情。本发明的果蔬检测方法和装置可以在真实环境背景下实现，可解决复杂的环境情况。
此外，与基于分类任务的数万量级样本相比，本发明提供了一种基于小样本的果蔬品类检测方法，能够在小样本数量基础上完成品质检测，并能够达到更好的效果，从而减少成本并提高效率。
另外，本发明的果蔬检测方法和装置基于相似度实现。当需要识别新的品类时，当前模型可作为预训练模型，在提供新品类不同品质的标准样本下可根据当前模型做出检测。在训练模型时，如果包含的品类足够多，则相当于人的学习经验更丰富，对于新品类不再需要重新训练模型，具有很好的迁移性。
本领域的技术人员容易理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。以上示例性实施例仅仅是用于阐明本发明的原理，而并非用于限定本发明的保护范围。本领域技术人员在不背离本发明所揭示的精神和原理的范围内，可以对本发明做出各种改进，而不会超出由权利要求书限定的范围。

Claims (13)

1.一种果蔬检测方法，包括：
数据集生成步骤，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；
模型训练步骤，基于所生成的所述数据集，对深度学习模型进行训练；以及
检测步骤，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。
2.根据权利要求1所述的果蔬检测方法，还包括：
图像对生成步骤，将在所述数据集生成步骤中生成的所述数据集中的果蔬的图像两两组合，以形成用于模型训练的图像对。
3.根据权利要求2所述的果蔬检测方法，其中，
在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对输入至所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像组成待检测图像对，并输入至所述已训练的深度学习模型中进行检测。
4.根据权利要求3所述的果蔬检测方法，其中，
所述深度学习模型的损失函数为对比损失函数，基于该损失函数，对所述深度学习模型进行训练。
5.根据权利要求2所述的果蔬检测方法，其中，
在所述模型训练步骤中，将所述图像对生成步骤中生成的所述图像对根据通道维度进行连接操作，并将连接后的图像数据输入所述深度学习模型中，以对所述深度学习模型进行训练，并且
在所述检测步骤中，将所述待检测的果蔬图像与标准图像根据通道维度进行连接操作，将连接后的待检测图像数据输入至所述深度学习模型中进行检测。
6.根据权利要求5所述的果蔬检测方法，其中，
所述深度学习模型的损失函数为Pytorch深度学习框架中torch.nn.BCEWithLogitsLoss，基于该损失函数，对所述深度学习模型进行训练。
7.根据权利要求3-6的任一项所述的果蔬检测方法，其中，
在所述图像对生成步骤中，将所形成的图像对中的具有相同品质的果蔬的图像标记为第一值，将所形成的图像对中的具有不同品质的果蔬的图像标记为第二值，并且
在所述检测步骤中，对所述深度学习模型输出的检测结果进行处理，以映射到所述第一值至所述第二值的范围内，从而判断所述待检测的果蔬图像与所述标准图像的相似度。
8.根据权利要求1-7的任一项所述的果蔬检测方法，其中，
在所述数据集生成步骤中，根据果蔬的种类和品质，采集果蔬的图像，并生成基于果蔬的种类和品质的数据集，并且
在所述检测步骤中，识别所述待检测的果蔬图像中的果蔬的种类和品质。
9.根据权利要求1-8的任一项所述的果蔬检测方法，其中，
所述果蔬的品质包括果蔬的果径大小、形状、色泽、表皮纹理、表面着锈、以及表面损伤情况中的至少一者。
10.根据权利要求1-9的任一项所述的果蔬检测方法，其中，
在所述数据集生成步骤中，所采集的果蔬的图像是具有单个果蔬的图像。
11.一种果蔬检测装置，包括：
数据集生成单元，根据果蔬的品质，采集果蔬的图像，以生成基于果蔬品质的数据集；
模型训练单元，基于所生成的所述数据集，对深度学习模型进行训练；以及
检测单元，基于已训练的所述深度学习模型，对待检测的果蔬图像进行检测，以识别所述待检测的果蔬图像中的果蔬的品质。
12.一种检测果蔬的电子设备，包括：
一个或多个处理器；和
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的果蔬检测方法。
13.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-10中任一项所述的果蔬检测方法。
CN202010927887.4A 2020-09-07 2020-09-07 果蔬检测方法、装置、电子设备以及计算机可读介质 Active CN112115824B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010927887.4A CN112115824B (zh) 2020-09-07 2020-09-07 果蔬检测方法、装置、电子设备以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010927887.4A CN112115824B (zh) 2020-09-07 2020-09-07 果蔬检测方法、装置、电子设备以及计算机可读介质

Publications (2)

Publication Number Publication Date
CN112115824A true CN112115824A (zh) 2020-12-22
CN112115824B CN112115824B (zh) 2024-06-11

Family

ID=73803322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010927887.4A Active CN112115824B (zh) 2020-09-07 2020-09-07 果蔬检测方法、装置、电子设备以及计算机可读介质

Country Status (1)

Country Link
CN (1) CN112115824B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115406967A (zh) * 2022-11-01 2022-11-29 湖南木屋网络科技有限公司 一种水果品质判断方法、***、设备及储存介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
CN108805200A (zh) * 2018-06-08 2018-11-13 中国矿业大学 基于深度孪生残差网络的光学遥感场景分类方法及装置
CN109816439A (zh) * 2019-01-14 2019-05-28 珠海格力电器股份有限公司 果蔬智能计价方法、装置、存储介质及设备
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110033015A (zh) * 2019-02-20 2019-07-19 天津科技大学 一种基于残差网络的植物病害检测方法
CN110111334A (zh) * 2019-04-01 2019-08-09 浙江大华技术股份有限公司 一种裂缝分割方法、装置、电子设备及存储介质
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN110781928A (zh) * 2019-10-11 2020-02-11 西安工程大学 一种提取图像多分辨率特征的图像相似度学习方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
US20180260665A1 (en) * 2017-03-07 2018-09-13 Board Of Trustees Of Michigan State University Deep learning system for recognizing pills in images
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN108805200A (zh) * 2018-06-08 2018-11-13 中国矿业大学 基于深度孪生残差网络的光学遥感场景分类方法及装置
KR20200000824A (ko) * 2018-06-25 2020-01-03 한국과학기술원 중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법
CN109816439A (zh) * 2019-01-14 2019-05-28 珠海格力电器股份有限公司 果蔬智能计价方法、装置、存储介质及设备
CN110033015A (zh) * 2019-02-20 2019-07-19 天津科技大学 一种基于残差网络的植物病害检测方法
CN110111334A (zh) * 2019-04-01 2019-08-09 浙江大华技术股份有限公司 一种裂缝分割方法、装置、电子设备及存储介质
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110516561A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于dcgan和cnn的sar图像目标识别方法
CN110781928A (zh) * 2019-10-11 2020-02-11 西安工程大学 一种提取图像多分辨率特征的图像相似度学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢健: "双分支网络架构下的图像相似度学习", 《测绘通报》, no. 12, pages 50 - 54 *
程春燕: "基于机器视觉的脐橙品质自动检测分类技术研究", 《中国优秀硕士学位论文全文数据库农业科技辑》, no. 7, pages 39 - 40 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115406967A (zh) * 2022-11-01 2022-11-29 湖南木屋网络科技有限公司 一种水果品质判断方法、***、设备及储存介质

Also Published As

Publication number Publication date
CN112115824B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
Woźniak et al. Adaptive neuro-heuristic hybrid model for fruit peel defects detection
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
US10467502B2 (en) Surface defect detection
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106897673B (zh) 一种基于retinex算法和卷积神经网络的行人再识别方法
Barnes et al. Visual detection of blemishes in potatoes using minimalist boosted classifiers
Yossy et al. Mango fruit sortation system using neural network and computer vision
Aquino et al. Grapevine flower estimation by applying artificial vision techniques on images with uncontrolled scene and multi-model analysis
CN109829914A (zh) 检测产品缺陷的方法和装置
CN107169417B (zh) 基于多核增强和显著性融合的rgbd图像协同显著性检测方法
Valenzuela et al. Quality assessment of lettuce using artificial neural network
Thakur et al. An innovative approach for fruit ripeness classification
CN111783693A (zh) 果蔬采摘机器人的智能识别方法
Chowdhury et al. Vegetables detection from the glossary shop for the blind
CN108664839A (zh) 一种图像处理方法和设备
Pramunendar et al. A Robust Image Enhancement Techniques for Underwater Fish Classification in Marine Environment.
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
Ignacio et al. A YOLOv5-based deep learning model for in-situ detection and maturity grading of mango
CN114863198A (zh) 一种基于神经网络的小龙虾质量分级方法
Saifullah et al. Palm oil maturity classification using K-nearest neighbors based on RGB and L* a* b color extraction
Pratap et al. Development of Ann based efficient fruit recognition technique
CN112115824B (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
Elhariri et al. Random forests based classification for crops ripeness stages
Nawawi et al. Comprehensive pineapple segmentation techniques with intelligent convolutional neural network
Sulaiman et al. Automatic grading system for oil palm fruit ripeness

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant