CN115331216B - 核桃果实成熟度聚类识别方法、装置及***和存储介质 - Google Patents

核桃果实成熟度聚类识别方法、装置及***和存储介质 Download PDF

Info

Publication number
CN115331216B
CN115331216B CN202210961079.9A CN202210961079A CN115331216B CN 115331216 B CN115331216 B CN 115331216B CN 202210961079 A CN202210961079 A CN 202210961079A CN 115331216 B CN115331216 B CN 115331216B
Authority
CN
China
Prior art keywords
maturity
walnut
fruits
image
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210961079.9A
Other languages
English (en)
Other versions
CN115331216A (zh
Inventor
陈锋军
朱学岩
沈德宇
王瑞鹏
郑一力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Forestry University
Original Assignee
Beijing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Forestry University filed Critical Beijing Forestry University
Priority to CN202210961079.9A priority Critical patent/CN115331216B/zh
Publication of CN115331216A publication Critical patent/CN115331216A/zh
Application granted granted Critical
Publication of CN115331216B publication Critical patent/CN115331216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
    • A01D46/30—Robotic devices for individually picking crops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种核桃果实成熟度聚类识别方法、装置及***和存储介质，通过人工智能深度学习中的无监督学习技术构建核桃果实成熟度聚类识别模型，实现核桃成熟度的自动聚类识别，并测量不同成熟度核桃果实的内部品质，进而解释核桃果实内部品质与外部表型间的关系，建立核桃成熟度与内部品质间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度，为核桃的智能化采摘提供了一种全新的技术思路。

Description

核桃果实成熟度聚类识别方法、装置及***和存储介质
技术领域
本发明涉及智能农业技术领域，特别是涉及一种核桃果实成熟度聚类识别方法、装置及***和存储介质。
背景技术
核桃果实中不仅含有丰富的营养物质且具有较高的医疗和保健功能，又被誉为长寿果。核桃的种仁含油率一般可以达到60％～70％，在食用油料中发挥着至关重要的作用。2020年全国核桃种植面积已经达到上亿亩，核桃年产量479.59万吨。核桃产业的种植规模不断扩大，但是核桃每亩产油量却没有显著提升。这其中不仅与核桃的良种方面有关，分析主要的原因是采收成熟度不合适，即未在最佳成熟度采收核桃。应当着力研究核桃果实的成熟度和含油率等内部品质间的关系，确定核桃含油率最高的成熟度，并进而确定核桃在含油率最高时的表型特征，提高核桃的亩产油量，实现提质增效。
专利申请号为CN113192026A，发明名称为“一种基于可见光图像的核桃成熟度检测与预测方法”的中国专利。该发明在核桃成熟度等级划分中，需要每隔3天采样一次且每次选择50颗健康且成熟度相对一致的核桃进行采摘，并在之后测量每次采样的核桃果实的脂肪含量进而划分成熟度，然后以此成熟度训练深度学习模型实现成熟度检测。这种采用有监督学习技术预先划分成熟度再训练深度学习模型的方式需要采集千余颗核桃果实并进行几十次实验，需要耗费大量的人力物力和时间。并且，在划分成熟度时也仅参考了每次采摘的50颗果实样本，存在一定的局限性。除此之外，该专利在进行核桃成熟度检测时并未对图像进行裁剪，导致图像中仍有大量的背景区域干扰核桃的成熟度识别，这也在一定程度上影响了该算法的准确率。
从目前核桃产业发展的需求以及当前人工老龄化和劳动力不足的现状可以发现，实现核桃智能化采收是技术智能化的发展趋势。而要实现核桃的智能化采收需要解决的一个关键问题就是核桃的成熟度识别问题。为了达到核桃成熟度智能识别的目的，需要解决的一个关键问题就是核桃的成熟度划分并要将划分的成熟度与内部品质相联系。如何自动提取核桃果实的表型特征并与内部品质相联系进而划分成熟度等级是本领域研究人员关注的热点问题。且综合核桃和成熟度检测的相关研究发现，核桃机械化采摘技术的研究正在进行中；核桃智能化采摘相关的研究鲜有涉及。成熟度识别的研究大多是采用有监督学习的方式，即需要专家根据经验预先划分成熟度或者根据脂肪含量划分成熟度，然后再训练模型识别成熟度的检测和识别，采用人工智能深度学习的无监督学习方式进行核桃成熟度聚类识别相关研究至今鲜有报道。
发明内容
提供了本发明以解决现有技术中存在的上述问题。因此，需要一种核桃果实成熟度聚类识别方法、装置及***和存储介质，建立基于无监督学习的核桃果实成熟度聚类识别模型，阐明不同成熟度核桃果实的表型特征差异，确定核桃果实含油率最高时所对应的表型状态，指导核桃的智能化采摘。
根据本发明的第一方案，提供了一种核桃果实成熟度聚类识别方法，所述方法包括：利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
根据本发明的第二技术方案，提供一种核桃果实成熟度聚类识别装置，所述装置包括：特征提取模块，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；聚类分析模块，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；模型训练模块，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；模型识别模块，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；最佳采收成熟度确定模块，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
根据本发明的第三技术方案，提供一种核桃果实成熟度聚类识别***，所述***包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现如上所述的方法。
根据本发明的第四技术方案，提供一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行如上所述的方法。
根据本发明各个方案的核桃果实成熟度聚类识别方法、装置及***和存储介质，其至少具有以下技术效果：
本发明以未标记的核桃果实图像为实验数据，通过人工智能深度学习中的无监督学习技术构建核桃果实成熟度聚类识别模型，实现核桃成熟度的自动聚类识别，并测量不同成熟度核桃果实的内部品质，进而解释核桃果实内部品质与外部表型间的关系，建立核桃成熟度与内部品质间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
图1示出了根据本发明实施例的一种核桃果实成熟度聚类识别方法的流程图。
图2示出了根据本发明实施例的基于无监督学习的核桃果实成熟度聚类识别网络模型示意图。
图3示出了根据本发明实施例的一种核桃果实成熟度聚类识别装置的结构图。
具体实施方式
为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施方式对本发明作详细说明。下面结合附图和具体实施例对本发明的实施例作进一步详细描述，但不作为对本发明的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。
本发明实施例提供一种核桃果实成熟度聚类识别方法，请参阅图1，该方法始于步骤S100，利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征。本文中所述的样本集指的是包含有多个图样样本的数据集，所述图像样本为挂枝状态下不同角度的核桃果实样品图像，可以从已有的数据库中获取，也可以用手机、相机或者无人机等设备进行采集。
在一些实施例中，所述样本集通过如下方法获得：获取核桃果实的可见光图像；对所述可见光图像进行裁剪以确保可见光图像内包含核桃果实而不包含背景区域；以裁剪后的可见光图像搭建所述样本集。
在一些实施例中，所述利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征，包括：
基于表型特征信息，采用主成分分析提取累积贡献率超过95%的表型特征信息，并对所述累积贡献率超过95%的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式（1）所示：
Figure SMS_1
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
步骤S200，基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组。
在一些实施例中，所述基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组，包括：
对所述关键表型特征进行聚类分析，通过如下公式（2）为各个图像样本分配伪标签；
Figure SMS_2
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure SMS_3
为关键表型特征，x n 为第n幅图像样本，/>
Figure SMS_4
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
步骤S300，以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型。
在一些实施例中，所述以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型，包括：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型。
在一些实施例中，所述交叉熵损失函数计算损失值如公式（3）所示：
Figure SMS_5
（3）
其中N-数据集中核桃图像的数量；
Figure SMS_6
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
最后，在步骤S400，利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度，从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
在一些实施例中，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
下面本发明实施例将结合具体的实验以进一步说明本发明的可行性和进步性。
本发明实施例确定河北省临城市绿岭核桃小镇、陕西省黄龙县干锅公司以及北京国际核桃庄园为实验基地，本实施例选取香玲、辽一和绿岭三个核桃品种为研究对象。在核桃果实的成熟期利用棋盘式取样法挑选不同的核桃果树，并从每棵核桃果树树冠中部四周位置随机选取5颗果实样品；利用手机、相机或者无人机采集挂枝状态下不同角度的核桃果实样品图像，制备核桃果实样品，带回实验室以供测量果实的含油量、可溶性蛋白含量以及可溶性糖含量。累计获得三个核桃品种的260GB的图像数据和100颗核桃果实样本。将采集的核桃果实图像裁剪至仅包含核桃果实区域，并以裁剪后的图像搭建核桃果实成熟度识别数据集，为训练基于无监督学习的核桃果实成熟度聚类识别模型做出充分的数据准备。
使用深度学习的卷积神经网络自动提取核桃果实的表型特征，该卷积神经网络模型可以是AlexNet、VGG16、ResNet和DenseNet等。其中，卷积神经网络的初始参数是通过随机初始化产生的。深度学习的卷积神经网络不仅可以提取核桃果实的颜色、纹理等人类肉眼可发现的特征，还能提取人类很多人类肉眼发现不了的表型特征。而这些深层特征往往更稳定，具有更高的鲁棒性。深度学习的卷积神经网络提取的核桃果实的表型特征通过倒数第二个全连接层输出。以VGG16为例，如图2所示，VGG16提取的每颗核桃果实的表型特征输出后是一个4096维的特征向量，该特征向量包含了VGG16模型东提取的核桃果实丰富的表型特征信息。4096维的特征在处理时会导致复杂的计算过程和较高的硬件需求，为此我们采用主成分分析提取了累积贡献率超过95%的前181个特征。并对累积贡献率超过95%的前181个特征进行L2归一化处理，以避免奇异值的影响。L2归一化计算如公式（1）：
Figure SMS_7
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
描述核桃果实成熟度的关键表型信息自动提取阶段，提取了数据集中每幅核桃图像的181维特征。采用K-Means聚类算法对归一化后的数据集中每幅图像的181维特征进行聚类分析，实现数据集中核桃果实成熟度的分类。如图2所示，在完成聚类后，数据集中每幅图像均会有一个聚类分配。接着，以该聚类分配为伪标签数据，由此获得了以伪标签为监督信息的核桃果实成熟度分类数据集。核桃成熟度的伪标签分配计算如公式（2）：
Figure SMS_8
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure SMS_9
为关键表型特征，x n 为第n幅图像样本，/>
Figure SMS_10
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
采用交叉熵损失函数度量K-Means聚类分配的伪标签与以初始权重的VGG16模型分类的结果，并通过反向传播更新VGG16模型的网络参数。接着，以更新后的网络参数再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，进而再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，如图2。如此反复执行特征提取、聚类、损失计算和参数更新后最终获得一组最适合核桃表型特征提取的网络参数。基于伪标签计算损失值如公式（3）：
Figure SMS_11
（3）
其中N-数据集中核桃图像的数量；
Figure SMS_12
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。/>
使用训练好的核桃果实成熟度聚类识别模型识别100颗核桃果实样本的图像，将100颗核桃果实样本划分成不同的成熟度。然后，从每个成熟度中随机选择10颗果实，采用索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测采用本文方法自动聚类的不同成熟度核桃果实的含油率、可溶性蛋白含量以及总糖含量。接着，分析不同成熟度核桃果实的含油率、可溶性蛋白含量以及总糖含量区间，确定哪个成熟度的核桃果实具有较高的品质和含油率。最后，分析获得较高品质和含油率的核桃果实的表型特征，从而指导核桃人工的精细化采摘。
本发明在通过无监督学习技术自动提取核桃果实的表型特征后聚类识别核桃果实的成熟度，并检测每个成熟度典型样本果实的含油率、可溶性蛋白含有以及可溶性糖含量，确定最佳采收成熟度，并分析最佳采收成熟度核桃果实的表型特征，进而揭示对应何种表型特征的核桃果实品质最佳。
本发明实施例还提供一种核桃果实成熟度聚类识别装置，请参阅图3，图3示出了根据本发明实施例的一种核桃果实成熟度聚类识别装置的结构图。所述装置300包括：
特征提取模块301，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
聚类分析模块302，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
模型训练模块303，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
模型识别模块304，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；
最佳采收成熟度确定模块305，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量。
在一些实施例中，所述特征提取模块301被进一步配置为：
基于表型特征信息，采用主成分分析提取累积贡献率超过95%的表型特征信息，并对所述累积贡献率超过95%的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式（1）所示：
Figure SMS_13
（1）
其中，x为归一化之前的特征向量，y为归一化后的特征向量，x T 为归一化之前的特征向量x的转置矩阵。
在一些实施例中，所述聚类分析模块302被进一步配置为：
对所述关键表型特征进行聚类分析，通过如下公式（2）为各个图像样本分配伪标签；
Figure SMS_14
（2）
其中，N为样本集中图像样本的数量；y n 为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，
Figure SMS_15
为关键表型特征，x n 为第n幅图像样本，/>
Figure SMS_16
为每个图像样本的伪标签的转置矩阵，1 k 为k维单位矩阵。
在一些实施例中，所述模型训练模块303被进一步配置为：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型。
在一些实施例中，所述交叉熵损失函数计算损失值如公式（3）所示：
Figure SMS_17
（3）
其中N-数据集中核桃图像的数量；
Figure SMS_18
卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
在一些实施例中，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
需要注意，描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
本发明实施例所提到的核桃果实成熟度聚类识别装置与在先阐述的方法属于同一技术构思，其起到的技术效果基本一致，此处不赘述。
本发明实施例还提供一种核桃果实成熟度聚类识别***，所述***包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现本发明任一实施例的方法。
本发明实施例还提供了一种存储有指令的非暂时性计算机可读介质，当指令由处理器执行时，执行根据本发明任一实施例所述的方法。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合（例如，各种实施例交叉的方案）、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例（或其一个或更多方案）可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的发明的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的发明的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。

Claims (9)

1.一种核桃果实成熟度聚类识别方法，其特征在于，所述方法包括：
利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度，从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量；
所述基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组，包括：
对所述关键表型特征进行聚类分析，通过如下公式(2)为各个图像样本分配伪标签；
Figure FDA0004177709100000011
其中，N为样本集中图像样本的数量；yn为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，fθ为关键表型特征，xn为第n幅图像样本，
Figure FDA0004177709100000012
为每个图像样本的伪标签的转置矩阵，1k为k维单位矩阵；
所述以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型，包括：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型；
所述交叉熵损失函数计算损失值如公式(3)所示：
Figure FDA0004177709100000021
其中N-数据集中核桃图像的数量；θ-卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
2.根据权利要求1所述的方法，其特征在于，所述样本集通过如下方法获得：
获取核桃果实的可见光图像；
对所述可见光图像进行裁剪以确保可见光图像内包含核桃果实而不包含背景区域；
以裁剪后的可见光图像搭建所述样本集。
3.根据权利要求1所述的方法，其特征在于，所述利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征，包括：
基于表型特征信息，采用主成分分析提取累积贡献率超过95％的表型特征信息，并对所述累积贡献率超过95％的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式(1)所示：
Figure FDA0004177709100000022
其中，x为归一化之前的特征向量，y为归一化后的特征向量，xT为归一化之前的特征向量x的转置矩阵。
4.根据权利要求1所述的方法，其特征在于，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
5.一种核桃果实成熟度聚类识别装置，其特征在于，所述装置包括：
特征提取模块，被配置为利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信息，并进行主成分分析和归一化处理，获得用于描述核桃果实成熟度差异的关键表型特征；
聚类分析模块，被配置为基于所述关键表型特征，对所述图像样本进行聚类处理，将图像样本划分为多个成熟度分组；
模型训练模块，被配置为以所述多个成熟度分组为训练样本，对所述卷积神经网络模型进行训练，得到识别模型；
模型识别模块，被配置为利用所述识别模型识别核桃果实样本，将所述核桃果实样本中的核桃果实识别为不同的成熟度；
最佳采收成熟度确定模块，被配置为从每个成熟度的核桃果实中随机选择至少十个核桃果实，根据不同成熟度核桃果实间的内部品质参数的联系，建立核桃成熟度与内部品质参数间的模糊联系，并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度；所述内部品质参数包括含油率、可溶性糖含量以及可溶性蛋白含量；
所述聚类分析模块被进一步配置为：
对所述关键表型特征进行聚类分析，通过如下公式(2)为各个图像样本分配伪标签；
Figure FDA0004177709100000031
其中，N为样本集中图像样本的数量；yn为每个图像样本的伪标签；k为用于标识核桃成熟度的伪标签数量；C为d×k质心矩阵，d为聚类的成熟度数量，fθ为关键表型特征，xn为第n幅图像样本，
Figure FDA0004177709100000032
为每个图像样本的伪标签的转置矩阵，1k为k维单位矩阵；
所述模型训练模块被进一步配置为：
采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的结果，并通过反向传播更新卷积神经网络模型的网络参数；
以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征，进而进行主成分分析、归一化以及聚类，获得新的聚类分配伪标签，并再次通过交叉熵损失计算聚类和预测结果的损失，再次更新网络参数，反复执行预设的次数最终获得一组最优表型特征信息提取的网络参数；
利用最优表型特征信息提取的网络参数配置卷积神经网络模型得到识别模型；
所述交叉熵损失函数计算损失值如公式(3)所示：
Figure FDA0004177709100000041
其中N-数据集中核桃图像的数量；θ-卷积神经网络的网络参数；f-特征映射；l-多项对数损失函数；gW-参数化分类器。
6.根据权利要求5所述的装置，其特征在于，所述特征提取模块被进一步配置为：
基于表型特征信息，采用主成分分析提取累积贡献率超过95％的表型特征信息，并对所述累积贡献率超过95％的表型特征信息进行L2归一化处理，得到用于描述核桃果实成熟度差异的关键表型特征；
所述L2归一化处理如公式(1)所示：
Figure FDA0004177709100000042
其中，x为归一化之前的特征向量，y为归一化后的特征向量，xT为归一化之前的特征向量x的转置矩阵。
7.根据权利要求5所述的装置，其特征在于，通过索氏提取法、考马斯亮蓝-G250染料法和苯酚硫酸法检测不同成熟度核桃果实的含油率、可溶性蛋白含量以及可溶性糖含量。
8.一种核桃果实成熟度聚类识别***，其特征在于：所述***包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7中任一项所述的方法。
9.一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至4中任一项所述的方法。
CN202210961079.9A 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及***和存储介质 Active CN115331216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961079.9A CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及***和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961079.9A CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及***和存储介质

Publications (2)

Publication Number Publication Date
CN115331216A CN115331216A (zh) 2022-11-11
CN115331216B true CN115331216B (zh) 2023-05-23

Family

ID=83922065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961079.9A Active CN115331216B (zh) 2022-08-11 2022-08-11 核桃果实成熟度聚类识别方法、装置及***和存储介质

Country Status (1)

Country Link
CN (1) CN115331216B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309707A (zh) * 2019-05-08 2019-10-08 昆明理工大学 一种基于深度学习的咖啡果实成熟度的识别方法
WO2021121127A1 (zh) * 2020-07-28 2021-06-24 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814854B (zh) * 2020-06-28 2023-07-28 北京交通大学 一种无监督域适应的目标重识别方法
CN111860678B (zh) * 2020-07-29 2024-02-27 中国矿业大学 一种基于聚类的无监督跨域行人重识别方法
EP4027300B1 (en) * 2021-01-12 2023-12-27 Fujitsu Limited Apparatus, program, and method for anomaly detection and classification
CN113192026B (zh) * 2021-04-28 2023-08-04 北京林业大学 一种基于可见光图像的核桃成熟度检测与预测方法
CN113947693A (zh) * 2021-10-13 2022-01-18 北京百度网讯科技有限公司 获取目标对象识别模型的方法、装置及电子设备
CN113963239B (zh) * 2021-12-23 2022-03-29 北京林业大学 一种智能化检测油茶果实成熟度的方法
CN114842337A (zh) * 2022-04-27 2022-08-02 大连理工大学 基于深度学习与多维信息融合聚类的果实采摘点识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309707A (zh) * 2019-05-08 2019-10-08 昆明理工大学 一种基于深度学习的咖啡果实成熟度的识别方法
WO2021121127A1 (zh) * 2020-07-28 2021-06-24 平安科技（深圳）有限公司 样本类别识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115331216A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Anand et al. An application of image processing techniques for detection of diseases on brinjal leaves using k-means clustering method
Jaware et al. Crop disease detection using image segmentation
CN106845497B (zh) 基于多特征融合的玉米前期图像旱情识别方法
CN103065149A (zh) 网纹甜瓜果实表型提取与量化方法
CN107742290A (zh) 植物病害识别预警方法及装置
CN112836623B (zh) 设施番茄农事决策辅助方法及装置
CN115620151B (zh) 物候期识别方法、装置、电子设备和存储介质
Tumang Pests and diseases identification in mango using MATLAB
CN111539293A (zh) 一种果树病害诊断方法及***
CN111291686B (zh) 农作物根果表型参数的提取与根果表型判别方法及***
Zhu et al. Detection the maturity of multi-cultivar olive fruit in orchard environments based on Olive-EfficientDet
CN115331216B (zh) 核桃果实成熟度聚类识别方法、装置及***和存储介质
Sahoo et al. Automatic Dead zone detection in 2-D leaf image using clustering and segmentation technique
Prabhu et al. A deep learning approach to identify defects in coffee leaves using convoluional neural network
CN111950436A (zh) 一种玉米果穗表型测量方法及***
CN116524279A (zh) 一种数字农业的人工智能图像识别作物长势分析方法
CN116310338A (zh) 一种基于实例和语义分割的单株荔枝红叶梢分割方法
Tan et al. A framework for measuring infection level on cacao pods
CN113269750A (zh) 香蕉叶部病害图像检测方法、***、储存介质及检测设备
Mudgil et al. Identification of Tomato Plant Diseases Using CNN-A Comparative Review
Ustyuzhanin et al. Discrimination of common ragweed (Ambrosia artemisiifolia) and mugwort (Artemisia vulgaris) based on bag of visual words model
Tan et al. A method for detecting and segmenting infected part of cacao pods
CN112991312B (zh) 一种基于ai深度学习的梨品种苗木鉴别方法
CN113989529A (zh) 一种阳光玫瑰葡萄嫁接的智能化检测方法以及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant