CN108319968A - 一种基于模型融合的果蔬图像分类识别方法及*** - Google Patents

一种基于模型融合的果蔬图像分类识别方法及*** Download PDF

Info

Publication number
CN108319968A
CN108319968A CN201711444688.2A CN201711444688A CN108319968A CN 108319968 A CN108319968 A CN 108319968A CN 201711444688 A CN201711444688 A CN 201711444688A CN 108319968 A CN108319968 A CN 108319968A
Authority
CN
China
Prior art keywords
fruits
neural network
network model
vegetables
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711444688.2A
Other languages
English (en)
Inventor
李振波
朱玲
林尚纬
吴静
李晨
彭芳
钮冰姗
李光耀
岳峻
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201711444688.2A priority Critical patent/CN108319968A/zh
Publication of CN108319968A publication Critical patent/CN108319968A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于模型融合的果蔬图像分类识别方法及***，所述的方法包括：将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的识别结果；对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果。本发明通过模型融合，能够充分发挥多个网络模型的分类特点，让同一个样本经过不同的网络模型的多次分类，最终产生一个优化组合后的分类识别结果，这个分类识别结果往往比单个网络模型产生的分类识别结果更可靠，更准确。

Description

一种基于模型融合的果蔬图像分类识别方法及***
技术领域
本发明涉及图像分类识别技术领域，更具体地，涉及一种基于模型融合的果蔬图像分类识别方法及***。
背景技术
随着互联网技术和各种信息技术的发展，我国的农业发展模式开始由原来的传统农业向现代化的智慧农业进行转变，农产品中蔬菜的生产量也在不断增加。目前，大部分蔬菜采摘和分拣管理仍依靠人工完成，不仅耗费了大量的劳动力，而且工作效率低下，严重影响了蔬菜产品商业化的发展速度。多类蔬菜的分类识别在实际中具有较为广阔的应用价值，在智慧农业上也具有重要的地位，通过研究寻找有效的方法对果蔬图像进行分类识别是急需解决的问题。
目前，常采用单一的神经网络模型对果蔬图像进行分类识别，识别的准确率通常还不够高，需要提高神经网络模型的识别准确率。如果不从数学理论上对神经网络模型进行修改，而是单纯的通过调参的办法去寻求准确率更高的神经网络模型，这种途径不但增加了计算的复杂度，还会使得神经网络模型的准确率在训练的时候达到一个上限，即有可能付出了巨大的代价去调整参数，却让准确率只有微不足道的提升或者没有提升甚至产生过拟合而下降。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于模型融合的果蔬图像分类识别方法及***。
根据本发明的一个方面，提供一种基于模型融合的果蔬图像分类识别方法，包括：
将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果；
对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步的，还包括：
将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对多个神经网络模型中相应的神经网络模型进行训练，其中，所述果蔬图像训练集中的每一个果蔬图像均对应有类别标签。
进一步的，通过如下方式对每一个神经网络模型进行训练：
将一个子训练集中的所有的果蔬图像分为多批，对于每一批的果蔬图像，一次取多个果蔬图像同时输入对应的神经网络模型中，以使所述神经网络模型输出每一个果蔬图像属于每一类别的概率，将概率最高的类别作为每一个果蔬图像的类别，进而得到一批果蔬图像中的每一个果蔬图像的所属类别；
将经过所述神经网络模型识别的每一个果蔬图像的类别与子训练集中每一个果蔬图像的类别标签所表征的类别进行对比，得出每一批果蔬图像经过所述神经网络模型的识别准确率；
根据上一批果蔬图像经过所述神经网络模型识别的准确率，对所述神经网络模型进行调整，并采用调整后的神经网络模型对下一批果蔬图像进行训练，直到该神经网络模型的识别准确率达到设定的准确率或者第一子训练集中的果蔬图像训练完毕。
进一步的，还包括：
采用测试集中的果蔬图像分别对训练后的每一个神经网络模型进行测试，得到训练后的每一个神经网络模型对果蔬图像的识别准确率；
判断每一个神经网络模型对果蔬图像的识别准确率是否达到相应的设定准确率，若达到，则训练完毕，若未达到，则对未达到设定准确率的神经网络模型继续进行训练，直到达到相应的设定准确率。
进一步的，所述将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果具体包括：
将待识别果蔬图像分别输入到训练后的每一个神经网络模型，其中，训练后的每一个神经网络模型输出所述待识别果蔬图像属于蔬菜类别j的概率mj；
采用如下公式对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果：
M＝argmax({M1,M2...,Mj.....})；
其中，M为待识别果蔬图像的最终识别结果，Mj表示待识别果蔬图像经过融合处理后最终被识别为蔬菜类别j的概率，i表示神经网络模型的序号，n表示神经网络模型的总个数，Wi表示第i个神经网络模型的权重，mj表示待识别果蔬图像经过第i个神经网络模型识别属于蔬菜类别j的概率。
进一步的，多个所述神经网络模型包括AlexNet网络模型和VGG-Net网络模型。
根据本发明的另一个方面，提供了一种基于模型融合的果蔬图像分类识别***，包括：
输入模块，用于将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果；
融合处理模块，用于对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
进一步的，还包括：
训练模块，用于将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对多个神经网络模型中相应的神经网络模型进行训练。
根据本发明的又一个方面，提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行基于模型融合的果蔬图像分类识别方法。
本发明提供的一种基于模型融合的果蔬图像分类识别方法及***，通过模型融合，能够充分发挥多个网络模型的分类特点，让同一个样本经过不同的网络模型的多次分类，最终产生一个优化组合后的分类识别结果，这个分类识别结果往往比单个网络模型产生的分类识别结果更可靠，更准确。
附图说明
图1为本发明一个实施例的基于模型融合的果蔬图像分类识别方法流程图；
图2为本发明一个实施例的基于模型融合的果蔬图像分类识别***连接框图；
图3为本发明的基于模型融合的果蔬图像分类识别***中训练模块内部连接框图；
图4为本发明另一个实施例的基于模型融合的果蔬图像分类识别***整体连接框图；
图5为本发明又一个实施例的电子设备连接框图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1，提供了本发明一个实施例的基于模型融合的果蔬图像分类识别方法，能够融合多个网络模型对待识别果蔬图像的分类识别结果，最终得到的分类结果会更加准确。该方法包括：将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果；对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
在本实施例之前，需要对每一个网络模型进行训练，将每一个神经网络模型训练成可靠的神经网络模型，即训练后的神经网络模型对果蔬图像的分类识别准确率比较高。将每一个神经网络模型训练好后，本实施例将待识别果蔬图像分别输入每一个训练好的神经网络模型中，每一个神经网络模型会输出待识别果蔬图像的分类识别结果。将每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
本实施例通过模型融合，能够充分发挥多个网络模型的分类特点，让同一个样本经过不同的网络模型的多次分类，最终产生一个优化组合后的分类识别结果，这个分类识别结果往往比单个网络模型产生的分类识别结果更可靠，更准确。
在上述实施例的基础上，本发明的一个实施例中，还包括：将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对相应的神经网络模型进行训练，其中，所述果蔬图像训练集中的每一个果蔬图像均对应有类别标签。
在上述将待识别果蔬图像输入神经网络模型中，需要对每一个神经网络模型进行训练，在本实施例中，将整个蔬菜训练集划分为多个子训练集，每一个子训练集用于对相应的神经网络模型进行训练，其中，多个子训练集中可以有交集，即多个子训练集中可能有重叠的果蔬图像。其中，整个果蔬图像训练集中的每一个果蔬图像均对应有类别标签，即通过类别标签，可以知道每一个果蔬图像所属的蔬菜类型。
在上述各实施例的基础上，本发明的另一个实施例中，通过如下方式对每一个神经网络模型进行训练：将一个子训练集中的所有的果蔬图像分为多批，对于每一批的果蔬图像，一次取多个果蔬图像同时输入对应的神经网络模型中，以使所述神经网络模型输出每一个果蔬图像属于每一类别的概率，将概率最高的类别作为每一个果蔬图像的类别，进而得到一批果蔬图像中的每一个果蔬图像的所属类别；将经过所述神经网络模型识别的每一个果蔬图像的类别与子训练集中每一个果蔬图像的类别标签所表征的类别进行对比，得出每一批果蔬图像经过所述神经网络模型的识别准确率；根据上一批果蔬图像经过所述神经网络模型识别的准确率，对所述神经网络模型进行调整，并采用调整后的神经网络模型对下一批果蔬图像进行训练，直到该神经网络模型的识别准确率达到设定的准确率或者第一子训练集中的果蔬图像训练完毕。
上述将整个果蔬图像训练集中的所有的果蔬图像划分为多个子训练集，每一个子训练集对应对一个神经网络模型进行训练。以其中一个子训练集对一个神经网络模型进行训练为例，将一个子训练集中的所有果蔬图像分为多批，对每一批果蔬图像按照顺序进行训练。对于每一批的果蔬图像，采用小批量下降算法对神经网络模型进行训练，所谓的小批量下降算法，即每一次取数量不多的多个果蔬图像同时输入到神经网络模型中，对于每一张果蔬图像，神经网络模型输出该张果蔬图像属于各个蔬菜类别的概率，并且将概率最大的蔬菜类别作为该张果蔬图像的类别，比如，对于一张果蔬图像，经过神经网络模型后，输出该张果蔬图像属于类别为1的概率为70％，类别为2的概率为10％，类别为3的概率为10％，类别为4的概率为10％，则认为该张果蔬图像所属的类别为1。对于一批中的每一张果蔬图像，都能够得到神经网络模型识别出的所属类别。
一批中的所有的果蔬图像经过神经网络模型后得到所属类别，将得到的所有类别与子训练集中每一个果蔬图像的类别标签所表征的类别进行对比，得出每一批果蔬图像经过所述神经网络模型的识别准确率。比如，一批果蔬图像中有100张果蔬图像，将每一张果蔬图像经过神经网络模型识别后的类别与子训练集中每一张果蔬图像的类别标签(类别标签所表征的类别是准确的)表征的类别进行对比，其中，有80张果蔬图像的识别结果是正确的，而有20张果蔬图像的识别结果是错误的，则这个神经网络模型对这一批的果蔬图像的识别准确率为80％。然后根据这一批果蔬图像经过所述神经网络模型识别的准确率，对所述神经网络模型进行调整，并采用调整后的神经网络模型对下一批果蔬图像进行训练，直到该神经网络模型的识别准确率达到设定的准确率或者子训练集中的果蔬图像训练完毕。比如，要求神经网络模型的识别准确率达到90％，而前述的一批果蔬图像的识别准确率才达到80％，则需要对神经网络模型的参数进行调整，使得调整后的神经网络模型的识别准确率更高，并且下一批果蔬图像对调整后的神经网络模型进行训练，知道神经网络模型的识别准确率达到设定的识别准确率或者子训练集中的果蔬图像训练完毕。
利用每一批果蔬图像对每一个神经网络模型进行训练的过程与上述过程相同，在此不再重复说明，得到训练后的每一个神经网络模型。
在上述各实施例的基础上，本发明的另一个实施例中，还包括：采用测试集中的果蔬图像分别对训练后的每一个神经网络模型进行测试，得到训练后的每一个神经网络模型对果蔬图像的识别准确率；判断每一个神经网络模型对果蔬图像的识别准确率是否达到相应的设定准确率，若达到，则训练完毕，若未达到，则对未达到设定准确率的神经网络模型继续进行训练，直到达到相应的设定准确率。
在将每一个神经网络模型进行了训练之后，还利用测试集中的果蔬图像对训练后的每一个神经网络模型进行测试。以其中一个神经网络模型为例，具体过程为，将测试集中的每一张果蔬图像均输入到训练后的神经网络模型中，神经网络模型输出每一张果蔬图像的识别类别，将识别类别与类别标签表征的类别进行对比，进而得到该神经网络模型的识别准确率。判断该神经网络模型的识别准确率是否达到了设定的识别准确率，若达到，表明前期的训练效果比较好，若未达到，表明前期的训练效果不是很理想，则会再继续进行训练，直到神经网络模型的识别准确率达到设定的识别准确率。对于每一个神经网络模型，均采用相同的测试方法，在此不再重复说明。
在上述各实施例的基础上，本发明的另一个实施例中，所述将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果具体包括：将待识别果蔬图像分别输入到训练后的每一个神经网络模型，其中，训练后的每一个神经网络模型输出所述待识别果蔬图像属于蔬菜类别j的概率mj；采用如下公式对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果：
M＝argmax({M1,M2...,Mj......})；
其中，M为待识别果蔬图像的最终识别结果，Mj表示待识别果蔬图像经过融合处理后最终被识别为蔬菜类别j的概率，i表示神经网络模型的序号，n表示神经网络模型的总个数，Wi表示第i个神经网络模型的权重，mj表示待识别果蔬图像经过第i个神经网络模型识别属于蔬菜类别j的概率。
对多个神经网络模型中的每一个神经网络模型训练完毕后，将待识别果蔬图像分别输入到每一个训练后的神经网络模型中，每一个神经网络模型会输出该待识别果蔬图像属于每一个蔬菜类别的概率，比如，第一个神经网络模型输出待识别果蔬图像属于蔬菜类别1的概率为50％，输出蔬菜类别2的概率为20％，输出蔬菜类别3的概率为10％，输出蔬菜类别4的概率为10％，输出蔬菜类别5的概率为10％。根据每一个神经网络模型输出待识别果蔬图像属于每一个蔬菜类别的概率，进行融合处理。对每一个训练后的神经网络模型赋予权重Wi，i表示神经网络模型的序号，其中，Wi与每一个训练后的神经网络模型对果蔬图像的识别准确率有关，神经网络模型的识别准确率越高，则赋予的权重越大，神经网络模型的识别准确率越低，则赋予的权重越低。通过公式得到n个神经网络模型识别出待识别果蔬图像属于第j类别的平均概率，采用同样的方法得到n个神经网络模型识别出待识别果蔬图像属于每一类别的平均概率。最后将平均概率最大的类别作为待识别果蔬图像经过n个神经网络模型识别后的最终的识别结果。
在上述各实施例的基础上，本发明的一个实施例中，多个所述神经网络模型包括AlexNet网络模型和VGG-Net网络模型。
上述各实施例中以多个神经网络模型为例对本发明提供的分类识别方法进行说明，其中，多个神经网络模型可以包括AlexNet网络模型和VGG-Net网络模型。下面以两个神经网络模型AlexNet网络模型和VGG-Net网络模型为例，对本实施例提供的基于模型融合的果蔬图像分类识别方法进行说明。
对于整个果蔬图像的数据集，采用数据扩展的方法将数据集中的每一张果蔬图像按照90°、180°、270°的角度进行旋转，将每一张图像变成4张果蔬图像，即将果蔬图像数据集的数据量扩大成4倍，可以增加整个训练样本和测试样本，并将所有的果蔬图像处理成相同大小尺寸。
将扩大后的果蔬图像的数据集划分为训练集合测试集，其中，80％的果蔬图像用作训练集，20％的果蔬图像作为测试集。然后将训练集中的果蔬图像划分为两个子训练集S1和S2，其中，子训练集S1用来对AlexNet网络模型进行训练，子训练集S2用来对VGG-Net网络模型进行训练。
其中，AlexNet网络模型共有8层，前5层为卷积层，后3层为全连接层，前5个卷积层的作用主要是对输入的果蔬图像进行图像特征的提取，理论上神经网络模型的卷积层的层数越多，对图像提取的特征越准确，本实施例中选择的AlexNet网络模型是设计了5层卷积层对果蔬图像的特征进行提取。在每一个卷积层后面会设计一个激活函数，对卷积层提取的图像特征进行激活，使得提取的特征更加复杂，从而提升神经网络模型的表达能力。
通常，AlexNet网络模型使用ReLU激活函数对卷积层提取的图像特征值进行激活，由于ReLU在x<0时梯度为0，导致负的梯度在这个ReLU被置零，而且这个神经元有可能再也不会被任何数据激活，也就是ReLU神经元坏死。针对以上缺点，采用PReLU代替ReLU激活函数。PReLU的激活函数表达式如下：
式中负半轴斜率a不是固定的，可以先初始化一个小的常数，后期可以调节它的数值，ReLU相比，PReLU的收敛速度更快，其中，x表示经过卷积层提取的图像特征值，具有正负之分。
AlexNet网络模型的最后一层softmax输出层输入识别结果。AlexNet网络模型会输出果蔬图像属于每一个类别的概率，将概率最高的类别作为果蔬图像的类别，得到每一个果蔬图像识别后的类别。将识别出的类别与已知类别进行对比，得出AlexNet网络模型的识别准确率。
同样的，采用子训练集S2对VGG-Net网络模型进行训练的过程，VGG-Net网络模型总共包括19层，包括16层卷积层和3个全连接层，与对AlexNet网络模型的训练过程相同，可以参考AlexNet网络模型的训练过程，在此不进行重复说明。
采用测试集中的果蔬图像对训练后的AlexNet网络模型和VGG-Net网络模型进行测试。
随后将待识别的果蔬图像分别输入训练后的AlexNet网络模型和VGG-Net网络模型，AlexNet网络模型和VGG-Net网络模型分别输出待识别果蔬图像属于每一个类别的概率，再将AlexNet网络模型和VGG-Net网络模型对待识别蔬菜的分类识别结果进行综合考虑，最终得到待识别果蔬图像的分类识别结果。
参见图2，提供了本发明一个实施例的基于模型融合的果蔬图像分类识别***，包括输入模块21和融合处理模块22。
输入模块21于将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的识别结果。
融合处理模块22于对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果。
参见图3，提供了本发明另一个实施例的基于模型融合的果蔬图像分类识别***，包括输入模块21、融合处理模块22、训练模块23和测试模块24。
输入模块21于将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的识别结果。
融合处理模块22于对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果。
其中，训练模块23，用于将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对相应的神经网络模型进行训练，其中，所述果蔬图像训练集中的每一个果蔬图像均对应有类别标签。
其中，参见图4，训练模块23中包括输入单元231、对比单元232和调整单元233。
输入单元231，用于将一个子训练集中的所有的果蔬图像分为多批，对于每一批的果蔬图像，一次取多个果蔬图像同时输入对应的神经网络模型中，以使所述神经网络模型输出每一个果蔬图像属于每一类别的概率，将概率最高的类别作为每一个果蔬图像的类别，进而得到一批果蔬图像中的每一个果蔬图像的所属类别。
对比单元232，用于将经过所述神经网络模型识别的每一个果蔬图像的类别与子训练集中每一个果蔬图像的类别标签所表征的类别进行对比，得出每一批果蔬图像经过所述神经网络模型的识别准确率；
调整单元233，用于根据上一批果蔬图像经过所述神经网络模型识别的准确率，对所述神经网络模型进行调整，并采用调整后的神经网络模型对下一批果蔬图像进行训练，直到该神经网络模型的识别准确率达到设定的准确率或者第一子训练集中的果蔬图像训练完毕。
测试模块24，还用于采用测试集中的果蔬图像分别对训练后的每一个神经网络模型进行测试，得到训练后的每一个神经网络模型对果蔬图像的识别准确率；以及还用于判断每一个神经网络模型对果蔬图像的识别准确率是否达到相应的设定准确率，若达到，则训练完毕，若未达到，则调用所述训练模块21对未达到设定准确率的神经网络模型继续进行训练，直到达到相应的设定准确率。
输入模块21，具体用于将待识别果蔬图像分别输入到训练后的每一个神经网络模型，以使训练后的每一个神经网络模型输出所述待识别果蔬图像属于蔬菜类别j的概率mj。
融合处理模块22，具体用于采用如下公式对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果：
M＝argmax({M1,M2...,Mj......})；
其中，M为待识别果蔬图像的最终识别结果，Mj表示待识别果蔬图像经过融合处理后最终被识别为蔬菜类别j的概率，i表示神经网络模型的序号，n表示神经网络模型的总个数，Wi表示第i个神经网络模型的权重，mj表示待识别果蔬图像经过第i个神经网络模型识别属于蔬菜类别j的概率。
参见图5，为本发明一种电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；其中，所述处理器501和存储器502通过所述总线503完成相互间的通信。
所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的识别结果；对每一个神经网络模型输出的识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果。
以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
本发明提供一种基于模型融合的果蔬图像分类识别方法及***，通过模型融合，能够充分发挥多个网络模型的分类特点，让同一个样本经过不同的网络模型的多次分类，最终产生一个优化组合后的分类识别结果，这个分类识别结果往往比单个网络模型产生的分类识别结果更可靠，更准确。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于模型融合的果蔬图像分类识别方法，其特征在于，包括：
将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果；
对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
2.如权利要求1所述的分类识别方法，其特征在于，还包括：
将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对多个神经网络模型中相应的神经网络模型进行训练，其中，所述果蔬图像训练集中的每一个果蔬图像均对应有类别标签。
3.如权利要求2所述的分类识别方法，其特征在于，通过如下方式对神经网络模型进行训练：
将一个子训练集中的所有的果蔬图像分为多批，对于每一批的果蔬图像，一次取多个果蔬图像同时输入对应的神经网络模型中，以使所述神经网络模型输出每一个果蔬图像属于每一类别的概率，将概率最高的类别作为每一个果蔬图像的类别，进而得到一批果蔬图像中的每一个果蔬图像的所属类别；
将经过所述神经网络模型识别的每一个果蔬图像的类别与子训练集中每一个果蔬图像的类别标签所表征的类别进行对比，得出每一批果蔬图像经过所述神经网络模型的识别准确率；
根据这一批果蔬图像经过所述神经网络模型识别的准确率，对所述神经网络模型进行调整，并采用调整后的神经网络模型对下一批果蔬图像进行训练，直到该神经网络模型的识别准确率达到设定的准确率或者第一子训练集中的果蔬图像训练完毕。
4.如权利要求3所述的分类识别方法，其特征在于，还包括：
采用测试集中的果蔬图像分别对训练后的每一个神经网络模型进行测试，得到训练后的每一个神经网络模型对果蔬图像的识别准确率；
判断每一个神经网络模型对果蔬图像的识别准确率是否达到相应的设定准确率，若达到，则训练完毕，若未达到，则对未达到设定准确率的神经网络模型继续进行训练，直到达到相应的设定准确率。
5.如权利要求1所述的分类识别方法，其特征在于，所述将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果具体包括：
将待识别果蔬图像分别输入到训练后的每一个神经网络模型，其中，训练后的每一个神经网络模型输出所述待识别果蔬图像属于蔬菜类别j的概率mj。
6.如权利要求5所述的分类识别方法，其特征在于，采用如下公式对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终识别结果：
其中，M为待识别果蔬图像的最终识别结果，Mj表示待识别果蔬图像经过融合处理后最终被识别为蔬菜类别j的概率，i表示神经网络模型的序号，n表示神经网络模型的总个数，Wi表示第i个神经网络模型的权重，mj表示待识别果蔬图像经过第i个神经网络模型识别属于蔬菜类别j的概率。
7.如权利1-6任一项所述的分类识别方法，其特征在于，多个所述神经网络模型包括AlexNet网络模型和VGG-Net网络模型。
8.一种基于模型融合的果蔬图像分类识别***，其特征在于，包括：
输入模块，用于将待识别果蔬图像分别输入训练后的多个神经网络模型中的每一个神经网络模型中，以使每一个神经网络模型输出待识别果蔬图像的分类识别结果；
融合处理模块，用于对每一个神经网络模型输出的分类识别结果进行融合处理，得到该待识别果蔬图像的最终分类识别结果。
9.如权利要求8所述的分类识别***，其特征在于，还包括：
训练模块，用于将果蔬图像训练集划分为多个子训练集，每一个子训练集用于对多个神经网络模型中相应的神经网络模型进行训练。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-7任一所述的方法。
CN201711444688.2A 2017-12-27 2017-12-27 一种基于模型融合的果蔬图像分类识别方法及*** Pending CN108319968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711444688.2A CN108319968A (zh) 2017-12-27 2017-12-27 一种基于模型融合的果蔬图像分类识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711444688.2A CN108319968A (zh) 2017-12-27 2017-12-27 一种基于模型融合的果蔬图像分类识别方法及***

Publications (1)

Publication Number Publication Date
CN108319968A true CN108319968A (zh) 2018-07-24

Family

ID=62893244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711444688.2A Pending CN108319968A (zh) 2017-12-27 2017-12-27 一种基于模型融合的果蔬图像分类识别方法及***

Country Status (1)

Country Link
CN (1) CN108319968A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101931A (zh) * 2018-08-20 2018-12-28 Oppo广东移动通信有限公司 一种场景识别方法、场景识别装置及终端设备
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法
CN109800795A (zh) * 2018-12-29 2019-05-24 广州市贺氏办公设备有限公司 一种果蔬识别方法及***
CN110503154A (zh) * 2019-08-27 2019-11-26 携程计算机技术（上海）有限公司 图像分类的方法、***、电子设备及存储介质
CN110796109A (zh) * 2019-11-05 2020-02-14 哈尔滨理工大学 一种基于模型融合的驾驶员分心行为识别方法
CN110795973A (zh) * 2018-08-03 2020-02-14 北京大学 多模态融合的动作识别方法、装置及计算机可读存储介质
CN110929745A (zh) * 2018-09-19 2020-03-27 财团法人工业技术研究院 基于神经网络的分类方法及其分类装置
CN111310815A (zh) * 2020-02-07 2020-06-19 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111325231A (zh) * 2018-12-14 2020-06-23 财团法人工业技术研究院 神经网络模型融合方法及应用其的电子装置
CN111626357A (zh) * 2020-05-27 2020-09-04 北京微智信业科技有限公司 一种基于神经网络模型的图像识别方法
CN111738106A (zh) * 2020-06-04 2020-10-02 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质
CN112712124A (zh) * 2020-12-31 2021-04-27 山东奥邦交通设施工程有限公司 一种基于深度学习的多模块协同物体识别***及方法
CN113111962A (zh) * 2021-04-27 2021-07-13 青岛农业大学 一种基于神经网络和特征匹配的果蔬识别方法
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN113220658A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
WO2023274167A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 图像分类、模型训练方法、设备、存储介质及计算机程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201017560A (en) * 2008-10-28 2010-05-01 Tsint Fruit classification method using neural network
CN102855640A (zh) * 2012-08-10 2013-01-02 上海电机学院 基于神经网络的水果等级分类***
CN106228182A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于spm和深度增量svm的sar图像分类方法
CN106874921A (zh) * 2015-12-11 2017-06-20 清华大学 图像分类方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201017560A (en) * 2008-10-28 2010-05-01 Tsint Fruit classification method using neural network
CN102855640A (zh) * 2012-08-10 2013-01-02 上海电机学院 基于神经网络的水果等级分类***
CN106874921A (zh) * 2015-12-11 2017-06-20 清华大学 图像分类方法和装置
CN106228182A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于spm和深度增量svm的sar图像分类方法

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795973A (zh) * 2018-08-03 2020-02-14 北京大学 多模态融合的动作识别方法、装置及计算机可读存储介质
CN109101931A (zh) * 2018-08-20 2018-12-28 Oppo广东移动通信有限公司 一种场景识别方法、场景识别装置及终端设备
CN110929745B (zh) * 2018-09-19 2023-04-14 财团法人工业技术研究院 基于神经网络的分类方法及其分类装置
CN110929745A (zh) * 2018-09-19 2020-03-27 财团法人工业技术研究院 基于神经网络的分类方法及其分类装置
CN109376606A (zh) * 2018-09-26 2019-02-22 福州大学 一种电力巡检图像杆塔基础故障检测方法
CN109544533B (zh) * 2018-11-23 2021-04-02 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法
CN109544533A (zh) * 2018-11-23 2019-03-29 聚时科技(上海)有限公司 一种基于深度学习的金属板缺陷检测和度量方法
CN111325231A (zh) * 2018-12-14 2020-06-23 财团法人工业技术研究院 神经网络模型融合方法及应用其的电子装置
CN111325231B (zh) * 2018-12-14 2023-08-15 财团法人工业技术研究院 神经网络模型融合方法及应用其的电子装置
CN109800795A (zh) * 2018-12-29 2019-05-24 广州市贺氏办公设备有限公司 一种果蔬识别方法及***
CN110503154A (zh) * 2019-08-27 2019-11-26 携程计算机技术（上海）有限公司 图像分类的方法、***、电子设备及存储介质
CN110796109A (zh) * 2019-11-05 2020-02-14 哈尔滨理工大学 一种基于模型融合的驾驶员分心行为识别方法
CN113218880A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN113220658A (zh) * 2020-01-21 2021-08-06 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN113218880B (zh) * 2020-01-21 2023-05-16 青岛海尔电冰箱有限公司 冰箱的食材检测方法、冰箱及存储介质
CN111310815A (zh) * 2020-02-07 2020-06-19 北京字节跳动网络技术有限公司 图像识别方法、装置、电子设备及存储介质
CN111626357A (zh) * 2020-05-27 2020-09-04 北京微智信业科技有限公司 一种基于神经网络模型的图像识别方法
CN111626357B (zh) * 2020-05-27 2021-11-23 北京东方通网信科技有限公司 一种基于神经网络模型的图像识别方法
CN111738106A (zh) * 2020-06-04 2020-10-02 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质
CN111738106B (zh) * 2020-06-04 2023-09-19 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质
CN112712124B (zh) * 2020-12-31 2021-12-10 山东奥邦交通设施工程有限公司 一种基于深度学习的多模块协同物体识别***及方法
CN112712124A (zh) * 2020-12-31 2021-04-27 山东奥邦交通设施工程有限公司 一种基于深度学习的多模块协同物体识别***及方法
CN113111962A (zh) * 2021-04-27 2021-07-13 青岛农业大学 一种基于神经网络和特征匹配的果蔬识别方法
WO2023274167A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 图像分类、模型训练方法、设备、存储介质及计算机程序

Similar Documents

Publication Publication Date Title
CN108319968A (zh) 一种基于模型融合的果蔬图像分类识别方法及***
CN106650806B (zh) 一种用于行人检测的协同式深度网络模型方法
CN108491765B (zh) 一种蔬菜图像的分类识别方法及***
CN110070067A (zh) 视频分类方法及其模型的训练方法、装置和电子设备
CN108491874A (zh) 一种基于生成式对抗网络的图像单分类方法
CN109620152B (zh) 一种基于MutiFacolLoss-Densenet的心电信号分类方法
CN107341499A (zh) 一种基于无监督分割和elm的织物缺陷检测和分类方法
CN108319987A (zh) 一种基于支持向量机的过滤-封装式组合流量特征选择方法
JP2003515942A (ja) 半導体欠陥用のパワー・アシスト自動監視分類器作製ツール
CN111079784B (zh) 基于卷积神经网络的烘烤过程中烤烟烘烤阶段识别方法
CN109086886A (zh) 一种基于极限学习机的卷积神经网络学习算法
CN106709528A (zh) 基于多目标函数深度学习的车辆重识别方法及装置
CN110414626A (zh) 一种猪只品种识别方法、装置和计算机可读存储介质
Shen et al. Image recognition method based on an improved convolutional neural network to detect impurities in wheat
CN108446214B (zh) 基于dbn的测试用例进化生成方法
CN107665352A (zh) 一种基于多通道残差网络的珍珠分类方法
CN113887410A (zh) 一种基于深度学习的多类别食材识别***及方法
Foong et al. Convolutional neural network based rotten fruit detection using resnet50
CN109583519A (zh) 一种基于p-Laplacian图卷积神经网络的半监督分类方法
CN106529544A (zh) 一种基于无监督机器学***整度客评定方法及装置
Supekar et al. Multi-parameter based mango grading using image processing and machine learning techniques
Gu et al. Leaf species recognition based on VGG16 networks and transfer learning
CN114818931A (zh) 一种基于小样本元学习的水果图像分类方法
CN103839076B (zh) 一种基于光照特征的网络敏感图像识别方法
CN110503149A (zh) 一种图像中局部特征分类方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180724