CN106874954A - 一种信息获取的方法以及相关装置 - Google Patents

Abstract

本发明实施例公开了一种信息获取的方法，包括：获取待识别图像，待识别图像中包含至少一个待识别垃圾的图像；采用预置训练模型对待识别图像进行处理，预置训练模型为样本图像与类别特征值的函数关系模型，类别特征值用于表示样本图像对应的垃圾类别以及位置信息；根据预置训练模型的处理结果获取待识别垃圾对应的回收类别信息；若回收类别信息指示待识别图像中包含目标垃圾图像，则获取目标位置信息。本发明还提供一种信息获取装置。本发明利用预置训练模型对待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，只需要对待识别图像进行一次检测，从而提升检测效率。

Description

一种信息获取的方法以及相关装置

技术领域

本发明涉及计算机处理领域，尤其涉及一种信息获取的方法以及相关装置。

背景技术

随着我国社会经济的快速发展城市化进程的加快以及人民生活水平的迅速提高，城市生产与生活过程中产生的垃圾废物也随之迅速增加，生活垃圾占用土地，污染环境的状况以及对人们健康的影响也越加明显。如何更高效地回收和处理垃圾也成为各界所关注的焦点。

在回收垃圾的过程中需要重视对垃圾的分类，也就是需要按照一定的规则或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源。目前，对特殊垃圾的检测主要依赖于基于滑动窗口的分类检测方法，具体的分类检测方法请参阅图1，图1为现有技术中滑动窗口检测方法的一个实施例示意图，首先对不同比例的图像分别进行检测，然后计算出特征值以通过分类器，最后输出综合检测结果。

虽然采用类似图1基于滑动窗口的分类检测方法，相比于人为对垃圾进行分类更利于节省人力成本，但是，基于滑动窗口的垃圾检测需要对整个图像进行多次扫描，即将图像分为各个尺度进行扫描，并对每个位置进行分类，这样的话，通常需要较大数量级的检测次数，导致检测时会消耗大量时间，从而降低了检测效率。

发明内容

本发明实施例提供了一种信息获取的方法以及相关装置，利用预置训练模型对包含了至少一个待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，以此只需要对待识别图像进行一次检测，大幅度的提高了检测速度，从而提升检测效率。

有鉴于此，本发明第一方面提供一种信息获取的方法，包括：

获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像；

采用预置训练模型对所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息；

根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；

若所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

结合本发明实施例的第一方面，在第一种可能的实现方式中，所述采用预置训练模型对所述待识别图像进行处理之前，所述方法还包括：

获取待训练样本图像集合，其中，所述待训练样本图像集合中包含至少一个样本图像，所述样本图像包括至少一个子区域图像；

根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息；

根据所述样本图像中所述子区域图像所对应的所述垃圾类别以及所述位置信息获取所述预置训练模型。

结合本发明实施例的第一方面的第一种可能实现方式，在第二种可能的实现方式中，所述根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息，包括：

接收预设类别信息，所述预设类别信息中包含所述垃圾类别；

在所述子区域图像中标定出目标垃圾对应的所述位置信息，所述位置信息包含所述目标垃圾在所述子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

结合本发明实施例的第一方面、第一方面的第一种或第二种可能实现方式，在第三种可能的实现方式中，所述采用预置训练模型对所述待识别图像进行处理，包括：

将所述待识别图像输入至所述预置训练模型，其中，所述待识别图像包括至少一个待识别子区域图像；

获取所述待识别子区域图像对应的类别概率值；

所述根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息，包括：

若所述类别概率值大于或等于预设门限，则确定所述待识别子区域图像中所述待识别垃圾对应的所述回收类别信息。

结合本发明实施例的第一方面，在第四种可能的实现方式中，所述若所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息，包括：

若根据所述回收类别信息确定所述待识别图像中包含所述目标垃圾图像，则检测所述目标垃圾图像的所述面积重合率；

根据所述目标垃圾图像的所述面积重合率以及所述预置训练模型，获取所述目标垃圾图像在所述待识别图像中的中心位置、高度以及宽度中的至少一项。

本发明第二方面提供一种信息获取装置，包括：

第一获取模块，用于获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像；

处理模块，用于采用预置训练模型对所述第一获取模块获取的所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息；

第二获取模块，用于根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；

第三获取模块，用于若所述第二获取模块获取的所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

结合本发明实施例的第二方面，在第一种可能的实现方式中，所述装置还包括：

第四获取模块，用于在所述处理模块采用预置训练模型对所述待识别图像进行处理之前，获取待训练样本图像集合，其中，所述待训练样本图像集合中包含至少一个样本图像，所述样本图像包括至少一个子区域图像；

确定模块，用于根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息；

第五获取模块，用于根据所述样本图像中所述确定模块确定的所述子区域图像所对应的所述垃圾类别以及所述位置信息获取所述预置训练模型。

结合本发明实施例的第二方面的第一种可能实现方式，在第二种可能的实现方式中，所述确定模块包括：

接收单元，用于接收预设类别信息，所述预设类别信息中包含所述垃圾类别；

标定单元，用于在所述子区域图像中标定出目标垃圾对应的所述位置信息，所述位置信息包含所述目标垃圾在所述子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

结合本发明实施例的第二方面、第二方面的第一种或第二种可能实现方式，在第三种可能的实现方式中，所述处理模块包括：

输入单元，用于将所述待识别图像输入至所述预置训练模型，其中，所述待识别图像包括至少一个待识别子区域图像；

第一获取单元，用于获取所述待识别子区域图像对应的类别概率值；

所述第二获取模块包括：

确定单元，用于若所述第一获取单元获取的所述类别概率值大于或等于预设门限，则确定所述待识别子区域图像中所述待识别垃圾对应的所述回收类别信息。

结合本发明实施例的第二方面，在第四种可能的实现方式中，所述第三获取模块包括：

检测单元，用于若根据所述回收类别信息确定所述待识别图像中包含所述目标垃圾图像，则检测所述目标垃圾图像的所述面积重合率；

第二获取单元，用于根据所述检测单元检测得到的所述目标垃圾图像的所述面积重合率以及所述预置训练模型，获取所述目标垃圾图像在所述待识别图像中的中心位置、高度以及宽度中的至少一项。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，提供了一种信息获取的方法，首先获取待识别图像，该待识别图像中包含了至少一个待识别垃圾的图像，接着采用预置训练模型对待识别图像进行处理，其中，预置训练模型是样本图像与类别特征值的函数关系模型，类别特征值用于表示样本图像对应的垃圾类别以及位置信息。然后根据预置训练模型的处理结果，获取待识别图像中待识别垃圾对应的回收类别信息，如果回收类别信息指示待识别图像中包含了目标垃圾图像，那么就可以获取该目标垃圾图像对应的目标位置信息。通过上述方式，利用预置训练模型对包含了至少一个待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，以此只需要对待识别图像进行一次检测，大幅度的提高了检测速度，从而提升检测效率。

附图说明

图1为现有技术中滑动窗口检测方法的一个实施例示意图；

图2为本发明实施例中信息获取方法的一个流程示意图；

图3为本发明实施例中统计模式识别模型的一个实施例示意图；

图4为本发明实施例中信息获取的方法一个实施例示意图；

图5为本发明实施例中获取预置训练模型的一个网络架构图；

图6为本发明实施例中获取目标垃圾图像的一个示意图；

图7为本发明实施例中获取目标垃圾图像的另一个示意图；

图8为本发明实施例中信息获取装置一个实施例示意图；

图9为本发明实施例中信息获取装置另一个实施例示意图；

图10为本发明实施例中信息获取装置另一个实施例示意图；

图11为本发明实施例中信息获取装置另一个实施例示意图；

图12为本发明实施例中信息获取装置另一个实施例示意图。

具体实施方式

本发明实施例提供了一种信息获取的方法以及相关装置，利用预置训练模型对包含了至少一个待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，以此代替了人工手动分类待识别垃圾，从而大幅度地节省了人力成本。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应理解，本发明实施例主要应用于智能垃圾种类识别***，该***可以对投入的垃圾进行实时的识别，检测出不可回收垃圾，从而对投入的不可回收垃圾进行警告提示。

具体地，请参阅图2，图2为本发明实施例中信息获取方法的一个流程示意图，如图所示，在步骤101中，部署于智能垃圾种类识别***中的摄像头拍摄待识别图像，然后在步骤102中对待识别图像进行后台处理，即将待识别图像通过预先设置好的训练模型中，由该模型输出相应的处理结果。在步骤103中，根据训练模型输出的处理结果检测待识别图像中是否存在不可回收垃圾的图像，如果不存在，则进入步骤104，反之，则跳转至步骤105。如果待识别图像没有不可回收垃圾的图像，则在步骤104中通过检测，无需对不可回收垃圾做移除处理。然而，如果待识别图像中存在了不可回收垃圾的图像，则在步骤105中根据不可回收垃圾的图像对该不可回收垃圾进行定位，从而达到移除该垃圾的目的。

本发明主要采用图像模式识别方法，在实际应用中，图像模式识别方法可以包含但并不仅限于统计模式识别方法、结构模式识别方法、模糊模式识别方法以及神经网络模式识别方法。下面将对上述四种识别方法进行介绍：

第一种为统计模式识别方法，统计模式识别是目前最成熟也是应用最广泛的方法，它主要利用贝叶斯决策规则解决最优分类器问题。统计决策理论的基本思想就是在不同的模式类中建立一个决策边界，利用决策函数把一个给定的模式归入相应的模式类中。其中，统计模式识别的基本模型如图3所示，图3为本发明实施例中统计模式识别模型的一个实施例示意图，该模型主要包括两种操作模型：训练操作模型和分类操作模型，其中训练操作模型主要利用己有样本完成对决策边界的划分，并采取了一定的学习机制以保证基于样本的划分是最优的；而分类操作模型主要对输入的模式利用其特征和训练得来的决策函数而把模式划分到相应模式类中。

统计模式识别方法以数学上的决策理论为基础建立统计模式识别模型。其基本模型是：对被研究图像进行大量统计分析，找出规律性的认识，并选取出反映图像本质的特征进行分类识别。统计模式识别***可分为两种运行模式：训练运行模式和分类运行模式。训练运行模式中，预处理模块负责将感兴趣的特征从背景中分割出来、去除噪声以及进行其它操作；特征选取模块主要负责找到合适的特征来表示输入模式；分类器负责训练分割特征空间。在分类运行模式中，被训练好的分类器将输入模式根据测量的特征分配到某个指定的类。统计模式识别组成如图2所示。

第二种为结构模式识别方法，对于较复杂的模式，如采用统计模式识别的方法，所面临的一个困难就是特征提取的问题，它所要求的特征量十分巨大，要把某一个复杂模式准确分类很困难，从而很自然地就想到这样的一种设计，即努力地把一个复杂模式分化为若干较简单子模式的组合，而子模式又分为若干基元，通过对基元的识别，进而识别子模式，最终识别该复杂模式。正如英文句子由一些短语，短语又由单词，单词又由字母构成一样。用一组模式基元和它们的组成来描述模式的结构的语言，称为模式描述语言。支配基元组成模式的规则称为文法。当每个基元被识别后，利用句法分析就可以作出整个的模式识别。即以这个句子是否符合某特定文法，以判别它是否属于某一类别。这就是结构模式识别的基本思想。

结构模式识别***主要由预处理、基元提取、句法分析和文法推断等几部分组成。由预处理分割的模式，经基元提取形成描述模式的基元串(即字符串)。句法分析根据文法推理所推断的文法，判决有序字符串所描述的模式类别，得到判决结果。不同的模式类对应着不同的文法，描述不同的目标。为了得到于模式类相适应的文法，类似于统计模式识别的训练过程，必须事先采集足够多的训练模式样本，经基元提取，把相应的文法推断出来。实际应用还有一定的困难。

第三种为模糊模式识别方法，模糊模式识别的理论基础是20世纪60年代诞生的模糊数学，它根据人对事物识别的思维逻辑，结合人类大脑识别事物的特点，将计算机中常用的二值逻辑转向连续逻辑。在图像识别领域应用时该方法可以简化图像识别***，并具有实用以及可靠等特点。

模式识别是一门边缘学科，它和许多技术学科有着密切的联系，它本身就是人工智能的重要组成部分，因此，从本质上来说，模式识别所要讨论的核心问题，就是如何使机器能模拟人脑的思维方法，来对客观事物进行有效的识别和分类。一方面现有的广为运用的统计模式识别方法与人脑进行模式识别相比，其差别还很大，另一方面待识别的客观事物又往往具有不同程度的模糊性。

不少学者试图运用模糊数学的方法来解决模式识别问题，形成一个专门的研究领域——模糊模式识别。比较成熟的理论和方法有最大来属原则、基于模糊等价关系的模式分类、基于模糊相似关系的模式分类和模糊聚类，其中模糊聚类方法的研究和应用尤为成功和广泛。目前，模糊模式识别方法已广泛应用图形识别、染色体和白血球识别、图象目标的形状分析和手写体文字识别等，但其中也遇到不少困难，其中一个典型的例子就是隶属函数的确定往往带有经验色彩。应用模糊方法进行图像识别的关键是确定某一类别的隶属函数，而各类的统计指标则要由样本像元的灰度值和样本像元的隶属函数的值即隶属度共同决定。隶属度表示对象隶属某一类的程度。

第四种为神经网络模式识别方法，神经网络的研究始于20世纪40年代，上世纪80年代开始在各国广泛兴起，神经网络模式识别源于对动物神经***的研究，通过采用硬件或软件的方法，建立了许多以大量处理单元为结点，各单元通过一定的模式实现互联的拓扑网络。该网络通过一定的机制，能够模仿人的神经***的结构和功能。

神经网络是一种全新的模式识别技术，它具有以下几个方面的特点:

(1)神经网络具有分布式存储信息的特点；

(2)神经元能够独立运算和处理收到的信息，即***能够并行处理输入的信息；

(3)具有自组织和自学习的能力。

可以理解的是，本发明实施例主要采用神经网络模式识别的方法对垃圾进行识别和定位，该神经网络具体可以为卷积神经网络(Convolutional Neural Network，CNN)，在实际应用在，还可以采用其他的神经网络对垃圾进行识别，此处仅为一个示意，并不应理解为是对本发明的限定。

下面将对本发明中信息获取的方法进行介绍，请参阅图4，本发明实施例中信息获取的方法一个实施例包括：

201、获取待识别图像，待识别图像中包含至少一个待识别垃圾的图像；

本实施例中，信息获取装置包含至少一个摄像头，该摄像头用于拍摄至少一个待识别图像。其中，待识别图像中可以包含至少一个待识别垃圾的图像，待处理垃圾箱图像也可以包含对同一个待识别垃圾拍摄的至少一幅图像，例如拍摄到待识别垃圾的正视图、俯视图和左视图。

202、采用预置训练模型对待识别图像进行处理，其中，预置训练模型为样本图像与类别特征值的函数关系模型，类别特征值用于表示样本图像对应的垃圾类别以及位置信息；

本实施例中，信息获取装置采用预置训练模型对拍摄到的待识别图像进行处理，即将待识别图像输入至预置训练模型，然后经过模型的计算得到对应的处理结果。

其中，预置训练模型中主要包括了样本图像与类别特征值的函数关系，每个样本图像都是预先输入的，用于通过深度学习得到各个样本图像的类别特征值。类别特征值可以表示样本图像所对应的垃圾类别以及位置信息，例如，可以将垃圾类别分为三种，分别为垃圾类别A、垃圾类别B和垃圾类别C，然后在每个样本图像中对存在这三种垃圾类别的垃圾进行位置标定，从而得到样本图像中垃圾的位置信息。

203、根据预置训练模型的处理结果，获取待识别图像中待识别垃圾对应的回收类别信息；

本实施例中，根据预置训练模型的处理结果，也就能得到该待识别图像所对应的回收类别信息。其中，回收类别信息与预先设定的垃圾类别具有关联关系，比如，垃圾类别可以分为垃圾类别A、垃圾类别B和垃圾类别C，而只有垃圾类别A属于可回收垃圾，垃圾类别B和垃圾类别C均属于不可回收垃圾，信息获取装置在检测到待识别图像中存在垃圾类别B时，可以认为回收类别信息属于“不可回收类”，以此类推，在检测到待识别图像中存在垃圾类别C时，可以认为回收类别信息属于“不可回收类”，在检测到待识别图像中存在垃圾类别A时，可以认为回收类别信息属于“可回收类”。

需要说明的是，在实际应用中，垃圾类别还可以有其他的分类方式，例如按照材质进行分类，或者按照组成进行分类，又或者按照化学性质进行分类，此处不做限定。

204、若回收类别信息指示待识别图像中包含目标垃圾图像，则获取目标垃圾图像对应的目标位置信息。

本实施例中，如果根据回收类别信息，确定待识别图像中包括了需要被提取的目标垃圾图像，那么会进一步去获取该目标垃圾图像对应的实际位置，即目标位置信息。

例如，信息获取装置在待识别图像中检测到有垃圾X和垃圾Y，其中，垃圾X属于垃圾类别A，对应的回收类别信息为“可回收类”，而垃圾Y属于垃圾类别B，对应的回收类别信息为“不可回收类”，假设我们需要从可回收垃圾中挑出混杂在其中的不可回收垃圾，于是可以将回收类别信息为“不可回收类”的垃圾Y的图像作为目标垃圾图像，从而进一步获取目标垃圾图像在待识别图像中的位置，最近确定出实际的目标位置信息。

其中，目标位置信息可以采用经纬度表示，或者采用坐标系表示，又或者结合这两种方法表示，此处不做限定。

本发明实施例中，提供了一种信息获取的方法，首先获取待识别图像，该待识别图像中包含了至少一个待识别垃圾的图像，接着采用预置训练模型对待识别图像进行处理，其中，预置训练模型是样本图像与类别特征值的函数关系模型，类别特征值用于表示样本图像对应的垃圾类别以及位置信息。然后根据预置训练模型的处理结果，获取待识别图像中待识别垃圾对应的回收类别信息，如果回收类别信息指示待识别图像中包含了目标垃圾图像，那么就可以获取该目标垃圾图像对应的目标位置信息。通过上述方式，利用预置训练模型对包含了至少一个待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，以此只需要对待识别图像进行一次检测，大幅度的提高了检测速度，从而提升检测效率。

可选地，在上述图4对应的实施例的基础上，本发明实施例提供的信息获取的方法第一个可选实施例中，采用预置训练模型对待识别图像进行处理之前，还可以包括：

获取待训练样本图像集合，其中，待训练样本图像集合中包含至少一个样本图像，样本图像包括至少一个子区域图像；

根据子区域图像确定对应的垃圾类别以及位置信息；

根据样本图像中子区域图像所对应的垃圾类别以及位置信息获取预置训练模型。

本实施例中，将介绍信息获取装置训练得到预置训练模型的方式。

具体地，首先信息获取装置需要获取包含至少一个样本图像的待训练样本图像集合，通常情况下，为了训练的准确性需要采用较多的样本图像，而样本图像又被均匀地划分为至少一个子区域图像，针对每个子区域图像进行学习训练能够得到更准确的预置训练模型。这是由于区域小的图像更容易抓住特征点，从而有利于训练的可靠性。最采用深度学习的方法就能够获取每个样本图像中子区域图像对应的垃圾类别以及位置信息。

其中，深度学习是机器学习的一个分支，它是使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习也是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一个样本图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示一系列边，或者一系列特定形状的区域等，此处不做限定。而使用某些特定的标识方法更容易从实例中进行学习，例如，垃圾位置信息的识别或者垃圾类别的识别等。

最后，在利用深度学习的方法获取到每个样本图像对应的垃圾类别以及位置信息之后，就可以建立预置训练模型，该预置训练模型中包含了样本图像与类别特征值之间的对应关系。

此外，采用深度学习的一个好处是，可以用非监督式或半监督式的特征学习以及分层特征提取高效算法来代替手工提取特征，从而提升特征提取效率，也就能够更高效地获取到不同样本图像所对应的类别特征值。

其次，本发明实施例中，信息获取装置需要提前对预置训练模型进行训练，即先获取待训练样本图像集合，其中，该待训练样本图像集合中包含至少一个样本图像，且样本图像中包括至少一个子区域图像，然后根据子区域图像确定对应的垃圾类别以及位置信息，最后根据子区域图像所对应的垃圾类别以及位置信息获取预置训练模型。通过上述方式，可以学习得到更准确的预置训练模型，为后续利用该预置训练模型对待处理垃圾箱图像进行处理提供了可靠的依据，与此同时，采用对大量样本图像进行学习和训练的方式，能够避免繁琐的人工设计，并且有利于提高分类的精度。

可选地，在上述图4对应的第一个实施例的基础上，本发明实施例提供的信息获取的方法第二个可选实施例中，根据子区域图像确定对应的垃圾类别以及位置信息，可以包括：

接收预设类别信息，预设类别信息中包含垃圾类别；

在子区域图像中标定出目标垃圾对应的位置信息，位置信息包含目标垃圾在子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

本实施例中，信息获取装置可以预先接收用户输入的预设类别信息，预设类别信息中包含垃圾类别。需要说明的是，垃圾类别的数目可以是三种或者五种，在实际应用中，还可以设定其他数量的垃圾类别，此处不对垃圾类别的数目进行限定。其中，垃圾类别可以分为有害垃圾、有机垃圾和无机垃圾等，有害垃圾主要指废电池、油漆、灯管和过期药品等，这些固体废弃物会对人体健康或自然环境造成现实或潜在的危害。有机垃圾即在自然条件下易分解的垃圾，主要是由家庭、饭店和单位食堂等产生的食品残余物，由含水率高且易腐败的可降解有机物组成的垃圾。无机垃圾主要指废纸、废玻璃、废塑料以及废金属等可回收利用的物资。

接着通过在子区域图像中标定出目标垃圾对应的位置信息，可以利用垃圾类别以及位置信息获取预置训练模型，位置信息包含目标垃圾在子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。下面将详细介绍如何利用深度学习的方法来确定位置信息。

首先使用大型公开图像数据库训练CNN，以反向传播算法更新参数p₂₀作为样本图像训练的初始值。然后对含特殊垃圾的样本图像均匀划分为d×d个子区域图像，设定C为特殊垃圾类别的个数，同时在训练样本图像中标注出目标垃圾的位置信息，目标垃圾具体为特殊垃圾，例如瓶子、显示器或者盒子等，此处不做限定。目标垃圾的位置信息表示为(x,y,W,H,f)，垃圾类别为(p₁,p₂,…p_C)，其中，x表示目标垃圾在子区域图像中的横坐标位置，y表示目标垃圾在子区域图像中的纵坐标位置，W表示目标垃圾在子区域图像中的宽度，H表示目标垃圾在子区域图像中的高度，f代表目标垃圾的预测面积和实际面积的面积重合率。

(x,y)则表示目标垃圾在当前子区域归一化的中心位置，0＜x＜1，且0＜y＜1。f则具体表示为A表示目标垃圾预测面积，B表示目标垃圾的实际面积。(W,H)表示目标垃圾相对整个子区域图像归一化的宽和高，0＜W＜1，且0＜H＜1。

最后，将输出层更换为d×d×(5+C)多维张量输出,通过新训练数据由反向传播算法更新CNN参数，即将参数p₂₀更新为p₂₁。

具体地，请参阅图5，图5为本发明实施例中获取预置训练模型的一个网络架构图，其中，该网络架构具体为CNN，CNN是由一个或多个卷积层和顶端的全连接层组成，同时也包括关联权重层和池化层，这一结构使得CNN能够利用输入数据的二维结构进行训练。

首先可以设计CNN架构，即包括卷积层数、感受野大小、卷积单元个数、最大池化层、卷积层感受野大小和池化层步长等，网络相关参数请参阅表1。

表1

其中，利用单次网络前向传输检测所有的目标垃圾。具体地，我们首先设计CNN架构(总层数、卷积层数、化层数、卷积层感受野大小、池化层步长等)，网络架构参见图5，网络参数参见表1。其中每个卷积层后接激活函数(Rectified Linear Units，Relu)非线性激活函数：f(x)＝max(0,x)。

再次，本发明实施例中，信息获取装置可以接收预设类别信息，预设类别信息中包含垃圾类别，并且在子区域图像中标定出目标垃圾对应的位置信息，位置信息包含目标垃圾在子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项，由此确定出子区域图像对应的垃圾类别以及位置信息。通过上述方式，能够得到更为准确的参数，即垃圾类别和位置信息，再利用CNN对垃圾类别和位置信息进行训练，与其他深度学习结构相比，能够得到更准确的训练结果，也就是说相比于其他深度算法、前馈神经网络以及卷积神经网络需要估计的参数更少，从而提升了方案的实用性和可操作性。

可选地，在上述图4以及图4对应的第一个或第二个实施例的基础上，本发明实施例提供的信息获取的方法第三个可选实施例中，采用预置训练模型对待识别图像进行处理，可以包括：

将待识别图像输入至预置训练模型，其中，待识别图像包括至少一个待识别子区域图像；

获取待识别子区域图像对应的类别概率值；

根据预置训练模型的处理结果，获取待识别图像中待识别垃圾对应的回收类别信息，可以包括：

若类别概率值大于或等于预设门限，则确定待识别子区域图像中待识别垃圾对应的回收类别信息。

本实施例中，利用预置训练模型对待识别图像进行检测具体可以包括如下步骤：

第一步，将待识别图像输入至预置训练模型，然后通过CNN输出多维张量信息，例如输出α×α×(5+C)，即将样本图像均匀划分为α×α个待识别子区域图像，C为垃圾类别的个数。

第二步，获取待识别子区域图像对应的类别概率值，其中，类别概率值是用于表示在待识别子区域图像中出现待识别垃圾的概率，例如在待识别子区域图像中待识别垃圾占据整个图像的25％画面，则类别概率值为25％。

第三步，判断待识别子区域图像对应的类别概率值是否大于或等于预设门限，如果类别概率值大于或等于预设门限，即max_c∈Cp(c)≥T，则确定待识别子区域图像中包含待识别垃圾，其中，T表示预设门限，c表示某个垃圾类别；

第四步，获取待识别垃圾对应的回收类别信息。

进一步地，本发明实施例中，在信息获取装置采用预置训练模型对待识别图像进行处理的过程中，需要先将待识别图像输入至预置训练模型，其中，待识别图像包括至少一个待识别子区域图像，然后获取待识别子区域图像对应的类别概率值，如果类别概率值大于或等于预设门限，则可以确定待识别子区域图像中待识别垃圾的回收类别信息。通过上述方式，信息获取装置可以利用类别概率值获取待识别垃圾的回收类别信息，由此排除不满足条件的待识别垃圾，并不需要获取这些垃圾的回收类别信息，从而提升了信息检测的效率以及检测的可操作性。

可选地，在上述图4对应的第三个实施例的基础上，本发明实施例提供的信息获取的方法第四个可选实施例中，若回收类别信息指示待识别图像中包含目标垃圾图像，则获取目标垃圾图像对应的目标位置信息，可以包括：

若根据回收类别信息确定待识别图像中包含目标垃圾图像，则检测目标垃圾图像的面积重合率；

根据目标垃圾图像的面积重合率以及预置训练模型，获取目标垃圾图像在待识别图像中的中心位置、高度以及宽度中的至少一项。

本实施例中，在获取到待识别垃圾对应的回收类别信息之后，可以根据回收类别信息确定该待识别垃圾是否属于目标垃圾，如果是，则进一步获取目标垃圾图像在待识别图像中的面积重合率，利用预置训练模型以及面积重合率定位目标垃圾图像在待识别图像中的位置，该位置包括中心位置、高度以及宽度中的至少一项。

其中，可以采用非极大值抑制合并同一目标垃圾检测到的重复区域，根据(x,y,W,H)，x表示目标垃圾在待识别图像中的横坐标位置，y表示目标垃圾在待识别图像中的纵坐标位置，W表示目标垃圾在待识别图像中的宽度，H表示目标垃圾在待识别图像中的高度。

为了便于理解，请参阅图6，图6为本发明实施例中获取目标垃圾图像的一个示意图，假设目标垃圾为瓶子，可以先将图6输入至预置训练模型，然后将图6分割成若干个待识别子区域图像，再分别获每个待识别子区域图像对应的类别概率值，在类别概率值大于或等于预设门限的情况下获取待识别垃圾对应的回收类别信息。由于我们需要找到瓶子，因此瓶子即为目标垃圾，于是根据待识别垃圾对应的回收类别信息查找哪些待识别垃圾属于目标垃圾，进而获取目标垃圾对应的目标垃圾图像。最后预置训练模型根据目标垃圾图像确定其位置信息，以便提取该目标垃圾。

图7为本发明实施例中获取目标垃圾图像的另一个示意图，待识别图像的规格不仅限于图6或图7，图7为提取显示器的方式，在实际应用中，目标垃圾除了可以是瓶子或者显示器，还可以是其他类型的垃圾，此处仅为一个示意，并不应理解为对本发明的限定。

更进一步地，本发明实施例中，如果根据回收类别信息确定待识别图像中包含目标垃圾图像，那么可以检测目标垃圾图像的面积重合率，再根据目标垃圾图像的面积重合率以及预置训练模型，确定目标垃圾图像在待识别图像中的中心位置、高度以及宽度中的至少一项。通过上述方式，可以更准确地获取目标垃圾图像的目标位置信息，从而有利于更快更准确地提取该垃圾，由此增强方案的检测精度。

下面对本发明中的信息获取装置进行详细描述，请参阅图8，本发明实施例中的信息获取装置30包括：

第一获取模块301，用于获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像；

处理模块302，用于采用预置训练模型对所述第一获取模块301获取的所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息；

第二获取模块303，用于根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；

第三获取模块304，用于若所述第二获取模块303获取的所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

本实施例中，第一获取模块301获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像，处理模块302采用预置训练模型对所述第一获取模块301获取的所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息，第二获取模块303根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；第三获取模块304，用于若所述第二获取模块303获取的所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

本发明实施例中，提供了一种信息获取装置，首先该装置获取待识别图像，该待识别图像中包含了至少一个待识别垃圾的图像，接着采用预置训练模型对待识别图像进行处理，其中，预置训练模型是样本图像与类别特征值的函数关系模型，类别特征值用于表示样本图像对应的垃圾类别以及位置信息。然后根据预置训练模型的处理结果，获取待识别图像中待识别垃圾对应的回收类别信息，如果回收类别信息指示待识别图像中包含了目标垃圾图像，那么就可以获取该目标垃圾图像对应的目标位置信息。通过上述方式，利用预置训练模型对包含了至少一个待识别垃圾的图像进行识别，并探测图像中的待识别垃圾对应的回收类别信息，最后根据回收类别信息来自动筛选出目标垃圾图像，以此只需要对待识别图像进行一次检测，大幅度的提高了检测速度，从而提升检测效率。

可选地，在上述图8所对应的实施例的基础上，请参阅图9，本发明实施例提供的信息获取装置30的另一实施例中，所述信息获取装置30还包括：

第四获取模块305，用于在所述处理模块302采用预置训练模型对所述待识别图像进行处理之前，获取待训练样本图像集合，其中，所述待训练样本图像集合中包含至少一个样本图像，所述样本图像包括至少一个子区域图像；

确定模块306，用于根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息；

第五获取模块307，用于根据所述样本图像中所述确定模块306确定的所述子区域图像所对应的所述垃圾类别以及所述位置信息获取所述预置训练模型。

其次，本发明实施例中，信息获取装置需要提前对预置训练模型进行训练，即先获取待训练样本图像集合，其中，该待训练样本图像集合中包含至少一个样本图像，且样本图像中包括至少一个子区域图像，然后根据子区域图像确定对应的垃圾类别以及位置信息，最后根据子区域图像所对应的垃圾类别以及位置信息获取预置训练模型。通过上述方式，可以学习得到更准确的预置训练模型，为后续利用该预置训练模型对待处理垃圾箱图像进行处理提供了可靠的依据，与此同时，采用对大量样本图像进行学习和训练的方式，能够避免繁琐的人工设计，并且有利于提高分类的精度。

可选地，在上述图9所对应的实施例的基础上，请参阅图10，本发明实施例提供的信息获取装置30的另一实施例中，

所述确定模块306包括：

接收单元3061，用于接收预设类别信息，所述预设类别信息中包含所述垃圾类别；

标定单元3062，用于在所述子区域图像中标定出目标垃圾对应的所述位置信息，所述位置信息包含所述目标垃圾在所述子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

再次，本发明实施例中，信息获取装置可以接收预设类别信息，预设类别信息中包含垃圾类别，并且在子区域图像中标定出目标垃圾对应的位置信息，位置信息包含目标垃圾在子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项，由此确定出子区域图像对应的垃圾类别以及位置信息。通过上述方式，能够得到更为准确的参数，即垃圾类别和位置信息，再利用CNN对垃圾类别和位置信息进行训练，与其他深度学习结构相比，能够得到更准确的训练结果，也就是说相比于其他深度算法、前馈神经网络以及卷积神经网络需要估计的参数更少，从而提升了方案的实用性和可操作性。

可选地，在上述图8、图9或图10所对应的实施例的基础上，请参阅图11，本发明实施例提供的信息获取装置30的另一实施例中，

所述处理模块302包括：

输入单元3021，用于将所述待识别图像输入至所述预置训练模型，其中，所述待识别图像包括至少一个待识别子区域图像；

第一获取单元3022，用于获取所述待识别子区域图像对应的类别概率值；

所述第二获取模块303包括：

确定单元3031，用于若所述第一获取单元获取的所述类别概率值大于或等于预设门限，则确定所述待识别子区域图像中所述待识别垃圾对应的所述回收类别信息。

进一步地，本发明实施例中，在信息获取装置采用预置训练模型对待识别图像进行处理的过程中，需要先将待识别图像输入至预置训练模型，其中，待识别图像包括至少一个待识别子区域图像，然后获取待识别子区域图像对应的类别概率值，如果类别概率值大于或等于预设门限，则可以确定待识别子区域图像中待识别垃圾的回收类别信息。通过上述方式，信息获取装置可以利用类别概率值获取待识别垃圾的回收类别信息，由此排除不满足条件的待识别垃圾，并不需要获取这些垃圾的回收类别信息，从而提升了信息检测的效率以及检测的可操作性。

可选地，在上述图11所对应的实施例的基础上，请参阅图12，本发明实施例提供的信息获取装置30的另一实施例中，

所述第三获取模块304包括：

检测单元3041，用于若根据所述回收类别信息确定所述待识别图像中包含所述目标垃圾图像，则检测所述目标垃圾图像的所述面积重合率；

第二获取单元3042，用于根据所述检测单元3041检测得到的所述目标垃圾图像的所述面积重合率以及所述预置训练模型，获取所述目标垃圾图像在所述待识别图像中的中心位置、高度以及宽度中的至少一项。

更进一步地，本发明实施例中，如果根据回收类别信息确定待识别图像中包含目标垃圾图像，那么可以检测目标垃圾图像的面积重合率，再根据目标垃圾图像的面积重合率以及预置训练模型，确定目标垃圾图像在待识别图像中的中心位置、高度以及宽度中的至少一项。通过上述方式，可以更准确地获取目标垃圾图像的目标位置信息，从而有利于更快更准确地提取该垃圾，由此增强方案的检测精度。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种信息获取的方法，其特征在于，包括：

获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像；

采用预置训练模型对所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息；

根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；

若所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

2.根据权利要求1所述的方法，其特征在于，所述采用预置训练模型对所述待识别图像进行处理之前，所述方法还包括：

获取待训练样本图像集合，其中，所述待训练样本图像集合中包含至少一个样本图像，所述样本图像包括至少一个子区域图像；

根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息；

根据所述样本图像中所述子区域图像所对应的所述垃圾类别以及所述位置信息获取所述预置训练模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息，包括：

接收预设类别信息，所述预设类别信息中包含所述垃圾类别；

在所述子区域图像中标定出目标垃圾对应的所述位置信息，所述位置信息包含所述目标垃圾在所述子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述采用预置训练模型对所述待识别图像进行处理，包括：

将所述待识别图像输入至所述预置训练模型，其中，所述待识别图像包括至少一个待识别子区域图像；

获取所述待识别子区域图像对应的类别概率值；

所述根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息，包括：

若所述类别概率值大于或等于预设门限，则确定所述待识别子区域图像中所述待识别垃圾对应的所述回收类别信息。

5.根据权利要求4所述的方法，其特征在于，所述若所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息，包括：

若根据所述回收类别信息确定所述待识别图像中包含所述目标垃圾图像，则检测所述目标垃圾图像的所述面积重合率；

根据所述目标垃圾图像的所述面积重合率以及所述预置训练模型，获取所述目标垃圾图像在所述待识别图像中的中心位置、高度以及宽度中的至少一项。

6.一种信息获取装置，其特征在于，包括：

第一获取模块，用于获取待识别图像，所述待识别图像中包含至少一个待识别垃圾的图像；

处理模块，用于采用预置训练模型对所述第一获取模块获取的所述待识别图像进行处理，其中，所述预置训练模型为样本图像与类别特征值的函数关系模型，所述类别特征值用于表示所述样本图像对应的垃圾类别以及位置信息；

第二获取模块，用于根据所述预置训练模型的处理结果，获取所述待识别图像中所述待识别垃圾对应的回收类别信息；

第三获取模块，用于若所述第二获取模块获取的所述回收类别信息指示所述待识别图像中包含目标垃圾图像，则获取所述目标垃圾图像对应的目标位置信息。

7.根据权利要求6所述的信息获取装置，其特征在于，所述装置还包括：

第四获取模块，用于在所述处理模块采用预置训练模型对所述待识别图像进行处理之前，获取待训练样本图像集合，其中，所述待训练样本图像集合中包含至少一个样本图像，所述样本图像包括至少一个子区域图像；

确定模块，用于根据所述子区域图像确定对应的所述垃圾类别以及所述位置信息；

第五获取模块，用于根据所述样本图像中所述确定模块确定的所述子区域图像所对应的所述垃圾类别以及所述位置信息获取所述预置训练模型。

8.根据权利要求7所述的信息获取装置，其特征在于，所述确定模块包括：

接收单元，用于接收预设类别信息，所述预设类别信息中包含所述垃圾类别；

标定单元，用于在所述子区域图像中标定出目标垃圾对应的所述位置信息，所述位置信息包含所述目标垃圾在所述子区域图像中的中心位置、高度、宽度以及面积重合率中的至少一项。

9.根据权利要求6至8中任一项所述的信息获取装置，其特征在于，所述处理模块包括：

输入单元，用于将所述待识别图像输入至所述预置训练模型，其中，所述待识别图像包括至少一个待识别子区域图像；

第一获取单元，用于获取所述待识别子区域图像对应的类别概率值；

所述第二获取模块包括：

确定单元，用于若所述第一获取单元获取的所述类别概率值大于或等于预设门限，则确定所述待识别子区域图像中所述待识别垃圾对应的所述回收类别信息。

10.根据权利要求9所述的信息获取装置，其特征在于，所述第三获取模块包括：

检测单元，用于若根据所述回收类别信息确定所述待识别图像中包含所述目标垃圾图像，则检测所述目标垃圾图像的所述面积重合率；

第二获取单元，用于根据所述检测单元检测得到的所述目标垃圾图像的所述面积重合率以及所述预置训练模型，获取所述目标垃圾图像在所述待识别图像中的中心位置、高度以及宽度中的至少一项。