CN111017429B - 一种基于多因素融合的社区垃圾分类方法及*** - Google Patents

Abstract

本申请实施例提供一种基于多因素融合的社区垃圾分类方法和***，包括：通过图像采集装置，从多个角度对垃圾进行拍摄，得到垃圾的形态视频；识别出形态视频中的至少一张特征图像，形成特征图像集合；根据特征图像集合，生成垃圾的三维图像，并提取垃圾的特征点；根据特征点通过机器学习算法识别出垃圾的类型；基于垃圾的特征点，并增加多个随机采样点，形成传感点集合；通过传感器对传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测；将第一分类结果和第二分类结果进行多因素融合，并进行垃圾分类指导。本申请通过结合多因素融合和社区垃圾分类实践，提高了垃圾分类的准确度和效率。

Description

一种基于多因素融合的社区垃圾分类方法及***

技术领域

本申请涉及运筹方法及垃圾分类领域，尤其涉及一种基于多因素融合的社区垃圾分类方法及***。

背景技术

现有垃圾分类过程中，社区居民需要记住大量的分类信息，给社区居民造成很大分类难度，也经常导致分类错误。分类错误的垃圾还需要进行二次分类，而且有的用户甚至由此拒绝进行分类。因此，需要一种智能垃圾分类方法和***。

目前对物体的识别技术，除了通用的图像/视频识别技术，还可以通过传感器对物体的物质组成进行感应，但是没有通过图像/视频识别加上物质感应的方法，进行物质识别的，尤其没有使用图像/视频识别技术应用到垃圾分类领域的先例。

发明内容

有鉴于此，本申请的目的在于提出一种基于多因素融合的社区垃圾分类方法及***，结合垃圾分类实践特点，解决目前垃圾分类过程中，用户体验不高、效率低下及只能程度低的技术问题。

基于上述目的，本申请提出了一种基于多因素融合的社区垃圾分类方法，包括：

通过图像采集装置，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频；

识别出所述形态视频中的至少一张特征图像，形成特征图像集合；根据所述特征图像集合，生成所述垃圾的三维图像，并提取所述垃圾的特征点；根据所述特征点通过机器学习算法识别出所述垃圾的类型，得到第一分类结果；

基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合；通过传感器对所述传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测，得到第二分类结果；

将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果大于或等于预设置信度则播报和/或显示给用户，并进行垃圾分类指导。

在一些实施例中，所述方法，还包括：

将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果小于预设置信度，则将所述第一分类结果和所述第二分类结果都播报和/或显示给用户，并进行垃圾分类指导。

在一些实施例中，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频，包括：

以所述图像采集装置为第一中心，通过旋转手臂操作使得所述垃圾围绕所述第一中心进行至少一次不同轨道的环形旋转；和/或

以所述垃圾为第二中心，所述图像采集装置围绕所述第二中心进行至少一次不同轨道的环形旋转。

在一些实施例中，将所述收货信息发送至支持向量机，包括：

所述支持向量机位于控制中心，主动和/或被动接收各个所述派件信息采集***的数据，形成原始数据集；

基于所述原始数据集，按照派送商品类型进行预分类，对预分类中的每类商品通过支持向量机得到每个收货人的收货时间区间。

在一些实施例中，生成所述垃圾的三维图像，并提取所述垃圾的特征点，包括：

将与相邻区域颜色不同的区域作为特征点；以及

将与相邻区域凹凸程度不同的区域作为特征点。

在一些实施例中，基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合，包括：

如果所述垃圾为可穿插形态，则以所述垃圾的一个平面为基准面，对基准面随机采样多个采样点，进行***式物质传感分析；

如果所述垃圾为不可穿插形态，则将所述垃圾的至少一个平面作为基准面集合，对所述基准面集合中的每个基准面，随机采样多个采样点，进行接触式物质传感分析。

在一些实施例中，将所述第一分类结果和所述第二分类结果进行多因素融合，包括：

通过公式S＝C·P+cov(C，P)计算所述第一分类结果和所述第二分类结果的融合结果，其中S为所述融合结果的特征矩阵，C为所述第一分类结果的特征矩阵，P所述第二分类结果的特征矩阵，cov(C，P)为所述第一分类结果和所述第二分类结果的增益矩阵。

基于上述目的，本申请还提出了一种基于多因素融合的社区垃圾分类***，包括：

采集模块，用于通过图像采集装置，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频；

第一分类模块，用于识别出所述形态视频中的至少一张特征图像，形成特征图像集合；根据所述特征图像集合，生成所述垃圾的三维图像，并提取所述垃圾的特征点；根据所述特征点通过机器学习算法识别出所述垃圾的类型，得到第一分类结果；

第二分类模块，用于基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合；通过传感器对所述传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测，得到第二分类结果；

第一融合模块，用于将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果大于或等于预设置信度则播报和/或显示给用户，并进行垃圾分类指导。

在一些实施例中，所述***还包括：

第二融合模块，用于将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果小于预设置信度，则将所述第一分类结果和所述第二分类结果都播报和/或显示给用户，并进行垃圾分类指导。

在一些实施例中，所述采集模块，包括：

第一旋转单元，用于以所述图像采集装置为第一中心，所述垃圾围绕所述第一中心进行至少一次不同轨道的环形旋转；和/或

第二旋转单元，用于以所述垃圾为第二中心，所述图像采集装置围绕所述第二中心进行至少一次不同轨道的唤醒旋转。

在一些实施例中，所述第二分类模块，包括：

第一传感单元，用于如果所述垃圾为可穿插形态，则以所述垃圾的一个平面为基准面，对基准面随机采样多个采样点，进行***式物质传感分析；

第二传感单元，用于如果所述垃圾为不课穿插形态，则将所述垃圾的至少一个平面作为基准面集合，对所述基准面集合中的每个基准面，随机采样多个采样点，进行接触式物质传感分析。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示出了根据本发明实施例的基于多因素融合的社区垃圾分类方法的流程图。

图2示出了根据本发明实施例的基于多因素融合的社区垃圾分类方法的流程图。

图3示出了根据本发明实施例的示出根据本发明实施例的基于多因素融合的社区垃圾分类***的构成图。

图4示出了根据本发明实施例的示出根据本发明实施例的基于多因素融合的社区垃圾分类***的构成图。

图5示出了根据本发明实施例的采集模块的构成图。

图6示出了根据本发明实施例的第二分类模块的构成图。

图7a和图7b示出了根据本发明实施例的原理图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出根据本发明实施例的基于多因素融合的社区垃圾分类方法的流程图。如图1所示，该基于多因素融合的社区垃圾分类方法包括：

步骤S11、通过图像采集装置，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频。

具体来说，从多个角度对垃圾进行拍摄，可以时在多个角度上设置摄像头，从而在多个角度对垃圾进行静态拍摄；也可以是旋转式地对垃圾进行环绕式拍摄，这一拍摄过程为动态拍摄。

在一种实施方式中，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频，包括：

以所述图像采集装置为第一中心，通过旋转手臂操作使得所述垃圾围绕所述第一中心进行至少一次不同轨道的环形旋转；和/或

以所述垃圾为第二中心，所述图像采集装置围绕所述第二中心进行至少一次不同轨道的环形旋转。

如图7a所述，以垃圾O为第二中心，图像采集装置C1、C2围绕O点进行至少一次不同轨道的环形旋转，从而获得垃圾的多角度视频/图像数据。C1和C2可以是同一图像采集装置，也可以是不同的图像采集装置。

如图7b所示，以图像采集装置O为中心，通过旋转手臂操作使得所述垃圾R围绕O点进行至少一次不同轨道的环形旋转，从而取得垃圾的多角度视频/图像数据。

在一种实施方式中，可以将以上两种垃圾图像拍摄方式得到的垃圾图像进行整合，得到更加全面的垃圾外形数据，从而提高垃圾识别的准确度。

具体来说，一种拍摄方式中可能存在拍摄盲区，无法得到垃圾某些部位的外形数据，通过定位这些盲区，再从另一拍摄方式中将这些互补区域的外形数据提取出来，组成一套完整的垃圾外型数据。

步骤S12、识别出所述形态视频中的至少一张特征图像，形成特征图像集合；根据所述特征图像集合，生成所述垃圾的三维图像，并提取所述垃圾的特征点；根据所述特征点通过机器学习算法识别出所述垃圾的类型，得到第一分类结果。

具体来说，通过对垃圾外表面形状的分析，可以初步得出垃圾的分类。因此，有必要将垃圾转化为三维图像，从而更加准确地分析出垃圾外形的形状。

例如，垃圾纸箱的形状一般都是长方体，因此，可以通过识别出长方体，并根据长方体的长宽高，以及表面的文字、图案信息初步判断出长方体属于垃圾纸箱。

在一种实施方式中，生成所述垃圾的三维图像，并提取所述垃圾的特征点，包括：

将与相邻区域颜色不同的区域作为特征点；以及

将与相邻区域凹凸程度不同的区域作为特征点。

具体来说，通过垃圾分类的实践操作经验可以得出，对于一件垃圾而言，分类时重点需要识别出颜色与周边区域不同的区域的内容，例如一个垃圾纸箱，通体都是浅褐色，但是有一个区域采用红色印有“此面向上，请勿踩压”的字样，在垃圾识别的过程中，垃圾识别重点需要识别的不是垃圾纸箱通体的浅褐色，而是要识别出红色的“此面向上，请勿踩压”，这样才能更为准确地识别出纸箱。

此外，对于外形上存在变化的垃圾而言，分类时的重点时需要识别出凹凸程度与周围区域不同的区域的内容，例如一个塑料展板，通体都是平面，但中央采用凸起的方式粘贴有“广而告之”的字样，垃圾识别重点需要识别的不是整个塑料展板的平面，而是要识别出凸起的“广而告知”字样，这样才嫩更为准确地识别出该平板为一塑料广告板。

步骤S13、基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合；通过传感器对所述传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测，得到第二分类结果。

具体来说，由于垃圾的外表面一般都会由于人为的使用，导致外表面出现变形，因此即使生成垃圾的三维图像，也无法识别出垃圾的原始状态，造成垃圾识别准确度降低的可能。例如，喝完的易拉罐瓶，很多人***状，方便存储。即使扫描出了扁平状易拉罐瓶的全息照片，也无法通过外形识别出该扁平状易拉罐瓶。因此，可以考虑通过传感器再进行一次物质感应，从而克服该技术问题。

在一种实施方式中，基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合，包括：

如果所述垃圾为可穿插形态，则以所述垃圾的一个平面为基准面，对基准面随机采样多个采样点，进行***式物质传感分析；

如果所述垃圾为不可穿插形态，则将所述垃圾的至少一个平面作为基准面集合，对所述基准面集合中的每个基准面，随机采样多个采样点，进行接触式物质传感分析。

具体来说，对于可穿插形态，例如一袋厨余垃圾，可以打开厨余垃圾袋，让传感器以厨余垃圾袋的开口平面为基准面，扎入垃圾袋中的若干个采集点，识别出厨余垃圾袋中的物质类型。

另外，对于不可穿插形态的垃圾而言，例如金属板材，可以以板材的最大平面为基准面，随机采样该基准面中的多个采样点，通过接触式探头传感器，感应该基准面上各个点的金属类型，从而识别出金属板材的物质类型。

步骤S14、将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果大于或等于预设置信度则播报和/或显示给用户，并进行垃圾分类指导。

具体来说，图像识别出来的第一分类结果和传感器识别出的第二分类结果互为补充，可以根据实际分类的需求，对两种分类的结果进行多因素融合，从而达到最佳识别效果。

在一种实施方式中，将所述第一分类结果和所述第二分类结果进行多因素融合，包括：

通过公式S＝C·P+cov(C，P)计算所述第一分类结果和所述第二分类结果的融合结果，其中S为所述融合结果的特征矩阵，C为所述第一分类结果的特征矩阵，P所述第二分类结果的特征矩阵，cov(C，P)为所述第一分类结果和所述第二分类结果的增益矩阵。

在一种示例中，可以通过语音播报的方式，将分类结果反馈给用户，从而进行垃圾分类；也可以通过屏幕显示，或是图像指导的形式，以可视化的方式将分类结果反馈给用于；还可以结合两种方式，以视听方式对用户进行垃圾分类指导。

图2示出根据本发明实施例的基于多因素融合的社区垃圾分类方法的流程图。如图2所示，该基于多因素融合的社区垃圾分类方法还包括：

步骤S15、将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果小于预设置信度，则将所述第一分类结果和所述第二分类结果都播报和/或显示给用户，并进行垃圾分类指导。

具体来说，当结合两种方式，还未能准确预测出垃圾的类型时，存在两种可能，一种是垃圾属于难以分类的种类，例如有的垃圾一半是可回收，另一半则是不可回收，则需要用户进行二次操作才能进行；另一种可能是，分类出现了问题，需要用户进行干预。这两种情况都需要及时的反馈给用户，从而得到用户的处理。

图3示出根据本发明实施例的基于多因素融合的社区垃圾分类***的构成图。如图3所示，该基于多因素融合的社区垃圾分类***整体可以分为：

采集模块31，用于通过图像采集装置，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频；

第一分类模块32，用于识别出所述形态视频中的至少一张特征图像，形成特征图像集合；根据所述特征图像集合，生成所述垃圾的三维图像，并提取所述垃圾的特征点；根据所述特征点通过机器学习算法识别出所述垃圾的类型，得到第一分类结果；

第二分类模块33，用于基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合；通过传感器对所述传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测，得到第二分类结果；

第一融合模块34，用于将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果大于或等于预设置信度则播报和/或显示给用户，并进行垃圾分类指导。

图4示出根据本发明实施例的基于多因素融合的社区垃圾分类***的构成图。如图4所示，该基于多因素融合的社区垃圾分类***还包括：

第二融合模块35，用于将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果小于预设置信度，则将所述第一分类结果和所述第二分类结果都播报和/或显示给用户，并进行垃圾分类指导。

图5示出根据本发明实施例的采集模块的构成图。从图5可以看出，采集模块31包括：

第一旋转单元311，用于以所述图像采集装置为第一中心，所述垃圾围绕所述第一中心进行至少一次不同轨道的环形旋转；

第二旋转单元312，用于以所述垃圾为第二中心，所述图像采集装置围绕所述第二中心进行至少一次不同轨道的唤醒旋转。

图6示出根据本发明实施例的第二分类模块的构成图。从图6可以看出，第二分类模块33包括：

第一传感单元331，用于如果所述垃圾为可穿插形态，则以所述垃圾的一个平面为基准面，对基准面随机采样多个采样点，进行***式物质传感分析；

第二传感单元332，用于如果所述垃圾为不课穿插形态，则将所述垃圾的至少一个平面作为基准面集合，对所述基准面集合中的每个基准面，随机采样多个采样点，进行接触式物质传感分析。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、***或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、***或设备取指令并执行指令的***)使用，或结合这些指令执行***、***或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、***或设备或结合这些指令执行***、***或设备而使用的***。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子***)，便携式计算机盘盒(磁***)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤***，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (1)

1.一种基于多因素融合的社区垃圾分类方法，其特征在于，包括：

通过图像采集装置，从多个角度对垃圾进行拍摄，得到所述垃圾的形态视频，包括：以所述图像采集装置为第一中心，通过旋转手臂操作使得所述垃圾围绕所述第一中心进行至少一次不同轨道的环形旋转；和/或以所述垃圾为第二中心，所述图像采集装置围绕所述第二中心进行至少一次不同轨道的环形旋转；

识别出所述形态视频中的至少一张特征图像，形成特征图像集合；根据所述特征图像集合，生成所述垃圾的三维图像，并提取所述垃圾的特征点，包括：将与相邻区域颜色不同的区域作为特征点；以及将与相邻区域凹凸程度不同的区域作为特征点；根据所述特征点通过机器学习算法识别出所述垃圾的类型，得到第一分类结果；

基于所述垃圾的特征点，并增加多个随机采样点，形成传感点集合，包括：如果所述垃圾为可穿插形态，则以所述垃圾的一个平面为基准面，对基准面随机采样多个采样点，进行***式物质传感分析；如果所述垃圾为不可穿插形态，则将所述垃圾的至少一个平面作为基准面集合，对所述基准面集合中的每个基准面，随机采样多个采样点，进行接触式物质传感分析；通过传感器对所述传感点集合中的每一个传感点进行物质分析，得到采样结果集合，对采样结果集合中的数据通过机器学习算法进行预测，得到第二分类结果；

将所述第一分类结果和所述第二分类结果进行多因素融合，包括：通过公式S＝C·P+cov(C，P)计算所述第一分类结果和所述第二分类结果的融合结果，其中S为所述融合结果的特征矩阵，C为所述第一分类结果的特征矩阵，P所述第二分类结果的特征矩阵，cov(C，P)为所述第一分类结果和所述第二分类结果的增益矩阵；如果多因素融合结果大于或等于预设置信度则播报和/或显示给用户，并进行垃圾分类指导；

将所述第一分类结果和所述第二分类结果进行多因素融合，如果多因素融合结果小于预设置信度，则将所述第一分类结果和所述第二分类结果都播报和/或显示给用户，并进行垃圾分类指导。

Images