CN112722612A

CN112722612A - 基于yolo网络的垃圾检测方法及***

Info

Publication number: CN112722612A
Application number: CN202011562683.1A
Authority: CN
Inventors: 何玄; 李清宏; 张大力; 拉凯什
Original assignee: Shanghai Jiaotong University; Xian Jiaotong University
Current assignee: Shanghai Jiaotong University; Xian Jiaotong University
Priority date: 2020-12-25
Filing date: 2020-12-25
Publication date: 2021-04-30

Abstract

本发明提出了一种基于YOLO网络的垃圾检测方法及***，该方法包括：获取待检测地区的垃圾分类信息；所述垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物；使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表；使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类。通过本发明的上述方法和***，能够根据待检测区域的垃圾分类信息对待检测区域的垃圾进行自动化检测，以实现垃圾的实时分类。

Description

基于YOLO网络的垃圾检测方法及***

技术领域

本发明涉及图像处理及垃圾检测技术领域，特别是涉及一种基于YOLO网络的垃圾检测方法及***。

背景技术

随着城市化的发展，废弃物管理的难度加大，世界各地都在改进废弃物处理方式，以提高处理效率并加强环境保护。例如废弃物收集(触发警报的传感器)、智能物流管理软件、自动驾驶汽车、现代化垃圾掩埋场等。废弃物分类是废弃物管理中的第一步，在废弃物管理中对废弃物进行适当的现场分类是非常重要的。

例如，2019年7月1日上海正式施行了名为“上海市生活垃圾管理条例”的市政垃圾分类计划(TSP)政策。上海成为中国第一个以实施TSP政策来控制垃圾快速增长的城市。TSP政策涉及三种类型的利益相关者：政府、企业和公民。政府、企业和公民的关系和责任应该明确，从而使废弃物的分类由强制性到自发性逐渐改变，以实现循环经济正常化的使命。为了改善废弃物回收利用并减少废弃物的数量，北京、重庆、天津、杭州、广州、成都、西安等几个成长中的大城市也已经采取了TSP政策。该政策与市民的日常生活息息相关，旨在改变市民对废弃物处置行为。

但是，每个城市在垃圾处理、运送和罚款方面都有自己的规定。在上海，可分类为四类：可回收物、危险垃圾、干垃圾和湿垃圾；在北京，可分类为可回收物、危险垃圾、厨房垃圾和其他垃圾四类；重庆市分类为可回收物、危险垃圾、易腐烂垃圾和其他垃圾。其他43个城市大多都采用北京和重庆的类别。事实上，尽管分类标题不同，但主要类别的含义却有相似之处。上海作为中国TSP政策的领头羊和示范城市，大量废弃物、装饰废弃物和电子废弃物是企业主题的进一步类别。此外，有104种垃圾项目作为四个垃圾类别的指导和示例。作为一项强制性的垃圾分类政策，对通过劝说后不愿正确分类的个人处以高额罚款。在上海，将处以200元以上的罚款；在北京，对个人处以50至200元的罚款。

尽管有惩罚措施，但以北京的统计数字为例，食物垃圾的准确率仅超过20％。此外，城市之间的垃圾分类混淆情况也非常严重。针对2019年发布的中文TSP的公众舆论的最新评论，分析了来自微信公众号和新浪微博的325,748个社会公众舆论，得出正面的、适度的和负面的意见，其中，百分比最高的正面意见表明，公众对此环保政策表示了支持。但是，鉴于公众舆论的消极情绪，从三个方面确定了对策和建议：1)支持设施；2)指导思想；3)确保实施。明确地说，负面声音包括：1)废物分类的促进过程过于匆忙；2)预告还不够；3)基本设施不完善；以及4)交付过程复杂。垃圾分类繁琐而复杂的过程已经成为市民面对促使创新解决方案需求的关键问题。因此，需要技术策划来协助市政对废弃物进行管理。此外，估计到2050年，全球50％以上的人口将生活在亚太地区的城市中，因此，废弃物管理的相关创新成为一个重要的讨论主题。

同样，在印度，联盟环境部最近公告了新的2016年「固体废弃物管理法(SWM)」。新规定要求对废弃物进行源头分类，以便通过回收、再利用和再循环将废弃物转化为财富。废弃物产生者必须将废物分为三类：可生物分解的、可回收的(塑料、纸张、金属、木材等)和危险废弃物(尿布、餐巾、驱蚊剂、清洁剂等)，然后再将其移交给废弃物收集者(印度废弃物管理框架中的重要人员)。2016SWM正客制化在德里、孟买等主要地区推出。可以看出，大约需要4到5年的时间，印度的废弃物管理制度的运作方式也会发生巨大变化。

废弃物分类就是将废弃物，也就是垃圾，分类为不同元素的过程。分类涉及了不同程度的手动和自动化工作。在亚洲，城市的废弃物分类传统上是依赖废弃物供应链中的非正式废弃物收集者(重要参与者)。但是，随着城市生活成本的增加、废弃物产品价格的下降以及福利政策的下降等，现在需要更多地使用自动化，以最大化回收垃圾以及防止垃圾填埋。因此，本领域亟需一种自动化垃圾检测，以对废弃物进行实时分类，最大化回收垃圾以及防止垃圾填埋。

发明内容

本发明的目的是提供一种基于YOLO网络的垃圾检测方法及***，根据待检测区域的垃圾分类信息对待检测区域的垃圾进行自动化检测，以实现垃圾的实时分类。

为实现上述目的，本发明提供了如下方案：

一种基于YOLO网络的垃圾检测方法，包括：

获取待检测地区的垃圾分类信息；所述垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物；

使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表，

使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类。

可选的，所述使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类的步骤包括：

获取待检测图像；

根据所述分类词汇表，将所述待检测图像输入至所述YOLO检测模型，输出检测结果。

可选的，所述根据所述分类词汇表，将所述待检测图像输入至所述YOLO检测模型，输出检测结果之后还包括：

将所述检测结果加载至显示设备上。

可选的，所述将所述检测结果加载至显示设备上之后还包括：

根据操作者对废弃物的分类情况对操作者进行奖励；其中，所述操作者根据显示设备上的显示结果对废弃物进行分类。

可选的，所述方法还包括：由操作者根据被丢弃的垃圾向丢弃垃圾的用户支付费用。

可选的，所述获取待检测地区的垃圾分类信息，具体包括：

获取待检测用户所在位置；

根据所述待检测用户所在位置确定待检测区域当前的垃圾管理政策文档；其中，所述待检测区域为所述待检测用户所在位置的区域；

根据所述垃圾管理政策文档，采用概率词聚类方法确定待检测地区的垃圾分类信息。

可选的，所述检测结果包括待检测图像中是否包含垃圾目标，以及垃圾目标的具***置和类别。

一种基于YOLO网络的垃圾检测***，包括：

垃圾分类信息获取模块，用于获取待检测地区的垃圾分类信息；所述垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物；

YOLO检测模型建立模块，用于使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表，

实时分类模块，用于使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类。

可选的，所述实时分类模块包括：

待检测图像获取单元，用于获取待检测图像；

检测结果输出单元，用于根据所述分类词汇表，将所述待检测图像输入至所述YOLO检测模型，输出检测结果。

可选的，所述基于YOLO网络的垃圾检测***还包括：

加载模块，用于将所述检测结果加载至显示设备上。

可选的，所述基于YOLO网络的垃圾检测***还包括：

奖励模块，用于根据操作者对废弃物的分类情况对操作者进行奖励；其中，所述操作者根据显示设备上的显示结果对废弃物进行分类。

可选的，所述基于YOLO网络的垃圾检测***还包括：

费用支付模块，用于由操作者根据被丢弃的垃圾向丢弃垃圾的用户支付费用。

可选的，所述垃圾分类信息获取模块具体包括：

位置获取单元，用于获取待检测用户所在位置；

政策文件确定单元，用于根据所述待检测用户所在位置确定待检测区域当前的垃圾管理政策文档；其中，所述待检测区域为所述待检测用户所在位置的区域；

分类信息确定单元，用于根据所述垃圾管理政策文档，采用概率词聚类方法确定待检测地区的垃圾分类信息。

根据本发明提供的具体实施例，本发明公开了以下技术效果：在本发明提供的基于YOLO网络的垃圾检测方法及***中，由于不同区域的垃圾分类信息不同，针对待检区域提取垃圾分类信息使得分类结果更加精确；使用YOLO网络模型对垃圾进行分类能够实现自动化的实时分类结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1所提供的基于YOLO网络的垃圾检测方法的流程图；

图2为本发明实施例2所提供的基于YOLO网络的垃圾检测***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例1提供的基于YOLO网络的垃圾检测方法，如图1所示，该方法包括以下步骤：

步骤101：获取待检测地区的垃圾分类信息；所述垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物。

步骤102：使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表，

步骤103：使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类。

本发明实施例中，步骤101具体包括：

步骤11：获取待检测用户所在位置。

步骤12：根据所述待检测用户所在位置确定待检测区域当前的垃圾管理政策文档；其中，所述待检测区域为所述待检测用户所在位置的区域。

步骤13：根据所述垃圾管理政策文档，采用概率词聚类方法确定待检测地区的垃圾分类信息。垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物。

由于各个区域的垃圾管理政策是不同的，检测用户所在位置能确定用户所在位置的垃圾管理政策以实现最准确的分类。在本发明实施例中，可以使用手机中的GPS技术来识别用户手机的位置(即用户所在位置)，以此确定待检测区域，但不限于此。然后，根据确定的待检测区域来确定相对应的垃圾管理政策文档，这种确定通过手动方式或自动方式完成。其中，自动方式可以为由***管理员设置或通过网络抓取以便所处位置范围内的***馈送垃圾管理政策文档。此外，还可以根据用户所在位置为来自不同国家/地区的人们提供不同语言的支持，或向来自不同位置的访问者显示目标信息。

本发明实施例中的概率词聚类方法又称为过度主题生成(Excessive TopicGeneration，ETG)，其具体步骤和公式已经公开，具体见文章“使用过多主题生成的智能协作专利挖掘(Intelligent collaborative patent mining using excessive topicgeneration)”。概率词聚类方法是一种基于主题模型的关键词提取方法。采用概率词聚类方法从代表废物分类相关信息的垃圾管理政策文档中提取关键字，具体的，根据垃圾种类的个数，对垃圾管理政策文档中的文本语料进行聚类，以此得到每个垃圾种类下所包括的关键词(即废弃物)，其中聚类数值的设定为垃圾种类的个数。本发明实施例中，假设垃圾种类的个数为n，因此，在K-means群集中将聚类数值K设置为n，则通过此方法可以得到n组聚类结果，每种聚类代表一个垃圾种类，每个聚类结果中的关键词代表该垃圾种类所包括的废弃物。通过此步骤能够准确得出待检测地区的垃圾种类以及每个垃圾种类所包括的废弃物。

例如，在中国上海，垃圾种类的个数为4，则通过此方法可以得到4组聚类结果，即可回收物、危险垃圾、干垃圾和湿垃圾；其中，可回收物可以用蓝色表示，危险垃圾可以用红色表示，干垃圾可以用蓝色表示棕色表示，湿垃圾可以用黑色表示。每个聚类结果中的关键词代表该垃圾种类所包括的废弃物，例如可回收物聚类结果中的废纸张、废塑料、废金属、废织物等可循环利用的生活垃圾的关键词属于可回收物中的垃圾。再例如，在印度，垃圾种类的个数为3，则通过此方法可以得到3组聚类结果，即垃圾种类可分类为可生物分解垃圾、不可生物分解垃圾和危险垃圾，其中，可生物分解垃圾可以用绿色表示，不可生物分解垃圾可以用蓝色表示，危险垃圾可以用黑色表示。每个聚类结果中的关键词代表该垃圾种类所包括的废弃物，例如危险垃圾聚类结果中的尿布、餐巾、驱蚊剂、清洁剂等关键词属于危险垃圾中的废弃物。

步骤102：使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表。本发明实施例中，YOLO网络可以采用YOLO V3框架。

本发明实施例中采用的训练数据是来自开放源图像数据集的汇总，具体的，由MIT计算机科学和人工智能实验室(CSAIL)创建的大型数据集，其包含187,240张图像，62,197条带注释的图像和658,992张带标签的对象。根据训练数据、YOLO V3框架以及待检测区域的垃圾分类信息建立YOLO检测模型以及分类词汇表。

YOLO的基本原理是：首先，将输入图像划分成S×S的网格，对每个网格都预测5个边界框，然后根据阈值去除可能性比较低的目标窗口，最后再使用边界框合并的方式去除冗余窗口，得出检测结果。YOLO检测模型建立过程具体包括：使用标注工具对图像上的目标垃圾进行画框标注以对该垃圾进行分类，作为训练数据，其中，边界框的颜色表示该目标垃圾的类别，训练数据包括训练集、测试集和验证集；调用训练数据对YOLO V3框架的源代码进行训练，训练完成后就可以得到YOLO检测模型。对图像进行标注的过程中，边界框中的图像内容以及边界框的颜色称为分类词汇，将所标注的图像进行汇总得到分类词汇表。以后在对该地区进行垃圾检测时，可以依据分类词汇表完成。这里分类词汇表包括与各种废弃物相对应的图像，废弃物所属的分类以及与分类相应的方框的颜色。

需要注意的是，由于各个区域的垃圾管理政策的不同，则不同区域的分类词汇表也会不同，因此，在对不同区域的垃圾进行检测时，需要使用待检测区域的分类词汇表。

本发明实施例中，步骤103具体包括：

步骤31：获取待检测图像；

步骤32：根据所述分类词汇表，将所述待检测图像输入至所述YOLO检测模型，输出检测结果。

所述检测结果包括待检测图像中是否包含垃圾目标，以及垃圾目标的具***置和类别。具体的，待检测图像中可能包括多个垃圾目标，每个垃圾目标的位置和类别也可能是不同的，可以根据需要将图像中的所有垃圾目标以及垃圾目标的位置和类别分别检测出来，也可以根据需要将某一类垃圾进行检测。

例如，本发明实施例中，根据分类词汇表选择多个目标，例如，对该地区的某一类垃圾进行检测时，从分类词汇表中选择出该类垃圾的所有图像，从待检测图像中检测垃圾目标，使用边界框描述垃圾目标的位置，使用边界框的颜色表示垃圾的种类。其中，边界框是一个矩形框，可以通过矩形左上角的x轴坐标和y轴坐标以及矩形右下角的x轴坐标和y轴坐标来确定；边界框的颜色是基于分类词汇表建立的，因此与用户所在位置的垃圾管理政策相匹配。例如，在印度地区，假设在图像中检测到了苹果和塑料瓶，则在苹果周围会形成绿色框，因为它属于可生物分解类别；另一方面，该塑料瓶周围会带有红色框，因为它属于不可生物分解类别；在最后，垃圾目标将被标记为特定于该区域的垃圾种类(取决于待检测区域的垃圾管理政策)。

在步骤103之后，该方法还可以包括：将所述检测结果加载至显示设备上。例如，可以根据显示设备的规范，将检测结果加载到扩增实境(Augmented Reality，AR)框架(android/ios/unity游戏引擎)中，在显示设备上以边界框或其他相关分类方案的形式显示实时分类信息。

该方法还可以包括：根据操作者对废弃物的分类情况对操作者进行奖励；其中，如果所述操作者根据显示设备上的显示结果对废弃物进行分类之后可以给予操作者以一定奖励，所述奖励可以包括积分、优惠券等。此步骤的目的是用作部署增值服务的平台(可以将显示结果作为应用程序编程接口(Application programming interface，API)来输出，以便在垃圾分类的基础上构建增值服务)。这些增值服务可以包括基于位置的游戏、移动广告、移动货币、移动商务、移动出版物等。

该方法还可以包括，由操作者根据被丢弃的垃圾向丢弃垃圾的用户支付费用。具体的，作为增值服务的一种可选实施方式，可以由操作者，比如垃圾收集者(垃圾管理***中的非正式行为者)，根据被丢弃的垃圾向丢弃垃圾的用户支付费用。垃圾收集者随后会将这些物品转售给回收中心，并从他的投资中获利。在这种情况下，可以提供增值服务，增值服务平台将在可回收利用期间执行视觉分类以估计总金额，以帮助用户尽早估算当他丢弃不可降解的可回收物品时将收取的暂定费用。然而，这并不是唯一的增值服务，而是存在许多区域定制和所提出的发明的增值可能性。此外，在中文***中可以进行优惠券的交换或通过游戏的增值。

本发明实施例2提供了基于YOLO网络的垃圾检测***，如图2所示，该***包括：

垃圾分类信息获取模块201，用于获取待检测地区的垃圾分类信息；所述垃圾分类信息中包括多个垃圾种类以及每个垃圾种类所包括的废弃物。

YOLO检测模型建立模块202，用于使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表。

实时分类模块203，用于使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类。

作为一种可选的实施方式，所述实时分类模块203包括：

待检测图像获取单元，用于获取待检测图像。

作为一种可选的实施方式，所述基于YOLO网络的垃圾检测***还包括：

加载模块，用于将所述检测结果加载至显示设备上。

作为一种可选的实施方式，所述垃圾分类信息获取模块具体包括：

位置获取单元，用于获取待检测用户所在位置。

政策文件确定单元，用于根据所述待检测用户所在位置确定待检测区域当前的垃圾管理政策文档；其中，所述待检测区域为所述待检测用户所在位置的区域。

作为一种可选的实施方式，所述检测结果包括待检测图像中是否包含垃圾目标，以及垃圾目标的具***置和类别。

本发明提供的基于YOLO网络的垃圾检测方法及***中，对待检测区域的废弃物进行实时分类，并将此分类信息呈现为增强现实，之后将此增强现实转换也作为用于部署增值服务的平台而呈现。与现有技术相比，本发明的优势在于能够从圾管理政策文档中提取关键信息，创建内部分类组即分类词汇表，并且分类结果能够在增强现实中呈现；增值服务的部署能够地让企业、行业、小区、家庭和个人等形式的多个参与者更好的开展垃圾管理和资源回收的活动，最大化回收垃圾以及防止垃圾填埋。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例2公开的***而言，由于其与实施例1公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于YOLO网络的垃圾检测方法，其特征在于，包括：

使用YOLO网络根据所述垃圾分类信息来建立YOLO检测模型，以对与各种废弃物相对应的图像建立分类词汇表；

2.根据权利要求1所述的基于YOLO网络的垃圾检测方法，所述使用所述YOLO检测模型根据所述分类词汇表对废弃物进行实时分类的步骤包括：

获取待检测图像；

3.根据权利要求2所述的基于YOLO网络的垃圾检测方法，其特征在于，所述根据所述分类词汇表，将所述待检测图像输入至所述YOLO检测模型，输出检测结果之后还包括：

将所述检测结果加载至显示设备上。

4.根据权利要求3所述的基于YOLO网络的垃圾检测方法，其特征在于，所述将所述检测结果加载至显示设备上之后还包括：

5.根据权利要求1所述的基于YOLO网络的垃圾检测方法，其特征在于，所述方法还包括：

由操作者根据被丢弃的垃圾向丢弃垃圾的用户支付费用。

6.根据权利要求1所述的基于YOLO网络的垃圾检测方法，其特征在于，所述获取待检测地区的垃圾分类信息，具体包括：

获取待检测用户所在位置；

7.根据权利要求2所述的基于YOLO网络的垃圾检测方法，其特征在于，所述检测结果包括待检测图像中是否包含垃圾目标，以及垃圾目标的具***置和类别。

8.一种基于YOLO网络的垃圾检测***，其特征在于，包括：

9.根据权利要求8所述的基于YOLO网络的垃圾检测***，所述实时分类模块包括：

待检测图像获取单元，用于获取待检测图像；

10.根据权利要求9所述的基于YOLO网络的垃圾检测***，其特征在于，所述基于YOLO网络的垃圾检测***还包括：

加载模块，用于将所述检测结果加载至显示设备上。

11.根据权利要求10所述的基于YOLO网络的垃圾检测***，其特征在于，所述基于YOLO网络的垃圾检测***还包括：

12.根据权利要求8所述的基于YOLO网络的垃圾检测***，其特征在于，所述基于YOLO网络的垃圾检测***还包括：

13.根据权利要求8所述的基于YOLO网络的垃圾检测***，其特征在于，所述垃圾分类信息获取模块具体包括：

位置获取单元，用于获取待检测用户所在位置；

14.根据权利要求9所述的基于YOLO网络的垃圾检测方法，其特征在于，所述检测结果包括待检测图像中是否包含垃圾目标，以及垃圾目标的具***置和类别。