CN111619992A - 一种基于机器视觉的智能垃圾分类***及方法 - Google Patents

一种基于机器视觉的智能垃圾分类***及方法 Download PDF

Info

Publication number
CN111619992A
CN111619992A CN202010532678.XA CN202010532678A CN111619992A CN 111619992 A CN111619992 A CN 111619992A CN 202010532678 A CN202010532678 A CN 202010532678A CN 111619992 A CN111619992 A CN 111619992A
Authority
CN
China
Prior art keywords
garbage
intelligent
temporary storage
image
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010532678.XA
Other languages
English (en)
Inventor
张凌涛
江婉婷
段泽浩
程乾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University of Forestry and Technology
Original Assignee
Central South University of Forestry and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University of Forestry and Technology filed Critical Central South University of Forestry and Technology
Priority to CN202010532678.XA priority Critical patent/CN111619992A/zh
Publication of CN111619992A publication Critical patent/CN111619992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F1/0053—Combination of several receptacles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/14—Other constructional features; Accessories
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F1/00—Refuse receptacles; Accessories therefor
    • B65F1/0033—Refuse receptacles; Accessories therefor specially adapted for segregated refuse collecting, e.g. receptacles with several compartments; Combination of receptacles
    • B65F2001/008—Means for automatically selecting the receptacle in which refuse should be placed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/138—Identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65F—GATHERING OR REMOVAL OF DOMESTIC OR LIKE REFUSE
    • B65F2210/00—Equipment of refuse receptacles
    • B65F2210/176—Sorting means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00—Technologies for solid waste management
    • Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的智能垃圾分类***及方法，运用MobileNet深度学习与机器视觉技术，采用Raspberry pi、STM32为主控制器，设计实现了传送装置，实现垃圾的全自动投放，无需人力投入。测试结果显示，本作品的关键性能比市面上的分类垃圾桶有极大提升，成功实现了：(1)适应不同温度和光照环境，准确判断；(2)识别精度提高至95％以上；(3)具有出色的处理能力，可在7秒以内高速完成最多128个点的检测，识别速度块。

Description

一种基于机器视觉的智能垃圾分类***及方法
技术领域
本发明涉及一种基于机器视觉的智能垃圾分类***及方法。
背景技术
随着经济社会发展，我国生活垃圾产生量迅速增长，由此造成的环境问题日 益突出，已经成为新型城镇化发展的制约因素。垃圾分类是生态文明建设的重要 环节和关键领域。我国正强制推动建立生活垃圾分类管理制度，各省市纷纷响应， 长沙市也将在今年10月正式实施垃圾分类。2019年前，我国8个城市已开展垃 圾分类收集试点，但普及效果不太理想。造成垃圾分类无法有效推行的原因包括： (1)居民垃圾分类意识的缺乏；(2)垃圾投放之后的收集、运输、处理等环节 无法配套衔接等。
智能分类垃圾桶旨在实现垃圾分类的自动化和智能化，有效促进垃圾分类的 普及。但国内外目前已有的少数***方案实用性不强、功能较单一，普遍存在的 问题包括：(1)识别准确率不高导致分类错误；(2)识别速度过慢；(3)受 温度、光照等环境影响较明显，性能不稳定；(4)缺少详细数据分析，与回收 环节难以高效对接。其中，识别准确率较低与识别速度过慢是该类垃圾桶难以实 用的关键痛点。
因此，有必要设计一种基于机器视觉的智能垃圾分类***及方法。
发明内容
本发明所要解决的技术问题是提供一种基于机器视觉的智能垃圾分类*** 及方法，该基于机器视觉的智能垃圾分类***及方法能实现垃圾的自动检测并分 类投放。
发明的技术解决方案如下：
一种基于机器视觉的智能垃圾分类***，包括垃圾箱，垃圾箱处设有图像 识别垃圾分类模块、暂存箱和多个分拣箱；
图像识别垃圾分类模块包括MCU、触发器、摄像头和分投装置；触发器、摄 像头和分投装置均与MCU相连；
触发器为热释电红外传感器，用于感应人体靠近垃圾桶；
摄像头用于获取位于暂存箱内垃圾的图像；
MCU用于对所述图像进行图像处理，并识别垃圾的种类；
分投装置用于根据MCU发出的分类指令将垃圾由暂存箱送入对应的分拣箱 中。MCU中具有基于MobileNet与机器视觉的垃圾分类模块，能基于获取的图像 对垃圾进行识别和分类。
分投装置包括传送带(2)、带轮(3)以及用于驱动传送带运动的传送带 驱动机构；
带轮为2个，传送带设置在2个带轮上，暂存箱固定在传送带上，暂存箱 底部设有活动板以及控制活动板开闭的活动板驱动机构；分拣箱位于传送带的 下方；
分投装置还包括用于检测各分拣箱位置的位置检测机构；
配合位置检测机构，当活动板打开时，暂存箱内的垃圾掉落到某一个分拣 箱中；传送带中间具有孔隙，以便从暂存箱中出来的垃圾能经过该孔隙进入分拣 箱中。
暂存箱和分拣箱内设有异味传感器和异味除臭装置。异味除臭装置具体采 用臭氧发生器，用于产生臭氧去除异味。
还包括溢满提醒模块；溢满提醒模块包括设置在分拣箱内的用于检测垃圾 高度的超声波传感器。当检测到垃圾高度大于设定值，则启动报警。
5.根据权利要求1所述的基于机器视觉的智能垃圾分类***，其特征在于， 还包括服务器；垃圾箱内的MCU通过通信模块与服务器通信连接，操作员能通过 PC机或手机APP访问服务器获取垃圾信息。
6.一种基于机器视觉的智能垃圾分类方法，其特征在于，采用权利要求1-5 任一项所述的智能垃圾分类***；包括以下步骤：
步骤1：基于触发器检测垃圾投入者接近垃圾桶；
步骤2：启动图像拍摄；
垃圾被投入暂存箱内后，启动图像拍摄，获取垃圾图像；对垃圾图像进行 必要的预处理，包括灰度化处理，图像分割处理等，为现有技术。
步骤3：基于垃圾图像进行垃圾识别；
基于Caffe深度学习框架及神经网络MobileNet模型，对垃圾进行识别；
步骤4：基于垃圾识别结果对垃圾进行分类；
基于垃圾识别结果，将识别出来的垃圾由暂存箱转入对应的分拣箱内。
OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行 在Linux、Windows、Android和Mac OS操作***上。它轻量级而且高效一由一 系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的 接口，实现了图像处理和计算机视觉方面的很多通用算法。
本发明针对目前城市生活垃圾的分类需求以及所面临的问题，在进行了大量 调研分析的基础上，提出了以下解决方案：
(1)在微信小程序上及时发布更新关于垃圾分类的咨讯；当智能分类垃圾 桶完成对目标垃圾的识别分类后通过语音播报、告知用户该垃圾的种类，能向市 民科普垃圾分类，帮助降低记忆和分类难度。
(2)利用大数据平台完成对用户垃圾种类与数量的统计，在网页管理端生 成可视化报表。通过大数据分析可以提醒工作人员进行清理工作，并为清洁的车 辆规划最佳的回收路线，为环卫结构节省运营成本。
(3)利用智能分类垃圾装置实现干湿垃圾的精准识别分离，大概率避免混 合投放的情况发生，集成运用互联网、大数据、物联网等相关技术，可以合理规 划垃圾场的焚烧周期，减少由于焚烧对大气带来的污染。
(4)为本发明安装传送装置，在完成目标垃圾的识别分类后由主控***驱 动传送装置，将垃圾投入到相应垃圾桶内。
(5)采用轻量级神经网络MobileNet模型，使识别准确率保证在95％以上， 且将识别分类的时间控制在7秒以内，从而解决准确率低、识别速度慢、受环境 影响明显等问题。
有益效果：
本发明的基于机器视觉的智能垃圾分类***及方法，运用MobileNet深度学 习与机器视觉技术，采用Raspberry pi、STM32为主控制器，设计实现了传送装 置，实现垃圾的全自动投放，无需人力投入。测试结果显示，本发明的关键性能 比市面上的分类垃圾桶有极大提升，成功实现了：(1)适应不同温度和光照环 境，准确判断；(2)识别精度提高至95％以上；(3)具有出色的处理能力，可 在7秒以内高速完成最多128个点的检测，识别速度快。
***的微信小程序功能丰富，包括：(1)未识别垃圾图片上传后台自主训 练模型；(2)一键查询垃圾类别；(3)垃圾溢满提醒；(4)智能消息推送； (5)智能机器人在线聊天功能。Web管理端利用大数据技术搭建智能化监管平 台，可实现基于数据决策、管理、服务的环境精准监管，实现垃圾车路径规划、 垃圾场焚烧周期规划等功能，并为政府、企业和居民之间建立垃圾分类沟通渠道， 构建家庭-社区垃圾分类回收网络，有助于实现垃圾分类长效管理机制。
本发明的主要特色与创新如下：
(1)机器视觉智能垃圾分类
针对市面上已有“垃圾分类神器”的识别准确率低、识别速度慢等问题，本产品 开发了一款基于人工智能与大数据的机器视觉智能分类***。利用MobielNet 与计算机视觉，使识别准确率高达95％以上，继而将识别返回值返还至树莓派 主控***。
(2)智能化自动投放装置
目前现有的智能垃圾桶仅能提醒用户垃圾类别，仍需用户手动分类。本团队研发了一种智能化全自主投放装置，通过STM32与树莓派串口通信，控制舵机正 反旋转。树莓派利用机器视觉识别***返回的结果值，带动电机与传送带，使 垃圾投入对应垃圾种类的垃圾桶。
(3)异味除臭
大多数垃圾桶无法隔绝异味，天气炎热导致食物容易腐败发酵，使之招引飞虫，还有可能散发有毒气体。为解决这一实际问题，本团队研发的智能分类垃圾桶 配备异味除臭装置，通过异味传感器检测异味、有害气体时，启动杀菌除臭模 块，隔绝垃圾异味，美化家庭环境卫生。
(4)溢满检测
家用垃圾桶已经溢满但用户忘记倾倒垃圾这种情况时常发生。针对这一普遍现象，本发明设计了垃圾溢满提醒功能，通过超声波传感器检测垃圾高度，并在 溢满时通过微信小程序智能提醒用户，避免垃圾囤积危害。
(5)实时可视化监测
考虑到居民垃圾分类意识薄弱、社区管理难以真正推行的难题，本***基于物联网技术，有效感知传输相关信息，进一步在Web端依托大数据分析技术，统 计居民投放垃圾种类数量等，实现垃圾分类可视化监测，逐步培养用户垃圾分 类意识，构建家庭-社区管理网络。进一步实现：a.垃圾运输车时间路径规划； b.垃圾焚烧厂垃圾焚烧周期管理，致力于建立精细化、运行高效的垃圾回收体 系。
附图说明
图1为功能框图；
图2为***拓扑图；
图3为触发器结构图；
图4为实现方案流程图；
图5为传送装置结构图；
图6为其他功能模块图；
图7为传送机构示意图(主视图)；
图8为传送机构示意图(俯视图)。
标号说明：1-暂存箱，2-传送带，3-带轮，4-分拣箱，11-活动板。
具体实施方式
以下将结合附图和具体实施例对本发明做进一步详细说明：
实施例1：***总规划
***可分为五部分：
(1)图像识别垃圾分类；
(2)垃圾自主投放装置；
(3)云服务器；
(4)数据库；
(5)微信小程序；
(6)网页端管理后台
垃圾图像识别分类功能实现
垃圾图像识别与分类是本***中的核心部分，采用OpenCV对图像进行处 理，提取目标垃圾位置以及特征，供后续深度学习使用。采用Mobile net神经网 络算法对垃圾图像进行分类。
功能组成介绍
图像识别垃圾分类的设备包括：
(1)触发器。触发器热释电红外传感器的主要功能是获取人体靠近信息， 向树莓派发送拍照请求，从而触发整个***的运转
(2)垃圾图像识别。运用树莓派、摄像头、OpenCV，配合完成图像定位识 别功能。
(3)垃圾分类。MobileNet模型负责垃圾分类。如垃圾识别分类失败则通过 微信小程序上传垃圾图片至数据库。
触发器
触发器由热释电红外传感器，树莓派组成，用来感知人体靠近信号。当人体 距离智能分类垃圾桶达到感应距离阈值时，热释电红外传感器将检测到人体红外 温度变化时，传递触发信号给树莓派，继而树莓派开启摄像头模块，以准备图形 识别装置的开启。
热释电红外传感器：当人在靠近垃圾桶时，传感器后续电路经检测处理后就能 触发开关动作，此时传感器将发送信号给树莓派。
树莓派：本***使用的开发板型号是树莓派3B，1.2GHz，64位处理器芯片， 支能耗低、运行稳定，能完全满足本***的图像处理需求与速度需求。
摄像头模块：本***选用的输入设备是无需额外驱动的ov5647摄像头，它通 过CSI接口与树莓派开发板连接。该模块支持500w像素的图像采集，通过此模 块配合代码可以完成目标垃圾的定位。
垃圾图像识别
(1)目标垃圾定位
采用OpenCV实现背景差分算法，先通过cvtColor函数将采集到的三通道 RGB图像转换成单通道的灰度图像。为了减少垃圾桶内背景光照带来的误差， 可以通过threshold函数对已有灰度图像进行二值化处理。再将含有待识别目标 的二值化图像与二值化背景图像进行相减，实现背景差分。
(2)目标垃圾特征提取
待检测目标垃圾应在图像中清晰可辨。为了确保检测的准确度，通过morphologyEx函数调用MORPH_CLOSE闭运算的接口，将背景差分结果中大 面积的白色区域连通，去除小面积的白色噪点，增强图像特征。最后，通过 minAreaRect函数从闭运算的结果图像中获取最小包围矩形框，根据矩形框坐标， 在原图中设置感兴趣区域，将待检测目标截出，供后续深度学习使用。
(3)背景差分算法
利用背景差分算法实现目标垃圾的检测主要分为背景建模、背景更新、目标 垃圾检测、后期处理等四个环节。其中，背景建模的方法采用了单高斯分布模型： 将图像中每一个像素点的灰度值看成是一个随机过程x，x为灰度值，并假设该点 的某一像素灰度值出现的概率服从高斯分布，可表示为：
Figure BDA0002535725500000061
δt为x的标准差，μt为x的期望，δt 2为x的方差；
背景差分的运算过程：首先利用数学建模的方法建立一幅传送带上方容器的 背景图像帧B，记当前图像帧为fn，背景帧和当前帧对应像素点的灰度值分别记 为B(x，y)和fn(x，y)，按照式
Dn(x，y)＝|fn(x，y)-B(x，y)|
将两帧图像对应像素点的灰度值进行相减，并取其绝对值，得到差分图像Dn：
设定阈值T按照式
Figure BDA0002535725500000062
逐个对像素点进行二值化处理，得到二值化图像Rn′。其中，灰度值为255的 点即为前景(运动的目标垃圾)点，灰度值为0的点即为背景点；对图像Rn′进行连 通性分析，最终可得到含有完整的目标的垃圾图像Rn；
该方法不仅能够在识别过程中精准定位待识别目标，而且可以实现在短时间 内从大量的图片信息中自动截取样本图片，简化了深度学习获取样本的过程。 Caffe卷积神经网络框架
Caffe具有Python相关接口，为本发明中目标垃圾图像的分类和图像分割提 供了深度学习的架构。
轻量级神经网络模型MobileNet
MobileNet在垃圾图像识别、分类的任务中，可保持较高的准确率。
MobileNet模型对传统的全卷积方式进行了优化，将全卷积操作分解 Depthwise卷积以及深度可分离卷积，减少了需要学习的参数量。在此基础上， MobileNet模型又设置了两个超参数，宽度因子和分辨率因子，以控制模型的大 小和输入图像的分辨率，使得模型在规模和目标垃圾的速度上更可控。当宽度因 子一定时，分辨率因子减小，或者分辨率因子一定，宽度因子减小，网络的参数 和加乘数都会相对减少；宽度因子α的引入可以得到更小和计算损耗更少的模 型。α的作用为控制垃圾图像输入和输出的通道数目，输入通道由M变为αM， 输出通道的数目由N变为αN，α取0.5。分辨率因子ρ可以将计算量和参数降低ρ2倍，可以让使用者方便地调节模型，实例中，ρ取值0.25，设置输入分辨率 为224，192，160和128。
传统的卷积方式经过3×3卷积后，再经过BN层和Relu激活函数；而 MobileNet算法中所用到的的深度可分离卷积方式：3×3的传统卷积方式被替换 为Depthwise卷积和1×1的Pointwise卷积，然后与传统卷积一样分别经过BN 和ReLU激活函数。
MobileNet模型包括以下几层：
(1)卷积层：卷积层由多个局部滤波器组成，主要用于从输入的目标垃圾特 征图中提取不同的局部特征。
(2)批量归一化层：批量归一化层使得整个模型更加稳定，并且加快了深度 卷积网络训练和收敛的速度。
(3)缩放层：缩放层对归一化后的神经元N进行比例缩放和位移，由于该发 明采用深度学习框架Caffe进行MobileNet模型的训练和参数的获取，在该框架 中将实际的批量归一化计算分为式
Figure BDA0002535725500000071
其中，mean，variance，scalefactor和ε均为学习得到的参数，mean为与特 征图同维度的均值向量、variance为与垃圾特征图同维度的方差向量，scalefactor 为维缩放因子，ε为一个很小的常数，通常取0.0001；
(4)非线性激活函数层：为了使轻量级神经网络模型MobileNet具有非线性 的学习及表达能力，在其中加入了非线性激活函数层。在基于MobileNet的算法 中采用了非线性整流函数(ReLU)作为非线性激活函数，它的计算公式如式所 示
Figure BDA0002535725500000081
具体实现方案
安装Caffe深度学习框架和MobileNet模型后，将目标垃圾的样本图片进行 训练，训练出对应的神经网络。以有害垃圾打火机为例，改变打火机方向、位置、 形态多次采集构成数据集，并将样本数据集上传至MySQL数据库。
获取香蕉皮、易拉罐和电池的样本数据集的方法与打火机通过改变形态获取 样本数据集的方法相同。用于训练的样本数据集大小如下表所示。
表1：样本数据集大小
名称 图片量/张
打火机 460
香蕉皮 378
易拉罐 355
电池 407
使用MobileNet模型训练测试结果如表2所示
表2训练测试结果
名称 测试集/张 精准度 Fl-score
打火机 150 97.52％ 0.98
香蕉皮 150 96.23％ 0.96
易拉罐 150 98.19％ 0.98
电池 150 97.31％ 0.97
通过测试发现，市面上的普通智能垃圾桶不能保证识别的准确率与识别速 率，甚至时常会受到光线环境的影响。由于准确率不高和识别速率过低，导致了 垃圾错分，垃圾分类效率低下等问题。本***运用MobileNet模型，很好的解决 以上问题。经查阅文献资料，我们的发明与普通垃圾桶的数据对比如表3-5所示。
表3普通智能垃圾桶与本团队发明识别分类速率对比数据
名称 普通垃圾桶识别分类速率 智能垃圾桶识别分类速率
打火机 20.3s 5.1s
香蕉皮 18.1s 4.5s
易拉罐 16.1s 5.4s
电池 16.3s 4.3s
表4普通智能垃圾桶与本团队发明识别准确率对比数据
名称 普通垃圾桶识别准确率 智能垃圾桶识别准确率
打火机 74.33％ 97.52％
香蕉皮 87.69％ 96.23％
易拉罐 89.97％ 98.19％
电池 80.31％ 97.31％
表5普通智能垃圾桶与本团队发明受光线影响对比数据
光线明暗程度 普通垃圾桶识别准确率 智能垃圾桶识别准确率
明亮 83.71％ 98.65％
较昏暗 72.94％ 97.14％
黑暗 54.36％ 84.77％
可以看出，利用机器视觉与MoblieNet模型进行分类无论从识别速度、识别 准确率，还是受适应环境的能力，均显著高于市面上的普通智能分类垃圾桶。实 验测试表明，本***能够胜任参与测试的打火机、香蕉皮、易拉罐、电池4类物 品的分类问题，识别精准度大于95％，在垃圾分类方面具有较高的实际应用价 值。
垃圾传送装置功能实现
为了解放用户双手，贴合用户生活需求，打造全自动投放模式，本产品研发 了垃圾自动投放装置。传送装置结构如图5，7和8所示。
当垃圾识别分类程序运行结束后，给主控***返回相应的值，再利用树莓派 与STM32串口通信，将所生成的值传递给STM32。STM32向电机发出指令， 电机带动盛有目标垃圾的容器运动。容器到达固定位置后，STM32继续向舵机 发出指令打开容器底部下方的挡板将垃圾投入相应种类的垃圾桶。具体传送装置 所用模块如表6所示。
表6传送装置模块表
Figure BDA0002535725500000091
Figure BDA0002535725500000101
其他功能
除对目标垃圾识别分类，自动投放外，本发明还配备了GPS等卫星定位模 块提供用户位置信息，用于生成可视化报表、异味除臭、溢满检测、语音播报等 功能。
表7其他功能实现方案
Figure BDA0002535725500000102
Figure BDA0002535725500000111
云服务器
(1)百度云服务器
操作***：centsos7.4
硬件平台：单核2GHz主频CPU，2GB内存
支撑环境和版本：python2.7，MySQL5.7
(2)服务后台
***的服务后台使用python和sql编程，利用socket通信方式与硬件建立长 连接实现数据传输。
数据库
基于MySQL开发了投放***所用数据库。对于本***来说，需要存放在服 务器的数据库中的信息包括：管理人员的登陆账号、密码；用户信息；垃圾桶投 放垃圾种类和数量等。所以创建一个含有三张数据表的数据库即可满足需求。
微信小程序采用云开发模式，自带数据库，对于客户端来说，数据库中的信 息包括：管理人员和普通用户的账号密码；网络新闻信息链接；垃圾种类；分类 名称；创建四张数据表即可。
小程序调用云函数，即可实现客户端与MySQL数据库的通信连接。
微信小程序
出于用户使用便捷性的考虑，本产品采用微信小程序来构建客户端，无需安 装，即用即取，可以在微信内被便捷地获取和传播，同时具有出色的使用体验。
通过手机APP或微信小程序能实现以下功能：
(1)三重实时查询方式
用户可通过文字搜索、图像识别、配备方言的语音识别三种途径来查询垃圾 种类，极大满足生活所需。
(2)分类信息智能推荐功能
小程序会根据用户每日查询垃圾种类及数量、社会的趋势和走向，智能推送 各类垃圾分类消息，提升居民的垃圾分类意愿和投放意识。
(3)未识别结果上传功能
用户可将垃圾桶未识别出结果的垃圾，在小程序上进行查询，未查询到即可 将垃圾图片上传至数据库，经由***自主训练模型，以达到下次正确识别的目的。
(4)智能机器人在线聊天功能
为达到贴心陪伴，娱乐消遣的目的，小程序客户端还配备了智能闲聊接口，可 根据用户的用词准确判断场景，发出回应。
基于图像识别的智能垃圾管理功能
(1)垃圾分类自动投放功能
本产品可将用户投入的垃圾进行智能自动识别分类，目前可按干垃圾、湿垃 圾、可回收物、有害垃圾这四类标准，分别投入对应的垃圾桶，无需用户手动分 类，即时满足需求，解决分类烦恼。
(2)GPS等定位功能
确定用户位置，为网络爬虫获取家庭住址信息提供数据。根据GPS所提供的 信息分析城市各区域不同种类垃圾的产出量，为管理端数据可视化收集信息。
(3)异味除臭功能
受环境影响，垃圾可能会在桶内发酵生出异味。当智能分类垃圾桶内的传感 器检测到异味且达到异味传感器所设阈值时则向主控制器发出信号，由主控制器 供电开启臭氧发生模块消除异味，当气味水平恢复到阈值以下则断电关闭臭氧发 生器。
(4)溢满提醒功能
当垃圾到达规定高度是则认为是溢满，此时由智能分类垃圾桶的主控制器向小程序发出一个溢满提示信号用以提醒用户。
(5)语音播报及按键检测功能
当智能分类垃圾桶成功识别垃圾后则通过声卡播报垃圾类别，在节省人力的 情况下，也借此提高市民垃圾分类意识。如识别未成功，则利用语音播报提醒用 户垃圾无法识别，此时用户可以通过微信小程序的多重查询方式确定垃圾类别， 若可以确定则通过按键来控制目标垃圾的自动投放，若不能则通过微信小程序拍 照上传。
网页版后台管理功能
垃圾分类数据可视化：本发明将用户日常生活中的垃圾分类投放数据进行采集分析，建立用户垃圾分类数据库，统计用户投放垃圾的种类及数量，按照可视化图 标形式显示，提升管理的便捷性。
(1)垃圾车行驶时间及路线规划
管理端采用大数据、网络爬虫技术及GPS定位功能，将用户名、产品编号等作 为关键字，在互联网爬取用户垃圾分类数据，将收集到的垃圾分类数据归类。结 合云计算估计小区垃圾溢满程度，按时间通知垃圾车回收垃圾。采用GPS卫星 定位技术，分析垃圾车行驶最优路线，做到及时回收小区垃圾，避免垃圾堆积， 方便用户生活。
(2)垃圾场垃圾焚烧周期规划。

Claims (6)

1.一种基于机器视觉的智能垃圾分类***，其特征在于，
包括垃圾箱，垃圾箱处设有图像识别垃圾分类模块、暂存箱和多个分拣箱；
图像识别垃圾分类模块包括MCU、触发器、摄像头和分投装置；触发器、摄像头和分投装置均与MCU相连；
触发器为热释电红外传感器，用于感应人体靠近垃圾桶；
摄像头用于获取位于暂存箱内垃圾的图像；
MCU用于对所述图像进行图像处理，并识别垃圾的种类；
分投装置用于根据MCU发出的分类指令将垃圾由暂存箱送入对应的分拣箱中。
2.根据权利要求1所述的基于机器视觉的智能垃圾分类***，其特征在于，分投装置包括传送带(2)、带轮(3)以及用于驱动传送带运动的传送带驱动机构；
带轮为2个，传送带设置在2个带轮上，暂存箱固定在传送带上，暂存箱底部设有活动板以及控制活动板开闭的活动板驱动机构；分拣箱位于传送带的下方；
分投装置还包括用于检测各分拣箱位置的位置检测机构；
配合位置检测机构，当活动板打开时，暂存箱内的垃圾掉落到某一个分拣箱中。
3.根据权利要求1所述的基于机器视觉的智能垃圾分类***，其特征在于，暂存箱和分拣箱内设有异味传感器和异味除臭装置。
4.根据权利要求1所述的基于机器视觉的智能垃圾分类***，其特征在于，还包括溢满提醒模块；溢满提醒模块包括设置在分拣箱内的用于检测垃圾高度的超声波传感器。
5.根据权利要求1所述的基于机器视觉的智能垃圾分类***，其特征在于，还包括服务器；垃圾箱内的MCU通过通信模块与服务器通信连接，操作员能通过PC机或手机APP访问服务器获取垃圾信息。
6.一种基于机器视觉的智能垃圾分类方法，其特征在于，采用权利要求1-5任一项所述的智能垃圾分类***；包括以下步骤：
步骤1：基于触发器检测垃圾投入者接近垃圾桶；
步骤2：启动图像拍摄；
垃圾被投入暂存箱内后，启动图像拍摄，获取垃圾图像；
步骤3：基于垃圾图像进行垃圾识别；
基于Caffe深度学习框架及神经网络MobileNet模型，对垃圾进行识别；
步骤4：基于垃圾识别结果对垃圾进行分类；
基于垃圾识别结果，将识别出来的垃圾由暂存箱转入对应的分拣箱内。
CN202010532678.XA 2020-06-11 2020-06-11 一种基于机器视觉的智能垃圾分类***及方法 Pending CN111619992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010532678.XA CN111619992A (zh) 2020-06-11 2020-06-11 一种基于机器视觉的智能垃圾分类***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010532678.XA CN111619992A (zh) 2020-06-11 2020-06-11 一种基于机器视觉的智能垃圾分类***及方法

Publications (1)

Publication Number Publication Date
CN111619992A true CN111619992A (zh) 2020-09-04

Family

ID=72269122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010532678.XA Pending CN111619992A (zh) 2020-06-11 2020-06-11 一种基于机器视觉的智能垃圾分类***及方法

Country Status (1)

Country Link
CN (1) CN111619992A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112158483A (zh) * 2020-09-18 2021-01-01 安徽工业经济职业技术学院 一种基于人工智能的垃圾自动收集、识别和分类***
CN112733958A (zh) * 2021-01-22 2021-04-30 北京农业信息技术研究中心 一种温室臭氧浓度控制方法及***
CN112827846A (zh) * 2021-01-04 2021-05-25 西安建筑科技大学 一种垃圾自动分类的装置及方法
CN112830129A (zh) * 2021-03-05 2021-05-25 湘潭大学 一种景区垃圾智能分类***
CN113120461A (zh) * 2021-04-21 2021-07-16 河南科技大学 用于智慧城市的垃圾分类识别***及方法
CN114435790A (zh) * 2020-11-04 2022-05-06 瑞斯哲智能科技(苏州)有限公司 一种用于城市生活垃圾处理的分类垃圾箱

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107241A (ko) * 2009-03-25 2010-10-05 강종원 쓰레기 거점수거지용 통합 제어장치
CN110254997A (zh) * 2019-06-10 2019-09-20 徐娇娇 自动分类垃圾箱
CN110654739A (zh) * 2019-09-18 2020-01-07 西安理工大学 一种基于机器视觉的可回收垃圾自动分类回收装置与方法
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
CN110884791A (zh) * 2019-11-28 2020-03-17 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于TensorFlow的视觉垃圾分类***及分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100107241A (ko) * 2009-03-25 2010-10-05 강종원 쓰레기 거점수거지용 통합 제어장치
US20200050922A1 (en) * 2018-08-13 2020-02-13 National Chiao Tung University Recycling system and method based on deep-learning and computer vision technology
CN110254997A (zh) * 2019-06-10 2019-09-20 徐娇娇 自动分类垃圾箱
CN110654739A (zh) * 2019-09-18 2020-01-07 西安理工大学 一种基于机器视觉的可回收垃圾自动分类回收装置与方法
CN110884791A (zh) * 2019-11-28 2020-03-17 石家庄邮电职业技术学院(中国邮政集团公司培训中心) 一种基于TensorFlow的视觉垃圾分类***及分类方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112158483A (zh) * 2020-09-18 2021-01-01 安徽工业经济职业技术学院 一种基于人工智能的垃圾自动收集、识别和分类***
CN114435790A (zh) * 2020-11-04 2022-05-06 瑞斯哲智能科技(苏州)有限公司 一种用于城市生活垃圾处理的分类垃圾箱
CN112827846A (zh) * 2021-01-04 2021-05-25 西安建筑科技大学 一种垃圾自动分类的装置及方法
CN112827846B (zh) * 2021-01-04 2023-08-22 西安建筑科技大学 一种垃圾自动分类的装置及方法
CN112733958A (zh) * 2021-01-22 2021-04-30 北京农业信息技术研究中心 一种温室臭氧浓度控制方法及***
CN112733958B (zh) * 2021-01-22 2024-06-07 北京农业信息技术研究中心 一种温室臭氧浓度控制方法及***
CN112830129A (zh) * 2021-03-05 2021-05-25 湘潭大学 一种景区垃圾智能分类***
CN113120461A (zh) * 2021-04-21 2021-07-16 河南科技大学 用于智慧城市的垃圾分类识别***及方法

Similar Documents

Publication Publication Date Title
CN111619992A (zh) 一种基于机器视觉的智能垃圾分类***及方法
CN110697273B (zh) 一种基于迭代学习控制的生活垃圾智能识别与自动分类***及方法
CN111301886B (zh) 基于rbf神经网络的垃圾分类回收***及控制方法
CN112407653B (zh) 一种基于物联网的垃圾分类***
CN110316496A (zh) 一种基于互联网的智能垃圾识别分类装置
CN111814750A (zh) 基于深度学习目标检测和图像识别的智能垃圾分类方法及***
CN110834835A (zh) 一种基于互联网大数据的智能垃圾分类处理方法及***
CN113052005B (zh) 一种用于家居服务的垃圾分拣方法和垃圾分拣装置
CN110738131A (zh) 基于深度学习神经网络的垃圾分类管理方法及装置
CN113319007A (zh) 一种基于机器视觉识别的生活垃圾分拣方法
CN111453249A (zh) 一种基于图像分析的智能厨余垃圾分类桶
Sirawattananon et al. Designing of IoT-based smart waste sorting system with image-based deep learning applications
Hin et al. An Intelligent Smart Bin for Waste Management
Wong et al. ESS-IoT: The Smart Waste Management System for General Household.
CN113859803A (zh) 一种智能识别垃圾桶及其智能识别方法
CN111137602B (zh) 一种基于人工智能的垃圾分类方法及垃圾分类***
CN211418362U (zh) 人工智能分类垃圾桶
CN112849850A (zh) 垃圾治理***、方法、装置和存储介质
CN215624437U (zh) 一种基于ros智能agv小车的生活垃圾回收***
CN215708916U (zh) 一种智能识别垃圾桶
LU500437B1 (en) System and method for intelligent garbage sorting based on machine vision
CN112668678A (zh) 一种垃圾智能分类回收处理***平台
CN115583448A (zh) 一种智能垃圾投放管理一体化平台及方法
CN113998338A (zh) 智能垃圾分类***
Pandey et al. Identification and classification of waste using cnn in waste management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200904