CN109308479A - 一种基于深度学习的校园垃圾自动分类回收方法 - Google Patents
一种基于深度学习的校园垃圾自动分类回收方法 Download PDFInfo
- Publication number
- CN109308479A CN109308479A CN201811098343.0A CN201811098343A CN109308479A CN 109308479 A CN109308479 A CN 109308479A CN 201811098343 A CN201811098343 A CN 201811098343A CN 109308479 A CN109308479 A CN 109308479A
- Authority
- CN
- China
- Prior art keywords
- classification
- regenerant
- recycling
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000004064 recycling Methods 0.000 claims abstract description 92
- 239000012492 regenerant Substances 0.000 claims abstract description 84
- 238000011084 recovery Methods 0.000 claims abstract description 49
- 230000006399 behavior Effects 0.000 claims abstract description 26
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 239000000463 material Substances 0.000 claims abstract description 14
- 230000001537 neural effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 2
- 235000013361 beverage Nutrition 0.000 description 10
- 239000011521 glass Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- -1 Bottle & Can Substances 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的校园垃圾自动分类回收方法，属于计算机图像处理技术领域。首先通过规范化回收物摆放位置，得到同时包含回收物和预留信息码的图像信息，然后据信息码图形特征提取其位置及所携带的回收点信息，根据得到的信息码位置推算出回收物位置，再对原始图像进行切割得到单个回收物图像，将回收物图像送入分类神经网络得到初步判断结果Rm，对于材质接近的回收物，需联合光照反射测试后的结果Rs进行加权后得到最终分类结果Rf，最后根据提取的回收点信息中的回收类别与所有回收物的分类结果进行回收行为合规性判断，确定是否正确分类回收行为。
Description
技术领域
本发明涉及一种基于深度学习的校园垃圾自动分类回收方法，属于计算机图像处理技术领域。
背景技术
随着我国城市化进程的推进，生活垃圾的处理成为了一个不容忽视的问题，据统计，1996年城市垃圾的清运费是1.16元/吨，而2017年城市垃圾的清运费约30元/吨。目前主要处理垃圾的方式为集中填埋或焚烧。但垃圾填埋的费用是高昂的，处理一吨垃圾的费用约为200元至300元人民币。而不论是垃圾填埋或是焚烧，都将对环境造成不可忽视的污染。同时也是对资源无谓的浪费，不断地把有限的地球资源变成垃圾，又把他们埋掉或烧掉。垃圾处理一个行而有效的方法是垃圾分类，通过分类投放、分类收集，把有用物资，如纸张、塑料、橡胶、玻璃、瓶罐、金属以及废旧家用电器等从垃圾中分离出来重新回收、利用，变废为宝。既提高垃圾资源利用水平，又可减少垃圾处置量。它是实现垃圾减量化和资源化的重要途径和手段。
近年来深度学习领域在诸如手写体识别、语音识别、图像识别和自然语音处理等技术领域取得了成功的应用。其中，卷积神经网络(CNN)由特征提取的卷积层和特征处理的采样层组成，利用共享权值的卷积核提取图像的空间特征。自2012年Alex-Net 在ImageNet图像分类比赛中获得压倒性胜利后得到了前有未有的发展。随后，更加强大的网络结构如VGG、Inception、ResNet等相继问世，其分类准确率在标准测试集上可以媲美甚至超过人类分类准确率。但是伴随着模型精度的提升是计算量，存储空间以及能耗方面的巨大开销，对于移动应用都是难以接受的。Google团队提出了一种轻量化的识别网络MobileNet，大大降低了卷积计算量，提供了可达准实时的处理速度。这些技术的出现使得基于图像识别的垃圾分类成为可能。
我国目前垃圾分类所采用的大多仍是人工操作。不论是采用集中回收后再处理，或是设置专人负责的回收点，其回收的经济效益不足；目前有一些基于扫码的分类回收方法，提供一个二维码供用户扫描后生成记录和积分，但其关键的物品分类功能仍然是依靠用户的自觉性，无法避免回收物混淆等情况出现。由于无法做出有效的分类回收合规性判断，导致其二维码扫描后的积分等奖励措施无法实施。
发明内容
本发明要解决的技术问题是提供一种基于深度学习的校园垃圾自动分类回收方法，以用于解决垃圾回收中的自动分类问题，实现在垃圾回收过程中自动提取预设信息和回收物图像，以此识别回收物类别并作出分类回收合规性判定。
本发明的技术方案是：一种基于深度学习的校园垃圾自动分类回收方法，首先通过规范化回收物摆放位置，得到同时包含回收物和预留信息码的图像信息，然后据信息码图形特征提取其位置及所携带的回收点信息，根据得到的信息码位置推算出回收物位置，再对原始图像进行切割得到单个回收物图像，将回收物图像送入分类神经网络得到初步判断结果Rm，对于材质接近的回收物，需联合光照反射测试后的结果Rs进行加权后得到最终分类结果Rf，最后根据提取的回收点信息中的回收类别与所有回收物的分类结果进行回收行为合规性判断，确定是否正确分类回收行为。
具体步骤为：
Step1、采集多类预期回收物图像信息，对其进行数据清洗和整理；
Step2、利用步骤1的训练集训练一个分类神经网络模型；
Step3、在回收点设置预留信息码并按规则指定回收物摆放位置；
Step4、用户确认后采集同时含有回收物和预留信息码的图像信息；
Step5、定位预留信息码并据此切割回收图像，得到单一回收物图像和预留信息；
Step6、将步骤5得到的回收物图像通过步骤2的分类模型，材质相近的类别需与光照反射结果共同作出决策；
Step7、根据步骤5得到的预留信息和步骤6得到的回收物类别信息，判断回收行为是否合规，最后执行回收动作。
所述步骤Step3的具体步骤为：
Step3.1、选择携带信息的图形编码方式，将回收点需回收的垃圾种类信息Sinfo编码加入其中；
Step3.2、根据预留信息码的形状特点，设计回收物摆放区域，设图形编码的边长为Lqr，将图形编码置于回收物区域右下角，则回收物摆放区域为a*Lqr：b*Lqr其中a，b为定位缩放参数值，在回收物摆放区域内将其划分为n块区域；
Step3.3、在步骤3.2规定的单个回收区域中，使用外框或凹陷规定回收物的精确摆放位置。
所述步骤Step5的具体步骤为：
Step5.1、二值化回收图像并进行轮廓检测，得到轮廓集合树TC＝{c1：{c11，c12......}，c2：{c21......}......cn}；
Step5.2、跟据外框嵌套关系和长度比Rl筛选出预设码的定位点，连接定位点得到整个预设码外框的左上角和右下角定位点{PClu，PCrd}，由此得到图像中预设码图像区域RGC及其长度lqr；
Step5.3、利用步骤3.2中的已知缩放系数a和b和步骤5.2中预设码长度lqr，计算出回收区域的像素定位点{PMlu，PMrd}，得到图像中的回收区域RGM及图像倾斜角度θ；
Step5.4、若θ≠0，则旋转校正图像；
Step5.4、利用步骤3.2中预先的n区域分配关系，得到单个回收物所在区域RGO；
Step5.5、根据RGM和RGO切割图像，得到预留信息码图像和单个回收物图像，将信息码解码，得到预留信息字符串Sinfo，保存回收物图像。
所述步骤Step6的具体步骤为：
Step6.1、调整步骤5.5得到的单个回收物图像大小，使之符合步骤2中分类模型的输入像素大小；
Step6.2、将调整后的待测图像转换为张量表示，输入分类神经网络模型，得到分类信度值向量Vclass＝[Pclass0，Pclass1，......Pclassk，Pothers]；
Step6.3、对Vclass中分量从大到小进行排序，取最大信度值Pm，若最大前2个信度值(Pm，Pm-1)之差大于最大信度值Pm的30％，则回收物类别为Pm所对应类别，否则启动光照反射决策***；
Step6.4、向待检测回收物所摆放位置打出一束测试光，利用光敏传感器接收反射光强度，根据既定回收物形状及材质预先定义的光照反射强度——分类概率值函数ft，得到辅助信度值Ps；
Step6.5、对Pm和Ps进行加权求和得到最后的信度值Pf＝w1*Pm+w2*Ps，其中w1和w2为预定义权值参数，若Pf大于分类阈值t，则回收物类别为Pm所对应类别，反之回收物类别为Pm-1所对应类别；
Step6.6、将步骤5.5中切割保存的回收物图像依次经过步骤6.1～6.5，得到全部回收物类别数量信息集Sclass＝{class0＝a，class1＝b......，classk＝x}，其包含回收物类别及数量信息。
所述步骤Step7中，从步骤5.5中得到的预留信息Sinfo中解析出所需回收物类别Classstd，然后遍历步骤6.6中得到的回收物类别集Sclass，若满足Sclass中除了others类外只还有Classstd，则判定此次回收为合规行为，否则判定为不合规回收行为。
本发明的有益效果是：
(1)能够自动判断分类回收是否合规。
(2)减少多次拍照扫码导致的繁琐操作。
(3)提高相近材质分类准确率。本发明提出一种新的基于深度学习的校园垃圾自动分类回收方法。
附图说明
图1是本发明的步骤示意图；
图2是本发明实施例中饮料瓶回收点的摆放图；
图3是本发明实施例中光照反射强度——分类概率值函数图。
具体实施方式
下面结合附图和具体实施方式，对本发明作进一步说明。
实施例1：如图1所示，一种基于深度学习的校园垃圾自动分类回收方法，通过规范化回收物摆放位置，得到同时包含回收物和预留信息码的图像信息。然后据信息码图形特征提取其位置及所携带的回收点信息，根据得到的信息码位置推算出回收物位置。再对原始图像进行切割得到单个回收物图像，将回收物图像送入分类神经网络得到初步判断结果Rm，对于材质较接近的回收物，需联合光照反射测试后的结果Rs进行加权后得到最终分类结果Rf。最后根据提取的回收点信息中的回收类别与所有回收物的分类结果进行回收行为合规性判断，确定是否正确分类回收行为。
所述方法的具体步骤如下：
Step1、采集多类预期回收物图像信息，对其进行数据清洗和整理；
所述步骤Step1的具体步骤为：
Step1.1、根据目标回收物的种类，采集训练集所用的数据。此方法中所用数据源为回收物图像。可以通过实物拍照、旧回收物和网上搜索等方式获取目标回收物图像。图像数量采集的越多，则训练出来的分类模型的效果越好；
Step1.2、将步骤1.1中采集的训练集图片按照类别整理，然后去除其中模糊、尺寸不适合、有明显畸变和物品不完整等图片；
Step1.3、将步骤1.2中处理完成的训练集图片中含有多个待测物体的图片分别切分成包含单个待测物体的图片，同时调整倾斜角度不正确的图片，使之与回收时的摆放角度大体一致以提高分类准确性；
Step1.4、将步骤1.3处理完成的训练集图片全部调整大小到神经网络的输入尺寸。
Step2、利用步骤1的训练集训练一个分类神经网络模型；
所述步骤Step2的具体步骤为：
Step2.1、定义神经网络的输入和输出。该用于分类的神经网络输入为图像信息转换成的张量，输出信息为属于预先定义每一类的概率所组成的向量。在此特别要注意由于回收图像中可能会出现没有摆满n个回收区域的情况，所以需要额外添加一个类 others，其训练图像可采用回收点背景图像。则输出信息是k类所属概率值加上others 类所属概率值；
Step2.2、构建卷积神经网络。为提高模型精度，采用基于迁移学习的卷积神经网络分类模型。首先获得目前最新的已在ImageNet1000类分类图像中训练好的模型参数，固定其除了最后一层隐藏层的权值参数，输入张量经过固定的参数计算后得到特征向量。该特征向量进行最后一层全连接分类，输出为k+1个经过softmax函数后的概率值；
Step2.3、划分训练集，验证集及测试集。将步骤1中得到的训练集中每一类样本分为训练集(占总样本量2/3)、验证集(占总样本量1/6)和测试集(占总样本量1/6)。其中训练集用于更新权值参数，而验证集用来挑选最优的超参数，最后得到稳定模型后使用测试集来模型分类的准确率；
Step2.4、定义损失函数及准确率计算方法。神经网络分类模型中最常用的损失函数为交叉熵，准确率的计算方法为预测的分类结果与真实标签之间的错误样本数在总样本数中的比例；
Step2.5、迭代训练，更新参数。得到最终权值参数及计算图。将训练集输入制定好的网络中，定义迭代次数和每次训练的批次。每次更新参数后，将测试集输入观察模型分类准确率。分类模型在测试集上的正确率达到阈值后停止训练。
Step3、在回收点设置预留信息码并按规则指定回收物摆放位置；
所述步骤Step3的具体步骤为：
Step3.1、选择某种可携带信息的图形编码方式(如条形码、二维码，本文以二维码为例)，将回收点需回收的垃圾种类信息Sinfo编码加入其中；
Step3.2、根据预留信息码的形状特点，设计回收物摆放区域。设二维码的边长为Lqr，将二维码置于回收物区域右下角。则回收物摆放区域为a*Lqr：b*Lqr，其中a，b为定位缩放参数值。在回收物摆放区域内可根据实际需要将其划分为n块区域；
Step3.3、在步骤3.2规定的单个回收区域中，使用外框或凹陷规定回收物的精确摆放位置。
Step4、用户确认后采集同时含有回收物和预留信息码的图像信息；
所述步骤Step4的具体步骤为：
Step4.1、回收点提供回收类别信息及操作方式。在回收点通过明文张贴并配有图示的方式告知用户该回收点回收的垃圾种类。清晰阐明操作流程(包括回收物摆放位置，完成确定等)，正常或异常结果的反馈及处理方式等；
Step4.2、用户摆放回收物完成后能够返回确认信息。用户按照步骤4.1中的信息将回收物摆放在指定位置后，使用某种装置点击确认，同时可以提供用户身份证明信息如账号等一起发送至***；
Step4.3、***接收到确认信息后使用图像采集设备获取回收图像。当***接收到步骤4.2中发送的确认信息，就启用图像采集设备(回收点预装配或使用用户移动终端设备)获取回收区域的图像信息。图像信息中需同时包含预留信息码和回收物区域的完整图像信息；
Step4.4、传输回收图像至服务器进行处理。将步骤4.3获得的回收图像通过网络(有线或无线)传送至后端服务器。图像文件名称使用：回收时间+用户身份信息组成，可节省一次网络传递时间。
Step5、定位预留信息码并据此切割回收图像，得到单一回收物图像和预留信息；
所述步骤Step5的具体步骤为：
Step5.1、二值化步骤4得到的回收图像并进行轮廓检测，得到轮廓集合树 TC＝{c1：{c11，c12......}，c2：{c21......}......cn}；
Step5.2、跟据外框嵌套关系和长度比Rl筛选出预设码的定位点。连接定位点得到整个预设码外框的左上角和右下角定位点{PClu，PCrd}，由此得到图像中预设码图像区域RGC及其长度lqr；
Step5.3、利用步骤3.2中的已知系数a和b和步骤5.2中长度lqr，计算出回收区域的像素定位点{PMlu，PMrd}，得到图像中的回收区域RGM及图像倾斜角度θ；
Step5.4、若θ≠0，则旋转校正图像；
Step5.4、利用步骤3.2中预先的n区域分配关系，得到单个回收物所在区域RGO；
Step5.5、根据RGM和RGO切割图像，得到预留信息码图像和单个回收物图像。将信息码解码，得到预留信息字符串Sinfo。保存回收物图像。
Step6、将步骤5得到的回收物图像通过步骤2的分类模型，材质相近的类别需与光照反射结果共同作出决策；
所述步骤6的具体步骤为：
Step6.1、调整步骤5.5得到的单个回收物图像大小，使之符合步骤2中分类模型的输入像素大小；
Step6.2、将调整后的待测图像转换为张量表示，输入分类神经网络模型。得到分类信度值向量Vclass＝[Pclass0，Pclass1，......Pclassk，Pothers]；
Step6.3、对Vclass中分量从大到小进行排序，取最大信度值Pm。若最大前2个信度值(Pm，Pm-1)之差大于最大信度值Pm的30％，则回收物类别为Pm所对应类别，否则启动光照反射决策***；
Step6.4、向待检测回收物所摆放位置打出一束测试光，利用光敏传感器接收反射光强度。根据既定回收物形状及材质预先定义的光照反射强度——分类概率值函数ft，得到辅助信度值Ps；
Step6.5、对Pm和Ps进行加权求和得到最后的信度值Pf＝w1*Pm+w2*Ps，其中w1和w2为预定义权值参数。若Pf大于阈值t，则回收物类别为Pm所对应类别。反之回收物类别为Pm-1所对应类别；
Step6.6、将步骤5.5中切割保存的回收物图像依次经过步骤6.1～6.5，得到全部回收物类别数量信息集Sclass＝{class0＝a，class1＝b......，classk＝x}，其包含回收物类别及数量信息。
Step7、根据步骤5得到的预留信息和步骤6得到的回收物类别信息，判断回收行为是否合规，最后执行回收动作。
所述步骤7的具体步骤为：
Step7.1、判定回收行为是否有效。从步骤5.5中得到的预留信息Sinfo中解析出所需回收物类别Classstd，然后遍历步骤6.6中得到的回收物类别集Sclass，若满足Sclass中除了others类外只还有Classstd，则判定此次回收为合规行为。否则判定为不合规回收行为；
Step7.2、回收控制单元执行回收操作。若步骤7.1判定回收行为合规，则回收控制单元负责自动将指定位置的回收物回收。若不合规，则应该在输出设备中显示提示信息；
Step7.3、将整个回收过程的数据记录到数据库中。待步骤7.2中完成回收后，将该次回收过程中涉及的数据如用户名，回收点和回收物品等写入数据库中。
实施例2：如图2所示，本实例以校园常见的饮料瓶为例。回收类别分为塑料瓶，易拉罐和玻璃瓶，所述自动回收方法的具体步骤如下：
Step1、采集多类预期回收物图像信息，对其进行数据清洗和整理；
Step1.1、根据目标回收物的种类，采集训练集所用的数据。本例中需要采集校园中常见的饮料瓶，可以到超市中拍照，也可使用互联网上的照片；同时需添加一类others用于分类不放置物品时的背景，该类图片使用回收点背景图片；
Step1.2、将收集到照片中，剔除有无关信息、模糊无法辨识和物体显示不完全的图片；
Step1.3、收集到的照片中有多个饮料瓶的需将其切割为单个饮料瓶，调整图像的倾斜度，使之角度统一；
Step1.4、将处理完成的饮料瓶图像调整大小为224*224像素。最终每一类图片约1000张，大小约400M；
Step2、利用步骤1的训练集训练一个分类神经网络模型；
Step2.1、定义神经网络的输入和输出。将224*224像素大小图片转换为三通道张量作为待训练的神经网络模型输入，则输出为含有4个分量的分类概率向量 [Pplastic，Pglass，Pcan，Pothers]；
Step2.2、构建卷积神经网络。采用基于Google的开源框架TensorFlow，迁移学习使用的模型为MobileNet。使用预训练好的参数抽取每一张图像的特征向量，得到对应的1280维特征向量，称之为BottleNeck。将输出层的神经元个数修改为4个，分别代表plastic，glass，can和others的输出；
Step2.3、划分训练集，验证集及测试集。将训练集中每一类图片按比例划分为训练集，测试集和验证集；
Step2.4、定义损失函数及准确率计算方法。使用交叉熵为损失函数，预测的分类结果与真实标签之间的错误样本数在总样本数中的比例为准确率；
Step2.5、迭代训练，更新参数。得到最终权值参数及计算图。将步骤2.2中得到的特征向量BottleNeck作为最后一层分类网络的输入，根据验证集的结果调整调整学习率和迭代次数，观察测试集上准确率的变化，准确率不再提升时结束训练，最后测试集准确率约93％。
Step3、在回收点设置预留信息码并按规则指定回收物摆放位置；
Step3.1、使用二维码作为预留验证码，将回收点ID和所需回收物品的种类plastic 字符串编码到二维码中，此处编码为125_plastic；
Step3.2、测量常见饮料瓶的尺寸，选择合适的单个回收区域尺寸为30*12cm。设摆放数量n＝3，则包含二维码的回收区域设计为30*48cm，二维码边长为7.5cm；缩放系数a＝4，b＝6.4，如图1所示；
Step3.3、实际回收点中，在单个回收物区域使用外框或凹陷规定饮料瓶的精确摆放位置。
Step4、用户确认后采集同时含有回收物和预留信息码的图像信息；
Step4.1、回收点提供回收类别信息及操作方式。在回收点通过明文信息告知本回收点回收物为塑料瓶并配有图示已便区分。清晰阐明操作流程为(1)按照规定位置摆放塑料瓶，并通过手机应用程序拍照后点击确认，注意拍照时倾斜度不能超过45°，当回收行为判定为合规时会提示回收成功，失败时会有对应的错误提示信息；
Step4.2、用户按规定摆放饮料瓶后使用手机应用程序点击确认；
Step4.3、手机应用程序接收到确认信息后调用手机摄像头获取回收区域的图像信息。图像信息中需同时包含预留信息码和回收物区域的完整图像信息；
Step4.4、传输回收图像至服务器进行处理。将步骤4.3获得的回收图像通过手机无线网络传送至后端服务器，使用发送时间作为图片名称。
Step5、定位预留信息码并据此切割回收图像，得到单一回收物图像和预留信息；
Step5.1、首先使用Otsu滤波将回收图片二值化；然后使用OpenCV中的轮廓检测得到按照树形目录组织的轮廓信息hierarchys；
Step5.2、
(1)遍历hierarchys，通过嵌套关系找到有2个以上内轮廓的轮廓，将其作为待筛选轮廓；
(2)求出满足条件轮廓的最小包围矩形后进一步筛选长宽比高于0.85并且长宽小于原图1/4的轮廓，结果作为下一轮待筛选轮廓；然后判断内外框长度比是否约等于 7∶5∶3且圆心坐标标准差＜50且倾斜度标准差＜5。若满足以上条件则是二维码定位点外框；
(3)得到外框坐标后找出整个二维码区域左上角定位点(Xmin，Ymin)，右下角定位点(Xmax，Ymax)和倾斜度θ。
Step5.3、步骤3.2中的已知系数a＝4和b＝6.4。据步骤5.2得lqr＝Xmax-Xmin，则回收区域的像素定位点PMlu＝[(Xmax-6.4*lqr)，(Ymax-4*lqr)]，PMrd＝(Xmax，Ymax)，得到图像中的回收区域RGM及图像倾斜角度θ；
Step5.4、若θ≠0，则旋转校正图像；
Step5.4、利用步骤3.2中预先定义区域分配关系，将整个回收区域切分为4块，前3块为单个回收物所在区域RGO；
Step5.5、根据RGM和RGO切割图像，得到二维码图像和单个饮料瓶回收物图像。使用ZBar将二维码解码，得到预留信息字符串125_plastic。保存回收物图像。
Step6、将步骤5得到的回收物图像通过步骤2的分类模型，材质相近的类别需与光照反射结果共同作出决策；
Step6.1、调整步骤5.5得到的回收物图像大小，使之符合步骤2中分类模型的输入像素大小224*224；
Step6.2、将调整后的待测图像转换为张量表示，输入分类神经网络模型。得到分类信度值向量Vclass＝[Pclass0，Pclass1，......Pclassk，Pothers]，例如Pplastic＝0.685， Pglass＝0.283，Pcan＝0.021，Pothers＝0.01；
Step6.3、对Vclass中分量从大到小进行排序，取最大信度值Pm＝0.685。最大前2个信度值(Pm＝0.685，Pm-1＝0.283)之差大于最大信度值30％，则回收物类别为Pm所对应类别即plastic，否则(如Pplastic＝0.4，Pglass＝0.3)启动光照反射决策***；
Step6.4、向待检测回收物所摆放位置打出一束测试光，利用光敏传感器接收反射光强度。根据预先定义的光照反射强度——分类概率值(glass)函数ft(图3)，得到辅助信度值Ps，设为0.5；
Step6.5、对Pm和Ps进行加权求和得到最后的信度值Pf＝0.65*Pm+0.35*Ps＝0.435。Pf小于阈值t(0.5)，则回收物类别为Pm所对应类别即plastic；
Step6.6、将步骤5.5中切割保存的回收物图像依次经过步骤6.1～6.5，得到全部回收物类别数量信息集Sclass＝{plastic＝1，glass＝1，，can＝1，others＝0}。
Step7、根据步骤5得到的预留信息和步骤6得到的回收物类别信息，判断回收行为是否合规，最后执行回收动作。
Step7.1、判定回收行为是否有效。从步骤5.5中得到的预留信息Sinfo中解析出所需回收物类别Classstd为plastic，然后遍历步骤6.6中得到的回收物类别集Sclass，若满足Sclass中除了others类外只还有Classstd，则判定此次回收为合规行为。否则判定为不合规回收行为。此例中除了plastic还有其他种类回收物，所以回收行为失败。若除了 others有且仅有有plastic则回收行为成功；
Step7.2、回收控制单元执行回收操作。若步骤7.1判定回收行为合规，则回收控制单元负责自动将指定位置的回收物回收。若不合规，则应该在输出设备中显示提示信息；
Step7.3、将整个回收过程的数据记录到数据库中。待步骤7.2中完成回收后，将该次回收过程中涉及的数据如用户名，回收点(id＝125)和回收物品(plastic)等写入数据库中。
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (6)
1.一种基于深度学习的校园垃圾自动分类回收方法，其特征在于：首先通过规范化回收物摆放位置，得到同时包含回收物和预留信息码的图像信息，然后据信息码图形特征提取其位置及所携带的回收点信息，根据得到的信息码位置推算出回收物位置，再对原始图像进行切割得到单个回收物图像，将回收物图像送入分类神经网络得到初步判断结果Rm，对于材质接近的回收物，需联合光照反射测试后的结果Rs进行加权后得到最终分类结果Rf，最后根据提取的回收点信息中的回收类别与所有回收物的分类结果进行回收行为合规性判断，确定是否正确分类回收行为。
2.根据权利要求1所述的基于深度学习的校园垃圾自动分类回收方法，其特征在于具体步骤为：
Step1、采集多类预期回收物图像信息，对其进行数据清洗和整理；
Step2、利用步骤1的训练集训练一个分类神经网络模型；
Step3、在回收点设置预留信息码并按规则指定回收物摆放位置；
Step4、用户确认后采集同时含有回收物和预留信息码的图像信息；
Step5、定位预留信息码并据此切割回收图像，得到单一回收物图像和预留信息；
Step6、将步骤5得到的回收物图像通过步骤2的分类模型，材质相近的类别需与光照反射结果共同作出决策；
Step7、根据步骤5得到的预留信息和步骤6得到的回收物类别信息，判断回收行为是否合规，最后执行回收动作。
3.根据权利要求2所述的基于深度学习的校园垃圾自动分类回收方法，其特征在于所述步骤Step3的具体步骤为：
Step3.1、选择携带信息的图形编码方式，将回收点需回收的垃圾种类信息Sinfo编码加入其中；
Step3.2、根据预留信息码的形状特点，设计回收物摆放区域，设图形编码的边长为Lqr，将图形编码置于回收物区域右下角，则回收物摆放区域为a*Lqr：b*Lqr，其中a，b为定位缩放参数值，在回收物摆放区域内将其划分为n块区域；
Step3.3、在步骤3.2规定的单个回收区域中，使用外框或凹陷规定回收物的精确摆放位置。
4.根据权利要求2所述的基于深度学习的校园垃圾自动分类回收方法，其特征在于所述步骤Step5的具体步骤为：
Step5.1、二值化回收图像并进行轮廓检测，得到轮廓集合树TC＝{c1：{c11，c12......}，c2：{c21......}......cn}；
Step5.2、跟据外框嵌套关系和长度比Rl筛选出预设码的定位点，连接定位点得到整个预设码外框的左上角和右下角定位点{PClu，PCrd}，由此得到图像中预设码图像区域RGC及其长度lqr；
Step5.3、利用步骤3.2中的已知缩放系数a和b和步骤5.2中预设码长度lqr，计算出回收区域的像素定位点{PMlu，PMrd}，得到图像中的回收区域RGM及图像倾斜角度θ；
Step5.4、若θ≠0，则旋转校正图像；
Step5.4、利用步骤3.2中预先的n区域分配关系，得到单个回收物所在区域RGO；
Step5.5、根据RGM和RGo切割图像，得到预留信息码图像和单个回收物图像，将信息码解码，得到预留信息字符串Sinfo，保存回收物图像。
5.根据权利要求2所述的基于深度学习的校园垃圾自动分类回收方法，其特征在于所述步骤Step6的具体步骤为：
Step6.1、调整步骤5.5得到的单个回收物图像大小，使之符合步骤2中分类模型的输入像素大小；
Step6.2、将调整后的待测图像转换为张量表示，输入分类神经网络模型，得到分类信度值向量Vclass＝[Pclass0，Pclass1，......Pclassk，Pothers]；
Step6.3、对Vclass中分量从大到小进行排序，取最大信度值Pm，若最大前2个信度值(Pm，Pm-1)之差大于最大信度值Pm的30％，则回收物类别为Pm所对应类别，否则启动光照反射决策***；
Step6.4、向待检测回收物所摆放位置打出一束测试光，利用光敏传感器接收反射光强度，根据既定回收物形状及材质预先定义的光照反射强度——分类概率值函数ft，得到辅助信度值Ps；
Step6.5、对Pm和Ps进行加权求和得到最后的信度值Pf＝w1*Pm+w2*Ps，其中w1和w2为预定义权值参数，若Pf大于分类阈值t，则回收物类别为Pm所对应类别，反之回收物类别为Pm-1所对应类别；
Step6.6、将步骤5.5中切割保存的回收物图像依次经过步骤6.1～6.5，得到全部回收物类别数量信息集Sclass＝{class0＝a，class1＝b......，classk＝x}，其包含回收物类别及数量信息。
6.根据权利要求2所述的基于深度学习的校园垃圾自动分类回收方法，其特征在于：所述步骤Step7中，从步骤5.5中得到的预留信息Sinfo中解析出所需回收物类别Classstd，然后遍历步骤6.6中得到的回收物类别集Sclass，若满足Sclass中除了others类外只还有Classstd，则判定此次回收为合规行为，否则判定为不合规回收行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811098343.0A CN109308479B (zh) | 2018-09-20 | 2018-09-20 | 一种基于深度学习的校园垃圾自动分类回收方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811098343.0A CN109308479B (zh) | 2018-09-20 | 2018-09-20 | 一种基于深度学习的校园垃圾自动分类回收方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109308479A true CN109308479A (zh) | 2019-02-05 |
| CN109308479B CN109308479B (zh) | 2021-07-16 |
Family
ID=65223963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811098343.0A Active CN109308479B (zh) | 2018-09-20 | 2018-09-20 | 一种基于深度学习的校园垃圾自动分类回收方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109308479B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
| CN110606292A (zh) * | 2019-09-17 | 2019-12-24 | 蔡亦圣 | 基于人工智能的自动分类垃圾桶及分类方法 |
| CN110723432A (zh) * | 2019-09-20 | 2020-01-24 | 精锐视觉智能科技（深圳）有限公司 | 垃圾分类的方法及增强现实设备 |
| CN110852420A (zh) * | 2019-11-11 | 2020-02-28 | 北京智能工场科技有限公司 | 一种基于人工智能的垃圾分类方法 |
| CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
| CN112132073A (zh) * | 2020-09-28 | 2020-12-25 | 中国银行股份有限公司 | 垃圾分类方法及装置、存储介质及电子设备 |
| CN113111792A (zh) * | 2021-04-16 | 2021-07-13 | 东莞市均谊视觉科技有限公司 | 一种基于迁移学习的饮料瓶回收视觉检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104624505A (zh) * | 2015-01-16 | 2015-05-20 | 同济大学 | 一种基于图像识别的废塑料分离方法与*** |
| CN105139109A (zh) * | 2015-08-06 | 2015-12-09 | 黄梅 | 一种药品信息管理服务的互动一体化方法及*** |
| CN106874954A (zh) * | 2017-02-20 | 2017-06-20 | 佛山市络思讯科技有限公司 | 一种信息获取的方法以及相关装置 |
| CN106937081A (zh) * | 2015-12-31 | 2017-07-07 | 杭州海康威视***技术有限公司 | 图像处理方法、***、图像采集设备及服务器 |
| CN107392234A (zh) * | 2017-07-05 | 2017-11-24 | 北京航空航天大学 | 一种基于单张4d光场图像的物体表面材质类型识别方法 |
| US20170345169A1 (en) * | 2016-02-20 | 2017-11-30 | Rubicon Global Holdings, Llc | Waste management system implementing remote auditing |
| CN107767548A (zh) * | 2017-08-01 | 2018-03-06 | 山东中公网络科技有限公司 | 一种智能物品回收装置、智能物品回收***及回收方法 |
-
2018
- 2018-09-20 CN CN201811098343.0A patent/CN109308479B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104624505A (zh) * | 2015-01-16 | 2015-05-20 | 同济大学 | 一种基于图像识别的废塑料分离方法与*** |
| CN105139109A (zh) * | 2015-08-06 | 2015-12-09 | 黄梅 | 一种药品信息管理服务的互动一体化方法及*** |
| CN106937081A (zh) * | 2015-12-31 | 2017-07-07 | 杭州海康威视***技术有限公司 | 图像处理方法、***、图像采集设备及服务器 |
| US20170345169A1 (en) * | 2016-02-20 | 2017-11-30 | Rubicon Global Holdings, Llc | Waste management system implementing remote auditing |
| CN106874954A (zh) * | 2017-02-20 | 2017-06-20 | 佛山市络思讯科技有限公司 | 一种信息获取的方法以及相关装置 |
| CN107392234A (zh) * | 2017-07-05 | 2017-11-24 | 北京航空航天大学 | 一种基于单张4d光场图像的物体表面材质类型识别方法 |
| CN107767548A (zh) * | 2017-08-01 | 2018-03-06 | 山东中公网络科技有限公司 | 一种智能物品回收装置、智能物品回收***及回收方法 |
Non-Patent Citations (2)
| Title |
|---|
| PRAVIN DHULEKAR等: "Development of Bottle Recycling Machine using Machine Learning Algorithm", 《2018 INTERNATIONAL CONFERENCE ON ADVANCES IN COMMUNICATION AND COMPUTING TECHNOLOGY (ICACCT)》 * |
| 黄伦等: "智能垃圾分拣***的模拟与实现", 《机电工程》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110116415A (zh) * | 2019-06-12 | 2019-08-13 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
| CN110116415B (zh) * | 2019-06-12 | 2024-07-23 | 中北大学 | 一种基于深度学习的瓶罐类垃圾识别分类机器人 |
| CN110606292A (zh) * | 2019-09-17 | 2019-12-24 | 蔡亦圣 | 基于人工智能的自动分类垃圾桶及分类方法 |
| CN110723432A (zh) * | 2019-09-20 | 2020-01-24 | 精锐视觉智能科技（深圳）有限公司 | 垃圾分类的方法及增强现实设备 |
| CN110852420A (zh) * | 2019-11-11 | 2020-02-28 | 北京智能工场科技有限公司 | 一种基于人工智能的垃圾分类方法 |
| CN111037554A (zh) * | 2019-12-12 | 2020-04-21 | 杭州翼兔网络科技有限公司 | 一种基于机器学习的垃圾清理方法、装置、设备及介质 |
| CN112132073A (zh) * | 2020-09-28 | 2020-12-25 | 中国银行股份有限公司 | 垃圾分类方法及装置、存储介质及电子设备 |
| CN112132073B (zh) * | 2020-09-28 | 2024-03-29 | 中国银行股份有限公司 | 垃圾分类方法及装置、存储介质及电子设备 |
| CN113111792A (zh) * | 2021-04-16 | 2021-07-13 | 东莞市均谊视觉科技有限公司 | 一种基于迁移学习的饮料瓶回收视觉检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109308479B (zh) | 2021-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308479A (zh) | 一种基于深度学习的校园垃圾自动分类回收方法 | |
| CN108108657B (zh) | 基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
| CN110717534B (zh) | 一种基于网络监督的目标分类和定位方法 | |
| CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| Mao et al. | Deep learning networks for real-time regional domestic waste detection | |
| CN109508664B (zh) | 一种基于深度学习的菜品识别计价方法 | |
| AU2017101803A4 (en) | Deep learning based image classification of dangerous goods of gun type | |
| US11335086B2 (en) | Methods and electronic devices for automated waste management | |
| CN109934255A (zh) | 一种适用于饮料瓶回收机投递物分类识别的模型融合方法 | |
| CN111186656A (zh) | 一种目标垃圾分类方法及智能垃圾桶 | |
| Mookkaiah et al. | Design and development of smart Internet of Things–based solid waste management system using computer vision | |
| CN115187870B (zh) | 海洋塑料垃圾材质识别方法、***、电子设备和存储介质 | |
| CN110516625A (zh) | 一种垃圾识别分类的方法、***、终端及存储介质 | |
| CN109712324A (zh) | 一种自动售货机图像识别方法、售货方法及自动售货设备 | |
| CN109446964A (zh) | 基于端到端单级多尺度检测器的面部检测分析方法及装置 | |
| CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
| CN113052005A (zh) | 一种用于家居服务的垃圾分拣方法和垃圾分拣装置 | |
| CN115100527A (zh) | 一种基于YOLOv5的神经网络模型的垃圾检测方法 | |
| CN109166012A (zh) | 针对行程预定类用户的分类及信息推送的方法和装置 | |
| Yao et al. | Invoice detection and recognition system based on deep learning | |
| CN116401289A (zh) | 一种基于多源信息结合的可追溯性链接自动恢复方法 | |
| CN115546824B (zh) | 禁忌图片识别方法、设备及存储介质 | |
| Kokoulin et al. | The optical method for the plastic waste recognition and sorting in a reverse vending machine | |
| CN114299520A (zh) | 一种基于双模型融合的供应商资质审核方法和审核装置 | |
| CN111078882A (zh) | 一种文本情感测量方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Gan Jianhou Inventor after: Liu Bo Inventor after: Wen Bin Inventor after: Wang Jun Inventor after: Zhou Juxiang Inventor before: Liu Bo Inventor before: Gan Jianhou Inventor before: Wen Bin Inventor before: Wang Jun Inventor before: Zhou Juxiang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared |