CN110569874A - 一种垃圾分类方法、装置、智能终端及存储介质 - Google Patents
一种垃圾分类方法、装置、智能终端及存储介质 Download PDFInfo
- Publication number
- CN110569874A CN110569874A CN201910717438.4A CN201910717438A CN110569874A CN 110569874 A CN110569874 A CN 110569874A CN 201910717438 A CN201910717438 A CN 201910717438A CN 110569874 A CN110569874 A CN 110569874A
- Authority
- CN
- China
- Prior art keywords
- garbage
- image
- classified
- information
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 288
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 16
- 239000002699 waste material Substances 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 231100001261 hazardous Toxicity 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract description 15
- 230000003190 augmentative effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 238000009432 framing Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000002920 hazardous waste Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000010819 recyclable waste Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种垃圾分类方法、装置、智能终端以及存储介质。所述方法包括：获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。本发明不但实现了对垃圾的有效分类，还可以在可视化时实物与文字识别结果叠加在真实场景中的物体周围。
Description
技术领域
本发明涉图像识别技术领域，尤其涉及一种垃圾分类方法、装置、智能终端及存储介质。
背景技术
面对日益增长的垃圾产量和环境状况恶化的局面，如何对垃圾进行科学有效的处置，最大限度地实现垃圾资源利用，改善生存环境质量，成为当前社会亟需解决的问题。
现阶段，垃圾主要依靠专业人工指导进行分类和识别，消耗了大量的人力和财力，且容易出现辨别错误。
另外，现有的垃圾分类识别***，需要用户手动输入垃圾名称或拍照上传相应的图片到服务端，最后返回文字形式的鉴定结果，且仅能够返回图中一个目标的分类结果，其效率和实用性不高。并由于缺乏人工交互的手段，且在可视化时实物与文字识别结果分离。当图像中出现多个物体时，无法有效的选择和确定目标。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种垃圾分类方法、装置、智能终端及存储介质，旨在解决现有技术中垃圾分类方法效率低下，且在可视化时实物与文字识别结果分离的问题。
本发明为解决上述技术问题所采用的技术方案如下：
第一方面，本发明实施例提供一种垃圾分类方法，所述方法包括：
获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
优选地，所述图像分类模型的构建步骤包括：
基于垃圾的图片数据和标注信息进行深度学习训练，得到自动识别垃圾分类的权重信息，其中，所述垃圾的图片数据训练使用bounding box的坐标预测方式进行预测，其具体公式如下所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
bw＝pwetw
bh＝pheth，其中，tx、ty、tw、th为模型的预测输出，cx和cy表示图像网格单元的坐标，pw和ph表示预测前bounding box的尺寸，bx、by，bw和bh是预测得到的bounding box的中心的坐标和尺寸，坐标的损失采用的是平方误差损失。
优选地，通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述显示的垃圾信息对待分类垃圾进行分类的步骤包括：
当所述待分类垃圾图像中含有一种类型的垃圾时，则在所述待分类垃圾图像中的任意位置显示垃圾信息；
当所述待分类垃圾图像中含有至少两种类型的垃圾时，则在所述待分类垃圾图像中以框选的方式标记不同垃圾类型，不同颜色的框表示不同类型的垃圾。
优选地，所述垃圾类型包括干垃圾、湿垃圾、可回收垃圾、有害垃圾。
优选地，所述框选方式为矩形框选方式，红色矩形框表示有害垃圾，蓝色矩形框表示可回收垃圾，棕色矩形框表示湿垃圾，黑色矩形框表示干垃圾。
优选地，所述通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息的步骤之后，还包括：
当用于显示待分类垃圾图像的屏幕检测到触摸操作时，则获取所述触摸操作在屏幕中的坐标；
根据所述坐标从所述待分类垃圾图像中查找与所述坐标对应的目标垃圾，并显示所述目标垃圾的垃圾处理信息。
优选地，所述垃圾信息还包括垃圾名称。
一种垃圾分类装置，所述装置包括：
垃圾图像训练单元，用于获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
垃圾分类单元，用于通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
第三方面，本发明实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述所述的方法。
第四方面，本发明实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述所述的方法。
本发明的有益效果：本发明通过获取大量的垃圾的图片数据，并对所获得的垃圾的图片标注出名称及垃圾类型，构建用于训练的数据集，通过对所获得的数据集做基于深度学习的训练，得到垃圾分类模型。不但提高了垃圾的分类效率，而且详细分类信息和处理方法将通过增强现实的方式呈现在物体旁边。提升了垃圾分类的准确性。
附图说明
图1是本发明提供的垃圾分类方法的较佳实施例的流程图。
图2是本发明提供的垃圾分类方法技术流程图。
图3是本发明提供的垃圾分类装置的功能原理图。
图4是本发明提供的垃圾分类工作流程图。
图5是本发明提供的垃圾分类用户时序图。
图6是本发明提供的智能终端的功能原理图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的一种垃圾分类方法，该方法可应用在智能终端。智能终端可以但不限于是笔记本电脑、手机、平板电脑和便携式可穿戴设备。本发明的智能终端采用多核处理器。其中，终端的处理器可以为中央处理器(Central Processing Unit，CPU)，图形处理器(Graphics Processing Unit，GPU)、视频处理单元(Video Processing Unit，VPU)等中的至少一种。
由于现有技术中的垃圾分类识别***，需要用户手动输入垃圾名称或拍照上传相应的图片到服务端，最后由服务端返回文字形式的鉴定结果，且每次仅能够返回图中一个目标的分类结果，其效率和实用性不高。为了解决上述技术问题，在本发明实施例中，当用户需要对垃圾进行分类时，可以先获取待分类垃圾的图像(例如利用智能终端上的摄像头对垃圾进行摄像或拍照)，将获得的垃圾图像输入到经过训练的图像分类模型中进行分类(鉴定)，并将分类后的结果直接显示在智能终端屏幕上。由于所使用的图像分类模型是基于垃圾的图像数据训练后的，因此，其可以快速准确的对垃圾进行鉴别分类，从而提升了垃圾分类的效率和准确性。
举例说明，若用户需要对包括塑料空瓶、用过的餐巾纸、骨头以及食物包装袋的垃圾进行分类，此时，用户可以利用智能终端的摄像头对准上述垃圾，获取垃圾的图像，并将所获取到的垃圾的图像输入到训练好的图像分类模型中，由图像分类模型给出准确的分类结果。
下面结合附图，详细说明本发明的各种非限制性实施方式。
示例性方法
参见图1，本实施例提供一种垃圾分类方法，包括如下步骤：
步骤100、获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
具体来说，请参阅图2，以手机为例在图像获取与处理时，调用手机相机接口得到待分类垃圾的YUV格式图像实现对图像的获取。其中，YUV是被欧洲电视***所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间。
将YUV格式图像转换为RGB格式图像，一方面，利用图像识别引擎(训练好的图像分类模型)对RGB格式图像进行识别，得到图像的识别结果,实现对图像的处理。另一方面，实时图像可视化。即在手机屏幕上实时显示待分类垃圾的图像的同时，后台进行图像处理。
在本实施例中，已训练的图像分类模型的构建步骤包括：
基于垃圾的图片数据和标注信息进行深度学习训练，得到自动识别垃圾分类的权重信息，其中，所述垃圾的图片数据训练使用bounding box的坐标预测方式进行预测，其具体公式如下所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
bw＝pwetw
bh＝pheth，其中，tx、ty、tw、th为模型的预测输出，cx和cy表示图像网格单元的坐标，pw和ph表示预测前bounding box的尺寸，bx、by，bw和bh是预测得到的bounding box的中心的坐标和尺寸，坐标的损失采用的是平方误差损失。即将事先获得的已知垃圾的图像进行分类标注，获取日常生活中常见的各种垃圾的图像作为训练数据集作为bounding box图像识别模型的输入。由于图像中包括多种不同的垃圾种类，因此该图像识别模型通过对已知的垃圾(命名、分类)进行识别，并进行深度学习与训练，使得该图像识别模型可以分辨出不同的垃圾，并进行归类。为了提高该图像识别模型的分类精度，还可以对该模型进行多次训练，使得该图像识别模型的损失函数收敛至一定程度，并对该图像识别模型的参数进行调整，以使该图像识别模型可以更加精确地从图像中鉴别出不同的垃圾种类，经过训练后的图像识别模型即为本实施例所构建的用于将待分类的垃圾进行自动分类的图像分类模型。
举例说明，用户分类的垃圾中包括可回收垃圾如矿泉水瓶、易拉罐，干垃圾如使用过的餐巾纸、骨头等。即用户使用手机自带的摄像头获取到包含上述两种分类的垃圾的图像作为输入参数，输入到已训练的bounding box图像识别模型中，从中识别出多个垃圾实体的名称和类别。即在本实施例中，是以Tensorflow For Android开源项目作为手机客户端的基础框架，在此基础上加入训练完成的bounding box图像识别模型，以手机摄像头获取的视频数据作为输入参数，识别出实时场景中出现的一个或多个垃圾实体类别。
步骤200、通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
具体来说，如图2所示，对待分类垃圾进行AR信息实时可视化操作，事先将每一个垃圾名称设置一个唯一的ID，该ID用于在本地SQLite数据库中检索对应的垃圾处理方法的详细信息。根据图像识别的结果检测所述识别结果的ID，并根据ID在本地SQLite数据库中检索对应的垃圾处理详细信息。将检索到对应的垃圾处理信息，利用OpenGL ES三维绘制引擎，计算识别物体在屏幕坐标中的范围，将识别出的垃圾类型和处理方法等文字信息以增强现实的方式实时绘制在手机屏幕上，并且叠加在目标周围，实现垃圾分类信息AR可视化。
进一步地，步骤S200中，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类具体包括：
S201、当所述待分类垃圾图像中含有一种类型的垃圾时，则在所述待分类垃圾图像中的任意位置显示垃圾信息；
S202、当所述待分类垃圾图像中含有至少两种类型的垃圾时，则在所述待分类垃圾图像中以框选的方式标记不同垃圾类型，不同颜色的框表示不同类型的垃圾。
在本实施例中，可根据待分类垃圾图像中所含垃圾类型的数量，设置显示垃圾信息的位置，当待分类垃圾图像中只有一种类型的垃圾时，即都是同一类垃圾，则只需要将垃圾信息(垃圾类型)显示出来即可，可以是屏幕的任一位置，因为是同一类垃圾，不会照成混淆。如果待分类垃圾图像中有不止一种类型的垃圾，为了清除的进行表达，则需要将待分类垃圾根据不同类型进行框选，并通过不同的颜色加以区分。每种颜色代表一种类型，同种颜色属于同一类型。
进一步地，所述垃圾的类型包括干垃圾、湿垃圾、可回收垃圾、有害垃圾，即与国家现在对垃圾的分类即为“干垃圾、”“湿垃圾”、“可回收垃圾”、“有害垃圾”相匹配。同时，还将不同类型的垃圾标记为不同的颜色，如红色代表有害垃圾、蓝色代表可回收垃圾、棕色代表湿垃圾、黑色代表干垃圾。通过设置不同的颜色，可以更容易的让用户获知垃圾的种类。
进一步地，所述框选方式为矩形框选方式，红色矩形框表示有害垃圾，蓝色矩形框表示可回收垃圾，棕色矩形框表示湿垃圾，黑色矩形框表示干垃圾。
在本实施例中，当所述待分类垃圾图像中含有至少两种类型的垃圾时，可通过矩形框选的方式对图像中的垃圾进行框选，并用红色矩形框表示有害垃圾，蓝色矩形框表示可回收垃圾，棕色矩形框表示湿垃圾，黑色矩形框表示干垃圾。
进一步地，所述步骤S200之后还包括步骤：
S300、当用于显示待分类垃圾图像的屏幕检测到触摸操作时，则获取所述触摸操作在屏幕中的坐标；
S400、根据所述坐标从所述待分类垃圾图像中查找与所述坐标对应的目标垃圾，并显示所述目标垃圾的垃圾处理信息。
结合图2，在本实施例中，当智能终端同时检测出多个垃圾，此时为了方便用户对垃圾的详细信息做进一步的查阅，用户可以对想要做进一步了解的对象进行点选，即获取用户在智能终端屏幕上点选的屏幕坐标，计算所点击屏幕坐标在哪一个检测物体的bounding box(目标框范围)内，从而得知用户关注的真实场景中的目标垃圾。当获知了用户所关注的目标垃圾后，将与所关注的目标垃圾相关的详细处理信息显示在目标垃圾的旁边。
较佳地，在本实施例中，当获知了用户所关注的目标垃圾后，可以将将识别出的垃圾类型和处理方法等文字信息以语音播放的方式告知用户，当然也可以是将识别出的垃圾类型和处理方法等文字信息以增强现实的方式实时绘制在智能终端屏幕上，并且叠加在目标周围。在以语音播报的方式进行播报。
示例性设备
参见图3，本发明实施例提供一种垃圾分类装置，该装置包括：垃圾图像训练单元210、垃圾分类单元220。
具体地，垃圾图像训练单元210，用于获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中。
垃圾分类单元220，用于通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
结合图4，垃圾分类装置的具体工作流程可以看做是，通过图像识别模块实现对垃圾的识别分类，识别分类的结果通过增强现实可视化模块进行显示，还可以是在识别分类完成后进行人工交互，人工交互后再将识别分类的结果通过增强现实可视化模块进行显示。
所述图像识别模块输入源为手机摄像头的图像视觉数据，将视频中的关键帧传入服务器端，利用机器学习方法事先训练的网络，识别图像中所有目标对象的类别，并从数据库中检索该分类对象的文字属性，将识别结果输出到增强现实可视化模块。
所述人工交互模块输入源为用户在手机屏幕中点选目标位置，基于用户点选的屏幕坐标，确定所有用户所需识别目标，将结果输出到增强现实可视化模块。
所述增强现实可视化模块输入源识别对象位置和属性信息，以摄像头视图为底图，利用增强现实可视化技术将目标分类信息和垃圾处理方法直接绘制在手机屏幕上。
在本实施例中，为了方便用户操作，将垃圾分类方法做成APP，结合图5，用户打开客户端App，客户端App获取开启手机摄像头权限。手机摄像头自动开启，用户将摄像头对准所需识别的物体，摄像头视觉图像信息传入图像识别模块，图像识别模块快速识别出屏幕中的所有目标物体，并从数据库中检索其分类信息，相关信息传入可视化模块，即可在手机摄像图视图上实时绘制所有对象的简易位置信息和属性信息。然后，用户通过点击屏幕进行人工交互，利用用户点击的屏幕坐标从多个目标中确定用户所选择的某个目标，将结果输出到增强现实可视化模块，所选目标的详细分类信息和方法将呈现在目标物体旁边，作为用户进行垃圾分类的参考信息。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图6所示。该智能终端包括通过***总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种歌曲生成方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：
获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上所述，本发明公开了一种垃圾分类方法、装置、智能终端以及存储介质。所述方法包括：获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。本发明不但实现了对垃圾的有效分类，还可以在可视化时实物与文字识别结果叠加在物体周围。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种垃圾分类方法，其特征在于，所述方法包括步骤：
获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
2.根据权利要求1所述的垃圾分类方法，其特征在于，所述图像分类模型的构建步骤包括：
基于垃圾的图片数据和标注信息进行深度学习训练，得到自动识别垃圾分类的权重信息，其中，所述垃圾的图片数据训练使用bounding box的坐标预测方式进行预测，其具体公式如下所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
bw＝pwetw
bh＝pheth，其中，tx、ty、tw、th为模型的预测输出，cx和cy表示图像网格单元的坐标，pw和ph表示预测前bounding box的尺寸，bx、by，bw和bh是预测得到的bounding box的中心的坐标和尺寸，坐标的损失采用的是平方误差损失。
3.根据权利要求1所述的垃圾分类方法，其特征在于，通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述显示的垃圾信息对待分类垃圾进行分类的步骤包括：
当所述待分类垃圾图像中含有一种类型的垃圾时，则在所述待分类垃圾图像中的任意位置显示垃圾信息；
当所述待分类垃圾图像中含有至少两种类型的垃圾时，则在所述待分类垃圾图像中以框选的方式标记不同垃圾类型，不同颜色的框表示不同类型的垃圾。
4.根据权利要求1-3任一所示的垃圾分类方法，其特征在于，所述垃圾类型包括干垃圾、湿垃圾、可回收垃圾、有害垃圾。
5.根据权利要求3所述的垃圾分类方法，其特征在于，所述框选方式为矩形框选方式，红色矩形框表示有害垃圾，蓝色矩形框表示可回收垃圾，棕色矩形框表示湿垃圾，黑色矩形框表示干垃圾。
6.根据权利要求1所述的垃圾分类方法，其特征在于，所述通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息的步骤之后，还包括：
当用于显示待分类垃圾图像的屏幕检测到触摸操作时，则获取所述触摸操作在屏幕中的坐标；
根据所述坐标从所述待分类垃圾图像中查找与所述坐标对应的目标垃圾，并显示所述目标垃圾的垃圾处理信息。
7.根据权利要求1所述的垃圾分类方法，其特征在于，所述垃圾信息还包括垃圾名称。
8.一种垃圾分类装置，其特征在于，所述装置包括：
垃圾图像训练单元，用于获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
垃圾分类单元，用于通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。
9.一种智能终端，其特征在于，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1-7中任意一项所述的方法。
10.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910717438.4A CN110569874A (zh) | 2019-08-05 | 2019-08-05 | 一种垃圾分类方法、装置、智能终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910717438.4A CN110569874A (zh) | 2019-08-05 | 2019-08-05 | 一种垃圾分类方法、装置、智能终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110569874A true CN110569874A (zh) | 2019-12-13 |
Family
ID=68774681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910717438.4A Pending CN110569874A (zh) | 2019-08-05 | 2019-08-05 | 一种垃圾分类方法、装置、智能终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110569874A (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160186A (zh) * | 2019-12-20 | 2020-05-15 | 上海寒武纪信息科技有限公司 | 智能垃圾分类处理方法及相关产品 |
| CN111217062A (zh) * | 2020-03-12 | 2020-06-02 | 河海大学 | 一种基于边缘计算和深度学习的垃圾箱垃圾识别方法 |
| CN111241967A (zh) * | 2020-01-06 | 2020-06-05 | 珠海格力电器股份有限公司 | 垃圾分类方法、***、终端设备及存储介质 |
| CN111242354A (zh) * | 2020-01-03 | 2020-06-05 | 拉扎斯网络科技（上海）有限公司 | 用于可穿戴设备的方法、装置、电子设备及可读存储介质 |
| CN111242236A (zh) * | 2020-01-19 | 2020-06-05 | 北京声智科技有限公司 | 一种垃圾种类识别方法、服务器、客户端、***和介质 |
| CN111582336A (zh) * | 2020-04-23 | 2020-08-25 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
| CN111598011A (zh) * | 2020-05-19 | 2020-08-28 | 科大讯飞股份有限公司 | 垃圾分类处理方法、相关设备及可读存储介质 |
| CN111611261A (zh) * | 2020-05-24 | 2020-09-01 | 济南欣格信息科技有限公司 | 基于文本解耦合的垃圾分类识别*** |
| CN111611262A (zh) * | 2020-05-24 | 2020-09-01 | 济南欣格信息科技有限公司 | 基于文本解耦合和图像处理的垃圾分类识别*** |
| CN111931597A (zh) * | 2020-07-20 | 2020-11-13 | 苏州富鑫林光电科技有限公司 | 基于人工智能的垃圾分选方法及***、存储介质、设备 |
| CN112232246A (zh) * | 2020-10-22 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 基于深度学习的垃圾检测分类方法和装置 |
| CN113051963A (zh) * | 2019-12-26 | 2021-06-29 | 中移(上海)信息通信科技有限公司 | 垃圾检测方法、装置、电子设备及计算机存储介质 |
| CN113065509A (zh) * | 2021-04-20 | 2021-07-02 | 广州铁路职业技术学院（广州铁路机械学校） | 垃圾处理方法、装置、设备及计算机存储介质 |
| CN113110785A (zh) * | 2021-05-12 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备以及计算机可读存储介质 |
| CN113434062A (zh) * | 2021-06-29 | 2021-09-24 | 深圳市慧鲤科技有限公司 | 内容展示方法及装置、图像识别方法及装置和电子设备 |
| CN113554537A (zh) * | 2021-02-07 | 2021-10-26 | 宁夏天工科技有限公司 | 一种基于混合现实的垃圾处理溯源*** |
| CN113609359A (zh) * | 2021-07-30 | 2021-11-05 | 建信金融科技有限责任公司 | 垃圾分类方法、装置、设备及可读存储介质 |
| CN114289343A (zh) * | 2021-12-29 | 2022-04-08 | 张祥森 | 一种垃圾分类处理方法及*** |
| AT525405A1 (de) * | 2021-09-07 | 2023-03-15 | Brantner Env Group Gmbh | Computerimplementiertes Verfahren zur Klassifizierung von Abfall |
| CN117522388A (zh) * | 2023-11-08 | 2024-02-06 | 永昊环境科技(集团)有限公司 | 一种用于城市环境的智能环卫处理方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150350610A1 (en) * | 2014-05-30 | 2015-12-03 | International Business Machines Corporation | Intelligent recycling container |
| CN105160397A (zh) * | 2014-06-06 | 2015-12-16 | 谷歌公司 | 训练精炼的机器学习模型 |
| CN107054937A (zh) * | 2017-03-23 | 2017-08-18 | 广东数相智能科技有限公司 | 一种基于图像识别的垃圾分类提示装置和*** |
| CN108536654A (zh) * | 2018-04-13 | 2018-09-14 | 科大讯飞股份有限公司 | 识别文本展示方法及装置 |
| CN109201514A (zh) * | 2017-06-30 | 2019-01-15 | 京东方科技集团股份有限公司 | 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收*** |
| CN109858414A (zh) * | 2019-01-21 | 2019-06-07 | 南京邮电大学 | 一种***分块检测方法 |
-
2019
- 2019-08-05 CN CN201910717438.4A patent/CN110569874A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150350610A1 (en) * | 2014-05-30 | 2015-12-03 | International Business Machines Corporation | Intelligent recycling container |
| CN105160397A (zh) * | 2014-06-06 | 2015-12-16 | 谷歌公司 | 训练精炼的机器学习模型 |
| CN107054937A (zh) * | 2017-03-23 | 2017-08-18 | 广东数相智能科技有限公司 | 一种基于图像识别的垃圾分类提示装置和*** |
| CN109201514A (zh) * | 2017-06-30 | 2019-01-15 | 京东方科技集团股份有限公司 | 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收*** |
| CN108536654A (zh) * | 2018-04-13 | 2018-09-14 | 科大讯飞股份有限公司 | 识别文本展示方法及装置 |
| CN109858414A (zh) * | 2019-01-21 | 2019-06-07 | 南京邮电大学 | 一种***分块检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 彭昕昀等: "基于SSD算法的垃圾识别分类研究", 《韶关学院学报》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111160186B (zh) * | 2019-12-20 | 2023-05-19 | 上海寒武纪信息科技有限公司 | 智能垃圾分类处理方法及相关产品 |
| CN111160186A (zh) * | 2019-12-20 | 2020-05-15 | 上海寒武纪信息科技有限公司 | 智能垃圾分类处理方法及相关产品 |
| CN113051963A (zh) * | 2019-12-26 | 2021-06-29 | 中移(上海)信息通信科技有限公司 | 垃圾检测方法、装置、电子设备及计算机存储介质 |
| CN111242354A (zh) * | 2020-01-03 | 2020-06-05 | 拉扎斯网络科技（上海）有限公司 | 用于可穿戴设备的方法、装置、电子设备及可读存储介质 |
| CN111241967B (zh) * | 2020-01-06 | 2023-08-15 | 珠海格力电器股份有限公司 | 垃圾分类方法、装置、终端设备及存储介质 |
| CN111241967A (zh) * | 2020-01-06 | 2020-06-05 | 珠海格力电器股份有限公司 | 垃圾分类方法、***、终端设备及存储介质 |
| CN111242236A (zh) * | 2020-01-19 | 2020-06-05 | 北京声智科技有限公司 | 一种垃圾种类识别方法、服务器、客户端、***和介质 |
| CN111217062A (zh) * | 2020-03-12 | 2020-06-02 | 河海大学 | 一种基于边缘计算和深度学习的垃圾箱垃圾识别方法 |
| CN111582336A (zh) * | 2020-04-23 | 2020-08-25 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
| CN111582336B (zh) * | 2020-04-23 | 2023-11-03 | 海信集团有限公司 | 一种基于图像识别垃圾种类的装置及方法 |
| CN111598011A (zh) * | 2020-05-19 | 2020-08-28 | 科大讯飞股份有限公司 | 垃圾分类处理方法、相关设备及可读存储介质 |
| CN111611261A (zh) * | 2020-05-24 | 2020-09-01 | 济南欣格信息科技有限公司 | 基于文本解耦合的垃圾分类识别*** |
| CN111611262A (zh) * | 2020-05-24 | 2020-09-01 | 济南欣格信息科技有限公司 | 基于文本解耦合和图像处理的垃圾分类识别*** |
| CN111611262B (zh) * | 2020-05-24 | 2023-09-15 | 山东三宏信息科技有限公司 | 基于文本解耦合和图像处理的垃圾分类识别*** |
| CN111611261B (zh) * | 2020-05-24 | 2023-09-01 | 山东三宏信息科技有限公司 | 基于文本解耦合的垃圾分类识别*** |
| CN111931597A (zh) * | 2020-07-20 | 2020-11-13 | 苏州富鑫林光电科技有限公司 | 基于人工智能的垃圾分选方法及***、存储介质、设备 |
| CN111931597B (zh) * | 2020-07-20 | 2024-06-04 | 苏州富鑫林光电科技有限公司 | 基于人工智能的垃圾分选方法及***、存储介质、设备 |
| CN112232246A (zh) * | 2020-10-22 | 2021-01-15 | 深兰人工智能(深圳)有限公司 | 基于深度学习的垃圾检测分类方法和装置 |
| CN113554537A (zh) * | 2021-02-07 | 2021-10-26 | 宁夏天工科技有限公司 | 一种基于混合现实的垃圾处理溯源*** |
| CN113065509A (zh) * | 2021-04-20 | 2021-07-02 | 广州铁路职业技术学院（广州铁路机械学校） | 垃圾处理方法、装置、设备及计算机存储介质 |
| CN113110785A (zh) * | 2021-05-12 | 2021-07-13 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备以及计算机可读存储介质 |
| CN113434062A (zh) * | 2021-06-29 | 2021-09-24 | 深圳市慧鲤科技有限公司 | 内容展示方法及装置、图像识别方法及装置和电子设备 |
| CN113609359A (zh) * | 2021-07-30 | 2021-11-05 | 建信金融科技有限责任公司 | 垃圾分类方法、装置、设备及可读存储介质 |
| AT525405A1 (de) * | 2021-09-07 | 2023-03-15 | Brantner Env Group Gmbh | Computerimplementiertes Verfahren zur Klassifizierung von Abfall |
| CN114289343A (zh) * | 2021-12-29 | 2022-04-08 | 张祥森 | 一种垃圾分类处理方法及*** |
| CN117522388A (zh) * | 2023-11-08 | 2024-02-06 | 永昊环境科技(集团)有限公司 | 一种用于城市环境的智能环卫处理方法 |
| CN117522388B (zh) * | 2023-11-08 | 2024-04-12 | 永昊环境科技(集团)有限公司 | 一种用于城市环境的智能环卫处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110569874A (zh) | 一种垃圾分类方法、装置、智能终端及存储介质 | |
| WO2020134991A1 (zh) | 纸质表单的自动录入方法、装置、计算机设备和存储介质 | |
| US20200242759A1 (en) | Bone marrow cell labeling methods and systems | |
| CN110276366A (zh) | 使用弱监督模型来检测对象 | |
| CN109558792B (zh) | 一种基于样本和特征检测互联网徽标内容的方法和*** | |
| TW202009681A (zh) | 樣本標註方法及裝置、損傷類別的識別方法及裝置 | |
| CN114862845B (zh) | 手机触摸屏的缺陷检测方法、装置、设备及存储介质 | |
| CN112561786A (zh) | 基于图像卡通化的在线直播方法、装置和电子设备 | |
| CN112927776A (zh) | 一种面向医学检验报告的人工智能自动解读*** | |
| US20220207266A1 (en) | Methods, devices, electronic apparatuses and storage media of image processing | |
| US11817215B2 (en) | Artificial intelligence cloud diagnosis platform | |
| CN114663904A (zh) | 一种pdf文档布局检测方法、装置、设备及介质 | |
| CN111124863B (zh) | 智能设备性能测试方法、装置及智能设备 | |
| CN111709941A (zh) | 一种面向病理图像的轻量级自动化深度学习***及方法 | |
| CN110110110A (zh) | 一种以图搜图方法、装置、电子设备及存储介质 | |
| CN111881900B (zh) | 语料生成、翻译模型训练、翻译方法、装置、设备及介质 | |
| CN108369647B (zh) | 基于图像的质量控制 | |
| CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
| CN110363245B (zh) | 在线课堂的精彩图片筛选方法、装置及*** | |
| CN111047731A (zh) | 一种基于ar技术的电信机房巡检方法及*** | |
| CN115713775B (zh) | 一种从文档中提取表格的方法、***和计算机设备 | |
| CN113254608A (zh) | 通过问答生成训练数据的***及其方法 | |
| CN115019297B (zh) | 一种基于颜色增广的实时车牌检测识别方法和装置 | |
| CN112861861B (zh) | 识别数码管文本的方法、装置及电子设备 | |
| CN115631374A (zh) | 控件操作方法、控件检测模型的训练方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191213 |
|
| RJ01 | Rejection of invention patent application after publication |