CN115701363A - 厨余垃圾分拣***及方法 - Google Patents
厨余垃圾分拣***及方法 Download PDFInfo
- Publication number
- CN115701363A CN115701363A CN202110879946.XA CN202110879946A CN115701363A CN 115701363 A CN115701363 A CN 115701363A CN 202110879946 A CN202110879946 A CN 202110879946A CN 115701363 A CN115701363 A CN 115701363A
- Authority
- CN
- China
- Prior art keywords
- component
- sorting
- kitchen waste
- end data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000010806 kitchen waste Substances 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003993 interaction Effects 0.000 claims abstract description 26
- 239000010813 municipal solid waste Substances 0.000 claims description 75
- 238000002372 labelling Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 19
- 239000002699 waste material Substances 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000007480 spreading Effects 0.000 description 4
- 238000010411 cooking Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000010791 domestic waste Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000855 fermentation Methods 0.000 description 3
- 230000004151 fermentation Effects 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000008157 edible vegetable oil Substances 0.000 description 2
- 239000010794 food waste Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000219112 Cucumis Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 239000010775 animal oil Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003895 groundwater pollution Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 235000021190 leftovers Nutrition 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000019476 oil-water mixture Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 244000144977 poultry Species 0.000 description 1
- 239000010909 process residue Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 235000015112 vegetable and seed oil Nutrition 0.000 description 1
- 239000008158 vegetable oil Substances 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02W—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
- Y02W30/00—Technologies for solid waste management
- Y02W30/10—Waste collection, transportation, transfer or storage, e.g. segregated refuse collecting, electric or hybrid propulsion
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种厨余垃圾分拣***,包括前端分拣***及远程人机协作判别***,其中,所述前端分拣***用于前端自动分拣厨余垃圾,包括分拣平台部件、图像采集部件、前端数据发送部件、前端数据接收部件、分拣抓手部件、前端控制部件以及前端异物自动识别模型;所述远程人机协作判别***用于通过远程人机协作的方式,辅助前端自动分拣***分拣厨余垃圾,包括后端数据接收部件、显示交互部件、后端数据发送部件、后端控制部件。本发明还提供基于上述***的厨余垃圾分拣方法。
Description
技术领域
本发明涉及垃圾分类处理领域,具体涉及一种厨余垃圾分拣***及方法。
背景技术
近年来,我国开始实行垃圾分类处置。2017年3月,国家***、住建部发布《生活垃圾分类制度实施方案》,要求到2020年底,先行先试的46个重点城市,要基本建成垃圾分类处理***,其他地级城市实现公共机构生活垃圾分类全覆盖;到2022年,各地级城市至少有1个区实现生活垃圾分类全覆盖;2025年前,全国地级及以上城市要基本建成垃圾分类处理***。目前上海、北京两市率先开始实施,执行力度最大。
但是,在垃圾分类处置中,厨余垃圾由于其固有的特点,在分类处理过程中是最为复杂的。厨余垃圾是指家庭中产生的菜帮菜叶、瓜果皮核、剩菜剩饭、废弃食物等易腐性垃圾;从事餐饮经营活动的企业和机关、部队、学校、企业事业等单位集体食堂在食品加工、饮食服务、单位供餐等活动中产生的食物残渣、食品加工废料和废弃食用油脂;以及农贸市场、农产品批发市场产生的蔬菜瓜果垃圾、腐肉、肉碎骨、水产品、畜禽内脏等,其中,废弃食用油脂是指不可再食用的动植物油脂和油水混合物。
目前主流的厨余垃圾处置方式是在小区设立固定专用垃圾桶,配备专人负责指导和监督,居民定时定点投放,然后由专用的运输车辆运往集中处理点进行后续处理。目前集中处理点对厨余垃圾的后续处理主要有三种方式:
(1)填埋:就是专门有一批区域用来填埋垃圾。这种方式一是占用大量宝贵土地资源,二是会引起地下水污染,因此未来会逐渐淘汰;
(2)焚烧:就是用专用的焚烧炉对垃圾进行焚烧处理。这种方式会产生大量烟雾及有毒气体,形成空气污染,因此未来也会逐渐淘汰;
(3)微生物发酵:就是使用专门的发酵池,通过投入一定的发酵剂来处理。这种方式一般不会产生污染,处理后的厨余垃圾还可以当肥料使用,因此未来会成为主流;
虽然第三种方式逐渐成为主流,但前提是厨余垃圾必须彻底分拣,不能混有其他垃圾。而在现实情况下,居民投放的厨余垃圾中,往往混有其他垃圾,例如,厨余垃圾中混有塑料瓶、玻璃瓶、一次性餐盒、塑料袋等。因此在集中处理点,还有人工分拣一道工序。人工分拣劳动强度大、工作环境差,因此厨余垃圾自动分拣的需求很迫切。
针对这一问题,在垃圾分类自动化方面,目前也有一些相关技术,主要有三类:
a、生活垃圾AI智能识别报警:利用智能垃圾箱房,可以进行生活垃圾图像采集和识别;根据垃圾类别,智能提示投放分类垃圾桶;采用集成智能处理单元的垃圾桶,可在居民倾倒垃圾时,立即发现错误的投放并报警。
b、生活垃圾自动分类:通过垃圾数据训练和测试,构建基于人工智能的生活垃圾智能分类***,垃圾处理中转站的自动分类机器人或智能抓斗,通过机械手抓取各种形状的垃圾,识别可回收垃圾、有害垃圾等,放置到不同的回收处理装置中。通过图像识别技术,对中转入集装的垃圾,判别垃圾批次质量,预防之前的漏检以及危险物品。
c、智能生活垃圾分类清运:不同种类生活垃圾清运车自动识别分类垃圾桶,并进行收运,确保分类收运。通过车载摄像和图像传感设备,记录小区湿垃圾的收集过程,在湿垃圾倾倒入车时,进行杂质识别并记录报警。
总体来说,目前虽有一些面向垃圾分类处理某一方面的产品及技术,例如分类、识别、回收等技术,但由于垃圾种类繁多,单纯依靠人工智能识别技术,识别准确率还相当低,无法实际应用。随着今后更多城市实施垃圾分类,厨余垃圾的分类处理问题更加突出。
发明内容
为解决上述现有技术中存在的问题,提供一种厨余垃圾分拣***,包括前端分拣***及远程人机协作判别***,其中,
所述前端分拣***用于前端自动分拣厨余垃圾,包括分拣平台部件、图像采集部件、前端数据发送部件、前端数据接收部件、分拣抓手部件、前端控制部件以及前端异物自动识别模型;
所述远程人机协作判别***用于通过远程人机协作的方式,辅助前端自动分拣***分拣厨余垃圾,包括后端数据接收部件、显示交互部件、后端数据发送部件、后端控制部件。
在一些实施例中,所述分拣平台部件用于平铺堆放待分拣的厨余垃圾,并在分拣完成后移走该批垃圾,再平铺堆放新一批待分拣的厨余垃圾。
在一些实施例中,所述图像采集部件包括具有深度图像采集功能的双目摄像头部件,用于采集待处理垃圾的图像信息。
在一些实施例中,所述前端数据发送部件用于将采集的图像信息发送给所述远程人机协作判别***;所述前端数据接收部件,用于接收所述远程人机协作判别***发回的标注信息。
在一些实施例中,所述分拣抓手部件用于捡出所述分拣平台部件上的非厨余垃圾。
在一些实施例中,所述前端控制部件用于分别控制图像采集部件采集图像、控制前端异物识别模型自动识别异物、控制前端数据发送部件发送图像及自动标注信息、控制前端数据接收部件接收人工标注信息、控制分拣抓手部件抓取非厨余垃圾、控制分拣平台部件移走已分拣的垃圾。
在一些实施例中,所述前端异物识别模型用于自动识别厨余垃圾中混杂的异物,并在图像上标注;以及通过人工标注结果训练模型提升识别率。
在一些实施例中,所述后端数据接收部件用于接收所述前端数据发送部件所发送的图像信息;所述显示交互部件包括显示器及交互部件,用于显示垃圾图像信息、并以人机交互的方式标注垃圾图像信息;、所述后端数据发送部件,用于将标注信息发送给所述前端数据接收部件;所述后端控制部件,用于分别控制后端数据接收部件接收图像信息、控制显示交互部件显示图像信息及人机交互标注、控制后端数据发送部件发送人工标注信息。
本发明提供一种采用上述***的厨余垃圾分拣方法,包括:
步骤1,所述前端自动分拣***采集待分拣的厨余垃圾的图像信息,通过前端异物识别模型自动识别并标注异物,并将图像数据及自动标注数据发送至远程人机协作判别***;
步骤2,所述远程人机协作判别***通过人机协作的方式在图像上对异物进行判别及标注,并发送给前端自动分拣***;
步骤3,所述前端自动分拣***根据人工标注结果控制抓手将厨余垃圾中混杂的异物分拣抓出。
在一些实施例中,上述方法还包括:步骤4,所述前端自动分拣***根据人工标注结果训练前端异物识别模型。
本发明具有如下特点和有益效果:本***将厨余垃圾自动分拣***分为前后端的方式,前端负责图像采集、异物识别、分拣;后端采用人机协作的方式,由人工对前端自动识别的结果进行判别和标注,从而提高对异物的识别精度,同时人工标注结果用来训练前端异物识别模型。本发明改变了目前厨余垃圾人工分拣劳动强度大、工作环境差等问题,同时也弥补了自动分拣准确率不高的不足,具有适应性强、***越用识别率越高等特点。
附图说明
图1示出了本发明一个实施例的人机协作的厨余垃圾智能分拣***的结构示意图。
图2示出了本发明一个实施例中的前端智能分拣***的组成及其各组成部分的连接关系。
图3示出了本发明一个实施例中的远程人机协作判别***的组成及其各组成部分的连接关系。
图4示出了本发明一个实施例的***工作流程。
具体实施方式
下面结合附图和具体实施例对本发明加以说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
厨余垃圾是人们日常生活中必然会形成的垃圾,为便于垃圾处理,相关部门及城市出台了垃圾分类的规定,由于多种原因,在现实情况下,居民投放的厨余垃圾中,往往混有其他垃圾,因此在厨余垃圾的处理过程中,需要进行分拣,由于自动分拣技术远远达不到实用要求,目前主要还是采用人工分拣的方式。但人工分拣带来了劳动强度大、工作环境差等问题,制约了厨余垃圾大规模集中处理的进程。
发明人还认识到,现有技术中,厨余垃圾智能分拣所涉及的计算机技术包括图像分类、图像定位、图像检测等步骤,其常规的方法是离线训练机器学习模型,然后将训练好的模型用于在线垃圾分拣。例如在厨余垃圾分类的场景中,首先需要将混有其他垃圾的图片进行标注,标注是为了注明在图像中哪些是非厨余垃圾,以及非厨余垃圾在图像中的位置等信息。将标注后的图像作为训练模型的原始数据,模型训练好后,可以将新的图片输入模型,模型会识别、定位出非厨余垃圾及其所在的位置,从而实现垃圾分拣的需求。
现有技术在实际应用中遇到的问题是模型识别的精准度不高,而影响模型精准度的关键在于标注数据的质量和数量。标注数据的质量越高,数量越大,训练的效果越好,所训练出的模型识别准确率越高。但是由于标注数据的过程多由人工来完成,不能与在线分拣相结合,不能利用实时的分拣结果更新模型。本发明将人工标注与在线分拣相结合,提高了模型的识别准确率,降低了分拣人员的劳动强度,改善了工作环境。
本发明为解决上述问题,提供一种人机协作的厨余垃圾智能分拣***,通过远程人机协作对厨余垃圾进行判别,并通过前端分拣抓手进行分拣的方式,实现厨余垃圾的智能分拣,从而有效提高厨余垃圾分拣效率。本发明改变了目前厨余垃圾人工分拣劳动强度大、工作环境差等问题,同时也弥补了自动分拣准确率不高的不足。
以下结合附图具体介绍本发明的***组成和结构。
图1示出了本发明一个实施例的人机协作厨余垃圾智能分拣***的结构示意图。
该***从结构和功能上分为前端智能分拣***100和远程人机协作判别***200。其中,
前端智能分拣***100用于前端自动分拣厨余垃圾,包括分拣平台部件110、图像采集部件120、分拣抓手部件130、前端控制部件140。根据本发明的一个实施例,图像采集部件120和分拣抓手部件130分别安装在分拣平台部件110两侧上方。根据本发明的一个实施例,前端控制部件140安装在分拣平台部件110下方。
前端智能分拣***100的分拣平台部件110用于平铺待分拣的厨余垃圾,并在分拣后移除本批次的厨余垃圾,再平铺堆放新一批待分拣的厨余垃圾。根据本发明的一个实施例,所述分拣平台采用输送带式的结构,输送带在电机的带动可以前后移动。
前端智能分拣***100的图像采集部件120用于采集平铺在分拣平台110上的厨余垃圾的图像信息。根据本发明的一个实施例,所述图像采集部件采用具有深度图像采集功能的双目摄像头模组,通过USB接口与前端控制部件140连接。双目摄像头是基于双目立体视觉的深度相机,通过两个摄像头获得图像信息,计算出视差,从而获得到图像的深度信息。
前端智能分拣***100的分拣抓手部件130用于根据人机协作方式标注的结果抓取分拣平台110上的非厨余垃圾。根据本发明的一个实施例,通过三路步进马达控制器控制所述分拣抓手部件,三路步进马达控制器通过USB接口与前端控制部件140连接。
前端智能分拣***100的前端控制部件140用于控制前端分拣***的工作,包括:控制图像采集部件采集图像、控制前端异物识别模型自动识别异物、控制分拣抓手部件抓取非厨余垃圾、控制分拣平台部件移走已分拣的垃圾。
远程人机协作判别***200用于通过远程人机协作的方式,辅助前端自动分拣***分拣厨余垃圾,包括显示交互部件210及后端控制部件220。后端控制部件220用于控制远程人机协作判别***的工作,显示交互部件210用于显示接收到的图像信息及前端异物识别模型自动标注的结果,并提供交互功能供协作人员800对图像进行判断,并在显示交互部件210上对图像中的异物进行人工标注。
本发明的前端智能分拣***100与远程人机协作判别***200之间,通过远程通信通道300以远程通信方式进行数据交换。远程通信通道可以采用现有技术的有线通道或无线通道。
以上概要说明了本发明的***组成,以下具体说明本发明的前端智能分拣***和远程人机协作判别***的组成。
图2中示出了本发明一个实施例中的前端智能分拣***100的组成及其与各组成部分之间的连接关系。如图2所示,前端控制部件140用于控制前端分拣***的工作。根据本发明的一个实施例,前端控制***采用通用高性能工控机,工控机例如包含8个USB接口。前端控制部件140与其它各组成部分的连接关系如下:
与前端控制部件140连接的分拣平台部件110用于平铺待分拣的厨余垃圾,并在分拣后移除本批次的厨余垃圾,再平铺堆放新一批待分拣的厨余垃圾。根据本发明的一个实施例,所述分拣平台采用输送带式的结构,输送带在电机的带动可以前后移动,电机通过电机驱动部件180连接到前端控制部件140的USB接口。
与前端控制部件140连接的图像采集部件120用于采集平铺在分拣平台110上的厨余垃圾的图像信息。根据本发明的一个实施例,所述图像采集部件采用具有深度图像采集功能的双目摄像头模组,通过USB接口与前端控制部件140连接。
与前端控制部件140连接的分拣抓手部件130用于根据人机协作方式标注的结果抓取分拣平台110上的非厨余垃圾。根据本发明的一个实施例,通过三路步进马达控制器控制所述分拣抓手部件,三路步进马达控制器通过USB接口与前端控制部件140连接。
与前端控制部件140连接的前端数据发送部件150和前端数据接收部件160分别用于发送图像数据及接收图像标注数据。前端数据发送部件150,用于将采集的图像信息以及自动标注信息发送到远程人机协作判别***。前端数据接收部件160,用于接收远程人机协作判别***发回的标注信息。根据本发明的一个实施例,采用5G通信模块用于数据的发送及接收,该5G通信模块通过USB接口与前端控制部件140连接。
前端控制部件140内部还包括:
初始化模块,用于对前端控制部件进行初始化设置;
图像采集控制模块,用于控制图像采集部件120采集图像数据;
分拣抓手控制模块,用于控制分拣抓手部件130抓取非厨余垃圾;
前端数据发送控制模块及前端数据接收控制模块,分别控制前端数据发送部件150及前端数据接收部件160发送和接收数据;
电机驱动控制模块,用于控制电机的运动,从而控制分拣平台110的前后移动;
前端异物识别模型170,用于自动识别和定位图像采集部件120所采集的图像中混杂的非厨余垃圾。根据本发明的一个实施例,前端异物识别模型170采用目前机器学习领域流行的增量训练机器学习模型。根据本发明的一个实施例,前端异物识别模型可以采用传统的机器学习模型,比如支持向量机SVM,或者基于深度学习的目标检测模型,比如Faster-RCNN模型(Faster Region CNN)、SSD模型(Single Shot MultiBox Detector),或者YOLO模型(You Only Look Once)等。检测模型的目的是在前端采集的图像中自动检测和定位出图像中的非厨余垃圾区域。以当前性能较优的Faster-RCNN目标检测模型为例,模型主要包括特征提取模块,候选区域生成模块,以及对候选区域的类别回归模块。为了进行模型的训练,首先需要人工标注出非厨余垃圾区域作为正样本,其他区域作为负样本,训练以上的目标检测模型。测试时,输入待识别的前端图像,输出候选区域为非厨余垃圾的概率,利用非最大抑制方法NMS(Non-Maximum Suppression)进行区域合并,最终保留高概率的区域作为非厨余垃圾区域,并以矩形框的形式输出这些区域的具***置和尺寸信息。
在一些实施例中,前端数据接收部件与前端数据发送部件合并为前端数据收发部件;前端数据发送控制模块与前端数据接收控制模块合并为前端数据收发模块。
图3中示出了本发明一个实施例中远程人机协作判别***200的组成及其各组成部分的连接关系。图3中,后端控制部件220用于控制远程人机协作判别***的工作,该部件可以是一个单机控制一个显示交互部件,也可以是一个主机控制多个显示交互部件。根据本发明的一个实施例,采用通用高性能工控机来控制一个显示部件,工控机例如包含HDMI及USB接口。后端控制部件220与其它各组成部分的连接关系如下:
与后端控制部件连接的显示交互部件210用于显示接收到的图像信息及前端异物识别模型自动标注的结果,并提供交互功能供协作人员对图像进行判断,在显示交互部件210上对图像进行人工标注。根据本发明的一个实施例,采用具有笔输入功能的显示屏作为显示交互部件,通过HDMI及USB接口与后端控制部件220连接。
与后端控制部件连接的后端数据接收部件230和后端数据发送部件240分别用于接收图像数据及发送图像标注数据。后端数据接收部件,用于接收前端数据发送部件所发送的图像信息和自动标注信息。后端数据发送部件用于将标注信息发送给前端数据接收部件。根据本发明的一个实施例,采用5G通信模块用于数据的接收及发送,该5G通信模块通过USB接口与后端控制部件220连接。
后端控制部件220内部还包括:
后端初始化模块,用于对后端控制部件进行初始化设置;
显示交互控制模块,用于控制显示交互部件210的工作;
后端数据发送控制模块及后端数据接收模块,分别控制后端数据发送部件230及后端数据接收部件240发送和接收数据。
在一些实施例中,后端数据发送部件和后端数据接收部件合并为后端数据收发部件;后端数据发送控制模块和后端数据接收控制模块合并为后端数据收发控制模块。
以下介绍本***的工作流程,图4示出了根据本发明一个实施例的工作流程。
本***前端分拣***及远程人机协作判别***开机后分别进入控制部件的启动程序,进行初始化。然后前端分拣***等待厨余垃圾装卸设备将厨余垃圾平铺到分拣平台上,启动图像采集部件采集分拣平台上的厨余垃圾,前端异物识别模型自动识别并进行标注,前端数据发送部件将该图像数据及自动标注数据发送给远程人机协作判别***;远程人机协作判别***通过后端数据接收部件实时接收该图像数据和自动标注数据,并在显示交互部件上显示该图像和标注信息,这时协作人员观看显示交互部件上的图像和标注信息,判别自动标注的信息,将图像中标错的异物(非厨余垃圾)通过显示交互部件进行标注,协作人员还将自动标注中漏标的异物进行人工标注。根据本发明的一个实施例,将自动标注正确的结果以绿色矩形框标出,将自动标注错误的结果以红色矩形框标出,将漏标的结果以黄色矩形框标出。当判别工作完成,把全部异物标注完毕后,通过后端数据发送部件将人工标注结果发送给前端分拣***;前端分拣***通过前端数据接收部件实时接收该标注结果,由前端控制部件控制分拣抓手根据该标注结果将全部异物拣出,然后移除本批次的分拣垃圾。前端控制部件随后控制前端分拣***进入下一批次的分拣过程,如此循环进行,直至全部分拣任务结束。
前端异物识别模型利用人工标注结果进行增量训练,该训练任务与分拣任务可并行处理。根据本发明的一个实施例,前端异物识别模型将自动识别正确的结果以及漏标的结果作为正样本,将自动识别错误的结果作为负样本,采用mini-Batch GD方法进行训练。mini-Batch GD,也称BGD(Batch Gradient Descent,批量梯度下降),是深度学***均值,然后更新模型,其优势在于相对GD收敛的更快,相对SGD更为稳定。前端异物识别模型积累一定数量的训练样本后开始训练,根据本发明的一个实施例,累计32个样本后开始训练。
在一些实施例中,前端智能分拣***基于独立分拣模式或连线分拣模式工作。当前端智能分拣***与远程人机协作判别***的通信通道正常时,前端智能分拣***工作于连线分拣模式,此时前端智能分拣***将自动对混有异物的厨余垃圾图像进行标注,将标注后的图像上传到远程人机协作判别***,并根据远程人机协作判别***的校正结果分拣厨余垃圾中的异物。当前端智能分拣***与远程人机协作判别***的通信通道异常,或者远程人机协作判别***工作异常时,前端智能分拣***工作于独立分拣模式,此时,前端智能分拣***根据本地异物识别模型的判别结果进行自动分拣,不再将图像上传到远程人机协作判别***,而是存储于本地数据库中。当前端智能分拣***于远程人机协作判别***的通信通道恢复正常或者远程人机协作判别***工作正常后,将本地数据库中自动标注的图像上传到远程人机协作判别***,远程人机协作判别***同样部署了识别模型,远程人机协作判别***收集前端智能分拣***上传的标注图像,协作人员对上传的标注图像进行校正标注,并用以训练远程人机协作判别***的异物识别模型。
在一些实施例中,远程人机协作判别***部署了异物识别模型,远程人机协作判别***与多个前端智能分拣***通过远程通道通信。远程人机协作判别***利用多个前端智能分拣***上传的标注数据,通过人工校正后,形成训练样本,用于训练远程人机判别***的异物识别模型,并定期将新训练的异物识别模型通过远程通道更新到前端智能分拣***中。由于远程人机协作判别***收集了多个前端智能分拣***的数据,数据的数量和种类较单一的前端智能分拣***更为丰富,所训练的模型识别准确率进一步提高。
在一些实施例中,由于机器学习模型对硬件的计算能力要求较高,前端分拣***可以不配备异物识别模型,从而减少硬件配置,降低成本,其仅能根据图像的标注信息进行分拣。远程人机协作判别***的显示交互部件以APP形式运行于移动终端,远程人机协作判别***的数据库和异物识别模型运行于具有较强计算能力的云端服务器,移动终端与前端智能分拣***分别与云端服务器通信。前端智能分拣***将采集的图像上传到云端服务器,云端服务器将采集图像下发到协作人员的移动终端,协作人员在移动终端上校正标注数据后,将结果上传到云端服务器,云端服务器将校正结果下发到前端分拣***,前端分拣***根据校正标注结果进行厨余垃圾异物分拣。此种架构有利于多个协作人员同时工作,并且不受限于工作场所,同时也可降低硬件成本,提高模型的训练准确率。
在一些实施例中,前端分拣***本地部署有显示交互部件,运维人员在该本地显示交互部件上进行人工标注,然后通过观察分拣抓手的工作过程和结果,确定***各个部件和模块的工作状态是否正常,并调校***参数。
应该注意到并理解,在不脱离后附的权利要求所要求的本发明的精神和范围的情况下,能够对上述详细描述的本发明做出各种修改和改进。因此,要求保护的技术方案的范围不受所给出的任何特定示范教导的限制。
Claims (10)
1.一种厨余垃圾分拣***,包括前端分拣***及远程人机协作判别***,其中,
所述前端分拣***用于前端自动分拣厨余垃圾,包括分拣平台部件、图像采集部件、前端数据发送部件、前端数据接收部件、分拣抓手部件、前端控制部件以及前端异物自动识别模型;
所述远程人机协作判别***用于通过远程人机协作的方式,辅助前端自动分拣***分拣厨余垃圾,包括后端数据接收部件、显示交互部件、后端数据发送部件、后端控制部件。
2.根据权利要求1所述的分拣***,所述分拣平台部件用于平铺堆放待分拣的厨余垃圾,并在分拣完成后移走该批垃圾,再平铺堆放新一批待分拣的厨余垃圾。
3.根据权利要求1所述的分拣***,所述图像采集部件包括具有深度图像采集功能的双目摄像头部件,用于采集待处理垃圾的图像信息。
4.根据权利要求1所述的分拣***,所述前端数据发送部件用于将采集的图像信息发送给所述远程人机协作判别***;所述前端数据接收部件,用于接收所述远程人机协作判别***发回的标注信息。
5.根据权利要求1所述的分拣***,所述分拣抓手部件用于捡出所述分拣平台部件上的非厨余垃圾。
6.根据权利要求1所述的分拣***,所述前端控制部件用于分别控制图像采集部件采集图像、控制前端异物识别模型自动识别异物、控制前端数据发送部件发送图像及自动标注信息、控制前端数据接收部件接收人工标注信息、控制分拣抓手部件抓取非厨余垃圾、控制分拣平台部件移走已分拣的垃圾。
7.根据权利要求1所述的分拣***,所述前端异物识别模型用于自动识别厨余垃圾中混杂的异物,并在图像上标注;以及通过人工标注结果训练模型提升识别率。
8.根据权利要求1所述的分拣***,所述后端数据接收部件用于接收所述前端数据发送部件所发送的图像信息;所述显示交互部件包括显示器及交互部件,用于显示垃圾图像信息、并以人机交互的方式标注垃圾图像信息;、所述后端数据发送部件,用于将标注信息发送给所述前端数据接收部件;所述后端控制部件,用于分别控制后端数据接收部件接收图像信息、控制显示交互部件显示图像信息及人机交互标注、控制后端数据发送部件发送人工标注信息。
9.一种采用权利要求1-8之一所述***的厨余垃圾分拣方法,包括:
步骤1,所述前端自动分拣***采集待分拣的厨余垃圾的图像信息,通过前端异物识别模型自动识别并标注异物,并将图像数据及自动标注数据发送至远程人机协作判别***;
步骤2,所述远程人机协作判别***通过人机协作的方式在图像上对异物进行判别及标注,并发送给前端自动分拣***;
步骤3,所述前端自动分拣***根据人工标注结果控制抓手将厨余垃圾中混杂的异物分拣抓出。
10.根据权利要求9所述的方法,还包括:
步骤4,所述前端自动分拣***根据人工标注结果训练前端异物识别模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879946.XA CN115701363A (zh) | 2021-08-02 | 2021-08-02 | 厨余垃圾分拣***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879946.XA CN115701363A (zh) | 2021-08-02 | 2021-08-02 | 厨余垃圾分拣***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115701363A true CN115701363A (zh) | 2023-02-10 |
Family
ID=85142258
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110879946.XA Pending CN115701363A (zh) | 2021-08-02 | 2021-08-02 | 厨余垃圾分拣***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115701363A (zh) |
-
2021
- 2021-08-02 CN CN202110879946.XA patent/CN115701363A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210287357A1 (en) | Systems and methods for optical material characterization of waste materials using machine learning | |
CN110884791A (zh) | 一种基于TensorFlow的视觉垃圾分类***及分类方法 | |
CN109261539A (zh) | 一种基于视觉识别和卷积神经网络的垃圾分拣***及方法 | |
CN110550351A (zh) | 一种智慧城市的环卫管理*** | |
CN110697273A (zh) | 一种基于迭代学习控制的生活垃圾智能识别与自动分类***及方法 | |
CN111814750A (zh) | 基于深度学习目标检测和图像识别的智能垃圾分类方法及*** | |
CN111619992A (zh) | 一种基于机器视觉的智能垃圾分类***及方法 | |
CN111731718A (zh) | 一种智能分类处理垃圾桶及其操作方法 | |
CN110654740A (zh) | 自动进行垃圾分类的方法、装置及存储介质 | |
CN116682098A (zh) | 一种城市生活垃圾自动识别分类***及方法 | |
CN212944157U (zh) | 一种多级自动分拣*** | |
CN115701363A (zh) | 厨余垃圾分拣***及方法 | |
CN116443458A (zh) | 一种基于气力输送的垃圾分类投放站及其控制方法 | |
CN113909143A (zh) | 一种可回收物分类智能派工***及其派工方法 | |
CN213110846U (zh) | 垃圾自动分拣*** | |
CN114476418A (zh) | 一种垃圾智能处理方法、设备、介质及计算机程序产品 | |
CN210477480U (zh) | 废品塑料瓶分拣*** | |
CN113537405A (zh) | 一种采用人工智能技术的蓝藻图像分类识别工具 | |
CN113505633A (zh) | 一种基于区块链的生活垃圾分拣处理方法和*** | |
CN111717570A (zh) | 垃圾自动分拣***及方法 | |
CN221050589U (zh) | 一种可回收垃圾材料智能识别与分类装置 | |
CN212944127U (zh) | 一种分级分拣的识别定级装置 | |
CN111498326A (zh) | 一种基于二类识别模型的垃圾自动分类机 | |
CN114955290B (zh) | 一种垃圾分类投放*** | |
LU500437B1 (en) | System and method for intelligent garbage sorting based on machine vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |