CN112158486A - 一种智能垃圾分类设备和分类方法 - Google Patents

Abstract

本发明公开了一种智能垃圾分类设备和分类方法，涉及垃圾分类设备技术领域，主要包括：分别为图像采集预处理模块、语音识别模块、垃圾检测识别模块、硬件外设模块、数据库模块和中心处理模块。本发明采用模块化结构形式，结合了语音识别和图像处理技术，用户通过关键词唤醒设备后，根据用户的语音指令进入相应的语音识别模块或者图像识别模块进行垃圾种类的识别，反馈识别的垃圾种类结果，自动打开和关闭对应的垃圾桶，操作较为简单，能够为用户提供一定的引导；增强市民垃圾分类的意识以及垃圾分类规则的了解。

Description

一种智能垃圾分类设备和分类方法

技术领域

本发明涉及垃圾分类设备技术领域，尤其涉及一种智能垃圾分类设备和分类方法。

背景技术

伴随着经济社会的发展，物质消费水平的大幅度提高，我国的垃圾产生量急剧增加，对环境造成的威胁越来越大，已成为新型城市化的制约因素。当前我国城市生活垃圾分类在社会化、市场化等方面已经开始了尝试，但是覆盖面不高，工作推进难度较大。主要原因在于市民对于干垃圾和湿垃圾等分类意识不高，对所要丢弃垃圾的分类易混淆，例如，需要丢弃的湿纸巾、餐巾纸等，许多市民却认为是湿垃圾，其实不然。

城市居民生活垃圾都需要按垃圾的种类进行回收，但目前在垃圾回收方面采用的是一个种类的垃圾放置一个垃圾箱，在垃圾分类方面也只是分为可回收垃圾和不可回收垃圾。实际中生活垃圾有纸壳、废电池、旧衣物、易拉罐、厨房垃圾等，这些可回收垃圾是不能在一起处理再利用的，而不可回收垃圾也不能在一起进行无害处理。而且居民在投放各种垃圾时需要仔细查看哪一个垃圾箱适合投放，有时并不清楚什么样的垃圾属于什么样的垃圾种类，容易造成投错垃圾箱的问题。

发明内容

为解决现有垃圾分类设备不具备自动识别垃圾种类的技术问题，本发明公开了一种智能垃圾分类设备和分类方法。

为实现上述目的，本发明采用下述技术方案：

一种智能垃圾分类设备，其特征在于，包括：

语音识别模块，对用户语音指令进行识别；

图像采集预处理模块，对检测区域内垃圾图像进行采集；

垃圾检测识别模块，对采集到的垃圾图像中垃圾种类进行识别；

硬件外设模块，实现语音的采集和播报，垃圾检测区域、待机动画的显示，垃圾桶容量数据的采集和垃圾桶的打开关闭；

数据库模块，对垃圾种类、名称相关信息进行存储。

中心处理模块，与语音识别模块、图像采集预处理模块、垃圾检测识别模块、硬件外设模块、数据库模块均相连。

进一步地，所述图像采集预处理模块包括高清摄像头、树莓派，高清摄像头实现检测区域中的垃圾图像的实时采集，并通过USB传输线将图像数据传输给树莓派中的垃圾检测识别模块中；图像传入之前需进行预处理。

进一步地，所述垃圾检测识别模块采用YOLOv3算法训练的垃圾检测识别模型，可识别厨余垃圾、可回收物、有害垃圾和其他垃圾四类垃圾，训练过程采用的是Darknet版本的YOLOv3。

进一步地，所述硬件外设模块包括小型麦克风、小型音箱、显示触摸屏、ZigBee协调器、电机、超声波测距传感器和树莓派；树莓派与其他硬件外设连接，树莓派外置USB声卡并与小型麦克风相连接，采集用户语音指令；小型音箱连接树莓派音频输出口，播放提示音和识别结果；显示触摸屏通过HDMI线与树莓派进行连接，播放设备待机和检测过程中的动画，图像检测时显示画面；ZigBee协调器通过RS232串口线与树莓派进行连接，收集终端节点信息并发送来自设备的控制命令；电机和超声波测距传感器设置于垃圾桶内部，实现垃圾桶打开和关闭，以及垃圾桶容量的实时测量。

进一步地，所述数据库模块选用MySQL数据库。

本发明的另一个目的在于公开了一种智能垃圾分类方法，采用上述的智能垃圾分类设备，具体括以下步骤：

S1、用户通过语音关键词唤醒智能垃圾分类设备；

S2、唤醒设备后，播放功能介绍，并语音提醒用户进行语音识别或图像识别的功能选择，结束语音提示后用户通过语音输入指令；

S3、若选择语音输入，设备识别用户输入的语音；若选择图像识别，开启高清摄像头，显示器上显示检测区域，提醒用户将垃圾放入识别区域并提示用户按下拍照按键进行识别分类；

S4、查询数据库返回识别结果，并告知用户垃圾种类和对应的垃圾桶。

进一步地，在步骤S4过程中，包括分为几种情况：

(1)若多次未查询到垃圾种类，则提示用户将垃圾放入指定区域，等待人工处理；

(2)若查询到结果，将自动打开相应的容量未满的垃圾桶，提醒用户放入；

(3)若某一分类下相应的垃圾桶都已满，则不打开垃圾桶，并告知用户该垃圾桶已满，提醒用户放入指定区域；

(4)用户投入垃圾后，垃圾桶即自动关闭，并询问用户是否再次识别；若语音指令为结束，设备将进入休眠阶段，等待下一次唤醒；若语音指令为继续，则返回S2继续执行。

本发明的有益效果是，采用模块化结构形式，结合了语音识别和图像处理技术。用户通过关键词进行设备唤醒，唤醒后，根据用户的语音指令进入相应的语音识别模块或者图像识别模块进行垃圾种类的识别，反馈识别的垃圾种类结果，自动打开和关闭对应的垃圾桶，操作较为简单，能够为用户提供一定的引导；增强市民垃圾分类的意识以及垃圾分类规则的了解。

附图说明

图1为本发明***架构示意图；

图2为本发明流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种智能垃圾分类设备，主要包含了六个模块，分别为图像采集预处理模块、语音识别模块、垃圾检测识别模块、硬件外设模块、数据库模块和中心处理模块。

下面对各个模块进行详细论述：

一、语音识别模块，

对用户语音指令进行识别；语音识别分为三种：第一种为助手的唤醒词，唤醒词由工作人员提前设定；第二种为用户要求助手选用的垃圾分类功能，即语音输入或者图像识别；第三种为垃圾种类的中文名称，并将识别出的垃圾中文名称进行数据库查询操作，打开相应的垃圾桶。

二、图像采集预处理模块

对检测区域内垃圾图像进行采集；图像采集预处理模块包括高清摄像头、树莓派，一方面，高清摄像头实现检测区域中的垃圾图像的实时采集，并通过USB传输线将图像数据传输给树莓派中的垃圾检测识别模块中；另一方面，图像传入之前需进行预处理，预处理操作包括了颜色通道顺序转换和图像格式转换。

三、垃圾检测识别模块

对采集到的垃圾图像中垃圾种类进行识别；上述垃圾检测识别模块，采用YOLOv3算法训练的垃圾检测识别模型，可识别厨余垃圾、可回收物、有害垃圾和其他垃圾四类垃圾，训练过程采用的是Darknet版本的YOLOv3，所用数据集来源于网络开源的数据集和一部分自制数据集。并采用数据增强的方式，对图片进行翻转、扭曲、色彩抖动等操作增加数据集的增量，增强模型检测的泛化能力。

四、硬件外设模块

实现语音的采集和播报，垃圾检测区域、待机动画的显示，垃圾桶容量数据的采集和垃圾桶的打开关闭；

上述硬件外设模块包括小型麦克风、小型音箱、显示触摸屏、ZigBee协调器、电机、超声波测距传感器和树莓派；树莓派与其他硬件外设连接，在连接方式上，由于树莓派上并没有音频输入接口，因此需要外置一个USB声卡来进行解决，小型麦克风与USB声卡相连接，采集用户语音指令；小型音箱连接树莓派3.5mm的音频输出口，并通过USB进行供电，播放提示音和识别结果；显示触摸屏通过HDMI线与树莓派进行连接，播放设备待机和检测过程中的动画，图像检测时显示画面，开启摄像头进行图像检测时的画面也将在显示屏中进行显示，支持按键操作，包含两个按键，分别为拍照和唤醒词录入；ZigBee协调器通过RS232串口线与树莓派进行连接，ZigBee协调器的作用负责ZigBee网路的组建，收集终端节点信息并发送来自设备的控制命令；电机和超声波测距传感器设置于垃圾桶内部，实现垃圾桶打开和关闭，以及垃圾桶容量的实时测量。

五、数据库模块

对垃圾种类、名称相关信息进行存储，上述数据库模块选用MySQL数据库，所建的数据库表的格式为“序号中文名称英文名称垃圾种类垃圾桶”，为防止中文乱码，在创建表时采用utf-8格式进行编码，“垃圾种类”分为了四类，分别为厨余垃圾、可回收物、有害垃圾和其他垃圾，“垃圾桶”包含了不同垃圾种类下的垃圾桶序号，如厨余垃圾分类下的垃圾桶序号为“1-2-3”，“可回收物”下的垃圾桶序号为“4-5-6”，以此类推。

六、中心处理模块

与语音识别模块、图像采集预处理模块、垃圾检测识别模块、硬件外设模块、数据库模块均相连，负责对上述的几个模块的调度工作，使得助手能够快速根据用户的指令做出反应。

本发明还公开了一种智能垃圾分类方法，采用上述的智能垃圾分类设备，分类方法具体括以下步骤：

S1、用户通过语音关键词唤醒智能垃圾分类设备，如关键词设置为“小助同学”、“小男同学”等；工作人员可通过助手触摸屏中唤醒词录入按键进行唤醒词录入操作。录入过程为工作人员在按下唤醒词录入按键后，助手将提示输入唤醒词的文本，按下确认键后，助手将自动更新该文本为唤醒词，这样就完成了唤醒词录入操作。注意的是唤醒词录入部分仅对工作人员开放，因此录入前需要工作人员输入助手的账户和密码。

S2、唤醒设备后，播放功能介绍，并语音提醒用户进行语音识别或图像识别的功能选择，结束语音提示后用户通过语音输入指令；如果设备在使用时已经被唤醒，则不再重复播放功能介绍提示音，直接进行功能模块选择。

S3、若选择语音输入，设备识别用户输入的语音；若选择图像识别，开启高清摄像头，显示器上显示检测区域，提醒用户将垃圾放入识别区域并提示用户按下拍照按键进行识别分类；

S4、查询数据库返回识别结果，并告知用户垃圾种类和对应的垃圾桶。

语音识别模块将用户的语音转换成中文文本列表，并将该文本列表与数据库表中的垃圾中文名称进行查询匹配；而垃圾检测识别模块则将图像中的垃圾返回一个英文列表，并将该文本列表与数据库表中的垃圾英文名称进行查询匹配。

特别的，在步骤S4过程中，包括分为几种情况：

(1)若多次未查询到垃圾种类，则提示用户将垃圾放入指定区域，等待人工处理；

(2)若查询到结果，将自动打开相应的容量未满的垃圾桶，提醒用户放入；

(3)若某一分类下相应的垃圾桶都已满，则不打开垃圾桶，并告知用户该垃圾桶已满，提醒用户放入指定区域；

(4)用户投入垃圾后，垃圾桶即自动关闭，并询问用户是否再次识别；若语音指令为结束，设备将进入休眠阶段，等待下一次唤醒；若语音指令为继续，则返回S2继续执行。

本发明采用模块化结构形式，整体功能分为图像采集模块、语音识别模块、垃圾检测识别模块、硬件驱动模块和数据库模块。用户通过关键词进行设备唤醒，唤醒后，根据用户的语音指令进入相应的语音识别模块或者图像识别模块进行垃圾种类的识别，反馈识别的垃圾种类结果，自动打开和关闭对应的垃圾桶，操作较为简单，能够为用户提供一定的引导。

本发明结合语音识别和图像处理技术实现了垃圾分类功能，自动化程度高，在市民需要丢弃垃圾时，通过关键词唤醒该设备后，设备自行引导用户，便于垃圾的分类回收，同时增强市民垃圾分类的意识以及垃圾分类规则的了解，使用方便。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (7)

1.一种智能垃圾分类设备，其特征在于，包括：

语音识别模块，对用户语音指令进行识别；

图像采集预处理模块，对检测区域内垃圾图像进行采集；

垃圾检测识别模块，对采集到的垃圾图像中垃圾种类进行识别；

硬件外设模块，实现语音的采集和播报，垃圾检测区域、待机动画的显示，垃圾桶容量数据的采集和垃圾桶的打开关闭；

数据库模块，对垃圾种类、名称相关信息进行存储。

中心处理模块，与语音识别模块、图像采集预处理模块、垃圾检测识别模块、硬件外设模块、数据库模块均相连。

2.如权利要求1所述的一种智能垃圾分类设备，其特征在于，所述图像采集预处理模块包括高清摄像头、树莓派，高清摄像头实现检测区域中的垃圾图像的实时采集，并通过USB传输线将图像数据传输给树莓派中的垃圾检测识别模块中；图像传入之前需进行预处理。

3.如权利要求1所述的一种智能垃圾分类设备，其特征在于，所述垃圾检测识别模块采用YOLOv3算法训练的垃圾检测识别模型，可识别厨余垃圾、可回收物、有害垃圾和其他垃圾四类垃圾，训练过程采用的是Darknet版本的YOLOv3。

4.如权利要求1所述的一种智能垃圾分类设备，其特征在于，所述硬件外设模块包括小型麦克风、小型音箱、显示触摸屏、ZigBee协调器、电机、超声波测距传感器和树莓派；树莓派与其他硬件外设连接，树莓派外置USB声卡并与小型麦克风相连接，采集用户语音指令；小型音箱连接树莓派音频输出口，播放提示音和识别结果；显示触摸屏通过HDMI线与树莓派进行连接，播放设备待机和检测过程中的动画，图像检测时显示画面；ZigBee协调器通过RS232串口线与树莓派进行连接，收集终端节点信息并发送来自设备的控制命令；电机和超声波测距传感器设置于垃圾桶内部，实现垃圾桶打开和关闭，以及垃圾桶容量的实时测量。

5.如权利要求1所述的一种智能垃圾分类设备，其特征在于，所述数据库模块选用MySQL数据库。

6.一种智能垃圾分类方法，采用如权利要求1所述的一种智能垃圾分类设备，其特征在于，具体包括以下步骤：

S1、用户通过语音关键词唤醒智能垃圾分类设备；

S2、唤醒设备后，播放功能介绍，并语音提醒用户进行语音识别或图像识别的功能选择，结束语音提示后用户通过语音输入指令；

S3、若选择语音输入，设备识别用户输入的语音；若选择图像识别，开启高清摄像头，显示器上显示检测区域，提醒用户将垃圾放入识别区域并提示用户按下拍照按键进行识别分类；

S4、查询数据库返回识别结果，并告知用户垃圾种类和对应的垃圾桶。

7.如权利要求6所述的一种智能垃圾分类方法，其特征在于，在步骤S4过程中，包括分为几种情况：

(1)若多次未查询到垃圾种类，则提示用户将垃圾放入指定区域，等待人工处理；

(2)若查询到结果，将自动打开相应的容量未满的垃圾桶，提醒用户放入；

(3)若某一分类下相应的垃圾桶都已满，则不打开垃圾桶，并告知用户该垃圾桶已满，提醒用户放入指定区域；

(4)用户投入垃圾后，垃圾桶即自动关闭，并询问用户是否再次识别；若语音指令为结束，设备将进入休眠阶段，等待下一次唤醒；若语音指令为继续，则返回S2继续执行。

Images