CN115783550B - 一种垃圾投放行为的收集*** - Google Patents

Abstract

本发明提出的一种垃圾投放行为的收集***，包括垃圾房、采集模块、调整模块、存储模块以及处理模块和展示模块，所述采集模块与存储模块和处理模块连接，所述处理模块与存储模块和展示模块连接。本发明通过布设人脸采集摄像头以及垃圾采集摄像头在发生垃圾投放行为时，再确定垃圾投放人的身份，将相关的投放行为与垃圾投放人进行关联，有利于后续可以从不同的维度如年龄、职业等方面分析垃圾投放行为，保证垃圾分类的宣导针对性的同时，提高宣导的通用性；同时，通过在每个垃圾桶的底部设置调整模块，即可保证各个摄像头采集的图像的质量，从而保证了图像识别的准确性，对现有垃圾房的改进小，成本低。

Description

一种垃圾投放行为的收集***

技术领域

本发明涉及垃圾分类领域，尤其是涉及一种垃圾投放行为的收集***。

背景技术

在资源化、无害化、减量化的量化指标推动下，省、市、区、社区的各级管理部门垃圾分类工作从原先的纸上填报逐渐落实为切实有效的实战方法，在提升垃圾分类投放质量方面尝试了非常多的方法。各街道、社区通过贴海报、发宣传册、办培训班、互联网传播等方法来宣导垃圾分类的相关知识，但由于每个人掌握的基础知识不同，无法做到有针对性的宣导。

而为了实现更有针对性的宣告，目前往往通过图像识别等方法对居民的垃圾投放情况进行监管，通常的做法是先识别居民的身份，然后追踪其投放的质量。而为了识别居民的身份，很多社区需要对垃圾房进行较大的改进，如设置专门的门禁***，确认了居民的身份，甚至需要居民先选择要投放的垃圾类型，才能开启相应的垃圾桶，不仅投放流程繁琐，且对居民的要求更高，不利于收集真实的投放情况，不适用于垃圾分类需要有针对性宣导的初期，且按照现有的垃圾分类监管方法来改进现有社区的垃圾投放点，成本过高。

发明内容

为解决上述问题，本发明提出了一种垃圾投放行为的收集***。

本发明的主要内容包括：

一种垃圾投放行为的收集***，包括：

垃圾房，所述垃圾房包括至少一个投放橱窗以及若干垃圾桶；

采集模块，包括至少一个人脸采集摄像头以及至少一个垃圾采集摄像头；所述垃圾采集摄像头设置在垃圾桶的正上方，用于采集垃圾桶内区域以及垃圾桶周边区域的视频流；所述人脸采集摄像头布设在所述垃圾桶后方且正对所述投放橱窗设置，用于采集投放橱窗区域的视频流；

调整模块，包括环境收集组件以及支撑机构，所述环境收集组件用于获取垃圾桶周围的环境参数，所述支撑机构布设在单个垃圾桶底部，根据所述环境收集组件采集的数据，所述支撑机构调节垃圾桶内垃圾的高度；

存储模块，用于存储所述垃圾采集摄像头传输的垃圾桶内区域、垃圾桶周边区域的视频流以及所述人脸采集摄像头传输的投放橱窗区域的视频流；

处理模块，包括投放行为发现单元以及投放人发现单元；所述投放行为发现单元用于通过变动检测获取垃圾桶内区域以及垃圾桶周边区域的变动情况，当垃圾桶周边区域发生变动时，通过目标识别获取垃圾信息；当垃圾桶内区域发生变动时，通过目标识别获取手部运动信息；所述投放人发现单元根据所述手部运动信息，确定目标投放人；

展示模块，对所述投放行为发现单元获取的垃圾信息以及手部运动信息进行评价，并将评价结果与目标投放人关联后展示。

优选的，所述投放行为发现单元包括变动检测子单元、垃圾分类子单元以及手部运动子单元；所述变动检测子单元通过帧差法对垃圾桶内区域以及垃圾桶周边区域的视频流的图像帧进行处理，当垃圾桶周边区域发生变动时，发出第一变动提示；当垃圾桶内区域发生变动时，发出第二变动提示；

所述手部运动子单元，获取第一变动提示后，通过分析获取到的垃圾桶周边区域的视频流中变动前后包含手部的图像帧，通过投放方向识别算法，获取手部运动的投放方向；

所述垃圾分类子单元，获取第二变动提示后，通过分析垃圾桶内区域的视频流中变动前后的图像帧，通过图像分类算法，获取垃圾分类的结果。

优选的，获取第二变动提示后，通过分析垃圾桶内区域的视频流中变动前后的图像帧，通过图像分类算法，获取垃圾分类的结果包括如下步骤：

获取变动发生前的至少一帧图片以及变动发生后至少一帧图像；

通过孪生网络对比相应两帧图片中垃圾桶内区域的变动情况，生成变动区域的掩码；

根据掩码位置裁切出投入的垃圾的图像，利用目标检测算法，识别出投入垃圾的分类结果。

优选的，所述投放人发现单元包括多人匹配子单元以及识别质量提升子单元；所述多人匹配子单元用于由包含有多个人脸的目标图像帧中确定目标投放人，其中，所述目标图像帧由所述人脸采集摄像头传输的投放橱窗区域的视频流中获得；所述识别质量提升子单元根据环境收集组件的环境参数，调节所述人脸采集摄像头的参数以及安装角度，对人脸采集摄像头传输的视频流中的人脸进行检测，获取最优人脸信息，确定目标投放人。

优选的，所述多人匹配子单元用于由包含有多个人脸的目标图像帧中确定目标投放人，包括如下步骤：

当获取到第一变动提示或第二变动提示时，获取人脸采集摄像头采集到的相应的缓存视频流中包含多个人脸的多帧人脸图像；

获取每帧人脸图像中的多个人脸的人脸大小以及人脸位置，所述人脸位置是指在人脸在投放橱窗区域的坐标；

按照预先设置的评价标准，为每帧人脸图像中多个人脸的人脸大小以及人脸位置进行评分，分别获得人脸大小分数以及人脸位置分数；

根据人脸位置，确定其预设的投放方向；比较预设的投放方向以及所述手部运动子单元获取的手部运动的投放方向，按照预先设定的规则进行评分，获得投放方向分数；

将人脸大小分数、人脸位置分数以及投放方向分数，加权求和得到其相应的人脸等级分数，选择人脸等级分数最大值的人脸作为目标投放人。

优选的，所述环境收集组件包括布设在垃圾房内的环境光传感器，用于获取垃圾房内的环境亮度；所述支撑机构根据环境亮度调整垃圾桶的底部的高度。

优选的，所述垃圾桶包括上下开口的桶主体以及底桶，所述支撑机构包括升降底板以及驱动升降底板上下运动的驱动机构，所述驱动机构布设在所述底桶内，所述驱动机构根据所述环境光传感器获取的环境亮度驱动所述升降底板在所述桶主体内上下运动。

优选的，所述驱动机构包括水平设置的调节齿条、与所述调节齿条啮合的驱动齿轮和轴承连接在所述底桶底部的调节套体、与所述升降底板连接的升降柱体以及驱动电机；所述升降柱体与所述调节套体螺纹连接；所述驱动电机的主轴与所述驱动齿轮连接。

优选的，所述升降底板上布设有重量传感器；所述升降底板上布设有若干喷嘴，所述升降柱体内布设有喷淋管体，所述喷淋管体与若干所述喷嘴连接。

优选的，所述升降底板与所述桶本体的内壁抵接的端面设置有毛刷，所述底桶内还设有至少一风机。

本发明的有益效果在于：本发明提出的一种垃圾投放行为的收集***，通过布设人脸采集摄像头以及垃圾采集摄像头在发生垃圾投放行为时，再确定垃圾投放人的身份，将相关的投放行为与垃圾投放人进行关联，有利于后续可以从不同的维度如年龄、职业等方面分析垃圾投放行为，保证垃圾分类的宣导针对性的同时，提高宣导的通用性；同时，通过在每个垃圾桶的底部设置调整模块，即可保证各个摄像头采集的图像的质量，从而保证了图像识别的准确性，对现有垃圾房的改进小，成本低。

附图说明

图1为本发明支撑机构的结构示意图；

附图标记：

1、电机，2、驱动齿轮，3、调节齿条，4、从动齿轮，5、调节套体，6、升降柱体，7、轴承，8、喷淋口，9、升降底板，10、毛刷，11、桶主体，12、底桶，13、风机，14、排液口。

具体实施方式

以下结合附图对本发明所保护的技术方案做具体说明。

本发明公开了一种垃圾投放行为的收集***，应用在现有的垃圾投放点，现有的垃圾投放点包括垃圾房，垃圾房通常在一面墙开设有至少一个投放橱窗，靠近开设投放橱窗的墙体内侧设置有若干个垃圾桶，实际使用时，至少提供有四个垃圾桶，每个垃圾桶分别用于收集不同类型的垃圾，在垃圾桶的正上方设置有垃圾采集摄像头，用于获取垃圾桶内区域以及垃圾桶周边区域的视频；其中，垃圾桶内区域与垃圾桶周边区域的轮廓以垃圾桶桶口为界，通过识别垃圾桶内区域的变动情况来评价垃圾分类的质量，通过识别垃圾桶周边区域的变动情况来获取垃圾的投放方向，一方面评价是否出现违规投放，另一方面还能够帮助识别出目标的投放人。

而为了提升采集到的视频质量，降低图像处理的复杂度，提高目标识别的精度，对现有的垃圾桶的结构做了一些改进，使得垃圾采集摄像头与待识别目标之间保持最佳的距离，在本发明中通过采集垃圾房内的环境亮度，结合投入垃圾的重量，对垃圾桶内投入垃圾的高度进行相应的调节，即随着垃圾的投入和环境亮度，提高或者降低垃圾的高度；同时，当调整模块达到设定的高度时，还能够作为垃圾桶满溢的提醒。在其中一个实施例中，四个垃圾桶可以共用一个垃圾采集摄像头，在调节各桶内垃圾高度的时候还需要结合各自在采集区域内的位置等数据，计算相对更复杂一些；在其他实施例中，每个垃圾桶均配置一个单独的垃圾采集摄像头，这样可以根据每个垃圾桶内的投放情况和环境亮度分别调节，从而能够使得采集和识别更加精确。

进一步地，调节高度、垃圾采集摄像头的参数、环境亮度等的关系与所选用的目标识别算法存在直接的关系，对于本领域的技术人员而言，可以根据使用的目标识别模型所需的输入图像的规格具体设定上述参数之间的关系。

具体地，本发明提出的一种垃圾投放行为的收集***，包括垃圾房、采集模块、调整模块、存储模块以及处理模块和展示模块，其中，所述采集模块采集垃圾桶内区域、垃圾桶周边区域以及投放橱窗区域的视频流，将其存储在所述存储模块，当发生垃圾投放行为时，所述处理模块获取存储的视频流，经目标识别后得到投放的垃圾信息以及相应的投放人的身份信息，最终将相关的分析结果进行展示，展示的形式多样，可以是文字、图表或者相关的视频截图等等。

更具体地，所述垃圾房包括至少一个投放橱窗以及若干垃圾桶，若干所述垃圾桶的结构做了一定的改进；如图1所示，所述垃圾桶包括上下设置的桶主体11以及底桶12，所述桶主体11为两端开口的结构，所述底桶12为一端开口的设置，两者可以一体成型，也可以独立可拆卸的组合使用，在一个实施例中，所述底桶12可以配置不同的桶本体；在所述底桶内设置有所述支撑机构，所述支撑机构包括升降底板9以及驱动机构，所述驱动机构驱动所述升降底板9能够在桶主体11内上下运动，且其两端与所述桶主体11的内壁保持密封，防止垃圾掉落至底桶内；具体地，所述驱动机构包括水平设置的调节齿条3、驱动齿轮2、调节套体5、与调节套体5螺纹连接的升降柱体6以及驱动电机1；所述调节齿条3长度可以小于所述底桶12的宽度，使得所述调节齿条3能够在底桶12内有足够的空间水平运动，在其他实施例中，当然也可以伸出底桶12外部。

所述驱动齿轮2与所述驱动电机1的主轴连接，且与所述调节齿条3啮合；所述调节套体5通过轴承7连接在所述底桶12的底部，且通过从动齿轮4与所述调节齿条3啮合；所述驱动电机1驱动所述驱动齿轮2转动，使得所述调节齿条3水平运动，从而使得所述调节套体5能够随着所述调节套体5的运动而转动，随着所述调节套体5的转动而使得其与所述升降柱体螺纹拧紧或拧松，从而使得所述升降底板9上升或者下降。

在本实施例中，所述升降底板9的升降高度一方面由所述环境收集组件决定，另一方面还跟投放的垃圾的重量相关，所述环境收集组件包括布设在垃圾房内的环境光传感器，用于获取垃圾房内的环境亮度；所述升降底板9上布设有重量传感器。

在其他实施例中，当升降底板9下降到设定的高度时，则表示垃圾投入量已满，即可发出满溢的提示，即可提示工作人员介入处置，当工作人员倾倒处理后，所述升降底板9再根据环境亮度调节至初始高度，在其恢复到初始的高度时，可以先通过设置在所述升降底板9两端的毛刷10对桶壁进行清洁，随后还可以通过布设在升降柱体6内的喷淋管体以及布设在所述升降底板底面的喷淋口8内的喷嘴喷洒清洁剂或者清水，对桶壁进行清洁，之后通过底桶12底部的排液口14排出废水，最后再通过风机13烘干底桶。即还能够完成自动的垃圾桶清洁。

而所述采集模块包括至少一个人脸采集摄像头以及至少一个垃圾采集摄像头；其中，所述垃圾采集摄像头设置在垃圾桶的正上方，用于采集垃圾桶内区域以及垃圾桶周边区域的视频流；所述人脸采集摄像头布设在所述垃圾桶后方且正对所述投放橱窗设置，用于采集投放橱窗区域的视频流；存储模块，用于存储所述垃圾采集摄像头传输的垃圾桶内区域、垃圾桶周边区域的视频流以及所述人脸采集摄像头传输的投放橱窗区域的视频流。

所述处理模块包括投放行为发现单元以及投放人发现单元；所述投放行为发现单元用于通过变动检测获取垃圾桶内区域以及垃圾桶周边区域的变动情况，当垃圾桶周边区域发生变动时，通过目标识别获取垃圾信息；当垃圾桶内区域发生变动时，通过目标识别获取手部运动信息；具体地，所述投放行为发现单元包括变动检测子单元、垃圾分类子单元以及手部运动子单元；所述变动检测子单元通过帧差法对垃圾桶内区域以及垃圾桶周边区域的视频流的图像帧进行处理，当垃圾桶周边区域发生变动时，发出第一变动提示；当垃圾桶内区域发生变动时，发出第二变动提示；

所述手部运动子单元，而当出现第一变动提示时，即表示所述垃圾桶周边区域内出现了变动，可能是出现了手部，此时，通过所述手部运动子单元分析获取到的垃圾桶周边区域的视频流中变动前后包含手部的图像帧，通过投放方向识别算法，获取手部运动的投放方向，结合后续的人脸信息，来判定目标投放人以及是否为违规投放，这部分将在确定目标投放人部分详细阐述。

而所述垃圾分类子单元，则是在获取第二变动提示后，通过分析垃圾桶内区域的视频流中变动前后的图像帧，通过图像分类算法，获取垃圾分类的结果，具体地，获取变动发生前的至少一帧图片以及变动发生后至少一帧图像；通过孪生网络对比相应两帧图片中垃圾桶内区域的变动情况，生成变动区域的掩码；根据掩码位置裁切出投入的垃圾的图像，利用目标检测算法，识别出投入垃圾的分类结果。

在本实施例中，所述投放人发现单元根据所述手部运动信息，确定目标投放人；具体地，当垃圾桶内区域以及垃圾桶周边区域发生变动时，所述投放人发现单元获取存储在所述存储模块的所述人脸采集摄像头采集的与该变动发生时刻相应的视频流，通过对视频流中的人脸信息进行识别，以得到目标投放人。

进一步地，所述投放人发现单元包括多人匹配子单元以及识别质量提升子单元；所述多人匹配子单元用于由包含有多个人脸的目标图像帧中确定目标投放人，其中，所述目标图像帧由所述人脸采集摄像头传输的投放橱窗区域的视频流中获得；当发生了第一变动提示或第二变动提示时，获取人脸采集摄像头采集到的相应的缓存视频流中包含多个人脸的多帧人脸图像；获取每帧人脸图像中的多个人脸的人脸大小以及人脸位置，所述人脸位置是指在人脸在投放橱窗区域的坐标；按照预先设置的评价标准，为每帧人脸图像中多个人脸的人脸大小以及人脸位置进行评分，分别获得人脸大小分数以及人脸位置分数；根据人脸位置，确定其预设的投放方向；比较预设的投放方向以及所述手部运动子单元获取的手部运动的投放方向，按照预先设定的规则进行评分，获得投放方向分数；将人脸大小分数、

人脸位置分数以及投放方向分数，加权求和得到其相应的人脸等级分数，选择人脸等级分

数最大值的人脸作为目标投放人。

其中，如当仅发生第一变动提示，而未发生第二变动提示时，即在垃圾桶周边区域内出现了手部信息，但各个垃圾桶内并未发生变动时，将其记录为一次违规投放，此时仅记录投放行为。而当同时发生了第二变动提示，即垃圾投入桶内，此时还可以记录垃圾分类的质量。

而所述识别质量提升子单元根据环境收集组件的环境参数，调节所述人脸采集摄像头的参数以及安装角度，对人脸采集摄像头传输的视频流中的人脸进行检测，获取最优人脸信息，确定目标投放人，人脸检测以及目标识别模型采用现有的AI模型也可以实现。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种垃圾投放行为的收集***，其特征在于，包括：

垃圾房，所述垃圾房包括至少一个投放橱窗以及若干垃圾桶；

采集模块，包括至少一个人脸采集摄像头以及至少一个垃圾采集摄像头；所述垃圾采集摄像头设置在垃圾桶的正上方，用于采集垃圾桶内区域以及垃圾桶周边区域的视频流；所述人脸采集摄像头布设在所述垃圾桶后方且正对所述投放橱窗设置，用于采集投放橱窗区域的视频流；

调整模块，包括环境收集组件以及支撑机构，所述环境收集组件用于获取垃圾桶周围的环境参数，所述支撑机构布设在单个垃圾桶底部，根据所述环境收集组件采集的数据，所述支撑机构调节垃圾桶内垃圾的高度；

存储模块，用于存储所述垃圾采集摄像头传输的垃圾桶内区域、垃圾桶周边区域的视频流以及所述人脸采集摄像头传输的投放橱窗区域的视频流；

处理模块，包括投放行为发现单元以及投放人发现单元；所述投放行为发现单元用于通过变动检测获取垃圾桶内区域以及垃圾桶周边区域的变动情况，当垃圾桶周边区域发生变动时，通过目标识别获取垃圾信息；当垃圾桶内区域发生变动时，通过目标识别获取手部运动信息；所述投放人发现单元根据所述手部运动信息，确定目标投放人；

展示模块，对所述投放行为发现单元获取的垃圾信息以及手部运动信息进行评价，并将评价结果与目标投放人关联后展示。

2.根据权利要求1所述的一种垃圾投放行为的收集***，其特征在于，所述投放行为发现单元包括变动检测子单元、垃圾分类子单元以及手部运动子单元；所述变动检测子单元通过帧差法对垃圾桶内区域以及垃圾桶周边区域的视频流的图像帧进行处理，当垃圾桶周边区域发生变动时，发出第一变动提示；当垃圾桶内区域发生变动时，发出第二变动提示；

所述手部运动子单元，获取第一变动提示后，通过分析获取到的垃圾桶周边区域的视频流中变动前后包含手部的图像帧，通过投放方向识别算法，获取手部运动的投放方向；

所述垃圾分类子单元，获取第二变动提示后，通过分析垃圾桶内区域的视频流中变动前后的图像帧，通过图像分类算法，获取垃圾分类的结果。

3.根据权利要求2所述的一种垃圾投放行为的收集***，其特征在于，获取第二变动提示后，通过分析垃圾桶内区域的视频流中变动前后的图像帧，通过图像分类算法，获取垃圾分类的结果包括如下步骤：

获取变动发生前的至少一帧图片以及变动发生后至少一帧图像；

通过孪生网络对比相应两帧图片中垃圾桶内区域的变动情况，生成变动区域的掩码；

根据掩码位置裁切出投入的垃圾的图像，利用目标检测算法，识别出投入垃圾的分类结果。

4.根据权利要求2所述的一种垃圾投放行为的收集***，其特征在于，所述投放人发现单元包括多人匹配子单元以及识别质量提升子单元；所述多人匹配子单元用于由包含有多个人脸的目标图像帧中确定目标投放人，其中，所述目标图像帧由所述人脸采集摄像头传输的投放橱窗区域的视频流中获得；所述识别质量提升子单元根据环境收集组件的环境参数，调节所述人脸采集摄像头的参数以及安装角度，对人脸采集摄像头传输的视频流中的人脸进行检测，获取最优人脸信息，确定目标投放人。

5.根据权利要求4所述的一种垃圾投放行为的收集***，其特征在于，所述多人匹配子单元用于由包含有多个人脸的目标图像帧中确定目标投放人，包括如下步骤：

当获取到第一变动提示或第二变动提示时，获取人脸采集摄像头采集到的相应的缓存视频流中包含多个人脸的多帧人脸图像；

获取每帧人脸图像中的多个人脸的人脸大小以及人脸位置，所述人脸位置是指在人脸在投放橱窗区域的坐标；

按照预先设置的评价标准，为每帧人脸图像中多个人脸的人脸大小以及人脸位置进行评分，分别获得人脸大小分数以及人脸位置分数；

根据人脸位置，确定其预设的投放方向；比较预设的投放方向以及所述手部运动子单元获取的手部运动的投放方向，按照预先设定的规则进行评分，获得投放方向分数；

将人脸大小分数、人脸位置分数以及投放方向分数，加权求和得到其相应的人脸等级分数，选择人脸等级分数最大值的人脸作为目标投放人。

6.根据权利要求1所述的一种垃圾投放行为的收集***，其特征在于，所述环境收集组件包括布设在垃圾房内的环境光传感器，用于获取垃圾房内的环境亮度；所述支撑机构根据环境亮度调整垃圾桶的底部的高度。

7.根据权利要求6所述的一种垃圾投放行为的收集***，其特征在于，所述垃圾桶包括上下开口的桶主体以及底桶，所述支撑机构包括升降底板以及驱动升降底板上下运动的驱动机构，所述驱动机构布设在所述底桶内，所述驱动机构根据所述环境光传感器获取的环境亮度驱动所述升降底板在所述桶主体内上下运动。

8.根据权利要求7所述的一种垃圾投放行为的收集***，其特征在于，所述驱动机构包括水平设置的调节齿条、与所述调节齿条啮合的驱动齿轮、轴承连接在所述底桶底部的调节套体、与所述升降底板连接的升降柱体以及驱动电机；所述升降柱体与所述调节套体螺纹连接；所述驱动电机的主轴与所述驱动齿轮连接，所述调节套体通过从动齿轮与所述调节齿条啮合。

9.根据权利要求8所述的一种垃圾投放行为的收集***，其特征在于，所述升降底板上布设有重量传感器；所述升降底板上布设有若干喷嘴，所述升降柱体内布设有喷淋管体，所述喷淋管体与若干所述喷嘴连接。

10.根据权利要求9所述的一种垃圾投放行为的收集***，其特征在于，所述升降底板与所述桶主体的内壁抵接的端面设置有毛刷，所述底桶内还设有至少一风机。