CN110921154A - 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车 - Google Patents

Abstract

本发明实施例涉及环保清洁技术领域，尤其涉及一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车，所述垃圾回收巡逻车设置有垃圾桶，所述垃圾回收巡逻车用于投放至对应的巡逻道路上，该方法通过获取所述垃圾回收巡逻车的行驶环境的视频帧图像；根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；识别用户投放的垃圾类别；分类回收用户投放的垃圾；定时识别所述垃圾桶中的垃圾存储量；当检测到垃圾溢满时，控制垃圾回收巡逻车运行至回收站点倾倒，之后以重新回收用户投放的垃圾。通过上述方式，可以自动识别垃圾类别，促使用户分类投放以保护环境资源，无需清洁人员进行二次分类，节约人力成本。

Description

一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车

技术领域

本发明实施例涉及环保清洁技术领域，尤其涉及一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车。

背景技术

垃圾回收是对垃圾进行收集处理，垃圾分类是对垃圾收集处置的进一步改进，对环境保护和资源再利用非常重要。现小区、学校或工业园等结构化环境中，主要通过清洁人员投放一定数量的分类垃圾桶，并通过保洁员定时定期将垃圾桶内的垃圾清理至回收站。一方面，定点投放垃圾，用户往往选择最近的垃圾桶，在用户集中的区域经常出现垃圾溢出的现象，严重影响生活环境。另一方面，在无监控的情况下，用户不一定将垃圾分类投放。

本发明发明人在实现本发明实施例的过程中，发现：目前，主要通过在区域内设置垃圾回收机，供用户投放垃圾，再由清洁人员将垃圾运输至回收站点。但垃圾回收机体积庞大、价格昂贵，一个区域内的数量有限，距离用户较远，因此投放很不方便，并且需要较大的清洁人力成本。

发明内容

本发明实施例主要解决的技术问题是提供一种总控垃圾回收巡逻车的方法、装置及垃圾回收巡逻车，能够方便用户分类投放垃圾，减轻垃圾收集的人力成本，有助于建设良好城市环境。

为解决上述技术问题，本发明实施例采用以下技术方案：

为解决上述技术问题，第一方面，本发明实施例提供了一种控制垃圾回收巡逻车的方法，包括：

获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；

识别用户投放的垃圾类别；

判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；

若相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；

定时识别所述垃圾桶中的垃圾存储量；

判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；

若是，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；

在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

在一些实施例中，所述根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路的步骤，进一步包括：

识别所述视频帧图像中的车道线；

获取各所述车道线所在位置的道路的颜色；

从各所述车道线所在位置的道路的颜色中，识别出颜色与所述垃圾回收巡逻车的预设垃圾回收类别对应的道路，并且将所述道路作为所述垃圾回收巡逻车的巡逻道路；

计算所述巡逻道路的方位和距离；

根据所述巡逻道路的方位和距离，控制所述垃圾回收巡逻车运行至所述巡逻道路。

在一些实施例中，所述识别所述视频帧图像中的车道线的步骤，进一步包括：

从所述视频帧图像中，提取目标区域，以获得道路图像；

对所述道路图像进行预处理，其中，所述预处理包括二值化和反透视变换；

根据所述预处理后的道路图像，提取车道线特征；

将所述车道线特征输入预设分类模型，对所述车道线进行识别。

在一些实施例中，还包括：

根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人；

若存在行人，计算所述行人与所述垃圾回收巡逻车的距离；

判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值；

若是，控制所述垃圾回收车紧急停止；

若否，发出警报提醒。

在一些实施例中，所述根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人的步骤，进一步包括：

将所述视频帧图像输入预设的预设行人集成检测框架中，由所述预设行人集成检测框架识别是否存在行人；

所述预设的行人集成检测框架为头部检测器、躯干检测器、左臂检测器、右臂检测器和腿部检测器的集成。

在一些实施例中，所述识别用户投放的垃圾的垃圾类别的步骤，进一步包括：

获取所述用户投放的垃圾的图像；

将所述用户投放的垃圾的图像输入预设的垃圾分类算法模型，确定所述用户投放的垃圾类别。

为解决上述技术问题，第二方面，本发明实施例中还提供了一种控制垃圾回收巡逻车的装置，包括：

第一获取模块，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

第一控制模块，用于根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；

第一识别模块，用于识别用户投放的垃圾类别；

第一判断模块，用于判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；

开启模块，用于若所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；

第二识别模块，用于定时识别所述垃圾桶中的垃圾存储量；

第二判断模块，用于判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；

第二控制模块，用于若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；

第三控制模块，用于在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

在一些实施例中，还包括：

行人检测模块，用于根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人；

距离计算模块，用于若存在行人，计算所述行人与所述垃圾回收巡逻车的距离；

第三判断模块，用于判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值；

第四控制模块，用于若所述行人与所述垃圾回收巡逻车的距离小于预设阈值，控制所述垃圾回收车紧急停止；

警报模块，用于若所述行人与所述垃圾回收巡逻车的距离大于等于预设阈值，发出警报提醒。

为解决上述技术问题，第三方面，本发明实施例中还提供了一种垃圾回收巡逻车，包括：

车体；

垃圾桶，所述垃圾桶设置于车体上；

图像获取模块，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

至少一个处理器，分别与所述车体、垃圾桶以及图像获取模块连接；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上第一方面所述的方法。

为解决上述技术问题，第四方面，本发明实施例中还提供了一种包含程序代码的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如上第一方面所述的方法。

本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车，所述垃圾回收巡逻车设置有垃圾桶，所述垃圾回收巡逻车用于投放至对应的巡逻道路上，该方法通过获取所述垃圾回收巡逻车的行驶环境的视频帧图像；根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；识别用户投放的垃圾类别；判断所述用户投放的垃圾的垃圾类别是否与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；若相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；定时识别所述垃圾桶中的垃圾存储量；判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；若是，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻，以重新回收用户投放的垃圾。例如在小区内，将路线规划至单元楼门口，在规划好的路线上间隔投放多辆垃圾回收巡逻车，用户下楼即可投放垃圾；该垃圾回收巡逻车可以自动识别垃圾类别，促使用户分类投放以保护环境资源，无需清洁人员进行二次分类，节约人力成本。此外，可根据特定场景规划垃圾回收巡逻车的垃圾类别，例如酒店的厨房区域，可只设置用于回收厨余垃圾的垃圾回收巡逻车，从而可减少垃圾车或垃圾桶等环保用具的配置。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例的控制垃圾回收巡逻车的方法的实施例的应用环境的示意图；

图2是本发明实施例提供的一种控制垃圾回收巡逻车的方法的流程图；

图3是图2所示方法中步骤20的一子流程图；

图4是图3所示方法中步骤21的一子流程图；

图5是图2所示方法中步骤30的一子流程图；

图6是本发明另一实施例提供的一种控制垃圾回收巡逻车的方法的流程图；

图7是图6所示方法中步骤100的一子流程图；

图8是本发明实施提供的一种控制垃圾回收巡逻车的装置的结构示意图；

图9是本发明实施例提供的垃圾回收巡逻车的硬件结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1，为应用于本发明的控制垃圾回收巡逻车的方法的实施例的应用环境的示意图，该***包括：垃圾回收巡逻车170、巡逻道路180和垃圾回收站点190。所述垃圾回收巡逻车170可以为多辆垃圾回收巡逻车中的其中一辆，所述垃圾回收站点190可以为多个垃圾回收站点中的其中一个。

对于上述巡逻道路180作为上述垃圾巡逻车170的专用行使道路，可根据需求规划于结构化环境中，例如小区、学校、大型酒店或工业园等。所述巡逻道路可设置为多条道路，图1中仅以2条道路为例，道路181和道路182。每条道路均设置有车道线和各自的颜色，车道线用于指引垃圾巡逻车行驶，道路的颜色对应垃圾回收巡逻车170的类型，即垃圾回收巡逻车170回收垃圾的垃圾类别与道路的颜色一一对应，颜色与所述垃圾回收巡逻车170的预设垃圾回收类别对应的道路作为所述垃圾回收巡逻车的巡逻道路，可根据需要预设。例如，道路181的颜色为红色，在红色巡逻道路上行驶的垃圾回收巡逻车170只用于回收不可回收垃圾，道路181为回收不可回收垃圾的垃圾回收巡逻车170的巡逻道路，道路182的颜色为绿色，在绿色巡逻道路上行驶的垃圾回收巡逻车170只用于回收可回收垃圾，道路182为回收不可回收垃圾的垃圾回收巡逻车170的巡逻道路。

对于上述垃圾回收站点190，与上述巡逻道路180连接，是结构化环境中或一定区域内的垃圾回收集中地，设置于结构化环境中或一定区域内，例如小区或学校里的垃圾回收集中地等。

对于上述垃圾回收巡逻车170，包括车体171、垃圾桶172、摄像头173和控制模块174。其中，垃圾桶172设置于车体上，用于装载回收的垃圾；摄像头173设置于车体前上方，用于获取行驶环境的视频帧图像；控制模块174分别与所述摄像机173和车体171通信连接，通过分析摄像头173获取的视频帧图像，控制车体171行驶。其中，所述通信连接可以是有线连接，例如：光纤电缆，也可以是无线通信连接，例如：WIFI连接、蓝牙连接、4G无线通信连接，5G无线通信连接等等。

所述摄像机173为能够录制视频的装置，例如：具有拍摄功能的手机、录像机或摄像头等。

所述控制模块174为是能够按照程序运行，自动、高速处理海量数据的设备，其通常是由硬件***和软件***所组成，例如：计算机、智能手机等等。控制模块可以是本地设备，其直接与所述摄像机连接；也可以是云设备，例如：云服务器、云主机、云服务平台、云计算平台等，云设备通过网络与所述摄像机连接，并且两者通过预定的通信协议通信连接，在一些实施例，该通信协议可以是TCP/IP、NETBEUI和IPX/SPX等协议。

可以理解的是：所述控制模块174和摄像机173也可以集成在一起，作为一体式的设备，又或者，摄像机173和控制模块174集成于垃圾回收巡逻车170上，作为垃圾回收巡逻车170的部件。

由摄像机173采集行驶环境的视频帧图像，并传输给控制模块174。基于所述行驶环境的视频帧图像，控制模块174控制垃圾回收巡逻车170在巡逻道路180上行驶巡逻，分类回收用户投放的垃圾于垃圾桶172，并能进行溢满倾倒至回收站点190。

本发明实施例提供了一种应用于上述应用环境的控制垃圾回收巡逻车的方法，该方法可被上述控制模块174执行，请参阅图2，该方法包括：

步骤10：获取所述垃圾回收巡逻车的行驶环境的视频帧图像。

垃圾回收巡逻车的行驶环境的视频帧图像是由设置于垃圾车上方的摄像机实时采集到的视频的帧图像，其包括垃圾回收车周围的环境和路面状况，具体的包括道路、行人、风景和其它障碍物等。所述摄像机相当于垃圾回收巡逻车的眼睛，通过获取周围环境和路面状况，以便下一步控制垃圾回收巡逻车自动行驶。

步骤20：根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻。

基于上述视频帧图像，识别周围环境和路况，从而控制垃圾回收巡逻车行驶至巡逻道路，并且在所述巡逻道路行驶巡逻，不偏离巡逻道路，按规章行驶，以回收用户投放的垃圾。可以理解的是，可根据规划的巡逻道路，使垃圾回收巡逻车定点停止预设时间，以方便用户投放垃圾。

为了识别周围环境和路况，在一些实施例中，请参阅图3，所述步骤20进一步包括：

步骤21：识别所述视频帧图像中的车道线。

各巡逻道路上均设置有车道线，用于指引垃圾回收巡逻车行驶，为垃圾回收巡逻车指明方向以及确定行驶位置，另一方面，还可通过车道线区分巡逻路线。

在一些实施例中，请参阅图4，所述步骤21进一步包括：

步骤211：从所述视频帧图像中，提取目标区域，以获得道路图像；

所述目标区域为所述视频帧图像中的包括道路的区域，通过提取目标区域，获得道路图像。可以理解的是，所述提取可以是限定范围或者图片裁剪的方式。

步骤212：对所述道路图像进行预处理，其中，所述预处理包括二值化和反透视变换。

为了使得车道线清晰准确，对所述道路图像进行二值化和反透视变化。所述二值化是指将图像上的像素点的灰度值设置为0或255，将整个图像呈现出明显的黑白效果，从而使得车道线和背景区别开来，凸显车道线的边缘特征，为后续车道线的识别做准备。

由于视角问题，车道两边平行的车道线在图像中显示为末端相交的直线。通过反透视变化，校正图像中末端相交的直线，使车道线图像的视角呈垂直俯视。

步骤213：根据所述预处理后的道路图像，提取车道线特征。

对上述预处理后的道路图像，可通过图像边缘提取，生成车道线特征。其中，所述图像边缘提取，是指提取图像中不同像素的边缘，车道线特征是指车道线的边缘。通过图像边缘提取后，车道线边缘也被提取出来。所述图像边缘提取可采用现有的边缘检测算法，例如Sobel算法、Canny算法或Kirsch算法等。

步骤214：将所述车道线特征输入预设分类模型，对所述车道线进行识别。

所述预设分类模型是通过将已标注有车道线标签的图像输入分类算法训练学习得到。所述分类算法可采用现有的分类算法，例如逻辑回归算法、决策树或卷积神经网络等。将所述车道线特征输入预设分类模型，对所述车道线进行识别，从而可以检测出图像中的车道线。

步骤22：获取各所述车道线所在位置的道路的颜色。

每条道路均设置有各自的颜色，道路的颜色对应垃圾巡逻车的类型，即垃圾回收巡逻车回收垃圾的垃圾类别与道路的颜色一一对应，可根据需要预设。通过获取各所述车道线所在位置的道路的颜色，即可识别出各巡逻道路对应的颜色，以便选择对应的巡逻道路。

步骤23：从各所述车道线所在位置的道路的颜色中，识别出颜色与所述垃圾回收巡逻车的预设垃圾回收类别对应的道路，并且将所述道路作为所述垃圾回收巡逻车的巡逻道路。

在识别出各所述车道线所在位置的道路的颜色之后，从中选出颜色与所述垃圾回收巡逻车的预设垃圾回收类别对应的道路，并且将所述道路作为所述垃圾回收巡逻车的巡逻道路。从而所述垃圾回收巡逻车均可在对应的巡逻道路上行驶，以回收对应垃圾类别的垃圾，实现垃圾分类回收。

步骤24：计算所述巡逻道路的方位和距离。

所述巡逻道路的方位和距离是指垃圾回收巡逻车的位置相对于与之对应的巡逻道路的方位和距离，计算出所述巡逻道路的方位和距离，作为垃圾回收巡逻车行驶调整的依据。

步骤25：根据所述巡逻道路的方位和距离，控制所述垃圾回收巡逻车运行至所述巡逻道路。

在巡逻道路的方位和距离确定后，控制所述垃圾回收巡逻车按此方位和距离运行，即可运行至所述巡逻道路上。

步骤30：识别用户投放的垃圾类别。

垃圾类别包括可回收垃圾、干垃圾、湿垃圾(厨余垃圾)和有害垃圾。识别用户投放的垃圾类别，以确保垃圾分类回收，可以减少垃圾处理量和处理设备，降低处理成本。

在一些实施例中，可结合图像识别的技术来识别垃圾类别，请参阅图5，所述步骤30进一步包括：

步骤31：获取所述用户投放的垃圾的图像。

所述用户投放的垃圾的图像可通过在垃圾桶上方设置摄像头获取，摄像头对用户投放的垃圾进行拍摄，生成所述图像。

步骤32：将所述用户投放的垃圾的图像输入预设的垃圾分类算法模型，确定所述用户投放的垃圾类别。

预设的垃圾分类算法模型是通过将训练集输入分类算法学习得到的，其中，训练集包括上述各垃圾类别的多张图像以及对应的标签，分类算法模型可采用现有的分类算法，例如决策树、随机森林、SVM或卷积神经网络等。将所述用户投放的垃圾的图像输入预设的垃圾分类算法模型，即可确定所述用户投放的垃圾类别。

步骤40：判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同。

为确保投放于垃圾桶中的垃圾与所述垃圾回收训练车的预设垃圾回收类别相同，达到分类回收的效果，在识别出用户投放的垃圾类别后，进一步，需判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同。

步骤50：若所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾。

若用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，例如所述垃圾回收巡逻车预设回收干垃圾，识别出用户投放的垃圾也为干垃圾，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾，若识别出用户投放的垃圾也为湿垃圾，则不开启所述垃圾回收巡逻车的垃圾桶，从而确保垃圾正确分类投放。

步骤60：定时识别所述垃圾桶中的垃圾存储量。

垃圾回收巡逻车在巡逻的过程中，会出现垃圾溢满的情况，若不及时处理，不仅影响用户投放垃圾，而且浪费垃圾回收巡逻车的资源，为了及时清理垃圾桶中的垃圾，通过定时识别所述垃圾桶中的垃圾存储量，以及时获取需要清理的信号。在一些实施例中，可通过红外感应技术或体积检测等方式来探测识别垃圾桶中的垃圾存储量。

步骤70：判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值。

所述预设第一阈值为需要清理垃圾桶中的垃圾的临界值，若大于等于所述预设第一阈值，则说明垃圾已溢满，需要清理。值得注意的是，所述预设第一阈值是人工设定的，可根据实际情况，例如垃圾桶的大小，或多次试验得到。

步骤80：若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒。

若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，即垃圾已溢满，通过控制所述垃圾回收巡逻车运行至垃圾回收站点的方式，以将垃圾桶内的垃圾进行倾倒。其中，回收站点的位置信息已存储于所述垃圾回收巡逻车中，并且所述垃圾回收巡逻车行驶的训练道路与垃圾回收站点连接，因此，根据垃圾回收站点的位置，垃圾回收巡逻车沿着所对应的巡逻道路运行至回收站点，从而进行垃圾倾倒。可以理解的是，垃圾倾倒可由工作人员手动操作，也可由相应的自动倾倒设备完成。

步骤90：在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

垃圾桶内的垃圾倾倒完成后，通过获取的行驶环境的视频帧图像，识别巡逻道路，从而垃圾回收巡逻车可返回所述巡逻道路继续巡逻，再次回收垃圾。

为了避免所述垃圾回收巡逻车撞到误入巡逻道路的行人，在一些实施例中，请参阅图6，该方法还包括：

步骤100：根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人，若存在，则执行步骤110。

对所述视频帧图像，进行图像识别，以检测对应的巡逻道路上是否存在行人，以进行下一步判断。其中，图像识别可采用现有的人形检测算法。

在一些实施例中，请参阅图7，所述步骤100进一步包括：

步骤101：将所述视频帧图像输入预设的预设行人集成检测框架中，由所述预设行人集成检测框架识别是否存在行人；

所述预设的行人集成检测框架为头部检测器、躯干检测器、左臂检测器、右臂检测器和腿部检测器的集成。

所述预设行人集成检测框架是一种基于部位集成的行人识别算法，用于检测视频帧图像中是否存在行人，能够识别出多姿态及部分遮挡的行人，准确度高。其中，所述预设的行人集成检测框架为头部检测器、躯干检测器、左臂检测器、右臂检测器和腿部检测器的集成。上述五个部位检测器可采用SVM等分类算法训练得到，各部位之间设置有位置关系。通过上述五个部位检测器分别检测视频帧图像中的部位，即头部、躯干、左臂、右臂和腿部，然后将各部位按照位置关系进行组合，进一步根据得到的组合方式判定是否为行人。相比于完整的人形识别，能够处理由于遮挡等造成的部位检测失效的问题。

步骤110：计算所述行人与所述垃圾回收巡逻车的距离。

在识别出行人后，通过行人在图片中的位置，即可计算所述行人与所述垃圾回收巡逻车的距离，以便判断采取措施。

步骤120：判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值，若是，则执行步骤130，若否，则执行步骤140。

所述预设阈值是所述行人与所述垃圾回收巡逻车的距离的临界值，小于预设阈值，说明行人与垃圾回收巡逻车的距离较近，有发生碰撞的风险，则执行步骤130，即控制所述垃圾回收车紧急停止，以防止碰撞；大于预设阈值，则说明行人有避让的时间，则执行步骤140，即发出警报提醒。

步骤130：控制所述垃圾回收车紧急停止。

步骤140：发出警报提醒。

在本实施例中，所述垃圾回收巡逻车设置有垃圾桶，所述垃圾回收巡逻车用于投放至对应的巡逻道路上，通过获取所述垃圾回收巡逻车的行驶环境的视频帧图像；根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；识别用户投放的垃圾类别；判断所述用户投放的垃圾的垃圾类别是否与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；若相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；定时识别所述垃圾桶中的垃圾存储量；判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；若是，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻，以重新回收用户投放的垃圾。通过上述方式，方便用户分类投放垃圾，以保护环境资源，无需清洁人员进行二次分类，节约人力成本。此外，可根据特定场景规划垃圾回收巡逻车的垃圾类别，例如酒店的厨房区域，可只设置用于回收厨余垃圾的垃圾回收巡逻车，从而可减少垃圾车或垃圾桶等环保用具的配置。

本发明实施例还提供了一种控制垃圾回收巡逻车的装置，请参阅图8，其示出了本发明实施例提供的控制垃圾回收巡逻车的装置的结构，该装置150包括：第一获取模块151、第一控制模块152、第一识别模块153、第一判断模块154、开启模块155、第二识别模块156、第二判断模块157、第二控制模块158和第三控制模块159。

其中，第一获取模块151，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像。第一控制模块152，用于根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻。第一识别模块153，用于识别用户投放的垃圾类别。第一判断模块154，用于判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同。开启模块155，用于若所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾。第二识别模块156，用于定时识别所述垃圾桶中的垃圾存储量。第二判断模块157，用于判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值。第二控制模块158，用于若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒。第三控制模块159，用于在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

在一些实施例中，所述第一控制模块152还包括第一识别单元、第一获取单元、第二识别单元、第一计算单元和控制单元(图未示)。其中，所述第一识别单元，用于识别所述视频帧图像中的车道线。第一获取单元，用于获取各所述车道线所在位置的道路的颜色。第二识别单元，用于从各所述车道线所在位置的道路的颜色中，识别出颜色与所述垃圾回收巡逻车的预设垃圾回收类别对应的道路，并且将所述道路作为所述垃圾回收巡逻车的巡逻道路。第一计算单元，用于计算所述巡逻道路的方位和距离。控制单元，用于根据所述巡逻道路方位和距离，控制所述垃圾回收巡逻车运行至所述巡逻道路。

在一些实施例中，所述第一识别模块153具体用于获取所述用户投放的垃圾的图像；将所述用户投放的垃圾的图像输入预设的垃圾分类算法模型，确定所述用户投放的垃圾类别。

在一些实施例中，所述第一识别单元具体用于从所述视频帧图像中，提取目标区域，以获得道路图像；对所述道路图像进行预处理，其中，所述预处理包括二值化和反透视变换；根据所述预处理后的道路图像，提取车道线特征；将所述车道线特征输入预设分类模型，对所述车道线进行识别。

在一些实施例中，该装置150还包括行人检测模块1510、距离计算模块1511、第三判断模块1512、第四控制模块1513和警报模块1514。其中，行人检测模块1510，用于根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人。距离计算模块1511，用于若存在行人，计算所述行人与所述垃圾回收巡逻车的距离。第三判断模块1512，用于判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值。第四控制模块1513，用于若所述行人与所述垃圾回收巡逻车的距离小于预设阈值，控制所述垃圾回收车紧急停止。警报模块1514，用于若所述行人与所述垃圾回收巡逻车的距离大于等于预设阈值，发出警报提醒。

在一些实施例中，所述行人检测模块1510具体用于将所述视频帧图像输入预设的预设行人集成检测框架中，由所述预设行人集成检测框架识别是否存在行人；所述预设的行人集成检测框架为头部检测器、躯干检测器、左臂检测器、右臂检测器和腿部检测器的集成。

本实施例中，该装置150通过第一获取模块151获取所述垃圾回收巡逻车的行驶环境的视频帧图像，第一控制模块152根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻，第一识别模块153识别用户投放的垃圾类别，第一判断模块154判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同。若所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，开启模块155则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾。第二识别模块156定时识别所述垃圾桶中的垃圾存储量。第二判断模块157判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值。若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，第二控制模块158控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒。在所述垃圾桶内的垃圾倾倒完成时，第三控制模块159控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。通过上述方式，方便用户分类投放垃圾，以保护环境资源，无需清洁人员进行二次分类，节约人力成本。此外，可根据特定场景规划垃圾回收巡逻车的垃圾类别，例如酒店的厨房区域，可只设置用于回收厨余垃圾的垃圾回收巡逻车，从而可减少垃圾车或垃圾桶等环保用具的配置。

本发明实施例还提供了一种垃圾回收巡逻车160，请参阅图9，所述垃圾回收巡逻车160包括：车体161，垃圾桶162，所述垃圾桶162设置于车体161上；图像获取模块163，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像；至少一个处理器164，分别与所述车体161、垃圾桶162以及图像获取模块163连接；以及，与所述至少一个处理器164通信连接的存储器165，图9中以一个处理器164为例。

所述存储器165存储有可被所述至少一个处理器164执行的指令，所述指令被所述至少一个处理器164执行，以使所述至少一个处理器164能够执行上述图2至图7所述控制垃圾回收巡逻车的方法。所述处理器164和所述存储器165可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器165作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的控制垃圾回收巡逻车的方法的程序指令/模块，例如，附图8所示的各个模块。处理器164通过运行存储在存储器165中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例控制垃圾回收巡逻车的方法。

存储器165可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据控制垃圾回收巡逻车的装置的使用所创建的数据等。此外，存储器165可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器165可选包括相对于处理器164远程设置的存储器，这些远程存储器可以通过网络连接至控制垃圾回收巡逻车的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器165中，当被所述一个或者多个处理器164执行时，执行上述任意方法实施例中的控制垃圾回收巡逻车的方法，例如，执行以上描述的图2至图7的方法步骤，实现图8中的各模块的功能。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例还提供了一种包含程序代码的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一方法实施例中控制垃圾回收巡逻车的方法，例如，执行以上描述的图2至图7的方法步骤，实现图8中各模块的功能。

本发明实施例的有益效果：区别于现有技术的情况，本发明实施例提供的控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车，所述垃圾回收巡逻车设置有垃圾桶，所述垃圾回收巡逻车用于投放至对应的巡逻道路上，该方法通过获取所述垃圾回收巡逻车的行驶环境的视频帧图像；根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；识别用户投放的垃圾类别；判断所述用户投放的垃圾的垃圾类别是否与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；若相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；定时识别所述垃圾桶中的垃圾存储量；判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；若是，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻，以重新回收用户投放的垃圾。例如在小区内，将路线规划至单元楼门口，在规划好的路线上间隔投放多辆垃圾回收巡逻车，用户下楼即可投放垃圾；该垃圾回收巡逻车可以自动识别垃圾类别，促使用户分类投放以保护环境资源，无需清洁人员进行二次分类，节约人力成本。此外，可根据特定场景规划垃圾回收巡逻车的垃圾类别，例如酒店的厨房区域，可只设置用于回收厨余垃圾的垃圾回收巡逻车，从而可减少垃圾车或垃圾桶等环保用具的配置。

需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种控制垃圾回收巡逻车的方法，其特征在于，所述垃圾回收巡逻车设置有垃圾桶，所述垃圾回收巡逻车用于投放至对应的巡逻道路上，所述方法包括：

获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；

识别用户投放的垃圾类别；

判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；

若相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；

定时识别所述垃圾桶中的垃圾存储量；

判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；

若是，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；

在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路的步骤，进一步包括：

识别所述视频帧图像中的车道线；

获取各所述车道线所在位置的道路的颜色；

从各所述车道线所在位置的道路的颜色中，识别出颜色与所述垃圾回收巡逻车的预设垃圾回收类别对应的道路，并且将所述道路作为所述垃圾回收巡逻车的巡逻道路；

计算所述巡逻道路的方位和距离；

根据所述巡逻道路的方位和距离，控制所述垃圾回收巡逻车运行至所述巡逻道路。

3.根据权利要求2所述的方法，其特征在于，所述识别所述视频帧图像中的车道线的步骤，进一步包括：

从所述视频帧图像中，提取目标区域，以获得道路图像；

对所述道路图像进行预处理，其中，所述预处理包括二值化和反透视变换；

根据所述预处理后的道路图像，提取车道线特征；

将所述车道线特征输入预设分类模型，对所述车道线进行识别。

4.根据权利要求1所述的方法，其特征在于，还包括：

根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人；

若存在行人，计算所述行人与所述垃圾回收巡逻车的距离；

判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值；

若是，控制所述垃圾回收车紧急停止；

若否，发出警报提醒。

5.根据权利要求4所述的方法，其特征在于，所述根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人的步骤，进一步包括：

将所述视频帧图像输入预设的预设行人集成检测框架中，由所述预设行人集成检测框架识别是否存在行人；

所述预设的行人集成检测框架为头部检测器、躯干检测器、左臂检测器、右臂检测器和腿部检测器的集成。

6.根据权利要求1所述的方法，其特征在于，所述识别用户投放的垃圾的垃圾类别的步骤，进一步包括：

获取所述用户投放的垃圾的图像；

将所述用户投放的垃圾的图像输入预设的垃圾分类算法模型，确定所述用户投放的垃圾类别。

7.一种控制垃圾回收巡逻车的装置，其特征在于，包括：

第一获取模块，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

第一控制模块，用于根据所述视频帧图像，控制所述垃圾回收巡逻车行驶至所述巡逻道路，并且在所述巡逻道路行驶巡逻；

第一识别模块，用于识别用户投放的垃圾类别；

第一判断模块，用于判断所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别是否相同；

开启模块，用于若所述用户投放的垃圾的垃圾类别与所述垃圾回收巡逻车的预设垃圾回收类别相同，则开启所述垃圾回收巡逻车的垃圾桶，以回收用户投放的垃圾；

第二识别模块，用于定时识别所述垃圾桶中的垃圾存储量；

第二判断模块，用于判断所述垃圾桶中的垃圾存储量是否大于等于预设第一阈值；

第二控制模块，用于若所述垃圾桶中的垃圾存储量大于等于预设第一阈值，控制所述垃圾回收巡逻车运行至垃圾回收站点，并将所述垃圾桶内的垃圾进行倾倒；

第三控制模块，用于在所述垃圾桶内的垃圾倾倒完成时，控制所述垃圾回收巡逻车返回所述巡逻道路继续巡逻。

8.根据权利要求7所述的装置，其特征在于，还包括：

行人检测模块，用于根据所述垃圾回收巡逻车的行驶环境的视频帧图像，检测所述对应的巡逻道路上是否存在行人；

距离计算模块，用于若存在行人，计算所述行人与所述垃圾回收巡逻车的距离；

第三判断模块，用于判断所述行人与所述垃圾回收巡逻车的距离是否小于预设阈值；

第四控制模块，用于若所述行人与所述垃圾回收巡逻车的距离小于预设阈值，控制所述垃圾回收车紧急停止；

警报模块，用于若所述行人与所述垃圾回收巡逻车的距离大于等于预设阈值，发出警报提醒。

9.一种垃圾回收巡逻车，其特征在于，包括：

车体；

垃圾桶，所述垃圾桶设置于车体上；

图像获取模块，用于获取所述垃圾回收巡逻车的行驶环境的视频帧图像；

至少一个处理器，分别与所述车体、垃圾桶以及图像获取模块连接；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任意一项所述的方法。

10.一种包含程序代码的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1至6中任一项所述的方法。

Images