CN114898309A - 一种基于视觉ai技术的城市智能巡检车***及巡检方法 - Google Patents

Abstract

一种基于视觉AI技术的城市智能巡检车***及巡检方法，包括车体和设置车体上的巡检***，所述巡检***包括车载主机以及和车载主机连接的数据采集模块，所述车载主机与中心服务器无线连接，用来解析处理接收中心服务器的指令以及向中心服务器调控发送报警信息，所述数据采集模块包括视觉传感器、车载摄像机以及车载GPS，所述车载主机装配有图像预处理模块、目标检测模块和目标跟踪模块，所述目标检测模块采用YOLOv5算法，所述目标跟踪模块中设有目标跟踪过滤器，该巡检车***能够实现违章停车、流动摊贩和暴露垃圾等违规行为的实时检测，该***的检测准确率、召回率和实时性均能满足城市管理实时应用的要求，是一种高效、经济的城市管理巡查方式。

Description

一种基于视觉AI技术的城市智能巡检车***及巡检方法

技术领域

本发明属于智慧城市管理技术领域，具体涉及一种基于视觉AI 技术的城市智能巡检车***及巡检方法。

背景技术

随着城市化进程的快速发展，城市管理中的机动车/非机动车违规停放、流动摊贩、暴露垃圾等问题日益凸显。这些违规行为对城市的公共安全、交通、卫生环境等方面产生了极大的负面影响，降低了城市居民的生活满意度和环境卫生质量。为了解决这些问题，在传统的城市管理中，主要依赖人工巡查的方式去发现这些违规行为，进而安排专人进行整改或执法管理。但是，由于传统的人工方式存在如下弊病，从而不能满足现代城市管理的需求：a)人工方式不能及时的发现问题，工作效率低下；b)在城市管理的实际操作中，需要大量的人工来实现大范围的覆盖，成本高昂。

在国内外的相关研究中，曾经有许多学者将机器视觉和深度学习技术运用于视频监控场景下，来实现对违章停车行为的监控。在这些场景下，视频摄像机为安装在固定位置的摄像机，采集的图像内容相对稳定(尤其是背景图像)。文件号CN113687655A公开了一种基于 AI地磁的巡检车控制方法与***，对停车场的违停车辆进行识别和定位，并将违停车辆的信息以及违停车辆的定位信息发送至维护终端，但是，其功能局限性太强，而在城市管理的巡查场景下，要求巡查车辆在运动过程中能够实时的检测违章停车、流动摊贩、暴露垃圾等违规行为，这给此类违规行为识别***提出了更复杂、更难的挑战：真实的城市街道场景复杂多变、光照条件随时都在变化、雨雪雾等天气条件的影响、物体之间的局部遮挡、建筑或树木的阴影干扰等等。

发明内容

本发明的目的是提供一种基于视觉AI技术的面向城市管理应用智能巡检车***，在真实的、开放的城市街道及周边环境中，实现对机动车/非机动车违规停放、流动摊贩、暴露垃圾等违规行为的实时检测。

为了达到以上目的，本发明的技术解决方案如下：一种基于视觉 AI技术的城市智能巡检车***，包括车体和设置车体上的巡检***，所述巡检***包括车载主机以及和车载主机连接的数据采集模块，所述车载主机与中心服务器无线连接，用来解析处理接收中心服务器的指令以及向中心服务器调控发送报警信息，所述数据采集模块包括视觉传感器、车载摄像机以及车载GPS，所述车载主机装配有图像预处理模块、目标检测模块和目标跟踪模块，所述目标检测模块采用 YOLOv5算法，所述目标跟踪模块中设有目标跟踪过滤器。

本发明还提供了一种基于视觉AI技术的城市智能巡检车***的巡检方法，具体包括如下步骤，

步骤S1、数据采集：通过车载摄像机和视觉传感器采集实时的街景视频图像，视频解码后传输给车载主机进行下一步处理；

步骤S2、图像预处理：通过图像预处理模块对视频图像进行裁剪、Resize大小等预处理；

步骤S3、目标检测：使用YOLOv5算法在图像中进行11类的目标对象检测，如果在图像中检测到目标对象，则将目标对象的Bounding Box信息和原始图像信息作为输入数据传递给目标跟踪处理环节；步骤S4、目标跟踪：使用Deep SORT算法实现多目标物体的跟踪，分别记录每个对象的开始帧F t和消失帧F e；

步骤S5、目标过滤：取出F t和消失帧F e之间的所有图像帧集合{F t，……，F e}，通过目标跟踪过滤器，判定该对象是否为“有效对象”，如是“有效对象”，则转到步骤S6或步骤S7执行，如果“有效对象”是机动车或非机动车转到步骤S6执行，否则转到步骤S7 执行；

步骤S6、地面ROI分类：如果上一步检测出的“有效对象”是机动车或非机动车，则在本处理环节获取车辆所停位置的地面ROI图像，使用EfficientNet算法对地面ROI图像进行分类，区分出该车是否停放在合法的有效区域还是停放在违法的区域，之后，将地面ROI分类结果传递给步骤S7；

步骤S7、违规判定：根据前面各步骤的处理结果，借助“违规逻辑判定器”技术，判断该目标物体是否存在违规。

本发明的进一步改进在于：所述步骤S3中，在所述YOLOv5 的第17层网络结构中使用Upsample技术，把特征图再次放大，实现数据升维，检测出更小目标。

选择YOLOv5作为目标检测的模型，是因为车载环境下的硬件资源受限，这就要求部署的深度学习算法模型在保证准确率的前提下，模型的尺寸要小、执行速度要快，而YOLOv5算法模型能够将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和 FLOPS数值，既保证了推理速度和准确率，又减小了模型尺寸。但是针对暴露垃圾袋等尺寸较小的对象的检测效果不佳，会存在大量的漏检情况。因此，在YOLOv5的第17层网络结构中使用Upsample 技术，把特征图再次放大，实现数据升维，从而提升了小目标的检测效果。之所以选择在第17层网络使用Upsample，是因为在 YOLOv5网络结构中，第17层是小目标检测层，在这里使用 Upsample技术，把特征图放大后再次给本层训练，以达到检测出更小目标的目的。

本发明的进一步改进在于：步骤S6中，所述的有效区域包括车轮附近地面上有白色或黄色的停车位框线，所述的违法的区域包括人行道或者草坪。

本发明的进一步改进在于：步骤S5中，所述目标跟踪过滤器的过滤判定规则如下，

(1)被跟踪对象出现在开始帧F t图像的中线左侧位置，则判定为“无效对象”；

(2)被跟踪对象消失在最后一帧F e图像的中线左侧位置，则判定为“无效对象”；

(3)被跟踪对象在集合{F t，……，F e}中从出现到消失的规律，不符合从左到右消失的规律的，则判定为“无效对象”；

(4)被跟踪对象的boundingbox面积，在集合{F t,……,F e}中不符合递增规律的，则判定为“无效对象”；

(5)借助车载GPS设备，计算在{F t,……,F e}期间，巡检车自身移动的距离，当这个距离大于设定的阈值Δ时，则判定被跟踪对象为“无效对象”；

(6)借助车载GPS设备进行判定，如果在{F t,……,F e}期间，巡检车是静止状态，判定被跟踪对象为“无效对象”；

(7)判定车上有人的情况，设定计数器S＝0，如果在集合{F t,……,F e}内的某帧图像中同时存在人和车辆的情况，则计算人与车辆的交并比，如果交并比大于10％，则判定为车辆上有人，S＝S+ 1，对集合中所有同时存在人和车辆的图像帧，重复上述判定和计数过程。设Count为集合{F t,……,F e}的总帧数，如果计算式S/Cpvou 大于设定的阈值θ，则判断该跟踪对象上有人，即判断该跟踪对象为“无效对象。

在目标跟踪阶段，可以得到一个对象在视频中出现到消失的一个图像帧的集合{Ft,……,F e}，但该对象不一定是我们需要关注的有效对象，而通过目标跟踪过滤器，可以过滤掉大量的“无效对象”，提升***的执行速度和准确度。

本发明的进一步改进在于：步骤S6中，地面ROI区域的提取方法如下：假定“有效对象”的***Rounding box的宽度为W、高度为H，下边沿的中点坐标为(x,y)，则取得的地面ROI区域为矩形 ABCD，其中，矩形ABCD的左上角A点的坐标为(x-3W/4，y-H/4)，右下角C点的坐标为(x+3W/4，y+H/4)。

本发明的进一步改进在于：步骤S6中，取得地面ROI区域后，使用“对称扩展”方法对ROI区域图像进行归一化处理，使其符合EfficientNet对输入图像的尺寸要求。

本发明的进一步改进在于：步骤S7中，所述违规逻辑判定器包括违章停车逻辑判定器、流动摊贩逻辑判定器和暴露垃圾逻辑判定器。

本发明的进一步改进在于：所述违章停车逻辑判定器的判定规则为，(1)“有效对象”是机动车时，地面ROI区域分类结果为道板路停车线、道路停车线，则判定为合法停车；(2)“有效对象”是机动车时，地面ROI区域分类结果为道板路、绿化灌木丛、绿化草坪、道路，则判定为违章停车；(3)“有效对象”是非机动车时，地面ROI 区域分类结果为道板路停车线、自行车停车桩、道路停车线，则判定为合法停车；(4)“有效对象”是非机动车时，地面ROI区域分类结果为道板路、绿化灌木丛、绿化草坪、道路，则判定为违章停车。

本发明的有益效果是：本发明提供的一种基于视觉AI技术的城市智能巡检车***的巡检方法，能够实现违章停车、流动摊贩和暴露垃圾等违规行为的实时检测，该***的检测准确率、召回率和实时性均能满足城市管理实时应用的要求，另外，由于汽车的机动性远远超过人力，所以该***的地理覆盖范围远远大于人工巡查，该***的工作效率和效果都优于传统的人工巡查工作模式，是一种高效、经济的城市管理巡查方式。

附图说明

图1为实施例中mAP曲线图；

图2为实施例中Precision曲线图；

图3为实施例中Recall曲线图；

图4为实施例中PR曲线图；

图5为实施例中EfficientNet分类准确度曲线图；

图6是PR曲线样例图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

本实施例的技术解决方案如下：本实施例提供了一种基于视觉 AI技术的城市智能巡检车***，包括车体和设置车体上的巡检***，所述巡检***包括车载主机以及和车载主机连接的数据采集模块，所述车载主机与中心服务器无线连接，用来解析处理接收中心服务器的指令以及向中心服务器调控发送报警信息，所述数据采集模块包括视觉传感器、车载摄像机以及车载GPS，所述车载主机装配有图像预处理模块、目标检测模块和目标跟踪模块，所述目标检测模块采用 YOLOv5算法，所述目标跟踪模块中设有目标跟踪过滤器。

该基于视觉AI技术的城市智能巡检车***的巡检方法，具体包括如下步骤，

步骤S1、数据采集：通过车载摄像机和视觉传感器采集实时的街景视频图像，视频解码后传输给车载主机进行下一步处理；

步骤S2、图像预处理：通过图像预处理模块对视频图像进行裁剪、 Resize大小等预处理；

步骤S3、目标检测：使用YOLOv5算法在图像中进行11类的目标对象检测，如果在图像中检测到目标对象，则将目标对象的Bounding Box信息和原始图像信息作为输入数据传递给目标跟踪处理环节，在所述YOLOv5的第17层网络结构中使用Upsample技术，把特征图再次放大，实现数据升维，检测出更小目标；

步骤S4、目标跟踪：使用Deep SORT算法实现多目标物体的跟踪，分别记录每个对象的开始帧F t和消失帧F e；

步骤S5、目标过滤：取出F t和消失帧F e之间的所有图像帧集合{F t，……，F e}，通过目标跟踪过滤器，判定该对象是否为“有效对象”，如是“有效对象”，则转到步骤S6或步骤S7执行，如果“有效对象”是机动车或非机动车转到步骤S6执行，否则转到步骤S7 执行；

步骤S6、地面ROI分类：如果上一步检测出的“有效对象”是机动车或非机动车，则在本处理环节获取车辆所停位置的地面ROI图像，使用EfficientNet算法对地面ROI图像进行分类，区分出该车是否停放在合法的有效区域(车轮附近地面上有白色或黄色的停车位框线) 还是停放在违法的区域(人行道或者草坪)，地面ROI区域的提取方法如下：假定“有效对象”的***Rounding box的宽度为W、高度为H，下边沿的中点坐标为(x,y)，则取得的地面ROI区域为矩形 ABCD，其中，矩形ABCD的左上角A点的坐标为(x-3W/4，y-H/4)，右下角C点的坐标为(x+3W/4，y+H/4)，取得地面ROI区域后，使用“对称扩展”方法对ROI区域图像进行归一化处理，使其符合 EfficientNet对输入图像的尺寸要求，之后，将地面ROI分类结果传递给步骤S7；

步骤S7、违规判定：根据前面各步骤的处理结果，借助“违规逻辑判定器”技术，判断该目标物体是否存在违规。

实施例1：

数据采集与标注：

1)真实街景数据采集

为了采集真实的城市街景视频数据，使用该智能巡检车在苏州市区进行了大量的的视频数据采集工作，累计采集视频数据约131G。对这些视频数据：1)为了完成目标检测任务，筛选并通过人工标注的方式完成了91883个对象标签的标注；2)为了完成地面分类任务，通过人工标注的方式，完成了26487张地面图像的分类标签标注。

2)数据标注

a.通过自主研发的图片标注***，能够快速、方便的完成对象标签的标注工作。其中设定的数据类型标签有如下两大类：目标检测对象标签、(道路)地面分类标签；

b.目标检测对象标签包含11个子类：乘用车、人、电动自行车、面包车、暴露垃圾包、有牌匾的三轮车流动摊贩、自行车、有驾驶室的三轮车、无驾驶室的三轮车、有货箱的小卡车、无货箱的小卡车；建立的目标检测对象标签数据统计如表1所示：

类别	数量
		乘用车	29221
人	18961
		电动自行车	12491
面包车	6352
		暴露垃圾包	5806
有牌匾三轮车流动摊贩	3219
		自行车	3728
有驾驶室三轮车	3280
		无驾驶室三轮车	3138
有货箱小卡车	2956
		无货箱小卡车	2731
合计	91883

表1

c.(道路)地面分类标签分为7个子类：道板路、道板路停车线、自行车停车桩、绿化灌木丛、绿化草坪、道路、道路停车线。建立的数据集中各个地面分类标签数量如表2所示：

表2

在数据上的迭代训练和测试：

在***硬件环境下，通过实际街景的采集、图片的筛选，得到含有目标的图片26532张。在26532张图片中，通过人工标注的方式完成了232235个对象标签的标注，得到了数据集(数据集中每一类标签的数量如上表所示)。按照一定策略将数据集分为训练集和测试集，在本文中选择的是80％的标签归为训练集、20％的标签归为测试集，然后使用训练集和测试集对模型进行迭代的训练的测试，迭代训练过程中的mAP曲线如图1所示，在迭代训练和测试过程中，可以看到，随着迭代步数的增加模型的mAP值逐步增加，最终趋近于值0.945，证明了模型具有良好的性能。

如图，图2至图4分别为训练后模型的Precision曲线图、Recall 曲线图和PR曲线图。

Precision曲线图中，横坐标为置信度Confidence，纵坐标为精确率Precision，图中的每条曲线代表了一类目标检测对象随着置信度 Confidence增加时模型的精确率Precision的变化趋势。其中目标检测对象包含11个子类：乘用车、人、电动自行车、面包车、暴露垃圾包、有牌匾的三轮车流动摊贩、自行车、有驾驶室的三轮车、无驾驶室的三轮车、有货箱的小卡车、无货箱的小卡车。图中黑色粗曲线表示所有检测对象的整体精确率Precision的变化趋势。从图中可以看到随着置信度Confidence的增加模型的精确率Percison在逐步增加，在置信度超过0.963之后，模型的精确率Percison达到了1。

Recall曲线图中，横坐标为置信度Confidence，纵坐标为召回率 Recall。图中的每条曲线代表了一类目标检测对象随着置信度 Confidence增加时模型的召回率Recall的变化趋势。其中目标检测对象包含11个子类：乘用车、人、电动自行车、面包车、暴露垃圾包、有牌匾的三轮车流动摊贩、自行车、有驾驶室的三轮车、无驾驶室的三轮车、有货箱的小卡车、无货箱的小卡车。图中黑色粗曲线表示所有检测对象的整体召回率Recall的变化趋势。从图中可以看到在置信度Confidence为0时，模型的召回率Recall取得峰值0.99，此后随着置信度的增加召回率持续下降，直至取值为0。

PR曲线图中，横轴是召回率，纵轴是精确率。图中的每条曲线代表了一类目标检测对象的PR曲线变化趋势。其中目标检测对象包含11个子类：乘用车、人、电动自行车、面包车、暴露垃圾包、有牌匾的三轮车流动摊贩、自行车、有驾驶室的三轮车、无驾驶室的三轮车、有货箱的小卡车、无货箱的小卡车。图中黑色粗曲线表示所有检测对象的整体PR曲线的变化趋势。PR曲线图表明，当置信度取值为0.5时，所有检测对象类别的PR曲线下面积值为0.945，此时模型同时具有较高的精确率和召回率。

由上，从Percison曲线图和Recall曲线图中，可以看到随着置信度Confidence的增加模型的精确率Percison在逐步增加，而召回率在持续下降：在置信度达到1时，精确率Percison达到峰值 0.963；在置信度达到0.99时，召回率下降为零。PR曲线图表明，当置信度取值为0.5时，所有检测对象类别的PR曲线下面积值为 0.945，此时模型同时具有较高的精确率和召回率。

地面分类算法模型EfficientNet的分类准确度与迭代训练轮数之间的关系曲线如图5所示，从图中可以看到，经过300多轮训练以后，地面分类模型EfficientNet的分类准确度最终趋近于90.46％。实际的路测结果：

为了验证***模型在实际街景场景下的效果和性能，2021年11 月份在中国苏州的实际路况下进行了多次实验，实验结果见表3。第一次路测实验中，发现以下两个问题：1)对于流动摊贩违规识别的准确率和召回率都不太理想，分别只有82.35％和77.78％；2)由于苏州市的公共卫生环境很好，几乎发现不到暴露垃圾违规的情况，并且因为样本数较少、训练不够充分，造成第一次实际路测时，暴露垃圾的准确率和召回率均为零。为了解决上述两个问题我们做了以下工作：1)完善了流动摊贩违规判定的标准，如“带招牌的、静止的、旁边有人的三轮车”才被判定为流动摊贩违规，并且将数据集的标注做了对应的修改；2)针对暴露垃圾极其少的情况，我们采用了人工模拟和图像增强相结合的方法来增加数据样本数量。实际路测当中，也采取人工模拟的办法增加了一些垃圾暴露的场景。

表3

2021年11月9日，进行了第二次实地路测，实验结果表明流动摊贩违规识别的准确率和召回率都有了极大的提升，分别达到了 95.45％和91.30％。但是，暴露垃圾违规识别的召回率只有85.71％，无法达到实际应用的要求。经过分析我们发现，在实际街景环境下，暴露的垃圾袋出现在图像画面中时，相比较于机动车/非机动车等对象，它的尺寸较小、图像特征较少。因此我们对YOLOv5的网络结构进行了优化改造，提升了模型对小尺寸物体的检测能力。

在第三、第四次实验中，我们可以发现对于所有4类违规行为的识别检测的结果很理想，准确率和召回率均在95％以上，可以满足***实际应用的要求。在实际路测环境下，我们的***的检测识别速度能够达到12～16帧/秒，能够满足实际应用时的实时性要求。

本实施例中分类目标只有两类，计为正例(positive)和负(negtive)：

1)True positives(TP):被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数(样本数)；

2)False positives(FP):被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数；

3)False negatives(FN):被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数；

4)True negatives(TN):被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。

精确率(Precision)：又被称为查准率，被分为正例的示例中实际为正例的比例，即：Precision＝TP/(TP+FP)。

召回率(recall)：又被称为查全率，预测为正例(positive)的样本中正确的数量除以真正的Positive的数量，即： Recall＝TP/(TP+FN)＝TP/P。

PR曲线：P-R曲线的横轴是召回率，纵轴是精确率。对于一个排序模型来说，其P-R曲线上的一个点代表着，在某一阈值下，模型将大于该阈值的结果判定为正样本，小于该阈值的结果判定为负样本，此时返回结果对应的召回率和精确率。整条PR曲线是通过将阈值从高到低移动而生成的。参考图6，其中实线代表模型A的P-R曲线，虚线代表模型B的P-R曲线，原点附近代表当阈值最大时模型的精确率和召回率。

由图可见，当召回率接近于0时，模型A的精确率为0.9，模型 B的精确率是1，这说明模型B得分前几位的样本全部是真正的正样本，而模型A即使得分最高的几个样本也存在预测错误的情况。并且，随着召回率的增加，精确率整体呈下降趋势。但是，当召回率为1时，模型A的精确率反而超过了模型B。这充分说明，只用某个点对应的精确率和召回率是不能全面地衡量模型的性能，只有通过P-R 曲线的整体表现，才能够对模型进行更为全面的评估。

本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种基于视觉AI技术的城市智能巡检车***，其特征在于：包括车体和设置车体上的巡检***，所述巡检***包括车载主机以及和车载主机连接的数据采集模块，所述车载主机与中心服务器无线连接，用来解析处理接收中心服务器的指令以及向中心服务器调控发送报警信息，所述数据采集模块包括视觉传感器、车载摄像机以及车载GPS，所述车载主机装配有图像预处理模块、目标检测模块和目标跟踪模块，所述目标检测模块采用YOLOv5算法，所述目标跟踪模块中设有目标跟踪过滤器。

2.如权利要求1所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：具体包括如下步骤，

步骤S1、数据采集：通过车载摄像机和视觉传感器采集实时的街景视频图像，视频解码后传输给车载主机进行下一步处理；

步骤S2、图像预处理：通过图像预处理模块对视频图像进行裁剪、Resize大小预处理；

步骤S3、目标检测：使用YOLOv5算法在图像中进行多类的目标对象检测，如果在图像中检测到目标对象，则将目标对象的Bounding Box信息和原始图像信息作为输入数据传递给目标跟踪处理环节；

步骤S4、目标跟踪：使用Deep SORT算法实现多目标物体的跟踪，分别记录每个对象的开始帧Ft和消失帧Fe；

步骤S5、目标过滤：取出Ft和消失帧Fe之间的所有图像帧集合{Ft，……，Fe}，通过目标跟踪过滤器，判定该对象是否为“有效对象”，如是“有效对象”，则转到步骤S6或步骤S7执行，如果“有效对象”是机动车或非机动车转到步骤S6执行，否则转到步骤S7执行；

步骤S6、地面ROI分类：如果上一步检测出的“有效对象”是机动车或非机动车，则在本处理环节获取车辆所停位置的地面ROI图像，使用EfficientNet算法对地面ROI图像进行分类，区分出该车是否停放在合法的有效区域还是停放在违法的区域，之后，将地面ROI分类结果传递给步骤S7；

步骤S7、违规判定：根据前面各步骤的处理结果，借助“违规逻辑判定器”技术，判断该目标物体是否存在违规。

3.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：所述步骤S3中，在所述YOLOv5的第17层网络结构中使用Upsample技术，把特征图再次放大，实现数据升维，检测出更小目标。

4.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：步骤S6中，所述的有效区域包括车轮附近地面上有白色或黄色的停车位框线，所述的违法的区域包括人行道或者草坪。

5.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：步骤S5中，所述目标跟踪过滤器的过滤判定规则如下，

(1)被跟踪对象出现在开始帧Ft图像的中线左侧位置，则判定为“无效对象”；

(2)被跟踪对象消失在最后一帧Fe图像的中线左侧位置，则判定为“无效对象”；

(3)被跟踪对象在集合{Ft，……，Fe}中从出现到消失的规律，不符合从左到右消失的规律的，则判定为“无效对象”；

(4)被跟踪对象的bounding box面积，在集合{Ft，……，Fe}中不符合递增规律的，则判定为“无效对象”；

(5)借助车载GPS设备，计算在{Ft，……，Fe}期间，巡检车自身移动的距离，当这个距离大于设定的阈值Δ时，则判定被跟踪对象为“无效对象”；

(6)借助车载GPS设备进行判定，如果在{Ft，……，Fe}期间，巡检车是静止状态，判定被跟踪对象为“无效对象”；

(7)判定车上有人的情况，设定计数器S＝0，如果在集合{Ft，……，Fe}内的某帧图像中同时存在人和车辆的情况，则计算人与车辆的交并比，如果交并比大于10％，则判定为车辆上有人，S＝S+1，对集合中所有同时存在人和车辆的图像帧，重复上述判定和计数过程。设Count为集合{Ft，……，Fe}的总帧数，如果计算式S/Cpvou大于设定的阈值θ，则判断该跟踪对象上有人，即判断该跟踪对象为“无效对象。

6.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：步骤S6中，地面ROI区域的提取方法如下：假定“有效对象”的***Rounding box的宽度为W、高度为H，下边沿的中点坐标为(x，y)，则取得的地面ROI区域为矩形ABCD，其中，矩形ABCD的左上角A点的坐标为(x-3W/4，y-H/4)，右下角C点的坐标为(x+3W/4，y+H/4)。

7.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：步骤S6中，取得地面ROI区域后，使用“对称扩展”方法对ROI区域图像进行归一化处理，使其符合EfficientNet对输入图像的尺寸要求。

8.如权利要求2所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：步骤S7中，所述违规逻辑判定器包括违章停车逻辑判定器、流动摊贩逻辑判定器和暴露垃圾逻辑判定器。

9.如权利要求8所述的一种基于视觉AI技术的城市智能巡检车***的巡检方法，其特征在于：所述违章停车逻辑判定器的判定规则为，(1)“有效对象”是机动车时，地面ROI区域分类结果为道板路停车线、道路停车线，则判定为合法停车；(2)“有效对象”是机动车时，地面ROI区域分类结果为道板路、绿化灌木丛、绿化草坪、道路，则判定为违章停车；(3)“有效对象”是非机动车时，地面ROI区域分类结果为道板路停车线、自行车停车桩、道路停车线，则判定为合法停车；(4)“有效对象”是非机动车时，地面ROI区域分类结果为道板路、绿化灌木丛、绿化草坪、道路，则判定为违章停车。

Images