CN108122414A

CN108122414A - 公路上客车上下客的检测方法及装置

Info

Publication number: CN108122414A
Application number: CN201611083131.6A
Authority: CN
Inventors: 张晓�; 戴虎; 邝宏武
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2018-06-05

Abstract

本发明涉及视频和图像处理技术领域，特别涉及公路上客车上下客的检测方法及装置。本发明的公路上客车上下客的检测方法，应用于监控公路的视频监控设备，该方法包括：根据远视场视频检测是否有客车出现；当检测到客车出现时，根据远视场视频检测客车的速度；当检测到客车的速度低于速度阈值时，在近视场视频中跟踪客车；根据近视场视频和/或远视场视频检测是否有行人出现；当检测到有行人出现时，根据近视场视频和/或远视场视频判定客车与行人的关系是分离还是融合，从而确定是否存在上客或下客行为。本发明利用了远视场看得远有利于及时反应和近视场分辨能力强有利于准确判断的优点，既可以降低上下客违章情况的检测遗漏率，也可以提高判断准确性。

Description

公路上客车上下客的检测方法及装置

技术领域

本发明涉及视频和图像处理技术领域，特别涉及公路上客车上下客的检测方法及装置。

背景技术

为了避免意外事故，根据我国交通法规的规定，客车在高速公路上不允许上下客。然而，有些运营客车为了吸引客源，不顾法律规定，在高速公路上行驶时停靠到应急车道来上客和下客。对于这种违章行为，由于高速公路上并无交通警察执勤，因此难以人为取证。同时由于场景的不确定性，也难以通过摄像头实现自动判断取证。例如使用广角镜头检测时，由于车辆、行人图像较小，因而难以准确判断违法行为和提取车辆特征；使用窄视场镜头检测时，则由于视场范围较窄，因而监控死角大。

发明内容

有鉴于此，本发明实施例提供了公路上客车上下客的检测方法及装置，实现对公路上客车上下客行为的自动检测，提高判断准确率，降低检测遗漏率。所述技术方案如下：

第一方面，一种公路上客车上下客的检测方法，应用于视频监控设备，所述方法包括：

根据远视场视频检测是否有客车出现；

当检测到客车出现时，根据远视场视频和/或远视场视频检测所述客车的速度；

当检测到所述客车的速度低于速度阈值时，在近视场视频中跟踪所述客车；

根据近视场视频和/或远视场视频检测是否有行人出现；

当检测到有行人出现时，根据近视场视频和/或远视场视频判定所述客车与所述行人的关系是分离还是融合，从而确定是否存在上客或下客行为。

可选择地，该方法还包括：

在检测到所述客车的速度低于速度阈值之后，抓取照片形成照片证据和/或连续录像形成录像证据。

可选择地，该方法还包括：

根据近视场视频提取所述客车的特征数据，所述特征数据包括所述客车的车牌号码。

可选择地，所述抓取照片形成照片证据包括：

在检测到所述客车的速度低于速度阈值之后，抓取第一张照片；

在所述行人靠近所述客车时或所述行人离开所述客车时，抓取第二张照片和第三张照片；

在所述客车离开时，抓取第四张照片。

可选择地，所述根据近视场视频和/或远视场视频判定所述客车与所述行人的关系是分离还是融合，从而确定是否存在上客或下客行为包括：

当检测到所述行人与所述客车的相对距离变小，且所述行人在所述客车处消失，则判定所述客车与所述行人的关系是融合，确定存在上客行为；

当检测到所述行人在所述客车处出现，且与所述客车的相对距离变大，则判定所述客车与所述行人的关系是融合，确定存在下客行为。

可选择地，所述远视场视频通过第一摄像机获取，所述近视场视频通过第二摄像机获取；或者，所述远视场和所述近视场由同一摄像机的两个镜头分别获取；或者，所述远视场视频和所述近视场视频由同一摄像机通过调节焦距获取。

可选择地，所述检测是否有客车出现和/或检测是否有行人出现是基于Fast R-CNN目标检测算法。

另一方面，一种公路上客车上下客的检测装置，该装置包括：

客车检测模块，用于根据远视场视频检测是否有客车出现；

速度检测模块，用于当检测到有客车出现时，根据远视场视频检测所述客车的速度；

客车跟踪模块，用于当检测到所述客车的速度低于速度阈值时，在近视场视频中跟踪所述客车；

行人检测模块，用于根据近视场视频和/或远视场视频检测是否有行人出现；

上下客判断模块，用于当检测到有行人出现时，根据近视场视频和/或远视场视频判断所述客车与所述行人的关系是分离还是融合，从而确定是否存在上客或下客行为。

可选择地，该装置还包括：

上下客取证模块，在检测到所述客车的速度低于速度阈值之后，抓取照片形成照片证据和/或连续录像形成录像证据。

可选择地，所述装置还包括：

特征提取模块，用于根据近视场视频提取所述客车的特征数据，所述特征数据包括所述客车的车牌号码。

可选择地，所述上下客判断模块包括：

上客判断子模块，用于当检测到所述行人与所述客车的相对距离变小，且所述行人在所述客车处消失，则判定所述客车与所述行人的关系是融合，确定存在上客行为；

下客判断子模块，用于当检测到所述行人在所述客车处出现，且与所述客车的相对距离变大，则判定所述客车与所述行人的关系是融合，确定存在下客行为。

可选择地，所述上下客取证模块包括：

缓行拍照子模块，用于在检测到所述客车的速度低于速度阈值之后，抓取第一张照片；

人车拍照模块，用于在所述行人靠近所述客车时或所述行人离开所述客车时，抓取第二张照片和第三张照片；

驶离拍照子模块，在所述客车离开时，抓取第四张照片。

可选择地，所述远视场视频通过第一摄像机获取，所述近视场视频通过第二摄像机获取；或者，所述远视场视频和所述近视场视频由同一摄像机的两个镜头分别获取；或者，所述远视场视频和所述近视场视频由同一摄像机通过调节焦距获取。

可选择地，所述客车检测模块检测是否有客车出现和/或行人检测模块检测是否有行人出现是基于Fast R-CNN目标检测算法。

本发明实施例提供的技术方案带来的有益效果是：

通过远视场和近视场结合的方式，在远视场视频中检测客车的出现及其速度，在客车速度低于限值时，调用近视场视频跟踪客车，在检测到行人出现时，判定车人是分离还是融合，从而确定是否存在上客或下客，这样根据远视场视频进行预判，预判有违章可能后再调用近视场视频配合进行上下客判定，充分利用了远视场看得远有利于及时反应和近视场分辨能力强有利于准确判断的优点，从而既可以降低上下客违章情况的检测遗漏率，也可以提高上下客违章情况的判断准确性。同时扩展了道路管理者执法手段，延拓执法半径，通过视频自动处理的技术手段提升了执法效率，解决该违章行为现场执法取证难、查获率低的问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种例示性实施环境的示意图；

图2是本发明一实施例提供的公路上客车上下客的检测方法的流程图；

图3是本发明另一实施例提供的公路上客车上下客的检测装置的结构框图；

图4是本发明公路上客车上下客的例示性检测装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

图1是实施本发明的一种例示性实施环境的示意图。参见图1，该实施环境中包括：监控终端101，车辆102、行人103和监控中心104。

监控终端101一般可包括影像采集器件、处理器、存储设备和通信接口。如图1所示，影像采集器件例如为摄像机，用于在处理器的控制下录像和拍摄照片；处理器运行程序，控制各个器件工作，并对影像采集器件采集到的视频和照片进行分析处理，判断是否违章和提取证据；存储设备存储预设程序和影像采集器件采集的视频和照片；通信接口用于与监控中心104通信，通过有线或无线网络上传违章结果和证据。处理器、存储设备和通信接口封装在一个壳体中，影像采集器件可以从壳体中伸出，或通过通信线路与壳体相隔一定距离相连。

车辆102在公路上行驶，一般情况下不会靠边停车，行人103一般情况下也不会进入公路。但是一旦车辆102靠边停车且有行人出现在公路上，就说明车辆102涉嫌违章上下客。因此监控设备101需要视频监控车辆102和行人103，判断是否违章，并抓取车辆102违章上下客的证据，上传违章结果和证据给监控中心104，监控中心104将违章结果和证据存档，并可以自动或人工生成罚单，执法部门也可以据此进行其他处理。注意，本发明的公路主要指的是高速公路，这是因为在高速公路上上下客是非常危险的行为，但是应该理解，本发明同样也可应用到其他禁止上下客的公路或与公路类似的路段。

图2是本发明一实施例提供的公路上客车上下客的检测方法的流程图。参见图2，该方法包括：

S21：根据远视场视频检测是否有客车出现；

远视场视频可以通过第一摄像机获取，第一摄像机例如设置广角镜头，被例如支撑杆之类的结构支撑在公路上方或侧上方，对准来车方向，因而录制的视频为远视场视频。第一摄像机录制视频，实时传递到视频数据处理设备，视频处理设备中设置有相应的从视频中自动识别客车的程序，运行程序来识别视频中的客车，一旦识别到客车，则进入步骤S22，同时继续检测是否有其他客车。

应该理解，本领域技术人员可以采用基于各种算法的视频处理技术来在视频中自动识别客车。本实施例可以采用Fast R-CNN目标检测算法来实现：从视频中抽取关键帧，利用Fast R-CNN目标检测算法进行识别，确认其中是否有客车。Fast R-CNN目标检测算法是一种基于深度学习的目标检测算法，在本发明中，可以先把含有各种车辆及行人在各种路面场景中的图片送入到包含有Fast R-CNN目标检测算法相关程序的视频数据处理设备中进行训练，得到能辨识客车与行人的目标检测模型，测试达到设定的准确度后，将其在实际中使用以实现检测视频中客车或行人的存在，识别速度和准确度都比较高。

S22：当检测到有客车出现时，根据远视场视频检测客车的速度；

检测到客车以后，视频处理设备继续对第一摄像机实时传来的视频进行分析，确定目标客车的行驶速度。如果客车行驶速度一直正常，大于预先设定的速度阈值，则不需要调用第二摄像机(即获取近视场视频的设备)进行跟踪，不需要运行接下来的步骤。

应该理解，本领域技术人员可以采用基于各种算法的视频处理技术来确定目标客车的行驶速度。

S23：当检测到客车的速度低于速度阈值时，在近视场视频中跟踪客车。

客车的速度低于速度阈值时，说明客车可能要降速停车，最终出现上下客的行为。为此需要调动第二摄像机，视频处理设备根据近视场视频中当前时刻目标客车的位置控制第二摄像机跟踪目标客车，跟踪的方式可以为调焦、镜头移动或两者结合等，从而获得近视场视频，并传给视频处理设备进行处理。

步骤S24：根据近视场视频和/或远视场视频检测是否有行人出现；

发生上客行为时，客车需要停下，行人走到公路上进入客车；而发生下客行为时，客车也需要停下，然后行人从车上下来，最后行走离开客车。显然，无论上客还是下客，都会有行人出现，因而检测是否有行人出现是检测是否有上下客行为的必需步骤。

在本步骤中，由于近视场视频分辨率高，可以完全利用近视场视频完成检测；当然也可以利用远视场视频完成检测。或者，采用近视场视频和远视场视频同时检测的方式，只要其中一个检测到行人就可以认定有行人出现。

本步骤中，第一摄像机和/或第二摄像机录制的视频，实时传递到视频处理设备，视频处理设备中设置有相应的从视频中自动识别行人的程序，运行该程序来识别视频中的行人，确定否有行人出现。

应该理解，本领域技术人员可以采用基于各种算法的视频处理技术来在视频中自动识别行人。本实施例同样可以采用Fast R-CNN目标检测算法来实现：从视频中抽取关键帧，利用Fast R-CNN目标检测算法进行识别，确认其中是否有行人。

如果有行人出现，则转到步骤S25，没有则不转。

步骤S25：当检测到有行人出现时，根据近视场视频和/或远视场视频判定客车与行人的关系是分离还是融合，从而确定是否存在上客或下客行为。

当检测到有行人出现时，根据近视场视频和/或远视场视频判定客车与行人的关系是分离还是融合，从而确定是否存在上客或下客行为。

如果是上车，则客车与行人的关系是从远到近，最终融合，如果是下车，则客车与行人的关系是从近到远，最终分离。因此本步骤中，当检测到有行人出现时，可以根据近视场视频判定客车与行人的关系是分离还是融合，前者即是上客，后者即是下客。

在本步骤中，由于近视场视频分辨率高，优选利用近视场视频完成检测；当然也可以利用远视场视频完成检测。或者，采用近视场视频和远视场视频同时检测的方式，其中一个检测到、两者配合检测到或两者都检测到分离或融合就判定为上客或下客。

一种优选的判断方式是：当检测到行人与客车的相对距离变小，且所述行人在客车处消失，则判定客车与行人的关系是融合，确定存在上客行为；当检测到行人在客车处出现，且与客车的相对距离变大，则判定客车与所述行人的关系是分离，确定存在下客行为。这可以基于检测两者在视频中的运动轨迹或各时刻位置来实现。

应当理解的是，可能既有上客也有下客。可以设置一个距离阈值，当行人第一次被识别出时与目标客车的距离超过该距离阈值，且最后该行人在靠近目标客车处消失，则说明是上客；当行人第一次被识别出时与目标客车的距离小于该距离阈值，且最后该行人在远离目标客车处消失，则说明是下客。

本发明实施例提供的方法，通过远视场和近视场结合的方式，在远视场视频中检测客车的出现及其速度，在客车速度低于限值时，转到近视场视频中跟踪客车，在行人出现时，判定车人是分离还是融合，从而确定是否存在上客或下客，这样根据远视场视频进行预判，预判有违章可能后再调用近视场视频配合进行上下客判定，充分利用了远视场看得远有利于及时反应和近视场分辨能力强有利于准确判断的优点，从而既可以降低上下客违章情况的检测遗漏率，也可以提高上下客违章情况的判断准确性。同时扩展了道路管理者执法手段，延拓执法半径，通过视频自动处理的技术手段提升了执法效率，解决该违章行为现场执法取证难、查获率低的问题。

本实施例中，在检测到上下客行为后，视频数据处理设备可以向监控中心报警，由监控中心人工调取视频数据确认。但更佳的处理方式是自动取证，减少人工付出，因此本实施例在实现自动检测上下客行为的基础上还可以提供自动取证的手段，即在检测到客车的速度低于速度阈值之后，抓取照片形成照片证据和/或连续录像形成录像证据。这样，在确认存在上下客行为之后，视频数据处理设备可以将照片证据和/或录像证据上传给监控中心，从而可以对违章车辆的司机和/或所在公司进行处罚，提高违章抓获率和违章成本，从而减少上下客违章行为，保障交通安全。

抓取照片可以是在拍摄视频的时候进行，也可以是在视频分析完之后进行，即根据视频场景的时间轴来在视频中抓取照片。由于近视场视频中分辨率高，抓取照片优选在近视场视频中进行，但是根据需要也可以在远视场视频中进行。

本实施例中，可以通过人工方式从照片和/或录像中确定违章车辆的身份，但更优选的方式是视频数据处理设备从近视场视频提取客车的特征数据，特征数据可以包括车牌号码、车身颜色、车辆品牌等，当然最重要的是车牌号码，从而使违章人员无从抵赖。可以在近视场视频中跟踪客车的同时进行数据特征的提取，也可以在近视场视频中抓取照片之后在照片中提取，这可以通过图像识别技术实现，在此不再赘述。

在抓取照片取证时，需要抓取几张关键照片，例如可以这么选择：

在检测到客车的速度低于速度阈值之后，抓取第一张照片，这表明客车将要停车，是违章的开始，因而记录下违章开始的时间。

在行人靠近客车时或行人离开客车时，抓取第二和第三张照片，这表明行人与车辆发生了联系，前者表明上客，后者表明下客。为此可以设定两个距离阈值：第一阈值和小于第一阈值的第二阈值，当视频中客车和行人的位置之间距离处于第一阈值拍摄一张，处于第二阈值时也拍摄一张。根据照片的时间顺序就可以确定是上客还是下客，这样，第一阈值拍摄的照片在前，说明是上客，第一阈值拍摄的照片在后，说明是下客。第二、三张照片也可以这么抓取，在车和行人开始出现在同一个视频画面时抓取一张，在行人将要在有客车的视频画面消失时再抓取一张，行人和客车的距离在前者中大于后者，则说明是上客，否则说明是下客，注意这里的消失可以是行人图像的尺寸小于一阈值或者无法再识别。在客车离开时，抓取第四张照片，记录下违章结束的时间。

抓取照片的方式可以是从视频的关键帧中提取。在本发明中，同一视频数据可分为两路，一路作为录像缓存，另一路作为连续图像帧用来进行分析，同时可从该另一路中抓取关键帧作为照片。

这一系列照片能形成完整的证据链，提高执法的准确度。而连续录像可以对违章全程进行记录，两者配合，证据更加确凿。

如上所述本实施例可以通过双镜头来获取远视场和近视场，但在其他实施例中，也可以采用单镜头通过自动调焦、对准来获取远视场和近视场，同样属于本发明保护的范围。摄像机的形式可以是枪机、球机等。双镜头可以来自两个摄像机，或设置有两个镜头的同一摄像机，即双目相机。

图3是本发明另一实施例提供的公路上客车上下客的检测装置的流程图。参见图3，该装置包括：

客车检测模块31，用于根据远视场视频检测是否有客车出现；

速度检测模块32，用于当检测到有客车出现时，根据远视场视频检测客车的速度；

客车跟踪模块33，用于当检测到客车的速度低于速度阈值时，在近视场视频中跟踪客车；

行人检测模块34，用于根据近视场视频和/或远视场视频检测是否有行人出现；

上下客判断模块35，用于当检测到有行人出现时，根据近视场视频和/或远视场视频判定客车与行人的关系是分离还是融合，从而确定是否存在上客或下客行为。

本发明实施例提供的装置，通过远视场和近视场结合的方式，在远视场视频检测客车的出现及其速度，在客车速度低于限值时，调用近视场视频跟踪客车，在行人出现时，判定车人是分离还是融合，从而确定是否存在上客或下客，这样根据远视场视频进行预判，预判有违章可能后再调用近视场视频配合进行上下客判定，充分利用了远视场看得远有利于及时反应和近视场分辨能力强有利于准确判断的优点，从而既可以降低上下客违章情况的检测遗漏率，也可以提高上下客违章情况的判断准确性。同时扩展了道路管理者执法手段，延拓执法半径，通过视频自动处理的技术手段提升了执法效率，解决该违章行为现场执法取证难、查获率低的问题。

在一种可能实现方式中，该装置还包括：

上下客取证模块，在检测到客车的速度低于速度阈值之后，抓取照片形成照片证据和/或连续录像形成录像证据。

在一种可能实现方式中，该装置还包括：

特征提取模块，在近视场视频中提取客车的特征数据，特征数据包括客车的车牌号码。

在一种可能实现方式中，上下客取证模块包括：

缓行拍照子模块，在检测到客车的速度低于速度阈值之后，抓取第一张照片；

人车拍照模块，在行人靠近客车时或行人离开客车时，抓取第二张照片和第三张照片；

驶离拍照子模块，在客车离开时，抓取第四张照片。

在一种可能实现方式中，根据近视场视频判定客车与行人的关系是分离还是融合，从而确定是否存在上客或下客行为：

当根据近视场视频检测到行人与客车的相对距离变小，且行人在客车处消失，则判定客车与行人的关系是融合，确定存在上客行为；

当根据近视场视频检测到行人在客车处出现，且与客车的相对距离变大，则判定客车与行人的关系是融合，确定存在下客行为。

在一种可能实现方式中，远视场视频通过第一摄像机获取，近视场视频通过第二摄像机获取；或者，远视场视频和近视场视频由同一摄像机的两个镜头分别获取；或者，远视场视频和近视场视频由同一摄像机通过调节焦距获取。

在一种可能实现方式中，客车检测模块根据远视场视频检测是否有客车出现和/或行人检测模块根据近视场视频检测是否有行人出现是基于Fast R-CNN目标检测算法。

上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。

本实施例中提供的公路上客车上下客的检测装置与上一实施例中提供的公路上客车上下客的方法属于同一发明构思，其具体实现过程详见上一实施例，在此不再赘述。

图4是根据本发明实施例提供的一种公路上客车上下客的检测装置400的框图。装置400例如可以为一视频监控设备。参照图4，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理部件422执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行公路上客车上下客的检测方法。

装置400还可以包括一个电源组件426被配置为执行装置400的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(I/O)接口458，输入输出接口458处连接到一个或两个摄像机460，摄像机460为处理器提供视频数据来源，并接受处理器的控制指令。装置400可以操作基于存储在存储器432的操作***，例如WindowsServer^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM或类似的其他***。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种公路上客车上下客的检测方法，其特征在于，应用于视频监控设备，所述方法包括：

根据远视场视频检测是否有客车出现；

当检测到客车出现时，根据远视场视频检测所述客车的速度；

根据近视场视频和/或远视场视频检测是否有行人出现；

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

4.根据权利要求2所述的方法，其特征在于，所述抓取照片形成照片证据包括：

在所述客车离开时，抓取第四张照片。

5.根据权利要求1所述的方法，其特征在于，所述根据近视场视频和/或远视场视频判定所述客车与所述行人的关系是分离还是融合，从而确定是否存在上客或下客行为包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述远视场视频通过第一摄像机获取，所述近视场视频通过第二摄像机获取；或者，所述远视场和所述近视场由同一摄像机的两个镜头分别获取；或者，所述远视场视频和所述近视场视频由同一摄像机通过调节焦距获取。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述检测是否有客车出现和/或检测是否有行人出现是基于Fast R-CNN目标检测算法。

8.一种公路上客车上下客的检测装置，其特征在于，该装置包括：

客车检测模块，用于根据远视场视频检测是否有客车出现；

9.根据权利要求8所述的装置，其特征在于，该装置还包括：

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

11.根据权利要求8所述的装置，其特征在于，所述上下客判断模块包括：

12.根据权利要求9所述的装置，其特征在于，所述上下客取证模块包括：

驶离拍照子模块，在所述客车离开时，抓取第四张照片。

13.根据权利要求8-12其中任一项所述的装置，其特征在于，远视场视频通过第一镜头获取，近视场视频通过第二镜头获取；或者，所述远视场视频和所述近视场视频由同一摄像机的两个镜头分别获取；或者，远视场视频和近视场视频由同一镜头通过调节焦距获取。

14.根据权利要求8-12其中任一项所述的装置，其特征在于，所述客车检测模块检测是否有客车出现和/或行人检测模块检测是否有行人出现是基于FastR-CNN目标检测算法。