CN104134067A - 基于智能视觉物联网的道路车辆监控*** - Google Patents

Abstract

本发明公开了一种基于智能视觉物联网的道路车辆监控***，通过提取城市道路中车辆的视觉标签，并建立车辆视觉标签库的方法，实现道路车辆行踪的智能监控功能。主要由多个智能视觉传感节点、中央服务器和中央数据库组成。智能视觉传感节点提取道路车辆的车牌号码、车标、车型、车身颜色作为视觉标签，发送到中央服务器分析和处理，并存储在中央数据库中，以供PC客户机软件进行车辆监控处理。此智能视觉传感节点主要以嵌入式处理器Cortex-A8为核心，外接USB高清摄像机，并运行基于OpenCV视觉库的车辆标签提取算法。本发明具有较强的稳定性和实时性，具有较高的应用价值。

Description

基于智能视觉物联网的道路车辆监控***

技术领域

本发明属于图像处理技术领域，涉及道路车辆行踪的智能监控方法，具体而言是一种通过提取城市道路中车辆的视觉标签实现道路车辆的监控***。

背景技术

智能视觉物联网（IVIOT）是新一代信息技术的重要组成部分，也是物联网的升级版本。智能视觉物联网是通过视觉传感器、信息传输、智能视觉分析感知人、车、物，按约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以此来实现对物体的智能识别、定位跟踪和实时监控的一种智能网络。通过公共场所管理、智能楼宇、交通管制、学校、医院、监狱、温室、金融、军事、社区、个人视频设备等终端用户所搭建的“智能视觉物联网”，能够实现对社会资源的统一监控、管理和调度。因此，智能视觉物联网技术具有广泛的应用前景。

传统的道路车辆监控***需要将每辆车都安装GPS或RFID射频卡，这样不仅费时费力，而且此方案要求每位车主都安装，实施起来非常困难，同时也避免不了车主故意关闭或损坏定位设备以逃避跟踪的可能。基于智能视觉物联网的道路车辆监控***能够无接触、无干扰地获取道路车辆的视觉标签，并和中央服务器进行数据交换分析，即可实时的监控道路车辆的行踪轨迹。对交通部门和公安部门等有非常大的作用，具有非常重要的理论价值和现实意义。

发明内容

本发明针对道路车辆监控***的需求，设计了一种基于智能视觉物联网的道路车辆监控***，实施容易，监控稳定。

本发明技术方案是提供一种基于智能视觉物联网的道路车辆监控***，其特征在于：包括：

多个由摄像机和嵌入式处理器Cortex-A8组成的智能视觉传感节点，

用于和智能视觉传感节点进行信息交互的中央服务器，

用于存储视觉标签数据的中央数据库，

智能传感节点通过以太网与中央服务器相连，

PC客户机可通过以太网与中央服务器相连，并可访问每个智能传感节点的交通视频流。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述智能视觉传感节点在道路上布设要尽可能的多。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述嵌入式处理器Cortex-A8通过USB接口与摄像机相连，进行视频流的传输。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述嵌入式处理器Cortex-A8装载Linux***，并运行车辆视觉标签提取算法。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述智能传感节点通过开源项目MJPG-streamer进行视频流的发送和增加专用的Socket线程进行车辆视觉标签的发送。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车辆视觉标签提取算法，包括车牌号码识别算法、车标识别算法、车型识别算法和车身颜色识别算法。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车牌号码识别算法，步骤为：

1）使用V4L2驱动接口获取视频流；

2）使用Haar-like特征检测并分割出车辆的大***置；

3）使用离散小波分析、形态学膨胀处理和颜色信息等相结合的算法进行车牌定位；

4）使用形态学连通域排除和车牌先验信息相结合进行车牌字符的分割；

5）使用CNN卷积神经网络分类器对车牌字符进行识别；

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车标识别算法，步骤为：

1）根据前述定位的车牌位置，取向上延伸的5个车牌高度，宽度为车牌宽度，将此区域作为车标的粗定位结果；

2）通过对此区域canny边缘检测后，进行水平投影，取其中一段连续密集的低频区域作为车标的上下边界，宽度为车牌宽度，此区域作为车标的最终定位结果；

3）在此区域内使用车标模板进行滑动窗模板匹配，每一类车标模板均会返回一个匹配值，取最佳匹配的车标模板作为最终的识别结果。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车型识别算法，步骤为：

1）使用Haar-like特征检测并分割出车辆的大体估计位置；

2）查找连通域并计算其最小外接矩形；

3）通过对摄像机标定，计算出最小外接矩形的实际长宽大小（单位为米），将最小外接矩形长度小于6米的车辆判定为小型车，否则判定为大型车（由于按汽车车型细分将会有很多车型，这里只分类为两种车型：小型车和大型车）。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车身颜色识别算法，步骤为：

1）取前述定位好的车标位置正上方的一个矩形区域，长度为车牌长度，宽度为车牌高度的两倍；

2）将此区域由RGB模型转换到HSV模型；

3）根据此区域各像素点的H,S,V分量确定颜色分类，并统计出各颜色分类的像素点数，取总数最多的颜色分类作为车身颜色的识别结果。

前述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述智能传感节点通过开源项目MJPG-streamer进行视频流的发送，步骤为：

1）移植开源项目MJPG-streamer到嵌入式处理器Cortex-A8；

2）调用input_uvc和output_http两个插件，将摄像机视频流通过http协议发送至中央服务器和PC客户机。

智能视觉传感节点提取道路车辆的车牌号码、车标、车型、车身颜色作为视觉标签，并将途经地点、途经时刻等作为附加属性记录，然后将数据一起发送到中央服务器分析和处理，并存储在中央数据库中，以供PC客户机软件进行车辆监控处理。

本发明所达到的有益效果：

本发明的基于智能视觉物联网的道路车辆监控***，通过提取城市道路中车辆的视觉标签，并建立车辆视觉标签库的方法，实现道路车辆行踪的智能监控功能。***主要由多个智能视觉传感节点、中央服务器和中央数据库组成。智能视觉传感节点提取道路车辆的车牌号码、车标、车型、车身颜色作为视觉标签，并将途经地点、途经时刻等作为附加属性记录，然后将数据一起发送到中央服务器分析和处理，并存储在中央数据库中，以供PC客户机软件进行车辆监控处理。此智能视觉传感节点主要以嵌入式处理器Cortex-A8为核心，外接USB高清摄像机，并运行基于OpenCV视觉库的车辆标签提取算法，因此保证了视频流处理的实时性和稳定性。本发明具有较强的稳定性和实时性，具有较高的应用价值。

附图说明

图1为本发明基于智能视觉物联网的道路车辆监控***的结构示意图；

图2为智能视觉传感节点安装示意图；

图3为通过V4L2驱动采集交通视频流步骤示意图；

图4为MJPG-streamer进行视频流和视觉标签发送流程示意图。

具体实施方式

   下面对本发明的具体实施方式做进一步详细的描述。

   如图1所示，本发明基于智能视觉物联网的道路车辆监控***的硬件部分包括：多个由摄像机和嵌入式处理器Cortex-A8组成的智能视觉传感节点，摄像机用于采集交通视频流，嵌入式处理器Cortex-A8从摄像机采集的交通视频流中提取车辆视觉标签；中央服务器，用于和智能视觉传感节点进行数据交换和分析；中央数据库，用于存储车辆视觉标签数据。

   如图2所示，智能视觉传感节点在城市道路上每隔一定距离安装一个，保证节点的足够密。摄像机的安装需要离地面约6米，采用36毫米的镜头，拍摄距离约25米远。辅助光源最好单独立杆，离车辆检测位置不要太远。在保证图像亮度不是太低，并且图像噪声不高的情况下，快门速度应尽可能的快（不低于1/1000），这样能保证较高的图像质量。

   本发明的基于智能视觉物联网的道路车辆监控***的软件实现具体步骤如下：

1）移植OpenCV视觉库和开源视频流传输项目MJPG-streamer到嵌入式处理器的Linux***；

2）使用V4L2驱动采集交通视频流，具体步骤如图3所示；

3）车牌号识别算法，其具体步骤如下:

a.使用Haar-like特征检测并分割出车辆的大***置；

b.车牌的定位主要流程包括四个部分：第一部分将车辆图像进行haar小波分解，得到高频图像和低频图像，并进行1/2步长的采样，保留垂直方向的高频图像（经实验知，车牌区域在此图像中较为高亮明显）；第二部分设定自适应阈值为最小的15%点的像素值，以滤除绝大多数的无用噪声和得到车牌候选区域；第三部分对二值图像进行水平膨胀，使车牌候选区域得以填充饱满；第四部分通过判断各车牌候选区域的颜色信息，进而最终确定车牌区域，作为车牌定位结果。

c.车牌字符的分割主要采用形态学连通域排除和车牌先验信息相结合的方法，具体实现为：先对车牌区域进行连通域标记，删除其中不符合标准的区域，比如面积太大或太小的区域和高宽比太大或太小的区域，然后通过车牌字符间距的先验信息将有可能误删的字符区域恢复，保证保留的字符区域数为7，并满足车牌字符的先验信息，最后以各字符的最小外接矩形为最后的分割结果；

   d.车牌字符的识别采用的是CNN卷积神经网络分类器：CNN分类器是基于梯度和反向传播的训练方法。首先将所有的训练字符图片和对应的标签输入CNN网络，若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的循环交替，在权向量空间执行误差函数梯度下降策略，使误差函数达到最小值即完成了分类器的训练。

4）车标识别算法，其具体步骤如下:

a.根据前述定位的车牌位置，取向上延伸的5个车牌高度，宽度为车牌宽度，将此区域作为车标的粗定位结果；

b.通过对此区域canny边缘检测后，进行水平投影，取其中一段连续密集的低频区域作为车标的上下边界，宽度为车牌宽度，此区域作为车标的最终定位结果；

c.在此区域内使用车标模板进行滑动窗模板匹配，每一类车标模板均会返回一个匹配值，取最佳匹配的车标模板作为最终的识别结果。

5）车型识别算法，其具体步骤如下：

a.使用Haar-like特征检测并分割出车辆的大***置；

b.查找连通域并计算其最小外接矩形；

c.通过对摄像机标定，计算出最小外接矩形的实际长宽大小（单位为米），将最小外接矩形长度小于6米的车辆判定为小型车，否则判定为大型车（由于按汽车车型细分将会有很多车型，这里只分类为两种车型：小型车和大型车）。

6）车身颜色识别算法，其具体步骤如下：

a.取前述定位好的车标位置正上方的一个矩形区域，长度为车牌长度，宽度为车牌高度的两倍；

b.将此区域由RGB模型转换到HSV模型；

c.根据此区域各像素点的H,S,V分量确定颜色分类，并统计出各颜色分类的像素点数，取总数最多的颜色分类作为车身颜色的识别结果。

7）将车辆车牌号码、车标、车型和车身颜色作为识别标签，车辆当前途经地点和途经时刻作为其附加属性记录一下，并在MJPG-streamer的基础上增加一个专用地Socket数据发送线程，将数据发送至中央服务器分析和中央数据库处理。

8）调用MJPG-streamer的input_uvc和output_http两个插件，将摄像机视频流通过http协议发送至中央服务器和PC客户机，具体流程如图4所示。

Claims (10)

1. 一种基于智能视觉物联网的道路车辆监控***，其特征在于：包括：

多个由摄像机和嵌入式处理器Cortex-A8组成的智能视觉传感节点，

通过以太网与智能传感节点相连并进行信息交互的中央服务器，

用于存储视觉标签数据的中央数据库，

通过以太网与中央服务器相连、访问每个智能传感节点的交通视频流的PC客户机。

2.根据权利要求1所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述嵌入式处理器Cortex-A8通过USB接口与摄像机相连。

3.根据权利要求1所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述嵌入式处理器Cortex-A8装载Linux***，并运行车辆视觉标签提取算法。

4.根据权利要求1所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述智能传感节点通过开源项目MJPG-streamer进行视频流的发送和增加专用的Socket线程进行车辆视觉标签的发送。

5.根据权利要求3所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车辆视觉标签提取算法，包括车牌号码识别算法、车标识别算法、车型识别算法和车身颜色识别算法。

6.根据权利要求5所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车牌号码识别算法，步骤为：

1）使用V4L2驱动接口获取视频流；

2）使用Haar-like特征检测并分割出车辆的大***置；

3）使用离散小波分析、形态学膨胀处理和颜色信息相结合的算法进行车牌定位；

4）使用形态学连通域排除和车牌先验信息相结合进行车牌字符的分割；

5）使用CNN卷积神经网络分类器对车牌字符进行识别。

7.根据权利要求5所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车标识别算法，步骤为：

1）根据定位的车牌位置，取向上延伸的5个车牌高度，宽度为车牌宽度，将此区域作为车标的粗定位结果；

2）通过对此区域canny边缘检测后，进行水平投影，取其中一段连续密集的低频区域作为车标的上下边界，宽度为车牌宽度，此区域作为车标的最终定位结果；

3）在此区域内使用车标模板进行滑动窗模板匹配，每一类车标模板均返回一个匹配值，取匹配值最大的车标模板作为最终的识别结果。

8.根据权利要求5所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车型识别算法，步骤为：

1）使用Haar-like特征检测并分割出车辆的估计位置；

2）查找连通域并计算其最小外接矩形；

3）通过对摄像机标定，计算出最小外接矩形的实际长宽大小，将最小外接矩形长度小于6米的车辆判定为小型车，否则判定为大型车。

9.根据权利要求5所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述车身颜色识别算法，步骤为：

1）取定位好的车标位置正上方的一个矩形区域，长度为车牌长度，宽度为车牌高度的两倍；

2）将此区域由RGB模型转换到HSV模型；

3）根据此区域各像素点的H、S、V分量确定颜色分类，并统计出各颜色分类的像素点数，取总数最多的颜色分类作为车身颜色的识别结果。

10.根据权利要求4所述的基于智能视觉物联网的道路车辆监控***，其特征在于：所述智能传感节点通过开源项目MJPG-streamer进行视频流的发送，步骤为：

1）移植开源项目MJPG-streamer到嵌入式处理器Cortex-A8；

2）调用input_uvc和output_http两个插件，将摄像机视频流通过http协议发送至中央服务器和PC客户机。