发明内容
本发明目的在于提供一种基于地理时空约束的警务云图像识别车辆管控***,解决了现有技术中道路图像中由于汽车快速性、机动性导致车辆无法进行有效识别等问题。
为了解决现有技术中的这些问题,本发明提供的技术方案是:
一种基于地理时空约束的警务云图像识别车辆管控***,包括图像数据采集分解模块、图像检索模块、数据存储模块和地理信息服务模块;其特征在于所述图像数据采集分解模块负责采集道路图像,撷取图像中车辆特征,并将图像中车辆特征信息传输给数据存储模块;所述数据存储模块用于存储道路图像以及关于图像中车辆特征信息的图像特征元数据;所述图像检索模块,用于响应请求方的图像检索请求,根据请求方的图像检索请求以图像特征元数据与地理时空约束相混合的图像检索模式获取符合图像检索请求的检索结果,并将检索结果反馈给请求方;所述地理信息服务模块用于响应请求方的车辆定位请求,通过地理信息平台服务的地图服务器获取车辆空间位置信息,并将车辆空间位置信息反馈给请求方。
优选的,所述图像数据采集分解模块提取的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征。
优选的,所述***中以图像特征元数据与地理时空约束相混合的图像检索模式为请求方进行车辆图像检索时,图像检索模块根据输入的车辆图像特征与地理信息服务模块通讯,获取某一时间段内该车辆的空间位置信息;具体首先根据车辆图像特征找到在该时段车辆出现的第一点,根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集,在所属点集对应的车辆图像特征集内查找所需检索的车辆,找到车辆在空间上的第二点,以此类推找出其他点,直至超出检索时段。
优选的,所述***还包括图像增强模块,所述图像增强模块根据将图像检索模块检索出的结果在地图上形成空间点,并将空间点按照时间的先后顺序串联,形成被检索车辆的空间轨迹;根据轨迹路径找到经过道路卡口但未被图像数据采集分解模块采集或分解出汽车图像的点位A1;根据轨迹时段,检索A1点所有图像特征缺失的记录;在缺失记录中根据图像特征重新检索匹配,找到相应的图像数据,补充到数据存储模块的相应图像特征元数据中。
优选的,所述***中图像数据采集分解模块设置有训练学习状态和图像识别状态;当处于训练学习状态时,图像数据采集分解模块通过训练学习模式形成车辆特征模型库,为在线的图像识别提供比对参数;当处于图像识别状态时,图像数据采集分解模块根据车辆特征模型库,提取分析经过相应图像数据采集分解模块所处的卡口、视频监控的车辆特征。
优选的,所述地理信息服务模块采用全国统一警用地理信息平台服务的地图服务器。
优选的,所述数据存储模块内构建图像元数据库,所述图像元数据库的字段包括:
根据车辆图像形成的车辆特征码、车辆经过卡口、视频的时间、车辆经过卡口、视频监控所在的空间经纬度、卡口、视频监控设备的唯一编码、识别出来的车牌号码、识别出来的车辆颜色、识别出来的车辆型号、其他车辆特征集合。
本发明提供了一种图像数据采集分解模块,通过模块内CUDA编程模型提取图像特征,将图像内容进行分解。经过图像识别模型,提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等,形成车辆图像信息的元数据,将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。再通过地理信息时空约束,在缩小了图像检索的范围同时,将图像检索出的结果在地图上形成空间点,将这些空间点按照时间的先后顺串联,形成被检索车辆的空间轨迹。
本发明克服了现有技术存在的缺陷,提供基于地理时空约束的警务云图像识别车辆管控***。通过地理信息***技术、图像识别技术、警务云技术、图像检索技术对车辆进行管控,从而提高了车辆图像的识别效率。
具体的技术方案中,本发明基于地理时空约束的警务云图像识别车辆管控***提供了基于地理信息***的车辆轨迹分析方法,包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分,其中所述图像数据采集分解模块采用基于GPU计算,通过CUDA编程模型解决大量并行化的问题,增加图像特征的分解速度,提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算,减轻服务器集中处理的计算压力与网络带宽压力。
所述图像检索服务器采用图像特征元数据与地理时空约束相混合的图像检索模式,通过地理时空约束缩小图像检索范围,再根据图像特征元数据对所需图像进行检索。所述的警务云存储模块是指基于私有云的警务公安网络分布式的存储方式,提供图像信息数据的存储。
所述的警用地理信息服务器是由公安部门提供的安装全国统一警用地理信息平台服务的地图服务器,可以为车辆管控提供空间位置服务及空间分析服务。所述的车辆管控应用服务器是基于警用地理信息服务器提供的GIS功能实现图像信息的空间化,利用图像检索服务器提供的图像检索服务,实现对车辆的车型识别、车辆轨迹跟踪、***的识别等功能,满足公安、交管等部门对车辆的管控需求。
本***采用B/S架构模式,图像识别在前端图像数据采集分解模块内部完成,经过算法改进的图像识别模型,提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等,形成车辆图像信息的元数据,将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。车辆管控***再从警务云存储模块中检索所需数据进行分析。
所述车辆管控***功能包括以下2个部分:
1、前端图像分解数据采集功能
1)训练学习
训练学习功能是前端图像数据采集分解模块部署初期,通过训练学习模式,对过往车辆进行车辆特征的提取,形成车辆特征模型库,为在线的图像识别提供比对参数。
2)图像分解识别
根据车辆特征模型库,提取分析经过卡口、视频监控的车辆特征。使用经过算法改进的图像识别模型,提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等,形成车辆图像信息的元数据,将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。
3)图像分解接口服务
由若干个前端图像数据采集分解模块组成图像分解采集集群,分布于各个图像采集管理单元内。每个图像分解采集模块以REST API方式对外提供服务,服务包括图片的存储、智能图像分解、车辆图像信息预警等服务。
2、图像检索分析功能
1)车辆图像检索分析
业务人员选择车辆图像检索分析时,***需要根据输入的车辆图像特征检索某一时间段内该车辆的空间位置。在这种工作模式下,***首先根据车辆图像特征找到在该时段车辆出现的第一点,根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集,在所属点集对应的车辆图像特征集内查找所需检索的车辆,找到车辆在空间上的第二点,以此类推找出第三、四点等,直至超出检索时段。
通过地理时空约束,在缩小了图像检索的范围同时,将图像检索出的结果在地图上形成空间点,将这些空间点按照时间的先后顺串联,形成被检索车辆的空间轨迹。
2)车辆轨迹增强图像检索
根据车辆在地理时空的轨迹,推导出车辆所经过的路线,对在部分图像特征识别不准确的车辆图像特征进行补充。实现的程序步骤:
a、服务器检索出车辆在空间上的轨迹点位,形成轨迹路径;
b、根据轨迹路径找到经过卡口但未检索出图像的点位A1;
c、根据轨迹时段,检索A1点所有图像特征缺失的记录;
d、在缺失记录中根据图像特征重新检索匹配,找到相应的图像数据,补充到图像特征元数据库内。
3)***辆识别
根据前端图像分解采集的图像特征元数据,通过车型、车牌照、颜色与交管部门登记的车辆进行比较,当车牌照与登记的车型、颜色不服时,即可判定为***辆,***自动报警并记录***辆信息,便于后续处理。
4)实施交通路况
通过前端图像采集分解模块,采集车速、经过视频卡口车辆的数目与道路最大通行量做比较,形成实施交通路况数据,通过地理信息技术以不同的颜色级别标识到对应的道路上。
本发明旨在解决公安、交管等部门在车辆管控的过程中存在的实际问题,依靠地理信息***技术、图像识别技术、警务云技术、图像检索技术,根据管理的不同需求,对车辆特征、轨迹进行分析,对车辆图像进行有效识别及对车辆轨迹进行有效跟踪,具有自己独有的特色。
相对于现有技术中的方案,本发明的优点是:
1、充分利用GPU计算能力,通过CUDA编程模型解决大量并行化的问题,增加图像特征的分解速度,提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算,减轻服务器集中处理的计算压力与网络带宽压力。
2、由若干个前端图像数据采集分解模块组成图像分解采集集群,分布于各个图像采集管理单元内,每个图像分解采集模块以REST API方式对外提供服务。
3、采用地理时空约束的图像检索分析方式,将车辆活动的地理时空特征与图像特征元数据检索相结合,通过地理时空约束缩小了图像检索范围,有效的提高了海量图像检索的速度与准确度。
4、本发明采用的B/S架构,所有的数据保存在警务云存储模块中,便于海量图像数据的管理与跟踪。
5、独特的图像元数据库,将车辆特征与空间、时间结合起来,通过多维对图像数据进行元数据描述。
本发明提供了一种基于地理时空约束的警务云图像识别车辆管控***,包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分;***通过图像数据采集分解模块将采集的图像进行分解,形成图像索引与图像特征存储在警务云内;车辆管控应用部分基于警用地理信息服务器提供的GIS功能实现图像信息的空间化,利用图像检索服务器提供的图像检索服务,实现对车辆的车型识别、车辆轨迹跟踪、***的识别等功能,满足公安、交管等部门对车辆的管控需求。
实施例
如图1所示,该基于地理时空约束的警务云图像识别车辆管控***,包括图像数据采集分解模块、图像检索服务器、警务云存储模块、警用地理信息服务器、车辆管控应用服务器五个部分,所述的图像数据采集分解模块采用基于GPU计算的图像数据采集分解模块,通过CUDA编程模型解决大量并行化的问题,增加图像特征的分解速度,提高图像匹配率。同时以分布式的图像数据采集分解模块并行计算,减轻服务器集中处理的计算压力与网络带宽压力;所述的图像检索服务器采用图像特征元数据与地理时空约束相混合的图像检索模式,通过地理时空约束缩小图像检索范围,再根据图像特征元数据对所需图像进行检索;所述的警务云存储模块是指基于私有云的警务公安网络分布式的存储方式,提供图像信息数据的存储;所述的警用地理信息服务器是由公安部门提供的安装全国统一警用地理信息平台服务的地图服务器,可以为车辆管控提供空间位置服务及空间分析服务;所述的车辆管控应用服务器是基于警用地理信息服务器提供的GIS功能实现图像信息的空间化,利用图像检索服务器提供的图像检索服务,实现对车辆的车型识别、车辆轨迹跟踪、***的识别等功能,满足公安、交管等部门对车辆的管控需求。
***采用B/S架构模式,图像识别在前端的图像数据采集分解模块内部完成,经过算法改进的图像识别模型,提取经过卡口、监控视频的车辆特征包括车牌、车型、车辆颜色、车辆前脸特征、车内内饰特征等,形成车辆图像信息的元数据,将车辆图像数据及车辆图像元数据分类存储在警务云存储模块内。车辆管控***再从警务云存储模块中检索所需数据进行分析。
如图2所示,道路图像采集通过部署在道路卡口、视频监控上的原有网络高清一体摄像机完成,高清摄像机抓拍车辆图片后,传送至图像数据采集分解模块内,由图像数据采集分解模块根据车辆图片进行分解识别、图像特征提取、图像存储及对外界接口,根据道路上车流压力的不同,可配置多个前端图像分解模块形成集群。
如图3所示,道路图像中车辆特征信息分解通过模块内内置算法完成,模块接收一体摄像机传入的车辆图像后,将车辆图像像素化提取出车辆的边界,根据边界提取后的像素信息进行车头识别或车尾识别,提取车辆的特征数据与训练好的车辆特征库进行对比,形成车辆牌照信息、车辆特征信息(包括车牌、车型、车辆颜色、车辆前脸特征、车尾特征、车内内饰特征等)、空间坐标信息,并将这些信息保存成车辆特征元数据,并对外提供REST服务。
如图4所示,车辆图像的检索分析是根据输入的车辆图像特征检索某一时间段内该车辆的空间位置。在这种工作模式下,***首先根据车辆图像特征找到在该时段车辆出现的第一点,根据车辆出现第一点的空间位置通过临近分析找出与该点连通的所有点集,在所属点集对应的车辆图像特征集内查找所需检索的车辆,找到车辆在空间上的第二点,以此类推找出第三、四点等,直至超出检索时段。
通过地理时空约束,在缩小了图像检索的范围同时,将图像检索出的结果在地图上形成空间点,将这些空间点按照时间的先后顺串联,形成被检索车辆的空间轨迹。
如图5所示,车辆轨迹增强图像检索是根据车辆在地理时空的轨迹,推导出车辆所经过的路线,对在部分图像特征识别不准确的车辆图像特征进行补充。实现的程序步骤如下:
a、服务器检索出车辆在空间上的轨迹点位,形成轨迹路径;
b、根据轨迹路径找到经过卡口但未检索出图像的点位A1;
c、根据轨迹时段,检索A1点所有图像特征缺失的记录;
d、在缺失记录中根据图像特征重新检索匹配,找到相应的图像数据,补充到图像特征元数据库内。
如图6所示,实施交通路况是通过前端图像采集分解模块,采集车速、经过视频卡口车辆的数目与道路最大通行量做比较,形成实施交通路况数据,通过地理信息技术以不同的颜色级别标识到对应的道路上。
上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。