发明内容
为了解决上述问题,本发明提供了一种地铁车站智能信息发布***,基于车辆过车大数据进行分析,从而判断出所有出租车的过车频次是否满足预设的聚集告警条件,以达到告警警示的效果,实现对车辆聚集行为的及时掌控,使得车辆聚集引发车主闹事拉横幅等事件频发的现状得到有效改善。
本发明的目的是采用下述技术方案实现的:
一种基于大数据的车辆聚集告警方法,所述方法包括:
对接收到的终端接入图像数据进行预处理,以获得每条接入图像数据的图片数字信息;其中,所述终端接入图像数据包括至少一条接入图像数据;
识别所述图片数字信息,获取单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据;
判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息。
优选的,所述对接收到的终端接入图像数据进行预处理包括:
筛除所述接入图像数据中的失效数据;其中,所述失效数据包括:图片无法访问、图片大小超出服务器承载范围的数据;
对筛除失效数据后的接入图像数据进行数据清洗;
将经过数据清洗获得的接入图像数据进行字段重命名和缺省值赋予后,作为清洗数据存放至暂存容器中。
进一步地,所述对筛除失效数据后的接入图像数据进行数据清洗包括:
获取每条接入图像数据包含的内容字段,删除其内容字段中未包含关键字段的数据;其中,所述关键字段包括包含的抓拍设备的卡口ID、抓拍时间、行车方向及经纬度信息;
删除拍摄时间与时间同步服务器之间的差值超出预设时间范围的错误数据。
优选的,所述接入图像数据包括:过车图片、过车抓拍时间、抓拍设备信息、行车方向标记、行车车道标记和车速。
优选的,所述获得每条接入图像数据的图片数字信息包括:
获取暂存容器存放的清洗数据;
通过转接程序将所述清洗数据,以及所述清洗数据关联的识别参数和最新车辆年款型号推送至识别程序进行数据格式化处理,生成结构化的图片数字信息。
进一步地,所述图片数字信息包括抓拍车辆的车牌号码、车牌的颜色、车辆的型号、车辆的类别、是否为特种车辆、行驶方向、行驶的速度和车辆的颜色。
优选的,所述识别所述图片数字信息,获得单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据包括:
基于抓拍设备的卡口ID和抓拍时间,对图片数字信息进行聚类,生成特征库;
读取特征库中每一个类别特征对应的数据;
通过接口查询单位时间内每个抓拍设备下的所有数据,删除其中车牌号码重复的数据后对去重后的数据按照抓拍时间进行排序;
保留最后一次抓拍记录,获得抓拍时间、抓拍设备唯一的车辆抓拍数据。
优选的,所述判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息包括:
获取抓拍时间、抓拍设备唯一的车辆抓拍数据;
统计每一个抓拍设备下各行驶方向的车辆抓拍数量,与预先设定的不同行驶方向的告警阀值进行对比;
当任一行驶方向上抓拍的行车数量超过其对应行驶方向的告警阀值时,向手持移动终端发送告警信息;
其中,所述告警信息包括抓拍设备的卡口ID,以及当前抓拍设备在预定时间内抓拍的每个行驶方向对应的车辆抓拍数量。
一种基于大数据的车辆聚集告警***,包括:
第一获取模块,用于对接收到的终端接入图像数据进行预处理,以获得每条接入图像数据的图片数字信息;其中,所述终端接入图像数据包括至少一条接入图像数据;
第二获取模块,用于识别所述图片数字信息,获取单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据;
告警分析模块,用于判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息。
优选的,所述第一获取模块,包括:
筛选单元,用于筛除所述接入图像数据中的失效数据;
数据清理单元,用于对筛除失效数据后的接入图像数据进行数据清洗;
数据处理单元,用于将经过数据清洗获得的接入图像数据进行字段重命名和缺省值赋予后,作为清洗数据存放至暂存容器中;
第一获取单元,用于获取暂存容器存放的清洗数据;
格式化处理单元,用于通过转接程序将所述清洗数据,以及所述清洗数据关联的识别参数和最新车辆年款型号推送至识别程序进行数据格式化处理,生成结构化的图片数字信息;
所述第二获取模块,包括:
聚类单元,用于基于抓拍设备的卡口ID和抓拍时间,对图片数字信息进行聚类,生成特征库;
读取单元,用于读取特征库中每一个类别特征对应的数据;
处理单元,用于通过接口查询单位时间内每个抓拍设备下的所有数据,删除其中车牌号码重复的数据后对去重后的数据按照抓拍时间进行排序;
第二获取单元,用于保留最后一次抓拍记录,获得抓拍时间、抓拍设备唯一的车辆抓拍数据;
所述告警分析模块,包括:
第三获取单元,用于获取抓拍时间、抓拍设备唯一的车辆抓拍数据;
比较单元,用于统计每一个抓拍设备下各行驶方向的车辆抓拍数量,与预先设定的不同行驶方向的告警阀值进行对比;
告警单元,用于当任一行驶方向上抓拍的行车数量超过其对应行驶方向的告警阀值时,向手持移动终端发送告警信息;其中,所述告警信息包括抓拍设备的卡口ID,以及当前抓拍设备在预定时间内抓拍的每个行驶方向对应的车辆抓拍数量。
与最接近的现有技术比,本发明的有益效果为:
本发明提供了一种基于大数据的车辆聚集告警方法及***,可以以后台的方式进行数据查询并分析大数据,借由车辆的过车记录与各个卡口的设备信息进行关联分析,例如结合车牌、抓拍时间与各个卡口的经纬度进行分析,能够及时的对车辆聚集情况进行告警通告,通告方式包括页面的颜色信号灯提示或者短信告知等等,从而省去大量人工排查的时间,保障了治安人员对出租车聚集情况掌握的时效性与准确性。
本发明提供的一种基于大数据的车辆聚集告警方法及***,基于车辆过车大数据进行分析,从而判断出所有出租车的过车频次是否满足预设的聚集告警条件,以达到告警警示的效果,实现对车辆聚集行为的及时掌控,使得车辆聚集引发车主闹事拉横幅等事件频发的现状得到有效改善。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步的详细说明。
为了具体了解本发明提供的技术方案,将在下面的实施例中对本发明的技术方案做出详细的描述和说明。显然,本发明提供的实施例并不限定于本领域的技术人员所熟习的特殊细节。本发明的较佳实施例详细描述如下,除这些描述外,本发明还可以具有其他实施方式。
实施例1:
如图1所示,本发明中实施例1提供的一种基于大数据的车辆聚集告警方法,所述方法包括:
S1对接收到的终端接入图像数据进行预处理,以获得每条接入图像数据的图片数字信息;其中,所述终端接入图像数据包括至少一条接入图像数据;接入图像数据包括:过车图片、过车抓拍时间、抓拍设备信息、行车方向标记、行车车道标记和车速等等。
S2识别图片数字信息,获取单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据;
S3判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息。
步骤S1中,对接收到的终端接入图像数据进行预处理具体包括:
筛除所述接入图像数据中的失效数据;其中,所述失效数据包括:图片无法访问、图片大小超出服务器承载范围的数据;
对筛除失效数据后的接入图像数据进行数据清洗;
将经过数据清洗获得的接入图像数据进行字段重命名和缺省值赋予后,作为清洗数据存放至暂存容器中。
进一步地,对筛除失效数据后的接入图像数据进行数据清洗的步骤包括:
获取每条接入图像数据包含的内容字段,删除其内容字段中未包含关键字段的数据;其中,所述关键字段包括包含的抓拍设备的卡口ID、抓拍时间、行车方向及经纬度信息;
删除拍摄时间与时间同步服务器之间的差值超出预设时间范围的错误数据。
步骤S1中,获得每条接入图像数据的图片数字信息包括:
获取暂存容器存放的清洗数据;
通过转接程序将所述清洗数据,以及所述清洗数据关联的识别参数和最新车辆年款型号推送至识别程序进行数据格式化处理,生成结构化的图片数字信息。所述图片数字信息包括抓拍车辆的车牌号码、车牌的颜色、车辆的型号、车辆的类别、是否为特种车辆、行驶方向、行驶的速度和车辆的颜色等。
其中,接收到的终端接入图像数据是借由第三方厂商提供的图片数据,通过指定方式(例如ftp、ActiveMq、Kafka订阅、redis订阅、socket认证通信等)发送至终端可接收数据的程序上。
接收到后,首先该程序对数据中包含的图片信息进行筛选和数据清理,即对接收到的终端接入图像数据进行预处理:
1、筛选掉图片无法访问以及图片大小异常(过大超出服务器承载范围或过小)等失效数据;
2、筛选掉时间错误的数据(拍摄时间与时间同步服务器差异超过24小时,拍摄时间处于未来时间段时需在未来时间5min以内);
3、筛选掉无卡口信息(设备id)的失效数据;
并将该数据进行字段重命名、缺省值赋予后作为清洗数据推送至暂存容器(redis队列或者订阅、kafka订阅)
其次,清洗过的数据会通过转接程序推送至识别程序,该转接程序负责给识别程序传入清洗后的数据、识别参数以及当年最新的车辆年款型号字典等;
识别程序对传入的数据进行识别,并返还识别后的结构化数据(包含车牌、抓拍设备id等该功能所需的主要数据项),该程序将识别后的结构化数据回调给***的入库程序;
***的入库程序将识别程序识别到的车辆详细数据保存到列式存储数据库lightningdb,从而获得每条接入图像数据的图片数字信息。
列式存储数据库lightningdb主要字段有:
info_id(String)唯一标识符
vehicle_type_id(Int8)车辆识别为(车头车尾侧身标识)
capture_time(Int32)抓拍时间
device_id(Int64)抓拍设备
direction_id(Int8)行进方向
speed(Int8)车速
model_id(Int16)车辆型号编码->对应字典在mysql
license_plate2(String)识别后的车牌
plate_type_id2(Int8)车牌类别编码
geo_hash(String)谷歌地图分块算法使用的字段
color_id(Int8)车辆车身颜色编码
is_face(Int8)是否可识别车中人脸
seat_belt_left(Int8)是否系安全带
经上述步骤已将结构化的已识别好的车辆抓拍数据存入至数据库中,众所周知出租车车牌是存在命名规则的(如山东省的出租车车牌均以鲁BT或鲁UT开头)。
步骤S2中,识别所述图片数字信息,获得单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据包括:
基于抓拍设备的卡口ID和抓拍时间,对图片数字信息进行聚类,生成特征库;
读取特征库中每一个类别特征对应的数据;
通过接口查询单位时间内每个抓拍设备下的所有数据,删除其中车牌号码重复的数据后对去重后的数据按照抓拍时间进行排序;
保留最后一次抓拍记录,获得抓拍时间、抓拍设备唯一的车辆抓拍数据。
步骤S3中,判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息包括:
获取抓拍时间、抓拍设备唯一的车辆抓拍数据;
统计每一个抓拍设备下各行驶方向的车辆抓拍数量,与预先设定的不同行驶方向的告警阀值进行对比;
当任一行驶方向上抓拍的行车数量超过其对应行驶方向的告警阀值时,向手持移动终端发送告警信息;
其中,所述告警信息包括抓拍设备的卡口ID,以及当前抓拍设备在预定时间内抓拍的每个行驶方向对应的车辆抓拍数量。
实施例2:
基于实施例1中的技术原理,本发明具体实施方式还提供了实现基于大数据的车辆聚集告警方法的如下实施例,如图2所示:
通过接口查询出5min内卡口抓拍出租车的所有过车数据,对这些过车数据进行处理:
1.抓拍设备分组,这样我们得到每个抓拍设备抓拍的出租车数据,如:
Location_1:{capture_data_11,capture_data_12,capture_data_13,...}
Location_2:{capture_data_21,capture_data_22,capture_data_23,...}
2.车牌号去重取出,我们得到了所有的出租车车牌(由于识别程序准确度的问题,相同车牌可能存在不同车辆型号年款,这里我们视为通车牌即为同一个车)
由于每个capture_data中均包含抓拍时间,我们需要对数据做一个处理使得每一个车牌仅保留最后一次抓拍记录(unset掉该车牌在其他抓拍设备分组结果中的抓拍数据),这样就得到了对抓拍时间、抓拍设备唯一的按照抓拍设备分组的过车数据;
现本实施例可对分组处理过的数据进行分析判断,针对每一个抓拍设备而言,在前端传回数据时都会有一个行车方向字段(诸如东向西南向北),各个方向我们均预先设定一个告警阀值(alarm_point),当某一个抓拍设备抓拍的出租车数量超过该值alarm_point时进行S6告警->页面点位标红处理(短信提醒则需将组织好的告警语言推入至短信发送设备)并展示该卡口在该5min内抓拍出租车的每个行驶方向对应的抓拍数量,并比较每个方向的数量进行警示,当治安人员查看页面时会先看到一个卡口通过数量的列表,该列表展示了前20个按照出租车通过数量倒叙排序的table标签,并对超出alarm_point告警阀值的卡口点位标红处理,当治安人员点击对应的标红数字时,会在地图上展示一个出租车聚集告警详情弹框,该弹框的展示目的与实现原理如下:
展示目的:我们设定一个普查半径alarm_detail_meter(米数)展示以该卡口点位为中心方圆(alarm_detail_meter)米内其他设备(称该卡口的临时关联设备)抓拍情况,并以图文形式在弹框内展示,文字为每个临时关联设备的名称以及凌晨至现在的抓拍数量,并在文字上方展示最近的该临时关联设备抓拍的出租车抓拍照
实现原理:由于第三方厂商在提供卡口抓拍数据时会一并提供抓拍卡口的详细信息(包括但不局限于设备id、可抓拍的行车方向、经纬度信息等),使用alarm_detail_meter查询出以该卡口为中心方圆alarm_detail_meter内的所有临时关联设备,通过S4接口查询出这些卡口的当日凌晨至现在时间段内出租车抓拍数量以及最后一次抓拍的出租车详情(图片)。
实施例3:
本发明具体实施方式还提供一种应用于车辆聚集告警方法的程序流转过程主要包括:各个卡口抓拍车辆过车图片数据接入、图片数据格式化(识别为数字数据)、数据保存到数据仓库(lightningdb)、数据接口查询、告警逻辑判断、结果通告。
S101.各个卡口抓拍车辆过车图片数据接入:街道上每个路口所部署的前端摄像头具有抓拍车辆过车图片功能,其中包括但不仅限于以下数据
A.过车图片
B.过车抓拍时间
C.抓拍设备信息
D.行车方向标记
E.行车车道标记
F.车速
该数据通过第三方厂家接入至本***的接数据程序并将数据进行数据清洗(字段格式统一)二次处理,并将清洗好的数据推入暂存容器中(redis订阅或者kafka发布者队列)
S102.图片数据格式化(识别为数字数据):将图片数据推送至人工智能识别程序,***分析出图片的数字信息(包括但不限于车牌号码、车牌的颜色、车辆的型号、车辆的类别、是否特种车辆、行驶的方向、行驶的速度、车辆的颜色)
S103.数据保存到数据仓库(lightningdb):将人工智能识别程序识别到的车辆详细数据保存到列式存储数据库lightningdb(公司自主研发数据库)
S104.数据查询接口:使用golang、java等语言编写从数据仓库(lightningdb)查询数据的接口。
S105.告警逻辑判断:使用php-corntab联合方法触发或者python脚本运行进行数据分析从而判断在一段时间内是否存在出租车聚集倾向
S106.结果通告:借由本***中出租车聚集展示页面亦或告警程序中部署的短信设备进行发送短信通知到置顶联系人进行结果通告。
实施例4:
基于同一技术构思,本发明具体实施方式还提供一种基于大数据的车辆聚集告警***,如图3所示,包括:
第一获取模块,用于对接收到的终端接入图像数据进行预处理,以获得每条接入图像数据的图片数字信息;其中,所述终端接入图像数据包括至少一条接入图像数据;
第二获取模块,用于识别所述图片数字信息,获取单位时间段抓拍时间、抓拍设备唯一的车辆抓拍数据;
告警分析模块,用于判断该时段的车辆抓拍数据是否存在车辆聚集告警风险,确定车辆聚集告警信息。
其中,所述第一获取模块,包括:
筛选单元,用于筛除所述接入图像数据中的失效数据;
数据清理单元,用于对筛除失效数据后的接入图像数据进行数据清洗;
数据处理单元,用于将经过数据清洗获得的接入图像数据进行字段重命名和缺省值赋予后,作为清洗数据存放至暂存容器中;
第一获取单元,用于获取暂存容器存放的清洗数据;
格式化处理单元,用于通过转接程序将所述清洗数据,以及所述清洗数据关联的识别参数和最新车辆年款型号推送至识别程序进行数据格式化处理,生成结构化的图片数字信息;
数据清理单元还包括:
字段删除子单元,用于获取每条接入图像数据包含的内容字段,删除其内容字段中未包含关键字段的数据;其中,所述关键字段包括包含的抓拍设备的卡口ID、抓拍时间、行车方向及经纬度信息;
错误数据删除子单元,用于删除拍摄时间与时间同步服务器之间的差值超出预设时间范围的错误数据。
所述第二获取模块,包括:
聚类单元,用于基于抓拍设备的卡口ID和抓拍时间,对图片数字信息进行聚类,生成特征库;
读取单元,用于读取特征库中每一个类别特征对应的数据;
处理单元,用于通过接口查询单位时间内每个抓拍设备下的所有数据,删除其中车牌号码重复的数据后对去重后的数据按照抓拍时间进行排序;
第二获取单元,用于保留最后一次抓拍记录,获得抓拍时间、抓拍设备唯一的车辆抓拍数据;
所述告警分析模块,包括:
第三获取单元,用于获取抓拍时间、抓拍设备唯一的车辆抓拍数据;
比较单元,用于统计每一个抓拍设备下各行驶方向的车辆抓拍数量,与预先设定的不同行驶方向的告警阀值进行对比;
告警单元,用于当任一行驶方向上抓拍的行车数量超过其对应行驶方向的告警阀值时,向手持移动终端发送告警信息;其中,所述告警信息包括抓拍设备的卡口ID,以及当前抓拍设备在预定时间内抓拍的每个行驶方向对应的车辆抓拍数量。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是:以上实施例仅用以说明本申请的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解:本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换,这些变更、修改或者等同替换,其均在其申请待批的权利要求范围之内。