CN105913656A - 基于分布式统计频繁过车的方法及*** - Google Patents

基于分布式统计频繁过车的方法及*** Download PDF

Info

Publication number
CN105913656A
CN105913656A CN201610274065.4A CN201610274065A CN105913656A CN 105913656 A CN105913656 A CN 105913656A CN 201610274065 A CN201610274065 A CN 201610274065A CN 105913656 A CN105913656 A CN 105913656A
Authority
CN
China
Prior art keywords
vehicle
passing
data
gate
frequent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610274065.4A
Other languages
English (en)
Other versions
CN105913656B (zh
Inventor
李善宝
李占强
马述杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taihua Wisdom Industry Group Co Ltd
Original Assignee
Taihua Wisdom Industry Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taihua Wisdom Industry Group Co Ltd filed Critical Taihua Wisdom Industry Group Co Ltd
Priority to CN201610274065.4A priority Critical patent/CN105913656B/zh
Publication of CN105913656A publication Critical patent/CN105913656A/zh
Application granted granted Critical
Publication of CN105913656B publication Critical patent/CN105913656B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开基于分布式统计频繁过车的方法，包括：根据预先设定频繁过车统计条件生成统计频繁过车请求；向分布式存储***的各个节点发送统计频繁过车请求；接收各个节点根据频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将卡口过车数据按卡口信息及车辆标识的格式进行保存；遍历保存的卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存；遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。本发明提升了统计频繁过车的统计效率。

Description

基于分布式统计频繁过车的方法及***
技术领域
本发明涉及过车数据统计的技术领域，具体地，涉及一种基于分布式统计频繁过车的方法及***。
背景技术
近年来，随着人们生活水平的改善及技术的进步，汽车也成为了人们日常出行的常用交通工具，极大地方便了人们的生活及工作。但是，另一方面，汽车在为人们生活和工作提供便利的同时，也为许多违法犯罪分子提供了机会，现今利用汽车作为犯罪工具的事件层出不穷，比如肇事逃逸、驾车逃窜、驾车跟踪等等。如果能找到这些犯罪车辆的行程信息往往会给民警侦破违法案件提供极大的便利条件。随着互联网技术及信息处理技术的发展，各种信息的智能化分析及处理成为业内的热门研究内容。加上现今各地的交通设备的大量增加，交通信息工程的建设，也形成了成熟的车辆的信息采集技术。现有技术中，通过卡口的车辆数据采集设备收集在各个卡口的车辆过车数据，并存储在关系数据库或分散没有关联的文本数据中。如果想获取车辆的过车次数有两种方式：人工进行统计和从关系数据中进行统计。
但是，采集设备收集到的通过卡口车辆的特征信息不完整时，比如看不清车辆品牌、车牌遮挡等，这里的不完整特征不一定是由人为因素造成，还可能是由于采集设备拍摄方向、角度、光线等原因造成，或者当时记录人员只记清楚车牌的一部分、车辆的颜色、品牌等情况。在过车数据存储量如此之大的情况下，要想找出一辆特征不全的汽车就如大海捞针一般。从这些过车数据中将通过筛选先缩小过车数据的查找范围，也能成倍、成百倍的减少后续的工作量，节省了查找的成本。在现有技术中，频繁过车是统计车辆经过某地(卡口)的次数，通过车辆过车的次数按照预设条件筛除/捕获车辆数据，从而缩小查找范围，并筛选出达到一定数量过车次数的过车数据集合，即称之为频繁过车。
现有技术的卡口数据是存在关系数据库或分散没有关联的文本数据当中，在如此庞大的数据量中，人工统计查找频繁过车数据显然是不现实的；而关系型数据库是按照交叉二维表的形式存储数据，会因为存储数据量大增加存储成本，还会因为遍历二维表中存储的庞大数据不能快速查询定位到目标过车数据，也就不能实现频繁过车数据的实时查询。就是简单的查询也需数分钟的等待时间，统计频繁过车数据的速度随之变慢，远远不能满足实际的实时查询和统计的目的。
因此，提供一种高效易实施的在大数据平台的上对频繁过车进行统计的方法是本领域亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于分布式统计频繁过车的方法及***，解决了在过车数据中统计频繁过车成本高、效率低下的问题。
为了解决上述技术问题，本发明提出一种基于分布式统计频繁过车的方法，包括：
根据预先设定频繁过车统计条件生成统计频繁过车请求；
向分布式存储***的各个节点发送所述统计频繁过车请求；
接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数；
遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存；
遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
进一步地，其中，该方法进一步包括：
舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
进一步地，其中，所述合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存，进一步包括：
将遍历到的相同卡口的过车数据合并到同一个集合中；
在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
进一步地，其中，所述接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存，进一步包括：
利用分布式服务框架从分布式存储***的各个节点获取符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据。
进一步地，其中，所述卡口过车数据，进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态及过车时间。
另外，本发明还提供一种基于分布式统计频繁过车的***，包括：处理模块、发送模块、接收模块、归档合并模块及统计模块；其中，
所述处理模块，用于根据预先设定频繁过车统计条件生成统计频繁过车请求；
所述发送模块，用于向分布式存储***的各个节点发送统计频繁过车请求；
所述接收模块，用于接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数；
所述归档合并模块，用于遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存；
所述统计模块，用于遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
进一步地，其中，所述接收模块，进一步用于：
舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
进一步地，其中，所述归档合并模块，进一步用于：
将遍历到的相同卡口的过车数据合并到同一个集合中；
在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
进一步地，其中，所述接收模块，进一步用于：
利用分布式服务框架从分布式存储***的各个节点获取符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据。
进一步地，其中，所述卡口过车数据，进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态、过车次数及过车时间。
与现有技术相比，本发明的基于分布式统计频繁过车的方法及***，实现了如下的有益效果：
(1)本发明所述的基于分布式统计频繁过车的方法及***，基于大数据平台的频繁过车统计方法，接收在大数据平台分布式存储的节点上进行分布式运算结果，然后再进行整体整合、统计，可以将大数据平台分布式地建立在廉价的商用机上，并根据数据量的大小等实际情况确定分布式集群的大小，能够存储海量的数据，节约了统计频繁过车的所使用的资源，且可以利用分布式集群并行地对过车数据进行查询、统计，提升了统计频繁过车的统计效率。
(2)本发明所述的基于分布式统计频繁过车的方法及***，按照预先设定的要求在初步统计过滤掉不符合条件的数据，排除了繁杂的过车数据处理过程，从而降低了在进行整合统计时的数据量，由此缩短了统计频繁过车的运算时间以及计算速度。
(3)本发明所述的基于分布式统计频繁过车的方法及***，在数据统计初期先筛选出符合预定条件要求的过车数据，再统计各个卡口的每台车辆过车次数后，利用频繁过车预定的过车次数阈值挑选并统计频繁过车的信息，在查询、统计过程中，各个车辆的信息都不会有遗漏，保证了统计频繁过车的准确性。
当然，实施本发明的任一产品必不一定需要同时达到以上所述的所有技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1A为本发明的基于分布式统计频繁过车的方法的一个可选实施例的流程示意图；
图1B为本发明的基于分布式统计频繁过车的方法的操作原理示意图；
图2为本发明实施例2所述的基于分布式统计频繁过车的方法的实施例的流程示意图；
图3为本发明实施例3所述的基于分布式统计频繁过车的方法的一个具体实施例的流程示意图；
图4为本发明基于分布式统计频繁过车的***的一个可选实施例的结构示意图。
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本发明的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
实施例1
如图1A和图1B所示，图1A为本发明的基于分布式统计频繁过车的方法的一个可选实施例的流程示意图；图1B为本发明的基于分布式统计频繁过车的方法的操作原理示意图。本发明基于分布式存储***，通过分布式管理控制先筛选出符合预定条件要求的过车数据，再进行过车数据的归档、整合以及清洗统计出准确的频繁过车信息，加快了频繁过车统计的效率。本实施例中所述基于分布式统计频繁过车的方法包括以下步骤：
步骤101、根据预先设定频繁过车统计条件生成统计频繁过车请求，并向分布式存储***的各个节点发送统计频繁过车请求。
分布式存储***(Hadoop)，具有高容错性的特点，在低廉的硬件上部署存储节点，通过分布式服务协议统一管理各个节点的数据处理后的信息传递，又因为它提供的高吞吐量可以用来访问应用程序数据，充分利用分布式集群的并行计算威力能够实现高速运算和存储。根据实际的频繁过车统计需求生成统计频繁过车请求，通过分布式管理协议下发至各个分布式节点。
步骤102、接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数。
分布式存储***的各个节点接收统计频繁过车请求后，从其存储的过车数据库中获取符合条件要求的过车数据，其中，各个节点遍历其存储的过车数据，并与预先设定的卡口信息、车辆信息及过车时间要求进行比较，判断出符合要求的过车数据，如此就能根据实际需要设定好所需条件要求信息，通过各个节点即可进行筛选出初步符合要求的频繁过车数据，减少后续的合并、统计工作量，且保证了频繁过车的过车数据不会有遗漏。
步骤103、遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存。
在本步骤中，先遍历步骤102中初步筛选出的过车数据，找出各个卡口的过车数据集合到一起，再将各个卡口数据集合中的每台车辆的过车次数统计为总的过车次数。如此，即可准确地统计出各个卡口中每台车辆的过车次数以及过车信息，按照卡口集合的形式进行存储，方便后续的进一步筛选。
步骤104、遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
其中，图1B为本发明的基于分布式统计频繁过车的方法的操作原理示意图。从图1B的示意图中可以看出，经过步骤105、106、107及108对各个节点的过车数据进行统计后汇集到一起后；通过步骤109将各个卡口的过车数据归档合并后；再采用步骤110清洗归档合并后的过车数据；最终通过步骤111获得最终的频繁过车统计结果。
经过初步筛选以及各个卡口的每台车辆过车次数的合并，分类地查找出每台车辆在各个卡口的过车次数数据，每台车辆与其在各个卡口的过车次数信息是唯一确定的。根据所要求的数据清洗规则，遍历归档合并后的各个卡口集合中每台车辆的过车次数信息，即可得到频繁过车的统计数据。例如，频繁过车预先设置要求统计过车次数少于/多于m，即将过车次数多于/少于m的车辆过车次数信息删除，得到最终要求的频繁过车的车辆信息以及其在卡口的过车次数数据。
在本实施例中，基于分布式过车数据存储***，接收在大数据平台分布式存储的节点上根据预先设定要求进行分布式筛选后的过车数据后，再进行整体整合、统计，并清洗出符合频繁过车预定阈值的频繁过车数据，不仅可以利用分布式***的并行计算方式，还能够使用先初筛再合并清洗的方式，提升统计频繁过车的统计效率。
实施例2
如图2所示，为本发明实施例2的基于分布式统计频繁过车的方法。在本实施例中，设置了基于分布式统计频繁过车的方法中进行数据合并及清洗的具体方法。本实施例中基于分布式统计频繁过车的方法包括以下步骤：
步骤201、根据预先设定频繁过车统计条件生成统计频繁过车请求，并向分布式存储***的各个节点发送统计频繁过车请求。
步骤202、利用分布式服务框架接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数。
优选地，所述卡口过车数据，进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态及过车时间。
步骤203、舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
步骤204、遍历保存的所述卡口过车数据，获取各个卡口的每台车辆过车数据。
步骤205、将遍历到的相同卡口的过车数据合并到同一个集合中。
步骤206、在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
步骤207、遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
本实施例的基于分布式统计频繁过车的方法，按照预先设定的要求在初步统计过滤掉不符合条件的数据，排除了繁杂的过车数据处理过程，从而降低了在进行整合统计时的数据量，由此缩短了统计频繁过车的运算时间以及计算速度，同时也减少了统计频繁过车的成本。
实施例3
如图3所示，为本发明实施例3所述基于分布式统计频繁过车的方法的一个可选具体实施例。本实施例的步骤如下：
步骤301、设置预先设定的卡口信息、车辆信息及过车时间要求为：过车时间从2016-03-01至2016-03-03期间，经过卡口编号为1、2、3的车辆信息为：大众品牌的过车数据进行过滤、统计。
步骤302、在分布式过车存储***的节点上获取符合步骤301中预先设定条件的过车数据。
在各个节点上依次判断每个过车数据是否符合上述三个条件，选取符合上述条件要求的过车数据，遇到不符合上述三个条件中任何一个的都舍弃掉，并继续下一条过车数据的遍历及判断。
步骤303、在选取的各个卡口数据中判断是否存在车辆车牌号码一致的过车数据，并找出同一车辆车牌号码的各个过车数据的过车次数进行合并保存。遍历各个卡口数据中的所有车辆的过车次数信息，合并后最终各个卡口的过车数据集合中按照车辆车牌号码保留各个车辆的在该卡口的过车次数。
其中，具体步骤包括：
(1)将前一个节点经过初步筛选后的数据和后面节点的过车数据进行遍历比较。如果后面节点中的某一卡口信息在前一节点的过车数据中不存在，则将该卡口信息和该卡口的过车数据值添加到前一节点中。
(2)如果前一节点的过车数据中的某一个卡口信息在后面节点中也存在，则遍历其过车数据。如果其过车数据中有相同的“车牌号码n”，则将前一节点的过车数据中相应卡口相应的过车次数值和后面节点的过车数据中相应卡口的相应过车次数值相加，保存为相应车辆的过车次数；
(3)如果前一节点中的过车数据中某一个车牌号码在后面节点中不存在，则将所述前一节点的过车数据中相应卡口的相应过车次数值保存为该车辆在对应卡口的过车次数。
(4)如此使用前一节点和后面其它节点的数据进行合并，直到所有节点合并完成，最终得到的过车数据即为各个卡口中每台车辆的过车数据。
步骤304、预先设定过车次数阈值要求为不小于4次的过车次数，则遍历合并后获得的各个卡口中每台车辆的过车数据，剔除过车次数小于4次的过车数据。具体步骤包括：
(1)获取各个卡口中每台车辆的过车数据的第一个卡口对应的过车次数值。将该过车次数值进行解析，如果某一车辆的过车次数小于4，则将其从各个卡口中每台车辆的过车数据中移除，否则不予操作。
(2)第一个卡口对应的各台车辆过车次数值遍历完毕后，如果过车次数值中还有相应的数据，则不做处理；否则剔除该卡口和其对应的各台车辆过车次数值。
(3)遍历各个卡口中每台车辆的过车数据，对保存的每个卡口的过车数据按照步骤(1)和(2)进行处理，最终获得本次频繁过车的统计数据。
按照本实施例所述的基于分布式统计频繁过车的方法，在数据统计初期先筛选出符合预定条件要求的过车数据，再统计各个卡口的每台车辆过车次数后，利用频繁过车预定的过车次数阈值挑选并统计频繁过车的信息，在查询、统计过程中，各个车辆的信息都不会有遗漏，保证了统计频繁过车的准确性。
实施例4
如图4所示，为本实施例中公开的基于分布式统计频繁过车的***的一个可选实施例的结构示意图。本实施例中所述的基于分布式全文检索***的卡口车辆搜索的***包括：处理模块401、发送模块402、接收模块403、归档合并模块404及统计模块405，其中，
所述处理模块401，与所述发送模块402、接收模块403及归档合并模块404相藕接，用于根据预先设定频繁过车统计条件生成统计频繁过车请求；
所述发送模块402，与所述处理模块401相藕接，用于向分布式存储***的各个节点发送统计频繁过车请求。
所述接收模块403，与所述处理模块401相藕接，用于接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数。
所述归档合并模块404，与所述处理模块401相藕接，用于遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存。
所述统计模块405，与所述归档合并模块404相藕接，用于遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
上述的接收模块403，进一步用于舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
所述接收模块403，进一步还用于：
利用分布式服务框架(zookeeper)从分布式存储***的各个节点获取符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据。
分布式服务框架(zookeeper)是一个开源的分布式应用程序协调服务，是Hadoop的重要组件，它是一个为分布式应用提供一致***的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
所述归档合并模块404，进一步用于：
将遍历到的相同卡口的过车数据合并到同一个集合中；
在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
其中，所述卡口过车数据进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态、过车次数及过车时间。
本实施例中所述的基于分布式统计频繁过车及***，采用分布式存储***的管理机制，按照预先设定的要求在初步统计过滤掉不符合条件的数据，排除了繁杂的过车数据处理过程，从而降低了在进行整合统计时的数据量，由此缩短了统计频繁过车的运算时间以及计算速度。
通过以上各个实施例可知，本发明的基于分布式统计频繁过车的方法及***存在的有益效果是：
(1)本发明所述的基于分布式统计频繁过车的方法及***，基于大数据平台的频繁过车统计方法，接收在大数据平台分布式存储的节点上进行分布式运算结果，然后再进行整体整合、统计，可以将大数据平台分布式地建立在廉价的商用机上，并根据数据量的大小等实际情况确定分布式集群的大小，能够存储海量的数据，节约了统计频繁过车的所使用的资源，且可以利用分布式集群并行地对过车数据进行查询、统计，提升了统计频繁过车的统计效率。
(2)本发明所述的基于分布式统计频繁过车的方法及***，按照预先设定的要求在初步统计过滤掉不符合条件的数据，排除了繁杂的过车数据处理过程，从而降低了在进行整合统计时的数据量，由此缩短了统计频繁过车的运算时间以及计算速度。
(3)本发明所述的基于分布式统计频繁过车的方法及***，在数据统计初期先筛选出符合预定条件要求的过车数据，再统计各个卡口的每台车辆过车次数后，利用频繁过车预定的过车次数阈值挑选并统计频繁过车的信息，在查询、统计过程中，各个车辆的信息都不会有遗漏，保证了统计频繁过车的准确性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
上述说明示出并描述了本发明的若干可选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于分布式统计频繁过车的方法，其特征在于，包括：
根据预先设定频繁过车统计条件生成统计频繁过车请求；
向分布式存储***的各个节点发送所述统计频繁过车请求；
接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数；
遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存；
遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
2.根据权利要求1所述的基于分布式统计频繁过车的方法，其特征在于，进一步包括：
舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
3.根据权利要求1所述的基于分布式统计频繁过车的方法，其特征在于，所述合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存，进一步包括：
将遍历到的相同卡口的过车数据合并到同一个集合中；
在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
4.根据权利要求1所述的基于分布式统计频繁过车的方法，其特征在于，所述接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存，进一步包括：
利用分布式服务框架从分布式存储***的各个节点获取符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据。
5.根据权利要求1-4中任一项所述的基于分布式统计频繁过车的方法，其特征在于，所述卡口过车数据，进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态及过车时间。
6.一种基于分布式统计频繁过车的***，其特征在于，包括：处理模块、发送模块、接收模块、归档合并模块及统计模块；其中，
所述处理模块，用于根据预先设定频繁过车统计条件生成统计频繁过车请求；
所述发送模块，用于向分布式存储***的各个节点发送统计频繁过车请求；
所述接收模块，用于接收各个节点根据所述频繁过车请求判断到的符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据，并将所述卡口过车数据按卡口信息及车辆标识的格式进行保存；其中，所述车辆标识包括：车牌号码及过车次数；
所述归档合并模块，用于遍历保存的所述卡口过车数据，合并各个卡口的过车数据，统计各个卡口数据中每台车辆的过车次数并保存；
所述统计模块，用于遍历各个卡口中每台车辆的过车次数，根据预先设定的过车次数阈值，删除过车次数不符合阈值要求的过车数据，统计得到频繁过车的卡口信息、车辆信息、过车时间及过车次数并保存。
7.根据权利要求6所述的基于分布式统计频繁过车的***，其特征在于，所述接收模块，进一步用于：
舍弃各个节点根据所述频繁过车请求判断到的不符合预先设定的卡口信息、车辆信息及过车时间的卡口过车数据。
8.根据权利要求6所述的基于分布式统计频繁过车的***，其特征在于，所述归档合并模块，进一步用于：
将遍历到的相同卡口的过车数据合并到同一个集合中；
在各个卡口集合中，将同一车牌号码的所有过车次数相加得到该车牌号码对应车辆在相应卡口的过车次数并保存。
9.根据权利要求6所述的基于分布式统计频繁过车的***，其特征在于，所述接收模块，进一步用于：
利用分布式服务框架从分布式存储***的各个节点获取符合预先设定的卡口信息、车辆信息及过车时间要求的卡口过车数据。
10.根据权利要求6-9中任一项所述的基于分布式统计频繁过车的***，其特征在于，所述卡口过车数据，进一步包括：卡口编号、车牌号码、车身颜色、车辆型号、车辆行驶状态、过车次数及过车时间。
CN201610274065.4A 2016-04-28 2016-04-28 基于分布式统计频繁过车的方法及*** Active CN105913656B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610274065.4A CN105913656B (zh) 2016-04-28 2016-04-28 基于分布式统计频繁过车的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610274065.4A CN105913656B (zh) 2016-04-28 2016-04-28 基于分布式统计频繁过车的方法及***

Publications (2)

Publication Number Publication Date
CN105913656A true CN105913656A (zh) 2016-08-31
CN105913656B CN105913656B (zh) 2019-04-09

Family

ID=56753031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610274065.4A Active CN105913656B (zh) 2016-04-28 2016-04-28 基于分布式统计频繁过车的方法及***

Country Status (1)

Country Link
CN (1) CN105913656B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798142A (zh) * 2017-11-24 2018-03-13 泰华智慧产业集团股份有限公司 基于大数据分析隐匿车辆的方法及装置
CN107862867A (zh) * 2017-11-08 2018-03-30 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107993444A (zh) * 2017-11-22 2018-05-04 紫光捷通科技股份有限公司 基于卡口过车大数据分析的嫌疑车认定方法
CN108022428A (zh) * 2016-11-02 2018-05-11 杭州海康威视***技术有限公司 一种车辆识别方法及装置
CN110021161A (zh) * 2018-01-09 2019-07-16 株式会社日立制作所 一种交通流向的预测方法及***
CN110136452A (zh) * 2018-02-08 2019-08-16 杭州海康威视数字技术股份有限公司 一种车辆统计方法及装置
CN110749335A (zh) * 2019-10-24 2020-02-04 成都路行通信息技术有限公司 一种目标区域内车主家到单位平均里程的计算方法和***
CN111199644A (zh) * 2020-01-06 2020-05-26 山东合天智汇信息技术有限公司 一种自动进行人车拟合的方法及***
CN111368617A (zh) * 2019-07-31 2020-07-03 杭州海康威视***技术有限公司 车辆出入数据处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199903A (zh) * 2014-08-27 2014-12-10 上海熙菱信息技术有限公司 一种基于路径关联的车辆数据查询***及方法
CN104616494A (zh) * 2014-12-23 2015-05-13 浙江宇视科技有限公司 一种基于基站和卡口的记录确定目标对象的方法及装置
CN104750800A (zh) * 2014-11-13 2015-07-01 安徽四创电子股份有限公司 一种基于出行时间特征的机动车聚类方法
CN105447617A (zh) * 2015-11-06 2016-03-30 上海熙菱信息技术有限公司 一种基于车辆轨迹数据分析的预警积分方法及***
CN105513368A (zh) * 2015-11-26 2016-04-20 银江股份有限公司 一种基于不确定信息的假牌车筛选方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199903A (zh) * 2014-08-27 2014-12-10 上海熙菱信息技术有限公司 一种基于路径关联的车辆数据查询***及方法
CN104750800A (zh) * 2014-11-13 2015-07-01 安徽四创电子股份有限公司 一种基于出行时间特征的机动车聚类方法
CN104616494A (zh) * 2014-12-23 2015-05-13 浙江宇视科技有限公司 一种基于基站和卡口的记录确定目标对象的方法及装置
CN105447617A (zh) * 2015-11-06 2016-03-30 上海熙菱信息技术有限公司 一种基于车辆轨迹数据分析的预警积分方法及***
CN105513368A (zh) * 2015-11-26 2016-04-20 银江股份有限公司 一种基于不确定信息的假牌车筛选方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108022428A (zh) * 2016-11-02 2018-05-11 杭州海康威视***技术有限公司 一种车辆识别方法及装置
CN108022428B (zh) * 2016-11-02 2021-05-25 杭州海康威视***技术有限公司 一种车辆识别方法及装置
CN107862867B (zh) * 2017-11-08 2019-08-27 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107862867A (zh) * 2017-11-08 2018-03-30 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107993444A (zh) * 2017-11-22 2018-05-04 紫光捷通科技股份有限公司 基于卡口过车大数据分析的嫌疑车认定方法
CN107798142A (zh) * 2017-11-24 2018-03-13 泰华智慧产业集团股份有限公司 基于大数据分析隐匿车辆的方法及装置
CN110021161A (zh) * 2018-01-09 2019-07-16 株式会社日立制作所 一种交通流向的预测方法及***
CN110136452A (zh) * 2018-02-08 2019-08-16 杭州海康威视数字技术股份有限公司 一种车辆统计方法及装置
CN111368617A (zh) * 2019-07-31 2020-07-03 杭州海康威视***技术有限公司 车辆出入数据处理方法及装置
CN111368617B (zh) * 2019-07-31 2023-11-24 杭州海康威视***技术有限公司 车辆出入数据处理方法及装置
CN110749335A (zh) * 2019-10-24 2020-02-04 成都路行通信息技术有限公司 一种目标区域内车主家到单位平均里程的计算方法和***
CN110749335B (zh) * 2019-10-24 2021-05-04 成都路行通信息技术有限公司 一种目标区域内车主家到单位平均里程的计算方法和***
CN111199644A (zh) * 2020-01-06 2020-05-26 山东合天智汇信息技术有限公司 一种自动进行人车拟合的方法及***

Also Published As

Publication number Publication date
CN105913656B (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
CN105913656B (zh) 基于分布式统计频繁过车的方法及***
CN105788264B (zh) 基于Hbase的卡口数据区域碰撞分析的方法及***
CN106534344B (zh) 一种云平台视频处理***及其应用方法
CN107967323B (zh) 基于大数据进行异常出行车辆分析的方法及***
CN104778245B (zh) 基于海量车牌识别数据的相似轨迹挖掘方法及装置
CN104199903B (zh) 一种基于路径关联的车辆数据查询***及方法
CN110334111B (zh) 一种多维轨迹分析方法及装置
CN106528865A (zh) 一种快速精准的交通大数据清洗方法
CN103246876A (zh) 基于图像特征比对的车辆套牌识别方法
CN105335387A (zh) 一种视频云存储***的检索方法
CN105825671B (zh) 一种基于大数据车辆全轨迹碰撞的伴随车分析方法及***
CN106126680A (zh) 一种视频图像侦察方法及***
CN110011962B (zh) 一种车联网业务数据的识别方法
CN106559634A (zh) 用于交通卡口视频监控的数据存储方法及装置
CN107862072B (zh) 基于大数据技术分析车辆入城套牌作案的方法
CN108389394B (zh) 车辆初次入城分析的方法及***
CN109949569A (zh) 一种交通违法数据审核***及其实现方法
CN102915432A (zh) 一种车载微机图像视频数据提取方法及装置
CN107977421A (zh) 基于大数据进行***分析的方法及装置
CN111914648A (zh) 车辆检测和识别的方法及装置、电子设备、存储介质
CN107393308A (zh) 一种识别车牌的方法、装置及停车场管理***
CN109766821A (zh) 车辆行车规律分析方法、***、计算机设备及存储介质
CN114023076B (zh) 一种基于多源异构数据的特定车辆追踪方法
CN103646548A (zh) 一种基于图像识别技术对车牌的识别方法
CN105719072B (zh) 关联多段组件交易的***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant