CN106326359A - 一种基于位置聚合的gps信息存储方法 - Google Patents
一种基于位置聚合的gps信息存储方法 Download PDFInfo
- Publication number
- CN106326359A CN106326359A CN201610651167.3A CN201610651167A CN106326359A CN 106326359 A CN106326359 A CN 106326359A CN 201610651167 A CN201610651167 A CN 201610651167A CN 106326359 A CN106326359 A CN 106326359A
- Authority
- CN
- China
- Prior art keywords
- polymerization
- vehicle
- gps information
- aggregation
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000002776 aggregation Effects 0.000 title claims abstract description 23
- 238000004220 aggregation Methods 0.000 title claims abstract description 23
- 230000002085 persistent effect Effects 0.000 claims abstract description 18
- 238000006116 polymerization reaction Methods 0.000 claims description 77
- 238000007619 statistical method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 3
- 101000606504 Drosophila melanogaster Tyrosine-protein kinase-like otk Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920002755 poly(epichlorohydrin) Polymers 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/24—Acquisition or tracking or demodulation of signals transmitted by the system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Abstract
本发明公开了一种基于位置聚合的GPS信息存储方法,包括如下步骤:一.***接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中。本发明将原本存在于持久化存储中的多条GPS信息,聚合成单条位置信息,从而达到提升存储空间利用率、提升***吞吐量和效率的目的。
Description
技术领域
本方法属于智慧交通、车联网领域,涉及车辆GPS数据的处理、分析和存储,具体是一种基于位置聚合的GPS信息存储方法。
背景技术
车辆GPS位置信息数据量较大,每辆车每5秒上报一次GPS位置信息,这对***存储空间以及***查询、处理、分析的性能都造成了巨大的压力。以杭州市公交车辆GPS为例,每天数据量达到5000万条,一个月***需要存储15亿条GPS信息。
目前,许多大数据分析***在数据库的层面进行了一定优化,采用NOSQL作为持久化存储引擎以解决海量信息检索的需求,但这仅仅从数据库引擎角度进行了优化(关系型数据库转为非关系型数据库),并未解决***存储空间的压力的问题。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提供了一种基于位置聚合的GPS信息存储方法,包括如下步骤:
一.***接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中。
进一步的,步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在***设定的合理区间内,超出该合理区间的,则重新生成聚合信息;
条件2:当前GPS信息与缓存数据的位置信息是否超过***设定的合理聚合区间内,超出聚合的虚拟围栏范围,则重新生成新聚合。
进一步的,需要生成的聚合项,包括聚合项数量、行驶里程、行驶时间、平均速度、停靠站时间、非营运里程、非营运时间。
进一步的,该方法通过缓存组件对聚合的中间结果数据进行临时存储。
进一步的,该方法将聚合结果信息保存到持久化存储中。
进一步的,该方法对缓存组件和持久化存储中的数据进行查询统计,包括:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度(进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况进行统计分析。对车辆异常情况进行统计分析。
进一步的,该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速:车辆行驶速度与优化效率成反比。车速越慢,优化效果越明显;
车辆停靠时间:车辆停靠时间与优化效率成正比,停靠等候时间越长,优化效果越明显。
本发明的基于位置聚合的GPS信息存储方法,将原本存在于持久化存储中的多条GPS信息,聚合成单条位置信息,从信息源组织形式、数据逻辑结构层面对数据进行优化,从而达到提升存储空间利用率、提升***吞吐量和效率的目的。
该方法可适用多种场景。目前,该方法运用于多地市(杭州、嘉兴、宁波等)的公交出行及公交运行监测***。同时,对其他车辆或设备的GPS信息采集、处理的场景也具有较强的适用性。(方法不适用于需要精确记录每条GPS信息中所有属性的场景。)
运用该方法的场景包括但不限于:
采集车辆GPS信息,监控车辆的实时位置。
采集车辆GPS信息,对车辆的历史轨迹进行回放。
采集车辆GPS信息,对车辆的速度(包括运营速度、技术速度、运送速度等)进行计算、统计。
采集车辆GPS信息,对车辆的行驶里程进行统计分析。
采集车辆GPS信息,对车辆的运营情况及异常情况进行统计分析。
附图说明
图1是本发明的基于位置聚合的GPS信息存储方法流程示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明的基于位置聚合的GPS信息存储方法,包括如下步骤:
一.***接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息。
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储(数据库***)中。
步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在***设定的合理区间内,默认为5分钟,可根据实际业务需要进行配置。即时间间隔超过5分钟的GPS信息,则重新生成聚合信息,以保证数据的准确性。
条件2:当前GPS信息与缓存数据的位置信息是否超过***设定的合理聚合区间内,默认聚合区间围栏范围50米,可根据实际业务需要进行配置。即以聚合起始位置为圆心设置虚拟围栏,若新的GPS信息,超出聚合的虚拟围栏范围,则重新生成新聚合。
需要生成的聚合项,包括但不限于:
聚合项数量:当前聚合内聚合的数据条数。每加入一条GPS信息数量+1。
行驶里程:当前聚合内行驶的总里程。通过多条信息间隔距离累加的方式进行聚合。
行驶时间:当前聚合内行驶的总时间。通过多条信息间隔行驶时间累加的方式进行聚合。
平均速度:当前聚合内的平均车速。通过行驶里程和行驶时间进行计算平均速度。其中平均速度包括:运营速度、运送速度、技术速度。
停靠站时间:当前聚合内停靠站的时间。通过,车辆位置信息判断停靠状态,并累加停靠的时间。
非营运里程:当前聚合内非营运的里程,包括加油、回场、偏离行驶轨迹等情况。通过车辆行驶状态,判断运营状态,并累加相应里程。
非营运时间:当前聚合内非营运的时间。通过车辆行驶状态,判断运营状态,并累加相应时间。
其他:可根据实际业务添加对应组件生成相应其他聚合项。
该方法通过缓存组件对聚合的中间结果数据进行临时存储。方法对缓存组件没有具体软硬件的要求,支持多种形式缓存,包括但不限于:自定义缓存***、Riak分布式缓存***、Redis分布式缓存***等。
该方法将聚合结果信息保存到持久化存储中。对持久化存储没有具体软硬件的要求,支持多种主流持久化存储架构(关系型数据库***、非关系型NoSQL***),包括但不限于:SQL SERVER数据库、Oralce数据库、MongoDb数据库等。
该方法对缓存组件和持久化存储中的数据进行查询统计,实现相应功能。包括但不限于:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度(包括运营速度、技术速度、运送速度等)进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况(班次、准点率等)进行统计分析。对车辆异常情况(超速、偏离轨迹等)进行统计分析。
该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速。车辆行驶速度与优化效率成反比。车速越慢,优化效果越明显。车速影响的因素包括但不限于:道路拥堵情况、天气情况、车辆性能等。
车辆停靠时间长短。车辆停靠时间与优化效率成正比。停靠等候时间越长,优化效果越明显。当前车辆停靠时间,包括但不限于停靠站、加油、场站休息、起点终点等候等。
测试实施例
测试环境:
服务器***:Windows Server 2008 R2
分布式缓存***:自定义键值对字典集合。
持久化存储:SQL Server 2012
测试流程
1)取得2016-01-01杭州公交车辆全天GPS信息数据作为测试输入,共5000万条GPS信息。
2)搭建相应的缓存组件及可持久化存储。测试环境缓存组件通过自定义字典集合实现。持久化存储使用SQL Server 2012数据库***。
3)运行未进行聚合优化的原始程序,并将GPS信息结果记录。
4)运行聚合优化的程序。分别运行4次,每次将条件1、条件2参数配置为:5/0,5/10,5/50,5/100,并将结果记录。
5)统计可持久化存储中,表中的数据进行对比,形成测试结果。
测试结果
以下为以杭州公交车辆一天GPS信息作为测试输入的测试结果
其中条件1参数,即时间间隔。条件2参数,即聚合围栏范围。
本方法根据工程实践中遇到的海量GPS存储空间问题,提出了基于位置聚合的GPS存储优化方法。通过设定聚合虚拟围栏范围,对车辆GPS信息进行聚合运算和存储,实现海量GPS数据的聚合压缩,提升***的性能和空间利用率。
Claims (7)
1.一种基于位置聚合的GPS信息存储方法,包括如下步骤:
一.***接收车辆GPS信息后,首先判断当前缓存组件中是否已缓存有该车辆的聚合信息;若不存在,则生成新的聚合,并将新聚合加入缓存组件中;
二.若缓存组件中存在该车辆的聚合信息,则继续判断是否需要生成新的聚合;若不需要生成新聚合,则根据当前GPS信息计算聚合项,并更新缓存组件中的该车辆的聚合信息;
三.若需要生成新聚合,则根据当前车辆GPS信息生成新的聚合,同时将旧聚合的数据添加到持久化存储中。
2.如权利要求1所述的基于位置聚合的GPS信息存储方法,其特征在于:步骤二中,是否需要生成新聚合的判断条件包括:
条件1:当前GPS信息的时间与缓存组件中GPS数据的更新时间的间隔是否在***设定的合理区间内,超出该合理区间的,则重新生成聚合信息;
条件2:当前GPS信息与缓存数据的位置信息是否超过***设定的合理聚合区间内,超出聚合的虚拟围栏范围,则重新生成新聚合。
3.如权利要求1或2所述的基于位置聚合的GPS信息存储方法,其特征在于:需要生成的聚合项,包括聚合项数量、行驶里程、行驶时间、平均速度、停靠站时间、非营运里程、非营运时间。
4.如权利要求3所述的基于位置聚合的GPS信息存储方法,其特征在于:
该方法通过缓存组件对聚合的中间结果数据进行临时存储。
5.如权利要求3所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法将聚合结果信息保存到持久化存储中。
6.如权利要求4或5所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法对缓存组件和持久化存储中的数据进行查询统计,包括:监控车辆的实时位置,对车辆的历史轨迹进行回放,对车辆的速度(进行计算、统计,对车辆的行驶里程进行统计分析,对车辆的运营情况进行统计分析,对车辆异常情况进行统计分析。
7.如权利要求1所述的基于位置聚合的GPS信息存储方法,其特征在于:该方法是基于位置聚合的优化,存在以下影响优化结果的因素:
车速:车辆行驶速度与优化效率成反比;车速越慢,优化效果越明显;
车辆停靠时间:车辆停靠时间与优化效率成正比,停靠等候时间越长,优化效果越明显。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610651167.3A CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610651167.3A CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106326359A true CN106326359A (zh) | 2017-01-11 |
CN106326359B CN106326359B (zh) | 2019-10-18 |
Family
ID=57739746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610651167.3A Active CN106326359B (zh) | 2016-08-10 | 2016-08-10 | 一种基于位置聚合的gps信息存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106326359B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107332915A (zh) * | 2017-07-05 | 2017-11-07 | 北京辰安信息科技有限公司 | 一种信息处理方法及装置 |
CN108109369A (zh) * | 2018-02-06 | 2018-06-01 | 深圳市物语智联科技有限公司 | 一种基于行驶轨迹的运营车辆和非运营车辆识别监督方法 |
CN108846598A (zh) * | 2018-03-29 | 2018-11-20 | 宏图物流股份有限公司 | 一种车辆定位的方法及装置 |
CN109299108A (zh) * | 2018-11-05 | 2019-02-01 | 江苏瑞中数据股份有限公司 | 一种可变频率的wams实时数据库管理方法与*** |
CN117171701A (zh) * | 2023-08-14 | 2023-12-05 | 陕西天行健车联网信息技术有限公司 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101510365A (zh) * | 2009-03-03 | 2009-08-19 | 西安强军信息科技有限公司 | 一种飞行地面保障的车辆优化调度方法 |
CN101626363A (zh) * | 2008-07-07 | 2010-01-13 | 华为技术有限公司 | 聚合业务装置、***、聚合业务创建及使用方法 |
CN102045635A (zh) * | 2010-11-25 | 2011-05-04 | 北京腾瑞万里科技有限公司 | 路况导航方法、移动终端和路况导航服务器 |
CN103278833A (zh) * | 2013-05-13 | 2013-09-04 | 深圳先进技术研究院 | 一种基于北斗/gps数据的线路推荐***及方法 |
CN105491124A (zh) * | 2015-12-03 | 2016-04-13 | 北京航空航天大学 | 移动车辆分布式聚合方法 |
US20160178377A1 (en) * | 2014-12-19 | 2016-06-23 | Hyundai Motor Company | Navigation system, path prediction method thereof and computer readable medium for performing the same |
-
2016
- 2016-08-10 CN CN201610651167.3A patent/CN106326359B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101626363A (zh) * | 2008-07-07 | 2010-01-13 | 华为技术有限公司 | 聚合业务装置、***、聚合业务创建及使用方法 |
CN101510365A (zh) * | 2009-03-03 | 2009-08-19 | 西安强军信息科技有限公司 | 一种飞行地面保障的车辆优化调度方法 |
CN102045635A (zh) * | 2010-11-25 | 2011-05-04 | 北京腾瑞万里科技有限公司 | 路况导航方法、移动终端和路况导航服务器 |
CN103278833A (zh) * | 2013-05-13 | 2013-09-04 | 深圳先进技术研究院 | 一种基于北斗/gps数据的线路推荐***及方法 |
US20160178377A1 (en) * | 2014-12-19 | 2016-06-23 | Hyundai Motor Company | Navigation system, path prediction method thereof and computer readable medium for performing the same |
CN105491124A (zh) * | 2015-12-03 | 2016-04-13 | 北京航空航天大学 | 移动车辆分布式聚合方法 |
Non-Patent Citations (1)
Title |
---|
肖香梅: "基于有限元的地图综合算法及其在LBS中的应用", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107332915A (zh) * | 2017-07-05 | 2017-11-07 | 北京辰安信息科技有限公司 | 一种信息处理方法及装置 |
CN108109369A (zh) * | 2018-02-06 | 2018-06-01 | 深圳市物语智联科技有限公司 | 一种基于行驶轨迹的运营车辆和非运营车辆识别监督方法 |
CN108846598A (zh) * | 2018-03-29 | 2018-11-20 | 宏图物流股份有限公司 | 一种车辆定位的方法及装置 |
CN109299108A (zh) * | 2018-11-05 | 2019-02-01 | 江苏瑞中数据股份有限公司 | 一种可变频率的wams实时数据库管理方法与*** |
CN117171701A (zh) * | 2023-08-14 | 2023-12-05 | 陕西天行健车联网信息技术有限公司 | 一种车辆行驶数据处理方法、装置、设备和介质 |
CN117171701B (zh) * | 2023-08-14 | 2024-05-14 | 陕西天行健车联网信息技术有限公司 | 一种车辆行驶数据处理方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN106326359B (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106326359A (zh) | 一种基于位置聚合的gps信息存储方法 | |
Wang et al. | Truck traffic flow prediction based on LSTM and GRU methods with sampled GPS data | |
CN111612670B (zh) | 一种构建机动车排放清单的方法、装置和计算机设备 | |
CN110209990A (zh) | 一种基于车辆身份检测数据的单辆车排放轨迹计算方法 | |
CN104408924B (zh) | 一种基于耦合隐马尔可夫模型的城市道路异常交通流检测方法 | |
CN104850676B (zh) | 一种公路桥梁随机车流仿真模拟方法 | |
CN104875731A (zh) | 一种使用卫星定位数据实时辨识车辆急加速或急减速的方法 | |
Anderson et al. | Heavy-vehicle crash rate analysis: Comparison of heterogeneity methods using Idaho crash data | |
US20220335822A1 (en) | Method of determining the amount of pollutant emissions from a vehicle over a road network section | |
CN104933284A (zh) | 一种基于实测数据的公路桥梁随机车流模拟方法 | |
CN115310278B (zh) | 一种大规模路网在线微观交通的仿真方法及其验证方法 | |
CN109493606A (zh) | 一种高速公路上违停车辆的识别方法及*** | |
Chen et al. | Estimating fuel consumption and emissions based on reconstructed vehicle trajectories | |
Śmieszek et al. | Determining the fuel consumption of a public city bus in urban traffic | |
CN111740981A (zh) | 一种汽车gps轨迹数据压缩方法 | |
CN105575120A (zh) | 面向道路实时速度计算的浮动车数据停车行为模式清洗方法 | |
CN114841843A (zh) | 一种分析可疑绿通车的方法和*** | |
CN109145401B (zh) | 一种计算机动车排放清单的方法、***及终端设备 | |
CN102034351B (zh) | 一种交通流短时预测*** | |
CN112767686A (zh) | 一种基于多源数据融合的公路网汽车排放估算方法 | |
Hou et al. | Modelling large vehicles operating speed characteristics on freeway alignment based on aggregated GPS data | |
CN113611130B (zh) | 一种本地与过境货车车流量获取方法、***及存储介质 | |
CN112419707B (zh) | 基于gps数据空间匹配的车辆运行效率评价方法及*** | |
CN106887138B (zh) | 一种堵车蔓延态势侦测方法与*** | |
CN111243280B (zh) | 一种实时计算交通状态的指标的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A GPS Information Storage Method Based on Location Aggregation Granted publication date: 20191018 Pledgee: Hangzhou United Rural Commercial Bank Limited by Share Ltd. Baoshan Branch Pledgor: ZHEJIANG THIRDNET TECHNOLOGY Co.,Ltd. Registration number: Y2024980018460 |