CN102542026A - 一种海量gps数据存取方法及*** - Google Patents
一种海量gps数据存取方法及*** Download PDFInfo
- Publication number
- CN102542026A CN102542026A CN2011104347830A CN201110434783A CN102542026A CN 102542026 A CN102542026 A CN 102542026A CN 2011104347830 A CN2011104347830 A CN 2011104347830A CN 201110434783 A CN201110434783 A CN 201110434783A CN 102542026 A CN102542026 A CN 102542026A
- Authority
- CN
- China
- Prior art keywords
- gps
- data
- elongated
- length
- fixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013500 data storage Methods 0.000 claims description 6
- 239000002699 waste material Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
Images
Landscapes
- Position Fixing By Use Of Radio Waves (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Navigation (AREA)
Abstract
本发明涉及一种海量GPS数据存取方法及***。所述海量GPS数据存取方法包括:接收单元接收GPS车载终端上报的GPS数据;将GPS数据分为GPS定长数据和GPS变长数据存储到存储单元中;查询请求接收单元接收客户的查询请求;根据查询请求在存储单元中查找GPS定长数据和GPS变长数据,将GPS定长数据和GPS变长数据组合成一条完整数据输出。采用本发明的海量GPS数据存取方法及***具有以下有益效果:将GPS数据分成定长数据和变长数据存储,可有效的节约存储空间,且在查询时根据变长数据偏移量和变长数据长度,方便变长数据的查询。
Description
技术领域
本发明涉及数据处理领域,更具体地说,涉及一种海量GPS数据存取方法及***。
背景技术
在GPS导航***中,GPS数据量太大,车载终端按照设定的周期定期上报数据,比如10秒钟上报一次,则一天就有8640条数据,在车载终端数量多时,该上报数据量非常庞大,GPS数据服务器在达到一定数据量后关系数据库查询会变得很慢,造成查询效率严重低下,有时候数据库服务器CPU使用率达到100%,也影响其他业务数据存储和查询。一条GPS数据可分为定长和不定长两类,对于经纬度、速度、方向等可以组织为定长数据,参考位置等文字描述信息可组织为变长数据。采用定长数据结构存储可以很容易定位到一条记录的开始部分,查询起来也是很方便,也很方便统计记录的总条数,但是,对于像参考位置这样的文字描述信息,采用定长结构存储会浪费很大的存储空间。
发明内容
本发明要解决的技术问题在于如何提高海量GPS数据的定长数据和变长数据的存取,节约存储空间且方便查询,提供一种海量GPS数据存取方法及***。
本发明解决其技术问题所采用的技术方案是:提供一种海量GPS数据存储方法及***。
本发明提供一种海量GPS数据存取方法,用于处理GPS服务器从GPS车载终端接收到的海量GPS数据,该GPS服务器包括接收单元、解析单元、存储单元、查询请求接收单元、读取单元、输出单元,所述接收单元与GPS车载终端通信连接,包括以下步骤:
S10、接收单元接收GPS车载终端上报的GPS数据;所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;
S11、解析单元对接收到的GPS数据进行解析,得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据;
S12、将GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中,所述变长文件存储到存储单元中,同时记录下GPS变长数据的偏移量,所述变长文件存储到存储单元中;将GPS定长数据、GPS变长数据长度、GPS变长数据偏移量存储到以上报时间为目录、车台唯一编号为文件名的定长文件中,所述定长文件存储到存储单元中;所述变长文件和定长文件以不同的后缀名区分开;
S13、查询请求接收单元接收客户的查询请求,所述查询请求包括查询时间和车台唯一编号;
S14、读取单元根据查询请求接收单元接收的查询时间和车台唯一编号,在存储单元的定长文件中获取GPS定长数据、GPS变长数据长度、GPS变长数据偏移量,再根据GPS变长数据长度、GPS变长数据偏移量在存储单元的变长文件中读取GPS变长数据;
S15、输出单元将读取的GPS定长数据和GPS变长数据合并成一条数据输出。
在本发明的海量GPS数据存取方法中,所述GPS定长数据包括经纬度、速度、方向,所述GPS变长数据包括参考位置信息、车辆状态。
本发明还提供一种海量GPS数据存取***,包括接收单元:用于接收车载终端发送过来的GPS数据,所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;解析单元:与所述接收单元连接,用于对接收单元接收的GPS数据进行解析,得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据、GPS变长数据长度、GPS变长数据偏移量;存储单元:与解析单元连接,用于存储GPS数据;查询请求接收单元,用于接收查询请求,所述查询请求包括查询时间和车台唯一编号;读取单元分别与查询请求接收单元、存储单元连接,用于根据查询请求在存储单元读取数据;输出单元:与读取单元连接,用于将读取结果合并输出。
在本发明的海量GPS数据存取***中,所述存储单元用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件,所述定长文件存储GPS定长数据、GPS变长数据长度、GPS变长数据偏移量;所述变长文件存储GPS变长数据。在本发明的海量GPS数据存取***中,GPS定长数据包括经纬度、速度、方向,所述GPS变长数据包括参考位置信息、车辆状态。
实施本发明的海量GPS数据存取方法及***,具有以下有益效果:将GPS数据分成定长数据和变长数据存储,可有效的节约存储空间,且在查询时根据变长数据偏移量和变长数据长度,方便变长数据的查询。使用本发明的海量GPS数据存取方法及***即可以方便查询又可以最大限度的节约空间。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明海量GPS数据存取方法的流程图;
图2是本发明海量GPS数据存取方法中存储具体流程图;
图3是本发明海量GPS数据存取方法中查询具体流程图;
图4是本发明海量GPS数据存取***结构图。
具体实施方式
为了使本发明的目的更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1、图4所示,在本发明的海量GPS数据存取方法中,用于处理GPS服务器从GPS车载终端接收到的海量GPS数据,该GPS服务器包括接收单元10、解析单元11、存储单元12、查询请求接收单元13、读取单元14、输出单元15,接收单元10与GPS车载终端通信连接,包括以下步骤:
S1、接收单元10接收GPS车载终端上报的GPS数据;
S2、将GPS数据分为GPS定长数据和GPS变长数据存储到存储单元12中;
S3、查询请求接收单元13接收客户的查询请求;
S4、根据查询请求在存储单元12中查找GPS定长数据和GPS变长数据。
该GPS数据还包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据。
如图2所示,海量GPS数据存取方法中的数据存储具体过程如下:
S20、接收单元10接收GPS车载终端上报的GPS数据;GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;
S21、解析单元11对接收到的GPS数据进行解析,得到上报时间、车台唯一编号、GPS变长数据、GPS定长数据;
S22、将GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中,同时记录下GPS变长数据的偏移量,变长文件存储到存储单元12中;
S23、将GPS变长数据长度、GPS变长数据偏移量及GPS定长数据写入以上报时间为目录、车台唯一编号为文件名的定长文件中,定长文件存储到存储单元12中,该定长文件和变长文件以不同的后缀名区分开。
GPS定长数据包括经纬度、速度、方向等,GPS变长数据包括参考位置信息、车辆状态等。
在具体工作中,GPS车载终端与接收单元10通信连接,GPS车载终端按照设定的时间周期定时上报GPS数据,比如10秒钟上报一条GPS数据,该GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据,解析单元11将接收到的GPS定长数据、GPS变长数据分别存储到以上报时间为目录、车台唯一编号为文件名的定长文件和变长文件中,定长文件和变长文件以不同的后缀名处分开。定长文件和变长文件存储在存储单元12中,定长文件同时保存GPS变长数据的偏移量和长度,方便变长数据的查询。采用GPS变长数据和GPS定长数据分开存储,使GPS变长数据按照实际需要存储,而不需预先固定很大的存储空间,可有效的节约存储空间。采用定长数据结构存储可以很容易定位到一条记录的开始部分,查询起来会很方便,也很方便统计记录的总条数,总条数等于定长文件的总长度除以每一条GPS定长数据的长度(GPS定长数据的长度可按实际需要设定)。
如图3所示,海量GPS数据存取方法中的数据查询具体过程如下:
S30、查询请求接收单元13接收查询请求,查询请求包括查询时间和车台唯一编号;
S31、读取单元14根据查询时间和车台唯一编号在存储单元12的定长文件中读取GPS变长数据长度、GPS变长数据偏移量、GPS定长数据;
S32、读取单元14再根据GPS变长数据长度、GPS变长数据偏移量在存储单元12的变长文件中读取GPS变长数据;
S33、输出单元15将GPS定长数据和GPS变长数据组成一条完整的数据输出。
在具体查询过程中,接收客户查询请求的查询时间和车台唯一编号先在存储单元12的定长文件中查找到GPS定长数据、GPS变长数据长度、GPS变长数据偏移量,然后再在存储单元12的变长文件中查找到GPS变长数据,再将GPS定长数据和GPS变长数据组合成一条完整的数据输出。定长文件和变长文件通过相同文件名称(以相同的上报时间命名的目录下,以车台唯一编号作为文件名、后缀名不同的定长文件和变长文件)以及定长文件中记录的GPS变长数据偏移量及GPS变长数据长度关联起来,即可以方便查询又不至于浪费太多的存储空间,提高查询效率。
本发明还提供一种海量GPS数据存取***,包括接收单元10:用于接收车载终端发送过来的GPS数据,GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;解析单元11:与接收单元10连接,用于对接收单元接收的GPS数据进行解析,得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据、GPS变长数据长度、GPS变长数据偏移量;存储单元12:与解析单元11连接,用于存储GPS数据;查询请求接收单元13,用于接收查询请求,查询请求包括查询时间和车台唯一编号;读取单元14分别与查询请求接收单元13、存储单元12连接,用于根据查询请求在存储单元12读取数据;输出单元15:与读取单元14连接,用于将读取结果合并输出。存储单元用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件,定长文件存储GPS定长数据、GPS变长数据长度、GPS变长数据偏移量;变长文件存储GPS变长数据。GPS定长数据包括经纬度、速度、方向等,GPS变长数据包括参考位置信息、车辆状态等。
在具体实施过程中,GPS定长数据包括表1所示内容:
表1
在具体实施过程中,GPS变长数据包括表2所示内容:
表2
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种海量GPS数据存储方法,用于处理GPS服务器从GPS车载终端接收到的海量GPS数据,该GPS服务器包括接收单元(10)、解析单元(11)、存储单元(12)、查询请求接收单元(13)、读取单元(14)、输出单元(15),所述接收单元(10)与GPS车载终端通信连接,其特征在于,包括以下步骤:
S10、接收单元(10)接收GPS车载终端上报的GPS数据;所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;
S11、解析单元(11)对接收到的GPS数据进行解析,得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据;
S12、将GPS变长数据存储到以上报时间为目录、车台唯一编号为文件名的变长文件中,同时记录下GPS变长数据的偏移量,所述变长文件存储到存储单元(12)中;将GPS定长数据、GPS变长数据长度、GPS变长数据偏移量存储到以上报时间为目录、车台唯一编号为文件名的定长文件中,所述定长文件存储到存储单元(12)中;所述变长文件和定长文件以不同的后缀名区分开;
S13、查询请求接收单元(13)接收客户的查询请求,所述查询请求包括查询时间和车台唯一编号;
S14、读取单元(14)根据查询请求接收单元(13)接收的查询时间和车台唯一编号,在存储单元(12)的定长文件中获取GPS定长数据、GPS变长数据长度、GPS变长数据偏移量,再根据GPS变长数据长度、GPS变长数据偏移量在存储单元(12)的变长文件中读取GPS变长数据;
S15、输出单元(15)将读取的GPS定长数据和GPS变长数据合并成一条数据输出。
2.根据权利要求1所述的海量GPS数据存储方法,其特征在于,所述GPS定长数据包括经纬度、速度、方向,所述GPS变长数据包括参考位置信息、车辆状态。
3.一种海量GPS数据存取***,其特征在于,包括:
接收单元(10):用于接收车载终端发送过来的GPS数据,所述GPS数据包括上报时间、车台唯一编号、GPS定长数据、GPS变长数据;解析单元(11):与所述接收单元(10)连接,用于对接收单元接收的GPS数据进行解析,得到上报时间、车台唯一编号、GPS定长数据、GPS变长数据、GPS变长数据长度、GPS变长数据偏移量;存储单元(12):与解析单元(11)连接,用于存储GPS数据;查询请求接收单元(13),用于接收查询请求,所述查询请求包括查询时间和车台唯一编号;读取单元(14)分别与查询请求接收单元(13)、存储单元(12)连接,用于根据查询请求在存储单元(12)读取数据;输出单元(15):与读取单元(14)连接,用于将读取结果合并输出。
4.根据权利要求3所述的海量GPS数据存取***,其特征在于,所述存储单元(12)用于存储以上报时间为目录、车台唯一编号为文件名、后缀名不一样的定长文件和变长文件,所述定长文件存储GPS定长数据、GPS变长数据长度、GPS变长数据偏移量;所述变长文件存储GPS变长数据。
5.根据权利要求4所述的海量GPS数据存取***,其特征在于,GPS定长数据包括经纬度、速度、方向,所述GPS变长数据包括参考位置信息、车辆状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110434783 CN102542026B (zh) | 2011-12-22 | 2011-12-22 | 一种海量gps数据存取方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110434783 CN102542026B (zh) | 2011-12-22 | 2011-12-22 | 一种海量gps数据存取方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102542026A true CN102542026A (zh) | 2012-07-04 |
CN102542026B CN102542026B (zh) | 2013-07-24 |
Family
ID=46348908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110434783 Expired - Fee Related CN102542026B (zh) | 2011-12-22 | 2011-12-22 | 一种海量gps数据存取方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102542026B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103063929A (zh) * | 2013-01-05 | 2013-04-24 | 苏州市静电设备研究所有限责任公司 | 一种油品电导率测定仪*** |
CN103810188A (zh) * | 2012-11-08 | 2014-05-21 | 腾讯科技(深圳)有限公司 | 一种微博用户行为评估方法和装置 |
CN104158757A (zh) * | 2014-08-21 | 2014-11-19 | 福建星海通信科技有限公司 | 一种gps数据入库处理方法和*** |
CN104599341A (zh) * | 2013-10-31 | 2015-05-06 | 深圳市赛格导航科技股份有限公司 | 一种汽车定位信息存储方法及装置 |
CN105975626A (zh) * | 2016-05-27 | 2016-09-28 | 海尔优家智能科技(北京)有限公司 | 一种设备地理位置信息的编码方法及装置 |
CN106997620A (zh) * | 2016-01-26 | 2017-08-01 | 滴滴(中国)科技有限公司 | 基于gps数据点的计费方法和装置 |
CN107092607A (zh) * | 2016-02-18 | 2017-08-25 | ***通信集团安徽有限公司 | 一种话单入库方法及装置 |
US11449908B2 (en) | 2015-07-29 | 2022-09-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Method and system for determining transport service fee |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101469989A (zh) * | 2007-12-29 | 2009-07-01 | 厦门雅迅网络股份有限公司 | 一种手机网络导航中导航数据的压缩方法 |
-
2011
- 2011-12-22 CN CN 201110434783 patent/CN102542026B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101469989A (zh) * | 2007-12-29 | 2009-07-01 | 厦门雅迅网络股份有限公司 | 一种手机网络导航中导航数据的压缩方法 |
Non-Patent Citations (1)
Title |
---|
宫彦磊: "基于云计算的车载GPS导航终端的研究与设计", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810188A (zh) * | 2012-11-08 | 2014-05-21 | 腾讯科技(深圳)有限公司 | 一种微博用户行为评估方法和装置 |
CN103810188B (zh) * | 2012-11-08 | 2017-05-10 | 腾讯科技(深圳)有限公司 | 一种微博用户行为评估方法和装置 |
CN103063929A (zh) * | 2013-01-05 | 2013-04-24 | 苏州市静电设备研究所有限责任公司 | 一种油品电导率测定仪*** |
CN104599341A (zh) * | 2013-10-31 | 2015-05-06 | 深圳市赛格导航科技股份有限公司 | 一种汽车定位信息存储方法及装置 |
CN104158757A (zh) * | 2014-08-21 | 2014-11-19 | 福建星海通信科技有限公司 | 一种gps数据入库处理方法和*** |
CN104158757B (zh) * | 2014-08-21 | 2017-07-07 | 福建星海通信科技有限公司 | 一种gps数据入库处理方法和*** |
US11449908B2 (en) | 2015-07-29 | 2022-09-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Method and system for determining transport service fee |
CN106997620A (zh) * | 2016-01-26 | 2017-08-01 | 滴滴(中国)科技有限公司 | 基于gps数据点的计费方法和装置 |
CN107092607A (zh) * | 2016-02-18 | 2017-08-25 | ***通信集团安徽有限公司 | 一种话单入库方法及装置 |
CN107092607B (zh) * | 2016-02-18 | 2021-04-23 | ***通信集团安徽有限公司 | 一种话单入库方法及装置 |
CN105975626A (zh) * | 2016-05-27 | 2016-09-28 | 海尔优家智能科技(北京)有限公司 | 一种设备地理位置信息的编码方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102542026B (zh) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102542026B (zh) | 一种海量gps数据存取方法及*** | |
CN107818115B (zh) | 一种处理数据表的方法及装置 | |
CN104252536B (zh) | 一种基于hbase的上网日志数据查询方法及装置 | |
CN103150397B (zh) | 一种数据索引创建方法、数据检索方法和*** | |
CN103530378A (zh) | 数据分页查询与数据库的构建的方法与装置 | |
CN106528847A (zh) | 一种海量数据的多维度处理方法及*** | |
CN106528787B (zh) | 一种基于海量数据多维分析的查询方法及装置 | |
CN102841860A (zh) | 一种大数据量信息存储与访问方法 | |
CN105279213A (zh) | 一种日志数据库检索装置及检索方法 | |
CN102495848B (zh) | 一种海量gps数据处理方法及*** | |
CN102737133B (zh) | 一种实时搜索的方法 | |
CN103530330B (zh) | 一种逆地理编码处理***的处理方法 | |
CN104750715A (zh) | 缓存***中数据淘汰方法、装置、***及相关服务器设备 | |
CN112637305B (zh) | 一种基于缓存的数据存储与查询方法、装置、设备及介质 | |
CN105512320A (zh) | 一种用户排名获得方法、装置及服务器 | |
CN102880541A (zh) | 日志信息的获取***和获取方法 | |
CN103744913A (zh) | 一种基于搜索引擎技术的数据库检索方法 | |
CN106021357A (zh) | 基于分布式的大数据分页查询方法及*** | |
CN105630934A (zh) | 一种数据统计方法及*** | |
CN104008134A (zh) | 基于HBase的高效存储方法及*** | |
CN104156482A (zh) | 一种地图瓦片数据的发布方法 | |
US9069681B1 (en) | Real-time log joining on a continuous stream of events that are approximately ordered | |
CN107330024A (zh) | 标签***数据的存储方法和装置 | |
CN102385620B (zh) | 一种基于文件数据库的里程数据统计处理方法和*** | |
CN102508884A (zh) | 热点事件与实时评论的获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130724 |