CN104050271A - 一种基于HBase的卡口数据处理方法 - Google Patents

一种基于HBase的卡口数据处理方法 Download PDF

Info

Publication number
CN104050271A
CN104050271A CN201410284598.1A CN201410284598A CN104050271A CN 104050271 A CN104050271 A CN 104050271A CN 201410284598 A CN201410284598 A CN 201410284598A CN 104050271 A CN104050271 A CN 104050271A
Authority
CN
China
Prior art keywords
data
systems
bit representation
hbase
bayonet socket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410284598.1A
Other languages
English (en)
Inventor
周海波
郑兆妙
蔡懿博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUILIN CHANGHAI TECHNOLOGY Co Ltd
Original Assignee
GUILIN CHANGHAI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUILIN CHANGHAI TECHNOLOGY Co Ltd filed Critical GUILIN CHANGHAI TECHNOLOGY Co Ltd
Priority to CN201410284598.1A priority Critical patent/CN104050271A/zh
Publication of CN104050271A publication Critical patent/CN104050271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于HBase的卡口数据处理方法，包括获取待存储的数据记录，判断数据量大小，如果是少量临时性数据，将少量临时性数据通过关系数据库SQL server进行存储；如果是海量数据，判断海量数据的结构状态，如果为结构化数据，通过分布式数据库Hbase进行存储，如果为非结构化数据，通过文件***HDFS进行存储。相对现有技术，本发明可以快速访问数据，提升数据处理效率，解决海量数据处理难题。

Description

一种基于HBase的卡口数据处理方法
技术领域
本发明涉及计算机领域，特别涉及一种基于HBase的卡口数据处理方法。
背景技术
最近几年随着公安加大卡口***(设置在交通要道等有防守和检查设施的出入口的监控***)的建设，针对卡口***的大范围联网和综合应用变的越来越重要。车辆通过卡口点位时***需要提取并记录卡点信息、通过时间、车牌、车速、车牌颜色等详细信息。在传统的关系型数据库中，通常以车辆通行记录编号(唯一标识卡口点位的车辆经过记录)为主键、以车辆通行记录的各个属性为列，创建车辆通行记录信息表。但是随着卡口***建设的数量的增加，卡口车辆信息的数据量也快速增长，已经达到了数十亿条记录的级别，传统的关系型数据库已经无法满足***的需求，必须采用新的技术手段来进行海量数据的快速处理。
发明内容
本发明所要解决的技术问题是提供一种快速访问数据，提升数据处理效率，解决海量数据处理难题的基于HBase的卡口数据处理方法。
本发明解决上述技术问题的技术方案如下：一种基于HBase的卡口数据处理方法，包括以下步骤：
步骤1：获取待存储的数据记录；
步骤2：判断数据量大小，如果是少量临时性数据(数据记录小于一亿条的数据)，则执行步骤3；如果是海量数据(数据记录大于或等于一亿条的数据)，则执行步骤4；
步骤3：将少量临时性数据通过关系数据库SQL server进行存储；
步骤4：判断海量数据的结构状态，如果为结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)，通过分布式数据库Hbase进行存储；如果为非结构化数据(不方便用数据库二维逻辑表来表现的数据)，通过文件***HDFS(Hadoop Distributed File System，是一个分布式文件***，HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上)进行存储。
本发明的有益效果是：通过对卡口数据的分类处理，提升了卡口的数据处理效率，解决了目前卡口***中海量数据处理的难题。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步技术方案，所述分布式数据库HBase(Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储***，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群)表结构的Row Key(Rowkey是分布式数据库HBase一系列二维数组的集合结构中的主键)采用36进制编码，36进制的1到4位表示相机对应的组织机构编号，36进制5到6位表示相机所在组织机构中对应卡点编号，36进制的第7位表示相机所在卡点中对应镜头编号，36进制的8到10位表示卡口车辆通行日期，36进制的11到14位表示卡口车辆通行时间,36进制的15到22位表示卡口车辆车牌号码，36进制的23到24位表示卡口车辆的速度、36进制的第25位表示车牌种类、36进制的第26位表示车牌号颜色，36进制的第27位表示车身颜色，36进制的28到29位表示汽车标志、36进制的第30位表示加密标识信息。
采用上述进一步方案的有益效果是：方便数据查找，可以使得新写入的数据在查找的时候被快速找到。
所述分布式数据库HBase表结构的Row Key同时存储到多个Regionserver(域服务器)。
采用上述进一步方案的有益效果是：通过多个Region server来分散多用户请求的压力。
所述通行日期和时间使用逆序的时间戳(一个字符序列，唯一的标识某一刻的时间)进行二进制存储。
采用上述进一步方案的有益效果是：每个卡口点相机抓拍数据中最新的数据存储在最前面，最新的数据的应用价值最大，也是大部分用户比较感兴趣的数据，通过这种方式可以大大加快了访问数据的速度。
附图说明
图1为本发明一种基于HBase的卡口数据处理方法的流程图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于HBase的卡口数据处理方法，包括以下步骤：
步骤1：获取待存储的数据记录；
步骤2：判断数据量大小，如果是少量临时性数据,则执行步骤3；如果是海量数据，则执行步骤4；
步骤3：将少量临时性数据通过关系数据库SQL server进行存储；
步骤4：判断海量数据的结构状态，如果为结构化数据，通过分布式数据库Hbase进行存储；如果为非结构化数据，通过分布式文件***HDFS进行存储。
所述分布式数据库HBase表结构的Row Key采用36进制编码，36进制的1到4位表示相机对应的组织机构编号，36进制5到6位表示相机所在组织机构中对应卡点编号，36进制的第7位表示相机所在卡点中对应镜头编号，36进制的8到10位表示卡口车辆通行日期，36进制的11到14位表示卡口车辆通行时间,36进制的15到22位表示卡口车辆车牌号码，36进制的23到24位表示卡口车辆的速度、36进制的第25位表示车牌种类、36进制的第26位表示车牌号颜色，36进制的第27位表示车身颜色，36进制的28到29位表示汽车标志、36进制的第30位表示加密标识信息。
所述分布式数据库HBase表结构的Row Key同时存储到多个Regionserver。
所述通行日期和时间使用逆序的时间戳进行二进制存储。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于HBase的卡口数据处理方法，其特征在于：包括以下步骤：
步骤1：获取待存储的数据记录；
步骤2：判断数据量大小，如果是少量临时性数据，则执行步骤3；如果是海量数据，则执行步骤4；
步骤3：将少量临时性数据通过关系数据库SQL server进行存储；
步骤4：判断海量数据的结构状态，如果为结构化数据，通过分布式数据库Hbase进行存储；如果为非结构化数据，通过文件***HDFS进行存储。
2.根据权利要求1所述一种基于HBase的卡口数据处理方法，其特征在于：所述分布式数据库HBase表结构的Row Key采用36进制编码，36进制的1到4位表示相机对应的组织机构编号，36进制5到6位表示相机所在组织机构中对应卡点编号，36进制的第7位表示相机所在卡点中对应镜头编号，36进制的8到10位表示卡口车辆通行日期，36进制的11到14位表示卡口车辆通行时间,36进制的15到22位表示卡口车辆车牌号码，36进制的23到24位表示卡口车辆的速度、36进制的第25位表示车牌种类、36进制的第26位表示车牌号颜色，36进制的第27位表示车身颜色，36进制的28到29位表示汽车标志、36进制的第30位表示加密标识信息。
3.根据权利要求1或2所述一种基于HBase的卡口数据处理方法，其特征在于：所述分布式数据库HBase表结构的Row Key同时存储到多个Region server。
4.根据权利要求1或2所述一种基于HBase的卡口数据处理方法，其特征在于：所述通行日期和时间使用逆序的时间戳进行二进制存储。
CN201410284598.1A 2014-06-23 2014-06-23 一种基于HBase的卡口数据处理方法 Pending CN104050271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410284598.1A CN104050271A (zh) 2014-06-23 2014-06-23 一种基于HBase的卡口数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410284598.1A CN104050271A (zh) 2014-06-23 2014-06-23 一种基于HBase的卡口数据处理方法

Publications (1)

Publication Number Publication Date
CN104050271A true CN104050271A (zh) 2014-09-17

Family

ID=51503103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410284598.1A Pending CN104050271A (zh) 2014-06-23 2014-06-23 一种基于HBase的卡口数据处理方法

Country Status (1)

Country Link
CN (1) CN104050271A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794226A (zh) * 2015-04-30 2015-07-22 北京奇艺世纪科技有限公司 基于HBase数据库对数据的写操作方法及装置
CN104952251A (zh) * 2015-06-18 2015-09-30 安徽四创电子股份有限公司 基于卡口和hadoop技术的城市高架桥交通状态感知方法
CN105374210A (zh) * 2015-12-03 2016-03-02 中山大学 基于浮动车数据的卡口检测率获取方法
CN105426437A (zh) * 2015-11-05 2016-03-23 西安翔迅科技有限责任公司 一种基于HBase的智能交通领域卡口数据存储方法
CN105788264A (zh) * 2016-04-28 2016-07-20 泰华智慧产业集团股份有限公司 基于Hbase的卡口数据区域碰撞分析的方法及***
CN106294499A (zh) * 2015-06-09 2017-01-04 阿里巴巴集团控股有限公司 一种数据库数据查询方法和设备
CN107862867A (zh) * 2017-11-08 2018-03-30 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107993444A (zh) * 2017-11-22 2018-05-04 紫光捷通科技股份有限公司 基于卡口过车大数据分析的嫌疑车认定方法
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103658A1 (en) * 2011-10-19 2013-04-25 Vmware, Inc. Time series data mapping into a key-value database
CN103514273A (zh) * 2013-09-17 2014-01-15 宁波东冠科技有限公司 数据采集和监视控制***及该***的数据处理方法
CN103700256A (zh) * 2012-09-28 2014-04-02 中国电信股份有限公司 一种用于卡口管理的方法和***
CN103778184A (zh) * 2013-12-26 2014-05-07 深圳市华仁达技术有限公司 一种智能交通海量卡口通行数据传输***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130103658A1 (en) * 2011-10-19 2013-04-25 Vmware, Inc. Time series data mapping into a key-value database
CN103700256A (zh) * 2012-09-28 2014-04-02 中国电信股份有限公司 一种用于卡口管理的方法和***
CN103514273A (zh) * 2013-09-17 2014-01-15 宁波东冠科技有限公司 数据采集和监视控制***及该***的数据处理方法
CN103778184A (zh) * 2013-12-26 2014-05-07 深圳市华仁达技术有限公司 一种智能交通海量卡口通行数据传输***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈吉荣等: "基于Hadoop生态***的大数据解决方案综述", 《计算机工程与科学》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794226A (zh) * 2015-04-30 2015-07-22 北京奇艺世纪科技有限公司 基于HBase数据库对数据的写操作方法及装置
CN106294499A (zh) * 2015-06-09 2017-01-04 阿里巴巴集团控股有限公司 一种数据库数据查询方法和设备
CN104952251A (zh) * 2015-06-18 2015-09-30 安徽四创电子股份有限公司 基于卡口和hadoop技术的城市高架桥交通状态感知方法
CN105426437A (zh) * 2015-11-05 2016-03-23 西安翔迅科技有限责任公司 一种基于HBase的智能交通领域卡口数据存储方法
CN105374210A (zh) * 2015-12-03 2016-03-02 中山大学 基于浮动车数据的卡口检测率获取方法
CN105374210B (zh) * 2015-12-03 2017-08-04 中山大学 基于浮动车数据的卡口检测率获取方法
CN105788264A (zh) * 2016-04-28 2016-07-20 泰华智慧产业集团股份有限公司 基于Hbase的卡口数据区域碰撞分析的方法及***
CN107862867A (zh) * 2017-11-08 2018-03-30 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107862867B (zh) * 2017-11-08 2019-08-27 泰华智慧产业集团股份有限公司 基于大数据进行初次入城车辆分析的方法及***
CN107993444A (zh) * 2017-11-22 2018-05-04 紫光捷通科技股份有限公司 基于卡口过车大数据分析的嫌疑车认定方法
CN112003956A (zh) * 2020-10-27 2020-11-27 武汉中科通达高新技术股份有限公司 一种交管***
CN112003956B (zh) * 2020-10-27 2021-01-15 武汉中科通达高新技术股份有限公司 一种交管***

Similar Documents

Publication Publication Date Title
CN104050271A (zh) 一种基于HBase的卡口数据处理方法
CN103631909B (zh) 对大规模结构化和非结构化数据联合处理的***及方法
CN107590250A (zh) 一种时空轨迹生成方法及装置
CN106484808B (zh) 一种交通对象全息电子档案数据建模方法
CN103577440A (zh) 一种非关系型数据库中的数据处理方法和装置
CN104834693A (zh) 基于深度搜索的视觉图像检索方法及***
CN106326361A (zh) 一种基于HBase数据库的数据查询方法及装置
US10002142B2 (en) Method and apparatus for generating schema of non-relational database
CN103049496A (zh) 一种对多个用户进行用户群划分的方法、装置与设备
CN103605651A (zh) 一种基于olap多维分析的数据处理展现方法
CN102388374A (zh) 存储数据的方法和装置
CN105550314A (zh) 基于联合主键的数据统计方法、装置及***
CN105912665B (zh) 一种Neo4j向关系型数据库的模型转换和数据迁移方法
CN105550375A (zh) 一种异构数据的整合方法及***
CN106250393A (zh) 一种基于知识图谱的短文本理解方法及装置
CN108170752A (zh) 基于模板的元数据管理方法和***
CN103440249A (zh) 一种非结构化数据快速检索的***及方法
CN104408128B (zh) 一种基于b+树异步更新索引的读优化方法
CN105095436A (zh) 数据源数据自动建模方法
CN105069094A (zh) 一种基于语义理解的空间关键字索引方法
CN106326358A (zh) 一种基于大数据的车辆通行信息的查询方法及装置
CN101963993B (zh) 一种数据库单表记录快速查找的方法
CN106294792A (zh) 关联查询***的建立方法及建立***
CN112363996B (zh) 用于建立电网知识图谱的物理模型的方法及***和介质
CN103425789B (zh) 一种时空数据的查询方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140917