CN106528674A - 基于Hbase行健的高性能查询方法和装置 - Google Patents
基于Hbase行健的高性能查询方法和装置 Download PDFInfo
- Publication number
- CN106528674A CN106528674A CN201610928794.7A CN201610928794A CN106528674A CN 106528674 A CN106528674 A CN 106528674A CN 201610928794 A CN201610928794 A CN 201610928794A CN 106528674 A CN106528674 A CN 106528674A
- Authority
- CN
- China
- Prior art keywords
- row
- inquiry
- query
- value
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种基于Hbase行健的高性能查询方法和装置,所述方法包括:接收用户输入的m个对Hbase表的查询条件及其逻辑关系;根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符;获取Hbase表中每一行的行健,根据预设的元数据表信息对行健进行分解,得到每个查询条件中的对应查询列的比对值,将比对值与查询条件值根据运算符进行比较运算,生成查询条件的比较结果;以及,根据逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户。本申请通过上述手段,能够在保证高性能的同时实现HBase多条件细粒度的过滤查询。
Description
技术领域
本申请涉及数据库技术领域,特别地,涉及一种基于Hbase行健的高性能查询方法和装置。
背景技术
Hadoop数据库(HBase,Hadoop Database)是一种分布式、可伸缩的非关系型(NoSQL,Not Only SQL)数据库,它构建在Hadoop基础设施之上,依托于Hadoop的迅猛发展,HBase在大数据领域的应用越来越广泛,成为目前NoSQL数据库中表现最耀眼,呼声最高的产品之一。
HBase的表数据按行健(Rowkey)进行字典排序, Rowkey实际上是数据表的一级索引(Primary Index),Rowkey在HBase中以B+ 树的结构形式有序存储,扫描效率较高,但在面对多条件组合查询时,仍存在不便。虽然Hbase提供了一些针对Rowkey、列、列簇的过滤器(Filter),可以实现组合、比较等查询方式,但是多Filter的组合过滤是要在HBase里进行多次数据扫描,速度缓慢、组合麻烦、效率低下,经常无法满足查询要求。
另外,虽然可以借助批处理或者其他方式建立HBase的二级索引数据,但是在***主数据时需要伴随***多份二级索引从而较大程度的降低了写入性能。对于一些轻量级的条件搜索场景,二级搜索显得过于浪费资源,而且每次创建新的表后,需要重新编写代码来支持。
发明内容
本申请提供一种基于Hbase行健的高性能查询方法和装置,用于解决现有Hbase无法在保持高性能优势的条件下支持多条件查询的问题。
本申请公开的一种基于Hbase行健的高性能查询方法,所述行健包括按预设结构排列的n个查询列的数据,所述方法包括:接收用户输入的m个对Hbase表的查询条件及其逻辑关系;根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符;获取所述Hbase表中每一行的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果;以及,根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户;其中,n≥m≥1。
本申请公开的一种基于Hbase行健的高性能查询装置,包括:元数据构造模块,用于预设元数据表信息以及行健的预设结构,所述行健包括按预设结构排列的n个查询列的数据; 过滤器模块,用于接收用户输入的m个对Hbase表的查询条件及其逻辑关系;以及,根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符;查询执行模块,用于获取所述Hbase表每一行数据的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果;以及,根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户;其中,n≥m≥1。
与现有技术相比,本申请具有以下优点:本申请优选实施例采用非侵入式实现了基于一级索引Rowkey的高性能复杂条件查询引擎,以HBase的Rowkey一级索引的优势为基础,对扫描过程中获取的Rowkey与比较器中需要查询分片的位置、分片的预期值进行字节(byte)比较,从而能够在保证高性能的同时实现HBase多条件细粒度的过滤查询。
附图说明
附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请基于Hbase行健的高性能查询方法一实施例的流程图;
图2为本申请Rowkey的结构示意图;
图3为本申请基于Hbase行健的高性能查询装置一实施例的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
在本申请的描述中,需要理解的是,术语 “多个”的含义是两个或两个以上,除非另有明确具体的限定。术语“包括”、“包含”及类似术语应该被理解为是开放性的术语,即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。
本申请的核心发明思想之一在于:按照本申请涉及到的规范,对HBase表的Rowkey进行优化设计,预设查询分片,并生成与表相关的查询特性映射信息。编写Rowkey过滤器的分片查询比较器,在比较器中通过元数据来获取查询分片的映射信息,包括偏移位置、分片的长度、分片的预期值、分片的操作符,在扫描HBase数据的过程中,需要遍历行健,直接与预设好的查询分片信息来比较byte值,HBase中Rowkey存储的是字节数组,无需再次转换,直接高效率的进行比较,根据返回的运算结果(是或否),进行判断是否过滤该行数据。因此对于一些基本的搜索功能要求,无需重新编写二级索引代码,无需花很长时间通过列值进行过滤搜索,直接通过Rowkey分片的方式就能轻松快速的完成基本字段搜索功能。
参照图1,示出了本申请基于Hbase行健的高性能查询方法一实施例的流程,本优选实施例中的Hbase数据表中的Rowkey包括有按预设结构排列的n个查询列的数据,并在Hbase中预设有元数据表的结构。
具体实施时,元数据表结构可以包括Hbase表名、列名、列类型、偏移地址和是否倒序等。Rowkey可以采用如图2所示的结构形式,即n个查询列的数据之间以0x00为分隔符隔开。
所述方法具体包括以下步骤:
步骤S101:接收用户输入的m个对Hbase表的查询条件及其逻辑关系。
其中,n≥m≥1。
用户在进行查询时,输入内容主要包括: Hbase表名,每个查询条件的列名、操作符、第一查询条件值和第二查询条件值,以及各查询条件之间的逻辑关系等。
操作符可以是等于(=)、不等于(≠)、大于(>)、小于(<)、大于等于(≥)、小于等于(≤)、介于第一查询条件值和第二查询条件值之间(between)等。逻辑关系可以是与(and)、或(or)、异或(xor)、非(not)等。
当操作符为一元运算(如操作符为等于、不等于、大于、小于等)时,只需要第一查询条件值即可;当操作符为二元运算(如between)时,需要值第一查询条件值和第二查询条件值。
步骤S102:根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符。
具体实施时,用户输入的查询条件可以以分片数组的形式传递,具体包括长度均为m的列名分片数组、偏移地址分片数组、第一条件值分片数组、第二条件值分片数组和运算符分片数组。
根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值,具体可以包括:根据待查询Hbase表名和预设的元数据表获取所述Hbase表的列名、列类型和偏移地址;根据所述列名的偏移地址从所述列名分片数组中分解获得每个查询条件的查询列的列名;根据所述查询列的列名获得对应的列类型,并根据列类型计算对应查询条件值的偏移地址;根据所述查询条件值的偏移地址从所述第一条件值分片数组和第二条件值分片数组中分解获得每个查询条件的查询条件值。
步骤S103:获取Hbase表中每一行的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果。
具体实施时,为提高比对效率,上述比对值与查询条件值根据所述运算符进行比较运算,具体可以采用字节(byte)比较方式。
在另一实施例中,当Rowkey采用如图2所示的结构形式时,所述根据预设的元数据表信息分解对所述行健进行分解,得到每个查询条件对应查询列的比对值,具体可以包括:
步骤S103-1:根据每个查询列的列类型获得相应查询列的字节长度Leni;
步骤S103-2:根据所述查询条件中对应查询列在行健中的排列位置k、以及位于该查询列之前各查询列的字节长度,计算该第k个查询列在行健中的偏移量Offsetk;具体公式如下:
步骤S103-3:从该偏移量Offsetk处读取长度为Lenk字节的数据,作为该查询列的比对值。
步骤S104:根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户。
本申请通过上述手段,可以产生如下有益技术效果:
高性能:一是基于Rowkey一级索引为过滤条件,二是直接比较字节,无需在进行比较前将数据转换为String、long等类型,可显著降低资源消耗。
轻量级:本申请只是基于Rowkey进行过滤,无需在HBase中***多份数据,无需建立二级索引,无需借助第三方组件,可以直接封装成一个jar包即可完成轻量级的多条件过滤功能。
灵活性:根据查询参数、参数的预期比较值就可以进行准确快速比较。
高复用性:只要符合元数据构造器的规范即可适用所有HBase的表,无需重新编写分片过滤器,即可重复适用。
简易性:通过本方法,大大简化开发应用部署过程。
对于前述的各方法实施例,为了描述简单,故将其都表述为一系列的动作组合,但是本领域的技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为根据本申请,某些步骤可以采用其他顺序或同时执行;其次,本领域技术人员也应该知悉,上述方法实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请还公开了一种在其上记录有用于执行上述方法的程序的计算机可读记录介质。所述计算机可读记录介质包括配置为以计算机(以计算机为例)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等。
参照图3,示出了本申请基于Hbase行健的高性能查询装置一实施例的结构框图,包括:
元数据构造模块30,用于预设元数据表信息以及行健的预设结构,所述行健包括按预设结构排列的n个查询列的数据。
过滤器模块31,用于接收用户输入的m个对Hbase表的查询条件及其逻辑关系;以及,根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符。
其中,n≥m≥1。
查询执行模块32,用于获取Hbase表每一行数据的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果;以及,根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户。
在另一实施例中,所述预设的元数据表可以包括Hbase表名、列名、列类型和偏移地址等;所述行健的预设结构可以为:n个查询列的数据之间以0x00为分隔符隔开。
所述根据预设的元数据表信息分解对所述行健进行分解,得到每个查询条件对应查询列的比对值,具体包括:根据每个查询列的列类型获得相应查询列的字节长度Leni;根据所述查询条件中的对应查询列在行健中的排列位置k、以及位于该查询列之前各查询列的字节长度,计算该第k个查询列在行健中的偏移量Offsetk,然后从该偏移量Offsetk处读取长度为Lenk字节的数据,作为该查询列的比对值。
所述预设的元数据表可以包括Hbase表名、列名、列类型和偏移地址。所述查询条件包括列名分片数组、偏移地址分片数组、第一条件值分片数组、第二条件值分片数组和运算符分片数组,每个分片数组的长度为m。
根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值,具体包括:根据待查询Hbase表名和预设的元数据表获取所述Hbase表的列名、列类型和偏移地址;根据所述列名的偏移地址从所述列名分片数组中分解获得每个查询条件的查询列的列名;根据所述查询列的列名获得对应的列类型,并根据列类型计算对应查询条件值的偏移地址;根据所述查询条件值的偏移地址从所述第一条件值分片数组和第二条件值分片数组中分解获得每个查询条件的查询条件值。
需要说明的是,上述装置实施例属于优选实施例,所涉及的单元和模块并不一定是本申请所必须的。
下面,结合具体实例说明过滤器模块31的工作流程,具体包括:
1、过滤器模块31收到用户输入的多查询条件分片,根据元数据信息,自动映射各查询条件分片的偏移量、数据类型等元数据映射信息。
例如:假设当前HBase数据集如下表1所示:
表1.HBase数据集
注:表1中行健的格式为“用户编号+时间+订单状态+金额”,行健在Hbase中存储时为byte类型,表1所示只是为了方便展示。
生成的元数据如表2所示:
表2.元数据信息
用户输入的查询条件:用户编号【>50】 并且 订单状态【不等于过期】
经过映射得到结果,如表3所示:
表3.查询分片信息
2、构造器遍历映射后的查询分片信息,解析分片信息,针对不同条件进行不同的操作。
3、HBase在扫描(scan)数据的时候,获取Rowkey值,与遍历中的查询分片进行定位,通过运算符,直接比较byte值,效率更高效,进而判断出该行键是否符合分片要求。
根据元数据信息,将Rowkey进行分解,然后根据元数据中用户标号的偏移量,映射后得到比对的值,进行比较过滤。
4、每行数据遍历完查询分片后,将汇总比较结果,如果都true的话,就返回该行给客户端。
最终输出结果如表4所示:
表4.输出结果
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
以上对本申请所提供的一种基于Hbase行健的高性能查询方法和装置,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于Hbase行健的高性能查询方法,其特征在于,所述行健包括按预设结构排列的n个查询列的数据,所述方法包括:
接收用户输入的m个对Hbase表的查询条件及其逻辑关系;
根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符;
获取所述Hbase表中每一行的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果;
以及,根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户;
其中,n≥m≥1。
2.根据权利要求1所述的方法,其特征在于,所述预设的元数据表包括Hbase表名、列名、列类型和偏移地址。
3.根据权利要求2所述的方法,其特征在于,
所述行健的预设结构为:n个查询列的数据之间以0x00为分隔符隔开;
所述根据预设的元数据表信息分解对所述行健进行分解,得到每个查询条件对应查询列的比对值,具体包括:根据每个查询列的列类型获得相应查询列的字节长度Leni;根据所述查询条件中对应查询列在行健中的排列位置k、以及位于该查询列之前各查询列的字节长度,计算该第k个查询列在行健中的偏移量Offsetk,然后从该偏移量Offsetk处读取长度为Lenk字节的数据,作为该查询列的比对值。
4.根据权利要求2所述的方法,其特征在于,
所述查询条件包括列名分片数组、偏移地址分片数组、第一条件值分片数组、第二条件值分片数组和运算符分片数组,每个分片数组的长度为m;
根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值,具体包括:根据待查询Hbase表名和预设的元数据表获取所述Hbase表的列名、列类型和偏移地址;根据所述列名的偏移地址从所述列名分片数组中分解获得每个查询条件的查询列的列名;根据所述查询列的列名获得对应的列类型,并根据列类型计算对应查询条件值的偏移地址;根据所述查询条件值的偏移地址从所述第一条件值分片数组和第二条件值分片数组中分解获得每个查询条件的查询条件值。
5.根据权利要求2所述的方法,其特征在于,所述预设的元数据表还包括是否倒序。
6.根据权利要求1所述的方法,其特征在于,所述运算符包括等于、不等于、大于、小于和介于查询条件值一与查询条件值二之间。
7.根据权利要求1所述的方法,其特征在于,将所述比对值与查询条件值根据所述运算符进行比较运算,具体为:将比对值与查询条件值根据所述运算符进行字节比较运算。
8.一种基于Hbase行健的高性能查询装置,其特征在于,包括:
元数据构造模块,用于预设元数据表信息以及行健的预设结构,所述行健包括按预设结构排列的n个查询列的数据;
过滤器模块,用于接收用户输入的m个对Hbase表的查询条件及其逻辑关系;以及,根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值及其运算符;
查询执行模块,用于获取所述Hbase表每一行数据的行健,根据预设的元数据表信息对所述行健进行分解,得到每个查询条件中的对应查询列的比对值,将所述比对值与查询条件值根据所述运算符进行比较运算,生成所述查询条件的比较结果;以及,根据所述逻辑关系汇总所有查询条件的比较结果,将汇总后的比较结果为真的行健对应的行数据返回给用户;
其中,n≥m≥1。
9.根据权利要求8所述的装置,其特征在于,
所述预设的元数据表包括Hbase表名、列名、列类型和偏移地址;
所述行健的预设结构为:n个查询列的数据之间以0x00为分隔符隔开;
所述根据预设的元数据表信息分解对所述行健进行分解,得到每个查询条件对应查询列的比对值,具体包括:根据每个查询列的列类型获得相应查询列的字节长度Leni;根据所述查询条件中的对应查询列在行健中的排列位置k、以及位于该查询列之前各查询列的字节长度,计算该第k个查询列在行健中的偏移量Offsetk,然后从该偏移量Offsetk处读取长度为Lenk字节的数据,作为该查询列的比对值。
10.根据权利要求8所述的装置,其特征在于,
所述预设的元数据表包括Hbase表名、列名、列类型和偏移地址;
所述查询条件包括列名分片数组、偏移地址分片数组、第一条件值分片数组、第二条件值分片数组和运算符分片数组,每个分片数组的长度为m;
根据预设的元数据表信息解析出每个查询条件对应的查询列、查询条件值,具体包括:根据待查询Hbase表名和预设的元数据表获取所述Hbase表的列名、列类型和偏移地址;根据所述列名的偏移地址从所述列名分片数组中分解获得每个查询条件的查询列的列名;根据所述查询列的列名获得对应的列类型,并根据列类型计算对应查询条件值的偏移地址;根据所述查询条件值的偏移地址从所述第一条件值分片数组和第二条件值分片数组中分解获得每个查询条件的查询条件值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610928794.7A CN106528674B (zh) | 2016-10-31 | 2016-10-31 | 基于Hbase行健的高性能查询方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610928794.7A CN106528674B (zh) | 2016-10-31 | 2016-10-31 | 基于Hbase行健的高性能查询方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106528674A true CN106528674A (zh) | 2017-03-22 |
CN106528674B CN106528674B (zh) | 2019-10-01 |
Family
ID=58293160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610928794.7A Active CN106528674B (zh) | 2016-10-31 | 2016-10-31 | 基于Hbase行健的高性能查询方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106528674B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145607A (zh) * | 2017-06-12 | 2017-09-08 | 济南浪潮高新科技投资发展有限公司 | 一种hbaes多可选条件快速查询方法 |
CN107239517A (zh) * | 2017-05-23 | 2017-10-10 | 中国联合网络通信集团有限公司 | 基于Hbase数据库的多条件搜索方法及装置 |
CN107577714A (zh) * | 2017-08-07 | 2018-01-12 | 上海斐讯数据通信技术有限公司 | 一种基于HBase的数据查询方法 |
CN107704585A (zh) * | 2017-10-09 | 2018-02-16 | 郑州云海信息技术有限公司 | 一种查询hdfs数据方法及*** |
CN108241724A (zh) * | 2017-05-11 | 2018-07-03 | 新华三大数据技术有限公司 | 一种元数据管理方法和装置 |
CN110060118A (zh) * | 2019-02-27 | 2019-07-26 | 浙江执御信息技术有限公司 | 一种订单履约全链路实时监控方法、装置及计算机设备 |
CN110069571A (zh) * | 2019-03-18 | 2019-07-30 | 平安普惠企业管理有限公司 | 一种自动化数据对比方法及装置、电子设备 |
CN110555021A (zh) * | 2018-03-26 | 2019-12-10 | 深圳先进技术研究院 | 数据存储方法、查询方法及相关装置 |
CN112765131A (zh) * | 2021-01-22 | 2021-05-07 | 重庆邮电大学 | 一种异构医疗健康数据存储和检索方法及*** |
CN113111239A (zh) * | 2021-04-08 | 2021-07-13 | 北京联创新天科技有限公司 | 一种通用数据库操作方法、装置及其存储介质 |
CN113626448A (zh) * | 2021-10-12 | 2021-11-09 | 武大吉奥信息技术有限公司 | 基于HBase分布式存储的空间矢量数据索引与查询方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488704A (zh) * | 2013-09-06 | 2014-01-01 | 乐视致新电子科技(天津)有限公司 | 一种数据存储方法及装置 |
CN103514201A (zh) * | 2012-06-27 | 2014-01-15 | 阿里巴巴集团控股有限公司 | 一种非关系型数据库的数据查询方法和装置 |
CN104008134A (zh) * | 2014-05-06 | 2014-08-27 | 武汉邮电科学研究院 | 基于HBase的高效存储方法及*** |
CN104636389A (zh) * | 2013-11-14 | 2015-05-20 | 博雅网络游戏开发(深圳)有限公司 | 实现Hbase数据库实时查询的方法和*** |
CN105302869A (zh) * | 2015-09-29 | 2016-02-03 | 烽火通信科技股份有限公司 | 一种HBase二级索引查询和存储***及其查询方法 |
CN105989076A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 一种数据统计方法以及装置 |
-
2016
- 2016-10-31 CN CN201610928794.7A patent/CN106528674B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514201A (zh) * | 2012-06-27 | 2014-01-15 | 阿里巴巴集团控股有限公司 | 一种非关系型数据库的数据查询方法和装置 |
CN103488704A (zh) * | 2013-09-06 | 2014-01-01 | 乐视致新电子科技(天津)有限公司 | 一种数据存储方法及装置 |
CN104636389A (zh) * | 2013-11-14 | 2015-05-20 | 博雅网络游戏开发(深圳)有限公司 | 实现Hbase数据库实时查询的方法和*** |
CN104008134A (zh) * | 2014-05-06 | 2014-08-27 | 武汉邮电科学研究院 | 基于HBase的高效存储方法及*** |
CN105989076A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 一种数据统计方法以及装置 |
CN105302869A (zh) * | 2015-09-29 | 2016-02-03 | 烽火通信科技股份有限公司 | 一种HBase二级索引查询和存储***及其查询方法 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108241724A (zh) * | 2017-05-11 | 2018-07-03 | 新华三大数据技术有限公司 | 一种元数据管理方法和装置 |
WO2018205981A1 (zh) * | 2017-05-11 | 2018-11-15 | 新华三大数据技术有限公司 | 元数据管理 |
CN107239517A (zh) * | 2017-05-23 | 2017-10-10 | 中国联合网络通信集团有限公司 | 基于Hbase数据库的多条件搜索方法及装置 |
CN107239517B (zh) * | 2017-05-23 | 2020-09-29 | 中国联合网络通信集团有限公司 | 基于Hbase数据库的多条件搜索方法及装置 |
CN107145607A (zh) * | 2017-06-12 | 2017-09-08 | 济南浪潮高新科技投资发展有限公司 | 一种hbaes多可选条件快速查询方法 |
CN107577714A (zh) * | 2017-08-07 | 2018-01-12 | 上海斐讯数据通信技术有限公司 | 一种基于HBase的数据查询方法 |
CN107704585A (zh) * | 2017-10-09 | 2018-02-16 | 郑州云海信息技术有限公司 | 一种查询hdfs数据方法及*** |
CN110555021A (zh) * | 2018-03-26 | 2019-12-10 | 深圳先进技术研究院 | 数据存储方法、查询方法及相关装置 |
CN110555021B (zh) * | 2018-03-26 | 2023-09-19 | 深圳先进技术研究院 | 数据存储方法、查询方法及相关装置 |
CN110060118A (zh) * | 2019-02-27 | 2019-07-26 | 浙江执御信息技术有限公司 | 一种订单履约全链路实时监控方法、装置及计算机设备 |
CN110069571A (zh) * | 2019-03-18 | 2019-07-30 | 平安普惠企业管理有限公司 | 一种自动化数据对比方法及装置、电子设备 |
CN112765131A (zh) * | 2021-01-22 | 2021-05-07 | 重庆邮电大学 | 一种异构医疗健康数据存储和检索方法及*** |
CN112765131B (zh) * | 2021-01-22 | 2023-03-24 | 重庆邮电大学 | 一种异构医疗健康数据存储和检索方法及*** |
CN113111239A (zh) * | 2021-04-08 | 2021-07-13 | 北京联创新天科技有限公司 | 一种通用数据库操作方法、装置及其存储介质 |
CN113111239B (zh) * | 2021-04-08 | 2024-03-29 | 北京联创新天科技有限公司 | 一种通用数据库操作方法、装置及其存储介质 |
CN113626448A (zh) * | 2021-10-12 | 2021-11-09 | 武大吉奥信息技术有限公司 | 基于HBase分布式存储的空间矢量数据索引与查询方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106528674B (zh) | 2019-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106528674A (zh) | 基于Hbase行健的高性能查询方法和装置 | |
US10083195B2 (en) | System and method for composing a multidimensional index key in data blocks | |
CN105183735B (zh) | 数据的查询方法及查询装置 | |
CN104123374B (zh) | 分布式数据库中聚合查询的方法及装置 | |
CN103761080B (zh) | 一种基于SQL的MapReduce作业生成方法及*** | |
CN108563796A (zh) | 区块链的数据压缩处理方法、装置及电子设备 | |
CN101446962B (zh) | 一种数据转换方法、装置及数据处理*** | |
US20170337229A1 (en) | Spatial indexing for distributed storage using local indexes | |
CN104408159B (zh) | 一种数据关联、加载、查询方法及装置 | |
Guan et al. | ST-hash: An efficient spatiotemporal index for massive trajectory data in a NoSQL database | |
CN105912666A (zh) | 一种面向云平台的混合结构数据高性能存储、查询方法 | |
CN106326361A (zh) | 一种基于HBase数据库的数据查询方法及装置 | |
CN107491476B (zh) | 一种适用于多种大数据管理***的数据模型转换及查询分析方法 | |
CN103440246A (zh) | 用于MapReduce的中间结果数据排序方法及*** | |
CN105515997B (zh) | 基于bf_tcam实现零范围扩张的高效范围匹配方法 | |
CN108984744A (zh) | 一种非主链区块自增长方法 | |
CN103678550A (zh) | 一种基于动态索引结构的海量数据实时查询方法 | |
CN103440249A (zh) | 一种非结构化数据快速检索的***及方法 | |
CN103002061A (zh) | 一种长域名与短域名互相转化的方法及装置 | |
CN112925954A (zh) | 用于在图数据库中查询数据的方法和装置 | |
CN104408128B (zh) | 一种基于b+树异步更新索引的读优化方法 | |
CN103324762A (zh) | 基于Hadoop的索引创建方法及其索引方法 | |
CN103810197A (zh) | 一种基于Hadoop的数据处理方法及其*** | |
CN103049506B (zh) | 移动设备的数据缓存方法及其*** | |
CN113806466A (zh) | 路径时间查询方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |