CN104317966A - 一种用于电力大数据快速组合查询的动态索引方法 - Google Patents

一种用于电力大数据快速组合查询的动态索引方法 Download PDF

Info

Publication number
CN104317966A
CN104317966A CN201410654100.6A CN201410654100A CN104317966A CN 104317966 A CN104317966 A CN 104317966A CN 201410654100 A CN201410654100 A CN 201410654100A CN 104317966 A CN104317966 A CN 104317966A
Authority
CN
China
Prior art keywords
index
data
electric power
inquiry
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410654100.6A
Other languages
English (en)
Other versions
CN104317966B (zh
Inventor
郑海雁
金农
顾国栋
丁晓
吴钢
王红星
徐金玲
金璐
熊政
丁陈
方超
仲春林
李昆明
李新家
尹飞
孟嘉
季聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI SHENG TAO BIG DATA TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Nanjing Power Supply Co of Jiangsu Electric Power Co
Original Assignee
SHANGHAI SHENG TAO BIG DATA TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Jiangsu Fangtian Power Technology Co Ltd
Nanjing Power Supply Co of Jiangsu Electric Power Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI SHENG TAO BIG DATA TECHNOLOGY Co Ltd, State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Jiangsu Fangtian Power Technology Co Ltd, Nanjing Power Supply Co of Jiangsu Electric Power Co filed Critical SHANGHAI SHENG TAO BIG DATA TECHNOLOGY Co Ltd
Priority to CN201410654100.6A priority Critical patent/CN104317966B/zh
Publication of CN104317966A publication Critical patent/CN104317966A/zh
Application granted granted Critical
Publication of CN104317966B publication Critical patent/CN104317966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2264—Multidimensional index structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/328—Management therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引***；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。

Description

一种用于电力大数据快速组合查询的动态索引方法
技术领域
本实用新型涉及一种用于电力大数据快速组合查询的动态索引方法，属于电力信息化技术领域。
背景技术
随着电力***数字化进程的推进，电力***积累了大量的发、输、用电数据。目前仅江苏省用电信息***历年保存下来的全省用电信息数据已达到几十TB，如何利用现有的大数据分析技术，挖掘电力大数据的潜在价值，使电力企业为客户提供更好的服务，是一个值得研究的课题。而2013年《中国电力大数据发展***》的发布，将中国的电力大数据研究推向了一个新的起点，对中国电力大数据的研究与应用有着划时代的意义。
电力大数据其特征可概括为3“V”和3“E”，3“V”代表体量大(Volume)，类型多(Variety)和速度快(Velocity)，3“E”代表数据即能量(Energy)、数据即交互(Exchange)、数据即共情(Empathy)。在用电大数据中，这样的概括同样适用。
大数据基础之上创建高效索引虽然非常之难，但显而易见的是，大数据对索引的需求相比传统数据库更加迫切：传统数据库在几十万、几百万数据量的情况下需要使用索引才能提供满足要求的查询性能，那么专注于处理动辄几百亿、几千亿数据量的大数据技术如果不提供索引又如何能满足性能需求呢？传统数据库的索引其实都是一种单索引结构，虽然很多基于Hadoop的大数据产品可以支持复合索引，然而这种复合索引其本质依然是单索引，即一次查询只能用一个索引，所谓复合索引也只是将多个字段简单拼接。单索引的效率可以满足用户单条件的查询，而传统的复合索引由于其拼接的技术过于简单，因此也只能支持单一的查询，如果用户的查询条件更复杂、条件组合更灵活时，它就完全不能满足用户的需求了。
目前比较常见的大数据解决方案为Hadoop + HBase，该解决方案通过搭建分布式处理软件框架和分布式存储***，实现大数据的分布式存储和查询。HBase是按Rowkey进行排序和存储的，在进行数据查询时需要对数据块按行检索，但是查询速度远无法满足实时的需求。
发明内容
为克服现有技术存在的缺陷，解决上述技术问题，本发明一种用于电力大数据快速组合查询的动态索引方法。
本发明采用如下技术方案：一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：
SS1利用动态索引图技术，为电力大数据建立一套立体的索引***；
SS2利用多条件组合查询方法创建索引；
SS3建立电力大数据快速组合查询方案。
优选地，步骤SS1包括：首先利用第一个域进行排序，建立若干索引起始点，然后使用hash技术将索引分段，构建一个多级立体式的索引分段***。
优选地，步骤SS2包括：当用户使用条件组合进行数据查询时，数据库引擎会依据自身的独有机制动态使用这些原本独立创建索引提供任意组合的多条件的数据查询；
优选地，步骤SS2还包括：若使用没有创建索引的字段与其它已经创建了索引的字段进行组合查询，***首先智能地去判断，发现其中的几个字段已有索引，将优先使用这几个字段初步判断与过滤，得到一组中间查询结果；对于并未建立索引的其它字段，需要再对中间结果数据进行逐条扫描。
优选地，步骤SS3具体包括如下步骤：
1)用户从客户端输入SQL命令；
2）通过JDBC和HBase连接到索引数据库；
3）解析SQL命令，从索引数据库找到对应的索引文件；
4）对索引文件进行修剪，形成针对具体查询命令的动态索引图；
5）通过动态索引图，得到需要查询的HFile的RowKey；
6）HBase根据RowKey从HDFS取数据；
7）将查询结果返回给用户。
优选地，步骤SS3中的步骤2）包括：当HBase读入新增数据时，所有数据同步被送到指定的查询加速服务器，按指定关键字和日期对某个字段进行数值的统计，并建立查询索引；当用户向HBase发出查询请求时，该请求被即时送到特制的查询引擎，根据查询条件返回对应的索引地址，通过索引地址找到原始数据，并返回结果。
上述术语的含义：DIG（dynamic index graph）即动态索引图技术。
Hash，一般翻译做“散列”，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。
SQL (Structured Query Language) 即结构化查询语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库***；同时也是数据库脚本文件的扩展名。
HBase 即 Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储***。
JDBC(Java Data Base Connectivity)即java数据库连接，是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一访问，它由一组用Java语言编写的类和接口组成。
RowKey相当于mysql数据库中的primary key，它就是那几个主键列的组合，列的顺序与primary key中定义的顺序一致。
HDFS 即Hadoop Distributed File System，是一个分布式文件***。
本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。
附图说明
图1是本发明的动态索引图的一个索引实施例的示意图。
图2是本发明的电力大数据组合查询的流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
为了解决大数据查询的效率问题，同时避免传统复合索引技术的带来的局限性，本发明提出了一种适用于用电大数据的复合索引技术——动态索引图技术(dynamic index graph, DIG)。
DIG技术是一种基于分布式存储，分布式计算的索引架构，它对数据建立了一套立体的索引***。这套索引***首先利用第一个域进行排序，建立若干索引起始点，使用hash技术将索引分段，由第一个域的这些起始点指向下一个域的分段，以此类推，构建一个多级立体式的索引分段***。当某一分段较疏松时，适当合并减少分段数，当某一分段较密集时，适当分离多建立分段，以达到分段的存储读取效率与查询效率之间的平衡。当一个查询开始时，由一个或多个起始点开始，根据约束条件进行递归查询。最终确定终结点的查询内容。
DIG充分利用了云设备的缓存调度，多核计算，将孤立创建的索引连接成索引***，如图1所示的是本发明的动态索引图的一个索引实施例的示意图。当用户执行查询任务时，***将智能的甄别查询类型，查询规模，自动选取最优的查询算法。在立体的索引***中，利用选择的最优算法规避逐条搜索，充分使用***预处理产生的多级索引及索引间的关联索引，索引内预判预读，多线程并行处理。最终达到大幅提高查询速度的效果。
由于在普通规模数据***中的大多数查询是能够在秒级时间单位中完成，而这些操作对于海量数据往往就会上升成为分钟级，小时级的操作，DIG技术将查询海量数据时的大量应用从耗时若干分钟，加速至只需若干秒，从而把***的响应时间压缩到用户等待的心理承受范围之内。 
以四台设备，40亿条数据为例，假设每条数据有五个字段，每个字段10个字节定长。其全表内容约为200GB，每台设备处理50GB数据，以每分钟处理3GB的硬盘上限处理能力计算，一次查询需要15分钟以上。首页查询较优条件下也在5分钟以上。而使用DIG技术后首页查询时间会缩短至10-20秒，从而使查询时间落入用户等待的心理承受范围内。
索引对于传统数据库只是一个辅助手段，若用户使用了一个查询组合，但是这个查询组合并未建立索引，临时采用全表扫描技术进行查询也是可接受的一个解决方案。
但当分配到每台普通计算机的数据量大到一定程度时，逐行扫描技术已经完全无法满足***的性能需求时，大数据下的高效索引则不仅仅是查询加速的辅助，而是查询的必要条件。因此，大数据快速组合查询的设计必须满足速度和通用性两个要求。
为满足快速组合查询的速度要求，从以下两个方面进行查询效率提升：
（1）从最底层的数据存储层上，利用大数据虚拟文件***实现高性能大数据存储，为大数据快速查询提供了良好的基础；
（2）使用多维数据库为数据提供最优化的处理方式。
从通用性的角度来看，由于大数据查询对索引的要求不再仅仅局限于为查询提供一种加速的辅助功能，而是所有查询必须要使用的技术，因此，大数据技术下的索引技术必须能够为任意多条件的所有可能组合用的。
DIG技术创建的索引用户不必去考虑任意多条件的组合的可能性数量，只需要对可能用到的查询条件对应的字段创建索引即可。当用户使用由这些条件组成的条件组合进行数据查询时，数据库引擎会依据自身的独有机制动态使用这些原本独立创建索引提供任意组合的多条件的数据查询。
若使用没有创建索引的字段与其它已经创建了索引的字段进行组合查询，***首先智能地去判断，发现其中的几个字段已有索引，将优先使用这几个字段初步判断与过滤，得到一组中间查询结果；由于另外的一些字段并未建立索引，因此需要再对中间结果数据进行逐条扫描。因为已经使用已有索引的几个字段进行了过滤，因此进行中间结果的逐条比对时，数据集的规模已经得到大幅降低。因此，即使偶尔使用了极少数没有提前创建索引的字段进行查询，在本文的查询引擎下，也可以提供相当不错的查询效率。
随着智能电表的普及，电力行业的数据量呈井喷式增长。电力行业是当前将终端普及到千家万户每一个角落的少有的几个行业之一（类似的还有水、煤气等行业）。
电力数据具有格式化、数据量大、周期性明显等特征。以江苏电力为例，如果每个小时采集一次数据，则一个小时就会产生三千万量级的数据，这个数据量还会随着数据采集频率的提升和用电单位数量的增长呈指数增长。
面对周期性产生的海量数据，大数据领域较为先进的HBase作为大数据存储与处理的基本平台。HBase虽然也提供了相对不错的大数据处理能力，但它依然不能提供任意多条件查询的索引技术。
由于HBase是按列存储的，并支持列族概念，对一个表做一个固定条件的查询时效率很高；但一般查询时往往需要进行多个条件的组合查询，而HBase并不支持多个条件的组合查询。因此结合HBase的自身特性，引入DIG技术以提高组合查询的效率是非常必要的。
用户通过JDBC与HBase实现数据库的互通，并实时完成统计预处理和建立查询索引，当HBase读入新增数据时，所有数据同步被送到指定的查询加速服务器，按指定关键字和日期对某个字段进行数值的统计，并建立查询索引；当用户向HBase发出查询请求时，该请求被即时送到特制的查询引擎，根据查询条件返回对应的索引地址，通过索引地址找到原始数据，并返回结果。
如图2所示的是本发明的电力大数据组合查询的流程示意图。电力大数据快速组合查询方案包括如下步骤：
1)用户从客户端输入SQL命令；
2）通过JDBC和HBase连接到索引数据库；
3）解析SQL命令，从索引数据库找到对应的索引文件；
4）对索引文件进行修剪，形成针对具体查询命令的动态索引图；
5）通过动态索引图，得到需要查询的HFile的RowKey；
6）HBase根据RowKey从HDFS取数据；
7）将查询结果返回给用户。
基于DIG技术的查询，无论数据总量多少，查询的速度要求少于5秒。通过本方案实现了无需改变HBase的任何配置，同时无需任何编程，即可在海量大数据的压力下实现统计和查询的秒级响应。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：
SS1利用动态索引图技术，为电力大数据建立一套立体的索引***；
SS2利用多条件组合查询方法创建索引；
SS3建立电力大数据快速组合查询方案。
2.根据权利要求1所述的一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述步骤SS1包括：首先利用第一个域进行排序，建立若干索引起始点，然后使用hash技术将索引分段，构建一个多级立体式的索引分段***。
3.根据权利要求1所述的一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述步骤SS2包括：当用户使用条件组合进行数据查询时，数据库引擎会依据自身的独有机制动态使用这些原本独立创建索引提供任意组合的多条件的数据查询。
4.根据权利要求3所述的一种用于电力大数据快速组合查询的动态索引方法，其特征在于，步骤SS2还包括：若使用没有创建索引的字段与其它已经创建了索引的字段进行组合查询，***首先智能地去判断，发现其中的几个字段已有索引，将优先使用这几个字段初步判断与过滤，得到一组中间查询结果；对于并未建立索引的其它字段，需要再对中间结果数据进行逐条扫描。
5.根据权利要求1所述的一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述步骤SS3具体包括如下步骤：
1)用户从客户端输入SQL命令；
2）通过JDBC和HBase连接到索引数据库；
3）解析SQL命令，从索引数据库找到对应的索引文件；
4）对索引文件进行修剪，形成针对具体查询命令的动态索引图；
5）通过动态索引图，得到需要查询的HFile的RowKey；
6）HBase根据RowKey从HDFS取数据；
7）将查询结果返回给用户。
6.根据权利要求5所述的一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述步骤SS3中的步骤2）包括：当HBase读入新增数据时，所有数据同步被送到指定的查询加速服务器，按指定关键字和日期对某个字段进行数值的统计，并建立查询索引；当用户向HBase发出查询请求时，该请求被即时送到特制的查询引擎，根据查询条件返回对应的索引地址，通过索引地址找到原始数据，并返回结果。
CN201410654100.6A 2014-11-18 2014-11-18 一种用于电力大数据快速组合查询的动态索引方法 Active CN104317966B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410654100.6A CN104317966B (zh) 2014-11-18 2014-11-18 一种用于电力大数据快速组合查询的动态索引方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410654100.6A CN104317966B (zh) 2014-11-18 2014-11-18 一种用于电力大数据快速组合查询的动态索引方法

Publications (2)

Publication Number Publication Date
CN104317966A true CN104317966A (zh) 2015-01-28
CN104317966B CN104317966B (zh) 2017-08-08

Family

ID=52373198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410654100.6A Active CN104317966B (zh) 2014-11-18 2014-11-18 一种用于电力大数据快速组合查询的动态索引方法

Country Status (1)

Country Link
CN (1) CN104317966B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN105445579A (zh) * 2015-11-17 2016-03-30 国网山东省电力公司电力科学研究院 多尺度时序分析的油色谱在线监测数据可视化***及方法
CN105574204A (zh) * 2016-01-08 2016-05-11 国网冀北电力有限公司 分布式电网调控运行数据的检索方法及***
CN105975585A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种用于电力大数据快速查询方法
CN106021266A (zh) * 2015-03-27 2016-10-12 国际商业机器公司 支持动态更新的快速多层索引
CN106126553A (zh) * 2016-06-16 2016-11-16 西安科技大市场有限公司 一种基于科技资源大数据的存储方法
CN106571940A (zh) * 2015-10-08 2017-04-19 ***通信集团广东有限公司 一种融合网管数据与资源数据的方法和装置
CN107239517A (zh) * 2017-05-23 2017-10-10 中国联合网络通信集团有限公司 基于Hbase数据库的多条件搜索方法及装置
CN107515867A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 一种NoSQL数据库的数据存储、查询方法和装置以及一种rowKey全组合的生成方法和装置
CN107766452A (zh) * 2017-09-26 2018-03-06 广西电网有限责任公司电力科学研究院 一种适合电力调度数据高速存取的索引结构及其索引方法
CN108667929A (zh) * 2018-05-08 2018-10-16 浪潮软件集团有限公司 一种基于HBase协处理器同步数据到elasticsearch的方法
CN109582643A (zh) * 2018-11-20 2019-04-05 中国石油大学(华东) 一种基于HBase的实时动态数据管理***
CN109688014A (zh) * 2019-01-03 2019-04-26 杭州电子科技大学 关键字驱动的Web服务自动组合方法
US10387397B2 (en) 2015-03-20 2019-08-20 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced n:1 join hash tables
US10489403B2 (en) 2014-10-08 2019-11-26 International Business Machines Corporation Embracing and exploiting data skew during a join or groupby
US10592556B2 (en) 2013-06-14 2020-03-17 International Business Machines Corporation On-the-fly encoding method for efficient grouping and aggregation
US10650011B2 (en) 2015-03-20 2020-05-12 International Business Machines Corporation Efficient performance of insert and point query operations in a column store
CN112765171A (zh) * 2021-01-12 2021-05-07 湖北宸威玺链信息技术有限公司 一种用于区块链数据上链的多字段组合索引取数的优化算法
US11080260B2 (en) 2015-03-27 2021-08-03 International Business Machines Corporation Concurrent reads and inserts into a data structure without latching or waiting by readers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253990A (zh) * 2011-07-05 2011-11-23 广东星海数字家庭产业技术研究院有限公司 一种交互应用多媒体数据的查询方法及其装置
CN103500183A (zh) * 2013-09-12 2014-01-08 国家计算机网络与信息安全管理中心 一种基于多个相关字段组合索引存储结构及建立、查询与维护方法
CN103955538A (zh) * 2014-05-19 2014-07-30 携程计算机技术（上海）有限公司 HBase数据持久和查询方法及HBase***
CN103984745A (zh) * 2014-05-23 2014-08-13 何震宇 分布式视频垂直搜索方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253990A (zh) * 2011-07-05 2011-11-23 广东星海数字家庭产业技术研究院有限公司 一种交互应用多媒体数据的查询方法及其装置
CN103500183A (zh) * 2013-09-12 2014-01-08 国家计算机网络与信息安全管理中心 一种基于多个相关字段组合索引存储结构及建立、查询与维护方法
CN103955538A (zh) * 2014-05-19 2014-07-30 携程计算机技术（上海）有限公司 HBase数据持久和查询方法及HBase***
CN103984745A (zh) * 2014-05-23 2014-08-13 何震宇 分布式视频垂直搜索方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汤羽等: "基于HDFS开源架构与多级索引表的海量数据检索mDHT算法", 《计算机科学》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592556B2 (en) 2013-06-14 2020-03-17 International Business Machines Corporation On-the-fly encoding method for efficient grouping and aggregation
US10489403B2 (en) 2014-10-08 2019-11-26 International Business Machines Corporation Embracing and exploiting data skew during a join or groupby
US10650011B2 (en) 2015-03-20 2020-05-12 International Business Machines Corporation Efficient performance of insert and point query operations in a column store
US11061878B2 (en) 2015-03-20 2021-07-13 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced N:1 join hash tables
US10394783B2 (en) 2015-03-20 2019-08-27 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced N:1 join hash tables
US10387397B2 (en) 2015-03-20 2019-08-20 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced n:1 join hash tables
CN106021266A (zh) * 2015-03-27 2016-10-12 国际商业机器公司 支持动态更新的快速多层索引
US10831736B2 (en) 2015-03-27 2020-11-10 International Business Machines Corporation Fast multi-tier indexing supporting dynamic update
US11080260B2 (en) 2015-03-27 2021-08-03 International Business Machines Corporation Concurrent reads and inserts into a data structure without latching or waiting by readers
CN106021266B (zh) * 2015-03-27 2020-01-17 国际商业机器公司 支持动态更新的快速多层索引
CN105069665B (zh) * 2015-09-06 2020-09-01 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN106571940A (zh) * 2015-10-08 2017-04-19 ***通信集团广东有限公司 一种融合网管数据与资源数据的方法和装置
CN105445579B (zh) * 2015-11-17 2018-06-22 国网山东省电力公司电力科学研究院 多尺度时序分析的油色谱在线监测数据可视化***及方法
CN105445579A (zh) * 2015-11-17 2016-03-30 国网山东省电力公司电力科学研究院 多尺度时序分析的油色谱在线监测数据可视化***及方法
CN105574204B (zh) * 2016-01-08 2020-07-24 国网冀北电力有限公司 分布式电网调控运行数据的检索方法及***
CN105574204A (zh) * 2016-01-08 2016-05-11 国网冀北电力有限公司 分布式电网调控运行数据的检索方法及***
CN105975585A (zh) * 2016-05-05 2016-09-28 云神科技投资股份有限公司 一种用于电力大数据快速查询方法
CN107515867A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 一种NoSQL数据库的数据存储、查询方法和装置以及一种rowKey全组合的生成方法和装置
CN106126553B (zh) * 2016-06-16 2020-02-14 西安科技大市场有限公司 一种基于科技资源大数据的存储方法
CN106126553A (zh) * 2016-06-16 2016-11-16 西安科技大市场有限公司 一种基于科技资源大数据的存储方法
CN107239517A (zh) * 2017-05-23 2017-10-10 中国联合网络通信集团有限公司 基于Hbase数据库的多条件搜索方法及装置
CN107239517B (zh) * 2017-05-23 2020-09-29 中国联合网络通信集团有限公司 基于Hbase数据库的多条件搜索方法及装置
CN107766452B (zh) * 2017-09-26 2021-07-06 广西电网有限责任公司电力科学研究院 一种适合电力调度数据高速存取的索引***及其索引方法
CN107766452A (zh) * 2017-09-26 2018-03-06 广西电网有限责任公司电力科学研究院 一种适合电力调度数据高速存取的索引结构及其索引方法
CN108667929A (zh) * 2018-05-08 2018-10-16 浪潮软件集团有限公司 一种基于HBase协处理器同步数据到elasticsearch的方法
CN109582643A (zh) * 2018-11-20 2019-04-05 中国石油大学(华东) 一种基于HBase的实时动态数据管理***
CN109688014A (zh) * 2019-01-03 2019-04-26 杭州电子科技大学 关键字驱动的Web服务自动组合方法
CN109688014B (zh) * 2019-01-03 2022-04-08 杭州电子科技大学 关键字驱动的Web服务自动组合方法
CN112765171A (zh) * 2021-01-12 2021-05-07 湖北宸威玺链信息技术有限公司 一种用于区块链数据上链的多字段组合索引取数的优化算法
CN112765171B (zh) * 2021-01-12 2023-05-23 湖北宸威玺链信息技术有限公司 一种用于区块链数据上链的多字段组合索引取数的优化算法

Also Published As

Publication number Publication date
CN104317966B (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN104317966A (zh) 一种用于电力大数据快速组合查询的动态索引方法
CN109299102B (zh) 一种基于Elastcisearch的HBase二级索引***及方法
CN105786942B (zh) 一种基于云平台的地理信息存储***
CN105320775B (zh) 数据的存取方法和装置
CN107291807B (zh) 一种基于图遍历的sparql查询优化方法
CN102332030A (zh) 用于分布式键-值存储***的数据存储、管理和查询方法及***
CN103279502B (zh) 一种具有与并行文件***结合的重复数据删除文件***的架构及方法
CN103577440A (zh) 一种非关系型数据库中的数据处理方法和装置
CN102906751A (zh) 一种数据存储、数据查询的方法及装置
CN104978330A (zh) 一种数据存储的方法及装置
CN107506464A (zh) 一种基于ES实现HBase二级索引的方法
CN106777003B (zh) 一种面向Key-Value存储***的索引查询方法和***
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
Wang et al. Distributed storage and index of vector spatial data based on HBase
CN107766541B (zh) 配用电全局全量数据传输及存储方法、装置、电子设备
CN104572505A (zh) 一种保证海量数据缓存最终一致性的***及方法
CN106599190A (zh) 基于云计算的动态Skyline查询方法
CN104268158A (zh) 一种结构化数据分布式索引及检索方法
CN115495429A (zh) 一种基于Hadoop集群的海量空间数据质检方法和***
CN112214485A (zh) 基于全球剖分网格的电网资源数据组织规划方法
Papadakis et al. Blocking for large-scale entity resolution: Challenges, algorithms, and practical examples
CN105975585A (zh) 一种用于电力大数据快速查询方法
CN103605732A (zh) 基于Infobright的数据仓库和***及其构建方法
CN103425694A (zh) 关系型数据的搜索方法和装置
CN107273443A (zh) 一种基于大数据模型元数据的混合索引方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant