CN102375853A - 分布式数据库***、在其中建立索引的方法和查询方法 - Google Patents

分布式数据库***、在其中建立索引的方法和查询方法 Download PDF

Info

Publication number
CN102375853A
CN102375853A CN2010102611675A CN201010261167A CN102375853A CN 102375853 A CN102375853 A CN 102375853A CN 2010102611675 A CN2010102611675 A CN 2010102611675A CN 201010261167 A CN201010261167 A CN 201010261167A CN 102375853 A CN102375853 A CN 102375853A
Authority
CN
China
Prior art keywords
index
data
data block
file
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102611675A
Other languages
English (en)
Inventor
齐骥
钱岭
郭磊涛
周大
罗治国
孙少陵
张松波
张卫平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN2010102611675A priority Critical patent/CN102375853A/zh
Publication of CN102375853A publication Critical patent/CN102375853A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种分布式数据库***和在分布式数据库***中建立索引的方法。分布式数据库***包括：多个分布式存储单元，分区存储有多个数据块文件；索引存储器，存储有所述多个数据块文件的索引；解析器，解析用户发起的查询语句，并选择相应的查询索引；索引查询模块，根据选择的查询索引，搜索所述多个数据块文件的索引以获得至少一个查询数据块集，所述查询数据块集包括索引键值、和记录了所述多个数据块文件中与所述索引键值对应的数据块文件的位置信息；以及并行处理引擎，将所述至少一个查询数据块集拆分并发起并行扫描任务。

Description

分布式数据库***、在其中建立索引的方法和查询方法
技术领域
本申请涉及一种分布式数据库***、在其中建立索引的方法和查询方法。
背景技术
将大批量结构化数据存储在数据库中，特别是关系型数据库中是常用的数据管理方法。简单直观的实践是：部署成熟的数据库管理***，用标准的接口(如SQL)定义数据表及数据结构，将收集到的数据导入或***到数据库的相应表中。根据需要，数据库***为其建立索引供快速查询时使用。查询数据时，根据查询条件，可以选用合适的索引以优化查询性能。
在大规模数据的管理方面，影响数据查询性能的关键因素是查询时访问的数据量和磁盘IO。索引技术是数据库实践中提高查询性能的重要方法。索引的数据量一般比实际的数据量小很多，而且可以组织成便于查找的数据结构，如树或HASH表结构。通过优先查找索引过滤掉大部分无须访问的数据而不是直接扫描实际数据，可以有效地减少须访问的数据量和磁盘IO。同时数据的组织和存储方式对建立有效的索引也非常重要，不同的索引技术对数据的组织和存储方式也有不同的要求。数据库***中常用的索引类型如B-TREE索引、HASH索引和BITMAP索引等，分别适用于不同的场合，它们的原理基本都是通过查询的键值来快速定位数据记录的存储位置。
当前在许多行业中，产生和累积的数据量特别巨大，甚至达到几百TB或PB级。并且这些数据随着时间在不断膨胀，随着业务的发展产生数据的速度也在不断提高。例如电信业务CDR(Call Detail Record)数据、物联网传感器数据、金融交易数据、互联网日志数据等。
海量数据具有以下特点中的至少之一：
(1)数据多是时间序列数据，有时间标签，并按照或大致按照时间顺序产生和存储。
(2)数据是结构化或半结构化数据，并且结构可能变更；
(3)数据产生的速度非常快(如某***每天产生2TB或50亿条记录)，并且数据量越来越大；
(4)很多属性域上的值的重复率很高。
对海量数据的管理和应用也有以下特点：
(1)需保存较长时间(如半年)，更久的数据被丢弃或备份到其它介质；
(2)老旧的历史数据须可以被访问，但被访问的机会较少；出于成本考虑，除了存储资源外不应占用太多运行时资源(如CPU、内存、带宽等)；
(3)历史数据一般不需要修改，一旦数据存储好，就只需读之；
(4)对数据的查询一般会指定一定的时间范围条件；
(5)对同样的数据集，除了要支持快速的查询操作外，往往还需要支持批量数据分析和挖掘操作。并且对同一批数据的同样的分析和挖掘操作一般不会多次重复执行。
用户要从海量数据集中查询获得想要的数据，继续使用现有的数据库及其索引方法已经非常困难。数据库往往无法存储如此巨大的数据量，而且不太适用于半结构化数据或数据结构的变更。密集完备的索引对海量数据来说不仅会使建立和维护索引的开销大、速度慢，而且索引本身的数据量也非常庞大，从而也使数据的写入速度难以跟上数据的产生速度。
发明内容
一方面，本申请公开了一种分布式数据库***，包括：
多个分布式存储单元，分区存储有多个数据块文件；
索引存储器，存储有所述多个数据块文件的索引；
解析器，解析用户发起的查询语句，并选择相应的查询索引；
索引查询模块，根据选择的查询索引，搜索所述多个数据块文件的索引以获得至少一个查询数据块集，所述查询数据块集包括索引键值、和记录了所述多个数据块文件中与所述索引键值对应的数据块文件的位置信息；以及
并行处理引擎，将所述至少一个查询数据块集拆分并发起并行扫描任务。
在本申请的一个实施方式中，分布式数据库***定义了数据组织和存储的基本结构，以流的方式收集或批量获得的数据记录被顺序写入其中。所述数据组织和存储的基本结构中包括数据文件和对应的数据块索引文件。每个数据文件中可以顺序存放许多压缩数据块，而每个数据块中可以顺序存放许多数据记录。数据块的大小可以根据平均记录长度适当定义，例如定义为1MB；数据文件的大小也可以灵活定义，如定义为1GB。数据块采用常用的压缩算法进行压缩以节省空间。每个数据文件伴随着一个非常轻量级的数据块索引文件，用于快速定位指定的数据块。数据块索引一般在写数据文件的同时生成，也可以根据已经存在的数据文件重新构建。本申请并不限制将数据块和其索引分开存储在不同文件中，也可以存储在同一文件中。
本申请提供的索引建立在前面所述的数据块索引之上。这是一种近似的稀疏索引结构，即所述索引的键值并不是定位到每条记录的存储位置，而只是近似地指向出现过该键值的所有数据块上，在索引中只记录在所指数据块中第一次出现该键值的位置。因为每个数据块中包括许多条记录，而且同一个键值可能在某个数据块中多次重复，这样建立的索引就可以成数量级地缩小，并且大大加快建立索引的速度。同时也可以避免因为键值分布严重不均匀造成的索引不均匀问题。例如在一个数据块中有10000条记录，而只有100个唯一键值，就只会产生100条索引。
对于取值范围较大但有限离散的属性域，例如电信业务CDR中的电话号码或其他数据集中的用户ID等，建立索引对该属性域的查询非常有效。在一个数据块中，无论该属性域某一特定值出现过多少次，只记录其第一次出现的位置。索引的结构如：<Key，BlockLocation>。因为此类属性域的取值重复率很高，因此其索引也非常小和稀疏。此类属性域较为常见，也往往需要建立索引。也可以对多个属性域建立联合索引。
虽然所述索引策略只是建立在数据块之上，大大减小了索引的大小，但需要在查询时增加在有限数据块内进行顺序扫描的开销。在海量数据的处理上，这种折中所获得的益处要比建立繁重的索引多很多。在分布式***中采用并行处理技术的情况下，上述开销将降到可以接受的较低水平。
此外，本申请公开了一种在分布式数据库***中建立索引的方法，包括：
收集要存储的数据；
将所述数据块压缩成多个数据块并确定相应的数据块索引；
将压缩的数据块按照文件的形式分区存储在所述分布式数据库***中的多个分布式存储单元中；以及
对所存储的数据块建立索引文件，其中，所述索引文件中的各个索引包括索引键值和所述数据块的位置信息。
上述建立的索引数据本身因为容量不大，可以将其存储在关系型数据库中，在关系型数据库中对其关键字建立B-TREE索引，这样可以同时支持对该属性域的范围查询和点查询。也可以将索引数据存储在分布式的Key-Value存储***提供更好的伸缩性和稳定性。
作为对所述索引策略的可选补充，为了减少跨越较宽范围(如多天时间)的数据查询时需要访问的数据量，也为了减少指定范围(如多天时间)的批量统计分析和数据挖掘操作需要访问的数据量，可以对数据文件进行分区分目录存储，如按日期分区。分区后，前述的基于数据块的索引可以建立在分区上。分区可以被看作一种基于目录的粗粒度索引。
本本申请还公开了一种应用于分布式数据库***中的查询方法，所述分布式数据库***包括使用上述方法形成的索引，所述查询方法包括：
解析查询语句并确定出相应的查询索引；
根据选择的查询索引搜索所述索引文件以获得至少一个查询数据块集；以及
将所述至少一个查询数据块集拆分、并根据所述查询数据块集包括的位置信息发起并行扫描任务。
在一个实施方式中，当查询时，如果查询条件中包括分区条件，首先判断查询条件中所涉及的分区列表(如日期分区)，缩小查询的分区范围。如果查询条件中包括建立了索引的属性域，先查询各相关分区的该属性域的索引，得到一个数据块集，进一步缩小了数据块的范围。如果查询条件中存在多个建立了索引的属性域，就分别查询对应的索引得到多个数据块集，再根据多个条件的逻辑关系，例如AND或OR，获取数据块集的交集或并集。最后，对获得的数据块集发起并行扫描匹配操作，将所述匹配操作的结果合并扫描，并将扫描的结果作为本次查询的结果。
附图说明
图1示出了根据本申请一个实施方式的数据储基本结构。
图2描述了根据本申请一个实施方式的、在分布式数据库***中建立索引的方法。
图3示出了根据本申请一个实施方式的用户号码索引的逻辑结构示意。
图4为示出了根据本申请一个实施方式的分布式数据库***的方框图。
图5为根据本申请另一个实施方式的查询处理。
具体实施方式
下面，参照附图对本申请的示例性实施方式进行详细描述。
本申请中的实施方式以分布式文件***为基础。分布式文件***由多个存储和计算节点组成；这些节点可由多个联网的PC服务器组成，节点数量甚至可达到几千个。在不中断服务的情况下，可以根据容量需要平滑增加或删除数据节点，少数数据节点的故障也不会导致***服务中断。如下面将要描述的那样，文件数据被分割成块并尽可能均衡地分布在各个数据节点上，并提供多份复制保证数据的可靠性。可以通过调用分布式文件***的客户端API访问文件***中的任何文件及其分布存储在各个数据节点上的数据，其中对文件中数据的读写直接和相关的数据节点通讯。这种文件***很好地解决了处理海量数据所需的分布存储、负载均衡、稳定性、数据可靠性、伸缩性和高吞吐量等问题。
图1示出了根据本申请一个实施方式的数据储基本结构100。该存储结构100包括数据文件111和与其对应的数据块索引文件112。数据记录以顺序记录流的形式写入该存储结构中，并按照用户定义的数据块大小(如1MB)进行压缩(如采用GZIP、LZO等压缩算法)，将压缩后的数据块顺序写入数据文件111中。在一个实施方式中，在写数据文件的同时，生成对应的索引并写入数据块索引文件112中。用户可以定义数据文件的最大尺寸(如1GB)。
有两种方式读存储结构110中的数据：一种根据指定数据块的ID确定出其块索引在数据块索引文件112中的位置，并根据确定出的索引搜索到数据块在数据文件111中的位置。另一种方式是直接根据数据块在数据文件111中的位置读取，这样省去了读数据块索引文件的开销。读数据时如果要定位到指定数据块中具体的记录ID，需在定位到指定数据块后顺序跳转到指定记录ID。
表1示出了数据块索引文件112的数据结构。“数据块ID”是隐含的参数，并不在数据块索引数据结构中出现。“块偏移量”表示数据块在数据文件中的位置。“原始数据字节数”表示压缩前该数据块的大小，一般稍大于或等于用户定义的数据块大小。“压缩字节数”是压缩后该数据块实际占用的存储空间大小。“记录条数”是个统计值，表示该数据块中的总记录条数。在数据块索引文件中，每条索引是等长的，因此可以很容易根据数据块ID计算其在文件中的位置。如果需要更快的速度根据数据块ID定位数据块，可以选择将数据块索引缓存在内存中。
  数据块ID   块偏移量   原始数据字节数   压缩字节数   记录条数 ......
表1
下面参照图2描述在分布式数据库***中建立索引的方法200。清楚起见，下面以海量电信业务CDR数据为例描述处理200，但本发明并不限于此。电信业务CDR是电信网络中产生的记录用户呼叫事件的数据。例如一条典型的CDR中包括用户号码、时间标签、业务类型、失败原因等很多信息，长度约400字节。例如每天产生约50亿条记录，约2TB之巨，并需要保存3个月即2TB*90＝180TB的数据。根据指定用户号码查询其在特定时间段内的CDR记录是一种常用的查询需求。并且运营商还需要对这些CDR进行批量分析和挖掘。
在步骤S201中，首先收集CDR数据。可采用现有的CDR集中收集方式实现，也可以采用并行处理(MapReduce)批量处理最原始的CDR收集文件采集CDR数据。
在步骤S202中将收集的数据压缩成多个数据块。每条CDR记录可例如按照紧凑编码格式(如采用GZIP、LZO等压缩算法)进行编码。在压缩数据时可确定出各个数据块的索引列。
在步骤204中对索引文件的建立进行了描述。因此删除了上面不清楚的描述。
接着，在步骤S203中，将压缩的数据块按照文件的形式分区存储在所述分布式数据库***中的多个分布式存储单元中。例如可根据时间标签按日期对CDR数据进行分区存储，即在分布式文件***中，不同日期的数据被存储在不同的目录下。如2010年1月3日的数据存储在目录/CDR/20100103目录下的files中。
然后，在步骤S204中，对所存储的数据块建立索引文件，其中，所述索引文件中的各个索引包括索引键值和所述数据块的位置信息。在本实施例中，用户号码是一个有限离散的并且重复率较高的属性域。整个数据集在一段时间内总的用户号码数是一定的，同一用户号码的CDR记录只会出现在少量有限的数据块中。在一个数据块中，无论一个用户号码出现过多少次，只记录其第一次出现的位置。索引的数据结构如：<用户号码，BlockLocations>。其中BlockLocation直接记录了该数据块在特定file中的位置。BlockLocation还可记录该数据块的大小等信息。作为一种选择，还可以简单地在索引数据中记录特定file中的数据块ID。这样在查询时，需要先读取指定file的数据块索引文件，增加了一次磁盘寻道和IO。
步骤S204可以采用并行处理(MapReduce)批量扫描每个分区内新加入的files进行。也可以在实现上述步骤S203的同时进行，以减少磁盘扫描的过程。本步骤产生的索引数据按照分区存储在分布式数据库存储***中。在一个实施方式中，可例如采用一种类似GoogleBigtable的存储***来存储产生的索引数据。不同分区对应的索引存储在不同的列组中，例如分区20100103的索引存储在列组20100103中。
图3示出了上述索引方法200所建立的用户号码索引的逻辑结构示意。用户号码作为索引的键值(Key)301，其取值包括整个数据集中出现过的所有用户号码，例如一共出现过1千万个用户号码，这里就有1千万行索引。每个日期分区302中包括了若干文件(files)303。而特定用户号码的索引只记录其在特定的files中出现过的数据块的BlockLocations 304。因为特定用户产生的CDR记录是非常离散的，或者在某段时间根本没有记录，因此这种索引的逻辑结构是非常稀疏的。在索引的存储结构中，空单元305并不占用任何存储空间，这样总的索引大小可以保持较小。
图4为示出了根据本申请一个实施方式的分布式数据库***400的方框图。在该***框架中，数据文件存储在分布式文件***410中，该文件***410由多个存储单元节点组成，这些节点由多个联网的PC服务器组成。结构上，分布式文件***410包括一个主控单元(图中未示出)和多个数据存储单元。文件***410对大文件采用分块(例如每块64MB)的方式将不同的数据块均衡分布在不同存储单元节点上，并且对每个数据块存储多个备份(例如3个备份)。在存储单元节点上，数据块可例如以Linux本地文件的形式存储在本地磁盘上。主控单元提供统一的文件***名字空间元数据并协调管理整个集群***，数据存储单元分布式地存储数据块。在分布式***中，通过主控单元存储数据为现有技术，因此不再赘述。
并行处理平台(MapReduce框架)420可以和分布式文件***410部署在同一集群中负责建立索引、数据查询时、数据分析和挖掘时的并行处理等。
索引数据文件存储在索引存储器430中，本实施例中采用一种类似Google Bigtable模型的分布式存储***来存储索引，其在索引关键字建立了B-TREE索引，支持快速查找。索引存储器430也可以和分布式文件***410及并行处理平台420部署在同一集群中。具体的索引数据文件可例如和上述表1和图3所示。
执行引擎440主要负责查询操作的执行，并可包括解析器(例如SQL解析器)440-1、索引查询模块440-2和并行处理引擎440-3。其中，解析器440-1负责解析来自用户接口150的操作语句，如查询语句，并选择相应的查询索引；索引查询模块440-2负责查询索引得到缩小的数据扫描范围，如索引数据块集；具体地，索引查询模块440-2可根据选择的查询索引在所述索引存储器430中搜索所述多个数据块文件的索引以获得至少一个查询数据块集。并行处理引擎440-3负责将待扫描的数据范围进行逻辑拆分，发起并行处理任务。
并行处理平台420在处理该并行任务后，将处理的结果合并返回给查询客户端。
下面参照图5，以查询某用户号码(如13500000002)在某两天的(如20100103和20100104)的CDR记录为例描述根据本申请一个实施方式的查询处理500。此外，出于说明的目的，以图4所示的***400在下面描述处理500。然而，查询处理500并不限应用于图4所示的***。
首先，在步骤S501中，用户通过用户接口450发起的查询语句(如SQL查询语句)；接着，在步骤S502中，解析器440-1对查询语句进行解析并确定出索引。例如，查询语句中的查询条件可涉及分区列表(如日期分区)，以缩小查询的分区范围。如果查询条件中包括建立了索引的属性域，则选择各相关分区的该属性域的索引，得到一个数据块集，从而可进一步缩小了数据块的范围。如果查询条件中有多个建立了索引的属性域，就分别选择对应的索引。
如果没有建立可用的索引，或者数据分析应用需要对大块的数据进行批量分析操作，则可以直接将该操作提交给并行处理引擎440-3执行(步骤S504)。
在步骤S503中，索引查询模块440-2根据解析的结果查询索引存储器430中存储的索引文件以获得至少一个查询数据块集。当在步骤S501中分析获得查询条件中有多个索引的属性域，并且在上述步骤S502中分别选择了对应的索引，则在该步骤中分别查询对应的索引并得到多个数据块集，再根据多个条件的逻辑关系(例如AND或OR)获得数据块集的交集或并集。以图4所示的索引为例，可得到下列数据块集：
20100103/file-2/BlockLocation-3
20100104/file-4/BlockLocation-6
20100104/file-4/BlockLocation-7
20100104/file-5/BlockLocation-8
接着，将上述数据块集交给并行处理引擎440-3进行拆分并发起并行扫描任务给并行处理平台420。例如将上述数据块集中的四个数据块分别指派给四个并行处理节点同时扫描。具体地，在步骤S504中，并行处理平台420根据上述数据块集对上述查询命令进行处理，并行处理引擎440-3将并行处理平台420处理的结构合并后返回给查询客户端。
以上仅为本申请的示例性实施方式，本领域技术人员根据上述实施方式，在本申请权利要求限定的范围内，可以对上述各个实施方式进行修改。

Claims (16)

1.一种分布式数据库***，包括：
多个分布式存储单元，分区存储有多个数据块文件；
索引存储器，存储有所述多个数据块文件的索引；
解析器，解析用户发起的查询语句，并选择相应的查询索引；
索引查询模块，根据选择的查询索引，搜索所述多个数据块文件的索引以获得至少一个查询数据块集，所述查询数据块集包括索引键值、和记录了所述多个数据块文件中与所述索引键值对应的数据块文件的位置信息；以及
并行处理引擎，将所述至少一个查询数据块集拆分并发起并行扫描任务。
2.如权利要求1所述的***，其中，所述查询语句包括查询条件，所述查询条件中包括所述索引的多个属性域，以及
其中，所述解析器对所述查询语句分析后分别选择与所述多个属性域对应的索引。
3.如权利要求2所述的***，其中，所述索引查询模块分别查询与所述多个属性域对应的索引，以得到多个索引数据块集，并通过逻辑运算确定出所述多个索引数据块集的交集或并集。
4.如权利要求1所述的***，其中，所述多个数据块文件按照不同的数据属性存储在所述多个分布式存储单元中不同的文件目录下。
5.如权利要求1所述的***，其中，所述索引存储器存储的数据块文件按照紧凑编码格式进行编码压缩。
6.一种在分布式数据库***中建立索引的方法，包括：
收集要存储的数据；
将所述数据分割成多个数据块并确定相应的数据块索引；
将分割的数据块按照文件的形式分区存储在所述分布式数据库***中的多个分布式存储单元中；以及
对所存储的数据块建立索引文件，其中，所述索引文件中的各个索引包括索引键值和所述数据块的位置信息。
7.如权利要求6所述的方法，其中，将压缩的数据块按照文件的形式分区存储在所述分布式数据库***中的多个分布式存储单元中的步骤包括：
将压缩的数据块按照不同的数据块属性存储在所述分布式数据库***中的多个分布式存储单元中不同文件目录下。
8.如权利要求6所述的方法，其中，所述位置信息记录了所述数据块在所述文件目录中的位置。
9.如权利要求7所述的方法，其中，所述数据块属性为所述数据块生成的时间。
10.如权利要求6所述的方法，其中，将所述数据压缩成多个数据块并确定相应的数据块索引的步骤包括：
将所述数据快按块按照紧凑编码格式进行编码压缩并确定相应的数据块索引。
11.如权利要求6-10中任意一项所述的方法，将所述数据分割成多个数据块并确定相应的数据块索引的步骤包括：
将所述数据分割成多个数据块；
压缩所分割的多个数据块；以及
为各个压缩的数据块确定数据块索引。
12.如权利要求11中任意一项所述的方法，其中，所述索引键值指向于出现过该索引键值的所有数据块，在所述索引文件中只记录在所指数据块中第一次出现该索引键值的位置。
13.一种应用于分布式数据库***中的查询方法，所述分布式数据库***包括如权利要求12所述的方法形成的索引，所述查询方法包括：
解析查询语句并确定出相应的查询索引；
根据选择的查询索引搜索所述索引文件以获得至少一个查询数据块集；以及
将所述至少一个查询数据块集拆分、并根据所述查询数据块集包括的位置信息发起并行扫描任务。
14.如权利要求13所述的查询方法，其中，所述查询语句包括查询条件，所述查询条件包括分区列表，用于缩小查询的分区范围。
15.如权利要求13所述的查询方法，其中，所述解析查询语句并确定出相应的查询索引的步骤包括：
解析出所述查询条件中包括有多个索引属性域，并分别选择出与所述多个属性域对应的索引。
16.如权利要求15所述的查询方法，其中，所述根据选择的查询索引搜索所述索引文件以获得至少一个查询数据块集的步骤包括：
分别查询所述对应的索引得到多个索引数据块集；以及
通过逻辑运算关系确定出所述多个索引数据块集的交集或并集。
CN2010102611675A 2010-08-24 2010-08-24 分布式数据库***、在其中建立索引的方法和查询方法 Pending CN102375853A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102611675A CN102375853A (zh) 2010-08-24 2010-08-24 分布式数据库***、在其中建立索引的方法和查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102611675A CN102375853A (zh) 2010-08-24 2010-08-24 分布式数据库***、在其中建立索引的方法和查询方法

Publications (1)

Publication Number Publication Date
CN102375853A true CN102375853A (zh) 2012-03-14

Family

ID=45794475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102611675A Pending CN102375853A (zh) 2010-08-24 2010-08-24 分布式数据库***、在其中建立索引的方法和查询方法

Country Status (1)

Country Link
CN (1) CN102375853A (zh)

Cited By (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779160A (zh) * 2012-06-14 2012-11-14 中金数据***有限公司 海量数据信息索引***和索引构建方法
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理***和实现分布式缓存管理的方法
CN102841944A (zh) * 2012-08-27 2012-12-26 南京云创存储科技有限公司 一种实现大数据实时处理的方法
CN102915324A (zh) * 2012-08-09 2013-02-06 深圳中兴网信科技有限公司 数据存储与检索装置和数据存储与检索方法
CN102968309A (zh) * 2012-11-30 2013-03-13 亚信联创科技（中国）有限公司 一种实现基于规则引擎的规则匹配方法和装置
CN103002027A (zh) * 2012-11-26 2013-03-27 中国科学院高能物理研究所 基于键值对***实现树形目录结构的数据存储***及方法
CN103036891A (zh) * 2012-12-19 2013-04-10 北京时代凌宇科技有限公司 一种基于wi-fi接入物联网的方法及装置
CN103034734A (zh) * 2012-12-27 2013-04-10 上海顶竹通讯技术有限公司 文件存储查询代理以及信息查找方法与***
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及***
CN103309902A (zh) * 2012-03-16 2013-09-18 多玩娱乐信息技术（北京）有限公司 一种社交网络中用户信息存储和查找的方法和装置
CN103399945A (zh) * 2013-08-15 2013-11-20 成都博云科技有限公司 一种基于云计算数据库***的数据结构
CN103473276A (zh) * 2013-08-26 2013-12-25 广东电网公司电力调度控制中心 超大型数据存储方法、分布式数据库***及其检索方法
CN103488709A (zh) * 2013-09-09 2014-01-01 东软集团股份有限公司 一种索引建立方法及***、检索方法及***
CN103631539A (zh) * 2013-12-13 2014-03-12 百度在线网络技术（北京）有限公司 基于擦除编码机制的分布式存储***及其存储方法
CN103631910A (zh) * 2013-11-26 2014-03-12 烽火通信科技股份有限公司 一种分布式数据库多列复合查询的***及方法
CN103748578A (zh) * 2012-07-26 2014-04-23 华为技术有限公司 数据分布的方法、装置及***
CN103902698A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN103902702A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN103914483A (zh) * 2013-01-07 2014-07-09 深圳市腾讯计算机***有限公司 文件存储方法、装置及文件读取方法、装置
CN104063376A (zh) * 2013-03-18 2014-09-24 阿里巴巴集团控股有限公司 多维度分组运算方法及***
CN104133867A (zh) * 2014-07-18 2014-11-05 中国科学院计算技术研究所 分布式顺序表片内二级索引方法及***
CN104239525A (zh) * 2014-09-18 2014-12-24 浪潮软件集团有限公司 一种基于互联网的分布式存储方法
CN104331453A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式文件***及分布式文件***的构建方法
CN104536962A (zh) * 2014-11-11 2015-04-22 珠海天琴信息科技有限公司 一种用于嵌入式***中的数据查询方法及装置
CN104598508A (zh) * 2013-09-18 2015-05-06 Ims保健公司 用于快速查询响应的***和方法
CN104699815A (zh) * 2015-03-24 2015-06-10 北京嘀嘀无限科技发展有限公司 数据处理方法和***
CN104750690A (zh) * 2013-12-25 2015-07-01 ***通信集团公司 一种查询处理方法、装置及***
CN104951464A (zh) * 2014-03-27 2015-09-30 华为技术有限公司 数据存储方法及***
CN105117171A (zh) * 2015-08-28 2015-12-02 南京国电南自美卓控制***有限公司 一种能源scada海量数据分布式处理***及其方法
CN105488085A (zh) * 2014-12-27 2016-04-13 北京安天电子设备有限公司 通过日志定位文件的方法及***
CN105512200A (zh) * 2015-11-26 2016-04-20 华为技术有限公司 一种分布式数据库处理的方法和设备
WO2016119275A1 (zh) * 2015-01-30 2016-08-04 深圳市华傲数据技术有限公司 网络账号识别匹配方法
CN105843933A (zh) * 2016-03-30 2016-08-10 电子科技大学 分布式内存列式数据库的索引建立方法
CN105868253A (zh) * 2015-12-23 2016-08-17 乐视网信息技术（北京）股份有限公司 数据导入、查询方法及装置
CN105912687A (zh) * 2016-04-19 2016-08-31 江苏物联网研究发展中心 海量分布式数据库存储单元
WO2016141584A1 (en) * 2015-03-12 2016-09-15 Intel Corporation Method and apparatus for compaction of data received over a network
WO2016165509A1 (en) * 2015-04-15 2016-10-20 Huawei Technologies Co., Ltd. Big data statistics at data-block level
CN106126545A (zh) * 2016-06-15 2016-11-16 北京智能管家科技有限公司 分布式的裂变查询方法及装置
CN106250409A (zh) * 2016-07-21 2016-12-21 中国农业银行股份有限公司 数据查询方法及装置
CN106503128A (zh) * 2016-10-19 2017-03-15 许继集团有限公司 一种智能电表数据查询方法及***
CN103678520B (zh) * 2013-11-29 2017-03-29 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其***
CN106599127A (zh) * 2016-12-01 2017-04-26 深圳市风云实业有限公司 应用于单机服务器的日志存储和查询方法
CN106776702A (zh) * 2016-11-11 2017-05-31 北京奇虎科技有限公司 一种处理主从式数据库***中的索引的方法和装置
CN106933891A (zh) * 2015-12-31 2017-07-07 华为技术有限公司 访问分布式数据库的方法和分布式数据服务的装置
CN107273540A (zh) * 2017-07-05 2017-10-20 北京三快在线科技有限公司 分布式搜索及索引更新方法、***、服务器及计算机设备
CN107273556A (zh) * 2017-08-23 2017-10-20 上海点融信息科技有限责任公司 区块链数据索引方法和设备
CN107315806A (zh) * 2017-06-26 2017-11-03 杭州时趣信息技术有限公司 一种基于文件***的嵌入式存储方法和装置
CN107463632A (zh) * 2016-09-21 2017-12-12 广州特道信息科技有限公司 一种分布式NewSQL数据库***和数据查询方法
CN107844542A (zh) * 2017-10-26 2018-03-27 山东浪潮通软信息科技有限公司 一种分布式文件存储方法及装置
CN108038113A (zh) * 2017-10-16 2018-05-15 武汉楚鼎信息技术有限公司 基于互联网金融智能问答的检索方法及***
CN108052649A (zh) * 2017-12-26 2018-05-18 广州泼墨神网络科技有限公司 一种分布式文件***的数据管理方法及其***
CN108256076A (zh) * 2018-01-18 2018-07-06 广州大学 分布式海量数据处理方法及装置
CN108804510A (zh) * 2017-04-26 2018-11-13 三星电子株式会社 键值文件***
CN108932258A (zh) * 2017-05-25 2018-12-04 华为技术有限公司 数据索引处理方法及装置
CN109120885A (zh) * 2017-06-26 2019-01-01 杭州海康威视数字技术股份有限公司 视频数据获取方法及装置
WO2019080790A1 (en) * 2017-10-26 2019-05-02 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR STORING AND RETRIEVING INFORMATION IN A DISTRIBUTED DATABASE
CN109828862A (zh) * 2017-11-23 2019-05-31 成都华为技术有限公司 一种回放日志的方法和装置
CN109948238A (zh) * 2019-03-15 2019-06-28 中民筑友科技投资有限公司 一种装配式设计文件的管理方法、装置、***及存储介质
CN110352414A (zh) * 2017-12-29 2019-10-18 北京嘀嘀无限科技发展有限公司 为大数据添加索引的***和方法
CN110419026A (zh) * 2017-03-10 2019-11-05 维萨国际服务协会 存储器内搜索技术
CN110678854A (zh) * 2017-05-31 2020-01-10 华为技术有限公司 数据查询的方法和装置
CN110990357A (zh) * 2019-12-18 2020-04-10 深圳市商汤科技有限公司 数据处理方法及装置、***、电子设备和存储介质
CN111008200A (zh) * 2019-12-18 2020-04-14 北京数衍科技有限公司 数据查询方法、装置和服务器
CN111026827A (zh) * 2019-12-06 2020-04-17 北京地拓科技发展有限公司 一种土壤侵蚀因子的数据服务方法、装置和电子设备
CN111209321A (zh) * 2019-12-25 2020-05-29 北京永洪商智科技有限公司 一种针对复杂查询的分组入数据集市方法
CN111221851A (zh) * 2018-11-27 2020-06-02 北京京东尚科信息技术有限公司 一种基于Lucene的海量数据查询、存储的方法和装置
CN111382185A (zh) * 2018-12-28 2020-07-07 无锡赫名网络技术有限公司 一种采用分区定位进行手机号统计及应用的方法
CN111444219A (zh) * 2020-03-30 2020-07-24 深圳天岳创新科技有限公司 一种基于分布式的数据处理方法、装置和电子设备
CN112115211A (zh) * 2020-09-19 2020-12-22 东方蓝天钛金科技有限公司 一种检测报告查询***及其查询方法
CN112632129A (zh) * 2020-12-31 2021-04-09 联想未来通信科技(重庆)有限公司 一种码流数据管理方法、装置及存储介质
CN113901293A (zh) * 2021-09-30 2022-01-07 苏州浪潮智能科技有限公司 元数据管理方法、电子设备，及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246500A (zh) * 2008-03-27 2008-08-20 腾讯科技（深圳）有限公司 一种实现数据快速索引的检索***和方法
CN101727465A (zh) * 2008-11-03 2010-06-09 ***通信集团公司 分布式列存储数据库索引建立、查询方法及装置与***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246500A (zh) * 2008-03-27 2008-08-20 腾讯科技（深圳）有限公司 一种实现数据快速索引的检索***和方法
CN101727465A (zh) * 2008-11-03 2010-06-09 ***通信集团公司 分布式列存储数据库索引建立、查询方法及装置与***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李晔锋: "数据仓库的存储研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 October 2009 (2009-10-15), pages 1 - 63 *
董继润: "关系数据库和顺序相关性", 《山东大学学报》, no. 4, 31 December 1983 (1983-12-31), pages 31 - 39 *
谢力军等: "几种索引技术的比较", 《怀化学院学报》, vol. 28, no. 8, 31 August 2009 (2009-08-31), pages 115 - 118 *

Cited By (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103309902A (zh) * 2012-03-16 2013-09-18 多玩娱乐信息技术（北京）有限公司 一种社交网络中用户信息存储和查找的方法和装置
CN102779160B (zh) * 2012-06-14 2016-02-03 中金数据***有限公司 海量数据信息索引***和索引构建方法
CN102779160A (zh) * 2012-06-14 2012-11-14 中金数据***有限公司 海量数据信息索引***和索引构建方法
CN103748578A (zh) * 2012-07-26 2014-04-23 华为技术有限公司 数据分布的方法、装置及***
CN102915324B (zh) * 2012-08-09 2016-08-03 深圳中兴网信科技有限公司 数据存储与检索装置和数据存储与检索方法
CN102915324A (zh) * 2012-08-09 2013-02-06 深圳中兴网信科技有限公司 数据存储与检索装置和数据存储与检索方法
CN102841944A (zh) * 2012-08-27 2012-12-26 南京云创存储科技有限公司 一种实现大数据实时处理的方法
CN102833352A (zh) * 2012-09-17 2012-12-19 深圳中兴网信科技有限公司 分布式缓存管理***和实现分布式缓存管理的方法
CN103002027B (zh) * 2012-11-26 2015-09-02 中国科学院高能物理研究所 基于键值对***实现树形目录结构的数据存储***及方法
CN103002027A (zh) * 2012-11-26 2013-03-27 中国科学院高能物理研究所 基于键值对***实现树形目录结构的数据存储***及方法
CN102968309A (zh) * 2012-11-30 2013-03-13 亚信联创科技（中国）有限公司 一种实现基于规则引擎的规则匹配方法和装置
CN102968309B (zh) * 2012-11-30 2016-01-20 亚信科技（中国）有限公司 一种实现基于规则引擎的规则匹配方法和装置
CN103036891A (zh) * 2012-12-19 2013-04-10 北京时代凌宇科技有限公司 一种基于wi-fi接入物联网的方法及装置
CN103064933B (zh) * 2012-12-24 2016-06-29 华为技术有限公司 数据查询方法及***
CN103064933A (zh) * 2012-12-24 2013-04-24 华为技术有限公司 数据查询方法及***
WO2014101445A1 (zh) * 2012-12-24 2014-07-03 华为技术有限公司 数据查询方法及***
CN103034734A (zh) * 2012-12-27 2013-04-10 上海顶竹通讯技术有限公司 文件存储查询代理以及信息查找方法与***
CN103914483B (zh) * 2013-01-07 2018-09-25 深圳市腾讯计算机***有限公司 文件存储方法、装置及文件读取方法、装置
CN103914483A (zh) * 2013-01-07 2014-07-09 深圳市腾讯计算机***有限公司 文件存储方法、装置及文件读取方法、装置
WO2014106418A1 (en) * 2013-01-07 2014-07-10 Tencent Technology (Shenzhen) Company Limited Method and apparatus for storing and reading files
CN104063376A (zh) * 2013-03-18 2014-09-24 阿里巴巴集团控股有限公司 多维度分组运算方法及***
CN103399945A (zh) * 2013-08-15 2013-11-20 成都博云科技有限公司 一种基于云计算数据库***的数据结构
CN103473276B (zh) * 2013-08-26 2017-08-25 广东电网公司电力调度控制中心 超大型数据存储方法、分布式数据库***及其检索方法
CN103473276A (zh) * 2013-08-26 2013-12-25 广东电网公司电力调度控制中心 超大型数据存储方法、分布式数据库***及其检索方法
CN103488709B (zh) * 2013-09-09 2017-06-16 东软集团股份有限公司 一种索引建立方法及***、检索方法及***
CN103488709A (zh) * 2013-09-09 2014-01-01 东软集团股份有限公司 一种索引建立方法及***、检索方法及***
CN104598508B (zh) * 2013-09-18 2021-06-08 Iqvia 公司 用于快速查询响应的***和方法
CN104598508A (zh) * 2013-09-18 2015-05-06 Ims保健公司 用于快速查询响应的***和方法
CN103631910A (zh) * 2013-11-26 2014-03-12 烽火通信科技股份有限公司 一种分布式数据库多列复合查询的***及方法
CN103678520B (zh) * 2013-11-29 2017-03-29 中国科学院计算技术研究所 一种基于云计算的多维区间查询方法及其***
CN103631539A (zh) * 2013-12-13 2014-03-12 百度在线网络技术（北京）有限公司 基于擦除编码机制的分布式存储***及其存储方法
CN103631539B (zh) * 2013-12-13 2016-08-24 百度在线网络技术（北京）有限公司 基于擦除编码机制的分布式存储***及其存储方法
CN104750690A (zh) * 2013-12-25 2015-07-01 ***通信集团公司 一种查询处理方法、装置及***
CN104951464A (zh) * 2014-03-27 2015-09-30 华为技术有限公司 数据存储方法及***
CN104951464B (zh) * 2014-03-27 2018-09-11 华为技术有限公司 数据存储方法及***
CN103902702B (zh) * 2014-03-31 2017-11-28 北京皮尔布莱尼软件有限公司 一种数据存储***和存储方法
CN103902698B (zh) * 2014-03-31 2018-04-13 北京皮尔布莱尼软件有限公司 一种数据存储***和存储方法
CN103902698A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN103902702A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN104133867A (zh) * 2014-07-18 2014-11-05 中国科学院计算技术研究所 分布式顺序表片内二级索引方法及***
CN104239525A (zh) * 2014-09-18 2014-12-24 浪潮软件集团有限公司 一种基于互联网的分布式存储方法
CN104331453B (zh) * 2014-10-30 2017-10-17 北京思特奇信息技术股份有限公司 一种分布式文件***及分布式文件***的构建方法
CN104331453A (zh) * 2014-10-30 2015-02-04 北京思特奇信息技术股份有限公司 一种分布式文件***及分布式文件***的构建方法
CN104536962A (zh) * 2014-11-11 2015-04-22 珠海天琴信息科技有限公司 一种用于嵌入式***中的数据查询方法及装置
CN105488085A (zh) * 2014-12-27 2016-04-13 北京安天电子设备有限公司 通过日志定位文件的方法及***
WO2016119275A1 (zh) * 2015-01-30 2016-08-04 深圳市华傲数据技术有限公司 网络账号识别匹配方法
US10701168B2 (en) 2015-03-12 2020-06-30 Intel Corporation Method and apparatus for compaction of data received over a network
CN107409152A (zh) * 2015-03-12 2017-11-28 英特尔公司 用于压缩通过网络接收的数据的方法和装置
CN107409152B (zh) * 2015-03-12 2021-10-15 英特尔公司 用于压缩通过网络接收的数据的方法和装置
US10015272B2 (en) 2015-03-12 2018-07-03 Intel Corporation Method and apparatus for compaction of data received over a network
WO2016141584A1 (en) * 2015-03-12 2016-09-15 Intel Corporation Method and apparatus for compaction of data received over a network
CN104699815A (zh) * 2015-03-24 2015-06-10 北京嘀嘀无限科技发展有限公司 数据处理方法和***
CN107533551B (zh) * 2015-04-15 2020-08-07 华为技术有限公司 数据块级别的大数据统计
CN107533551A (zh) * 2015-04-15 2018-01-02 华为技术有限公司 数据块级别的大数据统计
WO2016165509A1 (en) * 2015-04-15 2016-10-20 Huawei Technologies Co., Ltd. Big data statistics at data-block level
CN105117171A (zh) * 2015-08-28 2015-12-02 南京国电南自美卓控制***有限公司 一种能源scada海量数据分布式处理***及其方法
US10872101B2 (en) 2015-11-26 2020-12-22 Huawei Technologies Co., Ltd. Distributed database processing method and device
CN105512200A (zh) * 2015-11-26 2016-04-20 华为技术有限公司 一种分布式数据库处理的方法和设备
WO2017088358A1 (zh) * 2015-11-26 2017-06-01 华为技术有限公司 一种分布式数据库处理的方法和设备
CN105868253A (zh) * 2015-12-23 2016-08-17 乐视网信息技术（北京）股份有限公司 数据导入、查询方法及装置
CN106933891A (zh) * 2015-12-31 2017-07-07 华为技术有限公司 访问分布式数据库的方法和分布式数据服务的装置
CN105843933A (zh) * 2016-03-30 2016-08-10 电子科技大学 分布式内存列式数据库的索引建立方法
CN105843933B (zh) * 2016-03-30 2019-01-29 电子科技大学 分布式内存列式数据库的索引建立方法
CN105912687A (zh) * 2016-04-19 2016-08-31 江苏物联网研究发展中心 海量分布式数据库存储单元
CN105912687B (zh) * 2016-04-19 2019-05-24 江苏物联网研究发展中心 海量分布式数据库存储单元
CN106126545A (zh) * 2016-06-15 2016-11-16 北京智能管家科技有限公司 分布式的裂变查询方法及装置
CN106250409A (zh) * 2016-07-21 2016-12-21 中国农业银行股份有限公司 数据查询方法及装置
CN107463632A (zh) * 2016-09-21 2017-12-12 广州特道信息科技有限公司 一种分布式NewSQL数据库***和数据查询方法
CN107463632B (zh) * 2016-09-21 2020-06-09 云润大数据服务有限公司 一种分布式NewSQL数据库***和数据查询方法
CN106503128A (zh) * 2016-10-19 2017-03-15 许继集团有限公司 一种智能电表数据查询方法及***
CN106776702A (zh) * 2016-11-11 2017-05-31 北京奇虎科技有限公司 一种处理主从式数据库***中的索引的方法和装置
CN106599127A (zh) * 2016-12-01 2017-04-26 深圳市风云实业有限公司 应用于单机服务器的日志存储和查询方法
US11687542B2 (en) 2017-03-10 2023-06-27 Visa International Service Association Techniques for in-memory data searching
CN110419026B (zh) * 2017-03-10 2024-04-16 维萨国际服务协会 存储器内搜索技术
CN110419026A (zh) * 2017-03-10 2019-11-05 维萨国际服务协会 存储器内搜索技术
CN108804510A (zh) * 2017-04-26 2018-11-13 三星电子株式会社 键值文件***
CN108932258B (zh) * 2017-05-25 2022-05-24 华为技术有限公司 数据索引处理方法及装置
CN108932258A (zh) * 2017-05-25 2018-12-04 华为技术有限公司 数据索引处理方法及装置
CN110678854B (zh) * 2017-05-31 2021-10-15 华为技术有限公司 数据查询的方法和装置
CN110678854A (zh) * 2017-05-31 2020-01-10 华为技术有限公司 数据查询的方法和装置
CN107315806B (zh) * 2017-06-26 2020-04-10 杭州时趣信息技术有限公司 一种基于文件***的嵌入式存储方法和装置
CN107315806A (zh) * 2017-06-26 2017-11-03 杭州时趣信息技术有限公司 一种基于文件***的嵌入式存储方法和装置
CN109120885A (zh) * 2017-06-26 2019-01-01 杭州海康威视数字技术股份有限公司 视频数据获取方法及装置
CN107273540A (zh) * 2017-07-05 2017-10-20 北京三快在线科技有限公司 分布式搜索及索引更新方法、***、服务器及计算机设备
CN107273556A (zh) * 2017-08-23 2017-10-20 上海点融信息科技有限责任公司 区块链数据索引方法和设备
CN108038113A (zh) * 2017-10-16 2018-05-15 武汉楚鼎信息技术有限公司 基于互联网金融智能问答的检索方法及***
CN107844542A (zh) * 2017-10-26 2018-03-27 山东浪潮通软信息科技有限公司 一种分布式文件存储方法及装置
US11256676B2 (en) 2017-10-26 2022-02-22 Huawei Technologies Co., Ltd. Method and apparatus for storing and retrieving information in a distributed database
WO2019080790A1 (en) * 2017-10-26 2019-05-02 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR STORING AND RETRIEVING INFORMATION IN A DISTRIBUTED DATABASE
CN109828862B (zh) * 2017-11-23 2023-08-22 成都华为技术有限公司 一种回放日志的方法和装置
CN109828862A (zh) * 2017-11-23 2019-05-31 成都华为技术有限公司 一种回放日志的方法和装置
CN108052649A (zh) * 2017-12-26 2018-05-18 广州泼墨神网络科技有限公司 一种分布式文件***的数据管理方法及其***
CN110352414B (zh) * 2017-12-29 2022-11-11 北京嘀嘀无限科技发展有限公司 为大数据添加索引的***和方法
CN110352414A (zh) * 2017-12-29 2019-10-18 北京嘀嘀无限科技发展有限公司 为大数据添加索引的***和方法
CN108256076A (zh) * 2018-01-18 2018-07-06 广州大学 分布式海量数据处理方法及装置
CN111221851A (zh) * 2018-11-27 2020-06-02 北京京东尚科信息技术有限公司 一种基于Lucene的海量数据查询、存储的方法和装置
CN111382185A (zh) * 2018-12-28 2020-07-07 无锡赫名网络技术有限公司 一种采用分区定位进行手机号统计及应用的方法
CN111382185B (zh) * 2018-12-28 2024-01-26 无锡赫名网络技术有限公司 一种采用分区定位进行手机号统计及应用的方法
CN109948238A (zh) * 2019-03-15 2019-06-28 中民筑友科技投资有限公司 一种装配式设计文件的管理方法、装置、***及存储介质
CN111026827A (zh) * 2019-12-06 2020-04-17 北京地拓科技发展有限公司 一种土壤侵蚀因子的数据服务方法、装置和电子设备
CN111008200B (zh) * 2019-12-18 2024-01-16 北京数衍科技有限公司 数据查询方法、装置和服务器
CN111008200A (zh) * 2019-12-18 2020-04-14 北京数衍科技有限公司 数据查询方法、装置和服务器
CN110990357A (zh) * 2019-12-18 2020-04-10 深圳市商汤科技有限公司 数据处理方法及装置、***、电子设备和存储介质
CN111209321A (zh) * 2019-12-25 2020-05-29 北京永洪商智科技有限公司 一种针对复杂查询的分组入数据集市方法
CN111444219A (zh) * 2020-03-30 2020-07-24 深圳天岳创新科技有限公司 一种基于分布式的数据处理方法、装置和电子设备
CN112115211A (zh) * 2020-09-19 2020-12-22 东方蓝天钛金科技有限公司 一种检测报告查询***及其查询方法
CN112632129B (zh) * 2020-12-31 2023-11-21 联想未来通信科技(重庆)有限公司 一种码流数据管理方法、装置及存储介质
CN112632129A (zh) * 2020-12-31 2021-04-09 联想未来通信科技(重庆)有限公司 一种码流数据管理方法、装置及存储介质
CN113901293B (zh) * 2021-09-30 2024-01-16 苏州浪潮智能科技有限公司 元数据管理方法、电子设备，及计算机可读存储介质
CN113901293A (zh) * 2021-09-30 2022-01-07 苏州浪潮智能科技有限公司 元数据管理方法、电子设备，及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN102375853A (zh) 分布式数据库***、在其中建立索引的方法和查询方法
US10860598B2 (en) Systems and methods for interest-driven business intelligence systems including event-oriented data
CN102193917B (zh) 一种数据处理和查询方法和装置
CN107423422B (zh) 基于网格的空间数据分布式存储及检索方法和***
CN103020315B (zh) 一种基于主从分布式文件***的海量小文件存储方法
CN104252536B (zh) 一种基于hbase的上网日志数据查询方法及装置
US10061834B1 (en) Incremental out-of-place updates for datasets in data stores
CN104239377A (zh) 跨平台的数据检索方法及装置
CN103838867A (zh) 日志处理方法和装置
CN104850572A (zh) HBase非主键索引构建与查询方法及其***
CN102332030A (zh) 用于分布式键-值存储***的数据存储、管理和查询方法及***
CN102467572B (zh) 支持重复数据删除程序的数据区块查询方法
WO2009108459A2 (en) Indexing large-scale gps tracks
CN110275920A (zh) 数据查询方法、装置、电子设备及计算机可读存储介质
CN102646130A (zh) 一种海量历史数据的存储及索引方法
CN103198150B (zh) 一种大数据索引方法及***
CN102779138B (zh) 实时数据的硬盘存取方法
CN106528847A (zh) 一种海量数据的多维度处理方法及***
CN103473239A (zh) 一种非关系型数据库数据更新方法和装置
CN104809182A (zh) 基于动态可***Bloom Filter的网络爬虫URL去重方法
CN103353901B (zh) 基于Hadoop分布式文件***的表数据的有序管理方法以及***
CN102890714A (zh) 数据索引方法及装置
CN102930060A (zh) 一种数据库快速索引的方法及装置
CN104424219A (zh) 一种数据文件的管理方法及装置
CN104951464A (zh) 数据存储方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120314