CN107679158A - 数据管理方法、装置、计算机可读介质和电子设备 - Google Patents

数据管理方法、装置、计算机可读介质和电子设备 Download PDF

Info

Publication number
CN107679158A
CN107679158A CN201710896009.9A CN201710896009A CN107679158A CN 107679158 A CN107679158 A CN 107679158A CN 201710896009 A CN201710896009 A CN 201710896009A CN 107679158 A CN107679158 A CN 107679158A
Authority
CN
China
Prior art keywords
data
storage system
subregion
incremental
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710896009.9A
Other languages
English (en)
Inventor
陆坚
刘设伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201710896009.9A priority Critical patent/CN107679158A/zh
Publication of CN107679158A publication Critical patent/CN107679158A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据管理方法、装置、计算机可读介质和电子设备。该数据管理方法包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；将所述增量数据存储至所述数据存储***的预分区范围内。本发明的技术方案能够在数据库分库分表的场景下，有效提高数据查询效率，保证数据库具有良好的性能。

Description

数据管理方法、装置、计算机可读介质和电子设备
技术领域
本发明涉及数据处理技术领域，具体而言，涉及一种数据管理方法、装置、计算机可读介质和电子设备。
背景技术
目前，很多大型互联网企业日益递增的数据量导致数据库查询效率减慢，为了解决查询效率的问题，很多企业采用分库分表的策略，该策略是对数据进行业务分片拆分，查询场景限制在将分片字段的数据散列到不同库和表中，在一定程度上提升了查询效率。
在分库分表的策略下，由于分表的查询数据不确定，因此相关技术中在做分页操作时需汇总所有分表数据再进行分页操作，每增加一页的查询操作，需获得其之前所有页面的数据集，导致分页操作越靠后查询效率越低，至最后一页需查出所有分表的数据，严重影响了数据库的查询效率和数据库性能。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于提供一种数据管理方法、装置、计算机可读介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的第一方面，提供了一种数据管理方法，包括：获取数据库的增量数据；根据所述增量数据生成数据查询索引；基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；将所述增量数据存储至所述数据存储***的预分区范围内。
在本发明的一些实施例中，基于前述方案，还包括：接收数据查询请求；基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围；在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。
在本发明的一些实施例中，基于前述方案，获取数据库的增量数据的步骤，包括：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。
在本发明的一些实施例中，基于前述方案，基于所述数据查询索引对数据存储***进行预分区处理的步骤，包括：通过随机散列算法确定所述数据存储***的预分区范围；根据确定的预分区范围，对所述数据存储***进行预分区处理，并将所述数据查询索引与所述数据存储***的预分区范围进行关联。
在本发明的一些实施例中，基于前述方案，将所述增量数据存储至所述数据存储***的预分区范围内的步骤，包括：基于所述数据查询索引构成的随机散列算法将所述增量数据存储至所述预分区范围内。
在本发明的一些实施例中，基于前述方案，所述数据存储***为HBase，所述预分区范围为行键范围。
在本发明的一些实施例中，基于前述方案，所述增量数据包括：对所述数据库进行操作的SQL语句及相关联的元数据信息。
根据本发明的第二方面，提供了一种数据管理装置，包括：获取单元，用于获取数据库的增量数据；生成单元，用于根据所述增量数据生成数据查询索引；处理单元，用于基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；存储单元，用于将所述增量数据存储至所述数据存储***的预分区范围内。
根据本发明的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述的数据管理方法。
根据本发明的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面所述的数据管理方法。
在本发明的一些实施例所提供的技术方案中，通过基于数据查询索引对数据存储***进行预分区处理，且数据查询索引与数据存储***的预分区范围相关联，并将增量数据存储至数据存储***的预分区范围内，使得在进行数据查询时，能够基于数据查询索引和预分区范围来缩小数据查询范围，进而在缩小后的数据查询范围内来快速查询数据。可见，本发明实施例的技术方案能够在数据库分库分表的场景下，有效提高数据查询效率，保证数据库具有良好的性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本发明的第一个实施例的数据管理方法的流程图；
图2示意性示出了根据本发明的第二个实施例的数据管理方法的流程图；
图3示意性示出了根据本发明的第三个实施例的数据管理方法的流程图；
图4示意性示出了根据本发明的实施例的数据管理***的架构图；
图5示意性示出了根据本发明的实施例的数据管理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示意性示出了根据本发明的第一个实施例的数据管理方法的流程图。
参照图1，根据本发明的第一个实施例的数据管理方法，包括：
步骤S10，获取数据库的增量数据。
在本发明的实施例中，当对数据库执行DML(Data Manipulation Language，数据操纵语言)操作后，可以获取数据库的增量数据。其中，DML操作包括数据表的***(Insert)、删除(delete)和更新(update)操作等。在本发明的实施例中，所述的增量数据包括：对所述数据库进行操作的SQL(Structured Query Language，结构化查询语言)语句及相关联的元数据信息。
根据本发明的示例性实施例，步骤S10具体包括：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。
步骤S12，根据所述增量数据生成数据查询索引。
在本发明的实施例中，数据查询索引的目的是为了能够快速找到需要查询的数据。
步骤S14，基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与数据存储***的预分区范围相关联。
根据本发明的示例性实施例，步骤S14具体包括：通过随机散列算法确定所述数据存储***的预分区范围；根据确定的预分区范围，对所述数据存储***进行预分区处理，并将所述数据查询索引与所述数据存储***的预分区范围进行关联。
在该实施例中，通过将数据查询索引与数据存储***的预分区范围进行关联，使得在接收到数据查询请求时，能够根据数据查询索引来确定需要检索的预分区范围，进而能够缩小数据查询范围，以提高数据查询效率。
需要说明的是，数据存储***可以是数据库，比如可以是HBase(一种分布式的、面向列的开源数据库)。当数据存储***是HBase时，上述的预分区范围为行键(row key)范围。
步骤S16，将所述增量数据存储至所述数据存储***的预分区范围内。
根据本发明的示例性实施例，步骤S16具体包括：基于所述数据查询索引构成的随机散列算法将所述增量数据存储至所述预分区范围内。
在该实施例中，通过基于数据查询索引构成的随机散列算法将增量数据存储至预分区范围内，使得能够将增量数据均匀分发到不同的预分区范围内，同时保证存储至不同预分区范围内的数据能够与数据查询索引相关联。
基于图1所示的数据管理方法，在本发明的实施例中，如图2所示，还包括：
步骤S20，接收数据查询请求。
步骤S22，基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围。
步骤S24，在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。
以下以至少具有应用服务层、查询中间件、搜索服务器集群、协处理器和HBase集群的***为例，结合图3和图4对本发明实施例的数据管理方案进行详细说明：
参照图3，并结合图4所示的***架构，根据本发明的第三个实施例的数据管理方法，包括：
步骤S302，应用服务层调用数据库驱动对数据库执行DML操作，包括数据表的Insert、delete、update操作等等。
步骤S304，数据库日志增量解析。在本发明的实施例中，可以采用策略仿造数据库的slave dump协议，读取二进制日志并解析。
比如，可通过canal(数据库二进制日志的增量订阅及消费组件)对mysql、oracle数据库进行binary log(二进制日志)的解析。
步骤306，协处理器将查询索引导入搜索服务器集群并维护二级索引。
在本发明的实施例中，当通过日志解析工具解析出增量数据(包括sql及元数据信息)之后，可以得到查询索引。同时，由于HBase的写热点故障，需要对HBase做预分区处理，比如可通过随机散列算法来对HBase集群进行预分区处理，预分区rowkey的定义规则与查询索引相关联，进而由协处理器将查询索引导入搜索服务器集群并维护二级索引。其中的二级索引即为查询索引与预分区rowkey之间的索引关系。
需要说明的是：搜索服务器可选用ElasticSearch(是高伸缩、高可用、基于ApacheLucene的开源搜索与分析引擎)或者Solr(一个独立的企业级搜索应用服务器)。
步骤308，通过查询索引组成的rowkey散列算法将增量数据均分***预分区HBase集群中。这样既能够保证增量数据均分到不同的预分区范围内，又能够保证通过查询索引确定增量数据存储在哪个预分区范围内。
步骤310，客户端通过查询中间件发起分页查询请求sql。
步骤314，基于步骤310，查询中间件首先对搜索服务器集群进行检索，并接收搜索服务器集群返回的rowkeyList结果，解析rowKeyList的rowkey散列算法规则缩小到Hbase预分区的检索范围。
步骤316，基于步骤314，查询中间件在缩小的HBase预分区范围内对Hbase集群进行深度递归查询并合并结果集，返回至应用服务层。
在图3和图4所示的实施例中，可以在分库分表的背景下，部署一套数据库日志解析平台进行增量日志解析，一套搜索服务器集群来存储rowkey及索引数据，一套Hbase集群存储数据文件。在解析日志增量的过程中，通过协处理器解析当前增量数据并在搜索服务器中保存索引相关记录，同时把按一定规则定义的rowKey数据保存至Hbase集群中。当应用端发起查询请求时，查询中间件在搜索服务器中请求条件查询并返回rowKeyList，进而对缩小范围的Hbase预分区进行深度递归查询，得到结果集。
图5示意性示出了根据本发明的实施例的数据管理装置的框图。
参照图5，根据本发明的实施例的数据管理装置500，包括：获取单元502、生成单元504、处理单元506和存储单元508。
具体地，获取单元502用于获取数据库的增量数据；生成单元504用于根据所述增量数据生成数据查询索引；处理单元506用于基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；存储单元508用于将所述增量数据存储至所述数据存储***的预分区范围内。
在本发明的一些实施例中，基于前述方案，所述的数据管理装置500还包括：接收单元(图5中未示出)和查询单元(图5中未示出)。具体地，接收单元用于接收数据查询请求；查询单元用于基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围，并用于在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。
在本发明的一些实施例中，基于前述方案，获取单元502配置为：获取所述数据库的增量日志；解析所述增量日志，以得到所述增量数据。
在本发明的一些实施例中，基于前述方案，处理单元506配置为：通过随机散列算法确定所述数据存储***的预分区范围；根据确定的预分区范围，对所述数据存储***进行预分区处理，并将所述数据查询索引与所述数据存储***的预分区范围进行关联。
在本发明的一些实施例中，基于前述方案，存储单元508配置为：基于所述数据查询索引构成的随机散列算法将所述增量数据存储至所述预分区范围内。
在本发明的一些实施例中，基于前述方案，所述数据存储***为HBase，所述预分区范围为行键范围。
在本发明的一些实施例中，基于前述方案，所述增量数据包括：对所述数据库进行操作的SQL语句及相关联的元数据信息。
此外，本发明的实施方式还提供一种电子设备，可以包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本发明上述实施例所述的数据管理方法。
在示例性实施例中，本发明的实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备可以实现如上述实施例中所述的数据管理方法。例如，可以实现如图1中所示的：步骤S10，获取数据库的增量数据；步骤S12，根据所述增量数据生成数据查询索引；步骤S14，基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；步骤S16，将所述增量数据存储至所述数据存储***的预分区范围内。又如，也可以实现如图2和图3中所示的步骤。
需要说明的是，本发明实施例中所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明的实施例中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据管理方法，其特征在于，包括：
获取数据库的增量数据；
根据所述增量数据生成数据查询索引；
基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；
将所述增量数据存储至所述数据存储***的预分区范围内。
2.根据权利要求1所述的数据管理方法，其特征在于，还包括：
接收数据查询请求；
基于所述数据查询索引与所述预分区范围之间的关联关系，根据所述数据查询请求确定需要检索的预分区范围；
在所述需要检索的预分区范围内，根据所述数据查询请求检索需要查询的数据。
3.根据权利要求1所述的数据管理方法，其特征在于，获取数据库的增量数据的步骤，包括：
获取所述数据库的增量日志；
解析所述增量日志，以得到所述增量数据。
4.根据权利要求1所述的数据管理方法，其特征在于，基于所述数据查询索引对数据存储***进行预分区处理的步骤，包括：
通过随机散列算法确定所述数据存储***的预分区范围；
根据确定的预分区范围，对所述数据存储***进行预分区处理，并将所述数据查询索引与所述数据存储***的预分区范围进行关联。
5.根据权利要求1所述的数据管理方法，其特征在于，将所述增量数据存储至所述数据存储***的预分区范围内的步骤，包括：
基于所述数据查询索引构成的随机散列算法将所述增量数据存储至所述预分区范围内。
6.根据权利要求1至5中任一项所述的数据管理方法，其特征在于，所述数据存储***为HBase，所述预分区范围为行键范围。
7.根据权利要求1至5中任一项所述的数据管理方法，其特征在于，所述增量数据包括：对所述数据库进行操作的SQL语句及相关联的元数据信息。
8.一种数据管理装置，其特征在于，包括：
获取单元，用于获取数据库的增量数据；
生成单元，用于根据所述增量数据生成数据查询索引；
处理单元，用于基于所述数据查询索引对数据存储***进行预分区处理，其中，所述数据查询索引与所述数据存储***的预分区范围相关联；
存储单元，用于将所述增量数据存储至所述数据存储***的预分区范围内。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的数据管理方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据管理方法。
CN201710896009.9A 2017-09-28 2017-09-28 数据管理方法、装置、计算机可读介质和电子设备 Pending CN107679158A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710896009.9A CN107679158A (zh) 2017-09-28 2017-09-28 数据管理方法、装置、计算机可读介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710896009.9A CN107679158A (zh) 2017-09-28 2017-09-28 数据管理方法、装置、计算机可读介质和电子设备

Publications (1)

Publication Number Publication Date
CN107679158A true CN107679158A (zh) 2018-02-09

Family

ID=61138218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710896009.9A Pending CN107679158A (zh) 2017-09-28 2017-09-28 数据管理方法、装置、计算机可读介质和电子设备

Country Status (1)

Country Link
CN (1) CN107679158A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309169A (zh) * 2018-04-12 2019-10-08 腾讯科技（北京）有限公司 关系链存储***的数据查询方法、装置、介质及电子设备
CN110674152A (zh) * 2019-09-24 2020-01-10 京东数字科技控股有限公司 数据同步方法与装置、存储介质、电子设备
CN113312353A (zh) * 2021-06-10 2021-08-27 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及***
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务***以及电子设备
CN114943021A (zh) * 2022-07-20 2022-08-26 之江实验室 一种tb级增量数据筛选方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617176A (zh) * 2013-11-04 2014-03-05 广东电子工业研究院有限公司 一种实现多源异构数据资源自动同步的方法
CN105787118A (zh) * 2016-03-25 2016-07-20 武汉工程大学 HBase二级索引的设计方法及查询方法
CN106777258A (zh) * 2016-12-28 2017-05-31 银江股份有限公司 一种医疗大数据存储中Hbase行键的编码及压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617176A (zh) * 2013-11-04 2014-03-05 广东电子工业研究院有限公司 一种实现多源异构数据资源自动同步的方法
CN105787118A (zh) * 2016-03-25 2016-07-20 武汉工程大学 HBase二级索引的设计方法及查询方法
CN106777258A (zh) * 2016-12-28 2017-05-31 银江股份有限公司 一种医疗大数据存储中Hbase行键的编码及压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AINHOA AZQUETA-ALZ´UAZ等: "Massive Data Load on Distributed Database Systems over HBase", 《2017 17TH IEEE/ACM INTERNATIONAL SYMPOSIUM ON CLUSTER, CLOUD AND GRID COMPUTING》 *
许俊东: "基于HBase的电信网管告警存储方式设计和实施", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309169A (zh) * 2018-04-12 2019-10-08 腾讯科技（北京）有限公司 关系链存储***的数据查询方法、装置、介质及电子设备
CN110674152A (zh) * 2019-09-24 2020-01-10 京东数字科技控股有限公司 数据同步方法与装置、存储介质、电子设备
CN113312353A (zh) * 2021-06-10 2021-08-27 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及***
CN113312353B (zh) * 2021-06-10 2024-06-04 中国民航信息网络股份有限公司 一种跟踪带日志的存储方法及***
CN113961580A (zh) * 2021-12-22 2022-01-21 联通智网科技股份有限公司 数据查询方法、业务***以及电子设备
CN114943021A (zh) * 2022-07-20 2022-08-26 之江实验室 一种tb级增量数据筛选方法和装置
US11789639B1 (en) 2022-07-20 2023-10-17 Zhejiang Lab Method and apparatus for screening TB-scale incremental data

Similar Documents

Publication Publication Date Title
CN107679158A (zh) 数据管理方法、装置、计算机可读介质和电子设备
US11228595B2 (en) Evaluating security of data access statements
CN108629029B (zh) 一种应用于数据仓库的数据处理方法和装置
CN107704202B (zh) 一种数据快速读写的方法和装置
CN105989076A (zh) 一种数据统计方法以及装置
US10929397B2 (en) Forecasting query access plan obsolescence
US9104729B2 (en) Querying spatial events in a vehicle network, and optimized querier
US20150178359A1 (en) Intelligently provisioning cloud information services
CN113986933A (zh) 物化视图的创建方法、装置、存储介质及电子设备
CN111314063A (zh) 一种基于物联网大数据信息管理方法、***及装置
CN117033424A (zh) 慢sql语句的查询优化方法、装置和计算机设备
CN105095515A (zh) 支持快速查询Map-Reduce输出结果的分桶方法、装置及设备
CN103365923A (zh) 用于评估数据库的分区方案的方法和装置
CN103902614B (zh) 一种数据处理方法、设备和***
US20130332465A1 (en) Database management device and database management method
US20150248467A1 (en) Real-time calculation, storage, and retrieval of information change
CN111563107A (zh) 信息推荐的方法、装置、电子设备和存储介质
CN115295164A (zh) 医保数据的处理方法、装置、电子设备和存储介质
CN109241102A (zh) 数据处理方法及装置、存储介质和电子设备
CN110703119B (zh) 评估电池健康状态的方法和装置
CN113761390A (zh) 一种用于属性亲密度的分析方法和***
CN113495891A (zh) 一种数据处理方法和装置
CN111898027A (zh) 确定特征维度的方法、装置、电子设备和计算机可读介质
CN111290927A (zh) 一种数据监控方法和装置
CN113177212B (zh) 联合预测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209