CN110309152A - 一种基于HBase的数据存储方法及装置 - Google Patents

一种基于HBase的数据存储方法及装置 Download PDF

Info

Publication number
CN110309152A
CN110309152A CN201910561999.XA CN201910561999A CN110309152A CN 110309152 A CN110309152 A CN 110309152A CN 201910561999 A CN201910561999 A CN 201910561999A CN 110309152 A CN110309152 A CN 110309152A
Authority
CN
China
Prior art keywords
data
hbase
stored
result
intermediate file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910561999.XA
Other languages
English (en)
Inventor
陈开冉
黎展
邓楚健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Trace Technology Co Ltd
Original Assignee
Guangzhou Trace Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Trace Technology Co Ltd filed Critical Guangzhou Trace Technology Co Ltd
Priority to CN201910561999.XA priority Critical patent/CN110309152A/zh
Publication of CN110309152A publication Critical patent/CN110309152A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于HBase的数据存储方法，通过获取待存储数据，对待存储数据的数据源分配唯一的第一标识符，然后对待存储数据进行转化处理，生成具有第一版本号的第一数据，再将第一数据写入HBase中，生成包含第一数据数据变化的第一结果，并导出到一个中间文件，最后将中间文件写入NoSQL数据库，以供用户对数据进行查询，采用本发明提供的实施例，能够同时兼顾写入性能与读取性能，还提高了数据查询的效率。

Description

一种基于HBase的数据存储方法及装置
技术领域
本发明涉及数据存储和数据处理技术领域，尤其涉及一种基于HBase的数据存储方法及装置。
背景技术
网络采集结果数据具有数据源多种多样，变化频率大，而且不同来源的格式与值可能不一致等特点。为了保存不同数据源的多版本数据，市面上一般会将数据结构化并存储于关系型数据库中，将数据源和版本各作为一个字段，这样就可以区分不同来源的数据。现有技术中还提到另一种方法，即使用原生支持多版本数据的数据库，如HBase，但是HBase也只支持多版本，如需要支持多维度，一般需要为每个源的数据创建一条记录。
现有技术在使用关系型数据库时，所带来的问题是：存储量指数级增长，因为每次采集数据回来，都会新增一条记录，随着数据增长，写入性能不断的下降。并且需要查找某条数据的最新状态时，需要将该数据的所有源以及所有版本的数据全数读取出来再按照版本时间进行排序，才能得到最终结果，极其消耗性能。而直接使用HBase作为存储数据库，可以一定程度的解决数据写入的瓶颈，但为了计算最终结果，仍然需要结合多个数据源的数据记录，并计算提炼出最终结果，查询效率大打折扣。
发明内容
本发明实施例的目的是提供一种基于HBase的数据存储方法，能够同时兼顾写入性能与读取性能，提高了查询效率。
为实现上述目的，本发明实施例提供了一种基于HBase的数据存储方法，包括以下步骤：
获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符；
对所述待存储数据进行转化处理，生成具有第一版本号的第一数据；
将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件；
将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
进一步的，所述对所述待存储数据进行转化处理，生成具有第一版本号的第一数据，具体为：
根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；
以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
进一步的，所述将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件，具体为：
将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；
若存在，则根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；
若不存在，则将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
进一步的，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
本发明实施例还提供了一种基于HBase的数据存储装置，包括：数据获取模块、数据转化模块、数据存储模块以及中间文件写入模块；
所述数据获取模块，用于获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符；
所述数据转化模块，用于对所述待存储数据进行转化处理，生成具有第一版本号的第一数据；
所述数据存储模块，用于将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件；
所述中间文件写入模块，用于将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
进一步的，所述数据转化模块包括：数据获取单元和数据转化单元；
所述数据获取单元，用于根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；
所述数据转化单元，用于以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
进一步的，所述数据存储模块包括：判断单元、第一处理单元以及第二处理单元；
所述判断单元，用于将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；
所述第一处理单元，用于当HBase中存在相同维度名且不同数据源的数据时，根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；
所述第二处理单元，用于当HBase中不存在相同维度名且不同数据源的数据时，将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
进一步的，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
作为本发明的优选实施例，本发明还提供了一种基于HBase的数据存储设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的基于HBase的数据存储方法。
本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述发明实施例所述的基于HBase的数据存储方法。
与现有技术相比，具有如下有益效果：
本发明实施例提供的基于HBase的数据存储方法，通过获取待存储数据，对待存储数据的数据源分配唯一的第一标识符，然后对待存储数据进行转化处理，生成具有第一版本号的第一数据，再将第一数据写入HBase中，生成包含第一数据数据变化的第一结果，并导出到一个中间文件，最后将中间文件写入NoSQL数据库，以供用户对数据进行查询，采用本发明提供的实施例，能够同时兼顾写入性能与读取性能，还提高了数据查询的效率。
附图说明
图1是本发明提供的基于HBase的数据存储方法的一个实施例的流程示意图；
图2是本发明提供的基于HBase的数据存储方法的一个实施例的工作原理的流程示意图；
图3是本发明提供的基于HBase的数据存储装置的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明提供的基于HBase的数据存储方法的一个实施例的流程示意图；本发明实施例提供一种基于HBase的数据存储方法，包括步骤S1-S4；
S1，获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符。
在本实施例中，通过预先建立一个数据源管理***，对每个数据源分配一个唯一标识符。
S2，对所述待存储数据进行转化处理，生成具有第一版本号的第一数据。
在本实施例中，步骤S2具体为：根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
S3，将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件。
其中，步骤S3具体为：将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；若存在，则根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；若不存在，则将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
需要说明的是，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
在本实施例中，通过预先建立一个入库***，对每条需要入库存储的数据，打上入库时间版本标记，便于后续数据的处理和查询。
在本发明实施例中，利用HBase的高写入速度，能够减缓HBase的读取量，以达到兼顾查询与读取速度的效果。
S4，将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
需要说明的是，所述NoSQL数据库，如Mongodb或者Elasticsearch，能够用于数据的实时查询。
请参见图2，为了更好的说明本发明实施例提供的基于HBase的数据存储方法的原理，以下为实现本发明的具体步骤，包括部署阶段、转化阶段、中间文件导出阶段，以及入库阶段；
部署阶段：假设在日期DATE1这天，来自数据源SOURCE1的一条数据主键I D为1，格式为{ID：1，FIELD1:10}的数据需要入库存储。
转化阶段：入库程序需将入库数据进行转化，将维度名拼接数据源编号，把数据转化成{ID：1，FIELD1_SOURCE1：10}，以DATE1作为版本号，并将本数据写入到HBase中；若当前数据库内已存在FIELD1_SOURCE1的其他日期版本，则根据版本日期入库先后顺序存储版本数据，不同的日期版本数据会在HBase数据库中使用不同的VERSION值标记，根据HBase的配置可以同时存在多个版本。
在本阶段中，若当前数据库内已存在FIELD1_SOURCE1的其他日期版本，则会根据版本日期入库先后顺序存储版本数据，以保证索引到的第一个版本数据为该维度的最新数据；若当前数据库内已存在FIELD1在其他数据源SOURCE2下的维度FIELD1_SOURCE2的不同版本，则因为维度名不冲突，并不会互相影响存储。
中间文件导出阶段：入库程序根据HBase中该条数据的入库后发生的变化，计算并导出最终应保留的数据结果，具体方法如下：对于每条入库数据中的每一个维度，假设维度名为FIELD1，数据源SOURCE1，如果FIELD1在库内存在多个来源SOURCE1、SOURCE2，其最近的版本日期分别为LDATE1、LDATE2，则导出FIELD1_SOURCE1与FIELD2_SOURCE2中版本日期较新者的值作为FIELD1的导出值。
在本阶段中，有两种情况不需要导出结果：SOURCE2的日期版本比SOURCE1新，而且库内已存在FIELD1_SOURCE2则不需要再导出结果；维度FIELD1_SOURCE1有一个时间版本DATE2相比于DATE1更新。这两种情况因为不会影响到最终的数据，所以不需要导出结果，从而可以减少后续NoSQL数据库的入库写入压力。
入库阶段：将上述导出的包含变化数据的中间文件，写入到NoSQL数据库，如Mongodb或者Elasticsearch用作直接查询使用。
本发明实施例提供的基于HBase的数据存储方法，通过获取待存储数据，对待存储数据的数据源分配唯一的第一标识符，然后对待存储数据进行转化处理，生成具有第一版本号的第一数据，再将第一数据写入HBase中，生成包含第一数据数据变化的第一结果，并导出到一个中间文件，最后将中间文件写入NoSQL数据库，以供用户对数据进行查询，采用本发明提供的实施例，能够同时兼顾写入性能与读取性能，还提高了数据查询的效率。
采用本发明提供的实施例，具有如下有益效果：
(1)通过对数据源分配唯一标识符，对待存储数据附以版本日期标记，实现了海量数据的多源多版本存储的可持续扩展；
(2)通过将数据存储至HBase，能够支持大数据存储与处理，具有稳定的数据写入速度；
(3)通过融合了HBase与NoSQL数据库，兼顾了写入速度与读取速度。
作为本发明提供的优选实施例，请参见图3，图3是本发明提供的基于HBase的数据存储装置的一个实施例的结构示意图，包括：数据获取模块、数据转化模块、数据存储模块以及中间文件写入模块；
所述数据获取模块，用于获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符；所述数据转化模块，用于对所述待存储数据进行转化处理，生成具有第一版本号的第一数据；所述数据存储模块，用于将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件；所述中间文件写入模块，用于将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
在本发明实施例中，所述数据转化模块包括：数据获取单元和数据转化单元；
所述数据获取单元，用于根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；所述数据转化单元，用于以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
优选的，所述数据存储模块包括：判断单元、第一处理单元以及第二处理单元；
所述判断单元，用于将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；所述第一处理单元，用于当HBase中存在相同维度名且不同数据源的数据时，根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；所述第二处理单元，用于当HBase中不存在相同维度名且不同数据源的数据时，将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
需要说明的是，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
由上可见，本发明实施例提供的一种基于HBase的数据存储装置，通过数据获取模块获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符，然后通过数据转化模块对所述待存储数据进行转化处理，生成具有第一版本号的第一数据，再通过数据存储模块将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件，最后通过中间文件写入模块将所述中间文件写入NoSQL数据库，以供用户对数据进行查询，采用本发明提供的实施例能够能够同时兼顾写入性能与读取性能，并且还提高了数据查询的效率。
本发明实施例还提供了一种基于HBase的数据存储设备。该设备包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。所述处理器执行所述计算机程序时实现上述各个基于HBase的数据存储方法实施例中的步骤，例如图1所示的步骤S1至S4。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于HBase的数据存储设备的控制中心，利用各种接口和线路连接整个基于HBase的数据存储设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于HBase的数据存储设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于HBase的数据存储设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于HBase的数据存储方法，其特征在于，包括以下步骤：
获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符；
对所述待存储数据进行转化处理，生成具有第一版本号的第一数据；
将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件；
将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
2.如权利要求1所述的基于HBase的数据存储方法，其特征在于，所述对所述待存储数据进行转化处理，生成具有第一版本号的第一数据，具体为：
根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；
以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
3.如权利要求2所述的基于HBase的数据存储方法，其特征在于，所述将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件，具体为：
将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；
若存在，则根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；
若不存在，则将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
4.如权利要求3所述的基于HBase的数据存储方法，其特征在于，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
5.一种基于HBase的数据存储装置，其特征在于，包括：数据获取模块、数据转化模块、数据存储模块以及中间文件写入模块；
所述数据获取模块，用于获取待存储数据，对所述待存储数据的数据源分配唯一的第一标识符；
所述数据转化模块，用于对所述待存储数据进行转化处理，生成具有第一版本号的第一数据；
所述数据存储模块，用于将所述第一数据写入HBase中，生成包含所述第一数据数据变化的第一结果，并导出到一个中间文件；
所述中间文件写入模块，用于将所述中间文件写入NoSQL数据库，以供用户对数据进行查询。
6.如权利要求5所述基于HBase的数据存储装置，其特征在于，所述数据转化模块包括：数据获取单元和数据转化单元；
所述数据获取单元，用于根据所述待存储数据，获取所述待存储数据的原始维度名和对应数据源的第一标识符；
所述数据转化单元，用于以所述原始维度名拼接所述第一标识符作为所述待存储数据真正存储时的第一维度名，以获取到所述待存储数据时的时间作为所述待存储数据的第一版本号，生成具有第一版本号的第一数据。
7.如权利要求6所述基于HBase的数据存储装置，其特征在于，所述数据存储模块包括：判断单元、第一处理单元以及第二处理单元；
所述判断单元，用于将所述第一数据写入HBase中，并判断HBase中是否存在相同维度名且不同数据源的数据；
所述第一处理单元，用于当HBase中存在相同维度名且不同数据源的数据时，根据所述第一数据和HBase中存在的数据的版本日期，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件；其中，所述版本日期为数据入库时的时间；
所述第二处理单元，用于当HBase中不存在相同维度名且不同数据源的数据时，将所述第一数据的值作为第一结果，并将该结果导出到中间文件。
8.如权利要求7所述基于HBase的数据存储装置，其特征在于，若所述第一数据和HBase中存在的数据存在人为定制的惩罚数值时，则根据所述第一数据和HBase中存在的数据分别减去对应的惩罚数值后的值，将版本日期较新者的值作为第一结果，并将该结果导出到中间文件。
9.一种基于HBase的数据存储设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的基于HBase的数据存储方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的基于HBase的数据存储方法。
CN201910561999.XA 2019-06-26 2019-06-26 一种基于HBase的数据存储方法及装置 Pending CN110309152A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910561999.XA CN110309152A (zh) 2019-06-26 2019-06-26 一种基于HBase的数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910561999.XA CN110309152A (zh) 2019-06-26 2019-06-26 一种基于HBase的数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN110309152A true CN110309152A (zh) 2019-10-08

Family

ID=68076304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910561999.XA Pending CN110309152A (zh) 2019-06-26 2019-06-26 一种基于HBase的数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN110309152A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084147A (zh) * 2020-09-10 2020-12-15 珠海美佳音科技有限公司 一种数据存储方法、数据采集记录仪及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412916A (zh) * 2013-08-07 2013-11-27 北京京东尚科信息技术有限公司 一种监控***的多维度数据存储、检索方法及装置
WO2016032548A1 (en) * 2014-08-25 2016-03-03 Hewlett Packard Enterprise Development Lp Providing transactional support to a data storage system
CN105930324A (zh) * 2015-10-26 2016-09-07 上海剑桥科技股份有限公司 设备数据读取方法及***
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN106598977A (zh) * 2015-10-15 2017-04-26 北京国双科技有限公司 数据迁移方法和装置
CN107832389A (zh) * 2017-10-31 2018-03-23 新华三大数据技术有限公司 数据管理方法及装置
CN107943831A (zh) * 2017-10-23 2018-04-20 国家电网公司西北分部 一种基于HBase的电网历史数据集中存储方法
CN108132982A (zh) * 2017-12-13 2018-06-08 湖南中车时代通信信号有限公司 基于大数据的列车运行监控装置数据的分析***和方法
CN108255838A (zh) * 2016-12-28 2018-07-06 航天信息股份有限公司 一种建立用于大数据分析的中间数据仓库的方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103412916A (zh) * 2013-08-07 2013-11-27 北京京东尚科信息技术有限公司 一种监控***的多维度数据存储、检索方法及装置
WO2016032548A1 (en) * 2014-08-25 2016-03-03 Hewlett Packard Enterprise Development Lp Providing transactional support to a data storage system
CN106598977A (zh) * 2015-10-15 2017-04-26 北京国双科技有限公司 数据迁移方法和装置
CN105930324A (zh) * 2015-10-26 2016-09-07 上海剑桥科技股份有限公司 设备数据读取方法及***
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN108255838A (zh) * 2016-12-28 2018-07-06 航天信息股份有限公司 一种建立用于大数据分析的中间数据仓库的方法及***
CN107943831A (zh) * 2017-10-23 2018-04-20 国家电网公司西北分部 一种基于HBase的电网历史数据集中存储方法
CN107832389A (zh) * 2017-10-31 2018-03-23 新华三大数据技术有限公司 数据管理方法及装置
CN108132982A (zh) * 2017-12-13 2018-06-08 湖南中车时代通信信号有限公司 基于大数据的列车运行监控装置数据的分析***和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084147A (zh) * 2020-09-10 2020-12-15 珠海美佳音科技有限公司 一种数据存储方法、数据采集记录仪及电子设备

Similar Documents

Publication Publication Date Title
CN109508355A (zh) 一种数据抽取方法、***及终端设备
CN109325037A (zh) 一种针对海量数据的数据同步方法、存储介质和服务器
CN105808653B (zh) 一种基于用户标签***的数据处理方法及装置
CN110263145A (zh) 一种电子合同签署方法及电子合同签署设备
CN108171528A (zh) 一种归因方法及归因***
EP2965492B1 (en) Selection of data storage settings for an application
CN108520471A (zh) 重叠社区发现方法、装置、设备及存储介质
CN101093482A (zh) 一种大量信息存储和检索的方法
CN105787058A (zh) 一种用户标签***及基于用户标签***的数据推送***
CN110019111A (zh) 数据处理方法、装置、存储介质以及处理器
CN108304591A (zh) 一种标签的定制方法、***及终端设备
CN110309152A (zh) 一种基于HBase的数据存储方法及装置
CN113326095A (zh) 一种佣金数据处理方法和装置
CN111651522B (zh) 一种数据同步方法及装置
CN107256167A (zh) 应用于应用***迁移的升级控制方法及升级控制设备
CN113760521A (zh) 一种虚拟资源的分配方法和装置
CN102567544A (zh) 数据库查询方法及装置
CN108345603A (zh) 一种sql语句解析方法及装置
CN116226133A (zh) 一种基于分表的业务数据读取方法、装置及存储介质
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN109377184A (zh) 工单开立方法、装置、存储介质及终端
CN109933771A (zh) 一种报表自动合并方法、装置、设备及存储介质
CN109656709A (zh) 一种Codis集群扩容的方法和装置
CN112685557B (zh) 可视化信息资源管理方法及装置
CN110008264A (zh) 成本核算***的数据采集方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191008