CN113326288A - 数据处理方法、装置、电子设备 - Google Patents

Abstract

本申请实施例提供了一种数据处理方法、装置、电子设备。数据处理方法包括：读取时序数据库中的第一数据，其中，第一数据以第一存储格式存储在时序数据库中；将第一数据转储为预设存储格式的第二数据，并将第二数据上传至开放数据存储平台。通过本实施例提供的方案，可以提高了查询效率，并可以尽量避免时序数据库异常的问题。

Description

数据处理方法、装置、电子设备

技术领域

本申请实施例数据库技术领域，尤其涉及一种数据处理方法、装置、电子设备。

背景技术

通常，为了保存特定类型的数据，以及实现特定的目的，会使用专门的数据库，例如采用时序数据库存储时序数据。通过时序数据库，能够保证大量数据按照对应的时序关系***数据库中，并能够基于时间聚类或过滤等。

然而，为了存储特定类型的数据，或者实现特定的目的，数据库中的数据存储方式或者存储的数据格式等可能会发生改变，即数据通过数据库特定的存储格式存储在数据库中，例如，时序数据库中一般采用日志结构的合并树(LSM tree，Log-Structured Merge-Tree)的方式存储数据。

但是对于这种存储方式，在查询的数据量较大时，查询效率较低，且易造成时序数据库出现异常。

发明内容

有鉴于此，本申请实施例所解决的技术问题之一在于提供一种数据处理方法、装置、电子设备，用以解决或缓解上述问题。

在本申请实施例的第一方面，提供了一种数据处理方法，包括：读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。

在本申请实施例的第二方面，提供了一种数据处理方法，包括：读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至基于云原生对象存储的开放数据存储平台，以通过所述基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。

在本申请实施例的第三方面，提供了一种数据处理装置，包括：读取模块，用于读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；转储模块，用于将所述第一数据转储为预设存储格式的第二数据；上传模块，用于将所述第二数据上传至开放数据存储平台。

在本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的数据处理方法对应的操作。

在本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的数据处理方法。

本实施例提供的数据处理方案，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，使得用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1为本申请提供的一种查询数据的原理示意图；

图2A为本申请实施例一中数据处理方法的流程示意图；

图2B为本申请实施例一种的使用场景示意图；

图3为本申请实施例二中数据处理方法的流程示意图；

图4A为本申请实施例三中数据处理方法的示意图；

图4B为本申请实施例三中数据库分片的结构示意图；

图4C为本申请实施例三中读取第一数据的流程示意图；

图4D为本申请实施例三中转储得到第二数据的流程示意图；

图5为本申请实施例四中数据处理方法的流程示意图；

图6为本申请实施例五中数据处理装置的结构示意图；

图7为本申请执行数据处理方法的一些电子设备的硬件结构示意图。

具体实施方式

实施本申请实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

为了更加方便地理解本申请实施例提供的方案，先对通常使用的数据库进行说明。

以时序数据库为例，时序数据库主要用于存储实时产生的大量时序类型的数据，例如，数据库实例的实时监控指标、机器的性能指标、数据传输的网络延迟统计等。时序数据库在存储文件时，不仅存储最新的数据，而是将历史数据均进行存储，并通过为历史数据增加时间戳来确定历史数据的时序关系；此外，时序数据库还可以对大量的时序数据进行预聚合等。

为了保证时序数据的存储，一般时序数据库都采用日志结构的合并树(LSM tree，Log-Structured Merge-Tree)的方式存储数据，并可以为数据增加特定的时间戳或者标签(tag)等，与预设的数据存在较大差异，因此，基于便于时序数据库对数据进行操作等原因，数据一般会以时序数据库专有的第一存储格式进行存储。

然而，如图1所示，在进行查询时，用户的客户端一般会向时序数据库发送查询请求，并调用时序数据库的计算引擎的查询接口，由时序数据库自身对其内存储的数据进行查询，并转换为用户能够解析的格式，再将数据作为响应数据返回给用户。

因此，当查询的数据量较大时，会对引荐引擎造成较大的压力，从而影响时序数据库的运行，极可能出现由于某一查询请求所请求的数据量较大，占用其他查询请求的处理资源，导致其他查询请求的处理时间较长，甚至可能造成时序数据库宕机等情况。

并且，由于时序数据库中的数据通过第一存储格式进行存储，用户无法解析，用户无法对想要查询的数据进行定位，使得用户不能通过直接读取数据库中的文件来进行查询。

为了解决上述问题，本申请实施例提供了一种数据处理方法，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，使得用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

下面通过具体的方法流程，对本申请提供的方案进行详细说明。

图2A为本申请实施例一中数据处理方法的示意图；如图2A所示，其包括以下步骤：

S101、读取时序数据库中的第一数据。

所述第一数据以第一存储格式存储在所述时序数据库中。

第一存储格式为时序数据库专有的存储格式，一般能够由时序数据库自己进行解析，或者由专门的解析软件进行解析。

本实施例中，上述步骤可以由时序数据库执行，即通过时序数据库自身读取第一数据，并进行解析。

另外，上述也可以由安装有解析软件的电子设备执行，即电子设备通过安装的解析软件读取时序数据库中的第一数据。

S102、将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。

本实施例中，预设存储格式可以为能够在通用的开放数据存储平台兼容的存储格式，或者能够被大部分用户直接解析的存储格式。例如，预设存储格式可以为ORC文件(Optimized Record Columnar File)、parquet等，本实施例对此不进行限定。

本实施例中，由于将第一数据的格式从第一存储格式转换为预设存储格式，得到了预设存储格式的第二数据，并将第二数据上传至了开放数据存储平台，用户进行查询时，尤其是进行数据量较大的查询时，可以直接基于开放数据存储平台中存储的预设存储格式的第二数据进行查询，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

下面通过一个具体场景对上述过程进行示例性说明。

如图2B所示，数据处理***中可以包括时序数据库和开放数据存储平台。

时序数据库中嵌入有转储模块。

其中，时序数据库可以用来存储时序数据，时序数据库具体可以包括多个数据库分片等。

转储模块用于进行格式转换。具体地，转储模块可以读取时序数据库的存储模块中存储的第一数据，并将所述第一数据转储为预设存储格式的第二数据，然后可以将预设存储格式的第二数据上传至开放数据存储平台。转储模块可以对第一数据进行进行实时。

用户进行查询时，尤其进行大数据量的查询时，例如查询北京一个月的交通数据时，用户可以直接基于开放数据存储平台中存储的第二数据进行查询，查询过程可以不调用时序数据库的计算引擎的查询接口，即，时序数据库的部分查询服务可以转由开放数据存储平台提供，从而可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例提供的方案，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，且开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，可由用户或其他数据库直接解析，由此，用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端、PC、时序服务器中的节点等。

图3为本申请实施例二中数据处理方法的示意图；如图3所示，其包括以下步骤：

S201、读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中。

本步骤的具体实现方式可参考上述步骤S102。

另外，步骤S201可以实时执行，也可以定时执行。

可选地，若步骤S201实时执行，则第一数据为所述时序数据库中实时写入的数据。

本实施例中，通过将时序数据库中实时写入的数据作为第一数据，可以每写入一部分第一数据，即可通过本申请实施例的方案将其转换为预设存储格式的第二数据，能够尽量保证第二数据与时序数据库中数据的一致性，并能够提高第二数据的实时性。

在另一实现方式中，若步骤S201定时执行，则可以在时序数据库中新写入的数据达到一定数据量之后执行步骤S201，也可以按照一定的时间间隔执行步骤S201，本实施例对此不进行限定。

可选地，本实施例中，可以通过调用所述时序数据库的读取函数，读取以第一存储格式存储在所述时序数据库中的所述第一数据。由此，可以借助时序数据库自身的数据读取方法，从时序数据库中读取以第一存储格式存储的第一数据，无需另外安装解析第一数据的软件等。

S202、创建所述第一数据所在的数据表对应的预设存储格式的文件。

数据表是数据库在逻辑层面的基础与核心，数据一般都存储在数据表中；在物理层面，数据被存储在数据块中，一个数据表中的数据可以被存储在多个数据块，一个数据块中的数据属于同一个数据表。

在进行写入时，一般是基于数据表进行写入，例如将数据写入至某一数据表的某一行等。由此，为了保证用于存储第二数据的文件之间逻辑的准确性，可以创建数据表对应预设存储格式的文件。

可选地，本实施例中，步骤S202可以包括：

根据所述数据表的组织结构信息，生成与所述数据表对应的所述文件的组织结构信息；根据所述文件的组织结构信息，创建与所述数据表同名的、预设存储格式的所述文件。

一般情况下，组织结构信息(schema信息)可以用于定义一个字段的类型，以及该字段的值的类型等。一般来说，一个表中数据的组织结构信息是相同的，且将表中的数据转储为预设存储格式的第二数据后，仍需要按照该组织结构信息进行存储。

因此，本实施例中，可以根据所述数据表的组织结构信息，生成与所述数据表对应的所述文件的组织结构信息，即可以对文件的字段以及字段的值等进行定义，然后根据所述文件的组织结构信息，创建与所述数据表同名的、预设存储格式的所述文件，使得创建的文件的字段等与数据表的字段定义一致。

S203、根据所述数据表的索引信息，向创建的所述文件中写入所述数据表的数据。

第二数据为写入至文件中的数据。

由于文件为预设存储格式的文件，则写入其中的数据即为预设存储格式的数据，将数据写入文件的过程即为转储过程。

数据表的索引信息可以用于指示数据表中的各个数据的顺序，根据索引信息，可以通过多次写入操作，将数据表中的数据写入对应的文件中，并可以保证写入文件的数据的读取顺序，即保证一个文件中的数据的在逻辑层面的准确性。

本申请中，在进行转储时，可以通过步骤S202创建与数据表对应的预设存储格式的文件，并通过步骤S203，根据数据表的索引信息将数据表中的数据写入对应的文件中，可以保证用于存储第二数据的文件在逻辑层面的准确性，即保证第二数据的准确性。

可选地，步骤S203可以包括：根据所述索引信息，确定被读取至内存的所述数据块对应的数据表，其中，所述数据表的数据被存储到至少一个数据块中；将读取至内存的数据写入至与所述数据表对应的所述文件中。

一般情况下，一个数据表中的数据可以存储在多个数据块中。则，在步骤S201中，可以将数据块读取至内存中，在本步骤中，可以根据索引信息，确定读取的数据块所在的数据表，并通过对内存进行操作，将数据写入与数据表对应的文件中。由此，每次可以仅读取一个或多个数据块，而无需读取数据表对应的所有数据块，降低了转储过程对内存的要求。

S204、将写入数据后的所述文件上传至开放数据存储平台中，并将所述文件从时序数据库的本地存储中删除。

本实施例中，可以在每将一个数据表中的数据写入文件后，即将文件上传至开放数据存储平台中，并将所述文件从时序数据库的本地存储中删除；或者，可以将写入完成的文件的数据量达到一定大小后，将文件上传至开放数据存储平台，并将所述文件从时序数据库的本地存储中删除，本实施例对此不进行限定。

在将文件上传至开放数据存储平台后，即将文件从本地存储中删除，可以减小本地存储的占用。

可选地，本实施例中，文件可以存储在所述开放数据存储平台的多级存储目录下，所述时序数据库为多级存储结构的数据库，所述多级存储目录与所述文件对应的数据表在所述多级存储结构中的存储位置对应。

在进行查询时，可以直接根据多级存储目录对文件进行查询，且开放数据存储平台的多级存储目录可以沿用时序数据库的多级存储结构，由此，可以直接时序数据库的多级存储结构从对应的多级文件目录下直接获取文件，查询更加方便。

例如，多级存储结构可以包括：地域-主机-数据库分片，则对应的多级存储目录可以为：地区/主机/数据库分片/文件名称。

进一步地，本实施例中，由于时序数据库中用于存储时序数据，则所述多级存储目录还与所述文件的创建时间对应。由此，可以直接根据文件的创建时间，确定文件中存储的数据所在的时序，使得查询更加方便。示例的，多级存储目录可以为：地区/主机/数据库分片/yyyymmdd/文件名称，其中，yyyymmdd为创建文件的年-月-日。

本实施例提供的方案，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，且开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，可由用户或其他数据库直接解析，由此，用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端、PC、时序服务器中的节点等。

图4A为本申请实施例三中的数据处理方法的示意图；如图所示，其包括以下步骤：

S301、通过时序数据库的数据库分片读取函数Shard Reader，读取时序数据库的磁盘上存储的数据库分片中的数据。

本实施例中，参见图4B，示出了一种读取数据库分片中数据的方法。

本实施例中，针对每个数据库分片，可以均执行一次图4B示出的方法流程，直至转储结束。

如图4B所示，其包括：

S3011、针对时序数据库的当前数据库分片，生成对应的shard reader。

如图4C所示，示出了一个数据库分片的数据结构。如图所述，数据库分片中包括数据头Header、数据库分片的索引信息Index、数据库的存储空间信息Bucket、以及数据块Blk1、Blk2等。

S3012、通过shanrd reader读取数据库分片中的索引信息index至内存中。

本实施例中，由于索引信息index是数据库管理***中的一个能够排序的数据结构，用于协助快速查询、更新数据库表中的数据，为不用于存储具体的数据，因此，索引信息index的数据量较小，占用的内存空间也较小。

S3013、遍历索引信息index，获取数据库分片中的存储空间信息(Bucket信息)，根据Bucket信息获取数据块blocks的存储位置。

S3014、根据数据块blocks的存储位置，将blocks中的数据写入到内存中。

本实施例中，由于一个数据库分片shard中的数据量较大，因此采用分批的方式将数据库分片中的数据加载到内存中，每次可以仅读取一个数据库block中的数据至内存中，并通过后续步骤S302进行转储，转储完成后再读取下一blocks中的信息，直至根据索引信息index确定当前数据库分片中的blocks遍历完成。

本实施例中，通过先读取索引信息，再根据索引信息依次读取数据块blocks，可以减小整个转储过程对数据库的内存占用。

当然，上述仅为示例性说明，在其他实现方式中，也可以按照其他条件依次将数据库分片中的数据读取到内存中，本实施例对此不进行限定。

S302、将读取的数据库分片中的数据转储，生成ORC文件。

ORC文件格式是一种列式存储格式，可以降低数据存储空间和加速查询速度。

ORC文件目前也被部分开放数据存储平台支持。另外，ORC文件自带索引，也可以被多种语言的SDK读取，可以提高文件读取的效率，方便用户使用，还可以提高存储在文件中的第二数据的兼容性。

此外，在将数据写入至ORC文件中时，可以选择压缩方式，从而通过选择适当的压缩方式，能够节省ORC文件的存储空间。

当然，本实施例的其他实现方式中，可以不生成ORC文件，而是生成其他预设存储格式的文件，本实施例对此不进行限定。

本实施例中，如图4D所示，步骤S302具体可以包括：

S3021、根据数据库分片中的数据表的参数，确定与数据表对应的ORC文件的参数，并创建与数据表对应的文件。

例如，可以将数据表table的名称作为ORC文件的文件名称；根据数据表中存储的数据的组织结构信息(schema信息)，生成ORC文件的schema信息；根据数据表的存储路径，确定ORC文件的存储路径path；根据数据表的数据量，设置ORC文件的batch size，即设置ORC文件的更新数据量。

可选地，本实施例中，数据库分片的每个bucket可以对应一个数据表，当然，也可以一个数据表对应多个bucket，或者一个bucket对应多个数据表，本实施例对此不进行限定。

S3022、创建与数据表对应的ORC writer，用于向与数据表对应的ORC文件中写入数据。

本实施例中，写入的数据可以为上述步骤S3014中内存的数据。

S3023、通过创建的ORC writer，将内存中存储的属于该数据表的数据写入ORC文件中。

本实施例中，在上述步骤中，根据数据的schema信息，生成ORC文件的schema信息，则本步骤中，可以根据数据的schema信息，将数据写入具有相应的schema信息的ORC文件的列中。

当然，上述ORC文件仅为举例说明，在本申请的其他实现方式中，还可以另存为其他的预设存储格式，例如Parquet等，本实施例对此不进行限定。

S3024、写入完成后，将生成的ORC文件写入硬盘中。

本实施例中，可以按照ORC文件的batch size进行写入，每满足一个batch size，则将ORC文件刷新至数据库的硬盘disk中。

在所有数据都写入完成后，可以关闭ORC文件。ORC文件会自动生成描述信息。

S303、将生成的ORC文件上传至基于云原生对象存储的开放数据存储平台，作为时序数据库的开放数据，通过所述基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。

本实施例中，将生成的ORC文件上传后，可以通过基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。尤其是用户在获取大量的非实时时序数据时，不需要再调用时序数据库的计算引擎的查询接口，可以直接基于云原生对象存储的开放数据存储平台进行查询，即可获得批量的非实时数据，满足了用户对大批量非实时数据的获取需求。

本实施例中，由于执行上述步骤S301-S303的电子设备的存储空间有限，为此，可以将ORC文件上传至基于云原生对象存储的开放数据存储平台后，可以将本地的ORC文件删除，以节省存储空间。

当然，本实施例中，仅以基于云原生对象存储的开放数据存储平台为例进行示例性说明，在其他实现方式中，还可以上传至其他开放数据存储平台，例如云盘、大数据平台等，这些也在本申请的保护范围内。

另外，为了方便用户获取所需的数据，本实施例中，还将存储至云原生对象存储平台的ORC文件划分了存储目录。

本实施例中，存储目录可以包括多级。

具体地，存储目录可以包括七级，第一级存储目录可以与数据库的区域信息相对应，例如，上海区域的数据库对应一个一级存储目录，北京地区的数据库对应另一个一级存储目录；第二级存储目录可以对应数据库的主机，可以直接按照主机的名称进行命名，例如，第二级存储目录的名称为name1，可以对应主机1，第二级存储目录的名称为name2，可以对应主机2；第三级存储目录可以对应主机中存储的数据表table；第四级存储目录可以对应转储该数据表的时间；第五级目录可以对应ORC文件的schema信息，数据表中具有相同schema信息的数据可以存储在同一个第五级目录之下；第六级存储目录可以与时序数据库的数据库分片信息(partition信息)和步长信息(step信息)对应；第七级存储目录与shard对应。

本实施例中，由于存储目录与数据库中的多级存储结构以及ORC文件创建时间相对应，因此进行查询时，可以直接根据查询请求，直接根据存储目录进行查询即可，使得查询数据更加方便。

当然，上述仅为举例说明，并不作为本申请的限定，在本申请的其他实现方式中，还可以按照其他方式设定多级的存储目录，这也在本申请的保护范围内。

本实施例提供的方案，通过读取时序数据库中的第一数据，其中，所述第一数据以专有第一存储格式存储在所述时序数据库中；将所述第一数据转储为通用预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，且开放数据存储平台中存储的为转储得到的通用预设存储格式的第二数据，而通用预设数据存储格式的兼容性较好，可由用户或其他数据库直接解析，由此，用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端、PC、时序服务器中的节点等。

图5为本申请实施例四中数据处理方法的示意图；如图5所示，其包括以下步骤：

S401、读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中。

第一存储格式为时序数据库专有的存储格式，一般能够由时序数据库自己进行解析，或者由专门的解析软件进行解析。

本实施例中，上述步骤可以由时序数据库执行，即通过时序数据库自身读取第一数据，并进行解析。

另外，上述也可以由安装有解析软件的电子设备执行，即电子设备通过安装的解析软件读取时序数据库中的第一数据。

S402、将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至基于云原生对象存储的开放数据存储平台，以通过所述基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。

本实施例中，将生成的第二数据上传后，可以通过基于云原生对象存储的开放数据存储平台(OSS)提供数据的批量查询服务。尤其是用户在获取大量的非实时时序数据时，不需要再调用时序数据库的计算引擎的查询接口，可以直接基于云原生对象存储的开放数据存储平台进行查询，即可获得批量的非实时数据，满足了用户对大批量非实时数据的获取需求。

当然，本实施例中，仅以基于云原生对象存储的开放数据存储平台为例进行示例性说明，在其他实现方式中，还可以上传至其他开放数据存储平台，例如云盘、大数据平台等，这些也在本申请的保护范围内。

另外，为了方便用户获取所需的数据，本实施例中，还将存储至云原生对象存储平台的第二数据划分了存储目录。

目录的具体划分方法可参考上述实施例，在此不再赘述。

本实施例中，由于将第一数据的格式从第一存储格式转换为预设存储格式，得到了预设存储格式的第二数据，并将第二数据上传至了开放数据存储平台，用户进行查询时，尤其是进行数据量较大的查询时，可以直接基于开放数据存储平台中存储的预设存储格式的第二数据进行查询，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例提供的方案，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至基于云原生对象存储的开放数据存储平台，以通过所述基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。基于云原生对象存储的开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，尤其是进行非实时数据的批量查询，且基于云原生对象存储的开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，可由用户或其他数据库直接解析，由此，用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

本实施例的数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：移动终端、PC、时序服务器中的节点等。

图6为本申请实施例五中数据处理装置的结构示意图；如图6所示，其包括：读取模块501、转储模块502、上传模块503。

读取模块501，用于读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；

转储模块502，用于将所述第一数据转储为预设存储格式的第二数据；

上传模块503，用于将所述第二数据上传至开放数据存储平台。

可选地，所述读取时序数据库中第一数据，包括：通过调用所述时序数据库的读取函数，读取以第一存储格式存储在所述时序数据库中的所述第一数据。

可选地，所述将所述第一数据转储为预设存储格式的第二数据包括：创建所述第一数据所在的数据表对应的预设存储格式的文件；根据所述数据表的索引信息，向创建的所述文件中写入所述数据表的数据，以将所述第一数据转储为预设存储格式的第二数据。

可选地，所述将得到的第二数据存储至开放数据存储平台中包括：将写入数据后的所述文件上传至所述开放数据存储平台中，并将所述文件从时序数据库的本地存储中删除。

可选地，所述创建所述第一数据所在的数据表对应的预设存储格式的文件，包括：根据所述数据表的组织结构信息，生成与所述数据表对应的所述文件的组织结构信息；根据所述文件的组织结构信息，创建与所述数据表同名的、预设存储格式的所述文件。

可选地，所述根据所述数据表的索引信息，向创建的所述文件中写入所述数据表的数据，以将所述第一数据转储为预设存储格式的第二数据，包括：根据所述索引信息，确定被读取至内存的所述数据块对应的数据表，其中，所述数据表的数据被存储到至少一个数据块中；将读取至内存的数据写入至与所述数据表对应的所述文件中。

可选地，所述文件存储在所述开放数据存储平台的多级存储目录下，所述时序数据库为多级存储结构的数据库，所述多级存储目录与所述文件对应的数据表在所述多级存储结构中的存储位置对应。

可选地，所述多级存储目录还与所述文件的创建时间对应。

可选地，所述第一数据为所述时序数据库中实时写入的数据。

本实施例提供的方案，通过读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。开放数据存储平台可以方便地直接将数据开放给用户，供用户查询，开放数据存储平台中存储的为转储得到的预设存储格式的第二数据，而预设数据存储格式的兼容性较好，使得用户可以直接通过开放数据存储平台查询第二数据，方便地获得查询结果，提高了查询效率，并可以尽量避免查询服务对时序数据库的计算引擎造成较大的压力，还避免查询的数据量较大导致的时序数据库异常的问题。

图7为本申请执行数据处理方法的一些电子设备的硬件结构示意图。根据图7所示，该设备包括：

一个或多个处理器602以及存储器604，图7中以一个处理器602为例。

执行信息获取方法的设备还可以包括：通信接口(Communications Interface)606以及通信总线608。

通信接口606，用于与其它电子设备或服务器进行通信。

处理器602、存储器604、通信接口606可以通过通信总线608完成相互间的通信。

存储器604作为一种非易失性计算机可读存储介质，可用于存储至少一可执行指令,可执行指令具体可以包括程序610，程序610具体可以包括非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的信息获取方法对应的程序指令/模块。处理器602通过运行存储在存储器604中的程序610，实现上述方法实施例中信息获取方法。

存储器604可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据信息获取装置的使用所创建的数据等。此外，存储器604可以包括高速随机存取存储器604，还可以包括非易失性存储器604，例如至少一个磁盘存储器604件、闪存器件、或其他非易失性固态存储器604件。在一些实施例中，存储器604可选包括相对于处理器602远程设置的存储器604，这些远程存储器604可以通过网络连接至信息获取装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器604中，当被所述一个或者多个处理器602执行时，执行上述任意方法实施例中的信息获取方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器602、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种数据处理方法，包括：

读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；

将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至开放数据存储平台。

2.根据权利要求1所述的方法，其中，所述读取时序数据库中第一数据，包括：

通过调用所述时序数据库的读取函数，读取以第一存储格式存储在所述时序数据库中的所述第一数据。

3.根据权利要求1所述的方法，其中，所述将所述第一数据转储为预设存储格式的第二数据包括：

创建所述第一数据所在的数据表对应的预设存储格式的文件；

根据所述数据表的索引信息，向创建的所述文件中写入所述数据表的数据，以将所述第一数据转储为预设存储格式的第二数据。

4.根据权利要求3所述的方法，其中，所述将得到的第二数据存储至开放数据存储平台中包括：

将写入数据后的所述文件上传至所述开放数据存储平台中，并将所述文件从时序数据库的本地存储中删除。

5.根据权利要求3所述的方法，其中，所述创建所述第一数据所在的数据表对应的预设存储格式的文件，包括：

根据所述数据表的组织结构信息，生成与所述数据表对应的所述文件的组织结构信息；

根据所述文件的组织结构信息，创建与所述数据表同名的、预设存储格式的所述文件。

6.根据权利要求3所述的方法，其中，所述根据所述数据表的索引信息，向创建的所述文件中写入所述数据表的数据，以将所述第一数据转储为预设存储格式的第二数据，包括：

根据所述索引信息，确定被读取至内存的所述数据块对应的数据表，其中，所述数据表的数据被存储到至少一个数据块中；

将读取至内存的数据写入至与所述数据表对应的所述文件中。

7.根据权利要求3所述的方法，其中，所述文件存储在所述开放数据存储平台的多级存储目录下，所述时序数据库为多级存储结构的数据库，所述多级存储目录与所述文件对应的数据表在所述多级存储结构中的存储位置对应。

8.根据权利要求7所述的方法，其中，所述多级存储目录还与所述文件的创建时间对应。

9.根据权利要求1所述的方法，其中，所述第一数据为所述时序数据库中实时写入的数据。

10.一种数据处理方法，包括：

读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；

将所述第一数据转储为预设存储格式的第二数据，并将所述第二数据上传至基于云原生对象存储的开放数据存储平台，以通过所述基于云原生对象存储的开放数据存储平台提供数据的批量查询服务。

11.一种数据处理装置，包括：

读取模块，用于读取时序数据库中的第一数据，其中，所述第一数据以第一存储格式存储在所述时序数据库中；

转储模块，用于将所述第一数据转储为预设存储格式的第二数据；

上传模块，用于将所述第二数据上传至开放数据存储平台。

12.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-10任一项所述的数据处理方法对应的操作。

13.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-10中任一项所述的数据处理方法。

Images