CN111291003B - 数据读取方法、装置和电子设备 - Google Patents

Abstract

本申请提供一种数据读取方法、装置和电子设备，一种数据读取方法，包括：根据查询条件，于数据库中，获取源文件；判断源文件是否为分块文件；当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄；提取源文件中对应文件句柄的目标数据；按照各分块的空间位置关系完成数据合并。用以实现根据用户输入的查询条件，将目标数据从源文件中快速提取。

Description

数据读取方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据读取方法、装置和电子设备。

背景技术

现有的分块文件合并软件，存在的主要问题是合并速度非常慢。其原因有主要有如下两个方面：

一方面，这些软件会逐个读取各个分块文件的内容，然后将他们合并起来，当分块文件数量非常多时，合并速度就会非常慢；

另一方面，一些分块文件中会包含多个数据变量，但并不是所有数据变量都需要读取，而实际应用中，这些软件往往会将所有的数据变量都进行读取合并，从而从而造成了合并以及数据读取速度的降低。

发明内容

本申请实施例的目的在于提供一种数据读取方法、装置和电子设备，用以实现根据用户输入的查询条件，将目标数据从源文件中快速提取。

本申请实施例第一方面提供了一种数据读取方法，包括：根据查询条件，于数据库中，获取源文件；判断源文件是否为分块文件；当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄；提取源文件中对应文件句柄的目标数据。

于一实施例中，源文件包括文件名和文件分体，文件名和文件分体一一对应；判断源文件是否为分块文件，包括：获取源文件的文件名个数；判断文件名个数是否大于1；当文件名个数大于1时，则输出源文件为分块文件的结果；以及，当文件名个数等于1时，则输出源文件为单一文件的结果。

于一实施例中，当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄，包括：当源文件为分块文件时，获取分块文件的分块维数信息；根据分块维数信息，获取分块文件的文件句柄。

于一实施例中，分块维数信息包括分块文件的起始信息和/或终止信息；根据分块维数信息，获取分块文件的文件句柄，包括：根据分块文件的起始信息和/或终止信息，确定分块文件的数据范围；根据数据范围，获取分块文件的文件句柄。

于一实施例中，在提取源文件中对应文件句柄的目标数据之后，还包括：判断目标数据是否被分块存储；当目标数据被分块存储时，根据起始信息和/或终止信息将全部目标数据进行合并，生成对应于查询条件的查询数据。

于一实施例中，方法还包括：检测目标数据是否提取完成；当目标数据提取完成时，关闭源文件。

本申请实施例第二方面提供了一种数据读取装置，包括：数据获取模块，用于根据查询条件，于数据库中，获取源文件；格式判断模块，用于判断源文件是否为分块文件；句柄获取模块，用于当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄；数据提取模块，用于提取源文件中对应文件句柄的目标数据。

于一实施例中，格式判断模块用于：获取源文件的文件名个数；判断文件名个数是否大于1；当文件名个数大于1时，则输出源文件为分块文件的结果；以及，当文件名个数等于1时，则输出源文件为单一文件的结果。

于一实施例中，句柄获取模块用于：当源文件为分块文件时，获取分块文件的分块维数信息；根据分块维数信息，获取分块文件的文件句柄；其中，分块维数信息包括分块文件的起始信息和/或终止信息；以及，根据分块维数信息，获取分块文件的文件句柄，包括：根据分块文件的起始信息和/或终止信息，确定分块文件的数据范围；根据数据范围，获取分块文件的文件句柄。

于一实施例中，装置还包括数据合成模块，用于：判断目标数据是否被分块存储；当目标数据被分块存储时，根据起始信息和/或终止信息将全部目标数据进行合并，生成对应于查询条件的查询数据。

于一实施例中，装置还包括文件关闭模块，用于检测目标数据是否提取完成；当目标数据提取完成时，关闭源文件。

本申请实施例第三方面提供了一种电子设备，包括：存储器，用以存储计算机程序；处理器，用以执行用以执行本申请实施例第一方面及其任一实施例的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例的电子设备的结构示意图；

图2为本申请一实施例的交互场景示意图；

图3为本申请一实施例的数据读取方法的流程示意图；

图4为本申请另一实施例的数据读取方法的流程示意图；

图5为本申请一实施例的数据读取装置的结构示意图。

附图标记：电子设备1，总线10，处理器11，存储器12，服务器100，终端200，数据读取装置500，数据获取模块501，格式判断模块502，句柄获取模块503，数据提取模块504。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行。

如图2所示，其为本实施例中服务器100与终端200的交互示意场景，服务器100可以是数据存储服务器或数据处理服务器。电子设备1可以是终端200，终端200通过人机交互接收用户输入查询信息，从服务器100处获取源文件，并根据源文件的分块情况，将对应查询信息的目标数据从源文件中提取出来。

请参阅图3，其为本实施例提供的一种轨迹数据处理方法，该方法可由图1所示的电子设备1来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤301：根据查询条件，于数据库中，获取源文件。

在本步骤中，源文件可以存储在服务器的存储器中，也可以是存储在外部存储设备中，外部存储设备与服务器通过通信网络连接并传输数据信息。查询条件由用户通过人机交互输入至终端，其目的在于通过输入的查询条件获取源文件中与查询条件对应的目标数据，终端将查询条件发送至服务器，服务器根据查询条件从源文件中读取对应查询条件的目标数据并将该目标数据返回给终端。

于一实施例中，源文件可以是NetCDF(network Common Data Form，网络通用数据格式)的文件，是一种面向数组型并适于网络共享的数据的描述和编码标准，应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。

步骤302：判断源文件是否为分块文件。若是，则进入步骤303，否则进入步骤305。

在本步骤中，源文件可以是存储变量类型、变量名称、变量维数、变量单位以及变量缺省值等信息的自描述文件。当源文件是NetCDF文件时，其存储了气象、海洋、环境数值以及模拟结果，为了进行计算相关数值和模拟结果，划分对应的计算子区域以供处理器进行计算，于一实施例中，划分成几个区域会生成几个分块文件。例如，源文件为wrf(WeatherResearch and Forecasting，天气研究与预报)数值模式时，将各个子区域的数据分别保存到10个文件中，文件编号为从0000到0009。

步骤303：当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄。

在本步骤中，在文件输入/输出过程中，处理器或应用程序要从一个文件读取数据，首先要调用操作***函数并传送待打开文件的文件名，并选一个到该文件的路径来打开文件。该函数取回一个文件句柄(file handle)，该文件句柄对于待打开的文件是唯一的识别依据。要从文件中读取一块数据，处理器或应用程序需要调用读取文件函数(ReadFile)，并将文件句柄在内存中的地址和要拷贝的字节数传送给操作***。所以，当源文件为分块文件时，分块文件分别被对应不同的文件句柄。又因为任一个分块文件中会存储不同的数据，所以根据查询条件读取数据时，还要根据文件句柄找到对应查询条件的目标数据被存储的分块文件。

步骤304：提取源文件中对应文件句柄的目标数据。

在本步骤中，目标数据对应查询条件，且存储在分块文件中，根据源文件的不同，分块文件中包含不同的数据种类，例如气象、海洋、环境等数据，一个NetCDF文件的分块文件可以包含气象数据或气象数据的一部分，以及环境数据或环境数据的一部分，当查询源文件的气象数据时，需要将分散在多个分块文件中的所有气象数据提取出来。根据步骤303获取的文件句柄可以找到包含气象数据的全部分块文件，处理器即可将气象数据从查找到的分块文件中提取出。

于一实施例中，检测目标数据是否提取完成，当目标数据提取完成时，关闭源文件。目标数据来自分块文件时，关闭各分块文件并清除分块文件信息。

步骤305：调用原文件函数接口读取数据。

在本步骤中，当步骤302的判断结果不是分块文件而是单一文件时，可以调用原有的NetCDF文件读取接口、读取方法等进行数据读取，无需进行数据拼接。

请参阅图4，其为本实施例提供的一种数据读取方法，该方法可由图1所示的电子设备1来执行，并用于图2所示的交互场景中，该方法包括如下步骤：

步骤401：根据查询条件，于数据库中，获取源文件。详细请参阅上述实施例中关于步骤301的描述。

步骤402：获取源文件的文件名个数。

在本步骤中，源文件包括文件名和文件分体，文件名和文件分体一一对应。例如，源文件为wrf(Weather Research and Forecasting，天气研究与预报)数值模式时，将各个子区域的数据分别保存到10个文件中，文件编号为从0000到0009，将各个子区域在整合成一个计算区域时，数值也会按照0000号文件至0009号文件的顺序进行整合。

步骤403：判断文件名个数是否大于1。

在本步骤中，对文件名的个数进行判断。判断文件名个数是否大于1，若是则进入步骤404，若否则进入步骤408。于一实施例中，当文件名个数大于1时，则输出源文件为分块文件的结果。

步骤404：源文件为分块文件的结果。

在本步骤中，当文件名个数大于1时，说明源文件经过分块处理。

步骤405：当源文件为分块文件时，获取分块文件的分块维数信息。

在本步骤中，源文件是NetCDF文件时，存储的数据为具有维数的数值，例如作为气象文件，其包含有TIME(时次数)、LAT(纬向网格数)、LON(经向网格数)等维数，对应这些维数又可以定义出TIME(时间)、TEMP(温度)、UVEL(东向流速)和VVEL(北向流速)等数据。上述的分块维数信息分区域计算时，被拆分保存在不同的分块文件中，在拆分过程中每个被拆分的维数数据将包含起始信息和/或终止信息，通过起始信息和/或终止信息确定分块文件的数据范围，进一步获取分块文件的文件句柄。

步骤406：判断目标数据是否被分块存储。若是，则进入步骤407，否则进入步骤409。

在本步骤中，目标数据存在目标数据对应查询条件，且存储在分块文件中，根据源文件的不同，一个NetCDF文件的分块文件可以包含气象数据或气象数据的一部分，以及环境数据或环境数据的一部分，当查询条件时查询源文件的气象数据时，需要将分散在多个分块文件中的所有气象数据提取出来。

步骤407：根据起始信息和/或终止信息将全部目标数据进行合并，生成对应于查询条件的查询数据。

在本步骤中，源文件是NetCDF文件且为wrf(Weather Research andForecasting，天气研究与预报)数值模式时，目标数据被分块存储在各个分块文件中，除了包含有TIME(时次数)、LAT(纬向网格数)、LON(经向网格数)等维数，对应这些维数又可以定义出TIME(时间)、TEMP(温度)、UVEL(东向流速)和VVEL(北向流速)等数据外，还定义一个全局属性，用于描述数据的起始信息和/或终止信息。

于一实施例中，起始信息和终止信息分别是东西方向的起始和结束下标、南北方向的起始和结束下标，也即纬度方向和经度方向上的起始和结束下标，根据起始和结束下标可以确定该分块计算的区域的范围，根据确定的范围可以进一步提取该范围内的所有数据。当查询条件对应该范围内的某一类型的数据时，将对应查询条件的所有数据进行提取整合，生成最终输出的查询数据。

于一实施例中，当目标数据没有被分块存储的时候直接输出分块文件中的数据。

步骤408：源文件为单一文件的结果。

在本步骤中，当文件名个数大于1时，说明源文件未经过分块处理，是单一文件的形式。

步骤409：调用原文件函数接口读取数据。详细请参阅上述实施例中对步骤305的描述。

于一实施例中，当上述实施例中的用于读取分块NetCDF文件时，以SCHISM数值模式分块NetCDF文件的合并为例进行测试。SCHISM模式测试算例采用100个CPU核心进行计算，模拟生成的分块NetCDF文件为100个。使用现有技术中的文件读取方法完成这个100个NetCDF文件合并，需要花费3.2小时。而使用本申请实施例提供的方法直接读取这100个分块NetCDF文件，则可以节约3小时左右的时间。

请参阅图5，其为本实施例提供的一种数据读取装置，该数据读取装置可以应用于图1所示的电子设备1，以实现终端200通过人机交互接收用户输入查询信息，从服务器100处获取源文件，并根据源文件的分块情况，将对应查询信息的目标数据从源文件中提取出来。

数据读取装置500包括：数据获取模块501、格式判断模块502、句柄获取模块503、数据提取模块504。具体原理关系如下：

数据获取模块501，用于根据查询条件，于数据库中，获取源文件。详细请参阅上述实施例中对步骤301的描述。

格式判断模块502，用于判断源文件是否为分块文件。详细请参阅上述实施例中对步骤302的描述。

句柄获取模块503，用于当源文件为分块文件时，获取对应于每个分块文件中对应于查询条件的全部文件句柄。详细请参阅上述实施例中对步骤303的描述。

数据提取模块504，用于提取源文件中对应文件句柄的目标数据。详细请参阅上述实施例中对步骤304的描述。

于一实施例中，装置还包括文件关闭模块，用于检测目标数据是否提取完成；当目标数据提取完成时，关闭源文件。

于一实施例中，格式判断模块502用于：获取源文件的文件名个数；判断文件名个数是否大于1；当文件名个数大于1时，则输出源文件为分块文件的结果；以及，当文件名等于1时，则输出源文件为单一文件的结果。详细请参阅上述实施例中对步骤403-405的描述。

于一实施例中，句柄获取模块503用于：当源文件为分块文件时，获取分块文件的分块维数信息；根据分块维数信息，获取分块文件的文件句柄；其中，分块维数信息包括分块文件的起始信息和/或终止信息；以及，根据分块维数信息，获取分块文件的文件句柄，包括：根据分块文件的起始信息和/或终止信息，确定分块文件的数据范围；根据数据范围，获取分块文件的文件句柄。

于一实施例中，装置还包括数据合成模块，用于：判断目标数据是否被分块存储；当目标数据被分块存储时，根据起始信息和/或终止信息将全部目标数据进行合并，生成对应于查询条件的查询数据。详细请参阅上述实施例中对步骤406-408的描述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (5)

1.一种数据读取方法，其特征在于，包括：

根据查询条件，于数据库中，获取源文件；其中，所述源文件为采用NetCDF格式存储气象、海洋或环境数值模拟数据的文件，所述源文件中包含有数据的起始信息和/或终止信息用来表示该数据所处的地理位置；

判断所述源文件是否为分块文件；

当所述源文件为分块文件时，获取对应于每个所述分块文件中对应于所述查询条件的全部文件句柄；所述当所述源文件为分块文件时，获取对应于每个所述分块文件中对应于所述查询条件的全部文件句柄，包括：

当所述源文件为分块文件时，获取所述分块文件的分块维数信息；

根据所述分块维数信息，获取所述分块文件的文件句柄；其中，所述分块维数信息包括分块文件的起始信息和/或终止信息；所述根据所述分块维数信息，获取所述分块文件的文件句柄，包括：

根据所述分块文件的起始信息和/或终止信息，确定所述分块文件的数据范围；

根据所述数据范围，获取所述分块文件的文件句柄；以及，

提取所述源文件中对应所述文件句柄的目标数据；

判断所述目标数据是否被分块存储；

当所述目标数据被分块存储时，根据数据的起始信息和/或终止信息将全部所述目标数据进行合并，生成对应于所述查询条件的查询数据。

2.根据权利要求1所述的方法，其特征在于，所述源文件包括文件名和文件分体，所述文件名和所述文件分体一一对应；所述判断所述源文件是否为分块文件，包括：

获取所述源文件的文件名个数；

判断所述文件名个数是否大于1；

当所述文件名个数大于1时，则输出所述源文件为分块文件的结果；以及，

当所述文件名个数等于1时，则输出所述源文件为单一文件的结果。

3.根据权利要求1所述的方法，其特征在于，还包括：

检测所述目标数据是否提取完成；

当所述目标数据提取完成时，关闭所述源文件。

4.一种数据读取装置，其特征在于，包括：

数据获取模块，用于根据查询条件，于数据库中，获取源文件；其中，所述源文件为采用NetCDF格式存储气象、海洋或环境数值模拟数据的文件，所述源文件中包含有数据的起始信息和/或终止信息用来表示该数据所处的地理位置；

格式判断模块，用于判断所述源文件是否为分块文件；

句柄获取模块，用于当所述源文件为分块文件时，获取对应于每个所述分块文件中对应于所述查询条件的全部文件句柄；句柄获取模块还用于：当所述源文件为分块文件时，获取所述分块文件的分块维数信息；根据所述分块维数信息，获取所述分块文件的文件句柄；其中，所述分块维数信息包括分块文件的起始信息和/或终止信息；所述根据所述分块维数信息，获取所述分块文件的文件句柄，包括：根据所述分块文件的起始信息和/或终止信息，确定所述分块文件的数据范围；根据所述数据范围，获取所述分块文件的文件句柄；以及，

数据提取模块，用于提取所述源文件中对应所述文件句柄的目标数据；

数据合并模块，用于判断所述目标数据是否被分块存储，当所述目标数据被分块存储时，根据数据的起始信息和/或终止信息将全部所述目标数据进行合并，生成对应于所述查询条件的查询数据。

5.一种电子设备，其特征在于，包括：

存储器，用以存储计算机程序；

处理器，用以执行如权利要求1至3中任一项所述的方法。

Images