CN112597220A - 数据文件读取方法、装置、电子设备和介质 - Google Patents

Abstract

本发明实施例公开了一种数据文件读取方法、装置、电子设备和介质。所述方法包括：获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。本发明实施例实现了无需在本地端建立下载模块也可实现FTP数据文件的读取的效果，减少了FTP数据文件读取的成本。

Description

数据文件读取方法、装置、电子设备和介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据文件读取方法、装置、电子设备和介质。

背景技术

FTP(File Transfer Protocol，文件传输协议)是一种数据传输协议，通常由客户端和服务器构成的***实现，用户通过一个客户端程序连接至在远程计算机上运行的服务器程序，可以实现数据的上传以及下载。

FTP中数据文件的读取通常先由本地端的下载模块将FTP数据文件下载到本地端，再由ETL工具对本地端中的FTP数据文件进行读取。由于需要在本地端预先建立下载模块才能实现对FTP数据文件的读取，这无疑增加了FTP数据文件读取的成本。

发明内容

本申请实施例公开一种数据文件读取方法、装置、电子设备和介质，以减少FTP数据文件读取的成本。

第一方面，本发明实施例提供了一种数据文件读取方法，由ETL(Extract-Transform-Load，读取-转换-加载)工具客户端执行，所述方法包括：

获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

第二方面，本发明实施例提供了一种数据文件读取装置，配置于ETL客户端中，所述装置包括：

第一标识信息确定模块，用于获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

第二标识信息确定模块，用于获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

数据文件下载模块，用于根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据文件读取方法。

第四方面，本发明实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据文件读取方法。

本发明实施例实现了无需在本地端建立下载模块也可实现FTP数据文件的读取的效果，减少了FTP数据文件读取的成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例一提供的一种数据文件读取方法的流程图；

图2为本发明实施例二提供的一种数据文件读取方法的流程图；

图3为本发明实施例三提供的一种数据文件读取装置的结构示意图；

图4为本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的结构而非全部结构。

ETL工具是指用于实现将数据从来源端经过读取(extract)、转换(transform)和加载(load)至目的端的过程的工具，常常用于数据仓库技术领域中。但是ETL工具本身不具有直接从FTP中读取数据文件的功能，以ETL工具中的Flume为例，Flume具有开源性，通常以Source模型、Event模型、Interceptor模型、Channel模型和Sink模型为基本模型，完成数据文件读取、转换和加载过程。其内置多种Source对象可以从多种不同的数据源读取数据，其中内置的spooldir Source对象能够实现从本地端目录可靠地读取数据文件的功能。但是，如果将要读取的数据文件没有放置在本地段文件***而是通过FTP服务器提供，需要本地端中Flume外的下载模块(例如spooldir模块)将数据文件从FTP服务器中下载到本地端文件***，且放置到spooldir Source对象处理的目录中由spooldir Source进一步处理。这种额外增加数据下载模块的方式，不但增加了数据文件读取成本，还增加了***的复杂性且同时带来了更多的不稳定性，更有数据文件下载环节与spooldir Source对象不能有效协同的话，还会导致数据文件积压甚至数据丢失的风险。

实施例一

图1为本发明实施例一提供的一种数据文件读取方法的流程图。本实施例可适用于读取FTP数据文件的情况，该方法可以由本发明实施例提供的数据文件读取装置来执行，所述装置配置于ETL工具客户端中，可以由软件和/或硬件的方式来实现。如图1所示，该方法可以包括：

步骤101、获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息。

在一种实施方式中，在本地端预设有第一集合文件，用于存储在本地端完成数据读取的数据文件对应的标识信息，例如数据文件A的标识信息为“0001”，则当完成对数据文件A的读取时，将“0001”存储于上述第一集合文件中。通过调用文件获取方法，例如getCandidateFiles方法，获取本地端中的第一集合文件中存储的读取完成的数据文件对应的第一标识集合，并调用遍历搜索方法，例如Files.walkFileTree方法，遍历FTP服务器目录，确定FTP服务器中所有的数据文件的标识信息，并将获取的标识信息与第一标识集合进行比对，以确定获取的标识信息中未读取完成的数据文件对应的第一标识信息，进而将第一标识信息返回给本地端以供后续处理。

可选的，确定FTP服务器中未读取完成的数据文件对应的第一标识信息的同时，还包括：

确定FTP服务器中未读取完成的数据文件的最后修改日期。

其中，最后修改日期即数据文件的内容最后一次被增加、删除或调整时对应的日期。可在数据文件的属性信息中进行查询，以确定数据文件的最后修改日期。

通过确定FTP服务器中未读取完成的数据文件的最后修改日期，为后续基于最后修改日期顺序在本地端对FTP数据文件进行读取，奠定了基础。

通过获取读取完成的数据文件对应的第一标识集合，并根据第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息，实现了确定FTP服务器中未读取完成的数据文件的效果，为后续确定未读取完成的数据文件中的未读取数据文件，奠定了基础。

步骤102、获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息。

其中，已读取数据文件表示在本地端中进行过读取但还未读取完成的数据文件，例如人为主观或者客观原因导致读取中断的数据文件；未读取数据文件表示从未在本地端中进行读取的数据文件。

在一种实施方式中，在本地端预设有第二集合文件，用于存储在本地端进行过读取但还未读取完成的数据文件对应的标识信息，例如数据文件B的标识信息为“0002”，则当开始对数据文件B进行读取且未读取完成时，将“0002”存储于上述第二集合文件中。通过调用文件获取方法，例如getCandidateFiles方法，获取本地端中的第二集合文件中存储的已读取数据文件对应的第二标识集合。进而将第一标识信息与第二标识集合进行比对，以确定第一标识信息中未读取数据文件对应的第二标识信息。

通过获取已读取数据文件对应的第二标识集合，并根据第二标识集合确定第一标识信息中未读取数据文件对应的第二标识信息，实现了确定FTP中未读取数据文件的效果，为后续将这些未读取数据文件下载到本地端奠定了基础。

步骤103、根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

在一种实施方式中，根据第二标识信息访问FTP服务器目录中对应的数据文件，并通过预先编写的文件打开方法，例如newInputStream方法，实现将第二标识信息对应的FTP数据文件下载到本地端，并对这些数据文件进一步的执行数据读取操作。

可选的，步骤103中对数据文件进行读取，包括：

将各数据文件对应的最后修改日期进行排序，并根据排序顺序对各数据文件分别进行读取。

例如，以升序/降序的方式对各数据文件的最后修改日期进行排序，并根据排序顺序将最后修改日期最早/最晚的数据文件，作为第一个读取的数据文件。

通过将各数据文件对应的最后修改日期进行排序，并根据排序顺序对各数据文件分别进行读取，实现了基于数据文件的最后修改日期，对数据文件分别进行读取的效果，满足了用户的实际需求。

本发明实施例提供的技术方案，通过获取读取完成的数据文件对应的第一标识集合，并根据第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息，进而获取已读取数据文件对应的第二标识集合，并根据第二标识集合确定第一标识信息中未读取数据文件对应的第二标识信息，最终根据第二标识信息，从FTP服务器中下载第二标识信息对应的数据文件并进行读取，由于无需在ETL工具外设置下载模块进行FTP数据文件的下载，而是将FTP数据文件的下载环节集成在了ETL工具中，因此减少了FTP数据文件读取的成本，并且降低了整体过程的复杂度且提高了整体稳定性。

实施例二

图2为本发明实施例二提供的一种数据文件读取方法的流程图。本实施例在上述各可选实施例基础上进行优化，如图2所示，该方法可以包括：

步骤201、获取读取完成的数据文件对应的第一标识集合。

步骤202、获取所述FTP服务器中各数据文件对应的标识信息，并将所述第一标识集合与所述各数据文件对应的标识信息进行匹配，将所述各数据文件对应的标识信息中，除所述第一标识集合外的标识信息，作为第一标识信息。

示例性的，假设FTP服务器中数据文件的标识信息分别为“001”、“002”、“003”、“004”和“005”，第一标识集合中包括的标识信息为“002”、“003”和“004”，则第一标识信息为“001”和“005”，即FTP服务器中标识信息为“001”和“005”的数据文件为未读取完成的数据文件。

步骤203、获取已读取数据文件对应的第二标识集合。

步骤204、将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中除所述第二标识集合外的标识信息，作为第二标识信息，并将所述第一标识信息中属于所述第二标识集合的标识信息，作为第三标识信息。

其中，第三标识信息对应的数据文件即在本地端中进行过读取但还未读取完成的数据文件，例如人为主观或者客观原因导致读取中断的数据文件。

示例性的，假设第二标识集合包括的标识信息为“001”、“002”和“003”，第一标识信息为“001”和“005”，则第二标识信息为“005”，第三标识信息为“001”。

步骤205、根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取，并根据所述第三标识信息，从本地端读取所述第三标识信息对应的数据文件。

在一种实施方式中，根据第三标识信息，在本地端进行搜索匹配确定第三标识信息对应的数据文件并进行数据读取；根据第二标识信息访问FTP服务器目录中对应的数据文件，并通过预先编写的文件打开方法实现将第二标识信息对应的FTP数据文件下载到本地端，并对这些数据文件进一步的执行数据读取操作。

可选的，步骤205中“从本地端读取所述第三标识信息对应的数据文件”，包括：

根据所述第三标识信息，获取所述第三标识信息对应的追溯数据；根据所述追溯数据确定所述第三标识信息对应数据文件的历史读取位置，并将所述历史读取位置为起点对所述第三标识信息对应的数据文件进行读取。

其中，当ETL工具对各数据文件的读取操作中断时，本地端***会记录数据文件当前被读取的位置并作为该数据文件的历史读取位置，进而将历史读取位置以追溯数据的形式存储在本地端。

在一种实施方式中，在本地端中根据第三标识信息在追溯数据中进行匹配搜索，确定第三标识信息对应的追溯数据，并根据得到的追溯数据解析得到第三标识信息对应数据文件的历史读取位置，进而将历史读取位置作为上次数据读取的终点，即本次数据读取的起点对第三标识信息对应的数据文件进行读取。

通过根据第三标识信息，获取第三标识信息对应的追溯数据，并根据追溯数据确定第三标识信息对应数据文件的历史读取位置，进而将历史读取位置为起点对第三标识信息对应的数据文件进行读取，实现了对于已读取数据文件从上次读取位置继续读取数据的效果，达到不读取重复的数据或尽量少读取重复数据的效果，以此实现数据文件被可靠地读取。

本发明实施例提供的技术方案，通过获取读取完成的数据文件对应的第一标识集合，并获取FTP服务器中各数据文件对应的标识信息，将第一标识集合与各数据文件对应的标识信息进行匹配，将各数据文件对应的标识信息中，除第一标识集合外的标识信息，作为第一标识信息，获取已读取数据文件对应的第二标识集合，将第二标识集合与第一标识信息进行匹配，将第一标识信息中除第二标识集合外的标识信息，作为第二标识信息，并将第一标识信息中属于第二标识集合的标识信息，作为第三标识信息，根据第二标识信息，从FTP服务器中下载第二标识信息对应的数据文件并进行读取，并根据第三标识信息，从本地端读取第三标识信息对应的数据文件，实现了对本地端已读数据文件继续进行读取的同时，还对FTP未读取数据文件进行下载及读取的效果，进一步的由于无需在ETL工具外设置下载模块进行FTP数据文件的下载，而是将FTP数据文件的下载环节集成在了ETL工具中，因此减少了FTP数据文件读取的成本，并且降低了整体过程的复杂度且提高了整体稳定性。

在上述实施例的基础上，步骤202之前，包括：

从所述FTP服务器对应的配置文件中获取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用户名、密码以及数据文件存放目录；基于所述FTP配置信息建立与所述FTP服务器之间的通信连接。

其中，地址信息包括但不限于FTP服务器的IP(Internet Protocol，网际互连协议)地址或MAC(Media Access Control Address，媒体存取控制位址)地址等；端口信息包括FTP服务器包括的端口名称，以及各端口提供的服务信息；用户名和密码作为连接FTP服务器的身份验证信息；数据文件存放目录则体现了FTP服务器中各数据文件的存储路径。

在一种实施方式中，通过对FTP服务器的配置文件进行条件搜索，以获取FTP服务器对应的FTP配置信息，并根据FTP配置信息建立与FTP服务器之间的通信连接。

通过从FTP服务器对应的配置文件中获取FTP配置信息，并基于FTP配置信息建立与FTP服务器之间的通信连接，为后续从服务器中获取各数据文件对应的标识信息奠定了基础。

本实施例还提供了一种实际工作中实现本实施例提供的数据文件读取方法的方式，以ETL工具为Flume为例：

调用Flume中SpoolDirectorySource类的configure方法从配置文件中读取FTP的配置信息：地址信息、端口信息、用户名、密码以及数据文件存放目录。并创建ReliableSpoolingFileEventReader对象，同时将读取到的FTP配置信息传递给ReliableSpoolingFileEventReader对象，供ReliableSpoolingFileEventReader对象基于配置信息建立与FTP服务器之间的通信连接。ReliableSpoolingFileEventReader对象创建的过程，同时创建了可支持读取FTP数据文件的接口：FileSystemProvider对象，以使得Flume基于FileSystemProvider对象能够实现读取FTP数据文件。最后由SpoolDirectorySource类调用ReliableSpoolingFileEventReader对象的readEvent方法，以触发ReliableSpoolingFileEventReader对象执行预设操作。ReliableSpoolingFileEventReader的readEvent方法被调用后，ReliableSpoolingFileEventReader通过getCandidateFiles方法获取读取完成的数据文件对应的第一标识集合，并通过Files.walkFileTree方法遍历FTP服务器中各数据文件对应的标识信息，将遍历到的标识信息与第一标识集合进行匹配，确定未读取完成的数据文件对应的第一标识信息，并将第一标识信息以及对应数据文件的最后修改日期共同返回本地端。Files.walkFileTree方法遍历过程用到FileSystemProvider的抽象方法newDirectoryStream、readAttributes及其它依赖方法。ReliableSpoolingFileEventReader对最后修改日期进行排序，并基于排序顺序选择一个数据文件进行读取，若该数据文件的标识信息属于第二标识集合，则获取此数据文件的追溯数据，从追溯数据中获取此数据文件的历史读取位置，从历史读取位置开始继续读取数据文件。若该数据文件的标识信息不属于第二标识集合，则通过FileSystemProvider的newInputStream方法，根据该数据文件的标识信息将该数据文件从FTP中下载到本地端，进而进一步的进行读取操作。

实施例三

图3为本发明实施例三提供的一种数据文件读取装置的结构示意图，所述装置配置于ETL客户端中，可执行本发明任一实施例所提供的一种数据文件读取方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置可以包括：

第一标识信息确定模块31，用于获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

第二标识信息确定模块32，用于获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

数据文件下载模块33，用于根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

可选的，所述第一标识信息确定模块31，具体用于：

获取所述FTP服务器中各数据文件对应的标识信息；

将所述第一标识集合与所述各数据文件对应的标识信息进行匹配，将所述各数据文件对应的标识信息中，除所述第一标识集合外的标识信息，作为第一标识信息。

可选的，所述第二标识信息确定模块32，具体用于：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中除所述第二标识集合外的标识信息，作为第二标识信息。

可选的，所述装置还包括第三标识信息获取模块，具体用于：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中属于所述第二标识集合的标识信息，作为第三标识信息；

根据所述第三标识信息，从本地端读取所述第三标识信息对应的数据文件。

可选的，所述第三标识信息获取模块，具体还用于：

根据所述第三标识信息，获取所述第三标识信息对应的追溯数据；

根据所述追溯数据确定所述第三标识信息对应数据文件的历史读取位置，并将所述历史读取位置为起点对所述第三标识信息对应的数据文件进行读取。

可选的，所述装置还包括通信连接建立模块，具体用于：

从所述FTP服务器对应的配置文件中获取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用户名、密码以及数据文件存放目录；

基于所述FTP配置信息建立与所述FTP服务器之间的通信连接。

本发明实施例所提供的一种数据文件读取装置，可执行本发明任一实施例所提供的一种数据文件读取方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任一实施例提供的数据文件读取方法。

实施例四

图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备400的框图。图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400以通用计算电子设备的形式表现。电子设备400的组件可以包括但不限于：一个或者多个处理器或者处理单元401，***存储器402，连接不同***组件(包括***存储器402和处理单元401)的总线403。

总线403表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

电子设备400典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备400访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

***存储器402可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)404和/或高速缓存存储器405。电子设备400可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***406可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块407的程序/实用工具408，可以存储在例如存储器402中，这样的程序模块407包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。

电子设备400也可以与一个或多个外部电子设备409(例如键盘、指向电子设备、显示器410等)通信，还可与一个或者多个使得用户能与该电子设备400交互的电子设备通信，和/或与使得该电子设备400能与一个或多个其它计算电子设备进行通信的任何电子设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且，电子设备400还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器412通过总线403与电子设备400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备400使用其它硬件和/或软件模块，包括但不限于：微代码、电子设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理单元401通过运行存储在***存储器402中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据文件读取方法，包括：

获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

实施例五

本发明实施例五还提供了一种计算机可读存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据文件读取方法，该方法包括：

获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种数据文件读取方法中的相关操作。本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种数据文件读取方法，其特征在于，由ETL(Extract-Transform-Load，读取-转换-加载)工具客户端执行，所述方法包括：

获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP(File Transfer Protocol，文件传输协议)服务器中未读取完成的数据文件对应的第一标识信息；

获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

2.根据权利要求1所述的方法，其特征在于，根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息，包括：

获取所述FTP服务器中各数据文件对应的标识信息；

将所述第一标识集合与所述各数据文件对应的标识信息进行匹配，将所述各数据文件对应的标识信息中，除所述第一标识集合外的标识信息，作为第一标识信息。

3.根据权利要求1所述的方法，其特征在于，根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息，包括：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中除所述第二标识集合外的标识信息，作为第二标识信息。

4.根据权利要求1所述的方法，其特征在于，获取已读取数据文件对应的第二标识集合之后，包括：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中属于所述第二标识集合的标识信息，作为第三标识信息；

根据所述第三标识信息，从本地端读取所述第三标识信息对应的数据文件。

5.根据权利要求4所述的方法，其特征在于，从本地端读取所述第三标识信息对应的数据文件，包括：

根据所述第三标识信息，获取所述第三标识信息对应的追溯数据；

根据所述追溯数据确定所述第三标识信息对应数据文件的历史读取位置，并将所述历史读取位置为起点对所述第三标识信息对应的数据文件进行读取。

6.根据权利要求2所述的方法，其特征在于，获取所述FTP服务器中各数据文件对应的标识信息之前，包括：

从所述FTP服务器对应的配置文件中获取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用户名、密码以及数据文件存放目录；

基于所述FTP配置信息建立与所述FTP服务器之间的通信连接。

7.一种数据文件读取装置，其特征在于，配置于ETL客户端中，所述装置包括：

第一标识信息确定模块，用于获取读取完成的数据文件对应的第一标识集合，并根据所述第一标识集合确定FTP服务器中未读取完成的数据文件对应的第一标识信息；

第二标识信息确定模块，用于获取已读取数据文件对应的第二标识集合，并根据所述第二标识集合确定所述第一标识信息中未读取数据文件对应的第二标识信息；

数据文件下载模块，用于根据所述第二标识信息，从所述FTP服务器中下载所述第二标识信息对应的数据文件并进行读取。

8.根据权利要求7所述的装置，其特征在于，所述第一标识信息确定模块，具体用于：

获取所述FTP服务器中各数据文件对应的标识信息；

将所述第一标识集合与所述各数据文件对应的标识信息进行匹配，将所述各数据文件对应的标识信息中，除所述第一标识集合外的标识信息，作为第一标识信息。

9.根据权利要求7所述的装置，其特征在于，所述第二标识信息确定模块，具体用于：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中除所述第二标识集合外的标识信息，作为第二标识信息。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括第三标识信息获取模块，具体用于：

将所述第二标识集合与所述第一标识信息进行匹配，将所述第一标识信息中属于所述第二标识集合的标识信息，作为第三标识信息；

根据所述第三标识信息，从本地端读取所述第三标识信息对应的数据文件。

11.根据权利要求10所述的装置，其特征在于，所述第三标识信息获取模块，具体还用于：

根据所述第三标识信息，获取所述第三标识信息对应的追溯数据；

根据所述追溯数据确定所述第三标识信息对应数据文件的历史读取位置，并将所述历史读取位置为起点对所述第三标识信息对应的数据文件进行读取。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括通信连接建立模块，具体用于：

从所述FTP服务器对应的配置文件中获取FTP配置信息；其中，所述FTP配置信息包括地址信息、端口信息、用户名、密码以及数据文件存放目录；

基于所述FTP配置信息建立与所述FTP服务器之间的通信连接。

13.一种电子设备，其特征在于，所述电子设备还包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据文件读取方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的数据文件读取方法。

Images