CN110737636B

CN110737636B - 一种数据导入方法和装置以及设备

Info

Publication number: CN110737636B
Application number: CN201910906522.0A
Authority: CN
Inventors: 黄永刚; 沈毅; 柯文朴; 姚思明
Original assignee: Xiamen Information Group Big Data Operation Co ltd
Current assignee: Xiamen Information Group Big Data Operation Co ltd
Priority date: 2019-09-24
Filing date: 2019-09-24
Publication date: 2022-07-22
Anticipated expiration: 2039-09-24
Also published as: CN110737636A

Abstract

本发明公开了一种数据导入方法和装置以及设备。其中，所述方法包括：选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件，对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该文件传输协议目录下的文件的文件格式，为该解析成的可扩展标记语言数据文件创建表结构，获取该经创建表结构后的可扩展标记语言数据文件的定量数据，根据该定量数据，对该经创建表结构后的可扩展标记语言数据文件进行准确性校验得到校验结果，将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

Description

一种数据导入方法和装置以及设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据导入方法和装置以及设备。

背景技术

XML(Extensible Markup Language，可扩展标记语言)，是网络环境中跨平台的，依赖于内容的技术，是当前处理结构化文档信息的有力工具。可扩展标记语言XML是当今最常用的一种简单的数据存储语言，它可以使用一系列简单的自定义标记描述数据。

现有的数据导入方案，一般是要求放到FTP(File Transfer Protocol，文件传输协议)目录下的文件为可扩展标记语言XML数据文件，放到同一文件传输协议FTP目录下的文件的各个可扩展标记语言XML数据文件的数据结构需要相同，无法实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

发明内容

有鉴于此，本发明的目的在于提出一种数据导入方法和装置以及设备，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

根据本发明的一个方面，提供一种数据导入方法，包括：

选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件；

对不同结构的可扩展标记语言数据文件进行解析，解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式；

为所述解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构；

获取经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据；

根据所述获取的定量数据，对经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果；

将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中。

其中，所述对不同结构的可扩展标记语言数据文件进行解析，解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式，包括：

对不同结构的可扩展标记语言数据文件同时或分别进行解析，解析成匹配所述选中并读取的文件传输协议目录下的文件的相同或不同文件格式。

其中，所述为所述解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，包括：

通过在表结构中增加字段的方式，为所述解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构。

其中，在所述将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中之后，还包括：

将所述导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，所述生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点。

根据本发明的另一个方面，提供一种数据导入装置，包括：

选取模块、解析模块、创建模块、获取模块、校验模块和导入模块；

所述选取模块，用于选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件；

所述解析模块，用于对不同结构的可扩展标记语言数据文件进行解析，解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式；

所述创建模块，用于为所述解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构；

所述获取模块，用于获取经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据；

所述校验模块，用于根据所述获取的定量数据，对经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果；

所述导入模块，用于将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中。

其中，所述解析模块，具体用于：

其中，所述创建模块，具体用于：

其中，所述数据导入装置，还包括：

生成模块；

所述生成模块，用于将所述导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，所述生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点。

根据本发明的又一个方面，提供一种数据导入设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的数据导入方法。

根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的数据导入方法。

可以发现，以上方案，可以选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件，和可以对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式，和可以为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，和可以获取该经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据，和可以根据该获取的定量数据，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果，以及可以将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

进一步的，以上方案，可以对不同结构的可扩展标记语言数据文件同时或分别进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的相同或不同文件格式，这样的好处是便于将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

进一步的，以上方案，可以通过在表结构中增加字段的方式，为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，这样的好处是能够通过该增加的字段方便记录和管理该创建的表结构对应的可扩展标记语言数据文件。

进一步的，以上方案，可以将该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，该生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点等，这样的好处是方便对该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件进行归类管理，提高管理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明数据导入方法一实施例的流程示意图；

图2是本发明数据导入方法另一实施例的流程示意图；

图3是本发明数据导入装置一实施例的结构示意图；

图4是本发明数据导入装置另一实施例的结构示意图；

图5是本发明数据导入设备一实施例的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种数据导入方法，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

请参见图1，图1是本发明数据导入方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：

S101：选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件。

在本实施例中，文件传输协议FTP是TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)协议组中的协议之一。FTP协议可以包括两个组成部分，其中一个组成部分可以是FTP服务器，其中另一个组成部分可以是FTP客户端。其中FTP服务器用来存储文件，可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。

S102：对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式。

其中，该对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式，可以包括：

对不同结构的可扩展标记语言数据文件同时或分别进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的相同或不同文件格式，这样的好处是便于将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

在本实施例中，可以在入口弹窗中增加XML卡片，可以在TXT(文本文档)后面加，可以单击进入到图形化界面的导入页面。

在本实施例中，可以要求每个XML文件中的字段结构不相同，也可以要求每个XML文件中的字段结构相同，只要求XML文件的文件格式匹配该选中并读取的文件传输协议目录下的文件即可，对于每个XML文件中的字段结构形式不加以限定。

在本实施例中，可以新增入口，在入口弹窗中新增XML，单击进入到XML导入任务页面，可以要求鼠标移入有hover(悬浮)效果。

在本实施例中，XML导入任务页面，可以包括：

数据源名称：只能选择XML的数据源，支持模糊搜索；

文件路径：显示选中数据源下的路径，支持模糊搜索；

存储到分区：只能选择Kudu(开源的存储引擎)的分区，支持模糊搜索；

导入文件预览：无XML文件时显示暂无可预览文件，有文件时显示选中路径下的所有XML文件，可以显示文件名.XML。

S103：为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构。

其中，该为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，可以包括：

通过在表结构中增加字段的方式，为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，这样的好处是能够通过该增加的字段方便记录和管理该创建的表结构对应的可扩展标记语言数据文件。

在本实施例中，一个可扩展标记语言数据文件创建一个表结构，每个可扩展标记语言数据文件创建的表结构各不相同。

在本实施例中，可以给该创建的表结构中增加字段，该增加的字段方便记录和管理该创建的表结构对应的可扩展标记语言数据文件，例如该创建的表结构对应的可扩展标记语言数据文件来自于什么文件等。

在本实施例中，单个XML文件中的数据结构可以要求每单个XML文件中的数据结构要求每row(列)的结构相同，也可以要求每单个XML文件中的数据结构要求每列的结构不相同，本发明不加以限定。

在本实施例中，可扩展标记语言数据文件的表头可以要求不能包含特殊字符或者以数字开头，也可以要求能包含特殊字符或者以数字开头等，本发明不加以限定。

S104：获取该经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据。

在本实施例中，该定量数据可以是以数量形式存在着的属性，并因此可以对其进行测量的数据，本发明不加以限定。

S105：根据该获取的定量数据，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果。

在本实施例中，可以根据预先设置的不同结构的可扩展标记语言数据文件的文件标准，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果，本发明不加以限定。

S106：将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中。

其中，在该将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中之后，还可以包括：

将该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，该生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点等，这样的好处是方便对该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件进行归类管理，提高管理效率。

可以发现，在本实施例中，可以选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件，和可以对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式，和可以为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，和可以获取该经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据，和可以根据该获取的定量数据，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果，以及可以将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

进一步的，在本实施例中，可以对不同结构的可扩展标记语言数据文件同时或分别进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的相同或不同文件格式，这样的好处是便于将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

进一步的，在本实施例中，可以通过在表结构中增加字段的方式，为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，这样的好处是能够通过该增加的字段方便记录和管理该创建的表结构对应的可扩展标记语言数据文件。

请参见图2，图2是本发明数据导入方法另一实施例的流程示意图。本实施例中，该方法包括以下步骤：

S201：选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件。

可如上S101所述，在此不作赘述。

S202：对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式。

可如上S102所述，在此不作赘述。

S203：为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构。

可如上S103所述，在此不作赘述。

S204：获取该经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据。

可如上S104所述，在此不作赘述。

S205：根据该获取的定量数据，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果。

可如上S105所述，在此不作赘述。

S206：将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中。

可如上S106所述，在此不作赘述。

S207：将该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，该生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点等。

可以发现，在本实施例中，可以将该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，该生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点等，这样的好处是方便对该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件进行归类管理，提高管理效率。

本发明还提供一种数据导入装置，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中。

请参见图3，图3是本发明数据导入装置一实施例的结构示意图。本实施例中，该数据导入装置30包括选取模块31、解析模块32、创建模块33、获取模块34、校验模块35和导入模块36。

该选取模块31，用于选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件。

该解析模块32，用于对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式。

该创建模块33，用于为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构。

该获取模块34，用于获取该经创建表结构后的不同结构的可扩展标记语言数据文件的定量数据。

该校验模块35，用于根据该获取的定量数据，对该经创建表结构后的不同结构的可扩展标记语言数据文件进行准确性校验得到校验结果。

该导入模块36，用于将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中。

可选地，该解析模块32，可以具体用于：

对不同结构的可扩展标记语言数据文件同时或分别进行解析，解析成匹配该选中并读取的文件传输协议目录下的文件的相同或不同文件格式。

可选地，该创建模块33，可以具体用于：

通过在表结构中增加字段的方式，为该解析成匹配该选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构。

请参见图4，图4是本发明数据导入装置另一实施例的结构示意图。区别于上一实施例，本实施例所述数据导入装置40还包括生成模块41。

该生成模块41，用于将该导入到同一文件传输协议目录下的文件中的不同结构的可扩展标记语言数据文件生成血缘视图；其中，该生成的血缘视图包括可扩展标记语言数据文件的来源节点、中间节点、入库节点等。

该数据导入装置30/40的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。

本发明又提供一种数据导入设备，如图5所示，包括：至少一个处理器51；以及，与至少一个处理器51通信连接的存储器52；其中，存储器52存储有可被至少一个处理器51执行的指令，指令被至少一个处理器51执行，以使至少一个处理器51能够执行上述的数据导入方法。

其中，存储器52和处理器51采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器51和存储器52的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器51处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器51。

处理器51负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器52可以被用于存储处理器51在执行操作时所使用的数据。

本发明再提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

在本发明所提供的几个实施方式中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据导入方法，其特征在于，包括：

2.如权利要求1所述的数据导入方法，其特征在于，所述对不同结构的可扩展标记语言数据文件进行解析，解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式，包括：

3.如权利要求1所述的数据导入方法，其特征在于，所述为所述解析成匹配所述选中并读取的文件传输协议目录下的文件的文件格式的不同结构的可扩展标记语言数据文件创建表结构，包括：

4.如权利要求1所述的数据导入方法，其特征在于，在所述将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中之后，还包括：

5.一种数据导入装置，其特征在于，包括：

6.如权利要求5所述的数据导入装置，其特征在于，所述解析模块，具体用于：

7.如权利要求5所述的数据导入装置，其特征在于，所述创建模块，具体用于：

8.如权利要求5所述的数据导入装置，其特征在于，所述数据导入装置，还包括：

生成模块；

9.一种数据导入设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的数据导入方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的数据导入方法。