CN107885885A - 一种数据导入方法及装置 - Google Patents

Abstract

本发明提供了一种数据导入方法及装置，该方法包括：确定待导入数据包括的各个待导入数据列；确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；在每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据导入至对应的目标导入位置。因此，本方案提供的方案可以提高数据导入的效率。

Description

一种数据导入方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种数据导入方法及装置。

背景技术

随着计算机技术的发展，各个业务***之间需要进行频繁的数据导入操作，以使数据可以在各个业务***中发挥作用。

目前，数据导入的方法通常为：将待导入数据上传至预设的浏览器进行展示，并通过人工对展示在浏览器当中的数据进行逐条校验。在校验完成后，再次展示在浏览器中，然后将浏览器中的数据导入的到接收方。在导入时，需要将浏览器中的数据逐条将导入至接收方。

可见，现有的方式，需要与浏览器进行频繁交互，不仅人工校验数据，且需要逐条导入。因此，数据导入的效率较低。

发明内容

本发明实施例提供了一种数据导入方法及装置，可以提高数据导入效率。

第一方面，本发明实施例提供了一种数据导入方法，该方法包括：

确定待导入数据包括的各个待导入数据列；

确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

在每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；

针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据列导入至对应的目标导入位置。

优选地，

所述配置信息包括数据类型；

进一步包括：

设置数据分组器以及数据校验器；

所述根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验，包括：

利用所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验。

优选地，

所述数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

所述利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验，包括：

利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

优选地，

所述为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据导入至对应的目标导入位置，包括：

确定当前所述导入组中各个待导入数据列的总数据量；

判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置中。

优选地，

在所述对每一个所述校验组分别进行校验之后，进一步包括：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组。

优选地，

进一步包括：

设置至少一个配置项；

所述确定每一个所述待导入数据列分别对应的配置信息，包括：

针对每一个所述待导入数据列均执行，针对每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息。

优选地，

所述配置信息包括：源列名、数据类型、数据长度、源表列、目标导入位置表名称、目标导入位置列。

第二方面，本发明实施例提供了一种数据导入装置，该装置包括：

确定模块，用于确定待导入数据包括的各个待导入数据列；确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

校验模块，用于根据所述确定模块所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

导入模块，用于在所述校验模块校验每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据列导入至对应的目标导入位置。

优选地，

所述配置信息包括数据类型；

进一步包括：设置模块；

所述设置模块，用于设置数据分组器以及数据校验器；

所述校验模块，包括：分组子模块以及校验子模块；

所述分组子模块，用于利用所述设置模块设置的所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

所述校验子模块，用于利用所述设置模块设置的所述数据校验器对所述分组子模块利用所述数据分组器划分成的每一个所述校验组分别进行校验。

优选地，

所述数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

所述校验子模块，用于利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

优选地，

所述导入模块，包括：判断子模块以及导入子模块；

所述判断子模块，用于确定当前所述导入组中各个待导入数据列的总数据量；判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

所述导入子模块，用于利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置中。

优选地，

进一步包括：处理模块；

所述处理模块，用于执行A1至A5：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，触发所述导入模块执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组。

优选地，

进一步包括：配置项设置模块；

所述配置项设置模块，用于设置至少一个配置项；

所述确定模块，包括：配置信息确定子模块；

所述配置信息确定子模块，用于针对每一个所述待导入数据列均执行，针对所述配置项设置模块设置的每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息。

本发明实施例提供了一种数据导入方法及装置，在需要将待导入数据导入到接收方时，首先确定待导入数据包括的各个待导入数据列，并确定出每一个待导入数据列分别对应的配置信息以及在接收方中对应的目标导入位置列。并根据所确定的配置信息，将各个待导入数据列划分成各个校验组，并对每一个校验组分别进行校验。在各个校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组，并为每一个导入组生成对应的导入语句，利用所生成的导入语句将每一个导入组中包括的待导入数据导入至对应的目标导入位置。通过上述可知，在本方案中首先对待导入数据包括的各个待导入数据列进行分组校验。并在校验完成时划分成各个导入组，利用各个导入组对应的导入语句导入待导入数据。且在待导入数据的导入过程中，并不需要与浏览器进行频繁交互。因此，本发明实施例提供的方案可以提高数据导入的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的一种数据导入方法的流程图；

图2是本发明另一个实施例提供的一种数据导入方法的流程图；

图3是本发明一个实施例提供的数据导入装置所在设备的一种硬件结构图；

图4是本发明一个实施例提供的一种数据导入装置的结构示意图；

图5是本发明一个实施例提供的一种包括分组子模块和校验子模块的数据导入装置的结构示意图；

图6是本发明一个实施例提供的一种包括判断子模块和导入子模块的数据导入装置的结构示意图；

图7是本发明一个实施例提供的一种包括处理模块的数据导入装置的结构示意图；

图8是本发明一个实施例提供的一种包括配置项设置模块的数据导入装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种数据导入方法，该方法可以包括以下步骤：

步骤101：确定待导入数据包括的各个待导入数据列；

步骤102：确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

步骤103：根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

步骤104：在每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；

步骤105：依次在各个导入组中选择一个导入组作为当前所述导入组；

步骤106：为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据导入至对应的目标导入位置。

步骤107：判断当前所述导入组是否为最后一个导入组，如果是，结束当前流程；否则，执行步骤105。

根据图1所示的实施例，在需要将待导入数据导入到接收方时，首先确定待导入数据包括的各个待导入数据列，并确定出每一个待导入数据列分别对应的配置信息以及在接收方中对应的目标导入位置列。并根据所确定的配置信息，将各个待导入数据列划分成各个校验组，并对每一个校验组分别进行校验。在各个校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组，并为每一个导入组生成对应的导入语句，利用所生成的导入语句将每一个导入组中包括的待导入数据导入至对应的目标导入位置。通过上述可知，在本方案中首先对待导入数据包括的各个待导入数据列进行分组校验。并在校验完成时划分成各个导入组，利用各个导入组对应的导入语句导入待导入数据。且在待导入数据的导入过程中，并不需要与浏览器进行频繁交互。因此，本发明实施例提供的方案可以提高数据导入的效率。

在本发明一个实施例中，接收方的具体型式可以根据业务要求确定。比如，可以为关系型数据库。

在本发明一个实施例中，上述图1所示流程图中所涉及的配置信息可以包括：源列名、数据类型、数据长度、源表列、目标导入位置表名称、目标导入位置列。

在本实施例中，配置信息可以根据业务要求确定，包括但不限于源列名、数据类型、数据长度、源表列、目标导入位置表名称、目标导入位置列。其中，源列名为待导入数据列在数据导出方中的使用的列名。源表列为待导入数据列在待导入数据中所在列的名称。目标导入位置表名称为待导入数据列在数据接收方中目标导入表的名称。目标导入位置列为待导入数据列在目标导入表中所在列的名称。

下面以待导入数据列001为例进行说明，如表-1所示，为待导入数据列1对应的配置信息。

表-1

在本发明一个实施例中，在上述图1所示流程图中所涉及的配置信息包括数据类型时，数据导入方法可以进一步包括：设置数据分组器以及数据校验器；

则，上述图1所示流程图中的步骤103根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验，可以包括：

利用所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验。

在本实施例中，利用数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组的方法可以通过以下方式实现：在数据分组器中设置至少一个分组容器，其中，每一个分组容器对应一种样本类型。针对具有同一数据类型的各个待导入数据列均执行：在至少一个分组容器中确定目标分组容器，其中，目标分组容器对应的样本类型与当前数据类型一致；将具有当前数据类型的各个待导入数据列放置在目标分组容器中，形成一个校验组。

在本实施例中，一个样本类型可以对应多个分组容器。由于分组容器的容量有限，同一数据类型在一个分组容器中放不下时，可以利用对应同一类型的其他分组容器继续放置该数据类型对应的待导入数据列。

在本实施例中，在确定出各个校验组之后，可利用数据校验器对每一个校验组中的各个待导入数据列进行校验。以校验各个待导入数据列是否存在格式或内容错误，以保证各个待导入数据列的正确性。

根据上述实施例，利用数据分组器将具有同一数据类型的待导入数据列划分成一个校验组，并利用数据校验器分别对每一个校验组进行校验。由于对各个待导入数据列进行了分组校验，因此校验效率较高。

在本发明一个实施例中，上一个实施例中所涉及的数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

则，上一个实施例中所设计的步骤利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验，可以包括：

利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

在本实施例中，校验方法的种类可以根据业务要求确定。校验方法包括但不限于日期格式校验方法、数字格式校验方法以及字符格式校验方法中的至少一种或多种。其中，日期格式校验方法对应的校验类型为“日期格式类型”。数字格式校验方法对应的校验类型为“数字格式类型”。字符格式校验方法对应的校验类型为“字符格式类型”。

下面以存在一个校验组1为例进行说明，校验组1对应的数据类型为“数字格式类型”，则根据校验组1对应的数据类型“数字格式类型”，在至少一种校验类型确定目标校验类型“数字格式类型”。利用目标校验类型“数字格式类型”对应的校验方法“数字格式检验方法”对校验组1中的各个待导入数据列进行校验。

根据上述实施例，在对每一个校验组的各个待导入数据列进行校验时，可以在数据校验器中预先设置的各个校验方法中确定出目标校验方法，利用目标校验方法对校验组进行校验。由于利用对应的校验方法对每一个校验组中的各个待导入数据列进行校验，因此，各个待导入数据列校验的较为准确。

在本发明一个实施例中，上述图1所示流程图中的步骤106为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据导入至对应的目标导入位置，可以包括：

确定当前所述导入组中各个待导入数据列的总数据量；

判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置。

在本实施例中，由于接收方对语句长度有限定，因此需要根据接收方限定的语句长度确定阈值，以在每一个导入组中的各个待导入数据列的总数据量大于设定的阈值时，对导入组中的各个待导入数据列进行分组。

下面以导入组1为例进行说明，确定导入组1中各个待导入数据列的总数据量100(数据长度)达到预先设定的阈值40。则根据阈值将导入组1中各个待导入数据列划分成导入子组1(长度为40)、导入子组2(长度为40)以及导入子组3(长度为20)，然后为每一个导入子组分别生成对应的导入语句。利用导入子组1对应的导入语句将导入子组1中的各个待导入数据导入至对应的目标导入位置中。同理，利用导入子组2以及导入子组3对应的导入语句将各自对应的待导入数据列导入至各自对应的目标导入位置中。

在本实施例中，导入语句的具体型式可以根据业务要求确定。比如SQL语句。

根据上述实施例，由于根据每一个导入组的数据量为其生成对应的至少一个导入语句。利用所生成的导入语句将每一个导入组对应的各个待导入数据列导入至对应的目标导入位置中。由于以导入组为基准生成导入语句，因此减少了数据导入的导入次数。

在本发明一个实施例中，在上述图1所示流程图中的步骤103对每一个所述校验组分别进行校验之后，可以进一步包括：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组。

在本实施例中，当存在至少一个校验组校验不通过时，则说明待导入数据存在问题，生成包括当前校验不通过的各个待导入数据列的错误报告。该错误报告可通过浏览器展示给用户，以使用户根据错误报告对待导入数据进行修改。在接收到针对于错误校验报告的校正数据时，利用校正数据对待导入数据进行更新，并对更新后的校验不通过的校验组分别进行校验，在校验完成后，继续判断是否存在校验不通过的校验组。重复上述过程，直到所有的校验组的校验都通过。

根据上述实施例，在对各个校验组进行校验之后，需要判断是否在各个校验组中是否存在校验组的校验不通过，如果存在校验不通过的校验组时，对其进行更新操作，直到所有的校验组的校验均通过为止，因此可以提高校验正确性。

在本发明一个实施例中，数据导入方法可以进一步包括：设置至少一个配置项；

则，上述图1所示流程图中的步骤102确定每一个所述待导入数据列分别对应的配置信息，可以包括：

针对每一个所述待导入数据列均执行，针对每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息。

在本实施例中，配置项的型式可以根据业务要求确定。比如配置项可以包括但不限于序号、列名、类型、长度、源表列、目的表、目的表列中的至少一种或多种。

在配置项中包括序号、列名、类型、长度、源表列、目的表、目的表列时，可以以表-2的型式记录。

表-2

下面以向关系型数据库D导入待导入数据A为例。展开说明数据导入方法，如图2所示，该数据导入方法可以包括如下步骤：

步骤201：设置数据分组器以及数据校验器，其中，数据校验器中设置有至少一种校验方法，其中，每一种校验方法分别对应一种校验类型。

在本步骤中，数据检验器中设置的校验方法包括日期格式检验方法、数字格式检验方法以及字符格式校验方法。其中，日期格式检验方法对应的校验类型为“日期格式类型”。数字格式检验方法对应的校验类型为“数字格式类型”。字符格式校验方法对应的校验类型为“字符格式类型”。

步骤202：确定待导入数据包括的各个待导入数据列。

在本步骤中，确定待导入数据A包括的各个待导入数据列(待导入数据列1至5)。

步骤203：确定每一个待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列。

在本步骤中，以待导入数据列1为例进行说明，待导入数据列1对应的配置信息以及目标导入位置列见表-1所示。(数据类型为字符格式，目标导入位置列为ZCH_SWKP_KPNM)。

步骤204：利用数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组。

在本步骤中，待导入数据列1以及待导入数据列2均为“字符格式类型”，则划分成一个校验组1。待导入数据列3至5均为“日期格式类型”则划分成一个校验组2。

步骤205：利用数据校验器针对每一个校验组均执行，根据校验组对应的数据类型，在至少一种校验类型确定目标校验类型；利用目标校验类型对应的校验方法对校验组中的各个待导入数据列进行校验。

在本步骤中，以校验组1为例进行说明，利用数据校验器根据校验组1的数据类型“字符格式类型”利用校验方法“字符格式校验方法”对校验组1中的各个待导入数据列进行校验。

在本步骤中，可以通过如下语句实现：

数据效验逻辑效验日期格式

整数格式验证

步骤206：判断在各个校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤207；否则，执行步骤211。

在本步骤中，以校验组1为例进行说明，判断出校验组1的校验不通过，执行步骤207。

步骤207：生成错误校验报告；其中，错误校验报告中包括当前校验不通过的各个待导入数据列。

在本步骤中，以校验组1为例进行说明，生成错误校验报告，错误校验报告中包括验组1中的待导入数据列1存在格式错误的说明。

步骤208：接收针对于错误校验报告的校正数据。

在本步骤中，接收到正确格式的待导入数据列1的校正数据。

步骤209：利用校正数据对当前校验不通过的至少一个校验组进行更新。

在本步骤中，利用步骤208接收到的校正数据对待导入数据列1进行更新。

步骤210：对更新后的每一个当前校验不通过的校验组分别进行校验，并执行步骤206。

在本步骤中，对更新后的校验组1进行校验。

步骤211：将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组。

在本步骤中，以待导入数据列1以及待导入数据列3对应的目标导入位置列相同为例进行说明。待导入数据列1以及待导入数据列3对应的目标导入位置列均为ZCH_SWKP_KPNM，则将待导入数据列1以及待导入数据列3划分为同一导入组1。

步骤212：依次在各个导入组中选择一个导入组作为当前所述导入组。

步骤213：确定当前导入组中各个待导入数据列的总数据量。

在本步骤中，以导入组1为当前导入组为例进行说明，确定导入组1的总数据量为50。

步骤214：判断总数据量是否达到预先设定的阈值，如果是，执行步骤215；否则，执行步骤218。

在本步骤中，以导入组1为当前导入组为例进行说明，判断总数据量50未达到预先设定的阈值100，则执行步骤218。

步骤215：将当前导入组中各个待导入数据列划分成至少两个导入子组。

步骤216：为每一个导入子组生成对应的导入语句。

步骤217：利用每一个导入子组对应的导入语句，将每一个导入子组中的各个待导入数据列导入至对应的目标导入位置中，并执行步骤220。

步骤218：为当前导入组生成对应的导入语句。

在本步骤中，以导入组1为当前导入组为例进行说明，为导入组1生成对应的导入语句1。

在本步骤中，可以通过如下语句实现：

步骤219：利用所生成的导入语句将当前导入组中的各个待导入数据列导入至对应的目标导入位置中。

在本步骤中，以导入组1为当前导入组为例进行说明，利用导入语句1将导入组1中的待导入数据列1以及待导入数据列3导入至对应的目标导入位置“ZCH_SWKP_KPNM”中。

步骤220：判断当前导入组是否为最后一个导入组，如果是，结束当前流程；否则，执行步骤212。

如图3、图4所示，本发明实施例提供了一种数据导入装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。从硬件层面而言，如图3所示，为本发明实施例提供的数据导入装置所在设备的一种硬件结构图，除了图3所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等。以软件实现为例，如图4所示，作为一个逻辑意义上的装置，是通过其所在设备的CPU将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。本实施例提供的数据导入装置，包括：

确定模块401，用于确定待导入数据包括的各个待导入数据列；确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

校验模块402，用于根据所述确定模块401所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

导入模块403，用于在所述校验模块402校验每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据列导入至对应的目标导入位置。

根据图4所示的实施例，在本方案中首先校验模块对待导入数据包括的各个待导入数据列进行分组校验。并在校验完成时划分成各个导入组，导入模块利用各个导入组对应的导入语句导入待导入数据。且在待导入数据的导入过程中，并不需要与浏览器进行频繁交互。因此，本发明实施例提供的方案可以提高数据导入的效率。

在本发明一个实施例中，如图5所示，在所述配置信息包括数据类型时，数据导入装置可以进一步包括：设置模块501；

所述设置模块501，用于设置数据分组器以及数据校验器；

则，所述校验模块402可以包括：分组子模块4021以及校验子模块4022；

所述分组子模块4021，用于利用所述设置模块501设置的所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

所述校验子模块4022，用于利用所述设置模块501设置的所述数据校验器对所述分组子模块4021利用所述数据分组器划分成的每一个所述校验组分别进行校验。

在本发明一个实施例中，所述数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

所述校验子模块4022，用于利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

在本发明一个实施例中，如图6所示，所述导入模块403可以包括：判断子模块4031以及导入子模块4032；

所述判断子模块4031，用于确定当前所述导入组中各个待导入数据列的总数据量；判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

所述导入子模块4032，用于利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置。

在本发明一个实施例中，如图7所示，数据导入装置可以进一步包括：处理模块601；

所述处理模块601，用于执行A1至A5：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，触发所述导入模块执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组。

在本发明一个实施例中，如图8所示，数据导入装置可以进一步包括：配置项设置模块701；

所述配置项设置模块701，用于设置至少一个配置项；

则，所述确定模块401可以包括：配置信息确定子模块4011；

所述配置信息确定子模块4011，用于针对每一个所述待导入数据列均执行，针对所述配置项设置模块设置的每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息。

在本发明一个实施例提供了一种可读介质，该可读介质包括：执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述任一项所述的数据导入的方法。

在本发明一个实施例提供了一种存储控制器，该存储控制器包括：处理器、存储器和总线；所述存储器用于存储执行指令；所述处理器与所述存储器通过所述总线连接；当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行上述任一项所述的数据导入的方法。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明各个实施例至少可以实现如下有益效果：

1、在本发明实施例中，在需要将待导入数据导入到接收方时，首先确定待导入数据包括的各个待导入数据列，并确定出每一个待导入数据列分别对应的配置信息以及在接收方中对应的目标导入位置列。并根据所确定的配置信息，将各个待导入数据列划分成各个校验组，并对每一个校验组分别进行校验。在各个校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组，并为每一个导入组生成对应的导入语句，利用所生成的导入语句将每一个导入组中包括的待导入数据导入至对应的目标导入位置。通过上述可知，在本方案中首先对待导入数据包括的各个待导入数据列进行分组校验。并在校验完成时划分成各个导入组，利用各个导入组对应的导入语句导入待导入数据。且在待导入数据的导入过程中，并不需要与浏览器进行频繁交互。因此，本发明实施例提供的方案可以提高数据导入的效率。

2、在本发明实施例中，利用数据分组器将具有同一数据类型的待导入数据列划分成一个校验组，并利用数据校验器分别对每一个校验组进行校验。由于对各个待导入数据列进行了分组校验，因此校验效率较高。

3、在本发明实施例中，在对每一个校验组的各个待导入数据列进行校验时，可以在数据校验器中预先设置的各个校验方法中确定出目标校验方法，利用目标校验方法对校验组进行校验。由于利用对应的校验方法对每一个校验组中的各个待导入数据列进行校验，因此，各个待导入数据列校验的较为准确。

4、在本发明实施例中，由于根据每一个导入组的数据量为其生成对应的至少一个导入语句。利用所生成的导入语句将每一个导入组对应的各个待导入数据列导入至对应的目标导入位置中。由于以导入组为基准生成导入语句，因此减少了数据导入的导入次数。

5、在本发明实施例中，在对各个校验组进行校验之后，需要判断是否在各个校验组中是否存在校验组的校验不通过，如果存在校验不通过的校验组时，对其进行更新操作，直到所有的校验组的校验均通过为止，因此可以提高校验正确性。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据导入方法，其特征在于，包括：

确定待导入数据包括的各个待导入数据列；

确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

在每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；

针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据列导入至对应的目标导入位置。

2.根据权利要求1所述的方法，其特征在于，

所述配置信息包括数据类型；

进一步包括：

设置数据分组器以及数据校验器；

所述根据所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验，包括：

利用所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验。

3.根据权利要求2所述的方法，其特征在于，

所述数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

所述利用所述数据校验器对所述数据分组器划分成的每一个所述校验组分别进行校验，包括：

利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

4.根据权利要求1所述的方法，其特征在于，

所述为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据导入至对应的目标导入位置，包括：

确定当前所述导入组中各个待导入数据列的总数据量；

判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置。

5.根据权利要求1至4任一所述的方法，其特征在于，

在所述对每一个所述校验组分别进行校验之后，进一步包括：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；

和/或，

进一步包括：

设置至少一个配置项；

所述确定每一个所述待导入数据列分别对应的配置信息，包括：

针对每一个所述待导入数据列均执行，针对每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息；

和/或，

所述配置信息包括：源列名、数据类型、数据长度、源表列、目标导入位置表名称、目标导入位置列。

6.一种数据导入装置，其特征在于，包括：

确定模块，用于确定待导入数据包括的各个待导入数据列；确定每一个所述待导入数据列分别对应的配置信息以及在外部接收方中对应的目标导入位置列；

校验模块，用于根据所述确定模块所确定的配置信息，将各个所述待导入数据列划分成至少一个校验组，并对每一个所述校验组分别进行校验；

导入模块，用于在所述校验模块校验每一个所述校验组均通过校验时，将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；针对每一个所述导入组均执行，为当前所述导入组生成对应的导入语句，利用所生成的导入语句将当前所述导入组中包括的待导入数据列导入至对应的目标导入位置。

7.根据权利要求6所述的装置，其特征在于，

所述配置信息包括数据类型；

进一步包括：设置模块；

所述设置模块，用于设置数据分组器以及数据校验器；

所述校验模块，包括：分组子模块以及校验子模块；

所述分组子模块，用于利用所述设置模块设置的所述数据分组器根据所确定的配置信息中的数据类型，将具有同一种数据类型的各个待导入数据列划分成同一个校验组；

所述校验子模块，用于利用所述设置模块设置的所述数据校验器对所述分组子模块利用所述数据分组器划分成的每一个所述校验组分别进行校验。

8.根据权利要求7所述的装置，其特征在于，

所述数据校验器中设置有至少一种校验方法，其中，每一种所述校验方法分别对应一种校验类型；

所述校验子模块，用于利用所述数据校验器针对每一个所述校验组均执行，根据所述校验组对应的数据类型，在所述至少一种校验类型确定目标校验类型；利用所述目标校验类型对应的校验方法对所述校验组中的各个待导入数据列进行校验。

9.根据权利要求6所述的装置，其特征在于，

所述导入模块，包括：判断子模块以及导入子模块；

所述判断子模块，用于确定当前所述导入组中各个待导入数据列的总数据量；判断所述总数据量是否达到预先设定的阈值，如果是，将当前所述导入组中各个待导入数据列划分成至少两个导入子组；为每一个所述导入子组生成对应的导入语句；

所述导入子模块，用于利用每一个所述导入子组对应的导入语句，将每一个所述导入子组中的各个待导入数据列导入至对应的目标导入位置。

10.根据权利要求6至9任一所述的装置，其特征在于，

进一步包括：处理模块；

所述处理模块，用于执行A1至A5：

A1：在各个所述校验组中存在至少一个校验组的校验不通过时，生成错误校验报告；其中，所述错误校验报告中包括当前校验不通过的各个待导入数据列；

A2：接收针对于所述错误校验报告的校正数据；

A3：利用所述校正数据对当前校验不通过的至少一个校验组进行更新；

A4：对更新后的每一个当前校验不通过的校验组分别进行校验；

A5：判断在各个所述校验组中是否存在至少一个校验组的校验不通过，如果是，执行步骤A1；否则，触发所述导入模块执行所述将对应同一个目标导入位置列的各个待导入数据列划分成一个导入组；

和/或，

进一步包括：配置项设置模块；

所述配置项设置模块，用于设置至少一个配置项；

所述确定模块，包括：配置信息确定子模块；

所述配置信息确定子模块，用于针对每一个所述待导入数据列均执行，针对所述配置项设置模块设置的每一个所述配置项，在当前所述待导入数据列中提取对应的数据值，将提取的各个数据值确定为当前待导入数据列对应的配置信息。