CN108241720B - 数据处理方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种数据处理方法和数据处理装置。所诉数据处理方法可以包括：利用预先配置的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

Description

数据处理方法、装置和计算机可读存储介质

技术领域

本发明涉及计算机领域，更具体地，涉及一种数据处理方法、装置和计算机可读存储介质，所述数据处理方法和装置能够将不同类型的数据统一转换成与之对应的中间表的数据格式，从而实现在大数据处理场景中数据分析处理的配置化，并降低程序编码的复杂性及维护成本。

背景技术

在电子商务领域，往往需要将业务***产生的数据按照一定的规则，按时、准确、完整地导出至中间表。

为了将业务数据导出至中间表，目前往往针对每种业务类型的数据编写单独的程序以便将其导出。例如，针对诸如采购数据和退货数据的业务数据编写单独的程序，以便将其导出为诸如采购中间表、退货中间表的中间表形式。具体操作包括：首先，执行业务***数据源准备，包括sqlserVer、mysql、oracle等关系型数据库。其次，使用MapReduce将业务数据解析成中间表需要的数据格式。不同的业务数据所用的解析程序是不同的，因此每种业务数据都需要编写自己的程序解析。最后，将抽取的数据写入中间表，从而生成中间表。

由于中间表数据量较大且每个表存储不同业务类型的数据，因此，现有的实现方案不仅开发工作量大，工作效率低，也给后期的修改及维护带来很多不便。现有的解决方案往往无法实现对数据导出格式的配置化，且需要针对每种类型的业务数据编写单独开发程序，导致各种不便。

综上，需要一种数据处理方法和数据处理装置，能够将不同类型的数据统一转换成与之对应的中间表的数据格式，使得能够大大降低业务数据与中间表的耦合性，使数据识别变得智能化，并减少许多不必要的开发工作量，从而提高工作效率。

发明内容

本公开的方面在于解决至少上述问题和/或缺点并提供至少下述优点。

根据本发明的第一方面，提供了一种数据处理方法，可以包括：利用预先配置的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

优选地，所述映射文件针对来自不同源的不同业务数据，且所述映射文件可以包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件，其中所述对数据执行解析可以包括：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据。

优选地，所述对数据执行解析还可以包括：检查映射文件中是否定义了映射关系类属性，如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

优选地，所述对数据执行解析还可以包括：检查映射文件中是否定义了扩展属性，如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

优选地，所述数据处理方法还可以包括：在对数据执行解析之前，剔除并记录垃圾数据和错误数据。

优选地，所述校验经解析的数据的有效性可以包括：根据中间表字段的数据类型、字段是否为空以及字段最大长度中的一个或更多个，来校验经解析的数据的有效性。

根据本发明的第二方面，提供了一种数据处理装置，可以包括：存储器，用于存储可执行指令和预先配置的映射文件；以及处理器，与存储器相连，并用于执行存储器中存储的可执行指令，以执行如下操作：利用存储器中存储的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

优选地，所述映射文件针对来自不同源的不同业务数据，所述映射文件可以包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件，其中所述处理器可以进一步配置为执行所述可执行指令以便：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据。

优选地，所述处理器可以进一步配置为执行所述可执行指令以便：检查映射文件中是否定义了映射关系类属性，如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

优选地，所述处理器可以进一步配置为执行所述可执行指令以便：检查映射文件中是否定义了扩展属性，如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

优选地，所述处理器可以进一步配置为执行所述可执行指令以便：在对数据执行解析之前，剔除并记录垃圾数据和错误数据。

优选地，所述处理器可以进一步配置为执行所述可执行指令以便：通过根据中间表字段的数据类型、字段是否为空以及字段最大长度中的一个或更多个，来校验经解析的数据的有效性。

根据本发明的第三方面，提供了一种数据处理装置，可以包括：解析模块，配置为利用预先配置的映射文件，对数据执行解析；数据校验模块，配置为从解析模块接收经解析的数据，并校验经解析的数据的有效性；以及中间表生成模块，配置为响应于数据校验模块确定所述经解析的数据是有效的，接收所述经解析的数据并将所述经解析的数据导入中间表。

根据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如本发明第一方面所述的数据处理方法。

综上，根据本发明的数据处理方法和数据处理装置能够将不同类型的数据统一转换成与之对应的中间表的数据格式，从而实现在大数据处理场景中数据分析处理的配置化，并降低程序编码的复杂性及维护成本。

附图说明

以下结合附图，将更清楚本公开的示例实施例的上述和其它方面、特征以及优点，附图中：

图1示出了根据本发明示例实施例的数据处理装置的示例性硬件布置的框图；

图2示出了根据本发明示例实施例的数据处理装置的功能结构图；

图3示出了根据本发明的示例实施例的数据处理方法的操作进度图；以及

图4示出了根据本发明的示例实施例的数据处理方法的具体流程图。

具体实施方式

以下参考附图描述了本发明的示例实施。本发明提供了一种数据处理方法和数据处理装置，能够将不同类型的数据统一转换成与之对应的中间表的数据格式，使得能够大大降低业务数据与中间表的耦合性，使数据识别变得智能化，并减少许多不必要的开发工作量，从而提高工作效率。

具体地，图1示出了根据本发明示例实施例的数据处理装置的示例性硬件布置100的框图。所述硬件布置100包括存储器110和处理器120。

存储器110可以包括具有非易失性或易失性存储器形式的存储器，例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。存储器110可以配置为预先配置的映射文件111a，所述映射文件111a包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件。

此外，存储器110还可以包括可执行指令111b，该可执行指令111b包括代码/计算机可读指令，其在由硬件布置100中的处理器120执行时使得硬件布置100和/或包括硬件布置100在内的设备可以执行例如本发明所描述的数据处理方法及其任何变形。

处理器120(例如，微处理器、数字信号处理器(DSP)等)可以是用于执行本文描述的数据处理方法的操作的单一处理单元或者是多个处理单元。具体地，处理器120可以通过与存储器110相连并加载存储器110上的一个或更多个可执行指令和映射文件，来执行以下操作：利用存储器中存储的映射文件，对数据执行解析；校验经解析的数据的有效性；以及响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表。

处理器120可以是单个CPU(中央处理单元)，但也可以包括两个或更多个处理单元。例如，处理器120可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))。处理器120还可以包括用于缓存用途的板载存储器。计算机程序可以由连接到处理器的计算机程序产品来承载。计算机程序产品(例如，可执行指令和映射文件)可以包括其上存储有计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM，且上述计算机程序模块在备选实施例中可以用存储器的形式被分布到不同计算机程序产品中。

此外，所述硬件布置100还可以包括用于从其他实体接收信号的输入单元102、以及用于向其他实体提供信号的输出单元104。输入单元102和输出单元104可以被布置为单一实体或者是分离的实体。在本发明的示例实施例中，输入单元和输出单元均可实现为触摸显示器，数据处理装置响应于通过触摸显示器输入了业务数据，执行根据本发明的示例实施例的数据处理方法，以便在将业务数据统一转换为与之对应的中间表数据格式之后，通过所述触摸显示器输出。

尽管上面结合图1所公开的实施例中的代码手段被实现为计算机程序模块，其在处理器120中执行时使得硬件布置100执行根据本发明的数据处理方法的操作，然而在备选实施例中，该代码手段中的至少一项可以至少被部分地实现为硬件电路。

此外，除了上述实现方案之外，从功能上还可以将根据本发明示例实施例的数据处理装置实现为其他结构。图2示出了根据本发明示例实施例的数据处理装置200的功能结构图。具体地，所述数据处理装置200可以包括以下模块：解析模块210，配置为利用预先配置的映射文件，对数据执行解析；数据校验模块220，配置为从解析模块210接收经解析的数据，并校验经解析的数据的有效性；以及中间表生成模块230，配置为响应于数据校验模块220确定所述经解析的数据是有效的，接收所述经解析的数据并将所述经解析的数据导入中间表。

在配置映射文件时，所述数据处理装置还可以包括条件收集模块，用于收集用户自定义的映射关系。在一个实施例中，用户可以把业务数据与中间表数据的对应关系定义到配置文件中，比如xml文件，解析数据之前首先会加载配置文件中的映射关系。在一个实施例中，所述数据处理装置还可以包括扩展模块，用于配置针对公用字段的公用字段配置文件。在提取中间表的过程中，尽管中间表很多，但是绝大部分中间表可能存在一些相同的字段，将这些公用的字段提取到一个公用的配置文件，这样维护起来也会很方便。因此，在使用过程中只要配置扩展属性并指明继承的配置文件位置，便可自动将公用的字段解析进来。在另一实施例中，所述数据处理装置还可以包括映射关系类模块，所述映射关系类模块支持自定义映射关系类，即，用各种可用编程语言编写的定义映射关系类的程序(mappingClass)。所述映射关系类模块存储自定义的映射关系类程序。如果在配置文件中配置了mappingClass，则映射关系类程序便会自动根据自定义函数中的映射关系解析出最终中间表格式的数据。

此外，所述数据处理装置还可以包括预处理模块，配置为在通过解析模模块210对数据执行解析之前，对数据进行预处理。例如，在将数据导入中间表之前必须要提前剔除和记录垃圾数据与错误数据，以便后期进行监控和维护。

以上描述了根据本发明示例实施例的数据处理装置的功能结构。应注意，上述功能模块的具体操作都可以通过处理器加载存储在存储器上的可执行指令和映射文件来实现，以便执行根据本发明示例实施例的数据处理方法。

下文将参考图3和图4来描述根据本发明示例实施例的数据处理方法。

图3示出了根据本发明的示例实施例的数据处理方法的操作进度图。具体地，所述数据处理方法总体上包括三个步骤。首先，在操作S31，对数据执行解析。当对数据执行解析时，需要预先配置映射文件。映射文件通常包括专门定义中间表字段信息的第一文件(例如，xml文件)以及定义了中间表字段与业务数据字段之间的映射关系的第二文件。所述中间表字段信息包括字段名、字段类型、是否为空等。其次，在操作S32，校验经解析的数据的有效性。也就是说，在将业务数据导入中间表之前，根据xml文件定义的数据类型、字段是否为空、字段最大长度等条件来判断将要生成的中间表数据是否满足定义的条件。也就是说，根据中间表字段信息来校验经解析的数据是否有效。最后，在操作S33，响应于确定所述经解析的数据是有效的，将所述有效的解析数据导入中间表，从而将各种类型的业务数据导入与之相对应的中间表。此外，在对数据执行解析之前，所述数据处理方法还可以备选地包括对数据进行预处理的操作S30，所述预处理包括提出并记录垃圾数据和错误数据。

下文将参考图4来详细描述根据本发明的数据处理方法的具体流程。

图4示出了根据本发明的示例实施例的数据处理方法的具体流程图。具体地，上述对数据执行解析的操作可以实现为步骤S410。在步骤S410，利用预先配置的映射文件，对数据执行解析，其中所述映射文件包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件。所述对数据执行解析包括：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据。在一个实施例中，程序解析的时候会先根据传入的映射文件路径将上述两种文件加载进来，然后通过解析得知中间表名、字段及字段的映射关系，然后统一生成对应中间表数据格式的实体类，其中每种不同的中间表数据对应不用的输出格式并用不同的标识进行区分。

此外，利用预先配置的映射文件来对数据执行解析还可以包括步骤S412。在步骤S412，确定是否定义了扩展属性。如果定义了扩展属性，则执行步骤S413，即，根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析，否则直接执行步骤S414。也就是说，在步骤S413，如果配置文件有定义扩展属性，程序会根据扩展的值即继承的扩展文件路径将公用字段映射文件加载进来。

另外，利用预先配置的映射文件来对数据执行解析还可以进一步包括步骤S414。在步骤S414，确定是否定义了映射关系类属性。映射关系类是区别于配置文件的另外一种映射关系的处理，通常在映射关系比较复杂的情况下使用定义的映射关系类程序来对数据执行解析。如果确定映射文件定义了映射关系类属性，则在步骤S415通过使用映射程序，来对数据执行进一步解析，即，通过执行相应的程序来处理映射关系。具体地，在自定义函数中处理了一些自定义的取值方法，程序解析时会调用该类的setUserDefineMapping方法来完成字段的赋值。

这样，可以通过加载映射文件并根据需要调用公用字段配置文件和映射关系类程序，将各种不同类型的业务数据解析为与之对应的中间表格式的数据，以便构成中间表。

接着，在步骤S416，校验经解析的数据的有效性。具体地，所述步骤包括根据解析后的数据是否满足通过诸如中间表字段的数据类型、字段是否为空以及字段最大长度等的中间表字段信息定义的条件，来校验经解析的数据的有效性。如果确定经解析的数据并非是有效数据，则在步骤S417记录错误数据。

相反，如果确定经解析的数据是有效数据，则执行步骤S418，即，将有效数据导入中间表，即，根据定义字段及表名生成脚本，执行脚本并保存数据。

综上，描述了一种数据处理方法和数据处理装置，所述数据处理方法用于动态解析不同类型业务数据，能够将来自不同***的业务数据转换成需要的中间表格式的数据，从而实现在大数据处理场景中数据分析处理的配置化，并降低程序编码的复杂性及维护成本。

应注意，以上方案仅是示出本发明构思的一个具体实现方案，本发明不限于上述实现方案。可以省略或跳过上述实现方案中的一部分处理，而不脱离本发明的精神和范围。

前面的方法可以通过多种计算机装置以可执的程序命令形式实现并记录在计算机可读记录介质中。在这种情况下，计算机可读记录介质可以包括单独的程序命令、数据文件、数据结构或其组合。同时，记录在记录介质中的程序命令可以专门设计或配置用于本发明，或是计算机软件领域的技术人员已知应用的。计算机可读记录介质包括例如硬盘、软盘或磁带等磁性介质、例如压缩盘只读存储器(CD-ROM)或数字通用盘(DVD)等光学介质、例如光磁软盘的磁光介质以及例如存储和执行程序命令的ROM、RAM、闪存等硬件装置。此外，程序命令包括编译器形成的机器语言代码和计算机通过使用解释程序可执行的高级语言。前面的硬件装置可以配置成作为至少一个软件模块操作以执行本发明的操作，并且逆向操作也是一样的。

尽管以特定顺序示出并描述了本文方法的操作，然而可以改变每个方法的操作的顺序，使得可以以相反顺序执行特定操作或使得可以至少部分地与其它操作同时来执行特定操作。此外，本发明不限于上述示例实施例，它可以在不脱离本公开的精神和范围的前提下，包括一个或多个其他部件或操作，或省略一个或多个其他部件或操作。

以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。

Claims (11)

1.一种数据处理方法，包括：

利用预先配置的映射文件，对数据执行解析，其中所述映射文件针对来自不同源的不同业务数据预先配置的，且所述映射文件包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件；

根据中间表字段信息，校验经解析的数据的有效性；以及

响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表，

其中所述对数据执行解析包括：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据，

其中所述对数据执行解析还包括：在校验经解析的数据的有效性之前，

检查映射文件中是否定义了映射关系类属性，以及

如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

2.根据权利要求1所述的方法，其中所述对数据执行解析还包括：在校验经解析的数据的有效性之前，

检查映射文件中是否定义了扩展属性，以及

如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

3.根据权利要求1所述的方法，还包括：在对数据执行解析之前，剔除并记录垃圾数据和错误数据。

4.根据权利要求1所述的方法，其中所述校验经解析的数据的有效性包括：根据中间表字段的数据类型、字段是否为空以及字段最大长度中的一个或更多个，来校验经解析的数据的有效性。

5.一种数据处理装置，包括：

存储器，用于存储可执行指令和预先配置的映射文件，其中所述映射文件针对来自不同源的不同业务数据预先配置的，所述映射文件包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件；以及

处理器，与存储器相连，并用于执行存储器中存储的可执行指令，以执行如下操作：

利用存储器中存储的映射文件，对数据执行解析；

根据中间表字段信息，校验经解析的数据的有效性；以及

响应于确定所述经解析的数据是有效的，将所述经解析的数据导入中间表，

其中所述处理器进一步配置为执行所述可执行指令以便：加载所述映射文件，并利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据，

其中所述处理器进一步配置为执行所述可执行指令以便：在校验经解析的数据的有效性之前，

检查映射文件中是否定义了映射关系类属性，以及

如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

6.根据权利要求5所述的装置，其中所述处理器进一步配置为执行所述可执行指令以便：在校验经解析的数据的有效性之前，

检查映射文件中是否定义了扩展属性，以及

如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

7.根据权利要求5所述的装置，其中所述处理器进一步配置为执行所述可执行指令以便：在对数据执行解析之前，剔除并记录垃圾数据和错误数据。

8.根据权利要求5所述的装置，其中所述处理器进一步配置为执行所述可执行指令以便：通过根据中间表字段的数据类型、字段是否为空以及字段最大长度中的一个或更多个，来校验经解析的数据的有效性。

9.一种数据处理装置，包括：

解析模块，配置为利用预先配置的映射文件，对数据执行解析，其中所述映射文件针对来自不同源的不同业务数据预先配置的，且所述映射文件包括定义中间表字段信息的第一文件以及定义了中间表字段与数据字段之间的映射关系的第二文件；

数据校验模块，配置为从解析模块接收经解析的数据，并根据中间表字段信息来校验经解析的数据的有效性；以及

中间表生成模块，配置为响应于数据校验模块确定所述经解析的数据是有效的，接收所述经解析的数据并将所述经解析的数据导入中间表，

其中所述解析模块进一步配置为：加载所述映射文件，利用所述中间表字段信息和所述映射关系，将数据转换成符合中间表格式的数据，

其中所述解析模块进一步配置为：在数据校验模块校验经解析的数据的有效性之前，

检查映射文件中是否定义了映射关系类属性，以及

如果确定映射文件定义了映射关系类属性，则通过使用映射程序，来对数据执行进一步解析。

10.根据权利要求9所述的装置，其中所述解析模块进一步配置为：在数据校验模块校验经解析的数据的有效性之前，

检查映射文件中是否定义了扩展属性，以及

如果确定映射文件定义了扩展属性，则根据继承的映射文件路径，加载针对扩展属性的公用映射文件并通过使用所述公用映射文件来对数据执行进一步解析。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行时实现如权利要求1至4中任一项所述的数据处理方法。

Images