CN110555073A

CN110555073A - 一种数据处理方法、装置及电子设备和存储介质

Info

Publication number: CN110555073A
Application number: CN201910853868.9A
Authority: CN
Inventors: 孟浩浩; 陈航
Original assignee: Zheng Wei Yun Ltd
Current assignee: Zheng Wei Yun Ltd
Priority date: 2019-09-10
Filing date: 2019-09-10
Publication date: 2019-12-10

Abstract

本申请公开了一种数据处理方法、装置及设备和介质，方法包括：获取待写入数据，并确定所写入数据对应的当前数据类型和当前数据路径；根据当前数据类型从当前数据路径中读取待写入数据，得到待写入数据的数据内容；确定目标数据类型和目标数据路径，按照目标数据类型将数据内容写入目标数据路径中。由上可知，本申请在获取到待写入数据后，能够从待写入数据当前所存储的数据路径中基于当前数据类型自动对待写入数据进行读取，并在读取得到待写入数据的数据内容后，将数据内容按照目标数据类型写入将要存储的目标数据路径中，完成数据的格式转换和同步，避免了人工编辑校验过程，也避免了专用数据同步设备的使用，有效节约了人力和物理成本。

Description

一种数据处理方法、装置及电子设备和存储介质

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

不同存储格式的文档在进行核心数据转换同步时，往往需要人工辅助编辑和校验，例如录入Excel版本的采购计划、根据该采购计划导出Word版本的采购计划书。上述数据转换过程比较复杂繁琐，同时，由于不同类型的数据可能存放于不同的数据仓库，在满足核心数据一致性的需求下，不同数据仓库间进行数据同步需要专用的数据同步装置，如路由设备等，需要投入较大的人力物力资源。

因此，如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种数据处理方法、装置及一种电子设备和一种计算机可读存储介质，避免了数据格式转换时的人工编辑校验过程，也避免了专用数据同步设备的使用，有效节约了人力和物理成本。

为实现上述目的，本申请提供了一种数据处理方法，包括：

获取待写入数据，并确定所述待写入数据对应的当前数据类型和当前数据路径；

根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，得到所述待写入数据的数据内容；

确定目标数据类型和目标数据路径，按照所述目标数据类型将所述数据内容写入所述目标数据路径中。

可选的，所述根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，包括：

获取所述当前数据类型对应的数据读取函数；

利用所述数据读取函数对所述当前数据路径中的所述待写入数据进行读取。

可选的，所述按照所述目标数据类型将所述数据内容写入所述目标数据路径中，包括：

获取所述目标数据类型对应的数据写入函数；

利用所述数据写入函数将所述数据内容写入所述目标数据路径中。

可选的，所述确定目标数据类型和目标数据路径，包括：

获取***预设的所述目标数据类型，并根据所述目标数据类型自动确定对应的所述目标数据路径。

可选的，所述确定目标数据类型和目标数据路径，包括：

接收用户手动录入的所述目标数据类型以及所述目标数据路径。

可选的，所述获取待写入数据，包括：

按照预设时间周期获取所述待写入数据；

或，实时获取所述待写入数据。

可选的，所述获取待写入数据，包括：

当接收到针对预设数量数据的批量处理命令之后，获取所述待写入数据；

相应的，所述根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，包括：

基于所述批量处理命令及所述当前数据类型对所述当前数据路径中的所述待写入数据进行批量读取；

所述按照所述目标数据类型将所述数据内容写入所述目标数据路径中，包括：

基于所述批量处理命令将所述数据内容按照所述目标数据类型批量写入所述目标数据路径中。

为实现上述目的，本申请提供了一种数据处理装置，包括：

数据确定模块，用于获取待写入数据，并确定所述待写入数据对应的当前数据类型和当前数据路径；

数据读取模块，用于根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，得到所述待写入数据的数据内容；

数据写入模块，用于确定目标数据类型和目标数据路径，按照所述目标数据类型将所述数据内容写入所述目标数据路径中。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述数据处理方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据处理方法的步骤。

通过以上方案可知，本申请提供的一种数据处理方法，包括：获取待写入数据，并确定所述待写入数据对应的当前数据类型和当前数据路径；根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，得到所述待写入数据的数据内容；确定目标数据类型和目标数据路径，按照所述目标数据类型将所述数据内容写入所述目标数据路径中。由上可知，本申请在获取到待写入数据后，能够从待写入数据当前所存储的数据路径中基于当前数据类型自动对待写入数据进行读取，并在读取得到待写入数据的数据内容后，将数据内容按照目标数据类型写入将要存储的目标数据路径中，完成数据的格式转换和同步，避免了人工编辑校验过程，也避免了专用数据同步设备的使用，有效节约了人力和物理成本。

本申请还公开了一种数据处理装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种数据处理方法的流程图；

图2为本申请实施例公开的另一种数据处理方法的流程图；

图3为本申请实施例公开的一种数据处理装置的结构图；

图4为本申请实施例公开的一种电子设备的结构图；

图5为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，数据转换过程比较复杂繁琐，同时，由于不同类型的数据可能存放于不同的数据仓库，在满足核心数据一致性的需求下，不同数据仓库间进行数据同步需要专用的数据同步装置，如路由设备等，需要投入较大的人力物力资源。

因此，本申请实施例公开了一种数据处理方法，避免了数据格式转换时的人工编辑校验过程，也避免了专用数据同步设备的使用，有效节约了人力和物理成本。

参见图1所示，本申请实施例公开的一种数据处理方法包括：

S101：获取待写入数据，并确定所述待写入数据对应的当前数据类型和当前数据路径；

本申请实施例中，首先获取待写入数据，该待写入数据为需要进行转换同步的数据。在获取到待写入数据后，将确定待写入数据对应的数据类型和数据路径，即确定待写入数据所位于的数据源和对应的数据格式。其中，上述数据类型可以包括Eexcel格式数据、PDF格式数据、Word格式数据、TXT格式数据、CSV格式数据等，相应的，本实施例的数据路径可以具体为每一帧数据类型对应一个数据库或源服务器。

上述获取待写入数据时，可以按照预设时间周期定期获取，也可实时获取待写入数据。也即，本申请针对重要的实时流数据，也可采用流处理的方式对数据进行读取、写入的转换同步过程。具体可以结合流处理技术设计一条专用数据同步通道，或另外部署一套实时流数据同步引擎，实现对实时流数据的同步。

S102：根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，得到所述待写入数据的数据内容；

S103：确定目标数据类型和目标数据路径，按照所述目标数据类型将所述数据内容写入所述目标数据路径中。

需要说明的是，本申请实施例中，将预先针对不同数据类型编写对应不同的实现函数，具体可以依据每种数据类型的特征和存储规则确定数据读取和写入处理逻辑。例如，Word文档、PDF文档有题目、引言、标题、正文、图标等数据表达格式，CSV文件有文件名、文件大小、CRC校验值、注释等数据表达格式。在编写完所有数据类型对应的实现函数之后，可将所有数据读取函数统一封装为数据读取器，即把数据读取操作封装成一个抽象接口，以达到同一个接口可以实现不同数据类型的读取任务。同理，也可将所有数据写入函数统一封装为数据写入器。

具体地，在数据读取时，将通过预设的统一接口获取数据读取器中当前数据类型对应的数据读取函数，以便利用上述数据读取函数对当前数据路径中的待写入数据进行读取，得到待写入数据的数据内容，其中，上述数据内容具体可以为待写入数据的核心或关键数据内容。

在对数据进行写入时，将通过预设的统一接口获取数据写入器中目标数据类型对应的数据写入函数，从而利用该数据写入函数将目标数据类型批量写入所述目标数据路径中。数据内容写入目标数据路径中。

在一种具体的实施方式中，上述确定目标数据类型和目标数据路径时，可以获取***预设的目标数据类型，并根据目标数据类型自动确定对应的目标数据路径。也即，可以由***为待写入数据指定其存放的格式和路径。

在另一种具体的实施方式中，上述确定目标数据类型和目标数据路径时，可以通过预设输入接口接收用户手动录入的目标数据类型，相应的，用户还可通过预设输入接口为待写入数据指定其存放的目标数据路径，当然，也可由***根据用户指定的目标数据类型自动确定对应的存放路径。

在本申请实施例中，可以根据业务场景的实际需求根据待写入数据的数据类型默认选择读取器类别，并允许用户自定义数据的写入格式类型，实现自动化数据读取，半自动化数据写入的数据处理。

本申请实施例公开了另一种数据处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：

S201：当接收到针对预设数量数据的批量处理命令之后，获取待写入数据；

S202：确定所述待写入数据对应的当前数据类型和当前数据路径；

S203：基于所述批量处理命令及所述当前数据类型对所述当前数据路径中的所述待写入数据进行批量读取，得到所述待写入数据的数据内容；

S204：基于所述批量处理命令将所述数据内容按照所述目标数据类型批量写入所述目标数据路径中。

本申请实施例中，可以接收针对预设数量的数据进行批量处理命令，并在接收到上述命令之后触发获取待写入数据的工作流程。获取到待写入数据之后，将确定待写入数据对应的当前数据类型和当前数据路径，进而可以基于批量处理命令及当前数据类型对当前数据路径中的待写入数据进行批量读取，并在读取到待写入数据的数据内容后，基于上述批量处理命令将数据内容按照目标数据类型批量写入所述目标数据路径中，实现数据的批量处理。

下面对本申请实施例提供的一种数据处理装置进行介绍，下文描述的一种数据处理装置与上文描述的一种数据处理方法可以相互参照。

参见图3所示，本申请实施例提供的一种数据处理装置包括：

数据确定模块301，用于获取待写入数据，并确定所述待写入数据对应的当前数据类型和当前数据路径；

数据读取模块302，用于根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，得到所述待写入数据的数据内容；

数据写入模块303，用于确定目标数据类型和目标数据路径，按照所述目标数据类型将所述数据内容写入所述目标数据路径中。

关于上述模块301至303的具体实施过程可参考前述实施例公开的相应内容，在此不再进行赘述。

在上述实施例的基础上，作为一种优选实施方式，所述数据读取模块302，包括：

第一获取单元，用于获取所述当前数据类型对应的数据读取函数；

数据读取单元，用于利用所述数据读取函数对所述当前数据路径中的所述待写入数据进行读取。

在上述实施例的基础上，作为一种优选实施方式，所述数据写入模块303，包括：

第二获取单元，用于获取所述目标数据类型对应的数据写入函数；

数据写入单元，用于利用所述数据写入函数将所述数据内容写入所述目标数据路径中。

在上述实施例的基础上，作为一种优选实施方式，所述数据写入模块303，具体用于：获取***预设的所述目标数据类型，并根据所述目标数据类型自动确定对应的所述目标数据路径。

在上述实施例的基础上，作为一种优选实施方式，所述数据写入模块303，具体用于：接收用户手动录入的所述目标数据类型以及所述目标数据路径。

在上述实施例的基础上，作为一种优选实施方式，所述数据确定模块301，包括：

定期获取单元，用于按照预设时间周期获取所述待写入数据；

或，实时获取单元，用于实时获取所述待写入数据。

命令接收单元，用于当接收到针对预设数量数据的批量处理命令之后，获取所述待写入数据；

相应的，所述数据读取模块302，具体用于：基于所述批量处理命令及所述当前数据类型对所述当前数据路径中的所述待写入数据进行批量读取；

所述数据写入模块303，具体用于：基于所述批量处理命令将所述数据内容按照所述目标数据类型批量写入所述目标数据路径中。

本申请还提供了一种电子设备，参见图4所示，本申请实施例提供的一种电子设备包括：

存储器100，用于存储计算机程序；

处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的数据处理方法的步骤。

具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机可读指令，该内存储器为非易失性存储介质中的操作***和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一种实施例公开的数据处理方法的步骤。

在上述实施例的基础上，作为优选实施方式，参见图5所示，所述电子设备还包括：

输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。

网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图5仅示出了具有组件100-500的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一种实施例公开的数据处理方法的步骤。

本申请在获取到待写入数据后，能够从待写入数据当前所存储的数据路径中基于当前数据类型自动对待写入数据进行读取，并在读取得到待写入数据的数据内容后，将数据内容按照目标数据类型写入将要存储的目标数据路径中，完成数据的格式转换和同步，避免了人工编辑校验过程，也避免了专用数据同步设备的使用，有效节约了人力和物理成本。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述当前数据类型从所述当前数据路径中读取所述待写入数据，包括：

获取所述当前数据类型对应的数据读取函数；

3.根据权利要求1所述的数据处理方法，其特征在于，所述按照所述目标数据类型将所述数据内容写入所述目标数据路径中，包括：

获取所述目标数据类型对应的数据写入函数；

4.根据权利要求1所述的数据处理方法，其特征在于，所述确定目标数据类型和目标数据路径，包括：

5.根据权利要求1所述的数据处理方法，其特征在于，所述确定目标数据类型和目标数据路径，包括：

6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述获取待写入数据，包括：

按照预设时间周期获取所述待写入数据；

或，实时获取所述待写入数据。

7.根据权利要求1至5任一项所述的数据处理方法，其特征在于，所述获取待写入数据，包括：

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据处理方法的步骤。