CN114661306A

CN114661306A - 一种数据处理方法、装置、电子设备及存储介质

Info

Publication number: CN114661306A
Application number: CN202011530065.9A
Authority: CN
Inventors: 刘晨
Original assignee: Suzhou Guoshuang Software Co ltd
Current assignee: Suzhou Guoshuang Software Co ltd
Priority date: 2020-12-22
Filing date: 2020-12-22
Publication date: 2022-06-24

Abstract

本发明涉及一种数据处理方法、装置、电子设备及存储介质，所述方法包括：接收数据处理请求，所述数据处理请求携带待处理业务的业务数据；基于本地预先配置的离线描述文件集合获取与所述业务数据相匹配的目标离线描述文件，所述离线描述文件集合根据预先获取的线上配置文件生成；根据所述目标离线描述文件构建镜像文件***；基于所述镜像文件***对所述待处理业务执行离线处理操作。本申请通过运行目标离线描述文件能够在本地离线构建镜像文件***，基于镜像文件***能够实现对待处理业务执行离线处理，处理过程不需要执行联网操作，提高了业务处理的效率，相比现有技术中重新部署Kubernetes节省了资源。

Description

一种数据处理方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

近年来云计算的火热使得传统的网站、服务、接口逐渐转变为容器化集群化部署，因此Kubernetes和Docker走进了开发者的视野。

Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化的应用，云计算时代的到来使得大多数应用部署在Kubernetes平台，而部署搭建Kubernetes平台过程繁琐，花费时间较长。适用于生产环境，不适用与项目的快速展示、介绍、PoC等。

Docker是目前Kubernetes主要的容器编排使用对象，一般采用Kubernetes调度Docker容器的方式实现用户服务的部署维护和运行。因此Kubernetes与Docker并存是绝大部分Kubernetes开发者的部署方案。

在实现本申请的过程中，发明人发现既然Docker与Kubernetes都需要部署，且Kubernetes部署成本巨大。在某些需要依赖Kubernetes业务的展示与介绍时，无法实现离线处理；且重新部署Kubernetes，则会花费较长时间与精力。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明提供了一种数据处理方法、装置、电子设备以及存储介质。

第一方面，本发明提供了一种数据处理方法，所述方法包括：

接收数据处理请求，所述数据处理请求携带待处理业务的业务数据；

基于本地预先配置的离线描述文件集合获取与所述业务数据相匹配的目标离线描述文件，所述离线描述文件集合根据预先获取的线上配置文件生成；

根据所述目标离线描述文件构建镜像文件***；

基于所述镜像文件***对所述待处理业务执行离线处理操作。

在本发明的可选实施方式中，所述方法还包括：

根据接收的构建指令获取配置文件的初始访问路径，所述配置文件中包括镜像文件***的线上构建信息；

根据所述初始访问路径获取所述配置文件，并将所述配置文件加载至本地的目标访问路径，得到离线文件；

获取用于启动镜像文件***的启动脚本；

根据所述启动脚本以及所述离线文件生成所述离线描述文件集合。

在本发明的可选实施方式中，所述业务数据包括：业务运行环境以及业务流程信息；

所述基于本地预先配置的离线描述文件集合获取与所述业务数据相匹配的目标离线描述文件，包括：

将所述离线描述文件集合中满足所述业务运行环境以及业务流程信息的离线文件确定为目标离线文件；

根据所述目标离线文件和所述启动脚本得到所述目标离线描述文件。

在本发明的可选实施方式中，所述根据所述目标离线描述文件构建镜像文件***，包括：

接收到所述启动脚本的启动指令时，生成用于检测所述目标离线文件的任务信息；

执行所述任务信息得到执行结果；

当根据所述执行结果确定所述目标离线文件检测通过时，基于所述目标离线文件得到所述镜像文件***。

在本发明的可选实施方式中，所述执行所述任务信息得到执行结果，包括：

检测所述目标离线文件中的代码数据，得到所述代码数据的运行状态信息；

当根据所述运行状态信息确定所述代码数据检测通过时，基于所述代码数据得到对应的可执行程序；

检测所述可执行程序的功能信息，得到功能检测结果；

根据所述运行状态信息以及功能检测结果得到所述执行结果。

在本发明的可选实施方式中，根据所述执行结果确定所述目标离线文件检测通过是指，根据所述功能检测结果确定所述可执行程序的功能正常。

在本发明的可选实施方式中，所述方法还包括：

获取上传指示信息；

根据所述上传指示信息将所述目标镜像文件***上传至镜像仓库。

第二方面，本发明提供了一种数据处理装置，包括：

接收模块，用于接收数据处理请求，所述数据处理请求携带待处理业务的业务数据；

获取模块，用于基于本地预先配置的离线描述文件集合获取与所述业务数据相匹配的目标离线描述文件，所述离线描述文件集合根据预先获取的线上配置文件生成；

构建模块，用于根据所述目标离线描述文件构建镜像文件***；

执行模块，用于基于所述镜像文件***对所述待处理业务执行离线处理操作。

第三方面，本发明提供了一种电子设备，包括：至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述第一方面中任一项所述的数据处理方法。

第四方面，本发明实施例提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中任一项所述的数据处理方法。

本发明实施例提供的技术方案，通过运行目标离线描述文件能够在本地离线构建镜像文件***，基于镜像文件***能够实现对待处理业务执行离线处理，处理过程不需要执行联网操作，提高了业务处理的效率，相比现有技术中重新部署Kubernetes节省了资源。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明另一实施例提供的一种数据处理方法的流程示意图；

图3为本发明另一实施例提供的一种数据处理方法的流程示意图；

图4为本发明实施例提供的一种数据处理装置的示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。

根据本申请实施例的一方面，提供了一种数据处理方法的方法实施例。图1为本申请实施例提供的一种数据处理方法的流程图，如图1所示，该方法包括：

步骤S11，接收数据处理请求，数据处理请求携带待处理业务的业务数据；

在本申请实施例中，数据处理请求可以是由用户的触发操作生成，例如，当用户需要在本地部署一个业务进行项目展示时，可以通过触发Minikube生成数据处理请求，数据处理请求包括待处理业务的业务数据，业务数据包括：业务的运行环境、业务的指令信息、调用的其他软件代码、数据库等等。

需要说明的是，Minikube是一个轻量级的Kubernetes实现，会在本地创建一台虚拟机，并部署一个只包含一个节点的简单集群。Minikube CLI提供了集群的基本引导操作，包括启动、停止、状态和删除。

Minikube提供了一种非常简单的方法来安装单节点的K8S程序，Minikube支持多种运行环境，比如linux，macos，windows都可以，支持多种安装方式,默认会使用virtualbox创建虚拟机并安装k8s环境，也可以在启动的时候通过--vm-driver使用虚拟化技术，目前版本支持的列表。

步骤S12，基于本地预先配置的离线描述文件集合获取与业务数据相匹配的目标离线描述文件，离线描述文件集合根据预先获取的线上配置文件生成；

在本申请实施例中，本地存储有预先生成的离线描述文件集合(Dockerfile)。其中，目标离线描述文件是由离线文件以及启动脚本生成，离线文件是通过将Minikube中的配置文件加载至本地中的目标访问路径后生成，离线文件包括：输入型文件、输出型文件、以及依赖文件。配置文件可以理解为Minikube中所有联网的文件。

在本发明的实施方式中，基于本地预先配置的离线描述文件集合获取与业务数据相匹配的目标离线描述文件，包括以下步骤A1-A2：

步骤A1，将离线描述文件集合中满足业务运行环境以及业务流程信息的离线文件确定为目标离线文件；

在本申请实施例中，满足业务运行环境的离线文件可以是runC文件、Java文件等等，满足业务流程信息的离线文件可以是业务的初始化文件、输入文件、输出文件以及展示文件等等。

步骤A2，根据目标离线文件和启动脚本得到目标离线描述文件。

在本申请实施例中，在得到目标离线文件后，从本地获取预先设置好的启动脚本，启动脚本可以是工作人员提前进行编写的。

步骤S13，根据目标离线描述文件构建镜像文件***；

在本申请实施例中，构建目标镜像文件***是通过启动目标离线描述文件中的HTTP(超文本传输协议)服务，以及运行启动脚本得到。HTTP是一个简单的请求—响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII码形式给出；而消息内容则具有一个类似MIME的格式。

需要说明的是，HTTP是基于客户端/服务器模式，且面向连接的。典型的HTTP事务处理有如下的过程：(1)客户端与服务器建立连接；(2)客户端向服务器提出请求；(3)服务器接受请求，并根据请求返回相应的文件作为应答；(4)客户端与服务器关闭连接。客户端与服务器之间的HTTP连接是一种一次性连接，它限制每次连接只处理一个请求，当服务器返回本次请求的应答后便立即关闭连接，下次请求再重新建立连接。

在本申请实施例中，步骤S13，根据目标离线描述文件构建镜像文件***，包括以下步骤B1-B3：

步骤B1，接收到启动脚本的启动指令时，生成用于检测目标离线文件的任务信息；

步骤B2，执行任务信息得到执行结果；

步骤B3，当根据执行结果确定目标离线文件检测通过时，基于目标离线文件得到所述镜像文件***。

在本申请实施例中，步骤B2，执行任务信息得到执行结果，包括以下步骤B201-步骤B204：

步骤B201，检测目标离线文件中的代码数据，得到代码数据的运行状态信息；

步骤B202，当根据运行状态信息确定代码数据检测通过时，基于代码数据得到对应的可执行程序；

步骤B203，检测可执行程序的功能信息，得到功能检测结果；

步骤B204，根据运行状态信息以及功能检测结果得到执行结果。

在本申请实施例中，检测目标离线文件的代码数据可以是采用静态检测的方式，其中，静态检查通常是指在不运行被测的代码数据的情况下，仅通过分析或检查该代码数据的语法、结构、过程、接口等，来检查该代码数据的运行状态信息，运行状态信息包括：正常和报错。另外，该方式可以快速定位代码隐藏错误和缺陷，也可以帮助代码设计人员更专注于分析和解决代码的设计缺陷。

通过上述编译任务编译静态检查后的代码数据，得到代码数据对应的可执行程序。上述编译通常是指根据代码数据产生可执行程序的过程，也即是将代码数据变成计算机可以识别的语言对应的可执行程序的过程。通过上述功能测试任务对可执行程序进行功能检测。上述功能测试任务可以采用黑盒测试对可执行程序进行功能检测，也即是检查实际的可执行程序的功能是都符合用户的需求。

在本申请实施例中，当根据执行结果确定目标离线文件检测通过，包括：当根据功能检测结果确定可执行程序的功能正常。

步骤S14，基于镜像文件***对待处理业务执行离线处理操作。

在本申请实施例中，离线处理操作包括：离线测试以及离线展示等处理操作。

在本申请实施例中，通过运行目标离线描述文件能够在本地离线构建镜像文件***，基于镜像文件***能够实现对待处理业务执行离线处理，处理过程不需要执行联网操作，提高了业务处理的效率，相比现有技术中重新部署Kubernetes节省了资源。

在本申请实施例中，只需在要部署的机器上安装Docker环境即可，启动一个该镜像容器，内部便启动Kubernetes单节点集群，用户可将自己的业务部署在Kubernetes集群之上，以供展示预览。

图2为本申请实施例提供的一种数据处理方法的流程图，如图2所示，该方法包括：

步骤S21，根据接收的构建指令获取配置文件的初始访问路径，配置文件中包括镜像文件***的线上构建信息；

步骤S22，根据初始访问路径获取配置文件，并将配置文件加载至本地的目标访问路径，得到离线文件；

步骤S23，获取用于启动镜像文件***的启动脚本；

步骤S24，根据启动脚本以及离线文件生成离线描述文件集合。

在本申请实施例中，预先将Minikube中的线上的配置文件下载到本地，形成离线文件，实现了在镜像文件***中内置本地下载源，为了后续不再进行联网操作建立基础，也为了后续在无网络的环境下搭建Kubernetes单节点集群提供铺垫。

图3为本申请实施例提供的一种数据处理方法的流程图，如图3所示，该方法包括：

步骤S31，获取上传指示信息；

步骤S32，根据上传指示信息将目标镜像文件***上传至镜像仓库。

在本申请实施例中，镜像仓库可以存储镜像文件***，用户可以推送新的镜像文件***到镜像仓库，也能够从镜像仓库下载已有的镜像文件***。该方式可以通过上传镜像任务，自动将目标镜像文件***上传至镜像仓库中，避免了手动上传容易出错的问题。在具体实现时，具体通过以下步骤：

步骤C1，获取预先存储的镜像仓库对应的上传证书。该上传证书通常预先存储在容器集群中，该上传证书可以表征该容器是否有权限上传镜像文件***至镜像仓库中。

步骤C2，对上述上传证书进行验证，如果上传证书验证通过，将目标镜像文件***上传至预设的镜像仓库。

上述镜像文件***的构建方法，根据镜像构建指令自动从应用配置***中获取配置数据、从代码库中获取目标镜像文件***对应的代码数据，并对获取到的代码数据，执行基于配置数据生成的用于构建目标镜像文件***的多个任务，构建目标镜像文件***，并自动将目标镜像文件***上传至镜像仓库中，该方式无需手动从代码库中下载代码数据，也无需手动上传目标镜像容器，从而减少了目标镜像文件***构建和上传的出错率，同时提高了镜像文件***构建和上传的效率。

可根据需要高度定制，此发明提供基础的Kubernetes运行环境，打包为Docker镜像，开发者可在该镜像的基础上通过Dockerfile或其他方式在该镜像上部署自己的服务，重新打包为新的镜像。在需要业务展示的地方运行即可，无需技术人员每次部署。

另外，本申请离线构建的镜像文件***，用完便可随时销毁，不占用其他资源。

图4为本申请实施例提供的一种数据处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，该装置包括：

接收模块41，用于接收数据处理请求，数据处理请求携带待处理业务的业务数据；

获取模块42，用于基于本地预先配置的离线描述文件集合获取与所述业务数据相匹配的目标离线描述文件，所述离线描述文件集合根据预先获取的线上配置文件生成；

构建模块43，用于根据目标离线描述文件构建镜像文件***；

执行模块44，用于基于镜像文件***对待处理业务执行离线处理操作。

在本申请实施例中，装置还包括文件处理模块，用于根据接收的构建指令获取配置文件的初始访问路径，配置文件中包括镜像文件***的线上构建信息；根据初始访问路径获取配置文件，并将配置文件加载至本地的目标访问路径，得到离线文件；获取用于启动镜像文件***的启动脚本；根据启动脚本以及离线文件生成离线描述文件集合。

在本发明的实施方式中，获取模块42，用于将离线描述文件集合中满足业务运行环境以及业务流程信息的离线文件作为目标离线文件；根据目标离线文件和启动脚本得到目标离线描述文件。

在本发明的实施方式中，构建模块43，包括：

生成子模块，用于接收到启动脚本的启动指令时，生成用于检测目标离线文件的任务信息；

执行子模块，用于执行任务信息得到执行结果；

校验子模块，用于当根据执行结果确定目标离线文件检测通过时，基于所述目标离线文件。

在本发明的实施方式中，执行子模块，用于检测目标离线文件中的代码数据，得到代码数据的运行状态信息；当根据运行状态信息确定代码数据检测通过时，得到代码数据对应的可执行程序；检测可执行程序的功能信息，得到功能检测结果；根据运行状态信息以及功能检测结果得到执行结果。

在本发明的实施方式中，当根据执行结果确定目标离线文件检测通过是指，当根据功能检测结果确定可执行程序的功能正常。

在本发明的实施方式中，装置还包括上传模块，用于获取上传指示信息；根据上传指示信息将目标镜像文件***上传至镜像仓库。

数据处理装置包括处理器和存储器，上述接收模块、获取模块、构建模块以及执行模块。等均作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块来实现相应的功能。

本发明实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。

当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述在数据处理设备侧执行的数据处理方法。

处理器用于执行存储器中存储的数据处理程序，以实现以下在数据处理设备侧执行的数据处理方法的步骤：

根据所述目标离线描述文件构建镜像文件***；

基于所述镜像文件***对所述待处理业务执行离线处理操作。

在本发明的可选实施方式中，所述方法还包括：

获取用于启动镜像文件***的启动脚本；

执行所述任务信息得到执行结果；

检测所述可执行程序的功能信息，得到功能检测结果；

在本发明的可选实施方式中，所述方法还包括：

获取上传指示信息；

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行：

根据所述目标离线描述文件构建镜像文件***；

基于所述镜像文件***对所述待处理业务执行离线处理操作。

图5为本发明实施例提供的一种电子设备的结构示意图，图5所示的电子设备60包括：至少一个处理器601、以及与处理器601连接的至少一个存储器602、总线603；其中，处理器601、存储器602通过总线603完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的数据处理方法。本文中的电子设备可以是服务器、PC、PAD、手机等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

根据所述目标离线描述文件构建镜像文件***；

基于所述镜像文件***对所述待处理业务执行离线处理操作。

在本发明的可选实施方式中，所述方法还包括：

获取用于启动镜像文件***的启动脚本；

执行所述任务信息得到执行结果；

检测所述可执行程序的功能信息，得到功能检测结果；

在本发明的可选实施方式中，所述方法还包括：

获取上传指示信息；

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、***或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种数据处理方法，其特征在于，所述方法包括：

根据所述目标离线描述文件构建镜像文件***；

基于所述镜像文件***对所述待处理业务执行离线处理操作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取用于启动镜像文件***的启动脚本；

3.根据权利要求2所述的方法，其特征在于，所述业务数据包括：业务运行环境以及业务流程信息；

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标离线描述文件构建镜像文件***，包括：

执行所述任务信息得到执行结果；

5.根据权利要求4所述的方法，其特征在于，所述执行所述任务信息得到执行结果，包括：

检测所述可执行程序的功能信息，得到功能检测结果；

6.根据权利要求5所述的方法，其特征在于，根据所述执行结果确定所述目标离线文件检测通过是指，根据所述功能检测结果确定所述可执行程序的功能正常。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取上传指示信息；

8.一种数据处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行权利要求1～7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1～7中任一项所述的方法。