CN107665233B - 数据库数据处理方法、装置、计算机设备和存储介质 - Google Patents
数据库数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN107665233B CN107665233B CN201710608523.8A CN201710608523A CN107665233B CN 107665233 B CN107665233 B CN 107665233B CN 201710608523 A CN201710608523 A CN 201710608523A CN 107665233 B CN107665233 B CN 107665233B
- Authority
- CN
- China
- Prior art keywords
- data
- task
- processing
- data processing
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24561—Intermediate data storage techniques for performance improvement
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种数据库数据处理方法、装置、计算机设备和存储介质，所述方法包括：获取数据处理任务执行指令；提取所述数据处理任务执行指令中的任务标识；获取所述任务标识对应的任务脚本；提取所述任务脚本中的数据处理指令和数据获取条件；根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；根据所述各数据库类型对应的目标数据分别创建临时数据表；根据所述数据处理指令对所述临时数据表中的目标数据进行处理。本发明提供的数据库数据处理方法、装置、计算机设备和存储介质，无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据库数据处理方法、装置、计算机设备和存储介质。
背景技术
随时计算机技术的发展，大量的数据都需要用计算机来处理。随着数据处理需求的不断增长，计算机的数据处理能力也在不断提升。
在数据的存储过程中，根据业务需求会将数据存储在不同数据库类型的数据库中。传统的数据处理技术，只能对单个数据库类型的数据库中的数据进行处理。当涉及到多个数据库类型的数据时，使得数据处理效率较低。
发明内容
基于此，有必要针对数据库数据处理效率低下的问题，提供一种数据库数据处理方法、装置、计算机设备和存储介质。
一种数据库数据处理方法，所述方法包括：
获取数据处理任务执行指令；
提取所述数据处理任务执行指令中的任务标识；
获取所述任务标识对应的任务脚本；
提取所述任务脚本中的数据处理指令和数据获取条件；
根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
根据所述各数据库类型对应的目标数据分别创建临时数据表；
根据所述数据处理指令对所述临时数据表中的目标数据进行处理。
一种数据库数据处理装置，所述装置包括：
指令获取模块，用于获取数据处理任务执行指令；
标识提取模块，用于提取所述数据处理任务执行指令中的任务标识；
脚本获取模块，用于获取所述任务标识对应的任务脚本；
脚本解析模块，用于提取所述任务脚本中的数据处理指令和数据获取条件；
数据获取模块，用于根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
数据表创建模块，用于根据所述各数据库类型对应的目标数据分别创建临时数据表；
数据处理模块，用于根据所述数据处理指令对所述临时数据表中的目标数据进行处理。
一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取数据处理任务执行指令；
提取所述数据处理任务执行指令中的任务标识；
获取所述任务标识对应的任务脚本；
提取所述任务脚本中的数据处理指令和数据获取条件；
根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
根据所述各数据库类型对应的目标数据分别创建临时数据表；
根据所述数据处理指令对所述临时数据表中的目标数据进行处理。
一个或多个存储有计算机可执行指令的存储介质，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：
获取数据处理任务执行指令；
提取所述数据处理任务执行指令中的任务标识；
获取所述任务标识对应的任务脚本；
提取所述任务脚本中的数据处理指令和数据获取条件；
根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
根据所述各数据库类型对应的目标数据分别创建临时数据表；
根据所述数据处理指令对所述临时数据表中的目标数据进行处理。
上述数据库数据处理方法、装置、计算机设备和存储介质，根据数据处理任务执行指令获取编辑的任务脚本，对任务脚本解析生成数据处理任务，提取数据处理任务中的数据处理指令和数据获取条件，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。根据各数据库类型对应的目标数据分别创建临时数据表，通过建立各数据库类型对应的临时数据表，根据数据处理指令对各数据库类型对应的通过临时数据表中的目标数据进行处理。无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
附图说明
图1为一个实施例中数据库数据处理方法的应用环境图；
图2为一个实施例中数据库数据处理***中的服务器的结构框图；
图3为一个实施例中数据库数据处理方法的流程示意图；
图4为一个实施例中根据任务依赖关系读取任务标识的步骤的流程示意图；
图5为一个实施例中获取自定义函数的步骤的流程示意图；
图6为一个实施例中存储处理结果的步骤的流程示意图；
图7为一个实施例中数据库数据处理装置的结构框图；
图8为一个实施例中数据处理模块的结构框图；
图9为另一个实施例中数据库数据处理装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1为一个数据库数据处理方法的应用环境图。参照图1，该数据库数据处理方法应用于数据库数据处理***。数据库数据处理***包括终端110和服务器120，其中终端110通过网络与服务器120连接。终端110可以是固定终端或移动终端，固定终端具体可以是打印机、扫描仪和监控器中的至少一种，移动终端具体可以是平板电脑、智能手机、个人数据助理和数码相机中的至少一种。
图2为一个实施例中图1数据库数据处理***中的服务器120的内部结构示意图。如图2所示，该服务器120包括通过***总线连接的处理器、非易失性存储介质、内存储器和网络接口。服务器120的处理器用于提供计算和控制能力，支撑整个服务器120的运行，存储器用于存储数据、代码指令等，网络接口用于与终端110进行网络通信。存储器上存储有至少一个计算机可执行指令，该计算机可执行指令可被处理器执行，以实现本申请实施例中提供的适用于服务器120的数据库数据处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random AccessMemory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器；非易失性存储介质存储有处理***、数据库和计算机可执行指令，数据库包括多个数据库类型分别对应的多个数据库，数据库中存储着目标数据，该计算机可执行指令可被处理器执行以实现上述的数据库数据处理方法；内存储器为非易失性存储介质中的处理***及计算机可执行指令提供高速缓存的运行环境。
如图3所示，在一个实施例中，提供一种数据库数据处理方法，本实施例以该方法应用于图1中的服务器120来举例说明，该方法具体包括以下内容：
S302，获取数据处理任务执行指令。
具体地，终端110获取用户输入的用户账号，根据获取到的用户账号生成页面数据获取请求，将页面数据获取请求发送至服务器120。服务器120接收到终端110发送的页面数据获取请求后，对页面数据获取请求进行解析，通过解析提取页面数据获取请求中的用户账号。服务器120对提取到的用户账号进行权限验证，在验证提取到的用户账号具有访问数据处理页面的访问权限时，根据页面数据获取请求向终端110返回数据处理页面数据。终端110在接收到的数据处理页面数据后，根据数据处理页面数据显示数据处理页面。终端110获取用户在显示的数据处理页面中选取任务标识，根据选取的任务标识生成数据处理任务执行指令。终端110将数据处理任务执行指令发送至服务器120。
S304，提取数据处理任务执行指令中的任务标识。
具体地，服务器120在接收到终端110发送的数据处理任务执行指令，对数据处理任务执行指令进行解析，通过解析提取任务执行指令中的任务标识。任务标识为任务的唯一标识。
S306，获取任务标识对应的任务脚本。
具体地，终端110获取用户在显示的数据处理页面中输入的任务标识和任务标识对应的任务脚本，将获取到的任务标识和任务脚本发送至服务器120。服务器120将接收到的任务标识和任务脚本对应存储。任务脚本为执行数据处理任务时执行的脚本。服务器120在提取到任务标识后，在存储的任务脚本中查询与提取到的任务标识对应的任务脚本，获取查询到的任务脚本。
S308，提取任务脚本中的数据处理指令和数据获取条件。
具体地，服务器120在提取到任务脚本后，对任务脚本进行解析，通过解析从任务脚本中提取数据处理指令和数据获取条件。其中，数据处理指令为对数据进行处理的指令。
在一个实施例中，服务器120对任务脚本进行解析，通过解析识别任务脚本中的数据处理指令、数据获取条件和运算资源配置参数，根据运算资源配置参数为数据处理指令配置运算资源。
S310，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。
具体地，服务器120可以对多种数据库类型对应的数据库进行访问。其中，多种数据库类型对应的数据库可以设置在服务器120上，也可以设置在其他服务器上。服务器120获取各种数据库类型对应的数据库的访问数据接口，通过访问数据访问接口从相应的数据库中获取符合数据获取条件的目标数据。
在一个实施例中，服务器120提取数据获取条件中的数据库标识，识别数据库标识对应的数据库类型，获取数据库类型应的数据库访问接口，根据数据库访问接口从数据库标识对应的数据库中获取符合数据获取条件的目标数据。
在一个实施例中，服务器120提取数据获取条件中的数据库类型，获取数据库类型的数据库访问接口和查询数据库类型对应的数据库，根据数据库访问接口从查询到的数据库中获取符合数据获取条件的目标数据。
S312，根据各数据库类型对应的目标数据分别创建临时数据表。
具体地，服务器120获取到各数据库类型对应的目标数据后，根据各数据库类型对应的目标数据分别创建预设格式的临时数据表，得到各数据库类型对应的临时数据表，临时数据表中存储着目标数据。
在一个实施例中，S312具体包括以下内容：获取各数据库类型对应的临时表创建指令；根据临时表创建指令分别对相应的数据库类型对应的目标数据创建临时数据表。
具体地，服务器120获取到各数据库类型对应的目标数据，分别获取各数据库类型对应的临时表创建指令，根据临时表创建指令创建各数据库类型对应的数据临时表，将各数据库类型对应的目标数据的数据格式转换为与临时数据表匹配的数据格式，将数据格式转换后的目标数据存储在相应的临时数据表中。
S314，根据数据处理指令对临时数据表中的目标数据进行处理。
具体地，服务器120创建了各数据库类型对应的临时数据表后，根据数据处理执行对各数据库类型对应的临时数据表中的目标数据进行数据处理，通过对各临时数据表中的目标数据的处理得到处理结果。
本实施例中，根据数据处理任务执行指令获取编辑的任务脚本，对任务脚本解析生成数据处理任务，提取数据处理任务中的数据处理指令和数据获取条件，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。根据各数据库类型对应的目标数据分别创建临时数据表，通过建立各数据库类型对应的临时数据表，根据数据处理指令对各数据库类型对应的通过临时数据表中的目标数据进行处理。无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
如图4所示，在一个实施例中，S306具体还包括根据任务依赖关系读取任务标识的步骤，该步骤具体包括以下内容：
S402，根据数据处理任务执行指令中的任务依赖关系读取各任务标识。
具体地，数据处理任务执行指令中包括多个任务标识和多个任务标识对应的任务依赖关系。服务器120对数据处理任务执行指令进行解析，通过解析提取数据处理任务执行指令中的任务依赖关系和任务标识，根据任务依赖关系读取任务标识。
在一个实施例中，数据处理任务执行指令中任务标识是按照任务依赖关系排列的任务流标识。服务器120根据任务依赖关系从任务流标识中读取任务标识。
举例说明，数据处理任务执行指令中的任务流标识为“1，2|3|4，5”，任务流标识中包括任务1、任务2、任务3、任务4和任务5的任务标识。其中“，”表示任务有依赖，先执行“，”前的任务标识对应的任务，后执行“，”后的任务标识对应的任务；“|”表示可并行执行“|”前后的任务标识对应的任务。“1，2|3|4，5”的任务执行顺序为先执行任务1，在任务1执行完毕后，再并行执行任务2、任务3和任务4，在任务2、任务3和任务4并行执行完毕后，再执行任务5。
S404，获取与读取到的任务标识对应的任务脚本。
具体地，服务器120在按照任务依赖关系从任务执行指令中读取到任务标识后，在存储的任务脚本中查询与任务标识对应的任务脚本，获取查询到的任务脚本。
本实施例中，数据处理任务执行指令包括多个任务标识和多个任务标识对应的任务依赖关系，根据任务依赖关系读取任务标识，根据读取到的任务标识获取任务脚本。保证根据任务依赖关系执行各任务标识对应的任务，简化了执行任务的操作步骤，提高了任务执行效率，根据一个数据处理任务执行指令即可执行多个数据处理任务，提高了数据处理效率。
如图5所示，在一个实施例中，S314具体包括获取自定义函数的步骤，该步骤具体包括以下内容：
S502，提取数据处理指令中的自定义函数标识。
具体地，服务器120对数据处理指令解析，通过解析提取数据处理指令中的自定义函数标识。其中，自定义函数标识为用户自定义的函数的唯一标识。
S504，根据自定义函数标识从自定义函数库中获取数据处理函数。
具体地，终端110获取用户在数据处理页面中用户输入的数据处理函数，将获取到的数据处理函数发送至服务器120。服务器120在接收到数据处理函数后，提取数据处理函数中的自定义函数标识，将接收到的数据处理函数和提取到的自定义函数标识对应存储在自定义函数库中。服务器120从数据处理指令中提取到自定义函数标识后，根据提取到的自定义函数标识在自定义函数库中查询数据处理函数，获取查询到的数据处理函数。
S506，根据获取到的数据处理函数对临时数据表中的目标数据进行处理。
具体地，服务器120根据获取到的数据处理函数对临时数据表中的目标数据进行处理，根据数据处理函数对目标数据进行处理得到处理结果。服务器120可以将得到的处理结果发送至终端110，使终端110显示在数据处理页面中。
本实施例中，可根据用户自定义的数据处理函数对各数据库类型的临时数据表中的目标数据进行处理，使得对目标数据的处理更加灵活，提高了数据处理的准确性和高效性。
如图6所示，在一个实施例中，S314之后具体还包括存储处理结果的步骤，该步骤具体还包括以下内容：
S602，获取处理结果存储指令。
具体地，终端110将服务器120得到的处理结果显示在数据处理页面中，检测到数据处理页面中的结果保存按钮被点击时，触发处理结果存储指令，将触发的处理结果存储指令发送至服务器120。服务器120接收终端110发送的处理结果存储指令。
在一个实施例中，服务器120可以检测数据处理过程是否结束，在检测到数据处理过程结束时，触发处理结果存储指令。
S604，提取处理结果存储指令中的数据库类型。
具体地，服务器120对处理结果存储指令进行解析，通过解析提取处理结果存储指令中的数据库类型。其中，提取到的数据库类型为处理结果存储的数据库所对应的数据库类型。
S606，将对目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式。
具体地，服务器120获取对目标数据进行处理得到的处理结果，确定提取到的数据库类型匹配的数据格式，将处理结果进行数据格式转换，将处理结果转换为提取到的数据库类型匹配的数据格式。
S608，将转换格式后的处理结果存储至提取到的数据库类型对应的数据库。
具体地，服务器120查询提取到的数据库类型对应的数据库，提取处理结果的数据标识，将提取到的数据标识和处理结果对应存储至查询到的数据库中。
在一个实施例中，服务器120提取处理结果存储指令中的数据库标识，识别提取到的数据库标识对应的数据库所属的数据库类型。服务器120确定识别到的数据库类型对应的数据格式，将处理结果的数据格式转换为确定的数据格式，将转换格式后的处理结果存储至提取到的数据库标识对应的数据库中。
本实施例中，根据处理结果存储指令，提取处理结果存储指令中的数据库类型，将处理结果进行数据格式转换，保证处理结果的数据格式与数据库类型匹配，将转换格式后的处理结果存储至处理结果存储指令中数据库类型对应的数据库中，保证了处理结果的数据格式的正确性。
在一个实施例中，用户通过浏览器页面和数据处理应用页面中输入用户账号和用户密码。终端110获取输入的用户账号和用户密码，根据获取到的用户账号和用户密码生成页面数据请求，终端110将页面数据请求发送至服务器120。
服务器120接收到页面数据请求后，提取页面数据请求中的用户账号和用户密码，根据用户账号和用户密码验证用户账号对应的用户是否具有访问权限。服务器120在验证用户账号对应的用户具有访问权限后，向终端110返回数据处理页面数据。
终端110根据数据处理页面数据显示数据处理页面。用户在数据处理页面中选取任务标识，通过终端110的输入设备点击数据任务执行按钮。终端110在检测到数据处理页面中的数据任务执行按钮被点击时，根据选取的任务标识和选取的任务标识对应的任务依赖关系生成数据处理任务执行指令，将数据处理任务执行指令发送至服务器120。
服务器120提取数据处理任务执行指令中的任务标识和任务标识对应的任务依赖关系，根据任务依赖关系和任务标识拆分城多个数据处理任务。服务器120分别根据各数据处理任务中的任务标识提取任务脚本，提取任务脚本中的数据处理指令和数据获取条件。
服务器120根据数据获取条件从可以访问的各数据库类型对应的数据库中查询目标数据，获取各数据库类型对应的目标数据。服务器120根据分别获取各数据库类型对应的临时表创建指令，根据临时表创建指令创建与数据库类型对应的临时数据表，将相应的目标数据存储至数据库类型对应的临时数据表。各数据库类型对应的临时数据表之前可以交互。服务器120根据数据处理指令对各数据库类型对应的临时数据表中的目标数据进行处理得到处理结果。
服务器120获取终端110登录的用户账号、数据处理时间、数据处理类型、数据库类型和数据获取条件中的至少一种，根据获取到的用户账号、数据处理时间、数据处理类型、数据库类型和数据获取条件中的至少一种生成数据处理日志。
如图7所示，在一个实施例中，提供一种数据库数据处理装置700，该装置具体包括以下内容：指令获取模块702、标识提取模块704、脚本获取模块706、脚本解析模块708、数据获取模块710、数据表创建模块712和数据处理模块714。
指令获取模块702，用于获取数据处理任务执行指令。
标识提取模块704，用于提取数据处理任务执行指令中的任务标识。
脚本获取模块706，用于获取任务标识对应的任务脚本。
脚本解析模块708，用于提取任务脚本中的数据处理指令和数据获取条件。
数据获取模块710，用于根据数据获取条件从各数据库类型对应的数据库中获取目标数据。
数据表创建模块712，用于根据各数据库类型对应的目标数据分别创建临时数据表。
数据处理模块714，用于根据数据处理指令对临时数据表中的目标数据进行处理。
在一个实施例中，数据表创建模块712还用于获取各数据库类型对应的临时表创建指令；根据临时表创建指令分别对相应的数据库类型对应的目标数据创建临时数据表。
本实施例中，根据数据处理任务执行指令获取编辑的任务脚本，对任务脚本解析生成数据处理任务，提取数据处理任务中的数据处理指令和数据获取条件，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。根据各数据库类型对应的目标数据分别创建临时数据表，通过建立各数据库类型对应的临时数据表，根据数据处理指令对各数据库类型对应的通过临时数据表中的目标数据进行处理。无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
在一个实施例中，脚本获取模块706还用于根据数据处理任务执行指令中的任务依赖关系读取各任务标识；获取与读取到的任务标识对应的任务脚本。
本实施例中，数据处理任务执行指令包括多个任务标识和多个任务标识对应的任务依赖关系，根据任务依赖关系读取任务标识，根据读取到的任务标识获取任务脚本。保证根据任务依赖关系执行各任务标识对应的任务，简化了执行任务的操作步骤，提高了任务执行效率，根据一个数据处理任务执行指令即可执行多个数据处理任务，提高了数据处理效率。
如图8所示，在一个实施例中，数据处理模块714具体包括以下内容：函数标识提取模块714a、处理函数获取模块714b和处理结果得到模块714c。
函数标识提取模块714a，用于提取数据处理指令中的自定义函数标识。
处理函数获取模块714b，用于根据自定义函数标识从自定义函数库中获取数据处理函数。
处理结果得到模块714c，用于根据获取到的数据处理函数对临时数据表中的目标数据进行处理。
本实施例中，可根据用户自定义的数据处理函数对各数据库类型的临时数据表中的目标数据进行处理，使得对目标数据的处理更加灵活，提高了数据处理的准确性和高效性。
如图9所示，在一个实施例中，数据库数据处理装置700具体还包括以下内容：指令获取模块716、类型提取模块718、格式转换模块720和数据存储模块722。
指令获取模块716，用于获取处理结果存储指令。
类型提取模块718，用于提取处理结果存储指令中的数据库类型。
格式转换模块720，用于将对目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式。
数据存储模块722，用于将转换格式后的处理结果存储至提取到的数据库类型对应的数据库。
本实施例中，根据处理结果存储指令，提取处理结果存储指令中的数据库类型，将处理结果进行数据格式转换，保证处理结果的数据格式与数据库类型匹配，将转换格式后的处理结果存储至处理结果存储指令中数据库类型对应的数据库中，保证了处理结果的数据格式的正确性。
一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取数据处理任务执行指令；提取数据处理任务执行指令中的任务标识；获取任务标识对应的任务脚本；提取任务脚本中的数据处理指令和数据获取条件；根据数据获取条件从各数据库类型对应的数据库中获取目标数据；根据各数据库类型对应的目标数据分别创建临时数据表；根据数据处理指令对临时数据表中的目标数据进行处理。
在一个实施例中，获取任务标识对应的任务脚本，包括：根据数据处理任务执行指令中的任务依赖关系读取各任务标识；获取与读取到的任务标识对应的任务脚本。
在一个实施例中，根据各数据库类型对应的目标数据分别创建临时数据表，包括：获取各数据库类型对应的临时表创建指令；根据临时表创建指令分别对相应的数据库类型对应的目标数据创建临时数据表。
在一个实施例中，根据数据处理指令对临时数据表中的目标数据进行处理，包括：提取数据处理指令中的自定义函数标识；根据自定义函数标识从自定义函数库中获取数据处理函数；根据获取到的数据处理函数对临时数据表中的目标数据进行处理。
在一个实施例中，根据数据处理指令对临时数据表中的目标数据进行处理之后，处理器执行计算机程序时还实现以下步骤：获取处理结果存储指令；提取处理结果存储指令中的数据库类型；将对目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式；将转换格式后的处理结果存储至提取到的数据库类型对应的数据库。
本实施例中，根据数据处理任务执行指令获取编辑的任务脚本，对任务脚本解析生成数据处理任务，提取数据处理任务中的数据处理指令和数据获取条件，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。根据各数据库类型对应的目标数据分别创建临时数据表，通过建立各数据库类型对应的临时数据表，根据数据处理指令对各数据库类型对应的通过临时数据表中的目标数据进行处理。无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
一个或多个存储有计算机可执行指令的存储介质，计算机可执行指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取数据处理任务执行指令；提取数据处理任务执行指令中的任务标识；获取任务标识对应的任务脚本；提取任务脚本中的数据处理指令和数据获取条件；根据数据获取条件从各数据库类型对应的数据库中获取目标数据；根据各数据库类型对应的目标数据分别创建临时数据表；根据数据处理指令对临时数据表中的目标数据进行处理。
在一个实施例中，获取任务标识对应的任务脚本，包括：根据数据处理任务执行指令中的任务依赖关系读取各任务标识；获取与读取到的任务标识对应的任务脚本。
在一个实施例中，根据各数据库类型对应的目标数据分别创建临时数据表，包括：获取各数据库类型对应的临时表创建指令；根据临时表创建指令分别对相应的数据库类型对应的目标数据创建临时数据表。
在一个实施例中，根据数据处理指令对临时数据表中的目标数据进行处理，包括：提取数据处理指令中的自定义函数标识；根据自定义函数标识从自定义函数库中获取数据处理函数；根据获取到的数据处理函数对临时数据表中的目标数据进行处理。
在一个实施例中，根据数据处理指令对临时数据表中的目标数据进行处理之后，处理器还执行以下步骤：获取处理结果存储指令；提取处理结果存储指令中的数据库类型；将对目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式；将转换格式后的处理结果存储至提取到的数据库类型对应的数据库。
本实施例中，根据数据处理任务执行指令获取编辑的任务脚本，对任务脚本解析生成数据处理任务，提取数据处理任务中的数据处理指令和数据获取条件，根据数据获取条件从各数据库类型对应的数据库中获取目标数据。根据各数据库类型对应的目标数据分别创建临时数据表，通过建立各数据库类型对应的临时数据表，根据数据处理指令对各数据库类型对应的通过临时数据表中的目标数据进行处理。无需单独对每个数据库类型对应的目标数据进行单独操作，提高了各数据库类型对应的数据的处理效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种数据库数据处理方法，所述方法包括：
获取数据处理任务执行指令；
提取所述数据处理任务执行指令中的任务标识；
获取所述任务标识对应的任务脚本；
提取所述任务脚本中的数据处理指令和数据获取条件；
根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
根据所述各数据库类型对应的目标数据分别创建临时数据表；
根据所述数据处理指令对所述临时数据表中的目标数据进行处理；
所述数据处理任务执行指令包括多个任务标识和多个任务标识对应的任务依赖关系；所述获取所述任务标识对应的任务脚本包括，根据所述数据处理任务执行指令中的任务依赖关系读取各任务标识，获取与读取到的任务标识对应的任务脚本。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各数据库类型对应的目标数据分别创建临时数据表，包括：
获取各数据库类型对应的临时表创建指令；
根据所述临时表创建指令分别对相应的数据库类型对应的目标数据创建临时数据表。
3.根据权利要求2所述的方法，其特征在于，所述根据所述数据处理指令对所述临时数据表中的目标数据进行处理，包括：
提取数据处理指令中的自定义函数标识；
根据所述自定义函数标识从自定义函数库中获取数据处理函数；
根据获取到的数据处理函数对所述临时数据表中的目标数据进行处理。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述数据处理指令对所述临时数据表中的目标数据进行处理之后，还包括：
获取处理结果存储指令；
提取所述处理结果存储指令中的数据库类型；
将对所述目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式；
将转换格式后的处理结果存储至所述提取到的数据库类型对应的数据库。
5.一种数据库数据处理装置，其特征在于，所述装置包括：
指令获取模块，用于获取数据处理任务执行指令；
标识提取模块，用于提取所述数据处理任务执行指令中的任务标识；
脚本获取模块，用于获取所述任务标识对应的任务脚本；
脚本解析模块，用于提取所述任务脚本中的数据处理指令和数据获取条件；
数据获取模块，用于根据所述数据获取条件从各数据库类型对应的数据库中获取目标数据；
数据表创建模块，用于根据所述各数据库类型对应的目标数据分别创建临时数据表；
数据处理模块，用于根据所述数据处理指令对所述临时数据表中的目标数据进行处理；
所述数据处理任务执行指令包括多个任务标识和多个任务标识对应的任务依赖关系；所述脚本获取模块还用于根据所述数据处理任务执行指令中的任务依赖关系读取各任务标识，获取与读取到的任务标识对应的任务脚本。
6.根据权利要求5所述的装置，其特征在于，所述数据处理模块包括：
函数标识提取模块，用于提取数据处理指令中的自定义函数标识；
处理函数获取模块，用于根据所述自定义函数标识从自定义函数库中获取数据处理函数；
处理结果得到模块，用于根据获取到的数据处理函数对所述临时数据表中的目标数据进行处理。
7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：
指令获取模块，用于获取处理结果存储指令；
类型提取模块，用于提取所述处理结果存储指令中的数据库类型；
格式转换模块，用于将对所述目标数据进行处理得到的处理结果，转换为与提取到的数据库类型匹配的数据格式；
数据存储模块，用于将转换格式后的处理结果存储至所述提取到的数据库类型对应的数据库。
8.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述方法的步骤。
9.一个或多个存储有计算机可执行指令的存储介质，所述计算机可执行指令被一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1至4任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710608523.8A CN107665233B (zh) | 2017-07-24 | 2017-07-24 | 数据库数据处理方法、装置、计算机设备和存储介质 |
| PCT/CN2017/104253 WO2019019361A1 (zh) | 2017-07-24 | 2017-09-29 | 数据库数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710608523.8A CN107665233B (zh) | 2017-07-24 | 2017-07-24 | 数据库数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107665233A CN107665233A (zh) | 2018-02-06 |
| CN107665233B true CN107665233B (zh) | 2020-07-31 |
Family
ID=61122580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710608523.8A Active CN107665233B (zh) | 2017-07-24 | 2017-07-24 | 数据库数据处理方法、装置、计算机设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107665233B (zh) |
| WO (1) | WO2019019361A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108446175A (zh) * | 2018-03-12 | 2018-08-24 | 平安普惠企业管理有限公司 | 任务处理方法、装置、计算机设备和存储介质 |
| CN108446371B (zh) * | 2018-03-15 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据回导方法、装置、计算机设备及存储介质 |
| CN110309214B (zh) * | 2018-04-10 | 2023-06-23 | 腾讯科技（深圳）有限公司 | 一种指令执行方法及其设备、存储介质、服务器 |
| CN110489213B (zh) * | 2018-05-15 | 2022-04-05 | 华为技术有限公司 | 一种任务处理方法及处理装置、计算机*** |
| CN110750597A (zh) * | 2018-07-23 | 2020-02-04 | 北京国双科技有限公司 | 数据处理方法及装置、存储介质和处理器 |
| CN110019434A (zh) * | 2018-08-23 | 2019-07-16 | 深圳市信锐网科技术有限公司 | 物联网数据处理方法、装置、平台及存储介质 |
| CN109284097B (zh) * | 2018-09-07 | 2022-02-15 | 武汉轻工大学 | 实现复杂数据分析的方法、设备、***及存储介质 |
| CN111339170A (zh) * | 2018-12-19 | 2020-06-26 | 深圳市优必选科技有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN110020773A (zh) * | 2019-01-30 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、设备及计算机可读介质 |
| CN110750308B (zh) * | 2019-09-11 | 2024-03-01 | 东软集团股份有限公司 | 任务处理方法、装置、存储介质及电子设备 |
| CN111078733B (zh) * | 2019-11-26 | 2024-02-09 | 金蝶软件（中国）有限公司 | 批量任务处理方法、装置、计算机设备和存储介质 |
| CN112988806A (zh) * | 2019-12-17 | 2021-06-18 | 北京沃东天骏信息技术有限公司 | 一种数据处理的方法及装置 |
| CN111813783B (zh) * | 2020-07-27 | 2024-03-26 | 南方电网数字电网研究院有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
| CN112000644B (zh) * | 2020-08-21 | 2022-08-02 | 北京浪潮数据技术有限公司 | 一种数据处理方法、***及电子设备和存储介质 |
| CN113269547B (zh) * | 2021-05-31 | 2024-05-31 | 中国农业银行股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN113778999A (zh) * | 2021-09-29 | 2021-12-10 | 平安资产管理有限责任公司 | 数据模块化处理方法、装置、计算机设备和存储介质 |
| CN114238286B (zh) * | 2022-02-28 | 2022-08-05 | 连连（杭州）信息技术有限公司 | 一种数据仓库数据处理方法、装置、电子设备及存储介质 |
| CN115952172B (zh) * | 2023-03-08 | 2023-05-26 | 畅捷通信息技术股份有限公司 | 一种基于数据库临时表的数据匹配方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944128A (zh) * | 2010-09-25 | 2011-01-12 | 中兴通讯股份有限公司 | 数据导出、导入的方法和装置 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
| CN105930389A (zh) * | 2016-04-14 | 2016-09-07 | 北京京东尚科信息技术有限公司 | 数据结转的方法和*** |
| CN105989142A (zh) * | 2015-02-28 | 2016-10-05 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN106649355A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN106815353A (zh) * | 2017-01-20 | 2017-06-09 | 星环信息科技（上海）有限公司 | 一种数据查询的方法及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013070873A1 (en) * | 2011-11-10 | 2013-05-16 | Treasure Data, Inc. | System and method for operating a big-data platform |
-
2017
- 2017-07-24 CN CN201710608523.8A patent/CN107665233B/zh active Active
- 2017-09-29 WO PCT/CN2017/104253 patent/WO2019019361A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944128A (zh) * | 2010-09-25 | 2011-01-12 | 中兴通讯股份有限公司 | 数据导出、导入的方法和装置 |
| CN102346775A (zh) * | 2011-09-26 | 2012-02-08 | 苏州博远容天信息科技有限公司 | 一种基于日志的异构多源数据库同步方法 |
| CN105989142A (zh) * | 2015-02-28 | 2016-10-05 | 华为技术有限公司 | 一种数据查询方法及装置 |
| CN106649355A (zh) * | 2015-10-30 | 2017-05-10 | 北京国双科技有限公司 | 一种数据处理方法及装置 |
| CN105930389A (zh) * | 2016-04-14 | 2016-09-07 | 北京京东尚科信息技术有限公司 | 数据结转的方法和*** |
| CN106815353A (zh) * | 2017-01-20 | 2017-06-09 | 星环信息科技（上海）有限公司 | 一种数据查询的方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107665233A (zh) | 2018-02-06 |
| WO2019019361A1 (zh) | 2019-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107665233B (zh) | 数据库数据处理方法、装置、计算机设备和存储介质 | |
| CN107766190B (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
| CN107844421B (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
| CN108984388B (zh) | 一种生成自动化测试用例的方法及终端设备 | |
| CN108804299B (zh) | 应用程序异常处理方法及装置 | |
| CN109951435B (zh) | 一种设备标识提供方法及装置和风险控制方法及装置 | |
| CN107436844B (zh) | 一种接口用例合集的生成方法及装置 | |
| CN107784552B (zh) | 信息推送任务执行方法、装置、计算机设备和存储介质 | |
| RU2017134532A (ru) | Система и способ для извлечения и совместного использования связанных с приложением пользовательских данных | |
| CN111683066B (zh) | 异构***集成方法、装置、计算机设备和存储介质 | |
| CN109558199B (zh) | 一种信息推送方法、装置、设备和存储介质 | |
| CN111338693B (zh) | 基于模型构建的目标文件生成方法、服务器及存储介质 | |
| CN111144402A (zh) | Ocr识别准确率的计算方法、装置、设备以及存储介质 | |
| CN112597020A (zh) | 接口测试方法、装置、计算机设备及存储介质 | |
| CN111679886A (zh) | 异构计算资源调度方法、***、电子设备及存储介质 | |
| CN111831542A (zh) | Api应用调测方法及装置、存储介质 | |
| CN115208951B (zh) | 请求处理方法、装置、电子设备及计算机可读存储介质 | |
| CN115563600A (zh) | 数据审核方法和装置、电子设备及存储介质 | |
| CN107368407B (zh) | 信息处理方法和装置 | |
| CN116069838A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN105592169A (zh) | 终端识别方法及装置 | |
| JP2019101889A (ja) | テスト実行装置及びプログラム | |
| CN113448640A (zh) | Web应用配置检测方法、装置、存储介质和计算机设备 | |
| CN113051231A (zh) | 文件解析方法、装置、计算机设备和存储介质 | |
| CN108268545B (zh) | 一种分级的用户标签库的创建的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180530 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen one ledger Intelligent Technology Co., Ltd. Address before: 200000 Xuhui District, Shanghai Kai Bin Road 166, 9, 10 level. Applicant before: Shanghai Financial Technologies Ltd |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: 518000 Room 201, building A, 1 front Bay Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong Applicant after: Shenzhen one ledger Intelligent Technology Co., Ltd. Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant before: Shenzhen one ledger Intelligent Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1250801 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |