CN115130043B - 基于数据库的数据处理方法、装置、设备及存储介质 - Google Patents
基于数据库的数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115130043B CN115130043B CN202211050745.XA CN202211050745A CN115130043B CN 115130043 B CN115130043 B CN 115130043B CN 202211050745 A CN202211050745 A CN 202211050745A CN 115130043 B CN115130043 B CN 115130043B
- Authority
- CN
- China
- Prior art keywords
- database
- target
- node
- sub
- result corresponding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理领域,公开了一种基于数据库的数据处理方法、装置、设备及存储介质,用于提高数据挖掘的准确率。所述方法包括:对初始接口进行读取和解析,得到目标节点,并对目标节点进行节点搜索,得到目标子节点;根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合;对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到第二子节点集合;对第二子节点集合进行数据库运算,得到目标运算结果,并对目标运算结果进行赋值,得到赋值结果;对赋值结果进行数据融合,得到目标数据,对目标数据进行转码并输出。
Description
技术领域
本发明涉及数据处理领域,尤其涉及一种基于数据库的数据处理方法、装置、设备及存储介质。
背景技术
目前,人们对大数据尚未形成公认的定义或者概念。大数据被定义为大数据(BigData),其主要的核心就在大字上,意味着在基于数据库的数据处理的过程中,大数据超出普通基于数据库的数据处理的范畴,难以应用现代通用的软件进行基于数据库的数据处理方面的工作。
因此如何对数据库进行数据挖掘成为当前研究的热门,但是现有的一些数据挖掘方案,数据挖掘的准确率较低。
发明内容
本发明提供了一种基于数据库的数据处理方法、装置、设备及存储介质,用于提高数据挖掘的准确率。
本发明第一方面提供了一种基于数据库的数据处理方法,所述基于数据库的数据处理方法包括:接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
可选的,在本发明第一方面的第一种实现方式中,所述对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点,包括:调用预置的数据读取函数对所述初始接口进行读取,并对所述初始接口进行数据解析,得到目标节点;调用预设的节点搜索算法,对所述目标节点进行节点搜索提取,得到所述目标节点对应的目标子节点。
可选的,在本发明第一方面的第二种实现方式中,所述获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合,包括:基于预设的数据库参数确定多个数据库,并计算所述多个数据库对应的数据库数目;根据所述数据库数目确定所述目标子节点的子节点分组数目;根据所述子节点分组数目对所述目标子节点进行子节点分组,得到多个第一子节点集合。
可选的,在本发明第一方面的第三种实现方式中,所述对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合,包括:分别获取每个第一子节点集合的变量数据,并根据所述变量数据确定每个第一子节点集合的目标权重;根据每个第一子节点集合的目标权重对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果;按照预设的分发策略并根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合。
可选的,在本发明第一方面的第四种实现方式中,所述对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,包括:对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
可选的,在本发明第一方面的第五种实现方式中,所述转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出,包括:对每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,得到目标数据;判断所述目标数据是否符合预设输出条件;若符合,则对所述目标数据进行转码和输出;若不符合,则对每个数据库对应的赋值结果进行重复计算。
可选的,在本发明第一方面的第六种实现方式中,所述基于数据库的数据处理方法还包括:获取多个训练数据和训练模型,所述多个训练数据包括:多个目标子句组;基于所述多个训练数据对所述训练模型进行模型训练,得到训练完成的目标模型;基于所述目标模型对所述目标子节点进行子节点分组,得到多个第一子节点集合。
本发明第二方面提供了一种基于数据库的数据处理装置,所述基于数据库的数据处理装置包括:接收模块,用于接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;解析模块,用于对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;分组模块,用于获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;分配模块,用于对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;赋值模块,用于对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;融合模块,用于转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
可选的,在本发明第二方面的第一种实现方式中,所述解析模块具体用于:调用预置的数据读取函数对所述初始接口进行读取,并对所述初始接口进行数据解析,得到目标节点;调用预设的节点搜索算法,对所述目标节点进行节点搜索提取,得到所述目标节点对应的目标子节点。
可选的,在本发明第二方面的第二种实现方式中,所述分组模块具体用于:基于预设的数据库参数确定多个数据库,并计算所述多个数据库对应的数据库数目;根据所述数据库数目确定所述目标子节点的子节点分组数目;根据所述子节点分组数目对所述目标子节点进行子节点分组,得到多个第一子节点集合。
可选的,在本发明第二方面的第三种实现方式中,所述分配模块具体用于:分别获取每个第一子节点集合的变量数据,并根据所述变量数据确定每个第一子节点集合的目标权重;根据每个第一子节点集合的目标权重对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果;按照预设的分发策略并根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合。
可选的,在本发明第二方面的第四种实现方式中,所述赋值模块具体用于:对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
可选的,在本发明第二方面的第五种实现方式中,所述融合模块具体用于:对每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,得到目标数据;判断所述目标数据是否符合预设输出条件;若符合,则对所述目标数据进行转码和输出;若不符合,则对每个数据库对应的赋值结果进行重复计算。
可选的,在本发明第二方面的第六种实现方式中,所述基于数据库的数据处理装置还包括:训练模块,用于获取多个训练数据和训练模型,所述多个训练数据包括:多个目标子句组;基于所述多个训练数据对所述训练模型进行模型训练,得到训练完成的目标模型;基于所述目标模型对所述目标子节点进行子节点分组,得到多个第一子节点集合。
本发明第三方面提供了一种基于数据库的数据处理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令;所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于数据库的数据处理设备执行上述的基于数据库的数据处理方法。
本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的基于数据库的数据处理方法。
本发明提供的技术方案中,通过获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合,对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,从而实现了提高数据处理效率,并且通过对每个数据库对应的赋值结果进行数据融合,得到目标数据,从而提高了数据挖掘的准确率。
附图说明
图1为本发明实施例中基于数据库的数据处理方法的一个实施例示意图;
图2为本发明实施例中基于数据库的数据处理方法的另一个实施例示意图;
图3为本发明实施例中基于数据库的数据处理装置的一个实施例示意图;
图4为本发明实施例中基于数据库的数据处理装置的另一个实施例示意图;
图5为本发明实施例中基于数据库的数据处理设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于数据库的数据处理方法、装置、设备及存储介质,用于提高数据挖掘的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中基于数据库的数据处理方法的一个实施例包括:
101、接收待处理的目标处理请求,并对目标处理请求进行解析,得到目标处理请求对应的初始接口;
可以理解的是,本发明的执行主体可以为基于数据库的数据处理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
具体的,服务器接收待处理的目标处理请求,并对目标处理请求进行解析,获取对应的数据标识,进而服务器根据该数据标识从预置的数据库中获取与目标处理请求对应的初始接口。
102、对初始接口进行读取和解析,得到目标节点,并对目标节点进行节点搜索,得到目标节点对应的目标子节点;
具体的,服务器从预置的数据库中提取多个运算符宏或者数学表达式,然后验证目标节点的数学表达式的等价,若与预置的模板数据对应的数学表达式等价,那么服务器得到目标节点对应的目标子节点,需要说明的是,表达式等价性验证通过现有的词级检查算法实现,相等的公式会以标准范式表示。
103、获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合;
具体的,服务器获取上述多个数据库对应的数据库数目,进而根据该多个数据库对应的数据库数目,同时服务器根据该多个数据库对应的数据库数目确定子节点分组数目,最终服务器根据该多个子节点分组数目进行子节点分组,得到多个第一子节点集合。
104、对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;
具体的,服务器分别获取每个第一子节点集合的变量数据,并根据变量数据确定每个第一子节点集合的目标权重,根据每个第一子节点集合的目标权重对多个第一子节点集合进行节点序列排列,得到子节点排列结果,最终服务器根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子句。
105、对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;
具体的,对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,其中,需要说明的是,赋值函数将MLN结构与目标领域进行映射,建立两个领域之间的关联,然后,对映射得到的结构进行优化以适应目标领域的指标,进而对每个数据库对应的目标运算结果进行赋值。
106、转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对目标数据进行转码并输出。
具体的,通过预置的随机赋值重启算法,对每个数据库对应的赋值结果进行紧密节点搜索,得到节点赋值网络表,进而服务器以目标节点为中心,结合不同节点之间在行为模式向量上的相似度,对节点赋值网络表进行二次搜索,得到目标节点赋值网络表,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对目标数据进行转码并输出。
本发明实施例中,通过获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合,对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,从而实现了提高数据处理效率,并且通过对每个数据库对应的赋值结果进行数据融合,得到目标数据,从而提高了数据挖掘的准确率。
请参阅图2,本发明实施例中基于数据库的数据处理方法的另一个实施例包括:
201、接收待处理的目标处理请求,并对目标处理请求进行解析,得到目标处理请求对应的初始接口;
具体的,在本实施例中,步骤201的具体实施方式与上述步骤101类似,此处不再赘述。
202、对初始接口进行读取和解析,得到目标节点,并对目标节点进行节点搜索,得到目标节点对应的目标子节点;
具体的,调用预置的数据读取函数对初始接口进行读取,并对初始接口进行数据解析,得到目标节点;调用预设的节点搜索算法,对目标节点进行节点搜索提取,得到目标节点对应的目标子节点。
其中,服务器创建CNF编码,并且通过预置的SAT求解器来求解CNF编码,其中调用预置的数据读取函数对初始接口进行读取,并对初始接口进行数据解析,得到目标节点;调用预设的节点搜索算法,在示例性实施例中,由于初始接口中的数据已经被标准化为相同的结构模式,所以对SAT求解器来说,求解合取范式的CNF编码是非常简单的,它不会像通常那样陷入到指数级复杂度过程中,并且可以在几秒内完成求解,例如,具有相同结构的两个等价逻辑数据,SAT求解器可以在多项式时间中解出。例如,SAT求解器遍历两个等价数据并按拓扑顺序生成CNF子句。由于两个等价数据完全处于相同的实现形式,SAT求解器合并具有相同输入和子函数的每对CNF子句。验证结果可以通过在多项式时间中遍历一次就获得,最终服务器得到目标节点对应的目标子节点。
203、获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合;
具体的,基于预设的数据库参数确定多个数据库,并计算多个数据库对应的数据库数目;根据数据库数目确定目标子节点的子节点分组数目;根据子节点分组数目对目标子节点进行子节点分组,得到多个第一子节点集合。
其中,在确定过程中服务器对多个数据库作出筛选之后,构造对应的CNF公式,作为永久子句组,其中,服务器动态选择分割集,验证每对多个数据库的等价性,如果分割集中的信号存在依赖关系,即某个信号是其它信号的扇出信号,那么从分割集中删除这个信号,此外,尽可能选择扇入数多的信号进入分割集合,进而服务器通过对CNF公式的子句进行分组来实现增量可满足性算法,当验证一对信号是等价后,根据子节点分组数目对目标子节点进行子节点分组,得到多个第一子节点集合。
204、分别获取每个第一子节点集合的变量数据,并根据变量数据确定每个第一子节点集合的目标权重;
205、根据每个第一子节点集合的目标权重对多个第一子节点集合进行节点序列排列,得到子节点排列结果;
206、按照预设的分发策略并根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;
具体的,获取各个第一子节点集合在当前进程分别对应的权重值和第一子节点集合使用记录中各个第一子节点集合的使用次数,利用使用次数和权重值计算各个第一子节点集合的权重优化值;根据权重优化值、第一子节点集合总数以及各个第一子节点集合的标识信息,计算各个第一子节点集合的排列位置值,按照排列位置值排列各个第一子节点集合,获得第一子节点集合序列,进而服务器按照预设的分发策略并根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合。
207、对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;
具体的,对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
其中,该编码运算算法依据语法元素值输出码字。此编码运算算法包含查找表,尾缀产生器,以及组合器。该查找表依据语法元素值输出第二元字符串。该尾缀产生器依据该语法元素值进行指数哥伦布二元编码产生字符串。当该语法元素值小于或等于临界值时,该元字符串输出成为该码字。当该语法元素值大于临界值时,该组合器组合该第二元字符串以及该第二二元字符串成为该码字,进而服务器得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
208、转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对目标数据进行转码并输出。
具体的,对每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,得到目标数据;判断目标数据是否符合预设输出条件;若符合,则对目标数据进行转码和输出;若不符合,则对每个数据库对应的赋值结果进行重复计算。
其中,服务器每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,需要说明的是,预置的***数据库存储接收的各生产数据,为计算赋值、核查比对提供基础数据,通过对赋值和被赋值的关联性分析,提供固定赋值计算模型或可变赋值计算模型,得到赋值结果,对被赋值后的目标数据判断目标数据是否符合预设输出条件;若符合,则对目标数据进行转码和输出;若不符合,则对每个数据库对应的赋值结果进行重复计算。
可选的,获取多个训练数据和训练模型,多个训练数据包括:多个目标子句组;基于多个训练数据对训练模型进行模型训练,得到训练完成的目标模型;基于目标模型对目标子节点进行子节点分组,得到多个第一子节点集合。
本发明实施例中,通过获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合,对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,从而实现了提高数据处理效率,并且通过对每个数据库对应的赋值结果进行数据融合,得到目标数据,从而提高了数据挖掘的准确率。
上面对本发明实施例中基于数据库的数据处理方法进行了描述,下面对本发明实施例中基于数据库的数据处理装置进行描述,请参阅图3,本发明实施例中基于数据库的数据处理装置一个实施例包括:
接收模块301,用于接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;
解析模块302,用于对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;
分组模块303,用于获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;
分配模块304,用于对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;
赋值模块305,用于对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;
融合模块306,用于转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
本发明实施例中,通过获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合,对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,从而实现了提高数据处理效率,并且通过对每个数据库对应的赋值结果进行数据融合,得到目标数据,从而提高了数据挖掘的准确率。
请参阅图4,本发明实施例中基于数据库的数据处理装置另一个实施例包括:
接收模块301,用于接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;
解析模块302,用于对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;
分组模块303,用于获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;
分配模块304,用于对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;
赋值模块305,用于对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;
融合模块306,用于转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
可选的,所述解析模块302具体用于:调用预置的数据读取函数对所述初始接口进行读取,并对所述初始接口进行数据解析,得到目标节点;调用预设的节点搜索算法,对所述目标节点进行节点搜索提取,得到所述目标节点对应的目标子节点。
可选的,所述分组模块303具体用于:基于预设的数据库参数确定多个数据库,并计算所述多个数据库对应的数据库数目;根据所述数据库数目确定所述目标子节点的子节点分组数目;根据所述子节点分组数目对所述目标子节点进行子节点分组,得到多个第一子节点集合。
可选的,所述分配模块304具体用于:分别获取每个第一子节点集合的变量数据,并根据所述变量数据确定每个第一子节点集合的目标权重;根据每个第一子节点集合的目标权重对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果;按照预设的分发策略并根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合。
可选的,所述赋值模块305具体用于:对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
可选的,所述融合模块306具体用于:对每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,得到目标数据;判断所述目标数据是否符合预设输出条件;若符合,则对所述目标数据进行转码和输出;若不符合,则对每个数据库对应的赋值结果进行重复计算。
可选的,所述基于数据库的数据处理装置还包括:
训练模块307,用于获取多个训练数据和训练模型,所述多个训练数据包括:多个目标子句组;基于所述多个训练数据对所述训练模型进行模型训练,得到训练完成的目标模型;基于所述目标模型对所述目标子节点进行子节点分组,得到多个第一子节点集合。
本发明实施例中,通过获取预置的多个数据库对应的数据库数目,并根据数据库数目对目标子节点进行子节点分组,得到多个第一子节点集合,对多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据子节点排列结果分别将多个第一子节点集合分配至多个数据库,得到每个数据库对应的第二子节点集合;对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,从而实现了提高数据处理效率,并且通过对每个数据库对应的赋值结果进行数据融合,得到目标数据,从而提高了数据挖掘的准确率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于数据库的数据处理装置进行详细描述,下面从硬件处理的角度对本发明实施例中基于数据库的数据处理设备进行详细描述。
图5是本发明实施例提供的一种基于数据库的数据处理设备的结构示意图,该基于数据库的数据处理设备500可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)510(例如,一个或一个以上处理器)和存储器520,一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中,存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对基于数据库的数据处理设备500中的一系列指令操作。更进一步地,处理器510可以设置为与存储介质530通信,在基于数据库的数据处理设备500上执行存储介质530中的一系列指令操作。
基于数据库的数据处理设备500还可以包括一个或一个以上电源540,一个或一个以上有线或无线网络接口550,一个或一个以上输入输出接口560,和/或,一个或一个以上操作***531,例如Windows Serve,Mac OS X,Unix,Linux,FreeBSD等等。本领域技术人员可以理解,图5示出的基于数据库的数据处理设备结构并不构成对基于数据库的数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
本发明还提供一种基于数据库的数据处理设备,所述基于数据库的数据处理设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述基于数据库的数据处理方法的步骤。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述基于数据库的数据处理方法的步骤。
进一步地,计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于数据库的数据处理方法,其特征在于,所述基于数据库的数据处理方法包括:
接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;
对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;
获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;
对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;
对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;具体的,对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,其中,编码运算算法依据语法元素值输出码字,所述编码运算算法包含查找表,尾缀产生器,以及组合器,查找表依据语法元素值输出第二元字符串,所述尾缀产生器依据所述语法元素值进行指数哥伦布二元编码产生字符串,当所述语法元素值小于或等于临界值时,所述元字符串输出成为所述码字,当所述语法元素值大于临界值时,所述组合器组合所述第二元字符串以及所述第二元字符串成为所述码字,得到每个数据库对应的目标运算结果;
转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
2.根据权利要求1所述的基于数据库的数据处理方法,其特征在于,所述对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点,包括:
调用预置的数据读取函数对所述初始接口进行读取,并对所述初始接口进行数据解析,得到目标节点;
调用预设的节点搜索算法,对所述目标节点进行节点搜索提取,得到所述目标节点对应的目标子节点。
3.根据权利要求1所述的基于数据库的数据处理方法,其特征在于,所述获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合,包括:
基于预设的数据库参数确定多个数据库,并计算所述多个数据库对应的数据库数目;
根据所述数据库数目确定所述目标子节点的子节点分组数目;
根据所述子节点分组数目对所述目标子节点进行子节点分组,得到多个第一子节点集合。
4.根据权利要求1所述的基于数据库的数据处理方法,其特征在于,所述对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合,包括:
分别获取每个第一子节点集合的变量数据,并根据所述变量数据确定每个第一子节点集合的目标权重;
根据每个第一子节点集合的目标权重对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果;
按照预设的分发策略并根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合。
5.根据权利要求1所述的基于数据库的数据处理方法,其特征在于,所述对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,包括:
对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;
调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果。
6.根据权利要求1所述的基于数据库的数据处理方法,其特征在于,所述转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出,包括:
对每个数据库对应的赋值结果进行转递,并对每个数据库对应的赋值结果进行数据融合,得到目标数据;
判断所述目标数据是否符合预设输出条件;
若符合,则对所述目标数据进行转码和输出;
若不符合,则对每个数据库对应的赋值结果进行重复计算。
7.根据权利要求1-6中任一项所述的基于数据库的数据处理方法,其特征在于,所述基于数据库的数据处理方法还包括:
获取多个训练数据和训练模型,所述多个训练数据包括:多个目标子句组;
基于所述多个训练数据对所述训练模型进行模型训练,得到训练完成的目标模型;
基于所述目标模型对所述目标子节点进行子节点分组,得到多个第一子节点集合。
8.一种基于数据库的数据处理装置,其特征在于,所述基于数据库的数据处理装置包括:
接收模块,用于接收待处理的目标处理请求,并对所述目标处理请求进行解析,得到所述目标处理请求对应的初始接口;
解析模块,用于对所述初始接口进行读取和解析,得到目标节点,并对所述目标节点进行节点搜索,得到所述目标节点对应的目标子节点;
分组模块,用于获取预置的多个数据库对应的数据库数目,并根据所述数据库数目对所述目标子节点进行子节点分组,得到多个第一子节点集合;
分配模块,用于对所述多个第一子节点集合进行节点序列排列,得到子节点排列结果,根据所述子节点排列结果分别将所述多个第一子节点集合分配至所述多个数据库,得到每个数据库对应的第二子节点集合;
赋值模块,用于对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果,并对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果;具体的,对每个数据库对应的第二子节点集合进行数据库运算,得到每个数据库对应的目标运算结果;调用预置的赋值函数,对每个数据库对应的目标运算结果进行赋值,得到每个数据库对应的赋值结果,其中,编码运算算法依据语法元素值输出码字,所述编码运算算法包含查找表,尾缀产生器,以及组合器,查找表依据语法元素值输出第二元字符串,所述尾缀产生器依据所述语法元素值进行指数哥伦布二元编码产生字符串,当所述语法元素值小于或等于临界值时,所述元字符串输出成为所述码字,当所述语法元素值大于临界值时,所述组合器组合所述第二元字符串以及所述第二元字符串成为所述码字,得到每个数据库对应的目标运算结果;
融合模块,用于转递每个数据库对应的赋值结果,并对每个数据库对应的赋值结果进行数据融合,得到目标数据,以及对所述目标数据进行转码并输出。
9.一种基于数据库的数据处理设备,其特征在于,所述基于数据库的数据处理设备包括:存储器和至少一个处理器,所述存储器中存储有指令;
所述至少一个处理器调用所述存储器中的所述指令,以使得所述基于数据库的数据处理设备执行如权利要求1-7中任一项所述的基于数据库的数据处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项所述的基于数据库的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211050745.XA CN115130043B (zh) | 2022-08-30 | 2022-08-30 | 基于数据库的数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211050745.XA CN115130043B (zh) | 2022-08-30 | 2022-08-30 | 基于数据库的数据处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115130043A CN115130043A (zh) | 2022-09-30 |
CN115130043B true CN115130043B (zh) | 2022-11-25 |
Family
ID=83387894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211050745.XA Active CN115130043B (zh) | 2022-08-30 | 2022-08-30 | 基于数据库的数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115130043B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115329151B (zh) * | 2022-10-17 | 2023-03-14 | 北方健康医疗大数据科技有限公司 | 图数据库的优化方法、装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10915531B2 (en) * | 2015-08-14 | 2021-02-09 | California Institute Of Technology | Algebraic query language (AQL) database management system |
US10846286B2 (en) * | 2018-07-20 | 2020-11-24 | Dan Benanav | Automatic object inference in a database system |
DE102018008923A1 (de) * | 2018-10-09 | 2020-05-20 | makmad.org e. V. | Verfahren zur Erstellung einer effizienten, logisch vollständigen, ontologischen Ebene im erweiterten relationalen Datenbankkonzept |
CN113010547B (zh) * | 2021-05-06 | 2023-04-07 | 电子科技大学 | 一种基于图神经网络的数据库查询优化方法及*** |
-
2022
- 2022-08-30 CN CN202211050745.XA patent/CN115130043B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115130043A (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110609759A (zh) | 一种故障根因分析的方法及装置 | |
US7809758B2 (en) | Database and method of generating same | |
US8271523B2 (en) | Coordination server, data allocating method, and computer program product | |
CN110866029B (zh) | sql语句构建方法、装置、服务器及可读存储介质 | |
CN101751333A (zh) | 用于支援程序解析的方法、及其计算机程序以及计算机*** | |
CN113420537B (zh) | 电子表格数据处理方法、装置、设备及存储介质 | |
CN113495902A (zh) | 数据处理方法及数据标准管理*** | |
CN115130043B (zh) | 基于数据库的数据处理方法、装置、设备及存储介质 | |
CN111858601A (zh) | 树形结构数据查询方法、装置、设备及存储介质 | |
CN111045670B (zh) | 一种二进制代码与源代码间复用关系的识别方法与装置 | |
US20100005203A1 (en) | Method of Merging and Incremantal Construction of Minimal Finite State Machines | |
US20060117252A1 (en) | Systems and methods for document analysis | |
CN114218266A (zh) | 一种数据查询方法、装置、电子设备和存储介质 | |
CN112529543A (zh) | 工作流互斥关系的校验方法、装置、设备及存储介质 | |
CN115147020B (zh) | 装修数据处理方法、装置、设备及存储介质 | |
US20160246783A1 (en) | Systems and methods for managing data related to network elements from multiple sources | |
CN107122849B (zh) | 基于SparkR的产品检测总完工时间极小化方法 | |
CN114328525A (zh) | 数据处理方法及设备 | |
CN114995719A (zh) | 列表渲染方法、装置、设备以及存储介质 | |
CN112639761B (zh) | 一种为数据建立索引的方法以及装置 | |
JP6123372B2 (ja) | 情報処理システム、名寄せ判定方法及びプログラム | |
CN113342647A (zh) | 一种测试数据的生成方法及装置 | |
CN112287005A (zh) | 一种数据处理方法、装置、服务器及介质 | |
CN111400320B (zh) | 用于生成信息的方法和装置 | |
CN115168661B (zh) | 原生图数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |