CN114661830B - 一种数据处理方法、装置、终端和存储介质 - Google Patents

一种数据处理方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN114661830B
CN114661830B CN202210225367.8A CN202210225367A CN114661830B CN 114661830 B CN114661830 B CN 114661830B CN 202210225367 A CN202210225367 A CN 202210225367A CN 114661830 B CN114661830 B CN 114661830B
Authority
CN
China
Prior art keywords
accessed
item
attribute
item object
entity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210225367.8A
Other languages
English (en)
Other versions
CN114661830A (zh
Inventor
张硕
孟越
徐地
田春华
袁文飞
胡坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Industrial Big Data Innovation Center Co ltd
Original Assignee
Suzhou Industrial Big Data Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Industrial Big Data Innovation Center Co ltd filed Critical Suzhou Industrial Big Data Innovation Center Co ltd
Priority to CN202210225367.8A priority Critical patent/CN114661830B/zh
Publication of CN114661830A publication Critical patent/CN114661830A/zh
Application granted granted Critical
Publication of CN114661830B publication Critical patent/CN114661830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/289Object oriented databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、终端和存储介质;本申请实施例可以获取当前访问请求中的目标当前请求字段;从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;所述项目对象至少连接一个数据库;从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。在本申请实施例可以根据目标当前请求字段中的实体名称和属性名称,在预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,从而确定目标项目对象,以及与目标项目对象连接的数据库。由此从与目标项目对象对应连接的数据库中查找数据,提升了数据的查找速度。

Description

一种数据处理方法、装置、终端和存储介质
技术领域
本申请涉及数据库优化技术领域,具体涉及一种数据处理方法、装置、终端和存储介质。
背景技术
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。在从数据库中提取所需要的数据时,一般通过查询语言进行提取,从而得到所需要的数据信息。然而,目前现有的数据库由于数据存储量较大,在进行数据的查找时,查找速度较慢,无法满足用户的要求,因此,需要一种数据处理方法提高数据查找的速度。
发明内容
本申请实施例提供一种数据处理方法、装置、终端和存储介质,可以提升数据查找的速度。
本申请实施例提供一种数据处理方法,包括:
获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的实体名称和所述待访问项目对象的属性名称;
从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;
从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
在一些实施例中,所述方法包括:
对所述待访问项目对象的实体名称和属性名称进行字段分析,获取所述待访问项目对象的主体对象,所述主体对象包括用于表征所述待访问项目对象中实体的实体特征和用于表征待访问项目对象中属性的属性特征;
将所述属性信息对应存储在所述主体对象中的实体特征的位置上和所述属性特征的位置上,得到第一统计数据信息。
在一些实施例中,当所述目标当前请求字段包括第一待访问项目对象和第二待访问项目对象时;
所述方法还包括:
确定所述对象模型中记载的项目对象关联关系;
根据所述对象模型中记载的项目对象关联关系,确定所述目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系;
判断所述第一待访问项目对象和所述第二待访问项目对象的关联关系是否满足预设的关联条件;
若是,则确定所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系;
将所述属性信息按照所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系进行存储,得到第二统计数据信息。
在一些实施例中,所述预设的关联条件为所述第一待访问项目对象与所述第二待访问项目对象之间的跳数δ≤N,其中,所述N≥1,且所述N为正整数。
在一些实施例中,所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系包括:
第一主体对象中第一实体特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一实体特征与第二主体对象中第二属性特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二属性特征的关联关系。
在一些实施例中,所述方法还包括:
获取历史访问请求中的历史请求字段,所述历史请求字段包括已访问项目对象的实体名称和已访问项目对象的属性名称;
对所述已访问项目对象的实体名称和属性名称进行字段分析,获取所述已访问项目对象的历史主体对象,所述历史主体对象包括历史实体特征和历史属性特征;
对所述历史访问请求进行统计处理,得到所述历史访问请求的使用量,所述使用量用于表征所述历史访问请求在预设的历史时间段内被访问的次数;
根据所述历史访问请求的使用量,确定所述历史主体对象的使用量;
在所有已访问项目对象的历史主体对象中确定与所述待访问项目对象的主体对象相同的历史主体对象,并将确定相同的历史主体对象的使用量作为所述待访问项目对象的主体对象的使用量;
根据所述待访问项目对象中主体对象的使用量,对所述主体对象的实体特征和属性特征进行排序处理,得到排序后的第一统计数据信息。
在一些实施例中,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述主体对象中的实体特征和属性特征进行采样度和准确度的计算处理,得到所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据;
将所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据,存储在所述第一统计数据信息中,得到第一目标统计数据信息。
在一些实施例中,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,确定满足预设关联条件的所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量;
其中,所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量包括:
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量;
根据所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量,对所述第二统计数据信息进行排序处理,得到排序后的第二目标统计数据信息。
在一些实施例中,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的采样度和准确度进行计算处理,得到关联关系的采样度数据和准确度数据;
将所述关联关系的采样度数据和准确度数据,存储在所述第二统计数据信息中,得到第二目标统计数据信息。
在一些实施例中,所述从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象的方法包括:
在所述对象模型中确定与所述待访问项目对象的实体名称对应的项目对象,记作初始目标项目对象;
判断所述初始目标项目对象的属性名称是否与所述待访问项目对象的属性名称对应,若是,则确定所述初始目标项目对象为目标项目对象。
本申请实施例还提供一种数据处理装置,包括:
获取单元,用于获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的名称和所述待访问项目对象的属性名称;
第一查找单元,从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;
第二查找单元,从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
一种终端,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本申请实施例所提供的任一种数据处理方法中的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。
一种计算机程序产品,包括计算机程序或指令,所述计算机程序或指令被处理器执行时实现本申请实施例所提供的任一种数据处理方法中的步骤。
本申请实施例可以获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的名称和所述待访问项目对象的属性名称;从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
在本申请中,数据处理装置可以根据目标当前请求字段中的待访问项目对象的名称和所述待访问项目对象的属性名称,在预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,从而确定目标项目对象,以及与目标项目对象连接的数据库。由此从与目标项目对象对应连接的数据库中查找数据,提升了数据的查找速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的数据处理方法的场景示意图;
图1b是本申请实施例提供的数据处理方法的流程示意图;
图2是本申请实施例提供的数据处理方法的一个实施例流程示意图;
图3是本申请实施例提供的数据处理装置的结构示意图;
图4是本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种数据处理方法、装置、终端和存储介质。
其中,该数据处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该数据处理装置还可以集成在多个电子设备中,比如,数据处理装置可以集成在多个服务器中,由多个服务器来实现本申请的数据处理方法。
在一些实施例中,服务器也可以以终端的形式来实现。
例如,参考图1a,该电子设备可以服务器,服务器中集成有数据处理装置,本申请实施例中的服务器用于获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的名称和所述待访问项目对象的属性名称;从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
在本实施例中,提供了一种数据处理方法,如图1b所示,该数据处理方法的具体流程可以如下:
110、获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的名称和所述待访问项目对象的属性名称。
访问请求是指当用户需要浏览或查找数据信息、网页信息、视频信息等资源时,发送至服务器的请求信号,服务器通过对访问请求进行响应,从而向用户提供数据信息、网页信息、视频信息等资源。例如,在本申请一些实施例中,用户所发出的访问请求可以是用于查找项目对象的数据信息。
当前访问请求是指用户当前需要查找项目对象的数据信息时所发出的请求信号。
其中,在一些实施例中,当前访问请求可以是数据查询语言,数据查询语言是一种用于从数据库、数据文件中检索所需数据集的语言。
例如,在本申请一些实施例中,数据查询语言可以是GraphQL数据查询语言,也可以是结构化查询语言(Structured Query Language)。
目标当前请求字段是当前访问请求中的字段,该字段用于表征用户需要查询的项目对象,在本申请一些实施例中,目标当前请求字段包括待访问项目对象的名称和所述待访问项目对象的属性名称。
其中,待访问项目对象可以是实体设备、也可以是工艺段、设备类别或产品,待访问项目对象的名称可以是实体设备的名称,也可以是工艺段的名称、设备类别的名称或产品的名称。待访问项目对象的属性名称为与待访问项目对象相对应,用于表征待访问项目对象中具体内容的属性名称,在一些实施例中,待访问项目对象的属性名称可以是与实体设备对应的使用方式的属性名称、使用时间的属性名称,也可以是工艺段中各个工步的属性名称、设备类别中各个设备的属性名称或产品中各个组成的属性名称。
获取当前访问请求中的目标当前请求字段可以是指用户通过输入数据查询语言,通过对数据查询语言中的字段进行提取,从而获取得到目标当前请求字段。
120、从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库。
对象模型可以是领域模型,领域模型是对领域内的概念类或现实世界中对象的可视化表示。又称概念模型、领域对象模型。它专注于分析问题领域本身,发掘重要的业务领域概念,并建立业务领域概念之间的关系。在一些实施例中,领域模型包括有多个项目对象,每个项目对象均至少连接一个数据库,与项目对象连接的数据库中可以存储有该项目对象的数据信息。
数据库是指“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象是指将对象模型中的项目对象的名称和属性名称与待访问项目对象的名称和属性名称进行比对,确定出名称和属性名称对应相同的项目对象,将确定出的项目对象标记为目标项目对象。
其中,从预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象的方法包括:
121、在所述对象模型中确定与所述待访问项目对象的实体名称对应的项目对象,记作初始目标项目对象。
初始目标项目对象是指名称与待访问项目对象的实体名称相同的项目对象。在进行查找时,可以对对象模型中各个项目对象的名称与待访问项目对象的实体名称进行字段匹配,确定相同的实体名称相同的项目对象。
122、判断所述初始目标项目对象的属性名称是否与所述待访问项目对象的属性名称对应,若是,则确定所述初始目标项目对象为目标项目对象。
判断初始目标项目对象的属性名称是否与待访问项目对象的属性名称对应是指获取到初始目标项目对象中各个属性名称,将待访问项目对象的属性名称与初始目标项目对象中各个属性名称与进行字段匹配,确定待访问项目对象的属性名称与初始目标项目对象中各个属性名称是否对应。其中,待访问项目对象的属性名称与初始目标项目对象中各个属性名称对应的情况包括:
待访问项目对象的属性名称与初始目标项目对象中属性名称对应相同;
待访问项目对象的属性名称的集合包含于与初始目标项目对象中属性名称的集合。
130、从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
在数据库中查找是指根据查询要求从一个数据库中提取所需要的数据。属性信息可以是指待访问项目对象的属性名称所对应的数据信息。通过确定与目标项目对象连接的数据库,从而能快速的查找到待访问项目对象中所涉及到的属性名称对应的属性信息,其中,属性信息也可以用于表征实体名称的信息。
在本申请实施例中,在获取到属性信息后,所述数据处理方法还包括:
140、对所述待访问项目对象的实体名称和属性名称进行字段分析,获取所述待访问项目对象的主体对象,所述主体对象包括用于表征所述待访问项目对象中实体的实体特征和用于表征待访问项目对象中属性的属性特征。
字段分析是指对待访问项目对象的实体名称和属性名称进行识别和提取,排除目标当前请求字段中的过滤项,从而确定出目标当前请求字段中的主体对象。
在本申请实施例中,主体对象包括实体特征和属性特征,其中,例如,在一些实施例中,实体特征可以包括“对待访问项目对象中的实体”,属性特征可以包括“作为返回属性”、“作为空值(IS NULL)过滤属性或非空值(IS NOT NULL)过滤属性”、“作为不是空值(ISNULL)或非空值(IS NOT NULL)过滤的值过滤属性”、“作为返回属性”、“作为分组子句的属性集”。其中,一个主体对象可以包括一个实体特征和一个属性特征,也可以包括一个实体特征和多个属性特征。
150、将所述属性信息对应存储在所述主体对象中的实体特征的位置上和所述属性特征的位置上,得到第一统计数据信息。
将属性信息对应存储在主体对象中的实体特征的位置上和属性特征的位置上是指按照主体对象中实体特征的位置和属性特征的位置,将属性信息中的内容对应存储在实体特征的位置和属性特征的位置。
例如,在确定实体特征和属性特征后,可以将实体特征和属性特征以建立新建文件夹的方式进行存储,然后将属性信息分别存储在与实体特征对应的文件夹中和与属性特征对应的文件夹中,从而方便用户进行快速查阅。
例如,在一些实施例中,当当前访问请求为GraphQL数据查询语言时,当前访问请求的格式可以为:process_segment{
display_name:“注料机”,
equipment_id:“e_filler”}
其中,主体特征可以为“process_segment”;属性特征可以为“display_name”或“equipment_id”;而属性信息为“注料机”的使用数据和“e_filler”的使用数据。
然后,建立以“<process_segment>”为名的主体特征文件夹,将属性信息为“注料机”的使用数据和“e_filler”的使用数据存储在该主体特征文件夹内。
建立以“<process_segment,display_name>”为名的属性特征文件夹,将属性信息为“注料机”的使用数据存储在该属性特征文件夹内。
建立以“<process_segment,equipment_id>”为名的属性特征文件夹,将属性信息为“e_filler”的使用数据存储在该属性特征文件夹内。在本申请实施例中,当所述目标当前请求字段包括第一待访问项目对象和第二待访问项目对象时,所述数据处理方法还包括:确定所述对象模型中记载的项目对象关联关系。
项目对象关联关系是指对象模型中各个项目对象之间的连接关系,例如,项目对象A与项目对象B连接,项目对象A与项目对象B具有关联关系,项目对象A与项目对象C通过项目对象B连接,项目对象A与项目对象C具有关联关系,项目对象A与项目对象D不连接或项目对象A与项目对象D之间连接的项目对象数量超过预设的数量,项目对象A与项目对象D不具有关联关系。
根据所述对象模型中记载的项目对象关联关系,确定所述目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系。
第一待访问项目对象和第二待访问项目对象是指当前访问请求中所涉及到的多个待访问项目对象中的任意两个待访问项目对象。
确定第一待访问项目对象和第二待访问项目对象的关联关系的方法包括通过确定第一待访问项目对象在对象模型中对应的第一目标项目对象,确定第二待访问项目对象在对象模型中对应的第二目标项目对象,根据第一目标项目对象和第二目标项目对象之间的关联关系,确定目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系。
判断所述第一待访问项目对象和所述第二待访问项目对象的关联关系是否满足预设的关联条件。
预设的关联条件为第一待访问项目对象和第二待访问项目对象之间的跳数δ≤N,其中,跳数是指相互关联的待访问项目对象的数量,跳数δ可以根据需要设置。例如,当跳数δ=1时,相互关联的待访问项目对象有两个,第一待访问项目对象和第二待访问项目对象直接连接,当跳数δ=2时,相互关联的待访问项目对象有三个,第一待访问项目对象和第二待访问项目对象之间连接一个待访问项目对象,当跳数δ=5时,相互关联的待访问项目对象有六个,第一待访问项目对象和第二待访问项目对象之间连接四个待访问项目对象。在一些实施例中,当跳数δ=1时,若第一待访问项目对象与第二待访问项目对象在对象模型中对应的第一目标项目对象和第二目标项目对象直接连接,则满足预设的关联条件。
若是,则确定所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系。
其中,第一主体对象可以由对第一待访问项目对象的实体名称和属性名称进行字段分析,获取得到的第一待访问项目对象的主体对象为第一主体对象;第二主体对象可以由对第二待访问项目对象的实体名称和属性名称进行字段分析,获取得到的第二待访问项目对象的主体对象为第二主体对象。
第一主体对象与第二主体对象的关联关系包括:
第一主体对象中第一实体特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一实体特征与第二主体对象中第二属性特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二属性特征的关联关系。其中,其中,第一实体名称与第二实体名称关联关系、第一实体名称与第二属性名称的关联关系、第一属性名称与第二实体名称的关联关系、第一属性名称与第二属性名称的关联关系的数量可以是一个也可以是多个。
将所述属性信息按照所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系进行存储,得到第二统计数据信息。
第二统计数据信息是指将属性信息按照第一待访问项目对象的第一主体对象与第二待访问项目对象的第二主体对象的关联关系进行存储的数据信息。
其中,将属性信息按照第一待访问项目对象的第一主体对象与第二待访问项目对象的第二主体对象的关联关系进行存储可以包括:
根据第一主体对象中第一实体特征与第二主体对象中第二实体特征的关联关系,将第一主体对象中第一实体特征的属性信息存储在与第一实体特征对应的位置处,将第二主体对象中第二实体特征的属性信息存储在与第二实体特征对应的位置处,得到用于表征第一主体对象中第一实体特征与第二主体对象中第二实体特征的关联关系的第二统计数据信息。
第一主体对象中第一属性特征与第二主体对象中第二实体特征的关联关系,将与第一主体对象中第一属性特征对应的属性信息存储在与第一实体特征对应的位置处,将第二主体对象中第二实体特征的属性信息存储在与第二实体特征对应的位置处,得到用于表征第一主体对象中第一属性特征与第二主体对象中第二实体特征的关联关系的第二统计数据信息。
第一主体对象中第一实体特征与第二主体对象中第二属性特征的关联关系,将第一主体对象中第一实体特征的属性信息存储在与第一实体特征对应的位置处,将与第二主体对象中第二属性特征对应的属性信息存储在与第二实体特征对应的位置处,得到用于表征第一主体对象中第一实体特征与第二主体对象中第二属性特征的关联关系的第二统计数据信息。
第一主体对象中第一属性特征与第二主体对象中第二属性特征的关联关系,将与第一主体对象中第一属性特征对应的属性信息存储在与第一实体特征对应的位置处,将与第二主体对象中第二属性特征对应的属性信息存储在与第二实体特征对应的位置处,得到用于表征第一主体对象中第一属性特征与第二主体对象中第二属性特征的关联关系的第二统计数据信息。
在本申请实施例中,为了进一步将对第一统计数据信息和第二统计数据信息进行展示,故计算历史访问请求中实体特征和属性特征在历史时间段内被访问的次数,并根据被访问的次数确定第一统计数据信息和第二统计数据信息中各个数据信息的使用量,对第一统计数据信息和第二统计数据信息进行排序。
其中,确定实体特征的使用量和属性特征的使用量的方法包括:
获取历史访问请求中的历史请求字段,所述历史请求字段包括已访问项目对象的实体名称和已访问项目对象的属性名称。
历史访问请求是指用户在当前需要查找项目对象的数据信息之前所发出的请求信号或在一个时间段内所发出的请求信号。
其中,在一些实施例中,历史访问请求可以是数据查询语言,数据查询语言是一种用于从数据库、数据文件中检索所需数据集的语言。
例如,在本申请一些实施例中,数据查询语言可以是GraphQL数据查询语言,也可以是结构化查询语言(Structured Query Language)。
历史请求字段是历史访问请求中的字段,该字段用于表征用户已查询过的项目对象,在本申请一些实施例中,历史请求字段包括已访问项目对象的名称和已访问项目对象的属性名称。其中,已访问项目对象是指在当前次访问请求之前,已经被访问过的项目对象,其中,已经被访问过的项目对象可以与当前次访问请求的项目对象相同,也可以与当前次访问请求的项目对象不相同。
获取历史访问请求中的历史请求字段可以是指用户通过对输入过的数据查询语言进行收集,并通过对输入过的数据查询语言中的字段进行提取,从而获取得到历史请求字段中已访问项目对象的实体名称和属性名称。
其中,已访问项目对象的实体名称和属性名称是指历史请求字段中出现过的已访问项目对象的实体名称和属性名称。
对所述已访问项目对象的实体名称和属性名称进行字段分析,获取所述已访问项目对象的历史主体对象,所述历史主体对象包括历史实体特征和历史属性特征。
字段分析是指对已访问项目对象的实体名称和属性名称进行识别和提取,排除历史请求字段中的过滤项,从而确定出历史请求字段的历史主体对象。
在本申请实施例中,历史主体对象包括历史实体特征和历史属性特征,其中,例如,在一些实施例中,历史实体特征可以包括“已访问项目对象中的实体”,属性特征可以包括“作为返回属性”、“作为空值(IS NULL)过滤属性或非空值(IS NOT NULL)过滤属性”、“作为不是空值(IS NULL)或非空值(IS NOT NULL)过滤的值过滤属性”、“作为返回属性”、“作为分组子句的属性集”。
对所述历史访问请求进行统计处理,得到所述历史访问请求的使用量,所述使用量用于表征所述历史访问请求在预设的历史时间段内被访问的次数。
统计处理是指对历史访问请求在预设的历史时间段内被访问的次数进行统计,其中,历史时间段可以是人为设定的。例如,获取历史访问请求在过去一周内被访问的次数。
根据所述历史访问请求的使用量,确定所述历史主体对象的使用量。
确定所述历史主体对象的使用量是指对每次历史访问请求中出现的历史主体对象进行统计,得到历史时间段内历史主体对象被访问的次数,并得到历史实体特征和历史属性特征被访问的次数。
在所有已访问项目对象的历史主体对象中确定与所述待访问项目对象的主体对象相同的历史主体对象,并将确定相同的历史主体对象的使用量作为所述待访问项目对象的主体对象的使用量。
相同的历史主体对象是指实体特征与历史实体特征相同的历史主体对象和属性特征与历史属性特征相同的历史主体对象。根据历史实体特征和历史属性特征被访问的次数,确定待访问项目对象中实体特征的使用量和属性特征的使用量。
根据所述待访问项目对象中主体对象的使用量,对所述主体对象的实体特征和属性特征进行排序处理,得到排序后的第一统计数据信息。
对所述待访问项目对象中主体对象中进行排序处理是指根据访问项目对象中主体对象的使用量的大小,对主体对象中的实体特征和属性特征进行排序,从而得到排序后的第一统计数据信息。其中,获取到的排序后的第一统计数据信息可以以列表的形式呈现。
根据实体特征的使用量和属性特征的使用量,对第一统计数据信息进行排序的方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述主体对象中的实体特征和属性特征进行采样度和准确度进行计算,得到所述实体特征采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据。
实体特征的采样度用于表征实体特征的出现频数,采样度越高,出现频数越大,对实体特征的数据统计准确度也越大。属性特征的采样度用于表征属性特征的出现频数,采样度越高,出现频数越大,对属性特征的准确度也越大。
将所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据,存储在所述第一统计数据信息中,得到第一目标统计数据信息。
将采样度数据和准确度数据存储在第一统计数据信息中是指将实体特征采样度数据和准确度数据存储在第一统计数据信息中实体特征的位置处和将属性特征的采样度数据和准确度数据存储在第一统计数据信息中属性特征的位置处。
在本申请实施例中,对第二统计数据信息进行排序的方法包括:
根据所述待访问项目对象中主体对象的使用量,确定满足预设关联条件的所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量。
确定第一待访问项目对象和第二待访问项目对象之间的关联关系的使用量是指确定第一待访问项目对象中的第一实体名称、第一属性名称与第二待访问项目对象中第二实体名称、第二属性名称的关联关系的使用量。
其中,所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量包括:
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量。
根据所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量,对所述第二统计数据信息进行排序处理,得到排序后的第二目标统计数据信息。
排序处理是指按照使用量的大小对第一实体名称与第二实体名称关联关系的使用量、第一实体名称与第二属性名称的关联关系的使用量、第一属性名称与第二实体名称的关联关系的使用量、第一属性名称与第二属性名称的关联关系的使用量进行排序,得到对关联关系排序的第二目标统计数据信息。对第二统计数据信息进行排序的方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的采样度和准确度进行计算处理,得到关联关系的采样度数据和准确度数据。
关联关系的采样度用于表征关联关系的出现频数,采样度越高,出现频数越大,对关联关系的数据统计准确度也越大。
将所述关联关系的采样度数据和准确度数据,存储在所述第二统计数据信息中,得到第二目标统计数据信息。
下面结合一具体应用场景对本发明实施例中数据处理方法进行描述。
请参阅图2,为本发明实施例中数据处理方法应用在实验场景中的实施例流程示意图,该数据处理方法应用于服务器,该数据处理方法包括:
201、确定预设的对象模型的信息。
对象模型可以为领域模型。
对象模型的信息包括但不限于领域模型的实体、属性、关联、ID属性、访问属性。
确定预设的对象模型的信息是指对领域模型进行读取操作。
202、获取当前访问请求中的目标当前请求字段。
当前访问请求为GraphQL查询语言,其中,获取GraphQL查询语言可以通过从GraphQL引擎的服务日志中获取、也可以从从GraphQL引擎的聚合日志服务中心获取或直接从客户端转发而来的请求(例如,当运用到GraphQL查询服务器中时)。
获取当前访问请求中的目标当前请求字段是指获取GraphQL查询语言中的日志内容,该日志内容包括请求发起时间、请求体内容(例如返回实体与层级结构、返回属性集、过滤条件相关属性与条件、分组属性等)。
203、确定当前访问请求与对象模型是否匹配。
对前访问请求中的目标当前请求字段进行分析是指解析GraphQL请求的语法结构,然后以领域模型为基础,检验GraphQL请求是否符合领域模型结构。
当GraphQL请求中的实体名称和与实体名称对应的属性名称与领域模型中的项目对象对应时,GraphQL请求符合领域模型结构。
204、对当前访问请求中的目标当前请求字段进行分析,得到分析结果。
分析GraphQL请求,得到GraphQL请求的请求发起时间、请求中的过滤项(包括实体与属性、过滤条件中的比较表达式)、请求中的返回实体以及实体间的层级结构、请求中的返回Distinct子句、请求中的分组聚合信息(包括分组子句、聚合函数),并根据请求发起时间、请求中的过滤项(包括实体与属性、过滤条件中的比较表达式)、请求中的返回实体以及实体间的层级结构、请求中的返回Distinct子句、请求中的分组聚合信息(包括分组子句、聚合函数)解析得到GraphQL请求的实体集、关联集、不大于指定跳数阈值(跳数阈值δ为***参数)的多跳关联、作为返回属性的实体与属性、作为IS NULL或IS NOT NULL过滤属性的实体与属性、作为不是IS NULL或IS NOT NULL过滤的值过滤属性的实体与属性、作为Distinct子句的属性集(作为返回属性的一种情况)、作为分组子句的属性集。
205、计算当前访问请求中的目标当前请求字段的使用量。
目标当前请求字段的使用量包括:
实体(例如e1)的使用量ue(e1);
关联(例如r1)的使用量ur(r1);
多跳关联{<r1,r2…,rd>|d≤δ}的使用量u(<r1,r2…,rd>),其中条数δ是***参数;
实体与属性(例如e1.a1)作为返回属性的使用量ua―ret(e1.a1);
实体与属性(例如e1.a1)作为IS NULL或IS NOT NULL过滤属性的使用量ua―null(e1.a1);
实体与属性(例如e1.a1)作为不是IS NULL或IS NOT NULL过滤的值过滤属性的使用量ua―pred(e1.a1)
作为Distinct子句的属性集(即返回属性,例如{e1.a1,e1.a2,…,e1.a{n}})的使用量uas―dist(e1.a1,…,e1.an);
作为分组子句的属性集(例如{e1.a1,e1.a2,…,e1.a{n}})的使用量uas―grp(e1.a1,…,e1.an)。
其中,计算使用量的方法可以包括:使用滑窗算法计算预设的历史时间段内的使用量。
例如,滑窗大小记为W,步长记为S。在实际中例如W、S可选为1月、1天(或1周、1小时)。对于每个滑窗步长的时间段(如1小时),计算并存储目标当前请求字段的使用量。***中保留滑窗大小的时间段(如1周)内的所有步长时间段(如1小时)上的元素使用量,当滑窗向前(未来方向)滑动一个步长时,新产生并保留一个步长时段(1小时)的目标当前请求字段的使用量集,刨除最久远的一个步长时段(1小时)及其上的目标当前请求字段的使用量集。
206、根据目标当前字段与对象模型的关系,从而与对象模型的数据库中提取属性信息,并根据目标当前字段的使用量,得到第一目标统计数据信息和第二目标统计数据信息。
第一目标统计数据信息和第二目标统计数据信息均包括有待生成统计信息的主体对象、有待生成的主体对象上的统计信息的形式与内容、有待生成统计信息的及时度要求,例如、其可以是取值于[0,1]的小数。
其中,第一目标统计数据信息包括:
实体特征的统计信息:
主体对象:实体(e1);
1)内容:在底层数据中的实体中实例的数量;
参数:采样度:1-(1-ε)/(1+γ·ue(e1));其中,ε是***参数,0≤ε<1,ε用于控制统计信息生成计划中的各度量值对历史使用情况的依赖度(越小依赖度越大);γ是***参数,0<γ≤1,γ用于控制使用度对统计信息生成计划中的采样度的影响(越大依赖度越大)。
2)内容:在底层数据中的实体中实例数量的变化量;
参数:采样度:1-(1-ε)/(1+γ·ue(e1));
及时度:1-(1-ε)/(1+α·ue(e1))。其中,α是***参数,0<α≤1,α用于控制使用度对统计信息生成计划中的及时度的影响(越大依赖度越大)。
属性的统计信息:1、作为返回值的属性;
主体对象:在访问请求中位列于返回列表中的属性(e1.a1),其中,e1表征实体,a1表征属性。
内容:在底层数据中该属性值的平均字节大小;
参数:采样度:(1-(1-ε)/(1+γ·ua―ret(e1.a1));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/((1+α·ua―ret(e1.a1))))。其中,β是***参数,0≤β≤1,β用于控制实体的实例数量的变化量对统计信息生成计划中的及时度的影响(越大依赖度越大)。ρ是***参数,0≤ρ≤1,ρ用于控制统计信息生成计划中的及时度对历史数据情况的依赖度(越大依赖度越大)。Variantnum用于表征在底层数据中的实体中实例数量的变化量。
2、与值基数相关的属性;
主体对象:在访问请求中位列于单属性Distinct子句或单属性分组子句中的属性(e1.a2);
内容:在底层数据中该属性值的不同值(distinct value)的数量;
参数:采样度:1-(1-ε)/(1+γ1·uas―dist(e1.a2)+γ2·uas―grp(e1.a2));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α1·uas―dist(e1.a2)+α2·uas―grp(e1.a2))))。
3、单属性构成了一个分组子句中的这个属性;
主体对象:在访问请求中位列于单属性分组子句中的属性(令其为e1.a3);
内容:在底层数据中该属性值的count-min sketch计数;
参数:空间大小:1-(1-ε)/(1+γ·uas―grp(e1.a3));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α·uas―grp(e1.a3)))。
4、NULL过滤条件中的属性;
主体对象:在访问请求中位列于IS NULL或IS NOT NULL过滤条件中的属性(令其为e1.a4);
内容:在底层数据中该属性值的空值(null)比例;
参数:采样度:1-(1-ε)/(1+γ·ua―null(e1.a4));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α·ua―null(e1.a4)))。
5、非NULL过滤条件中的属性;
主体对象:在访问请求中位列于不是IS NULL或IS NOT NULL过滤的值过滤条件中的属性(令其为e1.a5);
1)内容:在底层数据中该属性值的不同值(distinct value)的数量,记为dist_val_num;
参数:采样度:1-(1-ε)/(1+γ·ua―pred(e1.a5));
2)内容:在底层数据中该属性值的等深统计直方图;
参数:桶数:max(1,[logμdist_val_num])×(1-(1-ε)/(1+γ·ua―pred(e1.a5)));
3)内容:在底层数据中该属性值的count-min sketch计数;
参数:空间大小:1-(1-ε)/(1+γ·ua―pred(e1.a5));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α·ua―pred(e1.a5)))。
多属性的统计信息:
6、与值基数相关的属性组合;
主体对象:在访问请求中位列于多属性Distinct子句或多属性分组子句中的属性组合(令其为{e1.a61,…,e1.a6n});
内容:在底层数据中该属性组合的多维值的不同值(至少一维的值不同)的数量;
参数:采样度:1-(1-ε)/(1+γ1·uas―dist(e1.a61,…,e1.a6n)+γ2·uas―grp(e1.a61,…,e1.a6n));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α1·uas―dist(e1.a61,…,e1.a6n)+α2·uas―grp(e1.a61,…,e1.a6n)))。
7、多属性构成了一个分组子句的所有这些属性;
主体对象:在访问请求中位列于多属性分组子句中的属性组合(令其为{e1.a71,…,e1.a7n});
内容:在底层数据中该属性组合的多维值的count-min sketch计数;
参数:空间大小:1-(1-ε)/(1+γ·uas―grp(e1.a71,…,e1.a7n));
及时度:(1-(1-ρ)/(1+β·variantnum(e1)))×(1-(1-ε)/(1+α·uas―grp(e1.a71,…,e1.a7n)))。
第二目标统计数据信息包括:
单关联的统计信息:
主体对象:在访问请求中的一跳关联(例如r1=<e11,e12>);
1)内容:在底层数据中该一跳关联r1的关联实例的数量(内关联类型);
参数:采样度:1-(1-ε)/(1+γ·ur(r1));
2)内容:在底层数据中该一跳关联r1的关联实例数量的变化量,记为variantnum';
参数:采样度:1-(1-ε)/(1+γ·ur(r1));
及时度:1-(1-ε)/(1+α·ur(r1))。
属性与单关联的联合统计信息:
1、NULL过滤条件中的属性;
主体对象:在访问请求中位列于IS NULL或IS NOT NULL过滤条件中的属性,同时存在以该属性所在实体出发的一跳关联(例如r2=<e21,e22>与e21.a1);
内容:在底层数据中满足该实体属性值(e21.a1)是空值(null)条件下的该一跳关联r2的关联实例的数量(内关联类型);
参数:采样度:1-(1-ε)/(1+min{γ1·ua―null(e21.a1),γ2·ur(r2)});
及时度:(1-(1-ρ)/(1+max{β1·variantnum(e21)+β2·variantnum′(r2)}))×(1-(1-ε)/(1+min{α1·ua―null(e21.a1),α2·ur(r2)}))。
2、非NULL过滤条件中的属性;
主体对象:在访问请求中位列于非NULL相关的过滤条件中的属性,同时存在以该属性所在实体出发的一跳关联(例如r3=<e31,e32>与e31.a2);
1)内容:在底层数据中以该实体属性值(e31.a2)为自变量、以满足属性值过滤条件的该一跳关联r3的关联实例的数量(内关联类型)为因变量的统计直方图;
参数:桶数:max(1,[logμdist_val_num])×(1-(1-ε)/(1+γ·ua―pred(e31.a2)))。
2)内容:在底层数据中以该实体属性值(e31.a2)为自变量、以满足属性值过滤条件的该一跳关联r3的关联实例的数量(内关联类型)为因变量的count-min sketch计数;
参数:空间大小:1-(1-ε)/(1+min{γ1·ua―pred(e31.a2),γ2·ur(r3)});
及时度:(1-(1-ρ)/(1+max{β1·variantnum(e31)+β2·variantnum′(r3)}))×(1-(1-ε)/(1+min{α1·ua―pred(e31.a2),α2·ur(r3)}))。
多关联的统计信息生成计划:
主体对象:在访问请求中的跳数不大于跳数δ的多跳关联(例如<r1,r2,…,rd>,其中d<δ(δ是***参数),并且记ri=<ei,1,ei,2>),使得其满足及时度timeliness≥τ(其中τ是***参数);
内容:在底层数据中该多跳关联<r1,r2,…,rd>的实例的数量(内关联类型);
参数:采样度:1-(1-ε)/(1+γ·u(<r1,r2,…,rd>));
及时度:1-(1-ε)/(1+α·u(<r1,r2,…,rd>))。
为了更好地实施以上方法,本申请实施例还提供一种数据处理装置,该数据处理装置具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以数据处理装置具体集成在服务器为例,对本申请实施例的方法进行详细说明。
例如,如图3所示,该数据处理装置可以包括:
获取单元301,用于获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的实体名称和所述待访问项目对象的属性名称;
第一查找单元302,用于从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;
第二查找单元303,用于从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
在本申请一些实施例中,数据处理装置还可以包括:
第一字段分析单元,用于对所述待访问项目对象的实体名称和属性名称进行字段分析,获取所述待访问项目对象的主体对象,所述主体对象包括用于表征所述待访问项目对象中实体的实体特征和用于表征待访问项目对象中属性的属性特征;
第一存储单元,用于将所述属性信息对应存储在所述主体对象中的实体特征的位置上和所述属性特征的位置上,得到第一统计数据信息。
在本申请一些实施例中,数据处理装置还可以包括:
第一确定单元,用于确定所述对象模型中记载的项目对象关联关系;
第二确定单元,用于根据所述对象模型中记载的项目对象关联关系,确定所述目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系;
判断单元,用于判断所述第一待访问项目对象和所述第二待访问项目对象的关联关系是否满足预设的关联条件;若是,则确定所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系;
第二存储单元,用于将所述属性信息按照所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系进行存储,得到第二统计数据信息。
在本申请一些实施例中,数据处理装置还可以包括:
历史获取单元,用于获取历史访问请求中的历史请求字段,所述历史请求字段包括已访问项目对象的实体名称和已访问项目对象的属性名称;
第二字段分析单元,用于对所述已访问项目对象的实体名称和属性名称进行字段分析,获取所述已访问项目对象的历史主体对象,所述历史主体对象包括历史实体特征和历史属性特征;
第一统计单元,用于对所述历史访问请求进行统计处理,得到所述历史访问请求的使用量,所述使用量用于表征所述历史访问请求在预设的历史时间段内被访问的次数;
第三确定单元,用于根据所述历史访问请求的使用量,确定所述历史主体对象的使用量;
第四确定单元,用于在所有已访问项目对象的历史主体对象中确定与所述待访问项目对象的主体对象相同的历史主体对象,并将确定相同的历史主体对象的使用量作为所述待访问项目对象的主体对象的使用量;
排序处理单元,用于根据所述待访问项目对象中主体对象的使用量,对所述主体对象的实体特征和属性特征进行排序处理,得到排序后的第一统计数据信息。
在本申请一些实施例中,数据处理装置还可以包括:
计算处理单元,用于根据所述待访问项目对象中主体对象的使用量,对所述主体对象中的实体特征和属性特征进行采样度和准确度的计算处理,得到所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据;
得到单元,用于将所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据,存储在所述第一统计数据信息中,得到第一目标统计数据信息。
在本申请一些实施例中,数据处理装置还可以包括:
计算处理单元,用于根据所述待访问项目对象中主体对象的使用量,对所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的采样度和准确度进行计算处理,得到关联关系的采样度数据和准确度数据;
得到单元,用于将所述关联关系的采样度数据和准确度数据,存储在所述第二统计数据信息中,得到第二目标统计数据信息。
在本申请一些实施例中,第一查找单元302还用于从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象的方法包括:
在所述对象模型中确定与所述待访问项目对象的实体名称对应的项目对象,记作初始目标项目对象;
判断所述初始目标项目对象的属性名称是否与所述待访问项目对象的属性名称对应,若是,则确定所述初始目标项目对象为目标项目对象。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的数据处理装置由获取单元301获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的实体名称和所述待访问项目对象的属性名称;第一查找单元302从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;第二查找单元303从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息。
由此,本申请实施例可以根据目标当前请求字段中的待访问项目对象的名称和所述待访问项目对象的属性名称,在预设的对象模型中查找与所述待访问项目对象的名称对应的项目对象,从而确定目标项目对象,以及与目标项目对象连接的数据库。由此从与目标项目对象对应连接的数据库中查找数据,提升了数据的查找速度。
本申请实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该数据处理装置还可以集成在多个电子设备中,比如,xx装置可以集成在多个服务器中,由多个服务器来实现本申请的数据处理方法。
在本实施例中,将以本实施例的电子设备是数据处理装置为例进行详细描述,比如,如图4所示,其示出了本申请实施例所涉及的数据处理装置数的结构示意图,具体来讲:
该数据处理装置可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403、输入模块404以及通信模块405等部件。本领域技术人员可以理解,图4中示出的数据处理装置结构并不构成对数据处理装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该数据处理装置的控制中心,利用各种接口和线路连接整个数据处理装置的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行数据处理装置的各种功能和处理数据,从而对数据处理装置进行整体监控。在一些实施例中,处理器401可包括一个或多个处理核心;在一些实施例中,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据数据处理装置的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
数据处理装置还包括给各个部件供电的电源403,在一些实施例中,电源403可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该数据处理装置还可包括输入模块404,该输入模块404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该数据处理装置还可包括通信模块405,在一些实施例中通信模块405可以包括无线模块,数据处理装置可以通过该通信模块405的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块405可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,数据处理装置还可以包括显示单元等,在此不再赘述。具体在本实施例中,数据处理装置中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能。
在一些实施例中,还提出一种计算机程序产品,包括计算机程序或指令,该计算机程序或指令被处理器执行时实现上述任一种数据处理方法中的步骤。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种数据处理方法中的步骤。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种数据处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、终端和存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据处理方法,其特征在于,所述方法包括:
获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的实体名称和属性名称,所述待访问项目对象包括第一待访问项目对象和第二待访问项目对象;
从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;
从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息;
对所述待访问项目对象的实体名称和属性名称进行字段分析,获取所述待访问项目对象的主体对象,所述主体对象包括用于表征所述待访问项目对象中实体的实体特征和用于表征待访问项目对象中属性的属性特征;
将所述属性信息对应存储在所述主体对象中的实体特征的位置上和所述属性特征的位置上,得到第一统计数据信息;
确定所述对象模型中记载的项目对象关联关系;
根据所述对象模型中记载的项目对象关联关系,确定所述目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系;
当所述第一待访问项目对象的第一主体对象和所述第二待访问项目对象的第二主体对象的关联关系满足预设的关联条件时,将所述属性信息按照所述关联关系进行存储,得到第二统计数据信息。
2.根据权利要求1所述的数据处理方法,其特征在于,所述预设的关联条件为所述第一待访问项目对象与所述第二待访问项目对象之间的跳数δ≤N,其中,所述N≥1,且所述N为正整数。
3.根据权利要求1所述的数据处理方法,其特征在于,所述第一待访问项目对象的第一主体对象与所述第二待访问项目对象的第二主体对象的关联关系包括:
第一主体对象中第一实体特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二实体特征的关联关系;
第一主体对象中第一实体特征与第二主体对象中第二属性特征的关联关系;
第一主体对象中第一属性特征与第二主体对象中第二属性特征的关联关系。
4.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:
获取历史访问请求中的历史请求字段,所述历史请求字段包括已访问项目对象的实体名称和已访问项目对象的属性名称;
对所述已访问项目对象的实体名称和属性名称进行字段分析,获取所述已访问项目对象的历史主体对象,所述历史主体对象包括历史实体特征和历史属性特征;
对所述历史访问请求进行统计处理,得到所述历史访问请求的使用量,所述使用量用于表征所述历史访问请求在预设的历史时间段内被访问的次数;
根据所述历史访问请求的使用量,确定所述历史主体对象的使用量;
在所有已访问项目对象的历史主体对象中确定与所述待访问项目对象的主体对象相同的历史主体对象,并将确定相同的历史主体对象的使用量作为所述待访问项目对象的主体对象的使用量;
根据所述待访问项目对象中主体对象的使用量,对所述主体对象的实体特征和属性特征进行排序处理,得到排序后的第一统计数据信息。
5.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述主体对象中的实体特征和属性特征进行采样度和准确度的计算处理,得到所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据;
将所述实体特征的采样度数据和准确度数据,以及所述属性特征的采样度数据和准确度数据,存储在所述第一统计数据信息中,得到第一目标统计数据信息。
6.根据权利要求4所述的数据处理方法,其特征在于,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,确定满足预设关联条件的所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量;
其中,所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量包括:
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一实体名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二实体名称的关联关系的使用量;
所述第一待访问项目对象中第一属性名称与所述第二待访问项目对象中第二属性名称的关联关系的使用量;
根据所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的使用量,对所述第二统计数据信息进行排序处理,得到排序后的第二目标统计数据信息。
7.根据权利要求6所述的数据处理方法,其特征在于,所述方法还包括:
根据所述待访问项目对象中主体对象的使用量,对所述第一待访问项目对象和所述第二待访问项目对象之间的关联关系的采样度和准确度进行计算处理,得到关联关系的采样度数据和准确度数据;
将所述关联关系的采样度数据和准确度数据,存储在所述第二统计数据信息中,得到第二目标统计数据信息。
8.根据权利要求1所述的数据处理方法,其特征在于,所述从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象的方法包括:
在所述对象模型中确定与所述待访问项目对象的实体名称对应的项目对象,记作初始目标项目对象;
判断所述初始目标项目对象的属性名称是否与所述待访问项目对象的属性名称对应,若是,则确定所述初始目标项目对象为目标项目对象。
9.一种数据处理装置,其特征在于,包括:
获取单元,用于获取当前访问请求中的目标当前请求字段,所述目标当前请求字段包括待访问项目对象的实体名称和属性名称,所述待访问项目对象包括第一待访问项目对象和第二待访问项目对象;
第一查找单元,用于从预设的对象模型中查找与所述待访问项目对象的实体名称对应的项目对象,记为目标项目对象;其中,预设的所述对象模型包括有多个项目对象,每个所述项目对象至少连接一个数据库;
第二查找单元,用于从与所述目标项目对象连接的至少一个数据库中查找与所述待访问项目对象的属性名称对应的属性信息;
第一字段分析单元,用于对所述待访问项目对象的实体名称和属性名称进行字段分析,获取所述待访问项目对象的主体对象,所述主体对象包括用于表征所述待访问项目对象中实体的实体特征和用于表征待访问项目对象中属性的属性特征;
第一存储单元,用于将所述属性信息对应存储在所述主体对象中的实体特征的位置上和所述属性特征的位置上,得到第一统计数据信息;
第一确定单元,用于确定所述对象模型中记载的项目对象关联关系;
第二确定单元,用于根据所述对象模型中记载的项目对象关联关系,确定所述目标当前请求字段中第一待访问项目对象和第二待访问项目对象的关联关系;
第二存储单元,用于当所述第一待访问项目对象的第一主体对象和所述第二待访问项目对象的第二主体对象的关联关系满足预设的关联条件时,将所述属性信息按照所述关联关系进行存储,得到第二统计数据信息。
10.一种终端,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~8任一项所述的数据处理方法中的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~8任一项所述的数据处理方法中的步骤。
CN202210225367.8A 2022-03-09 2022-03-09 一种数据处理方法、装置、终端和存储介质 Active CN114661830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210225367.8A CN114661830B (zh) 2022-03-09 2022-03-09 一种数据处理方法、装置、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210225367.8A CN114661830B (zh) 2022-03-09 2022-03-09 一种数据处理方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN114661830A CN114661830A (zh) 2022-06-24
CN114661830B true CN114661830B (zh) 2023-03-24

Family

ID=82028780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210225367.8A Active CN114661830B (zh) 2022-03-09 2022-03-09 一种数据处理方法、装置、终端和存储介质

Country Status (1)

Country Link
CN (1) CN114661830B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115374109B (zh) * 2022-07-29 2023-09-01 华为技术有限公司 数据访问方法、装置、计算设备和***
CN116384939B (zh) * 2023-04-13 2023-12-01 华腾建信科技有限公司 工程项目安全管理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853803A (zh) * 2013-06-26 2014-06-11 携程计算机技术(上海)有限公司 数据库的配置文件的封装方法和操作方法及其操作装置
WO2015181814A2 (en) * 2014-05-29 2015-12-03 Cidabra Technologies Ltd System, method and computer program product for assisted information collection
CN109241165A (zh) * 2018-08-30 2019-01-18 联动优势科技有限公司 一种数据库同步延时的确定方法、装置和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917471B2 (en) * 2006-07-14 2011-03-29 Nokia Corporation Method for obtaining information objects in a communication system
CN101777047A (zh) * 2009-01-08 2010-07-14 国际商业机器公司 多租户环境下访问数据库的***、设备和方法
CN106033466A (zh) * 2015-03-20 2016-10-19 华为技术有限公司 数据库查询的方法和设备
CN106202438A (zh) * 2016-07-13 2016-12-07 乐视控股(北京)有限公司 存储关联数据的方法和***
CN109284326A (zh) * 2018-11-26 2019-01-29 北京中创碳投科技有限公司 一种数据库访问方法和装置
CN109656980A (zh) * 2018-12-27 2019-04-19 Oppo(重庆)智能科技有限公司 数据处理方法、电子设备、装置及可读存储介质
CN110457382A (zh) * 2019-08-12 2019-11-15 中国联合网络通信集团有限公司 业务处理方法及设备
CN111400507B (zh) * 2020-06-05 2020-11-10 浙江口碑网络技术有限公司 实体匹配方法及其装置
US11636106B2 (en) * 2020-06-15 2023-04-25 Blue Light LLC Federated search of heterogeneous data sources
CN113157965B (zh) * 2021-05-07 2022-05-20 杭州网易云音乐科技有限公司 音频可视化模型训练及音频可视化方法、装置及设备
CN113127102A (zh) * 2021-05-18 2021-07-16 中国农业银行股份有限公司 业务数据的处理方法、装置、设备、存储介质及程序

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853803A (zh) * 2013-06-26 2014-06-11 携程计算机技术(上海)有限公司 数据库的配置文件的封装方法和操作方法及其操作装置
WO2015181814A2 (en) * 2014-05-29 2015-12-03 Cidabra Technologies Ltd System, method and computer program product for assisted information collection
CN109241165A (zh) * 2018-08-30 2019-01-18 联动优势科技有限公司 一种数据库同步延时的确定方法、装置和设备

Also Published As

Publication number Publication date
CN114661830A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN114661830B (zh) 一种数据处理方法、装置、终端和存储介质
Natarajan et al. Which app will you use next? Collaborative filtering with interactional context
CA2938638C (en) Interactive case management system
US10042911B2 (en) Discovery of related entities in a master data management system
CN106682097A (zh) 一种处理日志数据的方法和装置
US20040267693A1 (en) Method and system for evaluating the suitability of metadata
US20090171938A1 (en) Context-based document search
US20180218285A1 (en) Search input recommendations
US20130080466A1 (en) Query servicing with access path security in a relational database management system
US7861154B2 (en) Integration of annotations to dynamic data sets
CN106681808A (zh) 一种任务调度方法和装置
CN111026775A (zh) 关联指标的确定方法、装置、服务器和存储介质
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN115187331A (zh) 基于多模态数据的产品推荐方法、装置、设备及存储介质
CN116628228B (zh) 一种rpa流程推荐方法以及计算机可读存储介质
CN117614849A (zh) 一种基于家庭网络的多媒体资源共享方法及***
CN111159435B (zh) 多媒体资源处理方法、***、终端及计算机可读存储介质
CN109063215A (zh) 数据检索方法及装置
CN110674330B (zh) 表情管理的方法、装置、电子设备及存储介质
CN110399337B (zh) 基于数据驱动的文件自动化服务方法和***
CN109271580B (zh) 搜索方法、装置、客户端和搜索引擎
CN115705320A (zh) 索引生成方法、装置、计算机设备和计算机可读存储介质
CN112559758A (zh) 构建知识图谱的方法、装置、设备和计算机可读存储介质
Chen et al. A SQL-based Context Query Language for Context-aware Systems
CN114003768A (zh) 用户画像的构建方法及装置、计算机存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant