CN113392150A - 一种基于业务域的数据表展示方法、装置、设备及介质 - Google Patents

一种基于业务域的数据表展示方法、装置、设备及介质 Download PDF

Info

Publication number
CN113392150A
CN113392150A CN202011238788.1A CN202011238788A CN113392150A CN 113392150 A CN113392150 A CN 113392150A CN 202011238788 A CN202011238788 A CN 202011238788A CN 113392150 A CN113392150 A CN 113392150A
Authority
CN
China
Prior art keywords
data
data table
metadata
node
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011238788.1A
Other languages
English (en)
Inventor
林岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011238788.1A priority Critical patent/CN113392150A/zh
Publication of CN113392150A publication Critical patent/CN113392150A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于业务域的数据表展示方法,包括:获取来源于M个数据表的M个元数据;根据M个元数据确定M个数据表之间的关联关系;根据M个数据表之间的关联关系构建目标网络,目标网络包括M个数据节点,M个数据节点中的数据节点与M个数据表中的数据表具有对应关系,每个数据节点用于存储一个数据表;对目标网络进行区域划分处理,得到至少一个业务域;当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表。本申请实施例还提供了相关装置、设备及存储介质。本申请可基于业务域实现对数据表的自动化整合,便于开发人员直接查看某个业务域的数据表,从而节省时间成本以及人力成本。

Description

一种基于业务域的数据表展示方法、装置、设备及介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种基于业务域的数据表展示方法、装置、设备及介质。
背景技术
数据汇总是指对数据库中存储的业务明细数据,按照指定的一个或者多个维度进行聚合汇总统计的过程。在软件应用的过程中,会产生大量的数据,通常情况下,这些数据会以数据表的形式存储在数据库中,以供开发人员执行查看或者调用等操作。
数据库中往往会存储大量的数据表,如果开发人员需要获取针对于某项业务(或某个业务域)的数据,则需要从这些数据表中找出与该业务相关的数据表,再汇总这些相关的数据表,由此进行后续的处理以及分析。
然而,由于业务域的类型较多,而且不同类型的业务域可能涉及不同数据表,因此,开发人员不仅需要了解与某项业务(或某个业务域)关联的数据表,还要从大量数据表中找出这些关联的数据表,导致时间成本和人力成本较高。
发明内容
本申请实施例提供了一种基于业务域的数据表展示方法、相关装置、设备及存储介质,可基于业务域实现对数据表的自动化整合,便于开发人员直接查看某项业务(或某个业务域)所对应的数据表,从而节省时间成本以及人力成本。
有鉴于此,本申请一方面提供一种基于业务域的数据表展示方法,包括:
获取来源于M个数据表的M个元数据,其中,M个数据表中的数据表与M个元数据中的元数据具有对应关系,M为大于或等于2的整数;
根据M个元数据确定M个数据表之间的关联关系;
根据M个数据表之间的关联关系构建目标网络,其中,目标网络包括M个数据节点,M个数据节点中的数据节点与M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
对目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表;
当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,目标查看接口为至少一个业务域中目标业务域所对应的查看接口。
本申请另一方面提供一种数据表展示装置,包括:
获取模块,用于获取来源于M个数据表的M个元数据,其中,M个数据表中的数据表与M个元数据中的元数据具有对应关系,M为大于或等于2的整数;
确定模块,用于根据M个元数据确定M个数据表之间的关联关系;
构建模块,用于根据M个数据表之间的关联关系构建目标网络,其中,目标网络包括M个数据节点,M个数据节点中的数据节点与M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
划分模块,用于对目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表;
展示模块,用于当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,目标查看接口为至少一个业务域中目标业务域所对应的查看接口。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,M个数据表至少包括第一数据表以及第二数据表;
获取模块,具体用于获取来源于第一数据表的第一元数据;
获取来源于第二数据表的第二元数据;
确定模块,具体用于根据第一元数据以及第二元数据,确定第一数据表与第二数据表之间的目标关联关系,其中,目标关联关系包括第一数据节点与第二数据节点之间的连边方向以及连边权重中的至少一种,第一数据节点用于存储第一数据表,第二数据节点用于存储第二数据表。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于根据第一元数据所包括的技术元数据以及第二元数据所包括的技术元数据,确定第一数据节点与第二数据节点之间的连边方向;
根据第一元数据所包括的业务元数据以及第二元数据所包括的业务元数据,确定第一数据节点与第二数据节点之间的连边权重。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于根据第一元数据所包括的技术元数据,获取第一数据表所对应的数据血缘;
根据第二元数据所包括的技术元数据,获取第二数据表所对应的数据血缘;
根据第一数据表所对应的数据血缘以及第二数据表所对应的数据血缘,从第一数据表以及第二数据表中确定上游数据表,其中,数据血缘属于技术元数据;
若上游数据表为第一数据表,则构建从第一数据节点至第二数据节点之间的连边;
若上游数据表为第二数据表,则构建从第二数据节点至第一数据节点之间的连边。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务名称;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务名称;
根据第一数据表所对应的业务名称以及第二数据表所对应的业务名称,确定第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
确定模块,具体用于根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务描述;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务描述;
基于第一数据表所对应的业务描述以及第二数据表所对应的业务描述,通过语义匹配模型获取第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
划分模块,具体用于对目标网络中的数据节点进行划分处理,得到N个区域,其中,N为大于或等于1,且小于或等于M的整数;
根据N个区域确定至少一个业务域。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
划分模块,具体用于从目标网络中获取待划分数据节点;
根据待划分数据节点获取第一数据节点以及第二数据节点,其中,第一数据节点以及第二数据节点均为待划分数据节点相邻的数据节点;
根据待划分数据节点以及第一数据节点,确定第一模块度;
根据待划分数据节点以及第二数据节点,确定第二模块度;
若第一模块度与第二模块度均大于0,且第一模块度大于第二模块度,则确定待划分数据节点与第一数据节点属于N个区域中的同一个区域;
若第一模块度与第二模块度均大于0,且第一模块度小于第二模块度,则确定待划分数据节点与第二数据节点属于N个区域中的同一个区域;
直至满足算法终止条件,获取N个区域。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
划分模块,具体用于从目标网络中获取第一区域以及第二区域;
根据第一区域以及第二区域,获取第一增益值,其中,第一增益值为第一区域内连边数与第二区域内连边数之和,与第一区域与第二区域之间连边数的差值;
获取第一区域中的第一数据节点,以及第二区域中的第二数据节点;
将第二数据节点加入至第一区域,得到更新后的第一区域,并将第一数据节点加入至第二区域,得到更新后的第二区域;
根据更新后的第一区域以及更新后的第二区域,获取第二增益值,其中,第二增益值为更新后的第一区域内连边数与更新后的第二区域内连边数之和,与更新后的第一区域与更新后的第二区域之间连边数的差值;
根据第一增益值以及第二增益值,确定目标增益值;
若目标增益值为P个增益值中的最大值,则确定第一数据节点属于更新后的第二区域,第二数据节点属于更新后的第一区域,其中,P个增益值包括第一区域以及第二区域之间两两数据节点的增益值,P为大于或等于1的整数;
直至满足算法终止条件,获取N个区域。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
划分模块,具体用于根据目标网络中的M个数据节点以及K条连边,确定K个边介数,其中,K个边介数中的边介数与K条连边中的连边具有对应关系;
从K个边介数中选择目标边介数,其中,目标边介数为K个边介数中的最大值;
删除目标边介数所对应的连边;
直至满足算法终止条件,获取N个区域。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
划分模块,具体用于从N个区域中获取待识别区域所包括的Q个数据节点,其中,Q为大于或等于1的整数;
根据Q个数据节点所对应的Q个数据表确定待识别区域所对应的业务域,其中,Q个数据节点中的数据节点与Q个数据表中的数据表具有对应关系。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
展示模块,具体用于展示每个业务域所对应的业务名称以及查看接口;
当检测到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表。
在一种可能的设计中,在本申请实施例的另一方面的另一种实现方式中,
展示模块,具体用于当终端设备检测到针对于目标查看接口的操作时,接收终端设备发送的查看指令;
根据查看指令向终端设备发送目标业务域所对应的至少一个数据表,以使终端设备展示目标业务域所对应的至少一个数据表。
本申请另一方面提供一种计算机设备,包括:存储器、处理器以及总线***;
其中,存储器用于存储程序;
处理器用于执行存储器中的程序,处理器用于根据程序代码中的指令执行上述各方面的方法;
总线***用于连接存储器以及处理器,以使存储器以及处理器进行通信。
本申请的另一方面提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面的方法。
本申请的另一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方面所提供的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种基于业务域的数据表展示方法,首先获取来源于M个数据表的M个元数据,数据表与元数据具有对应一一对应的关系,然后根据M个元数据确定M个数据表之间的关联关系,由此,根据M个数据表之间的关联关系构建目标网络,目标网络包括M个数据节点,且每个数据节点与数据表也具有一一对应的关系,每个数据节点用于存储一个数据表,最后对目标网络进行区域划分处理,即可得到至少一个业务域,每个业务域包括至少一个数据表,当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表。通过上述方式,利用每个数据表对应的元数据能够确定数据表之间的联系,基于数据表之间的联系构成一个目标网络,然后可采用社团划分算法对目标网络进行区域划分,从而得到至少一个区域,每个划分好的区域即可认为是一个业务域,而该区域内的各个数据节点即为业务域所包括的各个数据表,由此,可基于业务域实现对数据表的自动化整合,便于开发人员直接查看某个业务域的数据表,从而节省时间成本以及人力成本。
附图说明
图1为本申请实施例中业务处理***的一个架构示意图;
图2为本申请实施例中业务处理***的一个环境示意图;
图3为本申请实施例中基于业务域的数据表展示方法的一个流程示意图;
图4为本申请实施例中由数据表转换为数据节点的一个示意图;
图5为本申请实施例中基于目标网络生成业务域的一个示意图;
图6为本申请实施例中数据节点之间关联关系的一个示意图;
图7为本申请实施例中数据节点之间关联关系的另一个示意图;
图8为本申请实施例中基于数据血缘确定数据节点之间连边方向的一个示意图;
图9为本申请实施例中基于fast unfolding算法划分区域的一个示意图;
图10为本申请实施例中基于Kernighan-Lin算法划分区域的一个示意图;
图11为本申请实施例中基于GN算法划分区域的一个示意图;
图12为本申请实施例中展示业务域的一个界面示意图;
图13为本申请实施例中展示目标业务域下数据表的一个界面示意图;
图14为本申请实施例中数据表展示装置的一个实施例示意图;
图15为本申请实施例中服务器的一个结构示意图;
图16为本申请实施例中终端设备的一个结构示意图。
具体实施方式
本申请实施例提供了一种基于业务域的数据表展示方法、相关装置、设备及存储介质,可基于业务域实现对数据表的自动化整合,便于开发人员直接提取某项业务(或某个业务域)所对应的数据表,从而节省时间成本以及人力成本。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着社交、电商、金融以及物联网等行业的快速发展,组成了一张庞大的关系网,大数据行业需要处理的数据之间的关系随着数据量呈几何指数增长。数据库作为企业存储重要和敏感信息的重要载体,承载着越来越多的关键业务***,已逐渐成为企业的重要资产,如何及时有效地开展数据资产梳理工作,对应用的开发和维护至关重要。在应用开发、运营以及维护等过程中,通常需要相关人员针对于某项具体的业务(或某个具体的业务域),从数据库中查找相应的数据表,最后将这些数据表汇总起来进行分析和处理。基于此,本申请提供了一种基于业务域的数据表展示方法,能够体系化且自动化地解决数据资产业务域划分的问题,通过采集业务元数据与技术元数据,同时通过一系列的特征构建及变换,对数据资产进行业务域的划分,从而实现数据资产的有效运营与沉淀,有利于相关人员明确清楚当前业务域有哪些数据表,有哪些有价值的数据资产,从而更好地管理数据资产。
可以理解的是,本申请涉及的数据资产包含但不仅限于金融业务的数据资产,社交业务的数据资产,搜索业务的数据资产,游戏业务的数据资产,视频业务的数据资产,音频业务的数据资产,支付业务的数据资产以及订阅业务的数据资产。本申请涉及到的相关人员可以是企业内部人员,例如,运营人员,数据分析师以及产品设计师,也可以是企业外部人员,例如,合作伙伴,还可以是数据开发团队人员,例如,开发工程师,程序员,业务分析师等,此处不做限定。
本申请提供的数据表展示方法可应用于业务处理***,为了便于理解,请参阅图1,图1为本申请实施例中业务处理***的一个架构示意图,如图所示,业务处理***的架构可包括五个层级,从底向上依次为数据库,数据处理层,数据管理层,数据服务层以及应用层,下面分别对每个层级的内容进行介绍。
数据库是按照数据结构来组织、存储和管理数据的仓库,是一个长期存储在计算机设备内的、有组织的、可共享的且统一管理的大量数据的集合。数据库中的数据可来源于内部***以及外部***。内部***包含但不仅限于客户关系管理(customer relationshipmanagement,CRM)、企业资源计划(enterprise resource planning,ERP)以及软件配置管理(software configuration management,SCM)等企业内部管理***,零售渠道的销售终端(point of sale,POS)***,企业自有网站,应用程序(application,APP),自有电商平台,线下零售网点以及客服中心***。外部***包含但不仅限于第三方电商平台,搜索引擎,邮件互联网服务提供商(internet service provider,ISP)平台,广告需求方平台(demand-side platform,DSP),第三方支付平台,社会化媒体平台,第三方数据提供商。
数据处理层包括数据识别,数据清洗以及数据融合,其中,数据识别能够从数据库中识别出不同数据的类型,例如,属于用户标识或者性别等。数据清洗从数据的准确性、完整性、一致性、唯一性、适时性和有效性等方面来处理数据的丢失值、越界值、不一致代码以及重复数据等问题。数据融合可以将同一个类型下的数据进行合并。
数据管理层包括数据资产规划,数据资产加工,数据资产质量,数据运维,数据资产安全以及元数据管理。其中,数据资产规划具体包括数据架构管理,数据标准化,维度表标准化,指标标准化以及数据地图规划等。数据资产加工包括数据流程设计,数据模型设计,数据处理开发,数据应用开发,数据测试以及上线等。数据运维包括运行监控,告警管理,数据评估,数据优化,存储优化以及下线管理等。数据资产质量包括质量规划管理,质量规划检查以及质量问题管理等。数据资产安全包括安全策略管理,安全漏洞检查,权限申请分配以及安全审计等。元数据管理包括元数据采集,元数据分类,元数据核查,数据关系分析,字段关系分析以及元数据服务等。
数据服务层提供应用程序接口(application programming interface,API),API是一些预先定义的函数,可供相关人员调用或者配置等,以此实现权限控制,业务调用以及接口配置等处理。
应用层主要是指对数据资产的应用,具体包括对业务进行运营诊断,基于业务数据实现机器学习,对业务数据进行分析挖掘以及查看某项业务(或某个业务域)下的数据表。
为了方便相关人员能够快速地查询到某个业务域下的数据表,本申请提出了一种基于业务域的数据表展示方法,该方法应用于图2所示的业务处理***,如图2所示,业务处理***包括数据库、服务器以及终端设备。本申请中的数据库可以是关系型数据库或者非关系型数据库。本申请中的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请中的终端设备可以是智能手机、平板电脑、笔记本电脑、掌上电脑、个人电脑、智能电视、智能手表等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。服务器和终端设备的数量也不做限制。
鉴于本申请实施例中涉及到部分专业术语,故下面将对这些专业术语进行介绍。
1、元数据(metadata):是指描述数据之间关系的数据。数据应用***中元数据泛指描述数据概念(concepts)、数据间关系(roles)以及数据处理规则(rules)的数据,领域语义(semantics)和知识(knowledge)也属于元数据的范畴。
2、技术元数据:在数据开发过程中产生的技术性统计指标,是指数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。技术元数据表括数据源信息,数据转换的描述,数据仓库内对象和数据结构的定义,数据清理和数据更新时用的规则,源数据到目的数据的映射,用户访问权限,数据备份历史记录,数据导入历史记录,信息发布历史记录等。常见的技术元数据有数据血缘、扇入数、扇出数、字段名称、字段长度以及数据库表结构等。
3、业务元数据:使用业务名称、定义、描述等信息表示企业环境中的各种属性和概念,从一定程度上讲,所有数据背后的业务上下文都可以看成是业务元数据,如业务名称、业务定义、业务描述等。
4、数据血缘:属于数据治理中的一个概念,是在数据溯源的过程中找到相关数据之间的联系,属于一个逻辑概念。数据的血缘关系还包含了一些特有的特征,例如,归属性、多源性、可追溯性以及层次性。
特定的数据归属特定的组织或者个人,即具备归属性。
同一个数据可以有多个来源,一个数据可以是多个数据经过加工而生成的,而且这种加工过程可以是多个,即具备多源性。
数据的血缘关系体现了数据的生命周期,体现了数据从产生到消亡的整个过程,即具备可追溯性。
数据的血缘关系是有层次的。对数据的分类、归纳和总结等,对数据进行描述的信息又形成了新的数据,不同程度的描述信息即形成了数据的层次性。
5、复杂网络:是指具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络。其研究方向包括关键节点发现,社区发现以及链路预测。其中,关键节点发现旨在发现在网络的结构与功能中起到关键作用的节点。社区发现旨在发现复杂网络中的社团结构,以便对网络节点的组成进行合理的划分。链路预测旨在预测复杂网络中任意节点间存在链接的可能。
6、业务域:是指数据所属的业务范围与领域,属于关键的元数据之一。业务域泛指数据表的所属主题,比如,对于微信支付而言,业务域可能有红包、转账、金融产品或者营销产品等。
结合上述介绍,下面将对本申请中基于业务域的数据表展示方法进行介绍,请参阅图3,本申请实施例中基于业务域的数据表展示方法的一个实施例包括:
101、获取来源于M个数据表的M个元数据,其中,M个数据表中的数据表与M个元数据中的元数据具有对应关系,M为大于或等于2的整数;
本实施例中,数据表展示装置可以从数据中获取M个数据表,每个数据表具有一个对应的元数据。需要说明的是,数据表展示装置可部署于计算机设备,该计算机设备可以是服务器,或者是终端设备,又或者是服务器与终端设备组成的***,本申请不做限定。
为了便于理解,请参阅表1,表1为数据表的一个示例。
表1
Figure BDA0002767686060000081
由表1可知,数据表可包括表名、表中的字段以及表的记录,表名要确保其唯一性,表的名称要与用途相符,简略且直观。表中的字段长度通常小于64个字符,字段名包括字母、汉字、数字、空格和其他字符。表的记录即为相应字段下的具体参数。
结合表1,请参阅表2,表2为数据表对应元数据的一个示例。
表2
Figure BDA0002767686060000082
Figure BDA0002767686060000091
需要说明的是,表2示出的仅为部分元数据,在实际情况下,元数据还可以包括扇入数、扇出数以及数据库表结构等,此处不做限定。
102、根据M个元数据确定M个数据表之间的关联关系;
本实施例中,数据表展示装置将每个数据表的元数据作为该数据表的特征,基于这些元数据够构建数据表之间的关联关系,例如,基于数据血缘可确定数据表之间的上游和下游关系。为了便于理解,请参阅图4,图4为本申请实施例中由数据表转换为数据节点的一个示意图。如图4中(A)图所示,以10个数据表为例,根据这10个数据表的元数据,确定数据表之间的关联关系,其中,箭头指向即为数据表之间的关联关系,例如,“商品规格表”为“商品明细表”的上游数据表,商品明细表”是“商品访问信息表”和“折扣信息表”的下游数据表。
103、根据M个数据表之间的关联关系构建目标网络,其中,目标网络包括M个数据节点,M个数据节点中的数据节点与M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
本实施例中,数据表展示装置基于M个数据表之间的关联关系,即可构建一个目标网络,其中,该目标网络具体可以是复杂网络,目标网络中包括M个数据节点,每个数据节点用于存储一个数据表,且每个数据节点的特征即为数据表的元数据。
为了便于理解,请再次参阅图4,由图4中(A)图可知,假设M为10,即存在10个数据表,根据这10个数据表之间的关联关系构建出目标网络,即如图4中(B)图所示的目标网络,目标网络包括10个数据节点,其中,1号数据节点用于存储“种类规格表”,2号数据节点用于存储“商品种类表”,3号数据节点用于存储“折扣信息表”,4号数据节点用于存储“商品明细表”,5号数据节点用于存储“商品规格表”,6号数据节点用于存储“商品访问信息表”,7号数据节点用于存储“用户信息表”,8号数据节点用于存储“订单审批表”,9号数据节点用于存储“订单历史表”,10号数据节点用于存储“订单商品表”。
需要说明的是,图4所示数据节点数量以及数据表数量仅为一个示意,不应理解为对本申请的限定。
104、对目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表。
本实施例中,数据表展示装置对目标网络中的数据节点进行划分,从而得到至少两个区域(或社区),再判断划分好的区域是否可以作为业务域,如果可以将区域作为业务域,则得到业务域。由于每个区域包括至少一个数据节点,因此,将这些数据节点存储的数据表作为业务域所包括的数据表。
为了便于说明,请参阅图5,图5为本申请实施例中基于目标网络生成业务域的一个示意图,如图所示,假设对目标网络划分后得到三个区域,分别为区域A、区域B和区域C,其中,假设区域A、区域B和区域C均满足业务域确定条件,那么即可得到业务域A、业务域B和业务域C。由于区域A中有10个数据节点,因此,业务域A中包括10个数据表。由于区域B中有7个数据节点,因此,业务域A中包括7个数据表。由于区域C中有14个数据节点,因此,业务域C中包括14个数据表。
105、当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,目标查看接口为至少一个业务域中目标业务域所对应的查看接口。
本实施例中,数据表展示装置获取到针对于目标查看接口的操作时,根据该目标查看接口可以确定对应的目标业务域,目标业务域为至少一个业务域中的一个业务域。于是,数据表展示装置可通过终端设备的界面展示目标业务域所对应的至少一个数据表。
本申请实施例中,提供了一种基于业务域的数据表展示方法,首先获取来源于M个数据表的M个元数据,数据表与元数据具有对应一一对应的关系,然后根据M个元数据确定M个数据表之间的关联关系,由此,根据M个数据表之间的关联关系构建目标网络,目标网络包括M个数据节点,且每个数据节点与数据表也具有一一对应的关系,每个数据节点用于存储一个数据表,最后对目标网络进行区域划分处理,即可得到至少一个业务域,每个业务域包括至少一个数据表,当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表。通过上述方式,利用每个数据表对应的元数据能够确定数据表之间的联系,基于数据表之间的联系构成一个目标网络,然后可采用社团划分算法对目标网络进行区域划分,从而得到至少一个区域,每个划分好的区域即可认为是一个业务域,而该区域内的各个数据节点即为业务域所包括的各个数据表,由此,可基于业务域实现对数据表的自动化整合,便于开发人员直接查看某个业务域的数据表,从而节省时间成本以及人力成本。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,M个数据表至少包括第一数据表以及第二数据表;
获取来源于M个数据表的M个元数据,具体包括如下步骤:
获取来源于第一数据表的第一元数据;
获取来源于第二数据表的第二元数据;
根据M个元数据确定M个数据表之间的关联关系,具体包括如下步骤:
根据第一元数据以及第二元数据,确定第一数据表与第二数据表之间的目标关联关系,其中,目标关联关系包括第一数据节点与第二数据节点之间的连边方向以及连边权重中的至少一种,第一数据节点用于存储第一数据表,第二数据节点用于存储第二数据表。
本实施例中,介绍了一种构建数据表之间关联关系的方式。为了便于说明,以M个数据表中的第一数据表以及第二数据表作为示例,可以理解的是,对于M个数据表中其他数据表而言,也可采用类似的方式确定数据表之间的关联关系,此处不做赘述。
具体地,数据表展示装置首先确定第一数据表以及第二数据表,然后获取第一数据表所对应的第一元数据,以及第二数据表的第二元数据。如果第一元数据以及第二元数据之间关联关系,则确定第一数据表与第二数据表之间也具有关联。其中,第一数据表存储于第一数据节点,第二数据表存储于第二数据节点,第一数据节点与第二数据节点之间目标关联关系即为第一数据表与第二数据表之间的目标关联关系。
需要说明的是,目标关联关系可包括第一数据节点与第二数据节点之间的连边方向,或者,目标关联关系可包括第一数据节点与第二数据节点之间的连边权重,或者,目标关联关系同时包括第一数据节点与第二数据节点之间的连边方向,以及第一数据节点与第二数据节点之间的连边权重。
其次,本申请实施例中,提供了一种构建数据表之间关联关系的方式,通过上述方式,对于两个数据表而言,可利用其对应的元数据确定两者之间的关联关系,从而得到更准确的关联关系,由此提升方案的可行性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,根据第一元数据以及第二元数据,确定第一数据表与第二数据表之间的目标关联关系,具体包括如下步骤:
根据第一元数据所包括的技术元数据以及第二元数据所包括的技术元数据,确定第一数据节点与第二数据节点之间的连边方向;
根据第一元数据所包括的业务元数据以及第二元数据所包括的业务元数据,确定第一数据节点与第二数据节点之间的连边权重。
本实施例中,介绍了一种根据元数据确定目标关联关系的方式。第一元数据表括技术元数据和业务元数据,第二元数据也包括技术元数据以及业务元数据,技术元数据能够体现数据的来源和构成等,因此,基于技术元数据可以确定两个数据节点之间的连边方向,其中,连边方向表示数据节点之间的上下游关系,进而也能获知数据表之间的上下游关系。基于业务元数据可以确定两个数据节点之间的连边权重,其中,连边权重表示两个数据节点之间的关联性大小,权重越大,关联性越强,进而也能获知数据表之间的关联性大小。
下面将结合两个示例,分别介绍构建数据节点之间连边方向以及连边权重的方式。
一、构建数据节点之间的连边方向;
具体地,请参阅图6,图6为本申请实施例中数据节点之间关联关系的一个示意图,如图6中(A)图所示,以目标网络包括7个数据节点为例,7个数据节点之间的连边即表示数据节点之间的关联。由于每个数据节点存储一个数据表,每个数据表对应于一个元数据,因此,基于7个数据节点的元数据还可以构建出数据节点之间的连边方向,即得到如图6中(B)所示的连边。其中,箭头连接的两个数据节点之间具有上下游关系,箭头指向下游数据节点,例如,1号数据节点是3号数据节点的上游节点,假设1号数据节点存储1号数据表,3号数据节点存储3号数据表,即1号数据表是3号数据表的上游数据表。
二、构建数据节点之间的连边权重;
具体地,请参阅图7,图7为本申请实施例中数据节点之间关联关系的另一个示意图,如图7中(A)图所示,以目标网络包括7个数据节点为例,7个数据节点之间的连边即表示数据节点之间的关联,连边方向表示数据节点之间的上下游关系。由于每个数据节点存储一个数据表,每个数据表对应于一个元数据,因此,基于7个数据节点的元数据还可以构建出数据节点之间的连边权重。其中,连边越粗,表示权重越大,反之,连边越细,表示权重越小。例如,6号数据节点与7号数据节点之间的连边权重较小,假设6号数据节点存储6号数据表,7号数据节点存储7号数据表,即6号数据表与7号数据表之间的关联性较低。又例如,2号数据节点与5号数据节点之间的连边权重较大,假设2号数据节点存储2号数据表,5号数据节点存储5号数据表,即2号数据表与5号数据表之间的关联性较高。
再次,本申请实施例中,提供了一种根据元数据确定目标关联关系的方式,通过上述方式,能够结合技术元数据和业务元数据,从不同维度上(即连边方向和连边权重)构建两个数据节点之间的关联关系,进而确定数据表之间的关联关系,由此提升方案的可行性和可操作性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,根据第一元数据所包括的技术元数据以及第二元数据所包括的技术元数据,确定第一数据节点与第二数据节点之间的连边方向,具体包括如下步骤:
根据第一元数据所包括的技术元数据,获取第一数据表所对应的数据血缘;
根据第二元数据所包括的技术元数据,获取第二数据表所对应的数据血缘;
根据第一数据表所对应的数据血缘以及第二数据表所对应的数据血缘,从第一数据表以及第二数据表中确定上游数据表,其中,数据血缘属于技术元数据;
若上游数据表为第一数据表,则构建从第一数据节点至第二数据节点之间的连边;
若上游数据表为第二数据表,则构建从第二数据节点至第一数据节点之间的连边。
本实施例中,介绍了一种基于数据血缘确定数据节点之间连边方向的方式。第一元数据表括技术元数据,第二元数据也包括技术元数据,技术元数据能够体现数据的来源和构成等,因此,基于技术元数据可以确定两个数据节点之间的连边方向。
具体地,数据表展示装置可根据数据血缘关系表,确定第一数据表的数据血缘以及第二数据表的血缘,如果存在数据血缘关系表,那么数据表展示装置可以直接从数据血缘关系表中提取数据表的数据血缘。数据血缘关系表是指用于保存数据节点之间的数据血缘关系的表,例如,每一个数据表可以包括下游数据表的表名以及上游数据表的表名,还可以记录从上游数据表加工得到下游数据表的方式等。如果不存在数据血缘关系表,那么数据表展示装置可以定期从结构化查询语言(Structured Query Language,SQL)代码信息和日志信息中获取技术元数据,进而从技术元数据中提取数据血缘。
由于数据表可存储于数据节点中,因此,数据表之间的数据血缘可直接影响数据节点之间的上下游关系。以第一数据表和第二数据表为例,如果第一数据表是第二数据表的上游数据表,则表示第一数据节点是第二数据节点的上游数据节点,因此,第一数据节点至第二数据节点之间的连边方向是从第一数据节点至第二数据节点。反之,如果第二数据表是第一数据表的上游数据表,则表示第二数据节点是第一数据节点的上游数据节点,因此,第一数据节点至第二数据节点之间的连边方向是从第二数据节点至第一数据节点。
为了便于理解,请参阅图8,图8为本申请实施例中基于数据血缘确定数据节点之间连边方向的一个示意图,如图所示,以5个数据节点为例,每个数据节点内存放一个数据表,其中,1号数据表是另外4个数据包的上游数据表,即1号数据节点是另外4个数据节点的上游数据节点,其中,W_1,2表示从1号数据节点至2号数据节点的权重,即表示1号数据表与2号数据表之间的关联性。W_1,3表示从1号数据节点至3号数据节点的权重,即表示1号数据表与3号数据表之间的关联性。W_1,4表示从1号数据节点至4号数据节点的权重,即表示1号数据表与4号数据表之间的关联性。W_1,5表示从1号数据节点至5号数据节点的权重,即表示1号数据表与5号数据表之间的关联性。
进一步地,本申请实施例中,提供了一种基于数据血缘确定数据节点之间连边方向的方式,通过上述方式,基于数据血缘刻画的数据表之间的关联关系,进而能够对所有的数据表刻画成点与边之间的关系,再通过引入复杂网络的数据挖掘方法,对数据资产进行社区划分与聚类,从而定位到数据资产对应的业务域,进行数据资产的精细化管理,从而提升数据资产的有效运营与沉淀。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,根据第一元数据所包括的业务元数据以及第二元数据所包括的业务元数据,确定第一数据节点与第二数据节点之间的连边权重,具体包括如下步骤:
根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务名称;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务名称;
根据第一数据表所对应的业务名称以及第二数据表所对应的业务名称,确定第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
本实施例中,介绍了一种基于业务名称确定连边权重的方式。第一元数据表括技术元数据,第二元数据也包括技术元数据,技术元数据能够体现数据的来源和构成等,因此,基于技术元数据可以确定两个数据节点之间的连边权重。
具体地,以确定第一数据节点以及第二数据节点之间的连边权重为例,首先获取第一数据表的业务名称以及第二数据表的业务名称,然后可基于自然语言处理(NaturalLanguage Processing,NLP)技术确定两个业务名称之间的相似度。度量文本相似度主要可采用如下三种方式,下面将分别进行介绍。
一、基于关键词的匹配方法;
(1)基于N元组语言模型(N-Gram)定义业务名称的相似度,N-Gram相似度的计算是指按长度N切分业务名称得到词段,也就是业务名称中所有长度为N的子字符串。对于两个业务名称,可以从共有子串的数量上去定义两个业务名称的关联度。
(2)基于杰卡德(Jaccard)算法可计算两个业务名称之间词集合的交集和并集的比值。该值越大,表示两个业务名称越相似,在涉及大规模并行运算的时候,该方法在效率上有一定的优势。
二、基于向量空间的匹配方法;
基于词语到向量(word to vector,Word2vec)生成每个业务名称的向量,然后可以使用欧式距离,曼哈顿距离,余弦相似度距离,汉明距离或者皮尔森相关系数等,计算两个业务名称之间的关联性。
三、基于深度学习的匹配方法;
采用预先训练好的语义匹配模型对文本名称之间的关联度进行预测,语义匹配模型包含但不仅限于深层结构语义模型(Deep Structured Semantic Models,DSSM),卷积神经网络(Convolutional Neural Networks,CNN),长短期记忆(Long Short Term Memory,LSTM)网络以及树形LSTM网络,此处不做限定。
进一步地,本申请实施例中,提供了一种基于业务名称确定连边权重的方式,通过上述方式,能够通过业务名称确定数据表之间的关联,通常情况下,业务名称关联度越高,表示两个数据表之间的关系也越紧密,以此构建的连边权重更准确。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,根据第一元数据所包括的业务元数据以及第二元数据所包括的业务元数据,确定第一数据节点与第二数据节点之间的连边权重,具体包括如下步骤:
根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务描述;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务描述;
基于第一数据表所对应的业务描述以及第二数据表所对应的业务描述,通过语义匹配模型获取第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
本实施例中,介绍了一种基于业务描述确定连边权重的方式。第一元数据表括技术元数据,第二元数据也包括技术元数据,技术元数据能够体现数据的来源和构成等,因此,基于技术元数据可以确定两个数据节点之间的连边权重。
具体地,以确定第一数据节点以及第二数据节点之间的连边权重为例,首先获取第一数据表的业务描述以及第二数据表的业务描述,然后将业务描述均输入至语义匹配模型,通过语义匹配模型输出关联度(即关联度分值),关联度越大,连边权重越大。
需要说明的是,在实际应用中,还可以基于关键词的匹配方法或者基于向量空间的匹配方法,确定两个业务描述之间的关联度,此处不作赘述。
进一步地,本申请实施例中,提供了一种基于业务描述确定连边权重的方式,通过上述方式,由于业务描述往往涵盖了与业务相关的信息,因此,能够通过业务描述确定数据表之间的关联,通常情况下,业务名称关联度越高,表示两个数据表之间的关系也越紧密,以此构建的连边权重更准确。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,对目标网络进行区域划分处理,得到至少一个业务域,具体包括如下步骤:
对目标网络中的数据节点进行划分处理,得到N个区域,其中,N为大于或等于1,且小于或等于M的整数;
根据N个区域确定至少一个业务域。
本实施例中,介绍了一种对目标网络进行区域划分的方式。利用社区发现算法,可以对目标网络中的数据边节点进行划分,由此得到划分后的N个区域,再从N个区域中确定至少一个业务域。
具体地,社区发现算法有多种类型,包括基于图分割的算法,基于层次聚类的方法以及基于模块度优化的方法。其中,基于图分割的算法可包括林克汉(Kernighan-Lin,KL)算法以及谱平分法等。基于层次聚类的方法可包括格文纽曼(Girvan Newman,GN)算法以及纽曼(Newman)快速算法等。基于模块度优化的方法可包括快速展开(fast unfolding)算法、贪婪算法、模拟退火算法、协同进化(Memetic)算法、粒子群优化(Particle SwarmOptimization,PSO)算法以及进化多目标优化算法等。
更进一步地,本申请实施例中,提供了一种对目标网络进行区域划分的方式,通过上述方式,利用算法实现区域的自动化划分,无需人工进行划定不同的区域,由此提升方案的灵活性和便利性。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,对目标网络中的数据节点进行划分处理,得到N个区域,具体包括如下步骤:
从目标网络中获取待划分数据节点;
根据待划分数据节点获取第一数据节点以及第二数据节点,其中,第一数据节点以及第二数据节点均为待划分数据节点相邻的数据节点;
根据待划分数据节点以及第一数据节点,确定第一模块度;
根据待划分数据节点以及第二数据节点,确定第二模块度;
若第一模块度与第二模块度均大于0,且第一模块度大于第二模块度,则确定待划分数据节点与第一数据节点属于N个区域中的同一个区域;
若第一模块度与第二模块度均大于0,且第一模块度小于第二模块度,则确定待划分数据节点与第二数据节点属于N个区域中的同一个区域;
直至满足算法终止条件,获取N个区域。
本实施例中,介绍了一种fast unfolding算法划分区域的方式。在构建完数据节点与连边之后,可采用基于模块度Q的fast unfolding算法进行区域的划分。模块度成为度量社区划分优劣的重要标准,划分后的网络模块度值越大,说明社区划分的效果越好,fastunfolding算法是基于模块度对社区划分的算法,fast unfolding算法是一种迭代的算法,主要目标是不断划分社区使得划分后的整个网络的模块度(modularity)不断增大。模块度指的是网络中连接区域结构内部顶点的边所占的比例,减去在同样的区域结构下任意连接这两个数据节点的比例的期望值。
可以理解的是,模块度的定义为:
Figure BDA0002767686060000151
其中,Q表示模块度,
Figure BDA0002767686060000152
表示目标网络中的所有权重,Ai,j表示数据节点i和数据节点j之间的连边权重,ki=∑j Ai,j表示与数据节点i的连边权重,ci表示的是顶点被分配到的区域,δ(ci,cj)表示判断数据节点i和数据节点j是否被划分到同一个区域,若是,则为1,反之,则为0。
为了便于理解,请参阅图9,图9为本申请实施例中基于fast unfolding算法划分区域的一个示意图,如图所示,fast unfolding算法包括两个阶段,第一个阶段为模块度优化,主要是将每个数据节点划分到与其邻接的数据节点所在的区域中,以使得模块度的值不断变大。第二个阶段为社区聚集,主要是将第一步划分出来的区域聚合成为一个点,即根据上一步生成的区域结构重新构造网络。重复以上的过程,直至满足算法终止条件,即可获取N个区域。示例性地,算法终止条件可以是预先设置一个划分阈值,当划分次数达到划分阈值时,即满足算法终止条件,示例性地,算法终止条件也可以是直到网络中的结构不再改变。
具体地,fast unfolding算法的流程包括如下步骤:
在步骤1中,初始化,将每个数据节点划分到不同的区域中。
在步骤2中,对于每个数据节点,将每个数据节点尝试划分到与其邻接的数据节点所在的区域中,计算此时的模块度,判断划分前后的模块度的差值ΔQ。判断ΔQ是否为正数,若为正数,则接受本次的划分,若不为正数,则放弃本次的划分。
在步骤3中,重复上述过程,直到不能再增大模块度为止。
在步骤4中,构造新图,新图中的每个舒姐姐的代表的是步骤3中划出来的每个区域,继续执行步骤2和步骤3,直到区域的结构不再改变为止。
再进一步地,本申请实施例中,提供了一种fast unfolding算法划分区域的方式,通过上述方式,能够在无人监督的情况下完实现区域划分,整个过程易于实现,且算法速度快,容易计算模块化的增益。由于算法的第一阶段设计为将单一的数据节点从一个区域移位到另一个区域,因此,该算法具有固有的多层次特性,所以模块化的分辨率限制问题也可以被规避。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,对目标网络中的数据节点进行划分处理,得到N个区域,具体包括如下步骤:
从目标网络中获取第一区域以及第二区域;
根据第一区域以及第二区域,获取第一增益值,其中,第一增益值为第一区域内连边数与第二区域内连边数之和,与第一区域与第二区域之间连边数的差值;
获取第一区域中的第一数据节点,以及第二区域中的第二数据节点;
将第二数据节点加入至第一区域,得到更新后的第一区域,并将第一数据节点加入至第二区域,得到更新后的第二区域;
根据更新后的第一区域以及更新后的第二区域,获取第二增益值,其中,第二增益值为更新后的第一区域内连边数与更新后的第二区域内连边数之和,与更新后的第一区域与更新后的第二区域之间连边数的差值;
根据第一增益值以及第二增益值,确定目标增益值;
若目标增益值为P个增益值中的最大值,则确定第一数据节点属于更新后的第二区域,第二数据节点属于更新后的第一区域,其中,P个增益值包括第一区域以及第二区域之间两两数据节点的增益值,P为大于或等于1的整数;
直至满足算法终止条件,获取N个区域。
本实施例中,介绍了一种Kernighan-Lin算法划分区域的方式。Kernighan-Lin算法可以将M个数据节点任意划分为指定规模的两个区域,对于任何由分属于不同区域的数据节点i和数据节点j组成的节点对(i,j),交换数据节点i和数据节点j之间的位置,再计算交换前后两个区域之间的增益值。在所有节点对中找到最大的增益值,并交换该最大增益值对应的节点对。重复上述过程,直至满足算法终止条件时得到N个区域。
具体地,为了便于介绍,请参阅图10,图10为本申请实施例中基于Kernighan-Lin算法划分区域的一个示意图,如图10中(A)图所示,数据节点1、数据节点2、数据节点6和数据节点7属于第一区域,数据节点3、数据节点4、数据节点5和数据节点8属于第二区域。基于此,计算第一区域内连边数以及第二区域内的连边数之和,以图10中(A)图为例,第一区域内连边数为1,第二区域内的连边数为4,第一区域内连边数以及第二区域内的连边数之和为5。计算第一区域与第二区域之间连边数之和,以图10中(A)图为例,第一区域和第二区域之间的连边数为7,因此,第一增益值为5-7=-2。
于是从第一区域中获取第一数据节点(例如,7号数据节点),从第二区域中获取第二数据节点(例如,4号数据节点),将第一数据节点和第二数据节点交互之后得到更新后的第一区域以及更新后的第二区域。如图10中(B)图所示,数据节点1、数据节点2、数据节点4和数据节点6属于更新后的第一区域,数据节点3、数据节点5、数据节点7和数据节点8属于更新后的第二区域。基于此,计算更新后的第一区域内连边数以及更新后的第二区域内的连边数之和,以图10中(B)图为例,更新后的第一区域内连边数为4,更新后的第二区域内的连边数为4,更新后的第一区域内连边数以及更新后的第二区域内的连边数之和为8。计算更新后的第一区域与更新后的第二区域之间连边数之和,以图10中(B)图为例,更新后的第一区域和更新后的第二区域之间的连边数为4,因此,第二增益值为8-4=4。
将第二增益值与第一增益值相减之后,取绝对值即可得到目标增益值,结合上述示例,得到|-2-4|=6。将第一区域和第二区域内的数据节点进行两两交换后,可得到P个增益值,如果目标增益值是这P个增益值中的最大值,则将第一数据节点作为第二区域内的数据节点,并将第二数据节点作为第一区域内的数据节点。以此类推,直至满足算法终止条件时,得到N个区域。
示例性地,算法终止条件可以是预先设置一个交换阈值,当交换次数达到迭代阈值时,即满足算法终止条件,示例性地,算法终止条件也可以是计算每个区域的评价参数,当评价参数大于参数阈值时,表示满足算法终止条件,评价参数的计算方式为:
Figure BDA0002767686060000171
其中,U表示评价参数,eii表示连接某个区域内部各个数据节点在所有连边数目中的占比,ai表示第i个区域中的数据节点相连的边在所有连边数目中的占比。
需要说明的是,还可以采用其他方式计算评价参数,此处仅为一个示意,不应理解为对本申请的限定。
再进一步地,本申请实施例中,提供了一种Kernighan-Lin算法划分区域的方式,通过上述方式,考虑到目标网络中的每对数据节点,由此进行分析,分析难度较低,能够使得数据节点都经过交换,从而得到更加准确的区域划分结果。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,对目标网络中的数据节点进行划分处理,得到N个区域,具体包括如下步骤:
根据目标网络中的M个数据节点以及K条连边,确定K个边介数,其中,K个边介数中的边介数与K条连边中的连边具有对应关系;
从K个边介数中选择目标边介数,其中,目标边介数为K个边介数中的最大值;
删除目标边介数所对应的连边;
直至满足算法终止条件,获取N个区域。
本实施例中,介绍了一种基于GN算法划分区域的方式。GN算法是一个社区发现算法,属于***的层次聚类算法,其基本思想是不断的删除网络中具有相对于所有源节点的最大的边介数(Betweenness)的边,然后重新计算网络中剩余的边的相对于所有源节点的边介数,重复这个过程,直至满足算法终止条件。
具体地,为了便于介绍,请参阅图11,图11为本申请实施例中基于GN算法划分区域的一个示意图,如图11中(A)图所示,假设目标网络包括7个数据节点,且具有6条连边。可计算每条连边的边介数,例如,3号数据节点与4号节点之间的边介数为12,即共有12对数据节点经过3号数据节点与4号节点之间的连边。基于此,得到如图11中(B)图所示的边介数,其中,1号数据节点与3号节点之间的边介数为6,2号数据节点与3号节点之间的边介数为6,3号数据节点与4号节点之间的边介数为12,4号数据节点与5号节点之间的边介数为12,5号数据节点与6号节点之间的边介数为6,5号数据节点与7号节点之间的边介数为6。
由此,确定3号数据节点与4号节点之间的边介数,以及4号数据节点与5号节点之间的边介数为最大值,于是,从中选择一个边介数作为目标边介数,然后删除该目标边介数所对应的连边,即得到如图11中(C)图所示的两个区域。类似地,继续计算每个区域内数据节点之间的边介数,然后继续删除最大边介数对应的连边,即得到如图11中(D)图所示的三个区域。以此类推,直至满足算法终止条件时,得到N个区域。
示例性地,算法终止条件可以是预先设置一个迭代阈值,当划分次数达到迭代阈值时,即满足算法终止条件,示例性地,算法终止条件也可以是计算每个区域的评价参数,当评价参数大于参数阈值时,表示满足算法终止条件。
再进一步地,本申请实施例中,提供了一种基于GN算法划分区域的方式,通过上述方式,能够考虑到目标网络的全局,划分的区域具有较高的准确度,并且考虑到区域划分的结束点,还可以定义一个算法终止条件,一旦达到算法终止条件,即停止继续划分区域,从而在兼顾区域划分效果的同时,能够提升处理效率。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,根据N个区域确定至少一个业务域,具体包括如下步骤:
从N个区域中获取待识别区域所包括的Q个数据节点,其中,Q为大于或等于1的整数;
根据Q个数据节点所对应的Q个数据表确定待识别区域所对应的业务域,其中,Q个数据节点中的数据节点与Q个数据表中的数据表具有对应关系。
本实施例中,介绍了一种对于已划分区域进行解读的方式。由前述实施例可知,目标网络经过划分之后得到N个区域,然后会得到每个数据节点所属的区域,对于每个区域而言,需要判断该区域是否满足业务域确定条件,如果满足该条件,则得到对应的业务域。
具体地,以待识别区域为例,待识别区域是N个区域中其中一个区域。假设待识别区域内包括Q个数据节点,由此得到Q个数据表,接下来需要结合业务信息以及人工抽样判别的形式,确定待识别区域的类型。例如,Q为100,Q个数据表中有70个数据表属于“红包业务”的数据表,即“红包业务”占比为70%。如果业务占比大于或等于业务占比阈值,则确定待识别区域满足业务域确定条件,反之,则不满足业务域确定条件。
为了便于介绍,请参阅表3,表3为区域与业务域之间关系的一个示意。
表3
区域 数据节点数量 业务类型 业务占比 业务域的名称
区域A 100 红包业务 70% 红包业务域
区域B 50 网约车业务 40%
区域C 60 转账业务 75% 转账业务域
区域D 150 电商业务 80% 电商业务域
以业务占比阈值为60%作为示例,在实际应用中,业务占比阈值也可以是其他比例,此处不做限定。由表3可知,区域A、区域C和区域D中数据表的业务占比都大于业务占比阈值,因此,可以将业务域解读为多数数据表对应的业务类型。而基于区域B可知,属于网约车业务的数据表占比小于业务占比阈值,因此,该区域不属于任何业务域,即解读为无业务域。
再进一步地,本申请实施例中,提供了一种对于已划分区域进行解读的方式,通过上述方式,能够对每个已经划分好的区域做进一步解读,从而确定区域所属的业务域,由此,能够得到更加合理的业务域分配结果。
可选地,在上述图3对应的实施例的基础上,本申请实施例提供的另一个可选实施例中,当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,具体包括如下步骤:
展示每个业务域所对应的业务名称以及查看接口;
当检测到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表;
或者,
当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,具体包括如下步骤:
当终端设备检测到针对于目标查看接口的操作时,接收终端设备发送的查看指令;
根据查看指令向终端设备发送目标业务域所对应的至少一个数据表,以使终端设备展示目标业务域所对应的至少一个数据表。
本实施例中,介绍了一种面向相关人员展示业务域的方式。由前述实施例可知,数据表展示装置可部署于服务器,也可以部署于终端设备,基于此,下面将结合数据表展示装置部署于在不同设备上的情况进行说明。
一、数据表展示装置部署于终端设备;
在终端设备获取到业务域之后,可直接展示这些业务域的业务名称以及对应的查看接口。为了便于理解,请参阅图12,图12为本申请实施例中展示业务域的一个界面示意图,如图所示,在数据平台的界面上展示不同的业务域,例如,“红包业务”、“转账业务”、“网约车业务”以及“电商业务”等。当用户需要查看“红包业务”下的数据表时,可点击“红包业务”对应的查看接口,该查看接口即为目标查看接口。
终端设备响应于用户针对目标查看接口的操作,即可跳转至如图13所示的界面,请参阅图13,图13为本申请实施例中展示目标业务域下数据表的一个界面示意图,如图所示,以目标业务域为“红包业务”作为示例,该目标业务域下包括13个数据表,即展示这13个数据表的标识。如果用户需要查看其中的一个或多个数据表,则可以直接点选数据表的选项,例如,选择查看“数据表0156”、“数据表3594”、“数据表1072”、“数据表4235”、“数据表6569”以及“数据表7711”。选择完毕后,点击“查看”按钮后可展示数据表内的具体内容。
二、数据表展示装置部署于服务器;
在服务器获取到业务域之后,向终端设备发送业务域对应的业务名称,以使终端设备展示这些业务域的业务名称以及对应的查看接口。当终端设备检测到针对于目标查看接口的操作时,可以向数据表展示装置发送查看指令,该查看指令携带目标业务域的标识,由此,服务器根据查看指令向终端设备发送目标业务域所对应的至少一个数据表,以使终端设备展示目标业务域所对应的至少一个数据表。
需要说明的是,终端设备展示业务名称以及查看接口的界面与图12所示的界面类似,而终端设备展示目标业务域下至少一个数据表的界面与图13所示的界面类似,故此处不做赘述。
其次,本申请实施例中,提供了一种面向相关人员展示业务域的方式,通过上述方式,能够将划分好的业务域进行可视化展示,使得相关人员能够更直观地找到某个业务域下的数据表,无需从大量数据表中手动查找某个业务域下的数据表,从而提升数据查找效率,增加方案的灵活性和可操作性。
下面对本申请中的数据表展示装置进行详细描述,请参阅图14,图14为本申请实施例中数据表展示装置的一个实施例示意图,数据表展示装置20包括:
获取模块201,用于获取来源于M个数据表的M个元数据,其中,M个数据表中的数据表与M个元数据中的元数据具有对应关系,M为大于或等于2的整数;
确定模块202,用于根据M个元数据确定M个数据表之间的关联关系;
构建模块203,用于根据M个数据表之间的关联关系构建目标网络,其中,目标网络包括M个数据节点,M个数据节点中的数据节点与M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
划分模块204,用于对目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表;
展示模块205,用于当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,所述目标查看接口为所述至少一个业务域中目标业务域所对应的查看接口。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,利用每个数据表对应的元数据能够确定数据表之间的联系,基于数据表之间的联系构成一个目标网络,然后可采用社团划分算法对目标网络进行区域划分,从而得到至少一个区域,每个划分好的区域即可认为是一个业务域,而该区域内的各个数据节点即为业务域所包括的各个数据表,由此,可基于业务域实现对数据表的自动化整合,便于开发人员直接查看某个业务域的数据表,从而节省时间成本以及人力成本。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,M个数据表至少包括第一数据表以及第二数据表;
获取模块201,具体用于获取来源于第一数据表的第一元数据;
获取来源于第二数据表的第二元数据;
确定模块202,具体用于根据第一元数据以及第二元数据,确定第一数据表与第二数据表之间的目标关联关系,其中,目标关联关系包括第一数据节点与第二数据节点之间的连边方向以及连边权重中的至少一种,第一数据节点用于存储第一数据表,第二数据节点用于存储第二数据表。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,对于两个数据表而言,可利用其对应的元数据确定两者之间的关联关系,从而得到更准确的关联关系,由此提升方案的可行性。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
确定模块202,具体用于根据第一元数据所包括的技术元数据以及第二元数据所包括的技术元数据,确定第一数据节点与第二数据节点之间的连边方向;
根据第一元数据所包括的业务元数据以及第二元数据所包括的业务元数据,确定第一数据节点与第二数据节点之间的连边权重。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够结合技术元数据和业务元数据,从不同维度上(即连边方向和连边权重)构建两个数据节点之间的关联关系,进而确定数据表之间的关联关系,由此提升方案的可行性和可操作性。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
确定模块202,具体用于根据第一元数据所包括的技术元数据,获取第一数据表所对应的数据血缘;
根据第二元数据所包括的技术元数据,获取第二数据表所对应的数据血缘;
根据第一数据表所对应的数据血缘以及第二数据表所对应的数据血缘,从第一数据表以及第二数据表中确定上游数据表,其中,数据血缘属于技术元数据;
若上游数据表为第一数据表,则构建从第一数据节点至第二数据节点之间的连边;
若上游数据表为第二数据表,则构建从第二数据节点至第一数据节点之间的连边。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,基于数据血缘刻画的数据表之间的关联关系,进而能够对所有的数据表刻画成点与边之间的关系,再通过引入复杂网络的数据挖掘方法,对数据资产进行社区划分与聚类,从而定位到数据资产对应的业务域,进行数据资产的精细化管理,从而提升数据资产的有效运营与沉淀。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
确定模块202,具体用于根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务名称;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务名称;
根据第一数据表所对应的业务名称以及第二数据表所对应的业务名称,确定第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够通过业务名称确定数据表之间的关联,通常情况下,业务名称关联度越高,表示两个数据表之间的关系也越紧密,以此构建的连边权重更准确。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
确定模块202,具体用于根据第一元数据所包括的业务元数据,获取第一数据表所对应的业务描述;
根据第二元数据所包括的业务元数据,获取第二数据表所对应的业务描述;
基于第一数据表所对应的业务描述以及第二数据表所对应的业务描述,通过语义匹配模型获取第一数据表与第二数据表之间的关联度;
根据第一数据表与第二数据表之间的关联度,确定第一数据节点与第二数据节点之间的连边权重。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,由于业务描述往往涵盖了与业务相关的信息,因此,能够通过业务描述确定数据表之间的关联,通常情况下,业务名称关联度越高,表示两个数据表之间的关系也越紧密,以此构建的连边权重更准确。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
划分模块204,具体用于对目标网络中的数据节点进行划分处理,得到N个区域,其中,N为大于或等于1,且小于或等于M的整数;
根据N个区域确定至少一个业务域。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,利用算法实现区域的自动化划分,无需人工进行划定不同的区域,由此提升方案的灵活性和便利性。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
划分模块204,具体用于从目标网络中获取待划分数据节点;
根据待划分数据节点获取第一数据节点以及第二数据节点,其中,第一数据节点以及第二数据节点均为待划分数据节点相邻的数据节点;
根据待划分数据节点以及第一数据节点,确定第一模块度;
根据待划分数据节点以及第二数据节点,确定第二模块度;
若第一模块度与第二模块度均大于0,且第一模块度大于第二模块度,则确定待划分数据节点与第一数据节点属于N个区域中的同一个区域;
若第一模块度与第二模块度均大于0,且第一模块度小于第二模块度,则确定待划分数据节点与第二数据节点属于N个区域中的同一个区域;
直至满足算法终止条件,获取N个区域。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够在无人监督的情况下完实现区域划分,整个过程易于实现,且算法速度快,容易计算模块化的增益。由于算法的第一阶段设计为将单一的数据节点从一个区域移位到另一个区域,因此,该算法具有固有的多层次特性,所以模块化的分辨率限制问题也可以被规避。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
划分模块204,具体用于从目标网络中获取第一区域以及第二区域;
根据第一区域以及第二区域,获取第一增益值,其中,第一增益值为第一区域内连边数与第二区域内连边数之和,与第一区域与第二区域之间连边数的差值;
获取第一区域中的第一数据节点,以及第二区域中的第二数据节点;
将第二数据节点加入至第一区域,得到更新后的第一区域,并将第一数据节点加入至第二区域,得到更新后的第二区域;
根据更新后的第一区域以及更新后的第二区域,获取第二增益值,其中,第二增益值为更新后的第一区域内连边数与更新后的第二区域内连边数之和,与更新后的第一区域与更新后的第二区域之间连边数的差值;
根据第一增益值以及第二增益值,确定目标增益值;
若目标增益值为P个增益值中的最大值,则确定第一数据节点属于更新后的第二区域,第二数据节点属于更新后的第一区域,其中,P个增益值包括第一区域以及第二区域之间两两数据节点的增益值,P为大于或等于1的整数;
直至满足算法终止条件,获取N个区域。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,考虑到目标网络中的每对数据节点,由此进行分析,能够使得数据节点都经过交换,从而得到更加准确的区域划分结果。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
划分模块204,具体用于根据目标网络中的M个数据节点以及K条连边,确定K个边介数,其中,K个边介数中的边介数与K条连边中的连边具有对应关系;
从K个边介数中选择目标边介数,其中,目标边介数为K个边介数中的最大值;
删除目标边介数所对应的连边;
直至满足算法终止条件,获取N个区域。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够考虑到目标网络的全局,划分的区域具有较高的准确度,并且考虑到区域划分的结束点,还可以定义一个算法终止条件,一旦达到算法终止条件,即停止继续划分区域,从而在兼顾区域划分效果的同时,能够提升处理效率。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
划分模块204,具体用于从N个区域中获取待识别区域所包括的Q个数据节点,其中,Q为大于或等于1的整数;
根据Q个数据节点所对应的Q个数据表确定待识别区域所对应的业务域,其中,Q个数据节点中的数据节点与Q个数据表中的数据表具有对应关系。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够对每个已经划分好的区域做进一步解读,从而确定区域所属的业务域,由此,能够得到更加合理的业务域分配结果。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
展示模块205,具体用于展示每个业务域所对应的业务名称以及查看接口;
当检测到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够将划分好的业务域进行可视化展示,使得相关人员能够更直观地找到某个业务域下的数据表,无需从大量数据表中手动查找某个业务域下的数据表,从而提升数据查找效率,增加方案的灵活性和可操作性。
可选地,在上述图14所对应的实施例的基础上,本申请实施例提供的数据表展示装置20的另一实施例中,
展示模块205,具体用于当终端设备检测到针对于目标查看接口的操作时,接收终端设备发送的查看指令;
根据查看指令向终端设备发送目标业务域所对应的至少一个数据表,以使终端设备展示目标业务域所对应的至少一个数据表。
本申请实施例中,提供了一种数据表展示装置,采用上述装置,能够将划分好的业务域进行可视化展示,使得相关人员能够更直观地找到某个业务域下的数据表,无需从大量数据表中手动查找某个业务域下的数据表,从而提升数据查找效率,增加方案的灵活性和可操作性。
图15是本申请实施例提供的一种服务器结构示意图,该服务器300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(central processingunits,CPU)322(例如,一个或一个以上处理器)和存储器332,一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中,存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器322可以设置为与存储介质330通信,在服务器300上执行存储介质330中的一系列指令操作。
服务器300还可以包括一个或一个以上电源326,一个或一个以上有线或无线网络接口350,一个或一个以上输入输出接口358,和/或,一个或一个以上操作***341,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图15所示的服务器结构。
本申请实施例还提供了另一种图像显示控制装置,如图16所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、销售终端设备(Point of Sales,POS)、车载电脑等任意终端设备,以终端设备为手机为例:
图16示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图16,手机包括:射频(Radio Frequency,RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless fidelity,WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解,图16中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图16对手机的各个构成部件进行具体的介绍:
RF电路410可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器480处理;另外,将设计上行的数据发送给基站。通常,RF电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器420可用于存储软件程序以及模块,处理器480通过运行存储在存储器420的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元430可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元430可包括触控面板431以及其他输入设备432。触控面板431,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板431可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器480,并能接收处理器480发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431,输入单元430还可以包括其他输入设备432。具体地,其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元440可包括显示面板441,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板441。进一步的,触控面板431可覆盖显示面板441,当触控面板431检测到在其上或附近的触摸操作后,传送给处理器480以确定触摸事件的类型,随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图16中,触控面板431与显示面板441是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板431与显示面板441集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器450,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板441的亮度,接近传感器可在手机移动到耳边时,关闭显示面板441和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路460、扬声器461,传声器462可提供用户与手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号,传输到扬声器461,由扬声器461转换为声音信号输出;另一方面,传声器462将收集的声音信号转换为电信号,由音频电路460接收后转换为音频数据,再将音频数据输出处理器480处理后,经RF电路410以发送给比如另一手机,或者将音频数据输出至存储器420以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图16示出了WiFi模块470,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器480是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器420内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器480可包括一个或多个处理单元;可选的,处理器480可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器480中。
手机还包括给各个部件供电的电源490(比如电池),可选的,电源可以通过电源管理***与处理器480逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
上述实施例中由终端设备所执行的步骤可以基于该图16所示的终端设备结构。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述各个实施例描述的方法。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行前述各个实施例描述的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种基于业务域的数据表展示方法,其特征在于,包括:
获取来源于M个数据表的M个元数据,其中,所述M个数据表中的数据表与所述M个元数据中的元数据具有对应关系,所述M为大于或等于2的整数;
根据所述M个元数据确定所述M个数据表之间的关联关系;
根据所述M个数据表之间的关联关系构建目标网络,其中,所述目标网络包括M个数据节点,所述M个数据节点中的数据节点与所述M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
对所述目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表;
当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,所述目标查看接口为所述至少一个业务域中目标业务域所对应的查看接口。
2.根据权利要求1所述的数据表展示方法,其特征在于,所述M个数据表至少包括第一数据表以及第二数据表;
所述获取来源于M个数据表的M个元数据,包括:
获取来源于所述第一数据表的第一元数据;
获取来源于所述第二数据表的第二元数据;
所述根据所述M个元数据确定所述M个数据表之间的关联关系,包括:
根据所述第一元数据以及所述第二元数据,确定所述第一数据表与所述第二数据表之间的目标关联关系,其中,所述目标关联关系包括第一数据节点与第二数据节点之间的连边方向以及连边权重中的至少一种,所述第一数据节点用于存储所述第一数据表,所述第二数据节点用于存储所述第二数据表。
3.根据权利要求2所述的数据表展示方法,其特征在于,所述根据所述第一元数据以及所述第二元数据,确定所述第一数据表与所述第二数据表之间的目标关联关系,包括:
根据所述第一元数据所包括的技术元数据以及所述第二元数据所包括的技术元数据,确定所述第一数据节点与所述第二数据节点之间的连边方向;
根据所述第一元数据所包括的业务元数据以及所述第二元数据所包括的业务元数据,确定所述第一数据节点与所述第二数据节点之间的连边权重。
4.根据权利要求3所述的数据表展示方法,其特征在于,所述根据所述第一元数据所包括的技术元数据以及所述第二元数据所包括的技术元数据,确定所述第一数据节点与所述第二数据节点之间的连边方向,包括:
根据所述第一元数据所包括的技术元数据,获取所述第一数据表所对应的数据血缘;
根据所述第二元数据所包括的技术元数据,获取所述第二数据表所对应的数据血缘;
根据所述第一数据表所对应的数据血缘以及所述第二数据表所对应的数据血缘,从所述第一数据表以及所述第二数据表中确定上游数据表,其中,所述数据血缘属于所述技术元数据;
若所述上游数据表为所述第一数据表,则构建从所述第一数据节点至所述第二数据节点之间的连边;
若所述上游数据表为所述第二数据表,则构建从所述第二数据节点至所述第一数据节点之间的连边。
5.根据权利要求3所述的数据表展示方法,其特征在于,所述根据所述第一元数据所包括的业务元数据以及所述第二元数据所包括的业务元数据,确定所述第一数据节点与所述第二数据节点之间的连边权重,包括:
根据所述第一元数据所包括的业务元数据,获取所述第一数据表所对应的业务名称;
根据所述第二元数据所包括的业务元数据,获取所述第二数据表所对应的业务名称;
根据所述第一数据表所对应的业务名称以及所述第二数据表所对应的业务名称,确定所述第一数据表与所述第二数据表之间的关联度;
根据所述第一数据表与所述第二数据表之间的关联度,确定所述第一数据节点与所述第二数据节点之间的连边权重。
6.根据权利要求3所述的数据表展示方法,其特征在于,所述根据所述第一元数据所包括的业务元数据以及所述第二元数据所包括的业务元数据,确定所述第一数据节点与所述第二数据节点之间的连边权重,包括:
根据所述第一元数据所包括的业务元数据,获取所述第一数据表所对应的业务描述;
根据所述第二元数据所包括的业务元数据,获取所述第二数据表所对应的业务描述;
基于所述第一数据表所对应的业务描述以及所述第二数据表所对应的业务描述,通过语义匹配模型获取所述第一数据表与所述第二数据表之间的关联度;
根据所述第一数据表与所述第二数据表之间的关联度,确定所述第一数据节点与所述第二数据节点之间的连边权重。
7.根据权利要求1至6中任一项所述的数据表展示方法,其特征在于,所述对所述目标网络进行区域划分处理,得到至少一个业务域,包括:
对所述目标网络中的数据节点进行划分处理,得到N个区域,其中,所述N为大于或等于1,且小于或等于所述M的整数;
根据所述N个区域确定所述至少一个业务域。
8.根据权利要求7所述的数据表展示方法,其特征在于,所述对所述目标网络中的数据节点进行划分处理,得到N个区域,包括:
从所述目标网络中获取待划分数据节点;
根据所述待划分数据节点获取第一数据节点以及第二数据节点,其中,所述第一数据节点以及所述第二数据节点均为所述待划分数据节点相邻的数据节点;
根据所述待划分数据节点以及所述第一数据节点,确定第一模块度;
根据所述待划分数据节点以及所述第二数据节点,确定第二模块度;
若所述第一模块度与所述第二模块度均大于0,且所述第一模块度大于所述第二模块度,则确定所述待划分数据节点与所述第一数据节点属于所述N个区域中的同一个区域;
若所述第一模块度与所述第二模块度均大于0,且所述第一模块度小于所述第二模块度,则确定所述待划分数据节点与所述第二数据节点属于所述N个区域中的同一个区域;
直至满足算法终止条件,获取所述N个区域。
9.根据权利要求7所述的数据表展示方法,其特征在于,所述对所述目标网络中的数据节点进行划分处理,得到N个区域,包括:
从所述目标网络中获取第一区域以及第二区域;
根据所述第一区域以及所述第二区域,获取第一增益值,其中,所述第一增益值为所述第一区域内连边数与所述第二区域内连边数之和,与所述第一区域与所述第二区域之间连边数的差值;
获取所述第一区域中的第一数据节点,以及所述第二区域中的第二数据节点;
将所述第二数据节点加入至所述第一区域,得到更新后的第一区域,并将所述第一数据节点加入至所述第二区域,得到更新后的第二区域;
根据所述更新后的第一区域以及所述更新后的第二区域,获取第二增益值,其中,所述第二增益值为所述更新后的第一区域内连边数与所述更新后的第二区域内连边数之和,与所述更新后的第一区域与所述更新后的第二区域之间连边数的差值;
根据所述第一增益值以及所述第二增益值,确定目标增益值;
若所述目标增益值为P个增益值中的最大值,则确定所述第一数据节点属于所述更新后的第二区域,所述第二数据节点属于所述更新后的第一区域,其中,所述P个增益值包括所述第一区域以及所述第二区域之间两两数据节点的增益值,所述P为大于或等于1的整数;
直至满足算法终止条件,获取所述N个区域。
10.根据权利要求7所述的数据表展示方法,其特征在于,所述对所述目标网络中的数据节点进行划分处理,得到N个区域,包括:
根据所述目标网络中的所述M个数据节点以及K条连边,确定K个边介数,其中,所述K个边介数中的边介数与所述K条连边中的连边具有对应关系;
从所述K个边介数中选择目标边介数,其中,所述目标边介数为所述K个边介数中的最大值;
删除所述目标边介数所对应的连边;
直至满足算法终止条件,获取所述N个区域。
11.根据权利要求7所述的数据表展示方法,其特征在于,所述根据所述N个区域确定所述至少一个业务域,包括:
从所述N个区域中获取待识别区域所包括的Q个数据节点,其中,所述Q为大于或等于1的整数;
根据所述Q个数据节点所对应的Q个数据表确定所述待识别区域所对应的业务域,其中,所述Q个数据节点中的数据节点与所述Q个数据表中的数据表具有对应关系。
12.根据权利要求1所述的数据表展示方法,其特征在于,所述当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,包括:
展示所述每个业务域所对应的业务名称以及查看接口;
当检测到针对于所述目标查看接口的操作时,通过所述终端设备的界面展示所述目标业务域所对应的至少一个数据表;
或者,
所述当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,包括:
当所述终端设备检测到针对于所述目标查看接口的操作时,接收所述终端设备发送的查看指令;
根据所述查看指令向所述终端设备发送所述目标业务域所对应的至少一个数据表,以使所述终端设备展示所述目标业务域所对应的至少一个数据表。
13.一种数据表展示装置,其特征在于,包括:
获取模块,用于获取来源于M个数据表的M个元数据,其中,所述M个数据表中的数据表与所述M个元数据中的元数据具有对应关系,所述M为大于或等于2的整数;
确定模块,用于根据所述M个元数据确定所述M个数据表之间的关联关系;
构建模块,用于根据所述M个数据表之间的关联关系构建目标网络,其中,所述目标网络包括M个数据节点,所述M个数据节点中的数据节点与所述M个数据表中的数据表具有对应关系,且每个数据节点用于存储一个数据表;
划分模块,用于对所述目标网络进行区域划分处理,得到至少一个业务域,其中,每个业务域包括至少一个数据表;
展示模块,用于当获取到针对于目标查看接口的操作时,通过终端设备的界面展示目标业务域所对应的至少一个数据表,其中,所述目标查看接口为所述至少一个业务域中目标业务域所对应的查看接口。
14.一种计算机设备,其特征在于,包括:存储器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,所述处理器用于根据程序代码中的指令执行权利要求1至12中任一项所述的数据表展示方法;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的数据表展示方法。
CN202011238788.1A 2020-11-09 2020-11-09 一种基于业务域的数据表展示方法、装置、设备及介质 Pending CN113392150A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238788.1A CN113392150A (zh) 2020-11-09 2020-11-09 一种基于业务域的数据表展示方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238788.1A CN113392150A (zh) 2020-11-09 2020-11-09 一种基于业务域的数据表展示方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113392150A true CN113392150A (zh) 2021-09-14

Family

ID=77616533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238788.1A Pending CN113392150A (zh) 2020-11-09 2020-11-09 一种基于业务域的数据表展示方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113392150A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918577A (zh) * 2021-12-15 2022-01-11 北京新唐思创教育科技有限公司 数据表识别方法、装置、电子设备及存储介质
CN114521905A (zh) * 2022-01-25 2022-05-24 中山大学 一种基于同步连接特征的脑电信号处理方法及***
CN115185967A (zh) * 2022-07-06 2022-10-14 北京字跳网络技术有限公司 数据处理方法、装置、电子设备和存储介质
WO2023246165A1 (zh) * 2022-06-24 2023-12-28 华为云计算技术有限公司 数据资产展示方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918577A (zh) * 2021-12-15 2022-01-11 北京新唐思创教育科技有限公司 数据表识别方法、装置、电子设备及存储介质
CN113918577B (zh) * 2021-12-15 2022-03-11 北京新唐思创教育科技有限公司 数据表识别方法、装置、电子设备及存储介质
CN114521905A (zh) * 2022-01-25 2022-05-24 中山大学 一种基于同步连接特征的脑电信号处理方法及***
WO2023246165A1 (zh) * 2022-06-24 2023-12-28 华为云计算技术有限公司 数据资产展示方法、装置、设备及存储介质
CN115185967A (zh) * 2022-07-06 2022-10-14 北京字跳网络技术有限公司 数据处理方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111310034B (zh) 一种资源推荐方法及相关设备
CN109241431B (zh) 一种资源推荐方法和装置
CN113392150A (zh) 一种基于业务域的数据表展示方法、装置、设备及介质
CN108885624B (zh) 信息推荐***及方法
CN111125269B (zh) 一种数据管理方法、血缘关系显示方法和相关装置
CN110019825B (zh) 一种分析数据语义的方法及装置
CN111143697B (zh) 一种内容推荐的方法以及相关装置
WO2021120875A1 (zh) 搜索方法、装置、终端设备及存储介质
CN110555172A (zh) 用户关系挖掘方法及装置、电子设备和存储介质
CN113360580A (zh) 基于知识图谱的异常事件检测方法、装置、设备及介质
WO2023217127A1 (zh) 一种因果关系确定方法及相关设备
US20170236226A1 (en) Computerized systems, processes, and user interfaces for globalized score for a set of real-estate assets
KR102457359B1 (ko) 뉴럴 네트워크를 이용하는 마케팅 비용 효율 산정 방법 및 상기 마케팅 비용 효율 산정 방법을 수행하는 전자 시스템
CN112818230A (zh) 内容推荐方法、装置、电子设备和存储介质
CN112115710B (zh) 一种行业信息识别方法及装置
CN115203194A (zh) 一种元数据信息的生成方法、相关装置、设备及存储介质
Liu et al. A Novel Approach Based on Kano Model, Interval 2‐Tuple Linguistic Representation Model, and Prospect Theory for Apperceiving Key Customer Requirements
CN115392405A (zh) 模型训练方法、相关装置及存储介质
CN115619245A (zh) 一种基于数据降维方法的画像构建和分类方法及***
CN114996369A (zh) 一种数据仓库指标库的构建方法和装置
CN111475721B (zh) 信息推送方法、装置、设备及存储介质
CN111222918B (zh) 关键词挖掘方法、装置、电子设备及存储介质
CN113722593A (zh) 事件数据处理方法、装置、电子设备和介质
CN114819436A (zh) 一种金融风险的管理方法、装置以及存储介质
CN114066278B (zh) 物品召回的评估方法、装置、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052242

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination