CN110414813A - 指标曲线的构建方法、装置及设备 - Google Patents

指标曲线的构建方法、装置及设备 Download PDF

Info

Publication number
CN110414813A
CN110414813A CN201910650663.0A CN201910650663A CN110414813A CN 110414813 A CN110414813 A CN 110414813A CN 201910650663 A CN201910650663 A CN 201910650663A CN 110414813 A CN110414813 A CN 110414813A
Authority
CN
China
Prior art keywords
index
index value
data
value
building
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910650663.0A
Other languages
English (en)
Other versions
CN110414813B (zh
Inventor
琚克俭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Nova Technology Singapore Holdings Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910650663.0A priority Critical patent/CN110414813B/zh
Publication of CN110414813A publication Critical patent/CN110414813A/zh
Application granted granted Critical
Publication of CN110414813B publication Critical patent/CN110414813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种指标曲线的构建方法、装置及设备，在指标曲线的构建方法中，接收指标曲线的构建请求。该构建请求至少包括当前所需构建曲线的指标以及构建时间段。从存储单元中读取该指标在构建时间段内各个时间点的指标值。该指标在各个时间点的指标值是由管理平台在接收到调度平台定时发送的调度请求后，通过执行指标的指标值统计逻辑得到。该指标值统计逻辑的作用是按照时间点对指标的统计记录进行聚合汇总以得到该时间点的指标值。上述统计记录基于指标的依赖数据表中的依赖字段的字段值确定。基于构建时间段内各个时间点的指标值，构建指标的指标曲线。

Description

指标曲线的构建方法、装置及设备
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种指标曲线的构建方法、装置及设备。
背景技术
指标曲线通常与时间段相对应，其可以基于所对应时间段内各个时间点的指标值构建。用户通过指标曲线可以直观地查看一段时间内指标值的变化趋势。
传统技术中，在构建某个指标的指标曲线时，通常需要独立开发应用，这个开发周期比较长。此外，还需要经过漫长的数据准备过程，如，需要准备从操作数据存储(Operational Data Store，ODS)到企业级数据仓库(Enterprise Data Warehouse，EDW)到聚合数据(Aggregated Data Market，ADM)层的每层的应用数据。
因此，需要提供一种能快速构建指标曲线的方案。
发明内容
本说明书一个或多个实施例描述了一种指标曲线的构建方法、装置及设备，可以快速地构建指标曲线。
第一方面，提供了一种指标曲线的构建方法，包括：
接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述管理平台在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
基于所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
第二方面，提供了一种指标曲线的构建装置，包括：
接收单元，用于接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
读取单元，用于从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述装置在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
构建单元，用于基于所述读取单元读取的所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
第三方面，提供了一种指标曲线的构建设备，包括：
存储器；
一个或多个处理器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：
接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述管理平台在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
基于所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
本说明书一个或多个实施例提供的指标曲线的构建方法、装置及设备，接收指标曲线的构建请求。该构建请求至少包括当前所需构建曲线的指标以及构建时间段。从存储单元中读取该指标在构建时间段内各个时间点的指标值。该指标在各个时间点的指标值是由管理平台在接收到调度平台定时发送的调度请求后，通过执行指标的指标值统计逻辑得到。该指标值统计逻辑的作用是按照时间点对指标的统计记录进行聚合汇总以得到该时间点的指标值。上述统计记录基于指标的依赖数据表中的依赖字段的字段值确定。基于构建时间段内各个时间点的指标值，构建指标的指标曲线。也即本说明书提供的方案中，通过运行指标值统计逻辑得到各个时间点的指标值，由此实现了指标值的自动统计过程，进而大大提升了指标值的统计效率。此外，本方案构建指标曲线所需的各个时间点的指标值是通过调度平台定时调度管理平台生成的，而无需实时生成，这可以加快指标曲线的构建速度。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书提供的指标***示意图；
图2为本说明书一个实施例提供的指标曲线的构建方法流程图；
图3为本说明书提供的指标的分析方法流程图；
图4为本本说明书提供的分析报表示意图；
图5为本说明书一个实施例提供的指标曲线的构建装置示意图；
图6为本说明书一个实施例提供的指标曲线的构建设备示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
本说明书所述的指标可以包括但不限于商业指标，其可以用于商业智能分析。以交易场景为例来说，该商业指标例如可以为月活跃用户数(month active users，mau)等等。以下对用于构建指标曲线以及生成指标依赖数据的指标***进行说明。
图1为本说明书提供的指标***示意图。如图1所示，该指标***至少可以包括：管理平台102、调度组件104、存储单元106以及报表展示界面108。
管理平台102用于管理指标的预定义元数据，这里的预定义元数据至少用于描述指标的依赖数据表(也称物理表)以及依赖字段。此外，还可以用于描述依赖字段的映射关系、聚合字段以及聚合类型等等。管理平台102还用于生成指标的指标值统计逻辑，并执行该指标值统计逻辑，以得到指标的指标值。上述指标值统计逻辑可以由管理平台102基于预定义元数据对预定义的SQL模板进行更新后得到(更新过程后续说明)。该SQL模板中至少包含与上述依赖数据表以及依赖字段相应的变量，还包含与上述聚合类型和聚合字段相应的变量。
管理平台102还可以用于基于指定时间段内各个时间点的指标值，构建指标的指标曲线；以及，用于执行指标依赖数据的生成逻辑，以生成指标依赖数据(也称cube数据)。该指标依赖数据可以包括指标在不同维度组合下的汇总结果。
调度组件104用于定时调度管理平台102，以生成指标在各个时间点的指标值和/或指标依赖数据。此外，还用于定时调度kylin组件的创建接口。
存储单元106可以包括但不限于hbase或者hive组件，其可以用于存储指标在各个时间点的指标值以及指标的cube数据等。
报表展示界面108，用于基于存储单元106中存储的cube数据展示分析报表。本说明书所述的分析报表可以呈树状结构，其中，该树状结构的顶层节点为指标的指标值、其它层节点为其它维度组合下的汇总结果。
以上是对指标***的描述，以下对上文中提到的SQL模板的更新过程进行说明。
在一种实现方式中，该更新过程具体可以为：基于依赖数据表、依赖字段、映射关系、聚合字段以及聚合类型等，对预定义的SQL模板中的变量进行替换。当然，在实际应用中，上述更新过程也可以通过编写相应的SQL语句来完成。具体地，基于依赖数据表、依赖字段、映射关系、聚合字段以及聚合类型等，生成用于更新SQL模板的SQL语句。该SQL语句的作用是对预定义的SQL模板中的变量进行替换。执行生成的SQL语句，以得到指标的指标值统计逻辑。
以指标为mau为例来说，上述得到的指标值统计逻辑所对应的代码可以如下：
其中，count可以为指标的聚合类型。括号中的uid可以为指标的聚合字段。uid、区域(region)、年龄段、渠道(channel)以及paytime(交易时间)可以为指标的依赖字段。user、oder以及pay为指标的依赖数据表。
以上是对SQL模板的更新过程的说明。可以理解的是，在执行完成该更新过程之后，就可以得到指标的指标值统计逻辑。通过执行该统计逻辑，就可以得到用于构建指标曲线的各个时间点的指标值。由于不同时间点的指标值的获取方法类似，因此，以下以任意的第一时间点的指标值获取过程为例进行说明。
在一种实现方式中，该获取过程可以为：接收调度平台发送的调度请求。该调度请求至少可以包括第一时间点。基于第一时间点，对指标的指标值统计逻辑中的统计时间点进行更新。如，更新上述代码中的变量：${dt}。执行更新后的指标值统计逻辑，以获得指标在第一时间点的指标值。
从上述指标值统计逻辑对应的代码可以看出，指标值统计逻辑的执行过程可以分为两个部分：第一部分：建立逻辑表，该逻辑表中可以包括若干条数据记录，其中，每条数据记录基于指标的依赖数据表中的依赖字段的字段值确定。第二部分：按照第一时间点对指标的统计记录进行聚合汇总以得到第一时间点的指标值。
以下结合例子对上述两个部分进行说明。
以指标为mau为例来说，假设其依赖数据表：user、oder以及pay中的各个字段以及相应的字段值分别如下：
user表
uid gender age date region
1 男 20 2018-08-01 杭州
2 女 30 2018-08-01 深圳
… … … … …
oder表
pay表
uid oderid paytime
1 10000 2018-08-01
1 10001 2018-08-03
… … …
那么，所建立的逻辑表可以如下所示：
逻辑表
uid region 年龄段 channel paytime …
1 杭州 young Web 2018-08-01 …
… … … … … …
需要说明的是，关于该逻辑表中年龄段的字段值，其可以是基于如下的映射关系得到：
10<age<30＝＝>young
30<age<40＝＝>middle
age>50＝＝>old
还需要说明的是，上述逻辑表中的各字段只是一种示例性说明，在实际应用中，上述逻辑表中还可以包括其它字段，如，use case等。或者，还可以对除年龄段外的字段进行映射，如，可以将paytime转换为is_active(是否为本月活跃用户)等等，本说明书对此不作限定。
可以理解的是，对上述逻辑表中的统计记录，按照时间点对指其进行聚合汇总之后，就可以得到第一时间点的指标值。如，按照时间点：2018-08-01进行聚合汇总之后，就可以得到2018-08-01这一天的mau值。
参照第一时间点的指标值的获取方法，可以获取到指标在各个时间点的指标值。之后，可以将该指标在各个时间点的指标值存储到上述存储单元106中，以方便于后续指标曲线的构建。
以下对指标曲线的构成过程进行说明。
图2为本说明书一个实施例提供的指标曲线的构建方法流程图。所述方法的执行主体可以为具有处理能力的设备：服务器或者***或者平台，如，可以为图1中的管理平台102等。如图2所示，所述方法具体可以包括：
步骤202，接收指标曲线的构建请求。
在一个例子中，上述构建请求可以是通过报表展示界面108接收的。具体地，当用户在报表展示界面108上点击与构建指标曲线相关的控件时，管理平台102就可以接收到指标曲线的构建请求。该构建请求至少可以包括当前所需构建曲线的指标以及构建时间段等。以mau为例来说，这里的构建时间段可以为一个月。
步骤204，从存储单元中读取指标在构建时间段内各个时间点的指标值。
可以理解的是，本说明书所述的存储单元中可以记录多个指标以及各个指标在多个时间点的指标值。其中，每个指标在各个时间点的指标值的统计过程同上所述，在此不复赘述。
以mau为例来说，这里可以是读取上述一个月内每天的mau值。
步骤206，基于构建时间段内各个时间点的指标值，构建指标的指标曲线。
还以mau为例来说，基于每天的mau值，就可以构建出mau在一个月内的指标曲线。
需要说明的是，当构建得到某指标的指标曲线之后，用户可以通过查看该指标曲线的变化趋势，来判断某个或者某几个时间点的指标值是否存在异常。当然，在实际应用中，也可基于预设规则，来判断某个时间点的指标值是否存在异常。这里的预设规则例如可以为：指标值是否大于阈值或者小于阈值等等。
此外，本说明书中，对于存在异常的指标值，可以基于指标在不同维度下的汇总结果来对其进行分析。以mau为例来说，假设某天的mau值存在异常，则可以从region、年龄段、channel以及paytime等不同维度下的汇总结果来对其进行分析，这里的不同维度下的汇总结果也可以称为指标依赖数据(或者cube数据)。以下将对指标依赖数据的生成过程进行说明。
本说明书中，可以通过如下两种方式来生成上述指标依赖数据。
第一种，通过定时执行指标依赖数据生成逻辑生成cube数据。具体地，调度组件104可以定时调度管理平台102，以使得管理平台102执行指标依赖数据生成逻辑。这里的指标依赖数据生成逻辑的作用是按照不同的维度组合对指标的统计记录进行聚合汇总，以得到指标的cube数据。该cube数据包括指标在不同维度组合下的汇总结果，该维度组合基于依赖字段的字段值确定。该cube数据可以包括指标的指标值。
以下对维度组合的确定过程进行举例说明。
以指标为mau为例来说，假设其依赖字段为：region以及年龄段，且region的字段值包括：杭州和北京，年龄段的字段值包括：young、middle以及old，那么与mau相应的维度组合可以为：{杭州}、{北京}、{young}、{middle}、{old}、{杭州，young}、{杭州，middle}、{杭州，old}、{北京，young}、{北京，middle}、{北京，old}。其中，{杭州}等价于{杭州，all},这里的all可以是指所有年龄段的人。同理，{北京}等价于{北京，all}，以此类推。应理解，上述维度组合还可以包括：{all，all}，可以理解的是，与该维度组合相应的汇总结果即为某一天的mau值。
关于上述指标依赖数据生成逻辑，在一个例子中，与其相应的代码可以为：
select聚合类型(聚合字段)as count，维度组合as key
from(udtf(uid,age,region)as logictable
)group by维度组合
其中，udtf用于扩展指标的统计记录。count可以理解为是汇总结果。
由以上代码可以看出，汇总结果基于聚合类型和/或聚合字段确定。以下结合例子对该汇总结果进行说明。
假设指标为mau，且mau的统计记录如下所示。
统计表
uid region 年龄段
1 杭州 young
1 北京 young
2 杭州 old
3 杭州 old
… … …
那么，当聚合类型为：count，聚合字段为：uid为例来说，对于维度组合：{杭州}，其相应的汇总结果可以为：3。对于维度组合：{杭州，old}，其相应的汇总结果可以为：2。
第二种，通过调度组件104定时调度kylin组件的创建接口，以生成cube数据。具体地，可以向kylin组件发送数据生成请求，该数据生成请求包括预定义元数据。这里的数据生成请求用于指示kylin组件基于预定义元数据，构建指标的cube数据。
可以理解的是，在获取到指标的cube数据之后，可以将指标的cube数据存储到上述存储单元108中。具体地，可以存储到hbase中，以便于后续指标分析的过程中使用。
本说明书所述的指标分析的过程可以基于上述报表展示界面108进行。通过报表展示界面108用户可以设置待分析的指标以及相应的时间点。
在一个例子中，该指标分析的方法具体可以如图3所示。图3中，该方法可以包括：
步骤302，接收指标分析请求。
步骤304，响应于指标分析请求，获取待分析的指标值，并将指标值作为树状结构的顶层节点进行展示。
这里可以是从存储单元106中获取待分析的指标值。此外，展示后的指标值可以与多个按钮控件相对应，其中，每个按钮控件用于展示所述指标值的一个分析维度。
对于前述指标为mau，依赖字段为：region以及年龄段，且region的字段值包括：杭州和北京，年龄段的字段值包括：young、middle以及old的例子，这里按钮控件展示的分析维度可以为：region和年龄段。
步骤306，接收针对指标值的下钻分析请求。
该下钻分析请求可以是由用户点击与指标值相应的任一按钮控件触发。
步骤308，基于下钻分析请求，确定当前下钻的维度组合。
如前述例子，当用户点击用于展示“region”的按钮控件时，所确定的维度组合可以为：{北京，all}以及{杭州，all}。这里的维度组合的确定过程由于不属于本说明书实施例讨论的重点，因此，不再赘述。
步骤310，从指标的cube数据中读取在当前下钻的维度组合下的汇总结果，并将该汇总结果作为树状结构的下层节点进行展示。
在前述例子中，由于确定出了两个维度组合，因此可以向下延伸出两个下层节点，从而可以得到一个两层的树状结构。
可以理解的是，针对延伸出的两个下层节点，还可以分别对其进行下钻分析，具体分析过程同上所述，在此不复赘述。
当针对某个指标值完成全部的下钻分析之后，就可以得到该指标值的分析报表。在一个例子中，所得到的分析报表可以如图4所示。图4中，顶层节点为某一天的mau值，第二层的两个节点分别为与{北京，all}对应的汇总结果以及与{杭州，all}对应的汇总结果。第三层的两个节点分别为与{北京，young}对应的汇总结果、与{北京，middle}对应的汇总结果以及与{北京，old}对应的汇总结果。
本说明书中，对如图4所示的分析报表，可以统计其访问频次。如果其访问频次大于阈值，可以将该分析报表保存到LR缓存中，以便于下次读取。
最后，还需要说明的是，由于基于指标依赖数据生成逻辑生成的cube数据中包含了指标的指标值，因此，在实际应用中，也可以将指标值统计逻辑与依赖数据生成逻辑统一为一个逻辑，如，统一为指标依赖数据生成逻辑，也即将上文中的指标值统计逻辑替换为指标依赖数据生成逻辑，本说明书对此不作限定。
综上，本说明书实施例提供的指标曲线的创建方法，通过运行指标值统计逻辑得到各个时间点的指标值，由此实现了指标值的自动统计过程，进而大大提升了指标值的统计效率。此外，本方案构建指标曲线所需的各个时间点的指标值是通过调度平台定时调度管理平台生成的，而无需实时生成，这可以加快指标曲线的构建速度。最后，本方案还可以定时生成指标依赖数据(或者cube数据)，从而可以方便于对指标值的多维分析或者异动分析等。
与上述指标曲线的构建方法对应地，本说明书一个实施例还提供的一种指标曲线的构建装置，如图5所示，该装置可以包括：
接收单元502，用于接收指标曲线的构建请求。
该构建请求至少包括当前所需构建曲线的指标以及构建时间段。
读取单元504，用于从存储单元中读取指标在构建时间段内各个时间点的指标值。该指标在各个时间点的指标值是由上述装置在接收到调度平台定时发送的调度请求后，通过执行指标的指标值统计逻辑得到。该指标值统计逻辑的作用是按照时间点对指标的统计记录进行聚合汇总以得到该时间点的指标值。上述统计记录基于指标的依赖数据表中的依赖字段的字段值确定。
构建单元506，用于基于读取单元504读取的构建时间段内各个时间点的指标值，构建指标的指标曲线。
可选地，该装置还包括：
获取单元508，用于获取指标的预定义元数据，该预定义元数据至少用于描述指标的依赖数据表以及依赖字段。
获取单元508，还用于获取预定义的SQL模板，该预定义的SQL模板至少包含与依赖数据表以及依赖字段各自相应的变量。
替换单元510，用于至少基于依赖数据表以及所述依赖字段，对预定义的SQL模板中各自相应的变量进行替换，以得到指标的指标值统计逻辑。
替换单元510具体可以用于：
至少基于依赖数据表以及依赖字段，生成用于更新SQL模板的SQL语句。该SQL语句的作用是对预定义的SQL模板中的变量进行替换。
执行SQL语句，以得到指标的指标值统计逻辑。
可选地，指标的指标值统计逻辑至少包含统计时间点，各个时间点包括第一时间点。上述装置还包括：更新单元512以及执行单元514。
接收单元502，还用于接收调度平台发送的调度请求，该调度请求至少包括第一时间点。
更新单元512，用于基于接收单元502接收的第一时间点，对指标的指标值统计逻辑中的统计时间点进行更新。
执行单元514，用于执行更新单元512更新后的指标值统计逻辑，以获得指标在第一时间点的指标值。
可选地，该装置还可以包括：
第一发送单元516，用于向kylin组件发送数据生成请求，该数据生成请求包括预定义元数据。该数据生成请求用于指示kylin组件基于预定义元数据，构建指标的cube数据。
上述cube数据包括指标在不同维度组合下的汇总结果，维度组合基于依赖字段的字段值确定，汇总结果包括指标值。
可选地，该装置还可以包括：
第二发送单元518，用于获取并执行预定义的指标依赖数据生成逻辑；所述指标依赖数据生成逻辑的作用是按照不同的维度组合对指标的统计记录进行聚合汇总，以得到指标的cube数据。
cube数据包括指标在不同维度组合下的汇总结果，维度组合基于依赖字段的字段值确定，汇总结果包括指标值。
可选地，该装置还可以包括：展示单元520以及确定单元522。
接收单元502，还用于接收指标分析请求.
展示单元520，用于响应于接收单元502接收的指标分析请求，获取指标值，并将指标值作为树状结构的顶层节点进行展示，展示后的指标值可基于不同维度组合进行下钻。
接收单元502，还用于接收针对指标值的下钻分析请求。
确定单元522，用于基于接收单元502接收的下钻分析请求，确定当前下钻的维度组合。
读取单元504，还用于从指标的cube数据中读取在当前下钻的维度组合下的汇总结果，并将该汇总结果作为树状结构的下一层节点进行展示。
可选地，该装置还可以包括：
统计单元524，用于统计指标值的各条分析路径的访问频次，该分析路径由不同层次的节点组合得到。
保存单元526，用于将统计单元524统计的访问频次大于阈值的分析路径保存到LR缓存中，以便于在指标值的后续分析的过程中直接加载分析路径。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的指标曲线的构建装置，接收单元502接收指标曲线的构建请求。该构建请求至少包括当前所需构建曲线的指标以及构建时间段。读取单元504从存储单元中读取指标在构建时间段内各个时间点的指标值。该指标在各个时间点的指标值是由上述装置在接收到调度平台定时发送的调度请求后，通过执行指标的指标值统计逻辑得到。该指标值统计逻辑的作用是按照时间点对指标的统计记录进行聚合汇总以得到该时间点的指标值。上述统计记录基于指标的依赖数据表中的依赖字段的字段值确定。构建单元506基于构建时间段内各个时间点的指标值，构建指标的指标曲线。由此，可以快速地构建指标曲线。
本说明书一个实施例提供的指标曲线的构建装置可以为图1中管理平台102中的一个模块或者单元。
与上述指标曲线的构建方法对应地，本说明书实施例还提供了一种指标曲线的构建设备，如图6所示，该设备可以包括：存储器602、一个或多个处理器604以及一个或多个程序。其中，该一个或多个程序存储在存储器602中，并且被配置成由一个或多个处理器604执行，该程序被处理器604执行时实现以下步骤：
接收指标曲线的构建请求。
该构建请求至少包括当前所需构建曲线的指标以及构建时间段。
从存储单元中读取指标在构建时间段内各个时间点的指标值。指标在各个时间点的指标值是由管理平台在接收到调度平台定时发送的调度请求后，通过执行指标的指标值统计逻辑得到。指标值统计逻辑的作用是按照时间点对指标的统计记录进行聚合汇总以得到该时间点的指标值。该统计记录基于指标的依赖数据表中的依赖字段的字段值确定。
基于构建时间段内各个时间点的指标值，构建指标的指标曲线。
本说明书一个实施例提供的指标曲线的构建设备，可以快速地构建指标曲线。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。

Claims (17)

1.一种指标曲线的构建方法，通过管理平台执行，所述方法包括：
接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述管理平台在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
基于所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
2.根据权利要求1所述的方法，还包括获取所述指标的指标值统计逻辑的步骤，包括：
获取所述指标的预定义元数据；所述预定义元数据至少用于描述所述指标的依赖数据表以及依赖字段；
获取预定义的SQL模板；所述预定义的SQL模板至少包含与所述依赖数据表以及所述依赖字段各自相应的变量；
至少基于所述依赖数据表以及所述依赖字段，对所述预定义的SQL模板中各自相应的变量进行替换，以得到所述指标的指标值统计逻辑。
3.根据权利要求2所述的方法，所述至少基于所述依赖数据表以及所述依赖字段，对所述预定义的SQL模板中各自相应的变量进行替换，包括：
至少基于所述依赖数据表以及所述依赖字段，生成用于更新SQL模板的SQL语句；所述SQL语句的作用是对所述预定义的SQL模板中的变量进行替换；
执行所述SQL语句，以得到所述指标的指标值统计逻辑。
4.根据权利要求1所述的方法，所述指标的指标值统计逻辑至少包含统计时间点；所述各个时间点包括第一时间点；所述方法还包括：
接收所述调度平台发送的调度请求，所述调度请求至少包括所述第一时间点；
基于所述第一时间点，对所述指标的指标值统计逻辑中的统计时间点进行更新；
执行更新后的指标值统计逻辑，以获得所述指标在所述第一时间点的指标值。
5.根据权利要求2所述的方法，还包括：
向kylin组件发送数据生成请求，所述数据生成请求包括所述预定义元数据；所述数据生成请求用于指示所述kylin组件基于所述预定义元数据，构建所述指标的cube数据；
所述cube数据包括所述指标在不同维度组合下的汇总结果，所述维度组合基于所述依赖字段的字段值确定，所述汇总结果包括所述指标值。
6.根据权利要求1所述的方法，还包括：
获取并执行预定义的指标依赖数据生成逻辑；所述指标依赖数据生成逻辑的作用是按照不同的维度组合对所述指标的统计记录进行聚合汇总，以得到所述指标的cube数据；
所述cube数据包括所述指标在不同维度组合下的汇总结果，所述维度组合基于所述依赖字段的字段值确定，所述汇总结果包括所述指标值。
7.根据权利要求5或6所述的方法，还包括：
接收指标分析请求；
响应于所述指标分析请求，获取所述指标值，并将所述指标值作为树状结构的顶层节点进行展示；展示后的指标值可基于不同维度组合进行下钻；
接收针对所述指标值的下钻分析请求；
基于所述下钻分析请求，确定当前下钻的维度组合；
从所述指标的cube数据中读取在当前下钻的维度组合下的汇总结果，并将该汇总结果作为所述树状结构的下一层节点进行展示。
8.根据权利要求7所述的方法，还包括：
统计所述指标值的各条分析路径的访问频次；所述分析路径由不同层次的节点组合得到；
将访问频次大于阈值的分析路径保存到所述LR缓存中，以便于在所述指标值的后续分析的过程中直接加载所述分析路径。
9.一种指标曲线的构建装置，所述装置包括：
接收单元，用于接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
读取单元，用于从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述装置在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
构建单元，用于基于所述读取单元读取的所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
10.根据权利要求9所述的装置，还包括：
获取单元，用于获取所述指标的预定义元数据；所述预定义元数据至少用于描述所述指标的依赖数据表以及依赖字段；
所述获取单元，还用于获取预定义的SQL模板；所述预定义的SQL模板至少包含与所述依赖数据表以及所述依赖字段各自相应的变量；
替换单元，用于至少基于所述依赖数据表以及所述依赖字段，对所述预定义的SQL模板中各自相应的变量进行替换，以得到所述指标的指标值统计逻辑。
11.根据权利要求10所述的装置，所述替换单元具体用于：
至少基于所述依赖数据表以及所述依赖字段，生成用于更新SQL模板的SQL语句；所述SQL语句的作用是对所述预定义的SQL模板中的变量进行替换；
执行所述SQL语句，以得到所述指标的指标值统计逻辑。
12.根据权利要求9所述的装置，所述指标的指标值统计逻辑至少包含统计时间点；所述各个时间点包括第一时间点；所述装置还包括：更新单元以及执行单元；
所述接收单元，还用于接收所述调度平台发送的调度请求，所述调度请求至少包括所述第一时间点；
所述更新单元，用于基于所述接收单元接收的所述第一时间点，对所述指标的指标值统计逻辑中的统计时间点进行更新；
所述执行单元，用于执行所述更新单元更新后的指标值统计逻辑，以获得所述指标在所述第一时间点的指标值。
13.根据权利要求10所述的装置，还包括：
第一发送单元，用于向kylin组件发送数据生成请求，所述数据生成请求包括所述预定义元数据；所述数据生成请求用于指示所述kylin组件基于所述预定义元数据，构建所述指标的cube数据；
所述cube数据包括所述指标在不同维度组合下的汇总结果，所述维度组合基于所述依赖字段的字段值确定，所述汇总结果包括所述指标值。
14.根据权利要求9所述的装置，还包括：
第二发送单元，用于获取并执行预定义的指标依赖数据生成逻辑；所述指标依赖数据生成逻辑的作用是按照不同的维度组合对所述指标的统计记录进行聚合汇总，以得到所述指标的cube数据；
所述cube数据包括所述指标在不同维度组合下的汇总结果，所述维度组合基于所述依赖字段的字段值确定，所述汇总结果包括所述指标值。
15.根据权利要求13或14所述的装置，还包括：展示单元以及确定单元；
所述接收单元，还用于接收指标分析请求；
所述展示单元，用于响应于所述接收单元接收的所述指标分析请求，获取所述指标值，并将所述指标值作为树状结构的顶层节点进行展示；展示后的指标值可基于不同维度组合进行下钻；
所述接收单元，还用于接收针对所述指标值的下钻分析请求；
所述确定单元，用于基于所述接收单元接收的所述下钻分析请求，确定当前下钻的维度组合；
所述读取单元，还用于从所述指标的cube数据中读取在当前下钻的维度组合下的汇总结果，并将该汇总结果作为所述树状结构的下一层节点进行展示。
16.根据权利要求15所述的装置，还包括：
统计单元，用于统计所述指标值的各条分析路径的访问频次；所述分析路径由不同层次的节点组合得到；
保存单元，用于将所述统计单元统计的访问频次大于阈值的分析路径保存到所述LR缓存中，以便于在所述指标值的后续分析的过程中直接加载所述分析路径。
17.一种指标曲线的构建设备，包括：
存储器；
一个或多个处理器；以及
一个或多个程序，其中所述一个或多个程序存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序被所述处理器执行时实现以下步骤：
接收指标曲线的构建请求；
所述构建请求至少包括当前所需构建曲线的指标以及构建时间段；
从存储单元中读取所述指标在所述构建时间段内各个时间点的指标值；所述指标在各个时间点的指标值是由所述管理平台在接收到调度平台定时发送的调度请求后，通过执行所述指标的指标值统计逻辑得到；所述指标值统计逻辑的作用是按照时间点对所述指标的统计记录进行聚合汇总以得到该时间点的指标值；所述统计记录基于所述指标的依赖数据表中的依赖字段的字段值确定；
基于所述构建时间段内各个时间点的指标值，构建所述指标的指标曲线。
CN201910650663.0A 2019-07-18 2019-07-18 指标曲线的构建方法、装置及设备 Active CN110414813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910650663.0A CN110414813B (zh) 2019-07-18 2019-07-18 指标曲线的构建方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910650663.0A CN110414813B (zh) 2019-07-18 2019-07-18 指标曲线的构建方法、装置及设备

Publications (2)

Publication Number Publication Date
CN110414813A true CN110414813A (zh) 2019-11-05
CN110414813B CN110414813B (zh) 2023-08-22

Family

ID=68362038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910650663.0A Active CN110414813B (zh) 2019-07-18 2019-07-18 指标曲线的构建方法、装置及设备

Country Status (1)

Country Link
CN (1) CN110414813B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762665A (zh) * 2020-06-29 2021-12-07 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722655A (zh) * 2012-06-05 2012-10-10 北京岳能科技有限公司 一种风电场数据分析应用模型
CN105718565A (zh) * 2016-01-20 2016-06-29 北京京东尚科信息技术有限公司 数据仓库模型的构建方法和构建装置
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722655A (zh) * 2012-06-05 2012-10-10 北京岳能科技有限公司 一种风电场数据分析应用模型
CN105718565A (zh) * 2016-01-20 2016-06-29 北京京东尚科信息技术有限公司 数据仓库模型的构建方法和构建装置
CN109213829A (zh) * 2017-06-30 2019-01-15 北京国双科技有限公司 数据查询方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762665A (zh) * 2020-06-29 2021-12-07 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及***
CN113762665B (zh) * 2020-06-29 2024-04-16 北京京东振世信息技术有限公司 一种实时指标的相关实时数据回溯方法及***

Also Published As

Publication number Publication date
CN110414813B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
Rodríguez-Mazahua et al. A general perspective of Big Data: applications, tools, challenges and trends
Bordin et al. Dspbench: A suite of benchmark applications for distributed data stream processing systems
Poorthuis et al. Making big data small: strategies to expand urban and geographical research using social media
US20170364697A1 (en) Data interworking method and data interworking device
BenSaïda et al. The shifting dependence dynamics between the G7 stock markets
US11403346B2 (en) Method and device for searching for information in applications
Zarrad et al. Evaluating network test scenarios for network simulators systems
US9152709B2 (en) Cross-domain topic space
CN110647512B (zh) 一种数据存储和分析方法、装置、设备和可读介质
CN110705683A (zh) 随机森林模型的构造方法、装置、电子设备及存储介质
EP2774063A1 (en) Query result estimation
CN111382155B (zh) 一种数据仓库的数据处理方法、电子设备及介质
US8006175B2 (en) Calculation of spreadsheet data
Gu et al. Chronos: An elastic parallel framework for stream benchmark generation and simulation
Ding et al. A genetic algorithm based approach to transactional and QoS-aware service selection
Hesse et al. Senska–towards an enterprise streaming benchmark
Anderson et al. Architectural Implications of Social Media Analytics in Support of Crisis Informatics Research.
CN103678425A (zh) 多***的集成分析
CN117131059A (zh) 报表数据处理方法、装置、设备及存储介质
CN108810089B (zh) 一种信息推送方法、装置及存储介质
US20150007129A1 (en) Script execution framework
CN110414813A (zh) 指标曲线的构建方法、装置及设备
Wang et al. Sublinear algorithms for big data applications
Manjunath et al. A Big Data MapReduce Hadoop distribution architecture for processing input splits to solve the small data problem
Bingöl et al. Topic-based influence computation in social networks under resource constraints

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

Effective date of registration: 20200924

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240221

Address after: Guohao Times City # 20-01, 128 Meizhi Road, Singapore

Patentee after: Advanced Nova Technology (Singapore) Holdings Ltd.

Country or region after: Singapore

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Innovative advanced technology Co.,Ltd.

Country or region before: United Kingdom

TR01 Transfer of patent right