CN108805597B - 模型构建方法及装置、数据报表生成方法及装置 - Google Patents

模型构建方法及装置、数据报表生成方法及装置 Download PDF

Info

Publication number
CN108805597B
CN108805597B CN201710312337.XA CN201710312337A CN108805597B CN 108805597 B CN108805597 B CN 108805597B CN 201710312337 A CN201710312337 A CN 201710312337A CN 108805597 B CN108805597 B CN 108805597B
Authority
CN
China
Prior art keywords
index
construction
basic
indexes
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710312337.XA
Other languages
English (en)
Other versions
CN108805597A (zh
Inventor
艾杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN201710312337.XA priority Critical patent/CN108805597B/zh
Publication of CN108805597A publication Critical patent/CN108805597A/zh
Application granted granted Critical
Publication of CN108805597B publication Critical patent/CN108805597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种模型构建方法及装置、数据报表生成方法及装置,该模型构建方法包括:并行执行各基础指标的构建任务,生成若干基础指标表;对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;按各最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;根据各基础指标表和各汇总指标表构建数据模型。其中,基础指标的构建任务基于该基础指标所依赖的源数据表执行,汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。本发明充分利用集群的资源优势,大幅缩短了计算时间,保障了产出结果的时效性。

Description

模型构建方法及装置、数据报表生成方法及装置
技术领域
本申请涉及数据处理技术领域,具体涉及一种模型构建方法及装置、数据报表生成方法及装置。
背景技术
在数据集市的建设中,随着业务***的发展,数据量会不断增大,指标数量不断增多,数据表的依赖关系错综复杂。
一方面,上述问题会导致最终事实表的产生时间变晚,每天都不能及时产出结果以供进行分析和总结,以至于无法利用数据的时效性。例如在每日9点举行的销售早会中需要用到前一日的数据进行分析和总结,若无法在9点前及时产出结果,则无法利用前一日数据的时效性。
另一方面,由于业务情况复杂,需要经常根据竞争对手的动作调整指标,上述问题还会导致每次调整时引起所调整指标下游依赖该指标的整体回溯,回溯任务量非常庞大。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种缩短数据处理时间以保障产出结果时效性的模型构建方法及装置、数据报表生成方法及装置;并期望进一步提供一种减少调整指标后的回溯任务数量的模型构建方法及装置、数据报表生成方法及装置。
第一方面,本发明提供一种模型构建方法,该方法包括:
并行执行各基础指标的构建任务,生成若干基础指标表;
对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;
按各最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;
根据各基础指标表和各汇总指标表构建数据模型。
其中,基础指标的构建任务基于该基础指标所依赖的源数据表执行,汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。
第二方面,本发明还提供一种数据报表生成方法,包括上述模型构建方法,以及,根据该数据模型生成数据报表。
第三方面,本发明提供一种模型构建装置,该装置包括:
基础指标构建单元,配置用于并行执行各基础指标的构建任务,生成若干基础指标表;
时序分析单元,配置用于对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;
汇总指标构建单元,配置用于按各最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;
模型构建单元,配置用于根据各基础指标表和各汇总指标表构建数据模型。
其中,基础指标的构建任务基于该基础指标所依赖的源数据表执行,汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。
第四方面,本发明还提供一种数据报表生成装置,包括上述模型构建装置,以及,报表生成单元,配置用于根据该数据模型生成数据报表。
第五方面,本发明还提供一种设备,包括一个或多个处理器和存储器,其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的模型构建方法或数据报表生成方法。
第六方面,本发明还提供一种存储有计算机程序的计算机可读存储介质,该计算机程序使计算机执行根据本发明各实施例提供的模型构建方法或数据报表生成方法。
本发明诸多实施例提供的模型构建方法及装置、数据报表生成方法及装置在基础指标的构建中采用并行机制,在汇总指标的构建中通过对构建任务进行时序分析以确定汇总指标的最快构建路径,从而充分利用集群的资源优势,大幅缩短了计算时间,保障了产出结果的时效性;
本发明一些实施例提供的模型构建方法及装置、数据报表生成方法及装置进一步通过将依赖同一源数据表所构建的各基础指标聚合在同一基础指标表中产出,减少了调整源数据表后的回溯任务数量;
本发明一些实施例提供的模型构建方法及装置、数据报表生成方法及装置进一步通过聚合执行简单逻辑指标的构建任务,单独执行复杂逻辑指标的构建任务,进一步缩短了计算时间;
本发明一些实施例提供的模型构建方法及装置、数据报表生成方法及装置进一步通过将同一维度的简单逻辑指标聚合在同一汇总指标表产出,并将复杂逻辑指标单独生成汇总指标表产出,减少了调整指标后的回溯任务数量。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例提供的模型构建方法的流程图。
图2为图1所示方法的一种优选实施方式中步骤S30的流程图。
图3为图1所示方法的一种优选实施方式的流程图。
图4为本发明一实施例提供的数据报表生成方法的流程图。
图5为本发明一实施例提供的模型构建装置的结构示意图。
图6为图5所示装置的一种优选实施方式的结构示意图。
图7为图5所示装置的一种优选实施方式的结构示意图。
图8为本发明一实施例提供的数据报表生成装置的结构示意图。
图9为本发明一实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例提供的模型构建方法的流程图。
如图1所示,在本实施例中,本发明提供的模型构建方法包括:
S10:并行执行各基础指标的构建任务,生成若干基础指标表;
S30:对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;
S50:按各最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;
S70:根据各基础指标表和各汇总指标表构建数据模型。
其中,基础指标的构建任务基于该基础指标所依赖的源数据表执行,汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。
具体地,在本实施例中,步骤S10中,根据依赖同一源数据表所构建的各基础指标生成一张基础指标表,例如,基础指标a、b、c依赖源数据表A构建,d、e依赖源数据表B构建,f、g、h、i依赖源数据表C构建,则步骤S10中生成的第一基础指标表包括基础指标a、b、c,第二基础指标表包括基础指标d、e,第三基础指标表包括基础指标f、g、h、i。当任一源数据表需要进行调整时,例如源数据表A需要调整时,仅影响第一基础指标表,而不会影响第二基础指标表和第三基础指标表,从而减少了调整源数据表后的回溯任务数量。
在更多实施例中,还可根据实际需求配置不同的基础指标表生成策略,例如对于每个基础指标单独生成基础指标表,或对于依赖同一源数据表所构建的各基础指标按预设定的分组策略进行分表产出,等等。
在本实施例中,汇总指标包括简单逻辑指标和复杂逻辑指标。简单逻辑指标即构建的运算逻辑较为简单的汇总指标,复杂逻辑指标即构建的运算逻辑较为复杂的汇总指标。在本实施例中,简单逻辑指标为通过加和运算(sum函数)构建的汇总指标,复杂逻辑指标为通过除加和运算外其它任意方式构建的汇总指标。
在更多实施例中,可以根据实际需求配置根据不同分类规则(例如设定不同的运算种类作为分类规则,或设定一定的运算量级作为分类规则,等)区分的简单逻辑指标和复杂逻辑指标;也可以根据实际需求不区分简单逻辑指标和复杂逻辑指标,将所有汇总指标视为复杂逻辑指标。
在步骤S30中,对于存在多条构建路径的汇总指标,通过对各构建路径的构建任务进行时序分析,以确定其最快构建路径。具体地,时序分析的方法,可以根据实际需求配置为分析各构建任务的历史用时和完成时间,或,实时运行仿真任务以获取构建任务的用时并预测实际完成时间,等多种不同的时序分析方法。
优选地,还可以仅对复杂逻辑指标的构建任务进行时序分析以确定其最快构建路径;对于简单逻辑指标可直接选择任一构建路径作为最快构建路径。
在步骤S50中,根据步骤S30确定的最快构建路径构建各汇总指标,并生成若干汇总指标表。具体地,在本实施例中,聚合执行同一维度下的各简单逻辑指标的构建任务,并单独执行各复杂逻辑指标的构建任务。其中,维度为观察各基础指标和各汇总指标的角度。例如,对于外卖产品,其维度包括团单维度、门店维度、城市维度等,对于不同的产品可配置不同的维度。
优选地,根据同一维度下构建的各简单逻辑指标生成一张汇总指标表,并分别根据各复杂逻辑指标单独生成汇总指标表。则当任一基础指标需要进行调整时,仅影响到的聚合简单逻辑指标所生成的汇总指标表(若没有简单逻辑指标依赖于该基础指标则不影响),以及,依赖于该基础指标的复杂逻辑指标所生成的汇总指标表,而不影响根据其它复杂逻辑指标所生成的汇总指标表,从而减少了调整源数据表后的回溯任务数量。
在更多实施例中,还可根据实际需求将各简单逻辑指标的构建任务的聚合执行策略配置为聚合执行相互不依赖的各简单逻辑指标的构建任务,或,单独执行各简单逻辑指标的构建任务,等;以及,将汇总指标表的生成策略配置为根据各简单逻辑指标单独生成汇总指标表,等。
在步骤S70中,该数据模型的类型为星座模型。在更多实施例中,还可根据实际需求将该数据模型的类型配置为其它本领域常用的数据模型。
上述实施例在基础指标的构建中采用并行机制,在汇总指标的构建中通过对构建任务进行时序分析以确定汇总指标的最快构建路径,从而充分利用集群的资源优势,大幅缩短了计算时间,保障了产出结果的时效性;并通过将依赖同一源数据表所构建的各基础指标聚合在同一基础指标表中产出,减少了调整源数据表后的回溯任务数量;以及,通过聚合执行简单逻辑指标的构建任务,单独执行复杂逻辑指标的构建任务,进一步缩短了计算时间;还通过将同一维度的简单逻辑指标聚合在同一汇总指标表产出,并将复杂逻辑指标单独生成汇总指标表产出,减少了调整指标后的回溯任务数量。
图2为图1所示方法的一种优选实施方式中步骤S30的流程图。
如图2所示,在一优选实施例中,步骤S30包括:
S31:判断第一汇总指标是否存在至少两条构建路径:
否,则执行步骤S33:确定第一汇总指标的唯一构建路径为最快构建路径;
是,则执行步骤S35:获取第一汇总指标在各构建路径中所依赖的各基础指标和/或汇总指标的最早开始时间、最晚结束时间和平均花费时间,以及第一汇总指标在各构建路径中的平均花费时间;以及,
S37:计算出第一汇总指标在各构建路径中的最晚结束时间,以确定构建第一汇总指标的最快构建路径。
例如,对于汇总指标t,可以直接基于汇总指标r进行构建,即r-t;也可以基于根据r构建的汇总指标s进行构建,即r-s-t,则:
在步骤S31中,判断得知汇总指标t存在两条构建路径,进入步骤S35。
在步骤S35中,获取汇总指标t在两条构建路径中所依赖的各汇总指标的最早开始时间、最晚结束时间和平均花费时间,以及汇总指标t在两条构建路径中的平均花费时间:
在路径r-t中,r的最早开始时间为6:30,最晚结束时间为7:00,平均花费时间为15分钟;t的平均花费时间为30分钟;
在路径r-s-t中,r的最早开始时间为6:30,最晚结束时间为7:00,平均花费时间为15分钟;s的最早开始时间为6:30+15=6:45,平均花费时间为10分钟,最晚结束时间为7:00+10=7:10;t的平均花费时间为10分钟。
在步骤S37中,分别计算出t在两条构建路径中的最晚结束时间:
在路径r-t中,t的最晚结束时间为7:00+30=7:30;即,在路径r-t中,最晚7:30即可完成t的构建任务;
在路径r-s-t中,t的最晚结束时间为7:10+10=7:20;即,在路径r-s-t中,最晚7:20即可完成t的构建任务。
比较7:30和7:20可知,路径r-s-t为汇总指标t的最快构建路径。
图3为图1所示方法的一种优选实施方式的流程图。
如图3所示,在一优选实施例中,步骤S70之前还包括:
S60:根据各基础指标表和各汇总指标表执行各统计指标的构建任务,生成若干统计指标表。
具体地,统计指标的构建可通过计算同比、环比、占比等常用的统计运算手段进行。
步骤S70中,数据模型的构建还基于步骤S60所生成的各统计指标表。
在一优选实施例中,步骤S60中,分别根据各统计指标单独生成统计指标表,从而减少调整指标后的生成统计指标表的回溯任务数量。
图4为本发明一实施例提供的数据报表生成方法的流程图。
如图4所示,在本实施例中,本发明提供的数据报表生成方法包括上述图3所示的模型构建方法,以及:
S90:根据步骤S70所构建的数据模型生成数据报表。
在更多实施例中,该数据报表生成方法还可采用上述任一实施例提供的模型构建方法所构建的数据模型进行数据报表的生成。
图5为本发明一实施例提供的模型构建装置的结构示意图。图5所示的装置可对应执行图1所示的方法。
如图5所示,在本实施例中,本发明提供的模型构建装置包括基础指标构建单元10、时序分析单元30、汇总指标构建单元50和模型构建单元70。
基础指标构建单元10配置用于并行执行各基础指标的构建任务,生成若干基础指标表。
时序分析单元30配置用于对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径。
汇总指标构建单元50配置用于按各最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表。
模型构建单元70配置用于根据各基础指标表和各汇总指标表构建数据模型。
基础指标的构建任务基于该基础指标所依赖的源数据表执行,汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。具体的模型构建原理参见上述图1所示的方法,此处不再赘述。
在一优选实施例中,基础指标构建单元10进一步配置用于根据依赖同一源数据表所构建的各基础指标生成一张基础指标表。
在一优选实施例中,汇总指标构建单元50进一步配置用于聚合执行相互不依赖或同一维度下的各简单逻辑指标的构建任务;以及,单独执行各复杂逻辑指标的构建任务。
在一优选实施例中,汇总指标构建单元50进一步配置用于根据同一维度下构建的各简单逻辑指标生成一张汇总指标表;以及,分别根据各复杂逻辑指标单独生成汇总指标表。
图6为图5所示装置的一种优选实施方式的结构示意图。图6所示的装置可对应执行图2所示的方法。
如图6所示,在一优选实施例中,时序分析单元30包括路径检测子单元31、数据获取子单元33和时序分析子单元35。
其中,路径检测子单元31配置用于判断第一汇总指标是否存在至少两条构建路径:否,则确定第一汇总指标的唯一构建路径为最快构建路径;是,则通过数据获取子单元33和时序分析子单元35确定第一汇总指标的最快构建路径。
数据获取子单元33配置用于获取第一汇总指标在各构建路径中所依赖的各基础指标和/或汇总指标的最早开始时间、最晚结束时间和平均花费时间,以及第一汇总指标在各构建路径中的平均花费时间。
时序分析子单元35配置用于计算出第一汇总指标在各构建路径中的最晚结束时间,以确定构建第一汇总指标的最快构建路径。
具体时序分析原理参见上述图2所示的方法,此处不再赘述。
图7为图5所示装置的一种优选实施方式的结构示意图。图7所示装置可对应执行图3所示的方法。
如图7所示,在一优选实施例中,本发明提供的模型构建装置还包括:统计指标构建单元60。
统计指标构建单元60配置用于根据各基础指标表和各汇总指标表执行各统计指标的构建任务,生成若干统计指标表。
相对应地,模型构建单元70所执行的数据模型构建还基于统计指标构建单元60生成的各统计指标表。
在一优选实施例中,统计指标构建单元60进一步配置用于分别根据各统计指标单独生成统计指标表。
图8为本发明一实施例提供的数据报表生成装置的结构示意图。
如图8所示,在本实施例汇总,本发明提供的数据报表生成装置包括上述图7所示的模型构建装置,以及报表生成单元90。
报表生成单元90配置用于根据模型构建单元70所构建的数据模型生成数据报表。
在更多实施例中,该数据报表生成装置可包括上述任一实施例提供的模型构建装置。
图9为本发明一实施例提供的一种设备的结构示意图。
如图9所示,作为另一方面,本申请还提供了一种设备900,包括一个或多个中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中,还存储有设备900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本公开的实施例,上述任一实施例描述的模型构建方法或数据报表生成方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行模型构建方法或数据报表生成方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。
作为又一方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,该程序被一个或者一个以上的处理器用来执行描述于本申请的模型构建方法或数据报表生成方法。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的***来实现,或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,各所述单元可以是设置在计算机或移动智能设备中的软件程序,也可以是单独配置的硬件装置。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离本申请构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种模型构建方法,其特征在于,所述方法包括:
并行执行各基础指标的构建任务,生成若干基础指标表,其中,一张基础指标表根据依赖同一源数据表所构建的各基础指标生成;
对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;
按各所述最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;
根据各所述基础指标表和各所述汇总指标表构建数据模型;
其中,所述基础指标的构建任务基于该基础指标所依赖的源数据表执行,所述汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。
2.根据权利要求1所述的模型构建方法,其特征在于,所述对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径包括,分别对各汇总指标的构建任务进行以下时序分析:
判断第一汇总指标是否存在至少两条构建路径:否,则确定所述第一汇总指标的唯一构建路径为最快构建路径;
是,则获取第一汇总指标在各构建路径中所依赖的各基础指标和/或汇总指标的最早开始时间、最晚结束时间和平均花费时间,以及所述第一汇总指标在各所述构建路径中的平均花费时间;以及,
计算出所述第一汇总指标在各所述构建路径中的最晚结束时间,以确定构建所述第一汇总指标的最快构建路径。
3.根据权利要求1所述的模型构建方法,其特征在于,所述汇总指标包括简单逻辑指标和复杂逻辑指标;
聚合执行相互不依赖或同一维度下的各所述简单逻辑指标的构建任务;所述维度为观察各所述基础指标和各所述汇总指标的角度;
单独执行各所述复杂逻辑指标的构建任务。
4.根据权利要求3所述的模型构建方法,其特征在于,根据同一维度下构建的各所述简单逻辑指标生成一张汇总指标表;
分别根据各所述复杂逻辑指标单独生成汇总指标表。
5.根据权利要求1-4任一项所述的模型构建方法,其特征在于,所述根据各所述基础指标表和各所述汇总指标表构建数据模型之前还包括:
根据各所述基础指标表和各所述汇总指标表执行各统计指标的构建任务,生成若干统计指标表;
所述数据模型的构建还基于各所述统计指标表。
6.根据权利要求5所述的模型构建方法,其特征在于,分别根据各所述统计指标单独生成统计指标表。
7.根据权利要求1-4任一项所述的模型构建方法,其特征在于,所述数据模型为星座模型。
8.一种数据报表生成方法,其特征在于,包括如权利要求1-7任一项所述的模型构建方法,以及:
根据所述数据模型生成数据报表。
9.一种模型构建装置,其特征在于,所述装置包括:
基础指标构建单元,配置用于并行执行各基础指标的构建任务,生成若干基础指标表,其中,所述基础指标构建单元进一步配置用于根据依赖同一源数据表所构建的各基础指标生成一张基础指标表;
时序分析单元,配置用于对各汇总指标的构建任务分别进行时序分析,以确定各汇总指标的最快构建路径;
汇总指标构建单元,配置用于按各所述最快构建路径分别执行各汇总指标的构建任务,生成若干汇总指标表;
模型构建单元,配置用于根据各所述基础指标表和各所述汇总指标表构建数据模型;
其中,所述基础指标的构建任务基于该基础指标所依赖的源数据表执行,所述汇总指标的构建任务基于该汇总指标所依赖的基础指标表和/或汇总指标表执行。
10.根据权利要求9所述的模型构建装置,其特征在于,所述时序分析单元包括:
路径检测子单元,配置用于判断第一汇总指标是否存在至少两条构建路径:否,则确定所述第一汇总指标的唯一构建路径为最快构建路径;是,则通过数据获取子单元和时序分析子单元确定所述第一汇总指标的最快构建路径;
数据获取子单元,配置用于获取第一汇总指标在各构建路径中所依赖的各基础指标和/或汇总指标的最早开始时间、最晚结束时间和平均花费时间,以及所述第一汇总指标在各所述构建路径中的平均花费时间;
时序分析子单元,配置用于计算出所述第一汇总指标在各所述构建路径中的最晚结束时间,以确定构建所述第一汇总指标的最快构建路径。
11.根据权利要求9所述的模型构建装置,其特征在于,所述汇总指标包括简单逻辑指标和复杂逻辑指标;
所述汇总指标构建单元进一步配置用于聚合执行相互不依赖或同一维度下的各所述简单逻辑指标的构建任务;以及,单独执行各所述复杂逻辑指标的构建任务;
其中,所述维度为观察各所述基础指标和各所述汇总指标的角度。
12.根据权利要求11所述的模型构建装置,其特征在于,所述汇总指标构建单元进一步配置用于根据同一维度下构建的各所述简单逻辑指标生成一张汇总指标表;以及,分别根据各所述复杂逻辑指标单独生成汇总指标表。
13.根据权利要求9-12任一项所述的模型构建装置,其特征在于,还包括:
统计指标构建单元,配置用于根据各所述基础指标表和各所述汇总指标表执行各统计指标的构建任务,生成若干统计指标表;
所述模型构建单元进一步配置用于根据各所述基础指标表、各所述汇总指标表和各所述统计指标表构建数据模型。
14.根据权利要求13所述的模型构建装置,其特征在于,所述统计指标构建单元进一步配置用于分别根据各所述统计指标单独生成统计指标表。
15.根据权利要求9-12任一项所述的模型构建装置,其特征在于,所述数据模型为星座模型。
16.一种数据报表生成装置,其特征在于,包括如权利要求9-15任一项所述的模型构建装置,以及:
报表生成单元,配置用于根据所述数据模型生成数据报表。
17.一种电子设备,其特征在于,所述设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如权利要求1-8中任一项所述的方法。
18.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN201710312337.XA 2017-05-05 2017-05-05 模型构建方法及装置、数据报表生成方法及装置 Active CN108805597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710312337.XA CN108805597B (zh) 2017-05-05 2017-05-05 模型构建方法及装置、数据报表生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710312337.XA CN108805597B (zh) 2017-05-05 2017-05-05 模型构建方法及装置、数据报表生成方法及装置

Publications (2)

Publication Number Publication Date
CN108805597A CN108805597A (zh) 2018-11-13
CN108805597B true CN108805597B (zh) 2021-11-23

Family

ID=64054703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710312337.XA Active CN108805597B (zh) 2017-05-05 2017-05-05 模型构建方法及装置、数据报表生成方法及装置

Country Status (1)

Country Link
CN (1) CN108805597B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109933617B (zh) * 2019-03-08 2021-05-25 恒生电子股份有限公司 一种数据处理方法、装置以及相关设备和介质
CN111383104A (zh) * 2020-04-02 2020-07-07 中国工商银行股份有限公司 基金投资监督指标的获取方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207940B (zh) * 2010-03-31 2014-11-05 国际商业机器公司 用于验证数据的方法和***
US9529875B2 (en) * 2014-01-13 2016-12-27 International Business Machines Corporation Transforming timeseries and non-relational data to relational for complex and analytical query processing
CN104899199B (zh) * 2014-03-04 2018-12-28 阿里巴巴集团控股有限公司 一种数据仓库数据处理方法和***
CN103853838B (zh) * 2014-03-17 2017-09-12 中国联合网络通信集团有限公司 一种数据处理方法和装置
CN105718565B (zh) * 2016-01-20 2019-07-02 北京京东尚科信息技术有限公司 数据仓库模型的构建方法和构建装置

Also Published As

Publication number Publication date
CN108805597A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN106803799B (zh) 一种性能测试方法和装置
CN110221975A (zh) 创建接口用例自动化测试脚本的方法及装置
CN104919445B (zh) 变换生成***
CN111159157A (zh) 一种企业报表数据的指标化处理方法及装置
CN109815267A (zh) 数据建模中特征的分箱优化方法及***、存储介质及终端
CN111512283B (zh) 数据库中的基数估算
CN102446135A (zh) 软件质量的检测方法
CN108805597B (zh) 模型构建方法及装置、数据报表生成方法及装置
CN113568821A (zh) 一种ai芯片计算性能的测试方法、装置、设备、及介质
JP2017068293A (ja) テストdbデータ生成方法及び装置
CN114168565A (zh) 业务规则模型的回溯测试方法、装置、***及决策引擎
CN113742069A (zh) 基于人工智能的容量预测方法、装置及存储介质
RU97550U1 (ru) Устройство моделирования связей сетевых элементов на основе иерархического комплекса многоуровневого представления корпоративных функционально-ориентированных сетей
Dabkowski et al. Network science enabled cost estimation in support of MBSE
CN107273293B (zh) 大数据***性能测试方法、装置及电子设备
CN115455091A (zh) 数据生成方法、装置、电子设备和存储介质
CN115080607A (zh) 一种结构化查询语句的优化方法、装置、设备及存储介质
CN109669668B (zh) 一种***性能测试中实现模拟交易执行的方法和装置
CN110083624B (zh) 流数据处理方法、设备、数据处理设备、计算机介质
CN113934894A (zh) 基于指标树的数据显示方法、终端设备
CN110046975B (zh) 一种记账方法及装置、计算设备和计算机存储介质
US20170161359A1 (en) Pattern-driven data generator
CN113377801A (zh) 数据检验方法、装置、电子设备及计算机存储介质
CN114036174B (zh) 数据更新方法、装置、设备及存储介质
CN106708838A (zh) 用于流数据查询的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant