CN113535771B - 持续迭代优化的预计算方法和装置 - Google Patents

持续迭代优化的预计算方法和装置 Download PDF

Info

Publication number
CN113535771B
CN113535771B CN202110688663.7A CN202110688663A CN113535771B CN 113535771 B CN113535771 B CN 113535771B CN 202110688663 A CN202110688663 A CN 202110688663A CN 113535771 B CN113535771 B CN 113535771B
Authority
CN
China
Prior art keywords
query
time period
query task
calculation model
optimizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110688663.7A
Other languages
English (en)
Other versions
CN113535771A (zh
Inventor
李扬
韩卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunyun Shanghai Information Technology Co ltd
Original Assignee
Yunyun Shanghai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunyun Shanghai Information Technology Co ltd filed Critical Yunyun Shanghai Information Technology Co ltd
Priority to CN202110688663.7A priority Critical patent/CN113535771B/zh
Priority to EP21928353.8A priority patent/EP4163800A1/en
Priority to PCT/CN2021/109932 priority patent/WO2022267182A1/zh
Publication of CN113535771A publication Critical patent/CN113535771A/zh
Priority to US18/092,329 priority patent/US20230153299A1/en
Application granted granted Critical
Publication of CN113535771B publication Critical patent/CN113535771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24534—Query rewriting; Transformation
    • G06F16/24549—Run-time optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种持续迭代优化的预计算方法和装置。一种持续迭代优化的预计算方法，包括：确定多个时间段中，每个时间段对应的查询任务；根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。本申请对预计算模型进行持续不断的优化，提高了预计算模型的性能，避免预计算模型长期不进行调优而导致的性能变差的技术问题。

Description

持续迭代优化的预计算方法和装置
技术领域
本申请涉及计算机领域，具体而言，涉及一种持续迭代优化的预计算方法和装置。
背景技术
实际生产环境中，查询工作负载和数据特征都在不停的变化，联机分析处理(Online Analytical Processing，OLAP)预计算模型经过一段时间，一般几周到几个月，计算性能就会明显下降。需要一种优化的方法来提高OLAP预计算模型的性能，现有技术中还缺乏相应的解决方案。
发明内容
本申请的主要目的在于提供一种持续迭代优化的预计算方法和装置，以解决上述问题。
为了实现上述目的，根据本申请的一个方面，提供了一种持续迭代优化的预计算方法，包括：
确定多个时间段中，每个时间段对应的查询任务；
根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
在一种实施方式中，根据每个时间段对应的查询任务持续对预计算模型进行多轮优化，包括：
对于任意的一个时间段，当所述时间段开始时，确定所述时间段对应的第一查询任务；
在所述时间段中，根据所述第一查询任务对预计算模型进行优化；
当所述时间段结束时，停止对所述预计算模型进行优化；
当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务，根据所述第二查询任务对所述预计算模型继续进行优化。
在一种实施方式中，根据所述第一查询任务对预计算模型进行优化，包括：
确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
在一种实施方式中，确定所述当前时间段对应的第一查询任务，包括：
接收客户端发送的查询请求；
根据所述查询请求确定所述时间段的查询任务。
在一种实施方式中，统计计算资源消耗，包括：计算云端服务器中的每一个查询服务器的资源；
根据每个查询服务器的资源消耗计算总的查询资源消耗。
为了实现上述目的，根据本申请的另一方面，提供了一种持续迭代优化的预计算装置，包括：
查询任务确定模块，用于确定多个时间段中，每个时间段对应的查询任务；
优化模块，用于根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
在一种实施方式中，查询任务确定模块还用于，对于任意的一个时间段，当所述时间段开始时，确定所述当前时间段对应的第一查询任务；以及当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务；
优化模块，用于在所述时间段中，根据所述第一查询任务对预计算模型进行优化；当所述时间段结束时，停止对所述预计算模型进行优化；以及当进入下一个时间段时，根据所述第二查询任务对所述预计算模型继续进行优化。
在一种实施方式中，优化模块还用于，确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
在一种实施方式中，优化模块还用于，计算云端服务器中的每一个查询服务器的资源；
根据每个查询服务器的资源消耗计算总的查询资源消耗。
本申请对预计算模型进行优化，提高了预计算模型的性能，避免预计算模型长期不进行调优而导致的性能变差的技术问题。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种持续迭代优化的预计算方法的流程图；
图2是根据本申请实施例的一种采用预计算模型的查询***示意图；
图3是根据本申请实施例的一种持续迭代优化的预计算装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
首先介绍一下本领域的专业术语
OLAP***，即On-Line Analytical Processing***，在大数据领域特指以复杂的SQL查询为主要工作负载的数据库***，多用于数据分析和BI的查询引擎。
预计算，即为了减少在线计算量而进行的预先计算。在大数据领域，由于数据量庞大而容易导致在线查询缓慢，因此进行充分的预先计算来减少在线计算量是很常用的技术手段，能极大的降低在线计算量和提升在线查询响应速度。
预计算模型/多维立方体(Cube)，是一组Cuboid/Aggregated Index/Materialized View的定义，描述了一个预计算方案，通常为了加速一组特定的SQL查询而设计。通过对原始数据进行多种预计算，生成Cuboid/Aggregated Index/MaterializedView，最后在查询时充分利用预计算的结果，达到快速响应的目的。预计算模型的优劣直接决定了预计算的效率和查询加速的效果。
预计算和查询集群，即一个由多台计算机按一定网络结构组成的计算集群。
计算资源，集群中包含CPU资源、内存资源、存储资源、网络带宽资源等执行预计算或SQL查询所需要的计算资源。
查询负载，即一组SQL查询按特定的时间顺序的执行过程，可能是并行执行或串行执行或两者的混合。
本申请提出了一种持续迭代优化的预计算方法，参见附图1所示的一种持续迭代优化的预计算方法的流程图；该方法包括：
步骤S102，确定多个时间段中，每个时间段对应的查询任务；
其中，时间段可以是一天，一周，一个月，一个季度，具体可以灵活进行设定。优选地，可以周期性的对预计算模型进行调优。间隔的时间可以为一天，一周，或者一个小时，根据外部数据查询任务而定。如果查询任务比较频繁，则调优的周期缩短，如果查询任务的比较少，则调优的周期可以设置比较长。具体可以灵活设定。
优选地，时间段为一天。
具体的，查询任务主要来自于用户的大量的客户端发送的查询请求。查询任务实时都在变动。不同的时间段，查询任务是不同的。
步骤S104，根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
具体的，优化时，可以根据预定的目标损失函数，以目标损失函数减小到预定的预制为目标进行优化。
或者，可以放大条件，以目标损失函数不增大为目标进行优化，也就是说，经过优化处理后，使得预计算模型的输出结果应该是收敛的，而不应该是发散的。
本发明的上述的方法，对预计算模型进行持续不断的优化，从而提高计算的性能，避免预计算模型长时间不进行优化而导致的计算性能下降。
在一种实施方式中，根据每个时间段对应的查询任务持续对预计算模型进行多轮优化，包括：
对于任意的一个时间段，当所述时间段开始时，确定所述当前时间段对应的第一查询任务；
在所述时间段中，根据所述第一查询任务对预计算模型进行优化；
当所述时间段结束时，停止对所述预计算模型进行优化；
当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务，根据所述第二查询任务对所述预计算模型继续进行优化。
在一种实施方式中，根据所述第一查询任务对预计算模型进行优化，包括：
确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
具体的，优化的目标函数包括：查询耗时和查询资源消耗。
也就是说，经过优化的预计算模型，对于同样的一个查询任务，经过优化之后，查询任务的耗时会小于经过优化之前的查询任务耗时。经过优化之后的查询资源开销会小于经过优化之前的查询资源开销。
在一种实施方式中，对于任意的一个时间段，当所述时间段开始时，确定所述当前时间段对应的第一查询任务；
当执行查询任务时，在根据所述查询请求调用查询引擎在云端的分布式查询服务器集群中执行查询任务。
在一种实施方式中，统计计算资源消耗时，计算云端服务器中的每一个查询服务器的资源；根据每个查询服务器的资源消耗计算总的查询资源消耗。
具体的，云端的查询***包括一个服务器的集群，包括多个查询服务器。采用分布式计算的模式进行查询。
计算资源消耗包括：CPU或者GPU的资源、内存资源和存储资源。
示例性的，计算资源可以为磁盘存储空间；
或者为网络占用的资源，数据从一个节点到另一个节点传输占用的网络；
示例性的，采用预计算模型A进行查询计算时，采用了10台服务器，每台服务器16GB的CPU，500GB的硬盘存储；16T的内存；网络带宽的速度为1G每秒。这10台服务器用了一个小时完成了该查询任务的查询。
而对于同样的查询任务，采用预计算模型B进行查询计算时，如果采用了5台服务器，每台服务器相同的配置，也用了1小时完成该查询任务。则确定预计算模型B的评分为预计算模型A的评分的两倍。
其中，
θ为分数，A为占用的计算资源，B为完成查询的耗时；
λ为预先设定的一个单位权值，该值是根据大数据的分析统计而得到的。
示例性的，对于A，当采用了10台服务器，每台服务器16GB的CPU，500GB的硬盘存储；16T的内存；网络带宽的速度为1G每秒时，A看成1。
如果采用了20台服务器，其他的参数不变，每台服务器16GB的CPU，500GB的硬盘存储；16T的内存；网络带宽的速度为1G每秒时，A看成2。
如果A为1；耗时为1小时，B为1；λ为100，则评分θ＝100；
如果A不变；耗时变为2小时，则B为2；评分θ＝50。
如果B不变；A变为2，则评分变为50分。
上述的公式表明，评分与计算耗时成反比，与占用资源成反比例。完成同样的任务，计算耗时越长，评分就越低，占用资源越多，评分就越低。
对所述预计算模型进行优化时，对于执行同样的查询负载，如果查询时间大于预定的时间阈值，则优化模型结构，缩短查询的时间；如果查询的资源消耗大于预定的资源消耗阈值，则优化模型结构，缩小资源消耗。
结合附图2，以一个最简单的预计算模型开始，比如只包含一个base cuboid的预计算模型为例进行说明。
1.根据模型，对原始数据进行预计算。由预计算引擎负责进行计算，计算过程通常在一个(云)计算集群中，输出预计算结果，即一个多维立方体(Cube)。同时资源监控模块记录下预计算过程中的所有计算资源开销，包括CPU、内存、存储、网络等。
2.通过执行负载来评估模型。由查询客户端按照查询负载，发送一组SQL查询。查询引擎根据预计算结果执行查询，查询过程通常在一个云计算集群中进行。同时资源监控模块记录下查询过程中的所有计算资源开销，包括CPU、内存、存储、网络等。
3.评分模块为预计算模型进行打分。得分的依据主要包括两部分，1)完成所有查询的耗时，2)预计算过程和查询过程中产生的资源开销。
4.调优模块根据本轮模型评分和其他信息推荐新的预计算模型，回到第1步进行下一轮预计算模型调优。其中调优模块的输入信息包括：
a.本轮的模型和得分，注意得分包括查询耗时、预计算和查询资源开销等详细信息。
b.(若有)前几轮的模型和实际评分，尤其是之前预测的模型性能和实际的模型性能之间的误差。
c.原始数据的物理特性，比如每个列的基数，列与列之间的相关性等。
d.查询负载的行为特性，每一条SQL查询都代表了一次分析需求，所有这些分析需求代表了一群人的分析行为特征。
本申请借鉴了增强型学习的思想，人工智能调优模块能不停的从环境获得反馈，并使用迭代演进的策略，通过多轮调优不断优化预计算模型，使之与数据物理特征和查询工作负载始终保持高度匹配，达到最佳的查询性能。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例，还提供了一种持续迭代优化的预计算装置，如图3所示的一种持续迭代优化的预计算装置的结构示意图；该装置包括：
查询任务确定模块31，用于确定多个时间段中，每个时间段对应的查询任务；
优化模块32，用于根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化。
查询任务确定模块31还用于，对于任意的一个时间段，当所述时间段开始时，确定所述当前时间段对应的第一查询任务；以及当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务；
优化模块32，用于在所述时间段中，根据所述第一查询任务对预计算模型进行优化；当所述时间段结束时，停止对所述预计算模型进行优化；以及当进入下一个时间段时，根据所述第二查询任务对所述预计算模型继续进行优化。
优化模块32还用于，确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
优化模块32还用于，计算云端服务器中的每一个查询服务器的资源；
根据每个查询服务器的资源消耗计算总的查询资源消耗。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种持续迭代优化的预计算方法，其特征在于，包括：
确定多个时间段中，每个时间段对应的查询任务；
根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化；
根据每个时间段对应的查询任务持续对预计算模型进行多轮优化，包括：
对于任意的一个时间段，当所述时间段开始时，确定所述时间段对应的第一查询任务；
在所述时间段中，根据所述第一查询任务对预计算模型进行优化；
当所述时间段结束时，停止对所述预计算模型进行优化；
当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务，根据所述第二查询任务对所述预计算模型继续进行优化。
2.根据权利要求1所述的持续迭代优化的预计算方法，其特征在于，根据所述第一查询任务对预计算模型进行优化，包括：
确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
3.根据权利要求2所述的持续迭代优化的预计算方法，其特征在于，确定所述时间段对应的第一查询任务，包括：
接收客户端发送的查询请求；
根据所述查询请求确定所述时间段的查询任务。
4.根据权利要求3所述的持续迭代优化的预计算方法，其特征在于，统计计算资源消耗，包括：计算云端服务器中的每一个查询服务器的资源；
根据每个查询服务器的资源消耗计算总的查询资源消耗。
5.一种持续迭代优化的预计算装置，其特征在于，
查询任务确定模块，用于确定多个时间段中，每个时间段对应的查询任务；
优化模块，用于根据每个时间段对应的查询任务持续对预计算模型进行持续多轮优化；
查询任务确定模块还用于，对于任意的一个时间段，当所述时间段开始时，确定所述时间段对应的第一查询任务；以及当进入下一个时间段时，确定所述下一个时间段对应的第二查询任务；
优化模块，用于在所述时间段中，根据所述第一查询任务对预计算模型进行优化；当所述时间段结束时，停止对所述预计算模型进行优化；以及当进入下一个时间段时，根据所述第二查询任务对所述预计算模型继续进行优化。
6.根据权利要求5所述的持续迭代优化的预计算装置，其特征在于，优化模块还用于，确定所述第一查询任务的耗时和查询资源消耗；
根据所述第一查询任务的耗时和查询资源消耗对预计算模型进行优化。
7.根据权利要求5所述的持续迭代优化的预计算装置，其特征在于，优化模块还用于，计算云端服务器中的每一个查询服务器的资源；
根据每个查询服务器的资源消耗计算总的查询资源消耗。
CN202110688663.7A 2021-06-21 2021-06-21 持续迭代优化的预计算方法和装置 Active CN113535771B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110688663.7A CN113535771B (zh) 2021-06-21 2021-06-21 持续迭代优化的预计算方法和装置
EP21928353.8A EP4163800A1 (en) 2021-06-21 2021-07-31 Pre-computation method and apparatus for continuous iterative optimization
PCT/CN2021/109932 WO2022267182A1 (zh) 2021-06-21 2021-07-31 持续迭代优化的预计算方法和装置
US18/092,329 US20230153299A1 (en) 2021-06-21 2023-01-01 Precomputation method and apparatus for continuous iterative optimization

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110688663.7A CN113535771B (zh) 2021-06-21 2021-06-21 持续迭代优化的预计算方法和装置

Publications (2)

Publication Number Publication Date
CN113535771A CN113535771A (zh) 2021-10-22
CN113535771B true CN113535771B (zh) 2023-11-28

Family

ID=78125396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110688663.7A Active CN113535771B (zh) 2021-06-21 2021-06-21 持续迭代优化的预计算方法和装置

Country Status (4)

Country Link
US (1) US20230153299A1 (zh)
EP (1) EP4163800A1 (zh)
CN (1) CN113535771B (zh)
WO (1) WO2022267182A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446979A (zh) * 2014-06-27 2016-03-30 华为技术有限公司 数据挖掘方法和节点
CN105988879A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 用于优化多任务处理服务器的分配的方法和***
CN106600067A (zh) * 2016-12-19 2017-04-26 广州视源电子科技股份有限公司 多维立方体模型的优化方法和装置
CN106796499A (zh) * 2015-03-16 2017-05-31 华为技术有限公司 优化查询执行计划的方法和计划优化装置
CN107229730A (zh) * 2017-06-08 2017-10-03 北京奇虎科技有限公司 数据查询方法及装置
CN110532288A (zh) * 2018-05-24 2019-12-03 Sap欧洲公司 迭代分析查询处理的统一优化

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035035A (ko) * 2016-09-28 2018-04-05 한국전자통신연구원 데이터 엔진에서의 질의 최적화 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105446979A (zh) * 2014-06-27 2016-03-30 华为技术有限公司 数据挖掘方法和节点
CN106796499A (zh) * 2015-03-16 2017-05-31 华为技术有限公司 优化查询执行计划的方法和计划优化装置
CN105988879A (zh) * 2015-03-20 2016-10-05 国际商业机器公司 用于优化多任务处理服务器的分配的方法和***
CN106600067A (zh) * 2016-12-19 2017-04-26 广州视源电子科技股份有限公司 多维立方体模型的优化方法和装置
CN107229730A (zh) * 2017-06-08 2017-10-03 北京奇虎科技有限公司 数据查询方法及装置
CN110532288A (zh) * 2018-05-24 2019-12-03 Sap欧洲公司 迭代分析查询处理的统一优化

Also Published As

Publication number Publication date
EP4163800A1 (en) 2023-04-12
WO2022267182A1 (zh) 2022-12-29
US20230153299A1 (en) 2023-05-18
CN113535771A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US8694458B2 (en) Making estimations or predictions about databases based on data trends
CN103701635B (zh) 一种在线配置Hadoop参数的方法和装置
WO2015149885A1 (en) Method for querying and updating entries in a data base
CN111176832A (zh) 基于内存计算框架Spark的性能优化和参数配置方法
Qu et al. A dynamic replica strategy based on Markov model for hadoop distributed file system (HDFS)
CN111522846B (zh) 一种基于时序中间态数据结构的数据聚合方法
CN114500578B (zh) 分布式存储***负载均衡调度方法、装置及存储介质
Li et al. Scalable replica selection based on node service capability for improving data access performance in edge computing environment
US12013854B2 (en) Methods and systems for transforming distributed database structure for reduced compute load
CN105975345A (zh) 一种基于分布式内存的视频帧数据动态均衡存储管理方法
CN111966495A (zh) 数据处理方法和装置
CN116860789A (zh) 一种数据分布优化方法及分布式数据库***
CN110191015B (zh) 基于cpi指标的云服务性能智能预测方法和装置
CN111639060A (zh) 一种火电厂时序数据处理方法、装置、设备及介质
CN117131059A (zh) 报表数据处理方法、装置、设备及存储介质
Hu et al. Approximation with error bounds in spark
CN113535771B (zh) 持续迭代优化的预计算方法和装置
CN111008235A (zh) 一种基于Spark的小文件合并方法及***
CN103309873A (zh) 数据的处理方法、装置及***
CN111629216B (zh) 边缘网络环境下基于随机森林算法的vod业务缓存替换方法
CN113505276A (zh) 预计算模型的评分方法、装置、设备和存储介质
CN110795469A (zh) 基于Spark的高维序列数据相似性查询方法及***
Heintz et al. Towards optimizing wide-area streaming analytics
Qiao et al. Dual-PISA: An index for aggregation operations on time series data
Taft Elastic database systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant