CN117196256B - 电力市场环境下数据中心工作负载的调度方法与设备 - Google Patents

Abstract

本申请实施例提供一种电力市场环境下数据中心工作负载的调度方法与设备。在本申请实施例中，提供数据中心参与多级电力市场的多阶段随机优化方案，考虑工作负载的类型和数据依赖关系，构建工作负载在时间维度上的负载调度模型；根据数据中心的电力来源信息，构建多个阶段的电力成本优化模型，实现对电价、碳排的外生不确定性和工作负载内生不确定性的综合考量；根据多个阶段的电力成本优化模型对负载调度模型进行多个阶段的优化求解，得到负载调度方案和电力采购策略，对数据中心的电力灵活性作出更准确和可靠的估计，能够降低数据中心的电力成本，助力减少碳排放，鼓励对可再生能源的消纳，进而在多级电力市场环境下实现数据中心用能灵活性。

Description

电力市场环境下数据中心工作负载的调度方法与设备

技术领域

本申请涉及数据中心技术领域，尤其涉及一种电力市场环境下数据中心工作负载的调度方法与设备。

背景技术

云计算通常实施在互联网数据中心（Internet Data Center，IDC）中。在数字经济时代，对云计算服务的需求持续增长，数据中心这一重要基础设施的规模和能源消耗都在不断增加。如何在保持为客户提供可接受的服务质量的同时降低数据中心的电力成本，是目前比较热门的研究方向。

多项研究已经利用数据中心的负载灵活性，在负载管理方面实现了降低电力成本的目标。例如，在降低数据中心运行成本为目标的研究中，有人在服务器层面上优化了服务器配置，同时考虑负载的时间限制，实现了成本、性能和可靠性之间的权衡；还有人提出了一种随机优化方法，解决了负载分配问题，目标是降低负载层面的电力成本；此外，还有人研究了电力市场中的电价合理性问题，以节约数据中心的电力成本。

然而，上述研究仍然存在一些未能解决的问题，例如对电力市场的建模比较简单，以及未能考虑负载之间的数据依赖关系等，致使对数据中心的电力成本的预估结果不准确，进而导致负载调度不够理想，无法充分节约数据中心的电力成本，阻碍了数据中心在电力市场中的有效参与。

发明内容

本申请的多个方面提供一种电力市场环境下数据中心工作负载的调度方法与设备，用以解决数据中心的负载调度问题，降低数据中心的电力成本，提高数据中心在多级电力市场中的有效参与。

本申请实施例提供一种电力市场环境下数据中心工作负载的调度方法，应用于运营在多级电力市场中的数据中心，所述多级电力市场的电力交易发生在多个时间尺度上，所述方法包括：获取所述数据中心需要处理的属于延时容忍型的多个工作负载的信息，所述多个工作负载的信息包括各个工作负载的类型信息和多个工作负载之间的数据依赖关系；根据所述各个工作负载的类型信息和多个工作负载之间的数据依赖关系，构建所述多个工作负载在时间维度上的负载调度模型，所述负载调度模型体现工作负载的时间不确定性；根据所述数据中心的电力来源信息，构建所述数据中心对应的多个阶段的电力成本优化模型，以在所述多个时间尺度上优化所述数据中心的电力成本；根据所述多个阶段的电力成本优化模型，对所述负载调度模型进行多个阶段的优化求解，以得到所述多个工作负载在多个时间尺度上的调度方案；根据所述多个工作负载在多个时间尺度上的调度方案，对所述多个工作负载在多个时间尺度上分别进行调度，以降低所述数据中心的电力成本。

本申请实施例还提供一种电力市场环境下数据中心工作负载的调度装置，应用于运营在多级电力市场中的数据中心，所述多级电力市场的电力交易发生在多个时间尺度上，所述装置包括：获取模块，用于获取所述数据中心需要处理的属于延时容忍型的多个工作负载的信息，所述多个工作负载的信息包括各个工作负载的类型信息和多个工作负载之间的数据依赖关系；第一构建模块，用于根据所述各个工作负载的类型信息和多个工作负载之间的数据依赖关系，构建所述多个工作负载在时间维度上的负载调度模型，所述负载调度模型体现工作负载的时间不确定性；第二构建模块，用于根据所述数据中心的电力来源信息，构建所述数据中心对应的多个阶段的电力成本优化模型，以在所述多个时间尺度上优化所述数据中心的电力成本；优化求解模块，用于根据所述多个阶段的电力成本优化模型，对所述负载调度模型进行多个阶段的优化求解，以得到所述多个工作负载在多个时间尺度上的调度方案；调度模块，用于根据所述多个工作负载在多个时间尺度上的调度方案，对所述多个工作负载在多个时间尺度上分别进行调度，以降低所述数据中心的电力成本。

本申请实施例还提供一种电子设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器与所述存储器耦合，用于执行所述存储器中存储的计算机程序，以用于实现本申请实施例提供的数据中心工作负载的调度方法中的步骤。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器能够实现本申请实施例提供的数据中心工作负载的调度方法中的步骤。

在本申请实施例中，提供一种数据中心参与多级电力市场的多阶段优化解决方案，在该方案中，考虑工作负载的类型和数据依赖关系，构建工作负载在时间维度上的负载调度模型；根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型，根据多个阶段的电力成本优化模型对负载调度模型进行多个阶段的优化求解，得到工作负载在多个时间尺度上的调度方案，据此对工作负载在多个时间尺度上进行调度，通过合理的工作负载调度方案，能够降低数据中心的电力成本，进而在多级电力市场环境下实现数据中心用能灵活性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种数据中心工作负载的调度方法的流程示意图；

图2为本申请实施例提供的表示工作负载之间的数据依赖关系的有向无环图；

图3为本申请实施例提供的构建负载调度模型的流程示意图；

图4a为本申请实施例提供的三级电力市场对应时间尺度之间的离散关系示意图；

图4b为本申请实施例提供的构建全局电力成本函数的流程示意图；

图5为本申请实施例提供的数据中心工作负载的调度装置的结构示意图；

图6为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

在数字经济时代，对云计算服务的需求持续增长，数据中心这一重要基础设施的规模和能源消耗都在不断增加。从技术上讲，数据中心在保持客户可接受的云计算服务质量的同时，具备为电力***提供灵活性负荷的潜力。这对数据中心和电力***来说既具有成本效益，又可以助力减少碳排放。数据中心之所以能够为电力***提供灵活性负荷，是因为数据中心的大部分工作负载是可以容忍延迟的，即允许延迟一定时间被执行，工作负载允许延迟的时间可以是几秒、几分钟甚至几小时。这些允许延迟执行的工作负载，可称为延时容忍型的工作负载。可选地，延时容忍型的工作负载可以是但不限于：数据收集、机器学习等批处理工作负载，批处理工作负载通常需要大量的算力和能耗。根据历史批处理工作负载的能耗数据进行分析，可知批处理工作负载可能占到数据中心总电力消耗的70%左右。

在数据中心以延时容忍型工作负载（例如批处理工作负载）为主的基础上，数据中心具备在电力市场中灵活调度工作负载并据此获取电力成本收益的能力，进一步在为数据中心提供电力的电力***包括可再生能源的情况下，还可以促进电力***对可再生能源的消纳。鉴于此，本申请实施例旨在利用延时容忍型工作负载在执行时间上固有的灵活性，提供一种数据中心参与多级电力市场的多阶段优化解决方案。在该解决方案中，考虑工作负载的类型和数据依赖关系，构建工作负载在时间维度上的负载调度模型；根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型，根据多个阶段的电力成本优化模型对负载调度模型进行多个阶段的优化求解，得到工作负载在多个时间尺度上的调度方案，据此对工作负载在多个时间尺度上进行调度，通过合理的工作负载调度方案，能够降低数据中心的电力成本，进而在多级电力市场环境下实现数据中心用能灵活性，提高数据中心在多级电力市场中的有效参与。

在此说明，本申请实施例提供的解决方案应用于运营在多级电力市场中的数据中心，在本申请实施例中，并不限定多级电力市场的级数，例如可以是二级电力市场、三级电力市场、四级电力市场等。在本实施例中，多级电力市场的电力交易发生在多个时间尺度上，且随着电力市场的层级的增大，对应的时间尺度越小。以三级电力市场为例，三级电力市场包括第一级电力市场、第二级电力市场、第三级电力市场，其中，第一级电力市场对应第一时间尺度，第二级电力市场对应第二时间尺度，第三极电力市场对应第三时间尺度，第一时间尺度大于第二时间尺度，第二时间尺度大于第三时间尺度。进一步可选地，第一时间尺度是第二时间尺度的Q1倍，第二时间尺度是第三时间尺度的Q2倍，Q1、Q2为正整数。

进一步，在本申请实施例中，采用的三级电力市场结构，其电力交易发生在三个时间尺度上。这三个时间尺度包括1小时、15分钟和5分钟，相应地，三级电力市场包括具有1小时间隔的日前市场、15分钟交易一次的日内市场和5分钟交易一次的实时市场。在此说明，三级电力市场发生电力交易的三个时间尺度并不限于这里的举例，具体可视电力市场当前以及未来的演变形态而定。在日前市场中，市场参与者对运营日的每小时能源合同开展竞标。在日内市场中，市场参与者基于预测误差和与预期用能情况的偏差对购买的电量进行调整。在实时市场中，参与者将会基于之前市场中建立的合同电量按照实时电价出清。

另外，三级电力市场对应三个时间尺度，市场参与者可以在三个时间尺度上参与购电，市场参与者在三个时间尺度上参与购电，这三个时间尺度也可以称为是购电的三个阶段，即1小时阶段、15分钟阶段和5分钟阶段。

需要说明的是，在本申请一些实施例中，会以具有1小时间隔的日前市场、15分钟交易一次的日内市场和5分钟交易一次的实时市场的三级电力市场为例进行说明，但并不限于此，本申请实施例提供的解决方案也适用于其他类型的电力市场。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请实施例提供的一种电力市场环境下数据中心工作负载的调度方法的流程示意图。该方法应用于运营在多级电力市场中的数据中心，所述多级电力市场的电力交易发生在多个时间尺度上，如图1所示，该方法包括：

101、获取数据中心需要处理的属于延时容忍型的多个工作负载的信息，多个工作负载的信息包括各个工作负载的类型信息和多个工作负载之间的数据依赖关系；

102、根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，构建多个工作负载在时间维度上的负载调度模型，负载调度模型体现工作负载的时间不确定性；

103、根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型，以在多个时间尺度上优化数据中心的电力成本；

104、根据多个阶段的电力成本优化模型，对负载调度模型进行多个阶段的优化求解，以得到多个工作负载在多个时间尺度上的调度方案；

105、根据多个工作负载在多个时间尺度上的调度方案，对多个工作负载在多个时间尺度上分别进行调度，以降低数据中心的电力成本。

在本申请实施例中，工作负载是客户提交给数据中心的计算任务，具有不同的特征和要求。其中，延时容忍型工作负载是具有软截止时间和密集计算资源需求的工作负载，通常对执行时间约束较为宽松，例如批处理工作负载是一种常见的延时容忍型工作负载。延时容忍型工作负载的松弛时间可以是几秒、几分钟甚至几小时，所述松弛时间是指在截止时间之前处理完成工作负载的情况下允许工作负载延迟执行的时间。在这种情况下，调度延时容忍型工作负载可以以满足资源需求为主，而不必追求快速响应，这使得在调度延时容忍型工作负载的情况下存在较大的时间灵活性。客户提交延时容忍型工作负载之后，延时容忍型工作负载将被分配给数据中心中特定的服务器来运行。其中，延时容忍型工作负载在何时被分配给数据中心中特定的服务器来运行能够最大程度的节约数据中心的电力成本，是本申请实施例重点解决的问题。

在本申请实施例中，并不限定延时容忍型工作负载的负载粒度，可以是需要数据中心处理的任何粒度的计算任务。在一些应用场景中，可以将较大粒度的计算任务称为作业（Job），通过分析作业的计算逻辑，然后根据作业的计算逻辑将其分割为可顺序或并行执行的较小子负载，以便在多个步骤中更好地执行。一个作业可划分为若干个任务，一个任务可划分为若干个实例，从而形成“作业-任务-实例”这种层级结构。在这些应用场景中，延时容忍型工作负载可以是作业粒度的各种作业，也可以是任务粒度的各种任务，还可以是实例粒度的各种实例，对此不做限定。

在本实施例中，延时容忍型工作负载之间具有一定的数据依赖关系，延时容忍型工作负载之间的数据依赖关系可以被描述为有向无环图（Directed Acyclic Graph，DAG），可以表示为，其中/>表示子负载，/>是表示工作负载/>和/>之间的数据依赖关系。根据DAG的关系，一个工作负载可以具有一个或多个前序或后序的工作负载，将存在数据依赖关系的前序工作负载和后序工作负载可分别称为父负载和子负载。只有在完成所有父负载的执行后，子负载才能开始。如图2所示，为表示工作负载之间的数据依赖关系的DAG。在图2中，包含8个工作负载，分别是工作负载1-8，其中，工作负载1的子负载包括工作负载2、3和5，工作负载2的子负载包括工作负载4和6，工作负载3的子负载包括工作负载4，工作负载4的子负载包括工作负载6和7，工作负载5的子负载包括8，工作负载6的子负载包括8，工作负载7的子负载包括8。

在本实施例中，延时容忍型工作负载之间不仅具有数据依赖关系，延时容忍型工作负载还具有类型。具体地，根据延时容忍型工作负载是否呈现周期性，可以将延时容忍型工作负载划分为周期性工作负载和非周期性工作负载。以批处理工作负载为例，可以被划分为周期性批处理工作负载和非周期性批处理工作负载。

在本实施例中，在客户向数据中心提交各个工作负载的情况下，可以获取各个工作负载的信息，工作负载的信息至少包括工作负载的类型信息和工作负载之间的数据依赖关系。在此说明，客户可以在不同时间向数据中心提交工作负载，也就是说不同工作负载被提交到数据中心的时间可以相同，也可以不相同。在获取工作负载的信息之后，可以根据该信息中包括的各个工作负载的类型信息和多个工作负载之间的数据依赖关系，构建多个工作负载在时间维度上的负载调度模型。在本实施例中，负载调度模型是一种待求解或待优化的模型，该模型中的待求量是工作负载的调度时间，工作负载在不同时间被调度，可以产生不同的调度方案。另外，在本申请实施例中，负载调度模型能够体现工作负载内在的时间不确定性，工作负载内在的时间不确定性也可以称为内在的时间灵活性，主要是指工作负载的到达时间和截止时间的不确定性。

可选地，如图3所示，一种构建负载调度模型的可选实施方式包括以下步骤：

1021、根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口，该调度时间窗口包括工作负载的开始时间和截止时间；

1022、根据各个工作负载的调度时间窗口，以各个工作负载在时间槽内的调度状态为变量，构建各个工作负载对应的目标函数和约束条件，以得到各个工作负载在时间维度上的负载调度模型；其中，时间槽是任何一个时间尺度上的时间间隙，目标函数表示工作负载在其调度时间窗口包含的各个时间槽上可能的调度方式。

在本申请实施例中，考虑到工作负载的与时间相关的参数可能会受到实时性能和资源分配的影响。为了简化问题，在本申请实施例中，将工作负载的到达时间和截止时间视为不确定的，而将工作负载的执行时长视为静态参数。

另外，在本申请实施例中，认为工作负载的到达时间具有随机性，且符合一定的概率分布。在一可选实施例中，为了建模工作负载的到达时间的随机性，假设它围绕预测的开始时间符合正态分布；也就是说，工作负载的到达时间的分布被建模为，其中均值为/>，表示/>工作负载j的开始时间，标准差/>可以根据历史数据进行计算。无论是周期性工作负载还是非周期性工作负载，都可以采用上述方式确定其开始时间。当预测出每个工作负载的开始时间后，对于周期性工作负载也就相应地解决了它们的截止时间问题。考虑到非周期性工作负载的执行受到优先级的高度干扰，在本申请实施例中可将非周期性工作负载符合正态分布这一属性应用于它们的截止时间上。

基于上述，在步骤1021中，根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口的可选实施方式包括：

关于周期性工作负载：周期性工作负载是涉及定期运行的计算任务，例如公司市场部门要求的日常工作报告。周期性工作负载的执行过程将被存储并反复触发以按需进行处理。鉴于此，周期性工作负载的截止时间受到客户要求的指定完成时间的限制。周期性工作负载会在不同周期内被分配相同的时间计划和执行顺序。在这种情况下，即使作为父负载的前序周期性工作负载在截止时间之前完成，作为子负载的后序周期性工作负载仍需等待其计划的开始时间。这表明周期性工作负载在生产中具有较大的时间灵活性潜力。

对于周期性工作负载，首先，可以根据周期性工作负载的开始时间所符合的概率分布函数，例如正态分布，预测周期性工作负载的开始时间。以正态分布为例，可以得到周期性工作负载的开始时间为正态分布的均值。一旦获知周期性工作负载的数据依赖关系和开始时间，就可以使用下述公式（1），确定每个周期性工作负载的截止时间。

（1）

在公式（1）中，表示工作负载/>的截止时间；/>表示工作负载/>的子负载集合；/>表示工作负载/>的开始时间；工作负载/>是工作负载/>的子负载集合中的任一子负载，/>表示周期性工作负载的集合。

公式（1）表示作为父负载的周期性工作负载的截止时间是其子负载的最早开始时间，即对于任一周期性工作负载，可将对其存在数据依赖关系的其它周期性工作负载的开始时间中的最早开始时间作为该周期性工作负载的截止时间。在得到每个周期性工作负载的开始时间和截止时间的情况下，具有复杂DAG层次结构的周期性工作负载的离散调度时间窗口。

接续于图2，在图2中不仅是出了工作负载之间的数据依赖关系（可简称为父子关系），还以时间轴的方式示出了工作负载1-8之间的开始时间、结束时间和截止时间。其中，工作负载1-8之间的父子关系以及各个工作负载的开始时间、结束时间和截止时间如下表1所示：

表1

关于非周期性工作负载：非周期性工作负载是由客户在任何时间动态生成的，其表现出高度随机的模式，并且它们的DAG结构在实际到达生产环境之前是未知的。因此，上述计算周期性工作负载的截止时间的方式无法适用非周期性工作负载。与周期性工作负载相比，非周期性工作负载通常具有较低的优先级，并且可以容忍更长的执行延迟。在本申请实施例中，每个非周期性工作负载可接受的延迟可以通过其执行时间来估计，这是因为较长的执行时间通常反映了更重的计算负载，并导致更高的处理延迟容忍度，反之亦然。此外，鉴于工作负载可接受的延迟与工作负载的优先级之间的强相关性，在本实施例中，在计算非周期性工作负载的截止时间时同时考虑非周期性工作负载的优先级。

在本申请实施例中，对于非周期性工作负载，首先可以根据非周期性工作负载的开始时间所符合的概率分布函数，预测非周期性工作负载的开始时间。以正态分布为例，可以得到非周期性工作负载的开始时间为正态分布的均值。接着，可以根据非周期性工作负载可接受的延迟、优先级、执行时长以及预设的截止时间因子，生成非周期性工作负载的截止时间。

可选地，非周期性工作负载可接受的延迟可以通过公式（2）-（3）进行估计，并通过公式（4）确定非周期性工作负载的截止时间。

（2）

（3）

（4）

在公式（2）-（4）中，表示非周期工作负载的集合；/>表示非周期工作负载/>的开始时间，/>表示非周期工作负载/>的结束时间，/>表示非周期工作负载/>的截止时间，/>表示非周期工作负载/>的执行时长，/>表示非周期工作负载/>可接受的延迟，表示可接受的延迟与工作负载的优先级及其执行时长成正比，并乘以截止时间因子/>。具体而言，/>是分配给非周期工作负载/>的优先级级别，/>的取值为优先级序列/>的优先级，其中“1”表示最高优先级，/>表示最低优先级。非周期性工作负载可接受的延迟与截止时间因子有一定关系，截止时间因子越高，非周期性工作负载可接受的延迟也就越大，相应地，非周期工作负载因其可接受的延迟所能提供的功率灵活性就越大。可选地，截止时间因子/>可以是经验值，对其取值不做限定。

在得到各个工作负载的开始时间和截止时间之后，可以得到各个工作负载的调度时间窗口，意味着各个工作负载需要在其调度时间窗口内被调度并被完成。在此基础上，在步骤1022中，可以根据各个工作负载的调度时间窗口，以各个工作负载在时间槽内的调度状态为变量，构建各个工作负载对应的目标函数和约束条件，以得到各个工作负载在时间维度上的负载调度模型。可以理解的是：各个工作负载在时间维度上的负载调度模型包括目标函数和对应的约束条件，其中，目标函数表达工作负载在其调度时间窗口包含的时间槽上可能的调度方式，也就是描述如何对工作负载在其调度时间窗口内进行调度，且如何调度是待求或待优化的量。约束条件是对目标函数进行优化求解，需要满足的条件。

在本实施例中，对数据中心中的工作负载进行调度遵循三个主要原则：首先，数据中心需要根据工作负载的异构时间约束和顺序确定何时执行工作负载；其次，工作负载的执行过程是不可中断的。这是因为工作负载内部的执行延迟很小，可以忽略不计；第三，考虑工作负载引入的IT功率负荷被视为参与多级电力市场的灵活性容量。

基于上述原则，对任一工作负载，可以以该工作负载在时间槽内的调度状态为变量，构建表示该工作负载需要在该工作负载的调度时间窗口包含的L个时间槽内完成的方程式，作为目标函数，L是个未知量。然后，以该工作负载在时间槽内的调度状态为变量，构建表征该工作负载的调度时间不晚于该工作负载的截止时间向前推移L个时间槽对应的时间，且不早于该工作负载的开始时间的第一约束条件；以及以该工作负载在时间槽内的调度状态为变量，构建表征该工作负载需要在该工作负载的截止时间之前完成的第二约束条件，最终得到该工作负载在时间维度上的负载调度模型。

具体地，可以以工作负载为例来说明各个工作负载对应的负载调度模型的构建过程。具体地，可以根据公式（5）构建上述目标函数，并根据公式（6）-（7）构建上述约束条件。

（5）

（6）

（7）

在公式（5）中，表示工作负载/>在时间槽/>内的调度状态的二元变量，其取值为0或1。/>取值为1时，表示工作负载/>在时间槽/>内被调度，/>取值为0时，表示工作负载/>在时间槽/>内未被调度。公式（5）表示工作负载/>需要/>个时间槽来完成，具体是在哪些时间槽内并不确定，是需要优化求解确定的。在这里，为了区分不同工作负载需要的时间槽数量，用带有下角标j的符号/>进行表示，也可以用上述符号L进行表示，对此不做限定。/>表示时间槽取值的时间范围，时间槽/>属于/>。

公式（6）表示工作负载的开始时间不晚于/>，且不早于/>，以确保有足够的时间用来执行工作负载/>。公式（7）表示工作负载/>必须在其截止时间之前完成。公式（6）和公式（7）的联合确保工作负载/>的执行过程不会被中断。

在此说明，在这里并不限定时间槽的时间粒度。在本申请实施例中，将数据中心中工作负载的调度与数据中心在多级电力市场中的电力成本相结合，工作负载的调度方式影响数据中心的电力成本，因此，可以以尽量降低数据中心在多级电力市场中的电力成本为目标，来优化数据中心中工作负载的调度，得到更为合理的工作负载调度方式。其中，工作负载的调度方式给出了各个工作负载具体在哪些时间槽内被调度。基于此，在与多级电力市场相结合的情况下，时间槽的时间粒度可以与多级电力市场进行电力交易的多个时间尺度相对应，可以是任何一个时间尺度下的时间间隙。以包含日前、日中和实时的三级电力市场为例，时间槽可以是1小时时间尺度下的各个小时（每小时是1小时时间尺度下的一个时间间隙），也可以是15分钟时间尺度下的各个15分钟（每个15分钟是15分钟时间尺度下的一个时间间隙），也可以是5分钟时间尺度下的各个5分钟（每个5分钟是5分钟时间尺度下的一个时间间隙）。

基于上述分析，在得到各个工作负载在时间维度上的负载调度模型之后，还可以以时间槽为粒度构建工作负载在每个时间槽内的功耗模型。该功耗模型表示在一个时间槽内被调度的各个工作负载需要消耗的功耗（或电力负荷）。具体地，可以根据各个工作负载的计算资源使用情况，预测各个工作负载的能耗；一般来说，计算资源使用越多，表示工作负载的能耗越大，反之亦然；然后，结合上文中构建的各个工作负载在时间维度上的负载调度模型和各个工作负载的功耗，可以以时间槽为粒度构建工作负载在一个时间槽内的功耗模型。

具体地，一个时间槽内的功耗模型，可采用公式（8）进行构建。公式（8）表示在时间槽内所有正在执行的工作负载需要消耗的功耗。

（8）

在公式（8）中，表示工作负载/>的功耗，/>表示工作负载/>在时间槽/>内被调度的二元变量；/>表示在时间槽内被调度到的工作负载的集合。

这些工作负载在所有时间槽内的功耗之和，是由数据中心的电力***提供的。在本申请实施例中，将所有能够为数据中心提供电力的***统称为数据中心的电力***。数据中心的电力***至少包括多级电力市场，其中，数据中心可以从多级电力市场中购买电力资源。多级电力市场中的电价是动态变化的，具有随机性或时间不确定性，由此可见，对工作负载的调度方式会直接影响数据中心中从多级电力市场中采购电力所需的电力成本。为了降低数据中心从多级电力市场中采购电力消耗的电力成本，可以根据工作负载可接受的延迟尽量将工作负载调度到电价较低的时间槽内执行，即可将数据中心的电力成本和对工作负载的负载调度联合进行优化求解，以降低数据中心的电力成本为目标，给出更为合理的工作负载调度方案，与此同时还可以给出数据中心从多级电力市场中进行电力采购所需的较优的电力采购方案。

为此，在下文中，将对数据中心的能源管理框架进行介绍说明：

在本申请实施例中，数据中心参与多级电力市场，并根据多级电力市场进行电力交易的多个时间尺度，在不同时间尺度上进行电力采购。以包含日前、日中和实时的三级电力市场为例，数据中心可以在日前市场中对运营日的每小时能源合同开展竞标；在日内市场中基于预测误差和与预期用能情况的偏差对购买的电量进行调整；在实时市场中基于之前市场中建立的合同电量按照实时电价出清。

如图4a所示，表示包含日前、日中和实时的三级电力市场在时间尺度上的离散化关系。一个运营日包括24个小时，即第一时间尺度的时间间隙分别表示为；一小时包括4个15分钟，即第二时间尺度的时间间隙分别表示为/>；一个15分钟包括3个5分钟，即第三时间尺度的时间间隙分别表示为。其中，第一时间尺度对应第一阶段，第二时间尺度对应第二阶段，第三时间尺度对应第三阶段。

在本申请实施例中，数据中心的电力来源信息包括从多级电力市场购买电力，但并不限于此。数据中心可以部署常规发电机和可再生能源等，基于此，数据中心的电力来源信息还可以包括常规发电机发出的电力以及可再生能源产生的电力。而且，在本申请技术方案中，鼓励使用可再生能源，以实现数据中心的低碳运行经济。

其中，除了多级电力市场中的电价具有不确定性（即电价会随时间而波动）之外，可再生能源包括但不限于太阳能、风能、潮汐能等，这些可再生能源的发电情况也具有随时间变化的特性。在本申请实施例中，可以将可再生能源的发电情况建模为高斯随机过程。换句话说，在第s场景中第k个时间槽的可再生能源的发电量符合高斯随机过程，其发电量可由公式给出。其中，/>表示可再生能源在第s场景中第k个时间槽的发电量；/>和/>表示第k个时间槽内的均值和方差。其中，第s场景是K个场景中的任意一个，K个场景是根据电力来源在多个时间尺度中的不确定性确定出的多种可能的场景，每个场景在一定概率下出现，称为每个场景可能出现的概率，K是正整数。关于K个场景的描述可参见本申请后续实施例，在此暂不详述。

在本实施例中，在明确数据中心的电力来源信息的基础上，为了便于对数据中心的电力成本进行优化，以多级电力市场的层级数量为依据，可以根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型，以在多级电力市场对应的多个时间尺度上优化数据中心的电力成本。在本申请实施例中，数据中心的多个阶段的电力成本优化模型体现了各种电力来源的外在不确定性，例如多级电力市场中电价的波动、可再生能源的发电量的随机性等。多个阶段的电力成本优化模型表示数据中心在多个时间尺度上的电力成本管理模型，每个阶段或时间尺度上的电力成本都是待优化的。

在一可选实施例中，根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型包括：根据数据中心的电力来源信息，构建数据中心对应的全局电力成本函数；以及根据数据中心采用的各种电力来源的约束信息和上文中构建的全局功耗模型映射到多个时间尺度上得到的功耗信息，构建多个阶段的约束条件；将全局电力成本函数和多个阶段的约束条件作为数据中心对应的多阶段的电力成本优化模型。其中，全局电力成本函数中体现了数据中心从各个电力来源获取电力所需的成本；多个阶段的约束条件用于约束各种电力来源在各个阶段中应该满足的条件。

在本申请各实施例中，并不限定数据中心的电力来源的种类和数量，电力来源的种类和数量不同，全局电力成本函数中包含的成本信息项也会有所不同。在一些应用场景中，数据中心的电力供应来源包括从多级电力市场购买的电力、常规发电机发出的电力以及可再生能源产生的电力。在下面实施例中，将以此为例对构建全局电力成本函数以及多个阶段的约束条件为例进行说明。

在上述应用场景中，上文的全局电力成本函数中包括：数据中心从多级电力市场中采购电力的电力采购成本、弃用可再生能源的惩罚成本和数据中心自行供电的预期运行成本。其中，数据中心自行供电的预期运行成本包括常规发电机的发电成本和启停成本。电力采购成本是基于多级电力市场中的电价进行结算的。在本申请实施例中，鼓励使用可再生能源，当可再生能源产生的电力未被全部使用时会给予一定的惩罚，并将可再生能源产生的电力未被全部使用的情况简称为弃用可再生能源。基于此，惩罚成本至少包括弃用可再生能源带来的惩罚。进一步，惩罚成本中还可以包括各级电力市场中的合同电量与实际用电量之间偏差带来的惩罚，例如购电过多的惩罚、购电不足的惩罚，以提高数据中心在各级电力市场中采购电力的合理性。

在本申请实施例中，考虑到各种电力来源在多个时间尺度上的不确定性，预先生成了K个场景。鉴于此，在根据数据中心的电力来源信息，构建数据中心对应的全局电力成本函数过程中，可以根据数据中心的电力来源信息，构建数据中心在K个场景下的电力成本函数；根据K个场景可能出现的概率对数据中心在K个场景下的电力成本函数进行加权求和，作为数据中心的全局电力成本函数。

其中，从电力成本类型的角度对每个场景下的电力成本函数进行划分，可以得到：每个场景下的电力成本函数包括：数据中心在该场景下从多级电力市场中采购电力的电力采购成本、在该场景下弃用可再生能源的惩罚成本和数据中心在该场景下自行供电的预期运行成本。

进一步，从多个时间尺度的角度对每个场景下的电力成本函数进行划分，可以得到：每个场景下的电力成本函数至少包括：数据中心在最大时间尺度下自行供电的预期运行成本和在多级电力市场中采购电力的电力采购成本，在非最小且非最大时间尺度下自行供电的预期运行成本的调整成本和在多级电力市场中采购电力的电力采购成本，以及在最小时间尺度下弃用可再生能源的惩罚成本和实际用电量与各级电力市场中的合同用电量之间偏差带来的惩罚成本。

为了更好地对本申请实施例中的全局电力成本函数、每个场景下的电力成本函数以及多个阶段的约束函数进行理解，在下面实施例中，以多级电力市场是三级电力市场为例进行说明，三级电力市场对应三个时间尺度，从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度，三个时间尺度的离散化关系如图4a所示。另外，三级电力市场可以包括日前市场、日内市场和实时市场。另外，在下面实施例中，以数据中心的电力来源同时包括从多级电力市场购买的电力、常规发电机发出的电力以及可再生能源产生的电力为例进行说明。

具体地，如图4b所示，构建全局电力成本函数的过程包括以下步骤：

1031、对每个场景，根据数据中心中自行供电的发电机的发电成本、在第一时间尺度下任一时间间隙内的发电量和启动成本，以及在第一时间尺度下任一时间间隙内的电价和购电量，构建第一时间尺度下任一时间间隙的电力成本函数；

1032、对每个场景，根据数据中心中自行供电的发电机的发电成本和在第二时间尺度下任一时间间隙内的发电调整量，以及在第二时间尺度下任一时间间隙内的电价和购电量，构建第二时间尺度下任一时间间隙的电力成本函数；

1033、对每个场景，根据在第三时间尺度下任一时间间隙内的电价、报价过低的购电量、报价过高的惩罚系数和报价过高的购电量，以及在第三时间尺度下任一时间间隙内弃用的可再生能源量和弃用可再生能源的惩罚系数，构建第三时间尺度下任一时间间隙的电力成本函数；

1034、对每个场景，根据第一时间尺度下任一时间间隙的电力成本函数、第二时间尺度下任一时间间隙的电力成本函数和第三时间尺度下任一时间间隙的电力成本函数，生成该场景下的电力成本函数；

1035、根据K个场景出现的概率对K个场景下的电力成本函数进行加权求和，作为数据中心对应的全局电力成本函数。

在上述电力成本函数中，在第一时间尺度下任一时间间隙内的购电量和发电机的发电量，以及在第二时间尺度下任一时间间隙内的发电调整量和购电量为待优化的变量，这些变量形成电力采购方案。

基于上述构建过程所构建出的全局电力成本函数可采用公式（9）进行表示。

（9）

公式（9）中，表示场景，/>表示场景集合，在本申请实施例中，假设场景集合中包括K个场景；/>表示场景/>出现的概率；/>表示第一时间尺度的时间间隙集合，t表示第一时间尺度下的第t个时间间隔，/>表示第二时间尺度的时间间隙集合，m表示第二时间尺度下的第m个时间间隙；/>表示第三时间尺度的时间间隙集合，n表示第三时间尺度下的第n个时间间隙。

在公式（9）中，i表示数据中心的发电机i，是数据中心中发电机的集合；/>表示发电机i的发电成本，其单位可以是电价单位/功率单位（如kW）；/>表示s场景下发电机i在第t小时的发电量（或者称为出力），其单位可以是功率单位，例如kW；/>表示发电机i在第一时间尺度下（即日前市场中）的启动成本，其单位可以是电价单位。公式（9）中，表示s场景下发电机i在日前市场中第t小时发电产生的预期运行成本。

在公式（9）中，表示s场景下日前市场第t小时的电价；/>表示数据中心在日前市场中第t小时的购电量。公式（9）中，/>表示数据中心在s场景下日前市场中第t小时的电力采购成本。

在公式（9）中，表示s场景下发电机i在第t小时的第m个15分钟时隙的发电调整量，其单位为功率单位，例如kW；/>表示s场景下日内市场在第t小时的第m个15分钟时隙的电价，/>表示s场景下在日内市场中第t小时的第m个15分钟时隙的购电量。公式（9）中，/>表示s场景下发电机i在日内市场中第t小时的第m个15分钟时隙进行发电调整产生的预期运行成本；/>表示数据中心在s场景下在日内市场中第t小时的第m个15分钟时隙的电力采购成本。

在公式（9）中，表示s场景下日内市场在第t小时中的第m个15分钟时隙的第n个5分钟时隙的电价；/>表示s场景下在第t小时的第m个15分钟时隙的第n个5分钟时隙的报价过低部分的购电量，简称为报价过低的购电量；/>表示过高报价的惩罚系数；表示s场景下在第t小时的第m个15分钟时隙的第n个5分钟时隙的报价过高部分的购电量，简称为报价过高的购电量。其中，对于购电量的报价是过高还是过低，是将购电合同中的购电价格与第n个5分钟时隙的实时电价进行比较而确定的；如果购电量的购电价格高于实时电价，则将这部分购电量称为报价过高的购电量；如果购电量的购电价格低于实时电价，则将这部分购电量称为报价过低的购电量。

在公式（9）中，表示弃可再生能源发电的惩罚系数；/>表示s场景下在第t小时的第m个15分钟时隙的第n个5分钟时隙的弃用的可再生能源量。

本实施例旨在满足一些约束条件的情况下，最小化数据中心在多级电力市场结构中的预期运行成本、电力采购成本和罚款成本之和，助力减少碳排放，并促进电力***对可再生能源的消纳。

在本实施例中，除了构建全局电力成本函数之外，还需要构建多个阶段的约束条件。针对任一时间尺度，根据数据中心采用的各种电力来源的约束信息以及全局功耗模型映射到任一时间尺度上得到的功耗信息，构建任一时间尺度对应阶段的电力来源约束条件和电力平衡约束条件；其中，电力来源约束条件包括发电机运行约束条件、可再生能源约束条件和电力市场传输约束条件中的至少一种。其中，在不同阶段中，电力来源约束条件会有所不同。

在多级电力市场为三级电力市场的情况下，多个时间尺度从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度，相应地，多个阶段包括与三个时间尺度依次对应的第一阶段、第二阶段和第三阶段。基于此，多阶段的约束条件包括第一阶段的约束条件、第二阶段的约束条件和第三阶段的约束条件。下面分别进行说明：

第一阶段的约束条件：

一方面，根据全局功耗模型映射到第一时间尺度下任一时间间隙得到的功耗信息和数据中心在所述第一时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第一阶段的电力平衡约束条件。另一方面，根据数据中心自行供电的发电机在第一时间尺度下任一时间间隙内的发电量、爬坡速率上下限和启动成本，构建发电机的功率约束公式、启停约束公式和启停成本约束公式作为第一阶段的发电机运行约束条件；以及根据数据中心中可再生能源在第一时间尺度下任一时间间隙内的发电量和发电量上下限，构建第一阶段的可再生能源约束条件；其中，可再生能源的发电量符合高斯分布；根据数据中心在第一时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第一阶段的电力市场传输约束条件。其中，全局功耗模型映射到第一时间尺度下任一时间间隙得到的功耗信息是指将全局功耗模型中的时间戳替换为第一时间尺度下的各个时间间隙所得到的功耗信息。

详细地，可以采用公式（10）-（17）构建第一阶段的约束条件。其中，公式（10）表示日前市场中的电力平衡约束条件。公式（11）-（14）描述了发电机运行约束条件，包括功率约束、启停约束和启停成本。公式（15）-（16）表示可再生能源的功率约束（即可再生能源约束条件）。公式（17）描述多电力市场的输电限制，即电力市场传输约束条件。

（10）

（11）/>

（12）

（13）

（14）

（15）

（16）

（17）

Eqs. (5) – (8), where.（18）

在公式（10）-（17）中，表示s场景下第t小时的可再生能源的发电量；/>表示在日前市场中第t小时的购电量；/>表示表示发电机i在第t小时启停状态的二元变量，其取值为0或1；当取值为0时，表示发电机i未启动，当取值为1时，表示发电机i启动；/>表示发电机i在第t小时的发电量；/>表示s场景下在第t小时的数据中心的电力负荷，也就是根据全局功耗模型映射到第一时间尺度的第t小时上产生的功耗信息。

在公式（10）-（17）中，表示发电机i的发电下限值，/>表示发电机i的发电上限值；/>,/>表示发电机i的爬坡速率限制，一个是下限值，一个是上限值；/>表示发电机i的启停成本；/>表示s场景下可再生能源在第t小时的发电下限值，/>表示s场景下可再生能源在第t小时的发电上限值；/>表示在第t小时的风能发电量，/>表示在第t小时的光伏发电量或太阳能发电量。另外，/>表示电力市场中传输线容量下限值；/>表示电力市场中传输线容量上限值。

此外，在公式（10）-（17）的约束下，可以公式（9）最小为目标，应用公式（5）-（8）中的负载调度模型和全局功耗模型在第一时间尺度的每个1小时时隙内进行工作负载的优化求解，以得到在第一时间尺度上的调度方案。其中，公式（18）表示在优化求解过程中对公式（5）-（8）的应用。

第二阶段的约束条件：

一方面，可以根据全局功耗模型映射到第二时间尺度下任一时间间隙得到的功耗信息和数据中心在所述第二时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第二阶段的电力平衡约束条件。另一方面，根据数据中心自行供电的发电机在第二时间尺度下任一时间间隙内的发电调整量和爬坡速率上下限，以及在第一时间尺度下与所述第二时间尺度对应的时间间隙内的发电量，构建发电机的发力约束公式和发电调整约束公式作为第二阶段的发电机运行约束条件；以及根据数据中心中可再生能源在第二时间尺度下任一时间间隙内的发电量和发电量上下限，构建第二阶段的可再生能源约束条件；根据数据中心在第二时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第二阶段的电力市场传输约束条件。其中，全局功耗模型映射到第二时间尺度下任一时间间隙得到的功耗信息是指将全局功耗模型中的时间戳替换为第二时间尺度下的各个时间间隙所得到的功耗信息。

详细地，可以采用公式（19）-（24）构建第二阶段的约束条件。在第二阶段的公式中，在变量标识的角标中引入m，表示第t小时的第m个时间间隔，其中。在同一时间槽m中具有不同下标的变量共享第一阶段的相同信息，这满足了这个多阶段问题中的非预知性约束。其中，公式（19）表示第二阶段的电力平衡约束条件，允许对计划产量和电力需求进行调整。公式（20）显示了上调/下调爬坡速率的限制，即发电调整约束。发电出力受到公式（21）和（22）的限制，即发电机的发力约束公式。可再生能源发电和从多级电力市场购买的电力应满足技术限制，如公式（23）和（24）所示的可再生能源约束条件。/>可以是正数或负数，表示数据中心根据日内预测结果增加或减少的购电量。

（19）

（20）

（21）

（22）

（23）

（24）

Eqs. (5) – (8), where. （25）

在上述公式（19）-（24）中，表示s场景下第t小时的第m个15分钟时隙的可再生能源的发电量；/>表示s场景下在日内市场中第t小时的第m个15分钟时隙的购电量；表示s场景下发电机i在第t小时的第m个15分钟时隙的发电量；/>表示s场景下在第t小时的第m个15分钟时隙的数据中心电力负荷，也就是根据全局功耗模型映射到第二时间尺度的第t小时的第m个15分钟时隙上产生的功耗信息。

在上述公式（19）-（24）中，表示s场景下发电机i在第t小时的第m个15分钟时隙的发电调整量；/>表示s场景下发电机i在第t小时的第m个15分钟时隙的发电上调量；/>表示s场景下发电机i在第t小时的第m个15分钟时隙的发电下调量；表示工作负载j在第t小时的第m个15分钟时隙内的调度状态的二元变量，其值为0或1；当取值为1，表示被调度；当取值为0时，表示未被调度。另外,/>表示s场景下可再生能源在第t小时的第m个15分钟时隙内发电下限值，/>表示s场景下可再生能源在第t小时的第m个15分钟时隙内发电上限值。这里未进行解释的符号含义，可参见前述或后续公式中的相关介绍。

此外，在公式（19）-（24）的约束下，可以公式（9）最小为目标，应用公式（5）-（8）中的负载调度模型和全局功耗模型在第二时间尺度的每个1小时的每个15分钟时隙内进行工作负载的优化求解，以得到在第二时间尺度上的调度方案。其中，公式（25）表示在优化求解过程中对公式（5）-（8）的应用。如公式（25）所示，在第一时间尺度的调度结果的基础上，允许数据中心在第二时间尺度上重新分配工作负载，以减少由于预测误差和不确定性导致的电力供应与需求的不匹配。

第三阶段的约束条件：

一方面，根据全局功耗模型映射到第三时间尺度下任一时间间隙得到的功耗信息和数据中心在第三时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第三阶段的电力平衡约束条件。另一方面，根据数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上下限，构建第三阶段的可再生能源约束条件；以及根据数据中心在第三时间尺度下任一时间间隙内的报价过高的购电量、报价过低的购电量、在第二时间尺度下对应第三时间尺度的时间间隙内的购电量和传输线容量上下限，构建第三阶段的电力市场传输约束条件；根据数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上限，得到数据中心在第三时间尺度下任一时间间隙内弃用的可再生能源。其中，全局功耗模型映射到第三时间尺度下任一时间间隙得到的功耗信息是指将全局功耗模型中的时间槽替换为第三时间尺度下的各个时间间隙得到的功耗信息。

详细地，可以采用公式（26）-（33）构建第三阶段的约束条件。在第三阶段的公式中的变量或参数的下标中引入n，其中。因此，下标n表示第t小时的第m个15分钟时间槽中的第n个5分钟间隔的值。其中，公式（26）描述了第三阶段的电力平衡约束条件，其中数据中心中发电机的发电量由在日内阶段做出的决策确定，因为它们无法在5分钟内调整电力输出。公式（27）-（29）计算了从实时市场购买的电力。可再生能源发电和多级电力市场的输电在第三阶段受到限制，如公式（30）和（31）所示的可再生能源约束条件和电力市场传输约束条件。公式（32）给出了弃用可再生能源发电的计算方法，弃可再生能源（如弃风弃电）在全局电力成本函数中表现为惩罚成本。

（26）

（27）

（28）

（29）

（30）/>

（31）

（32）

（33）

Eqs. (5) – (8), where.（34）

在上述公式（26）-（33）中，表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙的可再生能源的发电量；/>表示s场景下在电力市场的第t小时的第m个15分钟时隙的第n个5分钟时隙的购电量；/>表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙的数据中心的电力负荷，也就是根据全局功耗模型映射到第三时间尺度下的第t小时的第m个15分钟时隙的第n个5分钟时隙上产生的功耗信息；/>表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙内报价过低的购电量；/>表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙内报价过高的购电量；/>表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙内报价过高或过低的二元变量，其取值为0或1，当取值为0时，表示报价过高，当取值为1时，表示报价过低；/>表示s场景下第t小时的第m个15分钟时隙的第n个5分钟时隙内弃用的可用再生能源量；/>表示工作负载j在第t小时的第m个15分钟时隙的第n个5分钟时隙内的调度状态的二元变量，其值为0或1；当取值为1，表示被调度；当取值为0时，表示未被调度。另外,/>表示s场景下可再生能源在第t小时的第m个15分钟时隙的第n个5分钟时隙内发电下限值，/>表示s场景下可再生能源在第t小时的第m个15分钟时隙的第n个5分钟时隙内发电上限值。这里未进行解释的符号含义，可参见前述或后续公式中的相关介绍。

此外，在公式（26）-（33）的约束下，可以公式（9）最小为目标，应用公式（5）-（8）中的负载调度模型和全局功耗模型在第三时间尺度的每个1小时的每个15分钟的每个5分钟时隙内进行工作负载的优化求解，以得到在第三时间尺度上的调度方案。其中，公式（34）表示在优化求解过程中对公式（5）-（8）的应用。如公式（34）所示，在第二时间尺度的调度结果的基础上，允许数据中心在第三时间尺度上重新分配工作负载，以减少由于预测误差和不确定性导致的电力供应与需求的不匹配。

在得到全局电力成本函数和多个阶段的约束条件之后，可以将全局电力成本函数和多个阶段的约束条件与负载调度模型进行联立，并对负载调度模型进行多个阶段的优化求解，以得到多个工作负载在多个时间尺度上的调度方案。具体地，可以将各个工作负载在时间维度上的负载调度模型中的目标函数和约束条件中的时间槽映射为多个时间尺度上的各个时间间隙，以得到多个阶段上的附加约束条件；根据多个阶段的约束条件和附加约束条件，以全局电力成本最小为目标对全局电力成本函数进行多个阶段的优化求解，以得到多个工作负载在多个时间尺度上的调度方案。该联立优化过程可参见公式（18）、（25）和（34），在此不再赘述。

进一步，本申请实施例中的多阶段优化求解过程，可以采用随机优化模型、鲁棒优化模型、分布式鲁棒优化模型等。其中，鲁棒优化和分布式鲁棒优化模型将根据不确定性集给出鲁棒优化结果，在经济性方面的表现不如随机优化模型。优选地，使用随机优化模型，以得到一种多阶段的随机优化模型。

在本申请上述实施例中，同时考虑电力***中存在的电价和可再生能源等外在不确定性和工作负载的到达时间和截止时间等内在的不确定性，可以实现更大范围内不确定性的协调，能够为数据中心在多级电力市场上提供较优的电力采购策略和发电机运行计划，从而获取更经济的数据中心运营策略，增强数据中心的服务竞争力。

关于场景的产生和缩减：

在本申请实施例中，采用了一种场景生成方法来表示各种电力来源中存在的不确定性的现实情况。例如，可以使用蒙特卡洛模拟来为每个不确定参数生成不同的场景。以三级电力市场为例，在第一阶段中，模拟生成个场景，每个场景包含24个小时的不确定性值。在第二阶段中，针对/>个场景中的每个场景，可以生成/>个第二阶段的场景。对于每个第二阶段的场景，生成/>个第三阶段的场景。因此，一共可生成/>个场景。也就是说，针对三级电力市场中每一级电力市场中的不确定参数进行场景生成，以得到/>个场景；/>是第一级电力市场对应的场景个数（即第一阶段的场景个数），/>是/>个场景中每个场景在第二级电力市场中对应的场景个数（即每个第一阶段的场景对应的第二阶段的场景个数），/>是/>个场景中每个场景在第三级电力市场中对应的场景个数（即每个第二阶段的场景对应的第三阶段的场景个数）。其中，/>、/>、/>和均为正整数。

为了降低计算复杂性，采用了场景缩减技术，将原始场景集缩减为一个更小的子集，并保持基本特征在可接受的近似范围内。对个场景进行聚类处理以得到K个场景，并根据每个随机点分配到最近聚类质心的方式计算K个场景中每个场景出现的概率。

可选地，可以采用K-中心点聚类算法（k-medoids）将所有场景聚类成几个类，并根据每个随机点分配到最近质心的方式计算所选场景的概率。然后选择每个聚类的中心作为代表性场景进行分析，每个场景都有其发生的概率。聚类的有效性可以通过使用平方误差和残差平方和（Sum of Squares for Error，SSE）指标来测试质心的代表性和分布。

为了更加充分的说明本申请技术方案具有的效果，对该方案进行了场景测试，下面是场景测试过程和效果说明。

（1）场景算例的设置

在该场景算例中，从三级电力市场开放的样本信息***或网站中采集电力市场中的电价和可再生能源的发电数据。为了匹配第二阶段和第三阶段的调度颗粒度，对分辨率为1小时的风能和太阳能发电数据集进行了更细粒度的线性重采样。使用拉丁超立方抽样方法作为场景生成技术，我们在每个阶段考虑多个情景。每个场景包括风电、光伏发电和电力价格。在应用K-medoids技术减少场景数并通过SSE指数评估结果后，选择了5个场景，时间颗粒度为1小时、15分钟和5分钟。在日前、日内和实时三个阶段中，电力市场在5个场景下的电价是波动的，光伏发电在5个场景下的输出功率也是波动的，风力发电在5个场景下的输出功率也是波动的。在该场景算例中，可以做出以下假设：三级电力市场的电价在下午6:00到10:00之间达到峰值，日内和实时市场的波动性比日前市场高；相应地，太阳能电池板（即光伏发电）主要在上午10:00至16:00之间发电，最大输出功率约为45-50千瓦；风力发电机全天连续运行，在3:00和11:00左右达到约60千瓦的最高功率输出。另外，场景S1-S5在三个阶段中的每个时间段出现的概率是不同的，本申请实施例并不关注具体的出现概率值。

在该场景算例中，工作负载的到达时间和截止时间被认为是离散参数，根据其不确定性建模进行估计。为获得该算例所需的工作负载数据，可以采用一定方法从数据中心的生产日志文件中提取周期性工作负载，并从数据中心公开的数据中获取非周期性工作负载。其中，周期性工作负载和非周期性工作负载的规模被设定为1:1。为了解决工作负载到达的不确定性，减少计算负担，计算任务从原始数据集中随机抽样。此外，为了保持一天内工作负载到达的原始分布，在每个时间间隔内按比例进行抽样。关于工作负载的到达时间和截止时间的估计可参见上文中的描述，在此不再赘述。在该场景算例中，周期性工作负载和非周期性工作负载的调度时间窗口包括工作负载的原始执行市场和工作负载可接受的松弛时间窗口。借助工作负载在时间上可接受的松弛时间窗口，可以将工作负载调度到电价较低或可再生能源相对充足的时间槽内执行。

在本场景算例中，功率映射模型是通过数据驱动的方法开发的，使用反向传播神经网络（BPNN）来估计每个工作负载的功率消耗与它的资源利用率。结合上述假设可知，周期性工作负载提供的电力灵活性主要集中在上午（从0:00到10:00），而非周期性工作负载的电力灵活性有不同的趋势，在中午时段（从10:00到16:00）有更多的灵活性。这是因为大多数周期性工作负载通常需要在早晨前完成，所以它们在清晨或深夜执行。而非周期性工作负载通常是由用户手动提交的，所以它们在统计上是分布在全天的。在这种情况下，非周期性工作负载的功率灵活性总体上要低于周期性工作负载。值得注意的是，在这种情况下，非周期性工作负载的功率灵活性可根据截止时间因子来量化，截止时间因子越高，非周期性工作负载所能提供的功率灵活性就越大。

（2）算例的执行

根据本申请上述实施例提供的解决方案，利用两种工作负载在到达时间和截止时间的内在不确定性，构建负载调度模型；利用电力来源中的电价、可再生能源等外在不确定性（或随机性），构建多阶段的电力成本优化模型；进而根据多个阶段的电力成本优化模型对负载调度模型进行多个阶段的优化求解，得到工作负载在多个时间尺度上的调度方案，与此同时，得到数据中心较优的电力采购方案，助力减少碳排放。

（3）算例结果说明

在算例设置中，数据中心由三级电力市场、风力发电机和太阳能发电供电。根据预测的数据和三个阶段的不确定因素进行日前调度决策。日前市场上的电力采购费用将被视为日内调度和实时调度的参考，并确定常规发电机的启停状态。

经上述预测可知，数据中心预计日前市场的电价会比较低，而日内和实时市场的电价波动较大，一般比较高。由于风力发电机可以满足高峰负荷时段（6:00至10:00）的部分电力需求，数据中心决定从日前市场购买电力以优化整体成本。然后，在5:00到7:00之间，日内市场和实时市场的电价很有可能下降，在此期间，风能和太阳能发电量没有明显增加。因此，数据中心需要从日内和实时市场购买电力，以满足此时的工作负载的电力需求。

在该场景算例中，将数据中心在三个阶段的原始预测电力需求曲线和采用本申请实施例提供的方法优化得到的电力需求曲线进行了比对分析，可得出：在每个阶段内，工作负载从高峰时段重新安排到低价时段，最大负荷减少约50千瓦（约占总负荷的15%），大概发生在6点左右。这种优化是由从电力市场购买电力的需求驱动的，因为在这一时期，当光伏发电不可用时，风能和常规发电机可以部分满足电力需求。然而，电价在这一时期处于峰值，所以数据中心将工作负载调度优化到电价较低的时段，以降低成本。

（4）敏感性分析

将本申请实施例提出的解决方案称为多阶段随机规划（MSSP）方案，并将MSSP方案与三种另外的方案进行了比较：不考虑工作负载不确定性的方案，可表示为MSSP-WL，传统的两阶段随机规划方案，可表示为TSSP和不考虑工作负载不确定性的TSSP方案，可表示为TSSP-WL。在TSSP方案和TSSP-WL方案中，只进行日前阶段和实时阶段的调度。

对这些方案的电力成本进行了比较分析，可观察到MSSP方案实现的成本比TSSP方案和TSSP-WL方案分别低33.2%和46.9%。这主要是因为TSSP方案忽略了第二阶段的再调度，而再调度可以根据***中不确定因素的更精确预测数据来调整调度。相比之下，MSSP方案具有更强的能力来应对***中的不确定性，并使数据中心在不同时间尺度上具有时间灵活性。此外，值得注意的是，在TSSP和TSSP-WL方案中，可再生能源的弃用率高于所提MSSP方案。当比较MSSP和MSSP-WL时，可以发现前者的每个部分成本都更低，总成本降低了5.6%。同样地，TSSP方案与TSSP-WL方案相比，总成本降低了20.4%。这一发现表明，在数据中心的负荷管理策略中，考虑工作负载的不确定性对电力成本的降低有积极的影响。另外，在该场景算例中还考虑了工作负载之间的数据依赖关系，通过引入该数据依赖关系可以对数据中心的电力负荷灵活性作出更准确和可靠的估计。

另外，在MSSP方案中，针对非周期性任务通过截止时间因子可引入不同程度的灵活性来影响结果。在该算例中，评估了从2到20的截止时间因子对非周期性工作负载的总功率灵活性和相应成本的影响，并且发现较高的截止时间因子可以带来较低的总体成本。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备A；又比如，步骤101和102的执行主体可以为设备A，步骤103的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图5为本申请实施例提供的一种数据中心工作负载的调度装置的结构示意图。该装置可应用于运营在多级电力市场中的数据中心，多级电力市场的电力交易发生在多个时间尺度上。如图5所示，该装置包括：

获取模块11，用于获取数据中心需要处理的属于延时容忍型的多个工作负载的信息，多个工作负载的信息包括各个工作负载的类型信息和多个工作负载之间的数据依赖关系；

第一构建模块12，用于根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，构建多个工作负载在时间维度上的负载调度模型，负载调度模型体现工作负载的时间不确定性；

第二构建模块13，用于根据数据中心的电力来源信息，构建数据中心对应的多个阶段的电力成本优化模型，以在多个时间尺度上优化数据中心的电力成本；

优化求解模块14，用于根据多个阶段的电力成本优化模型，对负载调度模型进行多个阶段的优化求解，以得到多个工作负载在多个时间尺度上的调度方案；

调度模块15，用于根据多个工作负载在多个时间尺度上的调度方案，对多个工作负载在多个时间尺度上分别进行调度，以降低数据中心的电力成本。

在一可选实施例中，第一构建模块12具体用于：根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口，所述调度时间窗口包括工作负载的开始时间和截止时间；根据各个工作负载的调度时间窗口，以各个工作负载在时间槽内的调度状态为变量，构建各个工作负载对应的目标函数和约束条件，以得到各个工作负载在时间维度上的负载调度模型；其中，所述时间槽是任何一个时间尺度下的时间间隙，所述目标函数表示工作负载在其调度时间窗口包含的各个时间槽上可能的调度方式。

第一构建模块12在根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口时，具体用于：

对于周期性工作负载，根据周期性工作负载的开始时间所符合的概率分布函数，预测周期性工作负载的开始时间；根据周期性工作负载之间的数据依赖关系，对每个周期性工作负载，将对其存在数据依赖关系的其它周期性工作负载的最早开始时间作为其截止时间；

对于非周期性工作负载，根据非周期性工作负载的开始时间所符合的概率分布函数，预测非周期性工作负载的开始时间；根据非周期性工作负载可接受的延迟、优先级、执行时长以及预设的截止时间因子，生成非周期性工作负载的截止时间。

第一构建模块12在根据各个工作负载的调度时间窗口，以各个工作负载在时间槽内的调度状态为变量，构建各个工作负载对应的目标函数和约束条件，以得到各个工作负载在时间维度上的负载调度模型时，具体用于：

对任一工作负载，以所述工作负载在时间槽内的调度状态为变量，构建表示所述工作负载需要在所述工作负载的调度时间窗口包含的L个时间槽内完成的方程式，作为所述目标函数，L是个未知量；

以所述工作负载在时间槽内的调度状态为变量，构建表征所述工作负载的调度时间不晚于所述工作负载的截止时间向前推移L个时间槽对应的时间，且不早于所述工作负载的开始时间的第一约束条件；

以所述工作负载在时间槽内的调度状态为变量，构建表征所述工作负载要在所述工作负载的截止时间之前完成的第二约束条件。

在一可选实施例中，第一构建模块12还用于：根据各个工作负载的计算资源使用情况，预测各个工作负载的能耗；根据各个工作负载在时间维度上的负载调度模型和各个工作负载的功耗，以时间槽为粒度构建工作负载在一个时间槽内的功耗模型，以得到全局功耗模型。

在一可选实施例中，第二构建模块13具体用于：根据所述数据中心的电力来源信息，构建所述数据中心对应的全局电力成本函数，所述全局电力成本函数包括所述数据中心从所述多级电力市场中采购电力的电力采购成本、弃用可再生能源的惩罚成本和所述数据中心自行供电的预期运行成本；根据所述数据中心采用的各种电力来源的约束信息和所述全局功耗模型映射到多个时间尺度上得到的功耗信息，构建多个阶段的约束条件；将所述全局电力成本函数和多个阶段的约束条件作为所述数据中心对应的多阶段的电力成本优化模型。

在一可选实施例中，第二构建模块13在根据所述数据中心的电力来源信息，构建所述数据中心对应的全局电力成本函数时，具体用于：

根据所述数据中心的电力来源信息，构建所述数据中心在K个场景下的电力成本函数；根据K个场景出现的概率对所述K个场景下的电力成本函数进行加权求和，作为所述数据中心对应的全局电力成本函数；所述K个场景是根据电力来源在多个时间尺度中的不确定性确定的多个场景，K是正整数；

其中，每个场景下的电力成本函数至少包括：所述数据中心在最大时间尺度下自行供电的预期运行成本和在所述多级电力市场中采购电力的电力采购成本，在非最小且非最大时间尺度下自行供电的预期运行成本的调整成本和在所述多级电力市场中采购电力的电力采购成本，以及在最小时间尺度下弃用可再生能源的惩罚成本和实际用电量与各级电力市场中的合同用电量之间偏差带来的惩罚成本。

在一可选实施例中，所述多级电力市场为三级电力市场，所述多个时间尺度从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度。基于此，第二构建模块13在构建所述数据中心在K个场景下的电力成本函数时，具体用于：

对每个场景，根据所述数据中心中自行供电的发电机的发电成本、在第一时间尺度下任一时间间隙内的发电量和启动成本，以及在第一时间尺度下任一时间间隙内的电价和购电量，构建第一时间尺度下任一时间间隙的电力成本函数；

根据所述数据中心中自行供电的发电机的发电成本和在第二时间尺度下任一时间间隙内的发电调整量，以及在第二时间尺度下任一时间间隙内的电价和购电量，构建第二时间尺度下任一时间间隙的电力成本函数；

根据在第三时间尺度下任一时间间隙内的电价、报价过低的购电量、报价过高的惩罚系数和报价过高的购电量，以及在第三时间尺度下任一时间间隙内弃用的可再生能源量和弃用可再生能源的惩罚系数，构建第三时间尺度下任一时间间隙的电力成本函数；

根据所述第一时间尺度下任一时间间隙的电力成本函数、第二时间尺度下任一时间间隙的电力成本函数和第三时间尺度下任一时间间隙的电力成本函数，生成所述场景下的电力成本函数；

其中，所述在第一时间尺度下任一时间间隙内的购电量和发电量，以及在第二时间尺度下任一时间间隙内的发电调整量和购电量为待优化的变量。

在一可选实施例中，还包括场景构建模块，用于：针对所述三级电力市场中每一级电力市场中的不确定参数进行场景生成，以得到个场景；其中，/>，是第一级电力市场对应的场景个数，/>是/>个场景中每个场景在第二级电力市场中对应的场景个数，/>是/>个场景中每个场景在第三级电力市场中对应的场景个数；

对所述个场景进行聚类处理以得到K个场景，并根据每个随机点分配到最近聚类质心的方式计算所述K个场景中每个场景出现的概率，/>、/>、/>和/>均为正整数。

在一可选实施例中，第二构建模块13在构建多个阶段的约束条件时，具体用于：针对任一时间尺度，根据所述数据中心采用的各种电力来源的约束信息以及所述全局功耗模型映射到所述任一时间尺度上得到的功耗信息，构建所述任一时间尺度对应阶段的电力来源约束条件和电力平衡约束条件；其中，所述电力来源约束条件包括发电机运行约束条件、可再生能源约束条件和电力市场传输约束条件中的至少一种。

在一可选实施例中，多级电力市场为三级电力市场，所述多个时间尺度从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度，所述多个阶段包括与三个时间尺度依次对应的第一阶段、第二阶段和第三阶段。

对于第一时间尺度对应的第一阶段，第二构建模块13具体用于：根据所述全局功耗模型映射到所述第一时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第一时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第一阶段的电力平衡约束条件；根据所述数据中心自行供电的发电机在第一时间尺度下任一时间间隙内的发电量、爬坡速率上下限和启动成本，构建发电机的功率约束公式、启停约束公式和启停成本约束公式作为第一阶段的发电机运行约束条件；根据所述数据中心中可再生能源在第一时间尺度下任一时间间隙内的发电量和发电量上下限，构建第一阶段的可再生能源约束条件；所述可再生能源的发电量符合高斯分布；根据所述数据中心在第一时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第一阶段的电力市场传输约束条件。

对于第二时间尺度对应的第二阶段，第二构建模块13具体用于：根据所述全局功耗模型映射到所述第二时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第二时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第二阶段的电力平衡约束条件；根据所述数据中心自行供电的发电机在第二时间尺度下任一时间间隙内的发电调整量和爬坡速率上下限，以及在第一时间尺度下与所述第二时间尺度对应的时间间隙内的发电量，构建发电机的发力约束公式和发电调整约束公式作为第二阶段的发电机运行约束条件；根据所述数据中心中可再生能源在第二时间尺度下任一时间间隙内的发电量和发电量上下限，构建第二阶段的可再生能源约束条件；根据所述数据中心在第二时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第二阶段的电力市场传输约束条件。

对于第三时间尺度对应的第三阶段，第二构建模块13具体用于：根据所述全局功耗模型映射到所述第三时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第三时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第三阶段的电力平衡约束条件；根据所述数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上下限，构建第三阶段的可再生能源约束条件；根据所述数据中心在第三时间尺度下任一时间间隙内的报价过高的购电量、报价过低的购电量、在第二时间尺度下对应所述第三时间尺度的时间间隙内的购电量和传输线容量上下限，构建第三阶段的电力市场传输约束条件；根据所述数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上限，得到所述数据中心在第三时间尺度下任一时间间隙内弃用的可再生能源。

在一可选实施例中，优化求解模块14具体用于：将各个工作负载在时间维度上的负载调度模型中的目标函数和约束条件中的时间槽映射为所述多个时间尺度上的各个时间间隙，以得到所述多个阶段上的附加约束条件；根据所述多个阶段的约束条件和附加约束条件，以全局电力成本最小为目标对所述全局电力成本函数进行多个阶段的优化求解，以得到所述多个工作负载在多个时间尺度上的调度方案。

图5所示的装置可以执行图1所示的方法，其实现原理和技术效果不再赘述。对于上述实施例中的图5所示的装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示，该电子设备包括：存储器11a和处理器12a；

存储器11a，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器11a可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random-Access Memory，SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable read only memory，EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM），可编程只读存储器（Programmable read-only memory，PROM），只读存储器（Read-Only Memory，ROM），磁存储器，快闪存储器，磁盘或光盘。

处理器12a，与存储器11a耦合，用于执行存储器11a中的计算机程序，以用于：执行本申请上述实施例提供的各个方法实施例中的步骤。

进一步，如图6所示，该电子设备还包括：通信组件13a、显示器14a、电源组件15a、音频组件16a等其它组件。图6中仅示意性给出部分组件，并不意味着电子设备只包括图6所示组件。另外，图6中虚线框内的组件为可选组件，而非必选组件，具体可视电子设备的产品形态而定。本实施例的电子设备可以实现为台式电脑、笔记本电脑、智能手机或IOT（物联网，Internet of things）设备等终端设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的电子设备实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图6中虚线框内的组件；若本实施例的电子设备实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图6中虚线框内的组件。

关于处理器执行各动作的详细实施过程可参见前述方法实施例或设备实施例中的相关描述，在此不再赘述。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中的各步骤。

相应地，本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令被处理器执行时，致使处理器能够实现上述方法实施例中的各步骤。

上述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random-Access Memory，SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read Only Memory，EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory，EPROM），可编程只读存储器（Programmable Read-Only Memory，PROM），只读存储器（Read-Only Memory，ROM），磁存储器，快闪存储器，磁盘或光盘。

上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（Near Field Communication，NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（Radio Frequency Identification，RFID）技术，红外数据协会（InfraredData Association，IrDA）技术，超宽带（Ultra Wide Band，UWB）技术，蓝牙（BlueTooth，BT）技术和其他技术来实现。

上述显示器包括屏幕，其屏幕可以包括液晶显示器（Liquid Crystal Display，LCD）和触摸面板（TouchPanel，TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（Microphone，MIC），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器（Central ProcessingUnit，CPU）、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RandomAccess Memory，RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（Phase-change Random AccessMemory，PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（Digital Video Disc，DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (13)

1.一种电力市场环境下数据中心工作负载的调度方法，其特征在于，应用于运营在多级电力市场中的数据中心，所述多级电力市场的电力交易发生在多个时间尺度上，所述方法包括：

获取所述数据中心需要处理的属于延时容忍型的多个工作负载的信息，所述多个工作负载的信息包括各个工作负载的类型信息和多个工作负载之间的数据依赖关系；

根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口，所述调度时间窗口包括工作负载的开始时间和截止时间；

对任一工作负载，以所述工作负载在其所在调度时间窗口包含的时间槽内的调度状态为变量，分别构建表示所述工作负载需要在所述工作负载的调度时间窗口包含的L个时间槽内完成的方程式作为目标函数，构建表征所述工作负载的调度时间不晚于所述工作负载的截止时间向前推移L个时间槽对应的时间，且不早于所述工作负载的开始时间的第一约束条件，以及构建表征所述工作负载要在所述工作负载的截止时间之前完成的第二约束条件，以得到各个工作负载在时间维度上的负载调度模型，所述时间槽是任何一个时间尺度下的时间间隙，所述目标函数表示工作负载在其调度时间窗口包含的各个时间槽上可能的调度方式，L是个未知量；

根据各个工作负载在时间维度上的负载调度模型和各个工作负载的功耗，以时间槽为粒度构建工作负载在一个时间槽内的功耗模型，以得到全局功耗模型；

根据所述数据中心的电力来源信息，构建所述数据中心对应的全局电力成本函数；

根据所述数据中心采用的各种电力来源的约束信息和所述全局功耗模型映射到多个时间尺度上得到的功耗信息，构建多个阶段的约束条件；

将各个工作负载在时间维度上的负载调度模型中的目标函数、第一约束条件和第二约束条件中的时间槽映射为所述多个时间尺度上的各个时间间隙，以得到所述多个阶段上的附加约束条件；

根据所述多个阶段的约束条件和附加约束条件，以全局电力成本最小为目标对所述全局电力成本函数进行多个阶段的优化求解，以得到所述多个工作负载在多个时间尺度上的调度方案；

根据所述多个工作负载在多个时间尺度上的调度方案，对所述多个工作负载在多个时间尺度上分别进行调度，以降低所述数据中心的电力成本。

2.根据权利要求1所述的方法，其特征在于，根据各个工作负载的类型信息和多个工作负载之间的数据依赖关系，确定各个工作负载的调度时间窗口，包括：

对于周期性工作负载，根据周期性工作负载的开始时间所符合的概率分布函数，预测周期性工作负载的开始时间；根据周期性工作负载之间的数据依赖关系，对每个周期性工作负载，将对其存在数据依赖关系的其它周期性工作负载的最早开始时间作为其截止时间；

对于非周期性工作负载，根据非周期性工作负载的开始时间所符合的概率分布函数，预测非周期性工作负载的开始时间；根据非周期性工作负载的优先级、执行时长以及预设的截止时间因子，生成非周期性工作负载的截止时间。

3.根据权利要求1-2任一项所述的方法，其特征在于，还包括：

根据各个工作负载的计算资源使用情况，预测各个工作负载的功耗。

4.根据权利要求3所述的方法，其特征在于，所述全局电力成本函数包括所述数据中心从所述多级电力市场中采购电力的电力采购成本、弃用可再生能源的惩罚成本和所述数据中心自行供电的预期运行成本。

5.根据权利要求4所述的方法，其特征在于，根据所述数据中心的电力来源信息，构建所述数据中心对应的全局电力成本函数，包括：

根据所述数据中心的电力来源信息，构建所述数据中心在K个场景下的电力成本函数；根据K个场景出现的概率对所述K个场景下的电力成本函数进行加权求和，作为所述数据中心对应的全局电力成本函数；所述K个场景是根据电力来源在多个时间尺度中的不确定性确定的多个场景，K是正整数；

其中，每个场景下的电力成本函数至少包括：所述数据中心在最大时间尺度下自行供电的预期运行成本和在所述多级电力市场中采购电力的电力采购成本，在非最小且非最大时间尺度下自行供电的预期运行成本的调整成本和在所述多级电力市场中采购电力的电力采购成本，以及在最小时间尺度下弃用可再生能源的惩罚成本和实际用电量与各级电力市场中的合同用电量之间偏差带来的惩罚成本。

6.根据权利要求5所述的方法，其特征在于，所述多级电力市场为三级电力市场，所述多个时间尺度从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度；则构建所述数据中心在K个场景下的电力成本函数，包括：

对每个场景，根据所述数据中心中自行供电的发电机的发电成本、在第一时间尺度下任一时间间隙内的发电量和启动成本，以及在第一时间尺度下任一时间间隙内的电价和购电量，构建第一时间尺度下任一时间间隙的电力成本函数；

根据所述数据中心中自行供电的发电机的发电成本和在第二时间尺度下任一时间间隙内的发电调整量，以及在第二时间尺度下任一时间间隙内的电价和购电量，构建第二时间尺度下任一时间间隙的电力成本函数；

根据在第三时间尺度下任一时间间隙内的电价、报价过低的购电量、报价过高的惩罚系数和报价过高的购电量，以及在第三时间尺度下任一时间间隙内弃用的可再生能源量和弃用可再生能源的惩罚系数，构建第三时间尺度下任一时间间隙的电力成本函数；

根据所述第一时间尺度下任一时间间隙的电力成本函数、第二时间尺度下任一时间间隙的电力成本函数和第三时间尺度下任一时间间隙的电力成本函数，生成所述场景下的电力成本函数；

其中，所述在第一时间尺度下任一时间间隙内的购电量和发电量，以及在第二时间尺度下任一时间间隙内的发电调整量和购电量为待优化的变量。

7.根据权利要求6所述的方法，其特征在于，还包括：

针对所述三级电力市场中每一级电力市场中的不确定参数进行场景生成，以得到个场景；其中，/>，/>是第一级电力市场对应的场景个数，是/>个场景中每个场景在第二级电力市场中对应的场景个数，/>是/>个场景中每个场景在第三级电力市场中对应的场景个数；

对所述个场景进行聚类处理以得到K个场景，并根据每个随机点分配到最近聚类质心的方式计算所述K个场景中每个场景出现的概率，/>、/>、/>和/>均为正整数。

8.根据权利要求4所述的方法，其特征在于，根据所述数据中心采用的各种电力来源的约束信息和所述全局功耗模型映射到多个时间尺度上得到的功耗信息，构建多个阶段的约束条件，包括：

针对任一时间尺度，根据所述数据中心采用的各种电力来源的约束信息以及所述全局功耗模型映射到所述任一时间尺度上得到的功耗信息，构建所述任一时间尺度对应阶段的电力来源约束条件和电力平衡约束条件；

其中，所述电力来源约束条件包括发电机运行约束条件、可再生能源约束条件和电力市场传输约束条件中的至少一种。

9.根据权利要求8所述的方法，其特征在于，所述多级电力市场为三级电力市场，所述多个时间尺度从大到小依次包括第一时间尺度、第二时间尺度和第三时间尺度，所述多个阶段包括与三个时间尺度依次对应的第一阶段、第二阶段和第三阶段；

针对任一时间尺度，根据所述数据中心采用的各种电力来源的约束信息以及所述全局功耗模型映射到所述任一时间尺度上得到的功耗信息，构建所述任一时间尺度对应阶段的电力来源约束条件和电力平衡约束条件，包括：

对于第一时间尺度对应的第一阶段，根据所述全局功耗模型映射到所述第一时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第一时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第一阶段的电力平衡约束条件；

根据所述数据中心自行供电的发电机在第一时间尺度下任一时间间隙内的发电量、爬坡速率上下限和启动成本，构建发电机的功率约束公式、启停约束公式和启停成本约束公式作为第一阶段的发电机运行约束条件；

根据所述数据中心中可再生能源在第一时间尺度下任一时间间隙内的发电量和发电量上下限，构建第一阶段的可再生能源约束条件；所述可再生能源的发电量符合高斯分布；

根据所述数据中心在第一时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第一阶段的电力市场传输约束条件。

10.根据权利要求9所述的方法，其特征在于，还包括：

对于第二时间尺度对应的第二阶段，根据所述全局功耗模型映射到所述第二时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第二时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第二阶段的电力平衡约束条件；

根据所述数据中心自行供电的发电机在第二时间尺度下任一时间间隙内的发电调整量和爬坡速率上下限，以及在第一时间尺度下与所述第二时间尺度对应的时间间隙内的发电量，构建发电机的发力约束公式和发电调整约束公式作为第二阶段的发电机运行约束条件；

根据所述数据中心中可再生能源在第二时间尺度下任一时间间隙内的发电量和发电量上下限，构建第二阶段的可再生能源约束条件；

根据所述数据中心在第二时间尺度下任一时间间隙内的购电量和传输线容量上下限，构建第二阶段的电力市场传输约束条件。

11.根据权利要求10所述的方法，其特征在于，还包括：

对于第三时间尺度对应的第三阶段，根据所述全局功耗模型映射到所述第三时间尺度下任一时间间隙得到的功耗信息和所述数据中心在所述第三时间尺度下任一时间间隙内获取的电量，构建具有等量关系的方程作为第三阶段的电力平衡约束条件；

根据所述数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上下限，构建第三阶段的可再生能源约束条件；

根据所述数据中心在第三时间尺度下任一时间间隙内的报价过高的购电量、报价过低的购电量、在第二时间尺度下对应所述第三时间尺度的时间间隙内的购电量和传输线容量上下限，构建第三阶段的电力市场传输约束条件；

根据所述数据中心中可再生能源在第三时间尺度下任一时间间隙内的发电量和发电量上限，得到所述数据中心在第三时间尺度下任一时间间隙内弃用的可再生能源。

12.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器与所述存储器耦合，用于执行所述存储器中存储的计算机程序，以用于实现权利要求1-11任一项所述方法中的步骤。

13.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器能够实现权利要求1-11中任一项所述方法中的步骤。