CN114330869A - 一种考虑多级指标的钢铁企业多能源日前调度优化方法 - Google Patents
一种考虑多级指标的钢铁企业多能源日前调度优化方法 Download PDFInfo
- Publication number
- CN114330869A CN114330869A CN202111614524.6A CN202111614524A CN114330869A CN 114330869 A CN114330869 A CN 114330869A CN 202111614524 A CN202111614524 A CN 202111614524A CN 114330869 A CN114330869 A CN 114330869A
- Authority
- CN
- China
- Prior art keywords
- energy
- optimization
- layer
- steel
- gas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 157
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 87
- 239000010959 steel Substances 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 71
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 title claims abstract description 54
- 229910052742 iron Inorganic materials 0.000 title claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 42
- 230000002787 reinforcement Effects 0.000 claims abstract description 41
- 238000004519 manufacturing process Methods 0.000 claims abstract description 27
- 239000007789 gas Substances 0.000 claims description 103
- 239000006227 byproduct Substances 0.000 claims description 49
- 238000005265 energy consumption Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 26
- 230000009471 action Effects 0.000 claims description 23
- 239000003245 coal Substances 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 15
- 238000009792 diffusion process Methods 0.000 claims description 13
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000000571 coke Substances 0.000 claims description 11
- 238000012946 outsourcing Methods 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 8
- 230000005611 electricity Effects 0.000 claims description 7
- 239000003345 natural gas Substances 0.000 claims description 6
- 238000010248 power generation Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 238000004939 coking Methods 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002247 constant time method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003034 coal gas Substances 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- -1 electric power Substances 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000005097 cold rolling Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005098 hot rolling Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000009628 steelmaking Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- General Factory Administration (AREA)
Abstract
本发明提供了一种考虑多级指标的钢铁企业多能源日前调度优化方法，包括确立多准则评估指标，包括总***指标和子***指标；根据总***的评估指标和能源管网情况建立针对钢铁企业多能源***的优化模型；根据子***的评估指标及其实际情况建立针对煤气子***的优化模型；根据不同层级的评估指标和优化模型，定义总***层级的为上层优化模型，子***层级的为下层优化模型，构建双层优化模型；采用基于Actor‑Critic强化学习的双层级联式优化求解策略进行求解。本发明在每一步都兼顾两层优化模型来搜索优化解，得到子***评估指标达标且总***指标得到优化的能源投入量配置方案，为钢铁行业提供兼顾多级指标的日前调度优化方案，从而帮助企业制定生产计划。
Description
技术领域
本发明涉及多能源调度优化技术领域，特别是涉及一种考虑多级指标的钢铁企业多能源日前调度优化方法。
背景技术
钢铁企业涉及煤、天然气、电力、副产煤气等多种能源，管网结构复杂。不合理的日前调度优化方案会导致生产能耗高、污染排放多等问题。然而，管网整体优化与能源子***的局部优化往往存在矛盾。为保证如期完成生产计划，各能源介质往往处于供大于需的不平衡状态，为了减少整个***的能源损失，钢铁企业往往尽量最大限度地对副产能源进行回收利用；然而子能源***的分配利用水平有限，无法存储或利用的能源冗余只能放散处理，这就使得子能源***的能源放散有所增加。造成上述问题的主要原因是多种能源的分配计划不合理。因此，需制定一种可以平衡多级指标之间冲突关系的日前调度优化方案，来合理配置多种能源介质的投入量，以保证钢铁产量的同时，最大限度地降低能耗、减少放散，使企业获得更大利润。
目前，已有一些针对能源***优化利用的研究。但其中大量的研究都是针对单一能源***或单一评估指标进行的优化，这种情况下***结构和影响因素都相对简单。虽然也存在一些同时考虑多个目标的研究，但通常最终也通过转化为单目标问题进行求解，必不可少地松弛了对能源管网实际需求的考虑。然而，钢铁企业多能源***优化涉及多项存在优化冲突、需要权衡折衷的评估指标，因此不能采取将多个优化目标直接加和的方式解决。此外，目前也有少量针对多能源***的多指标优化研究，但涉及的能源***结构仍较为简单，并没有包含完整的能源“产-消-存”流程，不适用于对钢铁企业多能源***的多级指标进行优化建模。除了需要对多能流优化问题进行合理的建模，如何进行求解也是一个研究热点。目前的常用求解方法主要有数学解析法和多目标智能优化算法。然而，以线性规划、非线性规划和动态规划等为代表的数学解析法，不适用于目标函数非凸且非线性约束复杂的多目标优化问题；而常规的多目标智能优化算法对变量强耦合的复杂***优化问题求解速度极慢，无法满足现场实际应用的需求。鉴于此，现在急需一种可以平衡多级指标之间的冲突关系，快速合理地确定日前调度优化方案的方法。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种考虑多级指标的钢铁企业多能源日前调度优化方法，针对各级指标具有冲突和耦合变量的层次优化问题，根据能源网络的实际配置，建立考虑总***能源消费的多能源输入量和考虑子***排放的副产气分配量的双层优化模型。为了有效求解所提出的双层模型，采用基于Actor-Critic强化学习的级联式优化方法，将总***模型和子***模型联合求解优化，得到最终的日前调度优化方案，实现总***和子***准则的最优权衡。
为了达到上述目的，本发明所采用的具体技术方案如下：
一种考虑多级指标的钢铁企业多能源日前调度优化方法，具体包括以下步骤：
步骤1，确立多级指标：确立由总***指标和子***指标构成的多级指标，并对各项指标数据进行数据预处理；
步骤2，双层评估优化建模：双层优化模型包括总***层级的上层优化模型和子***层级的下层优化模型，所述上层优化模型的建立过程包括确定针对钢铁企业多能源***的总***评估指标，根据总***评估指标和多能源***管网约束建立优化模型，以总***评估指标最小为目标函数获得上层优化模型；所述下层优化模型的建立过程包括确定针对煤气子***的子***评估指标，将子***评估指标作为优化约束条件，将发电机组总能耗最小作为目标函数获得下层优化模型；
步骤3，双层优化模型级联式求解：采用基于Actor-Critic强化学习的双层级联式优化求解策略对双层优化模型进行求解。
优选的，所述总***评估指标为针对钢铁企业多能源***的吨钢综合能耗指标，其计算公式为：
所述企业自耗能源总量根据Ecsum＝Epch-Espl计算；其中Epch和Espl分别表示购入的能源量和能源剩余量，指钢铁生产流程中剩余的可外销或存储的能源量。
优选的，多能源***管网约束条件具体如下：
钢产量与各能源介质消耗量满足映射关系；
副产煤气回收量与外购能源量满足非线性耦合关系；
钢产量需满足计划产量要求，且不超过上限值；
副产煤气消耗量小于该煤气回收量；
各能源介质的消耗量满足设定取值范围。
优选的，所述子***评估指标为针对煤气子***的放散指标，其计算公式如下：
其中，b表示放散率，G(b)、G(t)和G(c)分别表示气体的放散量、回收量和消耗量。
优选的，所述针对煤气子***的下层优化模型是对副产气体排放的优化，具体为：
通过调整发电机组的副产气体消耗量，来消纳过剩的副产煤气；
发电机组的能量转换为通过消耗煤炭和副产煤气产生电。
优选的，将子***评估指标作为优化约束条件具体指的是：
发电机组的发电量由机组消耗的能源的量决定；
发电机组消耗的副产煤气应满足放散率的相关约束；
发电机组的各种能源介质的消耗量保持在设定范围内。
优选的，采用基于Actor-Critic强化学习的双层级联式优化求解策略对双层优化模型进行求解具体指的是：
将总***模型和子***模型分为上层和下层两层强化学习模型；
根据上层优化模型，定义所述上层强化学习模型的状态、动作和奖赏；
根据下层优化模型，定义所述下层强化学习模型的状态、动作和奖赏；
采用级联求解策略进行求解。
优选的，所述上层强化学习模型的状态、动作和奖赏，具体为：
状态：钢的输出量和多种能源介质的投入量，多种能源介质为外购电、发电用煤、焦化用煤、外购天然气、高炉煤气消耗量、焦炉煤气消耗量和转炉煤气消耗量；
动作：多种能源介质的投入量的调整量；
奖赏：上层优化模型的目标函数，即吨钢综合能耗。
优选的，所述下层强化学习模型的状态、动作和奖赏，具体为：
状态：副产煤气在各发电机组中的消耗量及其原始放散量；
动作：不同发电机组消耗三种副产煤气的调整量；
奖赏：上层优化模型的目标函数。
优选的，所述基于Actor-Critic强化学习的级联求解策略，具体为：
由上层强化学习模型生成多能源***的能源输入方案；
根据副产煤气的原始放散量，由下层强化学习模型生成新的副产煤气的分配方案；
根据多种能源介质消耗量的变化，得到新的能源输入方案，并作为多能源***的下一个状态；
完成级联循环模型的一步搜索。
本发明的有益效果在于：本发明根据能源管网情况分别建立了计及***整体能耗指标的多能流输入优化模型和局部子***放散指标的分配优化模型；然后，提出基于Actor-Critic强化学习结构的级联型循环优化策略，每一步的循环学习都逐层优化总***模型和子***模型，从而对两层优化问题进行联合求解；最终求得子***放散指标达标的低能耗能源投入量配置方案，为钢铁行业提供最优的日前调度优化方案，从而帮助企业制定生产计划。此外，本方法也可在线评价相关标准，及时调整和优化钢铁企业未来生产的能源投入计划。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种考虑多级指标的多能源日前调度优化方法示意图；
图2为本发明实施例提供的基于强化学习的级联式优化策略的示意图；
图3为本发明实施例提供的某钢铁企业多能源***的结构图；
图4为本发明实施例提供的日前调度优化方案优化收敛图；
图5为本发明实施例提供的50次优化结果统计箱型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
下面以国内某典型钢铁企业的多能源***为例做进一步说明。如图3所示的钢铁工业多能源***主要包括三个环节:产生、消耗、存储。在能源产生环节，可直接用于生产的能源，如电力、热能等，由两种不同的来源产生——从市场购买的外部投入，包括煤、电、天然气、氧气等，以及在生产过程中回收的内部副产能源，包括高炉煤气、焦炉煤气、转炉煤气等。在消耗环节，在日常生产中，铸造、热轧/冷轧等一定量的炼钢工序消耗多种能源介质。而能量储存环节是指一些缓冲设备，在出现能源缺口时作为临时供给维持钢铁生产。在这种情况下，日前调度优化方案起着举足轻重的作用，主要有以下两个原因：第一，不同的日前调度优化方案会导致能源转换过程中的能源需求有所不同，从而影响企业的整体能耗和能效水平；第二，对副产气的产消平衡也会产生相当大的影响，从而影响副产煤气子***的放散水平。副产煤气是钢铁生产过程中产量最大的二次能源，又占据了钢铁生产总能耗的三分之一，而储能装置的容量有限。因此，也有必要考虑该能源子***的排放，以防止能源浪费和环境污染。
一方面，为了尽量减少副产煤气排放，企业需要将回收的副产煤气转化为电能，直接用于钢铁生产。而根据能量守恒定律，在转换过程中会存在能量损失，从而影响整体多能源***的能量消耗。副产煤气是在钢铁生产过程中产生并且可回收的。因此，产生的越多，总***能耗就有可能越低。而更多的发生量也会导致可能的副产煤气排放有所增加。因此，对子***放散的优化往往与对整个多能源***的总***能耗的优化存在冲突。因此，需要在相互冲突的不同层级标准之间寻找一个折衷的方案。本实施例即针对此问题，开展考虑多级指标的钢铁企业多能源***的优化方法研究与应用工作。
如图1-图5所示，本发明提出了一种考虑多级指标的多能源日前调度优化方法，具体实施步骤如下：
步骤1：确立多级指标：确立由总***指标和子***指标构成的多级指标，并对各项指标数据进行数据预处理；
从某钢铁企业现场的数据库中获取训练所需的真实数据，采集频率为1点/分钟；所述训练所需的真实数据包括：每天的计划钢产量，外购进线有功功率，发电用煤量，焦化用煤量，外购天然气流量，高炉煤气、焦炉煤气、转炉煤气消耗流量，高炉煤气、焦炉煤气、转炉煤气发生流量，各发电机组的煤、高炉煤气、焦炉煤气、转炉煤气消耗流量，以及各发电机组的发电功率；考虑吨钢综合能耗的统计粒度，以“天”为单位优化能量利用方案；通过折标准煤系数将每天的能源用量折算为标准煤；统计可得，吨钢综合能耗的取值范围为[536，814]kGCE/t，平均为637kGCE/t，基本涵盖了实际生产中所有可能的操作条件。
步骤2，双层评估优化建模：双层优化模型包括总***层级的上层优化模型和子***层级的下层优化模型，所述上层优化模型的建立过程包括确定针对钢铁企业多能源***的总***评估指标，根据总***评估指标和多能源***管网约束建立优化模型，以总***评估指标最小为目标函数获得上层优化模型；所述下层优化模型的建立过程包括确定针对煤气子***的子***评估指标，将子***评估指标作为优化约束条件，将发电机组总能耗最小作为目标函数获得下层优化模型；
首先考虑总***指标及其优化模型，建模叙述如下：
确定针对钢铁企业多能源***的评估指标为吨钢综合能耗指标：
其中，ECS表示吨钢综合能耗，Ustl表示钢产量，也就是生产的钢的吨数；Ecsum表示企业自耗能源总量，具体计算方式如下：
Ecsum＝Epch-Espl
其中，Epch和Espl表示购入的能源量和能源剩余量，指钢铁生产流程中剩余的可外销或存储的能源量，具体计算方式如下：
其中，
和eng-c分别表示外购电、发电用煤、焦化用煤和天然气的消耗量；ebfg-r，ecog-r和eldg-r分别表示随着钢铁生产而产生的高炉煤气、焦炉煤气和转炉煤气的回收量，ebfg-c，ecog-c和eldg-c则分别表示高炉煤气、焦炉煤气和转炉煤气的消耗量；Eoth和Ebyp分别表示其他外购能源介质和副产能源；上述能源介质的单位均由实际数据确定，通过系数γ将其统一为标准煤，不同的下标表示不同能源介质的折标煤系数，折算成标准煤后单位为kgce。
根据上层评估指标和多能源***管网约束建立上层优化模型：
钢产量与各能源介质消耗量满足一定的映射关系
其中，h1为通过数据拟合技术确定的函数。
副产煤气回收量与外购能源量满足一定的非线性耦合关系
其中，h2亦通过数据拟合技术确定。
钢产量需满足计划产量要求，且不宜超出计划产量过多
Ustl-plan≤Ustl≤(1+β)Ustl-plan
其中，Ustl-plan为计划产量，β为超出生产计划的过剩产量百分比。
副产煤气消耗量需小于该煤气回收量
ebfg-c≤ebfg-r ecog-c≤ecog-r eldg-c≤eldg-r
考虑到单个网络的安全，所述各能源介质的消耗量都需保持在一定范围之内。
其中，L和U分别表示变量的最小值和最大值，不同下标是指符合本专利规定的不同能源介质。
根据以上约束条件可以建立约束条件集合，以吨钢综合能耗最小为目标函数建立以下优化模型：
然后，考虑子***指标及其优化模型，建模叙述如下：
确定针对煤气子***的评估指标为放散率指标：
其中，b表示放散率，G(b)、G(r)和G(c)分别表示气体的放散量、回收量和消耗量。
针对煤气子***的下层优化模型是对副产气体排放的优化，钢铁企业中通过调整发电机组的副产气体消耗量，来消纳过剩的副产煤气。发电机组的能量转换为通过消耗一定的煤炭和副产煤气来产生电。需要注意的是，能源消耗量在所述吨钢综合能耗计算公式的分子部分，改变发电机组煤气消耗量也会改变总的能源消耗量，所述吨钢综合能耗值亦会改变。因此，根据钢铁行业的煤气放散率规定界限，将放散率作为优化约束条件，将发电机组的能耗作为目标函数。
此外，下层优化模型需满足如下的约束条件：
发电机组的发电量由机组消耗的能源的量决定
其中，
分别表示第i台发电机组的煤炭、高炉煤气、焦炉煤气和转炉煤气的消耗量；
表示第i台发电机组的发电量；h3表示利用数据拟合技术得到的非线性耦合关系；
为了将副产气体的放散率限制在企业的规定边界内，多余的副产煤气分配给发电机组后，副产煤气的排放量应在企业规定的放散率上限之内
其中，Bbfg，Bcog和Bldg分别为企业规定的高炉煤气、焦炉煤气和转炉煤气放散率上限；Gbfg(s)，Gcog(s)和Gldg(s)分别表示优化前的高炉煤气、焦炉煤气和转炉煤气的富余量；Gbfg(r)，Gcog(r)和Gldg(r)指的是3种煤气的回收量；
转换可得
同时，分配给发电机组的每种副产煤气总量，应小于富余的副产煤气量
整理可得，发电机组消耗的副产煤气应如下约束
所述发电机组的各种能源介质的消耗量保持在一定范围内，以保证生产安全
其中，L和U分别表示变量的最小值和最大值，不同下标是指符合本专利规定的不同能源介质。
根据以上约束条件可以建立约束条件集合，以发电机组总能耗最小为目标函数建立以下优化模型：
其中，n为发电机组数；Egs(i)为第i台发电机组的能耗。
步骤3，双层优化模型级联式求解：采用基于Actor-Critic强化学习的双层级联式优化求解策略对双层优化模型进行求解。
对于建立的双层优化模型，常规方法存在以下2个问题：第一，优化后的上层个能源介质输入量虽然能显著降低总***的能耗指标，但后续副产气体分配进一步消耗的能源会反向增加总***的能耗。而且，即使我们反复求解这个多集的双层模型，也很难收敛；第二，当问题包含非线性约束时，传统的优化方法，包括数学分析方法和启发式优化算法，容易陷入局部最优，此外，传统优化方法所需的逐层求解方式也大大增加了计算时间，不利于实际应用。强化学习是一个目标导向的学习机制，通常通过与环境的交互进行学习，对本发明所针对的问题表现出良好的适应性，它不仅可以通过将每个行动限制在一个满意的空间内来处理约束，同时通过探索机制，减轻了陷入局部最优的问题，提高了总***最优的可达性。因此，本发明构建级联式的优化求解策略将双层优化模型进行联合求解，采用强化学习方法在每一步都兼顾两层优化模型来搜索优化解，如此可以得到子***评估指标达标、且总***指标得到优化的能源投入量配置方案，以达到工程实际应用要求。
强化学习算法可定义为一个五元组的马尔科夫决策过程：<S，A，P，R，γ>；S和A分别表示状态空间和动作空间。P和R表示状态转移分布和奖励函数，表示执行从s∈S到s′∈S的动作a∈A时的概率和奖励，可以表示为P(s′|s，a)∈[0，1]和r(s′|s，a)∈R。γ∈[0，1]表示奖励衰减因子。
根据述两层强化学习中状态空间和动作空间的连续性特征，采用函数逼近的Actor-Critic算法来构造值函数和参数化策略；所述值函数和参数化策略利用价值函数逼近和策略搜索方法，涉及两个独立的学习结构：Actor和Critic。
所述Critic结构，采用线性TD(λ)算法逼近状态值函数，从而逼近每一个时间位置t的状态价值：
其中，
为状态值函数，φ(st)为状态st下的特征向量，ωt为在学习过程中不断更新的参数向量。
所述Actor结构，采用正态(高斯)策略随机获得动作，其中均值和标准差均采用参数化表示来逼近：
其中，μi(s，θμ，i)和σi(s，θσ，i)分别表示状态s下第i维动作的均值和标准差，θμ，i和θσ，i为参数向量，表示策略函数的参数；根据公式ai＝μi(s，θμ，i)+ρiσi(s，θμ，i)计算所述状态s下第i维动作；其中ρi～N(0，1)，ρiσi(s，θμ，i)为高斯干扰，可控制探索能力。
以下为采用Actor-Critic强化学习算法对双层优化模型进行级联求解的计算步骤：
步骤301：输入参数：迭代轮数E，最大训练次数T，状态特征维度n，步长参数
衰减因子γ1，γ2∈[0，1]，Critic网络结构和Actor网络结构；
步骤302：随机初始化所有的策略参数
和值函数参数
步骤303：对于每次日前调度优化方案的学习：初始化多能源***状态s；
步骤304：对于每一步学习都分为上下两层：
a)：从状态s中获取上层强化学习状态s1；执行动作a1，得到上层强化学习的下一个状态s1′和该动作的奖赏r1；计算TD误差并更新上层强化学习结构的参数：
将状态s1′赋给状态s1；
b)：根据状态s1中计算下层强化学习状态s2；执行动作a2，得到下层强化学习的下一个状态s2′和该动作的奖赏r2；计算TD误差并更新下层强化学习结构的参数：
将状态s2′赋给状态s2，根据s1和s2生成新的状态s；
步骤305：综合吨钢能耗是否达到稳定或是否达到最大训练次数，是则继续，不是则返回步骤304；
步骤306：是否达到迭代轮数，是则继续，不是则返回步骤303；
步骤307：输出：Actor网络参数θ1，θ2和Critic网络参数ω1，ω2。
将模型中参数设置为表1所示，并分别采用本发明方法(AC-CT)与以下5种方法进行对比：a)基于粒子群优化的惩罚函数两步法(PF-PSO-TS)，b)基于增广拉格朗日两步法(AL-TS)，c)基于策略梯度的两步法(PG-TS)，d)基于Actor-Critic的两步法(AC-TS)，e)基于Actor-Critic的多步法(AC-MS)。
表1参数设置
由于该实施例所涉及的企业的LDG是不允许排放的，所以在接下来的实验中将排放率设置为0％。这种配置并不会对模型的性能造成影响，因为上下两层模型的目标函数和约束条件的类型、特征等并没有发生变化。COG和BFG排放速率上限均设置为5％。表2是对随机选取的一天的日前调度优化方案的优化结果，图是本发明方法AC-CT随着学习过程吨钢能耗值的变化曲线图，图是在同一生产计划条件下50次优化结果所得吨钢综合能耗指标的箱线图，可以看出经本实施例提供的AC-CT方法所得吨钢综合能耗结果的中位值均低于其他5种方法；同时，该方法得到的优化结果也具有较好的稳定性。
通过表2的结果可以明显看出，在前四种方法中，PF-PSO-TS方法得到的吨钢综合能耗在一定程度上有所降低。但是，由于粒子群算法初始化和搜索过程都具有随机性，结果不稳定，容易陷入局部最优。AL-TS方法在优化过程中迭代了拉格朗日乘子，吨钢综合能耗相对较高，达到近20倍。这样的效率显然不适合实际应用。比较两种强化学习方法PG-TS和AC-TS，后者在最优结果和收敛速度上都远远优于前者，因为批判机制可以有效地引导参与者更新策略参数。虽然AC-MS方法得到的吨钢综合能耗比两步法要低，但多步优化的时间要长得多。而采用本实施例提供的AC-CT方法得到的吨钢综合能耗在计算成本降低的同时，又得到了优化。同时，副产气体排放量也降低到5％以下，效果令人满意。综上所述，所设计的AC-CT方法可以有效地优化总***和子***评价准则。
表2不同方法的优化结果比较
本实施例的有益效果：本实施例的考虑多级指标的钢铁企业多能源***优化方法从整个多能源***和副产气体子***的角度考虑了总***能源消耗和子***气体排放等不同层级的指标，给出优化的日前调度优化方案，克服了传统的优化方法易陷入局部最优，以及对不同层级的指标优化不充分的问题，简化人工制定日前调度优化方案的流程，避免采用试凑方式的低效作业模式。所提出的级联式循环求解策略，在每一步都兼顾两层优化模型来搜索优化解，避免了某一层的指标优化过剩而大大牺牲另一层指标的问题。此外，利用强化学***衡多准则之间的冲突关系，快速合理地确定日前调度优化方案；所得结果既能使子***评估指标尽量达标，又可对总***指标进行优化，且计算效率符合实际应用要求，在钢铁企业总***与其他更多的子***评估优化中亦可推广应用。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。
Claims (10)
1.一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，具体包括以下步骤：
步骤1，确立多级指标：确立由总***指标和子***指标构成的多级指标，并对各项指标数据进行数据预处理；
步骤2，双层评估优化建模：双层优化模型包括总***层级的上层优化模型和子***层级的下层优化模型，所述上层优化模型的建立过程包括确定针对钢铁企业多能源***的总***评估指标，根据总***评估指标和多能源***管网约束建立优化模型，以总***评估指标最小为目标函数获得上层优化模型；所述下层优化模型的建立过程包括确定针对煤气子***的子***评估指标，将子***评估指标作为优化约束条件，将发电机组总能耗最小作为目标函数获得下层优化模型；
步骤3，双层优化模型级联式求解：采用基于Actor-Critic强化学习的双层级联式优化求解策略对双层优化模型进行求解。
2.根据权利要求1所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述总***评估指标为针对钢铁企业多能源***的吨钢综合能耗指标，其计算公式为：
所述企业自耗能源总量根据Ecsum＝Epch-Espl计算；其中Epch和Espl分别表示购入的能源量和能源剩余量，指钢铁生产流程中剩余的可外销或存储的能源量。
3.根据权利要求1或2所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，多能源***管网约束条件具体如下：
钢产量与各能源介质消耗量满足映射关系；
副产煤气回收量与外购能源量满足非线性耦合关系；
钢产量需满足计划产量要求，且不超过上限值；
副产煤气消耗量小于该煤气回收量；
各能源介质的消耗量满足设定取值范围。
4.根据权利要求1所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述子***评估指标为针对煤气子***的放散指标，其计算公式如下：
其中，b表示放散率，G(b)、G(r)和G(c)分别表示气体的放散量、回收量和消耗量。
5.根据权利要求1或4所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述针对煤气子***的下层优化模型是对副产气体排放的优化，具体为：
通过调整发电机组的副产气体消耗量，来消纳过剩的副产煤气；
发电机组的能量转换为通过消耗煤炭和副产煤气产生电。
6.根据权利要求1或4所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，将子***评估指标作为优化约束条件具体指的是：
发电机组的发电量由机组消耗的能源的量决定；
发电机组消耗的副产煤气应满足放散率的相关约束；
发电机组的各种能源介质的消耗量保持在设定范围内。
7.根据权利要求1所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，采用基于Actor-Critic强化学习的双层级联式优化求解策略对双层优化模型进行求解具体指的是：
将总***模型和子***模型分为上层和下层两层强化学习模型；
根据上层优化模型，定义所述上层强化学习模型的状态、动作和奖赏；
根据下层优化模型，定义所述下层强化学习模型的状态、动作和奖赏；
采用级联求解策略进行求解。
8.根据权利要求7所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述上层强化学习模型的状态、动作和奖赏，具体为：
状态：钢的输出量和多种能源介质的投入量，多种能源介质为外购电、发电用煤、焦化用煤、外购天然气、高炉煤气消耗量、焦炉煤气消耗量和转炉煤气消耗量；
动作：多种能源介质的投入量的调整量；
奖赏：上层优化模型的目标函数，即吨钢综合能耗。
9.根据权利要求7所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述下层强化学习模型的状态、动作和奖赏，具体为：
状态：副产煤气在各发电机组中的消耗量及其原始放散量；
动作：不同发电机组消耗三种副产煤气的调整量；
奖赏：上层优化模型的目标函数。
10.根据权利要求7所述的一种考虑多级指标的钢铁企业多能源日前调度优化方法，其特征在于，所述基于Actor-Critic强化学习的级联求解策略，具体为：
由上层强化学习模型生成多能源***的能源输入方案；
根据副产煤气的原始放散量，由下层强化学习模型生成新的副产煤气的分配方案；
根据多种能源介质消耗量的变化，得到新的能源输入方案，并作为多能源***的下一个状态；
完成级联循环模型的一步搜索。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614524.6A CN114330869A (zh) | 2021-12-27 | 2021-12-27 | 一种考虑多级指标的钢铁企业多能源日前调度优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111614524.6A CN114330869A (zh) | 2021-12-27 | 2021-12-27 | 一种考虑多级指标的钢铁企业多能源日前调度优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114330869A true CN114330869A (zh) | 2022-04-12 |
Family
ID=81013787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111614524.6A Pending CN114330869A (zh) | 2021-12-27 | 2021-12-27 | 一种考虑多级指标的钢铁企业多能源日前调度优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114330869A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115106189A (zh) * | 2022-06-08 | 2022-09-27 | 淮南矿业(集团)有限责任公司 | 一种选煤厂效益最大化的实现方法和实现*** |
| CN115178590A (zh) * | 2022-09-07 | 2022-10-14 | 承德建龙特殊钢有限公司 | 一种无缝钢管生产方法 |
| CN117649102A (zh) * | 2024-01-30 | 2024-03-05 | 大连理工大学 | 一种基于最大熵强化学习的钢铁工业多能流***最优调度方法 |
-
2021
- 2021-12-27 CN CN202111614524.6A patent/CN114330869A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115106189A (zh) * | 2022-06-08 | 2022-09-27 | 淮南矿业(集团)有限责任公司 | 一种选煤厂效益最大化的实现方法和实现*** |
| CN115106189B (zh) * | 2022-06-08 | 2024-04-30 | 淮南矿业(集团)有限责任公司 | 一种选煤厂效益最大化的实现方法和实现*** |
| CN115178590A (zh) * | 2022-09-07 | 2022-10-14 | 承德建龙特殊钢有限公司 | 一种无缝钢管生产方法 |
| CN117649102A (zh) * | 2024-01-30 | 2024-03-05 | 大连理工大学 | 一种基于最大熵强化学习的钢铁工业多能流***最优调度方法 |
| CN117649102B (zh) * | 2024-01-30 | 2024-05-17 | 大连理工大学 | 一种基于最大熵强化学习的钢铁工业多能流***最优调度方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114330869A (zh) | 一种考虑多级指标的钢铁企业多能源日前调度优化方法 | |
| Wu et al. | Deep learning adaptive dynamic programming for real time energy management and control strategy of micro-grid | |
| CN111881616A (zh) | 一种基于多主体博弈的综合能源***的运行优化方法 | |
| CN106208090B (zh) | 一种光伏发电接入的电压无功优化控制方法及*** | |
| Song et al. | Economic-environmental equilibrium-based bi-level dispatch strategy towards integrated electricity and natural gas systems | |
| CN109345012B (zh) | 基于综合评价指标的园区能源互联网运行优化方法 | |
| CN113779783B (zh) | 计及多重不确定性的区域综合能源***规划与运行联合优化方法 | |
| CN108365637B (zh) | 一种送电计划与抽水储能发电计划优化方法及*** | |
| CN111293682B (zh) | 一种基于协同模型预测控制的多微网能量管理方法 | |
| CN110165714B (zh) | 基于极限动态规划算法的微电网一体化调度与控制方法、计算机可读存储介质 | |
| CN103595061A (zh) | 基于综合效益分析的企业电网无功优化方法及*** | |
| CN115375344A (zh) | 计及阶梯碳交易机制的微电网两阶段鲁棒优化低碳经济调度方法 | |
| CN115099725B (zh) | 一种综合能源***能量管理分配方法及*** | |
| Cai et al. | Optimal scheduling of a hybrid AC/DC multi-energy microgrid considering uncertainties and Stackelberg game-based integrated demand response | |
| CN115663793A (zh) | 基于深度强化学习的电动汽车低碳充放电调度方法 | |
| CN109066769B (zh) | 风电全消纳下虚拟电厂内部资源调度控制方法 | |
| Wang et al. | A multicriteria evaluation and cascaded optimization framework for integrated energy system of steel industry | |
| CN114201858A (zh) | 一种新能源实时电价的定价方法 | |
| CN117578537A (zh) | 基于碳交易和需求响应的微电网优化调度方法 | |
| CN111275572B (zh) | 一种基于粒子群和深度强化学习的机组调度***及方法 | |
| CN112434861A (zh) | 计及热力管网反馈调节的电热协调优化调度方法及装置 | |
| Huang et al. | A discrete optimal control model for the distributed energy system considering multiple disturbance inputs | |
| CN108718084B (zh) | 一种适应电力市场化改革的电源和电网协调规划方法 | |
| CN112186813B (zh) | 一种电力***区域电网调度方法、***、装置及存储介质 | |
| CN109670734B (zh) | 基于协同归一化的电力***经济排放调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |