CN106991030B - 一种基于在线学习的***功耗优化的轻量级方法 - Google Patents

一种基于在线学习的***功耗优化的轻量级方法 Download PDF

Info

Publication number
CN106991030B
CN106991030B CN201710116452.XA CN201710116452A CN106991030B CN 106991030 B CN106991030 B CN 106991030B CN 201710116452 A CN201710116452 A CN 201710116452A CN 106991030 B CN106991030 B CN 106991030B
Authority
CN
China
Prior art keywords
power consumption
module
optimization
system power
value function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710116452.XA
Other languages
English (en)
Other versions
CN106991030A (zh
Inventor
王翔
李林
王维克
杜培
李明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710116452.XA priority Critical patent/CN106991030B/zh
Publication of CN106991030A publication Critical patent/CN106991030A/zh
Application granted granted Critical
Publication of CN106991030B publication Critical patent/CN106991030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/06—Power analysis or power optimisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Devices For Executing Special Programs (AREA)
  • Power Sources (AREA)

Abstract

一种基于在线学习的***功耗优化的轻量级方法，步骤如下：1，程序编译成目标代码；2，启动监控模块,监控硬件事件；3，归一化处理事件；4，建立***功耗模型；5，设计不同的优化模式；6，设计值函数模块；7，将功耗模型、惩罚因子和值函数模块写入代理模块Agent中；8，设计软件定时器，定时启动步骤3和7；9，执行程序、步骤7和3，更新Agent；10，设置收敛性；11，根据Agent模块的结果，转到步骤2，从步骤3开始到运行完毕；通过以上步骤，对温度，性能和功耗综合协同考虑，使用轻量级机器学习算法搜索存在的优化空间，达到低功耗和合理性能要求的效果，解决了嵌入式设备等受限于电池影响工作时间的问题。

Description

一种基于在线学习的***功耗优化的轻量级方法
技术领域
本发明提供一种基于在线学习的***功耗优化的轻量级方法，它涉及嵌入式***功耗优化技术领域，尤其涉及一种针对嵌入式***功耗优化和机器学习算法相结合的方法，该方法应用于嵌入式***功耗优化和功耗估计之中，可以提高嵌入式***的使用周期和性能。
背景技术
嵌入式设备在日常生活中得到了越来越多的应用，更多的嵌入式终端和更广泛的线上互联使得嵌入式***功耗成为设计者必须面对的问题，加之能源不足和环境保护的现状，使的处理器功耗的问题受到越来越多的关注，低功耗已经成为了嵌入式处理器乃至每一种电子设备的重要指标，总体来说，处理器低功耗设计面临如下挑战：首先动态功耗和电压是平方关系，电压降低可以显著降低动态功耗，导致了供电电压在不断降低，这会使的漏电功耗急剧增加，并且***的稳定性和性能大幅下降。其次，随着多核技术的出现，虽然在很大程度上减小了功耗密度的增加，但是总体功耗的增长一直在持续。
功耗是处理器性能的一个最基本的电气特性指标，其中一个非常重要的原因是随着频率的升高，功耗的升高伴随着热特性的变化，热特性对处理器的材料和封装会产生严重的制约和影响。SoC(***芯片，System On Chip)中CMOS(互补金属氧化物半导体，Complementary Metal Oxide Semiconductor)电路功耗有：一是静态功耗，主要是由静态电流，漏电流等因素造成的；二是动态功耗，主要是电路中信号变换时造成的瞬态开路电路和负载电流等因素造成，它是SoC 中功耗的主要来源。因此，解决好SoC中的动态功耗是降低整个SoC功耗的关键。这些底层的硬件功耗是由于软件驱动产生，很多现行的低功耗设计并不能从***整体上降低功耗，使得结合多个层次之间的功耗管理和优化技术逐步成为控制嵌入式***功耗的重要手段。
低功耗安全嵌入式处理器芯片研究目前还处于初级阶段，存在很多没有解决的问题，更缺乏一套完整的理论体系。硬件依赖于运行其上的软件来实现其处理信息的功能,软件本身不会产生功耗,但是软件的数据存取和指令执行都会使硬件产生功耗。因此要降低功耗,必须从嵌入式硬件和软件着手考虑如何进行功耗优化。设计者必须面对的问题是低功耗设计，嵌入式***被广泛应用于手提设备和移动产品中，所以设计者需要从每个细节考虑如何减少功耗，尽可能的延长电池的使用寿命。当前的一些低功耗设计的方法是在适当的环境中使用DC-DC 电压转换电路可以提高电源效率，减少***功耗；在CMOS设计电路的时候，使用较低的VDD，并使用尽可能低的时钟频率，以及cache来使内存读取最小化，且配合使用休眠模式。超低功耗设计甚至可以允许嵌入式***运行的时候不需要电池，仅仅依靠收集环境中的一些能量。此外，管理功耗是现在影响集成电路封装及散热的一个重要因素。嵌入式***的价格，尺寸，重量以及可靠性全部取决于功耗。而微处理器功耗可以被分为两大类，一类是块级方法，一类是指令集方法，在块级方法中，微处理器被我们认为是一个在运行的模块集合，每一个模块的特征项都影响着微处理器的功耗；在指令集方法中，平均分配每个微处理器的功率消耗用来使其达到功能。通过这种方法得到的结果要求尽量减少指令流以及实时数据。传统的功耗优化是在各个层次之间独立进行优化设计，由于这些底层的硬件功耗是由于软件驱动产生，所以很多现行的单个层次低功耗设计并不能从***整体上降低功耗，使得结合多个层次之间的功耗管理和优化技术逐步成为控制嵌入式***功耗的重要手段。
综上所述，当前针对于嵌入式***功耗优化方法还存在着以下一些问题：
(1)常见的***功耗优化都是从单个层次方面进行低功耗优化设计，由于功耗是由软件驱动通过硬件产生的，单个层次的低功耗设计没有考虑到其他层次影响功耗的因素，所以在降低***整体功耗的能力有限；
(2)对于建立多层次***功耗模型方法，需要兼顾性能和功耗之间的相互影响关系，同时功耗模型适合不同的应用环境，缺乏在多个层次之上建立的具有鲁棒性的***功耗模型。
(3)常见的机器学习具有收敛性和过拟合的缺点，不适合应用到***功耗优化中，因为这样的算法会加重***运行的负载，频繁的进行CPU计算和I/O 调用会增加动态功耗，难以实现对整体的功耗降低。
发明内容
1.发明目的
针对上述问题，本发明提供一种基于在线学习的***功耗优化的轻量级方法。本方法将影响到静态功耗和动态功耗的PVT等一些不确定性因素进行数学建模，通过分析功耗、性能和温度之间存在的优化空间，以值函数和机器学习算法进行功耗优化，大幅减少了算法产生的***负载，提高功耗优化模块的自适应和鲁棒性。对于不同的应用需求，通过修改值函数的惩罚项，设定两种模式的优化策略，可以有效提高功耗优化模块的鲁棒性，提高功耗优化的粒度，实现***功耗、性能和温度之间精准优化。
2.技术方案
(1)准备工作：
本发明所述的技术方案，其涉及到的公式规纳并标序号说明如下：
Figure GDA0002272824130000031
式中：cycles_l1i_stalled和cycles_l1d_stalled是指令和数据停止存取时的周期
Figure GDA0002272824130000032
式中：IPC是Instruction per Clock即每个周期的指令数
ene＝(1-ρ)μf2β+ρ(1-μ)fβ+ρμfβ-1 (3)
式中：ρ是漏电功耗占总功耗百分率，μ是应用程序处在CPU计算的百分率，β是v(电压)和f(时钟)的比例关系
Figure GDA0002272824130000033
Figure GDA0002272824130000041
第一种自由优化模式：
pnlt＝wE*pnltE+wP*pnltP+wT*pnltT (6)
式中：pnlt是惩罚因子，w是常数，可由用户设置；
Figure GDA0002272824130000042
Figure GDA0002272824130000043
Figure GDA0002272824130000044
第二种受限优化模式：
if pnlt2≤con2+diff2 and pnlt1≤con1+diff1 then (10)
pnlt＝pnlt_obj；
if pnlt2>con2+diff2 and pnlt1≤con1+diff1 then (11)
pnlt＝pnlt_obj+c*pnlt2；
if pnlt2≤con2+diff2 and pnlt1>con1+diff1 then (12)
pnlt＝pnlt_obj+c*pnlt1；
if otherwise
pnlt ＝ pnlt_obj+c1*pnlt1+c2*pnlt2； (13)
Figure GDA0002272824130000045
(2)技术方案如下
具体来说，本发明提供了一种基于在线学习的***功耗优化的轻量级方法，该方法包括步骤如下：
步骤1，用户源程序编译、链接生成目标代码；
步骤2，在Linux操作***平台中，启动内核监控和分析模块比如有Perf (一种进行软件性能分析的工具)等，利用该模块监控硬件特性事件；
步骤3，对***事件进行预处理，主要是进行一些归一化处理，得到一组特征参数向量；
步骤4，针对温度、性能和功耗联合建立***功耗模型，将计算得到的步骤 3中得到的特征参数向量传入到功耗模型中；
步骤5，设计值函数中惩罚因子模块，根据不同的惩罚因子的计算模式选择不同的优化模式；
步骤6，基于Q学习算法框架，设计值函数计算模块；
步骤7，基于Q学习算法和惩罚因子，设计代理模块(Agent)，将功耗模型、惩罚因子和值函数模块写入到Agent模块中；
步骤8，设计软件定时器，定时启动步骤3和步骤7；
步骤9，执行当前应用程序，然后执行步骤7，再执行步骤3，更新Agent 模块，通过该模块中的值函数得到计算值；
步骤10，收敛性设置，根据步骤9中得到的计算值，通过与性能、功耗和温度的理想时钟参数判断，加速Agent模块输出决策结果；
步骤11，根据Agent模块的决策结果，转入执行步骤2，然后进入下一个周期的决策过程，从步骤3开始循环直到用户程序运行完毕。
其中，在步骤1中所述的“用户源程序编译、链接生成目标代码”，其作法如下：通过gcc等编译工具将源代码编译成二进制文件；
其中，在步骤2中所述的“硬件特性事件”，它是指IPC (Instructions/Cycles)、高速缓冲存储器(cache)、超标量以及分支预测等；
其中，在步骤3中所述的“***事件”，它是指硬件特性事件采集到的数据；
其中，在步骤3中所述的“特征参数向量”，它是指将这些***事件的数据进行归一化处理之后得到的一组数值；
其中，在步骤4中所述的“功耗模型”，它是指上述“准备工作”中的公式 (3)，(4)和(5)；
其中，在步骤4中所述的“温度、性能和功耗联合建立***功耗模型”，该温度、性能和功耗***功耗模型即***功耗模型模块是指上述“准备工作”中的公式(3)，(4)和(5)；
其中，在步骤4中所述的“针对温度、性能和功耗联合建立***功耗模型，将计算得到的步骤3中得到的特征参数向量传入到功耗模型中”，在其作法的过程中，考虑到功耗、性能和温度受不同的***事件影响的程度不同，采用一些特定具有代表性的***事件来进行建立模型，这样既可以降低功耗模型的复杂度又可以充分的描述出***功耗的状态；即是指上述“准备工作”中的公式(3)， (4)和(5)；
其中，在步骤5中所述的“惩罚因子”，它是指上述“准备工作”中的公式 (6)到(13)；
其中，在步骤5中所述的“设计值函数中惩罚因子模块，根据不同的惩罚因子的计算模式选择不同的优化模式”，在其作法的过程中，考虑到功耗模型中参数优化方式不一样导致出惩罚因子的计算形式不一样，第一种优化模式是自由优化模式，这种工作模式是通过学习算法自适应计算出功耗、性能和温度之间最优的空间做出决策；第二种优化模式是受限优化模式，这种工作模式是通过用户根据自己应用环境设定规定范围内的优化空间，机器学习算法在这个受限的空间中进行优化参数；指说明书中的公式(7)到(9)是一种类型惩罚因子模块，公式 (10)到(13)是另外一种类型的惩罚因子模块；
其中，在步骤6中所述的“值函数”，它是指上述“准备工作”的公式(14)；
其中，在步骤6中所述的“基于Q学习算法框架，设计值函数计算模块”，其作法如下：
Q为学习算法为在确定性回报和动作假定下的Q学习算法；
s表示状态，a表示动作，Q(s，a)表示对状态s下动作a得到的总体回报的一个估计，r为此动作的立即回报，γ为折扣因子，其中0≤γ<1；
步骤6.1，对每个s，a初始化表项Q(s，a)为0；
步骤6.2，观察当前状态s；
步骤6.3，一直重复执行：
选择一个动作a并执行它，该动作为使Q(s，a)最大的a；
接收到立即回报r；
观察新状态s'；
对Q(s，a)按照下式更新表项：
Q(s，a)＝r(s，a)+γ*max Q(s'，a')；
s＝s'。
其中，在步骤7中所述的“Agent模块”，它是指功耗模型，惩罚因子，值函数以及Q学习算法框架组成的模块；
其中，在步骤7中所述的“基于Q学习算法和惩罚因子，设计代理模块(Agent)，将功耗模型、惩罚因子和值函数模块写入到Agent模块中”，其作法如下：将值函数公式(14)中p用公式(6)-(13)替换，利用公式(14)分别计算温度、性能和能耗的Q值。
其中，在步骤8中所述的“设计软件定时器”，其作法如下：例如在linux 中利用select函数编写毫秒级定时器
Figure GDA0002272824130000071
Figure GDA0002272824130000081
其中，在步骤9中所述的“更新Agent模块，通过该模块中的值函数得到计算值”，其作法就如下：一直重复执行：
选择一个动作a并执行它，该动作为使Q(s，a)最大的a；
接收到立即回报r；
观察新状态s'；
对Q(s，a)按照下式更新表项：
Q(s，a)＝r(s，a)+γ*max Q(s'，a')；
s＝s'。
其中，在步骤10所述的“收敛性设置”，它是指用来设置算法框架的收敛性，降低过拟合进而达到降低***运行的负荷，这是更加细粒度化的功耗优化，通过比较性能、功耗和温度的最佳功耗的时钟参数，来提高Agent模块的决策过程，如果失败需要执行步骤2重新开始监控和执行代码。
通过以上步骤，通过对温度，性能和功耗综合协同考虑，使用轻量级机器学习算法搜索存在的优化空间，达到降低功耗和保证最低的性能要求的效果，解决了嵌入式设备等受限于电池影响工作时间短的问题。
3.优点及功效
本发明的有益功效在于：
本发明提供的是一种基于在线学习的***功耗优化的轻量级方法。本方法以影响***功耗的硬件特性事件为基础，通过对应用程序运行时触发的硬件特性事件进行预处理计算得到特征参数，实现对不同层次影响功耗的因素进行数学建模，达到建立多层次***功耗模型。当定时器启动时候，开启Agent模块，该模块开始接受监控模块传入的监控信息，通过用户设置选取不同的优化模式，该方法可以拓宽该功耗优化方案的应用范围，通过收敛性设置减少算法的迭代次数，降低***运行的负荷，降低***的动态功耗。
(1)对嵌入式***建立多层次的***功耗模型，监控应用程序运行时产生的静态功耗和动态功耗时触发的硬件特性事件，对这些监控信息进行预处理计算传入到功耗模型中，大幅的减少了不同层次中对功耗影响较小的因数，提高了功耗模型优化时候的速度，节约了紧张的嵌入式***资源。
(2)为了提高该优化算法的适用范围，通过修改值函数的惩罚因子建立两种功耗优化的工作模式，第一种自由优化工作模式不限制学习算法的优化空间，仅仅通过值函数的判断做出决策，第二种受限优化工作模式，通过用户根据应用环境自行设定优化空间，再通过值函数的计算判断做出决策。
(3)通过功耗、性能和温度的最佳时钟参数，和值函数优化得到的时钟进行比较判断学习算法是否进行下一步迭代计算，提高在线学习算法的收敛性和防止算法过拟合迭代，降低对值函数的调用，避免***性能下降。
附图说明
图1是本发明所述方法流程框图。
具体实施方式
本发明一种基于在线学习的***功耗优化的轻量级方法，如图1所示，该方法具体实施步骤如下：
步骤1，将应用源程序代码通过编译、链接生成目标代码；
步骤2，利用perf，应用程序可以利用PMU和内核中计数器进行性能统计，监控硬件特性事件，比如IPS、processor clock cycles、cache和分支预测等。
步骤3，通过步骤2对得到的***事件即指按时间采样的监控数据，利用公式(1)和(2)进计算处理，主要是进行数据的归一化处理。
步骤4，通过公式(3)、(4)和(5)建立***功耗模型，将步骤计算的数据传入。
步骤5，根据公式(6)、(7)、(8)和(9)设计第一种工作模式自适应优化模式，根据公式(10)、(11)、(12)和(13)设计第二种工作模式条件优化模式。
步骤6，根据公式(14)设计值函数计算模块。
步骤7，设计Agent模块，将功耗模型、惩罚因子和值函数模块以及Q学习算法框架写入到Agent模块中；
步骤8，设计定时器，定时启动步骤3和步骤7；
步骤9，执行当前应用的代码段，然后执行步骤7，再执行步骤3，更新Agent 模块，通过该模块中的值函数得到计算值。
步骤10，收敛性设置，根据步骤9中得到的计算值，通过与性能、功耗和温度的理想时钟参数判断，加速Agent模块输出决策结果。
步骤11，根据Agent模块的决策结果，转入执行步骤2，然后进入下一个周期的决策过程，从步骤3开始循环直到用户程序运行完毕。

Claims (9)

1.一种基于在线学习的***功耗优化的轻量级方法，其特征在于：该方法包括步骤如下：
步骤1，用户源程序经过编译和链接生成目标代码；
步骤2，在Linux操作***平台中，启动内核监控和分析模块，利用该模块监控硬件特性事件；
步骤3，对***事件进行预处理，进行归一化处理，得到一组特征参数向量；
步骤4，针对温度、性能和功耗联合建立***功耗模型，将步骤3中得到的特征参数向量传入到功耗模型中；
步骤5，设计值函数中惩罚因子模块，根据不同的惩罚因子的计算模式选择不同的优化模式；
步骤6，基于Q学习算法框架，设计值函数计算模块；
步骤7，基于Q学习算法和惩罚因子，设计代理模块即Agent模块，将功耗模型、惩罚因子和值函数写入到Agent模块中；
步骤8，设计软件定时器，定时启动步骤3和步骤7；
步骤9，执行当前应用程序，然后执行步骤7，再执行步骤3，更新Agent模块，通过该模块中的值函数得到计算值；
步骤10，收敛性设置，根据步骤9中得到的计算值，通过与性能、功耗和温度的理想时钟参数比较，加速Agent模块输出决策结果；
步骤11，根据Agent模块的决策结果，转入执行步骤2，然后进入下一个周期的决策过程，从步骤3开始循环直到用户程序运行完毕。
2.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤1中所述的“用户源程序经过编译和链接生成目标代码”，其作法如下：它是通过gcc编译工具将源代码编译成二进制文件。
3.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤4中所述的“针对温度、性能和功耗联合建立***功耗模型，将步骤3中得到的特征参数向量传入到功耗模型中”，在其作法的过程中，考虑到功耗、性能和温度受不同的***事件影响的程度不同，采用一些特定具有代表性的***事件来进行建立模型，这样既能降低功耗模型的复杂度又能充分的描述出***功耗的状态。
4.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤5中所述的“设计值函数中惩罚因子模块，根据不同的惩罚因子的计算模式选择不同的优化模式”，在其作法的过程中，考虑到功耗模型中参数优化方式不一样导致出惩罚因子的计算形式不一样，第一种优化模式是自由优化模式，这种工作模式是通过Q学习算法自适应计算出功耗、性能和温度之间最优的空间做出决策；第二种优化模式是受限优化模式，这种工作模式是通过用户根据自己应用环境设定规定范围内的优化空间，机器Q学习算法在这个受限的空间中进行优化参数。
5.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤6中所述的“基于Q学习算法框架，设计值函数计算模块”，其作法如下：
Q学习算法为在确定性回报和动作假定下的Q学习算法，以s表示状态，a表示动作，Q(s，a)表示对状态s下动作a得到的总体回报的一个估计，r为此动作的立即回报，γ为折扣因子，其中0≤γ<1；
步骤6.1， 对每个s，a初始化表项Q(s，a)为0；
步骤6.2， 观察当前状态s；
步骤6.3， 一直重复执行：
选择一个动作a并执行它，该动作为使Q(s，a)最大的a；
接收到立即回报r；
观察新状态s'；
对Q(s，a)按照下式更新表项：
Q(s，a)＝r(s，a)+γ*max Q(s'，a')；
s＝s' 。
6.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤7中所述的“Agent模块”，它是指功耗模型，惩罚因子，值函数以及Q学习算法框架组成的模块。
7.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤8中所述的“设计软件定时器”，其作法如下：在linux中利用select函数编写毫秒级定时器
Figure FDA0002272824120000031
8.根据权利要求5所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤9中所述的“更新Agent模块，通过该模块中的值函数得到计算值”，其作法就如下：一直重复执行：
选择一个动作a并执行它，该动作为使Q(s，a)最大的a；
接收到立即回报r；
观察新状态s'；
对Q(s，a)按照下式更新表项：
Q(s，a)＝r(s，a)+γ*max Q(s'，a')；
s＝s' 。
9.根据权利要求1所述的一种基于在线学习的***功耗优化的轻量级方法，其特征在于：在步骤10中所述的“收敛性设置”，它是指用来设置Q学习算法框架的收敛性，降低过拟合进而达到降低***运行的负荷，这是更加细粒度化的功耗优化，通过比较性能、功耗和温度的最佳功耗的时钟参数，来提高Agent模块的决策过程，如果失败需要执行步骤2重新开始监控和执行代码。
CN201710116452.XA 2017-03-01 2017-03-01 一种基于在线学习的***功耗优化的轻量级方法 Active CN106991030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710116452.XA CN106991030B (zh) 2017-03-01 2017-03-01 一种基于在线学习的***功耗优化的轻量级方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710116452.XA CN106991030B (zh) 2017-03-01 2017-03-01 一种基于在线学习的***功耗优化的轻量级方法

Publications (2)

Publication Number Publication Date
CN106991030A CN106991030A (zh) 2017-07-28
CN106991030B true CN106991030B (zh) 2020-04-14

Family

ID=59412575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710116452.XA Active CN106991030B (zh) 2017-03-01 2017-03-01 一种基于在线学习的***功耗优化的轻量级方法

Country Status (1)

Country Link
CN (1) CN106991030B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6897438B2 (ja) * 2017-09-06 2021-06-30 富士通株式会社 情報処理装置、情報処理システム及びプログラム
CN109871237B (zh) * 2018-12-07 2021-04-09 中国科学院深圳先进技术研究院 一种基于机器学习的CPU与GPU异构SoC性能刻画方法
CN109901994B (zh) * 2019-01-21 2020-05-15 阿里巴巴集团控股有限公司 一种基于强化学习的测试脚本生成方法和装置
WO2021042373A1 (zh) * 2019-09-06 2021-03-11 阿里巴巴集团控股有限公司 数据处理与任务调度方法、设备、***及存储介质
CN110687996B (zh) * 2019-09-30 2021-05-18 联想(北京)有限公司 一种数据处理方法、设备和***
CN112506334B (zh) * 2020-11-06 2023-08-01 霸州嘉明扬科技有限公司 具有自主学习功能的***功耗优化的轻量级***及方法
CN113962174A (zh) * 2021-12-21 2022-01-21 佛山芯珠微电子有限公司 一种基于物联网信息安全芯片的软硬件兼容方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102437930A (zh) * 2011-12-22 2012-05-02 宁波大学 一种降低宽带接入网功耗的资源优化方法
CN105043774A (zh) * 2015-07-14 2015-11-11 中国运载火箭技术研究院 一种采用插值计算舵机功耗的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7877711B2 (en) * 2006-03-01 2011-01-25 Nangate A/S Methods of deriving switch networks
US20140135952A1 (en) * 2012-11-15 2014-05-15 Samsung Electronics Co., Ltd. Home network system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102437930A (zh) * 2011-12-22 2012-05-02 宁波大学 一种降低宽带接入网功耗的资源优化方法
CN105043774A (zh) * 2015-07-14 2015-11-11 中国运载火箭技术研究院 一种采用插值计算舵机功耗的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
嵌入式软件算法级功耗BP网络模型研究;刘啸滨等;《电子科技大学学报》;20111130;第40卷(第6期);第921-926页 *
面向移动图形顶点处理器的高性能低功耗定点特殊函数运算单元设计;焦继业等;《电子与信息学报》;20111130;第33卷(第11期);第2764-2770页 *

Also Published As

Publication number Publication date
CN106991030A (zh) 2017-07-28

Similar Documents

Publication Publication Date Title
CN106991030B (zh) 一种基于在线学习的***功耗优化的轻量级方法
Rizvandi et al. Linear combinations of dvfs-enabled processor frequencies to modify the energy-aware scheduling algorithms
Kolodziej et al. Genetic algorithms for energy-aware scheduling in computational grids
Mandal et al. An energy-aware online learning framework for resource management in heterogeneous platforms
Ma et al. Spendthrift: Machine learning based resource and frequency scaling for ambient energy harvesting nonvolatile processors
Chen et al. Learning-based quality management for approximate communication in network-on-chips
Xia et al. Voltage, throughput, power, reliability, and multicore scaling
Liu et al. Power-adaptive computing system design for solar-energy-powered embedded systems
Li et al. PATH: Performance-aware task scheduling for energy-harvesting nonvolatile processors
Chen et al. Quality optimization of adaptive applications via deep reinforcement learning in energy harvesting edge devices
Wang et al. Communication-aware task scheduling for energy-harvesting nonvolatile processors
Khan et al. Energy analysis of a dvfs based power strategy on arm platforms
Yu et al. An improved DVFS algorithm for energy-efficient real-time task scheduling
Sharma et al. Energy efficient software development life cycle-An approach towards smart computing
Rodriguez-Gonzalo et al. Improving the energy efficiency of MPI applications by means of malleability
ul Islam et al. A framework for learning based DVFS technique selection and frequency scaling for multi-core real-time systems
Moghaddam et al. Dynamic lifetime reliability management for chip multiprocessors
Li et al. An embedded software power model based on algorithm complexity using back-propagation neural networks
El-Essawy et al. A microarchitectural-level step-power analysis tool
Moghaddam Dynamic energy and reliability management in network-on-chip based chip multiprocessors
Scherrer et al. Low complexity, real-time adjusted power management policy using golden section search
Miao et al. A multi-objective hybrid genetic algorithm for energy saving task scheduling in CMP system
Zhai et al. An online optimization for dynamic power management
Gupta et al. User centric framework of power schemes for minimizing energy consumption by computer systems
Khan et al. Impact of operating points on DVFS power management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant