CN110554838B - 一种基于联合优化回声状态网络的热数据预测方法 - Google Patents
一种基于联合优化回声状态网络的热数据预测方法 Download PDFInfo
- Publication number
- CN110554838B CN110554838B CN201910566123.4A CN201910566123A CN110554838B CN 110554838 B CN110554838 B CN 110554838B CN 201910566123 A CN201910566123 A CN 201910566123A CN 110554838 B CN110554838 B CN 110554838B
- Authority
- CN
- China
- Prior art keywords
- particle
- storage layer
- weight
- value
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于联合优化回声状态网络的热数据预测方法,将量子粒子群优化创造性地用于计算回声状态网络的存储层参数得到最佳存储层参数,在粒子位置更新过程中结合L2+自适应L1/2正则化约束的回声状态网络计算过程输出权值并计算出全局最佳适应值,迭代结束时将全局最佳适应值对应的粒子位置作为最佳存储层参数,最后基于最佳存储层参数采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值,并利用最终输出权值和输入的历史热数据所在逻辑区块地址预测出热数据,预测逻辑区块地址上的数据为热数据,本发明将热数据预测替代了热数据识别,公开的预测性热数据识别技术能更好地服务于固态硬盘的垃圾回收和磨损均衡任务。
Description
技术领域
本发明属于混沌时间序列预测技术领域,具体涉及一种基于联合优化回声状态网络的热数据预测方法。
背景技术
作为一种非易失性存储技术,NAND闪存被广泛用于通信***和消费电子产品,与硬盘驱动器相比,具有更高的访问速度和功率效率。在基于NAND闪存的消费电子设备中,大量应用依赖于NAND闪存来进行数据交换、文件存储和视频存储。NAND闪存主要用来存储大容量数据,NAND结构能提供极高的单元密度,可以达到高存储密度、高写入和高擦除速度;因此NAND闪存多应用于大容量数据存储,例如固态硬盘。未来NAND闪存的需求量还将持续增长,主要应用在云计算、物联网及数据中心等领域。
然而,NAND闪存至少面临两个挑战,即异地更新和有限的耐久性,这限制了其大规模应用。NAND闪存存在无法覆盖操作的缺陷,即在一个页面闪存被擦除之前无法在该页面上执行新的写操作。因此不当的更新将生成许多无效页面和死页面,这会降低效率和性能。此外,NAND闪存具有有限的寿命,因为闪存块只能承受有限次数的擦除,如果块的擦除次数大于块的最大可擦除次数,则它将无法使用。垃圾回收(Garbage Collection,GC)和磨损均衡(Wear Leveling,WL)是将频繁写入的数据(即热数据)分配到具有较少擦除次数的块中,并将最近最少使用的数据(即冷数据)分配到具有较多擦除次数的块中的设计思想,对解决这两个挑战有着重要的影响,而GC和WL的效率和性能较大程度上依赖于热数据识别(HotData Identification,HDI)。HDI的本质是试图很好地理解热数据的访问行为,以便智能地将不同的数据分配给适当的块,但传统的HDI具有以下两个问题,一个是内存开销很大。目前,大部分的热数据识别机制均是采用识别NAND闪存中热数据页的思想,这些机制的核心原理就是页计数器,在一定时间内记录与NAND闪存页相对应的逻辑页的读写操作次数,如果读写次数大于设定的阈值,则该请求页被判断为热页,否则为冷页。另一个严重的问题时识别的精确度不高,基于Bloom过滤器的热数据识别机制广泛适用于SSD的冷热数据识别,但Bloom过滤器固有的缺陷就是假阳性,即将不属于集合内的数据错误地判定为在集合内。另外,基于负载请求大小和负载访问模式等热数据识别方式考虑因素比较单一,没能完全综合考虑负载的局部性特征,热数据识别的准确度不高。
发明内容
本发明的目的是提供一种基于联合优化回声状态网络的热数据预测方法,其创造性地提出用热数据预测代替传统的热数据识别,并构建了联合优化回声状态网络,从而使预测的热数据更具有实时性和可靠性。
本发明提供一种基于联合优化回声状态网络的热数据预测方法,包括如下步骤:
S1:初始化量子粒子群算法所需参数以及每个粒子的位置信息;
其中,粒子的位置信息包括粒子初始位置以及位置范围,每个粒子的位置用回声状态网络中存储层参数表示;
S2:利用量子粒子群算法迭代寻优确定最佳存储层参数;
其中,基于每个粒子的位置范围采用量子粒子群算法更新粒子位置,并每次更新过程中利用L2+自适应L1/2正则化约束的回声状态网络计算过程输出权值再得到全局最佳适应值,迭代结束时全局最佳适应值对应的粒子位置作为最佳存储层参数;
S3:基于回声状态网络中最佳存储层参数采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值;
S4:利用最终输出权值和输入的历史热数据所在逻辑区块地址预测出热数据,预测公式如下:
y=x*Wout(1)
式中,y表示获取的预测逻辑区块地址,预测逻辑区块地址上的数据为热数据,x为输入的历史热数据所在逻辑区块地址,Wout(1)表示输出权值,所述历史热数据所在的逻辑区块地址用于步骤S2和步骤S3中回声状态网络训练过程。
本发明在沿用固态硬盘结构框架的同时将闪存转换层中的热数据识别模块创新性的用热数据预测代替,使用联合优化回声状态网络预测热数据,联合优化包括两个部分,第一部分使用量子粒子群算法迭代寻优确定回声状态网络的最佳存储层参数,第二部分使用L2+自适应L1/2正则化约束的ESN获取高稀疏度的输出权值,本发明将量子粒子群算法迭代寻优以及L2+自适应L1/2正则化约束相结合得到最佳存储层参数,用于预测的联合优化回声状态网络更具有实时性和可靠性。本发明利用历史热数据所在的逻辑区块地址训练回声状态网络得到最终输出权值,再利用其预测为热数据所在的逻辑区块地址。
进一步优选,步骤S2中迭代寻优确定最佳存储层参数的执行过程如下:
S21:将每个粒子的位置依次作为回声状态网络中存储层参数,并分别采用L2+自适应L1/2正则化约束的回声状态网络计算出每个粒子对应过程输出权值;
其中,将每个粒子的当前位置依次作为回声状态网络中的存储层参数并计算过程输出权值;
S22:利用每个粒子对应的过程输出权值计算出每个粒子的适应值;
S23:基于最小适应值原则根据每个粒子的适应值选择出每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
其中,选为全局最佳适应值的粒子位置为全局最佳参数;
S24:在粒子的位置范围内更新每个粒子的位置,并基于每个粒子的更新位置重新计算每个粒子的适应值,并基于最小适应值原则更新每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
S25:判断迭代次数是否达到最大迭代次数,若未达到,返回步骤S24进行下一次迭代计算;否则,将当前的全局最佳参数作为最佳存储层参数。
进一步优选,按照如下公式更新任一粒子j的位置:
式中,Pj(t+1)、Pj(t)分别表示更新后、更新前的粒子j的位置,和uj均为随机数,sbestj、sbesti表示第j个、第i个粒子的个体最佳参数,mbest为所有粒子当前个体最佳参数的平均值,iter、itermax分别为当前迭代次数以及最大迭代次数,ωmax、ωmin分别为最大惯性因子、最小惯性因子,N为粒子总数。
进一步优选,任一粒子j的适应值的计算公式为:
式中,Fitness表示当前粒子j的适应值,λ1、λ2均为正则化系数,为当前粒子j对应的过程输出权值Wout(2);Y表示用于网络训练的历史热数据所在逻辑区块地址的后段,X表示基于网络训练的历史热数据所在逻辑区块地址的前段更新的存储层的状态信息,表示基于当前粒子j对应的过程输出权值时的历史热数据所在逻辑区块地址的后段对应的预测结果。
进一步优选,采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值或过程输出权值的过程如下:
U401:获取回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,以及利用历史热数据所在逻辑区块地址的前段作为输入变量U,后段作为实际结果Y;
其中,输入层-存储层权值矩阵以及存储层内部连接权值矩阵与回声状态网络中存储层参数相关;
U402:基于输入变量U更新存储层的状态信息X,状态信息X由状态节点信息X(t)构成;
X(t)=log sig(U(t)Win+X(t-1)Wx)
式中,U(t)表示输入变量U中第t个数据,X(t)、X(t-1)分别表示第t个、第t-1个状态节点信息,t的最大值T由输入变量U的数据长度决定,Win、Wx分别表示回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,logsig(·)表示激活函数;
U403:基于L2+自适应L1/2正则化约束下的损失函数获取损失函数最小值下的输出权值;
式中,E表示损失函数,λ1、λ2均为正则化系数。其中,若为计算步骤S2中的过程输出权值,输出权值Wout等于过程输出权值;若为计算步骤S3中的最终输出权值,输出权值Wout等于最终输出权值。
进一步优选,步骤U403的获取过程为:将损失函数进行简化,再采用坐标下降算法计算出输出权值;
其中,简化后的损失函数表示为:
求解矩阵W′out的方法为对其中每个元素分别计算,W′out第m行第k个元素的值如下:
其中,
最后利用矩阵W′out与输出权值Wout的关系计算出输出权值Wout。
进一步优选,还包括对步骤U403得到的输出权值进行自适应优化,优化过程如下:
对损失函数进行转换,并采用坐标下降算法计算出权值W″out,再利用权值W″out计算出优化后的输出权值;
转换后的损失函数为:
权值W″out与输出权值Wout的关系为:
进一步优选,回声状态网络中存储层参数包括内部连接谱半径,存储层规模,输入层比例系数和存储层稀疏度四个关键参数。
进一步优选,步骤S1中初始化量子粒子群算法所需参数包括粒子总数N,最大迭代次数itermax、以及最大惯性因子ωmax和最小惯性因子ωmin。
进一步优选,更新粒子位置时,若粒子移动距离超过了粒子对应的位置范围,则将粒子位置参数设置为超过位置范围对应的边界值。
有益效果
1、本发明创新性地提出了用热数据预测替代传统的热数据识别,公开的热数据预测技术可根据历史访问行为,提前一个甚至几个节拍预测下一个数据的性质,主动地分配存储至固态硬盘(SSD)对应区块(热/冷数据区块),相较于传统的热数据识别更具有主动性,且本发明实现过程使用联合优化来提升网络预测的准确度,从而获得了更精确的热数据识别效果,高效的热数据预测将更好的服务于垃圾回收和磨损均衡技术,最终提升固态硬盘的寿命。同时神经网络的方法对于输入量保留了更多的特征信息,更全面的对热数据进行分类。
2、本发明对回声状态网络进行联合优化,L2正则化约束通过模型偏差和预测方差之间的权衡获得了良好的泛化能力从而能够获得连续收缩的权重,然而它不能产生稀疏解;自适应L1/2正则化可以生成非常稀疏的解,但是当预测变量之间存在高度相关性时,L1/2不能很好地发挥调节作用,本发明综合采用L2+自适应L1/2正则化训练最小二乘法,可以获得两种正则化的优点,进而提高了对热数据的预测精度。另外,基于QPSO算法对回声状态网络存储层参数进行优化,能够解决搭建模型时无法确定存储层参数的问题。相较于传统的PSO算法,该算法基于波粒二象性去除了粒子的速度信息,仅保留位置信息,可以有效的降低计算的复杂性,同时将获取适应模型的存储层参数,从而进一步提升预测精度;进而,本发明将L2+自适应L1/2正则化以及QPSO算法相结合,得到了最佳存储层参数,提升预测精度。
附图说明
图1是NAND闪存***的典型体系结构;
图2是本发明一个实施例提供的基于联合优化回声状态网络的热数据预测方法的流程图;
图3是本发明量子粒子群算法迭代寻优的具体算法流程图;
图4是本发明使用L2+自适应L1/2约束回声状态网络计算输出权值的具体算法流程图。
图5是本发明一实施例四种实际工作量的性能对比图。
具体实施方式
下面将结合实施例对本发明做进一步的说明。
本发明提供一种基于联合优化回声状态网络的热数据预测方法主要是应用于NAND闪存***,如图1所示为NAND闪存***的典型体系结构,其包括模块B101(用户的操作)、模块B102(文件***)和模块B103(固态硬盘)。用户的实际操作将通过文件***对固态硬盘产生影响。固态硬盘又包括闪存转换层、flash控制器和NAND flash阵列,其中闪存转换层包含地址分配单元、垃圾回收单元、磨损均衡单元、热数据预测单元,其中本发明创新性地提出将热数据预测单元替代传统的热数据识别单元,传统的热数据识别方法通常被动地分析用户访问行为,通过Flash传输层协议(FTL)将对应数据分配存储至固态硬盘(SSD)对应区块(热/冷数据区块),该方法在应对访问行为复杂的请求时存在较高的热数据漏检或虚警。本发明公开的热数据预测技术可根据历史访问行为,提前一个甚至几个节拍预测下一个数据的性质,主动地分配存储至固态硬盘(SSD)对应区块(热/冷数据区块),同时,兼容传统热数据识别方案的二次校验。据此,本发明提出的热数据预测方法实质为"预测性热数据识别"。本发明最终获取的预测逻辑区块地址信息用于垃圾回收、磨损均衡处理。
上述过程中可以看出磨损均衡和垃圾收集在固态硬盘中具有较大的影响力。传统的热数据识别就是为了准确,高效的分辨出哪些数据属于有效数据。本发明提供一种基于联合优化回声状态网络的热数据预测方法是将热数据预测来代替热数据识别,具有高精准度的预测,其具体包括如下步骤:
S1:初始化量子粒子群算法所需参数以及每个粒子的位置信息。
其中,粒子的位置信息包括粒子初始位置以及位置范围,每个粒子的位置用回声状态网络(ESN)中存储层参数表示,回声状态网络中存储层参数包括内部连接谱半径,存储层规模,输入层比例系数和存储层稀疏度,每个粒子的维数在本例中初始化为4,即每个粒子是1*4的矩阵,分别代表ESN存储层的4个参数。确定4个参数的范围,将参数的范围定为所有粒子的位置范围,初始化时在位置范围内给每个粒子随机赋值,在随后的更新过程中可视为粒子在规定范围内不断朝着最优方向移动,若粒子在移动中超出了规定范围则将粒子位置信息更新为边界值。其中每个粒子位置都代表ESN存储层参数具体数值。
量子粒子群算法所需参数包括粒子总数N、最大迭代次数Itermax、最大惯性因子ωmax和最小惯性因子ωmin(用于后续更新粒子位置信息)。
S2:利用量子粒子群算法迭代寻优确定最佳存储层参数;
其中,基于每个粒子的位置范围采用量子粒子群算法更新粒子位置,并每次更新过程中利用L2+自适应L1/2正则化约束的回声状态网络计算过程输出权值再得到全局最佳适应值,迭代结束时全局最佳适应值对应的粒子位置作为最佳存储层参数。其具体过程包括如下步骤:
S21:将每个粒子的位置作为回声状态网络中存储层参数,并分别采用L2+自适应L1/2正则化约束的回声状态网络计算出每个粒子对应过程输出权值;
其中,将每个粒子的当前位置依次作为回声状态网络中的存储层参数并计算过程输出权值;
S22:利用每个粒子对应的过程输出权值计算出每个粒子的适应值;
S23:基于最小适应值原则根据每个粒子的适应值选择出每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
其中,选为全局最佳适应值的粒子位置为全局最佳参数;
S24:在粒子的位置范围内更新每个粒子的位置,并基于每个粒子的更新位置重新计算每个粒子的适应值,并基于最小适应值原则更新每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
S25:判断迭代次数是否达到最大迭代次数,若未达到,返回步骤S24进行下一次迭代计算;否则,将当前的全局最佳参数作为最佳存储层参数。
基于上述逻辑,本发明实施例提供如图3所示的实例流程图,其包括如下步骤:
U301:迭代初始化,设置当前迭代次数iter为1,设置粒子标号j为1。
U302:将第j个粒子所在位置设置为ESN存储层参数,利用L2+自适应L1/2正则化约束训练中出现的最小二乘计算,以获取更高稀疏度的过程输出权值Wout(2)。用L2+自适应L1/2正则化约束的ESN计算输出权值Wout的详细步骤如图4所示,下文再具体描述。
U303:基于第j个粒子对应的过程输出权值Wout(2)计算第j个粒子对应的适应值,计算公式如下:
式中,λ1、λ2均为正则化系数,为当前粒子j对应的过程输出权值Wout(2);Y表示用于网络训练的历史热数据所在逻辑区块地址的后段,X表示基于网络训练的历史热数据所在逻辑区块地址的前段更新的存储层的状态信息,表示基于当前粒子j对应的过程输出权值时的历史热数据所在逻辑区块地址的后段对应的预测结果。
D301:判断是否所有粒子均已完成适应值计算,若没有则将j加1,返回步骤U302计算下一个粒子的适应值,若所有粒子均已计算完适应值,则进行步骤U304。
U304:基于最小适应值原则根据每个粒子的适应值选择出每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数。在所有粒子均已计算完适应值后进行比较判断,记录每个粒子的适应值为个体最佳适应值fsbest,每个粒子的位置为个体最佳参数sbest;记录所有粒子适应值中最小的粒子适应值为全局最佳适应值fgbest,其对应的位置为全局最佳参数gbest。获得的这些参数将用于后续迭代寻优。
U305:迭代开始,将粒子标号j重新置为1。
U306:计算第j个粒子对应的mbest,计算公式如下:
式中,sbesti表示第i个粒子的个体最佳参数,mbest为所有粒子当前个体最佳参数的平均值,即所有粒子的每一维参数分别取平均值,用于更新粒子位置信息。
U307:更新粒第j个粒子的位置信息,更新公式如下:
从β的计算公式中可以看出,在迭代前期,代表粒子移动的步长的参数β较大,粒子可以更快的向最佳位置移动;而迭代后期β较小,意味着在最佳位置附近粒子减小步长,每次移动更精确的靠近最佳位置。
更新完位置信息后,对新得到的存储层参数再次利用L2+自适应L1/2正则化约束的ESN重新计算适应值,因此D302、D303、U308、U309为:根据新计算出的适应值更新个体最佳和全局最佳,若新计算出的适应值小于该粒子的个体最佳适应值,则将该粒子的个体最佳适应值更新为新计算出的适应值,同时更新该粒子的个体最佳参数为当前粒子的参数;若新计算出的适应值小于全局最佳适应值,则更新该适应值为全局最佳适应值,同时更新全局最佳参数为该粒子的参数。
D304:判断是否所有粒子都更新完,若没有,j+1并返回U306,利用已更新的粒子参数重新计算mbest,并更新下一个粒子的位置信息,若所有粒子都已更新完,则进行D305。
D305:判断迭代次数是否达到最大迭代次数,若没有则将iter加1返回U305,进行下一次迭代,若已达到最大迭代次数,导出最终的全局最佳参数用于后续训练联合优化回声状态网络来预测逻辑区块地址。
S3:基于回声状态网络中最佳存储层参数采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值。其中,计算最终输出权值的过程如图4所示,下文将对此进行详细描述。
S4:利用最终输出权值和输入的历史热数据所在逻辑区块地址预测出热数据,预测公式如下:
y=x*Wout(1)
式中,y表示获取的预测逻辑区块地址,预测逻辑区块地址上的数据为热数据,x为输入的历史热数据所在逻辑区块地址,Wout(1)表示最终输出权值。其中,y就是预测访问地址,值得注意的是,x和Wout(1)均可以是多维变量,而得到的y则是一维变量,得到的逻辑区块地址上的数据将被归为热数据,用于垃圾回收和磨损均衡处理。
计算输出权值时,均为确定了一组存储层参数,即内部连接谱半径,存储层规模,输入层比例系数和存储层稀疏度。如图4所示,本发明中采用L2+自适应L1/2正则化约束的回声状态网络计算输出权值的过程如下:
U401:获取回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,以及利用历史热数据所在逻辑区块地址的前段作为输入变量U,后段作为实际结果Y。
具体的,回声状态网络(Echo State Network,ESN)是一种计算复杂度低且快速收敛的计算方案,适用于时间数据分类和预测任务。ESN网络架构包括三层:输入层,存储层和输出层,其中,输入层-存储层权值为Win,存储层内部连接权值为Wx,存储层-输出层权值为Wout。初始化输入层、存储层、输出层中节点个数为K、n、L,存储层节点个数n即为存储层参数中存储层规模决定。以及初始化输入层-存储层权值Win∈Rn×K,即随机赋值;初始化存储层内部连接权值Wx∈Rn×n,即n×n×存储层稀疏度得到非零个数,再对连接权值Wx中的非零元素的位置和大小随机赋值,其他元素均为零。且当存储层稀疏度越大时,非线性逼近能力越强;之后利用内部连接谱半径确定内部连接权值Wx的最大特征值,只有当内部连接谱半径小于1时才能确保网络的稳定。因此,基于存储层的参数来确定输入层-存储层权值Win∈Rn×K,存储层内部连接权值Wx∈Rn×n。本实施例中,还初始化L1/2和L2系数λ1=5*10-7,λ2=1*10-5用于正则化计算,利用利用输入的历史热数据所在逻辑区块地址的前2/3构造成输入变量U,后1/3构造成实际结果Y,本发明实施例中选用的历史热数据所在逻辑区块地址为用户记载的历史热数据所在逻辑区块地址,其他可行的实施例中,选取的长度可以是其他,本发明对其不进行具体的限定,总体思路为,利用前段地址来预测后段地址,再将预测的后段地址与实际地址进行比对来调节网络,此部分为回声状态网络原有特性,本发明对其不进行具体的描述。
U402:基于输入变量U更新存储层的状态信息X,状态信息X由状态节点信息X(t)构成;
X(t)=log sig(U(t)Win+X(t-1)Wx)
式中,U(t)表示输入变量U中第t个数据,X(t)、X(t-1)分别表示第t个、第t-1个状态节点信息,节点个数由输入变量U的数据长度决定,Win、Wx分别表示回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,logsig(·)表示激活函数,它将神经网络可以任意逼近任何非线性函数,之后神经网络就可以应用到非线性模型中,在使用激活函数时我们将输入量直接乘以输入层比例系数变换到激活函数相应的范围内。由于依次输入进行计算,因此t可以理解为时刻。
U403:基于L2+自适应L1/2正则化约束下的损失函数获取损失函数最小值下的输出权值;
式中,E表示损失函数,λ1、λ2均为正则化系数。
为了实现计算,本发明将损失函数E进行简化,再采用坐标下降算法计算出输出权值;
其中,简化后的损失函数表示为:
求解矩阵W′out的方法为对其中每个元素分别计算,W′out第m行第k个元素的值(W′out)mk如下:
其中,
最后利用矩阵W′out与输出权值Wout的关系计算出输出权值Wout。本实施例中还包括对步骤U403得到的输出权值进行自适应优化,优化为U404:
U404:对损失函数进行转换,并采用坐标下降算法计算出权值W″out,再利用权值W″out计算出优化后的输出权值;
转换后的损失函数为:
权值W″out与输出权值Wout的关系为:
为了验证本发明所述方法的可靠性,本发明创新性地用热数据预测代替热数据识别,提高了热数据判别准确率。我们采用了四个实际工作量进行客观评估。Financial1是一个写密集型跟踪文件,MSR是大型企业服务器的常见工作负载,Distilled代表个人计算机的典型使用模式,最后,MillSSD是从工业自动光学检测仪器收集的,具有Runcore RCS的硬件配置-V-T25SSD(512GB,SATA2),Intel X2 7400和2G DDR3。MillSSD也是一个写密集型跟踪文件,因为它具有实质性映像备份的作用。本实施例的性能对比结果见图5。从试验结果可知:以WDAC为基准,HOESN热比率曲线在大多数情况下几乎与WDAC重叠。在所有四种工作负载下都可以清楚地发现这一主要趋势,特别是对于更多写密集型MSR和MillSSD。很明显,在四个工作负载下,我们的HOESN的FIR最低,其次是DL-MBF_s。尽管MBF经历了相对较高的FIR,但它仍然是用于SSD的良好HDI方案,其中提出了WDAC,其成为以下研究的经典基准。值得注意的是,在四种工作负载中,HOESN的改进程度对于MillSSD来说是最令人印象深刻的(从4.08%到2.23%)。这些初步测试也证明了我们最初的想法,即理解NAND闪存的热数据的访问行为可以被认为是时间序列的预测,HOESN正是针对这个想法提出的。结果表明,我们的预测方法可以很好地了解磁盘工作负载的访问行为,这是为GC和WL提供可靠服务的基本前提。
需要强调的是,本发明所述的实例是说明性的,而不是限定性的,因此本发明不限于具体实施方式中所述的实例,凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式,不脱离本发明宗旨和范围的,不论是修改还是替换,同样属于本发明的保护范围。
Claims (10)
1.一种基于联合优化回声状态网络的热数据预测方法,其特征在于:包括如下步骤:
S1:初始化量子粒子群算法所需参数以及每个粒子的位置信息;
其中,粒子的位置信息包括粒子初始位置以及位置范围,每个粒子的位置以回声状态网络中存储层参数表示;
S2:利用量子粒子群算法迭代寻优确定最佳存储层参数;
其中,基于每个粒子的位置范围采用量子粒子群算法更新粒子位置,每次更新过程中利用L2+自适应L1/2正则化约束的回声状态网络计算过程输出权值并计算出全局最佳适应值,迭代结束时全局最佳适应值对应的粒子位置作为最佳存储层参数;
S3:基于回声状态网络中最佳存储层参数采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值;
S4:利用最终输出权值和输入的历史热数据所在逻辑区块地址预测出热数据,预测公式如下:
y=x*Wout(1)
式中,y表示获取的预测逻辑区块地址,预测逻辑区块地址上的数据为热数据,x为输入的历史热数据所在逻辑区块地址,Wout(1)表示最终输出权值,所述历史热数据所在的逻辑区块地址用于步骤S2和步骤S3中回声状态网络训练过程。
2.根据权利要求1所述的方法,其特征在于:步骤S2中迭代寻优确定最佳存储层参数的执行过程如下:
S21:将每个粒子的位置依次作为回声状态网络中存储层参数,并分别采用L2+自适应L1/2正则化约束的回声状态网络计算出每个粒子对应过程输出权值;
其中,将每个粒子的当前位置依次作为回声状态网络中的存储层参数并计算过程输出权值;
S22:利用每个粒子对应的过程输出权值计算出每个粒子的适应值;
S23:基于最小适应值原则根据每个粒子的适应值选择出每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
其中,选为全局最佳适应值的粒子位置为全局最佳参数;
S24:在粒子的位置范围内更新每个粒子的位置,并基于每个粒子的更新位置重新计算每个粒子的适应值,并基于最小适应值原则更新每个粒子的个体最佳适应值、个体最佳参数,以及全局最佳适应值以及全局最佳参数;
S25:判断迭代次数是否达到最大迭代次数,若未达到,返回步骤S24进行下一次迭代计算;否则,将当前的全局最佳参数作为最佳存储层参数。
5.根据权利要求1所述的方法,其特征在于:采用L2+自适应L1/2正则化约束的回声状态网络计算最终输出权值或过程输出权值的过程如下:
U401:获取回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,以及利用历史热数据所在逻辑区块地址的前段作为输入变量U,后段作为实际结果Y;
其中,输入层-存储层权值矩阵以及存储层内部连接权值矩阵与回声状态网络中存储层参数相关;
U402:基于输入变量U更新存储层的状态信息X,状态信息X由状态节点信息X(t)构成;
X(t)=logsig(U(t)Win+X(t-1)Wx)
式中,U(t)表示输入变量U中第t个数据,X(t)、X(t-1)分别表示第t个、第t-1个状态节点信息,t的最大值T由输入变量U的数据长度决定,Win、Wx分别表示回声状态网络中输入层-存储层权值矩阵,存储层内部连接权值矩阵,logsig(·)表示激活函数;
U403:基于L2+自适应L1/2正则化约束下的损失函数获取损失函数最小值下的输出权值;
式中,E表示损失函数,λ1、λ2均为正则化系数,Wout表示输出权值,X*Wout表示基于输出权值Wout时的历史热数据所在逻辑区块地址的后段对应的预测结果;
其中,若为计算步骤S2中的过程输出权值,输出权值Wout等于过程输出权值;若为计算步骤S3中的最终输出权值,输出权值Wout等于最终输出权值。
8.根据权利要求1所述的方法,其特征在于:回声状态网络中存储层参数包括内部连接谱半径,存储层规模,输入层比例系数和存储层稀疏度四个关键参数。
9.根据权利要求1所述的方法,其特征在于:步骤S1中初始化量子粒子群算法所需参数包括粒子总数N,最大迭代次数itermax、以及最大惯性因子ωmax和最小惯性因子ωmin。
10.根据权利要求1所述的方法,其特征在于:更新粒子位置时,若粒子移动距离超过了粒子对应的位置范围,则将粒子位置参数设置为超过位置范围对应的边界值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910566123.4A CN110554838B (zh) | 2019-06-27 | 2019-06-27 | 一种基于联合优化回声状态网络的热数据预测方法 |
PCT/CN2020/097950 WO2020259543A1 (zh) | 2019-06-27 | 2020-06-24 | 一种基于联合优化回声状态网络的热数据预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910566123.4A CN110554838B (zh) | 2019-06-27 | 2019-06-27 | 一种基于联合优化回声状态网络的热数据预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110554838A CN110554838A (zh) | 2019-12-10 |
CN110554838B true CN110554838B (zh) | 2020-08-14 |
Family
ID=68735438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910566123.4A Active CN110554838B (zh) | 2019-06-27 | 2019-06-27 | 一种基于联合优化回声状态网络的热数据预测方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110554838B (zh) |
WO (1) | WO2020259543A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110554838B (zh) * | 2019-06-27 | 2020-08-14 | 中南大学 | 一种基于联合优化回声状态网络的热数据预测方法 |
CN112448697A (zh) * | 2020-10-30 | 2021-03-05 | 合肥工业大学 | 一种基于量子粒子群算法的有源滤波器优化方法及*** |
CN112731019B (zh) * | 2020-12-21 | 2022-10-14 | 合肥工业大学 | 一种anpc三电平逆变器故障诊断方法 |
CN115841067A (zh) * | 2022-10-12 | 2023-03-24 | 大连理工大学 | 针对航空发动机故障预警的量子回声状态网络模型构建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726858A (zh) * | 2018-12-21 | 2019-05-07 | 新奥数能科技有限公司 | 基于动态时间规整的热负荷预测方法及装置 |
CN109901800A (zh) * | 2019-03-14 | 2019-06-18 | 重庆大学 | 一种混合内存***及其操作方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103959291B (zh) * | 2011-04-20 | 2018-05-11 | 诺沃—诺迪斯克有限公司 | 基于具有自适应选择的核和正则化参数的正则化网络的葡萄糖预测器 |
CN103020434A (zh) * | 2012-11-30 | 2013-04-03 | 南京航空航天大学 | 一种基于粒子群优化的最小二乘支持向量机组合预测方法 |
US9575671B1 (en) * | 2015-08-11 | 2017-02-21 | International Business Machines Corporation | Read distribution in a three-dimensional stacked memory based on thermal profiles |
US10014026B1 (en) * | 2017-06-20 | 2018-07-03 | Seagate Technology Llc | Head delay calibration and tracking in MSMR systems |
CN109656485A (zh) * | 2018-12-24 | 2019-04-19 | 合肥兆芯电子有限公司 | 区分热数据和冷数据的方法 |
CN110554838B (zh) * | 2019-06-27 | 2020-08-14 | 中南大学 | 一种基于联合优化回声状态网络的热数据预测方法 |
-
2019
- 2019-06-27 CN CN201910566123.4A patent/CN110554838B/zh active Active
-
2020
- 2020-06-24 WO PCT/CN2020/097950 patent/WO2020259543A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726858A (zh) * | 2018-12-21 | 2019-05-07 | 新奥数能科技有限公司 | 基于动态时间规整的热负荷预测方法及装置 |
CN109901800A (zh) * | 2019-03-14 | 2019-06-18 | 重庆大学 | 一种混合内存***及其操作方法 |
Non-Patent Citations (1)
Title |
---|
Meiling Xu;Shuhui Zhang;Min Han.Multivariate time series modeling and prediction based on reservoir independent components.《2015 Sixth International Conference on Intelligent Control and Information Processing (ICICIP)》.2015,325-330. * |
Also Published As
Publication number | Publication date |
---|---|
WO2020259543A1 (zh) | 2020-12-30 |
CN110554838A (zh) | 2019-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110554838B (zh) | 一种基于联合优化回声状态网络的热数据预测方法 | |
US10896126B2 (en) | Storage device, method and non-volatile memory device performing garbage collection using estimated number of valid pages | |
WO2021008220A1 (en) | Systems and methods for data storage system | |
Xu et al. | A novel approach for determining the optimal number of hidden layer neurons for FNN's and its application in data mining | |
CN110968272B (zh) | 基于时间序列预测的海量小文件存储性能优化方法及*** | |
Yang et al. | Reducing garbage collection overhead in {SSD} based on workload prediction | |
Ma et al. | RBER-aware lifetime prediction scheme for 3D-TLC NAND flash memory | |
CN112232495A (zh) | 预测模型的训练方法、装置、介质和计算设备 | |
CN113157202A (zh) | 存储控制器和包括该存储控制器的存储装置及其操作方法 | |
US20220165337A1 (en) | Systems and methods for determining change of read threshold voltage | |
CN112582004A (zh) | 存储器***、执行噪声消除的方法和计算机程序产品 | |
US20220027721A1 (en) | Read threshold estimation systems and methods using deep learning | |
EP3651024B1 (en) | Method of operating storage device, storage device performing the same and storage system including the same | |
Luo et al. | Self-learning hot data prediction: Where echo state network meets NAND flash memories | |
CN115713956A (zh) | 用于动态补偿非易失性存储器存储装置中多个干扰源的***和方法 | |
Heidenreich et al. | Transfer learning of recurrent neural network‐based plasticity models | |
Ahmed et al. | Bitcoin Price Prediction using the Hybrid Convolutional Recurrent Model Architecture | |
CN114154615A (zh) | 基于硬件性能的神经架构搜索方法和设备 | |
CN110275895B (zh) | 一种缺失交通数据的填充设备、装置及方法 | |
CN115827651B (zh) | 一种低能耗的机载嵌入式数据库内存事务管理方法及*** | |
CN111435403B (zh) | 一种闪存***的磨损均衡方法及装置 | |
Ha et al. | Dynamic hot data identification using a stack distance approximation | |
US11455531B2 (en) | Trustworthy predictions using deep neural networks based on adversarial calibration | |
Reddy et al. | Analysis of Stock Market Value Prediction using Simple Novel Long Short Term Memory Algorithm in Comparison with Back Propagation Algorithm for Increased Accuracy Rate | |
CN110263968B (zh) | 一种新的时间序列的预测方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |