CN109194423A - 基于优化的长短期记忆模型的单频点频谱预测方法 - Google Patents
基于优化的长短期记忆模型的单频点频谱预测方法 Download PDFInfo
- Publication number
- CN109194423A CN109194423A CN201810915056.8A CN201810915056A CN109194423A CN 109194423 A CN109194423 A CN 109194423A CN 201810915056 A CN201810915056 A CN 201810915056A CN 109194423 A CN109194423 A CN 109194423A
- Authority
- CN
- China
- Prior art keywords
- prediction
- spectrum
- frequency point
- training
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000015654 memory Effects 0.000 title abstract description 3
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000002474 experimental method Methods 0.000 claims description 30
- 230000007787 long-term memory Effects 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000013139 quantization Methods 0.000 claims description 13
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 8
- 241001269238 Data Species 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000007774 longterm Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000003050 experimental design method Methods 0.000 abstract description 7
- 238000002790 cross-validation Methods 0.000 abstract description 2
- 210000002569 neuron Anatomy 0.000 description 24
- 230000004913 activation Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000013401 experimental design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001123248 Arma Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/382—Monitoring; Testing of propagation channels for resource allocation, admission control or handover
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于优化的长短期记忆模型的单频点频谱预测方法。该方法通过在该信道上测得的历史频谱数据挖掘出频谱数据间内在规律和关联,把握频谱状态的演变规律,从而预测将来时刻的频谱状态。步骤如下:构建数据集,滑动固定长度的窗口,下一个时隙的频谱数据作为预测的标签;超参数优化,基于古田实验设计方法结合交叉验证,选择较好的模型配置;从分类的角度搭建基于深度学习的预测模型,并用训练集训练;将测试集输入到训练好的预测模型中,得到下一时隙的预测结果。本发明能够较好地预测出频谱演变规律。
Description
技术领域
本发明属于无线通信技术领域,具体地说,是一种基于优化的长短期记忆模型的单频点频谱预测方法。
背景技术
随着无线通信技术的发展和移动设备的增多,频谱使用需求激增。此外,频谱资源采用固定式分配,部分频带存在使用效率低下的问题。因此,有限的频谱资源利用率却不高的这种现状,导致了用户用频需求与频谱资源供应之间的矛盾,频谱资源显得日益匮乏。为解决这类矛盾从而提高频谱利用率,认知无线电提出了动态频谱接入策略,即非授权用户在对授权用户不施加有害干扰的前提下利用信道空闲的时隙进行通信,一旦授权用户需要通信时非授权用户就切换到其他空闲频点上。认知无线电中常常采用频谱感知或者频谱预测来捕捉空闲的信道,其中频谱感知基于各种不同的信号检测方法判断信道状态,而频谱预测通过已知的历史数据挖掘出频谱内在的演变规律,从而推断出将来可能的频谱状态。关于频谱预测的现有研究,大多数都是基于统计模型或者是浅层学习模型。频谱数据本质上是时间序列,与时间有很大的关系,但是这些模型缺乏时序概念,对时间序列的建模能力不强,因此这些频谱预测模型的性能有待提升。如何构建预测模型更好地挖掘出频谱演***势规律,从而提高频谱预测性能是具有研究意义的。
一般来说,频谱预测主要有两方面工作:一是预测信道占用状态,二是预测信道质量。预测信道状态时,原始频谱数据与阈值相比转换成二进制0、1序列,0代表信道空闲,1代表信道占用。实际上二进制序列与阈值的选择有很大关系,而且丢失了大量的原始数据信息,不利于了解和掌握具体的频谱状态演变情况。而在预测信道质量时,常常从回归的角度通过自回归移动平均模型(ARIMA)或者支持向量回归模型(SVR)预测该时间序列,但是这些模型仍然存在一些不足。ARIMA模型趋向于将历史数据的均值作为预测值,而SVR模型则缺乏结构化的方法来确定模型参数。
大多数频谱预测模型基于给定的历史数据预测下一时隙的频谱值,从未考虑到历史频谱数据间的时序关系并进行挖掘。
发明内容
本发明的目的在于为频谱预测提供一种新的思路,基于优化的长短期记忆模型进行单频点频谱预测,从而提高预测的准确率。
实现本发明目的的技术解决方案为:
一种基于优化的长短期记忆模型的单频点频谱预测方法,包括以下步骤:
步骤1,所有的原始频谱数据进行等间隔量化,量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围,完成数据的预处理。
步骤2,基于预处理后的单频点频谱数据,采用监督式学习方法构造样本数据集,即固定长度的窗口内的频谱数据作为样本的输入,下一时隙对应的实测值所属的量化类别作为样本的标签,窗口逐时隙地向下滑动,形成一个个样本,数据集随之构造完成,被划分成训练集和测试集;
步骤3,筛选出长短期记忆模型中需要优化的五类超参数并确定好每一类超参数的四项可选数值,优化超参数的实验采用古田正交实验设计方法,每个实验中超参数有固定的设置组合,基于训练集作交叉检验,并统计得到各实验中模型的平均预测准确率,预测准确率最高的实验中超参数的配置即为最优;
步骤4,基于挑选出的最佳超参数配置构建长短期记忆模型,并利用数据集中的训练集训练模型,基于Adam算法调整神经网络参数,使得预测类别和实际类别的交叉熵达到最小值;
步骤5,神经网络训练完成后,利用数据集中的测试集进行测试,根据预测结果计算预测准确率。
进一步地,步骤1所述单频点频谱数据等间隔量化后为一个列向量,将其映射到[a,b]的最大最小值归一化方法为:
Xscaler=Xstd*(b-a)+a (2)
其中Xmax,Xmin指的是量化后的所有频谱数据中的最大最小值,b和a分别是映射区间的上界和下界,常常取值1,-1。Xstd表示映射因子,而Xscaler表示经过最大最小值归一化后得到的数值。
进一步地,步骤3所述长短期记忆模型的最佳超参数设置由结合了交叉检验的古田正交实验获得。古田实验设计方法起源于工程实践中的质量控制,属于正交实验设计方法。当预测模型的评价指标受5种超参数因素影响,且每个影响因素具有4种层次可以选择时,实验设计可以以表L16(45)来表示,下标16指代实验进行的次数。实验中各影响因素组合并正交,组合设置均不同,相应的神经网络模型在训练集上进行K维交叉检验。训练集被分成K个子集,某一个子集为测试集时,其余子集担任训练集训练神经网络模型,测试并计算得到相应的预测准确率。K个正确率的均值即为该实验设置下神经网络的预测准确率,预测准确率最高的情况超参数的设置即被选择为最优参数。
进一步地,步骤4所述基于挑选出的最佳超参数配置构建长短期记忆模型,并利用数据集中的训练集训练模型,采用Adam算法调整神经网络参数,使得预测类别和实际类别的交叉熵达到最小值。预测类别和实际类别的交叉熵计算如下:
其中y(x)和分别代表样本实际类别和预测类别的概率分布,n为训练样本数。
Adam算法在最小化交叉熵时收敛较快,具体流程如下:
1、对以下参数进行初始化:学习速率ε,矩估计的指数衰减速率ρ1,ρ2,用于数值稳定的小常数δ,神经网络参数θ。并且初始化一阶矩变量s0=0、二阶矩变量r0=0以及时间步t=0;
2、从训练集中采集m个样本{x(1),...,x(m)}的小批量,对应目标为y(i)。计算梯度:
3、t增加1,更新有偏一阶矩估计和有偏二阶矩估计:
st←ρ1st-1+(1-ρ1)gt (5)
rt←ρ2rt-1+(1-ρ2)gt⊙gt (6)
4、修正一阶矩和二阶矩的偏差:
5、逐元素计算更新:
6、循环上述2到5步骤,直到θt收敛。
进一步地,步骤5中,根据预测结果统计该频点的正确率,该频点的正确率计算如下:
其中N为测试集中样本数目,flagk表示第k个样本的预测状态,当预测类别和标签类别相同时预测状态为1,反之则为0。
本发明与现有技术相比,其显著优点在于:(1)充分考虑了频谱数据间的时序关系,提出更加准确、更加合适的深度学习模型,能更好地捕捉到历史频谱数据内部的时间演变规律然后预测;(2)利用古田实验设计方法,简化了复杂的神经网络超参数选择问题,并能选择出较优的超参数设置;(3)针对单频点频谱预测问题,不同于常见的二进制预测或回归预测,提出从分类的角度去预测频谱的有限个状态。
附图说明
图1是本发明所提出的长短期记忆模型示意图。
图2是本发明中所提方案确定模型最佳结构的流程。
图3是传统多层感知器模型示意图。
图4是本发明实施例中单频点模型方法与多层感知器模型方法在某频点上的多次预测性能比较示意图。
图5是本发明实施例中模型方法与多层感知器模型方法在GSM1800频段的预测性能比较示意图。
图6是本发明实例中模型方法与多层感知器模型方法在GSM1800频段预测性能的累积分布函数。
具体实施方式
本发明的主要步骤如下:构建数据集,滑动固定长度的窗口,下一个时隙的频谱数据作为预测的标签;超参数优化,基于古田实验设计方法结合交叉验证,选择较好的模型配置;从分类的角度搭建基于深度学习的预测模型,并用训练集训练;将测试集输入到训练好的预测模型中,得到下一时隙的预测结果。
本发明所提出的基于优化的长短期记忆模型,旨在充分利用按照时间顺序实测得到的频谱数据,并捕捉其隐含的内在规律。考虑到单频点频谱数据作为一个时间序列,实测值不仅与历史数据有关,还与测量时间有关。例如,在两个不同的时刻即使历史数据相同的话,这两个时刻的频谱值也并不一定相同。并没有像传统的多层感知器(Multiple layerperceptron,MLP)一样将历史频谱数据看成是简单的数据集合,历史频谱数据按照时隙顺序依次输入到长短期记忆(Long short-term memory,LSTM)模型中,每输入一个频谱值,该长短期记忆模型利用上一时隙存储在神经元内的细胞状态和这个输入值来更新细胞当前时隙的状态和确定神经元的输出结果。长短期记忆模型输出层最后一个时隙的输出即为预测值,在模型训练过程中样本的标签和预测值间的误差最小化作为优化目标。
下面结合说明书附图对本发明作进一步说明。
图1是本发明所提出的基于优化的长短期记忆分类模型,模型框架由输入层、隐藏层和输出层构成,但是每个神经元除了与其他层的神经元有连接外自身还带有反馈。固定长度的单频点历史频谱数据一次输入一个值,所以输入层仅一个神经元。由于是分类问题,输出层采用Softmax作为激活函数。整个网络由于存在反馈,可以按照时域展开,当前时刻某神经元的输出不仅是输入元素的函数,而且与上一时刻该神经元的状态有关。本发明的模型中单个神经元的数学计算如下:
st=ot⊙tanh(ct) (6)
其中xt,st,ct分别表示在t时刻单个神经元的输入、隐藏状态矢量和记忆细胞。⊙表示哈德曼积,带有i,o,f上、下标的W和b则分别是是权重矩阵和偏置向量。深度学习超参数的选择由古田设计实验的实验结果确定。
图3是传统多层感知器线性模型,左图是网络整体结构,右图是神经元具体结构。固定长度的历史频谱数据作为一个整体输入到该模型的输入层,神经元个数即为窗口长度。输出层采用线性函数作为其激活函数。结合图3,多层感知器是一种全连接前向网络,两个相邻层中各个神经元都相互连接,但是同层之间神经元互不相连。单个神经元的数学操作为:
其中ω,b是神经元的参数,为激活函数,将求和结果映射到某区间。
本发明的基本思想是,在频谱预测中,由于信道状态的二进制序列会丢失大量的原始数据信息,通过多级量化原始数据使得可以从分类的角度做预测。而传统的预测模型没有很好地考虑到频谱数据的时间特性,因此需要搭建一种能掌握到数据内在时序演变特征的预测模型。结合图1,可以看出神经元的反馈在时域上展开,恰好和数据的时序演变特征具有一致性。
本发明基于频谱数据间的时间顺序关系,考虑采用比较适合处理时间序列问题的长短期记忆模型在单频点上进行频谱预测。采用古田实验设计方法进行实验,解决网络超参数的确定这一复杂问题。将训练时的优化目标设计为交叉熵,以达到最大化预测准确率的目标。本发明是基于优化的长短期记忆模型的单频点频谱预测方法,包括以下步骤:
步骤1,对所有的原始频谱数据进行等间隔量化,量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围,完成数据的预处理;
步骤2,基于预处理后的单频点频谱数据,采用监督式学习方法构造样本数据集,即固定长度的窗口内的频谱数据作为样本的输入,下一时隙对应的实测值所属的量化类别作为样本的标签,窗口逐时隙地向下滑动,形成一个个样本,数据集随之构造完成,被划分成训练集和测试集;
步骤3,筛选出长短期记忆模型中需要优化的五类超参数并确定好每一类超参数的四项可选数值,优化超参数的实验采用古田正交实验设计方法,每个实验中超参数有固定的设置组合,基于训练集作交叉检验,并统计得到各实验中模型的平均预测准确率,预测准确率最高的实验中超参数的配置即为最优;
步骤4,基于挑选出的最佳超参数配置构建长短期记忆模型,并利用数据集中的训练集训练模型,基于Adam算法调整神经网络参数,使得预测类别和实际类别的交叉熵达到最小值;
步骤5,神经网络训练完成后,利用数据集中的测试集进行测试,根据预测结果计算预测准确率。
本发明的具体实施如下:
一、步骤1所述所有的原始频谱数据等间隔量化后,单频点频谱数据为一个列向量,按照最大最小值归一化方法映射到[a,b]的方法为:
Xscaler=Xstd*(b-a)+a (9)
其中Xmax,Xmin指的是量化后的所有频谱数据中的最大最小值,b和a分别是映射区间的上界和下界,常常取值1,-1。Xstd表示映射因子,而Xscaler表示经过最大最小值归一化后得到的数值。
二、步骤2所述数据集构造,经过量化后样本标签仅仅只有有限多个。在分类中标签需要经过one-hot编码,即标签类别转化成除相应位置元素为1之外其余元素均为0的一个列向量。
三、步骤3所述影响长短期记忆预测模型准确率的超参数主要考虑以下五个:深度学习神经网络中隐层数目,每个隐藏层中的神经元个数、参数初始化方法、训练时的学习速率以及神经元的激活函数。每个影响因素都有四种层次可以选择,则古田正交实验设计方法可以用表L16(45)表示,下标16指代实验进行的次数。实验中各影响因素组合并正交,按照表2进行基于训练集的三维交叉频谱预测实验。16次实验中预测结果最高的超参数设置即为挑选出的较优的影响因素。
表2考虑五个因素,每个因素有四种层次的古田实验设计表
四、步骤4所述长短期记忆预测模型训练过程,在步骤3的实验中确定出较优的超参数组合,从而搭建好完整的神经网络框架,用该频点的训练集训练网络,具体流程图见图2。训练过程如下:
1)初始化:长短期记忆模型中每个神经元的所有参数按照设置的某种分布随机产生初始值。
2)前向计算误差:预测模型通过多个隐藏层计算得到输出值,和标签相比存在预测误差。最小化预测误差,也即是模型的优化目标为交叉熵,在分类任务中常常被用作目标优化函数,具体如下:
其中y(t)和分别表示真实类别和预测类别的概率分布,而n表示样本数量。
3)反向更新参数:根据链式法则误差从输出层反向传播到各隐藏层和输入层,基于Adam算法更新神经元各参数。
4)神经网络按照步骤2、3遍历所有样本,就完成一次迭代。迭代总次数完成,整个神经网络的训练过程也即完成。
实施例1
本发明的一个具体实施例如下描述,***仿真采用keras平台和python语言,频谱数据采用德国亚琛大学频谱测量活动中GSM1800下行频段的频点。该实施例验证所提模型与方法的稳定性和与优越性(图3和图4)。以1863.6MHz这个频点为例,预处理时首先进行8级量化,并根据式(1)映射到区间[-1,1]。构造数据集时,窗口大小设置成120,时间跨度约为3.5s,训练集和测试集按照4:1的比例划分。训练时批处理大小为150,迭代总次数为100,能保证收敛。在确定深度学习模型超参数时考虑以下五个因素,并且每个因素都可以有四种层次选择,如表1所示。
表1考虑五个影响因素,四种层次时对应的数值
相应地,结合古田实验设计方法,超参数影响因素的排列组合共有16个,如表2所示。训练集被分成三个子集,在每次实验中均进行三维交叉检验,平均预测准确率可以用来评价该次实验中的深度学习预测模型。本发明提出的深度学习预测模型每次实验的具体过程如下:
步骤1:按照实验设置的网络超参数搭建网络,并初始化网络中各神经元的参数;
步骤2:输入前向传播:固定长度的历史数据经过输入层、隐藏层以及输出层的层层计算,得到输出结果。然后计算输出结果和标签值之间的误差即交叉熵。
步骤3:误差反向传播:根据链式法则误差由输出层反向传播到各个隐藏层和输入层,按照Adam算法更新神经元的各种参数。
步骤4:按照步骤2、3遍历所有训练集样本,完成一次迭代。深度学习模型的训练过程一直到所有的迭代都完成之后才结束。
步骤5:将测试集输入到训练好的深度学习模型中进行预测,并计算预测准确率。
表2为预测1863.6MHz频点时超参数配置优化进行的16次实验结果,可以看到最佳神经网络的配置为:每个隐藏层神经元数目为10个,2个隐藏层,初始化方法为Glorotuniform分布,激活函数为Sigmoid以及学***均准确率更高,波形幅度更小。图5展示了在GSM1800下行频段各频点上,所提深度学习模型与多层感知器方法模型的预测性能比较。图6展示了两种模型在GSM1800下行频段预测性能的累计分布函数。仿真时两种预测模型的隐层数目、隐层中神经元数目、学习速率、初始化方法和激活函数设置都相同。从图5可以看出,所提方法模型较传统方法模型在大部分频点上预测性能有较大提升;从图6上看,对于LSTM分类模型来说,约90%的频点预测准确率都在94%以内,而MLP线性模型的话预测准确率在92%左右。
综上,本发明提出的基于优化的深度学习模型的频谱预测方法充分考虑频谱数据间的时间顺序关系,有效提升了频谱预测的准确率;利用古田实验设计方法确定了深度学习模型超参数的最佳配置,简化了模型参数选择问题;同时频谱数据经过多级量化从分类的角度进行预测,避免了二进制信道状态序列丢失信息的缺陷,与回归预测相比也在一定程度上减少了计算复杂度,该频谱预测模型更有优势。
Claims (5)
1.一种基于优化的长短期记忆模型的单频点频谱预测方法,其特征在于包括以下步骤:
步骤1,对所有的原始频谱数据进行等间隔量化,量化后的频谱数据采用最大最小值归一化方法将它们的数值映射到[a,b]范围,完成数据的预处理;
步骤2,基于预处理后的单频点频谱数据,采用监督式学习方法构造样本数据集,即固定长度的窗口内的频谱数据作为样本的输入,下一时隙对应的实测值所属的量化类别作为样本的标签,窗口逐时隙地向下滑动,形成一个个样本,数据集随之构造完成,并划分成训练集和测试集;
步骤3,筛选出长短期记忆模型中需要优化的五类超参数,并确定好每一类超参数的四项可选数值,优化超参数的实验采用古田正交实验设计方法,每个实验中超参数有固定的设置组合,基于训练集作交叉检验,并统计得到各实验中模型的平均预测准确率,预测准确率最高的实验中超参数的配置即为最优;
步骤4,基于挑选出的最佳超参数配置构建长短期记忆模型,并利用数据集中的训练集训练模型,基于Adam算法调整神经网络参数,使得预测类别和实际类别的交叉熵达到最小值;
步骤5,神经网络训练完成后,利用数据集中的测试集进行测试,根据预测结果计算预测准确率。
2.根据权利要求1所述的单频点频谱预测方法,其特征在于:步骤1所述频谱数据等间隔量化后为一个列向量,最大最小值归一化映射到[a,b]的方法为:
Xscaler=Xstd*(b-a)+a (2)
其中,Xmax,Xmin是量化后的所有频谱数据中的最大和最小值,b和a分别是映射区间的上界和下界,取值1,-1;Xstd表示映射因子,Xscaler表示经过最大最小值归一化后得到的数值。
3.根据权利要求1所述的单频点频谱预测方法,其特征在于:步骤3所述长短期记忆模型的最佳超参数设置由结合了交叉检验的古田正交实验获得,需要优化的超参数种类有5类,而且每类超参数的可选项有4项,根据古田正交实验设计方案共有16次实验;每次实验中,超参数的组合设置均不同,相应的神经网络模型在训练集上进行交叉检验,并统计得到该实验设置下神经网络的预测准确率,预测准确率最高的实验中超参数的设置即被选择为最优参数。
4.根据权利要求1所述的单频点频谱预测方法,其特征在于:所述步骤4中神经网络通过Adam算法使得训练集样本的预测类别和实际类别的交叉熵达到最小值,预测类别和实际类别的交叉熵计算如下:
其中,y(x)和分别代表样本实际类别和预测类别的概率分布,n为训练样本数;Adam算法在最小化交叉熵时收敛较快,具体流程如下:
1、对以下参数进行初始化:学习速率ε,矩估计的指数衰减速率ρ1,ρ2,用于数值稳定的小常数δ,神经网络参数θ,并且初始化一阶矩变量s0=0、二阶矩变量r0=0以及时间步t=0;
2、从训练集中采集m个样本{x(1),...,x(m)}的小批量,对应目标为y(i),计算梯度:
3、t增加1,更新有偏一阶矩估计和有偏二阶矩估计:
st←ρ1st-1+(1-ρ1)gt (5)
rt←ρ2rt-1+(1-ρ2)gt⊙gt (6)
4、修正一阶矩和二阶矩的偏差:
5、逐元素计算更新:
6、循环上述2到5步骤,直到θt收敛。
5.根据权利要求1所述的单频点频谱预测方法,其特征在于:步骤5中,根据预测结果统计该频点的正确率,该频点的正确率计算如下:
其中N为测试集中样本数目,flagk表示第k个样本的预测状态,当预测类别和标签类别相同时预测状态为1,反之则为0。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810915056.8A CN109194423A (zh) | 2018-08-13 | 2018-08-13 | 基于优化的长短期记忆模型的单频点频谱预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810915056.8A CN109194423A (zh) | 2018-08-13 | 2018-08-13 | 基于优化的长短期记忆模型的单频点频谱预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109194423A true CN109194423A (zh) | 2019-01-11 |
Family
ID=64921608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810915056.8A Pending CN109194423A (zh) | 2018-08-13 | 2018-08-13 | 基于优化的长短期记忆模型的单频点频谱预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109194423A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110380801A (zh) * | 2019-06-04 | 2019-10-25 | 杭州电子科技大学 | 基于lstm的协作感知算法及多usrp实现的方法 |
CN110730046A (zh) * | 2019-10-18 | 2020-01-24 | 中国人民解放军陆军工程大学 | 基于深度迁移学习的跨频段频谱预测方法 |
CN110855519A (zh) * | 2019-11-07 | 2020-02-28 | 深圳市高德信通信股份有限公司 | 一种网络流量预测方法 |
CN111224726A (zh) * | 2019-11-21 | 2020-06-02 | 南京邮电大学 | 一种基于长短期记忆网络的视频直播***及其实现方法 |
CN111478904A (zh) * | 2020-04-08 | 2020-07-31 | 莆田学院 | 一种基于概念漂移的物联网设备通信异常检测方法及装置 |
CN111786738A (zh) * | 2020-07-01 | 2020-10-16 | 中国人民解放军陆军工程大学 | 基于长短期记忆的抗干扰学习的网络结构及学习方法 |
CN111930601A (zh) * | 2020-05-14 | 2020-11-13 | 国家电网有限公司客户服务中心 | 一种基于深度学习的数据库状态综合评分方法及其*** |
CN112003663A (zh) * | 2020-07-22 | 2020-11-27 | 哈尔滨工业大学 | 基于lstm神经网络的认知无线电频谱感知方法 |
CN112241724A (zh) * | 2020-10-30 | 2021-01-19 | 南京信息工程大学滨江学院 | 一种基于双路卷积长短期神经网络的自动识别方法及*** |
CN112564881A (zh) * | 2020-12-01 | 2021-03-26 | 国网安徽省电力有限公司 | 基于长短时多门限信道状态预测的5g通信自适应传输方法 |
CN113114400A (zh) * | 2021-04-14 | 2021-07-13 | 中南大学 | 基于时序注意力机制和lstm模型的信号频谱空洞感知方法 |
CN113179144A (zh) * | 2021-04-16 | 2021-07-27 | 中国科学院微电子研究所 | 频谱预测方法和装置 |
CN113220466A (zh) * | 2021-06-02 | 2021-08-06 | 神州数码***集成服务有限公司 | 一种基于长短期记忆模型的云服务负载通用预测方法 |
CN113840297A (zh) * | 2021-10-08 | 2021-12-24 | 南京航空航天大学 | 一种基于射频机器学习模型驱动的频谱预测方法 |
CN113852432A (zh) * | 2021-01-07 | 2021-12-28 | 上海应用技术大学 | 基于rcs-gru模型的频谱预测感知方法 |
CN114124260A (zh) * | 2022-01-11 | 2022-03-01 | 中国人民解放军国防科技大学 | 基于复合2d-lstm网络的频谱预测方法、装置、介质及设备 |
CN114128348A (zh) * | 2019-07-16 | 2022-03-01 | 华为技术有限公司 | 一种预测异频信息的深度学习方法 |
CN114342442A (zh) * | 2019-09-06 | 2022-04-12 | 伊莫克Vzw公司 | 预测无线电频谱使用 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107306158A (zh) * | 2016-04-25 | 2017-10-31 | 中国人民解放军理工大学 | 一种具备异常数据净化能力的在线频谱预测方法 |
CN107563574A (zh) * | 2017-09-29 | 2018-01-09 | 北京理工大学 | 一种基于长短时记忆模型循环神经网络的地磁场预测方法 |
CN107730087A (zh) * | 2017-09-20 | 2018-02-23 | 平安科技(深圳)有限公司 | 预测模型训练方法、数据监控方法、装置、设备及介质 |
US20180137412A1 (en) * | 2016-11-16 | 2018-05-17 | Cisco Technology, Inc. | Network traffic prediction using long short term memory neural networks |
-
2018
- 2018-08-13 CN CN201810915056.8A patent/CN109194423A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107306158A (zh) * | 2016-04-25 | 2017-10-31 | 中国人民解放军理工大学 | 一种具备异常数据净化能力的在线频谱预测方法 |
US20180137412A1 (en) * | 2016-11-16 | 2018-05-17 | Cisco Technology, Inc. | Network traffic prediction using long short term memory neural networks |
CN107730087A (zh) * | 2017-09-20 | 2018-02-23 | 平安科技(深圳)有限公司 | 预测模型训练方法、数据监控方法、装置、设备及介质 |
CN107563574A (zh) * | 2017-09-29 | 2018-01-09 | 北京理工大学 | 一种基于长短时记忆模型循环神经网络的地磁场预测方法 |
Non-Patent Citations (1)
Title |
---|
LING YU,ET AL.: "Spectrum Prediction Based on Taguchi Method in Deep Learning With Long Short-Term Memory", 《IEEE ACCESS》 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110380801A (zh) * | 2019-06-04 | 2019-10-25 | 杭州电子科技大学 | 基于lstm的协作感知算法及多usrp实现的方法 |
CN110380801B (zh) * | 2019-06-04 | 2021-06-08 | 杭州电子科技大学 | 基于lstm的协作感知算法及多usrp实现的方法 |
CN114128348A (zh) * | 2019-07-16 | 2022-03-01 | 华为技术有限公司 | 一种预测异频信息的深度学习方法 |
CN114128348B (zh) * | 2019-07-16 | 2023-05-23 | 华为技术有限公司 | 一种预测异频信息的深度学习方法 |
CN114342442A (zh) * | 2019-09-06 | 2022-04-12 | 伊莫克Vzw公司 | 预测无线电频谱使用 |
CN110730046A (zh) * | 2019-10-18 | 2020-01-24 | 中国人民解放军陆军工程大学 | 基于深度迁移学习的跨频段频谱预测方法 |
CN110730046B (zh) * | 2019-10-18 | 2022-02-18 | 中国人民解放军陆军工程大学 | 基于深度迁移学习的跨频段频谱预测方法 |
CN110855519A (zh) * | 2019-11-07 | 2020-02-28 | 深圳市高德信通信股份有限公司 | 一种网络流量预测方法 |
CN111224726A (zh) * | 2019-11-21 | 2020-06-02 | 南京邮电大学 | 一种基于长短期记忆网络的视频直播***及其实现方法 |
CN111478904B (zh) * | 2020-04-08 | 2022-05-03 | 莆田学院 | 一种基于概念漂移的物联网设备通信异常检测方法及装置 |
CN111478904A (zh) * | 2020-04-08 | 2020-07-31 | 莆田学院 | 一种基于概念漂移的物联网设备通信异常检测方法及装置 |
CN111930601A (zh) * | 2020-05-14 | 2020-11-13 | 国家电网有限公司客户服务中心 | 一种基于深度学习的数据库状态综合评分方法及其*** |
CN111786738B (zh) * | 2020-07-01 | 2022-06-03 | 中国人民解放军陆军工程大学 | 基于长短期记忆的抗干扰学习的网络结构及学习方法 |
CN111786738A (zh) * | 2020-07-01 | 2020-10-16 | 中国人民解放军陆军工程大学 | 基于长短期记忆的抗干扰学习的网络结构及学习方法 |
CN112003663A (zh) * | 2020-07-22 | 2020-11-27 | 哈尔滨工业大学 | 基于lstm神经网络的认知无线电频谱感知方法 |
CN112241724B (zh) * | 2020-10-30 | 2023-12-15 | 南京信息工程大学滨江学院 | 一种基于双路卷积长短期神经网络的自动识别方法及*** |
CN112241724A (zh) * | 2020-10-30 | 2021-01-19 | 南京信息工程大学滨江学院 | 一种基于双路卷积长短期神经网络的自动识别方法及*** |
CN112564881A (zh) * | 2020-12-01 | 2021-03-26 | 国网安徽省电力有限公司 | 基于长短时多门限信道状态预测的5g通信自适应传输方法 |
CN113852432A (zh) * | 2021-01-07 | 2021-12-28 | 上海应用技术大学 | 基于rcs-gru模型的频谱预测感知方法 |
CN113852432B (zh) * | 2021-01-07 | 2023-08-25 | 上海应用技术大学 | 基于rcs-gru模型的频谱预测感知方法 |
CN113114400A (zh) * | 2021-04-14 | 2021-07-13 | 中南大学 | 基于时序注意力机制和lstm模型的信号频谱空洞感知方法 |
CN113114400B (zh) * | 2021-04-14 | 2022-01-28 | 中南大学 | 基于时序注意力机制和lstm模型的信号频谱空洞感知方法 |
CN113179144A (zh) * | 2021-04-16 | 2021-07-27 | 中国科学院微电子研究所 | 频谱预测方法和装置 |
CN113220466A (zh) * | 2021-06-02 | 2021-08-06 | 神州数码***集成服务有限公司 | 一种基于长短期记忆模型的云服务负载通用预测方法 |
CN113840297B (zh) * | 2021-10-08 | 2022-08-30 | 南京航空航天大学 | 一种基于射频机器学习模型驱动的频谱预测方法 |
CN113840297A (zh) * | 2021-10-08 | 2021-12-24 | 南京航空航天大学 | 一种基于射频机器学习模型驱动的频谱预测方法 |
CN114124260A (zh) * | 2022-01-11 | 2022-03-01 | 中国人民解放军国防科技大学 | 基于复合2d-lstm网络的频谱预测方法、装置、介质及设备 |
CN114124260B (zh) * | 2022-01-11 | 2023-12-12 | 中国人民解放军国防科技大学 | 基于复合2d-lstm网络的频谱预测方法、装置、介质及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109194423A (zh) | 基于优化的长短期记忆模型的单频点频谱预测方法 | |
CN108846517A (zh) | 一种分位数概率性短期电力负荷预测集成方法 | |
US7162461B2 (en) | Hybrid neural network generation system and method | |
CN110544011B (zh) | 一种智能化的体系作战效能评估和优化方法 | |
CN107886161A (zh) | 一种提高复杂信息***效能的全局敏感性分析方法 | |
CN110334875A (zh) | 计及评估指标冲突的风电功率组合概率预测方法 | |
CN103105246A (zh) | 一种基于遗传算法改进的bp神经网络的温室环境预测反馈方法 | |
CN109919356B (zh) | 一种基于bp神经网络区间需水预测方法 | |
CN108846526A (zh) | 一种二氧化碳排放量预测方法 | |
CN104217258A (zh) | 一种电力负荷条件密度预测方法 | |
CN108921279A (zh) | 水库日入水量预测方法 | |
CN106677763A (zh) | 一种基于动态集成建模的油井动液面预测方法 | |
CN110232444A (zh) | 地质监测bp神经网络的优化方法、装置、设备及存储介质 | |
CN108804800A (zh) | 基于回声状态网络的锂离子电池soc在线预测方法 | |
CN105184415A (zh) | 一种配电网络重构设计方法 | |
Hernández-Lobato et al. | Designing neural network hardware accelerators with decoupled objective evaluations | |
CN104656620A (zh) | 重型机床再制造综合评价*** | |
CN115948964A (zh) | 一种基于ga-bp神经网络的路面平整度预测方法 | |
CN115310348A (zh) | 基于Stacking的灌浆量集成代理预测模型及预测方法 | |
Karra et al. | Prediction of received signal power in mobile communications using different machine learning algorithms: A comparative study | |
Xiong et al. | Gradient-weighted physics-informed neural networks for one-dimensional Euler equation | |
CN104217296A (zh) | 一种上市公司绩效综合评价方法 | |
Moeini et al. | Hybrid methods for reservoir operation rule curve determination considering uncertain future condition | |
CN109242141A (zh) | 一种商品库存数量的预测方法及装置 | |
Donyaii et al. | Using composite ranking to select the most appropriate Multi-Criteria Decision Making (MCDM) method in the optimal operation of the Dam reservoir |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190111 |