CN104572504A - 一种实现数据预读的方法及装置 - Google Patents

一种实现数据预读的方法及装置 Download PDF

Info

Publication number
CN104572504A
CN104572504A CN201510053032.2A CN201510053032A CN104572504A CN 104572504 A CN104572504 A CN 104572504A CN 201510053032 A CN201510053032 A CN 201510053032A CN 104572504 A CN104572504 A CN 104572504A
Authority
CN
China
Prior art keywords
hidden layer
layer
data
output
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510053032.2A
Other languages
English (en)
Other versions
CN104572504B (zh
Inventor
文中领
张书宁
徐旸
刘友生
吴庆民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510053032.2A priority Critical patent/CN104572504B/zh
Publication of CN104572504A publication Critical patent/CN104572504A/zh
Application granted granted Critical
Publication of CN104572504B publication Critical patent/CN104572504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)

Abstract

本发明公开了一种实现数据预读的方法及装置,包括:对单隐层神经网络进行训练获得预设层数的多隐层神经网络;基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。发明方法通过多隐层神经网络对存储***的数据进行预读到缓存,实现了随机IO数据预读,保证了缓存中预读数据的准确性,提高了存储***的性能。

Description

一种实现数据预读的方法及装置
技术领域
本发明涉及计算机技术,尤指一种实现数据预读的方法及装置。
背景技术
随着计算机技术的发展,存储***逐渐从计算***中迁移出来,并逐渐形成一种独立的设备。如今整个计算***可以认为由计算节点、交换节点和存储节点三部分组成。随着计算节点计算容量的增加对存储节点的性能提出了越来越高的要求,存储***时存储节点的主要形态。存储介质中,普通的机械硬盘由于受机械结构影响,整体性能普遍偏低,一般每秒进行读写操作的次数(IOPS)在100左右,即使企业级高速机械硬盘的IOPS也不会超过200。因此由机械硬盘组成的存储***,整体性能受到极大的限制。
鉴于上述原因,为了提高存储***的性能,在存储***之上增加了缓存***,缓存***在***内存中实现。由于CPU访问内存的速度是访问硬盘速度的百倍甚至千倍以上。加入缓存***的存储***在性能上得到了极大的提升。缓存***极大的提高了访问硬盘的速度,从而提升了存储***的工作性能,但,缓存***存在缓存命中的问题,以读为例,只有尽量多的从缓存中读取到需要读取的数据,才能提高存储***的性能,即,需要将存储***预先将硬盘的数据读到缓存***的缓存中。
目前,将硬盘数据预读到缓存主要基于输入输出(IO)随机特性,当IO随机特性判定为连续IO时,将连续IO数据后期可能被读的数据预读到缓存中。鉴于连续IO的可预知性,保证了将数据预读到缓存的正确性,即保证了缓存的预读数据的命中率。而对IO随机特性判定为随机IO时,由于随机IO具有非线性特性,采用现有的方法,无法预知后期可能被读取数据的IO具***置,因此无法实现随机IO的数据预读。
发明内容
为了解决上述技术问题,本发明提供了一种实现数据预读的方法,能够对随机IO的具***置进行预知,从而读取预知的随机IO位置的数据,提高缓存***预读数据的命中率。
为了达到本发明目的,本发明提供了一种实现数据预读的方法,包括:
对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
进一步地,在对单隐层神经网络进行训练之前,该方法还包括:
获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;
所述单隐层神经网络包括输入层、输出层及一个隐层。
进一步地,训练获得预设层数的多隐层神经网络具体包括:
对所述单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
进一步地,添加新的隐层具体包括:
预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
所述i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
进一步地,基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存具体包括:
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
进一步地,该方法还包括:
根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。
另一方面,本申请还提供一种实现数据预读的装置,包括:第一训练单元及数据预读单元;其中,
第一训练单元,用于对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
数据预读单元,用于基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
进一步地,该装置还包括第二训练单元,用于在对单隐层神经网络进行训练之前,获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;
所述单隐层神经网络包括输入层、输出层及一个隐层。
进一步地,第一训练单元具体用于,对所述单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
进一步地,第一训练单元具体用于,
对所述单隐层神经网络,
预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
逐次训练以添加新的隐层,直至隐层数达到预设层数;
所述i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
进一步地,数据预读单元具体用于,
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
进一步地,该装置还包括权重调整单元,用于根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。
与现有技术相比,本发明方案包括:对单隐层神经网络进行训练获得预设层数的多隐层神经网络;基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。本发明方法通过多隐层神经网络对存储***的数据进行预读到缓存,实现了随机IO数据预读,保证了缓存中预读数据的准确性,提高了存储***的性能。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实现数据预读的方法的流程图;
图2为本发明多隐层神经网络的结构示意图;
图3为本发明实现数据预读的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1为本发明实现数据预读的方法的流程图,如图1所示,包括:
步骤100、对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
本步骤之前还包括:
获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;这里,单隐层神经网络包括输入层、输出层及一个隐层。
需要说明的是,这里历史数据作为数据样本集,可以提高神经网络训练的准确性,具体训练生成单隐层神经网络的方法属于本领域技术人员的公知常识。
训练获得预设层数的多隐层神经网络具体包括:
对单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
进一步的,包括:预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
需要说明的是,在实际应用中,一般多隐层神经网络采用3层就可以实现较高准确性的数据预读,在增加神经网络隐层时,需要更高的***性能支持,因此,可以根据***性能确定是否添加更多的隐层。例如Oracle数据库可以设置为3,普通Web服务设置为5。
步骤101、基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
本步骤具体包括:
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
本发明方法还包括:
根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。
本发明利用多隐层神经网络(包含三个隐层的多隐层神经网络也较深层神经网络)的非线性拟合特性及有力的辨别能力,用于预测随机IO的读取数据的位置,将预读的随机IO位置上的数据读入缓存中,提高缓存命中率。增加了存储***的工作性能。本发明充分考虑了存储***中存储数据业务的用户的业务类型往往是特定的,计算服务器访问存储***的IO数据具有一定的规律性的局部性的特点。虽然随机IO数据不是连续的,但随机特性往往有特定的规律。利用多隐层神经网络可以很好的对这种非线性规律进行预测,可以根据历史位置信息预测读取数据的随机IO的位置信息。
图2为本发明多隐层神经网络的结构示意图,示意图中多隐层神经网络由一层输入层、3层隐层和一层输出层构成,输入层、各隐层和输出层都包含有若干神经元,神经元之间互联,各隐层且有相应的权重。假设i和j代表相邻两层的结点,且i<j,则i和j之间实际是一个隐层,wji代表该隐层在神经网络中的权值,则结点j的输入为:
v j = &Sigma; i = 0 m w ji y i (式1)
其中,m代表第i层神经元的个数,wj0代表从i层神经元到j层神经元的权值。其中i层神经元的输出yj
(式2)
其中,
输入信号按式2到达输出层后,再从输出层开始做反向传播过程,定义神经网络实际输出dj与期望输出yj的误差函数为:
ej=dj-yj (式3)
利用现有的梯度下降算法可以得到权值的调整值,具体的,节点i,j间的权值调整量的计算公式为为:
(式4)
其中,η为学习率。
通过上述过程,可以对生成的多隐层神经网络进行权重调整,使多隐层神经网络设置合理,在实际应用过程中,可以及时的进行调整,保证神经网络的工作性能。
图3为本发明实现数据预读的装置的结构框图,如图3所示,包括:第一训练单元及数据预读单元;其中,
第一训练单元,用于对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
本发明装置还包括第二训练单元,用于在对单隐层神经网络进行训练之前,获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;
单隐层神经网络包括输入层、输出层及一个隐层。
第一训练单元具体用于,对所述单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
第一训练单元具体用于,
对所述单隐层神经网络,
预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
逐次训练以添加新的隐层,直至隐层数达到预设层数;
所述i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
数据预读单元,用于基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
数据预读单元具体用于,
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
本发明装置还包括权重调整单元,用于根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (12)

1.一种实现数据预读的方法,其特征在于,包括:
对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
2.如权利要求1所述的方法,其特征在于,在对单隐层神经网络进行训练之前,该方法还包括:
获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;
所述单隐层神经网络包括输入层、输出层及一个隐层。
3.如权利要求1或2所述的方法,其特征在于,所述训练获得预设层数的多隐层神经网络具体包括:
对所述单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
4.根据权利要求3所述的方法,其特征在于,所述添加新的隐层具体包括:
预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
所述i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
5.如权利要求1所述的方法,其特征在于,所述基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存具体包括:
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
6.如权利要求5所述的方法,其特征在于,该方法还包括:
根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。
7.一种实现数据预读的装置,其特征在于,包括:第一训练单元及数据预读单元;其中,
第一训练单元,用于对单隐层神经网络进行训练获得预设层数的多隐层神经网络;
数据预读单元,用于基于训练完成的预设层数的多隐层神经网络对存储***的数据预读到缓存。
8.如权利要求7所述的装置,其特征在于,该装置还包括第二训练单元,用于在对单隐层神经网络进行训练之前,获取缓存读取的历史数据作为数据样本集,通过数据样本集训练生成单隐层神经网络;
所述单隐层神经网络包括输入层、输出层及一个隐层。
9.如权利要求7或8所述的装置,其特征在于,所述第一训练单元具体用于,对所述单隐层神经网络,逐次训练以添加新的隐层,直至隐层数达到预设层数。
10.根据权利要求9所述的装置,其特征在于,所述第一训练单元具体用于,
对所述单隐层神经网络,
预先赋值所述单隐层神经网络中第一隐层的第一初始化权重;
将数据样本集的第一样本输入数据作为单隐层神经网络的输入,通过赋值为初始化权重第一隐层的处理后,完成第一输出层的输出;
根据第一输出层的输出与第一样本输入数据对应的第一样本输出,经由误差反向传播BP过程处理确定第一隐层的实际权重;
舍弃第i输出层,并在第i隐层和第i+1输出层之间添加第i+1隐层生层包含有i+1层隐层的神经网络;
预先赋值所述第i+1隐层的第i+1初始化权重;
将数据样本集的第i+1样本输入数据作为i+1层隐层的神经网络的输入,通过赋值为第i+1初始化权重第i+1隐层的处理后,完成第i+1输出层的输出;
根据第i+1输出层的输出与第i+1样本输入数据对应的第i+1样本输出,经由BP过程处理确定第i+1隐层的实际权重;
逐次训练以添加新的隐层,直至隐层数达到预设层数;
所述i∈[1,2…N],其中N为所述预设层数的数值减1的正整数。
11.如权利要求7所述的装置,其特征在于,所述数据预读单元具体用于,
将向存储***缓存发送的请求读IO信息发送到所述训练完成的多隐层神经网络;
所述训练完成的多隐层神经网络计算获得将读取存储***IO的位置信息;
根据IO的位置信息将相应的数据输出到缓存中,实现预读数据到缓存。
12.如权利要求10所述的装置,其特征在于,该装置还包括权重调整单元,用于根据对存储***的实际读取的数据与预读到缓存的数据进行比对,根据比对差值进行BP过程处理,调整多隐层神经网络中第预设层数层的隐层的权重。4 -->
CN201510053032.2A 2015-02-02 2015-02-02 一种实现数据预读的方法及装置 Active CN104572504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510053032.2A CN104572504B (zh) 2015-02-02 2015-02-02 一种实现数据预读的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510053032.2A CN104572504B (zh) 2015-02-02 2015-02-02 一种实现数据预读的方法及装置

Publications (2)

Publication Number Publication Date
CN104572504A true CN104572504A (zh) 2015-04-29
CN104572504B CN104572504B (zh) 2017-11-03

Family

ID=53088624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510053032.2A Active CN104572504B (zh) 2015-02-02 2015-02-02 一种实现数据预读的方法及装置

Country Status (1)

Country Link
CN (1) CN104572504B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893159A (zh) * 2016-06-21 2016-08-24 北京百度网讯科技有限公司 数据处理方法和装置
CN108154228A (zh) * 2016-12-28 2018-06-12 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法
CN108475347A (zh) * 2017-11-30 2018-08-31 深圳市大疆创新科技有限公司 神经网络处理的方法、装置、加速器、***和可移动设备
CN110442721A (zh) * 2018-11-28 2019-11-12 腾讯科技(深圳)有限公司 神经网络语言模型、训练方法、装置及存储介质
CN114706798A (zh) * 2022-06-08 2022-07-05 四川省人工智能研究院(宜宾) 基于注意力机制的固态硬盘数据预取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110071969A1 (en) * 2008-05-23 2011-03-24 Faiyaz Doctor Neuro type-2 fuzzy based method for decision making
CN102445980A (zh) * 2011-09-19 2012-05-09 浪潮电子信息产业股份有限公司 一种基于bp神经网络的节能控制***
CN103092626A (zh) * 2013-02-04 2013-05-08 福州大学 基于Flex和web3D技术的富互联网应用方法
CN103616945A (zh) * 2013-11-20 2014-03-05 浪潮电子信息产业股份有限公司 大规模云数据中心中一种服务器节能方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110071969A1 (en) * 2008-05-23 2011-03-24 Faiyaz Doctor Neuro type-2 fuzzy based method for decision making
CN102445980A (zh) * 2011-09-19 2012-05-09 浪潮电子信息产业股份有限公司 一种基于bp神经网络的节能控制***
CN103092626A (zh) * 2013-02-04 2013-05-08 福州大学 基于Flex和web3D技术的富互联网应用方法
CN103616945A (zh) * 2013-11-20 2014-03-05 浪潮电子信息产业股份有限公司 大规模云数据中心中一种服务器节能方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893159A (zh) * 2016-06-21 2016-08-24 北京百度网讯科技有限公司 数据处理方法和装置
CN105893159B (zh) * 2016-06-21 2018-06-19 北京百度网讯科技有限公司 数据处理方法和装置
CN108154228A (zh) * 2016-12-28 2018-06-12 上海寒武纪信息科技有限公司 一种人工神经网络计算装置和方法
WO2018121472A1 (zh) * 2016-12-28 2018-07-05 上海寒武纪信息科技有限公司 一种运算方法
CN108475347A (zh) * 2017-11-30 2018-08-31 深圳市大疆创新科技有限公司 神经网络处理的方法、装置、加速器、***和可移动设备
CN110442721A (zh) * 2018-11-28 2019-11-12 腾讯科技(深圳)有限公司 神经网络语言模型、训练方法、装置及存储介质
CN110442721B (zh) * 2018-11-28 2023-01-06 腾讯科技(深圳)有限公司 神经网络语言模型、训练方法、装置及存储介质
CN114706798A (zh) * 2022-06-08 2022-07-05 四川省人工智能研究院(宜宾) 基于注意力机制的固态硬盘数据预取方法
CN114706798B (zh) * 2022-06-08 2022-08-12 四川省人工智能研究院(宜宾) 基于注意力机制的固态硬盘数据预取方法

Also Published As

Publication number Publication date
CN104572504B (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
CN104572504A (zh) 一种实现数据预读的方法及装置
CN103593452B (zh) 一种基于MapReduce机制的数据密集型成本优化方法
CN105653591A (zh) 一种工业实时数据分级存储及迁移方法
US20200133489A1 (en) I/o behavior prediction based on long-term pattern recognition
Xu et al. Adaptive reservoir operation model incorporating nonstationary inflow prediction
CN107133699A (zh) 电影票房趋势预测方法和装置、设备、存储介质
CN109842563A (zh) 内容分发网络流量调度方法、装置和计算机可读存储介质
CN112508118B (zh) 针对数据偏移的目标对象行为预测方法及其相关设备
US20230351426A1 (en) Techniques to predict and implement an amortized bill payment system
CN108416054A (zh) 基于文件访问热度的动态hdfs副本个数计算方法
Zeng et al. Short-term load forecasting of smart grid systems by combination of general regression neural network and least squares-support vector machine algorithm optimized by harmony search algorithm method
CN113342418B (zh) 基于区块链的分布式机器学习任务卸载方法
Mai et al. Dynamic Data Migration in Hybrid Main Memories for In‐Memory Big Data Storage
CN103984737A (zh) 一种基于计算相关度的多数据中心数据布局优化方法
CN109948803A (zh) 算法模型优化方法、装置和设备
CN113837383A (zh) 模型训练方法、装置、电子设备及存储介质
Wu et al. Topological effects and performance optimization in transportation continuous network design
Guo et al. Prediction method of railway freight volume based on genetic algorithm improved general regression neural network
WO2021212753A1 (zh) 计算机性能数据确定方法、装置、计算机设备及存储介质
Zong et al. Research on data mining of sports wearable intelligent devices based on big data analysis
CN110363015A (zh) 一种基于用户属性分类的马尔可夫预取模型的构建方法
CN107145453A (zh) 一种缓存失效率的预测方法、装置、可读介质和设备
Dou et al. Fuzzy temporal logic based railway passenger flow forecast model
CN113298321A (zh) 一种基于多数据融合的用户意图预测方法
CN108038158B (zh) 减少数据库存储容量的数据存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant