CN118212114A - 一种图形渲染程序帧率预测方法 - Google Patents
一种图形渲染程序帧率预测方法 Download PDFInfo
- Publication number
- CN118212114A CN118212114A CN202410144799.5A CN202410144799A CN118212114A CN 118212114 A CN118212114 A CN 118212114A CN 202410144799 A CN202410144799 A CN 202410144799A CN 118212114 A CN118212114 A CN 118212114A
- Authority
- CN
- China
- Prior art keywords
- layer
- frame rate
- neural network
- rate prediction
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000013528 artificial neural network Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 9
- 238000009826 distribution Methods 0.000 claims description 5
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 claims description 4
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 claims description 4
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 description 22
- 238000009877 rendering Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种图形渲染程序帧率预测方法。该方法包括:针对目标图形渲染程序,获取微架构无关特征数据,并进行归一化处理,得到标准化特征数据;将所述标准化特征数据输入到经训练的帧率预测模型,获得帧率预测结果;其中,所述帧率预测模型包括卷积神经网络层、循环神经网络层、注意力层和输出层,所述卷积神经网络层用于从所述标准化特征数据中提取空间信息和局部特征,获得局部特征;所述循环神经网络层基于该局部特征提取对应的时序特征,所述注意力层对该时序特征分配权重系数,进而得到全局融合特征;所述输出层基于所述全局融合特征输出帧率预测结果。本发明提高了帧率预测的准确性、效率和泛化能力。
Description
技术领域
本发明涉及信息处理技术领域,更具体地,涉及一种图形渲染程序帧率预测方法。
背景技术
游戏渲染涉及将抽象的几何模型和纹理映射等数据转换为可视化的图像或动画的过程。游戏渲染的目标是以逼真和高效的方式呈现图像,给用户带来沉浸式的视觉体验。在游戏渲染过程中,帧率是指每秒钟渲染的图像帧数,它对于用户体验和***性能至关重要。较高的帧率能够提供更流畅的动画效果和更快的响应速度,而较低的帧率可能导致卡顿和延迟感。
目前,为了实现高帧率的游戏渲染,研究人员通常需要考虑多个因素,包括硬件设备的性能、游戏引擎的优化、渲染算法的选择和渲染负载的管理等。然而,由于游戏渲染涉及复杂的计算和数据处理,准确预测帧率仍是具有挑战性的问题。
在现有技术中,已有多种预测帧率方法。一类方法是基于统计模型的帧率预测。这种方法通过分析历史数据和渲染程序的运行规律,建立数学模型来预测帧率。例如,可以使用线性回归模型或其他统计方法来对输入特征和帧率之间的关系进行建模。这种方法简单直接,适用于一些简单场景。另一类方法是基于机器学习的帧率预测。这种方法利用大量的训练数据,通过训练模型来学习输入特征和帧率之间的复杂关系。常用的机器学习算法包括支持向量机(Support Vector Machine,SVM)、决策树(Decision Tree)、随机森林(Random Forest)等。这些方法可以自动学习特征之间的权重和关系,从而提高预测的准确性。
经分析,现有的帧率预测方案存在以下缺陷:
1)在预测游戏渲染程序帧率时,往往无法提供足够准确的结果,这是因为模型未充分考虑图像的空间特征和时间依赖性,或者是因为特征提取和建模方法不够有效。
2)在面对不同类型的游戏渲染程序时,存在泛化能力不足的问题。这意味着模型在处理新的场景或数据时,无法准确预测帧率,需要重新训练或调整模型。
3)游戏渲染程序的帧率预测需要大量训练数据来训练模型。然而,现有技术往往面临数据稀缺的挑战,难以获取足够多的帧率数据进行训练,导致模型预测性能有限。
综上,准确预测渲染程序的帧率是一项具有挑战性的任务,现有方法无法准确地捕捉到渲染程序的复杂动态性和时间依赖性,并且针对不同渲染程序的特征和性能差异,无法提供个性化的预测结果。
发明内容
本发明的目的是克服上述现有技术的缺陷,提供一种图形渲染程序帧率预测方法。该方法包括以下步骤:
针对目标图形渲染程序,获取微架构无关特征数据,并进行归一化处理,得到标准化特征数据;
将所述标准化特征数据输入到经训练的帧率预测模型,获得帧率预测结果;
其中,所述帧率预测模型包括卷积神经网络层、循环神经网络层、注意力层和输出层,所述卷积神经网络层用于从所述标准化特征数据中提取空间信息和局部特征,获得局部特征;所述循环神经网络层基于该局部特征提取对应的时序特征,所述注意力层对该时序特征分配权重系数,进而得到全局融合特征;所述输出层基于所述全局融合特征输出帧率预测结果。
与现有技术相比,本发明的优点在于,通过结合卷积神经网络和循环神经网络,充分挖掘图像的空间特征和序列数据的时间依赖性,提高了预测准确性。并且,通过注意力机制动态调整对不同帧的关注程度,进一步提高了预测精度。此外,本发明针对数据稀缺问题,提供了一种有效的训练和优化机制,进而提高了模型的性能和泛化能力。总之,本发明提供一种更准确、更具泛化能力和更高效的游戏渲染程序帧率预测方法。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的图形渲染程序帧率预测方法的流程图;
图2是根据本发明一个实施例的图形渲染程序帧率预测方法的总体过程示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本发明结合卷积神经网络(CNN)、循环神经网络和注意力机制(AttentionMechanism),提供一种能够准确预测游戏等图形渲染程序帧率的建模方法,通过深度学习和序列建模,能够更好地捕捉渲染程序的时间依赖性和复杂动态性,提高预测的准确性和稳定性,并根据不同渲染程序的特征进行个性化预测。本发明可以帮助优化游戏渲染程序的性能,并提供更好的用户体验。
参见图1所示,所提供的图形渲染程序帧率预测方法包括以下步骤:
步骤S110,获取样本数据集,该样本数据集反映图形渲染程序微架构无关特征数据与帧率之间的对应关系。
例如,收集大量游戏渲染程序微架构无关特征数据,包括着色器种类个数,基本块个数、线程执行路径和帧率等信息。这些数据应覆盖不同的场景和渲染复杂度。直接使用微架构无关的特征数据作为后续帧率预测模型的输入。优选地,对输入数据进行标准化或归一化以确保数据的稳定性和一致性。
具体地,在提取与微架构无关的特征数据时,考虑对帧率预测的相关性,并对这些特征进行预处理。例如,在特征数据获取过程中,可能会因***问题等使数据存在缺失或异常,可采用四分位法和均值插值法处理异常数据与缺失数据。此外,为了加快模型的训练效率并提高预测精度,采用Min-Max算法对微架构无关特征数据进行归一化处理,经过处理后的取值范围是[-1,1],归一化处理过程表示为:
其中,Xi表示第i个特征数据,Xmin表示特征数据中的最小值,Xmax表示特征数据中的最大值,X′i表示Xi的归一化值。
在一个实施例中,将处理后的微架构无关数据以向量的形式作为模型的输入。输入层对长度为n的历史微架构无关数据进行预处理,将其作为该模型输入,表示为:
X=[x1,…,xt-1,xt,…,xn]T (2)
步骤S120,结合卷积神经网络、循环神经网络和注意力机制构建帧率预测模型,并利用样本数据集进行优化训练。
结合图2所示,所构建的帧率预测模型总体包括输入层、CNN层、LSTM(长短时记忆网络)层、注意力层和输出层。CNN层进一步包含卷积层、池化层和全连接层,其中卷积层用于提取特征,池化层用于过滤信息,全连接层用于将数据转换为一维向量。LSTM层用于学习数据的时序特征。注意力层利用机制动态调整对不同帧的关注程度。
1、卷积神经网络层
首先,微架构无关特征数据通过CNN网络进行处理。CNN网络具有权重共享、局部连接等特性,可以有效地提取原始数据的内部特征。CNN包含卷积层、池化层与全连接层,这种结构可以减少权重参数的数目,使模型的复杂度降低。卷积层主要用于特征提取,使用卷积核进行局部感知,卷积核越多,特征提取越抽象。局部感知的特性可以减少模型参数,但还会有很多参数,因此采用权值共享机制。池化层主要用于特征降维,可以压缩参数的数目,避免过拟合。然后,通过一维卷积层对输入数据进行下采样,提取局部特征。在这个过程能够增强模型的容错性。池化方式可采用最大池化或平均池化。全连接层主要用于将池化后的单元转换成一维向量,进一步处理数据。CNN使用卷积层与池化层提取重要信息,自动获取特征向量,降低特征提取与数据重构的复杂性,并提升数据特征的质量。CNN的任务是从输入数据中提取空间信息和局部特征,这有利于模型更好地理解微架构无关特征之间的关系。
具体地,CNN层的作用是提取历史输入序列的特征。例如,CNN层设计为2层卷积层、2层池化层与1层全连接层,使用Relu激活函数。卷积层均为一维卷积,第1层卷积层有64个卷积核,大小设置为1×4;第2层卷积层有32个卷积核,大小设置为1×3,步长为2。池化层选用最大池化方式。全连接层将处理之后的数据输出,该层使用Sigmoid激活函数。CNN层的处理过程可表示为:
P1=max(C1)+b2 (4)
P2=max(C2)+b4 (6)
Hc=Sigmoid(P2×W3+b5) (7)
其中,卷积层1与卷积层2的输出分别是C1和C2;池化层1与池化层2的输出分别是P1和P2;W1、W2与W3均为权重;b1、b2、b3、b4与b5均为偏差;是卷积运算。
2、长短期记忆网络层
考虑到CNN进行预测时不易学习时间序列数据的关系,将CNN与循环神经网络(RNN)相结合,即将CNN处理之后的信息作为循环神经网络的输入进行长时间序列的预测。
循环神经网络在网络中引入了反馈结构,适合处理动态的时间序列数据。在一个实施例中,为了避免梯度***或消失的问题,选用改进的循环神经网络LSTM。LSTM网络引入了遗忘门、输入门、输出门3个门结构和细胞状态,3个门可以控制信息的丢弃与继承情况,遗忘门通过Sigmoid函数选择信息。通过LSTM处理与游戏渲染程序相关的时序数据,包括渲染任务的历史帧率数据或其他时序信息等。LSTM有助于捕捉时序数据中的长期依赖关系,同时考虑过去和未来的上下文。LSTM网络特殊的结构可以控制信息的保留与遗忘,但是在处理长时间序列时仍然会出现丢失重要信息的可能,因此本发明将CNN与LSTM相结合,首先采用CNN处理数据,过滤不重要的信息以提取重要的特征,然后利用LSTM提取时序特征,从而提高预测渲染的精度。
LSTM层的具体结构可根据实际需要进行设置,例如包含2层隐含层,单元数分别为30和20。LSTM层用于学习CNN层输出的规律。LSTM层的输出表示为:
ht=LSTM(Hc,t-1,Hc,t),t∈[1,i] (8)
其中,Hc,t-1表示卷积神经网络层在t-1时刻的输出,Hc,t表示卷积神经网络层在t时刻的输出,t是时刻索引,i是时刻范围。
3、注意力层
传统的编码器-解码器模型在处理数据时,编码器将原序列转化成为固定长度的上下文向量,上下文向量的权值相同。解码器将上下文向量转化成为目标序列,上下文向量作为解码器的初始状态。当原序列较长时,由于权重系数相同,使得模型的预测性能下降。为了解决此问题,本发明引入了注意力机制。注意力机制的实质是模拟人脑注意力的资源分配。在某个特定的时刻人脑会将注意力放在需重点关注的区域,减少对其他区域的关注,以便获取更多需要关注的信息,抑制其他无用信息,其核心是忽略无用信息且放大所需信息。注意力机制对关键的信息给予足够的关注,突显重要信息的作用,进而提高模型的精度。注意力机制能够改进LSTM网络因时序数据过长而丢失重要信息的情况,用概率分配权重的方式替代随机分配权重的方式。
注意机制可以将更多的注意力集中在重要信息上,注意力层利用这个特性来识别重要特征,同时弱化冗余特征的干扰,提高预测的准确性。具体地,LSTM层的输出是注意力层的输入,采用概率分配权重的方式计算权重矩阵。注意力层的处理过程表示为:
其中,ht是LSTM层t时刻的输出,b是偏置系数;u与w是权重系数;et是概率分布;st是注意力层t时刻的输出,at是ht对应的权重系数。
需要说明的是,也可以在CNN网络和LSTM网络中分别引入注意力机制。对于CNN,将注意力层附加在卷积块末端,以改善卷积神经网络仅关注局部特征而导致对全局特征学习不准确的情况。对于LSTM,注意力机制对其隐层向量输出表达式进行加权求和,检测效果更优。注意力机制通过分配概率代替原始随机分配权重。将卷积块或LSTM得到的隐层向量作为注意力层输入,得到全局融合特征,进而经全连接层处理,输出预测结果。
4、输出层利用全局融合特征进行预测输出
将来自CNN、LSTM和注意力机制的特征整合在一起,形成一个全局融合特征表示。最终的预测输出层利用全局融合特征来预测游戏渲染程序的帧率。输出层可以是全连接层或其他适当的结构。
具体地,输出层的输入是注意力层的输出,输出层的计算公式表示为:
yt=Sigmoid(wost+bo) (10)
其中,yt是t时刻的输出;wo是权重系数;bo是偏置向量。
5、利用样本数据集训练和优化帧率预测模型。
帧率预测模型通过监督学习的方式进行训练,训练过程中,使用帧率的真实标签与模型的预测之间的差异来计算损失。优化算法(如梯度下降)用于调整模型的参数,以减小损失函数。例如,训练过程的损失函数为交叉熵损失,采用Adam优化器,学习率为0.001,Epoch=30,Batchsize=32。
在模型训练后可进一步评估和调优,通常在独立的测试数据集上进行。根据性能可以对模型进行调优,如调整超参数或进一步改进模型结构。
在一个实施例中,对微架构无关特征数据进行秒预测,选取均方根误差(rootmean square error,RMSE)和平均绝对百分比误差(mean absolute percentage error,MAPE)作为评价指标。RMSE和MAPE的公式表示为:
其中,m是样本的个数;与yi分别是样本帧率的预测值和实际值。
综上,所设计的帧率预测模型综合了CNN、LSTM和注意力机制的优点。在LSTM层之前进行卷积操作,可以有效降低LSTM的输入维数和计算复杂度。注意机制本质上是加权求和,首先计算数据之间的相似度,然后利用softmax函数对结果进行归一化得到相应的权重系数,最后根据权重系数计算注意力大小,权重的大小反映了信息的重要程度。通过这种设计兼顾了模型的效率和准确性。
步骤S130,针对目标图形渲染程序,应用经训练的帧率预测模型进行帧率预测。
在帧率预测模型训练好后,即可针对目标图形渲染程序进行帧率预测。例如,模型应用过程包括:采集目标图形渲染程序的微架构无关数据,进行归一化处理后输入到经训练的模型,获得帧率预测结果。模型的应用过程与训练过程基本类似,在此不再赘述。
需说明的是,本发明涉及的模型训练过程可在服务器或云端离线进行,将经训练的模型嵌入到电子设备即可实现实时的帧率预测。该电子设备可以是终端设备或者服务器,终端设备包括手机、平板电脑、个人数字助理(PDA)、车载电脑、智能可穿戴设备等任意终端设备。服务器包括但不限于应用服务器或Web服务器,可以为独立服务器或者集群服务器或云服务器等。
应理解的是,在不违背本发明精神和范围的前提下,本领域技术人员可对上述实施例进行适当的改变或变型。例如,可对模型架构、训练方法和特征选择等方面进行适当的改变或变型,以更好地适应和预测游戏渲染程序的帧率。卷积神经网络的层数、卷积核大小、激活函数类型、LSTM模型的具体结构等可根据实际需要进行设置。LSTM也可替换为GRU(门控循环单元)或其他循环神经网络。又如,注意力层可采用其他类型的注意力机制,例如多头注意力。
为进一步验证本发明的效果,进行了实验。实验过程包括:收集与游戏渲染程序帧率预测相关的微架构无关特征数据,该数据涵盖不同图形场景、不同硬件配置和不同设置下的数据;对收集的数据进行预处理,确保数据的质量和一致性,包括归一化、标准化、去除异常值等;针对所设计的模型结构,使用训练集进行训练,训练过程选择适当的损失函数、优化器和超参数;使用验证集对模型进行验证,调整模型的参数以提高性能,并且可以采用交叉验证等技术来评估模型的泛化能力;使用测试集评估模型的性能。例如,采用回归性能指标,如均方误差(MSE)、R方值等。实验结果表明,利用本发明对游戏渲染程序帧率进行预测,准确率、泛化性能和效率均有提高。
综上所述,与现有技术相比,本发明具有以下优点:
1)本发明利用卷积神经网络从输入数据中提取特征,并使用循环神经网络建模帧率序列中的时间依赖关系。此外,注意力机制也被引入到深度学习模型中,用于动态地调整模型对不同帧的关注程度,提高了预测准确性。通过结合卷积神经网络、长短期记忆神经网络和注意力机制,能够更全面地学习微架构无关特征,使得模型能够捕捉特征之间的复杂关系,提高了对输入数据的表示能力。
2)本发明引入注意力机制有助于模型在微架构无关特征中动态关注重要部分,使得模型能够更灵活地适应不同的输入条件,提高了预测精确性。
3)本发明采用长短期记忆神经网络用于处理时序信息,能够更好地捕捉输入序列中的长距离依赖关系。这对于游戏渲染程序帧率的预测中涉及到的时间序列特征非常重要。
4)由于综合了不同类型的神经网络结构,本发明具有更好的适应性和泛化性,在不同的游戏渲染任务中表现良好。并且通过有效整合不同的神经网络结构,具有更高的性能,能够更准确地预测游戏渲染程序的帧率。
5)本发明还可用于其他领域,如目标检测、图像分类,或其他的时序建模任务,如天气预测等。此外,还可以将模型用于自适应渲染设置的决策,使其能够根据当前任务和硬件配置动态调整渲染参数,或者将模型嵌入到嵌入式***中,用于实时游戏渲染帧率的预测和优化。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (10)
1.一种图形渲染程序帧率预测方法,包括以下步骤:
针对目标图形渲染程序,获取微架构无关特征数据,并进行归一化处理,得到标准化特征数据;
将所述标准化特征数据输入到经训练的帧率预测模型,获得帧率预测结果;
其中,所述帧率预测模型包括卷积神经网络层、循环神经网络层、注意力层和输出层,所述卷积神经网络层用于从所述标准化特征数据中提取空间信息和局部特征,获得局部特征;所述循环神经网络层基于该局部特征提取对应的时序特征,所述注意力层对该时序特征分配权重系数,进而得到全局融合特征;所述输出层基于所述全局融合特征输出帧率预测结果。
2.根据权利要求1所述的方法,其特征在于,所述卷积神经网络层以输入端作为参考,依次包括第一卷积层、第一池化层、第二卷积层、第二池化层和全连接层,该卷积神经网络层表示为:
P1=max(C1)+b2
P2=max(C2)+b4
Hc=Sigmoid(P2×W3+b5)
其中,C1是第一卷积层的输出,P1是第一池化层的输出,C2是第二卷积层的输出,P2是第二池化层的输出,W1、W2与W3均为权重,b1、b2、b3、b4与b5均为偏差,是卷积运算,Hc是卷积神经网络层的输出,max表示最大池化处理。
3.根据权利要求1所述的方法,其特征在于,所述循环神经网络层是长短期记忆网络。
4.根据权利要求3所述的方法,其特征在于,所述注意力层输出的全局融合特征表示为:
et=utanh(wht+b)
其中,ht是长短期记忆网络t时刻输出的时序特征,b是偏置系数,u与w是权重系数,et是t时刻的概率分布,at是ht对应的权重系数,St是注意力层t时刻输出的全局融合特征,j是时刻索引,i用于限定时刻t的取值范围。
5.根据权利要求3所述的方法,其特征在于,所述输出层根据以下公式获得帧率预测结果:
yt=Sigmoid(woSt+bo)
其中,yt是输出层t时刻的输出,wo是权重系数,bo是偏置向量,st是注意力层t时刻输出的全局融合特征。
6.根据权利要求1所述的方法,其特征在于,所述微架构无关特征数据包括色器种类个数,基本块个数、线程执行路径。
7.根据权利要求1所述的方法,其特征在于,还包括:
根据以下公式评估所述帧率预测模型的预测精确度:
其中,m是样本的个数,是样本帧率的预测值,yi是样本帧率的实际值,EMAPE是均方根误差,EMAPE是平均绝对百分比误差;
在所评估的预测精确度不满足设定标准情况下,对所述帧率预测模型的参数进行微调。
8.根据权利要求2所述的方法,其特征在于,第一卷积层设有64个卷积核,大小设置为1×4;第二卷积层设有32个卷积核,大小设置为1×3,步长为2,所述循环神经网络层包含2层隐含层,单元数分别设置为30和20。
9.一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现根据权利要求1至8中任一项所述的方法的步骤。
10.一种计算机设备,包括存储器和处理器,在所述存储器上存储有能够在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410144799.5A CN118212114A (zh) | 2024-02-01 | 2024-02-01 | 一种图形渲染程序帧率预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410144799.5A CN118212114A (zh) | 2024-02-01 | 2024-02-01 | 一种图形渲染程序帧率预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118212114A true CN118212114A (zh) | 2024-06-18 |
Family
ID=91451205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410144799.5A Pending CN118212114A (zh) | 2024-02-01 | 2024-02-01 | 一种图形渲染程序帧率预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118212114A (zh) |
-
2024
- 2024-02-01 CN CN202410144799.5A patent/CN118212114A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079532A (zh) | 一种基于文本自编码器的视频内容描述方法 | |
CN113692594A (zh) | 通过强化学***性改进 | |
CN111369299B (zh) | 识别的方法、装置、设备及计算机可读存储介质 | |
US20220067737A1 (en) | Systems and method for enhanced active machine learning through processing of partitioned uncertainty | |
CN110674673A (zh) | 一种关键视频帧抽取方法、装置和存储介质 | |
US20170286979A1 (en) | Architecture for predicting network access probability of data files accessible over a computer network | |
CN113328908B (zh) | 异常数据的检测方法、装置、计算机设备和存储介质 | |
KR102359090B1 (ko) | 실시간 기업정보시스템 이상행위 탐지 서비스를 제공하는 방법과 시스템 | |
CN117217280A (zh) | 神经网络模型优化方法、装置及计算设备 | |
CN112817563A (zh) | 目标属性配置信息确定方法、计算机设备和存储介质 | |
CN114647554A (zh) | 分布式管理集群的性能数据监控方法及装置 | |
Ikhlasse et al. | Multimodal cloud resources utilization forecasting using a Bidirectional Gated Recurrent Unit predictor based on a power efficient Stacked denoising Autoencoders | |
CN117540336A (zh) | 时间序列预测方法、装置及电子设备 | |
CN118212114A (zh) | 一种图形渲染程序帧率预测方法 | |
CN111737319B (zh) | 用户集群的预测方法、装置、计算机设备和存储介质 | |
CN116992937A (zh) | 神经网络模型的修复方法和相关设备 | |
CN114444698A (zh) | 信息推荐模型训练方法、装置、计算机设备和存储介质 | |
CN116601682A (zh) | 经由以时间残差连接为特征的机器学习模型对顺序数据的改进处理 | |
CN114120416A (zh) | 模型训练方法、装置、电子设备及介质 | |
CN114004992A (zh) | 多标签分类模型的训练方法、图像的多标签分类方法 | |
KR20220152256A (ko) | 랜덤 포레스트 분류기를 사용하여 관리 협정에 관련되는 예측을 생성하기 위해 다양한 시간적 특성을 갖는 데이터를 프로세싱하기 위한 방법 및 시스템 | |
CN115482019A (zh) | 一种活动关注度预测方法、装置、电子设备和存储介质 | |
You | [Retracted] Modeling and Analysis of Multifocus Picture Division Algorithm Based on Deep Learning | |
CN113792163B (zh) | 多媒体推荐方法、装置、电子设备及存储介质 | |
US20230262237A1 (en) | System and methods for video analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |