CN112529637B - 基于情景感知的服务需求动态预测方法及*** - Google Patents

基于情景感知的服务需求动态预测方法及*** Download PDF

Info

Publication number
CN112529637B
CN112529637B CN202011526415.4A CN202011526415A CN112529637B CN 112529637 B CN112529637 B CN 112529637B CN 202011526415 A CN202011526415 A CN 202011526415A CN 112529637 B CN112529637 B CN 112529637B
Authority
CN
China
Prior art keywords
service
service demand
scene
interaction
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011526415.4A
Other languages
English (en)
Other versions
CN112529637A (zh
Inventor
刘志中
齐永波
丰凯
初佃辉
王莹洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202011526415.4A priority Critical patent/CN112529637B/zh
Publication of CN112529637A publication Critical patent/CN112529637A/zh
Application granted granted Critical
Publication of CN112529637B publication Critical patent/CN112529637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0202Market predictions or forecasting for commercial activities

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种基于情景感知的服务需求动态预测方法及***,该方法首先通过AMEDIN模型的交互单元,自适应地捕获不同场景和服务需求之间的交互关系,从而显式的建模不同场景对服务需求的影响;之后,合并场景特征、交互关系以及服务需求特征,基于注意力机制获取不同场景对服务需求的影响权重;最后,基于用户特征、加权的场景特征和服务需求特征训练AMEDIN模型,并基于训练好的AMEDIN模型实现情景感知的服务需求动态预测.基于Movielens和Alibaba提供的真实数据集进行了大量的实验,实验结果表明本文所提出的方法是可行的与有效的。

Description

基于情景感知的服务需求动态预测方法及***
技术领域
本公开涉及计算机应用技术领域,具体涉及一种基于情景感知的服务需求动态预测方法及***。
背景技术
近年来,随着服务计算、物联网、智能终端以及5G网络的快速发展与普及,越来越多的用户可以随时随地访问来自于不同领域、功能丰富的服务,完成工作与日常生活事务。随着网络上可用服务数量的激增,用户难以快速及时地发现满足其需求的服务,严重影响了用户的满意度,降低了服务资源的利用率。主动服务推荐逐渐成为实现智能服务的关键技术,而服务需求动态预测是实现主动服务推荐的基础。如何实现服务需求的动态预测已经成为智能服务领域亟需解决的关键问题之一。
近年来,国内外学者针对这一问题开展了研究,并取得了一定的研究成果。发明人发现,已有的研究工作大都基于协同过滤、支持向量机、矩阵分解以及机器学习方法来实现用户服务需求的预测;虽然上述研究工作取得了较好的成果,但是已有的研究工作通常将不同的场景对用户服务需求的影响视为同样重要的,导致模型无法充分学习不同场景对服务需求的影响,从而降低了服务需求预测的精度;同时,已有的研究工作没有充分考虑用户所处的场景对其服务需求的影响,导致服务需求预测精度不高。事实上,用户的服务需求与其所处的场景具有密切的关联关系,用户所处的场景是触发用户提出服务需求的重要因素,因此,在进行用户服务需求预测时,需要充分考虑用户所处的场景;在实际应用中,用户在不同的场景下常常会提出相同的服务需求,不同的场景对服务需求的影响也是不同的,因此,在进行服务需求预测时,需要考虑多个不同场景对服务需求的影响权重,从而提高服务需求预测的准确性。
发明内容
为了克服上述现有技术的不足,本公开提供了一种基于情景感知的服务需求动态预测方法及***,所述方案构建了一种注意力机制增强的深度交互神经网络模型,通过所述网络模型的交互单元,自适应地捕获不同场景和服务需求之间的交互关系,从而显式的建模不同场景对服务需求的影响,提高了服务需求预测的可解释性与准确度。
根据本公开实施例的第一个方面,提供了一种基于情景感知的服务需求动态预测方法,包括:
获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
进一步的,为了获取不同场景与服务需求的交互关系,在将数据输入到交互单元之前,需要对数据进行预处理,首先,针对每个用户,将具有相同服务需求的数据分为一组;之后,提取同一组数据中不同的场景特征,将其与用户特征及服务需求特征合并在一起构成一条样本数据。
进一步的,在获取不同场景特征与服务需求特征之间的交互关系之后,采用平均池化的方式对场景特征进行池化,得到多个场景特征的池化场景特征,所述池化场景特征表示发起服务需求的多个场景的主要场景特征;通过交互单元获取池化场景特征和服务需求特征之间的交互关系。
进一步的,在计算不同场景对服务需求的影响权重时,将场景特征以及其对应的交互关系、池化特征对应的交互关系组成为一个新的拼接向量,通过所述注意力机制的输出的向量为拼接向量与影响权重的加权和,所述向量表示对用户发起服务需求影响程度明显的场景特征。
进一步的,在获取对用户发起服务需求具有较大影响的场景特征之后,基于所述注意力机制增强的深度交互神经网络模型的预测模块实现服务需求的预测。
进一步的,所述注意力机制增强的深度交互神经网络模型选择交叉熵损失函数来优化所构建的模型。
进一步的,交互单元与服务需求预测模块由全连接网络构成。
根据本公开实施例的第二个方面,提供了一种基于情景感知的服务需求动态预测***,包括:
数据获取单元,被配置为获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;
服务需求预测单元,被配置为利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
根据本公开实施例的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现所述的一种基于情景感知的服务需求动态预测方法。
根据本公开实施例的第四个方面,提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的一种基于情景感知的服务需求动态预测方法。
与现有技术相比,本公开的有益效果是:
(1)本公开所述方案构建了一种注意力机制增强的深度交互神经网络模型AMEDIN,并基于AMEDIN提出了一种情景感知的服务需求动态预测方法。该方法捕获不同场景与服务需求之间的交互关系,并获取不同场景对服务需求的影响权重,使得与服务需求关联性较强的场景获得更高的影响权重,从而对情景感知的服务需求预测起到主导作用。
(2)本公开所述方案引入了交互单元。通过交互单元可以显式地建模多个场景与服务需求之间的交互关系,充分捕获不同场景与服务需求之间的非线性关系,有助于提高服务需求预测的准确性。
(3)本公开所述方案通过交互单元与注意力机制相结合,动态地获取不同场景对服务需求的影响权重,挖掘对用户服务需求影响较大的场景特征,从而提高了服务需求预测的可解释性与精度。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为本公开实施例一中所述的AMEDIN模型结构图;
图2( a) ~图 2( d) 为本公开实施例一中所述的AMEDIN模型在Movielens数据集上的损失值示意图;
图3( a) ~图 3( d) 为本公开实施例一中所述的AMEDIN模型在Alibaba数据集上的损失值示意图;
图4为本公开实施例一中所述的不同模型在Movielens数据集上的准确率示意图;
图5为本公开实施例一中所述的不同模型在Alibaba数据集上的准确率示意图;
图6为本公开实施例一中所述的不同模型在Movielens数据集上的RMSE示意图;
图7为本公开实施例一中所述的不同模型在Movielens数据集上的MAE示意图;
图8为本公开实施例一中所述的不同模型在Alibaba数据集上的RMSE示意图;
图9为本公开实施例一中所述的不同模型在Alibaba数据集上的MAE示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本实施例中使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一:
本实施例的目的是提供一种基于情景感知的服务需求动态预测方法。
一种基于情景感知的服务需求动态预测方法,包括:
获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
在服务使用中,可以通过智能终端、物联网以及智能穿戴设备,获取用户的特征信息、所处的场景信息以及提出的服务需求信息等,从而能够形成用户提出服务需求时的相关数据,为实现情景感知的服务需求预测提供数据支持。针对情景感知的服务需求动态预测问题,定义服务使用数据模型如公式(1)所示:
SAR=<UF,CF,SRF> (1)
其中,UF=<uf1,...,ufk>表示用户特征,主要包括用户的性别、年龄、职业、经济收入等。CF=<cf1,...cfh>表示场景特征,主要包括服务需求提出的时间、位置、天气、事件、陪伴者等。SRF=<srf1,...,srfl>表示服务需求特征,主要包括服务所属的领域、服务名称、服务功能、服务等级等。上述用户特征、场景特征以及服务需求特征向量具有很好扩展性,可以根据需要增加或减去相关的特征。
为了提高情景感知的服务需求动态预测的精度,本实施例中设计了一种注意力机制增强的深度交互神经网络模型AMEDIN,来获取不同场景与服务需求之间的交互关系,进而获取不同场景对服务需求的影响权重。下面分别介绍AMEDIN 模型及其主要运行机制。
具体的,本实施例中所述的注意力机制增强的深度交互神经网络模型的具体结构包括:
(1)基于交互单元的交互关系获取
为了获取不同场景与服务需求的交互关系,在将数据输入到交互单元之前,需要对数据进行预处理。首先,针对第i个用户,将具有相同服务需求的数据分为一组;之后,提取同一组数据中不同的场景特征(记为
Figure GDA0003914881820000071
),将CFi与用户特征、服务需求特征合并在一起构成一条样本数据Xi
Figure GDA0003914881820000072
Figure GDA0003914881820000073
其中,UFi表示第i个用户的特征向量;SRFi表示用户在场景
Figure GDA0003914881820000074
下提出的服务需求的特征向量;对于服务使用历史数据集,按照上述方法对其进行预处理,从而得到模型的输入数据集D={X1,...,Xi,...,Xn}。
在向AMEDIN模型输入数据时,将数据Xi中的多个场景特征
Figure GDA0003914881820000075
与服务需求特征SRFi输入到交互单元,通过交互单元获取每一个场景特征
Figure GDA0003914881820000076
与服务需求特征SRFi之间的交互关系。交互关系的获取公式如公式(2)所示:
Figure GDA0003914881820000077
其中,
Figure GDA0003914881820000081
为交互单元的输出,表示场景特征
Figure GDA0003914881820000082
和服务需求特征SRFi之间的交互关系,σ表示ReLU(Rectifier activation function)激活函数,W1表示权重矩阵,b1表示偏置向量,
Figure GDA0003914881820000083
表示向量拼接操作符号。
在获取不同场景特征与服务需求特征之间的交互关系之后,采用平均池化的方式对场景特征
Figure GDA0003914881820000084
进行池化,得到多个场景特征的池化场景特征
Figure GDA0003914881820000085
该池化场景特征表示发起服务需求的多个场景的主要场景特征通过交互单元获取池化场景特征和服务需求特征之间的交互关系
Figure GDA0003914881820000086
其度量公式如公式(3)所示:
Figure GDA0003914881820000087
其中,
Figure GDA0003914881820000088
表示平均池化场景特征
Figure GDA0003914881820000089
和服务需求特征SRFi之间的交互关系,σ表示ReLU激活函数,W2表示权重矩阵,b2表示偏置向量,
Figure GDA00039148818200000810
表示向量拼接操作符号。基于上述方法,可以获取具有关联关系的场景特征与服务需求特征之间的交互关系,以及池化场景特征与服务需求特征之间的交互关系。
(2)基于注意力机制的影响权重学习
受人类视觉注意力运行机制的启发,一些学者提出了注意力机制。近年来,注意力机制在计算机视觉、自然语言处理和服务推荐领域取得了成功的应用。本实施例中通过引入注意力机制来获取不同场景对服务需求的影响权重,使得模型能够有效地捕获对服务需求具有重要影响的场景特征,提高了模型的预测能力与可解释性。在计算不同场景对服务需求的影响权重时,将场景特征
Figure GDA00039148818200000811
以及其对应的交互关系
Figure GDA00039148818200000812
池化特征对应的交互关系
Figure GDA00039148818200000813
拼接为一个新的向量,记为
Figure GDA00039148818200000814
如公式(4)所示:
交互关系ei pol表示的场景和服务需求之间的高阶特征,反应的是场景和服务的高阶交互关系,增加上会提高模型的预测精度
Figure GDA0003914881820000091
其中,
Figure GDA0003914881820000092
表示向量的拼接。设
Figure GDA0003914881820000093
Figure GDA0003914881820000094
对服务需求特征SRFi的影响权重,依据注意力机制,
Figure GDA0003914881820000095
的计算公式如公式(5)所示:
Figure GDA0003914881820000096
其中,n表示用户历史上所提出过的服务需求数量。公式(5)中包括两种运算,一是由
Figure GDA0003914881820000097
表示向量间的内积运算,二是softmax函数运算。通过内积运算可以提取场景特征和服务需求特征之间的关系;再通过softmax函数标准化内积运算的结果生成权重
Figure GDA0003914881820000098
同理,依据公式(5),可以得到场景特征
Figure GDA0003914881820000099
对服务需求特征SRFi的影响权重
Figure GDA00039148818200000910
在获取每个场景特征
Figure GDA00039148818200000911
Figure GDA00039148818200000912
对服务需求特征SRFi的影响权重之后,注意力机制的输出如公式(6)所示:
Figure GDA00039148818200000913
注意力机制的输出
Figure GDA00039148818200000914
为拼接向量
Figure GDA00039148818200000915
与影响权重的加权和,该向量表示对用户发起服务需求影响较大的场景特征。
(3)服务需求的动态预测
在获取对用户发起服务需求具有较大影响的场景特征之后,基于AMEDIN模型的预测模块实现服务需求的预测。在对服务需求预测模块进行训练时,定义模型的输入数据为
Figure GDA00039148818200000916
其中,UFi表示用户特征向量,
Figure GDA00039148818200000917
表示由注意力机制得到的加权场景特征,SRFi表示服务需求特征;yi表示输入数据的标签,yi∈{0,1},当yi=0时,表示用户没有当前SRFi对应的服务需求;当yi=1时,表示用户有当前SRFi对应的服务需求;服务需求预测模块的学习函数如公式(7)所示:
Figure GDA0003914881820000101
其中,σ表示ReLU激活函数,W表示权重矩阵,Ii表示输入的数据,b表示偏置向量。
在AMEDIN模型中,选择交叉熵损失函数(CrossEntropyLoss)来优化所构建的模型,交叉熵损失函数如公式(8)所示:
Figure GDA0003914881820000102
其中,M表示数据集,N为数据样本的数量,I表示模型的输入,y表示输入数据的实际标签,
Figure GDA0003914881820000103
表示预测的标签。鉴于Adam优化算法具有较好的优化效果,在服务需求预测模型中,本实施例中选取Adam作为AMEDIN模型的优化算法。在模型的每一次更新中,Adam算法计算模型参数的一阶矩偏差和二阶矩偏差并进行修正,然后沿着参数梯度的负方向移动,直至模型更新到最优,模型的更新如公式(9)所示:
Figure GDA0003914881820000104
其中,θ表示一个可训练的模型参数,t-1表示上一时间步,η为学习率,
Figure GDA0003914881820000105
Figure GDA0003914881820000106
分别为上一时间步修正过的一阶矩的偏差和修正过的二阶矩的偏差,ε为常数。情景感知的服务需求动态预测算法如算法1所示。AMEDIN模型在进行情景感知的服务需求预测时,设AMEDIN模型的输入数据为
Figure GDA0003914881820000107
其中,UFo表示当前用户的特征,
Figure GDA0003914881820000111
表示多个场景特征,在m个场景特征中,只有一个场景特征取用户当前所处的场景特征,其余的场景特征为空;SRFt为第t个服务需求特征。
数据处理的时候,已经对场景进行处理,取同一个用户使用同一个服务时使用过的50个场景,不足50个场景的在后面用0填充。用户的50个场景不是时间序列,所以当前的场景放到哪个位置对预测结果没有影响。
Figure GDA0003914881820000112
Figure GDA0003914881820000121
进一步的,在本实施例中,对上述的基于情景感知的服务需求动态预测方法进行了实验以及实验结果的分析,具体如下:
(1)实验数据准备
目前,还不存在用于验证情景感知的服务需求动态预测的数据集。为了验证本实施例中所提出方法的有效性,本实施例中采用MovieLens数据集和天池网站提供的Alibaba数据集。其中,Movielens数据包含来自6000名用户对18 个类别4000部电影打分的100万个样本数据;Alibaba数据集是阿里巴巴公司提供的大量用户广告点击率的数据。针对MovieLens数据,将用户特征看成服务需求预测中的用户特征,将情景特征映射为服务需求预测中的场景特征,将电影特征映射为服务需求预测中服务需求特征,将用户对电影的评价值映射为用户服务需求的标签;针对Alibaba数据,将用户特征看成服务需求预测中的用户特征,将情景特征映射为服务需求预测中的场景特征,将广告特征映射为服务需求预测中的服务需求特征,将用户是否会点击广告的值映射为用户服务需求预测中的标签。实验中,本实施例中将Movielens数据中的评分类别转换为二分类,电影的原始用户评分是从1到5的连续值,本实施例中将评分为4 和5的样本标记为正,其余的标记为负。由于Alibaba数据量比较大,本实施例中从该数据中随机采样100万条数据作为实验数据。在实验中,重点考虑了每个数据集中的5种场景特征,Movielens数据中的信息如表1所示,Alibaba 数据中的信息如表2所示。
表1 Movielens数据中的信息
Figure GDA0003914881820000131
Figure GDA0003914881820000141
表2 Alibaba数据中的信息
Figure GDA0003914881820000142
实验环境为个人电脑,操作***:Windows 10专业版64位,CPU:Intel i7 8750H,RAM:8GB。该实验选择开源的TensorFlow 2.0GPU为预测模型的实现框架,采用Python 3.6编程实现预测模型。
(2)评估指标
本实施例中采用均方根误差RMSE与平均绝对误差MAE和准确率Acc来计算服务需求的预测值与真实值的偏差,从而衡量本实施例中所提出的预测方法的有效性。其中,RMSE与MAE的计算公式如公式(10)与公式(11)所示。
Figure GDA0003914881820000151
Figure GDA0003914881820000152
其中,RMSE与MAE的值越小,表示模型的预测精度越高;Acc的值越大表明模型的预测精度越高。
(3)AMEDIN模型参数设置
在AMEDIN模型中,交互单元用于学习多个场景和服务需求之间的交互关系,交互单元的网络层数对模型的性能具有重要影响,为了使得AMEDIN模型具有较好的性能,这里通过实验的方法来确定层数的最优取值。在实验中,采用Adam为优化算法,初始化学习率为0.00001。通过设置不同的层数来观察AMEDIN模型的性能表现,进而来确定交互单元中网络层数的最优取值。实验结果如表3所示。
表3交互单元网络层数对AMEDIN模型性能的影响
Figure GDA0003914881820000153
Figure GDA0003914881820000161
从表3可以看出,增加交互单元的层数有助于提高模型预测准确度。但是,随着层数的增加,模型性能的提升度有限。同时,交互单元层数的增加,会给模型带来更多的参数学习开销,从而增加模型训练的复杂度以及过拟合风险。基于上述实验结果,综合考虑模型的性能与训练消耗,本实施例中确定交互单元的网络层数为4。
此外,在用户服务需求预测模型中,交互单元中每层网络的神经元节点数目对模型的性能也有较大的影响,为了使模型具有较好的预测能力,该实验在 AMEDIN模型中,分别设置每层网络的神经元节点数为16、32、64、128与256,执行模型并记录实验结果,实验结果如表4所示。
表4交互单元节点数对AMEDIN模型性能的影响
Figure GDA0003914881820000162
从表4可以看出,随着神经元节点数目的增加,模型的性能逐渐得到提升;而当节点数达到128时,模型的性能达到最优;之后,随着节点数量的增加,模型的性能所有下降。同时,增加神经元的节点数量,会增加模型训练的开销以及过拟合的风险。基于实验结果,本实施例中将AMEDIN模型交互单元中每层网络神经元的节点数设置为128。
在用户服务需求预测模型中,通过Adam算法对模型的参数进行调优,其中, Adam算法的学习率对预测模型的稳定性有较大的影响,为了使模型具有较好的预测能力,该实验在AMEDIN模型中,分别设置学习率为1e-2、1e-3、1e-4与 1e-5,执行模型并记录实验结果,实验结果如图2( a) ~图 2( d) 和图3( a) ~图 3( d) 所示。
从图2( a) ~图 2 ( d) 和图3( a) ~图 3 ( d) 可以看出,随着学习率对的减小,模型的表现逐渐得到稳定;从图2( a) ~图 2 ( d) 可以看出,在Movielens数据集上AMEDIN模型的学习率在大于1e-5时模型均出现过拟合现象,不能使模型参数达到最优。从图3( a) ~图 3( d) 可以看出,在Alibaba数据集上AMEDIN模型虽然未出现严重的过拟合现象,但是模型的验证损失和训练的损失差距较大,未能更好的拟合数据分布来学习出最优的模型参数。基于实验结果,本实施例中将AMEDIN模型的学习率设置为1e-5。
(4)对比模型参数的设置
为了验证所提出方法的有效性,该实验选取了五种典型的深度神经网络与本实施例中所构建的AMEDIN模型进行比较。五种典型的深度神经网络分别为:深度神经网络(DeepNeural Network,DNN)、DeepFM、注意力交互网络(Attentive Interaction Network,AIN)、注意力因子分解机(Attentional Factorization Machine,AFM)与神经因子分解机(Neural Factorization Machine,NFM)。
对于深度神经网络DNN,分别将用户特征、场景特征和服务需求特征经过嵌入层(Embedding)之后,输入到全连接网络,预测用户的服务需求。在实验中设置其隐含层数为3,隐含层节点数为32,采用交叉熵损失函数,并且采用Adam优化算法,初始化学习率设置为0.001。对于DeepFM,在用户特征、场景特征和服务需求特征经过嵌入层处理之后,使用因子分解机(Factorization Machines, FM)提取低阶特征,然后使用DNN进行高阶特征提取之后,输入到全连接网络,预测用户的服务需求。在该实验中,DeepFM的参数设置与原论文保持一致,设置Dropout为0.5,选择Adam作为优化算法,设置初始化学习率为0.001。对于AIN,与原论文保持一致,设置隐含层数为2,隐含层节点数为128,并且采用Adam 为优化算法,设置初始学习率为0.001。
对于AFM模型,依据原论文设置Dropout为0.5,使用大小为512的批量训练策略,选择Adam为优化算法,设置学习率的初始值为0.001。NFM是一种用于稀疏数据预测的神经网络模型,它在神经网络模型下增强因子分解机来学习高阶交互特征,设置使用大小为512的批量训练策略,并且采用Adam为优化算法,初始化学习率为0.01。对于本实施例中提出的AMEDIN模型,交互单元的层数设为4,隐含层节点数设置为128,采用Adam为优化算法,初始化学习率为 0.00001。对于每一个网络模型,都采用Alibaba数据集和Movielens数据集作为实验数据,设置最大迭代次数为300。
(5)不同模型的性能比较
为了验证本实施例中所提出方法的有效性,该实验采用数据集的80%作为训练数据,数据集的20%为测试数据,对多个模型进行训练与测试。采用上文中给出的评估指标来度量每一个模型的性能。实验结果如表5所示。
表5不同模型在两套数据集上的性能评估
Figure GDA0003914881820000181
Figure GDA0003914881820000191
从表5可以看出,在进行服务需求预测时,本实施例中提出的AMEDIN模型在评估指标Acc、RMSE和MAE上均优于其他方法。在Movielens数据集中,AMEDIN 模型在评估指标Acc上,分别优于其他方法中最优结果1。14%;在指标RMAE和 MAE上,分别领先于次优结果0.51%和0.5%。在Alibaba数据集中,AMEDIN模型在评估指标Acc上分别优于其它方法中最优结果1。48%,在指标RMSE和MAE上分别领先次优结果1。06%和1。6%。通过上述实验结果可以得出,本实施例中所提出的AMEDIN模型通过交互单元和注意力机制,能够有效捕捉多个场景对服务需求的不同影响;同时,通过提取多个场景和服务需求的交互特征,能够有效降低多个场景和服务需求之间非线性关系的损失;另一方面,通过注意力机制得到对用户服务需求影响权重最大的场景特征,提高了模型的预测精度。
(6)不同模型的收敛性验证
为了验证本实施例中所提出方法的收敛性,分别对多个模型进行训练与测试,多个模型的参数设置与上文中的设置一致。实验结果如图4和图5所示。其中,纵坐标表示预测准确度,横坐标表示模型的迭代次数。
从图4和图5可以看出,随着迭代次数的增加,多个深度神经网络的预测准确率不断得到提升。从图4可以看出,在Movielens数据集中,NFM模型的性能表现最弱。从图5可以看出,在Alibaba数据集中,DNN模型的性能表现最弱。本实施例中所提出的AMEDIN模型在两个数据集上都具有较好的预测准确度。通过上述实验结果可以得出,AMEDIN模型具有良好的学习能力,迭代较少的次数就能够获得较高预测准确率。
(7)不同模块对AMEDIN模型性能的影响分析
为了验证获取交互关系、获取影响权重对于提高服务需求预测准确度的有效性,该实验通过去掉相关的操作得到AMEDIN模型不同的变体,通过AMEDIN 模型的变体与AMEDIN模型的比较来验证不同模块对AMEDIN模型性能的影响。其中,AMEDINNoIta表示不考虑不同场景和服务需求之间的交互关系, AMEDINNoPooling表示不考虑池化场景特征与服务需求之间的交互关系, AMEDINNoAtt表示不使用注意力机制。AMEDIN模型与其它变体模型的参数设置一致,基于相同数据集与实验平台对四种模型进行训练和测试,实验结果如图6 至图9所示,其中纵坐标分别表示RMSE和MAE,横坐标表示算法的迭代次数。
从图6到图9可以看出,当AMEDIN模型不考虑交互关系与AMEDIN模型不使用注意力机制时,AMEDIN的变体模型在RMSE和MAE评估指标数值有所上升,而AMEDIN模型在RMSE和MAE指标上优于其他三种变体模型。基于上述实验结果可以得出,考虑不同场景和服务需求的交互关系以及考虑不同场景对服务需求的影响权重,有助于提升AMEDIN模型的性能,也即说明,考虑场景和服务需求之间的交互关系以及不同场景对服务需求的影响权重,有助于提高服务需求预测的准确度。
为了实现情景感知的服务需求动态预测,进而提高服务推荐的主动性与智能性,本实施例中提出了一种情景感知的服务需求动态预测方法。该研究工作构建了一种注意力机制增强的深度交互神经网络模型AMEDIN,首先通过AMEDIN 模型中的交互单元,捕获多个不同场景和服务需求之间的交互关系;之后,通过注意力机制,获取多个场景对服务需求的影响权重;最后,基于注意力机制的输出构建训练数据,通过全连接网络对服务需求进行动态预测。基于真实的数据集进行了大量的实验,验证了本实施例中所提出方法的有效性;同时还通过实验验证了交互单元和注意力机制对于提升模型预测精度的有效性。在后续的研究工作中,将进一步分析影响服务需求预测精度的主要因素,挖掘这些因素对服务需求预测的影响规律,基于这些规律开展服务需求预测的研究,从而提高服务需求预测的灵活性与准确度。
实施例二:
本实施例的目的是提供一种基于情景感知的服务需求动态预测***
一种基于情景感知的服务需求动态预测***,包括:
数据获取单元,被配置为获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;
服务需求预测单元,被配置为利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
实施例三:
本实施例的目的是提供一种电子设备。
一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现所述的一种基于情景感知的服务需求动态预测***,包括:
获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
实施例四:
本实施例的目的是提供一种非暂态计算机可读存储介质。
一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的一种基于情景感知的服务需求动态预测***,包括:
获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (7)

1.一种基于情景感知的服务需求动态预测方法,其特征在于,包括:
获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测;
在获取不同场景特征与服务需求特征之间的交互关系之后,采用平均池化的方式对场景特征进行池化,得到多个场景特征的池化场景特征,所述池化场景特征表示发起服务需求的多个场景的主要场景特征;通过交互单元获取池化场景特征和服务需求特征之间的交互关系;
为了获取不同场景与服务需求的交互关系,在将数据输入到交互单元之前,需要对数据进行预处理,首先,针对每个用户,将具有相同服务需求的数据分为一组;之后,提取同一组数据中不同的场景特征,将其与用户特征及服务需求特征合并在一起构成一条样本数据;
在计算不同场景对服务需求的影响权重时,将场景特征以及其对应的交互关系、池化特征对应的交互关系组成为一个新的拼接向量,通过所述注意力机制的输出的向量为拼接向量与影响权重的加权和,所述向量表示对用户发起服务需求影响程度明显的场景特征。
2.如权利要求1所述的一种基于情景感知的服务需求动态预测方法,其特征在于,在获取对用户发起服务需求具有较大影响的场景特征之后,基于所述注意力机制增强的深度交互神经网络模型的预测模块实现服务需求的预测。
3.如权利要求1所述的一种基于情景感知的服务需求动态预测方法,其特征在于,所述注意力机制增强的深度交互神经网络模型选择交叉熵损失函数来优化所构建的模型。
4.如权利要求1所述的一种基于情景感知的服务需求动态预测方法,其特征在于,交互单元与服务需求预测模块由全连接网络构成。
5.一种基于情景感知的服务需求动态预测***,其特征在于,包括:
数据获取单元,被配置为获取用户提出服务需求时的相关数据,包括用户的特征信息、所处场景信息以及提出的服务需求信息;
服务需求预测单元,被配置为利用预训练的注意力机制增强的深度交互神经网络模型进行服务需求的动态预测;
其中,所述网络模型包括交互单元、影响权重学习模块以及服务需求预测模块组成,通过所述交互单元捕获不同场景与服务需求之间的交互关系;进而通过影响权重学习模块基于注意力机制学习不同场景对于服务需求的影响权重;最后,通过服务需求预测模块根据影响权重实现服务需求预测;
在获取不同场景特征与服务需求特征之间的交互关系之后,采用平均池化的方式对场景特征进行池化,得到多个场景特征的池化场景特征,所述池化场景特征表示发起服务需求的多个场景的主要场景特征;通过交互单元获取池化场景特征和服务需求特征之间的交互关系;
为了获取不同场景与服务需求的交互关系,在将数据输入到交互单元之前,需要对数据进行预处理,首先,针对每个用户,将具有相同服务需求的数据分为一组;之后,提取同一组数据中不同的场景特征,将其与用户特征及服务需求特征合并在一起构成一条样本数据;
在计算不同场景对服务需求的影响权重时,将场景特征以及其对应的交互关系、池化特征对应的交互关系组成为一个新的拼接向量,通过所述注意力机制的输出的向量为拼接向量与影响权重的加权和,所述向量表示对用户发起服务需求影响程度明显的场景特征。
6.一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4任一项所述的一种基于情景感知的服务需求动态预测方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4任一项所述的一种基于情景感知的服务需求动态预测方法。
CN202011526415.4A 2020-12-22 2020-12-22 基于情景感知的服务需求动态预测方法及*** Active CN112529637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011526415.4A CN112529637B (zh) 2020-12-22 2020-12-22 基于情景感知的服务需求动态预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011526415.4A CN112529637B (zh) 2020-12-22 2020-12-22 基于情景感知的服务需求动态预测方法及***

Publications (2)

Publication Number Publication Date
CN112529637A CN112529637A (zh) 2021-03-19
CN112529637B true CN112529637B (zh) 2022-12-06

Family

ID=75002265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011526415.4A Active CN112529637B (zh) 2020-12-22 2020-12-22 基于情景感知的服务需求动态预测方法及***

Country Status (1)

Country Link
CN (1) CN112529637B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537623B (zh) * 2021-07-30 2023-08-18 烟台大学 基于注意力机制及多模态的服务需求动态预测方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879864B (zh) * 2019-10-29 2022-06-07 南京大学 一种基于图神经网络和注意力机制的上下文推荐方法
CN111079674B (zh) * 2019-12-22 2022-04-26 东北师范大学 一种基于全局和局部信息融合的目标检测方法
CN111797321B (zh) * 2020-07-07 2021-04-27 山东大学 一种面向不同场景的个性化知识推荐方法及***

Also Published As

Publication number Publication date
CN112529637A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
WO2021203819A1 (zh) 一种内容推荐方法、装置、电子设备和存储介质
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及***
WO2021155706A1 (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
CN110751318B (zh) 一种基于ipso-lstm的超短期电力负荷预测方法
CN112529638B (zh) 基于用户分类和深度学习的服务需求动态预测方法及***
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN112087442B (zh) 基于注意力机制的时序相关网络入侵检测方法
CN113128671B (zh) 一种基于多模态机器学习的服务需求动态预测方法及***
CN113628059A (zh) 一种基于多层图注意力网络的关联用户识别方法及装置
CN114780831A (zh) 基于Transformer的序列推荐方法及***
CN112256866A (zh) 一种基于深度学习的文本细粒度情感分析方法
CN115695025B (zh) 网络安全态势预测模型的训练方法及装置
CN113706151A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN113837308A (zh) 基于知识蒸馏的模型训练方法、装置、电子设备
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及***
CN109190471B (zh) 基于自然语言描述的视频监控行人搜索的注意力模型方法
CN108491477B (zh) 基于多维云和用户动态兴趣的神经网络推荐方法
CN113935413A (zh) 一种基于卷积神经网的配网录波文件波形识别方法
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN116452241B (zh) 一种基于多模态融合神经网络的用户流失概率计算方法
CN112232079A (zh) 一种微博评论数据分类方法及***
CN116543289A (zh) 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN114881172A (zh) 一种基于加权词向量和神经网络的软件漏洞自动分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant