CN116561425A - 基于域交互的自注意力因子分解机的Web服务推荐方法 - Google Patents
基于域交互的自注意力因子分解机的Web服务推荐方法 Download PDFInfo
- Publication number
- CN116561425A CN116561425A CN202310549885.XA CN202310549885A CN116561425A CN 116561425 A CN116561425 A CN 116561425A CN 202310549885 A CN202310549885 A CN 202310549885A CN 116561425 A CN116561425 A CN 116561425A
- Authority
- CN
- China
- Prior art keywords
- domain
- interaction
- vector
- feature
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000354 decomposition reaction Methods 0.000 title abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 110
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000012417 linear regression Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000005065 mining Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000009472 formulation Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 67
- 238000002474 experimental method Methods 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012733 comparative method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于域交互的自注意力因子分解机的Web服务推荐方法，包括：获取文档的初始特征向量；基于初始向量，计算得到线性回归部分预测分数和特征嵌入向量，还用于构建域隐藏向量；获取域中每个特征的隐藏向量，并将隐藏向量替换成域隐藏向量，计算得到域中所有向量的公共特征；基于自注意力机制和公共特征，计算得到成对交互向量；对成对交互向量进行低阶和高阶特征的挖掘，计算得到特征交互部分分数；基于特征交互部分分数和线性回归部分分数，计算得到Mashup调用WebAPI的概率预测结果。本发明降低了模型的计算复杂度和过拟合的风险，并捕获同一个域中所有元素的共同特征，提高了模型的鲁棒性。
Description
技术领域
本发明属于Web API推荐技术领域，尤其涉及一种基于域交互的自注意力因子分解机的Web服务推荐方法。
背景技术
Mashup是利用来自多个数据源的内容或服务并建立全新增值服务的新形式的Web应用程序。由于Mashup技术的整合优势及其经济效益，近年来，大量的Web API和Mashup被创立并可以在线调用。以著名的ProgrammableWeb平台为例，截至2021年，已有超过30000个Web API可供调用，并且数量还在不断增加。面对如此庞大的Web API数量，用户很难找到创建Mashup所需的Web服务。
目前，许多工作都集中在解决Mashup开发中的Web API推荐问题上，常用的方法有三类，即基于内容的方法、基于矩阵分解(MF)的方法和基于因子分解机(FM)的方法。其中，基于内容的方法计算Mashup需求和WebAPI描述文档之间的文本描述语义相似度，并将具有最高相似度的前k个Web API作为推荐结果提供给用户。通常使用HDP(分层狄利克雷过程)、TF-IDF(术语频率逆文档频率)或LDA(潜在狄利克雷分配)模型进行主题建模获得文本表示。基于内容的方法只关注创建的Mashup和服务存储库中的Web API之间的一对一关系，而没有考虑多对多的关系。基于MF的方法对Mashup-API调用矩阵进行矩阵分解，通过分解得到的隐向量矩阵可以捕获显式特征无法捕获的潜在特征。基于MF的方法的性能依赖于历史Mashup-API调用矩阵的交互密度，然而，大多数Web API都没有被调用或很少被调用，历史Mashup-API调用矩阵的交互密度很低，这限制了基于MF的方法的性能。
相比之下，因子分解机可以在极端稀疏度下估计可靠值，因此基于FM的方法可以有效缓解数据稀疏性问题，具有较高的性能。然而，FM方法中的特征必须进行手动预处理，同时该方法无法对特征之间的高阶关系进行建模。
将深度学习技术与FM相结合，以自动解决特征工程问题，同时学习特征与目标之间潜在的复杂交互，可以有效提升模型性能，由此提出了更复杂的FM模型，如DeepFM、AFM、NAFM等。在基于FM的Web API推荐方法中，NAFM在建模复杂关系方面具有强大的能力，有着最优的推荐性能，但是仍然存在以下不足：(1)显式注意力机制带来了许多额外的模型参数，增加了模型的复杂性。此外，复杂的模型可能导致过拟合，从而降低预测效率；(2)对特征交互的重要性的研究只考虑了二阶关系，没有考虑高阶关系；(3)在交互特征计算部分没有考虑域交互作用的概念。
发明内容
本发明提出了一种基于域交互的自注意力因子分解机的Web服务推荐方法，以解决上述现有技术中存在的技术问题。
为实现上述目的，本发明提供了一种基于域交互的自注意力因子分解机的Web服务推荐方法，包括：
获取文档的初始特征向量；基于所述初始向量，通过线性回归，计算得到线性回归部分预测分数；
基于所述初始特征向量，计算得到特征嵌入向量，还用于构建域隐藏向量；
获取域中每个特征的隐藏向量，并将所述隐藏向量替换成域隐藏向量，计算得到域中所有向量的公共特征；
基于自注意力机制和所述公共特征，计算得到成对交互向量；
对成对交互向量进行低阶和高阶特征的挖掘，计算得到特征交互部分分数；
基于所述特征交互部分分数和所述线性回归部分分数，计算得到Mashup调用WebAPI的概率预测结果。
优选地，获取文档的初始特征向量的过程包括：
基于网站描述文档，其中所述网站描述文档包括：Mashup描述文档和Web API描述文档；提取Mashup描述文档和Web API描述文档的文档信息，基于所述文档信息，计算得到若干个域特征向量，所述若干个域特征向量作为初始特征向量。
优选地，计算得到域中所有向量的公共特征的公式为：
其中，xi，xj为不同域中的初始特征向量，vi为隐向量，xivi为特征嵌入向量，⊙表示两个向量的逐元素乘积，vF(j)表示包含特征j的域隐藏向量。
优选地，计算得到成对交互向量的公式为：
其中为应用自注意力机制的成对交互向量，Q、K和V均为自注意力参数矩阵，dk为矩阵维度。
优选地，对成对交互向量进行低阶和高阶特征的挖掘的公式为：
其中L表示多层感知器的层数；Wl、bl和σ分别表示第l层的权重、偏置和激活函数，ok是第l层多层感知器的输出。
优选地，计算得到特征交互部分分数的公式为：
h(x)＝hTon
其中h表示预测层神经网络参数。
优选地，计算得到Mashup调用Web API的概率预测结果的公式为：
其中w0表示偏置值，表示线性计算部分。
与现有技术相比，本发明具有如下优点和技术效果：
本发明提出了一个挖掘Web API调用关系中低维和高维特征的Web API推荐方法，获取文档的初始特征向量；基于初始向量，计算得到线性回归部分预测分数和特征嵌入向量，还用于构建域隐藏向量；获取域中每个特征的隐藏向量，并将隐藏向量替换成域隐藏向量，计算得到域中所有向量的公共特征；基于自注意力机制和公共特征，计算得到成对交互向量；对成对交互向量进行低阶和高阶特征的挖掘，计算得到特征交互部分分数；基于特征交互部分分数和线性回归部分分数，计算得到Mashup调用Web API的概率预测结果。
本发明通过域交互特征提取，降低了模型的计算复杂度和过拟合的风险，并捕获同一个域中所有元素的共同特征，提高了模型的鲁棒性；通过多层感知器特征挖掘，能够对低阶特征和高阶特征进行挖掘，提高了表达能力。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的Web API推荐方法总体模型框架图；
图2为本发明实施例的Web API推荐方法效率比较图；
图3为本发明实施例的嵌入维度超参数实验对比图；
图4为本发明实施例的自注意力层维度超参数实验对比图；
图5为本发明实施例的深度神经网络层数超参数实验对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
本实施例提出了一种更具表达力的因子分解机模型，即一种基于域交互的自注意力因子分解机的Web服务推荐方法。具体来说，首先引入域交互的概念，以降低计算复杂度，并捕获同一个域中所有元素的共同特征。其次，利用自注意力机制而非显式注意力来识别不同特征交互的重要性。最后，为了提高表达能力，将深度神经网络集成到应用自注意力分配权重之后的特征交互挖掘步骤中，同时捕获特征向量中的低阶和高阶特征。
本实施例所提出的Web API推荐方法的总体框架如图1所示，包括五个部分：1)特征嵌入步骤；2)交互特征提取步骤；3)自注意力计算步骤；4)多层感知器特征挖掘步骤；5)结果预测步骤。
在Mashup服务描述文档及Web API描述文档预处理过程中，首先从ProgrammableWeb网站中爬取和存储Mashup服务描述文本、Web服务描述文本和其它相关信息，并提取相应的特征列构建特征向量矩阵。在模型构建与训练过程中，初始向量首先通过线性回归层计算线性回归部分预测分数。接下来，应用包含域交互机制的交互池化层和自注意力层实现因子分解。本实施例应用域交互机制出于以下考虑：在处理包含若干个特征元素的特征向量时，特征元素往往可以被先验地划分到若干个域内，同一个域中的特征元素可以认为有相似的特征。因此，在计算不同域中两个特征之间的相互作用时，将一个特征的隐藏向量替换为其域的公共隐藏向量，可以有效降低模型的计算复杂度；同时，域隐藏向量可以捕捉域中所有特征的共同特征，从而降低过拟合的风险，提高模型的鲁棒性。然后，本实施例应用多层感知器对因子分解后的特征向量进行低阶和高阶特征的挖掘，计算特征交互部分分数。最后，将特征交互部分分数与线性回归部分分数相加，得到Mashup调用WebAPI的概率预测结果。
一，Mashup服务描述文档及Web API描述文档预处理
对Mashup和Web API进行预处理过程得到对应初始特征向量，所述预处理过程包括以下步骤：
(1)、使用BERT模型将Mashup和Web API的描述文档处理为初始特征向量，分别提取Mashup和Web API的相关信息；
(2)、计算Web API和Mashup的相似性、Web API的流行度，为Web API类别、Mashup类别分别赋予类别编码；
(3)、结合Mashup描述文档特征向量、Web API描述文档特征向量、Web API和Mashup的相似性、Web API的流行度、Web API类别、Mashup类别6个特征向量，生成一个包含6个域的Mashup-Web API初始特征向量，用于接下来步骤的输入。
二，模型构建与训练
提出的模型总体过程由五个主要组成部分组成：1)特征嵌入步骤；2)交互特征提取步骤；3)自注意力计算步骤；4)多层感知器特征挖掘步骤；5)结果预测步骤。
1、特征嵌入
对于初始特征向量x＝{x1，x2，…，xn}，本实施例应用一组可训练的隐向量作为查找表，获得特征嵌入向量/>用于下一步的交互特征提取。同时，本实施例为初始特征向量中已划分的每个域构建一个可训练的域隐向量vF(j)。
2、交互特征提取
考虑到来自一个领域的特征通常与来自不同其他领域的特征进行不同的交互。例如，Web API描述信息的特征与Web API类别的特征具有较强的交互作用，Mashup和Web API之间的相似性特征与Web API的特征和Mashup描述信息的特征都具有较强的相互作用。在计算不同域中两个向量之间的相互作用时，可以将其中一个向量的隐藏向量替换为域隐藏向量，这可以有效地降低模型的计算复杂度。对于一个拥有六种类型的初始特征，假设其分别具有n1、n2、n3、n4、n5和n6个特征，总共有nsum个特征。在进行交互计算时，对于全交互计算，它需要执行nsum(nsum-1)/2次交互计算，复杂度为然而，当采用域交互计算时，需要n1×5+n2×5+…+n6×5＝nsum×5次计算。考虑到类别的数量k通常是一个常数，复杂性下降到O(nsum)。此外，由于域交互使用公共域隐藏向量来替换域中每个特征的隐藏向量，因此可以捕获域中所有向量的公共特征，降低过拟合的风险，增加模型的鲁棒性。具体计算公式如下，其中⊙表示两个向量的逐元素乘积，vF(j)表示包含特征j的域隐藏向量。
其中，xi，xj为不同域中的初始特征向量，vi为隐向量，xivi为特征嵌入向量，⊙表示两个向量的逐元素乘积，vF(j)表示包含特征j的域隐藏向量。
3、自注意力计算
注意力机制的目的是区分不同组件的重要性，并将其聚合到一个向量中，其中，自注意力机制规避了显式注意力机制中的显式权重系数的产生，更擅长捕获特征内部相关性。在Web API推荐场景中，不同的成对交互对预测具有不同的重要性，应用自注意力机制更适合。因此，在本实施例中应用了自注意力机制，其具体公式如下，
其中是应用自注意力机制的成对交互向量，Q、K和V均为自注意力参数矩阵，dk为矩阵维度。
4、多层感知器特征挖掘
多层感知器(MLP)是一种具有定向结构的人工神经网络，它将一组输入向量映射到一组输出向量。MLP由多个节点层组成，每个层都完全连接到下一层。除了输入节点外，每个节点都是具有非线性激活函数(或处理单元)的神经元。MLP经常使用一种被称为反向传播算法的有监督学习方法来训练。在基于因子分解机的Web API推荐方法中，MLP通常被用于挖掘初始特征向量中的高阶特征。多层感知器特征挖掘的具体公式如下，
其中L表示多层感知器的层数；Wl、bk和σ分别表示第l层的权重、偏置和激活函数，ol是第l层多层感知器的输出。
5、结果预测
最后，本实施例将多层感知器的最后一层转化为预测层，获得特征交互部分分数，具体计算公式如下，其中h表示预测层神经网络参数。
h(x)＝hTon (4)
获得特征交互部分分数后，将特征交互部分分数与线性回归部分分数相加，得到对Mashup是否调用Web API的分类预测分数，完整的分类预测分数计算公式如下，其中w0表示偏置值，表示线性计算部分。
接着，考虑到Mashup的Web API推荐问题被视为一个二分类问题，对分类预测分数使用sigmoid函数获得对Mashup是否调用Web API的分类预测结果。然后，本实施例定义一个交叉熵损失函数使整个模型可以训练，并应用L2正则化来防止过拟合。其中Θ是SANFM-DI中的模型参数，N表示样本的大小，m＝|Θ|是要训练的参数集，λ调节L2正则化的权重。
三，实验验证
在本实施例中，针对本实施例提供的分类方法，进行了实验验证，下面对本实施例的数据集与实验设置、评估指标、对比方法以及实验结果进行详细描述。
数据集与实验设置：
本实施例使用真实世界的数据集进行实验，以获得坚实的实验结果。数据集从ProgrammableWeb网站上爬取并公开发布，数据集的统计数据如表1所示。新更新的数据集包括12919个Web API，6206个Mashup。每个API和Mashup都有一个描述文档，以及开发人员或用户给出的一些标签。在所有Web API中，只有940个被Mashup调用，其调用率为940/12919＝7.28％。然而，少量的Web API经常被调用，Mashup与这些Web API有9297次交互。Mashup API矩阵的稀疏性水平被定义为公式(7)。因此，Mashup-Web API矩阵维度为6206×940，稀疏度为99.84％。
表1
四，评估指标
本实施例以交叉熵损失Logloss、AUC(表示ROC曲线下的面积)两个评价指标来评估有效性，并使用计算开销来评估效率。Logloss确定了真实值和预测值之间的差距，因此Logloss度量越小，相对性能越高。AUC值等于分类器将随机选择的正样本排序为比随机选择的负样本更大的可能性，其取值范围为[0,1]，越高越好。此外，当AUC值为0.5时，表明分类器没有分类能力。在预测模型的训练中，基于每次迭代的运行时间来评估计算开销。请注意，在Web API推荐任务环境下，本实施例认为Web API和Mashup之间观察到的交互是正样本，未记录的交互是负样本。基于MashupAPI的高度稀疏性，以及正负样本的不平衡性质，选取前100个API以及相关的1993个Mashup，以形成研究的数据集。API和Mashup描述信息都应用BERT模型微调后进行文本向量表征。基于选取的Web API和Mashup，获得2405个正样本，然后随机获得2595个负样本，以导出一个由总共5000个样本组成的平衡数据集。在本实施例中，为Mashup创建Web API推荐的目的是识别Mashup调用Web API的可能性，因此Web API推荐被视为一个分类问题，因此，训练数据集的预处理目标是使负样本和正样本的数量平衡，从而最终可以训练和生成有效的分类器(即Web API推荐模型)。需要强调的是，从Mashups的角度来看，不平衡的数据集不会影响所提出方法的有效性评估。
五，对比方法
在这一部分中，将提出的方法与以下方法进行比较，以验证所提出的方法的有效性以及效率。对比方法总结见表2：
1)basicFM：basicFM是最经典的因子分解机模型，其中交叉特征权重被参数化为组成组件嵌入的内积，通过集成二阶分量相互作用来改进线性回归框架。
2)DeepFM：在考虑输入特征之间的高阶合成交互时，DeepFM被引入到Web API推荐中，以学习高阶和低阶特征交互。DeepFM由Deep分量和FM分量组成，它们共享输入。FM分量代表因子分解机，而Deep分量代表前馈神经网络，用于推导高阶特征交互。
3)AFM：考虑到目标组件与无用组件的相互作用可能会引发噪声并对预测性能产生负面影响，AFM通过神经注意力网络来学习每个特征交互的重要性，并应用于Web API推荐。在AFM中，注意力网络的输入是两个分量的相互作用向量，它在嵌入空间中编码它们的相互作用数据。
4)NAFM：考虑到不同特征交互与和非线性组件交互对预测有不同重要性，NAFM通过集成深度神经网络来识别非线性特征交互和注意力网络来识别特征交互的重要性。
表2
六，实验结果与分析
表3展示了SANFM-DI模型和其他对比方法在不同评价指标下的结果。
根据实验结果，可以得出以下观察结果：
SANFM-DI在AUC和Logloss标准下都有最佳性能，而NAFM通常有次优性能。AFM和DeepFM在AUC和Logloss指标下有可比的性能，因为它们分别有自己的优势。与basicFM相比，其余方法都实现了更好的性能，因为basicFM只考虑二阶特征交互。特别地，在80％的训练数据下，相对于NAFM、AFM、DeepFM和basicFM，SANFM-DI的Logloss度量分别降低了约9.94％、12.91％、15.95％、28.39％。同时，与NAFM、AFM、DeepFM和basicFM相比，SANFM-DI的AUC分别提高了约3.32％、8.79％、14.75％、27.79％。尽管随着测试数据量的增加，性能略有下降，但与其他最新的基于FM的模型相比，SANFM-DI仍然始终更有效。总之，可看到SANFM-DI模型更能表达特征交互的重要性，并对高阶和低阶特征交互关系同时进行建模，可有效提高Web API推荐的性能。
表3
七，推荐效率比较
除了Web API推荐的有效性之外，本实施例还将从效率的角度评估提出的方法。通过收集不同模型在相同迭代次数下所消耗的时间以及不同模型随着迭代次数的增加而产生的Logloss，将本实施例的方法与训练过程中的较优模型进行比较。注意，basicFM不是基于神经网络的方法，因此它可以在线性时间内完成迭代。尽管basicFM的效率最好，但其Logloss和AUC最差。关于效率的实验结果如图2所示。如图2(a)所示，在相同的迭代次数下，SANFM-DI的运行时间相对较低。如图2(b)所示，与较优模型相比，SANFM-DI收敛相对较早。具体而言，SANFM-DI在大约50次迭代时收敛，但较优模型的收敛迭代次数多于或远多于50次。基于以上观察，SANFM-DI对于Web API推荐是有效的。
八，超参数对比分析
由于本实施例有许多超参数，包括嵌入维度、自注意力层维度、深度神经网络层数。当一个参数的效果正在检查时，其他参数被设置为默认值。
1)嵌入维度的影响
在{16，32，64，128，256}的范围内调整嵌入维度大小。嵌入层旨在将高维输入向量转换为待处理的低维向量，其大小影响模型从输入向量获得的信息量。一般来说，较大的嵌入大小可以获得更丰富的信息，但过大的嵌入大小增加了模型要处理的数据量，并且不能实现数据降维，这可能会降低模型的性能。从图3中可看出，当嵌入大小达到64时，SANFM-DI在数据集上的实验中实现了最佳输出。
2)自注意力层维度的影响
为探索自注意力层维度大小的影响，在{16，32，64，128，256}的范围内调整这个参数。当将自注意力应用于嵌入向量时，自注意力层维度大小会影响模型的表达能力。一般来说，自注意力层维度过小会导致自注意力信息挖掘不足，甚至导致模型性能比未应用自注意力的模型差。过大的自注意力层维度可能导致自注意力信息的过度挖掘，生成无效信息，并容易导致过度拟合。从图4可看出，在本实施例的实验中，当自注意力层维度为64时，SANFM-DI获得相对最好的性能。
3)深度神经网络层数的影响
在{2，3，4，5，6}的范围内研究深度神经网络层数的影响。深度神经网络层数影响模型挖掘高阶交互特征的能力。深度神经网络层数过少可能导致高阶交互特征信息挖掘不足，而深度神经网络层数过多可能会大大增加模型的复杂性，增加模型的训练时间。同样，它可能会导致高阶交互式特征信息的过度挖掘和模型的过拟合。从图5可以看出，在本实施例的实验环境下，当神经网络层数为3时，可以获得最佳的模型性能。
本实施例提出了一种高效的Web API推荐模型，即一种基于域交互的自注意力因子分解机的Web服务推荐方法。为了识别各种特征交互的重要性，在没有显式权重系数的情况下，将域交互机制和自注意力机制应用于SANFM-DI，提高了模型效果。此外，为了提升模型表达能力，在特征交互的自注意力传播之后添加了深度神经网络。通过这种特殊的设计，模型捕捉到了具有特征交互意义的低阶和高阶关系。最终，目标Mashup调用Web API的概率可通过预测层确定。对实际数据集的多项研究表明，在Mashup创建的Web API推荐中，本实施例优于其他比较方法。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，包括以下步骤：
获取文档的初始特征向量；基于所述初始向量，通过线性回归，计算得到线性回归部分预测分数；
基于所述初始特征向量，计算得到特征嵌入向量，还用于构建域隐藏向量；
获取域中每个特征的隐藏向量，并将所述隐藏向量替换成域隐藏向量，计算得到域中所有向量的公共特征；
基于自注意力机制和所述公共特征，计算得到成对交互向量；
对成对交互向量进行低阶和高阶特征的挖掘，计算得到特征交互部分分数；
基于所述特征交互部分分数和所述线性回归部分分数，计算得到Mashup调用Web API的概率预测结果。
2.根据权利要求1所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，获取文档的初始特征向量的过程包括：
基于网站描述文档，其中所述网站描述文档包括：Mashup描述文档和Web API描述文档；提取Mashup描述文档和Web API描述文档的文档信息，基于所述文档信息，计算得到若干个域特征向量，所述若干个域特征向量作为初始特征向量。
3.根据权利要求1所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，计算得到域中所有向量的公共特征的公式为：
其中，xi，xj为不同域中的初始特征向量，vi为隐向量，xivi为特征嵌入向量，⊙表示两个向量的逐元素乘积，vF(j)表示包含特征j的域隐藏向量。
4.根据权利要求3所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，计算得到成对交互向量的公式为：
其中为应用自注意力机制的成对交互向量，Q、K和V均为自注意力参数矩阵，dk为矩阵维度。
5.根据权利要求1所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，对成对交互向量进行低阶和高阶特征的挖掘的公式为：
其中L表示多层感知器的层数；Wl、bl和σ分别表示第l层的权重、偏置和激活函数，ol是第l层多层感知器的输出。
6.根据权利要求1所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，计算得到特征交互部分分数的公式为：
h(x)＝hTon
其中h表示预测层神经网络参数。
7.根据权利要求1所述的基于域交互的自注意力因子分解机的Web服务推荐方法，其特征在于，计算得到Mashup调用Web API的概率预测结果的公式为：
其中w0表示偏置值，表示线性计算部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310549885.XA CN116561425B (zh) | 2023-05-16 | 2023-05-16 | 基于域交互的自注意力因子分解机的Web服务推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310549885.XA CN116561425B (zh) | 2023-05-16 | 2023-05-16 | 基于域交互的自注意力因子分解机的Web服务推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116561425A true CN116561425A (zh) | 2023-08-08 |
| CN116561425B CN116561425B (zh) | 2024-02-02 |
Family
ID=87496128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310549885.XA Active CN116561425B (zh) | 2023-05-16 | 2023-05-16 | 基于域交互的自注意力因子分解机的Web服务推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561425B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609948A (zh) * | 2019-04-03 | 2019-12-24 | 华南理工大学 | 一种基于多层次注意力机制和场感知分解机的推荐方法 |
| CN112561599A (zh) * | 2020-12-24 | 2021-03-26 | 天津理工大学 | 一种融合域特征交互的基于注意力网络学习的点击率预测方法 |
| CN113343078A (zh) * | 2021-05-11 | 2021-09-03 | 浙江工业大学 | 基于主题模型聚类的Web API推荐方法 |
| US20220027722A1 (en) * | 2020-07-27 | 2022-01-27 | Adobe Inc. | Deep Relational Factorization Machine Techniques for Content Usage Prediction via Multiple Interaction Types |
| CN114676332A (zh) * | 2022-03-31 | 2022-06-28 | 广东外语外贸大学 | 一种面向开发者的网络api推荐方法 |
-
2023
- 2023-05-16 CN CN202310549885.XA patent/CN116561425B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110609948A (zh) * | 2019-04-03 | 2019-12-24 | 华南理工大学 | 一种基于多层次注意力机制和场感知分解机的推荐方法 |
| US20220027722A1 (en) * | 2020-07-27 | 2022-01-27 | Adobe Inc. | Deep Relational Factorization Machine Techniques for Content Usage Prediction via Multiple Interaction Types |
| CN112561599A (zh) * | 2020-12-24 | 2021-03-26 | 天津理工大学 | 一种融合域特征交互的基于注意力网络学习的点击率预测方法 |
| CN113343078A (zh) * | 2021-05-11 | 2021-09-03 | 浙江工业大学 | 基于主题模型聚类的Web API推荐方法 |
| CN114676332A (zh) * | 2022-03-31 | 2022-06-28 | 广东外语外贸大学 | 一种面向开发者的网络api推荐方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116561425B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368996B (zh) | 可传递自然语言表示的重新训练投影网络 | |
| JP2021528796A (ja) | 活性スパース化を用いたニューラルネットワーク加速・埋め込み圧縮システム及び方法 | |
| CN107516110B (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
| Lee et al. | Augmented variational autoencoders for collaborative filtering with auxiliary information | |
| CN110807154A (zh) | 一种基于混合深度学习模型的推荐方法与*** | |
| Patwary et al. | Sensitivity analysis on initial classifier accuracy in fuzziness based semi-supervised learning | |
| WO2023065859A1 (zh) | 物品推荐方法、装置及存储介质 | |
| Steck et al. | Admm slim: Sparse recommendations for many users | |
| Bondarenko et al. | Classification tree extraction from trained artificial neural networks | |
| Yue et al. | Multiple auxiliary information based deep model for collaborative filtering | |
| Yedjour et al. | Symbolic interpretation of artificial neural networks based on multiobjective genetic algorithms and association rules mining | |
| Aziguli et al. | A robust text classifier based on denoising deep neural network in the analysis of big data | |
| Liermann et al. | Deep learning: An introduction | |
| CN116341558A (zh) | 一种基于多层级图神经网络的多模态情感识别方法及模型 | |
| Li et al. | Hierarchical extreme learning machine with L21-norm loss and regularization | |
| Aamir et al. | Auto-encoder variants for solving handwritten digits classification problem | |
| Zhang et al. | Cosine: compressive network embedding on large-scale information networks | |
| Kumaraswamy | Optimized deep learning for genre classification via improved moth flame algorithm | |
| Xu et al. | A hierarchical intrusion detection model combining multiple deep learning models with attention mechanism | |
| Yuan et al. | Deep learning from a statistical perspective | |
| Kang et al. | Web API recommendation based on self-attentional neural factorization machines with domain interactions | |
| Xia | An overview of deep learning | |
| Wang et al. | Stacked Noise Reduction Auto Encoder–OCEAN: A Novel Personalized Recommendation Model Enhanced | |
| KR102543647B1 (ko) | 적응적 마스크드 어텐션 메커니즘을 이용한 에스팩트 기반 문장 내 감정 분석 방법, 장치 및 시스템 | |
| CN116561425B (zh) | 基于域交互的自注意力因子分解机的Web服务推荐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |