CN111291270A - 一种基于自适应图卷积网络的属性推理和产品推荐方法 - Google Patents

Abstract

本发明公开了一种基于自适应图卷积网络的属性推理和产品推荐方法，包括：1.构造异构数据：用户对产品的评分矩阵、用户属性矩阵、产品属性矩阵、用户属性索引矩阵、产品属性索引矩阵；2.对用户属性矩阵以及产品属性矩阵进行缺失值填充预处理；3.通过独热编码得到协同矩阵；4.根据属性矩阵和协同矩阵构造特征融合层；5.通过图卷积层进行特征传播；6.构造预测层进行属性推理和产品推荐；7.根据预测层输出结果更新节点属性矩阵；8.重复步骤4～7至属性推理和产品推荐效果达到最优。本发明能够充分挖掘图的高阶结构信息、节点属性之间的内在交互、节点属性和链接关系的潜在关联，从而实现更精准的属性推理和产品推荐。

Description

一种基于自适应图卷积网络的属性推理和产品推荐方法

技术领域

本发明涉及属性推理领域和产品推荐领域，具体地来说是一种基于自适应图卷积网络的属性推理和产品推荐方法。

背景技术

推荐***有效的缓解信息过载的问题，已经被成功的应用到电商、音乐、电影、社交等平台。基于协同过滤的模型是一种最主流的推荐***，通过挖掘用户的历史记录来进行个性化的产品推荐。基于协同过滤的推荐***应用广泛，但是其性能往往限制于用户行为数据的稀疏性。

属性增强的协同过滤***，利用用户(性别、年龄、职业等)和产品(价格、质量、种类)等丰富的属性特征对用户和产品进行表征建模，从而有效的缓解协同过滤中数据稀疏性的问题。但是用户和产品的属性特征常常是不完整的，有的用户并不愿意透露其个人信息，同样有的产品属性也未必可知。因此，属性增强的协同过滤***也常常受到属性不完整的问题的限制。

通过把用户对产品的行为数据建模成用户-产品的二部图，现有的基于评分矩阵协同过滤模型可以转换成图的问题。图的属性推理是指根据图的结构和已知节点属性信息对未知的节点属性进行推理，可以有效的填补图中缺失的属性。现有的属性推理工作利用半监督图的学习(标签传播、图的正则化、深度模型等)，可以对缺失的属性进行预测，但是属性推理的准确度还有待提高。此外，属性推理和产品推荐并不是独立的任务，两者存在相互促进的关系。如何利用用户对产品的交互数据和不完整属性信息，完成精确的属性推理和产品推荐成为了急需解决的问题。

发明内容

本发明为解决现有技术的不足之处，提出一种基于自适应图卷积网络的属性推理和产品推荐方法，以期能够充分挖掘图的高阶结构信息、节点属性之间的内在交互、节点属性和链接关系的潜在关联，从而实现更精准的属性推理和产品推荐。

本发明为解决技术问题采用如下技术方案：

本发明一种基于自适应图卷积网络的属性推理和产品推荐方法的特点是按如下步骤进行：

步骤1、构造异构数据，包括：用户对产品的评分矩阵R、用户属性矩阵X、产品属性矩阵Y、用户属性索引矩阵A^X、产品属性索引矩阵A^Y：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；令V表示产品集，且V＝{v₁,...,v_i,...,v_j,...,v_N}，v_i表示第i个产品，v_j表示第j个产品，N表示产品总数，1≤i,j≤N；令R_ai表示第a个用户u_a对第i个产品v_i的评分值，则用户对产品的评分矩阵R＝{R_ai}_M×N；

令用户属性矩阵X＝{x₁,...,x_a,...,x_M}，其中x_a表示第a个用户u_a的d_x维属性向量；令产品属性矩阵Y＝{y₁,...,y_i,...,x_N}，其中y_i表示第i个产品v_i的d_y维属性向量；

用户属性矩阵X和产品属性矩阵Y存在缺失的元素值，并利用用户属性索引矩阵A^X和产品属性索引矩阵A^Y分别表示用户属性矩阵X和产品属性矩阵Y中已知元素的索引；

步骤2、根据式(2)计算用户属性矩阵X中缺失的元素值x_fa以及产品属性矩阵Y中缺失的元素值y_gi，从而得到完整的用户属性矩阵X和产品属性矩阵Y：

式(2)中，x_fb表示用户属性矩阵X中第b个用户u_b的第f个属性值，

表示用户属性索引矩阵矩阵A^X中第f行第b列的元素值，y_gj表示产品属性矩阵Y中第j个产品v_j的第g个属性值，

表示产品属性索引矩阵A^Y中第g行第j列的元素值；

步骤3、通过独热编码得到节点协同矩阵，包括：用户协同矩阵、产品协同矩阵：

步骤3.1、用户集U通过独热编码方式构造用户协同矩阵P＝{p₁,...,p_a,...,p_M}，其中p_a表示第a个用户u_a的d维用户协同向量；

步骤3.2、物品集V通过独热编码方式构造产品协同矩阵Q＝{q₁,...,q_i,...,q_N}，其中q_i表示第i个产品v_i的d维产品协同向量；

步骤4、构造特征融合层：

步骤4.1、定义当前更新次数为l，并初始化l＝0；

步骤4.2、根据式(3)得到第a个用户u_a在第l次更新后的特征向量

和第i个产品v_i在第l次更新后的特征向量

式(3)中，W_u和W_v分别是将用户属性矩阵X和产品属性矩阵Y映射到相同维度语义空间的参数矩阵；

表示第a个用户u_a在第l次更新后的属性向量，

表示第i个产品v_i在第l次更新后的属性向量；当l＝0时，

步骤5、通过图卷积层进行特征传播：

步骤5.1、定义所述图卷积层包含K个卷积层，当前卷积层为k，并初始化k＝0；

步骤5.2、将所述用户特征向量

和

输入图卷积层进行特征传播，并利用式(4)计算第a个用户u_a和第i个产品v_i在第l次更新后的第k+1层卷积层输出的用户特征向量

和产品特征向量

式(4)中，R_a是第a个用户u_a交互过的产品集合，

是第j个产品v_j在第l次更新后的第k层卷积层输出的特征向量；

是第i个产品v_i在第l次更新后的第k层卷积层输出的特征向量；S_i是与第i个产品v_i交互过的用户集合，

是第a个用户u_a在第l次更新后的第k层卷积层输出的特征向量；

是第b个用户u_b在第l次更新后的第k层卷积层输出的特征向量；W^k+1是第k+1层卷积层的参数；当k＝0，

步骤6、根据图卷积层的输出来构造预测层：

步骤6.1、根据式(5)推理第a个用户u_a和第i个产品v_i在第l次更新后的的属性向量

和

从而得到在第l次更新后预测的用户属性矩阵

以及产品属性矩阵

式(5)中，

表示第a个用户u_a在第l次更新后经过K层卷积层得到的属性向量，

表示第i个产品v_i在第l次更新后经过K层卷积层得到的属性向量；W_x和W_y分别是用于推理用户属性和产品属性的参数；

步骤6.2、根据式(6)计算在第l次更新后的第a个用户u_a对第i个产品v_i预测的评分值

从而得到在第l次更新后的用户对产品的预测评分矩阵

式(6)中，<,>表示向量内积；

步骤6.3、根据式(7)建立在第l次更新后属性推理的损失函数

式(7)中，θ_a＝[W_x,W_y]是待优化的参数；x_fa表示第a个用户u_a中第f个属性值，

表示第a个用户u_a中第f个属性在第l次更新后的预测值，

是用户属性索引矩阵A^X第f行第a列的元素值；y_gi表示第i个产品v_i中第i个属性值，

表示第i个产品v_i中第i个属性在第l次更新后的预测值，

是产品属性索引矩阵A^Y第g行第i列的元素值；

步骤6.4、根据式(8)建立在第l次更新后评分预测的损失函数

式(8)中，θ_r＝[θ₁,θ₂]是待优化的参数，θ₁＝[P,Q]，

λ是正则化项参数，D_a＝{(i,j)|i∈R_a,j∈V-R_a}是第a个用户u_a的训练数据；

步骤6.5、根据式(9)计算在第l次更新后的全部损失函数L^l(θ)：

式(8)中，θ＝[θ_a,θ_r]是全部待优化参数，γ是用于平衡两个损失函数权重的超参数；通过梯度下降法对所述损失函数L^l(θ)进行求解，使得L^l(θ)达到最小，从而得到在第l次更新后的最优参数θ^l,*；

步骤7、根据预测层输出结果更新节点属性矩阵：

根据所述最优参数θ^l,*，得到在第l次更新后最优的用户属性预测矩阵

和产品属性预测矩阵

根据式(10)和式(11)分别得到第l+1次更新后的用户属性矩阵X^l+1和产品属性矩阵Y^l+1：

式(10)中，E^X是用户属性索引矩阵A^X维度相同，且元素值全为1的矩阵；

式(11)中，E^Y是产品属性索引矩阵A^Y维度相同，且元素值全为1的矩阵；

步骤8、将l+1赋值给l后，返回步骤4.2顺序执行，直到损失函数L^l(θ)收敛至最小值。

与已有技术相比，本发明有益效果体现在：

1.本发明针对推荐***中用户和产品存在属性缺失的问题，提出了一个基于自适应图卷积网络的属性推理和产品推荐方法，深度挖掘***协同信息和属性信息的特征，迭代的对缺失属性值进行预测及更新，有效的提高了的属性推理和产品推荐的精确度。

2.本发明通过独热编码的方式处理用户集和产品集，可以有效地扩增数据维度，便于快速的进行矩阵操作。

3.本发明设计了特征融合层对用户和产品的协同信息和属性信息进行融合，充分考虑了多源数据之间的交互关系，从而有效地缓解了协同过滤***中数据稀疏性的问题。

4.本发明采用图的方式对用户和产品之间的交互关系进行表征学习，通过图卷积层对融合后的特征进行传播，可以更好的捕获到用户和产品之间复杂的高阶相似性，学习更精确的用户和产品表示。

5.本发明根据预测结果自适应的更新用户属性矩阵和产品属性矩阵，对整个神经网络进行迭代式的学习，有效的提高了属性推理和产品推荐精度，为推荐方法起到了数据增强的作用。

附图说明

图1为本发明基于自适应图卷积网络的属性推理和产品推荐方法的流程图；

具体实施方式

本实施例中，一种基于自适应图卷积网络的属性推理产品推荐方法方法，考虑了推荐***中用户和产品属性缺失的问题，通过自适应的图卷积网络进行特征传播，以实现更精准的属性推理和产品推荐。具体的说，如图1所示，是按如下步骤进行：

步骤1、构造异构数据，包括：用户对产品的评分矩阵R、用户属性矩阵X、产品属性矩阵Y、用户属性索引矩阵A^X、产品属性索引矩阵A^Y：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；令V表示产品集，且V＝{v₁,...,v_i,...,v_j,...,v_N}，v_i表示第i个产品，v_j表示第j个产品，N表示产品总数，1≤i,j≤N；令R_ai表示第a个用户u_a对第i个产品v_i的评分值，则用户对产品的评分矩阵R＝{r_ai}_M×N；若第a个用户u_a对第i个产品v_i有过行为数据(购买、点击、观看等)，则r_ai＝1，否则r_ai＝0；

令用户属性矩阵X＝{x₁,...,x_a,...,x_M}，其中x_a表示第a个用户u_a的d_x维属性向量；令产品属性矩阵Y＝{y₁,...,y_i,...,x_N}，其中y_i表示第i个产品v_i的d_y维属性向量；

用户属性矩阵X和产品属性矩阵Y存在缺失的元素值，并利用用户属性索引矩阵A^X和产品属性索引矩阵A^Y分别表示用户属性矩阵X和产品属性矩阵Y中已知元素的索引；

步骤2、根据式(2)计算用户属性矩阵X中缺失的元素值x_fa以及产品属性矩阵Y中缺失的元素值y_gi，从而得到完整的用户属性矩阵X和产品属性矩阵Y：

式(2)中，x_fb表示用户属性矩阵X中第b个用户u_b的第f个属性值，

表示用户属性索引矩阵矩阵A^X中第f行第b列的元素值，y_gj表示产品属性矩阵Y中第j个产品v_j的第g个属性值，

表示产品属性索引矩阵A^Y中第g行第j列的元素值；

步骤3、通过独热编码得到节点协同矩阵，包括：用户协同矩阵、产品协同矩阵：

步骤3.1、用户集U通过独热编码方式构造用户协同矩阵P＝{p₁,...,p_a,...,p_M}，其中p_a表示第a个用户u_a的d维用户协同向量；

步骤3.2、物品集V通过独热编码方式构造产品协同矩阵Q＝{q₁,...,q_i,...,q_N}，其中q_i表示第i个产品v_i的d维产品协同向量；

步骤4、构造特征融合层：

步骤4.1、定义当前更新次数为l，并初始化l＝0；

步骤4.2、根据式(3)得到第a个用户u_a在第l次更新后的特征向量

和第i个产品v_i在第l次更新后的特征向量

式(3)中，W_u和W_v分别是将用户属性矩阵X和产品属性矩阵Y映射到相同维度语义空间的参数矩阵；

表示第a个用户u_a在第l次更新后的属性向量，

表示第i个产品v_i在第l次更新后的属性向量；当l＝0时，

步骤5、通过图卷积层进行特征传播：

步骤5.1、定义图卷积层包含K个卷积层，当前卷积层为k，并初始化k＝0；

步骤5.2、将用户特征向量

和

输入图卷积层进行特征传播，并利用式(4)计算第a个用户u_a和第i个产品v_i在第l次更新后的第k+1层卷积层输出的用户特征向量

和产品特征向量

式(4)中，R_a是第a个用户u_a交互过的产品集合，

是第j个产品v_j在第l次更新后的第k层卷积层输出的特征向量；

是第i个产品v_i在第l次更新后的第k层卷积层输出的特征向量；S_i是与第i个产品v_i交互过的用户集合，

是第a个用户u_a在第l次更新后的第k层卷积层输出的特征向量；

是第b个用户u_b在第l次更新后的第k层卷积层输出的特征向量；W^k+1是第k+1层卷积层的参数；当k＝0，

步骤6、根据图卷积层的输出来构造预测层：

步骤6.1、根据式(5)推理第a个用户u_a和第i个产品v_i在第l次更新后的的属性向量

和

从而得到在第l次更新后预测的用户属性矩阵

以及产品属性矩阵

式(5)中，

表示第a个用户u_a在第l次更新后经过K层卷积层得到的属性向量，

表示第i个产品v_i在第l次更新后经过K层卷积层得到的属性向量；W_x和W_y分别是用于推理用户属性和产品属性的参数；

步骤6.2、根据式(6)计算在第l次更新后的第a个用户u_a对第i个产品v_i预测的评分值

从而得到在第l次更新后的用户对产品的预测评分矩阵

式(6)中，<,>表示向量内积；

步骤6.3、根据式(7)建立在第l次更新后属性推理的损失函数

式(7)中，θ_a＝[W_x,W_y]是待优化的参数；x_fa表示第a个用户u_a中第f个属性值，

表示第a个用户u_a中第f个属性在第l次更新后的预测值，

是用户属性索引矩阵A^X第f行第a列的元素值；y_gi表示第i个产品v_i中第i个属性值，

表示第i个产品v_i中第i个属性在第l次更新后的预测值，

是产品属性索引矩阵A^Y第g行第i列的元素值；

步骤6.4、根据式(8)建立在第l次更新后评分预测的损失函数

式(8)中，θ_r＝[θ₁,θ₂]是待优化的参数，θ₁＝[P,Q]，

λ是正则化项参数，D_a＝{(i,j)|i∈R_a,j∈V-R_a}是第a个用户u_a的训练数据；

步骤6.5、根据式(9)计算在第l次更新后的全部损失函数L^l(θ)：

式(8)中，θ＝[θ_a,θ_r]是全部待优化参数，γ是用于平衡两个损失函数权重的超参数；通过梯度下降法对损失函数L^l(θ)进行求解，使得L^l(θ)达到最小，从而得到在第l次更新后的最优参数θ^l,*；

步骤7、根据预测层输出结果更新节点属性矩阵：

根据最优参数θ^l,*，得到在第l次更新后最优的用户属性预测矩阵

和产品属性预测矩阵

根据式(10)和式(11)分别得到第l+1次更新后的用户属性矩阵X^l+1和产品属性矩阵Y^l+1：

式(10)中，E^X是用户属性索引矩阵A^X维度相同，且元素值全为1的矩阵；

式(11)中，E^Y是产品属性索引矩阵A^Y维度相同，且元素值全为1的矩阵；

步骤8、将l+1赋值给l后，返回步骤4.2顺序执行，直到损失函数L^l(θ)收敛至最小值。

实施例：

为了验证本方法的有效性，本发明采用推荐***中常用的三个公开的数据集：Amazon-Video Games、Movielens-1M、Movielens-20M。每个数据集筛选评分记录少于5的用户，每种属性随机删除90％的记录作为训练数据。

对于产品推荐任务，本发明采用Hit Ratio(HR)和Normalized DiscountedCumulative Gain(NDCG)作为评价标准。本发明选用了5种方法进行效果对比，分别是BPR、FM、BLA、NGCF、PinNGCF。具体地，表1、表2、表3分别显示在Amazon-Video Games、Movielens-1M、Movielens-20M数据集上的实验结果，可以看出在三个数据集上，本发明提出的方法在HR和NDCG这两个指标上都优于对比的5种方法。

表1本发明方法与对比方法在Amazon-Video Games数据集上的产品推荐结果

表2本发明方法与对比方法在Movielens-1M数据集上的产品推荐结果

表3本发明方法与对比方法在Movielens-20M数据集上的产品推荐结果

对于属性推理任务，对于单值属性本发明采用Accuracy(ACC)，对于多值属性本发明采用MeanAverage Precision(MAP)作为评价标准。本发明采用了4种方法进行效果对比，分别是LP、GR、Semi-GCN、BLA。

表4本发明方法与对比方法在全部数据集上的属性推理结果

实验结果如表4所示，可以看出在三个数据集上，本发明提出的方法在ACC和MAP这两个指标上都优于对比的4种方法。综合产品推荐和属性推理这两个任务，本发明提出的方法都显著的优于对比的众多方法，从而证明了本发明提出方法的可行性。

Claims (1)

1.一种基于自适应图卷积网络的属性推理和产品推荐方法，其特征是按如下步骤进行：

步骤1、构造异构数据，包括：用户对产品的评分矩阵R、用户属性矩阵X、产品属性矩阵Y、用户属性索引矩阵A^X、产品属性索引矩阵A^Y：

令U表示用户集，且U＝{u₁,...,u_a,...,u_b,...,u_M}，u_a表示第a个用户，u_b表示第b个用户，M表示用户总数，1≤a,b≤M；令V表示产品集，且V＝{v₁,...,v_i,...,v_j,...,v_N}，v_i表示第i个产品，v_j表示第j个产品，N表示产品总数，1≤i,j≤N；令R_ai表示第a个用户u_a对第i个产品v_i的评分值，则用户对产品的评分矩阵R＝{R_ai}_M×N；

令用户属性矩阵X＝{x₁,...,x_a,...,x_M}，其中x_a表示第a个用户u_a的d_x维属性向量；令产品属性矩阵Y＝{y₁,...,y_i,...,x_N}，其中y_i表示第i个产品v_i的d_y维属性向量；

用户属性矩阵X和产品属性矩阵Y存在缺失的元素值，并利用用户属性索引矩阵A^X和产品属性索引矩阵A^Y分别表示用户属性矩阵X和产品属性矩阵Y中已知元素的索引；

步骤2、根据式(2)计算用户属性矩阵X中缺失的元素值x_fa以及产品属性矩阵Y中缺失的元素值y_gi，从而得到完整的用户属性矩阵X和产品属性矩阵Y：

式(2)中，x_fb表示用户属性矩阵X中第b个用户u_b的第f个属性值，

表示用户属性索引矩阵矩阵A^X中第f行第b列的元素值，y_gj表示产品属性矩阵Y中第j个产品v_j的第g个属性值，

表示产品属性索引矩阵A^Y中第g行第j列的元素值；

步骤3、通过独热编码得到节点协同矩阵，包括：用户协同矩阵、产品协同矩阵：

步骤3.1、用户集U通过独热编码方式构造用户协同矩阵P＝{p₁,...,p_a,...,p_M}，其中p_a表示第a个用户u_a的d维用户协同向量；

步骤3.2、物品集V通过独热编码方式构造产品协同矩阵Q＝{q₁,...,q_i,...,q_N}，其中q_i表示第i个产品v_i的d维产品协同向量；

步骤4、构造特征融合层：

步骤4.1、定义当前更新次数为l，并初始化l＝0；

步骤4.2、根据式(3)得到第a个用户u_a在第l次更新后的特征向量

和第i个产品v_i在第l次更新后的特征向量

式(3)中，W_u和W_v分别是将用户属性矩阵X和产品属性矩阵Y映射到相同维度语义空间的参数矩阵；

表示第a个用户u_a在第l次更新后的属性向量，

表示第i个产品v_i在第l次更新后的属性向量；当l＝0时，

步骤5、通过图卷积层进行特征传播：

步骤5.1、定义所述图卷积层包含K个卷积层，当前卷积层为k，并初始化k＝0；

步骤5.2、将所述用户特征向量

和

输入图卷积层进行特征传播，并利用式(4)计算第a个用户u_a和第i个产品v_i在第l次更新后的第k+1层卷积层输出的用户特征向量

和产品特征向量

式(4)中，R_a是第a个用户u_a交互过的产品集合，

是第j个产品v_j在第l次更新后的第k层卷积层输出的特征向量；

是第i个产品v_i在第l次更新后的第k层卷积层输出的特征向量；S_i是与第i个产品v_i交互过的用户集合，

是第a个用户u_a在第l次更新后的第k层卷积层输出的特征向量；

是第b个用户u_b在第l次更新后的第k层卷积层输出的特征向量；W^k+1是第k+1层卷积层的参数；当k＝0，

步骤6、根据图卷积层的输出来构造预测层：

步骤6.1、根据式(5)推理第a个用户u_a和第i个产品v_i在第l次更新后的的属性向量

和

从而得到在第l次更新后预测的用户属性矩阵

以及产品属性矩阵

式(5)中，

表示第a个用户u_a在第l次更新后经过K层卷积层得到的属性向量，

表示第i个产品v_i在第l次更新后经过K层卷积层得到的属性向量；W_x和W_y分别是用于推理用户属性和产品属性的参数；

步骤6.2、根据式(6)计算在第l次更新后的第a个用户u_a对第i个产品v_i预测的评分值

从而得到在第l次更新后的用户对产品的预测评分矩阵

式(6)中，<,>表示向量内积；

步骤6.3、根据式(7)建立在第l次更新后属性推理的损失函数L^l _a(θ_a)：

式(7)中，θ_a＝[W_x,W_y]是待优化的参数；x_fa表示第a个用户u_a中第f个属性值，

表示第a个用户u_a中第f个属性在第l次更新后的预测值，

是用户属性索引矩阵A^X第f行第a列的元素值；y_gi表示第i个产品v_i中第i个属性值，

表示第i个产品v_i中第i个属性在第l次更新后的预测值，

是产品属性索引矩阵A^Y第g行第i列的元素值；

步骤6.4、根据式(8)建立在第l次更新后评分预测的损失函数

式(8)中，θ_r＝[θ₁,θ₂]是待优化的参数，θ₁＝[P,Q]，

λ是正则化项参数，D_a＝{(i,j)|i∈R_a,j∈V-R_a}是第a个用户u_a的训练数据；

步骤6.5、根据式(9)计算在第l次更新后的全部损失函数L^l(θ)：

式(8)中，θ＝[θ_a,θ_r]是全部待优化参数，γ是用于平衡两个损失函数权重的超参数；通过梯度下降法对所述损失函数L^l(θ)进行求解，使得L^l(θ)达到最小，从而得到在第l次更新后的最优参数θ^l,*；

步骤7、根据预测层输出结果更新节点属性矩阵：

根据所述最优参数θ^l,*，得到在第l次更新后最优的用户属性预测矩阵

和产品属性预测矩阵

根据式(10)和式(11)分别得到第l+1次更新后的用户属性矩阵X^l+1和产品属性矩阵Y^{l +1}：

式(10)中，E^X是用户属性索引矩阵A^X维度相同，且元素值全为1的矩阵；

式(11)中，E^Y是产品属性索引矩阵A^Y维度相同，且元素值全为1的矩阵；

步骤8、将l+1赋值给l后，返回步骤4.2顺序执行，直到损失函数L^l(θ)收敛至最小值。

Images