CN111797321A - 一种面向不同场景的个性化知识推荐方法及*** - Google Patents

一种面向不同场景的个性化知识推荐方法及*** Download PDF

Info

Publication number
CN111797321A
CN111797321A CN202010646490.8A CN202010646490A CN111797321A CN 111797321 A CN111797321 A CN 111797321A CN 202010646490 A CN202010646490 A CN 202010646490A CN 111797321 A CN111797321 A CN 111797321A
Authority
CN
China
Prior art keywords
user
information
knowledge
vector
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010646490.8A
Other languages
English (en)
Other versions
CN111797321B (zh
Inventor
史玉良
李琳
程林
张坤
孔凡玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010646490.8A priority Critical patent/CN111797321B/zh
Publication of CN111797321A publication Critical patent/CN111797321A/zh
Application granted granted Critical
Publication of CN111797321B publication Critical patent/CN111797321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种面向不同场景的个性化知识推荐方法及***,获取用户数据信息,判断其所处使用场景;若为短期会话型场景,建立会话学习模型,提取会话内用户交互项作为输入,通过注意力机制对每个交互行为进行建模,并输出会话内容的偏好;建立边缘信息学习模块,利用图结构信息,通过挖掘项目的边缘信息,预测当前用户需求;若为长期连续型场景,采用分类‑分层的注意力机制进行编码,在知识项和类别两个层次上进行偏好学习,预测用户需求;根据预测的用户需求,推荐相关信息,推荐信息更为准确。

Description

一种面向不同场景的个性化知识推荐方法及***
技术领域
本公开属于数据信息处理方法,涉及一种面向不同场景的个性化知识推荐方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息,不必然构成在先技术。
随着互联网技术的革新和快速发展,互联网信息资源急剧增加,对网络用户来说,如何在海量信息资源中准确获取到所需的内容是一件非常困难的事情;对于互联网平台来说,如何准确地为用户提供合适的信息服务,提高用户访问的效率以及优化用户的体验,也是一件极具挑战性的事情。而推荐***的出现在缓解信息超载方面发挥了关键作用,目前已经被电子商务、在线学***台广泛使用。随着互联网信息资源越来越多,推荐***的实际价值也越来越高。推荐***的关键是根据用户历史的访问信息(如评分和点击),对用户的偏好进行建模,预测用户的需求或兴趣偏好,从而帮助用户从海量数据中更加快速地获得自己感兴趣的内容或服务。
对于软件知识学***台的数据量大,知识体系和类别多样,如视频类教程和文档型内容。同时,知识数据结构不一,组织形式各异。面对以上问题,为了提供个性化的服务,提升用户体验,加强用户和平台之间的交互性,需要结合平台和用户两个方面,更好地进行个性化的知识推荐。具体来说,一方面,需要考虑平台上异构数据的组织和处理,如使用知识图谱组织异构知识项;另一方面,需要考虑不同用户间的知识水平差异,通过建模用户当前的知识水平信息,可以更好的学习用户当前的需求和偏好。
据发明人了解,在当前的推荐方法研究中,基于RNN的序列建模方法没有考虑到交互项目与其他项目之间的潜在关系,难以捕获更深入的用户需求。在本公开中,通过结合软件知识学***台的目的性很强,呈主题式访问。长期连续型场景是指用户的访问是一般性、连续性的访问,用户会继续之前的学***的个性化推荐,当前的序列推荐模型难以捕获到跨类别间的。
发明内容
本公开为了解决上述问题,提出了一种面向不同场景的个性化知识推荐方法及***,本公开针对短期会话型和长期连续型两个场景进行有针对性的处理,可以更深入的学***表示和当前的知识需求,从而进行更准确的知识推荐。
根据一些实施例,本公开采用如下技术方案:
一种面向不同场景的个性化知识推荐方法,包括以下步骤:
获取用户数据信息,判断其所处使用场景;
若为短期会话型场景,建立会话学习模型,提取会话内用户交互项作为输入,通过注意力机制对每个交互行为进行建模,并输出会话内容的偏好;建立边缘信息学习模块,利用图结构信息,通过挖掘项目的边缘信息,预测当前用户需求;
若为长期连续型场景,采用分类-分层的注意力机制进行编码,在知识项和类别两个层次上进行偏好学习,预测用户需求;
根据预测的用户需求,推荐相关信息。
作为可选择的实施方式,获取用户数据信息,若所述用户具有超过设定值的历史数据,则认为该用户处于长期连续型场景,否则认为其处于短期会话型场景。
作为可选择的实施方式,短期会话型场景时,基于用户在会话中一系列随时间变化的连续交互行为,将交互项映射到知识图谱的对应实体中,通过聚合该实体的属性及边缘相关实体,得到相应的边缘信息向量表示,从而实现边缘信息学习。
作为可选择的实施方式,短期会话型场景时,基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示;
利用用户偏好的综合向量,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练门控循环单元的学习参数,完成模型的训练。
作为可选择的实施方式,长期连续型场景时,基于用户历史访问学习平台的信息序列,通过嵌入操作将信息序列映射成相应的向量表示,实现对用户序列信息编码。
作为可选择的实施方式,基于用户序列的信息编码,通过门控循环单元获取每个时间步的隐藏状态来得到历史序列中的信息传递情况,从而得到隐含状态向量集合。
作为可选择的实施方式,基于得到的隐含状态向量集合,按照原标签进行分类,得到相同类别的知识对应的隐含向量;将用户嵌入向量转换为类别查询向量,引入知识敏感注意力机制计算用户对各类别知识的注意力权重;
利用得到的用户对各类别知识的注意力权重和已知的候选项集进行内积操作,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练门控循环单元的学习参数,完成模型的训练。
一种面向不同场景的个性化知识推荐***,包括:
场景判断模块,被配置为获取用户数据信息,判断其所处使用场景;
短期会话型场景处理模块,被配置为建立会话学习模型,提取会话内用户交互项作为输入,通过注意力机制对每个交互行为进行建模,并输出会话内容的偏好;建立边缘信息学习模块,利用图结构信息,通过挖掘项目的边缘信息,预测当前用户需求;
长期连续型场景处理模块,被配置为采用分类-分层的注意力机制进行编码,在知识项和类别两个层次上进行偏好学习,预测用户需求;
信息推荐模块,被配置为根据预测的用户需求,推荐相关信息。
作为可选择的实施方式,所述短期会话型场景处理模块,包括:
会话信息学习模块,其用于利用上下文关联的GRU网络对会话中用户的顺序交互进行建模,并对传统GRU单元中的操作进行修改,将用户的交互行为添加到各个门函数中,获得用户会话行为向量表示;
边缘信息学习模块,其用于基于用户在会话中一系列随时间变化的连续交互行为,将交互项映射到知识图谱(KG)的对应实体中,通过聚合该实体的属性及边缘相关实体,得到相应的边缘信息向量表示;
综合向量获取模块,其用于基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示;
推荐模型训练模块,其用于利用用户偏好的综合向量,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际的用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,完善用户行为推荐结果。
作为可选择的实施方式,所述长期连续型场景处理模块,包括:
用户序列信息编码模块,其用于利用用户历史访问学习平台的信息序列,通过嵌入操作,将用户序列信息映射成相应的向量表示;
隐含状态向量学习模块,其用于基于用户序列信息的编码向量,通过GRU方法来得到历史序列中的信息传递情况;
用户知识水平学***的注意力权重;
推荐模型训练模块,其用于利用用户对各类别知识的注意力权重和已知的候选项集进行内积操作,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际的用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,完善用户行为推荐结果。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种面向不同场景的个性化知识推荐方法。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种面向不同场景的个性化知识推荐方法。
与现有技术相比,本公开的有益效果为:
(1)本公开从短期会话型场景和长期连续型场景两个角度分别进行推荐研究,从而达到个性化推荐的目的;
(2)针对短期会话型场景,本公开以用户在历史会话中一系列随时间变化的连续交互行为数据(例如浏览、点击等)为基础,考虑了用户会话信息学习和边缘信息学习两个方面,更好的挖掘出用户潜在的偏好信息。对于用户会话信息学习,基于用户历史访问会话的序列,使用上下文关联的GRU网络对会话中用户的顺序交互进行建模,获得用户会话行为向量表示;对于边缘信息学习,发明人将会话中的交互项映射到知识图谱的对应实体中,通过聚合该实体的属性及边缘相关实体,获得相应的边缘信息向量表示;
(3)针对短期会话型场景,本公开考虑到用户会话内的项目与项目在知识图谱中的信息存在着相关性,基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示,从而提高推荐效果;
(4)针对长期连续型场景,本公开以用户历史访问知识平台的信息序列为基础,为了学***变化情况,将用户嵌入向量转换为类别查询向量,引入知识敏感注意力机制,并计算用户对各类别知识的注意力权重,从而完成更适合的推荐。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解,本公开的示意性实施例及其说明用于解释本公开,并不构成对本公开的不当限定。
图1为本公开实施例提供的面向不同场景的个性化推荐方法的整体流程图;
图2为本公开实施例提供的基于协同注意力的用户行为推荐的处理流程图;
图3为本公开实施例提供的基于知识水平感知的注意力网络推荐的处理流程图;
图4为本公开实施例提供的注意力机制推荐效果图;
图5为本公开实施例提供的面向不同场景的推荐实施例流程图;
图6为本公开实施例提供的面向不同场景的推荐装置结构示意图。
具体实施方式:
下面结合附图与实施例对本公开作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本公开提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本公开的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1至图5所示,本实施例的一种面向不同场景的个性化推荐方法,包括:
针对短期会话型场景而言,
A.对用户会话数据的采集,包含历史数据和当前交互数据,对获取的海量用户会话交互数据进行数据预处理,包含数据清洗、缺失数据补全、数据定义并存储。
具体地,基于某在线购买平台获取用户的交互数据为应用实例,分别获得音乐类交互数据和电商类交互数据,并将数据集分为训练数据和测试数据。如表1所示,为用户在历史会话中的交互数据集。
表1数据集的基本统计信息
Figure BDA0002573322410000091
Figure BDA0002573322410000101
B.基于用户在会话中一系列随时间变化的连续交互行为(例如浏览、点击等),使用上下文关联的GRU网络对会话中用户的顺序交互进行建模,并对传统GRU单元中的操作进行修改,将用户的交互行为添加到各个门函数中,获得用户会话行为向量表示,从而实现会话信息学习。
具体地,所述步骤B中用户会话信息学习的一般生成过程为:
B1.会话行为学习(SBL)是对给定用户u的短期会话行为进行建模,更具体地说,对于给定用户访问会话序列Su={(x1,b1),(x2,b2),…,(xi,bi)},xi表示会话内的第i项,i表示用户在第i项的交互方式(如click、purchase等)。首先,根据用户在会话中连续的交互行为(例如浏览、点击等)进行建模,得到用户当前会话内的偏好信息。
B2.使用上下文关联的GRU网络对会话中用户的顺序交互进行建模,并对传统GRU单元中的操作进行修改,将bi的交互行为分别添加到各个门函数中。先前的研究证明了GRU在基于会话推荐中比LSTM有更好的性能。GRU中的隐藏状态ht可以是前一个隐藏状态ht-1与候选隐藏状态
Figure BDA0002573322410000102
之间的线性插值:
Figure BDA0002573322410000103
zt=σ(Wzxt+Vzbt+Uzht-1) (2)
Figure BDA0002573322410000111
rt=σ(Wrxt+Vrbt+Urht-1) (4)
其中zt为更新门函数;
Figure BDA0002573322410000112
为候选激活函数;rt为重置门函数;Wz,Vz,Uz,Wr,Vr,Ur分别为权重系数。
如上所述,使用隐含状态ht保存当前会话中用户的意图信息,可以得到用户会话偏好集合Iu:
Iu={hs,1,hs,2,…,hs,t} (5)
其中Iu∈RD×t,D是隐含状态的维度,R表示实数集合。
C.在边缘信息学习中,将交互项映射到知识图谱(KG)中的对应实体,通过聚合该实体的属性及边缘相关实体,得到相应邻域信息表示N(xn),进行相关潜在兴趣学习。但是在真实世界的知识图谱中,实体的邻居的数量和关系可能会有很大的差异。为了保持每个批处理的计算稳定且有效,随机选择固定大小的邻居集,而不使用它的完整邻居。
具体地,所述步骤C中用户边缘信息学习的一般生成过程为:
C1.基于用户历史会话序列,将交互项映射到知识图谱(KG)中的对应实体,通过聚合该实体的属性及边缘相关实体,得到相应邻域信息表示N(xn)。计算实体v的邻域表示viN(v)为:
Figure BDA0002573322410000113
其中
Figure BDA0002573322410000121
表示实体间的关系权重得分。
C2.对于每个交互项in,逐层计算in的接受域,并以邻居聚合的形式表示实体item的邻域信息:
aggneighbor=σ(W·vN(v)+b) (7)
聚合是获取邻域信息表示的关键步骤,本实施对会话内每个实体聚合后得到邻域信息集合Nu,表示会话内交互项目的边缘信息集合:
Nu={aggneighbor,1,aggneighbor,2,…,aggneighbor,t} (8)
D.基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示:
将步骤B获得的会话行为向量Iu和步骤C获得的边缘信息向量Nu作为协同注意网络的输入,计算关联矩阵c:
Figure BDA0002573322410000122
其中,Wc为权重系数,f是tanh函数。
然后把关联矩阵c当做一个特征,计算会话内偏好和边缘信息的注意力为:
Ps=f1(WNNu+(WiIu+Wihs,t)CT) (10)
Figure BDA0002573322410000123
同样的,
Pu=f1(WiIu+(WNNu+Wtaggneighbor,t)CT) (12)
Figure BDA0002573322410000131
其中,f1,f2分别为tanh函数和softmax函数,Ws,Wt,Wt为权重系数。
根据注意力的权重,用户长期和短期偏好的相互依赖表征可以计算为其交互表征的加权和:
Figure BDA0002573322410000132
Figure BDA0002573322410000133
为了着重考虑当前项对用户偏好的影响,本实施用Pu=[Ico-u;hs,t],Ps=[Pco-u;aggneighbor,t]分别来表示最终的会话内偏好与边缘信息潜在偏好。
最后,将以上二者与候选项目集结合,并获得用户偏好的综合向量表示
Figure BDA0002573322410000134
Figure BDA0002573322410000135
E.对待预测样本进行用户行为推荐,将步骤D中的输出
Figure BDA0002573322410000136
输入softmax层得到输出值,如下:
Figure BDA0002573322410000137
其中,y′表示模型的输出向量,表示候选项目的概率分布,每个概率表示该项目是下一个访问的概率。
F.采用交叉熵作为损失函数,若y为真实的类别分布,则损失函数定义如下:
Figure BDA0002573322410000141
然后,使用随机梯度下降优化器进行优化。
对待测试样本进行用户行为推荐,将推荐结果进行推送,并与实际的用户行为进行结果对比,表2描述了用户行为推荐中方法的性能比较:
表2用户行为推荐的性能比较
Figure BDA0002573322410000142
基于表2中的结果可得,本实施例所提出的用户行为推荐模型的性能优于其他方法。
针对长期连续型场景推荐而言,
A.对用户访问知识平台数据的采集,包含历史数据和当前数据,对获取的海量用户访问数据进行数据预处理,包含数据清洗、缺失数据补全、数据定义并存储。
具体地,基于某知识软件知识学习平台获取用户历史访问数据为应用实例,获取到的用户访问数据主要包括用户ID、用户访问课程ID、用户访问课程的时间T、用户访问进度P、用户访问课程的难易程度H、用户访问课程所属的类别C等。首先,对获取到的数据进行了处理,将过少和过长的用户数据样本进行了筛选,得到了统一长度的用户访问数据。具体用户数据描述如表3所示。
表3数据集的基本统计信息
记录 数量 筛选后数量
用户记录 114827 109696
课程 837 445
用户 12600 10398
章节 3227 2164
课程类别 26 26
B.基于用户访问软件知识学***以及推测用户当前所需的知识。
令u表示用户,用户历史学习的路线:初始全序列为:
S(u)={k1,k2,…,kn} (1)
进一步的,根据知识所属类别标签分类得到内部(隐含)序列:
ci={k1,k2,…,km},其中m<n (2)
需要注意的是,k1,ki并不一定是初始全序列中的连续项。
所以,用户历史学习全序列可以表示为:
Figure BDA0002573322410000161
C.对于给定用户user的历史访问序列Sk={k1,k2,…,kn},n为用户历史访问的项的个数。然后,将序列K通过嵌入层转换成空间向量表示E={e1,e2,…,en},ei为D维向量,D是所有项的个数,同时,UserID也通过嵌入转换成空间向量表示。
D.基于步骤C获得的用户序列信息编码,利用基于GRU的方法获取每个时间步的隐藏状态ht,ht可以是前一个隐藏状态ht-1与候选隐藏状态
Figure BDA0002573322410000162
之间的线性插值:
Figure BDA0002573322410000163
其中,
zt=σ(Wzxt+Uzht-1) (5)
同时,候选激活函数
Figure BDA0002573322410000164
为:
Figure BDA0002573322410000165
其中,重置门函数rt计算如下:
rt=σ(Wrxt+Urht-1) (7)
W,U,Wz,Uz,Wr,Ur为权重系数。
如上所述,通过获取每个时间步的隐含状态hi来得到历史序列中的信息传递情况,可以得到隐含状态向量集合HS={hs,1,hs,2,…,hs,t},Iu∈RD×t,其中R表示自然数据集,D是隐含状态的维度。
E.基于步骤D得到的隐含状态向量集合,按原标签进行分类,得到相同类别的知识对于的隐含向量,其中的一类表示为:
Cn={hs,i,hs,j,…,hs,k} (8)
其中,n,i,j,k均为常数。
然后,将同一类别内的隐含向量进行串联接:
Cn=[hs,ihs,j,…,hs,k] (9)
其中,n,i,j,k均为常数。
为了得到用户当前的知识水平表示,首先将用户嵌入向量转换为类别查询向量qc,其表达式为:
qc=RelU(Vc×eu+bc) (10)
那么,类别层次知识敏感注意力得分计算如下:
αp(ci)=cTσ(Wp×qc+bp) (11)
Figure BDA0002573322410000171
则最终用户知识水平表示up是各类别的注意力表示的总和,这些类别根据它们的注意权重进行加权:
Figure BDA0002573322410000172
为了验证注意力机制对于推荐效果的提升,可以通过比较LSTM+attention和LSTM的性能差异,如图4所示。从LSTM+attention结果优于LSTM来看,可以证明注意力机制在序列建模中具有一定的学习能力,可以在序列推荐中提升模型的效果。
F.这里本文采用负抽样技术,在模型训练中联合预测K+1个候选集的点击得分。K+1个候选集由一个用户的一个正样本组成和K个随机选择的负样本组成。
Figure BDA0002573322410000181
是由候选集ki和用户当前知识水平表示up的内积,然后通过softmax函数计算得出:
Figure BDA0002573322410000182
Figure BDA0002573322410000183
基于上文描述,给出了基于知识水平感知的注意力网络个性化推荐算法。
基于知识水平感知的注意力网络个性化推荐算法过程如下:
输入:用户访问记录序列K,用户嵌入向量u,候选集V
输出:每个候选知识项的得分
Figure BDA0002573322410000184
01.模型初始化
02.for k in sequence do
03.v=Embedding{k}
04.Dense{v},then GRU-based{vi}
05.获取GRU网络中的hidden state
06.end for
07.for c in C:
08.for h in c:
09.Concat{hi}
10.Attention layer{category-level}
11.通过公式(12),在类别层次上计算各类知识对当前知识水平的贡献得分
12.通过公式(13),得到当前用户的知识水平表示
13.通过公式(14)(15),候选知识项kc-i与用户表示up点积计算推荐得分
Figure BDA0002573322410000191
算法的核心思想是基于用户序列访问信息和其分类的特征信息进行建模,学***状态,从而更加合理地进行知识推荐。具体地,首先通过基于GRU的方法进行序列建模,学***的贡献得分(行7-10);最后,得到当前用户的知识水平表示,并计算每个候选项的推荐得分(行11-13)。
G.采用交叉熵作为损失函数,若y为真实的类别分布,则损失函数定义如下:
Figure BDA0002573322410000192
然后,使用随机梯度下降优化器进行优化。
本实施采用TensorFlow和Keras来实现提出的模型和基线模型的架构,为了防止过拟合,使用了两个dropout层:第一个dropout层用在知识项目嵌入层和GRU层之间,其中的丢弃率设置为20%;第二个dropout层在用户知识水平表示前,其中的丢弃率设置为30%。为了将GRU中的隐含状态准确分类,本文按位置获取对应时间步的类别特征标签。在训练过程中,设置learning rate为0.001,batch size设置为128。在优化过程中,使用Adam优化器进行参数优化。
对待测试样本进行用户行为推荐,将推荐结果进行推送,并与实际的用户行为进行结果对比,表4描述了用户行为推荐中方法的性能比较:
表4性能比较
Figure BDA0002573322410000201
基于表4中的结果可得,本实施例所提出的推荐模型(KLAN)的性能优于其他方法。
本实施例提出的短期会话型推荐场景,一般是用户在一定时间内频繁访问平台的内容或知识,目的性很强。而长期会话型推荐场景,往往是针对具有进阶层次的知识学习场景,具有长期连续性。比如每一知识体系的由浅及深的学习历程。
如图6所示,本实施例提供了一种面向不同场景的个性化推荐装置,包括:
针对短期会话型场景推荐而言,
(1)会话信息学习模块,其用于利用上下文关联的GRU网络对会话中用户的顺序交互进行建模,并对传统GRU单元中的操作进行修改,将用户的交互行为添加到各个门函数中,获得用户会话行为向量表示,从而实现会话信息学习;
(2)边缘信息学习模块,其用于基于用户在会话中一系列随时间变化的连续交互行为(例如浏览、点击等),将交互项映射到知识图谱(KG)的对应实体中,通过聚合该实体的属性及边缘相关实体,得到相应的边缘信息向量表示,从而实现边缘信息学习。
(3)综合向量获取模块,其用于基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示;
(4)推荐模型训练模块,其用于利用用户偏好的综合向量,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
具体地,在所述推荐模型训练模块中,采用交叉熵作为推荐模型的损失函数,实现模型的训练。
(5)反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,从而不断完善用户行为推荐。
针对长期连续型场景推荐而言,
(1)用户序列信息编码模块,其用于利用用户历史访问学习平台的信息序列,通过嵌入操作,将用户序列信息映射成相应的向量表示,从而实现用户序列信息编码;
(2)隐含状态向量学习模块,其用于基于用户序列信息的编码向量,通过GRU方法来得到历史序列中的信息传递情况,从而学习隐含状态向量集合,
(3)用户知识水平学***表示,将用户嵌入向量转换为类别查询向量,并引入知识敏感注意力机制计算用户对各类别知识水平的注意力权重;
(4)推荐模型训练模块,其用于利用用户对各类别知识的注意力权重和已知的候选项集进行内积操作,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
具体地,在所述推荐模型训练模块中,采用交叉熵作为推荐模型的损失函数,实现模型的训练。
(5)反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际的用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,从而不断完善用户行为推荐。
在另一实施例中,一种面向不同场景的个性化推荐装置,其特征在于,还包括:
预处理模块,其用于对海量历史用户数据进行数据预处理,包含数据清洗、缺失数据补全、数据定义以及规范化处理。
在另一实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如图1所示的推荐方法中的步骤。
在另一实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如图1所示的推荐方法中的步骤。
本领域内的技术人员应明白,本公开的实施例可提供为方法、***、或计算机程序产品。因此,本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述,但并非对本公开保护范围的限制,所属领域技术人员应该明白,在本公开的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种面向不同场景的个性化知识推荐方法,其特征是:包括以下步骤:
获取用户数据信息,判断其所处使用场景;
若为短期会话型场景,建立会话学习模型,提取会话内用户交互项作为输入,通过注意力机制对每个交互行为进行建模,并输出会话内容的偏好;建立边缘信息学习模块,利用图结构信息,通过挖掘项目的边缘信息,预测当前用户需求;
若为长期连续型场景,采用分类-分层的注意力机制进行编码,在知识项和类别两个层次上进行偏好学习,预测用户需求;
根据预测的用户需求,推荐相关信息。
2.如权利要求1所述的一种面向不同场景的个性化知识推荐方法,其特征是:获取用户数据信息,若所述用户具有超过设定值的历史数据,则认为该用户处于长期连续型场景,否则认为其处于短期会话型场景。
3.如权利要求1所述的一种面向不同场景的个性化知识推荐方法,其特征是:短期会话型场景时,基于用户在会话中一系列随时间变化的连续交互行为,将交互项映射到知识图谱的对应实体中,通过聚合该实体的属性及边缘相关实体,得到相应的边缘信息向量表示,从而实现边缘信息学习;
或,短期会话型场景时,基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示;
利用用户偏好的综合向量,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练门控循环单元的学习参数,完成模型的训练。
4.如权利要求1所述的一种面向不同场景的个性化知识推荐方法,其特征是:长期连续型场景时,基于用户历史访问学习平台的信息序列,通过嵌入操作将信息序列映射成相应的向量表示,实现对用户序列信息编码;
或,基于用户序列的信息编码,通过门控循环单元获取每个时间步的隐藏状态来得到历史序列中的信息传递情况,从而得到隐含状态向量集合。
5.如权利要求1所述的一种面向不同场景的个性化知识推荐方法,其特征是:基于得到的隐含状态向量集合,按照原标签进行分类,得到相同类别的知识对应的隐含向量;将用户嵌入向量转换为类别查询向量,引入知识敏感注意力机制计算用户对各类别知识的注意力权重;
利用得到的用户对各类别知识的注意力权重和已知的候选项集进行内积操作,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练门控循环单元的学习参数,完成模型的训练。
6.一种面向不同场景的个性化知识推荐***,其特征是:包括:
场景判断模块,被配置为获取用户数据信息,判断其所处使用场景;
短期会话型场景处理模块,被配置为建立会话学习模型,提取会话内用户交互项作为输入,通过注意力机制对每个交互行为进行建模,并输出会话内容的偏好;建立边缘信息学习模块,利用图结构信息,通过挖掘项目的边缘信息,预测当前用户需求;
长期连续型场景处理模块,被配置为采用分类-分层的注意力机制进行编码,在知识项和类别两个层次上进行偏好学习,预测用户需求;
信息推荐模块,被配置为根据预测的用户需求,推荐相关信息。
7.如权利要求6所述的一种面向不同场景的个性化知识推荐***,其特征是:所述短期会话型场景处理模块,包括:
会话信息学习模块,其用于利用上下文关联的GRU网络对会话中用户的顺序交互进行建模,并对传统GRU单元中的操作进行修改,将用户的交互行为添加到各个门函数中,获得用户会话行为向量表示;
边缘信息学习模块,其用于基于用户在会话中一系列随时间变化的连续交互行为,将交互项映射到知识图谱的对应实体中,通过聚合该实体的属性及边缘相关实体,得到相应的边缘信息向量表示;
综合向量获取模块,其用于基于用户会话行为向量和边缘信息向量,引入一个协同注意力机制,计算每个交互的重要性,量化会话项目和知识图谱中项目之间的相关性,并获得用户偏好的综合向量表示;
推荐模型训练模块,其用于利用用户偏好的综合向量,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际的用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,完善用户行为推荐结果。
8.如权利要求6所述的一种面向不同场景的个性化知识推荐***,其特征是:所述长期连续型场景处理模块,包括:
用户序列信息编码模块,其用于利用用户历史访问学习平台的信息序列,通过嵌入操作,将用户序列信息映射成相应的向量表示;
隐含状态向量学习模块,其用于基于用户序列信息的编码向量,通过GRU方法来得到历史序列中的信息传递情况;
用户知识水平学***的注意力权重;
推荐模型训练模块,其用于利用用户对各类别知识的注意力权重和已知的候选项集进行内积操作,构建softmax函数;计算softmax函数输出值的损失函数,采用反向传播算法训练GRU的学习参数,完成模型的训练;
反馈更新模块,其用于模型训练完成后,输出实验样本集的推荐结果,与实际的用户行为进行对比,反馈更新底层数据信息,不断优化数据的权重值,完善用户行为推荐结果。
9.一种计算机可读存储介质,其特征是:其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求1-5中任一项所述的一种面向不同场景的个性化知识推荐方法。
10.一种终端设备,其特征是:包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行权利要求1-5中任一项所述的一种面向不同场景的个性化知识推荐方法。
CN202010646490.8A 2020-07-07 2020-07-07 一种面向不同场景的个性化知识推荐方法及*** Active CN111797321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010646490.8A CN111797321B (zh) 2020-07-07 2020-07-07 一种面向不同场景的个性化知识推荐方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010646490.8A CN111797321B (zh) 2020-07-07 2020-07-07 一种面向不同场景的个性化知识推荐方法及***

Publications (2)

Publication Number Publication Date
CN111797321A true CN111797321A (zh) 2020-10-20
CN111797321B CN111797321B (zh) 2021-04-27

Family

ID=72809696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010646490.8A Active CN111797321B (zh) 2020-07-07 2020-07-07 一种面向不同场景的个性化知识推荐方法及***

Country Status (1)

Country Link
CN (1) CN111797321B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269927A (zh) * 2020-10-22 2021-01-26 辽宁工程技术大学 一种基于会话序列动态行为偏好耦合关系分析的推荐方法
CN112529637A (zh) * 2020-12-22 2021-03-19 烟台大学 基于情景感知的服务需求动态预测方法及***
CN112559864A (zh) * 2020-12-14 2021-03-26 西安电子科技大学 一种基于知识图谱增强的双线性图网络推荐方法和***
CN112612973A (zh) * 2020-12-31 2021-04-06 重庆邮电大学 结合知识图谱的个性化智能服装搭配推荐方法
CN112671886A (zh) * 2020-12-21 2021-04-16 刚倩 基于边缘计算和人工智能的信息推送方法及大数据服务器
CN112882621A (zh) * 2021-02-07 2021-06-01 微民保险代理有限公司 模块显示方法、装置、计算机设备和存储介质
CN112925892A (zh) * 2021-03-23 2021-06-08 苏州大学 一种对话推荐方法、装置、电子设备及存储介质
CN113449182A (zh) * 2021-06-09 2021-09-28 山东大学 一种知识信息个性化推荐方法及***
CN113515703A (zh) * 2021-07-09 2021-10-19 深圳壹账通智能科技有限公司 信息推荐方法、装置、电子设备及可读存储介质
CN113609266A (zh) * 2021-07-09 2021-11-05 阿里巴巴新加坡控股有限公司 资源处理方法以及装置
CN113807469A (zh) * 2021-11-16 2021-12-17 中国科学院理化技术研究所 一种多能源用户价值预测方法、装置、存储介质和设备
CN114611015A (zh) * 2022-03-25 2022-06-10 阿里巴巴达摩院(杭州)科技有限公司 交互信息处理方法、装置和云服务器
CN114610950A (zh) * 2020-12-04 2022-06-10 中山大学 一种图网络节点表示方法
CN117094387A (zh) * 2023-10-19 2023-11-21 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871164A (zh) * 2017-11-17 2018-04-03 济南浪潮高新科技投资发展有限公司 一种雾计算环境个性化深度学习方法
CN108648049A (zh) * 2018-05-03 2018-10-12 中国科学技术大学 一种基于用户行为区别建模的序列推荐方法
CN108921657A (zh) * 2018-06-25 2018-11-30 中国人民大学 一种基于知识增强记忆网络的序列推荐方法
WO2019071599A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc PROVIDING AN ANSWER IN A SESSION
CN110008409A (zh) * 2019-04-12 2019-07-12 苏州市职业大学 基于自注意力机制的序列推荐方法、装置及设备
CN110287335A (zh) * 2019-06-17 2019-09-27 桂林电子科技大学 基于知识图谱和用户长短期偏好的个性化景点推荐方法及装置
CN110807156A (zh) * 2019-10-23 2020-02-18 山东师范大学 一种基于用户序列点击行为的兴趣推荐方法及***
CN110851601A (zh) * 2019-11-08 2020-02-28 福州大学 基于分层注意力机制的跨领域情感分类***及方法
CN110941764A (zh) * 2019-12-03 2020-03-31 腾讯科技(深圳)有限公司 对象推荐方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019071599A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc PROVIDING AN ANSWER IN A SESSION
CN107871164A (zh) * 2017-11-17 2018-04-03 济南浪潮高新科技投资发展有限公司 一种雾计算环境个性化深度学习方法
CN108648049A (zh) * 2018-05-03 2018-10-12 中国科学技术大学 一种基于用户行为区别建模的序列推荐方法
CN108921657A (zh) * 2018-06-25 2018-11-30 中国人民大学 一种基于知识增强记忆网络的序列推荐方法
CN110008409A (zh) * 2019-04-12 2019-07-12 苏州市职业大学 基于自注意力机制的序列推荐方法、装置及设备
CN110287335A (zh) * 2019-06-17 2019-09-27 桂林电子科技大学 基于知识图谱和用户长短期偏好的个性化景点推荐方法及装置
CN110807156A (zh) * 2019-10-23 2020-02-18 山东师范大学 一种基于用户序列点击行为的兴趣推荐方法及***
CN110851601A (zh) * 2019-11-08 2020-02-28 福州大学 基于分层注意力机制的跨领域情感分类***及方法
CN110941764A (zh) * 2019-12-03 2020-03-31 腾讯科技(深圳)有限公司 对象推荐方法、装置、计算机设备和存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
B. HIDASI 等: "Session-based recommendations with recurrent neural networks", 《HTTPS://ARXIV.ORG/PDF/1511.06939.PDF》 *
CHI-SHIANG WANG 等: "FuzzAttention on Session-based Recommender System", 《2019 IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS (FUZZ-IEEE)》 *
LIN LI 等: "A Co-Attention Model with Sequential Behaviors and Side Information for Session-based Recommendation", 《2020 IEEE INTERNATIONAL CONFERENCE ON WEB SERVICES (ICWS)》 *
WANG, DONGJING 等: "CAME: Content- and Context-Aware Music Embedding for Recommendation", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
刘木沐: "面向问答式评论文本的属性类别分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
史玉良 等: "智能电网***中费控服务的优化调度研究", 《计算机学报》 *
张素琪 等: "基于双用户视角与知识图谱注意力网络的推荐模型", 《现代计算机》 *
李琳: "面向软件知识学习平台的个性化推荐研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269927B (zh) * 2020-10-22 2024-05-28 辽宁工程技术大学 一种基于会话序列动态行为偏好耦合关系分析的推荐方法
CN112269927A (zh) * 2020-10-22 2021-01-26 辽宁工程技术大学 一种基于会话序列动态行为偏好耦合关系分析的推荐方法
CN114610950B (zh) * 2020-12-04 2023-11-07 中山大学 一种图网络节点表示方法
CN114610950A (zh) * 2020-12-04 2022-06-10 中山大学 一种图网络节点表示方法
CN112559864A (zh) * 2020-12-14 2021-03-26 西安电子科技大学 一种基于知识图谱增强的双线性图网络推荐方法和***
CN112559864B (zh) * 2020-12-14 2023-03-31 西安电子科技大学 一种基于知识图谱增强的双线性图网络推荐方法和***
CN112671886A (zh) * 2020-12-21 2021-04-16 刚倩 基于边缘计算和人工智能的信息推送方法及大数据服务器
CN112671886B (zh) * 2020-12-21 2021-09-03 曙光星云信息技术(北京)有限公司 基于边缘计算和人工智能的信息推送方法及大数据服务器
CN112529637A (zh) * 2020-12-22 2021-03-19 烟台大学 基于情景感知的服务需求动态预测方法及***
CN112612973B (zh) * 2020-12-31 2022-03-22 重庆邮电大学 结合知识图谱的个性化智能服装搭配推荐方法
CN112612973A (zh) * 2020-12-31 2021-04-06 重庆邮电大学 结合知识图谱的个性化智能服装搭配推荐方法
CN112882621A (zh) * 2021-02-07 2021-06-01 微民保险代理有限公司 模块显示方法、装置、计算机设备和存储介质
WO2022198983A1 (zh) * 2021-03-23 2022-09-29 苏州大学 一种对话推荐方法、装置、电子设备及存储介质
CN112925892B (zh) * 2021-03-23 2023-08-15 苏州大学 一种对话推荐方法、装置、电子设备及存储介质
CN112925892A (zh) * 2021-03-23 2021-06-08 苏州大学 一种对话推荐方法、装置、电子设备及存储介质
CN113449182B (zh) * 2021-06-09 2023-06-06 山东大学 一种知识信息个性化推荐方法及***
CN113449182A (zh) * 2021-06-09 2021-09-28 山东大学 一种知识信息个性化推荐方法及***
CN113609266A (zh) * 2021-07-09 2021-11-05 阿里巴巴新加坡控股有限公司 资源处理方法以及装置
CN113515703A (zh) * 2021-07-09 2021-10-19 深圳壹账通智能科技有限公司 信息推荐方法、装置、电子设备及可读存储介质
CN113807469A (zh) * 2021-11-16 2021-12-17 中国科学院理化技术研究所 一种多能源用户价值预测方法、装置、存储介质和设备
CN114611015A (zh) * 2022-03-25 2022-06-10 阿里巴巴达摩院(杭州)科技有限公司 交互信息处理方法、装置和云服务器
CN117094387A (zh) * 2023-10-19 2023-11-21 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及***
CN117094387B (zh) * 2023-10-19 2023-12-19 成都市智慧蓉城研究院有限公司 基于大数据的知识图谱构建方法及***

Also Published As

Publication number Publication date
CN111797321B (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及***
CN111177575B (zh) 一种内容推荐方法、装置、电子设备和存储介质
Wu et al. Session-based recommendation with graph neural networks
CN111222332B (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
CN111931062A (zh) 一种信息推荐模型的训练方法和相关装置
CN109033408B (zh) 信息推送方法及装置、计算机可读存储介质、电子设备
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
CN108536784B (zh) 评论信息情感分析方法、装置、计算机存储介质和服务器
CN112364976A (zh) 基于会话推荐***的用户偏好预测方法
CN109471982B (zh) 一种基于用户和服务聚类QoS感知的Web服务推荐方法
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐***
CN114202061A (zh) 基于生成对抗网络模型及深度强化学习的物品推荐方法、电子设备及介质
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN114780831A (zh) 基于Transformer的序列推荐方法及***
CN113761359B (zh) 数据包推荐方法、装置、电子设备和存储介质
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
CN112085525A (zh) 一种基于混合模型的用户网络购买行为预测研究方法
CN112529071B (zh) 一种文本分类方法、***、计算机设备和存储介质
Luo et al. BGNN: Behavior-aware graph neural network for heterogeneous session-based recommendation
CN107169830B (zh) 一种基于聚类pu矩阵分解的个性化推荐方法
CN110347916B (zh) 跨场景的项目推荐方法、装置、电子设备及存储介质
CN109885758A (zh) 一种基于二部图的新型随机游走的推荐方法
CN113268657B (zh) 基于评论和物品描述的深度学习推荐方法及***
CN112529637B (zh) 基于情景感知的服务需求动态预测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant