CN112418525B - 社交话题群体行为的预测方法、装置及计算机存储介质 - Google Patents
社交话题群体行为的预测方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN112418525B CN112418525B CN202011325005.3A CN202011325005A CN112418525B CN 112418525 B CN112418525 B CN 112418525B CN 202011325005 A CN202011325005 A CN 202011325005A CN 112418525 B CN112418525 B CN 112418525B
- Authority
- CN
- China
- Prior art keywords
- topic
- node
- data
- sequence
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 239000013598 vector Substances 0.000 claims abstract description 78
- 230000005012 migration Effects 0.000 claims abstract description 26
- 238000013508 migration Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 4
- 238000003012 network analysis Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000007795 chemical reaction product Substances 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9536—Search customisation based on social or collaborative filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Computing Systems (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Primary Health Care (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于社交网络分析领域,具体为一种社交话题群体行为的预测方法、装置及计算机存储介质;所述预测方法包括构建出对抗生成网络对话题数据进行数据增强;采用节点游走策略形成话题序列;以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播;本发明有效地缓解了有效数据稀疏性、话题传播特征空间复杂性和话题时限性带来的问题,提高了社交话题群体行为预测的精度。
Description
技术领域
本发明属于社交网络分析领域,涉及用户行为分析,尤其涉及社交网络中的热点话题传播下群体行为的分析,具体为一种社交话题群体行为的预测方法、装置及计算机存储介质。
背景技术
近年来,随着互联网技术的日益成熟,互联网已经与我们的生活密不可分。同时,随着Twitter、Facebook、weibo等为代表的一系列社交平台的崛起,在线社交网络已经成为当今社会人们进行信息交流的重要渠道和载体。社交网络的出现,为人们的生活提供了极大的便利。用户可通过Twitter、weibo等平台可以随时随地地发布内容、及时评论和转发好友分享的信息、传播新闻热点。然而,社交网络是一把双刃剑,在信息传播变得便捷的同时,由于其交互性、开放性、突发性、及时性等特点,一些信息在传播过程中会演化为热点话题,如果不能准确把握热点话题的发展规律、及时发现并正确引导话题走向,可能会产生对人们生活不利的突发事件,对社会产生影响。
热点话题的产生和传播主要依赖于群体用户的参与,把握热点信息的传播趋势,主要基于对群体行为的预测。通过分析热点话题群体行为不仅可以掌握群体用户的行为特征,还可以进一步把握网络热点话题的态势,进而掌握信息的传播规律,可以帮助动态把握热门信息的发展、有效监管并正确引导社会舆论、突发事件预警等。因此,研究热点话题群体行为具有重要意义。
近年来,许多专家学者对热点话题群体行为预测的研究主要集中在两个方面:宏观方面,从信息传播的角度出发,许多专家学者利用复杂网络理论,构建信息传播模型,预测热点话题的传播路径,从而推导出群体用户的行为,探索信息在群体间的宏观传播趋势;微观方面,从用户的角度出发,学者通过研究影响用户行为的内外部因素,预测群体是否会参与热点话题的传播,掌握群体行为的规律。
随着深度学习技术的成熟,表示学习和神经网络在许多领域得到广泛的应用。陈煜森发表的(基于表示学习的网络文本谣言的传播预测[D].武汉大学,2018)。该论文利用表示学习和神经网络对谣言传播进行预测,但是由于话题传播的特殊性,并没有考虑到在实际的谣言话题传播中,社交网络中有效话题数据稀疏问题。
虽然众多学者在热点话题传播预测领域做了大量的研究,并取得了相当不错的成果,但仍存在一些挑战:
1.有效话题数据的稀疏性,导致预测结果不准确。虽然社交网络中充斥着海量的数据,但是在热点话题传播过程中,提取有效的话题数据时,由于话题自身特性和传播用户等因素的影响,仍然存在数据稀疏性。数据的稀疏问题会对预测模型的准确性产生影响。
2.忽略了话题数据中的潜在特征。传统的部分研究主要是通过人工提取用户基本属性、兴趣偏好等影响用户行为的特征因素,对群体行为进行预测。但是由于话题传播特征空间的复杂性,节点之间潜在的关系也会对用户的行为产生影响,人工提取的特征往往忽略了节点间隐藏的部分特征,导致预测结果不准确。同样,传统的信息文本分析方法往往忽略了文本间深层次的关联性,导致对用户兴趣的建模存在偏差,无法为预测提供精准的特征。
3.热门话题在群体间传播具有时限性,各个时间阶段内的话题热度是不同的。如何动态化预测用户的行为成为群体行为预测研究面临的困难。
发明内容
基于现有技术存在的问题,本发明提供了一种社交话题群体行为的预测方法、装置及计算机存储介质,主要利用对抗生成网络对话题同态数据进行补偿,采用改进后的节点游走策略提取出话题序列即用户节点序列,并采用表示学习对话题特征空间进行统一向量表达,最后结合卷积神经网络动态地预测热点话题传播过程中的群体行为。
本发明解决上述技术问题所采用的技术方案包括:
在本发明的第一方面,本发明提供了一种社交话题群体行为的预测方法,所述预测方法包括以下步骤:
S1、将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
S2、对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
S3、以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
S4、采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
S5、输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在群体用户是否会参与热点话题的传播。
在本发明的第二方面,本发明提供了一种社交话题群体行为的预测装置,所述预测装置包括:
话题数据生成器,用于生成话题数据;
话题数据判别器,用于判别生成的话题数据为真实数据或虚假数据的概率,并与所述话题数据生成器构成对抗生成网络;
话题序列生成器,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
话题序列降维模块,用于以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
文本特征提取模块,用于采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
卷积神经网络模块,用于输入话题序列的低维向量和文本特征因素,预测输出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
在本发明的第三方面,本发明还提供了一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现以下步骤:
将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
本发明的有益效果:
本发明采用话题数据生成器和话题数据判别器构建出对抗生成网络,能够有效的增强话题数据,并且按照局部优化和全局优化的规则,不仅让每次迭代过程中的对抗网络的参数优化,同时,让整体迭代过程中的参数达到纳什均衡,有效的提升了对抗网络的精准性,有效提供了增强了话题数据;本发明还改进了节点游走策略,让话题节点属性之间的关联性前提下,游走出更优的话题序列;并通过最大化概率熵为目标,有效降低话题序列的维度,从而有效地缓解了有效数据稀疏性、话题传播特征空间复杂性和话题时限性带来的问题,提高了社交话题群体行为预测的精度。
附图说明
图1为本发明实施例中所采用的基于对抗生成网络和表示学习的热点话题群体行为预测模型架构图;
图2为本发明实施例中社交话题群体行为的预测方法流程图;
图3为本发明实施例中所采用的热点话题同态数据增强示意图;
图4为本发明实施例中所采用的热点话题转发预测图;
图5为本发明实施例中所采用的热点话题传播空间特征表示构建图;
图6为本发明实施例中一种社交话题群体行为的预测装置结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例中所采用的基于对抗生成网络和表示学习的热点话题群体行为预测模型架构图,如图1所示,本发明中主要采集了用户关系网、用户历史行为、用户历史文本以及用户基本属性来对抗训练生成网络从而对话题数据进行增强,在话题传播特征空间中,提取出话题数据中的文本信息特征,以及提取出用户结构信息,将这些信息输入到群体行为预测模型中即可输出用户是否会参与话题的概率以及该话题的传播趋势。
图2是本发明的一种社交话题群体行为的预测方法流程图,如图2所示所述方法包括:
S1、将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
在进入数据增强前,需要获取数据源,数据可以通过直接下载现有的公开数据集,网络爬虫或者各个社交网站开放的API获取。本发明中获取的数据是热点话题传播周期内的信息,包括话题被转发和评论的时间、参与话题传播用户的基本信息和参与用户的好友关系信息(包括关注和被关注信息)、参与者的历史行为信息(用户历史转发、评论和发布的信息)。并对数据进行预处理。
获取数据源的过程主要分为以下过程:
获取原始数据。通过直接下载现有的数据源,通过社交网络公共API或直接下载现有数据源都可以得到原始数据。
简单的数据清洗。对数据结构化处理,删除重复数据,清理无效的节点。
获取数据源后,需要提取出数据源中的相关属性,从而形成话题数据;
在热点话题传播过程中,用户是否参与传播会受多种因素的影响,比如:用户的个人兴趣、好友是否参与传播等等。基于此,本发明提取的特征主要包括:
社交网络被定义为由节点集N和有向边集E构成的有向网络G=(V,E)。其中,V={v1,v2,…,vn}表示群体用户的集合,E={e1,e2,…,en}表示用户之间的关系边的集合。本发明定义社交网络中的用户关系网为:
用户历史行为信息B
用户的历史行为具体定义为:
B={(b,wi,h)|wi∈(U∪V)} (2)
其中,(b,wi,h)表示用户wi在h时间发布、转发、评论或者点赞了信息b。
用户文本信息S
在社交网络中,用户否参与热点话题会受自身兴趣的影响,用户发布的文本信息包含着用户所感兴趣的话题内容。本发明把文本信息定义为:
S={(T,wi)|wi∈(U∪V)} (3)
其中,(T,wi)表示全网用户wi发布的历史文本T={T1,…Tk},其中所述历史文本中包括原创文本信息和转发文本信息;
用户基本属性A
用户基本属性包括用户的粉丝数、关注数、性别、位置等,这些属性与用户是否会热点话题的传播有一定的相关性。本发明定义用户基本属性为:
A={(a,wi)|wi∈(U∪V)} (4)
其中,(a,wi)表示用户wi的基本信息,例如用户wi的粉丝数,关注数,活跃度等。
本发明采用的话题相关数据集表示为data=[x1,x2,...,xn],我们把Pdata表示真实话题序列的分布。话题同态数据迭代增强的过程如图3所示,主要分为以下几步:
从原始话题序列中随机采样得到z输入到话题数据生成器G中,G将随机序列z转换为话题数据G(z)=x。PG(x,θ)表示生成的话题数据G(z)的分布,参数θ由最大似然函数确定如公式(5)所示:
假设话题数据判别器为D,x表示输入话题数据判别器D中的任意序列数据即可以为[x1,x2,...,xn]中任意一个数据,D(x)输出为一个在[0,1]范围内的实数,表示该序列数据为真实话题数据的概率值。判别器D要极大化判别能力,即最大化目标函数如公式(6)所示:
其中,表示输入的任意序列数据x与真实话题序列Pdata的期望;表示输入的任意序列数据x与生成器输出的话题序列PG的期望;若判别结果为生成数据,则表示G生成的数据置信度不高;则需要继续提高生成器的置信度;D同时将判别结果反馈给G,G和D根据反馈更新相关参数后,G生成新的数据重新输入D进行新一轮的判别。G不断提高G(z)的真实性以混淆判决器D的判别,极小化G(z)被判别为生成数据的概率,即最小化目标函数如公式(7)所示:
结合公式(2)和(3),整个对抗生成网络的目标函数可以用如下公式(8)表示:
由于Pdata和PG分别表示真实话题数据和生成话题数据的分布,所以整个对抗生成网络的优化过程可表示为G和D的反复迭代对抗,直到PG无限接近Pdata。
在一些优选实施例中,为了获取到更加真实的话题数据,达到纳什平衡后,若判别器D的准确率达到设定阈值ε,将G(z)反向传递给生成器G,结合随机序列z更新G的输入进行迭代优化。
通过迭代优化的过程,对话题数据进行数据增强,能够扩充出更为真实的话题数据,并凸显出话题数据的属性特征。
S2、对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
可以理解的是,本发明中的话题节点即为用户节点,所述话题节点指的是参与话题传播和没参与传播的用户节点,后文中的节点也对应指的用户节点或者话题节点,以图4为例,在T时刻,参与话题传播和没参与传播的用户节点构成的用户关系网,通过预测模型后,可以预测出T+1时刻中参与话题传播和没参与传播的用户节点构成的用户关系网。
在话题传播空间中,影响群体行为的特征因素是多样的,比如话题的网络结构、话题的文本特征等。本发明可以通过表示学习,将这些特征表示为低秩稠密的向量形式,整体细节如图5所示。
对于话题网络结构特征表示。在话题传播空间中,用户节点的自身属性和节点属性之间的关系都会影响用户群体的行为。现有的网络表示大多仅考虑结构性和同质性,往往忽略了节点属性之间的关联性。因此,本发明考虑了节点的属性信息,并定义了话题结构特征表示方法。
考虑到节点属性影响因素,本发明改进了节点游走策略。
具体的,本发明改进的节点的转移概率定义如公式(9)所示,起始节点定义为c0,随机游走中的第i个节点定义为ci:
其中,P(r|ci,ci-1)表示在前一个话题节点ci-1的基础上,当前话题节点ci游走到下一话题节点r的概率;ap,q(ci-1,r)表示权重调整参数,针对表示话题节点ci-1与话题节点r之间的权重调整参数;如公式(10)所示。
β(ci,r)表示当前节点ci与下一节点r间属性的相似度,本发明可以选取用户的性别、位置信息、粉丝数等属性信息,将其映射到特征向量空间,利用向量间的欧式距离来表示相似度。
在上述实施例中,本发明是先通过公式(9)-(12)来进行随机游走,确定出用户游走的路线,从而组合成节点的话题序列{c0,…,ci-1,ci,ci+1,…},但由于此时的序列是一个高维向量,所以需要对这个高维向量进行处理。
S3、以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
为了处理这个高维向量,本发明通过最大化概率熵把序列中的每一个节点从一位有效编码one-hot,训练为嵌入向量Embedding,目标函数定义为:
其中,Ns(w)表示话题节点w的邻域,Pr(Ns(w)|f(w))表示话题节点向量f(w)出现邻域节点的概率,由公式(14)可得:
S4、采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
由于用户群体是否参与热点话题会受用户自身兴趣的影响,用户发布的历史文本包含着不同历史阶段所感兴趣的话题内容。本发明融合注意力机制将话题的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素。
本发明采用分层次的注意力机制为文本向量和文本中的词向量赋予不同的权重,选择性地挑选出用户兴趣特征向量。
为了方便描述,本发明中的社交网络平台以微博平台为例,首先,考虑到上下文语句和整个段落主题对文本特征的影响,采用doc2vec算法对用户的每条微博进行向量表示,具体如下:
l'j=Ds+Uh(lt-d,…,lt+d;L) (15)
y's=[l'1,l'2,…] (16)
其中,Ds表示段落标识ID,U表示softmax分类器的参数;h表示对词向量进行级联或者取平均;lt-d表示第t-d个词向量,一个词向量矩阵中总共包含2d个词向量;L表示词向量矩阵;y's表示用户发布的第s条微博特征向量;w表示文本中的每个单词,l'j表示用户发布的第s条微博中第j个词向量。
其次,从词的层面出发为微博中的每个词向量设置不同的权重,如公式(16)和(17)所示:
随后,在文本层面为用户的不同微博设置不同的权重,具体如公式(18)(19)所示:
S5、输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在群体用户是否会参与热点话题的传播。
本发明结合CNN建立了热点话题群体行为预测模型。我们把对群体行为的预测定义为一个二分类问题,即通过t时间段的热点话题全网特征向量,预测t+1时间段的潜在群体用户是否会参与热点话题的传播。
首先,对上节提取的多特征空间信息进行特征融合。对于每个用户节点ua,通过根据对话题网络结构的提取和向量表达,节点向量间的语义相似度越高,节点间相关性就越高。任意节点u1和u2的相似性可通过节点向量的夹角余弦值来衡量,具体如公式(21)所示:
其中,v(u1)和v(u2)分别表示用户u1和用户u2的特征向量。选取与用户节点ua相关性高的top-k个节点u1,u2,…,拼接k个节点的特征向量,构成节点ua的特征向量矩阵其中Vs(ua)∈Es,Va(ua)∈Es分别表示用户ua的结构特征向量和文本特征向量。最终,将话题多特征空间信息融合为特征向量矩阵:
群体行为预测模型输入为t时间段的话题特征向量矩阵E。模型由卷积层、池化层以及全连接层三部分构成。首先,第一层作为卷积层,选取单通道的卷积核对矩阵E执行卷积操作:
其中,Relu(·)表示非线性激活函数,wi表示权重矩阵,Ei为卷积层第i层通道对应的话题特征向量,bi为偏置值,xconv表示卷积操作的输出。
对卷积后的话题特征信息执行最大池化maxPool(xconv)操作,聚合卷积层提取的局部特征。最后,经过全连接层对池化层的输出,再利用公式(24)(25)得出t+1时刻群体用户vj的传播行为:
图6是本申请实施例中的一种社交话题群体行为的预测装置结构图,如图6所示,所述预测装置包括:
话题数据生成器,用于生成话题数据;
话题数据判别器,用于判别生成的话题数据为真实数据或虚假数据的概率,并与所述话题数据生成器构成对抗生成网络;
话题序列生成器,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
话题序列降维模块,用于以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
文本特征提取模块,用于采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
卷积神经网络模块,用于输入话题序列的低维向量和文本特征因素,预测输出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
本申请实施例中的一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现以下步骤:
将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,实施例所涉及到的方法或装置或电子设备的通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也应该清楚,只需要将方法流程用几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或终端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种社交话题群体行为的预测方法,其特征在于,所述预测方法包括以下步骤:
S1、将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
S2、对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
所述采用节点游走策略计算出话题节点游走到下一话题节点的概率的计算公式表示为:
其中,P(r|ci,ci-1)表示在前一个话题节点ci-1的基础上,当前话题节点ci游走到下一话题节点r的概率;ap,q(ci-1,r)表示话题节点ci-1与话题节点r之间的权重调整参数;β(ci,r)表示当前话题节点ci与下一话题节点r间属性的相似度;γ(ci,r)表示当前话题节点ci到下一话题节点r传输的话题网络的边权值;
S3、以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
S4、采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
S5、输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
2.根据权利要求1所述的一种社交话题群体行为的预测方法,其特征在于,所述S1包括对原始话题序列进行随机采样,并将随机采样后的结果输入到话题数据生成器中生成话题数据;利用话题数据判别器验证所述话题数据为真实话题数据的概率;极大化所述话题数据判别器的判别能力,且极小化所述话题数据生成器被判别为生成数据的概率,将所述话题数据生成器和所述话题判别器进行反复迭代,按照局部优化和全局优化的规则,直至所述话题数据生成器输出的话题数据与真实的话题数据近似。
3.根据权利要求2所述的一种社交话题群体行为的预测方法,其特征在于,所述原始话题序列包括社交网络中用户关系网、用户历史行为信息、用户文本信息以及用户基本属性。
7.根据权利要求1所述的一种社交话题群体行为的预测方法,其特征在于,所述采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素包括采用doc2vec算法对用户的每条文本进行向量表示;采用分层次的注意力机制为文本向量和文本中的词向量赋予不同的权重;选择性的挑选出用户兴趣特征向量。
8.一种社交话题群体行为的预测装置,其特征在于,所述预测装置包括:
话题数据生成器,用于生成话题数据;
话题数据判别器,用于判别生成的话题数据为真实数据或虚假数据的概率,并与所述话题数据生成器构成对抗生成网络;
话题序列生成器,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
所述采用节点游走策略计算出话题节点游走到下一话题节点的概率的计算公式表示为:
其中,P(r|ci,ci-1)表示在前一个话题节点ci-1的基础上,当前话题节点ci游走到下一话题节点r的概率;ap,q(ci-1,r)表示话题节点ci-1与话题节点r之间的权重调整参数;β(ci,r)表示当前话题节点ci与下一话题节点r间属性的相似度;γ(ci,r)表示当前话题节点ci到下一话题节点r传输的话题网络的边权值;
话题序列降维模块,用于以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
文本特征提取模块,用于采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
卷积神经网络模块,用于输入话题序列的低维向量和文本特征因素,预测输出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被执行时实现以下步骤:
将话题数据生成器和话题数据判别器构建出对抗生成网络,对话题数据进行数据增强;
对数据增强后的话题数据按照话题属性和话题数据倾向性的关系,采用节点游走策略计算出话题节点游走到下一话题节点的概率,游走完成后形成话题序列;
所述采用节点游走策略计算出话题节点游走到下一话题节点的概率的计算公式表示为:
其中,P(r|ci,ci-1)表示在前一个话题节点ci-1的基础上,当前话题节点ci游走到下一话题节点r的概率;ap,q(ci-1,r)表示话题节点ci-1与话题节点r之间的权重调整参数;β(ci,r)表示当前话题节点ci与下一话题节点r间属性的相似度;γ(ci,r)表示当前话题节点ci到下一话题节点r传输的话题网络的边权值;
以最大化概率熵为目标,提取出游走完成的话题序列的低维向量;
采用融合注意力机制将数据增强后的话题数据的文本信息映射到低维的向量空间,提取出影响群体行为的文本特征因素;
输入话题序列的低维向量和文本特征因素,采用卷积神经网络预测出下一时间段的潜在话题节点群体用户是否会参与热点话题的传播。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011325005.3A CN112418525B (zh) | 2020-11-24 | 2020-11-24 | 社交话题群体行为的预测方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011325005.3A CN112418525B (zh) | 2020-11-24 | 2020-11-24 | 社交话题群体行为的预测方法、装置及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112418525A CN112418525A (zh) | 2021-02-26 |
CN112418525B true CN112418525B (zh) | 2022-06-10 |
Family
ID=74777971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011325005.3A Active CN112418525B (zh) | 2020-11-24 | 2020-11-24 | 社交话题群体行为的预测方法、装置及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418525B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113051928B (zh) * | 2021-03-17 | 2023-08-01 | 卓尔智联(武汉)研究院有限公司 | 一种基于区块链的检测评论方法、装置及电子设备 |
CN113256024B (zh) * | 2021-06-17 | 2022-08-05 | 上海大学 | 一种融合群体行为的用户行为预测方法 |
CN113592058B (zh) * | 2021-07-05 | 2024-03-12 | 西安邮电大学 | 一种定量预测微博转发广度与深度的方法 |
CN113946708B (zh) * | 2021-10-29 | 2024-07-16 | 重庆邮电大学 | 基于图像复原技术和谣言辟谣信息的话题传播预测方法 |
CN115878907B (zh) * | 2022-12-28 | 2023-08-11 | 人民网股份有限公司 | 基于用户依赖关系的社交网络转发行为预测方法及装置 |
CN117454143A (zh) * | 2023-09-13 | 2024-01-26 | 广州大学 | 基于话题表示与多维特征嵌入的群体行为预测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651030A (zh) * | 2016-12-21 | 2017-05-10 | 重庆邮电大学 | 一种改进的rbf神经网络热点话题用户参与行为预测方法 |
CN110825980A (zh) * | 2019-11-05 | 2020-02-21 | 重庆邮电大学 | 一种基于对抗生成网络的微博话题推送方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460019A (zh) * | 2018-02-28 | 2018-08-28 | 福州大学 | 一种基于注意力机制的新兴热点话题检测*** |
US10733545B2 (en) * | 2018-10-04 | 2020-08-04 | Microsoft Technology Licensing, Llc | User-centric contextual information for browser |
US10699458B2 (en) * | 2018-10-15 | 2020-06-30 | Shutterstock, Inc. | Image editor for merging images with generative adversarial networks |
CN109783798A (zh) * | 2018-12-12 | 2019-05-21 | 平安科技(深圳)有限公司 | 文本信息添加图片的方法、装置、终端及存储介质 |
CN110807556B (zh) * | 2019-11-05 | 2022-05-31 | 重庆邮电大学 | 对微博谣言或/和辟谣话题传播趋势的预测方法及装置 |
-
2020
- 2020-11-24 CN CN202011325005.3A patent/CN112418525B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651030A (zh) * | 2016-12-21 | 2017-05-10 | 重庆邮电大学 | 一种改进的rbf神经网络热点话题用户参与行为预测方法 |
CN110825980A (zh) * | 2019-11-05 | 2020-02-21 | 重庆邮电大学 | 一种基于对抗生成网络的微博话题推送方法 |
Non-Patent Citations (1)
Title |
---|
于海等.基于在线社交网络事件库多因素耦合的流行度预测方法.《天津大学学报(自然科学与工程技术版)》.2020,(第12期), * |
Also Published As
Publication number | Publication date |
---|---|
CN112418525A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112418525B (zh) | 社交话题群体行为的预测方法、装置及计算机存储介质 | |
CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
Feng et al. | Poi2vec: Geographical latent representation for predicting future visitors | |
Lin et al. | A survey on reinforcement learning for recommender systems | |
CN110321482A (zh) | 一种信息的推荐方法、装置及设备 | |
Lin et al. | Heterogeneous knowledge-based attentive neural networks for short-term music recommendations | |
CN112131472B (zh) | 信息推荐方法、装置、电子设备和存储介质 | |
Li et al. | Location inference for non-geotagged tweets in user timelines | |
Lu et al. | GLR: A graph-based latent representation model for successive POI recommendation | |
Wu et al. | Temporal interaction and causal influence in community-based question answering | |
CN112699310A (zh) | 基于深度神经网络的冷启动跨域混合推荐的方法及*** | |
Li et al. | Birds of a feather rumor together? Exploring homogeneity and conversation structure in social media for rumor detection | |
Zhang et al. | Generative meta-adversarial network for unseen object navigation | |
Zhang et al. | DeepBlue: Bi-layered LSTM for tweet popUlarity Estimation | |
Yang et al. | ✨ Going Beyond Local: Global Graph-Enhanced Personalized News Recommendations | |
Tilahun et al. | Vector optimisation using fuzzy preference in evolutionary strategy based firefly algorithm | |
Dwivedi et al. | Time-series data prediction problem analysis through multilayered intuitionistic fuzzy sets | |
Qi et al. | Graph neural network social recommendation algorithm integrating static and dynamic features | |
Liao et al. | An integrated model based on deep multimodal and rank learning for point-of-interest recommendation | |
Wang et al. | Multiscale information diffusion prediction with minimal substitution neural network | |
Sang | User-centric social multimedia computing | |
Liu et al. | ICE: Information credibility evaluation on social media via representation learning | |
Yan et al. | Tackling the achilles heel of social networks: Influence propagation based language model smoothing | |
Lazzez et al. | DeepVisInterests: CNN-ontology prediction of users interests from social images | |
CN114358364A (zh) | 一种基于注意力机制的短视频点击率大数据预估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |