CN111814921B - 对象特征信息获取、对象分类、信息推送方法及装置 - Google Patents
对象特征信息获取、对象分类、信息推送方法及装置 Download PDFInfo
- Publication number
- CN111814921B CN111814921B CN202010922527.5A CN202010922527A CN111814921B CN 111814921 B CN111814921 B CN 111814921B CN 202010922527 A CN202010922527 A CN 202010922527A CN 111814921 B CN111814921 B CN 111814921B
- Authority
- CN
- China
- Prior art keywords
- node
- time
- aggregation
- feature information
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 230000002776 aggregation Effects 0.000 claims abstract description 211
- 238000004220 aggregation Methods 0.000 claims abstract description 211
- 230000014509 gene expression Effects 0.000 claims abstract description 114
- 238000013528 artificial neural network Methods 0.000 claims abstract description 70
- 230000004931 aggregating effect Effects 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 87
- 239000013598 vector Substances 0.000 claims description 34
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 21
- 230000002123 temporal effect Effects 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000006403 short-term memory Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 235000002020 sage Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Finance (AREA)
- Computational Linguistics (AREA)
- Accounting & Taxation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供了一种对象特征信息获取、对象分类、信息推送方法及装置。在确定对象的特征信息时,从N个时刻的N个关系网络中分别确定第一节点的多个邻居节点,得到N个邻居节点组,并基于每个时刻对应的邻居节点组以及第一节点的节点特征,确定第一节点在各个时刻的空间聚合特征;将N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,分别得到第一节点在N个时刻的N个时空表达;对N个时空表达进行聚合,得到第一节点的时空聚合特征,作为第一节点代表的第一对象的特征信息。
Description
技术领域
本说明书一个或多个实施例涉及图计算技术领域,尤其涉及对象特征信息获取、对象分类、信息推送方法及装置。
背景技术
在大数据时代,可获取海量的对象关系数据,通过这些数据可构建多个对象的关系网络,并使用节点来代表对象。例如,可以构建针对用户和/或商品等对象的关系网络。针对该关系网络图,通常,通过图嵌入算法,基于节点的初始特征以及节点之间的连接关系,可以计算关系网络中各个节点的嵌入向量,即得到对象更深层的特征信息。对象的特征信息以预定维度的向量表示。在获取各个对象的特征信息之后,可进行多方面的应用。例如,基于对象的特征信息之间的相似性,可利用一个用户的已购买商品,向另一个用户推荐商品等等。
传统图嵌入算法通常是基于某一时刻(例如与当前较近的时刻)的关系网络的节点初始特征计算各个节点的嵌入向量(对象的特征信息)。然而,关系网络本身是动态变化的,例如,在社交关系图中,由于不断地有新的好友关系产生,也有好友关系的解除,在不同时刻的关系网络结构很可能不同。因此,只使用一个时刻的网络结构信息确定各个对象的特征信息,并没有很好地利用此前的网络结构的动态变化的信息。
因此,需要一种更有效的利用关系网络获取对象的特征信息的方案。
发明内容
本说明书一个或多个实施例描述了对象特征信息获取、对象分类、信息推送方法及装置,以更加有效地利用关系网络获取对象的特征信息。具体的技术方案如下。
第一方面,实施例提供了一种基于时空聚合的对象特征信息获取方法,通过计算机执行,所述方法包括:
获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,所述N个关系网络中均包含第一节点,节点代表对象;
从所述N个关系网络中分别确定所述第一节点的多个邻居节点,得到针对所述第一节点的N个邻居节点组,其与N个时刻分别对应;
针对所述N个时刻中的任意一个第一时刻,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,确定所述第一节点在所述第一时刻的空间聚合特征;
将所述N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达;
对所述N个时空表达进行聚合,得到所述第一节点的时空聚合特征,作为所述第一节点代表的第一对象的特征信息。
在一种实施方式中,所述确定所述第一节点在所述第一时刻的空间聚合特征的步骤,包括:
将所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,输入图神经网络,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,所述确定所述第一节点在所述第一时刻的空间聚合特征的步骤,包括:
采用基于注意力机制的广度自适应函数,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征和所述第一节点的节点特征,确定各个邻居节点相对于所述第一节点的重要度;
基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到所述第一节点的广度特征;
采用基于循环算子的深度自适应函数,基于所述广度特征对所述第一节点进行t步迭代,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,所述至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达的步骤,包括:
通过所述序列神经网络确定所述第一节点在所述N个时刻的N个时间聚合特征;将所述N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。
在一种实施方式中,所述将所述N个时刻的空间聚合特征和时间聚合特征对应组合的步骤,包括:
将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。
在一种实施方式中,所述对所述N个时空表达进行聚合的步骤,包括,基于自注意力机制对所述N个时空表达进行聚合。
在一种实施方式中,所述基于自注意力机制对N个时刻的时空表达进行聚合的步骤,包括:
将N个时刻的时空表达构建成时空表达矩阵;
基于自注意力机制和N个时空表达确定注意力矩阵;
基于所述注意力矩阵与第一转换矩阵的乘积,得到所述第二转换矩阵,所述第一转换矩阵为所述时空表达矩阵与预先训练的第一参数矩阵的乘积;
基于所述第二转换矩阵中各个向量的拼接,确定所述第一节点的时空聚合特征。
在一种实施方式中,所述图神经网络包括图卷积神经网络GCN、图注意力神经网络GAN、GraphSage网络或Geniepath网络。
在一种实施方式中,所述序列神经网络包括长短期记忆LSTM或循环神经网络RNN。
在一种实施方式中,所述对象包括以下中的至少一种:用户、商品、店铺、地区。
在一种实施方式中,其中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
第二方面,实施例提供了一种基于时空聚合的对象分类方法,通过计算机执行,所述方法包括:
获取第二对象的特征信息,所述第二对象的特征信息采用第一方面所述的方法获取;
将所述第二对象的特征信息输入预先训练的对象分类器,得到所述第二对象的分类结果。
第三方面,实施例提供了一种基于时空聚合的信息推送方法,通过计算机执行,所述方法包括:
获取第三对象的特征信息和第四对象的特征信息,所述第三对象的特征信息和第四对象的特征信息采用第一方面所述的方法分别获取;
当所述第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于所述第三对象的关注信息向所述第四对象进行推送。
第四方面,实施例提供了一种基于时空聚合的连接关系预测方法,通过计算机执行,所述方法包括:
获取第五对象的特征信息和第六对象的特征信息,所述第五对象的特征信息和第六对象的特征信息采用第一方面所述的方法分别获取;
对第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征;
将所述拼接特征输入预先训练的连接关系分类器,得到所述第五对象与第六对象之间是否存在连接关系的分类结果。
第五方面,实施例提供了一种基于时空聚合的对象特征信息获取装置,部署在计算机中,所述装置包括:
网络获取模块,配置为,获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,所述N个关系网络中均包含第一节点,节点代表对象;
邻居确定模块,配置为从所述N个关系网络中分别确定所述第一节点的多个邻居节点,得到针对所述第一节点的N个邻居节点组,其与N个时刻分别对应;
空间聚合模块,配置为,针对所述N个时刻中的任意一个第一时刻,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,确定所述第一节点在所述第一时刻的空间聚合特征;
时空表达模块,配置为,将所述N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达;
时空聚合模块,配置为对所述N个时空表达进行聚合,得到所述第一节点的时空聚合特征,作为所述第一节点代表的第一对象的特征信息。
在一种实施方式中,所述空间聚合模块,具体配置为:
将所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,输入图神经网络,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,所述空间聚合模块,具体配置为:
采用基于注意力机制的广度自适应函数,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征和所述第一节点的节点特征,确定各个邻居节点相对于所述第一节点的重要度;
基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到所述第一节点的广度特征;
采用基于循环算子的深度自适应函数,基于所述广度特征对所述第一节点进行t步迭代,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,所述时空表达模块,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达时,包括:
通过所述序列神经网络确定所述第一节点在所述N个时刻的N个时间聚合特征;将所述N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。
在一种实施方式中,所述时空表达模块,将所述N个时刻的空间聚合特征和时间聚合特征对应组合时,包括:
将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。
在一种实施方式中,所述时空聚合模块,具体配置为,基于自注意力机制对所述N个时空表达进行聚合。
在一种实施方式中,所述时空聚合模块,基于自注意力机制对所述N个时空表达进行聚合时,包括:
将N个时刻的时空表达构建成时空表达矩阵;
基于自注意力机制和N个时空表达确定注意力矩阵;
基于所述注意力矩阵与第一转换矩阵的乘积,得到所述第二转换矩阵,所述第一转换矩阵为所述时空表达矩阵与预先训练的第一参数矩阵的乘积;
基于所述第二转换矩阵中各个向量的拼接,确定所述第一节点的时空聚合特征。
在一种实施方式中,所述图神经网络包括图卷积神经网络GCN、图注意力神经网络GAN、GraphSage网络或Geniepath网络。
在一种实施方式中,所述序列神经网络包括长短期记忆LSTM或循环神经网络RNN。
在一种实施方式中,所述对象包括以下中的至少一种:用户、商品、店铺、地区。
在一种实施方式中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
第六方面,实施例提供了一种基于时空聚合的对象分类装置,部署在计算机中,所述装置包括:
第一获取模块,配置为,获取第二对象的特征信息,所述第二对象的特征信息采用第一方面所述的方法获取;
对象分类模块,配置为,将所述第二对象的特征信息输入预先训练的对象分类器,得到所述第二对象的分类结果。
第七方面,实施例提供了一种基于时空聚合的信息推送装置,部署在计算机中,所述装置包括:
第二获取模块,配置为,获取第三对象的特征信息和第四对象的特征信息,所述第三对象的特征信息和第四对象的特征信息采用第一方面所述的方法分别获取;
信息推送模块,配置为,当所述第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于所述第三对象的关注信息向所述第四对象进行推送。
第八方面,实施例提供了一种基于时空聚合的连接关系预测装置,部署在计算机中,所述装置包括:
第三获取模块,配置为,获取第五对象的特征信息和第六对象的特征信息,所述第五对象的特征信息和第六对象的特征信息采用第一方面所述的方法分别获取;
特征拼接模块,配置为,对所述第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征;
关系分类模块,配置为,将所述拼接特征输入预先训练的连接关系分类器,得到所述第五对象与第六对象之间是否存在连接关系的分类结果。
第九方面,实施例提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面至第四方面中任一项所述的方法。
第十方面,实施例提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面至第四方面中任一项所述的方法。
根据本说明书实施例提供的方法和装置,从多个时刻的关系网络中分别获取节点的多个空间聚合特征,基于多个空间聚合特征构成的序列,通过序列神经网络确定节点在多个时刻的时空表达,基于对多个时空表达进行聚合,得到节点的时空聚合特征。节点的时空聚合特征,聚合了不同时刻的关系网络中的节点特征,同时利用了节点的空间维度信息和时间维度信息,因此所确定的对象特征信息会更加有效。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书披露的一个实施例的实施流程示意图;
图2为实施例提供的一种基于时空聚合的对象特征信息获取方法的流程示意图;
图3为实施例提供的一种基于时空聚合的对象分类方法的流程示意图;
图4为实施例提供的一种基于时空聚合的信息推送方法的流程示意图;
图5为实施例提供的一种基于时空聚合的连接关系预测方法的流程示意图;
图6为实施例提供的一种基于时空聚合的对象特征信息获取装置的示意性框图;
图7为实施例提供的一种基于时空聚合的对象分类装置的示意性框图;
图8为实施例提供的一种基于时空聚合的信息推送装置的示意性框图;
图9为实施例提供的一种基于时空聚合的连接关系预测装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施流程示意图。图1中示出t1、t2、…、tN多个时刻的关系网络,这些关系网络中的节点以及节点连接关系仅仅是为了方面理解而给出的例子,而不是对本说明书实施例的限定。关系网络,也可以称为关系网络图或者图网络等。针对关系网络中的某个节点,基于每个关系网络均能确定该节点的空间聚合特征,将多个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于序列神经网络的输出结果确定该节点在每个时刻的时空表达,对多个时刻的时空表达进行聚合,可以得到该节点的时空聚合特征,即该节点的特征信息。关系网络中的任何一个节点的特征信息,均可以采用上述方式来确定。上述特征信息同时结合了关系网络中节点的空间维度信息和多个时刻的关系网络的时间维度信息,很好地利用了此前的关系网络结构的动态变化信息,能提取节点更深层、更有效的特征信息。
上述关系网络中的节点代表对象。对象可以包括以下中的至少一种:用户、商品、店铺、地区等。关系网络可以包括多个节点以及节点与节点之间的连接关系,当节点与节点之间存在关联关系时,节点之间建立连接边。关系网络可以是同构关系网络,即节点的种类只有一种,节点可以是用户、商品、店铺、地区中的任意一种。例如,当节点代表用户时,用户之间的关联关系可以是转账关系、沟通关系、文件传输关系、邮件发送关系等等。关系网络也可以是异构关系网络,即节点的种类为多种,例如节点可以包括用户、商品、店铺、地区等中的至少两种。在一个例子中,节点可以包括用户、商品、店铺和地区,用户对应的节点与商品对应的节点之间可以存在购买关系对应的连接边,商品对应的节点和店铺对应的节点之间可以存在从属关系对应的连接边,店铺对应的节点或者用户对应的节点可以与地区对应的节点之间存在从属关系对应的连接边,等等。
在不同的时刻,节点与节点之间的连接关系会发生变化,节点的初始特征也可能会发生变化。对应的,多个节点在不同时刻构成不同的关系网络。采用本说明书实施例提供的方法获取对象特征信息,能够同时对关系网络在空间维度和时间维度进行特征提取,得到对象更准确、更有效的特征信息。下面结合图2所示实施例进行详细说明。
图2为实施例提供的一种基于时空聚合的对象特征信息获取方法的流程示意图。该方法可以通过计算机执行,该计算机具体可以通过任何具有计算、处理能力的设备、平台或设备集群来实现。该方法包括以下步骤S210~S250。
步骤S210,获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,N个关系网络中均包含第一节点,节点代表对象。此处第一节点中的“第一”,以及下文中相应的“第一”,仅仅是为了区分和描述方便,而不具有任何限定意义,第一节点可以是关系网络中的任意一个节点。N可以是大于1的预定整数。N个时刻例如可以为t1、t2、t3、……、tN,这N个时刻可以是按照一定时间间隔的多个时刻,也可以是没有固定时间间隔的多个时刻。不同时刻的关系网络中的节点特征和/或节点之间的连接关系可能不同。
获取N个时刻的N个关系网络,具体可以获取N个时刻中每个时刻对应的节点特征和节点与节点之间的连接关系,基于N个时刻分别对应的节点特征和节点与节点之间的连接关系,生成对应时刻的关系网络。
步骤S220,从N个关系网络中分别确定第一节点的多个邻居节点,得到针对第一节点的N个邻居节点组,其与N个时刻分别对应。
例如,当N为3时,针对t1时刻的关系网络、t2时刻的关系网络和t3时刻的关系网络,分别从t1时刻的关系网络中确定第一节点的邻居节点,包括节点3、节点4、节点5、节点1和节点2,构成t1时刻的邻居节点组;从t2时刻的关系网络中确定第一节点的邻居节点,包括节点3、节点4、节点5和节点1,构成t2时刻的邻居节点组;从第三关系网络中确定第一节点的邻居节点,包括节点3、节点4、节点5和节点6,构成t3时刻的邻居节点组。
在从关系网络中确定第一节的邻居节点时,可以按照预定的邻居规则来确定,邻居规则可以包括针对邻居阶数和/或邻居节点总数的限定。例如,可以从预定邻居阶数中确定邻居节点,邻居节点的总数也可以预先设定。在一个例子中,可以按照这样的邻居规则来确定邻居节点,邻居阶数为3层以内,邻居节点的总数最大为20个。邻居阶数是指某个节点与第一节点之间的连接路径上间隔的节点个数。例如,当间隔的节点个数为0时,该节点与第一节点直接连接,该节点为第一节点的一阶邻居;当间隔的邻居个数为1时。该节点与第一节点之间存在一个节点,该节点为第一节点的二阶邻居;等等,以此类推。
从N个关系网络中分别确定的第一节点的邻居节点的个数,可以不同。
步骤S230,针对N个时刻中的任意一个第一时刻,基于第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及第一节点的节点特征,确定第一节点在第一时刻的空间聚合特征。空间聚合特征可以采用多维向量形式表达。N个时刻中的所有时刻,均按照上述方式确定第一节点在该时刻的空间聚合特征。此处第一时刻中的“第一”,以及下文中相应的“第一”,仅仅是为了区分和描述方便,而不具有任何限定意义。
各个邻居节点的节点特征,以及第一节点的节点特征,是节点的初始特征,并且可以以多维向量的形式进行表达。例如,当节点代表用户时,节点的初始特征可以包括用户基本属性特征、用户历史行为特征、用户的关联关系特征、用户的交互特征、用户的身体指标特征等等。当节点代表商品时,节点的初始特征可以包括商品基本属性特征、商品的流通特征等等。当节点代表商铺或者地区时,节点的初始特征可以包括其基本属性特征等等。
在确定第一节点在第一时刻的空间聚合特征时,可以采用多种实施方式。例如,可以直接对第一时刻对应的邻居节点组中各个邻居节点的节点特征以及第一节点的节点特征进行特征聚合,得到第一节点在第一时刻的空间聚合特征。特征聚合,例如可以是对各个节点的节点特征取均值或者加权均值等。还可以采用其他更有效、更准确的方式确定空间聚合特征,其实施方式将在本实施例之后说明。
步骤S240,将N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于序列神经网络的输出结果确定第一节点在N个时刻的N个时空表达。序列神经网络用于根据训练的模型参数以及输入的所述序列确定第一节点在各个时刻的聚合特征,作为输出结果。该聚合特征可以采用多维向量形式表达。
N个时刻的N个空间聚合特征按照时间顺序组合成序列,例如按照时间从先到后的顺序对各个时刻的空间聚合特征进行排序,得到序列。
例如,有3个时刻t1、t2和t3的空间聚合特征z1、z2和z3,将按照时间顺序排列后的z1-z2-z3作为序列输入序列神经网络,得到该序列神经网络输出的t1时刻的聚合特征h1,t2时刻的聚合特征h2以及t3时刻的聚合特征h3。
序列神经网络在确定各个时刻的聚合特征时,任意一个时刻的聚合特征可以基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。例如,t1时刻的聚合特征可以基于对初始特征和t1时刻的空间聚合特征z1进行聚合得到,初始特征可以预设,也可以随机生成。t2时刻的聚合特征可以基于对t1时刻的聚合特征和t2时刻的空间聚合特征z2进行聚合得到,t3时刻的聚合特征可以基于对t1时刻的聚合特征、t2时刻的聚合特征以及t3时刻的空间聚合特征z3进行聚合得到,之后的各个时刻的聚合特征可以以此类推。其中,上述聚合可以采用求平均值或加权平均值以及其他聚合算法进行。
时空表达可以是多维向量。在确定N个时空表达时可以包括多种情况。例如,可以直接将序列神经网络输出的第一节点在N个时刻的N个聚合特征,分别作为N个时空表达。也可以将这N个聚合特征分别作为N个时间聚合特征,将N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。在后一种实施方式中,通过序列神经网络确定第一节点在N个时刻的N个时间聚合特征。其中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
在一种实施中,序列神经网络可以通过对长短期记忆(Long Short-Term Memory,LSTM)或循环神经网络(Recurrent Neural Network,RNN)的改进来实现。例如,当将一个序列输入LSTM或者RNN之后,输出可以设置为针对每个时刻均输出一个聚合特征,即该时刻的时间聚合特征。下面以LSTM为例,说明其在本实施例中的具体应用。本实施例中LSTM可以采用以下计算方式确定各个时刻的时间聚合特征:
其中,zu m为节点u在m时刻的空间聚合特征,hu m为节点u在m时刻的时间聚合特征,hu m-1为节点u在m-1时刻的时间聚合特征,节点u例如可以为第一节点。在第一个时刻,hu m-1可以为随机值或者预设值,为元素智能(element-wise)乘积中的点乘函数,、、和均为模型参数,也是训练节点的待训练参数,CONCAT、tanh和σ均为LSTM中的函数。
在将N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达时,具体可以将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。预设方式例如可以是将空间聚合特征放在时间聚合特征的前端或者后端等,这样得到的时空表达的向量维数,是空间聚合特征和时间聚合特征的向量维数之和。
例如,可以采用以下公式对空间聚合特征和时间聚合特征进行拼接:
其中,zu m为节点u在m时刻的空间聚合特征,hu m为节点u在m时刻的时间聚合特征,ru m为节点u在m时刻的时空表达,CONCAT为连接函数。
在上述操作中,使用序列神经网络对空间信息进行建模,产生不同时刻快照的聚合特征,即在一定程度上实现了将空间信息和时间信息进行结合。如果将序列神经网络输出的聚合特征作为时间维度特征(时间聚合特征),再将其结合空间维度特征(空间聚合特征),可以得到了每个时刻更准确的时空表达。
步骤S250,对N个时空表达进行聚合,得到第一节点的时空聚合特征,作为第一节点代表的第一对象的特征信息。第一节点的时空聚合特征,是从多个时刻的关系网络中提取的结合了时间和空间维度特征的深层特征,将该时空聚合特征作为第一对象的特征信息,能够使得对第一对象的特征表达更加有效,更加准确。当第一对象的特征表达更准确有效时,基于第一对象的特征信息进行更多其他应用,例如对象分类、信息推送、预测等,也能够提高有效性和准确性。
在对N个时空表达进行聚合时,可以采用多种聚合方式,例如可以直接取均值或者加权均值;也可以基于自注意力机制对N个时空表达进行聚合。在基于自注意力机制对N个时空表达进行聚合,可以采用以下实施方式,具体包括以下步骤1~步骤4。
步骤1,将N个时空表达构建成时空表达矩阵。例如,每个时空表达的向量维数是M,M为大于1的整数,可以将每个时空表达作为时空表达矩阵的行向量,这样构建的时空表达矩阵为N*M阶矩阵。也可以将每个时空表达作为时空表达矩阵的列向量,这样构建的时空表达矩阵为M*N阶矩阵。
步骤2,基于自注意力机制和N个时空表达确定注意力矩阵。
具体过程可以包括,确定任意两个时空表达之间的注意力值,例如可以直接将任意两个时空表达进行向量点乘,得到每两个时空表达之间的注意力值,多个注意力值构建成注意力矩阵。也可以采用Q、K、V矩阵计算N个时空表达的注意力值,构建得到注意力矩阵。其中,Q、K和V矩阵均可以是预先训练得到的矩阵参数。
步骤3,基于注意力矩阵与第一转换矩阵的乘积,得到第二转换矩阵,第一转换矩阵为时空表达矩阵与预先训练的第一参数矩阵的乘积。第二转换矩阵包含经过自注意力机制处理后每个时刻的时空表达。
例如,基于上述步骤1~3,可以采用以下公式确定第二转换矩阵:
其中,Xv为第二转换矩阵,Rv为时空表达矩阵,Wq、Wk和Wv分别表示Q、K、V矩阵,也是训练阶段中的待训练参数,Wv为上述第一参数矩阵,RvWv为第一转换矩阵,βv为注意力矩阵,βv ij表示注意力矩阵中的第i行第j列元素,k取N个时刻中的各个时刻,上角标ik指示第i行第k列的元素,ev ij的分子的上角标对应第i行第j列的元素,带下角标ij的括号部分表示矩阵的第i行第j列的元素,分母中的F'是基于矩阵Xv的阶数a*b得到的(a+b)。由于βv和Wv的矩阵阶数均可以预先设定,因此Xv的阶数也是预先设定的,F'的值即为预先设定的,其作用是使得计算结果更稳定。exp是以自然常数e为底的指数函数,exp(x)表示自然常数e的x次方。T为矩阵转置符号。
步骤4,基于第二转换矩阵中的每个向量的拼接,得到第一节点的时空聚合特征。第二转换矩阵红的多个向量可以按照预定的方式前后拼接,得到第一节点的时空聚合特征。例如,可以采用以下公式来对第二转换矩阵中的每个向量进行拼接:
其中,fv u为节点u的时空聚合特征,WF为训练好的参数矩阵,在训练过程中属于待训练的参数,Xv H为第二转换矩阵中第H个行向量。将第二转换矩阵中的各个行向量依次拼接起来,并与训练的参数点乘,可以得到第一节点的时空聚合特征。
上述例子中,时空表达矩阵中将每个时空表达作为行向量,以此来计算得到第二转换矩阵,并基于第二转换矩阵中各个行向量的拼接,得到第一节点的时空聚合特征。对于将每个时空表达作为列向量构成时空表达矩阵的情况中,可以基于第二转换矩阵中各个列向量的拼接,得到第一节点的时空聚合特征。
在另一实施例中,也可以采用自注意力机制中的其他方式,基于N个时空表达,确定任意两个时空表达之间的注意力值,将得到的多个注意力值按照设定的方式对N个时空表达进行处理,并将处理后的各个时空表达进行聚合,得到第一节的时空聚合特征。
在上述步骤S230中,确定了第一节点在N个时刻中每个时刻的空间聚合特征,即确定了各个时刻的空间维度特征,在步骤S240~步骤S250中,对各个时刻的空间维度特征在时间维度上进行聚合,是对一个时间序列上的不同嵌入向量进行聚合的过程。经过上述处理,实现了同时在空间和时间维度上对节点特征进行聚合的目的,获取到了节点的特征信息。
在本说明书的另一实施例中,步骤S230中确定第一节点在第一时刻的空间聚合特征的步骤,具体可以针对N个时刻中的任意一个第一时刻,将第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及第一节点的节点特征,输入图神经网络,得到第一节点在第一时刻的空间聚合特征。该图神经网络,用于根据模型参数和输入的各个邻居节点的节点特征、第一节点的节点特征,确定第一节点的空间聚合特征。
其中,图神经网络可以采用图卷积神经网络(Graph Convolutional Network,GCN)、图注意力神经网络(Graph Attention Networks,GAN)、GraphSage图神经网络或Geniepath图神经网络等实现。
下面提供一种确定第一节点在第一时刻的空间聚合特征的具体实施方式,包括以下的步骤a~步骤c。
步骤a,采用基于注意力机制的广度自适应函数,基于第一时刻对应的邻居节点组中各个邻居节点的节点特征和第一节点的节点特征,确定各个邻居节点相对于第一节点的重要度。在关系网络中,对于节点y来说,其邻居节点对于节点y的重要度是不同的,可以根据一定的机制,计算各个邻居节点的重要度。
在关系网络G中,G=(V,E),V表示所有节点的集合,E表示所有连接边的集合。对于节点y来说,节点x的重要度α可以采用以下公式确定:
其中,上述公式中的x和y分别代表节点x和y的节点特征。Ws T和Wd T为节点x和y之间的特征转换矩阵,是训练得到的参数。vT是注意力转化向量,也是训练得到的参数。softmax是归一化函数。(x′,y)∈E,表示关系网络中与节点y相连的节点x′。当节点y表示第一节点时,上述节点x可以分别取第一时刻的邻居节点组中的各个邻居节点,节点x′中包括各个邻居节点。
步骤b,基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到第一节点的广度特征。其中,重要度作为对应的邻居节点的权重,可以参与对各个邻居节点的节点特征进行加权求和的操作。
步骤c,采用基于循环算子的深度自适应函数,基于广度特征对第一节点进行t步迭代,得到第一节点在第一时刻的空间聚合特征。第t步迭代的结果是从第一节点及其邻居节点的第t-1步结果聚合而来。在确定第一节的广度特征之后,还可以再进一步提取第一节点的深度特征,使得第一节点的空间聚合特征更加有效和准确。
具体的,上述循环算子可以采用LSTM算子或者RNN算子来实现。下面以LSTM算子为例说明具体的迭代过程。本实施方式中维护第一节点每一步迭代的细胞状态,使用类似LSTM的结构对t步迭代结果进行融合,其具体结构由输入门、遗忘门和输出门三个组件组成。
首先,使用输入门选择第t步迭代结果的重要信息:
然后,遗忘门丢弃之前细胞状态中的无用信息:
最终,隐状态表达如下:
第t步迭代的迭代结果为:
其中,μ(t)是第一节点的广度特征,z(t-1)代表第t-1步迭代得到的迭代结果,上角标(t)代表第t步迭代中的量。z(t)代表第t步迭代得到的迭代结果,即为第一节点在第一时刻的空间聚合特征。Wi (t)T是输入门的参数,Wf (t)T是遗忘门中的参数,Wo (t)T是输出门的参数,Wc是隐状态中的参数,以上参数均是训练得到的参数,T是矩阵的转置符号,CONCAT为连接函数,CONCAT、tanh和σ均为LSTM中的函数,为element-wise中的点乘函数。
上述确定第一节点在第一时刻的空间聚合特征的具体实施方式可以包含在图神经网络中。在具体应用中,确定空间聚合特征时还可以采用其他的方式,此处不再赘述。
上述各个实施例提供了基于时空聚合的对象特征信息的获取方法。在获取到对象的特征信息之后,可以将其应用在多个方面。例如,可以应用在对对象进行分类中,或者信息推送中,或者链接关系预测中等等。下面结合具体实施例分别进行说明。
图3为实施例提供的一种基于时空聚合的对象分类方法的流程示意图。该方法可以通过计算机执行,该计算机具体可以通过任何具有计算、处理能力的设备、平台或设备集群来实现。该方法包括以下步骤。
步骤S310,获取第二对象的特征信息,第二对象的特征信息可以采用图2所述的方法获取。
步骤S320,将第二对象的特征信息输入预先训练的对象分类器,得到第二对象的分类结果。其中,对象分类器用于针对输入的特征信息确定对象所属的分类,得到分类结果。例如,对对象的分类可以包括对象属于高风险用户或者低风险用户,或者属于针对某事件的目标用户和非目标用户等等。在一种实施方式中,对象分类器可以采用线性分类器来实现,例如决策树、随机森林等分类器来实现,也可以采用全连接函数来实现,或者采用多层感知器(Multi-Layer Perceptron,MLP)来实现。
在本实施例中,当确定的第二对象的特征信息更加有效,更加准确时,基于第二对象的特征信息对第二对象进行的分类也会更加准确,从而提高分类的准确性。
图4为实施例提供的一种基于时空聚合的信息推送方法的流程示意图。该方法可以通过计算机执行,该计算机具体可以通过任何具有计算、处理能力的设备、平台或设备集群来实现。该方法包括以下步骤。
步骤S410,获取第三对象的特征信息和第四对象的特征信息,第三对象的特征信息和第四对象的特征信息可以采用图2所述的方法分别获取。
步骤S420,当第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于第三对象的关注信息向第四对象进行推送。预设相似度阈值可以为根据经验确定的预设值。
在确定第三对象的特征信息和第四对象的特征信息之间的相似度时,可以直接将两个特征信息进行向量点乘,得到相似度。也可以采用计算两个特征信息的欧氏距离、杰卡德系数或皮尔森相关系数的方式,得到相似度。
当上述相似度大于预设相似度阈值时,认为第三对象和第四对象存在相似的关注对象,因此可以基于第三对象的关注信息向第四对象进行信息推送。在一种实施方式中,对象可以包括用户,可以基于一个用户的关注信息向另一个用户进行信息推送。关注信息可以包括商品信息、店铺信息、文章或其他可推送信息。
在本实施例中,当特征信息能更准确、更有效地表征对象时,基于对象的特征信息进行的信息推送也能更准确地推送至合适的对象,提高信息推送的准确度。
图5为实施例提供的一种基于时空聚合的连接关系预测方法的流程示意图。该方法可以通过计算机执行,该计算机具体可以通过任何具有计算、处理能力的设备、平台或设备集群来实现。所述方法包括以下步骤。
步骤S510,获取第五对象的特征信息和第六对象的特征信息,第五对象的特征信息和第六对象的特征信息可以采用图2所述的方法分别获取。
步骤S520,对第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征。具体的,可以按照预设的拼接规则对两个特征信息进行向量拼接。例如,可以将第五对象的特征信息对应的向量放置于第六对象的特征信息对应的向量的前端或者后端,得到拼接特征。
步骤S530,将拼接特征输入预先训练的连接关系分类器,得到第五对象与第六对象之间是否存在连接关系的分类结果。该连接关系分类器用于针对输入的拼接特征,确定第五对象和第六对象之间是否存在连接关系的分类结果。该连接关系可以表示第五对象和第六对象之间的好友关系、买卖关系、从属关系等等。
连接关系分类器可以采用线性分类器来实现,例如决策树、随机森林等分类器来实现,也可以采用全连接函数来实现,或者采用MLP来实现。
在本实施例中,当特征信息能更准确、更有效地表征对象时,基于对象的特征信息进行的连接关系预测也能更准确,从而提高预测准确度。
上述实施例中涉及的序列神经网络可以预先进行训练。例如,可以将图2所示的方法分别与图3、图4或图5结合起来进行训练。例如,将图2所示的方法与图3所示的方法结合起来,采用步骤S210~S230的过程(将样本节点作为第一节点),确定样本节点在N个时刻的N个空间聚合特征,将N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于序列神经网络的输出结果确定样本节点在N个时刻的时空表达,并对N个时空表达进行聚合,确定样本节点的特征信息,将样本节点的特征信息输入对象分类器,得到样本节点的预测分类结果,根据预测分类结果与样本节点的标注分类之间从差异,确定预测损失值,向减小该预测损失值的方向,更新序列神经网络中的模型参数。在训练过程中,也可以调整图2中涉及的需要训练的各个参数,当对象分类器中存在待训练参数时也可以调整对象分类器中的参数。对象分类器也可以直接采用训练好的分类器。上述训练过程可以迭代进行,直至训练过程收敛。
将图2所示的方法与图4或图5所示方法结合起来进行训练的过程,与上述训练过程类似,不再赘述。
上述内容对本说明书的特定实施例进行了描述,其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行,并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的,或者可能是有利的。
图6为实施例提供的一种基于时空聚合的对象特征信息获取装置的示意性框图。该装置600部署在计算机中,该装置实施例与图2所示方法实施例相对应。该装置600包括:
网络获取模块610,配置为,获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,所述N个关系网络中均包含第一节点,节点代表对象;
邻居确定模块620,配置为从所述N个关系网络中分别确定所述第一节点的多个邻居节点,得到针对所述第一节点的N个邻居节点组,其与N个时刻分别对应;
空间聚合模块630,配置为,针对所述N个时刻中的任意一个第一时刻,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,确定所述第一节点在所述第一时刻的空间聚合特征;
时空表达模块640,配置为,将所述N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于序列神经网络的输出结果确定第一节点在所述N个时刻的N个时空表达;
时空聚合模块650,配置为对N个时空表达进行聚合,得到第一节点的时空聚合特征,作为所述第一节点代表的第一对象的特征信息。
在一种实施方式中,空间聚合模块630具体配置为:
将所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,输入图神经网络,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,空间聚合模块630具体配置为:
采用基于注意力机制的广度自适应函数,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征和所述第一节点的节点特征,确定各个邻居节点相对于所述第一节点的重要度;
基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到所述第一节点的广度特征;
采用基于循环算子的深度自适应函数,基于所述广度特征对所述第一节点进行t步迭代,得到所述第一节点在所述第一时刻的空间聚合特征。
在一种实施方式中,时空表达模块640,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达时,包括:
通过所述序列神经网络确定所述第一节点在所述N个时刻的N个时间聚合特征;将所述N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。
在一种实施方式中,时空表达模块640,将所述N个时刻的空间聚合特征和时间聚合特征对应组合时,包括:
将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。
在一种实施方式中,时空聚合模块650,具体配置为,基于自注意力机制对所述N个时空表达进行聚合。
在一种实施方式中,时空聚合模块650,基于自注意力机制对所述N个时空表达进行聚合时,包括:
将N个时空表达构建成时空表达矩阵;
基于自注意力机制和N个时空表达确定注意力矩阵;
基于所述注意力矩阵与第一转换矩阵的乘积,得到所述第二转换矩阵,所述第一转换矩阵为所述时空表达矩阵与预先训练的第一参数矩阵的乘积;
基于所述第二转换矩阵中各个向量的拼接,确定所述第一节点的时空聚合特征。
在一种实施方式中,所述图神经网络包括GCN、GAN、GraphSage网络或Geniepath网络。
在一种实施方式中,序列神经网络包括LSTM或RNN。
在一种实施方式中,对象包括以下中的至少一种:用户、商品、店铺、地区。
在一种实施方式中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
图7为实施例提供的一种基于时空聚合的对象分类装置的示意性框图。该装置700部署在计算机中,该装置实施例与图3所示方法实施例相对应。该装置700包括:
第一获取模块710,配置为,获取第二对象的特征信息,所述第二对象的特征信息采用图2所述的方法获取;
对象分类模块720,配置为,将所述第二对象的特征信息输入预先训练的对象分类器,得到所述第二对象的分类结果。
图8为实施例提供的一种基于时空聚合的信息推送装置的示意性框图。该装置800部署在计算机中,该装置实施例与图4所示方法相对应。该装置800包括:
第二获取模块810,配置为,获取第三对象的特征信息和第四对象的特征信息,所述第三对象的特征信息和第四对象的特征信息采用图2所述的方法分别获取;
信息推送模块820,配置为,当所述第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于所述第三对象的关注信息向所述第四对象进行推送。
图9为实施例提供的一种基于时空聚合的连接关系预测装置的示意性框图。该装置900部署在计算机中,该装置实施例与图5所示方法实施例相对应。该装置900包括:
第三获取模块910,配置为,获取第五对象的特征信息和第六对象的特征信息,所述第五对象的特征信息和第六对象的特征信息采用图2所述的方法分别获取;
特征拼接模块920,配置为,对所述第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征;
关系分类模块930,配置为,将所述拼接特征输入预先训练的连接关系分类器,得到所述第五对象与第六对象之间是否存在连接关系的分类结果。
上述装置实施例与方法实施例相对应,具体说明可以参见方法实施例部分的描述,此处不再赘述。装置实施例是基于对应的方法实施例得到,与对应的方法实施例具有同样的技术效果,具体说明可参见对应的方法实施例。
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行图1至图5任一项所述的方法。
本说明书实施例还提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现图1至图5任一项所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于存储介质和计算设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是,以上所述仅为本发明实施例的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (30)
1.一种基于时空聚合的对象特征信息获取方法,通过计算机执行,所述方法包括:
获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,所述N个关系网络中均包含第一节点,节点代表对象;
从所述N个关系网络中分别确定所述第一节点的多个邻居节点,得到针对所述第一节点的N个邻居节点组,其与N个时刻分别对应;
针对所述N个时刻中的任意一个第一时刻,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,确定所述第一节点在所述第一时刻的空间聚合特征;
将所述N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达;
对所述N个时空表达进行聚合,得到所述第一节点的时空聚合特征,作为所述第一节点代表的第一对象的特征信息。
2.根据权利要求1所述的方法,所述确定所述第一节点在所述第一时刻的空间聚合特征的步骤,包括:
将所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,输入图神经网络,得到所述第一节点在所述第一时刻的空间聚合特征。
3.根据权利要求1所述的方法,所述确定所述第一节点在所述第一时刻的空间聚合特征的步骤,包括:
采用基于注意力机制的广度自适应函数,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征和所述第一节点的节点特征,确定各个邻居节点相对于所述第一节点的重要度;
基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到所述第一节点的广度特征;
采用基于循环算子的深度自适应函数,基于所述广度特征对所述第一节点进行t步迭代,得到所述第一节点在所述第一时刻的空间聚合特征。
4.根据权利要求1所述的方法,所述至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达的步骤,包括:
通过所述序列神经网络确定所述第一节点在所述N个时刻的N个时间聚合特征;将所述N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。
5.根据权利要求4所述的方法,所述将所述N个时刻的空间聚合特征和时间聚合特征对应组合的步骤,包括:
将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。
6.根据权利要求1所述的方法,所述对所述N个时空表达进行聚合的步骤,包括:基于自注意力机制对所述N个时空表达进行聚合。
7.根据权利要求6所述的方法,所述基于自注意力机制对所述N个时空表达进行聚合的步骤,包括:
将所述N个时空表达构建成时空表达矩阵;
基于自注意力机制和N个时空表达确定注意力矩阵;
基于所述注意力矩阵与第一转换矩阵的乘积,得到第二转换矩阵,所述第一转换矩阵为所述时空表达矩阵与预先训练的第一参数矩阵的乘积;
基于所述第二转换矩阵中各个向量的拼接,确定所述第一节点的时空聚合特征。
8.根据权利要求2所述的方法,所述图神经网络包括图卷积神经网络GCN、图注意力神经网络GAN、GraphSage网络和Geniepath网络。
9.根据权利要求1所述的方法,所述序列神经网络包括长短期记忆LSTM和循环神经网络RNN。
10.根据权利要求1所述的方法,所述对象包括以下中的至少一种:用户、商品、店铺、地区。
11.根据权利要求4所述的方法,其中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
12.一种基于时空聚合的对象分类方法,通过计算机执行,包括:
获取第二对象的特征信息,所述第二对象的特征信息采用权利要求1所述的方法获取;
将所述第二对象的特征信息输入预先训练的对象分类器,得到所述第二对象的分类结果。
13.一种基于时空聚合的信息推送方法,通过计算机执行,所述方法包括:
获取第三对象的特征信息和第四对象的特征信息,所述第三对象的特征信息和第四对象的特征信息采用权利要求1所述的方法分别获取;
当所述第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于所述第三对象的关注信息向所述第四对象进行推送。
14.一种基于时空聚合的连接关系预测方法,通过计算机执行,包括:
获取第五对象的特征信息和第六对象的特征信息,所述第五对象的特征信息和第六对象的特征信息采用权利要求1所述的方法分别获取;
对所述第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征;
将所述拼接特征输入预先训练的连接关系分类器,得到所述第五对象与第六对象之间是否存在连接关系的分类结果。
15.一种基于时空聚合的对象特征信息获取装置,部署在计算机中,所述装置包括:
网络获取模块,配置为,获取N个时刻的N个关系网络,关系网络中包括多个节点以及节点与节点之间的连接关系,所述N个关系网络中均包含第一节点,节点代表对象;
邻居确定模块,配置为从所述N个关系网络中分别确定所述第一节点的多个邻居节点,得到针对所述第一节点的N个邻居节点组,其与N个时刻分别对应;
空间聚合模块,配置为,针对所述N个时刻中的任意一个第一时刻,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,确定所述第一节点在所述第一时刻的空间聚合特征;
时空表达模块,配置为,将所述N个时刻的N个空间聚合特征按照时间顺序以序列的方式输入序列神经网络,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达;
时空聚合模块,配置为对所述N个时空表达进行聚合,得到所述第一节点的时空聚合特征,作为所述第一节点代表的第一对象的特征信息。
16.根据权利要求15所述的装置,所述空间聚合模块,具体配置为:
将所述第一时刻对应的邻居节点组中各个邻居节点的节点特征,以及所述第一节点的节点特征,输入图神经网络,得到所述第一节点在所述第一时刻的空间聚合特征。
17.根据权利要求15所述的装置,所述空间聚合模块,具体配置为:
采用基于注意力机制的广度自适应函数,基于所述第一时刻对应的邻居节点组中各个邻居节点的节点特征和所述第一节点的节点特征,确定各个邻居节点相对于所述第一节点的重要度;
基于各个邻居节点对应的重要度,对各个邻居节点的节点特征进行加权求和,得到所述第一节点的广度特征;
采用基于循环算子的深度自适应函数,基于所述广度特征对所述第一节点进行t步迭代,得到所述第一节点在所述第一时刻的空间聚合特征。
18.根据权利要求15所述的装置,所述时空表达模块,至少基于所述序列神经网络的输出结果确定所述第一节点在所述N个时刻的N个时空表达时,包括:
通过所述序列神经网络确定所述第一节点在所述N个时刻的N个时间聚合特征;将所述N个时刻的空间聚合特征和时间聚合特征对应组合,分别得到对应时刻的时空表达。
19.根据权利要求18所述的装置,所述时空表达模块,将所述N个时刻的空间聚合特征和时间聚合特征对应组合时,包括:
将任意一个时刻的空间聚合特征和时间聚合特征按照预设方式进行拼接,将拼接得到的对应特征作为对应时刻的时空表达。
20.根据权利要求15所述的装置,所述时空聚合模块,具体配置为,基于自注意力机制对所述N个时空表达进行聚合。
21.根据权利要求20所述的装置,所述时空聚合模块,基于自注意力机制对所述N个时空表达进行聚合时,包括:
将所述N个时空表达构建成时空表达矩阵;
基于自注意力机制和N个时空表达确定注意力矩阵;
基于所述注意力矩阵与第一转换矩阵的乘积,得到第二转换矩阵,所述第一转换矩阵为所述时空表达矩阵与预先训练的第一参数矩阵的乘积;
基于所述第二转换矩阵中各个向量的拼接,确定所述第一节点的时空聚合特征。
22.根据权利要求16所述的装置,所述图神经网络包括图卷积神经网络GCN、图注意力神经网络GAN、GraphSage网络和Geniepath网络。
23.根据权利要求15所述的装置,所述序列神经网络包括长短期记忆LSTM和循环神经网络RNN。
24.根据权利要求15所述的装置,所述对象包括以下中的至少一种:用户、商品、店铺、地区。
25.根据权利要求18所述的装置,其中,任意一个时刻的时间聚合特征基于该时刻之前的至少一个时刻的空间聚合特征聚合得到。
26.一种基于时空聚合的对象分类装置,部署在计算机中,包括:
第一获取模块,配置为,获取第二对象的特征信息,所述第二对象的特征信息采用权利要求1所述的方法获取;
对象分类模块,配置为,将所述第二对象的特征信息输入预先训练的对象分类器,得到所述第二对象的分类结果。
27.一种基于时空聚合的信息推送装置,部署在计算机中,所述装置包括:
第二获取模块,配置为,获取第三对象的特征信息和第四对象的特征信息,所述第三对象的特征信息和第四对象的特征信息采用权利要求1所述的方法分别获取;
信息推送模块,配置为,当所述第三对象的特征信息和第四对象的特征信息之间的相似度大于预设相似度阈值时,基于所述第三对象的关注信息向所述第四对象进行推送。
28.一种基于时空聚合的连接关系预测装置,部署在计算机中,包括:
第三获取模块,配置为,获取第五对象的特征信息和第六对象的特征信息,所述第五对象的特征信息和第六对象的特征信息采用权利要求1所述的方法分别获取;
特征拼接模块,配置为,对所述第五对象的特征信息和第六对象的特征信息进行拼接,得到拼接特征;
关系分类模块,配置为,将所述拼接特征输入预先训练的连接关系分类器,得到所述第五对象与第六对象之间是否存在连接关系的分类结果。
29.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-14中任一项所述的方法。
30.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-14中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010922527.5A CN111814921B (zh) | 2020-09-04 | 2020-09-04 | 对象特征信息获取、对象分类、信息推送方法及装置 |
US17/361,363 US20220076101A1 (en) | 2020-09-04 | 2021-06-29 | Object feature information acquisition, classification, and information pushing methods and apparatuses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010922527.5A CN111814921B (zh) | 2020-09-04 | 2020-09-04 | 对象特征信息获取、对象分类、信息推送方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814921A CN111814921A (zh) | 2020-10-23 |
CN111814921B true CN111814921B (zh) | 2020-12-18 |
Family
ID=72860198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010922527.5A Active CN111814921B (zh) | 2020-09-04 | 2020-09-04 | 对象特征信息获取、对象分类、信息推送方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220076101A1 (zh) |
CN (1) | CN111814921B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159409B (zh) * | 2021-04-14 | 2022-05-17 | 浙江大学 | 一种基于组感知图神经网络的全国城市空气质量预测方法 |
CN113869992B (zh) * | 2021-12-03 | 2022-03-18 | 平安科技(深圳)有限公司 | 基于人工智能的产品推荐方法、装置、电子设备及介质 |
CN114817757B (zh) * | 2022-04-02 | 2023-07-21 | 广州大学 | 基于图卷积网络的跨社交网络虚拟身份关联方法 |
CN114756720B (zh) * | 2022-06-13 | 2022-10-04 | 支付宝(杭州)信息技术有限公司 | 时序数据的预测方法及装置 |
CN115860906A (zh) * | 2022-11-22 | 2023-03-28 | 中电金信软件有限公司 | 一种信贷风险识别方法、装置及存储介质 |
WO2024113215A1 (en) * | 2022-11-30 | 2024-06-06 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, computer-program product |
CN115834433B (zh) * | 2023-02-17 | 2023-05-12 | 杭州沄涞科技有限公司 | 基于物联网技术的数据处理方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202369A (zh) * | 2016-07-04 | 2016-12-07 | 杭州天迈网络有限公司 | 基于lbs与游客特征大数据分析的旅游信息推送方法 |
US10397359B2 (en) * | 2016-12-30 | 2019-08-27 | Google Llc | Streaming media cache for media streaming service |
CN110245269A (zh) * | 2019-05-06 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 获取关系网络图中节点的动态嵌入向量的方法和装置 |
CN110705709A (zh) * | 2019-10-14 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 训练图神经网络模型的方法和装置 |
CN110796110A (zh) * | 2019-11-05 | 2020-02-14 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及*** |
CN111612206A (zh) * | 2020-03-30 | 2020-09-01 | 清华大学 | 一种基于时空图卷积神经网络的街区人流预测方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645291B2 (en) * | 2011-08-25 | 2014-02-04 | Numenta, Inc. | Encoding of data for processing in a spatial and temporal memory system |
US20150032762A1 (en) * | 2013-07-28 | 2015-01-29 | Tiberiu Stef-Praun | System and Method for Filtering One's Personal Availability, Based on Preferences and Matching |
CN110032603A (zh) * | 2019-01-22 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 一种对关系网络图中的节点进行聚类的方法及装置 |
-
2020
- 2020-09-04 CN CN202010922527.5A patent/CN111814921B/zh active Active
-
2021
- 2021-06-29 US US17/361,363 patent/US20220076101A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202369A (zh) * | 2016-07-04 | 2016-12-07 | 杭州天迈网络有限公司 | 基于lbs与游客特征大数据分析的旅游信息推送方法 |
US10397359B2 (en) * | 2016-12-30 | 2019-08-27 | Google Llc | Streaming media cache for media streaming service |
CN110245269A (zh) * | 2019-05-06 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 获取关系网络图中节点的动态嵌入向量的方法和装置 |
CN110705709A (zh) * | 2019-10-14 | 2020-01-17 | 支付宝(杭州)信息技术有限公司 | 训练图神经网络模型的方法和装置 |
CN110796110A (zh) * | 2019-11-05 | 2020-02-14 | 西安电子科技大学 | 一种基于图卷积网络的人体行为识别方法及*** |
CN111612206A (zh) * | 2020-03-30 | 2020-09-01 | 清华大学 | 一种基于时空图卷积神经网络的街区人流预测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN111814921A (zh) | 2020-10-23 |
US20220076101A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111814921B (zh) | 对象特征信息获取、对象分类、信息推送方法及装置 | |
CN107330115B (zh) | 一种信息推荐方法及装置 | |
Zheng et al. | Radial basis function network configuration using mutual information and the orthogonal least squares algorithm | |
CN112364976B (zh) | 基于会话推荐***的用户偏好预测方法 | |
US10152673B2 (en) | Method for pseudo-recurrent processing of data using a feedforward neural network architecture | |
Wang et al. | Efficient learning by directed acyclic graph for resource constrained prediction | |
CN111079931A (zh) | 一种基于图神经网络的状态空间概率性多时间序列预测方法 | |
CN111582610A (zh) | 基于卷积神经网络对家庭能量分解的预测方法 | |
CN110543935B (zh) | 处理交互序列数据的方法及装置 | |
Li et al. | Learning parametric models for social infectivity in multi-dimensional hawkes processes | |
CN112580789B (zh) | 训练图编码网络、预测交互事件的方法及装置 | |
CN111523682B (zh) | 训练交互预测模型、预测交互对象的方法及装置 | |
CN110413878B (zh) | 基于自适应弹性网络的用户-商品偏好的预测装置和方法 | |
CN112085293B (zh) | 训练交互预测模型、预测交互对象的方法及装置 | |
Chen et al. | Generative inverse deep reinforcement learning for online recommendation | |
CN110705688A (zh) | 对操作事件进行风险评估的神经网络***、方法及装置 | |
CN110008348B (zh) | 结合节点和边进行网络图嵌入的方法和装置 | |
CN106600347B (zh) | 一种基于多视角数据和循环网络构建序列预测模型的方法 | |
CN115358485A (zh) | 一种基于图自注意力机制与霍克斯过程的交通流预测方法 | |
Shang et al. | Local low-rank Hawkes processes for temporal user-item interactions | |
CN114169968A (zh) | 一种融合用户兴趣状态的多粒度会话推荐方法 | |
CN116362836A (zh) | 基于用户行为序列的农产品推荐算法 | |
Su et al. | Sampling-free learning of Bayesian quantized neural networks | |
CN112085279B (zh) | 训练交互预测模型、预测交互事件的方法及装置 | |
Ding et al. | Efficient model-based collaborative filtering with fast adaptive PCA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039737 Country of ref document: HK |