CN111489196A - 基于深度学习网络的预测方法、装置、电子设备及介质 - Google Patents

基于深度学习网络的预测方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111489196A
CN111489196A CN202010270195.7A CN202010270195A CN111489196A CN 111489196 A CN111489196 A CN 111489196A CN 202010270195 A CN202010270195 A CN 202010270195A CN 111489196 A CN111489196 A CN 111489196A
Authority
CN
China
Prior art keywords
creative
user
feature
data
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010270195.7A
Other languages
English (en)
Other versions
CN111489196B (zh
Inventor
麻泽武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010270195.7A priority Critical patent/CN111489196B/zh
Publication of CN111489196A publication Critical patent/CN111489196A/zh
Application granted granted Critical
Publication of CN111489196B publication Critical patent/CN111489196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例公开了一种基于深度学习网络的预测方法，获取目标用户的N个用户相关数据，其中，N为不小于2的整数；使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于2的整数；对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。

Description

基于深度学习网络的预测方法、装置、电子设备及介质
技术领域
本说明书实施例涉及深度学习技术领域，尤其涉及一种基于深度学习网络的预测方法、装置、电子设备及介质。
背景技术
随着移动电子设备的飞速发展，使得移动电子设备上的应用也越来越多，促使在电子设备上的推广应用得越来越广泛，用户在打开某一应用时，会自动将用户感兴趣的产品例如鞋子、衣服和小说等推荐个用户，提高用户的体验。
现有技术中在预测出用户感兴趣的产品时，通常使用线性模型逻辑回归算法来创建预测模型，通过构造大量例如100万以上的特征来训练预测模型，再通过已训练的预测模型进行预测。
发明内容
本说明书实施例提供了一种基于深度学习网络的预测方法、装置、电子设备及介质，能够在有效确保预测准确率的情况下提高预测效率。
本说明书实施例第一方面提供了一种基于深度学习网络的预测方法，包括：
获取目标用户的N个用户相关数据，其中，N为不小于2的整数；
使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于2的整数；
对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；
将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。
本说明书实施例第二方面提供了一种基于深度学习网络的预测装置，包括：
用户数据获取单元，用于获取目标用户的N个用户相关数据，其中，N为不小于7的整数；
FM模型处理单元，用于使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于7的整数；对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；
DNN模型处理单元，用于将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。
本说明书实施例第三方面还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于深度学习网络的预测方法的步骤。
本说明书实施例第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时上述基于深度学习网络的预测方法的步骤。
本说明书实施例的有益效果如下：
基于上述技术方案，在获取目标用户的用户特征组合和用户特征向量之后，直接将用户特征组合与M个创意对应的M个创意特征组合进行点积处理；以及在获取用户特征向量之后，将用户特征向量,M个创意特征向量和点积特征组合输入到深度神经网络模型中，从M个创意中确定与目标用户匹配的目标创意；使得目标用户的特征部分仅需计算一次；而在将目标用户与M个创意进行预测时，通常需要将目标用户的特征部分计算M次，由此可知，采用上述技术方案能够降低目标用户的特征部分的计算次数，而且目标用户的特征部分的数量大且计算量多，进而能够有效提高预测效率；而且上述技术方案采用的深度神经网络模型与因子分解机模型融合的DeepFM模型进行预测，DeepFM模型预测的准确性较高，从而能够有效确保预测的准确性。
附图说明
图1为本说明书实施例中基于深度学习网络的预测方法的方法流程图；
图2为本说明书实施例中改进的DeepFM模型的结构示意图；
图3为本说明书实施例中基于深度学习网络的预测装置的结构示意图；
图4为本说明书实施例中电子设备的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。
第一方面，如图1所示，本说明书实施例提供一种基于深度学习网络的预测方法，包括：
S102、获取目标用户的N个用户相关数据，其中，N为不小于2的整数；
S104、使用因子分解机模型对N个用户相关数据和M个创意对应的M组创意数据进行处理，得到目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于2的整数；
S106、对用户特征组合和M个创意特征组合进行点积处理，得到点积特征组合；
S108、将N个用户相关数据对应的用户特征向量,M组创意数据对应的M个创意特征向量和点积特征组合输入到深度神经网络模型中，从M个创意中确定与目标用户匹配的目标创意。
本说明书实施例中，N个用户相关数据可以是目标用户的用户相关特征数据，可以包含用户的基本属性，用户的兴趣偏好，以及用户的历史点击统计信息等，为了对用户区分尽量详细，所以N个用户相关数据中N的数量会较大，通常为大于10的整数，例如为10,20,30，50和100等。
进一的，用户的基本属性通常包括姓名、性别、出生日期、身高、籍贯、住址和学历等信息。
首先执行步骤S102，目标用户打开一应用时，获取目标用户的基本属性、兴趣偏好和用户历史点击统计信息等信息作为目标用户的N个用户相关数据，目标启动一应用可以是启动浏览器打开一网页或打开智能手机上的APP例如某某宝、某信和某团等应用。
具体来讲，在目标用户启动浏览器打开一网页例如网易主页时，可以从相应地服务器中获取目标用户的N个用户相关数据，其中，相应服务器可以为云服务器或本地服务器，相应服务器中存储有目标用户的相关数据，进而使得根据目标用户的用户ID从相应服务器中查找到目标用户的所有或部分相关数据作为N个用户相关数据。
在获取到N个用户相关数据之后，执行步骤S104,首先获取预设创建的因子分解机(Factorization Machine，简称FM)模型，以及M个创意对应的M组创意数据的获取方法，然后将M组创意数据和N个用户相关数据分别输入到FM模型中，得到M组创意数据对应的M个创意特征组合，以及N个用户相关数据对应的用户特征组合。
本说明书实施例中,创意可以是广告,设计图和颜色布局图等，在创意是产品广告时，可以根据目标用户的N个用户相关数据，可以从M个产品广告中预测出目标用户点击率更高的某个产品广告；在创意是建筑设计图时，可以根据N个用户相关数据和建筑结构，从M个设计图中预测出与目标用户更匹配的某个设计图；在创意是颜色布局时，同样可以根据N个用户相关数据和需要进行颜色布局的对象，从M个颜色布局中预测出与目标用户更匹配的某个颜色布局，本说明书不作具体限制。
本说明书实施例中的预测方法可以应用在在线点击率预测场景下，在线点击率预测场景下，在用户打开对应的应用例如网页或某APP的情况下，自动向广告平台发送广告请求；广告平台接收到广告请求之后，通过上述预测方法在线预测出与目标用户匹配的目标广告，并将目标广告进行推送，使得目标广告能够有较高的概率被目标用户所点击，通过上述预测方法能够有效提高点击率。
具体来讲，在获取M组创意数据时，可以根据N个用户相关数据，从预设创意库中选取M个创意；然后再获取M个创意中每个创意对应的一组创意数据，得到M组创意数据；当然，也可以从预设创意库中随机选取M个创意。
具体地，在根据N个用户相关数据，从预设创意库中选取M个创意时，可以根据N个用户相关数据中的部分或全部数据，从预设创意库中选取M个创意；例如可以根据用户历史点击记录，从预设创意库中选取M个创意，也可以根据用户的基本属性中的学历和兴趣偏好，从预设创意库中选取M个创意。
例如，目标用户的用户历史点击记录显示目标用户历史点击次数最高的依次为鞋子、香水和背包，则根据用户历史点击记录，从预设创意库中选取与鞋子、香水和背包相关的多个创意作为M个创意。
具体地，在获取到N个用户相关数据之后，对N个用户相关数据进行嵌入层处理，得到目标用户的用户特征向量，使用FM模型对用户特征向量进行处理，得到用户特征组合；以及在获取到M组创意数据之后，针对M组创意数据中的每组创意数据，对该组创建数据进行嵌入层处理，得到该组创意数据的创意特征向量，使用FM模型对该组创意数据的创意特征向量进行处理，得到该组创意数据对应的创意特征组合。
在对N个用户相关数据进行嵌入层处理过程中，可以对N个用户相关数据进行嵌入层处理，得到用户特征向量；以及在得到用户特征向量之后，使用FM模型对用户特征向量进行处理，得到用户特征组合。
相应地，在针对M组创意数据中的每组创意数据，对该组创建数据进行嵌入层处理过程中，可以对该组特创意数据进行嵌入层处理，得到该组创意数据的创意特征向量；然后在使用FM模型对该组创意数据的创意特征向量进行处理，得到该组创意数据对应的创意特征组合。如此，针对每组创意数据进行上述操作，得到每组创意数据对应创意特征组合，进而得到M组创意特征组合。
本说明书实施例中的嵌入层处理(embedding)是将多个特征映射到一个为K维向量的特征中，其中，K为不小于2的整数。例如，N个用户相关数据具有1000个特征，而嵌入层处理对应的特征维数为100维，则将1000个特征采用嵌入层处理方式嵌入到一个100维的向量中，嵌入得到的向量为用户特征向量具有100维向量；相应地，若一组创意数据具有500个特征，同样采用嵌入层处理方式嵌入到一个100维的向量中，嵌入得到的向量为该组创意数据的创意特征向量也具有100维向量。如此，使得用户特征向量和每个创意特征向量包含的向量维数均相同。
例如，M组创意数据依次为a1、a2和a3，N个用户相关数据为b1，则将a1、a2和a3进行嵌入层处理，得到3个创意特征向量依次为a11、a21和a31；相应地，将b1进行嵌入层处理，得到用户特征向量为b11，其中，b11、a11、a21和a31包含的向量维度均相同，例如包含50维向量，100维向量和200维向量等。
在获取到用户特征组合和M个创意特征组合之后，执行步骤S106,对M个创意特征组合和用户特征组合进行点积处理，得到点积特征组合。
具体来讲，可以获取M个创意特征组合的创意特征组合之和；再将M个创意特征组合中的每两个创意特征组合相乘，得到每两个创意特征组合的乘积向量，并获取所有乘积向量之和作为乘积向量和；最后根据创意特征组合之和与乘积向量和，得到点积特征组合。
具体地，可以将创意特征组合之和与乘积向量和相加，得到点积特征组合。
在得到点积特征组合之后，执行步骤S108。
在步骤S108中，获取用户特征向量和M个创意特征向量，此时，在获取用户特征向量和M个创意特征向量时，由于步骤S104中获取有用户特征向量和M个创意特征向量，因此，可以直接从缓存中读取用户特征向量和M个创意特征向量。
以及，在获取到用户特征向量和M个创意特征向量之后，还需获取用户特征权重和M个创意对应的M个创意权重；然后获取用户特性向量及用户特征权重的乘积作为用户特征向量乘积；获取M个创意特征向量中每个创意特征向量及对应的创意权重的乘积；根据用户特征向量乘积、每个创意特征向量及对应的创意权重的乘积和点积特征组合输入到深度神经网络(Deep Neural Networks，简称DNN)模型中，从M个创意中确定与目标用户匹配的目标创意。
具体来讲，在根据用户特征向量乘积、每个创意特征向量及对应的创意权重的乘积和点积特征组合输入到DNN模型中之后，DNN模型会预测出目标用户与M个创意中每个创意的预测概率，选取预测概率最大的创意作为目标创意。例如，M个创意为3个创意，通过DNN模型预测出目标用户与3个创意的预测概率依次为0.85,0.1和0.05，则将预测概率为0.85的创意作为目标创意。
例如，以用户特征向量为b11，M个创意特征向量为a11、a21和a31为例，若用户特征权重为w0,M个创意特征向量对应的3个创意权重依次为w1，w2和w3，此时，获取用户特征向量乘积为w0×b11，以及每个创意特征向量及对应创意权重的乘积依次为w1×a11，w2×a21和w3×a31；然后将w0×b11，w1×a11，w2×a21，w3×a31和点积特征组合作为深度神经网络(Deep Neural Networks，简称DNN)模型的输入，DNN模型进行数据处理，预测出目标用户与M个创意中每个创意的预测概率，将预测概率最大的创意作为目标创意。
如此，在实际应用过程中，在目标用户打开一应用时，即相当于在线发起一次请求，此时，目标用户是明确的，促使目标用户的用户特征数据是固定的。此时，服务器为目标用户推荐一个创意时，会从预设创意库挑选M个创意，挑选的创意不同，促使创意特征部分也不同，使得多个创意具有M个创意特征部分。
现有技术中使用M个创意对目标用户进行预测时，传统的DeepFM可以进行批预测计算，M组创意数据会走M个有向无环图(Directed Acyclic Graph，简称DAG)链路，内部会做一些并行加速，对于数据不相关的部分可以在多线程下同时计算，但事实上，这些的结果比循环预测每一条数据来讲只快了不到5％的时间。而本说明书实施例采用的技术方案，在使用M个创意对目标用户进行预测时，仅只需要一份用户特征向量和M份创意特征向量输入DNN模型即可，能够促使M组创意数据可以同时并行计算，不用相互依赖，最后做点积处理即可；针对目标用户的用户部分，在确定用户特征向量之后，只需根据用户特征向量计算出DNN模型的输入向量和FM模型的处理结果，然后将输入向量、处理结果和M个创意的点积特征组合进行后续计算。
由于本说明书实施例采用的技术方案中目标用户的特征部分仅需计算一次，而且M组创意数据可以同时并行计算，与现有技术相比，假如DNN的三层网络宽度为L1、L2、L3，那么减少了M×L2×(L1+L3)的计算量，进而有效降低了计算量，使用DeepFM模型能够有效确保预测的准确性，如此，本说明书实施例采用的技术方案能够在确保预测准确性的基础上提高了预测效率。
本说明书实施例还提供了一种改进后的DeepFM的模型，具体如图2所示。改进后的DeepFM的模型的输入部分包括用户共享数据10、创意20、创意21和创意22，其中，用户共享数据10为目标用户的N个用户相关数据；用户共享数据10映射到embedding中，得到用户特征向量11；然后对用户特征向量11进行FM处理，得到用户特征组合111。相应地，将创意20、创意21和创意22的3组创意数据映射到embedding中，得到创意20的创意特征向量201，创意21的创意特征向量211，以及创意22的创意特征向量221，然后分别对创意特征向量201、创意特征向量211和创意特征向量221进行FM处理，依次得到创意特征组合202、创意特征组合212和创意特征组合222。
其中，用户特征向量11、创意特征向量201、创意特征向量211和创意特征向量221依次用x0，x1，x2和x3表示，以及用户特征组合111、创意特征组合202、创意特征组合212和创意特征组合222依次用x01，x11，x21和x31表示，则针对x01，x11，x21和x31进行点积处理，得到点积特征组合23用x4表示，且x4＝x01+x11+x21+x31+x11×x21+x11×x31+x21×x31。
以及，若用户特征向量11对应的用户特征权重用w0表示，以及创意特征向量201、创意特征向量211和创意特征向量221各自对应的创意权重依次用w1，w2和w3表示，则将x0×w0，x1×w1，x2×w2，x3×w3，以及x4作为DNN模型第一层的输出，并将x0×w0，x1×w1，x2×w2，x3×w3以及x4作为DNN模型第二层的输入，然后通过DNN模型处理，得到3个输出结果分别为预测概率30，预测概率31和预测概率32。
其中，x0×w0，x1×w1，x2×w2，x3×w3在图2中依次用24，25,26和27表示，预测概率30表征预测目标用户与创意20对应的预测概率，预测概率31表征预测目标用户与创意21对应的预测概率，预测概率32表征预测目标用户与创意22对应的预测概率。然后从预测概率30，预测概率31和预测概率32中选取概率最大对应的创意作为目标创意，若预测概率31最大，则确定目标创意为创意21，由此可以确定目标用户点击创意21的概率最大，如此，将创意21推送给目标用户，提高用户的点击率。
如此，在获取目标用户的用户特征组合和用户特征向量之后，直接将用户特征组合与M个创意对应的M个创意特征组合进行点积处理；以及在获取用户特征向量之后，将用户特征向量,M个创意特征向量和点积特征组合输入到深度神经网络模型中，从M个创意中确定与目标用户匹配的目标创意；使得目标用户的特征部分仅需计算一次，而现有技术中将目标用户与M个创意进行预测时，目标用户的特征部分需要计算M次，使得上述技术方案能够降低目标用户的特征部分的计算次数，而且目标用户的特征部分的数量大且计算量多，进而能够有效提高预测效率；而且上述技术方案采用的DeepFM模型进行预测，根据DeepFM模型本身具备的优势，能够有效确定预测的准确性。
本说明书实施例中，FM模型和DNN模型(即DeepFM模型)通常是在离线状态下训练得到的，当然，也可以是在在线状态下训练得到。在离线训练DeepFM模型时，训练数据与线上的输入数据模式有所不同，线上是按照一次请求计算，然而一次请求的每个创意至多只有一个创意被标记结果，即使用点击或没有点击；线下离线数据是对打标数据的回收和采样，并不能模拟线上的情况。此时，本说明书实施例中的改造DAG可以完全适应这种情况，将DeepFM模型的动态图的创意输入设置为1，此时的DAG链路和原始链路能够保持一致，从而确保DeepFM模型的训练不会造成损失，能够有效确保DeepFM模型的预测准确性更高的优势。
这意味着每次需要预测的数据块会有一部分重复，即用户相关特征。这部分特征是数量大、计算量多，有足够的优化空间来解决加速问题。输入时，只需要一份用户特征和N份创意特征输入模型即可，如图2的最右侧所示。N条创意的数据计算链路比较独立，在DAG内部可以同时并行计算，不用相互依赖，最后做叠加即可。
第二方面，基于相同的技术构思，本说明书实施例提供一种基于深度学习网络的预测装置，参见图3，包括：
用户数据获取单元301，用于获取目标用户的N个用户相关数据，其中，N为不小于7的整数；
FM模型处理单元302，用于使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于7的整数；对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；
DNN模型处理单元303，用于将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。
在一种可选的实施方式中，FM模型处理单元302，用于获取所述M个创意特征组合的创意特征组合之和；将所述M个创意特征组合中的每两个创意特征组合相乘，得到每两个创意特征组合的乘积向量，并获取所有乘积向量之和作为乘积向量和；根据所述创意特征组合之和与所述乘积向量，得到所述点积特征组合。
在一种可选的实施方式中，FM模型处理单元302，用于针对所述M组创意数据中的每组创意数据，对该组创建数据进行嵌入层处理，得到该组创意数据的创意特征向量，使用所述因子分解机模型对该组创意数据的创意特征向量进行处理，得到该组创意数据对应的创意特征组合；对所述N个用户相关数据进行嵌入层处理，得到所述目标用户的用户特征向量，使用所述因子分解机模型对所述用户特征向量进行处理，得到所述用户特征组合。
在一种可选的实施方式中，DNN模型处理单元303，用于获取所述用户特性向量及用户特征权重的乘积作为用户特征向量乘积；获取所述M个创意特征向量中每个创意特征向量及对应的创意权重的乘积；根据所述用户特征向量乘积、每个创意特征向量及对应的创意权重的乘积和所述点积特征组合输入到深度神经网络模型中，得到所述预测结果。
在一种可选的实施方式中，预设装置还包括：
创意数据获取单元，用于根据所述N个用户相关数据，从预设创意库中选取所述M个创意；获取所述M个创意中每个创意对应的一组创意数据，得到所述M组创意数据。
第三方面，基于与前述实施例中基于深度学习网络的预测方法同样的发明构思，本说明书实施例还提供一种电子设备，如图4所示，包括存储器404、处理器402及存储在存储器404上并可在处理器402上运行的计算机程序，所述处理器402执行所述程序时实现前文所述基于深度学习网络的预测方法的任一方法的步骤。
其中，在图4中，总线架构(用总线400来代表)，总线400可以包括任意数量的互联的总线和桥，总线400将包括由处理器402代表的一个或多个处理器和存储器404代表的存储器的各种电路链接在一起。总线400还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口405在总线400和接收器401和发送器403之间提供接口。接收器401和发送器403可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器402负责管理总线400和通常的处理，而存储器404可以被用于存储处理器402在执行操作时所使用的数据。
第四方面，基于与前述实施例中基于深度学习网络的预测方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述基于深度学习网络的预测方法的任一方法的步骤。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。
显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (12)

1.一种基于深度学习网络的预测方法，包括：
获取目标用户的N个用户相关数据，其中，N为不小于2的整数；
使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于2的整数；
对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；
将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。
2.如权利要求1所述的方法，所述对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合，包括：
获取所述M个创意特征组合的创意特征组合之和；
将所述M个创意特征组合中的每两个创意特征组合相乘，得到每两个创意特征组合的乘积向量，并获取所有乘积向量之和作为乘积向量和；
根据所述创意特征组合之和与所述乘积向量，得到所述点积特征组合。
3.如权利要求2所述的方法，所述使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，包括：
针对所述M组创意数据中的每组创意数据，对该组创建数据进行嵌入层处理，得到该组创意数据的创意特征向量，使用所述因子分解机模型对该组创意数据的创意特征向量进行处理，得到该组创意数据对应的创意特征组合；
对所述N个用户相关数据进行嵌入层处理，得到所述目标用户的用户特征向量，使用所述因子分解机模型对所述用户特征向量进行处理，得到所述用户特征组合。
4.如权利要求3所述的方法，所述将所述用户特征组合、所述M个创意特征组合和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定出一个创意作为所述目标用户的预测结果，包括：
获取所述用户特性向量及用户特征权重的乘积作为用户特征向量乘积；
获取所述M个创意特征向量中每个创意特征向量及对应的创意权重的乘积；
根据所述用户特征向量乘积、每个创意特征向量及对应的创意权重的乘积和所述点积特征组合输入到深度神经网络模型中，得到所述预测结果。
5.如权利要求4所述的方法，M个创意对应的M组创意数据的获取方法，包括：
根据所述N个用户相关数据，从预设创意库中选取所述M个创意；
获取所述M个创意中每个创意对应的一组创意数据，得到所述M组创意数据。
6.一种基于深度学习网络的预测装置，包括：
用户数据获取单元，用于获取目标用户的N个用户相关数据，其中，N为不小于7的整数；
FM模型处理单元，用于使用因子分解机模型对所述N个用户相关数据和M个创意对应的M组创意数据进行处理，得到所述目标用户的用户特征组合，以及M个创意特征组合，其中,M为不小于7的整数；对所述用户特征组合和所述M个创意特征组合进行点积处理，得到点积特征组合；
DNN模型处理单元，用于将所述N个用户相关数据对应的用户特征向量,所述M组创意数据对应的M个创意特征向量和所述点积特征组合输入到深度神经网络模型中，从所述M个创意中确定与所述目标用户匹配的目标创意。
7.如权利要求6所述的装置，所述FM模型处理单元，用于获取所述M个创意特征组合的创意特征组合之和；将所述M个创意特征组合中的每两个创意特征组合相乘，得到每两个创意特征组合的乘积向量，并获取所有乘积向量之和作为乘积向量和；根据所述创意特征组合之和与所述乘积向量，得到所述点积特征组合。
8.如权利要求7所述的装置，所述FM模型处理单元，用于针对所述M组创意数据中的每组创意数据，对该组创建数据进行嵌入层处理，得到该组创意数据的创意特征向量，使用所述因子分解机模型对该组创意数据的创意特征向量进行处理，得到该组创意数据对应的创意特征组合；对所述N个用户相关数据进行嵌入层处理，得到所述目标用户的用户特征向量，使用所述因子分解机模型对所述用户特征向量进行处理，得到所述用户特征组合。
9.如权利要求8所述的装置，所述DNN模型处理单元，用于获取所述用户特性向量及用户特征权重的乘积作为用户特征向量乘积；获取所述M个创意特征向量中每个创意特征向量及对应的创意权重的乘积；根据所述用户特征向量乘积、每个创意特征向量及对应的创意权重的乘积和所述点积特征组合输入到深度神经网络模型中，得到所述预测结果。
10.如权利要求9所述的装置，还包括：
创意数据获取单元，用于根据所述N个用户相关数据，从预设创意库中选取所述M个创意；获取所述M个创意中每个创意对应的一组创意数据，得到所述M组创意数据。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
CN202010270195.7A 2020-04-08 2020-04-08 基于深度学习网络的预测方法、装置、电子设备及介质 Active CN111489196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010270195.7A CN111489196B (zh) 2020-04-08 2020-04-08 基于深度学习网络的预测方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010270195.7A CN111489196B (zh) 2020-04-08 2020-04-08 基于深度学习网络的预测方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN111489196A true CN111489196A (zh) 2020-08-04
CN111489196B CN111489196B (zh) 2022-08-12

Family

ID=71812606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010270195.7A Active CN111489196B (zh) 2020-04-08 2020-04-08 基于深度学习网络的预测方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111489196B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837332A (zh) * 2021-01-13 2021-05-25 杭州水母智能科技有限公司 创意设计的生成方法、装置、终端、存储介质及处理器
CN112883285A (zh) * 2021-04-28 2021-06-01 北京搜狐新媒体信息技术有限公司 一种信息推荐方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212710A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN109784959A (zh) * 2017-11-10 2019-05-21 广州腾讯科技有限公司 一种目标用户预测方法、装置、后台服务器及存储介质
CN109902222A (zh) * 2018-11-30 2019-06-18 华为技术有限公司 一种推荐方法及装置
CN110162700A (zh) * 2019-04-23 2019-08-23 腾讯科技（深圳）有限公司 信息推荐及模型的训练方法、装置、设备以及存储介质
CN110175857A (zh) * 2019-03-25 2019-08-27 阿里巴巴集团控股有限公司 优选业务确定方法及装置
CN110263243A (zh) * 2019-01-23 2019-09-20 腾讯科技（深圳）有限公司 媒体信息推荐方法、装置、存储介质和计算机设备
CN110413877A (zh) * 2019-07-02 2019-11-05 阿里巴巴集团控股有限公司 一种资源推荐方法、装置及电子设备
CN110428298A (zh) * 2019-07-15 2019-11-08 阿里巴巴集团控股有限公司 一种店铺推荐方法、装置及设备
CN110728541A (zh) * 2019-10-11 2020-01-24 广州市丰申网络科技有限公司 信息流媒体广告创意推荐方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212710A1 (en) * 2017-05-19 2018-11-22 National University Of Singapore Predictive analysis methods and systems
CN109784959A (zh) * 2017-11-10 2019-05-21 广州腾讯科技有限公司 一种目标用户预测方法、装置、后台服务器及存储介质
CN109902222A (zh) * 2018-11-30 2019-06-18 华为技术有限公司 一种推荐方法及装置
CN110263243A (zh) * 2019-01-23 2019-09-20 腾讯科技（深圳）有限公司 媒体信息推荐方法、装置、存储介质和计算机设备
CN110175857A (zh) * 2019-03-25 2019-08-27 阿里巴巴集团控股有限公司 优选业务确定方法及装置
CN110162700A (zh) * 2019-04-23 2019-08-23 腾讯科技（深圳）有限公司 信息推荐及模型的训练方法、装置、设备以及存储介质
CN110413877A (zh) * 2019-07-02 2019-11-05 阿里巴巴集团控股有限公司 一种资源推荐方法、装置及电子设备
CN110428298A (zh) * 2019-07-15 2019-11-08 阿里巴巴集团控股有限公司 一种店铺推荐方法、装置及设备
CN110728541A (zh) * 2019-10-11 2020-01-24 广州市丰申网络科技有限公司 信息流媒体广告创意推荐方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837332A (zh) * 2021-01-13 2021-05-25 杭州水母智能科技有限公司 创意设计的生成方法、装置、终端、存储介质及处理器
CN112837332B (zh) * 2021-01-13 2024-01-19 杭州水母智能科技有限公司 创意设计的生成方法、装置、终端、存储介质
CN112883285A (zh) * 2021-04-28 2021-06-01 北京搜狐新媒体信息技术有限公司 一种信息推荐方法及装置

Also Published As

Publication number Publication date
CN111489196B (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN109902708B (zh) 一种推荐模型训练方法及相关装置
US20220198289A1 (en) Recommendation model training method, selection probability prediction method, and apparatus
CN110276446B (zh) 模型训练和选择推荐信息的方法和装置
US20220245141A1 (en) Interactive search experience using machine learning
US20230153857A1 (en) Recommendation model training method, recommendation method, apparatus, and computer-readable medium
CN109344314B (zh) 一种数据处理方法、装置及服务器
CN109063104B (zh) 推荐信息的刷新方法、装置、存储介质和终端设备
EP4242955A1 (en) User profile-based object recommendation method and device
CN110851699A (zh) 基于深度强化学习的信息流推荐方法、装置、设备及介质
CN108345419B (zh) 一种信息推荐列表的生成方法及装置
CN109117442B (zh) 一种应用推荐方法及装置
CN111489196B (zh) 基于深度学习网络的预测方法、装置、电子设备及介质
CN109189922B (zh) 评论评估模型的训练方法和装置
CN113343091A (zh) 面向产业和企业的科技服务推荐计算方法、介质及程序
CN111340522B (zh) 资源推荐方法、装置、服务器及存储介质
CN111680213B (zh) 信息推荐方法、数据处理方法及装置
CN110516164B (zh) 一种信息推荐方法、装置、设备及存储介质
CN117217284A (zh) 一种数据处理方法及其装置
CN112055038B (zh) 生成点击率预估模型的方法及预测点击概率的方法
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
CN108876422B (zh) 用于信息推广的方法、装置、电子设备及计算机可读介质
CN117057855A (zh) 一种数据处理方法及相关装置
CN116862580A (zh) 短信触达时间预测方法、装置、计算机设备及存储介质
CN111291868A (zh) 网络模型训练方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant