CN114428811B - 一种数据处理方法、装置、计算机设备以及可读存储介质 - Google Patents

一种数据处理方法、装置、计算机设备以及可读存储介质 Download PDF

Info

Publication number
CN114428811B
CN114428811B CN202210352996.7A CN202210352996A CN114428811B CN 114428811 B CN114428811 B CN 114428811B CN 202210352996 A CN202210352996 A CN 202210352996A CN 114428811 B CN114428811 B CN 114428811B
Authority
CN
China
Prior art keywords
conversion
task
sample
layer
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210352996.7A
Other languages
English (en)
Other versions
CN114428811A (zh
Inventor
朱灵子
孙妮
张箫栎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210352996.7A priority Critical patent/CN114428811B/zh
Publication of CN114428811A publication Critical patent/CN114428811A/zh
Application granted granted Critical
Publication of CN114428811B publication Critical patent/CN114428811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种数据处理方法、装置、计算机设备以及可读存储介质,该方法可以应用于云技术、人工智能、智慧交通、多媒体等各种场景,方法包括:获取目标网络模型和与目标业务数据相关联的目标对象;通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个任务指标分别对应的权重共享特征,根据模式共享特征和至少两个权重共享特征,输出第一输出结果;将输入数据分别输入第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定第二多任务子模型所输出的第二输出结果;对第一输出结果和第二输出结果进行集成,得到任务指标预估值。采用本申请,可以提高预测任务指标预估值的准确度。

Description

一种数据处理方法、装置、计算机设备以及可读存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种数据处理方法、装置、计算机设备以及可读存储介质。
背景技术
现有的业务数据推荐***基于业务数据(例如,业务数据Y)的业务类型预测业务数据Y对应的预估值(例如,预估点击率),进而基于业务数据Y对应的预估点击率来实现业务数据的投放。其中,业务数据推荐***需要首先确定业务数据Y的业务类型(例如,体育),获取业务类型为体育的其他业务数据,进而统计与其他业务数据相关联的历史点击率,将历史点击率作为业务数据Y对应的预估点击率。然而,相同业务类型的业务数据不可避免地会存在许多差异,进而导致使用业务类型所预测的预估点击率并不准确,降低了预测预估值的准确度。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备以及可读存储介质,可以提高提高预测任务指标预估值的准确度。
本申请实施例一方面提供了一种数据处理方法,包括:
获取目标网络模型和与目标业务数据相关联的目标对象,根据目标对象和目标业务数据确定输入数据;目标网络模型包括第一多任务子模型和第二多任务子模型;第一多任务子模型和第二多任务子模型均是基于至少两个任务指标所生成的;
通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个任务指标分别对应的权重共享特征,根据模式共享特征和至少两个权重共享特征,输出与至少两个任务指标相关联的第一输出结果;
将输入数据分别输入第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定第二多任务子模型所输出的与至少两个任务指标相关联的第二输出结果;
在目标网络模型中,对第一输出结果和第二输出结果进行集成,得到目标对象针对目标业务数据的任务指标预估值。
本申请实施例一方面提供了一种数据处理装置,包括:
数据获取模块,用于获取目标网络模型和与目标业务数据相关联的目标对象,根据目标对象和目标业务数据确定输入数据;目标网络模型包括第一多任务子模型和第二多任务子模型;第一多任务子模型和第二多任务子模型均是基于至少两个任务指标所生成的;
第一输出模块,用于通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个任务指标分别对应的权重共享特征,根据模式共享特征和至少两个权重共享特征,输出与至少两个任务指标相关联的第一输出结果;
第二输出模块,用于将输入数据分别输入第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定第二多任务子模型所输出的与至少两个任务指标相关联的第二输出结果;
结果集成模块,用于在目标网络模型中,对第一输出结果和第二输出结果进行集成,得到目标对象针对目标业务数据的任务指标预估值。
其中,第一输出模块包括:
第一嵌入单元,用于将输入数据输入至第一多任务子模型;第一多任务子模型包括第一特征输入层、至少两个专家网络层和至少两个任务指标分别指示的权重学习层;
第一嵌入单元,用于通过第一特征输入层对输入数据进行特征嵌入融合,得到第一特征输入层所输出的目标对象针对目标业务数据的第一共享属性特征;
特征学习单元,用于将第一共享属性特征分别输入至至少两个专家网络层,通过至少两个专家网络层分别对第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征;
权重学习单元,用于将第一共享属性特征分别输入至至少两个权重学习层,通过至少两个权重学习层分别对第一共享属性特征进行权重学习,得到每个权重学习层分别输出的权重共享特征;
结果输出单元,用于根据至少两个模式共享特征和至少两个权重共享特征,生成与至少两个任务指标相关联的第一输出结果。
其中,至少两个任务指标包括触发任务指标和转化任务指标;至少两个权重学习层包括触发任务指标所指示的触发权重学习层和转化任务指标所指示的转化权重学习层;至少两个权重共享特征包括触发权重共享特征和转化权重共享特征;
权重学习单元包括:
第一学习子单元,用于将第一共享属性特征输入至触发权重学习层,通过触发权重学习层对第一共享属性特征进行权重学习,得到触发权重学习层输出的触发权重共享特征;
第二学习子单元,用于将第一共享属性特征输入至转化权重学习层,通过转化权重学习层对第一共享属性特征进行权重学习,得到转化权重学习层输出的转化权重共享特征。
其中,触发权重共享特征包括与每个专家网络层分别对应的触发权重共享参数;转化权重共享特征包括与每个专家网络层分别对应的转化权重共享参数;第一多任务子模型还包括第一触发全连接层和第一转化全连接层;第一输出结果包括第一触发概率预估值和第一转化概率预估值;
结果输出单元包括:
第一输出子单元,用于根据与每个专家网络层分别对应的触发权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始触发特征;
第一输出子单元,用于将初始触发特征输入至第一触发全连接层,通过第一触发全连接层对初始触发特征进行全连接处理,得到第一全连接触发特征,根据第一全连接触发特征,确定与触发任务指标相关联的第一触发概率预估值;
第二输出子单元,用于根据与每个专家网络层分别对应的转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始转化特征,将初始转化特征输入至第一转化全连接层,通过第一转化全连接层对初始转化特征进行全连接处理,得到第一全连接转化特征,根据第一全连接转化特征,确定与转化任务指标相关联的第一转化概率预估值。
其中,转化权重学习层包括浅层转化权重学习层和深层转化权重学习层;转化权重共享特征包括浅层转化权重共享特征和深层转化权重共享特征;
第二学习子单元,具体用于将第一共享属性特征输入至浅层转化权重学习层,通过浅层转化权重学习层对第一共享属性特征进行权重学习,得到浅层转化权重学习层输出的浅层转化权重共享特征;
第二学习子单元,具体用于将第一共享属性特征输入至深层转化权重学习层,通过深层转化权重学习层对第一共享属性特征进行权重学习,得到深层转化权重学习层输出的深层转化权重共享特征。
其中,浅层转化权重共享特征包括与每个专家网络层分别对应的浅层转化权重共享参数;深层转化权重共享特征包括与每个专家网络层分别对应的深层转化权重共享参数;初始转化特征包括初始浅层转化特征和初始深层转化特征;第一转化全连接层包括第一浅层转化全连接层和深层转化全连接层;第一全连接转化特征包括第一全连接浅层转化特征和全连接深层转化特征;第一转化概率预估值包括第一浅层转化概率预估值和第一深层转化概率预估值;转化任务指标包括浅层转化任务指标和深层转化任务指标;
第二输出子单元,具体用于根据与每个专家网络层分别对应的浅层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始浅层转化特征;
第二输出子单元,具体用于将初始浅层转化特征输入至第一浅层转化全连接层,通过第一浅层转化全连接层对初始浅层转化特征进行全连接处理,得到第一全连接浅层转化特征,根据第一全连接浅层转化特征,确定与浅层转化任务指标相关联的第一浅层转化概率预估值;
第二输出子单元,具体用于根据与每个专家网络层分别对应的深层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始深层转化特征;
第二输出子单元,具体用于将初始深层转化特征输入至深层转化全连接层,通过深层转化全连接层对初始深层转化特征进行全连接处理,得到全连接深层转化特征,根据全连接深层转化特征,确定与深层转化任务指标相关联的第一深层转化概率预估值。
其中,至少两个任务指标包括触发任务指标和转化任务指标;至少两个任务子网络包括触发任务指标对应的第一触发任务子网络和转化任务指标对应的转化任务子网络;第二输出结果包括第二触发概率预估值和第二转化概率预估值;第二触发概率预估值为第一触发任务子网络所输出的任务结果;第二转化概率预估值为转化任务子网络所输出的任务结果;
第二输出模块包括:
第二嵌入单元,用于将输入数据分别输入至第一触发任务子网络和转化任务子网络;第一触发任务子网络包括第二特征输入层和第二触发全连接层,转化任务子网络包括第三特征输入层和第二转化全连接层;
第二嵌入单元,用于通过第二特征输入层和第三特征输入层分别对输入数据进行特征嵌入融合,得到第二特征输入层所输出的目标对象针对目标业务数据的第二共享属性特征,以及第三特征输入层所输出的目标对象针对目标业务数据的第三共享属性特征;
第一处理单元,用于将第二共享属性特征输入至第二触发全连接层,通过第二触发全连接层对第二共享属性特征进行全连接处理,得到第二全连接触发特征,根据第二全连接触发特征,确定与触发任务指标相关联的第二触发概率预估值;
第二处理单元,用于将第三共享属性特征输入至第二转化全连接层,通过第二转化全连接层对第三共享属性特征进行全连接处理,得到第二全连接转化特征,根据第二全连接转化特征,确定与转化任务指标相关联的第二转化概率预估值。
其中,第二多任务子模型的数量为至少两个,至少两个第二多任务子模型包括第二多任务子模型Si和第二多任务子模型Sj;i和j均为小于或等于第二多任务子模型的数量的正整数;至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标;至少两个任务子网络包括第二多任务子模型Si中的第二触发任务子网络和第一浅层转化任务子网络,以及第二多任务子模型Sj中的第二浅层转化任务子网络和深层转化任务子网络;第二触发任务子网络与触发任务指标相关联,第一浅层转化任务子网络和第二浅层转化任务子网络与浅层转化任务指标相关联,深层转化任务子网络与深层转化任务指标相关联;第二输出结果包括第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;第三触发概率预估值为第二触发任务子网络所输出的任务结果;第二浅层转化概率预估值为第一浅层转化任务子网络所输出的任务结果;第三浅层转化概率预估值为第二浅层转化任务子网络所输出的任务结果;第二深层转化概率预估值为深层转化任务子网络所输出的任务结果;
第二输入模块包括:
第三嵌入单元,用于将输入数据分别输入至第二触发任务子网络、第一浅层转化任务子网络、第二浅层转化任务子网络和深层转化任务子网络;第二触发任务子网络包括第四特征输入层,第一浅层转化任务子网络包括第五特征输入层;第二浅层转化任务子网络包括第六特征输入层,深层转化任务子网络包括第七特征输入层;
第三嵌入单元,用于通过第四特征输入层、第五特征输入层、第六特征输入层和第七特征输入层分别对输入数据进行特征嵌入融合,得到第四特征输入层所输出的目标对象针对目标业务数据的第四共享属性特征,第五特征输入层所输出的目标对象针对目标业务数据的第五共享属性特征,第六特征输入层所输出的目标对象针对目标业务数据的第六共享属性特征,以及第七特征输入层所输出的目标对象针对目标业务数据的第七共享属性特征;
第一获取单元,用于在第二触发任务子网络中,基于第四共享属性特征获取与触发任务指标相关联的第三触发概率预估值,在第一浅层转化任务子网络中,基于第五共享属性特征获取与浅层转化任务指标相关联的第二浅层转化概率预估值;
第二获取单元,用于在第二浅层转化任务子网络中,基于第六共享属性特征获取与浅层转化任务相关联的第三浅层转化概率预估值,在深层转化任务子网络中,基于第七共享属性特征获取与深层转化任务指标相关联的第二深层转化概率预估值。
其中,第二触发任务子网络还包括第三触发全连接层,第一浅层转化任务子网络还包括第二浅层转化全连接层;
第一获取单元,具体用于将第四共享属性特征输入至第三触发全连接层,通过第三触发全连接层对第四共享属性特征进行全连接处理,得到第三全连接触发特征,根据第三全连接触发特征,确定与触发任务指标相关联的第三触发概率预估值;
第一获取单元,具体用于将第五共享属性特征输入至第二浅层转化全连接层,通过第二浅层转化全连接层对第五共享属性特征进行全连接处理,得到第二全连接浅层转化特征,根据第二全连接浅层转化特征,确定与浅层转化任务指标相关联的第二浅层转化概率预估值。
其中,第一输出结果包括第一触发概率预估值和第一转化概率预估值;第二输出结果包括第二触发概率预估值和第二转化概率预估值;任务指标预估值包括触发任务指标预估值和转化任务指标预估值;
结果集成模块,具体用于在目标网络模型中,对第一触发概率预估值和第二触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值;
结果集成模块,具体用于对第一转化概率预估值和第二转化概率预估值进行平均处理,得到目标对象针对目标业务数据的转化任务指标预估值。
其中,第一输出结果包括第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值;第二输出结果包括第二触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;任务指标预估值包括触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值;
结果集成模块,具体用于在目标网络模型中,对第一触发概率预估值和第二触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值;
结果集成模块,具体用于对第一浅层转化概率预估值、第二浅层转化概率预估值和第三浅层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的浅层转化任务指标预估值;
结果集成模块,具体用于对第一深层转化概率预估值和第二深层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的深层转化任务指标预估值。
其中,目标网络模型还包括预估值集成子模型;第一多任务子模型的数量为至少两个,至少两个第一多任务子模型用于输出至少两个第一输出结果;第二多任务子模型的数量为至少两个,至少两个第二多任务子模型用于输出至少两个第二输出结果;
结果集成模块,具体用于在目标网络模型中,对至少两个第一输出结果进行平均处理,得到至少两个第一多任务子模型对应的第一平均输出结果;
结果集成模块,具体用于对至少两个第二输出结果进行平均处理,得到至少两个第二多任务子模型对应的第二平均输出结果;
结果集成模块,具体用于对第一平均输出结果和第二平均输出结果进行拼接处理,得到拼接输出特征;
结果集成模块,具体用于将拼接输出特征输入至预估值集成子模型,通过预估值集成子模型对拼接输出特征中的第一平均输出结果和第二平均输出结果进行集成学习,得到目标对象针对目标业务数据的任务指标预估值。
本申请实施例一方面提供了一种数据处理方法,包括:
获取初始网络模型和与样本对象相关联的样本业务数据,根据样本对象和样本业务数据确定样本输入数据;初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;第一初始多任务子模型和第二初始多任务子模型均是基于至少两个任务指标所生成的;
通过第一初始多任务子模型对样本输入数据进行特征提取,得到样本模式共享特征和至少两个任务指标分别对应的样本权重共享特征,根据样本模式共享特征和至少两个样本权重共享特征,输出与至少两个任务指标相关联的第一样本输出结果;
将样本输入数据分别输入第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定第二初始多任务子模型所输出的与至少两个任务指标相关联的第二样本输出结果;
在初始网络模型中,对第一样本输出结果和第二样本输出结果进行集成,得到样本对象针对样本业务数据的样本任务指标预估值,基于第一样本输出结果、第二样本输出结果、样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型;目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
本申请实施例一方面提供了一种数据处理装置,包括:
样本数据获取模块,用于获取初始网络模型和与样本对象相关联的样本业务数据,根据样本对象和样本业务数据确定样本输入数据;初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;第一初始多任务子模型和第二初始多任务子模型均是基于至少两个任务指标所生成的;
第一样本输出模块,用于通过第一初始多任务子模型对样本输入数据进行特征提取,得到样本模式共享特征和至少两个任务指标分别对应的样本权重共享特征,根据样本模式共享特征和至少两个样本权重共享特征,输出与至少两个任务指标相关联的第一样本输出结果;
第二样本输出模块,用于将样本输入数据分别输入第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定第二初始多任务子模型所输出的与至少两个任务指标相关联的第二样本输出结果;
样本结果集成模块,用于在初始网络模型中,对第一样本输出结果和第二样本输出结果进行集成,得到样本对象针对样本业务数据的样本任务指标预估值,基于第一样本输出结果、第二样本输出结果、样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型;目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
其中,样本结果集成模块,具体用于在初始网络模型中,对第一样本输出结果和第二样本输出结果进行平均处理,得到样本对象针对样本业务数据的样本任务指标预估值;
样本结果集成模块,具体用于基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,确定初始网络模型的第一模型损失值;
样本结果集成模块,具体用于基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值;
样本结果集成模块,具体用于基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值;
样本结果集成模块,具体用于根据第一模型损失值、第二模型损失值和第三模型损失值,确定初始网络模型的总损失值,根据总损失值对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。
其中,初始网络模型还包括初始预估值集成子模型;
样本结果集成模块,具体用于基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值,根据第二模型损失值对第一初始多任务子模型进行参数调整,将参数调整后的第一初始多任务子模型作为第一多任务子模型;
样本结果集成模块,具体用于基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值,根据第三模型损失值对第二初始多任务子模型进行参数调整,将参数调整后的第二初始多任务子模型作为第二多任务子模型;
样本结果集成模块,具体用于对第一样本输出结果和第二样本输出结果进行拼接处理,得到拼接样本输出特征;
样本结果集成模块,具体用于将拼接样本输出特征输入至初始预估值集成子模型,通过初始预估值集成子模型对拼接样本输出特征中的第一样本输出结果和第二样本输出结果进行集成学习,得到样本对象针对样本业务数据的样本任务指标预估值;
样本结果集成模块,具体用于基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始预估值集成子模型进行参数调整,将参数调整后的初始预估值集成子模型作为预估值集成子模型;
样本结果集成模块,具体用于将参数调整后的初始网络模型作为目标网络模型;目标网络模型包括预估值集成子模型、第一多任务子模型和第二多任务子模型。
本申请实施例一方面提供了一种计算机设备,包括:处理器和存储器;
处理器与存储器相连,其中,存储器用于存储计算机程序,计算机程序被处理器执行时,使得该计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的计算机设备执行本申请实施例提供的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例提供的方法。
在本申请实施例中,可以对目标业务数据所对应的应用场景进行拆分,得到至少两个任务指标,并基于至少两个任务指标分别进行第一多任务子模型和第二多任务子模型的多任务建模,并采用模型集成的方法提高多任务建模的准确性和鲁棒性。因此,本申请实施例所提出的基于第一多任务子模型和第二多任务子模型进行多任务模型集成的方法(即目标网络模型),可以使得第一多任务子模型和第二多任务子模型之间的优势互补,从而可以提高预测任务指标预估值的准确度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种进行数据交互的场景示意图;
图3是本申请实施例提供的一种数据处理方法的流程示意图一;
图4是本申请实施例提供的一种进行模型集成的流程示意图;
图5是本申请实施例提供的一种数据处理方法的流程示意图二;
图6是本申请实施例提供的一种第一多任务子模型的结构示意图;
图7是本申请实施例提供的一种数据处理方法的流程示意图三;
图8是本申请实施例提供的一种数据处理方法的流程示意图四;
图9是本申请实施例提供的一种第二多任务子模型的结构示意图;
图10是本申请实施例提供的一种数据处理方法的流程示意图五;
图11是本申请实施例提供的一种数据处理方法的流程示意图六;
图12是本申请实施例提供的一种数据处理装置的结构示意图一;
图13是本申请实施例提供的一种数据处理装置的结构示意图二;
图14是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,人工智能(Artificial Intelligence,简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
其中,本申请实施例所提供的方案主要涉及人工智能的机器学习(MachineLearning,简称ML)技术。机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
具体的,请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括业务服务器2000和终端设备集群。其中,终端设备集群具体可以包括一个或者多个终端设备,这里将不对终端设备集群中的终端设备的数量进行限定。如图1所示,多个终端设备具体可以包括终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n;终端设备3000a、终端设备3000b、终端设备3000c、…、终端设备3000n可以分别与业务服务器2000通过有线或无线通信方式进行直接或间接地网络连接,以便于每个终端设备可以通过该网络连接与业务服务器2000之间进行数据交互。
其中,终端设备集群中的每个终端设备均可以包括:智能电视、智能手机、平板电脑、笔记本电脑、台式计算机、智能家居、可穿戴设备、车载终端等具有数据处理功能的智能终端。应当理解,如图1所示的终端设备集群中的每个终端设备均可以安装有应用客户端,当该应用客户端运行于各终端设备中时,可以分别与上述图1所示的业务服务器2000之间进行数据交互。其中,应用客户端可以为独立的客户端,也可以为集成在某客户端中的嵌入式子客户端,本申请对此不做限定。
其中,应用客户端具体可以包括浏览器、车载客户端、智能家居客户端、娱乐客户端、多媒体客户端(例如,视频客户端)、社交客户端以及资讯类客户端(例如,新闻客户端)等具有数据处理功能的客户端。其中,车载终端可以为智慧交通场景下的智能终端,该车载终端上的应用客户端可以为上述车载客户端。
为便于理解,本申请实施例可以在图1所示的多个终端设备中选择一个终端设备作为目标终端设备。例如,本申请实施例可以将图1所示的终端设备3000b作为目标终端设备,该目标终端设备中可以安装有具备数据处理功能的应用客户端。此时,该目标终端设备可以通过该应用客户端与业务服务器2000之间进行数据交互。
应当理解,目标终端设备中的应用客户端可以用于集成公众号,用于集成公众号的应用客户端可以称之为宿主应用。其中,这里的宿主应用可以用于表示为集成模块提供运行环境的应用主体,比如,以运行在目标终端设备中的宿主应用为社交客户端为例,当社交客户端中集成了公众号的模块时,该社交客户端可以具备打开并展示公众号的能力。
其中,业务服务器2000可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
可以理解的是,本申请实施例中的业务服务器2000可以为目标终端设备中的应用客户端、或应用客户端中的公众号推送业务数据,换言之,本申请实施例可以将业务数据推送至应用客户端对应的用户、或公众号对应的用户。其中,应用客户端对应的用户和公众号对应的用户可以为同一个用户(即目标终端设备对应的用户)。
为便于理解,本申请实施例可以将目标终端设备对应的用户称之为目标对象,本申请实施例可以将业务服务器2000推荐给目标对象的业务数据称之为目标业务数据,本申请实施例可以将广告主(即为推销商品或者提供服务,自行或者委托他人设计、制作、发布广告的法人、其他经济组织或者个人)发送至业务服务器2000的业务数据统称为待推荐业务数据。其中,本申请实施例中的业务数据可以为广告数据(即广告),这里的广告数据可以为视频数据、音频数据、图文数据、客户端数据等,例如,这里的广告数据可以为游戏广告。
可以理解的是,业务服务器2000在接收到广告主上传的待推荐业务数据之后,可以从待推荐业务数据中获取准备进行推荐的目标业务数据,进而获取与目标业务数据相关联的对象集合,从对象集合中获取用于推荐目标业务数据的对象(例如,目标对象),进而将该目标业务数据下发至目标对象对应的公众号。因此,公众号在接收到业务服务器2000下发的目标业务数据之后,可以在公众号中显示目标业务数据。
可选的,目标对象可以通过目标终端设备中的应用客户端向业务服务器2000发送业务数据获取请求。这样,业务服务器2000在接收到业务数据获取请求之后,可以获取与目标对象相关联的业务数据集合,从业务数据集合中获取用于推荐给目标对象的目标业务数据,进而将该目标业务数据下发至目标对象对应的应用客户端。因此,应用客户端在接收到业务服务器2000下发的目标业务数据之后,可以在应用客户端中显示目标业务数据。
其中,广告曝光可以表示目标对象在目标终端设备中观察到曝光的产品(即目标业务数据),目标对象针对目标业务数据执行的触发操作可以为三类。第一类是广告点击,广告点击可以表示目标对象对目标业务数据的触发行为;第二类是广告浅层转化,广告浅层转化可以表示目标对象点击之后对目标业务数据的浅层转化行为,这里的浅层转化行为可以为下载、激活、注册等行为;第三类是广告深层转化,广告深层转化可以表示目标对象点击之后对目标业务数据的深层转化行为,这里的深层转化行为可以为付费、次日留存等行为。
其中,浅层转化行为建立在触发行为的基础上,即先有触发行为再有浅层转化行为;深层转化行为建立在浅层转化行为的基础上,即先有浅层转化行为再有深层转化行为。
应当理解,本申请实施例可以通过不同的指标衡量上述三类触发操作对应的行为。通过CTR(Click Through Rate,点击通过率,简称点击率)可以表示从广告曝光到广告点击的比例,即广告的点击量除以展示量;通过CVR(Conversion Rate,转化率)可以表示从广告点击到广告转化的比例,即广告的转化量除以点击量。其中,CVR可以划分为CVR1(即浅层转化率)和CVR2(即深层转化率),通过CVR1可以表示从广告点击到广告浅层转化的比例,即广告的浅层转化量除以点击量,通过CVR2可以表示从广告点击到广告深层转化的比例,即广告的深层转化量除以点击量。
应当理解,本申请实施例中的第一多任务子模型和第二多任务子模型均为多任务学习所对应的多任务模型,多任务学习(Multi-task Learning)是基于共享表示(sharedrepresentation),把多个相关的任务放在一起学习的机器学习方法。多任务学习也是一种推导迁移学习方法,主任务(main tasks)是使用相关任务(related tasks)的训练信号所拥有的领域相关信息,作为一直推导偏差来提升主任务泛化效果的一种机器学习方法。多任务学习涉及多个相关的任务同时并行学习,梯度同时反向传播,多个任务通过底层的共享表示来互相帮助学习,以提升泛化效果。多任务学习的本质是一种归纳迁移机制,利用额外的信息来源来提高当前任务的学习性能,包括提高泛化准确率、学习速率和已学习模型的可理解性。多任务模型通过学习不同任务的联系和差异,可提高每个任务的学习效率和质量。
为便于理解,进一步地,请参见图2,图2是本申请实施例提供的一种进行数据交互的场景示意图。如图2所示的服务器20a可以为上述图1所对应实施例中的业务服务器2000,如图2所示的终端设备20b可以为上述图1所对应实施例中的目标终端设备。其中,终端设备20b上安装有应用客户端,应用客户端中集成有公众号,该终端设备20b可以通过应用客户端或公众号展示与终端设备20b对应的对象20c相关联的目标业务数据。
其中,可以理解的是,图1所示的网络框架可以适用于广告推荐领域,该广告推荐领域的业务场景具体可以包括:内容分发场景、内容搜索场景、内容阅览场景、广告分发场景等,这里将不对具体的业务场景进行一一列举。应当理解,本申请不对目标业务数据的展示形式进行限定。可以理解的是,对象20c可以在终端设备20b中阅览服务器20a所推送的自己可能感兴趣的目标业务数据。
比如,在内容搜索场景下,在对象20c针对应用客户端执行搜索操作时,应用客户端可以向服务器20a发送业务数据获取请求,以使服务器20a在返回搜索内容的同时,返回与搜索内容相关联的目标业务数据,这样,应用客户端可以同时显示搜索内容和目标业务数据。又比如,在内容分发场景下,在对象20c针对应用客户端执行打开操作时,应用客户端可以向服务器20a发送业务数据获取请求,以使服务器20a在返回分发内容的同时,返回与分发内容相关联的目标业务数据,这样,应用客户端可以同时显示分发内容和目标业务数据。又比如,在内容阅览场景下,在对象20c针对应用客户端执行信息流阅览操作时,应用客户端可以向服务器20a发送业务数据获取请求,以使服务器20a在返回信息流内容的同时,返回与信息流内容相关联的目标业务数据,这样,应用客户端可以同时显示信息流内容和目标业务数据。又比如,在广告分发场景下,在服务器20a需要分发目标业务数据时,可以确定是否需要将目标业务数据分发至对象20c,若需要将目标业务数据分发至对象20c,则将目标业务数据分发至对象20c,这样,公众号可以显示目标业务数据。
为便于理解,本申请实施例以广告推荐是由广告分发场景所引起的为例进行说明,内容内发场景、内容搜索场景和内容阅览场景等的具体过程,可以参见对广告分发场景的描述,这里将不再进行赘述。
如图2所示,在服务器20a需要分发目标业务数据时,可以从业务数据库21a中获取与目标业务数据相关联的对象集合(例如,对象集合21b)。其中,业务数据库21a可以用于存储所有的对象,服务器20a可以通过召回模型可以从海量的对象中把与目标业务数据相关度高的对象尽可以找出来,即对所有的业务数据进行初筛,得到对象集合21b。可选的,服务器20a还可以将业务数据21a中的所有的对象作为与目标业务数据相关联的对象集合21b。
其中,可以理解的是,召回模型主要可以划分为第一类召回模型和第二类召回模型。第一类召回模型使用基于关键词的硬匹配,比如,业务数据定向中的性别(男、女),即将目标业务数据根据业务数据定向划分为男或女,召回模型可以获取与目标业务数据的业务数据定向相匹配的对象,例如,在目标业务数据的业务数据定向为男时,获取性别为男的对象作为对象集合21b;又比如,搜索文本中的搜索词(例如,猫咪),例如,在目标业务数据与猫咪相关联时,召回模型可以获取搜索过猫咪的对象作为对象集合21b。第二类召回模型使用基于向量的软匹配,即构造对象的对象向量和目标业务数据的目标业务向量,进而利用余弦相似度或欧氏距离等方式确定对象向量和目标业务向量之间的向量相似度,获取具有较高向量相似度的对象向量所对应的对象作为对象集合21b。
其中,对象集合21b中可以包括多个对象,多个对象具体可以包括对象23a、对象23b、…、对象23m、对象20c。如图2所示,服务器20a在获取到对象集合21b之后,可以依次从对象集合21b中获取对象,这里以获取到的对象为对象20c为例进行说明。服务器20a可以根据对象20c和目标业务数据确定输入数据,进而将输入数据输入至目标网络模型21c。其中,目标网络模型21c中可以包括第一多任务子模型和第二多任务子模型,第一多任务子模型和第二多任务子模型均为基于至少两个任务指标所生成的多任务模型。
如图2所示,服务器20a可以将输入数据输入至第一多任务子模型,通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个权重共享特征。其中,至少两个权重共享特征与至少两个任务指标相关联,一个权重共享特征对应一个任务指标。其中,权重共享特征可以用于对模式共享特征进行特征加权处理,特征加权处理可以表示对模式共享特征进行集成。进一步地,服务器20a可以根据模式共享特征和至少两个权重共享特征,确定第一多任务子模型所输出的与至少两个任务指标相关联的第一输出结果。
如图2所示,服务器20a可以将输入数据输入至第二多任务子模型中的至少两个任务子网络,通过至少两个任务子网络输出每个任务子网络的任务结果。其中,至少两个任务子网络与至少两个任务指标相关联,一个任务指标可以对应一个或多个任务子网络;每个任务子网络的任务结果与至少两个任务指标相关联,一个任务指标可以对应一个或多个任务结果。进一步地,服务器20a可以根据每个任务子网络的任务结果,确定第二多任务子模型所输出的与至少两个任务指标相关联的第二输出结果。
如图2所示,服务器20a可以在目标网络模型21c中,对第一输出结果和第二输出结果进行集成,得到对象20c针对目标业务数据的任务指标预估值。可以理解的是,至少两个任务指标用于评估将目标业务数据发送至对象20c的投放价值,换言之,基于至少两个任务所生成的任务指标预估值可以用于评估将目标业务数据发送至对象20c的投放价值。其中,任务指标预估值与至少两个任务指标相关联,对于至少两个任务指标中的子任务,第一多任务子模型对子任务之间的相关性要求小,第二多任务子模型对子任务之间的相关性要求大,因此,本申请实施例可以通过第一多任务子模型和第二多任务子模型的集成,在子任务之间的相关性小和子任务之间的相关性大时,均生成准确度较高的任务指标预估值。
因此,服务器20a在确定对象集合21b中的每个对象分别针对目标业务数据的任务指标预估值之后,可以基于每个对象分别对应的任务指标预估值,对对象集合21b中的对象进行排序处理,从排序处理后的对象中获取推荐对象,进而将目标业务数据推送至推荐对象对应的终端设备。其中,推荐对象具有较高的投放价值,这里不对推荐对象中的对象的数量进行限定,推荐对象中可以包括对象20c,服务器20a可以将目标业务数据推送至对象20c对应的终端设备20b。
由此可见,本申请实施例可以根据对目标业务数据的生命周期进行拆解所得到的至少两个任务指标,生成至少两个任务指标所对应的第一多任务子模型和第二多任务子模型,进而基于第一多任务子模型和第二多任务子模型进行多任务模型集成,得到与至少两个任务指标相关联的任务指标预估值,提高预测任务指标预估值的准确度。目标对象针对目标业务数据的任务指标预估值可以用于预测目标业务数据对应的目标人群包(即推荐对象),进而为目标人群包实现目标业务数据的投放,即从广泛的受众中提炼目标人群,从而可以提高进行业务数据推送的准确度。
可以理解的是,在本申请的具体实施方式中,涉及到搜索操作的内容、信息流阅览操作的内容等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
进一步地,请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图一。该方法可以由服务器执行,也可以由终端设备执行,还可以由服务器和终端设备共同执行,该服务器可以为上述图2所对应实施例中的服务器20a,该终端设备可以为上述图2所对应实施例中的终端设备20b。为便于理解,本申请实施例以该方法由服务器执行为例进行说明。其中,该数据处理方法可以包括以下步骤S101-步骤S104:
步骤S101,获取目标网络模型和与目标业务数据相关联的目标对象,根据目标对象和目标业务数据确定输入数据;
具体的,服务器可以获取目标网络模型。其中,目标网络模型包括第一多任务子模型和第二多任务子模型;第一多任务子模型和第二多任务子模型均是基于至少两个任务指标所生成的。进一步地,服务器可以获取与目标业务数据相关联的目标对象,将目标对象的对象属性、目标业务数据的业务属性和与目标对象相关联的业务数据序列作为目标网络模型的输入数据。
可以理解的是,对象属性可以用于表示目标对象,业务属性可以用于表示业务数据。其中,对象属性可以包括但不限于目标对象的对象标识、基础属性(例如,年龄、性别)和行为属性(即行为兴趣);业务属性可以包括但不限于业务数据的业务标识(即广告标识)、业务数据对象标识(即广告主标识)、业务数据类别(即广告类目,例如,应用客户端广告)、业务数据文本(即语义特征)和业务数据图像(即图像特征)。
可以理解的是,业务数据序列包括业务触发序列和业务转化序列。其中,业务触发序列包括目标对象在目标时间段内具有触发行为的业务数据,业务转化序列包括目标对象在目标时间段内具有转化行为的业务数据。其中,转化行为可以包括浅层转化行为和深层转化行为,目标时间段可以为任意时间段,例如,一个月。可选的,业务转化序列可以包括浅层业务转化序列和深层业务转化序列,浅层业务转化序列可以包括目标对象具有浅层转化行为的业务数据,深层业务转化序列可以包括目标对象具有深层转化行为的业务数据。
可以理解的是,在本申请的具体实施方式中,涉及到对象属性、业务数据序列等相关的数据,当本申请以上实施例运用到具体产品或技术中时,需要获得用户许可或者同意,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
可以理解的是,至少两个任务指标可以包括触发任务指标和转化任务指标,触发任务指标可以对应于广告点击,转化任务指标可以对应于广告浅层转化和广告深层转化。可选的,至少两个任务指标可以包括触发任务指标、浅层转化任务指标和深层转化任务指标,触发任务指标可以对应于广告点击,浅层转化任务指标可以对应于广告浅层转化,深层转化任务指标可以对应于广告深层转化。
步骤S102,通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个任务指标分别对应的权重共享特征,根据模式共享特征和至少两个权重共享特征,输出与至少两个任务指标相关联的第一输出结果;
具体的,服务器可以将输入数据输入至第一多任务子模型。其中,第一多任务子模型包括第一特征输入层、至少两个专家网络层和至少两个任务指标分别指示的权重学习层。进一步地,服务器可以通过第一特征输入层对输入数据进行特征嵌入融合,得到第一特征输入层所输出的目标对象针对目标业务数据的第一共享属性特征。进一步地,服务器可以将第一共享属性特征分别输入至至少两个专家网络层,通过至少两个专家网络层分别对第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征。其中,专家网络层可以为全连接层。进一步地,服务器可以将第一共享属性特征分别输入至至少两个权重学习层,通过至少两个权重学习层分别对第一共享属性特征进行权重学习,得到每个权重学习层分别输出的权重共享特征。进一步地,服务器可以根据至少两个模式共享特征和至少两个权重共享特征,生成与至少两个任务指标相关联的第一输出结果。
其中,第一特征输入层可以包括特征嵌入层和特征融合层。可以理解的是,服务器可以通过特征嵌入层对对象属性、业务属性和业务数据序列中的业务数据进行特征嵌入,得到对象属性对应的对象特征(即用户侧特征)、业务属性对应的业务特征(即广告侧特征、物品特征)和业务数据序列中的业务数据对应的序列特征。进一步地,服务器可以将对象特征、业务特征和序列特征输入至特征融合层,通过特征融合层对对象特征、业务特征和序列特征进行特征融合,得到目标对象针对目标业务数据的第一共享属性特征。
其中,特征嵌入层可以把大规模稀疏的输入数据映射到低维的表示向量。第一共享属性特征是至少两个任务指标所共享的,共享的目的主要是解决正样本稀疏的问题,生成更准确的特征表达。
其中,服务器可以获取与对象标识相关联的对象标识查询表,在对象标识查询表中查找对象标识对应的对象标识特征。进一步地,服务器可以获取与基础属性相关联的基础属性查询表,在基础属性查询表中查找基础属性对应的基础属性特征。进一步地,服务器可以获取与行为属性相关联的行为属性查询表,在行为属性查询表中查找行为属性对应的行为属性特征。进一步地,服务器可以对对象标识特征、基础属性特征和行为属性特征进行特征融合,得到对象属性对应的对象特征。其中,对象标识查询表、基础属性查询表和行为属性查询表是在训练得到目标网络模型的过程中所生成的。
其中,服务器可以获取与业务标识相关联的业务标识查询表,在业务标识查询表中查找业务标识对应的业务标识特征。进一步地,服务器可以获取与业务数据对象标识相关联的业务数据对象标识查询表,在业务数据对象标识查询表中查找业务数据对象标识对应的业务数据对象标识特征。进一步地,服务器可以获取与业务数据类别相关联的业务数据类别查询表,在业务数据类别查询表中查找业务数据类别对应的业务数据类别特征。进一步地,服务器可以获取与业务数据文本相关联的业务数据文本查询表,在业务数据文本查询表中查找业务数据文本对应的业务数据文本特征。进一步地,服务器可以获取与业务数据图像相关联的业务数据图像查询表,在业务数据图像查询表中查找业务数据图像对应的业务数据图像特征。进一步地,服务器可以对业务标识特征、业务数据对象标识特征、业务数据类别特征、业务数据文本特征和业务数据图像特征进行特征融合,得到业务属性对应的业务特征。其中,业务标识查询表、业务数据对象标识查询表、业务数据类别查询表、业务数据文本查询表和业务数据图像查询表是在训练得到目标网络模型的过程中所生成的。
其中,服务器可以对业务触发序列中的业务数据和业务转化序列中的业务数据进行特征嵌入,得到业务触发序列中的业务数据对应的触发业务特征和业务转化序列中的业务数据对应的转化业务特征。进一步地,服务器可以对触发业务特征和转化业务特征进行特征融合,得到业务数据序列中的业务数据对应的序列特征。
可以理解的是,服务器对对象特征、业务特征和序列特征进行特征融合的方式可以为特征拼接的方式,也可以为加权平均的方式。应当理解,本申请实施例不对对象特征、业务特征和序列特征的维度进行限定,本申请实施例不对特征融合的具体方式进行限定。
应当理解,专家网络层可以为全连接层,专家网络层可以对第一共享属性特征进行全连接处理,本申请实施例不对第二多任务子模型中的专家网络层的数量进行限定。可选的,专家网络层还可以为其他任意模型,本申请对此不进行限定。
可以理解的是,至少两个专家网络层(即Experts)模仿了集成学习中的思想,即同等规模下单个网络无法有效学习到所有任务指标之间通用的表达,但通过划分得到多个专家网络层后,每个专家网络层总能学到某个任务指标中一些相关独特的表达。换言之,多个专家网络层学习不同的知识,不同专家网络层对不同的任务指标区分侧重,有的专家网络层学习共性的特征,有的专家网络层学习独立的特征。
可以理解的是,第一多任务子模型针对不同任务指标均设置一个权重学***衡共享的表达来对任务之间的关系进行更明确地建模。
一方面,权重学习层是轻量级的,而且专家网络层是所有任务指标共用,所以在计算量和参数量上具有优势;另一方面,每个任务指标的权重学习层通过最终输出权重不同实现对专家网络层的选择性利用。不同任务指标的权重学习层可以学习到不同的组合专家网络层的模式,因此,第一多任务子模型考虑到了捕捉到任务指标的相关性和区别。
可以理解的是,在至少两个任务指标包括触发任务指标和转化任务指标时,服务器可以通过第一多任务子模型生成与触发任务指标相关联的第一触发概率预估值和与转化任务指标相关联的第一转化概率预估值。可选的,在至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标时,服务器可以通过第一多任务子模型生成与触发任务指标相关联的第一触发概率预估值、与浅层转化任务指标相关联的第一浅层转化概率预估值和与深层转化任务指标相关联的第一深层转化概率预估值。
应当理解,本申请实施例中的第一多任务子模型可以为MMOE(Multi-gateMixture-of-Experts)模型,本申请实施例不对第一多任务子模型的模型类型进行限定。MMOE模型刻画了任务相关性,基于共享表示来学习特定任务的函数,避免了明显增加参数的缺点。
步骤S103,将输入数据分别输入第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定第二多任务子模型所输出的与至少两个任务指标相关联的第二输出结果;
同理,服务器可以将输入数据分别输入至第二多任务子模型中的至少两个任务子网络,通过第二多任务子模型中的至少两个任务子网络分别对输入数据进行特征嵌入融合,根据特征嵌入融合所得到的特征,生成每个任务子网络分别输出的任务结果,进而根据每个任务子网络分别输出的任务结果,生成与至少两个任务指标相关联的第二输出结果。
可以理解的是,在至少两个任务指标包括触发任务指标和转化任务指标时,服务器可以通过第二多任务子模型生成与触发任务指标相关联的第二触发概率预估值和与转化任务指标相关联的第二转化概率预估值。可选的,在至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标时,服务器可以通过第二多任务子模型生成与触发任务指标相关联的第三触发概率预估值、与浅层转化任务指标相关联的第二浅层转化概率预估值、与浅层转化任务指标相关联的第三浅层转化概率预估值和与深层转化任务指标相关联的第二深层转化概率预估值。
应当理解,本申请实施例中的第二多任务子模型可以为ESMM(Entire SpaceMulti-task Model)模型,本申请实施例不对第二多任务子模型的模型类型进行限定。应当理解,第二多任务子模型中的至少两个任务子网络可以为任意的学习模型,因此,第二多任务子模型可以非常容易地和其他学习模型集成,从而吸收其他学习模型的优势,进一步提升学习效果。
应当理解,ESMM模型可以同时解决样本选择偏差(sample selection bias,简称SSB)问题和数据稀疏(data sparsity,简称DS)问题。其中,样本选择偏差问题表示使用具有点击行为的数据进行模型训练,使用不具有点击行为的数据进行模型预测,即训练空间和预测空间不一致,因此,训练样本集相当于是从一个与真实分布不一致的分布中采样得到的,这一定程度上违背了机器学习中独立同分布的假设,样本选择偏差问题会伤害学到的模型的泛化性能。其中,数据稀疏问题表示有点击行为的样本空间相对于整个样本空间来说是很小的,高度稀疏的训练数据使得模型的学习变得相当困难。
步骤S104,在目标网络模型中,对第一输出结果和第二输出结果进行集成,得到目标对象针对目标业务数据的任务指标预估值。
可以理解的是,在至少两个任务指标包括触发任务指标和转化任务指标时,服务器可以在目标网络模型中,对第一触发概率预估值和第二触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值。进一步地,服务器可以对第一转化概率预估值和第二转化概率预估值进行平均处理,得到目标对象针对目标业务数据的转化任务指标预估值。其中,任务指标预估值包括触发任务指标预估值和转化任务指标预估值;换言之,触发任务指标预估值和转化任务指标预估值可以统称为任务指标预估值。
可选的,在至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标时,服务器可以在目标网络模型中,对第一触发概率预估值和第三触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值。进一步地,服务器可以对第一浅层转化概率预估值、第二浅层转化概率预估值和第三浅层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的浅层转化任务指标预估值。进一步地,服务器可以对第一深层转化概率预估值和第二深层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的深层转化任务指标预估值。其中,任务指标预估值包括触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值;换言之,触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值可以统称为任务指标预估值。
可选的,目标网络模型还包括预估值集成子模型。第一多任务子模型的数量为至少两个,至少两个第一多任务子模型用于输出至少两个第一输出结果;第二多任务子模型的数量为至少两个,至少两个第二多任务子模型用于输出至少两个第二输出结果。这样,服务器可以在目标网络模型中,对至少两个第一输出结果进行平均处理,得到至少两个第一多任务子模型对应的第一平均输出结果。进一步地,服务器可以对至少两个第二输出结果进行平均处理,得到至少两个第二多任务子模型对应的第二平均输出结果。进一步地,服务器可以对第一平均输出结果和第二平均输出结果进行拼接处理,得到拼接输出特征。进一步地,服务器可以将拼接输出特征输入至预估值集成子模型,通过预估值集成子模型对拼接输出特征中的第一平均输出结果和第二平均输出结果进行集成学习,得到目标对象针对目标业务数据的任务指标预估值。
其中,在至少两个任务指标包括触发任务指标和转化任务指标时,服务器可以在目标网络模型中,对至少两个第一触发概率预估值进行平均处理,得到至少两个第一多任务子模型对应的第一平均触发输出结果。进一步地,服务器可以对至少两个第二触发概率预估值进行平均处理,得到至少两个第二多任务子模型对应的第二平均触发输出结果。进一步地,服务器可以对第一平均触发输出结果和第二平均触发输出结果进行拼接处理,得到拼接触发输出特征。进一步地,服务器可以将拼接触发输出特征输入至预估值集成子模型,通过预估值集成子模型对拼接触发输出特征中的第一平均触发输出结果和第二平均触发输出结果进行集成学习,得到目标对象针对目标业务数据的触发任务指标预估值。应当理解,服务器在至少两个任务指标包括触发任务指标和转化任务指标时,对第一转化概率预估值和第二转化概率预估值进行集成的具体过程,可以参见对第一触发概率预估值和第二触发概率预估值进行集成的描述,这里将不再进行赘述。
可选的,在至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标时,服务器对第一触发概率预估值和第三触发概率预估值进行集成的具体过程,对第一浅层转化概率预估值、第二浅层转化概率预估值和第三浅层转化概率预估值进行集成的具体过程,以及对第一深层转化概率预估值和第二深层转化概率预估值进行集成的具体过程,可以参见在至少两个任务指标包括触发任务指标和转化任务指标时,对第一触发概率预估值和第三触发概率预估值进行集成的描述,这里将不再进行赘述。
其中,服务器可以对第一多任务子模型所输出的第一输出结果和第二多任务子模型所输出的第二输出结果进行集成,集成第一多任务子模型和第二多任务子模型的优势,提高多任务建模的准确性和鲁棒性,从而提高预测任务指标预估值的准确度。
应当理解,因为两个任务指标所对应的第一多任务子模型和三个任务指标所对应的第一多任务子模型是不同的,所以两个任务指标中的触发任务指标所对应的第一触发概率预估值和三个任务指标中的触发任务指标所对应的第一触发概率预估值是不同的。应当理解,两个任务指标中的触发任务指标所对应的触发任务指标预估值和三个任务指标中的触发任务指标所对应的触发任务指标预估值是不同的。换言之,本申请实施例还可以将三个任务指标中的触发任务指标所对应的第一触发概率预估值称之为第四触发概率预估值。
为便于理解,请参见图4,图4是本申请实施例提供的一种进行模型集成的流程示意图。如图4所示,服务器可以获取第一多任务子模型的第一输出结果和第二多任务子模型的第二输出结果,进而对第一多任务子模型和第二多任务子模型进行模型集成,即对第一多任务子模型的第一输出结果和第二多任务子模型的第二输出结果进行集成。
其中,对第一多任务子模型和第二多任务子模型进行模型集成使用了集成学习的思想,集成学习是一种机器学习范式,集成学习可以训练多个模型解决相同的问题,并将它们结合起来以获得更好的结果。单个学习器要么容易欠拟合要么容易过拟合,为了获得泛化性能优良的学习器,可以训练多个个体学习器,通过一定的结合策略,最终形成一个强学习器。这种集成多个个体学习器的方法称为集成学习(ensemble learning)。集成学习是通过在数据上构建多个模型,集成所有模型的建模结果。集成算法会考虑多个评估器的建模结果,汇总之后得到一个综合的结果,以此来获得比单个模型更好的回归或分类表现。
如图4所示,服务器在对第一输出结果和第二输出结果进行集成后,可以生成目标对象针对目标业务数据的任务指标预估值,这里以任务指标预估值包括触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值为例进行说明。为便于理解,本申请实施例可以将广告的生命周期拆分为四个阶段,即曝光—>点击—>注册—>付费,即从四个阶段的整体过程进行多任务建模。这样,点击任务即表示与触发任务指标相关联,注册任务即表示与浅层转化任务指标相关联,付费任务即表示与深层转化任务指标相关联。其中,注册任务和付费任务即表示与转化任务指标相关联。
可选的,服务器还可以对图4所示的注册任务和付费任务进行合并,得到合并任务(未在图上示出),进而在对第一输出结果和第二输出结果进行集成后,生成目标对象针对目标业务数据的点击任务以及目标对象针对目标业务数据的合并任务。其中,合并任务即为与转化任务指标相关联。
由此可见,本申请实施例可以对目标业务数据所对应的应用场景进行拆分,得到至少两个任务指标,并基于至少两个任务指标分别进行第一多任务子模型和第二多任务子模型的多任务建模,并采用模型集成的方法提高多任务建模的准确性和鲁棒性。因此,本申请实施例所提出的基于第一多任务子模型和第二多任务子模型进行多任务模型集成的方法(即目标网络模型),是一种基于具体业务场景的算法,综合利用第一多任务子模型适应于至少两个任务指标之间相关性要求小、以及第二多任务子模型适应于至少两个任务指标之间相关性要求大的特性,提高预测任务指标预估值的准确度。
进一步地,请参见图5,图5是本申请实施例提供的一种数据处理方法的流程示意图二。该数据处理方法可以包括以下步骤S1211-步骤S1217,且步骤S1211-步骤S1217为图3所对应实施例中步骤S102的一个具体实施例。
步骤S1211,将输入数据输入至第一多任务子模型;
其中,第一多任务子模型包括第一特征输入层、至少两个专家网络层和至少两个任务指标分别指示的权重学习层。
步骤S1212,通过第一特征输入层对输入数据进行特征嵌入融合,得到第一特征输入层所输出的目标对象针对目标业务数据的第一共享属性特征;
其中,服务器通过第一特征输入层对输入数据进行特征嵌入融合的具体过程,可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再进行赘述。
步骤S1213,将第一共享属性特征分别输入至至少两个专家网络层,通过至少两个专家网络层分别对第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征;
其中,至少两个任务指标包括触发任务指标和转化任务指标;至少两个权重学习层包括触发任务指标所指示的触发权重学习层和转化任务指标所指示的转化权重学习层;至少两个权重共享特征包括触发权重共享特征和转化权重共享特征。
步骤S1214,将第一共享属性特征输入至触发权重学习层,通过触发权重学习层对第一共享属性特征进行权重学习,得到触发权重学习层输出的触发权重共享特征;
步骤S1215,将第一共享属性特征输入至转化权重学习层,通过转化权重学习层对第一共享属性特征进行权重学习,得到转化权重学习层输出的转化权重共享特征;
其中,触发权重学习层和转化权重学习层可以通过线性变化将第一共享属性特征映射到指定维度,进而对映射后的特征进行归一化处理,输出每个专家网络层分别对应的权重。其中,映射后的特征的维度与专家网络层的数量相同。
其中,触发权重学习层和转化权重学习层进行线性变化和归一化处理的具体过程可以参见公式(1):
Figure 733135DEST_PATH_IMAGE001
(1)
其中,x可以表示第一共享属性特征,
Figure 86494DEST_PATH_IMAGE002
可以表示线性变化,
Figure 131810DEST_PATH_IMAGE003
可以表 示归一化处理。其中,
Figure 995861DEST_PATH_IMAGE004
表示触发权重共享特征和转化权重共享特征,
Figure 13496DEST_PATH_IMAGE005
等于任务指 标的数量。
其中,触发权重共享特征包括与每个专家网络层分别对应的触发权重共享参数;转化权重共享特征包括与每个专家网络层分别对应的转化权重共享参数;第一多任务子模型还包括第一触发全连接层和第一转化全连接层;第一输出结果包括第一触发概率预估值和第一转化概率预估值。
步骤S1216,根据与每个专家网络层分别对应的触发权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始触发特征,将初始触发特征输入至第一触发全连接层,通过第一触发全连接层对初始触发特征进行全连接处理,得到第一全连接触发特征,根据第一全连接触发特征,确定与触发任务指标相关联的第一触发概率预估值;
其中,服务器可以将与每个专家网络层分别对应的触发权重共享参数和每个专家网络层分别输出的模式共享特征的乘积,作为每个专家网络层分别对应的触发加权特征,进而对每个专家网络层分别对应的触发加权特征进行累加处理,得到初始触发特征。
其中,第一全连接触发特征是由第一全连接触发特征值和第二全连接触发特征值所构成的,第一全连接触发特征值可以表示目标业务数据具有触发行为的概率,第二全连接触发特征值可以表示目标业务数据不具有触发行为的概率。因此,服务器可以将第一全连接触发特征值作为目标对象针对目标业务数据的第一触发概率预估值。
步骤S1217,根据与每个专家网络层分别对应的转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始转化特征,将初始转化特征输入至第一转化全连接层,通过第一转化全连接层对初始转化特征进行全连接处理,得到第一全连接转化特征,根据第一全连接转化特征,确定与转化任务指标相关联的第一转化概率预估值。
其中,服务器可以将与每个专家网络层分别对应的转化权重共享参数和每个专家网络层分别输出的模式共享特征的乘积,作为每个专家网络层分别对应的转化加权特征,进而对每个专家网络层分别对应的转化加权特征进行累加处理,得到初始转化特征。
其中,第一全连接转化特征是由第一全连接转化特征值和第二全连接转化特征值所构成的,第一全连接转化特征值可以表示目标业务数据具有转化行为的概率,第二全连接转化特征值可以表示目标业务数据不具有转化行为的概率。因此,服务器可以将第一全连接转化特征值作为目标对象针对目标业务数据的第一转化概率预估值。
其中,服务器进行特征加权处理的具体过程可以参见公式(2):
Figure 304800DEST_PATH_IMAGE006
(2)
其中,
Figure 837412DEST_PATH_IMAGE007
表示模式共享特征,
Figure 239575DEST_PATH_IMAGE008
表示触发权重共享特征和转化权重共享 特征,
Figure 377295DEST_PATH_IMAGE009
表示触发权重共享参数和转化权重共享参数。其中,
Figure 839501DEST_PATH_IMAGE010
表示初始触发 特征和初始转化特征,
Figure 859409DEST_PATH_IMAGE011
等于专家网络层的数量。
应当理解,第一触发全连接层和第一转化全连接层可以为多层感知机(Multi-layer Perceptron,简称MLP),多层感知机就是一种深度学习结构,可以对提取的特征进行非线性组合以得到输出。
其中,服务器进行全连接处理的具体过程可以参见公式(3):
Figure 298218DEST_PATH_IMAGE012
(3)
其中,
Figure 290445DEST_PATH_IMAGE013
表示初始触发特征和初始转化特征,
Figure 985869DEST_PATH_IMAGE014
表示全连接处理,
Figure 696336DEST_PATH_IMAGE015
表示 第一全连接触发特征和第一全连接转化特征。
步骤S1211-步骤S1217的具体过程可以参见图6,图6是本申请实施例提供的一种第一多任务子模型的结构示意图。如图6所示的第一共享属性特征可以为通过第一多任务子模型中的第一特征输入层所输出的特征,如图6所示的第一多任务子模型中可以包括至少两个专家网络层,为便于理解,这里以专家网络层的数量为N个为例进行说明,N个专家网络层具体可以包括:专家网络层C1、专家网络层C2、…、专家网络层CN,这里的N可以为正整数。
如图6所示,服务器可以将第一共享属性特征分别输入至专家网络层C1、专家网络层C2、…、专家网络层CN,得到专家网络层C1、专家网络层C2、…、专家网络层CN分别输出的模式共享特征;服务器可以将第一共享属性特征分别输入至触发权重学习层和转化权重学习层,得到触发权重学习层输出的触发权重共享特征和转化权重学习层输出的转化权重共享特征。
如图6所示,服务器可以根据触发权重共享特征中的触发权重共享参数,对专家网络层C1、专家网络层C2、…、专家网络层CN分别输出的模式共享特征进行特征加权处理,得到触发权重共享参数所对应的初始触发特征;服务器可以根据转化权重共享特征中的转化权重共享参数,对专家网络层C1、专家网络层C2、…、专家网络层CN分别输出的模式共享特征进行特征加权处理,得到转化权重共享参数所对应的初始转化特征。进一步地,服务器可以根据第一触发全连接层获取初始触发特征对应的第一全连接触发特征,根据第一全连接触发特征确定第一触发概率预估值;服务器可以根据第一转化全连接层获取初始转化特征对应的第一全连接转化特征,根据第一全连接转化特征确定第一转化概率预估值。其中,第一触发概率预估值和第一转化概率预估值可以统称为第一输出结果。
其中,第一触发概率预估值可以表示第一多任务子模型所输出的目标业务数据具有目标对象所执行的触发行为的概率,第一转化概率预估值可以表示第一多任务子模型所输出的目标业务数据具有目标对象所执行的转化行为的概率。
由此可见,本申请实施例可以在至少两个任务指标为触发任务指标和转化任务指标时,通过第一多任务子模型输出与触发任务指标相关联的触发权重共享特征、与转化任务指标相关联的转化权重共享特征、以及至少两个模式共享特征,进而根据触发权重共享特征和至少两个模式共享特征生成目标对象针对目标业务数据的第一触发概率预估值,根据转化权重共享特征和至少两个模式共享特征生成目标对象针对目标业务数据的第一转化概率预估值,从而提高预测第一触发概率预估值和第一转化概率预估值的准确度。
进一步地,请参见图7,图7是本申请实施例提供的一种数据处理方法的流程示意图三。该数据处理方法可以包括以下步骤S1221-步骤S1229,且步骤S1221-步骤S1229为图3所对应实施例中步骤S102的一个具体实施例。
步骤S1221,将输入数据输入至第一多任务子模型;
其中,第一多任务子模型包括第一特征输入层、至少两个专家网络层和至少两个任务指标分别指示的权重学习层。
步骤S1222,通过第一特征输入层对输入数据进行特征嵌入融合,得到第一特征输入层所输出的目标对象针对目标业务数据的第一共享属性特征;
其中,服务器通过第一特征输入层对输入数据进行特征嵌入融合的具体过程,可以参见上述图3所对应实施例中对步骤S102的描述,这里将不再进行赘述。
步骤S1223,将第一共享属性特征分别输入至至少两个专家网络层,通过至少两个专家网络层分别对第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征;
步骤S1224,将第一共享属性特征输入至触发权重学习层,通过触发权重学习层对第一共享属性特征进行权重学习,得到触发权重学习层输出的触发权重共享特征;
其中,转化权重学习层包括浅层转化权重学习层和深层转化权重学习层;转化权重共享特征包括浅层转化权重共享特征和深层转化权重共享特征。
步骤S1225,将第一共享属性特征输入至浅层转化权重学习层,通过浅层转化权重学习层对第一共享属性特征进行权重学习,得到浅层转化权重学习层输出的浅层转化权重共享特征;
步骤S1226,将第一共享属性特征输入至深层转化权重学习层,通过深层转化权重学习层对第一共享属性特征进行权重学习,得到深层转化权重学习层输出的深层转化权重共享特征;
其中,触发权重学习层、浅层转化权重学习层和深层转化权重学习层可以通过线性变化将第一共享属性特征映射到指定维度,进而对映射后的特征进行归一化处理,输出每个专家网络层分别对应的权重。其中,映射后的特征的维度与专家网络层的数量相同。
步骤S1227,根据与每个专家网络层分别对应的触发权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始触发特征,将初始触发特征输入至第一触发全连接层,通过第一触发全连接层对初始触发特征进行全连接处理,得到第一全连接触发特征,根据第一全连接触发特征,确定与触发任务指标相关联的第一触发概率预估值;
其中,服务器可以将与每个专家网络层分别对应的触发权重共享参数和每个专家网络层分别输出的模式共享特征的乘积,作为每个专家网络层分别对应的触发加权特征,进而对每个专家网络层分别对应的触发加权特征进行累加处理,得到初始触发特征。
其中,第一全连接触发特征是由第一全连接触发特征值和第二全连接触发特征值所构成的,第一全连接触发特征值可以表示目标业务数据具有触发行为的概率,第二全连接触发特征值可以表示目标业务数据不具有触发行为的概率。因此,服务器可以将第一全连接触发特征值作为目标对象针对目标业务数据的第一触发概率预估值。
其中,浅层转化权重共享特征包括与每个专家网络层分别对应的浅层转化权重共享参数;深层转化权重共享特征包括与每个专家网络层分别对应的深层转化权重共享参数;初始转化特征包括初始浅层转化特征和初始深层转化特征;第一转化全连接层包括第一浅层转化全连接层和深层转化全连接层(即第一深层转化全连接层);第一全连接转化特征包括第一全连接浅层转化特征和全连接深层转化特征(即第一全连接深层转化特征);第一转化概率预估值包括第一浅层转化概率预估值和第一深层转化概率预估值;转化任务指标包括浅层转化任务指标和深层转化任务指标。
步骤S1228,根据与每个专家网络层分别对应的浅层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始浅层转化特征,将初始浅层转化特征输入至第一浅层转化全连接层,通过第一浅层转化全连接层对初始浅层转化特征进行全连接处理,得到第一全连接浅层转化特征,根据第一全连接浅层转化特征,确定与浅层转化任务指标相关联的第一浅层转化概率预估值;
其中,服务器可以将与每个专家网络层分别对应的浅层转化权重共享参数和每个专家网络层分别输出的模式共享特征的乘积,作为每个专家网络层分别对应的浅层转化加权特征,进而对每个专家网络层分别对应的浅层转化加权特征进行累加处理,得到初始浅层转化特征。
其中,第一全连接浅层转化特征是由第一全连接浅层转化特征值和第二全连接浅层转化特征值所构成的,第一全连接浅层转化特征值可以表示目标业务数据具有浅层转化行为的概率,第二全连接浅层转化特征值可以表示目标业务数据不具有浅层转化行为的概率。因此,服务器可以将第一全连接浅层转化特征值作为目标对象针对目标业务数据的第一浅层转化概率预估值。
步骤S1229,根据与每个专家网络层分别对应的深层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始深层转化特征,将初始深层转化特征输入至深层转化全连接层(即第一深层转化全连接层),通过深层转化全连接层(即第一深层转化全连接层)对初始深层转化特征进行全连接处理,得到全连接深层转化特征(即第一全连接深层转化特征),根据全连接深层转化特征(即第一全连接深层转化特征),确定与深层转化任务指标相关联的第一深层转化概率预估值。
其中,服务器可以将与每个专家网络层分别对应的深层转化权重共享参数和每个专家网络层分别输出的模式共享特征的乘积,作为每个专家网络层分别对应的深层转化加权特征,进而对每个专家网络层分别对应的深层转化加权特征进行累加处理,得到初始深层转化特征。
其中,第一全连接深层转化特征是由第一全连接深层转化特征值和第二全连接深层转化特征值所构成的,第一全连接深层转化特征值可以表示目标业务数据具有深层转化行为的概率,第二全连接深层转化特征值可以表示目标业务数据不具有深层转化行为的概率。因此,服务器可以将第一全连接深层转化特征值作为目标对象针对目标业务数据的第一深层转化概率预估值。
应当理解,第一触发全连接层、第一浅层转化全连接层和第一深层转化全连接层可以为多层感知机(Multi-layer Perceptron,简称MLP),多层感知机就是一种深度学习结构,可以对提取的特征进行非线性组合以得到输出。
其中,具有输出第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值功能的第一多任务子模型的模型结构可以参见上述图6的模型结构,这里将不再进行赘述。此时,服务器可以将第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值统称为第一输出结果。
其中,第一触发概率预估值可以表示第一多任务子模型所输出的目标业务数据具有目标对象所执行的触发行为的概率,第一浅层转化概率预估值可以表示第一多任务子模型所输出的目标业务数据具有目标对象所执行的浅层转化行为的概率,第一深层转化概率预估值可以表示第一多任务子模型所输出的目标业务数据具有目标对象所执行的深层转化行为的概率。
由此可见,本申请实施例可以在至少两个任务指标为触发任务指标、浅层转化任务指标和深层转化任务指标时,通过第一多任务子模型输出与触发任务指标相关联的触发权重共享特征、与浅层转化任务指标相关联的浅层转化权重共享特征、与深层转化任务指标相关联的深层转化权重共享特征、以及至少两个模式共享特征,进而根据触发权重共享特征和至少两个模式共享特征生成目标对象针对目标业务数据的第一触发概率预估值,根据浅层转化权重共享特征和至少两个模式共享特征生成目标对象针对目标业务数据的第一浅层转化概率预估值,根据深层转化权重共享特征和至少两个模式共享特征生成目标对象针对目标业务数据的第一深层转化概率预估值,从而提高预测第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值的准确度。此外,在任务指标发生改变时,本申请可以对第一多任务子模型适应性的进行调整,使用具有相似模型结构的第一多任务子模型同时兼容至少两个任务指标,生成与不同的任务指标相关联的第一输出结果,从而降低第一多任务子模型的建模复杂性。
应当理解,至少两个任务指标包括触发任务指标和转化任务指标;至少两个任务子网络包括触发任务指标对应的第一触发任务子网络和转化任务指标对应的转化任务子网络;第二输出结果包括第二触发概率预估值和第二转化概率预估值;第二触发概率预估值为第一触发任务子网络所输出的任务结果;第二转化概率预估值为转化任务子网络所输出的任务结果。进一步地,请参见图8,图8是本申请实施例提供的一种数据处理方法的流程示意图四。该数据处理方法可以包括以下步骤S1311-步骤S1314,且步骤S1311-步骤S1314为图3所对应实施例中步骤S103的一个具体实施例。
步骤S1311,将输入数据分别输入至第一触发任务子网络和转化任务子网络;
其中,第一触发任务子网络包括第二特征输入层和第二触发全连接层,转化任务子网络包括第三特征输入层和第二转化全连接层。
步骤S1312,通过第二特征输入层和第三特征输入层分别对输入数据进行特征嵌入融合,得到第二特征输入层所输出的目标对象针对目标业务数据的第二共享属性特征,以及第三特征输入层所输出的目标对象针对目标业务数据的第三共享属性特征;
其中,服务器通过第二特征输入层和第三特征输入层分别对输入数据进行特征嵌入融合的具体过程,可以参见上述图3所对应实施例中通过第一特征输入层对输入数据进行特征嵌入融合的描述,这里将不再进行赘述。
步骤S1313,将第二共享属性特征输入至第二触发全连接层,通过第二触发全连接层对第二共享属性特征进行全连接处理,得到第二全连接触发特征,根据第二全连接触发特征,确定与触发任务指标相关联的第二触发概率预估值;
其中,第二全连接触发特征是由第三全连接触发特征值和第四全连接触发特征值所构成的,第三全连接触发特征值可以表示目标业务数据具有触发行为的概率,第四全连接触发特征值可以表示目标业务数据不具有触发行为的概率。因此,服务器可以将第三全连接触发特征值作为目标对象针对目标业务数据的第二触发概率预估值。
步骤S1314,将第三共享属性特征输入至第二转化全连接层,通过第二转化全连接层对第三共享属性特征进行全连接处理,得到第二全连接转化特征,根据第二全连接转化特征,确定与转化任务指标相关联的第二转化概率预估值。
其中,第二全连接转化特征是由第三全连接转化特征值和第四全连接转化特征值所构成的,第三全连接转化特征值可以表示目标业务数据具有转化行为的概率,第四全连接转化特征值可以表示目标业务数据不具有转化行为的概率。因此,服务器可以将第三全连接转化特征值作为目标对象针对目标业务数据的第二转化概率预估值。
应当理解,第二触发全连接层和第二转化全连接层可以为多层感知机(Multi-layer Perceptron,简称MLP),多层感知机就是一种深度学习结构,可以对提取的特征进行非线性组合以得到输出。
步骤S1311-步骤S1314的具体过程可以参见图9,图9是本申请实施例提供的一种第二多任务子模型的结构示意图。如图9所示,服务器可以将对象属性90a和业务属性90b输入至第二多任务子模型,通过第二多任务子模型中的第二特征输入层确定对象属性90a对应的对象特征91a和业务属性90b对应的业务特征91b,通过第二多任务子模型中的第三特征输入层确定对象属性90a对应的对象特征92a和业务属性90b对应的业务特征92b。进一步地,服务器可以对对象特征91a和业务特征91b进行特征融合,得到第二共享属性特征;服务器可以对对象特征92a和业务特征92b进行特征融合,得到第三共享属性特征。其中,对象特征91a和对象特征92a是相同的,业务特征91b和业务特征92b是相同的,第二共享属性特征和第三共享属性特征是相同的,第二共享属性特征是由触发任务子网络所得到的,第三共享属性特征是由转化任务子网络所得到的。可选的,第二多任务子模型的输入还包括业务数据序列,这里将不在图上进行表示。
其中,可以理解的是,对象属性90a中可以包括但不限于目标对象的对象标识、基础属性和行为属性,服务器可以获取对象标识对应的对象标识特征、基础属性对应的基础属性特征和行为属性对应的行为属性特征,进而对对象标识特征、基础属性特征和行为属性特征进行特征融合,得到对象特征91a。同理,服务器可以得到业务特征91b、对象特征92a、业务特征92b。
如图9所示,服务器可以根据第二触发全连接层获取第二共享属性特征对应的第二全连接触发特征,根据第二全连接触发特征确定第二触发概率预估值;服务器可以根据第二转化全连接层获取初始转化特征对应的第二全连接转化特征,根据第二全连接转化特征确定第二转化概率预估值。其中,第二触发概率预估值和第二转化概率预估值可以统称为第二输出结果。
进一步地,如图9所示,服务器可以将第二触发概率预估值和第二转化概率预估值的乘积作为第二多任务子模型所输出的触发转化概率预估值,触发转化概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的触发行为和转化行为的概率。可选的,服务器可以将触发转化概率预估值作为至少两个任务指标之一,相应的,服务器可以将第一触发概率预估值和第一转化概率预估值的乘积,作为第一多任务子模型所输出的触发转化概率预估值。其中,第二触发概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的触发行为的概率,第二转化概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的转化行为的概率。其中,第二转化概率预估值可以表示触发行为到转化行为的概率,触发转化概率预估值可以表示曝光到触发行为、再到转化行为的概率。
其中,第二多任务子模型引入了两个辅助的学习任务,分别用来拟合pCTR(Predict Click Through Rate,即第二触发概率预估值)和pCTCVR(Predict ClickThrough Conversion Rate,即触发转化概率预估值),从而优化处理转化概率预估值预估中存在的样本选择偏差和数据稀疏等两大问题点。第二多任务子模型由两个任务子网络组成,左边的任务子网络用来拟合pCVR(Predict Conversion Rate,即第二转化概率预估值),右边的任务子网络用来拟合pCTR,同时,两个任务子网络的输出相乘之后可以得到pCTCVR,即可以利用学习pCTR和pCTCVR的辅助任务学习pCVR。因此,该网络结构共有三个子任务,三个子任务可以分别用于输出pCTR、pCVR和pCTCVR。假设用x表示曝光,y表示点击,z表示转化,那么根据公式pCTCVR=pCTR*pCVR,可以得到公式(4):
Figure 440301DEST_PATH_IMAGE016
(4)
其中,
Figure 287034DEST_PATH_IMAGE017
可以表示pCTR,
Figure 887780DEST_PATH_IMAGE018
可以表示pCVR,
Figure 85543DEST_PATH_IMAGE019
可以表示pCTCVR。将乘法转化为除法,可以得到pCVR的计算所对应 的公式(5):
Figure 367620DEST_PATH_IMAGE020
(5)
由此可见,本申请实施例可以在至少两个任务指标为触发任务指标和转化任务指标时,通过第二多任务子模型输出与触发任务指标相关联的第二共享特征和与转化任务指标相关联的第三共享特征,进而根据第二共享特征生成目标对象针对目标业务数据的第二触发概率预估值,根据第三共享特征生成目标对象针对目标业务数据的第二转化概率预估值,从而提高预测第二触发概率预估值和第二转化概率预估值的准确度。
应当理解,第二多任务子模型的数量为至少两个,至少两个第二多任务子模型包括第二多任务子模型Si和第二多任务子模型Sj;这里的i和j均为小于或等于第二多任务子模型的数量的正整数;至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标;至少两个任务子网络包括第二多任务子模型Si中的第二触发任务子网络和第一浅层转化任务子网络,以及第二多任务子模型Sj中的第二浅层转化任务子网络和深层转化任务子网络;第二触发任务子网络与触发任务指标相关联,第一浅层转化任务子网络和第二浅层转化任务子网络与浅层转化任务指标相关联,深层转化任务子网络与深层转化任务指标相关联;第二输出结果包括第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;第三触发概率预估值为第二触发任务子网络所输出的任务结果;第二浅层转化概率预估值为第一浅层转化任务子网络所输出的任务结果;第三浅层转化概率预估值为第二浅层转化任务子网络所输出的任务结果;第二深层转化概率预估值为深层转化任务子网络所输出的任务结果。进一步地,请参见图10,图10是本申请实施例提供的一种数据处理方法的流程示意图五。该数据处理方法可以包括以下步骤S1321-步骤S1324,且步骤S1321-步骤S1324为图3所对应实施例中步骤S103的一个具体实施例。
步骤S1321,将输入数据分别输入至第二触发任务子网络、第一浅层转化任务子网络、第二浅层转化任务子网络和深层转化任务子网络;
其中,第二触发任务子网络包括第四特征输入层,第一浅层转化任务子网络包括第五特征输入层;第二浅层转化任务子网络包括第六特征输入层,深层转化任务子网络包括第七特征输入层。
步骤S1322,通过第四特征输入层、第五特征输入层、第六特征输入层和第七特征输入层分别对输入数据进行特征嵌入融合,得到第四特征输入层所输出的目标对象针对目标业务数据的第四共享属性特征,第五特征输入层所输出的目标对象针对目标业务数据的第五共享属性特征,第六特征输入层所输出的目标对象针对目标业务数据的第六共享属性特征,以及第七特征输入层所输出的目标对象针对目标业务数据的第七共享属性特征;
其中,服务器通过第四特征输入层、第五特征输入层、第六特征输入层和第七特征输入层分别对输入数据进行特征嵌入融合的具体过程,可以参见上述图3所对应实施例中通过第一特征输入层对输入数据进行特征嵌入融合的描述,这里将不再进行赘述。
步骤S1323,在第二触发任务子网络中,基于第四共享属性特征获取与触发任务指标相关联的第三触发概率预估值,在第一浅层转化任务子网络中,基于第五共享属性特征获取与浅层转化任务指标相关联的第二浅层转化概率预估值;
具体的,服务器可以将第四共享属性特征输入至第三触发全连接层,通过第三触发全连接层对第四共享属性特征进行全连接处理,得到第三全连接触发特征,根据第三全连接触发特征,确定与触发任务指标相关联的第三触发概率预估值。其中,第二触发任务子网络还包括第三触发全连接层,第一浅层转化任务子网络还包括第二浅层转化全连接层。进一步地,服务器可以将第五共享属性特征输入至第二浅层转化全连接层,通过第二浅层转化全连接层对第五共享属性特征进行全连接处理,得到第二全连接浅层转化特征,根据第二全连接浅层转化特征,确定与浅层转化任务指标相关联的第二浅层转化概率预估值。
其中,第三全连接触发特征是由第五全连接触发特征值和第六全连接触发特征值所构成的,第五全连接触发特征值可以表示目标业务数据具有触发行为的概率,第六全连接触发特征值可以表示目标业务数据不具有触发行为的概率。因此,服务器可以将第五全连接触发特征值作为目标对象针对目标业务数据的第三触发概率预估值。
其中,第二全连接浅层转化特征是由第三全连接浅层转化特征值和第四全连接浅层转化特征值所构成的,第三全连接浅层转化特征值可以表示目标业务数据具有浅层转化行为的概率,第四全连接浅层转化特征值可以表示目标业务数据不具有浅层转化行为的概率。因此,服务器可以将第三全连接浅层转化特征值作为目标对象针对目标业务数据的第二浅层转化概率预估值。
步骤S1324,在第二浅层转化任务子网络中,基于第六共享属性特征获取与浅层转化任务相关联的第三浅层转化概率预估值,在深层转化任务子网络中,基于第七共享属性特征获取与深层转化任务指标相关联的第二深层转化概率预估值。
具体的,服务器可以将第六共享属性特征输入至第三浅层转化全连接层,通过第三浅层转化全连接层对第六共享属性特征进行全连接处理,得到第三全连接浅层转化特征,根据第三全连接浅层转化特征,确定与浅层转化任务指标相关联的第三浅层转化概率预估值。其中,第二浅层转化任务子网络还包括第三浅层转化全连接层,深层转化任务子网络还包括第二深层转化全连接层。进一步地,服务器可以将第七共享属性特征输入至第二深层转化全连接层,通过第二深层转化全连接层对第七共享属性特征进行全连接处理,得到第二全连接深层转化特征,根据第二全连接深层转化特征,确定与深层转化任务指标相关联的第二深层转化概率预估值。
其中,第三全连接浅层转化特征是由第五全连接浅层转化特征值和第六全连接浅层转化特征值所构成的,第五全连接浅层转化特征值可以表示目标业务数据具有浅层转化行为的概率,第六全连接浅层转化特征值可以表示目标业务数据不具有浅层转化行为的概率。因此,服务器可以将第五全连接浅层转化特征值作为目标对象针对目标业务数据的第三浅层转化概率预估值。
其中,第二全连接深层转化特征是由第三全连接深层转化特征值和第四全连接深层转化特征值所构成的,第三全连接深层转化特征值可以表示目标业务数据具有深层转化行为的概率,第四全连接深层转化特征值可以表示目标业务数据不具有深层转化行为的概率。因此,服务器可以将第三全连接深层转化特征值作为目标对象针对目标业务数据的第二深层转化概率预估值。
应当理解,第三触发全连接层、第二浅层转化全连接层、第三浅层转化全连接层和第二深层转化全连接层可以为多层感知机(Multi-layer Perceptron,简称MLP),多层感知机就是一种深度学习结构,可以对提取的特征进行非线性组合以得到输出。
其中,具有输出第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值功能的第二多任务子模型的模型结构可以参见上述图9的模型结构,这里将不再进行赘述。此时,服务器可以将第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值统称为第二输出结果。
其中,第三触发概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的触发行为的概率,第二浅层转化概率预估值和第三浅层转化概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的浅层转化行为的概率,第二深层转化概率预估值可以表示第二多任务子模型所输出的目标业务数据具有目标对象所执行的深层转化行为的概率。
由此可见,本申请实施例可以在至少两个任务指标为触发任务指标、浅层转化任务指标和深层转化任务指标时,通过第二多任务子模型输出与触发任务指标相关联的第四共享特征、与浅层转化任务指标相关联的第五共享特征、与浅层转化任务指标相关联的第六共享特征和与深层转化任务指标相关联的第七共享特征,进而根据第四共享特征生成目标对象针对目标业务数据的第三触发概率预估值,根据第五共享特征生成目标对象针对目标业务数据的第二浅层转化概率预估值,根据第六共享特征生成目标对象针对目标业务数据的第三浅层转化概率预估值,根据第七共享特征生成目标对象针对目标业务数据的第二深层转化概率预估值,从而提高预测第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值的准确度。此外,在任务指标发生改变时,本申请可以对第二多任务子模型适应性的进行调整,使用具有相似模型结构的第二多任务子模型同时兼容至少两个任务指标,生成与不同的任务指标相关联的第二输出结果,从而降低第二多任务子模型的建模复杂性。
进一步地,请参见图11,图11是本申请实施例提供的一种数据处理方法的流程示意图六。该方法可以由服务器执行,也可以由终端设备执行,还可以由服务器和终端设备共同执行,该服务器可以为上述图2所对应实施例中的服务器20a,该终端设备可以为上述图2所对应实施例中的终端设备20b。为便于理解,本申请实施例以该方法由服务器执行为例进行说明。其中,该数据处理方法可以包括以下步骤S201-步骤S204:
步骤S201,获取初始网络模型和与样本对象相关联的样本业务数据,根据样本对象和样本业务数据确定样本输入数据;
其中,初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;第一初始多任务子模型和第二初始多任务子模型均是基于至少两个任务指标所生成的。
其中,服务器根据样本对象和样本业务数据确定样本输入数据的具体过程,可以参见上述图3所对应实施例中根据目标对象和目标业务数据确定输入数据的描述,这里将不再进行赘述。
步骤S202,通过第一初始多任务子模型对样本输入数据进行特征提取,得到样本模式共享特征和至少两个任务指标分别对应的样本权重共享特征,根据样本模式共享特征和至少两个样本权重共享特征,输出与至少两个任务指标相关联的第一样本输出结果;
其中,服务器通过第一初始多任务子模型输出第一样本输出结果的具体过程,可以参见上述图3、图5和图7所对应实施例中通过第一多任务子模型输出第一输出结果的描述,这里将不再进行赘述。
步骤S203,将样本输入数据分别输入第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定第二初始多任务子模型所输出的与至少两个任务指标相关联的第二样本输出结果;
其中,服务器通过第二初始多任务子模型输出第二样本输出结果的具体过程,可以参见上述图3、图8和图10所对应实施例中通过第二多任务子模型输出第二输出结果的描述,这里将不再进行赘述。
步骤S204,在初始网络模型中,对第一样本输出结果和第二样本输出结果进行集成,得到样本对象针对样本业务数据的样本任务指标预估值,基于第一样本输出结果、第二样本输出结果、样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。
具体的,服务器可以在初始网络模型中,对第一样本输出结果和第二样本输出结果进行平均处理,得到样本对象针对样本业务数据的样本任务指标预估值。进一步地,服务器可以基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,确定初始网络模型的第一模型损失值。进一步地,服务器可以基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值。进一步地,服务器可以基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值。进一步地,服务器可以根据第一模型损失值、第二模型损失值和第三模型损失值,确定初始网络模型的总损失值,根据总损失值对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。其中,目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
其中,第一样本输出结果可以包括第一样本触发概率预估值和第一样本转化概率预估值,第二样本输出结果可以包括第二样本触发概率预估值和第二样本转化概率预估值。可以理解的是,服务器可以对第一样本触发概率预估值和第二样本触发概率预估值进行平均处理,得到样本对象针对样本业务数据的样本触发任务指标预估值;服务器可以对第一样本转化概率预估值和第二样本转化概率预估值进行平均处理,得到样本对象针对样本业务数据的样本转化任务指标预估值。进一步地,服务器可以基于样本对象针对样本业务数据的样本触发标签信息和样本触发任务指标预估值,确定初始网络模型的触发模型损失值;服务器可以基于样本对象针对样本业务数据的样本转化标签信息和样本转化任务指标预估值,确定初始网络模型的转化模型损失值。进一步地,服务器可以根据触发模型损失值和转化模型损失值,确定初始网络模型的第一模型损失值。
同理,服务器可以基于第一样本触发概率预估值和样本触发标签信息,确定第一初始多任务子模型的第一触发模型损失值;服务器可以基于第一样本转化概率预估值和样本转化标签信息,确定第一初始多任务子模型的第一转化模型损失值。进一步地,服务器可以根据第一触发模型损失值和第一转化模型损失值,确定第一初始多任务子模型的第二模型损失值。同理,服务器可以基于第二样本触发概率预估值和样本触发标签信息,确定第二初始多任务子模型的第二触发模型损失值;服务器可以基于第二样本转化概率预估值和样本转化标签信息,确定第二初始多任务子模型的第二转化模型损失值。进一步地,服务器可以根据第二触发模型损失值和第二转化模型损失值,确定第二初始多任务子模型的第三模型损失值。
其中,可选的,第一样本输出结果可以包括第三样本触发概率预估值、第一样本浅层转化概率预估值和第一样本深层转化概率预估值,第二样本输出结果可以包括第四样本触发概率预估值、第二样本浅层转化概率预估值、第三样本浅层转化概率预估值和第二样本深层转化概率预估值。应当理解,服务器可以基于第三样本触发概率预估值、第一样本浅层转化概率预估值、第一样本深层转化概率预估值、第四样本触发概率预估值、第二样本浅层转化概率预估值、第三样本浅层转化概率预估值和第二样本深层转化概率预估值,确定第一模型损失值、第二模型损失值和第三模型损失值的具体过程可以参见上述基于第一样本触发概率预估值、第一样本转化概率预估值、第二样本触发概率预估值和第二样本转化概率预估值确定第一模型损失值、第二模型损失值和第三模型损失值的描述,这里将不再进行赘述。
可选的,服务器也可以根据第一模型损失值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。可选的,服务器还可以根据第二模型损失值和第三模型损失值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。
可选的,服务器还可以根据第二模型损失值对第一初始多任务子模型进行参数调整,将参数调整后的第一初始多任务子模型作为第一多任务子模型;根据第三模型损失值对第二初始多任务子模型进行参数调整,将参数调整后的第二初始多任务子模型作为第二多任务子模型。进一步地,服务器可以将参数调整后的初始网络模型作为目标网络模型;目标网络模型包括第一多任务子模型和第二多任务子模型。
可选的,初始网络模型还包括初始预估值集成子模型。这样,服务器可以基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值,根据第二模型损失值对第一初始多任务子模型进行参数调整,将参数调整后的第一初始多任务子模型作为第一多任务子模型。进一步地,服务器可以基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值,根据第三模型损失值对第二初始多任务子模型进行参数调整,将参数调整后的第二初始多任务子模型作为第二多任务子模型。进一步地,服务器可以对第一样本输出结果和第二样本输出结果进行拼接处理,得到拼接样本输出特征。进一步地,服务器可以将拼接样本输出特征输入至初始预估值集成子模型,通过初始预估值集成子模型对拼接样本输出特征中的第一样本输出结果和第二样本输出结果进行集成学习,得到样本对象针对样本业务数据的样本任务指标预估值。进一步地,服务器可以基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始预估值集成子模型进行参数调整,将参数调整后的初始预估值集成子模型作为预估值集成子模型。进一步地,服务器可以将参数调整后的初始网络模型作为目标网络模型。其中,目标网络模型包括预估值集成子模型、第一多任务子模型和第二多任务子模型。
其中,第一初始多任务子模型的数量可以为K个,第二初始多任务子模型的数量可以为K个,这里的K可以为大于1的正整数。可以理解的是,服务器可以将样本业务数据划分为K类,从K类样本业务数据中获取(K-1)类样本业务数据对每个第一初始多任务子模型进行训练,得到训练后的K个第一多任务子模型;从K类样本业务数据中获取(K-1)类样本业务数据对每个第二初始多任务子模型进行训练,得到训练后的K个第二多任务子模型。其中,服务器可以从K类样本业务数据中获取除第z类之外的样本业务数据对第z个第一初始多任务子模型进行训练;服务器可以从K类样本业务数据中获取除第z类之外的样本业务数据对第z个第二初始多任务子模型进行训练。其中,这里的z可以为小于或等于K的正整数。比如,服务器可以从K类样本业务数据中获取除第1类之外的样本业务数据对第1个第一初始多任务子模型进行训练;又比如,服务器可以从K类样本业务数据中获取除第2类之外的样本业务数据对第2个第二初始多任务子模型进行训练。
进一步地,服务器可以通过训练后的K个第一多任务子模型输出与至少两个任务指标相关联的第一样本输出结果;服务器可以通过训练后的K个第二多任务子模型输出与至少两个任务指标相关联的第二样本输出结果。其中,服务器可以通过第z个第一多任务子模型输出第z类样本业务数据所对应的第一样本输出结果,进而对K个第一多任务子模型所输出的K类第一样本输出结果进行拼接,得到K类样本业务数据所对应的第一样本输出结果(即与至少两个任务指标相关联的第一样本输出结果);服务器可以通过第z个第二多任务子模型输出第z类样本业务数据所对应的第二样本输出结果,进而对K个第二多任务子模型所输出的K类第二样本输出结果进行拼接,得到K类样本业务数据所对应的第二样本输出结果(即与至少两个任务指标相关联的第二样本输出结果)。比如,服务器可以通过第1个第一多任务子模型输出第1类样本业务数据所对应的第一样本输出结果;又比如,服务器可以通过第2个第二多任务子模型输出第2类样本业务数据所对应的第二样本输出结果。
其中,K个第一多任务子模型的模型类型是相同的,由于K个第一多任务子模型的训练集不同,所以K个第一多任务子模型所学习到的参数是不同的;K个第二多任务子模型的模型类型是相同的,由于K个第二多任务子模型的训练集不同,所以K个第二多任务子模型所学习到的参数是不同的。
其中,可以理解的是,服务器可以对K个第一多任务子模型的第一样本输出结果进行拼接处理,得到第一拼接样本输出特征,对K个第二多任务子模型的第二样本输出结果进行拼接处理,得到第二拼接样本输出特征。进一步地,服务器可以将第一拼接样本输出特征和第二拼接样本输出特征输入至初始预估值集成子模型,通过第一拼接样本输出特征、第二拼接样本输出特征和样本对象针对样本业务数据的样本标签信息,对初始预估值集成子模型进行训练,得到预估值集成子模型。
其中,可以理解的是,初始预估值集成子模型的数量可以为一个,服务器可以基于第一样本输出结果和第二样本输出结果,对初始预估值集成子模型进行训练。可选的,可以理解的,初始预估值集成子模型的数量可以为至少两个,服务器可以基于第一样本输出结果和第二样本输出结果,对至少两个初始预估值集成子模型进行训练。应当理解,服务器基于第一样本输出结果和第二样本输出结果,对至少两个初始预估值集成子模型进行训练的具体过程,可以参见上述基于样本输入数据对第一初始多任务子模型或第二初始多任务子模型进行训练的描述,这里将不再进行赘述。
相应的,在通过包含预估值集成子模型、K个第一多任务子模型和K个第二多任务子模型的目标网络模型预测目标对象针对目标业务数据的任务指标预估值时,服务器需要对K个第一多任务子模型所分别输出的第一输出结果进行平均处理,得到K个第一多任务子模型对应的第一平均输出结果;服务器需要对K个第二多任务子模型所分别输出的第二输出结果进行平均处理,得到K个第二多任务子模型对应的第二平均输出结果。
由此可见,本申请实施例可以样本输入数据对初始网络模型进行训练,即通过初始网络模型中的第一初始多任务子模型输出第一样本输出结果,通过初始网络模型中的第二初始多任务子模型输出第二样本输出结果,进而根据第一样本输出结果和第二样本输出结果对初始网络模型进行训练,得到目标网络模型。其中,目标网络模型可以用于确定目标对象针对目标业务数据的任务指标预估值,通过对初始网络模型进行训练所得到的目标网络模型可以提高预测任务指标预估值的准确度。
进一步地,请参见图12,图12是本申请实施例提供的一种数据处理装置的结构示意图一。该数据处理装置1可以包括:数据获取模块11,第一输出模块12,第二输出模块13,结果集成模块14;
数据获取模块11,用于获取目标网络模型和与目标业务数据相关联的目标对象,根据目标对象和目标业务数据确定输入数据;目标网络模型包括第一多任务子模型和第二多任务子模型;第一多任务子模型和第二多任务子模型均是基于至少两个任务指标所生成的;
第一输出模块12,用于通过第一多任务子模型对输入数据进行特征提取,得到模式共享特征和至少两个任务指标分别对应的权重共享特征,根据模式共享特征和至少两个权重共享特征,输出与至少两个任务指标相关联的第一输出结果;
其中,第一输出模块12包括:第一嵌入单元121,特征学习单元122,权重学习单元123,结果输出单元124;
第一嵌入单元121,用于将输入数据输入至第一多任务子模型;第一多任务子模型包括第一特征输入层、至少两个专家网络层和至少两个任务指标分别指示的权重学习层;
第一嵌入单元121,用于通过第一特征输入层对输入数据进行特征嵌入融合,得到第一特征输入层所输出的目标对象针对目标业务数据的第一共享属性特征;
特征学习单元122,用于将第一共享属性特征分别输入至至少两个专家网络层,通过至少两个专家网络层分别对第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征;
权重学习单元123,用于将第一共享属性特征分别输入至至少两个权重学习层,通过至少两个权重学习层分别对第一共享属性特征进行权重学习,得到每个权重学习层分别输出的权重共享特征;
其中,至少两个任务指标包括触发任务指标和转化任务指标;至少两个权重学习层包括触发任务指标所指示的触发权重学习层和转化任务指标所指示的转化权重学习层;至少两个权重共享特征包括触发权重共享特征和转化权重共享特征;
权重学习单元123包括:第一学习子单元1231,第二学习子单元1232;
第一学习子单元1231,用于将第一共享属性特征输入至触发权重学习层,通过触发权重学习层对第一共享属性特征进行权重学习,得到触发权重学习层输出的触发权重共享特征;
第二学习子单元1232,用于将第一共享属性特征输入至转化权重学习层,通过转化权重学习层对第一共享属性特征进行权重学习,得到转化权重学习层输出的转化权重共享特征。
其中,转化权重学习层包括浅层转化权重学习层和深层转化权重学习层;转化权重共享特征包括浅层转化权重共享特征和深层转化权重共享特征;
第二学习子单元1232,具体用于将第一共享属性特征输入至浅层转化权重学习层,通过浅层转化权重学习层对第一共享属性特征进行权重学习,得到浅层转化权重学习层输出的浅层转化权重共享特征;
第二学习子单元1232,具体用于将第一共享属性特征输入至深层转化权重学习层,通过深层转化权重学习层对第一共享属性特征进行权重学习,得到深层转化权重学习层输出的深层转化权重共享特征。
其中,第一学习子单元1231和第二学习子单元1232的具体实现方式,可以参见上述图5所对应实施例中对步骤S1211-步骤S1217和图7所对应实施例中对步骤S1221-步骤S1229的描述,这里将不再进行赘述。
结果输出单元124,用于根据至少两个模式共享特征和至少两个权重共享特征,生成与至少两个任务指标相关联的第一输出结果。
其中,触发权重共享特征包括与每个专家网络层分别对应的触发权重共享参数;转化权重共享特征包括与每个专家网络层分别对应的转化权重共享参数;第一多任务子模型还包括第一触发全连接层和第一转化全连接层;第一输出结果包括第一触发概率预估值和第一转化概率预估值;
结果输出单元124包括:第一输出子单元1241,第二输出子单元1242;
第一输出子单元1241,用于根据与每个专家网络层分别对应的触发权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始触发特征;
第一输出子单元1241,用于将初始触发特征输入至第一触发全连接层,通过第一触发全连接层对初始触发特征进行全连接处理,得到第一全连接触发特征,根据第一全连接触发特征,确定与触发任务指标相关联的第一触发概率预估值;
第二输出子单元1242,用于根据与每个专家网络层分别对应的转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始转化特征,将初始转化特征输入至第一转化全连接层,通过第一转化全连接层对初始转化特征进行全连接处理,得到第一全连接转化特征,根据第一全连接转化特征,确定与转化任务指标相关联的第一转化概率预估值。
其中,浅层转化权重共享特征包括与每个专家网络层分别对应的浅层转化权重共享参数;深层转化权重共享特征包括与每个专家网络层分别对应的深层转化权重共享参数;初始转化特征包括初始浅层转化特征和初始深层转化特征;第一转化全连接层包括第一浅层转化全连接层和深层转化全连接层;第一全连接转化特征包括第一全连接浅层转化特征和全连接深层转化特征;第一转化概率预估值包括第一浅层转化概率预估值和第一深层转化概率预估值;转化任务指标包括浅层转化任务指标和深层转化任务指标;
第二输出子单元1242,具体用于根据与每个专家网络层分别对应的浅层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始浅层转化特征;
第二输出子单元1242,具体用于将初始浅层转化特征输入至第一浅层转化全连接层,通过第一浅层转化全连接层对初始浅层转化特征进行全连接处理,得到第一全连接浅层转化特征,根据第一全连接浅层转化特征,确定与浅层转化任务指标相关联的第一浅层转化概率预估值;
第二输出子单元1242,具体用于根据与每个专家网络层分别对应的深层转化权重共享参数,对每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始深层转化特征;
第二输出子单元1242,具体用于将初始深层转化特征输入至深层转化全连接层,通过深层转化全连接层对初始深层转化特征进行全连接处理,得到全连接深层转化特征,根据全连接深层转化特征,确定与深层转化任务指标相关联的第一深层转化概率预估值。
其中,第一输出子单元1241和第二输出子单元1242的具体实现方式,可以参见上述图5所对应实施例中对步骤S1211-步骤S1217和图7所对应实施例中对步骤S1221-步骤S1229的描述,这里将不再进行赘述。
其中,第一嵌入单元121,特征学习单元122,权重学习单元123和结果输出单元124的具体实现方式,可以参见上述图3所对应实施例中对步骤S102、图5所对应实施例中对步骤S1211-步骤S1217和图7所对应实施例中对步骤S1221-步骤S1229的描述,这里将不再进行赘述。
第二输出模块13,用于将输入数据分别输入第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定第二多任务子模型所输出的与至少两个任务指标相关联的第二输出结果;
其中,至少两个任务指标包括触发任务指标和转化任务指标;至少两个任务子网络包括触发任务指标对应的第一触发任务子网络和转化任务指标对应的转化任务子网络;第二输出结果包括第二触发概率预估值和第二转化概率预估值;第二触发概率预估值为第一触发任务子网络所输出的任务结果;第二转化概率预估值为转化任务子网络所输出的任务结果;
第二输出模块13包括:第二嵌入单元131,第一处理单元132,第二处理单元133;可选的,第二输出模块13可以进一步包括:第三嵌入单元134,第一获取单元135,第二获取单元136;
第二嵌入单元131,用于将输入数据分别输入至第一触发任务子网络和转化任务子网络;第一触发任务子网络包括第二特征输入层和第二触发全连接层,转化任务子网络包括第三特征输入层和第二转化全连接层;
第二嵌入单元131,用于通过第二特征输入层和第三特征输入层分别对输入数据进行特征嵌入融合,得到第二特征输入层所输出的目标对象针对目标业务数据的第二共享属性特征,以及第三特征输入层所输出的目标对象针对目标业务数据的第三共享属性特征;
第一处理单元132,用于将第二共享属性特征输入至第二触发全连接层,通过第二触发全连接层对第二共享属性特征进行全连接处理,得到第二全连接触发特征,根据第二全连接触发特征,确定与触发任务指标相关联的第二触发概率预估值;
第二处理单元133,用于将第三共享属性特征输入至第二转化全连接层,通过第二转化全连接层对第三共享属性特征进行全连接处理,得到第二全连接转化特征,根据第二全连接转化特征,确定与转化任务指标相关联的第二转化概率预估值。
可选的,第二多任务子模型的数量为至少两个,至少两个第二多任务子模型包括第二多任务子模型Si和第二多任务子模型Sj;i和j均为小于或等于第二多任务子模型的数量的正整数;至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标;至少两个任务子网络包括第二多任务子模型Si中的第二触发任务子网络和第一浅层转化任务子网络,以及第二多任务子模型Sj中的第二浅层转化任务子网络和深层转化任务子网络;第二触发任务子网络与触发任务指标相关联,第一浅层转化任务子网络和第二浅层转化任务子网络与浅层转化任务指标相关联,深层转化任务子网络与深层转化任务指标相关联;第二输出结果包括第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;第三触发概率预估值为第二触发任务子网络所输出的任务结果;第二浅层转化概率预估值为第一浅层转化任务子网络所输出的任务结果;第三浅层转化概率预估值为第二浅层转化任务子网络所输出的任务结果;第二深层转化概率预估值为深层转化任务子网络所输出的任务结果;
第三嵌入单元134,用于将输入数据分别输入至第二触发任务子网络、第一浅层转化任务子网络、第二浅层转化任务子网络和深层转化任务子网络;第二触发任务子网络包括第四特征输入层,第一浅层转化任务子网络包括第五特征输入层;第二浅层转化任务子网络包括第六特征输入层,深层转化任务子网络包括第七特征输入层;
第三嵌入单元134,用于通过第四特征输入层、第五特征输入层、第六特征输入层和第七特征输入层分别对输入数据进行特征嵌入融合,得到第四特征输入层所输出的目标对象针对目标业务数据的第四共享属性特征,第五特征输入层所输出的目标对象针对目标业务数据的第五共享属性特征,第六特征输入层所输出的目标对象针对目标业务数据的第六共享属性特征,以及第七特征输入层所输出的目标对象针对目标业务数据的第七共享属性特征;
第一获取单元135,用于在第二触发任务子网络中,基于第四共享属性特征获取与触发任务指标相关联的第三触发概率预估值,在第一浅层转化任务子网络中,基于第五共享属性特征获取与浅层转化任务指标相关联的第二浅层转化概率预估值;
其中,第二触发任务子网络还包括第三触发全连接层,第一浅层转化任务子网络还包括第二浅层转化全连接层;
第一获取单元135,具体用于将第四共享属性特征输入至第三触发全连接层,通过第三触发全连接层对第四共享属性特征进行全连接处理,得到第三全连接触发特征,根据第三全连接触发特征,确定与触发任务指标相关联的第三触发概率预估值;
第一获取单元135,具体用于将第五共享属性特征输入至第二浅层转化全连接层,通过第二浅层转化全连接层对第五共享属性特征进行全连接处理,得到第二全连接浅层转化特征,根据第二全连接浅层转化特征,确定与浅层转化任务指标相关联的第二浅层转化概率预估值。
第二获取单元136,用于在第二浅层转化任务子网络中,基于第六共享属性特征获取与浅层转化任务相关联的第三浅层转化概率预估值,在深层转化任务子网络中,基于第七共享属性特征获取与深层转化任务指标相关联的第二深层转化概率预估值。
其中,第二嵌入单元131,第一处理单元132和第二处理单元133的具体实现方式,可以参见上述图8所对应实施例中对步骤S1311-步骤S1314的描述,这里将不再进行赘述。其中,第三嵌入单元134,第一获取单元135和第二获取单元136的具体实现方式,可以参见上述图10所对应实施例中对步骤S1321-步骤S1324的描述,这里将不再进行赘述。
结果集成模块14,用于在目标网络模型中,对第一输出结果和第二输出结果进行集成,得到目标对象针对目标业务数据的任务指标预估值。
其中,第一输出结果包括第一触发概率预估值和第一转化概率预估值;第二输出结果包括第二触发概率预估值和第二转化概率预估值;任务指标预估值包括触发任务指标预估值和转化任务指标预估值;
结果集成模块14,具体用于在目标网络模型中,对第一触发概率预估值和第二触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值;
结果集成模块14,具体用于对第一转化概率预估值和第二转化概率预估值进行平均处理,得到目标对象针对目标业务数据的转化任务指标预估值。
其中,第一输出结果包括第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值;第二输出结果包括第二触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;任务指标预估值包括触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值;
结果集成模块14,具体用于在目标网络模型中,对第一触发概率预估值和第二触发概率预估值进行平均处理,得到目标对象针对目标业务数据的触发任务指标预估值;
结果集成模块14,具体用于对第一浅层转化概率预估值、第二浅层转化概率预估值和第三浅层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的浅层转化任务指标预估值;
结果集成模块14,具体用于对第一深层转化概率预估值和第二深层转化概率预估值进行平均处理,得到目标对象针对目标业务数据的深层转化任务指标预估值。
其中,目标网络模型还包括预估值集成子模型;第一多任务子模型的数量为至少两个,至少两个第一多任务子模型用于输出至少两个第一输出结果;第二多任务子模型的数量为至少两个,至少两个第二多任务子模型用于输出至少两个第二输出结果;
结果集成模块14,具体用于在目标网络模型中,对至少两个第一输出结果进行平均处理,得到至少两个第一多任务子模型对应的第一平均输出结果;
结果集成模块14,具体用于对至少两个第二输出结果进行平均处理,得到至少两个第二多任务子模型对应的第二平均输出结果;
结果集成模块14,具体用于对第一平均输出结果和第二平均输出结果进行拼接处理,得到拼接输出特征;
结果集成模块14,具体用于将拼接输出特征输入至预估值集成子模型,通过预估值集成子模型对拼接输出特征中的第一平均输出结果和第二平均输出结果进行集成学习,得到目标对象针对目标业务数据的任务指标预估值。
其中,数据获取模块11,第一输出模块12,第二输出模块13和结果集成模块14的具体实现方式,可以参见上述图3所对应实施例中对步骤S101-步骤S104、图5所对应实施例中对步骤S1211-步骤S1217和图7所对应实施例中对步骤S1221-步骤S1229、图8所对应实施例中对步骤S1311-步骤S1314和图10所对应实施例中对步骤S1321-步骤S1324的描述,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图13,图13是本申请实施例提供的一种数据处理装置的结构示意图二。该数据处理装置2可以包括:样本数据获取模块21,第一样本输出模块22,第二样本输出模块23,样本结果集成模块24;
样本数据获取模块21,用于获取初始网络模型和与样本对象相关联的样本业务数据,根据样本对象和样本业务数据确定样本输入数据;初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;第一初始多任务子模型和第二初始多任务子模型均是基于至少两个任务指标所生成的;
第一样本输出模块22,用于通过第一初始多任务子模型对样本输入数据进行特征提取,得到样本模式共享特征和至少两个任务指标分别对应的样本权重共享特征,根据样本模式共享特征和至少两个样本权重共享特征,输出与至少两个任务指标相关联的第一样本输出结果;
第二样本输出模块23,用于将样本输入数据分别输入第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定第二初始多任务子模型所输出的与至少两个任务指标相关联的第二样本输出结果;
样本结果集成模块24,用于在初始网络模型中,对第一样本输出结果和第二样本输出结果进行集成,得到样本对象针对样本业务数据的样本任务指标预估值,基于第一样本输出结果、第二样本输出结果、样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型;目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
其中,样本结果集成模块24,具体用于在初始网络模型中,对第一样本输出结果和第二样本输出结果进行平均处理,得到样本对象针对样本业务数据的样本任务指标预估值;
样本结果集成模块24,具体用于基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,确定初始网络模型的第一模型损失值;
样本结果集成模块24,具体用于基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值;
样本结果集成模块24,具体用于基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值;
样本结果集成模块24,具体用于根据第一模型损失值、第二模型损失值和第三模型损失值,确定初始网络模型的总损失值,根据总损失值对初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。
其中,初始网络模型还包括初始预估值集成子模型;
样本结果集成模块24,具体用于基于第一样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第一初始多任务子模型的第二模型损失值,根据第二模型损失值对第一初始多任务子模型进行参数调整,将参数调整后的第一初始多任务子模型作为第一多任务子模型;
样本结果集成模块24,具体用于基于第二样本输出结果和样本对象针对样本业务数据的样本标签信息,确定第二初始多任务子模型的第三模型损失值,根据第三模型损失值对第二初始多任务子模型进行参数调整,将参数调整后的第二初始多任务子模型作为第二多任务子模型;
样本结果集成模块24,具体用于对第一样本输出结果和第二样本输出结果进行拼接处理,得到拼接样本输出特征;
样本结果集成模块24,具体用于将拼接样本输出特征输入至初始预估值集成子模型,通过初始预估值集成子模型对拼接样本输出特征中的第一样本输出结果和第二样本输出结果进行集成学习,得到样本对象针对样本业务数据的样本任务指标预估值;
样本结果集成模块24,具体用于基于样本对象针对样本业务数据的样本标签信息和样本任务指标预估值,对初始预估值集成子模型进行参数调整,将参数调整后的初始预估值集成子模型作为预估值集成子模型;
样本结果集成模块24,具体用于将参数调整后的初始网络模型作为目标网络模型;目标网络模型包括预估值集成子模型、第一多任务子模型和第二多任务子模型。
其中,样本数据获取模块21,第一样本输出模块22,第二样本输出模块23和样本结果集成模块24的具体实现方式,可以参见上述图11所对应实施例中对步骤S201-步骤S204的描述,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图14,图14是本申请实施例提供的一种计算机设备的结构示意图。如图14所示,该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,在一些实施例中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。可选的,网络接口1004可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器1005还可以是至少一个位于远离前述处理器1001的存储装置。如图14所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在如图14所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3、图5、图7、图8、图10和图11所对应实施例中对数据处理方法的描述,也可执行前文图12所对应实施例中对数据处理装置1和图13所对应实施例中对数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且计算机可读存储介质中存储有前文提及的数据处理装置1和数据处理装置2所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3、图5、图7、图8、图10和图11所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图3、图5、图7、图8、图10和图11所对应实施例中对数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (19)

1.一种数据处理方法,其特征在于,包括:
获取目标网络模型和与目标业务数据相关联的目标对象,根据所述目标对象和所述目标业务数据确定输入数据;所述目标网络模型包括第一多任务子模型和第二多任务子模型;所述第一多任务子模型和所述第二多任务子模型均是基于至少两个任务指标所生成的;
通过所述第一多任务子模型对所述输入数据进行特征提取,得到模式共享特征和所述至少两个任务指标分别对应的权重共享特征,根据所述模式共享特征和至少两个权重共享特征,输出与所述至少两个任务指标相关联的第一输出结果;所述第一多任务子模型包括至少两个专家网络层和所述至少两个任务指标分别指示的权重学习层;至少两个权重共享特征是由所述至少两个任务指标分别指示的权重学习层进行权重学习所确定的;所述模式共享特征是由所述至少两个专家网络层进行特征学习所确定的;
将所述输入数据分别输入所述第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定所述第二多任务子模型所输出的与所述至少两个任务指标相关联的第二输出结果;
在所述目标网络模型中,对所述第一输出结果和所述第二输出结果进行集成,得到所述目标对象针对所述目标业务数据的任务指标预估值;所述集成是指对所述第一输出结果和所述第二输出结果进行平均处理;或所述集成是指通过所述目标网络模型中的预估值集成子模型对拼接输出特征中的第一平均输出结果和第二平均输出结果进行集成学***均输出结果和所述第二平均输出结果进行拼接处理得到,所述拼接输出特征还用于输入至所述预估值集成子模型,所述第一平均输出结果是基于所述第一输出结果所生成的,所述第二平均输出结果是基于所述第二输出结果所生成的。
2.根据权利要求1所述的方法,其特征在于,所述通过所述第一多任务子模型对所述输入数据进行特征提取,得到模式共享特征和所述至少两个任务指标分别对应的权重共享特征,根据所述模式共享特征和至少两个权重共享特征,输出与所述至少两个任务指标相关联的第一输出结果,包括:
将所述输入数据输入至所述第一多任务子模型;所述第一多任务子模型还包括第一特征输入层;
通过所述第一特征输入层对所述输入数据进行特征嵌入融合,得到所述第一特征输入层所输出的所述目标对象针对所述目标业务数据的第一共享属性特征;
将所述第一共享属性特征分别输入至所述至少两个专家网络层,通过所述至少两个专家网络层分别对所述第一共享属性特征进行特征学习,得到每个专家网络层分别输出的模式共享特征;
将所述第一共享属性特征分别输入至至少两个权重学习层,通过所述至少两个权重学习层分别对所述第一共享属性特征进行权重学习,得到每个权重学习层分别输出的权重共享特征;
根据至少两个模式共享特征和至少两个权重共享特征,生成与所述至少两个任务指标相关联的第一输出结果。
3.根据权利要求2所述的方法,其特征在于,所述至少两个任务指标包括触发任务指标和转化任务指标;所述至少两个权重学习层包括所述触发任务指标所指示的触发权重学习层和所述转化任务指标所指示的转化权重学习层;所述至少两个权重共享特征包括触发权重共享特征和转化权重共享特征;
所述将所述第一共享属性特征分别输入至至少两个权重学习层,通过所述至少两个权重学习层分别对所述第一共享属性特征进行权重学习,得到每个权重学习层分别输出的权重共享特征,包括:
将所述第一共享属性特征输入至所述触发权重学习层,通过所述触发权重学习层对所述第一共享属性特征进行权重学习,得到所述触发权重学习层输出的所述触发权重共享特征;
将所述第一共享属性特征输入至所述转化权重学习层,通过所述转化权重学习层对所述第一共享属性特征进行权重学习,得到所述转化权重学习层输出的所述转化权重共享特征。
4.根据权利要求3所述的方法,其特征在于,所述触发权重共享特征包括与所述每个专家网络层分别对应的触发权重共享参数;所述转化权重共享特征包括与所述每个专家网络层分别对应的转化权重共享参数;所述第一多任务子模型还包括第一触发全连接层和第一转化全连接层;所述第一输出结果包括第一触发概率预估值和第一转化概率预估值;
所述根据至少两个模式共享特征和至少两个权重共享特征,生成与所述至少两个任务指标相关联的第一输出结果,包括:
根据与所述每个专家网络层分别对应的触发权重共享参数,对所述每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始触发特征;
将所述初始触发特征输入至所述第一触发全连接层,通过所述第一触发全连接层对所述初始触发特征进行全连接处理,得到第一全连接触发特征,根据所述第一全连接触发特征,确定与所述触发任务指标相关联的所述第一触发概率预估值;
根据与所述每个专家网络层分别对应的转化权重共享参数,对所述每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始转化特征,将所述初始转化特征输入至所述第一转化全连接层,通过所述第一转化全连接层对所述初始转化特征进行全连接处理,得到第一全连接转化特征,根据所述第一全连接转化特征,确定与所述转化任务指标相关联的所述第一转化概率预估值。
5.根据权利要求4所述的方法,其特征在于,所述转化权重学习层包括浅层转化权重学习层和深层转化权重学习层;所述转化权重共享特征包括浅层转化权重共享特征和深层转化权重共享特征;
所述将所述第一共享属性特征输入至所述转化权重学习层,通过所述转化权重学习层对所述第一共享属性特征进行权重学习,得到所述转化权重学习层输出的所述转化权重共享特征,包括:
将所述第一共享属性特征输入至所述浅层转化权重学习层,通过所述浅层转化权重学习层对所述第一共享属性特征进行权重学习,得到所述浅层转化权重学习层输出的所述浅层转化权重共享特征;
将所述第一共享属性特征输入至所述深层转化权重学习层,通过所述深层转化权重学习层对所述第一共享属性特征进行权重学习,得到所述深层转化权重学习层输出的所述深层转化权重共享特征。
6.根据权利要求5所述的方法,其特征在于,所述浅层转化权重共享特征包括与所述每个专家网络层分别对应的浅层转化权重共享参数;所述深层转化权重共享特征包括与所述每个专家网络层分别对应的深层转化权重共享参数;所述初始转化特征包括初始浅层转化特征和初始深层转化特征;所述第一转化全连接层包括第一浅层转化全连接层和深层转化全连接层;所述第一全连接转化特征包括第一全连接浅层转化特征和全连接深层转化特征;所述第一转化概率预估值包括第一浅层转化概率预估值和第一深层转化概率预估值;所述转化任务指标包括浅层转化任务指标和深层转化任务指标;
所述根据与所述每个专家网络层分别对应的转化权重共享参数,对所述每个专家网络层分别输出的模式共享特征进行特征加权处理,得到初始转化特征,将所述初始转化特征输入至所述第一转化全连接层,通过所述第一转化全连接层对所述初始转化特征进行全连接处理,得到第一全连接转化特征,根据所述第一全连接转化特征,确定与所述转化任务指标相关联的所述第一转化概率预估值,包括:
根据与所述每个专家网络层分别对应的浅层转化权重共享参数,对所述每个专家网络层分别输出的模式共享特征进行特征加权处理,得到所述初始浅层转化特征;
将所述初始浅层转化特征输入至所述第一浅层转化全连接层,通过所述第一浅层转化全连接层对所述初始浅层转化特征进行全连接处理,得到所述第一全连接浅层转化特征,根据所述第一全连接浅层转化特征,确定与所述浅层转化任务指标相关联的所述第一浅层转化概率预估值;
根据与所述每个专家网络层分别对应的深层转化权重共享参数,对所述每个专家网络层分别输出的模式共享特征进行特征加权处理,得到所述初始深层转化特征;
将所述初始深层转化特征输入至所述深层转化全连接层,通过所述深层转化全连接层对所述初始深层转化特征进行全连接处理,得到所述全连接深层转化特征,根据所述全连接深层转化特征,确定与所述深层转化任务指标相关联的所述第一深层转化概率预估值。
7.根据权利要求1所述的方法,其特征在于,所述至少两个任务指标包括触发任务指标和转化任务指标;所述至少两个任务子网络包括所述触发任务指标对应的第一触发任务子网络和所述转化任务指标对应的转化任务子网络;所述第二输出结果包括第二触发概率预估值和第二转化概率预估值;所述第二触发概率预估值为所述第一触发任务子网络所输出的任务结果;所述第二转化概率预估值为所述转化任务子网络所输出的任务结果;
所述将所述输入数据分别输入所述第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定所述第二多任务子模型所输出的与所述至少两个任务指标相关联的第二输出结果,包括:
将所述输入数据分别输入至所述第一触发任务子网络和所述转化任务子网络;所述第一触发任务子网络包括第二特征输入层和第二触发全连接层,所述转化任务子网络包括第三特征输入层和第二转化全连接层;
通过所述第二特征输入层和所述第三特征输入层分别对所述输入数据进行特征嵌入融合,得到所述第二特征输入层所输出的所述目标对象针对所述目标业务数据的第二共享属性特征,以及所述第三特征输入层所输出的所述目标对象针对所述目标业务数据的第三共享属性特征;
将所述第二共享属性特征输入至所述第二触发全连接层,通过所述第二触发全连接层对所述第二共享属性特征进行全连接处理,得到第二全连接触发特征,根据所述第二全连接触发特征,确定与所述触发任务指标相关联的第二触发概率预估值;
将所述第三共享属性特征输入至所述第二转化全连接层,通过所述第二转化全连接层对所述第三共享属性特征进行全连接处理,得到第二全连接转化特征,根据所述第二全连接转化特征,确定与所述转化任务指标相关联的第二转化概率预估值。
8.根据权利要求1所述的方法,其特征在于,所述第二多任务子模型的数量为至少两个,至少两个第二多任务子模型包括第二多任务子模型Si和第二多任务子模型Sj;所述i和所述j均为小于或等于所述第二多任务子模型的数量的正整数;所述至少两个任务指标包括触发任务指标、浅层转化任务指标和深层转化任务指标;所述至少两个任务子网络包括所述第二多任务子模型Si中的第二触发任务子网络和第一浅层转化任务子网络,以及所述第二多任务子模型Sj中的第二浅层转化任务子网络和深层转化任务子网络;所述第二触发任务子网络与所述触发任务指标相关联,所述第一浅层转化任务子网络和所述第二浅层转化任务子网络与所述浅层转化任务指标相关联,所述深层转化任务子网络与所述深层转化任务指标相关联;所述第二输出结果包括第三触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;所述第三触发概率预估值为所述第二触发任务子网络所输出的任务结果;所述第二浅层转化概率预估值为所述第一浅层转化任务子网络所输出的任务结果;所述第三浅层转化概率预估值为所述第二浅层转化任务子网络所输出的任务结果;所述第二深层转化概率预估值为所述深层转化任务子网络所输出的任务结果;
所述将所述输入数据分别输入所述第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定所述第二多任务子模型所输出的与所述至少两个任务指标相关联的第二输出结果,包括:
将所述输入数据分别输入至所述第二触发任务子网络、所述第一浅层转化任务子网络、所述第二浅层转化任务子网络和所述深层转化任务子网络;所述第二触发任务子网络包括第四特征输入层,所述第一浅层转化任务子网络包括第五特征输入层;所述第二浅层转化任务子网络包括第六特征输入层,所述深层转化任务子网络包括第七特征输入层;
通过所述第四特征输入层、所述第五特征输入层、所述第六特征输入层和所述第七特征输入层分别对所述输入数据进行特征嵌入融合,得到所述第四特征输入层所输出的所述目标对象针对所述目标业务数据的第四共享属性特征,所述第五特征输入层所输出的所述目标对象针对所述目标业务数据的第五共享属性特征,第六特征输入层所输出的所述目标对象针对所述目标业务数据的第六共享属性特征,以及第七特征输入层所输出的所述目标对象针对所述目标业务数据的第七共享属性特征;
在所述第二触发任务子网络中,基于所述第四共享属性特征获取与所述触发任务指标相关联的所述第三触发概率预估值,在所述第一浅层转化任务子网络中,基于所述第五共享属性特征获取与所述浅层转化任务指标相关联的所述第二浅层转化概率预估值;
在所述第二浅层转化任务子网络中,基于所述第六共享属性特征获取与所述浅层转化任务相关联的所述第三浅层转化概率预估值,在所述深层转化任务子网络中,基于所述第七共享属性特征获取与所述深层转化任务指标相关联的所述第二深层转化概率预估值。
9.根据权利要求8所述的方法,其特征在于,所述第二触发任务子网络还包括第三触发全连接层,所述第一浅层转化任务子网络还包括第二浅层转化全连接层;
所述在所述第二触发任务子网络中,基于所述第四共享属性特征获取与所述触发任务指标相关联的所述第三触发概率预估值,在所述第一浅层转化任务子网络中,基于所述第五共享属性特征获取与所述浅层转化任务指标相关联的所述第二浅层转化概率预估值,包括:
将所述第四共享属性特征输入至所述第三触发全连接层,通过所述第三触发全连接层对所述第四共享属性特征进行全连接处理,得到第三全连接触发特征,根据所述第三全连接触发特征,确定与所述触发任务指标相关联的所述第三触发概率预估值;
将所述第五共享属性特征输入至所述第二浅层转化全连接层,通过所述第二浅层转化全连接层对所述第五共享属性特征进行全连接处理,得到第二全连接浅层转化特征,根据所述第二全连接浅层转化特征,确定与所述浅层转化任务指标相关联的所述第二浅层转化概率预估值。
10.根据权利要求1所述的方法,其特征在于,所述第一输出结果包括第一触发概率预估值和第一转化概率预估值;所述第二输出结果包括第二触发概率预估值和第二转化概率预估值;所述任务指标预估值包括触发任务指标预估值和转化任务指标预估值;
所述在所述目标网络模型中,对所述第一输出结果和所述第二输出结果进行集成,得到所述目标对象针对所述目标业务数据的任务指标预估值,包括:
在所述目标网络模型中,对所述第一触发概率预估值和所述第二触发概率预估值进行平均处理,得到所述目标对象针对所述目标业务数据的所述触发任务指标预估值;
对所述第一转化概率预估值和所述第二转化概率预估值进行平均处理,得到所述目标对象针对所述目标业务数据的所述转化任务指标预估值。
11.根据权利要求1所述的方法,其特征在于,所述第一输出结果包括第一触发概率预估值、第一浅层转化概率预估值和第一深层转化概率预估值;所述第二输出结果包括第二触发概率预估值、第二浅层转化概率预估值、第三浅层转化概率预估值和第二深层转化概率预估值;所述任务指标预估值包括触发任务指标预估值、浅层转化任务指标预估值和深层转化任务指标预估值;
所述在所述目标网络模型中,对所述第一输出结果和所述第二输出结果进行集成,得到所述目标对象针对所述目标业务数据的任务指标预估值,包括:
在所述目标网络模型中,对所述第一触发概率预估值和所述第二触发概率预估值进行平均处理,得到所述目标对象针对所述目标业务数据的所述触发任务指标预估值;
对所述第一浅层转化概率预估值、所述第二浅层转化概率预估值和所述第三浅层转化概率预估值进行平均处理,得到所述目标对象针对所述目标业务数据的所述浅层转化任务指标预估值;
对所述第一深层转化概率预估值和所述第二深层转化概率预估值进行平均处理,得到所述目标对象针对所述目标业务数据的所述深层转化任务指标预估值。
12.根据权利要求1所述的方法,其特征在于,所述目标网络模型还包括预估值集成子模型;所述第一多任务子模型的数量为至少两个,至少两个第一多任务子模型用于输出至少两个第一输出结果;所述第二多任务子模型的数量为至少两个,至少两个第二多任务子模型用于输出至少两个第二输出结果;
所述在所述目标网络模型中,对所述第一输出结果和所述第二输出结果进行集成,得到所述目标对象针对所述目标业务数据的任务指标预估值,包括:
在所述目标网络模型中,对所述至少两个第一输出结果进行平均处理,得到所述至少两个第一多任务子模型对应的第一平均输出结果;
对所述至少两个第二输出结果进行平均处理,得到所述至少两个第二多任务子模型对应的第二平均输出结果;
对所述第一平均输出结果和所述第二平均输出结果进行拼接处理,得到拼接输出特征;
将所述拼接输出特征输入至所述预估值集成子模型,通过所述预估值集成子模型对所述拼接输出特征中的所述第一平均输出结果和所述第二平均输出结果进行集成学习,得到所述目标对象针对所述目标业务数据的任务指标预估值。
13.一种数据处理方法,其特征在于,包括:
获取初始网络模型和与样本对象相关联的样本业务数据,根据所述样本对象和所述样本业务数据确定样本输入数据;所述初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;所述第一初始多任务子模型和所述第二初始多任务子模型均是基于至少两个任务指标所生成的;
通过所述第一初始多任务子模型对所述样本输入数据进行特征提取,得到样本模式共享特征和所述至少两个任务指标分别对应的样本权重共享特征,根据所述样本模式共享特征和至少两个样本权重共享特征,输出与所述至少两个任务指标相关联的第一样本输出结果;
将所述样本输入数据分别输入所述第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定所述第二初始多任务子模型所输出的与所述至少两个任务指标相关联的第二样本输出结果;
在所述初始网络模型中,对所述第一样本输出结果和所述第二样本输出结果进行集成,得到所述样本对象针对所述样本业务数据的样本任务指标预估值,基于所述第一样本输出结果、所述第二样本输出结果、所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,对所述初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型;所述目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
14.根据权利要求13所述的方法,其特征在于,所述在所述初始网络模型中,对所述第一样本输出结果和所述第二样本输出结果进行集成,得到所述样本对象针对所述样本业务数据的样本任务指标预估值,基于所述第一样本输出结果、所述第二样本输出结果、所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,对所述初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型,包括:
在所述初始网络模型中,对所述第一样本输出结果和所述第二样本输出结果进行平均处理,得到所述样本对象针对所述样本业务数据的样本任务指标预估值;
基于所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,确定所述初始网络模型的第一模型损失值;
基于所述第一样本输出结果和所述样本对象针对所述样本业务数据的样本标签信息,确定所述第一初始多任务子模型的第二模型损失值;
基于所述第二样本输出结果和所述样本对象针对所述样本业务数据的样本标签信息,确定所述第二初始多任务子模型的第三模型损失值;
根据所述第一模型损失值、所述第二模型损失值和所述第三模型损失值,确定所述初始网络模型的总损失值,根据所述总损失值对所述初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型。
15.根据权利要求13所述的方法,其特征在于,所述初始网络模型还包括初始预估值集成子模型;
所述在所述初始网络模型中,对所述第一样本输出结果和所述第二样本输出结果进行集成,得到所述样本对象针对所述样本业务数据的样本任务指标预估值,基于所述第一样本输出结果、所述第二样本输出结果、所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,对所述初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型,包括:
基于所述第一样本输出结果和所述样本对象针对所述样本业务数据的样本标签信息,确定所述第一初始多任务子模型的第二模型损失值,根据所述第二模型损失值对所述第一初始多任务子模型进行参数调整,将参数调整后的第一初始多任务子模型作为第一多任务子模型;
基于所述第二样本输出结果和所述样本对象针对所述样本业务数据的样本标签信息,确定所述第二初始多任务子模型的第三模型损失值,根据所述第三模型损失值对所述第二初始多任务子模型进行参数调整,将参数调整后的第二初始多任务子模型作为第二多任务子模型;
对所述第一样本输出结果和所述第二样本输出结果进行拼接处理,得到拼接样本输出特征;
将所述拼接样本输出特征输入至所述初始预估值集成子模型,通过所述初始预估值集成子模型对所述拼接样本输出特征中的所述第一样本输出结果和所述第二样本输出结果进行集成学习,得到所述样本对象针对所述样本业务数据的样本任务指标预估值;
基于所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,对所述初始预估值集成子模型进行参数调整,将参数调整后的初始预估值集成子模型作为预估值集成子模型;
将参数调整后的初始网络模型作为目标网络模型;所述目标网络模型包括所述预估值集成子模型、所述第一多任务子模型和所述第二多任务子模型。
16.一种数据处理装置,其特征在于,包括:
数据获取模块,用于获取目标网络模型和与目标业务数据相关联的目标对象,根据所述目标对象和所述目标业务数据确定输入数据;所述目标网络模型包括第一多任务子模型和第二多任务子模型;所述第一多任务子模型和所述第二多任务子模型均是基于至少两个任务指标所生成的;
第一输出模块,用于通过所述第一多任务子模型对所述输入数据进行特征提取,得到模式共享特征和所述至少两个任务指标分别对应的权重共享特征,根据所述模式共享特征和至少两个权重共享特征,输出与所述至少两个任务指标相关联的第一输出结果;所述第一多任务子模型包括至少两个专家网络层和所述至少两个任务指标分别指示的权重学习层;至少两个权重共享特征是由所述至少两个任务指标分别指示的权重学习层进行权重学习所确定的;所述模式共享特征是由所述至少两个专家网络层进行特征学习所确定的;
第二输出模块,用于将所述输入数据分别输入所述第二多任务子模型中的至少两个任务子网络,根据每个任务子网络分别输出的任务结果,确定所述第二多任务子模型所输出的与所述至少两个任务指标相关联的第二输出结果;
结果集成模块,用于在所述目标网络模型中,对所述第一输出结果和所述第二输出结果进行集成,得到所述目标对象针对所述目标业务数据的任务指标预估值;所述集成是指对所述第一输出结果和所述第二输出结果进行平均处理;或所述集成是指通过所述目标网络模型中的预估值集成子模型对拼接输出特征中的第一平均输出结果和第二平均输出结果进行集成学***均输出结果和所述第二平均输出结果进行拼接处理得到,所述拼接输出特征还用于输入至所述预估值集成子模型,所述第一平均输出结果是基于所述第一输出结果所生成的,所述第二平均输出结果是基于所述第二输出结果所生成的。
17.一种数据处理装置,其特征在于,包括:
样本数据获取模块,用于获取初始网络模型和与样本对象相关联的样本业务数据,根据所述样本对象和所述样本业务数据确定样本输入数据;所述初始网络模型包括第一初始多任务子模型和第二初始多任务子模型;所述第一初始多任务子模型和所述第二初始多任务子模型均是基于至少两个任务指标所生成的;
第一样本输出模块,用于通过所述第一初始多任务子模型对所述样本输入数据进行特征提取,得到样本模式共享特征和所述至少两个任务指标分别对应的样本权重共享特征,根据所述样本模式共享特征和至少两个样本权重共享特征,输出与所述至少两个任务指标相关联的第一样本输出结果;
第二样本输出模块,用于将所述样本输入数据分别输入所述第二初始多任务子模型中的至少两个初始任务子网络,根据每个初始任务子网络分别输出的样本任务结果,确定所述第二初始多任务子模型所输出的与所述至少两个任务指标相关联的第二样本输出结果;
样本结果集成模块,用于在所述初始网络模型中,对所述第一样本输出结果和所述第二样本输出结果进行集成,得到所述样本对象针对所述样本业务数据的样本任务指标预估值,基于所述第一样本输出结果、所述第二样本输出结果、所述样本对象针对所述样本业务数据的样本标签信息和所述样本任务指标预估值,对所述初始网络模型进行参数调整,将参数调整后的初始网络模型作为目标网络模型;所述目标网络模型用于预测目标对象针对目标业务数据的任务指标预估值。
18.一种计算机设备,其特征在于,包括:处理器和存储器;
所述处理器与所述存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-15任一项所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。
CN202210352996.7A 2022-04-06 2022-04-06 一种数据处理方法、装置、计算机设备以及可读存储介质 Active CN114428811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210352996.7A CN114428811B (zh) 2022-04-06 2022-04-06 一种数据处理方法、装置、计算机设备以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210352996.7A CN114428811B (zh) 2022-04-06 2022-04-06 一种数据处理方法、装置、计算机设备以及可读存储介质

Publications (2)

Publication Number Publication Date
CN114428811A CN114428811A (zh) 2022-05-03
CN114428811B true CN114428811B (zh) 2022-06-17

Family

ID=81314382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210352996.7A Active CN114428811B (zh) 2022-04-06 2022-04-06 一种数据处理方法、装置、计算机设备以及可读存储介质

Country Status (1)

Country Link
CN (1) CN114428811B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472649A (zh) * 2019-06-21 2019-11-19 中国地质大学(武汉) 基于多尺度分析和集成树模型的脑电情感分类方法及***
CN112396000A (zh) * 2020-11-19 2021-02-23 中山大学 一种多模态密集预测的深度信息传输模型的构建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8805861B2 (en) * 2008-12-09 2014-08-12 Google Inc. Methods and systems to train models to extract and integrate information from data sources
US11625615B2 (en) * 2019-07-03 2023-04-11 Kpn Innovations, Llc. Artificial intelligence advisory systems and methods for behavioral pattern matching and language generation
CN111062484B (zh) * 2019-11-19 2023-06-09 鼎富智能科技有限公司 基于多任务学习的数据集选取方法及装置
CN114282681A (zh) * 2021-08-11 2022-04-05 腾讯科技(深圳)有限公司 多任务处理及模型的训练方法、装置、介质及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472649A (zh) * 2019-06-21 2019-11-19 中国地质大学(武汉) 基于多尺度分析和集成树模型的脑电情感分类方法及***
CN112396000A (zh) * 2020-11-19 2021-02-23 中山大学 一种多模态密集预测的深度信息传输模型的构建方法

Also Published As

Publication number Publication date
CN114428811A (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN113590849A (zh) 多媒体资源分类模型训练方法和多媒体资源推荐方法
CN112988979B (zh) 实体识别方法、装置、计算机可读介质及电子设备
CN112035743B (zh) 数据推荐方法、装置、计算机设备以及存储介质
CN111046275B (zh) 基于人工智能的用户标签确定方法及装置、存储介质
CN111708950A (zh) 内容推荐方法、装置及电子设备
CN111738010B (zh) 用于生成语义匹配模型的方法和装置
CN112989212B (zh) 媒体内容推荐方法、装置和设备及计算机存储介质
CN114692007B (zh) 表示信息的确定方法、装置、设备及存储介质
CN114201516A (zh) 一种用户画像构建的方法、信息推荐的方法以及相关装置
CN115482021A (zh) 多媒体信息推荐方法、装置、电子设备及存储介质
CN112269943B (zh) 一种信息推荐***及方法
CN115131052A (zh) 一种数据处理方法、计算机设备和存储介质
CN111191059B (zh) 图像处理方法、装置、计算机存储介质及电子设备
CN114078024A (zh) 广告库存的预估方法、装置、介质以及电子设备
CN114428811B (zh) 一种数据处理方法、装置、计算机设备以及可读存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
CN115130561A (zh) 池化算子的处理方法、装置、设备及存储介质
CN112417260B (zh) 本地化推荐方法、装置及存储介质
CN114817697A (zh) 标签信息的确定方法、装置、电子设备以及存储介质
CN113761272A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114596108A (zh) 一种对象推荐方法、装置、电子设备及存储介质
CN111935259A (zh) 目标帐号集合的确定方法和装置、存储介质及电子设备
CN116628236B (zh) 多媒体信息的投放方法、装置、电子设备及存储介质
CN114610905B (zh) 一种数据处理方法及相关装置
CN117711001B (zh) 图像处理方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40070932

Country of ref document: HK