CN115456680A - 基于交叉特征提取模型的广告点击预测方法及其相关设备 - Google Patents

基于交叉特征提取模型的广告点击预测方法及其相关设备 Download PDF

Info

Publication number
CN115456680A
CN115456680A CN202211148881.2A CN202211148881A CN115456680A CN 115456680 A CN115456680 A CN 115456680A CN 202211148881 A CN202211148881 A CN 202211148881A CN 115456680 A CN115456680 A CN 115456680A
Authority
CN
China
Prior art keywords
data
feature extraction
advertisement
cross
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211148881.2A
Other languages
English (en)
Inventor
孔德松
彭铁磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202211148881.2A priority Critical patent/CN115456680A/zh
Publication of CN115456680A publication Critical patent/CN115456680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例属于人工智能领域，应用于智慧社区领域中，涉及一种基于交叉特征提取模型的广告点击预测方法及其相关设备，包括收集用户广告行为数据，对用户广告行为数据进行数据清洗操作和数据加工操作，获得第一数据；基于交叉特征提取模型提取第一数据的交叉特征，直至达到迭代次数，获得第二数据；基于组合特征提取模型和叶子特征融合模型处理第一数据，直至达到预设迭代次数，获得第三数据；对第二数据和第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征，并拼接，获得目标特征；将目标特征输入预训练的点击预测模型，获得广告点击预测结果。用户广告行为数据可存储于区块链中。提高对广告点击预测的准确性。

Description

基于交叉特征提取模型的广告点击预测方法及其相关设备
技术领域
本申请涉及人工智能技术领域，尤其涉及基于交叉特征提取模型的广告点击预测方法及其相关设备。
背景技术
在进入21世纪以来，互联网得到了极大的发展，借助互联网平台的在线广告，展示了巨大的价值。相对比于传统的广告投放，互联网在线广告，具丰富多样，成本低廉，个性化推荐等优点，因此基于互联网在线广告成为各个知名公司的重要投放地方，也是各大互联网平台的战略方向。目前，互联网的广告投放主要存在两种形式，分别为在线展示广告和在线搜索广告。对于互联网的广告的重要节点，在于预测点击的估算。预测点击的估算是智能广告推荐的性能评估的核心。因此研究并建模用户行为的预测点击率具备重要意义。
基于个人推荐的智能广告***给在线广告带来巨大的发展机会。预测点击率(Click-through Rate，CTR)作为智能推荐的核心，目前有大量的模型应用。在学术界和工业界中，基于用户行为信息的预测率估计，研究学者提出的各自算法模型，用于提高广告预测点击率。线性回归作为最开始的预测模型，因其简单的模型结构，容易计算，最初作用于广告预测率的点击，同时也是目前应用最广的广告模型。但是因为需要大量的人工交叉特征，并不能很好的自动提取广告的特征。但是，现有技术存在预测的广告点击率的准确性不高的情况。
发明内容
本申请实施例的目的在于提出一种基于交叉特征提取模型的广告点击预测方法及其相关设备，提高对广告点击预测的准确性。
为了解决上述技术问题，本申请实施例提供一种基于交叉特征提取模型的广告点击预测方法，采用了如下所述的技术方案：
一种基于交叉特征提取模型的广告点击预测方法，包括下述步骤：
收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据；
基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据；
基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据；
分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征；
拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征；
将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
进一步的，所述对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据的步骤包括:
识别所述用户广告行为数据中的关键数据，确认所述关键数据是否存在缺失；
若所述关键数据缺失，则删除对应的所述用户广告行为数据，获得清洗后的所述用户广告行为数据；
将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据。
进一步的，所述用户广告行为数据包括用户名称，所述将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据的步骤包括：
基于所述用户名称对所述用户广告行为数据进行连表操作，获得宽表，并将所述宽表加载到预设的大数据的ADS层；
基于独热编码对所述大数据ADS层中的宽表进行维度扩充操作，获得所述第一数据。
进一步的，所述交叉特征提取模型包括交叉输入层，嵌入层，特征交叉层和注意力池化层，所述基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据的步骤包括：
将所述第一数据输入至所述交叉特征提取模型中，所述嵌入层将所述第一数据中取值为1的正向特征与预设的h个嵌入块进行乘积，获得嵌入向量；
所述特征交叉层，基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征；
将所述交叉特征输入至所述注意力池化层，获得输出的所述第二数据。
进一步的，所述基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征的步骤包括：
基于如下公式对所述第一数据进行元素智能乘积处理：
Figure BDA0003855129460000031
其中，b为偏置，xi为第i个所述第一数据，xj
为第j个所述第一数据，vi为第i个所述嵌入向量，vj为第j个所述嵌入向量。P为预设的权重矩阵，
Figure BDA0003855129460000032
为所述交叉特征。
进一步的，所述组合特征提取模型包括多个决策树，所述基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据的步骤包括：
将所述第一数据输入至所述组合特征提取模型中，通过所述决策树对所述第一数据进行分类；
提取各所述决策树的叶子节点的特征，作为隐含向量；
将所述隐含向量输入至所述叶子特征融合模型进行组合，直至达到预设迭代次数，获得所述第三数据。
进一步的，所述将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果的步骤包括：
基于如下公式计算所述广告点击预测结果：
Figure BDA0003855129460000041
其中，y为输出，表示所述广告点击预测结果，Fm为所述组合特征，w为预设初始权重值，b为偏置，T表示转置运算符。
为了解决上述技术问题，本申请实施例还提供一种基于交叉特征提取模型的广告点击预测装置，采用了如下所述的技术方案：
一种基于交叉特征提取模型的广告点击预测装置，包括：
收集模块，用于收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据；
第一提取模块，用于基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据；
第二提取模块，用于基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据；
全连接特征提取模块，用于分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征；
拼接模块，用于拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征；
预测模块，用于将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述的基于交叉特征提取模型的广告点击预测方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述的基于交叉特征提取模型的广告点击预测方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请能够有效提高广告点击率的预测。基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率，可以有效的提高在线互联网广告平台的广告个性化推荐能力，并且本申请基于多模型进行预测，可以避免传统广告预测方法中，采用大量人力和物力的进行人工分析的问题，实现广告***人力成本的降低。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的基于交叉特征提取模型的广告点击预测方法的一个实施例的流程图；
图3是根据本申请的基于交叉特征提取模型的广告点击预测装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：200、计算机设备；201、存储器；202、处理器；203、网络接口；300、基于交叉特征提取模型的广告点击预测装置；301、收集模块；302、第一提取模块；303、第二提取模块；304、全连接特征提取模块；305、拼接模块；306、预测模块。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于交叉特征提取模型的广告点击预测方法一般由服务器/终端设备执行，相应地，基于交叉特征提取模型的广告点击预测装置一般设置于服务器/终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于交叉特征提取模型的广告点击预测方法的一个实施例的流程图。所述的基于交叉特征提取模型的广告点击预测方法，包括以下步骤：
S1：收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据。
在本实施例中，本申请通过应用软件(APP)进行用户的数据采集，从而获得多条所述用户广告行为数据。本申请数据的收集和处理，用于模型训练的原始数据，是在用户发生点击或者浏览的行为时，通过APP端的埋点上报方式进行数据采集，并基于kafak平台，将所采集到的数据落库到大数据的ods层，形成原始数据(即用户广告行为数据)。
具体的，在步骤S1中，即对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据的步骤包括:
识别所述用户广告行为数据中的关键数据，确认所述关键数据是否存在缺失；
若所述关键数据缺失，则删除对应的所述用户广告行为数据，获得清洗后的所述用户广告行为数据；
将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据。
在本实施例中，若所述关键数据缺失，则删除对应的所述用户广告行为数据，获得清洗后的所述用户广告行为数据。若所述关键数据未存在缺失，则可以直接将用户广告行为数据认为是清洗后的用户广告行为数据。每条所述用户广告行为数据包括用户名称(ID)、城市、***、手机类型、素材分类以及资源位等字段。举例如表1所示，表1仅展示本申请的部分字段。其中，用户名称和手机类型属于关键数据。清洗的具体步骤包括：通过数据轮询查询的方式，对用户名称、手机类型等关键数据进行判断，如果收集信息中缺失这个关键数据，则删除该关键数据对应的用户广告行为数据，否则查询下一个用户广告行为数据。最后保存所有未删除的用户广告行为数据，获得清洗后的用户广告行为数据。将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据。
表1包含多维度信息的用户广告行为数据
字段名 例子
用户名称 15645334
城市 广州
*** 安卓
手机类型 苹果
素材分类 保险
资源位 弹窗
进一步的，所述用户广告行为数据包括用户名称，所述将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据的步骤包括：
基于所述用户名称对所述用户广告行为数据进行连表操作，获得宽表，并将所述宽表加载到预设的大数据的ADS层；
基于独热编码对所述大数据ADS层中的宽表进行维度扩充操作，获得所述第一数据。
在本实施例中，基于用户名称进行连表操作，包括用户广告行为数据的素材内容，素材分类以及素材关键字等数据，以加工为宽表。并将宽表加载到大数据ADS层，以形成数据输出。并且，为了可以有效的对原始行为数据进行特征提取，基于独热(one-hot)编码将宽表中的用户广告行为数据转换为数值编码，以实现维度扩充，将广告行为数据的分类变量作为二进制向量，以将宽表转换为数值特征，主要采用的方式为：基于广告行为数据的当前字段存在的N个状态(例如，男女，存在两个属性，其状态的个数N为2；或者，例如，城市名称有663个城市，存在663个属性，状态的个数N为663)，每个状态对应的状态位都存在独立特征，并且任意只有一位为1，其他的标志位0，公式如下
Figure BDA0003855129460000091
其中，X为输出(即第一数据中的某一维度的输出)，k代表的是第几个所述属性，n代表状态位的个数。
由上述公式被编码后的宽表，可以获取到包含高维维度位，并且高度稀疏的特征向量。
用户广告行为数据转换为数值编码举例如表2所示：
表2用户广告行为数据转换为数值编码
是否点击 安卓 ios 男 女
1 0 1 1 0
S2：基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据。
在本实施例中，交叉特征提取模型为attentional factorization machine(AFM)。
具体的，所述交叉特征提取模型包括交叉输入层，嵌入层，特征交叉层和注意力池化层，在步骤S2中，即所述基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据的步骤包括：
将所述第一数据输入至所述交叉特征提取模型中，所述嵌入层将所述第一数据中取值为1的正向特征与预设的h个嵌入块进行乘积，获得嵌入向量；
所述特征交叉层，基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征；
将所述交叉特征输入至所述注意力池化层，获得输出的所述第二数据。
在本实施例中，交叉特征提取模型(AFM)是在FM上的改进，它最大的特点就是使用一个注意力网络(attention network)来学习不同组合特征的重要性。FM通过为每一个特征学习一个嵌入向量，也叫做隐向量，通过两个隐向量的内积来表示这个组合特征的权重。AFM经过编码后获得的第一数据为高维度稀疏化特征数据，本申请结合AFM将高维度稀疏化特征数据嵌入到低维向量空间中，以实现从高维度特征提取交叉特征。并在后续过程中结合不同特征以及不同权重，以提高线性回归的预测精度。
AFM模型包括5个堆叠层：交叉输入层、嵌入层(Embedding层)、特征交叉层(Pair-wise Interaction层)和注意力池化层(Attention Pooling层)。将第一数据通过输入层输入至AFM模型中，在广告稀疏的特征中，嵌入层对于所述第一数据中取值为1的正向特征，将所述正向特征与h个Embedding进行乘积，得到k*h维的嵌入向量(Vx)，其中，k为对应特征编码后的长度，即k为Embedding后获得的矩阵(即特征向量)的长度。具体操作为：
Figure BDA0003855129460000101
其中，Vx为获得的k*h维的嵌入向量，h为AFM模型的初始参数，根据实际需要设定，不同的数据对应不同的h的值，h代表第h个Embedding块。T表示矩阵转置。
在经过嵌入层后，特征的N个嵌入向量进行元素智能乘积(element-wiseproduct)处理，元素智能乘积(element-wise product)对每一个输入的第一数据乘以一个嵌入向量。换句话说，是对数据集的每一列进行缩放,以实现对广告组合特征的建模，得到数量为n(n-1)/2，维度为k的组合特征，其操作为：
Figure BDA0003855129460000102
其中，b为偏置，xi为第i个所述第一数据，xj为第j个所述第一数据，vi为第i个所述嵌入向量，vj为第j个所述嵌入向量。P为预设的权重矩阵，初始值随机，之后随着模型迭代会不断更新。
Figure BDA0003855129460000111
为获得的交叉特征。其中，i，j是随机的轮询组合，表示AFM中的两两组合特征。
进一步的，为体现交叉特征的重要程度，特征交叉层(Pair-wise Interaction层)获得的数据进行Attention处理，具体操作为，对不同的交叉特征
Figure BDA0003855129460000112
乘积注意分数(attention score，aij)。进一步，结合MLP(多层感知网络)对注意分数(attention score)进行初始化，其中，该多层感知网络是一种前馈训练参数的方式，在该多层感知网络中选择的映射函数为sigmoid，作为前馈训练的计算函数，最终可以到：
Figure BDA0003855129460000113
其中，y为输出的第二数据，w0、wi为初始的权重，
Figure BDA0003855129460000114
为第i个所述交叉特征，
Figure BDA0003855129460000115
为第j个所述交叉特征，n表示所述第一数据的条数，p为预设的权重向量，aij为所述注意分数(attention score)，其值为实际中通过调参决定；vi为第i个所述嵌入向量，vj为第j个所述嵌入向量。
本申请在在构建完成整个网络以后，基于平方损失函数(squared loss)对整个网络进行特征训练，直至平方损失函数趋于平稳，提取训练完成的特征F1，即第二数据。
S3：基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据。
在本实施例中，组合特征提取模型为Gradient Boosting Decision Tree(GDBT)，组合特征提取模型用于提取第一数据的组合特征。叶子特征融合模型为FatorizationMachine(FM)，用于融合所述第一数据的组合特征的决策树叶子节点特征。
在本实施例中，上述的交叉特征提取模型、组合特征提取模型和叶子特征融合模型为预先接收的。基于交叉特征提取模型的广告点击预测方法运行于其上的电子设备(例如图1所示的服务器/终端设备)可以通过有线连接方式或者无线连接方式接收预设的交叉特征提取模型、组合特征提取模型和叶子特征融合模型。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
具体的，所述组合特征提取模型包括多个决策树，所述基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据的步骤包括：
将所述第一数据输入至所述组合特征提取模型中，通过所述决策树对所述第一数据进行分类；
提取各所述决策树的叶子节点的特征，作为隐含向量；
将所述隐含向量输入至所述叶子特征融合模型进行组合，直至达到预设迭代次数，获得所述第三数据。
在本实施例中，广告数据作为一种包含丰富且稀疏的特征，本专利基于GDBT和FM构造组合混合网络，实现并行训练，以实现提取选择组合特征。GDBT作为决策森林，其具备快速的筛选出具备不同特征权重的特征，和特征组合，可以较好的适应广告巨大的数据量已经稀疏的特点。所构建的GDBT由多个弱分类决策树组合而成强分类器，并基于Gradientboosting，实现梯度下降，以达到最优的决策深林，其输入为编码后的第一数据(稀疏特征广告向量)。
本申请初始化n-1个决策树f(x)，其组合的决策深林为：
Figure BDA0003855129460000121
其中，i为第i个决策树，x为所述第一数据。所构建的GDBT的残差函数为损失函数的导数：
Figure BDA0003855129460000122
其中，公式中y为所述GDBT模型的输出,称为隐含向量。
在GDBT训练完成以后，提取决策深林的叶子节点的特征，以组合为广告的组合离散特征向量。进一步的，构建FM模型，以进一步交叉组合特征，挖掘更深层次的广告特征，所堆叠构造FM网络，有输入层，特征组合层，输出层。输入层为由GDBT提取的所述隐含向量作为输入。特征组合层，基于因子分解机制，对隐含向量进行点积处理交叉特征xixj参数实现不独立，可以有效的实现二次参数估计，以实现减少广告特征的稀疏性。实现不同权重的特征交叉组合，其具体操作为：
Figure BDA0003855129460000131
其中，w0、wi为初始的权重，b为偏置，<...>表示对ij的隐含向量点积操作，v'i为第i维度的隐含向量，v'j为第j维度的隐含向量，xi为第i个所述第一数据，xj为第j个所述第一数据，公式中y为所述FM网络的输出。
由特征组合层后，提取由GDBT和FM组成的混合网络的特征向量F2(即第三数据)。
S4：分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征。
在本实施例中，通过全连接层进行全连接特征提取操作，分别获得第二数据的全连接特征和第三数据的全连接特征。
S5：拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征。
在本实施例中，拼接所述第二数据的全连接特征和所述第三数据的全连接特征，以实现对不同维度的广告特征进行组合。具体操作为：
Figure BDA0003855129460000132
其中，F1为所述第二数据的全连接特征，F2为所述第三数据的全连接特征，Fm为所述组合特征。
S6：将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
在本实施例中，所述点击预测模型为Logistic Regression(LR)。
其中，在步骤S6中，即所述将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果的步骤包括：
基于如下公式计算所述广告点击预测结果：
Figure BDA0003855129460000141
其中，y为输出，表示所述广告点击预测结果，Fm为所述组合特征，w为预设初始权重值，b为偏置，T表示转置运算符。
在本实施例中，获得拼接后的组合特征后，构建逻辑回归模型，用于获得广告预测点击率。
本申请基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率，可以有效的提高在线互联网广告平台的广告个性化推荐能力，并且本申请基于多层网络，可以避免传统广告预测方法中，采用大量人力和物力的问题，实现广告***人力成本的降低。
在本实施例中，基于因子分解网络(Factorization Machine，FM),注意力因子分解网络(Attention Factorization Machine,AFM)和梯度提升迭代决策树(GradientBoosting Decision Tree，GDBT)实现多模融合，以提高用户广告预测点击率。首先，通过one-hot编码对原始数据进行处理，以实现数据维度扩展，然后基于AFM将的高维稀疏特征数据嵌入到低维向量空间中，结合GDBT-FM，提取GDBT的叶子节点特征数据，FM对其进行二次特征提取，实现深层次特征提取。进一步的，基于特征拼接的方式，将AFM和GDBT-FM的特征向量进行拼接。最后结合逻辑回归预测，进行回归预测，以此得到高精度的预测模型。本申请可以有效的提高的广告点击率的预测。
需要强调的是，为进一步保证上述用户广告行为数据的私密和安全性，上述用户广告行为数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请可应用于智慧社区领域中，从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于交叉特征提取模型的广告点击预测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于交叉特征提取模型的广告点击预测装置300包括：收集模块301、第一提取模块302、第二提取模块303、全连接特征提取模块304、拼接模块305以及预测模块306。收集模块301，用于收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据；第一提取模块302，用于基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据；第二提取模块303，用于基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据；全连接特征提取模块304，用于分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征；拼接模块305，用于拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征；预测模块306，用于将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
在本实施例中，本申请能够有效提高广告点击率的预测。基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率，可以有效的提高在线互联网广告平台的广告个性化推荐能力，并且本申请基于多模型进行预测，可以避免传统广告预测方法中，采用大量人力和物力的进行人工分析的问题，实现广告***人力成本的降低。
所述收集模块301包括识别子模块、删除子模块和加工子模块。其中，所述识别子模块用于识别所述用户广告行为数据中的关键数据，确认所述关键数据是否存在缺失；删除子模块用于在所述关键数据缺失时，删除对应的所述用户广告行为数据，获得清洗后的所述用户广告行为数据；加工子模块用于将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据。
所述用户广告行为数据包括用户名称，加工子模块包括连表单元和扩充单元，其中，连表单元用于基于所述用户名称对所述用户广告行为数据进行连表操作，获得宽表，并将所述宽表加载到预设的大数据的ADS层；扩充单元用于基于独热编码对所述大数据ADS层中的宽表进行维度扩充操作，获得所述第一数据。
所述交叉特征提取模型包括交叉输入层，嵌入层，特征交叉层和注意力池化层，第一提取模块302包括输入子模块、乘积子模块和注意子模块，其中，输入子模块用于将所述第一数据输入至所述交叉特征提取模型中，所述嵌入层将所述第一数据中取值为1的正向特征与预设的h个嵌入块进行乘积，获得嵌入向量；乘积子模块用于所述特征交叉层，基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征；注意子模块用于将所述交叉特征输入至所述注意力池化层，获得输出的所述第二数据。
所述注意子模块还用于：基于如下公式对所述第一数据进行元素智能乘积处理：
Figure BDA0003855129460000171
其中，b为偏置，xi为第i个所述第一数据，xj为第j个所述第一数据，vi为第i个所述嵌入向量，vj为第j个所述嵌入向量。P为预设的权重矩阵，
Figure BDA0003855129460000172
为所述交叉特征。
所述组合特征提取模型包括多个决策树，所述第二提取模块303包括分类子模块，提取子模块和组合子模块，其中，所述分类子模块用于将所述第一数据输入至所述组合特征提取模型中，通过所述决策树对所述第一数据进行分类；所述提取子模块用于提取各所述决策树的叶子节点的特征，作为隐含向量；所述组合子模块用于将所述隐含向量输入至所述叶子特征融合模型进行组合，直至达到预设迭代次数，获得所述第三数据。
所述预测模块306还用于基于如下公式计算所述广告点击预测结果：
Figure BDA0003855129460000173
其中，y为所述广告点击预测结果，Fm为所述组合特征，w为预设初始权重值，b为偏置，T为转置运算符。
本申请能够有效提高广告点击率的预测。基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率，可以有效的提高在线互联网广告平台的广告个性化推荐能力，并且本申请基于多模型进行预测，可以避免传统广告预测方法中，采用大量人力和物力的进行人工分析的问题，实现广告***人力成本的降低。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备200包括通过***总线相互通信连接存储器201、处理器202、网络接口203。需要指出的是，图中仅示出了具有组件201-203的计算机设备200，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器201至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器201可以是所述计算机设备200的内部存储单元，例如该计算机设备200的硬盘或内存。在另一些实施例中，所述存储器201也可以是所述计算机设备200的外部存储设备，例如该计算机设备200上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器201还可以既包括所述计算机设备200的内部存储单元也包括其外部存储设备。本实施例中，所述存储器201通常用于存储安装于所述计算机设备200的操作***和各类应用软件，例如基于交叉特征提取模型的广告点击预测方法的计算机可读指令等。此外，所述存储器201还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器202在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器202通常用于控制所述计算机设备200的总体操作。本实施例中，所述处理器202用于运行所述存储器201中存储的计算机可读指令或者处理数据，例如运行所述基于交叉特征提取模型的广告点击预测方法的计算机可读指令。
所述网络接口203可包括无线网络接口或有线网络接口，该网络接口203通常用于在所述计算机设备200与其他电子设备之间建立通信连接。
在本实施例中，基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于交叉特征提取模型的广告点击预测方法的步骤。
在本实施例中，基于多模型实现广告特征的交叉特征的融合，从高维稀疏特征中有效的挖掘广告的深层次特征，以实现较高预测准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于交叉特征提取模型的广告点击预测方法，其特征在于，包括下述步骤：
收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据；
基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据；
基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据；
分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征；
拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征；
将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
2.根据权利要求1所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据的步骤包括:
识别所述用户广告行为数据中的关键数据，确认所述关键数据是否存在缺失；
若所述关键数据缺失，则删除对应的所述用户广告行为数据，获得清洗后的所述用户广告行为数据；
将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据。
3.根据权利要求2所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述用户广告行为数据包括用户名称，所述将清洗后的所述用户广告行为数据加工为稀疏特征向量，获得所述第一数据的步骤包括：
基于所述用户名称对所述用户广告行为数据进行连表操作，获得宽表，并将所述宽表加载到预设的大数据的ADS层；
基于独热编码对所述大数据ADS层中的宽表进行维度扩充操作，获得所述第一数据。
4.根据权利要求1所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述交叉特征提取模型包括交叉输入层，嵌入层，特征交叉层和注意力池化层，所述基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据的步骤包括：
将所述第一数据输入至所述交叉特征提取模型中，所述嵌入层将所述第一数据中取值为1的正向特征与预设的h个嵌入块进行乘积，获得k*h维的嵌入向量；
所述特征交叉层，基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征；
将所述交叉特征输入至所述注意力池化层，获得输出的所述第二数据。
5.根据权利要求4所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述基于所述嵌入向量对所述第一数据进行元素智能乘积处理，获得交叉特征的步骤包括：
基于如下公式对所述第一数据进行元素智能乘积处理：
Figure FDA0003855129450000021
其中，b为偏置，xi为第i个所述第一数据，xj为第j个所述第一数据，vi为第i个所述嵌入向量，vj为第j个所述嵌入向量。P为预设的权重矩阵，
Figure FDA0003855129450000022
为所述交叉特征。
6.根据权利要求1所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述组合特征提取模型包括多个决策树，所述基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据的步骤包括：
将所述第一数据输入至所述组合特征提取模型中，通过所述决策树对所述第一数据进行分类；
提取各所述决策树的叶子节点的特征，作为隐含向量；
将所述隐含向量输入至所述叶子特征融合模型进行组合，直至达到预设迭代次数，获得所述第三数据。
7.根据权利要求1所述的基于交叉特征提取模型的广告点击预测方法，其特征在于，所述将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果的步骤包括：
基于如下公式计算所述广告点击预测结果：
Figure FDA0003855129450000031
其中，y为所述广告点击预测结果，Fm为所述组合特征，w为预设初始权重值，b为偏置，T为转置运算符。
8.一种基于交叉特征提取模型的广告点击预测装置，其特征在于，包括：
收集模块，用于收集用户广告行为数据，对所述用户广告行为数据依次进行数据清洗操作和数据加工操作，获得第一数据；
第一提取模块，用于基于交叉特征提取模型循环提取所述第一数据的交叉特征，直至达到迭代次数，获得第二数据；
第二提取模块，用于基于组合特征提取模型和叶子特征融合模型循环处理所述第一数据，直至达到预设迭代次数，获得第三数据；
全连接特征提取模块，用于分别对所述第二数据和所述第三数据进行全连接特征提取操作，获得第二数据的全连接特征和第三数据的全连接特征；
拼接模块，用于拼接所述第二数据的全连接特征和所述第三数据的全连接特征，获得目标特征；
预测模块，用于将所述目标特征输入至预训练的点击预测模型中，获得广告点击预测结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于交叉特征提取模型的广告点击预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于交叉特征提取模型的广告点击预测方法的步骤。
CN202211148881.2A 2022-09-20 2022-09-20 基于交叉特征提取模型的广告点击预测方法及其相关设备 Pending CN115456680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211148881.2A CN115456680A (zh) 2022-09-20 2022-09-20 基于交叉特征提取模型的广告点击预测方法及其相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211148881.2A CN115456680A (zh) 2022-09-20 2022-09-20 基于交叉特征提取模型的广告点击预测方法及其相关设备

Publications (1)

Publication Number Publication Date
CN115456680A true CN115456680A (zh) 2022-12-09

Family

ID=84305569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211148881.2A Pending CN115456680A (zh) 2022-09-20 2022-09-20 基于交叉特征提取模型的广告点击预测方法及其相关设备

Country Status (1)

Country Link
CN (1) CN115456680A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562357A (zh) * 2023-07-10 2023-08-08 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116562357A (zh) * 2023-07-10 2023-08-08 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置
CN116562357B (zh) * 2023-07-10 2023-11-10 深圳须弥云图空间科技有限公司 点击预测模型训练方法及装置

Similar Documents

Publication Publication Date Title
CN112085565B (zh) 基于深度学习的信息推荐方法、装置、设备及存储介质
CN112231569A (zh) 新闻推荐方法、装置、计算机设备及存储介质
CN112418292A (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN114647741A (zh) 工艺自动决策和推理方法、装置、计算机设备及存储介质
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
CN112036483B (zh) 基于AutoML的对象预测分类方法、装置、计算机设备及存储介质
CN113052262A (zh) 表单生成方法、装置、计算机设备及存储介质
CN114398477A (zh) 基于知识图谱的政策推荐方法及其相关设备
CN115099326A (zh) 基于人工智能的行为预测方法、装置、设备及存储介质
CN112529477A (zh) 信用评估变量筛选方法、装置、计算机设备及存储介质
CN115456680A (zh) 基于交叉特征提取模型的广告点击预测方法及其相关设备
CN113283222B (zh) 自动化报表生成方法、装置、计算机设备及存储介质
CN114359582A (zh) 一种基于神经网络的小样本特征提取方法及相关设备
CN114519420A (zh) 一种空气质量预测方法、装置、计算机设备及存储介质
CN116563034A (zh) 基于人工智能的购买预测方法、装置、设备及存储介质
CN116777646A (zh) 基于人工智能的风险识别方法、装置、设备及存储介质
CN111143568A (zh) 一种论文分类时的缓冲方法、装置、设备及存储介质
CN116703515A (zh) 基于人工智能的推荐方法、装置、计算机设备及存储介质
CN115730603A (zh) 基于人工智能的信息提取方法、装置、设备及存储介质
CN115392361A (zh) 一种智能排序方法、装置、计算机设备及存储介质
CN115203516A (zh) 基于人工智能的信息推荐方法、装置、设备及存储介质
CN114238574B (zh) 基于人工智能的意图识别方法及其相关设备
CN116452239A (zh) 基于人工智能的数据预测方法、装置、设备及存储介质
CN114647733B (zh) 一种问答语料评估方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination