CN112348600A - 业务推广对象的维护方法、装置、计算机设备和存储介质 - Google Patents

业务推广对象的维护方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112348600A
CN112348600A CN202011379503.6A CN202011379503A CN112348600A CN 112348600 A CN112348600 A CN 112348600A CN 202011379503 A CN202011379503 A CN 202011379503A CN 112348600 A CN112348600 A CN 112348600A
Authority
CN
China
Prior art keywords
promotion
decision
model
decision tree
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011379503.6A
Other languages
English (en)
Inventor
曾文清
李考忠
李家晖
魏建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Zhizhen Information Technology Co ltd
Original Assignee
Guangzhou Zhizhen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Zhizhen Information Technology Co ltd filed Critical Guangzhou Zhizhen Information Technology Co ltd
Priority to CN202011379503.6A priority Critical patent/CN112348600A/zh
Publication of CN112348600A publication Critical patent/CN112348600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种业务推广对象的维护方法、装置、计算机设备和存储介质,所述方法包括:获取业务推广对象在对应推广平台中的投放数据;将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,实现了自动对广告后续投放进行及时维护,摆脱人为经验式的维护方法,有效降低广告投放成本。

Description

业务推广对象的维护方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种业务推广对象的维护方法、装置、计算机设备和存储介质。
背景技术
广告投放是吸引客户的手段之一,在现有技术中,当广告投放后,依靠广告优化师对广告投放进行后续维护,通过广告优化师的个人经验判断关闭广告或者保留广告继续进行宣传推广。
然而,依赖于个人经验确定广告后续维护方式,容易导致广告维护不及时,例如未能及时将推广效率低的广告关闭,难以有效降低广告投放成本。
发明内容
基于此,有必要针对上述技术问题,提供一种业务推广对象的维护方法、装置、计算机设备和存储介质。
一种业务推广对象的维护方法,所述方法包括:
获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
可选地,所述决策结果为多个支持概率之和;所述根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,包括:
当所述多个支持概率之和大于或等于预设阈值时,确定继续在对应推广平台投放所述业务推广对象;
当所述多个支持概率之和小于所述预设阈值时,针对所述业务推广对象生成停止在对应推广平台中继续投放的信息。
可选地,还包括:
获取样本业务推广对象在对应推广平台中的样本投放数据,以及初始化梯度提升决策树模型的当前支持概率;
计算预先定义的目标函数对于所述当前支持概率的导数信息;根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,并将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率;
返回所述计算预先定义的目标函数对于所述当前支持概率的导数信息的步骤,重复建立新的决策树,对所述梯度提升决策树模型进行迭代训练,直到满足训练结束条件,将当前的梯度提升决策树模型作为所述决策模型。
可选地,所述根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,包括:
在所述梯度提升决策树模型中,新建立一棵初始决策树,并根据所述导数信息和最优切分点划分算法,对新建立的初始决策树进行叶子节点***,当所述叶子节点***满足***停止条件时停止***,得到新建好的决策树;
将包含所述新建好的决策树的梯度提升决策树模型,作为调整后的梯度提升决策树模型。
可选地,所述方法还包括:
获取多项样本预设指标,并从中获取互为重复的多个关联指标;
针对所述多个样本预设指标,对其中的所述多个关联指标进行去重,得到去重后的样本预设指标;
所述将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率,包括:
将所述去重后的样本预设指标对应的样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率。
可选地,所述多项预设指标包括以下至少两项:推广次数、推介对象被浏览次数、推广开始时间、推广结束时间、销售量、销售额、点击量、观众数量、点击通过率、购物车添加量、购物车添加金额;
所述从中获取互为重复的多个关联指标,包括:
从所述多项样本预设指标中,获取至少两项预设指标对应的相关性系数;
当所述相关性系数超过预设阈值,将获取的至少两项预设指标确定为互为重复的多个关联指标。
可选地,所述获取样本业务推广对象在对应推广平台中的样本投放数据,包括:
获取对应推广平台的投放规则和投放流程信息;
根据所述投放规则和投放流程信息,从所述对应推广平台中获取样本业务推广对象对应的样本投放数据;
所述投放流程信息包括以下至少一项:
受众定位流程、推广对象展示流程、点击流程、引流流程、加购流程、下单流程、订单处理流程。
一种业务推广对象的维护装置,所述装置包括:
投放数据获取模块,用于获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
输入模块,用于将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
决策模块,用于根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法的步骤。
上述一种业务推广对象的维护方法、装置、计算机设备和存储介质,通过获取业务推广对象在对应推广平台中的投放数据,将投放数据输入至预先训练的决策模型中,以通过决策维护模型中的多棵决策树,分别根据投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,实现了自动对广告后续投放进行及时维护,摆脱人为经验式的维护方法,有效降低广告投放成本。
附图说明
图1为一个实施例中一种业务推广对象的维护方法的应用环境图;
图2为一个实施例中一种业务推广对象的维护方法的流程示意图;
图3为一个实施例中梯度提升决策树模型训练步骤的流程示意图;
图4为一个实施例中决策模型构建步骤的流程示意图;
图5为一个实施例中一种业务推广对象的维护装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的一种业务推广对象的维护方法,可以应用于如图1所示的应用环境中。其中,终端102可以通过网络与推广平台104进行通信,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,推广平台104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种业务推广对象的维护方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的***,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤201,获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效益。
作为一示例,业务推广对象可以是指具有业务推广信息发布功能的对象,业务推广信息为用于推广、介绍、宣传产品相关内容的信息,例如关于产品的特性、功能、效果的信息;具体而言,业务推广对象可以包括宣传广告,对应推广平台可以是投放业务推广对象的平台,例如,当宣传广告通过电子商务的方式进行投放,对应推广平台可以是电商平台;当宣传广告通过短信、电话等方式进行投放时,对应推广平台可以是通信平台;当宣传广告通过自媒体方式进行投放时,对应推广平台可以是社交平台;对应推广平台还可以是指数据流量较大(如超过数据流量阈值或活跃用户数量超过数量阈值)的平台。当然,推广平台可以是本领域人员根据实际情况选择的平台,本申请中对推广平台不作限制。
预设指标可以包括以下至少两项:推广次数(也可以称为展示量)、推介对象被浏览次数、推广开始时间、推广结束时间、销售量、销售额、点击量、观众数量(也可以称为覆盖人数)、点击通过率(Click-Through-Rate,CTR)、购物车添加量、购物车添加金额、投放天数、落地页浏览量、每点击成本(Cost Per Click,CPC)、转化率(Click Value Rate,CVR)、千次展现价格(Cost Per Mille,CPM)、投资回报率(Return on Investment,ROI)。
在实际应用中,可以获取业务推广对象在对应推广平台中的投放数据,其中,投放数据包括多项预设指标对应的数据,各项预设指标可以反映业务推广对象在对应推广平台中的推广效益。
在一个示例中,还可以基于预设指标衍生出其他指标,例如父级特征、相关特征、环比特征等信息。其中,父级特征是指同组样本中,其他样本预设指标对该样本预设特征的影响程度;相关特征是指关联指标的相关程度;环比特征是指针对同一样本预设指标,根据时间维度计算环比值。
步骤202,将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果。
在具体实现中,可以设置有预先训练的决策模型,在获取到投放数据后,可以将投放数据输入到决策模型。该决策模型中包括多棵决策树,决策模型中的多棵决策树可以分别根据投放数据和预先定义的目标函数,确定业务推广对象继续在对应推广平台中进行投放的支持概率,将多棵决策树输出的支持概率进行融合,决策模型可以输出决策结果。
步骤203,根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
在得到决策模型输出的决策结果后,可以根据该决策结果,确定是否继续在对应推广平台中投放业务推广对象,具体而言,可以判断该决策结果是否满足继续投放条件,当满足继续投放条件时,可以继续进行投放业务推广对象。
在本申请实施例中,通过获取业务推广对象在对应推广平台中的投放数据,将投放数据输入至预先训练的决策模型中,以通过决策维护模型中的多棵决策树,分别根据投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,实现了自动对广告后续投放进行及时维护,摆脱人为经验式的维护方法,有效降低广告投放成本。
进一步地,由于决策模型可以根据投放数据客观确定维护方式,避免主观判断带来的干扰,同时,通过决策模型自动确定广告后续的维护方式,可以支持批量的广告维护方式判断,随广告投放数量的增加,无需增加人力成本,大幅提高维护效率。
在一个实施例中,决策结果可以使多个支持概率之和,所述根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,可以包括如步骤:
当所述多个支持概率之和大于或等于预设阈值时,确定继续在对应推广平台投放所述业务推广对象;当所述多个支持概率之和小于所述预设阈值时,针对所述业务推广对象生成停止在对应推广平台中继续投放的信息。
在实际应用中,由于决策结果可以是量化的多个支持概率之和,在确定是否继续投放业务推广对象时,可以对多个支持概率之和与预设阈值进行比较,当多个支持概率之和大于或等于预设阈值时,可以确定保留该业务推广对象向,继续在对应推广平台中投放。当多个支持概率之和小于预设阈值时,可以针对该业务推广对象,生成停止在对应推广平台继续投放的信息,并将该信息反馈至相关客户端,以建议用户关闭该业务推广对象。其中,预设阈值可以设置为0.5,或者,也可以根据实际需求设置,例如根据预算资金或业务推广对象的重要程度设置。
在本实施例中,当所述多个支持概率之和大于或等于预设阈值时,确定继续在对应推广平台投放所述业务推广对象;当多个支持概率之和小于所述预设阈值时,针对业务推广对象生成停止在对应推广平台中继续投放的信息,实现了通过量化的概率值确定广告投放方式,提供高可靠性的广告投放决策依据。
在一个实施例中,如图3所示,所述方法还可以包括如下步骤:
步骤301,获取样本业务推广对象在对应推广平台中的样本投放数据,以及初始化梯度提升决策树模型的当前支持概率。
作为一示例,样本业务推广对象可以是指作为模型训练样本的业务推广对象。
在实际应用中,可以获取样本业务推广对象在对应推广平台中的样本投放数据,以及初始化梯度决策模型针对样本投放数据的当前支持概率,具体的,在训练刚开始时,当前支持概率可以进行初始化,例如可以将当前支持概率初始化为0。
步骤302,计算预先定义的目标函数对于所述当前支持概率的导数信息;根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,并将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率。
在实际应用中,可以预先定义目标函数,在得到当前支持概率后,可以计算预先定义的目标函数对于当前支持概率的导数信息。在得到导数信息后,可以根据导数信息在梯度提升决策树模型中新建一棵决策树,并将样本投放数据输入到调整后的梯度提升决策树模型中,获取该模型输出的新的当前支持概率。具体的,在将样本投放数据输入到调整后的梯度提升决策树模型时,可以利用模型中新建的决策树预测支持概率,并将该支持概率累加到原来的支持概率中,最终模型可以输出新的当前概率值。
其中,预先定义的目标函数由损失函数l和抑制模型复杂度的正则项Ω组成,可以采用如下公式表示:
Figure BDA0002809002550000081
当前支持概率值可以采用如下公式表示:
Figure BDA0002809002550000082
其中,y′i为第i个样本业务推广对象对应的当前支持概率,ft为第t棵决策树,
Figure BDA0002809002550000083
为由第t棵决策树模型预测的支持概率,
Figure BDA0002809002550000084
为损失函数,该损失函数由预测值y′i和真实值yi表示,
Figure BDA0002809002550000085
为梯度提升决策树模型的正则项。
步骤303,返回所述计算预先定义的目标函数对于所述当前支持概率的导数信息的步骤,重复建立新的决策树,对所述梯度提升决策树模型进行迭代训练,直到满足训练结束条件,将当前的梯度提升决策树模型作为所述决策模型。
在得到新的当前支持概率后,可以返回步骤302,再次计算目标函数对于新的当前支持概率的导数信息,并根据导数信息新建一棵决策树,不断循环,重复新在梯度提升决策模型中新建决策树,获取调整后的梯度提升决策树模型输出的新的当前支持概率的步骤,对梯度提升决策树模型进行迭代训练,直到满足训练结束条件时,可以将当前的梯度提升决策树模型作为决策模型,并且,可以通过预设公式将最终预测的支持概率归一化,使支持概率处于(0,1)的范围中。其中,训练结束条件可以是达到预设训练次数,或者损失函数对应的值满足阈值条件等,本领域技术人员可以根据实际需要选择,支持概率的归一化可以通过如下公式实现:
Figure BDA0002809002550000091
在具体实现中,业务推广对象维护方式的预测需要解决两大问题:时间序列问题、特征之间关联问题,而梯度提升决策树模型的优势之一在于特征组合,最终训练得到的决策模型通过特征组合,可以解决时间序列问题和特征之间关联问题,甚至可以组合时间序列上的特征之间关联问题。
若采用其他模型,则无法达到本申请中的效果,例如,若使用“双神经网络-MLP(多层感知器,Multi-Layer Perceptron)”,虽然在重复训练的过程中,虽然可以拟合任何非线性的样本特征,但无法对模型进行解释,同时不具备组合时间序列、特征之间关联的能力,该模型也常存在过拟合的风险。
又如,若采用“双神经网络-Bi-LSTM(双向长期短期记忆,Bi-directional LongShort-Term Memory)”模型,该模型虽然具有一定的时间序列处理能力,但针对特征之间关联的处理能力弱,同时Bi-LSTM的时间序列处理能力是在离散样本之上,而非连续样本,而样本业务推广对象对应的样本投放数据是连续的、数值型的,难于对于其离散化,这也是Bi-LSTM不能应用于数值建模预测项目的原因之一。此外,数值型离散化会增加模型训练难度。
在本实施例中,获取样本业务推广对象在对应推广平台中的样本投放数据以及当前支持概率,对梯度提升决策树模型进行训练,通过采用梯度提升决策树算法对投放数据进行特征组合,对广告维护方式进行预测,提高决策模型针对广告维护方式的预测可靠性。
在一个实施例中,所述获取样本业务推广对象在对应推广平台中的样本投放数据,可以包括如下步骤:
获取对应推广平台的投放规则和投放流程信息;根据所述投放规则和投放流程信息,从所述对应推广平台中获取样本业务推广对象对应的样本投放数据。
在具体实现中,不同的推广平台可以具有不同的投放规则和投放流程,其中,投放规则是投放平台的API(Application Programming Interface,应用程序接口)规则,该规则向用户提供数据对接的规范,投放流程为业务推广对象的投放流程。作为一示例,投放流程信息可以包括以下至少一项:受众定位流程、推广对象展示流程、点击流程、引流流程、加购流程、下单流程、订单处理流程。
基于此,可以获取对应推广平台的投放规则和投放流程信息,在得到投放规则和投放流程信息后,可以进行数据采集,从对应推广平台中获取一个或多个样本业务推广对象对应的样本投放数据,样本投放数据可以包括多个样本预设指标。具体的,针对受众定位流程,可以获取到推广对象对应的覆盖人数;针对推广对象展示流程,可以确定推广对象对应的展示量;针对点击流程,可以获取到推广对象对应链接被点击的次数,即点击量;针对引流流程,可以获取落地页浏览量;针对架构流程,则可以获取到购物车添加量和购物车添加金额;针对下单流程,可以获取推广对象对应的下单量;针对订单处理流程,可以获取到销售量和销售额。
可选地,可以进行数据摸底,即针对从对应推广平台中获取的多个样本投放数据,可以对数据维度、数据准确性、数据完整性和数据及时性进行验证,保证采集回来的样本投放数据的数据质量。
在本实施例中,通过根据投放规则和投放流程信息,从对应推广平台中获取样本业务推广对象对应的样本投放数据,决策模型只需要根据投放规则和投放流程信息获取响应的样本投放数据进行自学,能够快速适应推广平台的规则变化获取相应的样本投放数据,有效避免人为经验式维护无法及时同步平台规则的弊端,无需增加额外的人工学习成本。
在一个实施例中,所述方法还可以包括如下步骤:
获取多项样本预设指标,并从中获取互为重复的多个关联指标;针对所述多个样本预设指标,对其中的所述多个关联指标进行去重,得到去重后的样本预设指标。
作为一示例,互为重复的多个关联指标,可以指关联度高于阈值,并且,在模型训练过程中,产生相同训练效果的多个预设指标。
在广告投放数据分析中,业务推广对象的两个或多个样本预设指标可以存在关联关系的,例如商品销售额与广告资金投入量,在时间上存在正比例关系。在实际中,业务推广对象可以存在海量的预设指标,为了避免冗余计算,可以对预设指标进行筛选。
具体的,可以进行数据探索,获取样本推广对象对应的多项预设指标,并从多项样本预设指标中,获取互为重复的多个关联指标。在得到互为重复的多个关联指标后,针对已有的多个样本预设指标,可以对其中的多个关联指标进行去重,得到去重后的样本预设指标。
所述将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率,可以包括如下步骤:
将所述去重后的样本预设指标对应的样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率。
在获取去重后的样本预设指标后,可以将去重后的样本预设指标对应的样本投放数据输入到调整后的梯度提升决策树模型,获取该模型输出的新的当前支持概率,继续进行模型训练。
在本实施例中,实现了在梯度提升决策树模型的训练过程中,对多项样本预设指标中互为重复的关联指标进行去重,并使用去重后样本预设指标对应的样本投放数据进行模型训练,能够避免冗余计算,缩短训练时间。
在一个实施例中,所述从中获取互为重复的多个关联指标,可以包括如下步骤:
从所述多项样本预设指标中,获取至少两项预设指标对应的相关性系数;当所述相关性系数超过预设阈值,将获取的至少两项预设指标确定为互为重复的多个关联指标。
作为一示例,相关性系数可以表征多个预设指标之间的关联程度。在本申请一示例中,相关性系数可以是非线性特征。具体而言,两两样本预设指标之间存在线性关系,但求解相关性系数的过程可以是非线性的,相关性系数可以通过如下公式求解:
θ=(XTX)-1XTy
其中,X为预设指标对应的样本投放数据组成的矩阵,T表示矩阵的转置操作,y为行向量。
在得到相关性系数后,可以判断相关性系数是否超过预设阈值,当相关性系数超过预设阈值时,可以确定获取的至少两项预设指标关联性高,在进行模型训练时可以不同同时基于获取的至少两项预设指标进行训练,避免冗余计算,因此,可以将相关性系数超过预设阈值至少两项预设指标,确定为互为重复的多个关联指标。
在本实施例中,当相关性系数超过预设阈值,将获取的至少两项预设指标确定为互为重复的多个关联指标,实现了通过相关性系数进行预设指标的筛选,为避免冗余计算、缩短模型训练时间提供基础。
在一个示例中,通过构建特征的两两指标线性相关系数,可以作为新特征输入模型进行训练。在传统数据分析方法中,特征的加减并不产生信息的特征,因此无法从多个维度的特征中提取新的维度的信息;而特征的除法会导致信息损失,例如4/2等于2,而100/50也等于2,但特征4、2所包含的信息,与特征100、50所包含的信息是不相同。而在本示例中,可以通过相关性系数减少模型训练时间,实践表明,不采用相关性系数进行模型训练对应的训练时间,是采用相关性系数进行模型训练的训练时间的18倍,但其准确率却低于采用相关性系数进行训练的模型
可选地,还可以对多个样本预设指标对应的数据进行其他计算处理,例如可以进行特征融合,计算各个样本预设指标对应数据的最大值、最小值、均值、方差、汇总信息;或者,还可以获取样本预设指标的历史特征,该历史特征为样本预设指标的历史数据与其他数据进行比对的统计信息。
在一个实施例中,所述根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,可以包括如下步骤:
在所述梯度提升决策树模型中,新建立一棵初始决策树,并根据所述导数信息和最优切分点划分算法,对新建立的初始决策树进行叶子节点***,当所述叶子节点***满足***停止条件时停止***,得到新建好的决策树;将包含所述新建好的决策树的梯度提升决策树模型,作为调整后的梯度提升决策树模型。
在实际应用中,可以在梯度提升决策树模型中,新建立一棵初始决策树,初始决策树的树深可以为0,在得到初始决策树后,可以根据导数信息和最优切分点划分算法,对新建立的初始决策树进行叶子节点***,在每次***时,可以***出左右两个叶子节点,当叶子节点***满足***停止条件时停止***,可以得到新建好的决策树,进而可以将包含新建好的决策树的梯度提升决策树模型,作为调整后的梯度提升决策树模型。
具体而言,***停止条件可以包括如下任一种或多种:当增益值(Gain)小于增益阈值,则停止叶子节点***;或者,当决策树的树深达到预设的最大深度时,停止***,因为树深过大,容易出现过拟合的现象。当***停止条件为增益值小于增益阈值则停止***,可以通过如下公式计算增益值:
Figure BDA0002809002550000131
其中,GL为左叶子节点所包含样本的一阶偏导数累加之和,GR为右叶子节点所包含样本的一阶偏导数累加之和,HL为左叶子节点所包含样本的二阶偏导数累加之和,HR为右叶子节点所包含样本的二阶偏导数累加之和,γ和λ为预先设定的参数。
在本实施例中,能够根据导数信息和最优切分点划分算法,对新建的决策树进行叶子节点***,寻找最优的切分点,有效控制叶子节点的***情况。
为了使本领域技术人员能够更好地理解本申请中的模型构建过程,以下通过一个例子对本申请实施例加以示例性说明,但应当理解的是,本申请实施例并不限于此。
如图4所示,在构建决策模型时,首先可以根据投放规则和投放流程信息,以每个广告为最小采集粒度,在对应推广平台中进行数据采集。针对采集到的、包括广告投放天数、覆盖人数、展示量、点击量、落地页浏览量、销售量、销售额在内的1200多个样本预设指标对应的数据,可以进行数据摸底,对数据采集维度、数据准确性、数据完整性、数据及时性进行验证,并在验证通过后,进行数据探索,获取用于训练模型的多个样本预设指标,在进行数据标准化后,将其输入至梯度提升决策树模型进行数据建模和模型训练。
在模型训练结束,得到决策模型后,可以对模型的预测效果进行评估,具体的,可以通过验证集的预测值和实际值,计算召回率、精确率、准确率和AUC值(Area UnderCurve,定义为受试者工作特征曲线(Receiver operating characteristic,ROC)下与坐标轴围成的面积值)中的一个或多个,对模型效果进行评估。
当决策模型的模型效果通过评估时,可以进行算法模型固化,具体而言,可以将决策模型部署上线,接受任务调度,并进行模型的后续维护。
应该理解的是,虽然图1-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图5所示,提供了一种业务推广对象的维护装置,包括:
投放数据获取模块501,用于获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
输入模块502,用于将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
决策模块503,用于根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
在一个实施例中,所述决策结果为多个支持概率之和;所述决策模块403,包括:
第一决策结果输出子模块,用于当所述多个支持概率之和大于或等于预设阈值时,确定继续在对应推广平台投放所述业务推广对象;
第二决策结果输出子模块,用于当所述多个支持概率之和小于所述预设阈值时,针对所述业务推广对象生成停止在对应推广平台中继续投放的信息。
在一个实施例中,所述装置还包括:
样本投放数据获取模块,用于获取样本业务推广对象在对应推广平台中的样本投放数据,以及初始化梯度提升决策树模型的当前支持概率;
导数信息计算模块,用于计算预先定义的目标函数对于所述当前支持概率的导数信息;根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,并将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率;
训练模块,用于返回所述计算预先定义的目标函数对于所述当前支持概率的导数信息的步骤,重复建立新的决策树,对所述梯度提升决策树模型进行迭代训练,直到满足训练结束条件,将当前的梯度提升决策树模型作为所述决策模型。
在一个实施例中,所述导数信息计算模块,包括:
叶子节点***子模块,用于在所述梯度提升决策树模型中,新建立一棵初始决策树,并根据所述导数信息和最优切分点划分算法,对新建立的初始决策树进行叶子节点***,当所述叶子节点***满足***停止条件时停止***,得到新建好的决策树;
调整子模块,用于将包含所述新建好的决策树的梯度提升决策树模型,作为调整后的梯度提升决策树模型。
在一个实施例中,所述装置还包括:
样本预设指标获取模块,用于获取多项样本预设指标,并从中获取互为重复的多个关联指标;
去重模块,用于针对所述多个样本预设指标,对其中的所述多个关联指标进行去重,得到去重后的样本预设指标;
所述导数信息计算模块,包括:
样本投放数据输入子模块,用于将所述去重后的样本预设指标对应的样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率。
在一个实施例中,所述多项预设指标包括以下至少两项:推广次数、推介对象被浏览次数、推广开始时间、推广结束时间、销售量、销售额、点击量、观众数量、点击通过率、购物车添加量、购物车添加金额;
所述样本预设指标获取模块,包括:
相关性系数确定子模块,用于从所述多项样本预设指标中,获取至少两项预设指标对应的相关性系数;
关联指标确定子模块,用于当所述相关性系数超过预设阈值,将获取的至少两项预设指标确定为互为重复的多个关联指标。
在一个实施例中,所述样本投放数据获取模块,包括:
投放规则获取子模块,用于获取对应推广平台的投放规则和投放流程信息;
数据提取子模块,用于根据所述投放规则和投放流程信息,从所述对应推广平台中获取样本业务推广对象对应的样本投放数据;
所述投放流程信息包括以下至少一项:
受众定位流程、推广对象展示流程、点击流程、引流流程、加购流程、下单流程、订单处理流程。
关于一种业务推广对象的维护装置的具体限定可以参见上文中对于一种业务推广对象的维护方法的限定,在此不再赘述。上述一种业务推广对象的维护装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种业务推广对象的维护方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
在一个实施例中,处理器执行计算机程序时还实现上述实施例中的其他步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
在一个实施例中,计算机程序被处理器执行时还实现上述实施例中的其他步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种业务推广对象的维护方法,其特征在于,所述方法包括:
获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
2.根据权利要求1所述的方法,其特征在于,所述决策结果为多个支持概率之和;所述根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象,包括:
当所述多个支持概率之和大于或等于预设阈值时,确定继续在对应推广平台投放所述业务推广对象;
当所述多个支持概率之和小于所述预设阈值时,针对所述业务推广对象生成停止在对应推广平台中继续投放的信息。
3.根据权利要求1所述的方法,其特征在于,还包括:
获取样本业务推广对象在对应推广平台中的样本投放数据,以及初始化梯度提升决策树模型的当前支持概率;
计算预先定义的目标函数对于所述当前支持概率的导数信息;根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,并将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率;
返回所述计算预先定义的目标函数对于所述当前支持概率的导数信息的步骤,重复建立新的决策树,对所述梯度提升决策树模型进行迭代训练,直到满足训练结束条件,将当前的梯度提升决策树模型作为所述决策模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述导数信息在所述梯度提升决策树模型中新建一棵决策树,包括:
在所述梯度提升决策树模型中,新建立一棵初始决策树,并根据所述导数信息和最优切分点划分算法,对新建立的初始决策树进行叶子节点***,当所述叶子节点***满足***停止条件时停止***,得到新建好的决策树;
将包含所述新建好的决策树的梯度提升决策树模型,作为调整后的梯度提升决策树模型。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取多项样本预设指标,并从中获取互为重复的多个关联指标;
针对所述多个样本预设指标,对其中的所述多个关联指标进行去重,得到去重后的样本预设指标;
所述将所述样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率,包括:
将所述去重后的样本预设指标对应的样本投放数据输入至调整后的梯度提升决策树模型,获取所述梯度提升决策树模型输出的新的当前支持概率。
6.根据权利要求5所述的方法,其特征在于,所述多项预设指标包括以下至少两项:推广次数、推介对象被浏览次数、推广开始时间、推广结束时间、销售量、销售额、点击量、观众数量、点击通过率、购物车添加量、购物车添加金额;
所述从中获取互为重复的多个关联指标,包括:
从所述多项样本预设指标中,获取至少两项预设指标对应的相关性系数;
当所述相关性系数超过预设阈值,将获取的至少两项预设指标确定为互为重复的多个关联指标。
7.根据权利要求3所述的方法,其特征在于,所述获取样本业务推广对象在对应推广平台中的样本投放数据,包括:
获取对应推广平台的投放规则和投放流程信息;
根据所述投放规则和投放流程信息,从所述对应推广平台中获取样本业务推广对象对应的样本投放数据;
所述投放流程信息包括以下至少一项:
受众定位流程、推广对象展示流程、点击流程、引流流程、加购流程、下单流程、订单处理流程。
8.一种业务推广对象的维护装置,其特征在于,所述装置包括:
投放数据获取模块,用于获取业务推广对象在对应推广平台中的投放数据;所述投放数据包括多项预设指标的数据,所述预设指标反映所述业务推广对象在对应推广平台中的推广效果;
输入模块,用于将所述投放数据输入至预先训练的决策模型中,以通过所述决策维护模型中的多棵决策树,分别根据所述投放数据和预先定义的目标函数,得出将所述业务推广对象继续在对应推广平台中投放的支持概率,并融合所述多棵决策树对应的支持概率,输出对应的决策结果;
决策模块,用于根据所述决策模型输出的决策结果,确定是否继续在对应推广平台中投放所述业务推广对象。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN202011379503.6A 2020-11-30 2020-11-30 业务推广对象的维护方法、装置、计算机设备和存储介质 Pending CN112348600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011379503.6A CN112348600A (zh) 2020-11-30 2020-11-30 业务推广对象的维护方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011379503.6A CN112348600A (zh) 2020-11-30 2020-11-30 业务推广对象的维护方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112348600A true CN112348600A (zh) 2021-02-09

Family

ID=74366212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011379503.6A Pending CN112348600A (zh) 2020-11-30 2020-11-30 业务推广对象的维护方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112348600A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701770A (zh) * 2023-08-01 2023-09-05 北京创智汇聚科技有限公司 基于决策场景的请求响应优化方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122380A (zh) * 2011-02-25 2011-07-13 北京开心人信息技术有限公司 一种网络广告投放的实现方法及***
CN106651411A (zh) * 2015-10-29 2017-05-10 北京国双科技有限公司 广告推广策略的调整方法及装置
CN111768251A (zh) * 2020-09-03 2020-10-13 北京悠易网际科技发展有限公司 一种基于流量信息评估的广告投放方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122380A (zh) * 2011-02-25 2011-07-13 北京开心人信息技术有限公司 一种网络广告投放的实现方法及***
CN106651411A (zh) * 2015-10-29 2017-05-10 北京国双科技有限公司 广告推广策略的调整方法及装置
CN111768251A (zh) * 2020-09-03 2020-10-13 北京悠易网际科技发展有限公司 一种基于流量信息评估的广告投放方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701770A (zh) * 2023-08-01 2023-09-05 北京创智汇聚科技有限公司 基于决策场景的请求响应优化方法及***
CN116701770B (zh) * 2023-08-01 2023-10-27 北京创智汇聚科技有限公司 基于决策场景的请求响应优化方法及***

Similar Documents

Publication Publication Date Title
EP4145308A1 (en) Search recommendation model training method, and search result sorting method and device
CN108427708B (zh) 数据处理方法、装置、存储介质和电子装置
US20190364123A1 (en) Resource push method and apparatus
CN103502899B (zh) 动态预测建模平台
CN110555714A (zh) 用于输出信息的方法和装置
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
WO2022100518A1 (zh) 一种基于用户画像的物品推荐方法和装置
WO2015187661A1 (en) Systems and methods for serving product recommendations
CN109117442B (zh) 一种应用推荐方法及装置
US11811708B2 (en) Systems and methods for generating dynamic conversational responses using cluster-level collaborative filtering matrices
US11405337B2 (en) Systems and methods for generating dynamic conversational responses using ensemble prediction based on a plurality of machine learning models
CN110889759A (zh) 信用数据的确定方法、装置及存储介质
CN112070542B (zh) 信息转化率预测方法、装置、设备及可读存储介质
CN111062774B (zh) 活动投放方法、装置、电子设备和计算机可读介质
CN112258238A (zh) 用户生命价值周期检测方法、装置和计算机设备
CN113034168A (zh) 内容项投放方法、装置、计算机设备及存储介质
CN115630221A (zh) 终端应用界面展示数据处理方法、装置及计算机设备
CN112348600A (zh) 业务推广对象的维护方法、装置、计算机设备和存储介质
CN108876422B (zh) 用于信息推广的方法、装置、电子设备及计算机可读介质
US20220091713A1 (en) Systems and methods for generating dynamic interface options using machine learning models
US11676015B2 (en) Personalized recommendations using a transformer neural network
CN111489196A (zh) 基于深度学习网络的预测方法、装置、电子设备及介质
US11049041B2 (en) Online training and update of factorization machines using alternating least squares optimization
CN113570207B (zh) 用户策略分配方法、装置及电子设备
CN114820082A (zh) 消费额度预测方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination