CN114331531A - 基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 - Google Patents
基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 Download PDFInfo
- Publication number
- CN114331531A CN114331531A CN202111620925.2A CN202111620925A CN114331531A CN 114331531 A CN114331531 A CN 114331531A CN 202111620925 A CN202111620925 A CN 202111620925A CN 114331531 A CN114331531 A CN 114331531A
- Authority
- CN
- China
- Prior art keywords
- user
- model
- loss
- new
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000002922 simulated annealing Methods 0.000 title claims abstract description 26
- 238000005516 engineering process Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 54
- 230000000694 effects Effects 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 39
- 230000006399 behavior Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000000717 retained effect Effects 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于模拟退火思想的WaveNet技术针对个体行为洞察模型的营销活动预测方法，包括数据预处理步骤、训练集的生成步骤和预测模型建立步骤和营销活动预测步骤；本发明通过WaveNet模型对样本进行扩充，该样本包括两部分的输入特征序列，第一输入特征序列由用户的原始特征信息构成，第二输入特征序列将原始特征信息通过WaveNet网络框架预测并优选后形成的特征序列，同时模拟退火算法保证了新序列的有效性，显著提升了对用户点击行为预测的准确性。
Description
技术领域
本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法。
背景技术
点击率(Click-Through Rate，简称CTR)预估问题是互联网计算广告中的关键环节；对用户预估的准确性直接影响公司营销广告的收入。点击率预估问题是互联网计算广告中的关键环节，对用户预估的准确性直接影响公司营销广告的收入。
在广告投放过程中，一般会经历广告曝光、用户点击和用户注册(或称转化)这三个过程，CTR预估的一大目的是提高从广告曝光到用户点击的效率，即提高点击率。由于用户点击或不点击一般定义为用户行为的标签。
本领域技术人员清楚，传统的CTR预估可看做是一个有监督学习问题：即已知了用户点击行为等一系列特征后，将用户点击记为1，用户不点击记为0，从而进行二分类学习。
然而，在数据集生成过程中，一般会对一段时间内投放的多个批次的广告与用户点击行为统计、整理后作为训练样本，经模型训练后预测未来这些用户的点击概率。然而在实际过程中，由于受到运营环境、网络环境、成本控制等多方面的因素影响，在一些时间段内，回收的有效样本数可能较少。而机器学习的性能又往往依赖于大量高质量的样本，在这种情况下，如何在小样本情况下，依旧使得模型具有很强的鲁棒性，成为计算广告在实际中亟需解决的问题之一。
在样本数量有限的情况下，可以通过数据增强(Data Augmentation)来实现样本的扩充。例如在计算机领域，可以通过对图像样本进行翻转、旋转、缩放、剪裁等手段产生与原样本相似的新样本。
然而数据增强产生的新样本如果质量不高，例如过多的引入了噪声，则反而不利于模型的训练。因此，发展更可靠的数据增强技术对于在小样本的CTR预估问题中具有重要的理论和应用价值。
发明内容
本发明的目的在于克服现有技术存在的上述缺陷，提供一种基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法，其通过构造新特征，对小样本情况下的CTR预估进行数据增强，得到最终的预测用户点击的二分类学习器。
为实现上述目的，本发明的技术方案如下：
一种基于模拟退火思想的WaveNet技术针对个体行为洞察的营销预测方法，其包括据预处理步骤S1、训练集的生成步骤S2和预测模型建立步骤S3；
所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2；
步骤S12：对所述用户的原始特征信息进行异常检测与处理步骤；
步骤S13：通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理；
所述训练集的生成步骤S2包括：
S21：构建WaveNet网络框架，所述WaveNet网络框架包括输入层、一维卷积层和输出层；其中，一维卷积层分为三个层次，所述三个层次的膨胀率分别为1、2和4；依次将N个以用户ID为样本单位的所述原始特征信息作为第一输入特征序列集，输入到所述输入层，得到每个相应所述用户ID名下通过所述WaveNet网络框架下生成的新特征集；其中，所述一维卷积层将所述输入层神经元节点数和输入的原始特征信息存在一预定间隔进行嵌入处理；
S22：根据模拟退火对通过所述WaveNet网络框架下生成的新特征集中的新特征评估是否留存；
S23：将留存的新特征构建相应所述用户ID名下的第二输入特征序列集与所述第一输入特征序列集扩充形成新训练集；
所述预测模型建立步骤S3包括：
将所述新的训练集中的每一个样本对所述神经网络模型进行训练和验证，得到参数优化后的所述神经网络模型，并使用验证集进行验证，得到最终的预测网络模型。
具体地，所述步骤S22包括如下步骤：
步骤S221：根据损失函数Loss依次判断是否接受所述新特征，若Loss小于某一阈值ε，即证明新特征足够高，留存所述新特征，执行步骤S223；若Loss函数大于所述阈值ε，则执行步骤S222；
步骤S222：通过Metropolis准则判断是否接受该新特征；如果不满足，则拒绝所述新特征；如果满足，则接收所述新特征；
步骤S223：如果新特征全部判断完成，返回到原始数据中，将所有留存的所述新特征组成的第二输入特征序列集。
具体地，所述Metropolis准则表述为：
在温度为T，当前训练轮次的Loss为Loss-i，而新特征产生的Loss为Loss-j；若：Loss-j<Loss-i，则接受该新特征；否则，随机产生[0,1]区间内的一个随机数，若P＝exp[-(Loss-j–Loss-i)/KT]，则接受所述新特征，否则拒绝所述新特征。
进一步地。所述的营销预测方法，其还包括营销活动预测步骤S4，其具体包括：
步骤S41：获取拟对营销活动点击预测的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2；
步骤S42：对每一个所述用户的原始信息进行异常检测与处理步骤；通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理；
步骤S43：提供建立训练好的预测网络模型，依次使用从所述用户原始信息提取原始特征信，得到拟对营销活动点击预测的用户群体中所有所述用户的预测值；其中，所述用户的模型预测值为所述用户的点击意愿度。
进一步地，所述模型预测步骤S4还包括：
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
进一步地，所述步骤S3中还包括对所述基于模拟退火思想的WaveNet技术针对个体行为洞察模型的营销活动预测模型进行模型评价指标处理和调优处理；所述模型评价指标包括AUC值、Log loss值和相对信息增益RIG值。
进一步地，所述模型调优处理包括如下一种或几种：
增加批归一化，解决数据的内部协变量偏移问题；
在网络中增加让部分神经元在训练过程中处于休眠状态的功能；
调整学习率，一般会通过指数式衰减等策略调整训练过程中的学习率；
设置多种子训练取平均，以提高由于数据方差较大引起的泛化能力不足的问题；
增加L1或者L2正则化，对损失函数施加惩罚，以降低过拟合风险；
对超参数的优化方法。
从上述技术方案可以看出，本发明的基于模拟退火思想的WaveNet技术针对个体行为洞察的营销预测方法，可以有效利用WaveNet在小样本情况下生成新特征序列，同时模拟退火算法保证了新序列的有效性，显著提升了对用户点击行为预测的准确性。
附图说明
图1所示为本发明实施例中基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法的流程示意图
图2所示为本发明实施例中的WaveNet的框架示意图
图3所示为本发明实施例中的WaveNet序列生成示意图
图4所示为本发明实施例中模拟退火用于特征序列生成的示意图
图5所示为本发明实施例中用户点击率训练中损失函数-训练轮次关系曲线示意图
具体实施方式
下面结合附图1-5，对本发明的具体实施方式作进一步的详细说明。
在下述的具体实施方式中，在详述本发明的实施方式时，为了清楚地表示本发明的结构以便于说明，针对附图中的结构不依照一般比例绘图，并进行了局部放大、变形及简化处理，因此，应避免以此作为对本发明的限定来加以理解。
请参阅图1，图1所示为本发明基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法的流程示意图。如图1所示，该预测方法包括数据预处理步骤S1、训练集的生成步骤S2和预测模型建立步骤S3和营销活动预测步骤S4。
在本发明的实施例中，数据预处理步骤非常重要，所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2。
请参阅下表1，表1为预处理之前的原始数据的表格描述，预处理之前的原始数据形式如下表1所示：
表1
请注意此时，对于数据的标签，即用户是否点击，只区分为正样本(1)和未标记样本(0)。
在本发明的实施例中，上述的原始数据还需要经过异常检测与处理、类别特征处理、连续特征处理和降维处理等步骤。
步骤S12：对所述用户的原始信息进行异常检测与处理步骤。
异常检测与处理：在结合业务要求的过程中，对于原始数据中的缺失值、过大值等需要进行删除、填充等处理。在数据的采集过程中，由于一般用户量为百万级别，因此，采集过程中可能出现缺失情况；若缺失量较小，一般可直接进行剔除；若无法判断缺失数据是否会影响最终的模型训练效果，则一般可根据取平均数、众数和中位数等方法来填补缺失值。
并且在数据采集中，可能还会遇到过大值的问题，比如某用户在一天之内访问了DPI上万次，这种情况一般在实际建模过程中对于提升模型的泛化能力并无特别帮助，因此，也可以采用剔除的处理，或者采用填补的方法进行相应的处理。
从上表中可以看出，相比于传统的用户访问数据，每一个用户ID对应多个DPI访问记录，同时还给出了访问的时间。
步骤S13：对其他连续型或类别型特征进行处理；通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理。
类别特征处理：对于用户号码归属地等类别型特征，可以通过独热编码(one-hotenconding)进行展开。例如，归属地有(HN,LN,SH)，通过独热编码后，某个用户所在的归属地则为1，其他归属地则为0。以用户ID为199990为例，其归属地为HN，于是经过独热编码后，其归属地向量为(1,0,0)；对应的，用户199991和199992的归属地向量则为(0,1,0)和(0,0,1)。
连续特征处理：对于用户访问时间等连续特征，可利用RankGauss方法，调整数据分布。利用RankGauss方法对于连续特征调整数据分布处理和/或降维步骤；采用主成分分析法对经过类别特征处理后的髙维特征进行降维处理。
在本发明的实施例中，采用主成分分析(PCA)对髙维特征进行降维处理。由上述对于类别特征的处理可知，一般经过独热编码后，会形成高维稀疏矩阵，对于神经网络的训练而言，这意味着在误差反向传播时，很多地方没有办法求导，这显然是不利于网络训练的。同时，高维度特征，也增加了计算开销。因此有必要对于高维特征先进行降维处理。PCA通过求解原始数据在某投影方向的方差最大，实现降维目的；在减少特征维度的同时，尽量减少原始特征包含信息的损失，以达到对所收集数据进行全面分析的目的。
经过上述数据处理步骤后，就可以进行训练集的生成步骤S2。
本领域技术人员清楚，Wavenet模型是一种序列生成模型，可以用于语音生成建模。在语音合成的声学模型建模中，Wavenet模型可以直接学习到采样值序列的映射，因此，Wavenet模型具有很好的合成效果。
在本发明的实施例中，基于模拟退火思想构建的WaveNet深度学习网络的训练集就是通过WaveNet模型进行扩充的。该训练集包括两部分的输入特征序列，第一输入特征序列从所述用户的原始信息提取原始特征信息构成，第二输入特征序列从所述用户的原始信息提取原始特征信息通过WaveNet网络框架预测并优选后的特征序列。
请参阅图2，图2所示为本发明实施例中基于模拟退火思想的WaveNet技术针对个体行为洞察模型的网络整体架构示意图。如图2所示，该神经网络深度学习的网络框架包括输入层(Input layer)、一维卷积层(Embedding layer)和输出层(Output layer)。其中，一维卷积层(Embedding layer)也可以成为膨胀卷积(dilated convolution)。
S21：构建WaveNet网络框架，所述WaveNet网络框架包括输入层、一维卷积层和输出层；其中，一维卷积层分为三个层次，所述三个层次的膨胀率分别为1、2和4；依次将N个以用户ID为样本单位的所述原始特征信息作为第一输入特征序列集，输入到所述输入层，得到每个相应所述用户ID名下通过所述WaveNet网络框架下生成的新特征集；其中，所述一维卷积层将所述输入层神经元节点数和输入的原始特征信息存在一预定间隔进行嵌入处理，因此可以在传统的卷积操作基础上保存原始特征的局部特点。
在本发明的实施例中，输入层(Input layer)用于输入经过预处理后的各个用户的特征和根据模拟退火对WaveNet评估后留存的新特征。输出层(Output layer)：通过sigmoid函数输出预测。
S22：根据模拟退火对通过所述WaveNet网络框架下生成的新特征集中的新特征评估是否留存。
请参阅图3，图3所示为本发明实施例中通过WaveNet生成新特征并生成序列过程的示意图。如图3所示，该步骤S22具体包括：
步骤S221：根据损失函数Loss依次判断是否接受所述新特征，若Loss小于某一阈值ε，即证明新特征足够高，留存所述新特征，执行步骤S223；若Loss函数大于所述阈值ε，则执行步骤S222；
步骤S222：通过Metropolis准则判断是否接受该新特征；如果不满足，则拒绝所述新特征；如果满足，则接收所述新特征。
其中，所述Metropolis准则表述为：
在温度为T，当前训练轮次的Loss为Loss-i，而新特征产生的Loss为Loss-j；若：Loss-j<Loss-i，则接受该新特征；否则，随机产生[0,1]区间内的一个随机数，若P＝exp[-(Loss-j–Loss-i)/KT]，则接受所述新特征，否则拒绝所述新特征。
步骤S223：如果新特征全部判断完成，返回到原始数据中，将所有留存的所述新特征组成的第二输入特征序列集。
对上述生成新样本(第二输入特征序列)的过程的描述如下：
首先，第i个训练轮次(epoch i)，通过图2所构建的WaveNet训练输入样本，并最终得到预测值。
第二、第i+1个训练轮次(epoch i+1)：将第i个训练轮次的预测值添加到原始的输出中，组成新的训练数据。
第三、重复上述两个步骤，直到完成所有的第二输入特征序列。
具体地，请参阅图4，图4所示为本发明实施例中模拟退火用于特征序列生成的示意图。需要说明的是，根据模拟退火对WaveNet产生的新特征评估是否留存，即在新特征的生成过程中，容易生产某一次训练产生的新特征短暂的近邻训练轮次内可以提高预测效果，而在更多轮次的训练中却无法再提升模型效果。从优化的角度看，这是因为某些不够好的新特征使得网络训练陷入了局部最优，却不是全局最优。模拟退火算法能有效的解决局部最优解问题。
S23：将留存的新特征构建相应所述用户ID名下的第二输入特征序列集与所述第一输入特征序列集扩充形成新训练集。
上述生成步骤完成后，就可以执行所述预测模型建立步骤S3，可以具体包括将所述新的训练集中的每一个样本对所述神经网络模型进行训练和验证，得到参数优化后的所述神经网络模型，并使用验证集进行验证，得到最终的预测网络模型。
模型的评估请参阅图5，图5所示为本发明实施例中用户点击率训练中损失函数-训练轮次关系曲线示意图。该训练参数设置为mini-batch：128；epoch：50；优化器：Adam优化器。训练中损失函数随训练轮次的变化曲线如图5所示。同时，对比了传统的卷积神经网络(CNN)以及长短期记忆网络(LSTM)的效果，发现通过本专利所构建的网络在训练中损失函数可以更快更好的收敛。
在本发明的实施例中，步骤S3还可以包括对所述基于模拟退火思想的WaveNet技术针对个体行为洞察模型的营销活动预测模型进行模型评价指标处理和调优处理；所述模型评价指标包括AUC值、Log loss值和相对信息增益RIG值。
所述模型评价指标包括AUC(Area Under Curve)值、Log loss值和相对信息增益RIG(Relative Information Gain)值。一般来说，AUC值越接近1，则模型分类效果越好。Logloss值越小，说明点击率预估的准确度越高；相对信息增益值越大模型效果越好。
例如，在对数据按照上述步骤处理并通过模型训练后，通过本地验证的AUC值，可以判断该模型的训练效果；若效果较差，一般需要对模型进行调优，对于深度学习算法，一般可从如下几方面进行优化：
①、增加批归一化(Batch Normalization)，解决数据的内部协变量偏移问题(Internal Covariate Shift)。
②、在网络中增加Dropout，即让部分神经元在训练过程中处于休眠状态。
③、调整学习率，一般会通过指数式衰减等策略调整训练过程中的学习率。
④、设置多种子训练取平均，降低训练过程中的过拟合风险。
⑤、增加L1或者L2正则化，对损失函数施加惩罚，以降低过拟合风险。
⑥、超参数的优化。
在对超参数的优化方法上，一般可以采用网格搜索(Grid Search)或者随机搜索(Random Search)；但上述两种方法对于计算资源的消耗较大，且效率不高。在本发明的实施例中，采用贝叶斯优化(Bayesian Optimization)策略。贝叶斯优化通过高斯过程回归计算前面n个数据点的后验概率分布，得到每一个超参数在每一个取值点的均值和方差；贝叶斯优化通过均衡均值和方差，根据超参数间的联合概率分布，最终选择一组较好的超参数。
上述所有处理步骤完成后，就可以通过将上述特征带入训练好的用户预测模型，能够提前在广告投放之前就筛选出意愿较高的部分用户，并对这些用户进行营销广告的精准投放。
即本发明还可以还包括营销活动预测步骤S4，所述步骤S4具体包括：
步骤S41：获取拟对营销活动点击预测的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2；
步骤S42：对每一个所述用户的原始信息进行异常检测与处理步骤；通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理；
步骤S43：提供建立训练好的预测网络模型，依次使用从所述用户原始信息提取原始特征信，得到拟对营销活动点击预测的用户群体中所有所述用户的预测值；其中，所述用户的模型预测值为所述用户的点击意愿度；
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
结果表明，通过本发明的方法，可以有效利用WaveNet在小样本情况下生成新特征序列，同时模拟退火算法保证了新序列的有效性，显著提升了对用户点击行为预测的准确性。
以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。
Claims (7)
1.一种基于模拟退火思想的WaveNet技术针对个体行为洞察的营销预测方法，其特征在于，包括据预处理步骤S1、训练集的生成步骤S2和预测模型建立步骤S3；
所述数据预处理步骤S1包括如下步骤：
步骤S11：获取N个用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2；
步骤S12：对所述用户的原始特征信息进行异常检测与处理步骤；
步骤S13：通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理；
所述训练集的生成步骤S2包括：
S21：构建WaveNet网络框架，所述WaveNet网络框架包括输入层、一维卷积层和输出层；其中，一维卷积层分为三个层次，所述三个层次的膨胀率分别为1、2和4；依次将N个以用户ID为样本单位的所述原始特征信息作为第一输入特征序列集，输入到所述输入层，得到每个相应所述用户ID名下通过所述WaveNet网络框架下生成的新特征集；其中，所述一维卷积层将所述输入层神经元节点数和输入的原始特征信息存在一预定间隔进行嵌入处理；
S22：根据模拟退火对通过所述WaveNet网络框架下生成的新特征集中的新特征评估是否留存；
S23：将留存的新特征构建相应所述用户ID名下的第二输入特征序列集与所述第一输入特征序列集扩充形成新训练集；
所述预测模型建立步骤S3包括：
将所述新的训练集中的每一个样本对所述神经网络模型进行训练和验证，得到参数优化后的所述神经网络模型，并使用验证集进行验证，得到最终的预测网络模型。
2.根据权利要求1所述的营销预测方法，其特征在于，所述步骤S22包括如下步骤：
步骤S221：根据损失函数Loss依次判断是否接受所述新特征，若Loss小于某一阈值ε，即证明新特征足够高，留存所述新特征，执行步骤S223；若Loss函数大于所述阈值ε，则执行步骤S222；
步骤S222：通过Metropolis准则判断是否接受该新特征；如果不满足，则拒绝所述新特征；如果满足，则接收所述新特征；
步骤S223：如果新特征全部判断完成，返回到原始数据中，将所有留存的所述新特征组成的第二输入特征序列集。
3.根据权利要求2所述的营销预测方法，其特征在于，所述Metropolis准则表述为：
在温度为T，当前训练轮次的Loss为Loss-i，而新特征产生的Loss为Loss-j；若：Loss-j<Loss-i，则接受该新特征；否则，随机产生[0,1]区间内的一个随机数，若P＝exp[-(Loss-j–Loss-i)/KT]，则接受所述新特征，否则拒绝所述新特征。
4.根据权利要求1所述的营销预测方法，其特征在于，还包括营销活动预测步骤S4，其具体包括：
步骤S41：获取拟对营销活动点击预测的用户群体和所述用户群体的用户原始信息，并从所述用户原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、用户访问DPI、用户访问时间和/或用户是否点击特征；其中，所述用户号码归属地和用户访问DPI为类别特征，所述用户访问时间为连续特征，所述N大于等于2；
步骤S42：对每一个所述用户的原始信息进行异常检测与处理步骤；通过独热编码对类别特征进行处理，利用RankGauss方法对连续特征进行处理；
步骤S43：提供建立训练好的预测网络模型，依次使用从所述用户原始信息提取原始特征信，得到拟对营销活动点击预测的用户群体中所有所述用户的预测值；其中，所述用户的模型预测值为所述用户的点击意愿度。
5.根据权利要求4所述的营销活动预测方法，其特征在于，所述模型预测步骤S4还包括：
步骤S44：根据实际投放需求，选择全部或部分所述用户的模型预测值集中点击意愿度为1的用户进行精准营销的任务。
6.根据权利要求1所述的营销预测方法，其特征在于，所述步骤S3中还包括步骤S37，对所述基于模拟退火思想的WaveNet技术针对个体行为洞察模型的营销活动预测模型进行模型评价指标处理和调优处理；所述模型评价指标包括AUC值、Log loss值和相对信息增益RIG值。
7.根据权利要求6所述的营销预测方法，其特征在于，所述模型调优处理包括如下一种或几种：
增加批归一化，解决数据的内部协变量偏移问题；
在网络中增加让部分神经元在训练过程中处于休眠状态的功能；
调整学习率，一般会通过指数式衰减等策略调整训练过程中的学习率；
设置多种子训练取平均，以提高由于数据方差较大引起的泛化能力不足的问题；
增加L1或者L2正则化，对损失函数施加惩罚，以降低过拟合风险；
对超参数的优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620925.2A CN114331531A (zh) | 2021-12-28 | 2021-12-28 | 基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620925.2A CN114331531A (zh) | 2021-12-28 | 2021-12-28 | 基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114331531A true CN114331531A (zh) | 2022-04-12 |
Family
ID=81015684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111620925.2A Pending CN114331531A (zh) | 2021-12-28 | 2021-12-28 | 基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114331531A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259041A1 (en) * | 2018-02-20 | 2019-08-22 | James R Jackson | Systems and methods for generating a relationship among a plurality of datasets to generate a desired attribute value |
| US20210174257A1 (en) * | 2019-12-04 | 2021-06-10 | Cerebri AI Inc. | Federated machine-Learning platform leveraging engineered features based on statistical tests |
| CN113344615A (zh) * | 2021-05-27 | 2021-09-03 | 上海数鸣人工智能科技有限公司 | 一种基于gbdt和dl融合模型的营销活动预测方法 |
| CN113591971A (zh) * | 2021-07-28 | 2021-11-02 | 上海数鸣人工智能科技有限公司 | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 |
-
2021
- 2021-12-28 CN CN202111620925.2A patent/CN114331531A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190259041A1 (en) * | 2018-02-20 | 2019-08-22 | James R Jackson | Systems and methods for generating a relationship among a plurality of datasets to generate a desired attribute value |
| US20210174257A1 (en) * | 2019-12-04 | 2021-06-10 | Cerebri AI Inc. | Federated machine-Learning platform leveraging engineered features based on statistical tests |
| CN113344615A (zh) * | 2021-05-27 | 2021-09-03 | 上海数鸣人工智能科技有限公司 | 一种基于gbdt和dl融合模型的营销活动预测方法 |
| CN113591971A (zh) * | 2021-07-28 | 2021-11-02 | 上海数鸣人工智能科技有限公司 | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11816183B2 (en) | Methods and systems for mining minority-class data samples for training a neural network | |
| CN111079931A (zh) | 一种基于图神经网络的状态空间概率性多时间序列预测方法 | |
| CN113344615B (zh) | 一种基于gbdt和dl融合模型的营销活动预测方法 | |
| CN112967088A (zh) | 基于知识蒸馏的营销活动预测模型结构和预测方法 | |
| CN112258223B (zh) | 一种基于决策树的营销广告点击的预测方法 | |
| CN113591971B (zh) | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 | |
| Xie et al. | Off-policy evaluation and learning from logged bandit feedback: Error reduction via surrogate policy | |
| CN112819523A (zh) | 结合内/外积特征交互和贝叶斯神经网络的营销预测方法 | |
| Tong et al. | Technology investigation on time series classification and prediction | |
| Zhang et al. | Consumer credit risk assessment: A review from the state-of-the-art classification algorithms, data traits, and learning methods | |
| Urgun et al. | Composite power system reliability evaluation using importance sampling and convolutional neural networks | |
| CN114331531A (zh) | 基于模拟退火思想的WaveNet技术针对个体行为洞察的预测方法 | |
| CN112581177B (zh) | 结合自动特征工程及残差神经网络的营销预测方法 | |
| CN113723660A (zh) | 一种基于dnn-lstm融合模型的特定行为类型预测方法及*** | |
| CN115271783A (zh) | 基于交互学习降低点击率预测中噪声标签影响的方法 | |
| CN115935178A (zh) | 基于无标签样本学习的预测集成建模方法 | |
| CN115880003A (zh) | 基于自步学习对无标签样本用户行为的预测建模方法 | |
| CN115271784A (zh) | 基于遗传算法进行特征交互和伪标签学习的点击预测方法 | |
| CN115293800A (zh) | 基于阴影特征筛选的针对互联网点击率预测的预测方法 | |
| Meghyasi et al. | Customer churn prediction in telecommunication industry using data mining methods | |
| CN114386602B (zh) | 一种面向多路服务器负载数据的htm预测分析方法 | |
| CN115293801A (zh) | 一种基于召回-排序思想的针对互联网点击率的预测方法 | |
| CN115271823A (zh) | 基于dpi共现关系特征的半监督用户行为预估方法 | |
| Xhumari et al. | A comparative study of Credit Scoring and Risk Management Techniques in Fintech: Machine Learning vs. Regression Analysis. | |
| Krishna et al. | Identifying demand forecasting using machine learning for business intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |