CN112819024A - 模型处理方法、用户数据处理方法及装置、计算机设备 - Google Patents
模型处理方法、用户数据处理方法及装置、计算机设备 Download PDFInfo
- Publication number
- CN112819024A CN112819024A CN202010662448.5A CN202010662448A CN112819024A CN 112819024 A CN112819024 A CN 112819024A CN 202010662448 A CN202010662448 A CN 202010662448A CN 112819024 A CN112819024 A CN 112819024A
- Authority
- CN
- China
- Prior art keywords
- index information
- training
- target model
- index
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 239
- 230000006870 function Effects 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 92
- 230000004044 response Effects 0.000 claims abstract description 92
- 230000008569 process Effects 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 65
- 238000004590 computer program Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 13
- 230000000875 corresponding effect Effects 0.000 description 103
- 230000001965 increasing effect Effects 0.000 description 28
- 230000006399 behavior Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 24
- 238000007477 logistic regression Methods 0.000 description 16
- 230000003247 decreasing effect Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000012216 screening Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000011273 social behavior Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000012954 risk control Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种模型处理方法、用户数据处理方法及装置、计算机设备。模型处理方法包括:通过目标模型对各用户数据样本进行预测,得到预测结果,各用户数据样本分别对应存在第一训练标签和第二训练标签,第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;基于预测结果确定第一指标信息和第二指标信息;根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。采用本方法能够提升机器学习模型性能。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种模型处理方法、用户数据处理方法及装置、计算机设备。
背景技术
随着人工智能的发展,机器学习模型的使用越来越广泛。比如,通过机器学习模型预测用户是否针对推送信息进行响应,进而决定是否对用户进行信息推送等。
但是,在机器学***衡多于一个指标,比如机器学习模型预测得到的响应用户,可能也是信用较差的用户,这导致模型的性能不佳。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升模型性能的模型处理方法、用户数据处理方法、装置和计算机设备。
一种模型处理方法,该方法包括:
获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;
通过目标模型对各用户数据样本进行预测,得到预测结果;
根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;
基于预测结果确定第一指标信息和第二指标信息;第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;
根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。
一种模型处理装置,该装置包括:
获取模块,用于获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;
预测模块,用于通过目标模型对各用户数据样本进行预测,得到预测结果;
构建模块,用于根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;
确定模块,用于基于预测结果确定第一指标信息和第二指标信息;第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;
训练模块,用于根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。
在一个实施例中,构建模块,还用于:基于各预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各预测结果与相应的第二训练标签之间的差异,构建第二损失函数;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数,构建损失函数;
训练模块,还用于:根据损失函数对目标模型进行迭代地训练,对目标模型进行模型参数更新;根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;根据更新后的损失函数对目标模型进行迭代地训练,对目标模型进行模型参数二次更新。
在一个实施例中,训练模块,还用于:固定惩罚系数,按照最小化损失函数的方向,对目标模型进行模型参数更新;继续循环进行模型参数更新,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块,还用于:以第一指标信息和第二指标信息作为基准,通过第一指标信息的增长幅度和第二指标信息的下降幅度,表征第一指标信息和第二指标信息之间的差距;采用第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化增长幅度和下降幅度,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块,还用于:以所述第一指标信息和所述第二指标信息作为基准,通过所述第一指标信息的下降幅度与所述第二指标信息的下降幅度之间的比值,表征所述第一指标信息和所述第二指标信息之间的差距;采用所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最小化所述比值,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块,还用于:固定更新后的惩罚系数,按照最小化更新后的损失函数的方向,对目标模型进行模型参数二次更新;继续循环进行模型参数二次更新,直至满足训练停止条件时结束训练。
在一个实施例中,构建模块,还用于:获取正则惩罚项;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数、正则惩罚项,构建损失函数。
在一个实施例中,预测模块,还用于:将各用户数据样本依次作为当前处理样本;从当前处理样本中提取多于一个特征数据;确定多于一个特征数据各自对应的编码值;将各编码值按照各自对应的权重生成特征值;通过目标模型输出特征值相应的预测结果。
在一个实施例中,确定模块,还用于:将各预测结果依次作为当前处理对象;获取当前处理对象在第一指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第一比例,以及负样本数量在负样本总数中所占的第二比例;确定第一比例与第二比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第一指标信息。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;
通过目标模型对各用户数据样本进行预测,得到预测结果;
根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;
基于预测结果确定第一指标信息和第二指标信息;第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;
根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;
通过目标模型对各用户数据样本进行预测,得到预测结果;
根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;
基于预测结果确定第一指标信息和第二指标信息;第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;
根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。
上述模型处理方法、装置、计算机设备和存储介质,通过目标模型对各用户数据样本进行预测得到预测结果,根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数,并基于预测结果确定第一指标信息和第二指标信息,根据损失函数对目标模型进行迭代地训练,在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,其中第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
一种用户数据处理方法,该方法包括:
获取待处理用户数据;
从待处理用户数据中提取多于一个特征数据;
通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
一种用户数据处理装置,该装置包括:
获取模块,用于获取待处理用户数据;
提取模块,用于从待处理用户数据中提取多于一个特征数据;
处理模块,用于通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
在一个实施例中,响应结果为分数;用户数据处理装置还包括推送模块,推送模块用于:获取多于一个待处理用户数据;通过目标模型得到各待处理用户数据相应的分数;按照分数由高至低对待处理用户数据相应的用户标识进行排序;从排序结果中选取预设数量的用户标识进行信息推送。
一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取待处理用户数据;
从待处理用户数据中提取多于一个特征数据;
通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待处理用户数据;
从待处理用户数据中提取多于一个特征数据;
通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
上述用户数据处理方法、装置、计算机设备和存储介质,获取待处理用户数据,从待处理用户数据中提取多于一个特征数据,通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果,其中目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,第一指标为待优化的指标,第二指标为待抑制的指标,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
附图说明
图1为一个实施例中模型处理方法的应用环境图;
图2为一个实施例中模型处理方法的流程示意图;
图3为一个实施例中响应率与黑灰率之间的关系;
图4为一个实施例中特征数据转换的流程示意图;
图5为一个实施例中更新惩罚系数的示意图;
图6为一个实施例中响应率与黑灰率之间的关系;
图7为另一个实施例中模型处理方法的流程示意图;
图8为一个实施例中目标模型的训练流程图;
图9为一个实施例中用户数据处理方法的流程示意图;
图10为一个实施例中模型处理装置的结构框图;
图11为一个实施例中用户数据处理装置的结构框图;
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络***的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。
以下将基于人工智能技术的机器学习和云技术,对本申请实施例提供的用户数据处理方法进行说明。
本申请提供的模型处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。终端102获取用户数据样本集和目标模型,将获取的用户数据样本集和目标模型上传至服务器104,其中,目标模型用于确定用户数据相应的响应结果,用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签,第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;服务器104通过目标模型对各用户数据样本进行预测,得到预测结果;服务器104根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;服务器104基于预测结果确定第一指标信息和第二指标信息,其中,第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力,第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;服务器104根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云存储、网络服务、云通信、大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本申请提供的用户数据处理方法,也可以应用于如图1所示的应用环境中。终端102获取待处理用户数据,将待处理用户数据上传至服务器104;服务器104从待处理用户数据中提取多于一个特征数据;服务器104通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力,第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
在一个实施例中,如图2所示,提供了一种模型处理方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
步骤202,获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;目标模型用于确定用户数据相应的响应结果。
其中,用户数据样本集是用于训练目标模型的数据集合。用户数据是反映用户特性的数据。
在一个具体的实施例中,用户数据可包括用户基础数据、用户行为数据等等。用户基础数据是反映用户基础属性的数据,比如身份数据、资源数据、信贷数据等。身份数据比如性别、年龄、学历、工作、职位、收入等。资源数据比如资产、存款等。信贷数据比如贷款、借贷等。用户行为数据是反映用户行为特征的数据,比如支付行为数据、社交行为数据、浏览行为数据等。支付行为数据比如还款行为数据、贷款行为数据、投资行为数据、消费行为数据、转账行为数据等。社交行为数据比如社交会话数据、社交消息发布数据、社交消息评论数据等。浏览行为数据比如新闻浏览数据、音视频浏览数据、商品浏览数据等。
其中,目标模型基于用户数据对用户是否响应目标信息进行预测,得到响应结果。目标信息可以是待推送信息。比如通过目标模型预测用户是否会点击查看待推送的资讯、是否会领取待推送的卡券、是否会购买待推送的商品、是否会购买待推送的金融产品、是否会使用待推送的业务服务等等。先通过目标模型筛选得到对待推送信息响应率高的目标用户,再对目标用户进行定向推送,从而提高信息转化率。
在一个具体的实施例中,目标模型可以是通过线性回归、逻辑回归、决策树等算法建立的机器学习模型。
在一个具体的实施例中,目标模型可以是评分卡模型。评分卡模型是信用风险评估、金融风险控制等领域常用的二分类变量的广义线性模型。
在对目标模型进行训练时,需要从用户数据样本中筛选得到用于训练模型的特征数据,这些特征数据使得模型“学会”预测用户是否响应目标信息。但是有些特征数据不仅是响应指标的重要特征数据,也同时是其它指标的重要特征数据。这就导致模型筛选得到的目标用户,不仅对目标信息的响应率高,可能在其它指标上也表现得明显。尤其当其它指标是需要抑制的指标时,这会影响模型性能。
基于此,一般通过删除其它指标的重要特征数据、保留响应指标的重要特征数据,来降低其它指标对模型预测结果的影响。但是往往其它指标的重要特征数据与响应指标的重要特征数据是重合的,这样也会降低模型性能。
本申请中,在同一个建模框架下,拟合待优化指标,同时抑制待抑制指标,从而提升模型性能。
其中,第一指标和第二指标之间具有相关关系。可选地,第一指标和第二指标呈正相关,即第一指标升高,第二指标也随之升高,但第一指标是需要优化的指标,第二指标是需要抑制的指标。
在一个具体的实施例中,第一指标为响应率,第二指标为黑灰率。响应率是用户集合中响应目标信息的用户所占的比例。黑灰率是用户集合中信用差的用户所占的比例。其中,信用差的用户,可以是信用值低于信用阈值的用户,也可以是有还贷逾期记录、贷款坏账记录等不良记录的用户。
具体地,各用户数据样本分别对应存在第一训练标签和第二训练标签,第一训练标签与待优化的第一指标相对应,比如标记为响应或者不响应;第二训练标签与待抑制的第二指标相对应,比如标记为黑灰或者非黑灰。
其中,响应结果可以是分数,分数越高,表明用户响应目标信息的可能性越大。
具体地,先通过目标模型确定各用户的分数,按照分数由高至低对用户进行排序,以选取排名靠前的用户作为目标用户。参照图3,图3为一个实施例中响应率与黑灰率之间的关系。由图3可以看到,在筛选得到的目标用户(比如排名前100万用户)中,不仅响应率高,黑灰率也高。
本申请中,为了降低头部响应用户中的黑灰率,将待优化指标和待抑制指标统一建模,待优化指标作为主要目标进行训练,待抑制指标作为惩罚项加入损失函数,根据损失函数对目标模型进行迭代地训练,这样,在同一个建模框架下,拟合待优化指标,同时抑制待抑制指标,从而提升模型性能,降低头部响应用户中的黑灰率。
步骤204,通过目标模型对各用户数据样本进行预测,得到预测结果。
具体地,服务器将各用户数据样本输入目标模型,通过目标模型对各用户数据样本进行预测,得到预测结果。
在一个实施例中,步骤204包括:将各用户数据样本依次作为当前处理样本;从当前处理样本中提取多于一个特征数据;确定多于一个特征数据各自对应的编码值;将各编码值按照各自对应的权重生成特征值;通过目标模型输出特征值相应的预测结果。
其中,编码值可以是WOE(Weight of Evidence,证据权重)值。对特征数据进行WOE转换,可将逻辑回归模型的预测结果转化为标准评分卡格式,即将逻辑回归分数转化为具体的评分,使得预测结果更加直观地反映用户对目标信息的响应可能性。
具体地,参照图4,图4为一个实施例中特征数据转换的流程示意图。从用户数据样本中提取多于一个特征数据,对多于一个特征数据分别进行WOE转换,得到多于一个特征数据各自对应的WOE值,将各WOE值按照各自对应的权重生成特征值,目标模型根据特征值输出预测结果。
在一个具体的实施例中,以逻辑回归模型为例,目标模型可通过以下公式进行表示:
其中,p为预测结果,x为特征值,ω、a均为模型参数。
具体地,需要预先确定用于训练模型的特征数据,以选择区分待优化指标的正负样本的强相关特征数据。可通过计算基尼系数、IV(Information Value,信息价值)值等进行特征选择,也可以通过LASSO(Least absolute shrinkage and selection operator,回归模型)、LR(Logistic Regression,逻辑回归模型)、RF(random forests,随机森林)等模型进行特征选择。
以IV值进行特征选择为例。首先选取特征数据,基于特征数据的不同对用户数据样本进行分组。以特征数据为年龄为例,基于年龄的不同对用户数据样本进行分组,得到0-10岁组、10-18岁组、18-35岁组等。每组分别计算WOE值,WOE值反映的是每组负样本对正样本的占比和整体负样本对正样本的占比之间的差异,从而可以认为WOE值反映了特征数据取值对于训练目标的影响。根据WOE值计算得到IV值,IV值实际上是对WOE值进行加权求和得到的,IV值消除了各分组数量差异带来的误差。根据各特征数据的IV值大小,对特征数据进行排序,由高至低进行特征选择。
本实施例中,在对目标模型进行训练时,选择区分待优化指标的正负样本的强相关特征数据,提高模型训练效果;并且,对特征数据进行WOE转换,使得回归模型的预测结果转化为标准评分卡格式,使得预测结果更加直观。
步骤206,根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数。
具体地,服务器根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数。
在一个实施例中,步骤206包括:基于各预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各预测结果与相应的第二训练标签之间的差异,构建第二损失函数;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数,构建损失函数。
其中,惩罚系数作用于第二损失函数。
具体地,损失函数可通过以下公式进行表示:
其中,δ(ω,a)为损失函数,ρ(ω,a)为第一损失函数,κ(ω,a)为第二损失函数,r为惩罚系数,ω、a均为模型参数,t为一组用户数据样本数量。
具体的,损失函数可采用标准交叉熵损失函数、平方损失函数、focalloss函数等。
本实施例中,将待抑制指标作为惩罚项加入损失函数,实现在同一个建模框架下同时训练待优化指标和待抑制指标。
步骤208,基于预测结果确定第一指标信息和第二指标信息。
具体地,服务器基于预测结果确定第一指标信息和第二指标信息。
其中,第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力。
在一个具体的实施例中,第一指标信息和第二指标信息可为KS值(Kolmogorov-Smirnov,区分能力指标)。KS值是评价模型对正负样本区分能力的指标。KS值越大,说明模型对正负样本的区分能力越强。
在一个实施例中,第一指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第一指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第一比例,以及负样本数量在负样本总数中所占的第二比例;确定第一比例与第二比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第一指标信息。
可以理解,在对差值进行比较,确定其中的最大值时,是对差值的绝对值进行比较。
具体地,第一指标信息可通过以下公式进行计算:
其中,Good是指正样本,Bad是指负样本,Goodk是预测结果为k时正样本数量,Badk是预测结果为k时负样本数量,Goodtotal是正样本总数,Badtotal是负样本总数。
在一个实施例中,第二指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第二指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第三比例,以及负样本数量在负样本总数中所占的第四比例;确定第三比例与第四比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第二指标信息。
基于此,第一指标信息可评价模型对响应用户和不响应用户的分隔程度,第二指标信息可评价模型对黑灰用户和非黑灰用户的分隔程度。
本实施例中,通过KS值构建第一指标信息和第二指标信息,后续通过第一指标信息和第二指标信息对惩罚系数进行更新。
步骤210,根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件。
具体地,服务器根据损失函数对目标模型进行迭代地训练,在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件。
在一个实施例中,步骤210包括:根据损失函数对目标模型进行迭代地训练,对目标模型进行模型参数更新;根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;根据更新后的损失函数对目标模型进行迭代地训练,对目标模型进行模型参数二次更新。
具体地,服务器利用损失函数对目标模型进行模型参数更新;接着,服务器利用第一指标信息和第二指标信息对惩罚系数进行更新,在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;接着,服务器利用更新后的损失函数对目标模型进行模型参数二次更新。
在一个具体的实施例中,参照图5,图5为一个实施例中更新惩罚系数的示意图。可通过增大第一指标信息、降低第二指标信息,或者保持第一指标信息不变、降低第二指标信息,或者同时降低第一指标信息和第二指标信息,但是第一指标信息的下降幅度低于第二指标信息的下降幅度,来最大化第一指标信息和第二指标信息之间的差距。
本申请中,需要降低头部响应用户中的黑灰率,因此增大第一指标信息、降低第二指标信息,或者保持第一指标信息不变、降低第二指标信息,或者同时降低第一指标信息和第二指标信息,但是第一指标信息的下降幅度低于第二指标信息的下降幅度,以提高目标模型对响应用户的识别能力,弱化目标模型对黑灰用户的识别能力,从而达到降低头部响应用户中的黑灰率的目的。
参照图6,图6为一个实施例中响应率与黑灰率之间的关系。由图6可以看到,在筛选得到的目标用户(比如排名前100万用户)中,响应率高但是黑灰率低。
本实施例中,在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能。
可以理解,本实施例提供的方法,不限于第一指标为响应率、第二指标为黑灰率的情况。任何同时存在待优化指标和待抑制指标的模型,均可以通过本实施例提供的方法进行训练。
上述模型处理方法中,通过目标模型对各用户数据样本进行预测得到预测结果,根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数,并基于预测结果确定第一指标信息和第二指标信息,根据损失函数对目标模型进行迭代地训练,在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,其中第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
在一个实施例中,根据损失函数对目标模型进行迭代地训练,对目标模型进行模型参数更新,包括:固定惩罚系数,按照最小化损失函数的方向,对目标模型进行模型参数更新;继续循环进行模型参数更新,直至满足训练停止条件时结束训练。
具体地,初始化目标模型的模型参数和惩罚系数。接着,获取一组用户数据样本,将各用户数据样本分别输入目标模型,得到损失函数。接着,固定惩罚系数,根据梯度下降算法,反向传播更新目标模型的模型参数。
本实施例中,先对目标模型的模型进行训练,后续可固定模型参数,对惩罚系数进行更新,提高惩罚系数的准确性。
在一个实施例中,根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距,包括:以第一指标信息和第二指标信息作为基准,通过第一指标信息的增长幅度和第二指标信息的下降幅度,表征第一指标信息和第二指标信息之间的差距;采用第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化增长幅度和下降幅度,直至满足训练停止条件时结束训练。
在一个具体的实施例中,当增大第一指标信息、降低第二指标信息时,可获取第一指标信息的增长幅度和第二指标信息的下降幅度之和,或者增长幅度和下降幅度之间的乘积,通过增长幅度和下降幅度之和,或者增长幅度和下降幅度之积是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。
在一个具体的实施例中,当保持第一指标信息不变、降低第二指标信息时,则可通过下降幅度是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。
本实施例中,最大化第一指标信息的增长幅度和第二指标信息的下降幅度,起到优化第一指标、抑制第二指标的效果。
在一个实施例中,根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距,包括:以第一指标信息和第二指标信息作为基准,通过第一指标信息的下降幅度与第二指标信息的下降幅度之间的比值,表征第一指标信息和第二指标信息之间的差距;采用第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最小化比值,直至满足训练停止条件时结束训练。
在一个具体的实施例中,当降低第一指标信息、同时降低第二指标信息时,可获取第一指标信息的降低幅度和第二指标信息的下降幅度之间的比值,通过该比值是否降低,来判断第一指标信息和第二指标信息之间的差距是否增大。
在一个具体的实施例中,当降低第一指标信息、同时降低第二指标信息时,可获取第二指标信息的降低幅度和第一指标信息的下降幅度之间的比值,通过该比值是否升高,来判断第一指标信息和第二指标信息之间的差距是否增大。
本实施例中,最大化第一指标信息的增长幅度和第二指标信息的下降幅度,起到优化第一指标、抑制第二指标的效果。
在一个实施例中,根据更新后的损失函数对目标模型进行迭代地训练,对目标模型进行模型参数二次更新,包括:固定更新后的惩罚系数,按照最小化更新后的损失函数的方向,对目标模型进行模型参数二次更新;继续循环进行模型参数二次更新,直至满足训练停止条件时结束训练。
具体地,获取一组用户数据样本,将各用户数据样本分别输入模型参数更新后的目标模型,利用更新后的惩罚系数,得到更新后的损失函数。接着,固定更新后的惩罚系数,根据梯度下降算法,反向传播二次更新目标模型的模型参数。
本实施例中,在更新惩罚系数后,利用更新后的惩罚系数和用户数据样本二次更新目标模型的模型参数,提升模型参数的准确性。
在一个实施例中,根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数,构建损失函数,包括:获取正则惩罚项;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数、正则惩罚项,构建损失函数。
其中,正则惩罚项用于防止过拟合。正则惩罚项可以是L1正则化项、L2正则化项等。
具体地,损失函数可通过以下公式进行表示:
其中,δ(ω,a)为损失函数,ρ(ω,a)为第一损失函数,κ(ω,a)为第二损失函数,r为惩罚系数,ω、a均为模型参数,t为一组用户数据样本数量,c为正则惩罚项。
本实施例中,在损失函数中添加正则惩罚项,防止过拟合,提升模型训练效果。
在一个实施例中,如图7所示,提供了一种模型处理方法,包括以下步骤:
步骤702,获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应。
在一个具体的实施例中,第一指标为响应率,第二指标为黑灰率。响应率是用户集合中响应目标信息的用户所占的比例。黑灰率是用户集合中信用差的用户所占的比例。其中,信用差的用户,可以是信用值低于信用阈值的用户,也可以是有还贷逾期记录、贷款坏账记录等不良记录的用户。
在一个具体的实施例中,步骤702包括:将各用户数据样本依次作为当前处理样本;从当前处理样本中提取多于一个特征数据;确定多于一个特征数据各自对应的编码值;将各编码值按照各自对应的权重生成特征值;通过目标模型输出特征值相应的预测结果。
在一个具体的实施例中,第一指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第一指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第一比例,以及负样本数量在负样本总数中所占的第二比例;确定第一比例与第二比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第一指标信息。
在一个具体的实施例中,第二指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第二指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第三比例,以及负样本数量在负样本总数中所占的第四比例;确定第三比例与第四比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第二指标信息。
步骤704,通过目标模型对各用户数据样本进行预测,得到预测结果。
步骤706,基于各预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各预测结果与相应的第二训练标签之间的差异,构建第二损失函数。
步骤708,获取正则惩罚项,根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数、正则惩罚项,构建损失函数。
步骤710,基于预测结果确定第一指标信息和第二指标信息。
其中,第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力。
步骤712,固定惩罚系数,按照最小化损失函数的方向,对目标模型进行模型参数更新;继续循环进行模型参数更新,直至满足训练停止条件时结束训练。
步骤714,采用第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,直至满足训练停止条件时结束训练。
在一个具体的实施例中,当增大第一指标信息、降低第二指标信息时,可获取第一指标信息的增长幅度和第二指标信息的下降幅度之和,或者增长幅度和下降幅度之间的乘积,通过增长幅度和下降幅度之和,或者增长幅度和下降幅度之积是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。当保持第一指标信息不变、降低第二指标信息时,则可通过下降幅度是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。当降低第一指标信息、同时降低第二指标信息时,可获取第一指标信息的降低幅度和第二指标信息的下降幅度之间的比值,通过该比值是否降低,来判断第一指标信息和第二指标信息之间的差距是否增大。
步骤716,固定更新后的惩罚系数,按照最小化更新后的损失函数的方向,对目标模型进行模型参数二次更新;继续循环进行模型参数二次更新,直至满足训练停止条件时结束训练。
在一个具体的实施例中,该模型处理方法可应用于信贷领域。参照图8,图8为一个实施例中目标模型的训练流程图。可以看到,从用户数据样本中提取特征数据,对提取得到的特征数据进行拼接、衍生、筛选、转换后,对目标模型进行训练、评估,并在评估通过后,通过目标模型确定用户数据相应的响应结果。其中,特征拼接是对现有的特征数据进行拼接,生成新的具有含义的特征数据。特征衍生是对现有的特征数据进行组合,生成新的具有含义的特征数据。特征筛选是选择区分待优化指标的正负样本的强相关特征数据。特征转换可以是WOE转换,将逻辑回归模型的预测结果转化为标准评分卡格式,使得预测结果更加直观。
上述模型处理方法中,在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
在一个实施例中,如图9所示,提供了一种用户数据处理方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤:
步骤902,获取待处理用户数据。
其中,用户数据是反映用户特性的数据。
在一个具体的实施例中,用户数据可包括用户基础数据、用户行为数据等等。用户基础数据是反映用户基础属性的数据,比如身份数据、资源数据、信贷数据等。身份数据比如性别、年龄、学历、工作、职位、收入等。资源数据比如资产、存款等。信贷数据比如贷款、借贷等。用户行为数据是反映用户行为特征的数据,比如支付行为数据、社交行为数据、浏览行为数据等。支付行为数据比如还款行为数据、贷款行为数据、投资行为数据、消费行为数据、转账行为数据等。社交行为数据比如社交会话数据、社交消息发布数据、社交消息评论数据等。浏览行为数据比如新闻浏览数据、音视频浏览数据、商品浏览数据等。
步骤904,从待处理用户数据中提取多于一个特征数据。
具体地,需要预先确定用于训练模型的特征数据,以选择区分待优化指标的正负样本的强相关特征数据。可通过计算基尼系数、IV(Information Value,信息价值)值等进行特征选择,也可以通过LASSO(Least absolute shrinkage and selection operator,回归模型)、LR(Logistic Regression,逻辑回归模型)、RF(random forests,随机森林)等模型进行特征选择。
以IV值进行特征选择为例。首先选取特征数据,基于特征数据的不同对用户数据样本进行分组。以特征数据为年龄为例,基于年龄的不同对用户数据样本进行分组,得到0-10岁组、10-18岁组、18-35岁组等。每组分别计算WOE值,WOE值反映的是每组负样本对正样本的占比和整体负样本对正样本的占比之间的差异,从而可以认为WOE值反映了特征数据取值对于训练目标的影响。根据WOE值计算得到IV值,IV值实际上是对WOE值进行加权求和得到的,IV值消除了各分组数量差异带来的误差。根据各特征数据的IV值大小,对特征数据进行排序,由高至低进行特征选择。
步骤906,通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果。
其中,目标模型基于用户数据对用户是否响应目标信息进行预测,得到响应结果。目标信息可以是待推送信息。比如通过目标模型预测用户是否会点击查看待推送的资讯、是否会领取待推送的卡券、是否会购买待推送的商品、是否会购买待推送的金融产品、是否会使用待推送的业务服务等等。先通过目标模型筛选得到对待推送信息响应率高的目标用户,再对目标用户进行定向推送,从而提高信息转化率。
在一个具体的实施例中,目标模型可以是通过线性回归、逻辑回归、决策树等算法建立的机器学习模型。
在一个具体的实施例中,目标模型可以是评分卡模型。评分卡模型是信用风险评估、金融风险控制等领域常用的二分类变量的广义线性模型。
具体地,通过目标模型从待处理用户数据中提取多于一个特征数据,确定多于一个特征数据各自对应的编码值,将各编码值按照各自对应的权重生成特征值,通过目标模型输出特征值相应的响应结果。
其中,编码值可以是WOE(Weight of Evidence,证据权重)值。对特征数据进行WOE转换,可将逻辑回归模型的预测结果转化为标准评分卡格式,即将逻辑回归分数转化为具体的评分,使得预测结果更加直观地反映用户对目标信息的响应可能性。
在一个具体的实施例中,以逻辑回归模型为例,目标模型可通过以下公式进行表示:
其中,p为响应结果,x为特征值,ω、a均为模型参数。
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
在一个实施例中,获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;目标模型用于确定用户数据相应的响应结果。
其中,用户数据样本集是用于训练目标模型的数据集合。用户数据是反映用户特性的数据。
在对目标模型进行训练时,需要从用户数据样本中筛选得到用于训练模型的特征数据,这些特征数据使得模型“学会”预测用户是否响应目标信息。但是有些特征数据不仅是响应指标的重要特征数据,也同时是其它指标的重要特征数据。这就导致模型筛选得到的目标用户,不仅对目标信息的响应率高,可能在其它指标上也表现得明显。尤其当其它指标是需要抑制的指标时,这会影响模型性能。
基于此,一般通过删除其它指标的重要特征数据、保留响应指标的重要特征数据,来降低其它指标对模型预测结果的影响。但是往往其它指标的重要特征数据与响应指标的重要特征数据是重合的,这样也会降低模型性能。
本申请中,在同一个建模框架下,拟合待优化指标,同时抑制待抑制指标,从而提升模型性能。
其中,第一指标和第二指标之间具有相关关系。可选地,第一指标和第二指标呈正相关,即第一指标升高,第二指标也随之升高,但第一指标是需要优化的指标,第二指标是需要抑制的指标。
在一个具体的实施例中,第一指标为响应率,第二指标为黑灰率。响应率是用户集合中响应目标信息的用户所占的比例。黑灰率是用户集合中信用差的用户所占的比例。其中,信用差的用户,可以是信用值低于信用阈值的用户,也可以是有还贷逾期记录、贷款坏账记录等不良记录的用户。
具体地,各用户数据样本分别对应存在第一训练标签和第二训练标签,第一训练标签与待优化的第一指标相对应,比如标记为响应或者不响应;第二训练标签与待抑制的第二指标相对应,比如标记为黑灰或者非黑灰。
其中,响应结果可以是分数,分数越高,表明用户响应目标信息的可能性越大。
具体地,先通过目标模型确定各用户的分数,按照分数由高至低对用户进行排序,以选取排名靠前的用户作为目标用户。参照图3,图3为一个实施例中响应率与黑灰率之间的关系。由图3可以看到,在筛选得到的目标用户(比如排名前100万用户)中,不仅响应率高,黑灰率也高。
本申请中,为了降低头部响应用户中的黑灰率,将待优化指标和待抑制指标统一建模,待优化指标作为主要目标进行训练,待抑制指标作为惩罚项加入损失函数,根据损失函数对目标模型进行迭代地训练,这样,在同一个建模框架下,拟合待优化指标,同时抑制待抑制指标,从而提升模型性能,降低头部响应用户中的黑灰率。
在一个实施例中,通过目标模型对各用户数据样本进行预测,得到预测结果。
具体地,服务器将各用户数据样本输入目标模型,通过目标模型对各用户数据样本进行预测,得到预测结果。
在一个实施例中,将各用户数据样本依次作为当前处理样本;从当前处理样本中提取多于一个特征数据;确定多于一个特征数据各自对应的编码值;将各编码值按照各自对应的权重生成特征值;通过目标模型输出特征值相应的预测结果。
其中,编码值可以是WOE(Weight of Evidence,证据权重)值。对特征数据进行WOE转换,可将逻辑回归模型的预测结果转化为标准评分卡格式,即将逻辑回归分数转化为具体的评分,使得预测结果更加直观地反映用户对目标信息的响应可能性。
具体地,参照图4,图4为一个实施例中特征数据转换的流程示意图。从用户数据样本中提取多于一个特征数据,对多于一个特征数据分别进行WOE转换,得到多于一个特征数据各自对应的WOE值,将各WOE值按照各自对应的权重生成特征值,目标模型根据特征值输出预测结果。
在一个具体的实施例中,以逻辑回归模型为例,目标模型可通过以下公式进行表示:
其中,p为预测结果,x为特征值,ω、a均为模型参数。
本实施例中,在对目标模型进行训练时,选择区分待优化指标的正负样本的强相关特征数据,提高模型训练效果;并且,对特征数据进行WOE转换,使得回归模型的预测结果转化为标准评分卡格式,使得预测结果更加直观。
在一个实施例中,根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数。
具体地,服务器根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数。
在一个实施例中,基于各预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各预测结果与相应的第二训练标签之间的差异,构建第二损失函数;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数,构建损失函数。
其中,惩罚系数作用于第二损失函数。
具体地,损失函数可通过以下公式进行表示:
其中,δ(ω,a)为损失函数,ρ(ω,a)为第一损失函数,κ(ω,a)为第二损失函数,r为惩罚系数,ω、a均为模型参数,t为一组用户数据样本数量。
具体的,损失函数可采用标准交叉熵损失函数、平方损失函数、focalloss函数等。
本实施例中,将待抑制指标作为惩罚项加入损失函数,实现在同一个建模框架下同时训练待优化指标和待抑制指标。
在一个实施例中,基于预测结果确定第一指标信息和第二指标信息。
具体地,服务器基于预测结果确定第一指标信息和第二指标信息。
其中,第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力。
在一个具体的实施例中,第一指标信息和第二指标信息可为KS值(Kolmogorov-Smirnov,区分能力指标)。KS值是评价模型对正负样本区分能力的指标。KS值越大,说明模型对正负样本的区分能力越强。
在一个实施例中,第一指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第一指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第一比例,以及负样本数量在负样本总数中所占的第二比例;确定第一比例与第二比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第一指标信息。
可以理解,在对差值进行比较,确定其中的最大值时,是对差值的绝对值进行比较。
具体地,第一指标信息可通过以下公式进行计算:
其中,Good是指正样本,Bad是指负样本,Goodk是预测结果为k时正样本数量,Badk是预测结果为k时负样本数量,Goodtotal是正样本总数,Badtotal是负样本总数。
在一个实施例中,第二指标信息通过以下步骤得到:将各预测结果依次作为当前处理对象;获取当前处理对象在第二指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第三比例,以及负样本数量在负样本总数中所占的第四比例;确定第三比例与第四比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第二指标信息。
基于此,第一指标信息可评价模型对响应用户和不响应用户的分隔程度,第二指标信息可评价模型对黑灰用户和非黑灰用户的分隔程度。
本实施例中,通过KS值构建第一指标信息和第二指标信息,后续通过第一指标信息和第二指标信息对惩罚系数进行更新。
在一个实施例中,根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件。
具体地,服务器根据损失函数对目标模型进行迭代地训练,在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件。
在一个实施例中,根据损失函数对目标模型进行迭代地训练,对目标模型进行模型参数更新;根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;根据更新后的损失函数对目标模型进行迭代地训练,对目标模型进行模型参数二次更新。
具体地,服务器利用损失函数对目标模型进行模型参数更新;接着,服务器利用第一指标信息和第二指标信息对惩罚系数进行更新,在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;接着,服务器利用更新后的损失函数对目标模型进行模型参数二次更新。
在一个具体的实施例中,参照图5,图5为一个实施例中更新惩罚系数的示意图。可通过增大第一指标信息、降低第二指标信息,或者保持第一指标信息不变、降低第二指标信息,或者同时降低第一指标信息和第二指标信息,但是第一指标信息的下降幅度低于第二指标信息的下降幅度,来最大化第一指标信息和第二指标信息之间的差距。
本申请中,需要降低头部响应用户中的黑灰率,因此增大第一指标信息、降低第二指标信息,或者保持第一指标信息不变、降低第二指标信息,或者同时降低第一指标信息和第二指标信息,但是第一指标信息的下降幅度低于第二指标信息的下降幅度,以提高目标模型对响应用户的识别能力,弱化目标模型对黑灰用户的识别能力,从而达到降低头部响应用户中的黑灰率的目的。
在一个具体的实施例中,当增大第一指标信息、降低第二指标信息时,可获取第一指标信息的增长幅度和第二指标信息的下降幅度之和,或者增长幅度和下降幅度之间的乘积,通过增长幅度和下降幅度之和,或者增长幅度和下降幅度之积是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。当保持第一指标信息不变、降低第二指标信息时,则可通过下降幅度是否增大,来判断第一指标信息和第二指标信息之间的差距是否增大。当降低第一指标信息、同时降低第二指标信息时,可获取第一指标信息的降低幅度和第二指标信息的下降幅度之间的比值,通过该比值是否降低,来判断第一指标信息和第二指标信息之间的差距是否增大。
参照图6,图6为一个实施例中响应率与黑灰率之间的关系。由图6可以看到,在筛选得到的目标用户(比如排名前100万用户)中,响应率高但是黑灰率低。
本实施例中,在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能。
上述用户数据处理方法中,获取待处理用户数据,从待处理用户数据中提取多于一个特征数据,通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果,其中目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,第一指标为待优化的指标,第二指标为待抑制的指标,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
在一个实施例中,响应结果为分数;该方法还包括:获取多于一个待处理用户数据;通过目标模型得到各待处理用户数据相应的分数;按照分数由高至低对待处理用户数据相应的用户标识进行排序;从排序结果中选取预设数量的用户标识进行信息推送。
其中,分数越高,表明用户响应推送信息的可能性大,且黑灰率低。
具体地,先通过目标模型确定各用户的分数,按照分数由高至低对用户进行排序,以选取排名靠前的用户进行信息推送。
在一个具体的实施例中,推送信息可以是资讯、卡券、商品、金融产品、业务服务等等。
本实施例中,通过目标模型筛选得到对待推送信息响应率高的目标用户,再对目标用户进行定向推送,从而提高信息转化率。
应该理解的是,虽然图2、图7、图9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图7、图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种模型处理装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1002、预测模块1004、构建模块1006、确定模块1008和训练模块1010,其中:
获取模块1002,用于获取用户数据样本集和目标模型;用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应;
预测模块1004,用于通过目标模型对各用户数据样本进行预测,得到预测结果;
构建模块1006,用于根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数;
确定模块1008,用于基于预测结果确定第一指标信息和第二指标信息;第一指标信息用于衡量目标模型对第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对第二指标的正负样本的区分能力;
训练模块1010,用于根据损失函数对目标模型进行迭代地训练,以在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,直至达到迭代停止条件;目标模型用于确定用户数据相应的响应结果。
在一个实施例中,构建模块1006,还用于:基于各预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各预测结果与相应的第二训练标签之间的差异,构建第二损失函数;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数,构建损失函数;
训练模块1010,还用于:根据损失函数对目标模型进行迭代地训练,对目标模型进行模型参数更新;根据第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化第一指标信息和第二指标信息之间的差距;根据更新后的损失函数对目标模型进行迭代地训练,对目标模型进行模型参数二次更新。
在一个实施例中,训练模块1010,还用于:固定惩罚系数,按照最小化损失函数的方向,对目标模型进行模型参数更新;继续循环进行模型参数更新,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块1010,还用于:以第一指标信息和第二指标信息作为基准,通过第一指标信息的增长幅度和第二指标信息的下降幅度,表征第一指标信息和第二指标信息之间的差距;采用第一指标信息和第二指标信息对惩罚系数进行迭代地更新,以在更新过程中迭代地最大化增长幅度和下降幅度,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块1010,还用于:以所述第一指标信息和所述第二指标信息作为基准,通过所述第一指标信息的下降幅度与所述第二指标信息的下降幅度之间的比值,表征所述第一指标信息和所述第二指标信息之间的差距;采用所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最小化所述比值,直至满足训练停止条件时结束训练。
在一个实施例中,训练模块1010,还用于:固定更新后的惩罚系数,按照最小化更新后的损失函数的方向,对目标模型进行模型参数二次更新;继续循环进行模型参数二次更新,直至满足训练停止条件时结束训练。
在一个实施例中,构建模块1006,还用于:获取正则惩罚项;根据第一损失函数、第二损失函数及第二损失函数对应的惩罚系数、正则惩罚项,构建损失函数。
在一个实施例中,预测模块1004,还用于:将各用户数据样本依次作为当前处理样本;从当前处理样本中提取多于一个特征数据;确定多于一个特征数据各自对应的编码值;将各编码值按照各自对应的权重生成特征值;通过目标模型输出特征值相应的预测结果。
在一个实施例中,确定模块1008,还用于:将各预测结果依次作为当前处理对象;获取当前处理对象在第一指标下的正样本数量和负样本数量;确定正样本数量在正样本总数中所占的第一比例,以及负样本数量在负样本总数中所占的第二比例;确定第一比例与第二比例之间的差值,得到当前处理对象相应的差值;将各预测结果相应的差值中最大的差值作为第一指标信息。
上述模型处理装置,通过目标模型对各用户数据样本进行预测得到预测结果,根据各预测结果与相应的第一训练标签和第二训练标签构建损失函数,并基于预测结果确定第一指标信息和第二指标信息,根据损失函数对目标模型进行迭代地训练,在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,其中第一训练标签与待优化的第一指标相对应,第二训练标签与待抑制的第二指标相对应,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
在一个实施例中,如图11所示,提供了一种用户数据处理装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:获取模块1102、提取模块1104和处理模块1106,其中:
获取模块1102,用于获取待处理用户数据;
提取模块1104,用于从待处理用户数据中提取多于一个特征数据;
处理模块1106,用于通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果;
其中,目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;第一指标信息用于衡量目标模型对待优化的第一指标的正负样本的区分能力;第二指标信息用于衡量目标模型对待抑制的第二指标的正负样本的区分能力。
在一个实施例中,响应结果为分数;用户数据处理装置还包括推送模块,推送模块用于:获取多于一个待处理用户数据;通过目标模型得到各待处理用户数据相应的分数;按照分数由高至低对待处理用户数据相应的用户标识进行排序;从排序结果中选取预设数量的用户标识进行信息推送。
上述用户数据处理装置,获取待处理用户数据,从待处理用户数据中提取多于一个特征数据,通过目标模型根据多于一个特征数据,得到待处理用户数据相应的响应结果,其中目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距,第一指标为待优化的指标,第二指标为待抑制的指标,这样在同一个建模框架下,基于对抗训练的思路拟合待优化指标,同时抑制待抑制指标,从而提升模型性能;并且,通过目标模型确定用户数据相应的响应结果时,可降低头部响应用户中其它指标的影响。
关于模型处理装置、用户数据处理装置的具体限定可以参见上文中对于模型处理方法、用户数据处理方法的限定,在此不再赘述。上述模型处理装置、用户数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种模型处理方法。
本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种模型处理方法,其特征在于,所述方法包括:
获取用户数据样本集和目标模型;所述用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;所述第一训练标签与待优化的第一指标相对应,所述第二训练标签与待抑制的第二指标相对应;
通过所述目标模型对各所述用户数据样本进行预测,得到预测结果;
根据各所述预测结果与相应的第一训练标签和第二训练标签构建损失函数;
基于所述预测结果确定第一指标信息和第二指标信息;所述第一指标信息用于衡量所述目标模型对所述第一指标的正负样本的区分能力;所述第二指标信息用于衡量所述目标模型对所述第二指标的正负样本的区分能力;
根据所述损失函数对所述目标模型进行迭代地训练,以在训练过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,直至达到迭代停止条件;所述目标模型用于确定用户数据相应的响应结果。
2.根据权利要求1所述的方法,其特征在于,所述根据各所述预测结果与相应的第一训练标签和第二训练标签构建损失函数,包括:
基于各所述预测结果与相应的第一训练标签之间的差异,构建第一损失函数,并基于各所述预测结果与相应的第二训练标签之间的差异,构建第二损失函数;
根据所述第一损失函数、所述第二损失函数及所述第二损失函数对应的惩罚系数,构建所述损失函数;
所述根据所述损失函数对所述目标模型进行迭代地训练,以在训练过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,直至达到迭代停止条件,包括:
根据所述损失函数对所述目标模型进行迭代地训练,对所述目标模型进行模型参数更新;
根据所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距;
根据更新后的所述损失函数对所述目标模型进行迭代地训练,对所述目标模型进行模型参数二次更新。
3.根据权利要求2所述的方法,其特征在于,所述根据所述损失函数对所述目标模型进行迭代地训练,对所述目标模型进行模型参数更新,包括:
固定所述惩罚系数,按照最小化所述损失函数的方向,对所述目标模型进行模型参数更新;
继续循环进行所述模型参数更新,直至满足训练停止条件时结束训练。
4.根据权利要求2所述的方法,其特征在于,所述根据所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,包括:
以所述第一指标信息和所述第二指标信息作为基准,通过所述第一指标信息的增长幅度和所述第二指标信息的下降幅度,表征所述第一指标信息和所述第二指标信息之间的差距;
采用所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最大化所述增长幅度和所述下降幅度,直至满足训练停止条件时结束训练。
5.根据权利要求2所述的方法,其特征在于,所述根据所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,包括:
以所述第一指标信息和所述第二指标信息作为基准,通过所述第一指标信息的下降幅度与所述第二指标信息的下降幅度之间的比值,表征所述第一指标信息和所述第二指标信息之间的差距;
采用所述第一指标信息和所述第二指标信息对所述惩罚系数进行迭代地更新,以在更新过程中迭代地最小化所述比值,直至满足训练停止条件时结束训练。
6.根据权利要求2所述的方法,其特征在于,所述根据更新后的所述损失函数对所述目标模型进行迭代地训练,对所述目标模型进行模型参数二次更新,包括:
固定更新后的所述惩罚系数,按照最小化更新后的所述损失函数的方向,对所述目标模型进行模型参数二次更新;
继续循环进行所述模型参数二次更新,直至满足训练停止条件时结束训练。
7.根据权利要求2所述的方法,其特征在于,所述根据所述第一损失函数、所述第二损失函数及所述第二损失函数对应的惩罚系数,构建所述损失函数,包括:
获取正则惩罚项;
根据所述第一损失函数、所述第二损失函数及所述第二损失函数对应的惩罚系数、所述正则惩罚项,构建所述损失函数。
8.根据权利要求1所述的方法,其特征在于,所述通过所述目标模型对各所述用户数据样本进行预测,得到预测结果,包括:
将各所述用户数据样本依次作为当前处理样本;
从所述当前处理样本中提取多于一个特征数据;
确定所述多于一个特征数据各自对应的编码值;
将各所述编码值按照各自对应的权重生成特征值;
通过所述目标模型输出所述特征值相应的所述预测结果。
9.根据权利要求1所述的方法,其特征在于,所述第一指标信息通过以下步骤得到:
将各所述预测结果依次作为当前处理对象;
获取所述当前处理对象在所述第一指标下的正样本数量和负样本数量;
确定所述正样本数量在正样本总数中所占的第一比例,以及所述负样本数量在负样本总数中所占的第二比例;
确定所述第一比例与所述第二比例之间的差值,得到所述当前处理对象相应的差值;
将各所述预测结果相应的差值中最大的差值作为所述第一指标信息。
10.一种用户数据处理方法,其特征在于,所述方法包括:
获取待处理用户数据;
从所述待处理用户数据中提取多于一个特征数据;
通过目标模型根据所述多于一个特征数据,得到所述待处理用户数据相应的响应结果;
其中,所述目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;所述第一指标信息用于衡量所述目标模型对待优化的第一指标的正负样本的区分能力;所述第二指标信息用于衡量所述目标模型对待抑制的第二指标的正负样本的区分能力。
11.根据权利要求10所述的方法,其特征在于,所述响应结果为分数;
所述方法还包括:
获取多于一个待处理用户数据;
通过所述目标模型得到各所述待处理用户数据相应的分数;
按照所述分数由高至低对所述待处理用户数据相应的用户标识进行排序;
从排序结果中选取预设数量的用户标识进行信息推送。
12.一种模型处理装置,其特征在于,所述装置包括:
获取模块,用于获取用户数据样本集和目标模型;所述用户数据样本集中各用户数据样本分别对应存在第一训练标签和第二训练标签;所述第一训练标签与待优化的第一指标相对应,所述第二训练标签与待抑制的第二指标相对应;
预测模块,用于通过所述目标模型对各所述用户数据样本进行预测,得到预测结果;
构建模块,用于根据各所述预测结果与相应的第一训练标签和第二训练标签构建损失函数;
确定模块,用于基于所述预测结果确定第一指标信息和第二指标信息;所述第一指标信息用于衡量所述目标模型对所述第一指标的正负样本的区分能力;所述第二指标信息用于衡量所述目标模型对所述第二指标的正负样本的区分能力;
训练模块,用于根据所述损失函数对所述目标模型进行迭代地训练,以在训练过程中迭代地最大化所述第一指标信息和所述第二指标信息之间的差距,直至达到迭代停止条件;所述目标模型用于确定用户数据相应的响应结果。
13.一种用户数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理用户数据;
提取模块,用于从所述待处理用户数据中提取多于一个特征数据;
处理模块,用于通过所述目标模型根据所述多于一个特征数据,得到所述待处理用户数据相应的响应结果;
其中,所述目标模型根据损失函数迭代地训练得到,且在训练过程中迭代地最大化第一指标信息和第二指标信息之间的差距;所述第一指标信息用于衡量所述目标模型对待优化的第一指标的正负样本的区分能力;所述第二指标信息用于衡量所述目标模型对待抑制的第二指标的正负样本的区分能力。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010662448.5A CN112819024B (zh) | 2020-07-10 | 2020-07-10 | 模型处理方法、用户数据处理方法及装置、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010662448.5A CN112819024B (zh) | 2020-07-10 | 2020-07-10 | 模型处理方法、用户数据处理方法及装置、计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112819024A true CN112819024A (zh) | 2021-05-18 |
CN112819024B CN112819024B (zh) | 2024-02-13 |
Family
ID=75853013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010662448.5A Active CN112819024B (zh) | 2020-07-10 | 2020-07-10 | 模型处理方法、用户数据处理方法及装置、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112819024B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313582A (zh) * | 2021-06-25 | 2021-08-27 | 上海冰鉴信息科技有限公司 | 拒客回捞模型训练方法、装置及电子设备 |
CN114241264A (zh) * | 2021-12-17 | 2022-03-25 | 深圳尚米网络技术有限公司 | 用户判别模型训练方法、用户判别方法及相关装置 |
CN114792173A (zh) * | 2022-06-20 | 2022-07-26 | 支付宝(杭州)信息技术有限公司 | 预测模型训练方法和装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180308112A1 (en) * | 2017-04-22 | 2018-10-25 | Panjiva, Inc. | Nowcasting Abstracted Census from Individual Customs Transaction Records |
CN109284417A (zh) * | 2018-08-27 | 2019-01-29 | 广州飞磨科技有限公司 | 视频推送方法、装置、计算机设备和存储介质 |
CN110414432A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 对象识别模型的训练方法、对象识别方法及相应的装置 |
WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技(深圳)有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
CN110825969A (zh) * | 2019-11-07 | 2020-02-21 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、终端和存储介质 |
CN110866609A (zh) * | 2019-11-08 | 2020-03-06 | 腾讯科技(深圳)有限公司 | 解释信息获取方法、装置、服务器和存储介质 |
CN111105144A (zh) * | 2019-11-26 | 2020-05-05 | 苏宁金融科技(南京)有限公司 | 数据处理方法、装置和目标对象风险监控方法 |
CN111126515A (zh) * | 2020-03-30 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 基于人工智能的模型训练方法和相关装置 |
CN111191092A (zh) * | 2019-12-31 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 画像数据处理方法和画像模型训练方法 |
CN111243576A (zh) * | 2020-01-16 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 语音识别以及模型训练方法、装置、设备和存储介质 |
WO2020113468A1 (en) * | 2018-12-05 | 2020-06-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for grounding a target video clip in a video |
CN111310053A (zh) * | 2020-03-03 | 2020-06-19 | 上海喜马拉雅科技有限公司 | 信息的推荐方法、装置、设备和存储介质 |
-
2020
- 2020-07-10 CN CN202010662448.5A patent/CN112819024B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180308112A1 (en) * | 2017-04-22 | 2018-10-25 | Panjiva, Inc. | Nowcasting Abstracted Census from Individual Customs Transaction Records |
WO2019237523A1 (zh) * | 2018-06-11 | 2019-12-19 | 平安科技(深圳)有限公司 | 安全风险评估方法、装置、计算机设备和存储介质 |
CN109284417A (zh) * | 2018-08-27 | 2019-01-29 | 广州飞磨科技有限公司 | 视频推送方法、装置、计算机设备和存储介质 |
WO2020113468A1 (en) * | 2018-12-05 | 2020-06-11 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for grounding a target video clip in a video |
CN110414432A (zh) * | 2019-07-29 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 对象识别模型的训练方法、对象识别方法及相应的装置 |
CN110825969A (zh) * | 2019-11-07 | 2020-02-21 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、终端和存储介质 |
CN110866609A (zh) * | 2019-11-08 | 2020-03-06 | 腾讯科技(深圳)有限公司 | 解释信息获取方法、装置、服务器和存储介质 |
CN111105144A (zh) * | 2019-11-26 | 2020-05-05 | 苏宁金融科技(南京)有限公司 | 数据处理方法、装置和目标对象风险监控方法 |
CN111191092A (zh) * | 2019-12-31 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 画像数据处理方法和画像模型训练方法 |
CN111243576A (zh) * | 2020-01-16 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 语音识别以及模型训练方法、装置、设备和存储介质 |
CN111310053A (zh) * | 2020-03-03 | 2020-06-19 | 上海喜马拉雅科技有限公司 | 信息的推荐方法、装置、设备和存储介质 |
CN111126515A (zh) * | 2020-03-30 | 2020-05-08 | 腾讯科技(深圳)有限公司 | 基于人工智能的模型训练方法和相关装置 |
Non-Patent Citations (1)
Title |
---|
王凯等: "煤与瓦斯突出的灾变规律", 中国地质大学出版社, pages: 2 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113313582A (zh) * | 2021-06-25 | 2021-08-27 | 上海冰鉴信息科技有限公司 | 拒客回捞模型训练方法、装置及电子设备 |
CN114241264A (zh) * | 2021-12-17 | 2022-03-25 | 深圳尚米网络技术有限公司 | 用户判别模型训练方法、用户判别方法及相关装置 |
CN114792173A (zh) * | 2022-06-20 | 2022-07-26 | 支付宝(杭州)信息技术有限公司 | 预测模型训练方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112819024B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070391B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
CN111222332B (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
CN110717098B (zh) | 基于元路径的上下文感知用户建模方法、序列推荐方法 | |
CN111966914B (zh) | 基于人工智能的内容推荐方法、装置和计算机设备 | |
Menon et al. | Predicting accurate probabilities with a ranking loss | |
CN111538912A (zh) | 内容推荐方法、装置、设备及可读存储介质 | |
CN111737546B (zh) | 确定实体业务属性的方法及装置 | |
CN112819024B (zh) | 模型处理方法、用户数据处理方法及装置、计算机设备 | |
Shetty et al. | Supervised machine learning: algorithms and applications | |
CN110737730B (zh) | 基于无监督学习的用户分类方法、装置、设备及存储介质 | |
CN112785005B (zh) | 多目标任务的辅助决策方法、装置、计算机设备及介质 | |
CN112182362A (zh) | 训练用于在线预测点击率的模型的方法、设备及推荐*** | |
CN115631008B (zh) | 商品推荐方法、装置、设备及介质 | |
CN113656699B (zh) | 用户特征向量确定方法、相关设备及介质 | |
CN116205700A (zh) | 目标产品的推荐方法、装置、计算机设备和存储介质 | |
CN111143533A (zh) | 一种基于用户行为数据的客服方法及*** | |
CN115099988A (zh) | 模型训练方法、数据处理方法、设备及计算机介质 | |
CN117010480A (zh) | 模型训练方法、装置、设备、存储介质及程序产品 | |
CN113094584A (zh) | 推荐学习资源的确定方法和装置 | |
Alshmrany | LFD-CNN: Levy flight distribution based convolutional neural network for an adaptive learning style prediction in E-learning environment | |
WO2022262561A1 (zh) | 多媒体资源的处理方法、装置、设备及存储介质 | |
Kaur et al. | A Hybrid Classification Model for Prediction of Academic Performance of Students: An EDM Application | |
Shaik et al. | Admission Prediction for Higher Studies in Foreign Universities | |
Subhani Shaik et al. | Admission Prediction for Higher Studies in Foreign Universities | |
Ojo et al. | Graph Neural Network for Smartphone Recommendation System: A Sentiment Analysis Approach for Smartphone Rating |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40043908 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |