CN111275350A - 更新事件评估模型的方法及装置 - Google Patents

更新事件评估模型的方法及装置 Download PDF

Info

Publication number
CN111275350A
CN111275350A CN202010083148.1A CN202010083148A CN111275350A CN 111275350 A CN111275350 A CN 111275350A CN 202010083148 A CN202010083148 A CN 202010083148A CN 111275350 A CN111275350 A CN 111275350A
Authority
CN
China
Prior art keywords
event
sample
depth
prediction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010083148.1A
Other languages
English (en)
Other versions
CN111275350B (zh
Inventor
张天翼
郭龙
宋孟楠
王维强
赵闻飙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010083148.1A priority Critical patent/CN111275350B/zh
Publication of CN111275350A publication Critical patent/CN111275350A/zh
Application granted granted Critical
Publication of CN111275350B publication Critical patent/CN111275350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种事件评估模型的训练方法和装置。该事件评估模型包括宽度部分和深度部分,宽度部分模型参数少,用于处理事件的可解释性特征数据;深度部分模型参数多,用于处理与事件相关联的抽象特征数据。训练方法包括,收集较短时间周期中的样本事件,获取短期样本集;将短期样本集中的样本事件输入事件评估模型,根据预测结果和对应的类别标签,确定短期预测损失,根据该短期预测损失,更新宽度部分。收集较长时间周期中的样本事件,获取长期样本集,将其中各个样本事件输入事件评估模型,根据预测结果和对应的类别标签,确定长期预测损失;并根据该长期预测损失,更新深度部分。

Description

更新事件评估模型的方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习领域,尤其涉及利用机器学习预测业务实体的业务指标的方法和装置。
背景技术
随着计算机技术的发展,机器学***台将资金转给另一用户,在线支付给电商平台中的商家,或者当面二维码支付给线下商家,这些行为都可以视为交易事件。在许多情况下,希望能够对各种交互事件的安全性进行评估和分析,从而保障互联网平台的安全性。例如,评估和识别出不安全的登录事件,有助于预先发现和阻止黑客攻击,保障登录安全;评估和识别出不安全的交易事件,有助于锁定不安全的交易,例如涉嫌盗卡的交易,涉嫌欺诈的交易等等,保障用户资金安全。
因此,希望能有改进的方案,更为有效地对交互事件的安全性进行分析和评估。
发明内容
本说明书一个或多个实施例描述了一种事件评估模型和更新该事件评估模型的方法和装置,其中采用宽度部分和深度部分相结合来实现事件评估模型,采用短周期和长周期相结合来更新该事件评估模型,从而提高对事件安全性分析的准确性和时效性。
根据第一方面,提供了一种更新事件评估模型的方法,所述事件评估模型包括宽度部分和深度部分,所述宽度部分的模型参数少于所述深度部分,所述方法包括:
通过收集第一时间周期中的样本事件,获取第一训练样本集,所述样本事件包括第一特征数据、第二特征数据和类别标签,所述第一特征数据至少包括,描述所述样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与所述样本事件相关联的、经过编码处理的特征数据;
将第一训练样本集中的各个样本事件分别输入所述事件评估模型进行预测处理,并根据第一训练样本集中各个样本的预测结果和对应的类别标签,确定第一预测损失;其中所述预测处理包括,将各个样本事件的第一特征数据输入所述宽度部分,将第二特征数据输入所述深度部分,根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别;
固定所述深度部分,在使得第一预测损失减小的方向更新所述宽度部分;
通过收集第二时间周期中的样本事件,获取第二训练样本集;所述第二时间周期大于第一时间周期;
将第二训练样本集中的各个样本事件分别输入所述事件评估模型进行所述预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失;
固定所述宽度部分,在使得第二预测损失减小的方向更新所述深度部分。
在不同实施例中,样本事件可以包括以下之一:操作事件、浏览事件、登录事件、交易事件。
在各种实施例中,事件的基本属性特征包括以下中的至少一项:事件发生的时间,地点,参与方标识,参与方属性特征,事件基于的设备特征,与事件类型相关的事件特征。
进一步的,在一个实施例中,第一特征数据还包括,对所述基本属性特征的原始数据进行统计而得到的统计数据。
根据一个实施例,模型中的宽度部分实现为以下之一:多层感知机,树模型。
在不同实施例中,第二特征数据和深度部分可以具有以下特点:
第二特征数据可以包括样本事件的参与方行为序列数据,在这样的情况下,所述深度部分可以包括循环神经网络RNN或长短期记忆网络LSTM;和/或,
所述第二特征数据包括,与样本事件相关的二维图表数据,在这样的情况下,所述深度部分包括卷积神经网络CNN;和/或,
所述第二特征数据包括,与样本事件相关的参与方关系图数据,在这样的情况下,所述深度部分包括图神经网络GNN;和/或,
所述第二特征数据包括,与样本事件相关的文本描述数据,在这样的情况下,所述深度部分包括文本卷积网络。
根据一种实施方式,事件评估模型还包括全连接层;相应的,预测样本事件的类别具体包括:利用所述全连接层,对所述宽度部分输出的第一计算结果和深度部分输出的第二计算结果进行融合,根据融合结果,确定针对样本事件类别的预测结果。
在一个实施例中,第一时间周期不大于10天;第二时间周期不小于1个月。
根据第二方面,提供了一种更新事件评估模型的装置,所述事件评估模型包括宽度部分和深度部分,所述宽度部分的模型参数少于所述深度部分,所述装置包括:
第一样本获取单元,配置为通过收集第一时间周期中的样本事件,获取第一训练样本集,所述样本事件包括第一特征数据、第二特征数据和类别标签,所述第一特征数据至少包括,描述所述样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与所述样本事件相关联的、经过编码处理的特征数据;
第一预测单元,配置为将第一训练样本集中的各个样本事件分别输入所述事件评估模型进行预测处理,并根据第一训练样本集中各个样本的预测结果和对应的类别标签,确定第一预测损失;其中所述预测处理包括,将各个样本事件的第一特征数据输入所述宽度部分,将第二特征数据输入所述深度部分,根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别;
宽度更新单元,配置为固定所述深度部分,在使得第一预测损失减小的方向更新所述宽度部分;
第二样本获取单元,配置为通过收集第二时间周期中的样本事件,获取第二训练样本集;所述第二时间周期大于第一时间周期;
第二预测单元,配置为将第二训练样本集中的各个样本事件分别输入所述事件评估模型进行所述预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失;
深度更新单元,配置为固定所述宽度部分,在使得第二预测损失减小的方向更新所述深度部分。
根据第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面的方法。
根据第四方面,提供了一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
根据本说明书实施例提供的方法和装置,针对事件安全性评估问题,设计了宽度部分和深度部分相结合的模型架构。基于这样的模型架构,采用短周期和长周期相结合的更新方式,分别对宽度部分和深度部分进行更新,兼顾了模型稳定性和攻防时效性,从而使得事件评估模型可以更好地应对事件风险评估中的新场景,获得更高的评估性能。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图;
图2示出根据一个实施例的事件评估模型的示意图;
图3示出根据一个实施例的更新事件评估模型的方法;
图4示出根据一个实施例的更新事件评估模型的装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
如前所述,在多种应用场景中,都需要对交互事件的安全性进行评估。为此,可以基于若干评估规则,或者基于机器学习的模型,构建安全性评估***。
然而,互联网交互事件具有很强的时效性和攻防性。这体现在,一方面,新的不安全事件类型层出不穷,安全风险形式变化非常迅速;另一方面,有意发起不安全事件的不良使用者,有可能基于已有的安全性评估***的评估结果识别出一些评估规则,然后刻意绕开这些评估规则,实施新的不安全事件。以上的时效性和攻防性,往往使得精心构建的安全性评估***无法应对新的场景,无法识别出新类型的不安全事件,导致评估性能下降。
为此,在本说明书的实施例中,提出一种事件评估模型的架构,以及基于该架构更新事件评估模型的方式,使得事件评估模型可以兼顾模型稳定性和攻防时效性,更好地应对事件风险评估中的新场景,提高评估性能。
图1为本说明书披露的一个实施例的实施场景示意图。如图1所示,采用宽度深度结合(Wide and Deep)的模型架构实现事件评估模型。如此,事件评估模型包括宽度部分和深度部分,其中宽度部分层数少,模型参数少,用于处理事件的可解释性属性特征。深度部分层数多,模型参数多,用于处理事件的更加丰富的关联特征。
为了使得事件评估模型能够适应不断变化的风险事件模式,持续对该事件评估模型进行迭代和更新。在更新时,每隔一个短周期T1,例如一周7天,收集该短周期中新出现的样本事件,构成短期样本集,利用该短期样本集更新该事件评估模型中的宽度部分。每隔一个长周期T2,例如一个季度3个月,收集该长周期中新出现的样本事件,构成长期样本集,利用该长期样本集更新该事件评估模型中的深度部分。如此,在对模型进行更新时,兼顾了模型稳定性和攻防时效性,从而使得事件评估模型可以更好地应对事件风险评估中的新场景,获得更高的评估性能。
图2示出根据一个实施例的事件评估模型的示意图。如图2所示,事件评估模型包括左侧的宽度部分和右侧的深度部分,用于对各种交互事件进行安全性评估,其中,各种交互事件可以是用户的操作事件、浏览事件、登录事件、交易事件,等等。
总体来说,宽度部分由层数少,参数少,相对简单的模型实现。例如,在一个例子中,宽度部分可以由层数较少的多层感知机实现,例如由2层神经元构成的浅层感知机实现。在另一例子中,宽度部分可以体现为树模型,例如决策树模型,GBDT模型,等等。
宽度部分用于处理事件的可解释性特征数据,下文中将其称为第一特征数据。上述可解释性特征主要包括,事件的基本属性特征。例如,事件发生的时间,地点,参与方标识,参与方属性特征,事件基于的设备特征,以及与事件类型相关的事件特征等等。进一步的,参与方属性特征又包括,主动方或被动方的标识(例如用户A转账给用户B,则用户A为主动方,用户B为被动方),主动方/被动方对应的用户ID,用户性别,年龄,收入,职业,注册时长等用户画像特征。事件基于的设备特征进一步包括,发起事件所基于的设备的MAC地址,IP地址,操作***版本等等。与事件类型相关的事件特征,主要包括特定类型的事件专有的一些特征,例如,如果事件为交易事件,这部分事件特征可以包括,交易金额,交易环境,交易渠道等等,如果事件为登录事件,这部分事件特征可以包括,登录认证方式(密码方式,扫描方式,人脸方式),登录时间间隔,等等。
在一个实施例中,第一特征数据还包括,对上述基本属性特征的原始数据进行统计而得到的统计数据,特别是对原始数据进行累积而得到的累积特征数据。具体的,这些统计数据或累积数据例如包括,最近一定时长内的累积转账金额,累积收款金额,累积登录次数,等等。这些统计数据仍然具有很强的业务含义和可解释性。
需要理解,可以基于各种特征工程方式,针对具体的事件类型,选取可解释性的特征数据,输入到宽度部分进行处理。本文对特征工程的处理方式不做限定。
事件评估模型还包括深度部分。深度部分由层数多,参数多,相对复杂的模型实现,用于处理与事件相关联的、更为丰富的特征数据,这部分特征数据一般是经过编码的,更为抽象的数据,不具有直观上的可解释性。在下文中将这部分数据称为第二特征数据。
在不同实施例中,根据第二特征数据的数据种类,深度部分可以采用不同的模型和网络结构实现。
在一个实施例中,第二特征数据包括,事件的静态属性数据。这些静态属性数据可以是通过表征学习得到的经过编码的特征数据,反映事件的高层级抽象特征。对于这样的静态属性数据,可以采用层数较多的深度神经网络DNN来处理。也就是说,深度部分可以包括DNN神经网络。
在一个实施例中,第二特征数据包括,事件的参与方行为序列数据,用于描述参与方用户在发起事件之前所经历的行为轨迹,例如浏览了哪些页面,进行了何种操作等等。具体的,行为序列数据可以包括,按照时间顺序形成的行为数据的序列,例如<O1,O2,…,On>,其中每一个元素Oi为经过编码的行为数据,可以体现为一个向量。由于行为序列数据的时序性,相应的,可以在深度部分采用基于时序的神经网络,来处理该行为序列数据,例如采用循环神经网络RNN,长短期记忆网络LSTM,或GRU_RNN神经网络。
在一个实施例中,第二特征数据包括,与事件相关的二维图表数据。例如,当事件为交易事件时,第二特征数据可以包括,资金二维图表;当事件为浏览事件时,第二特征数据可以包括,页面二维视图,等等。在这样的情况下,可以在深度部分包括卷积神经网络CNN,来处理上述二维图表数据。
在一个实施例中,第二特征数据包括,与事件相关的参与方关系图数据。具体的,在一个例子中,该参与方关系图可以是,根据用户之间的关联关系构建的用户关系图,其中关联关系可以包括,用户之间的分享关系,转账关系,好友关系等等。可以将各个用户作为节点,在具有关联关系的用户节点之间建立连接边,从而构建上述用户关系图。在另一例子中,在有待分析的事件为用户与商户之间的交易事件时,参与方关系图可以是根据用户与商户之间的交易关系构建的二部图。对于以上的各种参与方关系图,可以在深度部分采用图神经网络GNN,对其进行图嵌入处理。
在一个实施例中,所述第二特征数据包括,与事件相关的文本描述数据,例如,操作事件中操作对象(比如点击的页面区块)内容的文本描述,涉及商品购买的交易事件中商品信息的文本描述,等等。在这样的情况下,可以在深度部分包括文本卷积网络(TextCNN),对文本描述数据进行处理。文本卷积网络是在卷积神经网络CNN的基础上发展的适于处理文本的神经网络。针对一维的文本数据,文本卷积网络TextCNN可以采用不同宽度的一维卷积窗,对文本数据进行卷积处理。实践中,可以根据文本描述数据的出现频次等,形成一个行为热力图,较“热”的区域对应于出现频次高的行为所对应的文本描述。然后,用上述文本卷积网络处理该行为热力图。
针对文本描述数据,在其他例子中,还可以在深度部分包括其他文本分析模型,例如Transformer,BERT等等。
可以理解,在不同实施例中,第二特征数据可以包括以上特征数据中的任一种或任意多种的组合。在包括多种特征数据的组合的情况下,相应的,事件评估模型的深度部分可以包括多种神经网络的组合,例如RNN和GNN的组合,其中RNN用于处理行为序列数据,GNN用于处理参与方关系图数据。
进一步的,在一个实施例中,事件评估模型还包括若干全连接层,用于对深度部分和宽度部分的处理结果进行融合,并输出模型处理结果。具体地,将宽度部分处理得到的结果称为第一计算结果,将深度部分处理得到的结果称为第二计算结果,则全连接层接收上述第一计算结果和第二计算结果,并对其进行融合处理。融合处理可以包括,拼接,相加,加权求和,按位相乘等操作,以及这些操作的组合。然后,全连接层根据融合结果,确定并输出针对事件的预测结果。在一个例子中,事件评估模型为回归模型,模型输出的预测结果即为事件的风险值。在另一例子中,事件评估模型为分类模型,模型输出的预测结果为事件所属的分类,例如,正常(安全)事件或风险(不安全)事件。
以上描述了所构建的新架构的事件评估模型。下面描述针对上述结构的事件评估模型针对性设计的更新方式。
图3示出根据一个实施例的更新事件评估模型的方法。可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行,其中事件评估模型具有以上结合图2所描述的结构。如图3所示,更新事件评估模型的方法至少包括以下步骤。
在步骤31,通过收集第一时间周期T1中的样本事件,获取第一训练样本集。上述第一时间周期T1可以是相对较短的周期,例如3天,7天,10天等等。可以从该短时间周期发生的事件中,获取样本事件,其中样本事件是安全性已知的事件(例如通过人为识别的方式而确定),该已知的安全性即对应于样本事件的类别标签。更具体的,为了提升模型效果,样本事件中包含一定比例的正样本,即已知不安全的事件。
为了使用上述样本事件进行模型更新,针对每个样本事件,获取事件的第一特征数据和第二特征数据,其中第一特征数据包括,描述该样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与该样本事件相关联的、经过编码处理的特征数据。第一特征数据和第二特征数据的具体描述如前所述,不复赘述。
需要理解,由于第一时间周期T1时长较短,因此,第一训练样本集中的样本事件的数目(第一数目)较少。
在步骤32,将第一训练样本集中的各个样本事件分别输入前述事件评估模型进行预测处理,并根据其中各个样本的预测结果和对应的类别标签,确定第一预测损失。
具体地,结合图2所示的事件评估模型的结构,将各个样本事件输入该事件评估模型进行预测处理的具体过程包括,将各个样本事件的第一特征数据输入模型的宽度部分,将第二特征数据输入模型的深度部分,根据宽度部分和深度部分的计算结果,预测该样本事件的类别,得到预测结果。进一步地,根据该样本事件的预测结果与其类别标签的比对,可以得到该样本事件对应的样本预测损失。例如可以采用平方误差函数,交叉熵损失函数等,得到上述样本预测损失。通过对第一样本集各个样本事件分别对应的样本预测损失进行综合,包括求和或求平均,可以确定出第一样本集对应的第一预测损失。
然后,在步骤33,固定模型的深度部分,在使得第一预测损失减小的方向更新模型的宽度部分。
需要理解,第一样本集中样本数量较少,不足以更新整个事件评估模型。而考虑到安全事件的时效性和攻防性,又希望能够较快地对模型进行更新迭代。因此,在该步骤33中,对事件评估模型进行部分更新。在整个模型中,宽度部分模型结构简单,参数少,有少量样本即可实现更新,因此,在该步骤中,固定深度部分的模型参数,仅仅对宽度部分的模型参数进行调整,并使得调整后第一预测损失下降,如此实现对宽度部分的更新。
并且,如前所述,宽度部分用于处理可解释性强,具有较强业务特征的的第一特征数据。因此,以较短的周期更新宽度部分,可以更快地发现,新类型的不安全事件的操作模式。
另一方面,在步骤34,通过收集第二时间周期中的样本事件,获取第二训练样本集。其中,第二时间周期为一较长的时间周期,例如,2个月,一个季度,6个月,等等。因此,第二时间周期远大于第一时间周期。相应地,第二训练样本集中样本事件的数目(第二数目)较大,远大于前述第一数目。类似地,第二训练样本集中各个样本事件也具有第一特征数据,第二特征数据和类别标签。
然后,在步骤35,将第二训练样本集中的各个样本事件分别输入事件评估模型进行预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失。
该步骤的具体执行过程与步骤33相似。将第二训练样本集中各个样本事件的第一特征数据输入宽度部分,将第二特征数据输入深度部分,得到预测结果,根据预测结果与其类别标签的比对,得到样本预测损失。然后,综合第二样本集中各个样本事件的样本预测损失,得到第二样本集对应的第二预测损失。
接着,在步骤36,固定模型的宽度部分,在使得第二预测损失减小的方向更新模型的深度部分。
需要说明,深度部分模型结构更为复杂,处理的特征数据类型更为丰富和众多,就模型性能上来说,模型的稳定性、泛化能力都更强。同时,由于参数更多,需要更多的样本才能实现更新。因此,在以较长的时间周期累积到足够的样本事件(即形成第二训练样本集)时,就可以使用这些样本事件对深度部分进行更新,以稳定地保持整个模型的预测准确性。
在对深度部分进行更新时,可以固定宽度部分的模型参数,在第二预测损失减小的方向调整深度部分的模型参数。具体可以采用梯度下降,反向传播等算法,实现深度部分的参数调整,从而更新深度部分。
回顾整个过程,首先针对事件安全性评估问题,设计了宽度部分和深度部分相结合的模型架构。基于这样的模型架构,采用短周期和长周期相结合的更新方式,分别对宽度部分和深度部分进行更新,兼顾了模型稳定性和攻防时效性,从而使得事件评估模型可以更好地应对事件风险评估中的新场景,获得更高的评估性能。
根据另一方面的实施例,提供了一种更新事件评估模型的装置,其中事件评估模型包括宽度部分和深度部分,更新该模型的装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。图4示出根据一个实施例的更新事件评估模型的装置的示意性框图。如图4所示,该更新装置400包括:
第一样本获取单元41,配置为通过收集第一时间周期中的样本事件,获取第一训练样本集,所述样本事件包括第一特征数据、第二特征数据和类别标签,所述第一特征数据至少包括,描述所述样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与所述样本事件相关联的、经过编码处理的特征数据;
第一预测单元42,配置为将第一训练样本集中的各个样本事件分别输入所述事件评估模型进行预测处理,并根据第一训练样本集中各个样本的预测结果和对应的类别标签,确定第一预测损失;其中所述预测处理包括,将各个样本事件的第一特征数据输入所述宽度部分,将第二特征数据输入所述深度部分,根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别;
宽度更新单元43,配置为固定所述深度部分,在使得第一预测损失减小的方向更新所述宽度部分;
第二样本获取单元44,配置为通过收集第二时间周期中的样本事件,获取第二训练样本集;所述第二时间周期大于第一时间周期;
第二预测单元45,配置为将第二训练样本集中的各个样本事件分别输入所述事件评估模型进行所述预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失;
深度更新单元46,配置为固定所述宽度部分,在使得第二预测损失减小的方向更新所述深度部分。
在不同实施例中,样本事件可以包括以下之一:操作事件、浏览事件、登录事件、交易事件。
在各种实施例中,事件的基本属性特征包括以下中的至少一项:事件发生的时间,地点,参与方标识,参与方属性特征,事件基于的设备特征,与事件类型相关的事件特征。
进一步的,在一个实施例中,第一特征数据还包括,对所述基本属性特征的原始数据进行统计而得到的统计数据。
根据一个实施例,模型中的宽度部分实现为以下之一:多层感知机,树模型。
在不同实施例中,第二特征数据和深度部分可以具有以下特点:
第二特征数据可以包括样本事件的参与方行为序列数据,在这样的情况下,所述深度部分可以包括循环神经网络RNN或长短期记忆网络LSTM;和/或,
所述第二特征数据包括,与样本事件相关的二维图表数据,在这样的情况下,所述深度部分包括卷积神经网络CNN;和/或,
所述第二特征数据包括,与样本事件相关的参与方关系图数据,在这样的情况下,所述深度部分包括图神经网络GNN;和/或,
所述第二特征数据包括,与样本事件相关的文本描述数据,在这样的情况下,所述深度部分包括文本卷积网络。
根据一种实施方式,事件评估模型还包括全连接层;相应的,第一预测单元42具体配置为:利用所述全连接层,对所述宽度部分输出的第一计算结果和深度部分输出的第二计算结果进行融合,根据融合结果,确定针对样本事件类别的预测结果。
在一个实施例中,第一时间周期不大于10天;第二时间周期不小于1个月。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合图3所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合图3所述的方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

Claims (18)

1.一种更新事件评估模型的方法,所述事件评估模型包括宽度部分和深度部分,所述宽度部分的模型参数少于所述深度部分,所述方法包括:
通过收集第一时间周期中的样本事件,获取第一训练样本集,所述样本事件包括第一特征数据、第二特征数据和类别标签,所述第一特征数据至少包括,描述所述样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与所述样本事件相关联的、经过编码处理的特征数据;
将第一训练样本集中的各个样本事件分别输入所述事件评估模型进行预测处理,并根据第一训练样本集中各个样本的预测结果和对应的类别标签,确定第一预测损失;其中所述预测处理包括,将各个样本事件的第一特征数据输入所述宽度部分,将第二特征数据输入所述深度部分,根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别;
固定所述深度部分,在使得第一预测损失减小的方向更新所述宽度部分;
通过收集第二时间周期中的样本事件,获取第二训练样本集;所述第二时间周期大于第一时间周期;
将第二训练样本集中的各个样本事件分别输入所述事件评估模型进行所述预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失;
固定所述宽度部分,在使得第二预测损失减小的方向更新所述深度部分。
2.根据权利要求1所述的方法,其中,所述样本事件包括以下之一:操作事件、浏览事件、登录事件、交易事件。
3.根据权利要求1或2所述的方法,其中,所述基本属性特征包括以下中的至少一项:事件发生的时间,地点,参与方标识,参与方属性特征,事件基于的设备特征,与事件类型相关的事件特征。
4.根据权利要求1或2所述的方法,其中,所述第一特征数据还包括,对所述基本属性特征的原始数据进行统计而得到的统计数据。
5.根据权利要求1所述的方法,其中,所述宽度部分实现为以下之一:多层感知机,树模型。
6.根据权利要求1所述的方法,其中,
所述第二特征数据包括,所述样本事件的参与方行为序列数据,所述深度部分包括循环神经网络RNN或长短期记忆网络LSTM;和/或,
所述第二特征数据包括,与样本事件相关的二维图表数据,所述深度部分包括卷积神经网络CNN;和/或,
所述第二特征数据包括,与样本事件相关的参与方关系图数据,所述深度部分包括图神经网络GNN;和/或,
所述第二特征数据包括,与样本事件相关的文本描述数据,所述深度部分包括文本卷积网络。
7.根据权利要求1所述的方法,其中,所述事件评估模型还包括全连接层;
所述根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别,包括:利用所述全连接层,对所述宽度部分输出的第一计算结果和深度部分输出的第二计算结果进行融合,根据融合结果,确定针对样本事件类别的预测结果。
8.根据权利要求1所述的方法,其中,所述第一时间周期不大于10天;所述第二时间周期不小于1个月。
9.一种更新事件评估模型的装置,所述事件评估模型包括宽度部分和深度部分,所述宽度部分的模型参数少于所述深度部分,所述装置包括:
第一样本获取单元,配置为通过收集第一时间周期中的样本事件,获取第一训练样本集,所述样本事件包括第一特征数据、第二特征数据和类别标签,所述第一特征数据至少包括,描述所述样本事件的基本属性特征的可解释性特征数据,第二特征数据包括,与所述样本事件相关联的、经过编码处理的特征数据;
第一预测单元,配置为将第一训练样本集中的各个样本事件分别输入所述事件评估模型进行预测处理,并根据第一训练样本集中各个样本的预测结果和对应的类别标签,确定第一预测损失;其中所述预测处理包括,将各个样本事件的第一特征数据输入所述宽度部分,将第二特征数据输入所述深度部分,根据所述宽度部分和深度部分的计算结果,预测该样本事件的类别;
宽度更新单元,配置为固定所述深度部分,在使得第一预测损失减小的方向更新所述宽度部分;
第二样本获取单元,配置为通过收集第二时间周期中的样本事件,获取第二训练样本集;所述第二时间周期大于第一时间周期;
第二预测单元,配置为将第二训练样本集中的各个样本事件分别输入所述事件评估模型进行所述预测处理,并根据第二训练样本集中各个样本的预测结果和对应的类别标签,确定第二预测损失;
深度更新单元,配置为固定所述宽度部分,在使得第二预测损失减小的方向更新所述深度部分。
10.根据权利要求9所述的装置,其中,所述样本事件包括以下之一:操作事件、浏览事件、登录事件、交易事件。
11.根据权利要求9或10所述的装置,其中,所述基本属性特征包括以下中的至少一项:事件发生的时间,地点,参与方标识,参与方属性特征,事件基于的设备特征,与事件类型相关的事件特征。
12.根据权利要求9或10所述的装置,其中,所述第一特征数据还包括,对所述基本属性特征的原始数据进行统计而得到的统计数据。
13.根据权利要求9所述的装置,其中,所述宽度部分实现为以下之一:多层感知机,树模型。
14.根据权利要求9所述的装置,其中,
所述第二特征数据包括,所述样本事件的参与方行为序列数据,所述深度部分包括循环神经网络RNN或长短期记忆网络LSTM;和/或,
所述第二特征数据包括,与样本事件相关的二维图表数据,所述深度部分包括卷积神经网络CNN;和/或,
所述第二特征数据包括,与样本事件相关的参与方关系图数据,所述深度部分包括图神经网络GNN;和/或,
所述第二特征数据包括,与样本事件相关的文本描述数据,所述深度部分包括文本卷积网络。
15.根据权利要求9所述的装置,其中,所述事件评估模型还包括全连接层;
所述第一预测单元配置为,利用所述全连接层,对所述宽度部分输出的第一计算结果和深度部分输出的第二计算结果进行融合,根据融合结果,确定针对样本事件类别的预测结果。
16.根据权利要求9所述的装置,其中,所述第一时间周期不大于10天;所述第二时间周期不小于1个月。
17.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-8中任一项的所述的方法。
18.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。
CN202010083148.1A 2020-02-08 2020-02-08 更新事件评估模型的方法及装置 Active CN111275350B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010083148.1A CN111275350B (zh) 2020-02-08 2020-02-08 更新事件评估模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010083148.1A CN111275350B (zh) 2020-02-08 2020-02-08 更新事件评估模型的方法及装置

Publications (2)

Publication Number Publication Date
CN111275350A true CN111275350A (zh) 2020-06-12
CN111275350B CN111275350B (zh) 2021-06-04

Family

ID=71002062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010083148.1A Active CN111275350B (zh) 2020-02-08 2020-02-08 更新事件评估模型的方法及装置

Country Status (1)

Country Link
CN (1) CN111275350B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340605A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 训练用户行为预测模型、用户行为预测的方法和装置
CN111814977A (zh) * 2020-08-28 2020-10-23 支付宝(杭州)信息技术有限公司 训练事件预测模型的方法及装置
CN112101484A (zh) * 2020-11-10 2020-12-18 中国科学院自动化研究所 基于知识巩固的增量事件识别方法、***、装置
CN112150013A (zh) * 2020-09-27 2020-12-29 平安资产管理有限责任公司 一种企业风险预警方法、装置、设备及可读存储介质
CN114415612A (zh) * 2021-12-31 2022-04-29 旭昇智能科技(常熟)有限公司 基于人工智能的智能生产监控方法及服务器

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156809A (zh) * 2015-04-24 2016-11-23 阿里巴巴集团控股有限公司 用于更新分类模型的方法及装置
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及***,储存介质及计算机设备
CN108416625A (zh) * 2018-02-28 2018-08-17 阿里巴巴集团控股有限公司 营销产品的推荐方法和装置
CN108898015A (zh) * 2018-06-26 2018-11-27 暨南大学 基于人工智能的应用层动态入侵检测***及检测方法
CN109615454A (zh) * 2018-10-30 2019-04-12 阿里巴巴集团控股有限公司 确定用户金融违约风险的方法及装置
US20190294869A1 (en) * 2018-03-26 2019-09-26 Nvidia Corporation Object behavior anomaly detection using neural networks
CN110322341A (zh) * 2019-06-24 2019-10-11 阿里巴巴集团控股有限公司 信用标签的确定方法和装置
CN110362999A (zh) * 2019-06-25 2019-10-22 阿里巴巴集团控股有限公司 用于检测账户使用异常的方法及装置
CN110659744A (zh) * 2019-09-26 2020-01-07 支付宝(杭州)信息技术有限公司 训练事件预测模型、评估操作事件的方法及装置
CN110689164A (zh) * 2019-08-26 2020-01-14 阿里巴巴集团控股有限公司 用户解约行为的预测方法及其***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156809A (zh) * 2015-04-24 2016-11-23 阿里巴巴集团控股有限公司 用于更新分类模型的方法及装置
CN107423442A (zh) * 2017-08-07 2017-12-01 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及***,储存介质及计算机设备
CN108416625A (zh) * 2018-02-28 2018-08-17 阿里巴巴集团控股有限公司 营销产品的推荐方法和装置
US20190294869A1 (en) * 2018-03-26 2019-09-26 Nvidia Corporation Object behavior anomaly detection using neural networks
CN108898015A (zh) * 2018-06-26 2018-11-27 暨南大学 基于人工智能的应用层动态入侵检测***及检测方法
CN109615454A (zh) * 2018-10-30 2019-04-12 阿里巴巴集团控股有限公司 确定用户金融违约风险的方法及装置
CN110322341A (zh) * 2019-06-24 2019-10-11 阿里巴巴集团控股有限公司 信用标签的确定方法和装置
CN110362999A (zh) * 2019-06-25 2019-10-22 阿里巴巴集团控股有限公司 用于检测账户使用异常的方法及装置
CN110689164A (zh) * 2019-08-26 2020-01-14 阿里巴巴集团控股有限公司 用户解约行为的预测方法及其***
CN110659744A (zh) * 2019-09-26 2020-01-07 支付宝(杭州)信息技术有限公司 训练事件预测模型、评估操作事件的方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HENG-TZE CHENG等: "Wide & Deep Learning for Recommender Systems", 《ARXIV:1606.07792》 *
ROGER ACHKAR等: "Comparison of BPA-MLP and LSTM-RNN for Stocks Prediction", 《2018 6TH INTERNATIONAL SYMPOSIUM ON COMPUTATIONAL AND BUSINESS INTELLIGENCE (ISCBI)》 *
林启迪: "基于宽深度模型的广告点击率预估方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
石鸿斌: "基于宽度&深度学习的离网预测模型", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340605A (zh) * 2020-05-22 2020-06-26 支付宝(杭州)信息技术有限公司 训练用户行为预测模型、用户行为预测的方法和装置
CN111814977A (zh) * 2020-08-28 2020-10-23 支付宝(杭州)信息技术有限公司 训练事件预测模型的方法及装置
CN112150013A (zh) * 2020-09-27 2020-12-29 平安资产管理有限责任公司 一种企业风险预警方法、装置、设备及可读存储介质
CN112101484A (zh) * 2020-11-10 2020-12-18 中国科学院自动化研究所 基于知识巩固的增量事件识别方法、***、装置
CN112101484B (zh) * 2020-11-10 2021-02-12 中国科学院自动化研究所 基于知识巩固的增量事件识别方法、***、装置
CN114415612A (zh) * 2021-12-31 2022-04-29 旭昇智能科技(常熟)有限公司 基于人工智能的智能生产监控方法及服务器

Also Published As

Publication number Publication date
CN111275350B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN111275350B (zh) 更新事件评估模型的方法及装置
Dai et al. Adversarial attack on graph structured data
KR102478132B1 (ko) 사이버보안 장치 및 방법
Mokbal et al. MLPXSS: an integrated XSS-based attack detection scheme in web applications using multilayer perceptron technique
Moothedath et al. A game-theoretic approach for dynamic information flow tracking to detect multistage advanced persistent threats
CN113240505B (zh) 图数据的处理方法、装置、设备、存储介质及程序产品
Bidgoly et al. Modelling and quantitative verification of reputation systems against malicious attackers
Gabryel et al. Browser fingerprint coding methods increasing the effectiveness of user identification in the web traffic
Liu et al. An integrated clustering‐based approach to filtering unfair multi‐nominal testimonies
Rodrigues et al. Fraud detection and prevention in e-commerce: A systematic literature review
Baron et al. Asymptotic optimality of change-point detection schemes in general continuous-time models
de Campos Souza et al. Evolving fuzzy neural networks to aid in the construction of systems specialists in cyber attacks
Kotenko et al. Selection of countermeasures against network attacks based on dynamical calculation of security metrics
Halder et al. Hands-On Machine Learning for Cybersecurity: Safeguard your system by making your machines intelligent using the Python ecosystem
Sarkar et al. Mining user interaction patterns in the darkweb to predict enterprise cyber incidents
Wang et al. Into the deep web: Understanding e-commercefraud from autonomous chat with cybercriminals
Dhanavanthini et al. Phish-armour: Phishing detection using deep recurrent neural networks
Hassan et al. SQL injection vulnerability detection using deep learning: a feature-based approach
Xiang et al. A bonus-malus framework for cyber risk insurance and optimal cybersecurity provisioning
Gimenes et al. ORFEL: efficient detection of defamation or illegitimate promotion in online recommendation
Jawade et al. Phishing website detection using Fast. ai Library
Cai et al. Who can we trust: A new approach for fraudulent rater detection in reputation systems
Saxena et al. Phishing website prediction by using cuckoo search as a feature selection and random forest and BF-tree classifier as a classification method
Shahrasbi et al. On detecting data pollution attacks on recommender systems using sequential gans
Toğaçar Detection of Phishing Attacks on Websites with Lasso Regression, Minimum Redundancy Maximum Relevance Method, Machine Learning Methods, and Deep Learning Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant