CN110138791A - 基于Flink的Web业务账户盗用实时监测方法及*** - Google Patents

基于Flink的Web业务账户盗用实时监测方法及*** Download PDF

Info

Publication number
CN110138791A
CN110138791A CN201910420262.6A CN201910420262A CN110138791A CN 110138791 A CN110138791 A CN 110138791A CN 201910420262 A CN201910420262 A CN 201910420262A CN 110138791 A CN110138791 A CN 110138791A
Authority
CN
China
Prior art keywords
log
user
flink
portrait
login
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910420262.6A
Other languages
English (en)
Inventor
张侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201910420262.6A priority Critical patent/CN110138791A/zh
Publication of CN110138791A publication Critical patent/CN110138791A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815—Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Power Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于Flink的Web业务账户盗用实时监测方法，包括：搜集用户登录日志，并发送至kafka消息队列；根据用户登录日志中提取的字段信息形成用户的登录行为特征画像，并存入HBase数据库中；判断登录用户是否正常登录，若是，Flink实时修正用户的登录信息特征画像，并存入Base数据库，否则，计算此次异常登录威胁等级，并修改HBase数据库中该用户账户的安全等级，结束。以及公开了一种***，包括日志收集模块、数据清洗模块、特征画像模块和威胁评估模块。本发明实时监测用户账号盗用以及对用户账号安全等级做出实时评估，方便业务平台对用户账户安全情况监控和及时采取措施保障安全。

Description

基于Flink的Web业务账户盗用实时监测方法及***
技术领域
本发明涉及数据处理和网络安全技术领域，具体的说，是一种基于Flink的Web业务账户盗用实时监测方法及***。
背景技术
随着电子商务的迅猛发展，电子商务交易平台也越来越多。各种业务平台在方便了人们线上交易的同时也存在大量的安全隐患如账户盗用导致用户财产，名誉等的损失。在如今电子商务竞争激烈的时期由于开发者或者业务方对平台功能和效率的极力追求导致其对业务安全方面的忽视。针对账户盗用这种风险类型，为了尽可能地准确评估用户账户是否存在被盗用的情况，需要对账户进行实时的监测以得到账户的风险等级进而方便业务平台对用户账户安全情况的充分了解从而采取措施保障业务平台和用户的财产和名誉。
发明内容
本发明的目的在于提供一种基于Flink的Web业务账户盗用实时监测方法及***，用于解决现有技术中账户盗用风险等网络安全问题。
本发明通过下述技术方案解决上述问题：
一种基于Flink的Web业务账户盗用实时监测方法，包括：
步骤S100：Flume搜集业务平台Web服务器产生的用户登录日志，并发送至kafka消息队列等待消费；
步骤S200：Flink计算引擎流式地接收并清洗来自kafka的用户登录日志，并根据从用户登录日志中提取字段信息形成用户的登录行为特征画像，并将登录行为特征画像存入HBase数据库中；
步骤S300：当已有用户行为特征画像的用户再次登录时，判断用户属于正常登录还是异常登录，若是正常登录，进入步骤S400，否则进入步骤S500；
步骤S400：Flink实时修正用户的登录信息特征画像，并存入HBase数据库，结束；
步骤S500：计算此次异常登录威胁等级，并修改HBase数据库中该用户账户的安全等级，结束。
进一步地，所述步骤S100具体包括：
步骤S110：部署zookeeper集群，搭建kafka消息队列；
步骤S120：Flume搜集日志并传入kafka消息队列的Producer中，创建并启动consumer发送数据到Flink计算引擎中。
进一步地，所述步骤S200具体包括：
步骤S210：启动Flink集群中的jobManager，由client提交一个清洗日志数据的job，所述job用于提取出用户登录日志里的字段信息，所述字段信息包括登录时间，登陆IP，登录硬件信息，并将登录IP转换为位置位置信息；
步骤S220：Flink计算引擎根据用户的登录时间，登陆IP以及登录硬件信息计算用户的常用登录时间范围、常用登录地址范围和常用登录设备，所述常用登录时间范围、常用登录地址范围和常用登录设备组成用户登录行为特征画像并存入HBase数据库中。
进一步地，所述步骤S300具体包括：
步骤S310：在用户登录时，将从登录日志提取的信息与该用户的登录行为特征画像作比较，根据设定的规则判断此登录信息与登录行为特征画像的偏差程度，判断登录行为是否存在异常。
一种基于Flink的Web业务账户盗用实时监测***，包括日志收集模块、数据清洗模块、特征画像模块和威胁评估模块，其中，
日志收集模块，用于采用Flume日志搜集处理框架搜集日志，并发送到kafka消息队列上等待Flink数据处理引擎的消费；
数据清洗模块，用于将kafka消息队列传来的日志数据进行数据清洗、过滤后，提取字段信息，所述字段信息用于描述用户的登录信息特征画像，包括账户登录时间、登录地点和登录设备；
特征画像模块，用于根据所述字段信息利用Flink计算引擎计算出用户的登录信息特征画像，并存入HBase数据库；
威胁评估模块，用于判断实时登录信息与用户的登录信息特征画像的偏差成都计算账户威胁程度，并修改该用户账户的安全等级或修正登录信息特征画像。
本发明与现有技术相比，具有以下优点及有益效果：
本发明实时收集并提取业务账户登录日志的时间信息、IP信息、硬件地址信息，然后分别对每个账户的常用登录时间、常用登录地点和常用登录设备信息建立一个登录信息画像存入到数据库并实时通过新的数据动态更新画像，若有可能为账户被盗用的异常登录信息则触发报警，用于实时监测用户账号盗用以及对用户账号安全等级做出实时评估，方便业务平台对用户账户安全情况的充分了解，从而采取措施保障业务平台和用户的财产和名誉。
附图说明
图1为本发明的流程图。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例1：
结合附图1所示，一种基于Flink的Web业务账户盗用实时监测方法，包括：
步骤S100：Flume搜集业务平台Web服务器产生的用户登录日志，并发送至kafka消息队列等待消费；
步骤S200：Flink计算引擎流式地接收并清洗来自kafka的用户登录日志，并根据从用户登录日志中提取字段信息，字段信息包括用户的登录时间，登陆IP以及登录硬件信息，计算得到用户的常用登录时间范围、常用登录地址范围和常用登录设备，所述常用登录时间范围、常用登录地址范围和常用登录设备组成用户登录行为特征画像并存入HBase数据库中；
步骤S300：当已有用户行为特征画像的用户再次登录时，判断用户属于正常登录还是异常登录，该用户新来的登录日志提取的信息与他的用户登录行为特征画像作比较，若用户的常用登录时间范围，常用登录地址范围和常用登录设备这三个维度的值均处于合理变化范围之内，是正常登录，进入步骤S400，若至少一个维度的信息严重偏离该用户正常登录行为画像的维度值，则判断为异常，进入步骤S500；
步骤S400：Flink实时修正用户的登录信息特征画像，并存入HBase数据库，结束；
步骤S500：计算此次异常登录威胁等级，并修改HBase数据库中该用户账户的安全等级，结束。
进一步地，所述步骤S100具体包括：
步骤S110：部署zookeeper集群，搭建kafka消息队列；
步骤S120：Flume搜集日志并传入kafka消息队列的Producer中，创建并启动consumer发送数据到Flink计算引擎中。
进一步地，所述步骤S200具体包括：
步骤S210：启动Flink集群中的jobManager，由client提交一个清洗日志数据的job，所述job用于提取出用户登录日志里的字段信息，所述字段信息包括登录时间，登陆IP，登录硬件信息，并将登录IP转换为位置位置信息；
步骤S220：Flink计算引擎根据用户的登录时间，登陆IP以及登录硬件信息计算用户的常用登录时间范围、常用登录地址范围和常用登录设备，所述常用登录时间范围、常用登录地址范围和常用登录设备组成用户登录行为特征画像并存入HBase数据库中。
进一步地，所述步骤S300具体包括：
步骤S310：在用户登录时，将从登录日志提取的信息与该用户的登录行为特征画像作比较，根据设定的规则判断此登录信息与登录行为特征画像的偏差程度，判断登录行为是否存在异常。
实施例2：
一种基于Flink的Web业务账户盗用实时监测***，包括日志收集模块、数据清洗模块、特征画像模块和威胁评估模块，其中，
日志收集模块，用于采用Flume日志搜集处理框架搜集日志，并发送到kafka消息队列上等待Flink数据处理引擎的消费；
数据清洗模块，用于将kafka消息队列传来的日志数据进行数据清洗、过滤后，提取字段信息，所述字段信息用于描述用户的登录信息特征画像，包括账户登录时间、登录地点和登录设备；
特征画像模块，用于根据所述字段信息利用Flink计算引擎计算出用户的登录信息特征画像，并存入HBase数据库；
威胁评估模块，用于判断实时登录信息与用户的登录信息特征画像的偏差成都计算账户威胁程度，并修改该用户账户的安全等级或修正登录信息特征画像。
尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。

Claims (5)

1.一种基于Flink的Web业务账户盗用实时监测方法，其特征在于，包括：
步骤S100：Flume搜集业务平台Web服务器产生的用户登录日志，并发送至kafka消息队列等待消费；
步骤S200：Flink计算引擎流式地接收并清洗来自kafka的用户登录日志，并根据从用户登录日志中提取字段信息形成用户的登录行为特征画像，并将登录行为特征画像存入HBase数据库中；
步骤S300：当已有用户行为特征画像的用户再次登录时，判断用户属于正常登录还是异常登录，若是正常登录，进入步骤S400，否则进入步骤S500；
步骤S400：Flink实时修正用户的登录信息特征画像，并存入HBase数据库，结束；
步骤S500：计算此次异常登录威胁等级，并修改HBase数据库中该用户账户的安全等级，结束。
2.根据权利要求1所述的基于Flink的Web业务账户盗用实时监测方法，其特征在于，所述步骤S100具体包括：
步骤S110：部署zookeeper集群，搭建kafka消息队列；
步骤S120：Flume搜集日志并传入kafka消息队列的Producer中，创建并启动consumer发送数据到Flink计算引擎中。
3.根据权利要求1所述的基于Flink的Web业务账户盗用实时监测方法，其特征在于，所述步骤S200具体包括：
步骤S210：启动Flink集群中的jobManager，由client提交一个清洗日志数据的job，所述job用于提取出用户登录日志里的字段信息，所述字段信息包括登录时间，登陆IP，登录硬件信息，并将登录IP转换为位置位置信息；
步骤S220：Flink计算引擎根据用户的登录时间，登陆IP以及登录硬件信息计算用户的常用登录时间范围、常用登录地址范围和常用登录设备，所述常用登录时间范围、常用登录地址范围和常用登录设备组成用户登录行为特征画像并存入HBase数据库中。
4.根据权利要求1所述的基于Flink的Web业务账户盗用实时监测方法，其特征在于，所述步骤S300具体包括：
步骤S310：在用户登录时，将从登录日志提取的信息与该用户的登录行为特征画像作比较，根据设定的规则判断此登录信息与登录行为特征画像的偏差程度，判断登录行为是否存在异常。
5.一种基于Flink的Web业务账户盗用实时监测***，其特征在于，包括日志收集模块、数据清洗模块、特征画像模块和威胁评估模块，其中，
日志收集模块，用于采用Flume日志搜集处理框架搜集日志，并发送到kafka消息队列上等待Flink数据处理引擎的消费；
数据清洗模块，用于将kafka消息队列传来的日志数据进行数据清洗、过滤后，提取字段信息，所述字段信息用于描述用户的登录信息特征画像，包括账户登录时间、登录地点和登录设备；
特征画像模块，用于根据所述字段信息利用Flink计算引擎计算出用户的登录信息特征画像，并存HBase数据库；
威胁评估模块，用于判断实时登录信息与用户的登录信息特征画像的偏差成都计算账户威胁程度，并修改该用户账户的安全等级或修正登录信息特征画像。
CN201910420262.6A 2019-05-20 2019-05-20 基于Flink的Web业务账户盗用实时监测方法及*** Pending CN110138791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910420262.6A CN110138791A (zh) 2019-05-20 2019-05-20 基于Flink的Web业务账户盗用实时监测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910420262.6A CN110138791A (zh) 2019-05-20 2019-05-20 基于Flink的Web业务账户盗用实时监测方法及***

Publications (1)

Publication Number Publication Date
CN110138791A true CN110138791A (zh) 2019-08-16

Family

ID=67571543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910420262.6A Pending CN110138791A (zh) 2019-05-20 2019-05-20 基于Flink的Web业务账户盗用实时监测方法及***

Country Status (1)

Country Link
CN (1) CN110138791A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674021A (zh) * 2019-09-09 2020-01-10 深圳供电局有限公司 一种移动应用登录日志的检测方法及***
CN111400357A (zh) * 2020-02-21 2020-07-10 中国建设银行股份有限公司 一种识别异常登录的方法和装置
CN112256523A (zh) * 2020-09-23 2021-01-22 贝壳技术有限公司 业务数据处理方法及装置
CN112491875A (zh) * 2020-11-26 2021-03-12 四川长虹电器股份有限公司 基于账号体系的智能跟踪安全检测方法及***
CN112527601A (zh) * 2020-12-17 2021-03-19 航天信息股份有限公司 一种监控预警方法及装置
CN112637366A (zh) * 2021-01-14 2021-04-09 江苏徐工信息技术股份有限公司 基于微服务的车辆网车辆数据采集方法
CN112685394A (zh) * 2020-12-25 2021-04-20 北京鼎普科技股份有限公司 一种基于Flink的实时威胁情报关联方法、装置、***
CN113411353A (zh) * 2021-08-03 2021-09-17 广州汇图计算机信息技术有限公司 一种网络安全防护方法及***
CN114448645A (zh) * 2022-03-10 2022-05-06 广州虎牙科技有限公司 网页访问的处理方法、装置、存储介质、程序产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104468249A (zh) * 2013-09-17 2015-03-25 深圳市腾讯计算机***有限公司 一种账号异常的检测方法及装置
CN104519032A (zh) * 2013-09-30 2015-04-15 深圳市腾讯计算机***有限公司 一种互联网账号的安全策略及***
CN105516138A (zh) * 2015-12-09 2016-04-20 赛肯(北京)科技有限公司 一种基于登录日志分析的验证方法及装置
CN107959673A (zh) * 2017-11-17 2018-04-24 广东省信息安全测评中心 异常登录检测方法、装置、存储介质和计算机设备
CN109257321A (zh) * 2017-07-13 2019-01-22 北京京东尚科信息技术有限公司 安全登录方法和装置
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算***
US10242402B1 (en) * 2009-07-24 2019-03-26 Wells Fargo Bank, N.A. Collection system and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242402B1 (en) * 2009-07-24 2019-03-26 Wells Fargo Bank, N.A. Collection system and method
CN104468249A (zh) * 2013-09-17 2015-03-25 深圳市腾讯计算机***有限公司 一种账号异常的检测方法及装置
CN104519032A (zh) * 2013-09-30 2015-04-15 深圳市腾讯计算机***有限公司 一种互联网账号的安全策略及***
CN105516138A (zh) * 2015-12-09 2016-04-20 赛肯(北京)科技有限公司 一种基于登录日志分析的验证方法及装置
CN109257321A (zh) * 2017-07-13 2019-01-22 北京京东尚科信息技术有限公司 安全登录方法和装置
CN107959673A (zh) * 2017-11-17 2018-04-24 广东省信息安全测评中心 异常登录检测方法、装置、存储介质和计算机设备
CN109460339A (zh) * 2018-10-16 2019-03-12 北京趣拿软件科技有限公司 日志的流式计算***
CN109274540A (zh) * 2018-11-16 2019-01-25 四川长虹电器股份有限公司 一种基于storm的Web访问日志处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAISYYYYYYYY: "《用户账号异常分析》", 《CSDN》 *
JASONLI4: "《基于Flink的实时日志分析***实践》", 《阿里云实时计算FLINK》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674021A (zh) * 2019-09-09 2020-01-10 深圳供电局有限公司 一种移动应用登录日志的检测方法及***
CN111400357A (zh) * 2020-02-21 2020-07-10 中国建设银行股份有限公司 一种识别异常登录的方法和装置
CN112256523A (zh) * 2020-09-23 2021-01-22 贝壳技术有限公司 业务数据处理方法及装置
CN112256523B (zh) * 2020-09-23 2023-01-06 贝壳技术有限公司 业务数据处理方法及装置
CN112491875A (zh) * 2020-11-26 2021-03-12 四川长虹电器股份有限公司 基于账号体系的智能跟踪安全检测方法及***
CN112527601A (zh) * 2020-12-17 2021-03-19 航天信息股份有限公司 一种监控预警方法及装置
CN112685394A (zh) * 2020-12-25 2021-04-20 北京鼎普科技股份有限公司 一种基于Flink的实时威胁情报关联方法、装置、***
CN112637366A (zh) * 2021-01-14 2021-04-09 江苏徐工信息技术股份有限公司 基于微服务的车辆网车辆数据采集方法
CN113411353A (zh) * 2021-08-03 2021-09-17 广州汇图计算机信息技术有限公司 一种网络安全防护方法及***
CN114448645A (zh) * 2022-03-10 2022-05-06 广州虎牙科技有限公司 网页访问的处理方法、装置、存储介质、程序产品

Similar Documents

Publication Publication Date Title
CN110138791A (zh) 基于Flink的Web业务账户盗用实时监测方法及***
JP6568538B2 (ja) 不正クリック防御方法、装置、および記憶媒体
CN104519032B (zh) 一种互联网账号的安全策略及***
CN101616101B (zh) 一种用户信息过滤方法及装置
CN102722814A (zh) 一种网上交易欺诈风险的自适应可控管理***
CN105976242A (zh) 一种基于实时流数据分析的交易欺诈检测方法及***
CN110147803A (zh) 用户流失预警处理方法与装置
CN108306846B (zh) 一种网络访问异常检测方法及***
CN112200660B (zh) 一种银行柜面业务的监督方法、装置及设备
CN105096195A (zh) 基于互联网应用平台的账户资金数值处理方法和***
CN111611519B (zh) 一种个人异常行为检测方法及装置
CN114710562B (zh) 基于大数据的设备应用日志关联分析***及方法
CN109522460A (zh) 一种基于社交网络社团划分的舆情监测方法及***
CN112464818A (zh) 后厨监管方法、装置、设备及存储介质
CN110213209B (zh) 一种推送信息点击的作弊检测方法、装置及存储介质
CN113327111A (zh) 一种网络金融交易风险的评估方法及***
CN110070392B (zh) 用户流失预警方法和装置
CN112035570A (zh) 一种商户的评价方法及***
CN112035569A (zh) 一种商户评分方法及***
CN116757469A (zh) 一种针对灵活用工平台的即时风控管理***
CN103200277B (zh) 一种基于日志的云计算服务可信度评估方法
CN110138884A (zh) 一种云平台数据处理方法
CN113592499B (zh) 一种互联网洗钱对抗的方法及装置
CN110706098A (zh) 一种基于区块链的精准扶贫***和方法
CN109873708A (zh) 一种基于流量特征和kmeans聚类的资产画像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816

RJ01 Rejection of invention patent application after publication