CN112291225A - 一种应用于积分***的大数据异常流量检测方法和*** - Google Patents

一种应用于积分***的大数据异常流量检测方法和*** Download PDF

Info

Publication number
CN112291225A
CN112291225A CN202011148805.2A CN202011148805A CN112291225A CN 112291225 A CN112291225 A CN 112291225A CN 202011148805 A CN202011148805 A CN 202011148805A CN 112291225 A CN112291225 A CN 112291225A
Authority
CN
China
Prior art keywords
flow
abnormal
log
module
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011148805.2A
Other languages
English (en)
Inventor
蒋敬洪
汪哲
张涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijifen eCommerce Co Ltd
Original Assignee
Yijifen eCommerce Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijifen eCommerce Co Ltd filed Critical Yijifen eCommerce Co Ltd
Priority to CN202011148805.2A priority Critical patent/CN112291225A/zh
Publication of CN112291225A publication Critical patent/CN112291225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

面向积分业务***，实时获取各业务***的业务访问流信息（如访问流量日志等），通过大数据进行实时分析处理，对流量日志进行行为分类、分析等处理，然后结合异常流量检测模型进行匹配，对异常流量进行判断、识别和报警。本发明包括流量日志收集模块、流量大数据分析处理模块、异常流量检测模块、异常流量监控管理模块及主要业务处理流程。

Description

一种应用于积分***的大数据异常流量检测方法和***
技术领域
本发明涉及大数据技术领域，特别是涉及一种应用于积分***的大数据异常流量检测方法和***。
背景技术
随着互联网技术和业务的不断发展，网络安全问题时常发生，造成越来越多的业务故障和经济损失，网络安全已经逐渐成为人们越来越关心的问题。积分***中，由于各种类别的业务***较多，相应的安全级别及安全应对措施要求也不一样，常规防火墙类一致化协议、端口等规则防范措施，不足以应对越来越多的新黑客技术。尤其是在已经混入正常业务流的异常访问，需要提升检测技术，在全局业务流量基础上进行深入实时的检测、识别和防范。随着大数据技术和应用的兴起，对大量流业务的实时处理能力已经具备。所以，在积分业务***中，可以发明一种应用于积分***的大数据异常流量检测方法和***，利用大数据分析处理技术，在业务应用过程中实时检测和识别异常流量，将网络安全问题和风险降到最低。
发明内容
本发明提供了一种应用于积分***的大数据异常流量检测方法和***。面向积分业务***，实时获取各业务***的业务访问流信息（如访问流量日志等），通过大数据进行实时分析处理，对流量日志进行行为分类、分析等处理，然后结合异常流量检测模型进行匹配，对异常流量进行判断、识别和报警。本发明包括流量日志收集模块、流量大数据分析处理模块、异常流量检测模块、异常流量监控管理模块及主要业务处理流程。
1、流量日志收集模块：面向积分业务***，进行全局流量日志信息的实时收集和存储。流量日志信息来源于业务***的前后端埋点，包括业务编码、客户访问IP、客户端设备类型（移动端或者PC端）、浏览器类型、访问时间、请求包大小、返回数据包大小等。可以通过常用的日志收集工具Flume进行日志汇聚处理（在各业务节点部署FlumeAgent，向流量日志收集模块发送日志数据）
2、流量大数据分析处理模块：利用大数据平台和技术，对收集和存储的流量日志进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等。
3、异常流量检测模块：基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
4、异常流量监控管理模块：包括对流量日志收集模块进行参数及存储配置，对流量大数据分析处理模块进行分类、行为定义等进行配置，对遗产给流量检测模块进行异常流量模型设置等。
5、主要业务处理流程：首先需要在积分业务***中，根据业务异常流量监控需求进行流量日志埋点，并通过异常流量监控管理模块对检测模型和其他模块进行设置；在业务运营过程中，埋点后的访问日志数据，实时持续的汇聚到流量日志收集模块，流量日志收集模块对汇聚的日志数据进行存储；流量大数据分析处理模块对存储的访问日志数据进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等；异常流量检测模块基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
附图说明
图1为一种应用于积分***的大数据异常流量检测方法和***结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明实施实例中，一种应用于积分***的大数据异常流量检测方法和***结构图，包括包括流量日志收集模块（1）、流量大数据分析处理模块（2）、异常流量检测模块（3）、异常流量监控管理模块（4）及主要业务处理流程。
1、流量日志收集模块（1）：面向积分业务***，进行全局流量日志信息的实时收集和存储。流量日志信息来源于业务***的前后端埋点，包括业务编码、客户访问IP、客户端设备类型（移动端或者PC端）、浏览器类型、访问时间、请求包大小、返回数据包大小等。
2、流量大数据分析处理模块（2）：利用大数据平台和技术，对收集和存储的流量日志进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等。
3、异常流量检测模块（3）：基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
4、异常流量监控管理模块（4）：包括对流量日志收集模块进行参数及存储配置，对流量大数据分析处理模块进行分类、行为定义等进行配置，对遗产给流量检测模块进行异常流量模型设置等。
5、主要业务处理流程：首先需要在积分业务***中，根据业务异常流量监控需求进行流量日志埋点，并通过异常流量监控管理模块（4）对检测模型和其他模块进行设置；在业务运营过程中，埋点后的访问日志数据，实时持续的汇聚到流量日志收集模块（1），流量日志收集模块（1）对汇聚的日志数据进行存储；流量大数据分析处理模块（2）对存储的访问日志数据进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等；异常流量检测模块（3）基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。

Claims (8)

1.一种应用于积分***的大数据异常流量检测方法和***，其特征在于，包括：面向积分业务***，实时获取各业务***的业务访问流信息（如访问流量日志等），通过大数据进行实时分析处理，对流量日志进行行为分类、分析等处理，然后结合异常流量检测模型进行匹配，对异常流量进行判断、识别和报警。
2.本发明包括流量日志收集模块、流量大数据分析处理模块、异常流量检测模块、异常流量监控管理模块及主要业务处理流程。
3.根据权利要求1所述的方法，其特征在于，流量日志收集模块：面向积分业务***，进行全局流量日志信息的实时收集和存储。
4.流量日志信息来源于业务***的前后端埋点，包括业务编码、客户访问IP、客户端设备类型（移动端或者PC端）、浏览器类型、访问时间、请求包大小、返回数据包大小等；可以通过常用的日志收集工具Flume进行日志汇聚处理（在各业务节点部署FlumeAgent，向流量日志收集模块发送日志数据）。
5.流量大数据分析处理模块：利用大数据平台和技术，对收集和存储的流量日志进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等。
6.异常流量检测模块：基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
7.异常流量监控管理模块：包括对流量日志收集模块进行参数及存储配置，对流量大数据分析处理模块进行分类、行为定义等进行配置，对遗产给流量检测模块进行异常流量模型设置等。
8.主要业务处理流程：首先需要在积分业务***中，根据业务异常流量监控需求进行流量日志埋点，并通过异常流量监控管理模块对检测模型和其他模块进行设置；在业务运营过程中，埋点后的访问日志数据，实时持续的汇聚到流量日志收集模块，流量日志收集模块对汇聚的日志数据进行存储；流量大数据分析处理模块对存储的访问日志数据进行分析处理，包括数据清洗、访问日志分类/行为归类、行为趋势分析等；异常流量检测模块基于配置的异常流量检测模型，针对流量日志分析数据进行实时检测，判断和识别出异常访问流量后，按照业务规则进行告警等处理。
CN202011148805.2A 2020-10-23 2020-10-23 一种应用于积分***的大数据异常流量检测方法和*** Pending CN112291225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011148805.2A CN112291225A (zh) 2020-10-23 2020-10-23 一种应用于积分***的大数据异常流量检测方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011148805.2A CN112291225A (zh) 2020-10-23 2020-10-23 一种应用于积分***的大数据异常流量检测方法和***

Publications (1)

Publication Number Publication Date
CN112291225A true CN112291225A (zh) 2021-01-29

Family

ID=74423819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011148805.2A Pending CN112291225A (zh) 2020-10-23 2020-10-23 一种应用于积分***的大数据异常流量检测方法和***

Country Status (1)

Country Link
CN (1) CN112291225A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034178A (zh) * 2021-03-15 2021-06-25 深圳市麦谷科技有限公司 多***积分计算方法、装置、终端设备和存储介质
CN114900356A (zh) * 2022-05-06 2022-08-12 联云(山东)大数据有限公司 恶意用户行为检测方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及***
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展（北京）有限公司 分布式服务跟踪实现方法
US20190188046A1 (en) * 2015-04-06 2019-06-20 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质
CN111507742A (zh) * 2019-01-31 2020-08-07 何成 一种超链积分***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及***
US20190188046A1 (en) * 2015-04-06 2019-06-20 EMC IP Holding Company LLC Blockchain integration for scalable distributed computations
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展（北京）有限公司 分布式服务跟踪实现方法
CN111507742A (zh) * 2019-01-31 2020-08-07 何成 一种超链积分***
CN110086649A (zh) * 2019-03-19 2019-08-02 深圳壹账通智能科技有限公司 异常流量的检测方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034178A (zh) * 2021-03-15 2021-06-25 深圳市麦谷科技有限公司 多***积分计算方法、装置、终端设备和存储介质
CN114900356A (zh) * 2022-05-06 2022-08-12 联云(山东)大数据有限公司 恶意用户行为检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN100463409C (zh) 网络安全***和方法
CN114584401B (zh) 一种面向大规模网络攻击的追踪溯源***及方法
US20030159069A1 (en) Network-based attack tracing system and method using distributed agent and manager system
CN105009132A (zh) 基于置信因子的事件关联
CN106357685A (zh) 一种防御分布式拒绝服务攻击的方法及装置
CN112291225A (zh) 一种应用于积分***的大数据异常流量检测方法和***
CN108259202A (zh) 一种ca监测预警方法和ca监测预警***
CN109150869A (zh) 一种交换机信息采集分析***及方法
CN106209902A (zh) 一种应用于知识产权运营平台的网络安全***及检测方法
CN111970233B (zh) 一种网络违规外联场景的分析识别方法
EP2936772A1 (en) Network security management
CN114513342B (zh) 一种智能变电站通信数据安全监测方法及***
KR100846835B1 (ko) 문맥 언어 기반의 보안이벤트 상관분석 장치 및 방법
CN115941317A (zh) 一种网络安全综合分析及态势感知平台
CN111786986A (zh) 一种数控***网络入侵防范***及方法
CN113259367B (zh) 工控网络流量多级异常检测方法及装置
CN113132370A (zh) 一种普适的一体化安管中心***
CN112217826A (zh) 一种基于流量感知的网络资产关联分析和动态监管方法
CN111049853A (zh) 一种基于计算机网络的安全认证***
CN115567258A (zh) 网络安全态势感知方法、***、电子设备及存储介质
CN116015925A (zh) 一种数据传输方法、装置、设备及介质
CN115208690A (zh) 一种基于数据分类分级的筛查处理***
CN106993005A (zh) 一种网络服务器的预警方法及***
CN112769847A (zh) 物联网设备的安全防护方法、装置、设备及存储介质
CN112887288B (zh) 基于互联网的电商平台入侵检测的前端计算机扫描***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 200060 5th floor, 1207 Jiangning Road, Putuo District, Shanghai

Applicant after: Yijifen (Shanghai) Digital Technology Co.,Ltd.

Address before: 200060 5th floor, 1207 Jiangning Road, Putuo District, Shanghai

Applicant before: Yijifen e-commerce (Shanghai) Co.,Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination