CN110719286A - 一种基于大数据的网络优化方案共享***及其方法 - Google Patents

一种基于大数据的网络优化方案共享***及其方法 Download PDF

Info

Publication number
CN110719286A
CN110719286A CN201910964870.3A CN201910964870A CN110719286A CN 110719286 A CN110719286 A CN 110719286A CN 201910964870 A CN201910964870 A CN 201910964870A CN 110719286 A CN110719286 A CN 110719286A
Authority
CN
China
Prior art keywords
network
module
data
ring
link
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910964870.3A
Other languages
English (en)
Inventor
王颖
刘政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jixun Co Ltd
Original Assignee
Jixun Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jixun Co Ltd filed Critical Jixun Co Ltd
Priority to CN201910964870.3A priority Critical patent/CN110719286A/zh
Publication of CN110719286A publication Critical patent/CN110719286A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0882—Utilisation of link capacity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于网络优化技术领域，公开了一种基于大数据的网络优化方案共享***及其方法，所述基于大数据的网络优化方案共享***包括：数据动态检测模块、漏洞检测模块、入侵检测模块、网络设备参数采集模块、主控模块、网络通信模块、数据分析模块、性能评估模块、优化模块、共享模块、大数据处理模块、显示模块。本发明通过入侵检测模块能够提高网络入侵检测的成功率；同时，通过性能评估模块以环为基本单位对网络状况进行评估，更贴近实际应用，从网络优化的角度，通过环内流量均衡，可以避免由于单段重载而导致的盲目性整环扩容，实现网络带宽资源的深度挖潜，提升网络资源利用率。

Description

一种基于大数据的网络优化方案共享***及其方法
技术领域
本发明属于网络优化技术领域，尤其涉及一种基于大数据的网络优化方案共享***及其方法。
背景技术
网络优化是指通过各种硬件或软件技术使网络性能达到我们需要的最佳平衡点。网络优化也是SEO。网络优化主要分为设备及服务两个方面，其中规划、测评、优化属于服务行业；在现有的网络状态下，使用者经常会遇到宽带拥塞、应用性能低下、蠕虫病毒、DDoS肆虐、恶意入侵等对网络使用及资源有负面影响的问题及困扰，网络优化功能是针对现有的防火墙、安防及入侵检测、负载均衡、频宽管理、网络防毒等设备及网络问题的补充，能够通过接入硬件及软件操作的方式进行参数采集、数据分析，找出影响网络质量的原因，通过技术手段或增加相应的硬件设备及调整使网络达到最佳运行状态的方法，使网络资源获得最佳效益。同时了解网络的增长趋势并提供更好的解决方案，实现网络应用性能加速、安全内容管理、安全事件管理、用户管理、网络资源管理与优化、桌面***管理，以及流量模式的监控、测量、追踪、分析和管理，并提高在广域网上应用传输的性能的功能的产品。该产品主要包括网络资源管理器、应用性能加速器、网页性能加速器三大类，针对不同的需求及功能要求进行网络的优化。网络优化设备还具有的功能，如支持的协议、网络集成功能(串接模式,旁路模式)、设备监控功能、压缩数据统计、QOS、带宽管理、数据导出、应用报告、故障时不间断工作或通过网络升级等。然而，现有网络优化过程攻击者可以通过肉鸡或者代理服务器向目标服务器发起攻击；肉鸡或者代理服务器可以对跳转检测设备返回的验证报文进行响应，这样便可以穿透上述现有技术的网络入侵检测方式；同时，不能对网络性能进行评估导致的盲目性整环扩容提升性能。
综上所述，现有技术存在的问题是：
现有技术的网络入侵检测方式容易被肉鸡或者代理服务器通过对跳转检测设备返回的验证报文进行响应的方式穿透；同时不能对网络性能进行评估导致的盲目性整环扩容提升性能。
发明内容
针对现有技术存在的问题，本发明提供了一种基于大数据的网络优化方案共享***及其方法。
本发明是这样实现的，一种基于大数据的网络优化方案共享***，所述基于大数据的网络优化方案共享***包括：
数据动态检测模块，与主控模块连接，用于通过动态检测程序检测网络数据动态信息；
漏洞检测模块，与主控模块连接，用于通过安全检测程序检测网络***漏洞信息；
入侵检测模块，与主控模块连接，用于通过入侵检测程序检测网络入侵信息；
网络设备参数采集模块，与主控模块连接，用于通过监测芯片采集网络设备数据；
主控模块，与数据动态检测模块、漏洞检测模块、入侵检测模块、网络设备参数采集模块、网络通信模块、数据分析模块、性能评估模块、优化模块、共享模块、大数据处理模块、显示模块连接，用于通过单片机控制各个模块正常工作；
网络通信模块，与主控模块连接，用于通过网卡接入互联网进行网络通信；
数据分析模块，与主控模块连接，用于通过分析程序对检测的数据进行分析；
性能评估模块，与主控模块连接，用于通过评估程序对网络性能进行评估；
优化模块，与主控模块连接，用于通过优化程序对网络进行优化操作；
共享模块，与主控模块连接，用于通过共享程序对网络资源进行共享操作；
大数据处理模块，与主控模块连接，用于通过云服务器集中大数据资源对检测的网络数据进行大数据处理；
显示模块，与主控模块连接，用于通过显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
进一步，所述数据分析模块包括：
划分取样单元，用于从数据库服务器对需监控的内容进行划分调查，分层取样，经数据整理后提取摘要数据；
参数生成单元，用于根据摘要数据生成散点图以及需监控的数据指标和关联数据指标的历史数据，选取监控参数；
趋势图绘制单元，用于根据生成的监控参数，通过计算机绘制网络数据的走势趋势图；
总结单元，用于根据绘制出的趋势图，总结出网络传输数据的波动状况。
本发明的另一目的在于提供一种执行所述基于大数据的网络优化方案共享***的基于大数据的网络优化方案共享方法，所述基于大数据的网络优化方案共享方法包括以下步骤：
步骤一，通过数据动态检测模块利用动态检测程序检测网络数据动态信息；通过漏洞检测模块利用安全检测程序检测网络***漏洞信息；
步骤二，通过入侵检测模块利用入侵检测程序检测网络入侵信息；通过网络设备参数采集模块利用监测芯片采集网络设备数据；
步骤三，主控模块通过网络通信模块利用网卡接入互联网进行网络通信；
步骤四，通过数据分析模块利用分析程序对检测的数据进行分析；通过性能评估模块利用评估程序对网络性能进行评估；
步骤五，通过优化模块利用优化程序对网络进行优化操作；通过共享模块利用共享程序对网络资源进行共享操作；
步骤六，通过大数据处理模块利用云服务器集中大数据资源对检测的网络数据进行大数据处理；大数据处理采用加密函数使用密钥t对上一步产生的前缀成员以及端口号、协议号进行按位加密，并将密文数据以及密钥传输给中间件；中间件将IP、端口号、协议三种数据做不同的处理；其中端口和协议，直接按照加密方式即可授权伪随机函数进行加密；得到该条规则对应的端口号以及协议的密文数据EncK(sourceport)、Enck(destport)、Enck(protocol)；将IP地址根据协议约定的长度进行加密；生成该条过滤规则的EncK(F(sourceIP))、EncK(F(destIP))密文IP字段集合；中间件按照前缀长度约定、以及加密函数处理规则数据，并且此处理在不替换规则、不替换约定长度的前提下，只需处理一次；数据包采用双层布鲁姆过滤器；所述布鲁姆过滤器采用长度为m的比特数组V以及k个相互独立的哈喜函数h1、h2、…、hk；当需要将元素s存储到布鲁姆过滤器时，分别计算设置h1(s)、h2(s)、…、hk(s)的值，并将V中对应位置的比特值置为‘1’；当需要判断元素u是否在布鲁姆过滤器中时，检查V中第h1(u)、h2(u)、…、hk(u)位置的比特值是否全为1，如果全为1，则元素u以较大概率在S中，如果不全为1，则u一定不在布鲁姆过滤器中；
步骤七，通过显示模块利用显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
进一步，所述入侵检测模块对网络入侵信息的检测方法如下：
(1)通过入侵检测程序获取预设数量的源IP到目标IP的访问请求记录；
(2)统计所述访问请求记录中请求来源页面标识为空的目标访问请求记录；
(3)为所述目标访问请求记录的多个特征分别设置权重值，并基于设置的权重值，将所述目标访问请求记录写入预设状态表；
(4)在所述预设状态表中将写入的目标访问请求记录进行匹配，并将匹配结果中的访问请求记录作为网络入侵记录。
进一步所述获取预设数量的源IP到目标IP的访问请求记录包括：
基于真实源IP的确定规则，获取预设数量的真实源IP到目标IP的访问请求记录；
所述真实源IP的确定规则具体包括：
当访问请求记录的x-forward-for字段为空时，将源IP字段中的IP地址作为真实源IP；
当访问请求记录的x-forward-for字段为非空时，根据x-forward-for字段中的IP地址确定真实源IP。
进一步，目标访问请求记录的多个特征分别设置权重值包括：
确定所述目标访问请求记录的目标特征对应的分类错误率，并基于所述分类错误率确定所述目标特征的权重值。
进一步，所述利用评估程序对网络性能进行评估方法如下：
1)通过评估程序获取当前环网的各环内部链路的带宽利用率；根据各环内部链路的带宽利用率，确定该当前环网的环内带宽利用率均值；根据所述当前环网的环内带宽利用率均值、各环内部链路的带宽利用率，确定环内链路负载均衡度；
2)根据各环内部链路的带宽利用率，将各环内部链路的带宽利用率的最大值确定为环内链路最高带宽利用率；根据所述环内链路负载均衡度、所述环内链路最高带宽利用率，确定当前环网的网络性能；
3)获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
4)根据各环内部链路的超预警值采样次数、总采样次数确定各环内部链路的繁忙度，并将各环内部链路的繁忙度中的最大值确定为链路繁忙度；
5)所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、所述链路繁忙度确定；
进一步，所述利用评估程序对网络性能进行评估还包括步骤：
获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
根据各环内部链路的超预警值采样次数、总采样次数确定当前环网的繁忙度；
所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、当前环网的繁忙度确定；
所述确定所述当前环网的网络性能的方式包括：
将所述环内链路负载均衡度与预设均衡度阈值比较，确定与所述环内链路负载均衡度对应的环内链路均衡级别；
将所述环内链路最高带宽利用率与预设带宽利用率阈值比较，确定与所述环内链路最高带宽利用率对应的最高带宽利用率级别；
根据所述环内链路均衡级别、所述最高带宽利用率级别的配对关系，确定所述当前环网的网络性能。
进一步，所述优化模块进行网络资源优化，依据各时点的网络资源动态需要量；
设某时点的资源动态需要量为Y；
Figure BDA0002230157110000061
其中，n为某时点同时开始或正在进行的网络工序数量，Xi为某时点同时开始或正在进行的第i工序所需网络资源的种类数，CSi为某时点同时开始或正在进行的第i网络工序单位时间每种网络资源的需要量。
本发明的另一目的在于提供一种应用所述基于大数据的网络优化方案共享方法的信息数据处理终端。
本发明的优点及积极效果为：本发明通过入侵检测模块可以从大量的访问请求记录中筛选出来源页面标识为空白的目标访问请求记录，这些目标访问请求记录是直接对目标IP发起的访问，而不是经过其它页面跳转后得到的，更加符合网络入侵的行为模式；然后，可以为目标访问请求的多个特征设置权重值，这些权重值可以表明目标访问请求作为网络入侵请求的程度值，然后可以将权重值较高的目标访问请求记录写入预设状态表中；能够提高网络入侵检测的成功率；同时，通过性能评估模块以环为基本单位对网络状况进行评估，更贴近实际应用，从网络优化的角度，通过环内流量均衡，可以避免由于单段重载而导致的盲目性整环扩容，实现网络带宽资源的深度挖潜，提升网络资源利用率。
附图说明
图1是本发明实施例提供的基于大数据的网络优化方案共享方法流程图。
图2是本发明实施例提供的基于大数据的网络优化方案共享***结构框图。
图2中：1、数据动态检测模块；2、漏洞检测模块；3、入侵检测模块；4、网络设备参数采集模块；5、主控模块；6、网络通信模块；7、数据分析模块；8、性能评估模块；9、优化模块；10、共享模块；11、大数据处理模块；12、显示模块。
具体实施方式
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。
下面结合附图对本发明的结构作详细的描述。
如图1所示，本发明提供的基于大数据的网络优化方案共享方法包括以下步骤：
步骤S101，通过数据动态检测模块利用动态检测程序检测网络数据动态信息；通过漏洞检测模块利用安全检测程序检测网络***漏洞信息；
步骤S102，通过入侵检测模块利用入侵检测程序检测网络入侵信息；通过网络设备参数采集模块利用监测芯片采集网络设备数据；
步骤S103，主控模块通过网络通信模块利用网卡接入互联网进行网络通信；
步骤S104，通过数据分析模块利用分析程序对检测的数据进行分析；通过性能评估模块利用评估程序对网络性能进行评估；
步骤S105，通过优化模块利用优化程序对网络进行优化操作；通过共享模块利用共享程序对网络资源进行共享操作；
步骤S106，通过大数据处理模块利用云服务器集中大数据资源对检测的网络数据进行大数据处理；
步骤S107，通过显示模块利用显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
如图2所示，本发明实施例提供的基于大数据的网络优化方案共享***包括：数据动态检测模块1、漏洞检测模块2、入侵检测模块3、网络设备参数采集模块4、主控模块5、网络通信模块6、数据分析模块7、性能评估模块8、优化模块9、共享模块10、大数据处理模块11、显示模块12。
数据动态检测模块1，与主控模块5连接，用于通过动态检测程序检测网络数据动态信息；
漏洞检测模块2，与主控模块5连接，用于通过安全检测程序检测网络***漏洞信息；
入侵检测模块3，与主控模块5连接，用于通过入侵检测程序检测网络入侵信息；
网络设备参数采集模块4，与主控模块5连接，用于通过监测芯片采集网络设备数据；
主控模块5，与数据动态检测模块1、漏洞检测模块2、入侵检测模块3、网络设备参数采集模块4、网络通信模块6、数据分析模块7、性能评估模块8、优化模块9、共享模块10、大数据处理模块11、显示模块12连接，用于通过单片机控制各个模块正常工作；
网络通信模块6，与主控模块5连接，用于通过网卡接入互联网进行网络通信；
数据分析模块7，与主控模块5连接，用于通过分析程序对检测的数据进行分析；
性能评估模块8，与主控模块5连接，用于通过评估程序对网络性能进行评估；
优化模块9，与主控模块5连接，用于通过优化程序对网络进行优化操作；
共享模块10，与主控模块5连接，用于通过共享程序对网络资源进行共享操作；
大数据处理模块11，与主控模块5连接，用于通过云服务器集中大数据资源对检测的网络数据进行大数据处理；大数据处理采用加密函数使用密钥t对上一步产生的前缀成员以及端口号、协议号进行按位加密，并将密文数据以及密钥传输给中间件；中间件将IP、端口号、协议三种数据做不同的处理；其中端口和协议，直接按照加密方式即可授权伪随机函数进行加密；得到该条规则对应的端口号以及协议的密文数据EncK(sourceport)、Enck(destport)、Enck(protocol)；将IP地址根据协议约定的长度进行加密；生成该条过滤规则的EncK(F(sourceIP))、EncK(F(destIP))密文IP字段集合；中间件按照前缀长度约定、以及加密函数处理规则数据，并且此处理在不替换规则、不替换约定长度的前提下，只需处理一次；数据包采用双层布鲁姆过滤器；所述布鲁姆过滤器采用长度为m的比特数组V以及k个相互独立的哈喜函数h1、h2、…、hk；当需要将元素s存储到布鲁姆过滤器时，分别计算设置h1(s)、h2(s)、…、hk(s)的值，并将V中对应位置的比特值置为‘1’；当需要判断元素u是否在布鲁姆过滤器中时，检查V中第h1(u)、h2(u)、…、hk(u)位置的比特值是否全为1，如果全为1，则元素u以较大概率在S中，如果不全为1，则u一定不在布鲁姆过滤器中；
显示模块12，与主控模块5连接，用于通过显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
进一步，所述数据分析模块包括：
划分取样单元，用于从数据库服务器对需监控的内容进行划分调查，分层取样，经数据整理后提取摘要数据；
参数生成单元，用于根据摘要数据生成散点图以及需监控的数据指标和关联数据指标的历史数据，选取监控参数；
趋势图绘制单元，用于根据生成的监控参数，通过计算机绘制网络数据的走势趋势图；
总结单元，用于根据绘制出的趋势图，总结出网络传输数据的波动状况。
进一步，所述优化模块进行网络资源优化，主要依据各时点的网络资源动态需要量；
设某时点的资源动态需要量为Y,则
Figure BDA0002230157110000101
其中，n为某时点同时开始或正在进行的网络工序数量，Xi为某时点同时开始或正在进行的第i工序所需网络资源的种类数，CSi为某时点同时开始或正在进行的第i网络工序单位时间每种网络资源的需要量。
本发明提供的入侵检测模块3检测方法如下：
(1)通过入侵检测程序获取预设数量的源IP到目标IP的访问请求记录；
(2)统计所述访问请求记录中请求来源页面标识为空的目标访问请求记录；
(3)为所述目标访问请求记录的多个特征分别设置权重值，并基于设置的权重值，将所述目标访问请求记录写入预设状态表；
(4)在所述预设状态表中将写入的目标访问请求记录进行匹配，并将匹配结果中的访问请求记录作为网络入侵记录。
本发明提供的获取预设数量的源IP到目标IP的访问请求记录包括：
基于真实源IP的确定规则，获取预设数量的真实源IP到目标IP的访问请求记录；
所述真实源IP的确定规则具体包括：
当访问请求记录的x-forward-for字段为空时，将源IP字段中的IP地址作为真实源IP；
当访问请求记录的x-forward-for字段为非空时，根据x-forward-for字段中的IP地址确定真实源IP。
本发明提供的为所述目标访问请求记录的多个特征分别设置权重值包括：
确定所述目标访问请求记录的目标特征对应的分类错误率，并基于所述分类错误率确定所述目标特征的权重值。
本发明提供的性能评估模块8评估方法如下：
1)通过评估程序获取当前环网的各环内部链路的带宽利用率；根据各环内部链路的带宽利用率，确定该当前环网的环内带宽利用率均值；根据所述当前环网的环内带宽利用率均值、各环内部链路的带宽利用率，确定环内链路负载均衡度；
2)根据各环内部链路的带宽利用率，将各环内部链路的带宽利用率的最大值确定为环内链路最高带宽利用率；根据所述环内链路负载均衡度、所述环内链路最高带宽利用率，确定当前环网的网络性能；
3)获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
4)根据各环内部链路的超预警值采样次数、总采样次数确定各环内部链路的繁忙度，并将各环内部链路的繁忙度中的最大值确定为链路繁忙度；
5)所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、所述链路繁忙度确定；
本发明提供的评估方法还包括步骤：
获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
根据各环内部链路的超预警值采样次数、总采样次数确定当前环网的繁忙度；
所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、当前环网的繁忙度确定。
本发明提供的确定所述当前环网的网络性能的方式包括：
将所述环内链路负载均衡度与预设均衡度阈值比较，确定与所述环内链路负载均衡度对应的环内链路均衡级别；
将所述环内链路最高带宽利用率与预设带宽利用率阈值比较，确定与所述环内链路最高带宽利用率对应的最高带宽利用率级别；
根据所述环内链路均衡级别、所述最高带宽利用率级别的配对关系，确定所述当前环网的网络性能。
以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。

Claims (10)

1.一种基于大数据的网络优化方案共享***，其特征在于，所述基于大数据的网络优化方案共享***包括：
数据动态检测模块，与主控模块连接，用于通过动态检测程序检测网络数据动态信息；
漏洞检测模块，与主控模块连接，用于通过安全检测程序检测网络***漏洞信息；
入侵检测模块，与主控模块连接，用于通过入侵检测程序检测网络入侵信息；
网络设备参数采集模块，与主控模块连接，用于通过监测芯片采集网络设备数据；
主控模块，与数据动态检测模块、漏洞检测模块、入侵检测模块、网络设备参数采集模块、网络通信模块、数据分析模块、性能评估模块、优化模块、共享模块、大数据处理模块、显示模块连接，用于通过单片机控制各个模块正常工作；
网络通信模块，与主控模块连接，用于通过网卡接入互联网进行网络通信；
数据分析模块，与主控模块连接，用于通过分析程序对检测的数据进行分析；
性能评估模块，与主控模块连接，用于通过评估程序对网络性能进行评估；
优化模块，与主控模块连接，用于通过优化程序对网络进行优化操作；
共享模块，与主控模块连接，用于通过共享程序对网络资源进行共享操作；
大数据处理模块，与主控模块连接，用于通过云服务器集中大数据资源对检测的网络数据进行大数据处理；
显示模块，与主控模块连接，用于通过显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
2.如权利要求1所述的基于大数据的网络优化方案共享***，其特征在于，所述数据分析模块包括：
划分取样单元，用于从数据库服务器对需监控的内容进行划分调查，分层取样，经数据整理后提取摘要数据；
参数生成单元，用于根据摘要数据生成散点图以及需监控的数据指标和关联数据指标的历史数据，选取监控参数；
趋势图绘制单元，用于根据生成的监控参数，通过计算机绘制网络数据的走势趋势图；
总结单元，用于根据绘制出的趋势图，总结出网络传输数据的波动状况。
3.一种执行权利要求1所述基于大数据的网络优化方案共享***的基于大数据的网络优化方案共享方法，其特征在于，所述基于大数据的网络优化方案共享方法包括以下步骤：
步骤一，通过数据动态检测模块利用动态检测程序检测网络数据动态信息；通过漏洞检测模块利用安全检测程序检测网络***漏洞信息；
步骤二，通过入侵检测模块利用入侵检测程序检测网络入侵信息；通过网络设备参数采集模块利用监测芯片采集网络设备数据；
步骤三，主控模块通过网络通信模块利用网卡接入互联网进行网络通信；
步骤四，通过数据分析模块利用分析程序对检测的数据进行分析；通过性能评估模块利用评估程序对网络性能进行评估；
步骤五，通过优化模块利用优化程序对网络进行优化操作；通过共享模块利用共享程序对网络资源进行共享操作；
步骤六，通过大数据处理模块利用云服务器集中大数据资源对检测的网络数据进行大数据处理；大数据处理采用加密函数使用密钥t对上一步产生的前缀成员以及端口号、协议号进行按位加密，并将密文数据以及密钥传输给中间件；中间件将IP、端口号、协议三种数据做不同的处理；其中端口和协议，直接按照加密方式即可授权伪随机函数进行加密；得到该条规则对应的端口号以及协议的密文数据EncK(sourceport)、Enck(destport)、Enck(protocol)；将IP地址根据协议约定的长度进行加密；生成该条过滤规则的EncK(F(sourceIP))、EncK(F(destIP))密文IP字段集合；中间件按照前缀长度约定、以及加密函数处理规则数据，并且此处理在不替换规则、不替换约定长度的前提下，只需处理一次；数据包采用双层布鲁姆过滤器；所述布鲁姆过滤器采用长度为m的比特数组V以及k个相互独立的哈喜函数h1、h2、…、hk；当需要将元素s存储到布鲁姆过滤器时，分别计算设置h1(s)、h2(s)、…、hk(s)的值，并将V中对应位置的比特值置为‘1’；当需要判断元素u是否在布鲁姆过滤器中时，检查V中第h1(u)、h2(u)、…、hk(u)位置的比特值是否全为1，如果全为1，则元素u以较大概率在S中，如果不全为1，则u一定不在布鲁姆过滤器中；
步骤七，通过显示模块利用显示器显示检测的网络数据动态、网络漏洞、网络入侵信息及采集的网络设备数据信息。
4.如权利要求3所述的基于大数据的网络优化方案共享方法，其特征在于，所述入侵检测模块对网络入侵信息的检测方法如下：
(1)通过入侵检测程序获取预设数量的源IP到目标IP的访问请求记录；
(2)统计所述访问请求记录中请求来源页面标识为空的目标访问请求记录；
(3)为所述目标访问请求记录的多个特征分别设置权重值，并基于设置的权重值，将所述目标访问请求记录写入预设状态表；
(4)在所述预设状态表中将写入的目标访问请求记录进行匹配，并将匹配结果中的访问请求记录作为网络入侵记录。
5.如权利要求4所述的基于大数据的网络优化方案共享方法，其特征在于，所述获取预设数量的源IP到目标IP的访问请求记录包括：
基于真实源IP的确定规则，获取预设数量的真实源IP到目标IP的访问请求记录；
所述真实源IP的确定规则具体包括：
当访问请求记录的x-forward-for字段为空时，将源IP字段中的IP地址作为真实源IP；
当访问请求记录的x-forward-for字段为非空时，根据x-forward-for字段中的IP地址确定真实源IP。
6.如权利要求4所述的基于大数据的网络优化方案共享方法，其特征在于，目标访问请求记录的多个特征分别设置权重值包括：
确定所述目标访问请求记录的目标特征对应的分类错误率，并基于所述分类错误率确定所述目标特征的权重值。
7.如权利要求3所述基于大数据的网络优化方案共享***，其特征在于，所述利用评估程序对网络性能进行评估方法如下：
1)通过评估程序获取当前环网的各环内部链路的带宽利用率；根据各环内部链路的带宽利用率，确定该当前环网的环内带宽利用率均值；根据所述当前环网的环内带宽利用率均值、各环内部链路的带宽利用率，确定环内链路负载均衡度；
2)根据各环内部链路的带宽利用率，将各环内部链路的带宽利用率的最大值确定为环内链路最高带宽利用率；根据所述环内链路负载均衡度、所述环内链路最高带宽利用率，确定当前环网的网络性能；
3)获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
4)根据各环内部链路的超预警值采样次数、总采样次数确定各环内部链路的繁忙度，并将各环内部链路的繁忙度中的最大值确定为链路繁忙度；
5)所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、所述链路繁忙度确定。
8.如权利要求7所述的基于大数据的网络优化方案共享方法，其特征在于，所述利用评估程序对网络性能进行评估还包括步骤：
获取预设时间段内对所述当前环网内的各环内部链路进行流量采样的总采样次数，以及在对各环内部链路进行流量采样时、所采集的流量超过该环内部链路的流量限定值的超预警值采样次数；
根据各环内部链路的超预警值采样次数、总采样次数确定当前环网的繁忙度；
所述当前环网的网络性能根据所述环内链路负载均衡度、所述环内链路最高带宽利用率、当前环网的繁忙度确定；
所述确定所述当前环网的网络性能的方式包括：
将所述环内链路负载均衡度与预设均衡度阈值比较，确定与所述环内链路负载均衡度对应的环内链路均衡级别；
将所述环内链路最高带宽利用率与预设带宽利用率阈值比较，确定与所述环内链路最高带宽利用率对应的最高带宽利用率级别；
根据所述环内链路均衡级别、所述最高带宽利用率级别的配对关系，确定所述当前环网的网络性能。
9.如权利要求3所述的基于大数据的网络优化方案共享方法，其特征在于，所述优化模块进行网络资源优化，依据各时点的网络资源动态需要量；
设某时点的资源动态需要量为Y；
Figure FDA0002230157100000051
其中，n为某时点同时开始或正在进行的网络工序数量，Xi为某时点同时开始或正在进行的第i工序所需网络资源的种类数，CSi为某时点同时开始或正在进行的第i网络工序单位时间每种网络资源的需要量。
10.一种应用权利要求3～9任意一项所述基于大数据的网络优化方案共享方法的信息数据处理终端。
CN201910964870.3A 2019-10-11 2019-10-11 一种基于大数据的网络优化方案共享***及其方法 Pending CN110719286A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910964870.3A CN110719286A (zh) 2019-10-11 2019-10-11 一种基于大数据的网络优化方案共享***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910964870.3A CN110719286A (zh) 2019-10-11 2019-10-11 一种基于大数据的网络优化方案共享***及其方法

Publications (1)

Publication Number Publication Date
CN110719286A true CN110719286A (zh) 2020-01-21

Family

ID=69211443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910964870.3A Pending CN110719286A (zh) 2019-10-11 2019-10-11 一种基于大数据的网络优化方案共享***及其方法

Country Status (1)

Country Link
CN (1) CN110719286A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450078A (zh) * 2021-07-07 2021-09-28 国网山西省电力公司信息通信分公司 一种通信大数据的处理***
CN113783740A (zh) * 2021-10-26 2021-12-10 北京字节跳动网络技术有限公司 一种网络优化方法、装置、设备及介质
CN114124376A (zh) * 2021-11-23 2022-03-01 中国标准化研究院 基于网络数据采集的数据处理方法及***
CN114978629A (zh) * 2022-05-12 2022-08-30 北京神州慧安科技有限公司 一种基于工业互联网安全监测、预警、应急处置***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105703994A (zh) * 2016-04-29 2016-06-22 广东省电信规划设计院有限公司 网络性能评估方法和***
CN107046548A (zh) * 2017-05-22 2017-08-15 东莞理工学院 一种隐私保护下的数据包过滤方法
CN108596436A (zh) * 2018-03-28 2018-09-28 郑州铁路职业技术学院 基于计算机的经济指标实时监控分析方法
CN108650274A (zh) * 2018-05-21 2018-10-12 中国科学院计算机网络信息中心 一种网络入侵检测方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105703994A (zh) * 2016-04-29 2016-06-22 广东省电信规划设计院有限公司 网络性能评估方法和***
CN107046548A (zh) * 2017-05-22 2017-08-15 东莞理工学院 一种隐私保护下的数据包过滤方法
CN108596436A (zh) * 2018-03-28 2018-09-28 郑州铁路职业技术学院 基于计算机的经济指标实时监控分析方法
CN108650274A (zh) * 2018-05-21 2018-10-12 中国科学院计算机网络信息中心 一种网络入侵检测方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
张子林等: "网络优化模型及程序设计", 《工业技术经济》 *
李煜民等: "从网络资源共享到网络服务", 《电脑知识与技术》 *
毕强等: "实现网络资源共享及其技术研究", 《图书馆论坛》 *
陈琳等: "一种面向大规模***域网络性能管理***", 《计算机工程与科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450078A (zh) * 2021-07-07 2021-09-28 国网山西省电力公司信息通信分公司 一种通信大数据的处理***
CN113783740A (zh) * 2021-10-26 2021-12-10 北京字节跳动网络技术有限公司 一种网络优化方法、装置、设备及介质
CN113783740B (zh) * 2021-10-26 2022-08-16 北京字节跳动网络技术有限公司 一种网络优化方法、装置、设备及介质
CN114124376A (zh) * 2021-11-23 2022-03-01 中国标准化研究院 基于网络数据采集的数据处理方法及***
CN114978629A (zh) * 2022-05-12 2022-08-30 北京神州慧安科技有限公司 一种基于工业互联网安全监测、预警、应急处置***

Similar Documents

Publication Publication Date Title
US11316878B2 (en) System and method for malware detection
US20200344246A1 (en) Apparatus, system and method for identifying and mitigating malicious network threats
US9860154B2 (en) Streaming method and system for processing network metadata
CN110719286A (zh) 一种基于大数据的网络优化方案共享***及其方法
EP2725512B1 (en) System and method for malware detection using multi-dimensional feature clustering
US8955091B2 (en) Systems and methods for integrating cloud services with information management systems
US8438639B2 (en) Apparatus for detecting and filtering application layer DDoS attack of web service
Jeya et al. Efficient classifier for R2L and U2R attacks
CN103179132B (zh) 一种检测和防御cc攻击的方法及装置
CN113079143A (zh) 一种基于流数据的异常检测方法及***
US11184387B2 (en) Network attack defense system and method
US7903657B2 (en) Method for classifying applications and detecting network abnormality by statistical information of packets and apparatus therefor
CN107623685B (zh) 快速检测SYN Flood攻击的方法及装置
EP2767056A1 (en) A method and a system to detect malicious software
KR20140027616A (ko) 웹 트랜잭션 밀집도 기반 에이치티티피 봇넷 탐지 장치 및 방법
US20140259140A1 (en) Using learned flow reputation as a heuristic to control deep packet inspection under load
WO2014110293A1 (en) An improved streaming method and system for processing network metadata
Fenil et al. Towards a secure software defined network with adaptive mitigation of dDoS attacks by machine learning approaches
CN115664833B (zh) 基于局域网安全设备的网络劫持检测方法
Nakahara et al. Malware Detection for IoT Devices using Automatically Generated White List and Isolation Forest.
CN109922083A (zh) 一种网络协议流量控制***
CN112287252B (zh) 网站域名劫持检测方法、装置、设备及存储介质
CN114584356A (zh) 网络安全监控方法及网络安全监控***
KR100728446B1 (ko) 하드웨어 기반의 침입방지장치, 시스템 및 방법
Boonyopakorn Applying Data Analytics to Findings of User Behaviour Usage in Network Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200121

RJ01 Rejection of invention patent application after publication