CN116016547A - 一种基于电网采集终端的流量分片处理方法 - Google Patents
一种基于电网采集终端的流量分片处理方法 Download PDFInfo
- Publication number
- CN116016547A CN116016547A CN202211529876.6A CN202211529876A CN116016547A CN 116016547 A CN116016547 A CN 116016547A CN 202211529876 A CN202211529876 A CN 202211529876A CN 116016547 A CN116016547 A CN 116016547A
- Authority
- CN
- China
- Prior art keywords
- flow
- address
- power grid
- terminal
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000003860 storage Methods 0.000 claims abstract description 4
- 230000005540 biological transmission Effects 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 4
- 208000032370 Secondary transmission Diseases 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000005111 flow chemistry technique Methods 0.000 abstract description 8
- 238000005206 flow analysis Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 238000013467 fragmentation Methods 0.000 description 4
- 238000006062 fragmentation reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于电网采集终端的流量分片处理方法包括：使用一台流量采集服务器进行统一的流量采集接入；在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；按照地区将捕获的流量发往不同的处理服务器进行处理和保存。本发明根据电网采集终端返回的流量报文中包含地区信息，将采集的流量按照地区进行分片存储，以提高网络流量处理能力，同时在网络流量大的情境下，可以形成分布式***，增加网络流量处理服务器，以满足业务的需要，在以大流量的业务下，也可通过扩容处理服务器，提高处理速度，满足业务需求。
Description
技术领域
本发明涉及流量分析技术领域，具体为一种基于电网采集终端的流量分片处理方法。
背景技术
市场上的流量分析***，在遇到大的流量是以时间或保存流量大小进行切割，从而提高网络流量的分析处理速度。
参照现有公开号为CN103546343B的中国专利，其公开了网络流量分析***的网络流量展示方法和***，其中方法包括步骤：获取各网络流量分析***的分析数据，将同一分析数据在不同网络流量分析***中的不同标识转换为同一标识，生成各网络流量分析***的映射文件；获取待转换网络流量分析***中的设备型号数据；根据所述获取的设备型号数据和预存的型号数据列表判断数据采集方式；根据所述采集方式获取待转换网络流量分析***中的分析数据，并根据所述设备型号数据、所述采集方式和所述映射文件将所述待转换网络流量分析***中的分析数据进行协议转换，获得转换分析数据；将所述转换分析数据进行展示。
上述的专利通过本发明实现了同时展示不同***输出的分析数据，但是其依旧存在着一些缺点，如：当需要流量回溯取证时，需要查找大量的文件。同时无法分布式部署儿提高处理能力。流量处理能力的上限却决于单台设备的硬件性能。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述存在的问题，提出了本发明。
因此，本发明解决的技术问题是：现有的流量分析方法存在流量处理能力受硬件性能限制影响大，大流量数据处理和查找速度慢，以及如何提高处理能力的优化问题。
为解决上述技术问题，本发明提供如下技术方案：一种基于电网采集终端的流量分片处理方法，包括：
使用一台流量采集服务器进行统一的流量采集接入；
在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；
按照地区将捕获的流量发往不同的处理服务器进行处理和保存。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述流量采集使用自定义的TCP传输控制协议进行，所述自定义的TCP传输控制协议中存有终端的位置信息字段。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述TCP传输控制协议通过确认机制保证信息的成功发送。
发送方对通过TCP协议传输的数据进行编号，流量采集服务器通过编号进行确认并返回确认接收信息，定义为一次发送；
若发送方在600ms内没有收到确认接收信息则重新发送一次信息，定义为二次发送；
若发送方在600×2ms内没有收到确认接收信息则再次重新发送一次信息；
信息发送次数小于等于5次，每次发送间隔进行倍数递增；
当信息发送5次后任未得到确认，则认为传输故障，不再进行信息发送，进行告警显示。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述地址解析规则包括：地址域、数据格式、字节数三层，其中所述地址域为省地市区县码A1，数据格式为BCD，字节数为3。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述省地市区县码按国家规定标准执行，当此通信的最终发起端和接收端为终端时，省地市区县码表示终端所属的省份、地市以及区县，所述A1的高字节表示省份、中间字节表示地市码、低字节表示区县码，并按照低字节在前，高字节在后的顺序传输。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述按照地区将捕获的流量发往不同的处理服务器是由路由程序进行的。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述路由到不同的处理服务器进行处理包括：
由所述处理服务器根据所述TCP协议中的采集地址或主站服务器地址进行进一步分类，所述分类规则包括地址域、数据格式、字节数三层；
所述采集地址地址域为终端地址A2，数据格式为BIN，字节数为1；
所述主站服务器地址域为主站地址A3，所述数据格式为BIN，所述字节数为3。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述终端地址A2选址范围为1-16777216，A2＝000000H为无效地址，A2＝FFFFFFH时表示***广播地址，按照低字节在前，高字节在后的顺序传输。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述主站地址A3的D0-D7组成0-255个主站地址MSA，所述A3支持应用***采用网络通道与终端交换数据时有多个主站进行操作的情况。
作为本发明所述的基于电网采集终端的流量分片处理方法的一种优选方案，其中：所述主站启动的发送帧的MSA应为非零值，终端响应帧的MSA应与主站发送帧的MSA相同，所述终端启动发送帧的MSA应为零，主站响应帧的MSA也应为零。
本发明的有益效果：本发明提供的基于电网采集终端的流量分片处理方法根据电网采集终端返回的流量报文中包含地区信息，将采集的流量按照地区进行分片存储，以提高网络流量处理能力，同时在网络流量大的情境下，可以形成分布式***，增加网络流量处理服务器，以满足业务的需要，在以大流量的业务下，也可通过扩容处理服务器，提高处理速度，满足业务需求，极大的提高电网采集终端大流量业务场景下的的分析速率。同时按照多维度进行分片保存处理网络流量，便于后续的回溯查找，分布式的架构方式也减少了硬件故障造成的业务影响面。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例提供的一种基于电网采集终端的流量分片处理方法的整体流程图；
图2为本发明第二个实施例提供的一种基于电网采集终端的流量分片处理方法中流量采集和分片处理示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1，为本发明的一个实施例，提供了一种基于电网采集终端的流量分片处理方法，包括：
S1：使用一台流量采集服务器进行统一的流量采集接入；
更进一步的，流量采集使用自定义的TCP传输协议进行，在电网采集规约的自定义TCP协议字段中，存有终端的位置信息字段。
需要说明的是，TCP传输控制协议通过确认机制保证信息的成功发送。
发送方对通过TCP协议传输的数据进行编号，流量采集服务器通过编号进行确认并返回确认接收信息，定义为一次发送；
若发送方在600ms内没有收到确认接收信息则重新发送一次信息，定义为二次发送；
若发送方在600×2ms内没有收到确认接收信息则再次重新发送一次信息；
信息发送次数小于等于5次，每次发送间隔进行倍数递增，即(600×n)ms，其中n≤5，避免因应答时间不足造成的重复发送；
当信息发送5次后任未得到确认，则认为传输故障，不再进行信息发送，进行告警显示。
S2：在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；
更进一步的，地址解析规则包括：地址域、数据格式、字节数三层，具体规则如下：
应说明的是，省地市区县码按国家标准GB2260-2007的规定执行，当此通信的最终发起端和接收端为终端时，省地市区县码表示终端所属的省份、地市以及区县，所述A1的高字节表示省份、中间字节表示地市码、低字节表示区县码，并按照低字节在前，高字节在后的顺序传输。
S3：按照地区将捕获的流量发往不同的处理服务器进行处理和保存。
更进一步的，根据分析得到的地址信息，由采集服务器的路由程序将采集的流量路由到对应地区的处理服务器上，由对应的处理服务器进行处理。
更进一步的，路由到对应的处理服务器之后，再由处理服务器根据协议中的采集地址或主站服务器地址进行进一步分类，分类规则如下：
| 地址域 | 数据格式 | 字节数 |
| 终端地址A2 | BIN | 3 |
| 主站地址A3 | BIN | 1 |
更进一步的，终端地址A2选址范围为1-16777216，A2＝000000H为无效地址，A2＝FFFFFFH时表示***广播地址，按照低字节在前，高字节在后的顺序传输。
主站地址A3的D0-D7组成0-255个主站地址MSA，A3支持应用***采用网络通道与终端交换数据时有多个主站进行操作的情况。
应说明的是，主站启动的发送帧的MSA应为非零值，终端响应帧的MSA应与主站发送帧的MSA相同；终端启动发送帧的MSA应为零，主站响应帧的MSA也应为零。
实施例2
以下为本发明的一个实施例，提供了一种基于电网采集终端的流量分片处理方法，为了验证本发明的有益效果，通过仿真实验进行科学论证。
首先，针对上述实施例算法，以云南省2022年10月的电网采集终端流量数据为基准，采用本方法和传统的流量处理方法进行对比试验。
***参数：采用3台配置为64核CPU，64GB内存，300GB的固态硬盘服务器，采用万兆光口镜像路由器出入口流量。
具体数据：总计采集生成流量文件约9.5TB，获取一个终端相关信息查询时间约1-5秒，1-5秒延迟展示当前时间点具体终端的相关信息。
处理过程：采用一台服务器接收镜像的流量数据，并根据分片路由规则，对流量进行分片处理，随后转发至相应的处理服务器进行处理，获取采集终端的相关信息，和业务逻辑行为，攻击行为等。
最终得到的仿真实验结果：
与传统的流量处理方法结果相比，处理能力从查询5-20秒提升至1-5秒，实时处理展示能力从60-100秒提升至1-5秒。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于电网采集终端的流量分片处理方法，其特征在于，包括：
使用一台流量采集服务器进行统一的流量采集接入；
在全量的网络流量镜像到流量采集服务器之后，流量采集服务器根据规则进行地址解析匹配；
按照地区将捕获的流量发往不同的处理服务器进行处理和保存。
2.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述流量采集使用自定义的TCP传输控制协议进行，所述自定义的TCP传输控制协议中存有终端的位置信息字段。
3.如权利要求2所述的基于电网采集终端的流量分片处理方法，其特征在于：所述TCP传输控制协议通过确认机制保证信息的成功发送。
发送方对通过TCP协议传输的数据进行编号，流量采集服务器通过编号进行确认并返回确认接收信息，定义为一次发送；
若发送方在600ms内没有收到确认接收信息则重新发送一次信息，定义为二次发送；
若发送方在600×2ms内没有收到确认接收信息则再次重新发送一次信息；
信息发送次数小于等于5次，每次发送间隔进行倍数递增；
当信息发送5次后任未得到确认，则认为传输故障，不再进行信息发送，进行告警显示。
4.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述地址解析规则包括：地址域、数据格式、字节数三层，其中所述地址域为省地市区县码A1，数据格式为BCD，字节数为3。
5.如权利要求4所述的基于电网采集终端的流量分片处理方法，其特征在于：所述省地市区县码按国家规定标准执行，当此通信的最终发起端和接收端为终端时，省地市区县码表示终端所属的省份、地市以及区县，所述A1的高字节表示省份、中间字节表示地市码、低字节表示区县码，并按照低字节在前，高字节在后的顺序传输。
6.如权利要求1所述的基于电网采集终端的流量分片处理方法，其特征在于：所述按照地区将捕获的流量发往不同的处理服务器是由路由程序进行的。
7.如权利要求6所述的基于电网采集终端的流量分片处理方法，其特征在于：所述路由到不同的处理服务器进行处理包括：
由所述处理服务器根据所述TCP协议中的采集地址或主站服务器地址进行进一步分类，所述分类规则包括地址域、数据格式、字节数三层；
所述采集地址地址域为终端地址A2，数据格式为BIN，字节数为1；
所述主站服务器地址域为主站地址A3，所述数据格式为BIN，所述字节数为3。
8.如权利要求7所述的基于电网采集终端的流量分片处理方法，其特征在于：所述终端地址A2选址范围为1-16777216，A2＝000000H为无效地址，A2＝FFFFFFH时表示***广播地址，按照低字节在前，高字节在后的顺序传输。
9.如权利要求7所述的基于电网采集终端的流量分片处理方法，其特征在于：所述主站地址A3的D0-D7组成0-255个主站地址MSA，所述A3支持应用***采用网络通道与终端交换数据时有多个主站进行操作的情况。
10.如权利要求9所述的基于电网采集终端的流量分片处理方法，其特征在于：所述主站启动的发送帧的MSA应为非零值，终端响应帧的MSA应与主站发送帧的MSA相同，所述终端启动发送帧的MSA应为零，主站响应帧的MSA也应为零。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211529876.6A CN116016547A (zh) | 2022-11-30 | 2022-11-30 | 一种基于电网采集终端的流量分片处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211529876.6A CN116016547A (zh) | 2022-11-30 | 2022-11-30 | 一种基于电网采集终端的流量分片处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116016547A true CN116016547A (zh) | 2023-04-25 |
Family
ID=86032466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211529876.6A Pending CN116016547A (zh) | 2022-11-30 | 2022-11-30 | 一种基于电网采集终端的流量分片处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116016547A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516507A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 基于dlptp时钟同步的用电信息采集***对时方法 |
| CN106572013A (zh) * | 2016-11-09 | 2017-04-19 | 蔡日基 | 单连接多路由备份的tcp网络*** |
| CN111181799A (zh) * | 2019-10-14 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种网络流量监控方法及设备 |
| CN113055463A (zh) * | 2021-03-10 | 2021-06-29 | 北京中兆龙芯软件科技有限公司 | 一种电力同步抄表方法以及抄表装置 |
| US20210344638A1 (en) * | 2018-09-30 | 2021-11-04 | Wangsu Science & Technology Co., Ltd. | Method for network traffic forwarding, request sending, and communication acceleration, forwarding server and node server |
-
2022
- 2022-11-30 CN CN202211529876.6A patent/CN116016547A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103516507A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 基于dlptp时钟同步的用电信息采集***对时方法 |
| CN106572013A (zh) * | 2016-11-09 | 2017-04-19 | 蔡日基 | 单连接多路由备份的tcp网络*** |
| US20210344638A1 (en) * | 2018-09-30 | 2021-11-04 | Wangsu Science & Technology Co., Ltd. | Method for network traffic forwarding, request sending, and communication acceleration, forwarding server and node server |
| CN111181799A (zh) * | 2019-10-14 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 一种网络流量监控方法及设备 |
| CN113055463A (zh) * | 2021-03-10 | 2021-06-29 | 北京中兆龙芯软件科技有限公司 | 一种电力同步抄表方法以及抄表装置 |
Non-Patent Citations (1)
| Title |
|---|
| 赖宏图;: "基于信息增益的网络流量特征采集分析***", 科学技术与工程, no. 06, 28 February 2010 (2010-02-28) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20120009948A1 (en) | System and method for determining a location for a mobile device | |
| CN108710060A (zh) | 一种台区识别方法及装置 | |
| CN101174982A (zh) | 一种实现多时区数据信息统一的方法、装置及*** | |
| CN113691305B (zh) | 基于云-边-端的北斗三号短报文信道的图片传输方法 | |
| CN104243623A (zh) | 乘客信息***与ats***间接口的数据处理***及方法 | |
| CN116016547A (zh) | 一种基于电网采集终端的流量分片处理方法 | |
| CN112187582B (zh) | 智能变电站过程层交换机端口流量监测预告警***及方法 | |
| CN114205375A (zh) | 一种基于边缘物联代理设备的电力数据采集*** | |
| CN113612666A (zh) | 一种测量配电网差动保护网络时延的方法及装置 | |
| CN110932393B (zh) | 一种变电站保信主站***及其数据初始化方法 | |
| CN113437997B (zh) | 一种电力线载波通信方法、装置、设备和介质 | |
| CN114401147B (zh) | 一种基于摘要算法的新能源电站通讯报文比对方法及*** | |
| CN116233148A (zh) | 云边数据同步方法、***、装置及计算机存储介质 | |
| CN115314919A (zh) | 一种电力物联网上行数据持续可靠传输方法 | |
| CN108632290B (zh) | 一种电力调度自动化***实时数据转发***及方法 | |
| CN108632828B (zh) | 一种区分不同频段核心网的基站及其处理方法 | |
| US6330305B1 (en) | System and method for locating faulty elements in a telephonic distribution system | |
| CN112398701A (zh) | 一种基于互联网应用的智能语音识别*** | |
| CN105007459A (zh) | 海上风电火灾报警视频监控***及其方法 | |
| CN114070893B (zh) | 数据报文的传输方法、装置和核心网设备 | |
| CN117596273B (zh) | 一种电网调度***间数据传输方法及*** | |
| CN105338055A (zh) | 信息交互方法、服务器和信息交互*** | |
| CN115825721A (zh) | 一种基于mqtt的真空断路器检测*** | |
| CN107454163A (zh) | 一种多终端展项互联展示控制方法 | |
| CN216387853U (zh) | 电动汽车远程服务与管理***车辆故障实时推送*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |