CN110913287A - 信号处理方法、***以及应用于该方法和***的分光设备 - Google Patents
信号处理方法、***以及应用于该方法和***的分光设备 Download PDFInfo
- Publication number
- CN110913287A CN110913287A CN201911342543.0A CN201911342543A CN110913287A CN 110913287 A CN110913287 A CN 110913287A CN 201911342543 A CN201911342543 A CN 201911342543A CN 110913287 A CN110913287 A CN 110913287A
- Authority
- CN
- China
- Prior art keywords
- data
- optical
- network
- signal
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/07—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems
- H04B10/075—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal
- H04B10/079—Arrangements for monitoring or testing transmission systems; Arrangements for fault measurement of transmission systems using an in-service signal using measurements of the data signal
- H04B10/0793—Network aspects, e.g. central monitoring of transmission parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0005—Switch and router aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
- H04Q2011/0073—Provisions for forwarding or routing, e.g. lookup tables
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q11/00—Selecting arrangements for multiplex systems
- H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
- H04Q11/0062—Network aspects
- H04Q2011/0079—Operation or maintenance aspects
- H04Q2011/0083—Testing; Monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请***号处理方法、***以及应用于该方法和***的分光设备,具体实现方案为:分光设备将接收到的承载待处理数据的光信号分出第一分光信号和第二分光信号;将第一分光信号发送至数据分析端,通过数据分析端利用第一分光信号对待处理数据进行分析,得到网络分析数据;将第二分光信号发送至网络设备,通过网络设备将第二分光信号进行转发。在不影响网络设备正常运行的情况下,数据分析端可以不间断的获取待分析数据。
Description
技术领域
本申请涉及信号处理领域。
背景技术
为了提高用户对网络使用的满意度,网络服务机构需要获取用户的网络计量数据,从而可以对用户的网络使用情况进行分析。网络服务根据分析结果进行计费,或者调整服务策略等。
已有技术通常对用户的网络计量数据采用主动式采集的方式,例如通过简单网络管理协议(SNMP,Simple Network Management Protocol)、安全外壳协议(SSH,SecureShell Protocol)等方式。但上述采集方式会持续的对用户网络中的路由设备造成压力。基于此,采集周期也会受到影响,无法持续采集。对于网络服务机构来说,已有技术的采集方式无法满足需求。
发明内容
为解决现有技术的问题,本申请提供了一种信号处理方法、***以及应用于该方法和***的分光设备。
第一方面,本申请实施例提供一种信号处理方法,包括:
将接收到的承载待处理数据的光信号分出第一分光信号和第二分光信号;
将第一分光信号发送至数据分析端,通过数据分析端利用第一分光信号对待处理数据进行分析,得到网络分析数据;
将第二分光信号发送至网络设备,通过网络设备将第二分光信号进行转发。
在一种实施方式中,还包括:接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号;
将第二分光信号发送至网络设备,包括:将第二分光信号发送至处理私网数据的路由设备,通过处理私网数据的多级路由设备转发第二分光信号。
在一种实施方式中,还包括:接收来自处理私网数据的网络设备之间传输的承载待处理数据的光信号;
将第二分光信号发送至网络设备,包括:将第二分光信号发送至处理私网数据的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
第二方面,本申请实施例提供一种分光设备,可以应用于前述信号处理方法,包括:
第一光传输接口,用于接收承载待处理数据的光信号;
分光执行模块,用于将光信号分出第一分光信号和第二分光信号;
光转发接口,用于将第一分光信号发送至数据分析端;
第二光传输接口,用于将第二分光信号发送至网络设备。
在一种实施方式中,还包括:
第一光传输接口接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号;
第二光传输接口用于将第二分光信号发送至处理私网数据的路由设备,通过多级路由设备转发第二分光信号。
在一种实施方式中,还包括:
第一光传输接口接收来自处理私网数据的网络设备之间传输的承载待处理数据的光信号;
第二光传输接口用于将第二分光信号发送至处理私网数据的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
第三方面,本申请实施例提供一种信号处理***,包括:
前述的分光设备;
数据分析端,用于利用分光设备分出的承载待处理数据的第一分光信号对待处理数据进行分析,得到网络分析数据;
网络设备,用于将分光设备分出的第二分光信号进行转发。
在一种实施方式中,数据分析端,包括:
格式转换设备,用于接收来自分光设备的承载待处理数据的第一分光信号,将第一分光信号转换为预定格式的待处理数据;其中,预定格式为匹配设备和分析设备可读取的格式;
匹配设备,用于将待处理数据与预存的用户信息进行匹配,得到匹配对;
分析设备,用于对匹配对中的待处理数据进行分析,得出与用户信息相对应的用户的网络分析数据。
在一种实施方式中,格式转换设备,包括:
第一格式转换子模块,用于将第一分光信号转换为网络流量Netflow格式的待处理数据;
第二格式转换子模块,用于将网络流量格式的待处理数据转换为对象简谱JSON格式的待处理数据。
在一种实施方式中,格式转换设备,还包括:
数据解析子模块,用于对网络流量格式的待处理数据进行解析,得到网络流量格式的待处理数据的IP地址,根据预存的IP地址过滤集合,对网络流量格式的待处理数据进行筛选,输出筛选后的网络流量格式的待处理数据。
在一种实施方式中,格式转换设备,还包括:
第一缓存子模块,用于缓存网络流量格式的待处理数据,根据第一输出规则,向第二格式转换子模块输出缓存的网络流量格式的待处理数据。
在一种实施方式中,匹配设备,包括:
配对任务生成子模块,用于生成配对任务;
配对任务执行子模块,用于获取预存的用户信息,以及预定格式的待处理数据,根据配对任务,将用户信息和预定格式的待处理数据进行匹配,得到匹配对。
在一种实施方式中,匹配设备,还包括:
第二缓存子模块,用于从数据库获取预存的用户信息,将用户信息进行缓存,根据第二输出规则,向配对任务执行子模块输出缓存的用户信息。
在一种实施方式中,分析设备,包括:
第二存储子模块,用于存储匹配对;
分析执行子模块,对匹配对中预定格式的待处理数据进行分析,得出与用户信息相对应的用户的网络分析数据。
上述申请中的一个实施例具有如下优点或有益效果:在不影响网络设备正常运行的情况下,数据分析端可以不间断的获取待分析数据。利用待分析数据可以获取例如网络计量数据等,从而可以对网络情况进行分析。因为采用分光设备,将光信号分为第一分光信号和第二分光信号的技术手段,所以克服了主动采集方式会持续的对用户网络中的路由设备造成压力的技术问题,进而可以不间断的获取待分析数据的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的示意图;
图2是根据本申请第二实施例的示意图;
图3是根据本申请第三实施例的示意图;
图4是根据本申请第三实施例的示意图;
图5是根据本申请第三实施例的示意图;
图6是根据本申请第三实施例的示意图;
图7是根据本申请第三实施例的示意图;
图8是可以实现本申请实施例的信号处理***场景图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
如图1所示,本申请提供一种信号处理方法,包括以下步骤:
S101:将接收到的承载待处理数据的光信号分出第一分光信号和第二分光信号。
S102:将第一分光信号发送至数据分析端,通过数据分析端利用第一分光信号对待处理数据进行分析,得到网络分析数据。
S103:将第二分光信号发送至网络设备,通过网络设备将第二分光信号进行转发。
本申请可以采用网络分路器对光信号进行镜像处理。例如,一个网络分路器可以有M个输入端和N个输出端。网络分路器将输入端接收到的网络信号进行镜像处理,分别从各输出端输出。
在一种实施方式中,网络分路器可以采用分光设备。根据一种示例的场景中,分光设备可以包括两个光传输接口和一个光转发接口。
第一光传输接口接收光信号,进行分光处理后,分出第一分光信号和第二分光信号。第一分光信号从第二光传输接口输出,第二分光信号从光转发接口输出。
两个光传输接口分别连接光信号的收、发两端,光转发接口连接数据分析端。光信号收、发的两端可以是处理私网数据的网络设备和处理公网数据的网络设备,也可以是处理私网数据的不同网络设备。公网可以称为广域网、外网等,是连接不同地区局域网或城域网计算机通信的远程网。私网可以包括用户所使用的网络,例如局域网等。处理私网数据的网络设备可以包括处理局域网中数据的路由器或交换机等。
例如,数据分析端可以归属于网络服务机构,可以对处理私网数据的网络设备和处理公网数据的网络设备之间传输的光信号进行分析;或者,对处理私网数据的不同网络设备之间传输的光信号进行分析,得到网络分析数据。
通过该方案,第一分光信号和第二分光信号互为镜像,且彼此之间互不干扰。因此,对于用户的网络设备(例如路由设备)不会造成访问压力。网络服务机构的数据分析端可以实时且不间断的获取在公网和私网之间传输的光信号,从而可以对该光信号进行采样分析,细化了获取网络信号的时间粒度。
另外,网络分路器还可以采用刺穿式搭接器或感应线圈等,具体实现原理不再赘述。
在一种实施方式中,还包括:接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号。
将第二分光信号发送至网络设备,包括:将第二分光信号发送至处理私网数据的路由设备,通过处理私网数据的多级路由设备转发第二分光信号。
处理公网数据的网络设备可以包括处理公网数据的服务器或者公网的交换机等设备。
分光设备可以设置于处理公网数据的网络设备与处理私网数据的网络设备之间,将公网与私网之间传输的光信号分出第一分光信号和第二分光信号。第一分光信号发送至数据分析端。第二分光信号在公网与私网之间传输。
对于进入私网的第二分光信号,可以由私网的一级路由设备进行转发。例如,一级路由设备可以将第二分光信号转发给私网的二级路由设备,即,通过多级路由设备转发第二分光信号。又例如,私网的一级路由设备还可以将第二分光信号直接发送给处理私网数据的交换机或者PC等网络设备。
进一步的,对于存在多个网络运营商的情况,可以设置多个分光设备。每一个分光设备可以对接一个网络运营商,从而可以区分出不同网络运营商所提供的网络信号。
数据分析端利用承载待处理数据的第一分光信号,可以分析得出私网与公网进行通信的网络分析数据。该网络分析数据可以是网络计量数据。网络计量数据可以包括流量数据、网速数据等。
在一种实施方式中,还包括:接收来自处理私网数据的网络设备之间传输的承载待处理数据的光信号;
将第二分光信号发送至网络设备,包括:将第二分光信号发送至处理私网数据的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
分光设备可以设置于处理私网数据的网络设备之间。例如,设置于处理私网数据的二级路由设备和交换机之间,从而可以将已进入私网的光信号一分为二。一方面,将处理私网数据的网络设备之间传输的光信号分出第一分光信号,发送至数据分析端。另一方面,将处理私网数据的网络设备之间传输的光信号分出第二分光信号,发送至目的网络设备。例如,将二级路由设备发出的光信号分出第一分光信号和第二分光信号。
将第一分光信号发送至数据分析端。数据分析端可以分析得出在用户端所使用的私网中,各网络设备之间进行通信的网络计量数据。
将第二光信号发送至处理私网数据的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
如图2所示,在一种实施方式中,本申请提供一种分光设备,可以应用于上述信号处理方法,该分光设备包括:
第一光传输接口201,用于接收承载待处理数据的光信号。
分光执行模块202,用于将光信号分出第一分光信号和第二分光信号。
光转发接口203,用于将第一分光信号发送至数据分析端。
第二光传输接口204,用于将第二分光信号发送至网络设备。
在一种实施方式中,第一光传输接口201接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号;
第二光传输接口204用于将第二分光信号发送至处理私网数据的路由设备,通过多级路由设备转发第二分光信号。
在一种实施方式中,第一光传输接口201接收来自处理私网数据的网络设备之间传输的承载待处理数据的光信号;
第二光传输接口204用于将第二分光信号发送至处理私网数据的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
如图3所示,在一种实施方式中,本申请提供一种信号处理***,包括:
前述的分光设备301。
数据分析端302,用于利用分光设备301分出的承载待处理数据的第一分光信号对待处理数据进行分析,得到网络分析数据。
网络设备303,用于将分光设备301分出的第二分光信号进行转发。
分光设备301可以设置于处理公网数据的网络设备与处理私网数据的网络设备之间,将公网与私网之间传输的光信号分出第一分光信号和第二分光信号。第一分光信号发送至数据分析端302。第二分光信号在公网与私网之间传输。
对于进入私网的第二分光信号,可以由处理私网数据的一级路由设备进行转发,例如可以转发给处理私网数据的二级路由设备,即,通过多级路由设备转发第二分光信号。又例如,处理私网数据的一级路由设备还可以将第二分光信号发送给处理私网数据的交换机或者PC等网络设备。其中,一级路由设备可以是处理私网与公网之间传输的数据的路由设备,二级路由设备可以是处理私网内部传输的数据的路由设备。
分光设备也可以设置于处理私网数据的网络设备之间。例如,可以设置于处理私网数据的二级路由设备和交换机之间,从而可以将已进入私网的光信号一分为二。一方面,将设置在处理私网数据的网络设备之间传输的光信号分出第一分光信号,发送至数据分析端。另一方面,将设置在处理私网数据的网络设备之间传输的光信号分出第二分光信号,发送至目的网络设备。例如,将二级路由设备发出的光信号分出第二分光信号,将第二光信号发送至设置在私网的交换机,通过交换机将第二分光信号发送至处理私网数据的服务器。
如图4所示,在一种实施方式中,数据分析端302包括:
格式转换设备3021,用于接收来自分光设备301的承载待处理数据的第一分光信号,将第一分光信号转换为预定格式的待处理数据;其中,预定格式为匹配设备3022和分析设备3023可读取的格式;
匹配设备3022,用于将待处理数据与预存的用户信息进行匹配,得到匹配对;
分析设备3023,用于对匹配对中的待处理数据进行分析,得出与用户信息相对应的用户的网络分析数据。
格式转换设备3021接收到分光设备301的第一分光信号,将其转换为预定格式的待处理数据。预定格式可以是匹配设备3022可读取的格式,例如符合网络流量(Netflow)协议的格式,符合大据搜索引擎存储的对象简谱(JSON,JavaScript Object Notation)格式等。
另外,在数据分析端,预存有用户信息。用户信息可以包括用户名称、用户所使用(购买)的网络数据的标识信息等。标识信息可以是网络数据的IP字段,网络数据收发的端口号等信息。
利用匹配设备3022可以将待处理数据和预存的用户信息进行匹配,得到匹配对。例如,从第一分光器分出的第一分光信号中解析出的待处理数据对应A用户,从第二分光器分出的第一分光信号中解析出的待处理数据对应B用户等。
分析设备3023对匹配对中的待处理数据进行分析,可以得到例如网速、流量等网络计量数据。进一步的,可以根据网络计量数据进行计费,或对网速不达标的用户进行线路检修等服务。
如图5所示,在一种实施方式中,格式转换设备3021包括:
第一格式转换子模块30211,用于将第一分光信号转换为网络流量格式的待处理数据;
第二格式转换子模块30212,用于将网络流量格式的待处理数据转换为对象简谱格式的待处理数据。
第一格式转换子模块30211首先将第一分光信号进行解析,得到待处理数据。进一步的,可以采用网络流量(Netflow)技术对待处理数据进行解析处理,得到网络流量格式的待处理数据。
网络流量式的待处理数据可以包括待处理数据的源地址、目的地址、源自治域、目的自治域、流入接口号、流出接口号、源端口、目的端口、协议类型、包数量、字节数和流数量等信息。
第二格式转换子模块30212用于将网络流量格式的待处理数据转换为对象简谱格式的待处理数据。从而便于在后续对于待处理数据的存储和查找。
在一种实施方式中,格式转换设备3021还包括:
数据解析子模块,用于对网络流量格式的待处理数据进行解析,得到网络流量格式的待处理数据的IP地址,根据预存的IP地址过滤集合,对网络流量格式的待处理数据进行筛选,输出筛选后的网络流量格式的待处理数据。
对于处理私网数据的网络设备之间传输的待处理数据,有一些是可以不进行分析的。例如,可以不进行分析的数据包括虚拟机之间传输的数据等。上述可以不进行分析的数据所对应的IP字段,会随着用户信息一并预存。数据解析子模块在判断出待处理数据属于可以不进行解析的数据时,可以将其过滤。从而降低后续流程中的数据运算量。
另外,数据解析子模块还可以用于对筛选后的数据加载标签。
例如,预先获知第一分光设备用于对第一网络运营商的光信号进行分光,第二分光设备用于对第二网络运营商的光信号进行分光。可以根据上述获知信息,将第一分光设备分出的第一分光信号加载第一网络运营商的标签,将第二分光设备分出的第一分光信号加载第二网络运营商的标签。从而在后续得到分析数据时,可以快速的获知该分析数据所对应的网络运营商。
另外,数据解析子模块还可以加载数据流向的标签。例如加载接收流向的标签,或发送流向的标签等。
在一种实施方式中,格式转换设备3021还包括:
第一缓存子模块,用于缓存网络流量格式的待处理数据,根据第一输出规则,向第二格式转换子模块输出缓存的网络流量格式的待处理数据。
对于通过第一格式转换子模块30211转换得到的网络流量格式的待处理数据,可以先将其缓存至第一缓存子模块。第一缓存子模块根据第一输出规则,将缓存的网络流量格式的待处理数据发送给第二格式转换子模块30212。
第一输出规则可以包括:根据第二格式转换子模块30212的计算能力输出。例如第二格式转换子模块每秒钟可以处理100条数据,则每秒钟输出100条待处理数据。
第一输出规则还可以包括:根据一定时间间隔输出。例如每隔10秒钟,输出一定数量的网络流量格式的待处理数据等。
如图6所示,在一种实施方式中,匹配设备3022包括:
配对任务生成子模块30221,用于生成配对任务。
配对任务执行子模块30222,用于获取预存的用户信息,以及预定格式的待处理数据,根据配对任务,将用户信息和预定格式的待处理数据进行匹配,得到匹配对。
配对任务可以包括:查找预存的用户信息与预定格式的待处理数据之间相同的标识信息,利用相同的标识信息进行配对的任务。标识信息可以是网络数据的IP字段,端口号等信息。预存的用户信息中标注了其所使用的网络数据的标识信息。在后续的配对过程中,可以根据上述标识信息,将用户信息和采集到的待分析数据进行匹配。
配对任务执行子模块30222基于该配对任务,将用户信息和预定格式的数据进行匹配,得到匹配对。
为了提高工作效率,配对任务执行子模块30222可以设置为多个,从而可以并行处理不同的配对任务。
在一种实施方式中,匹配设备3022还包括:
第二缓存子模块,用于从数据库获取预存的用户信息,将用户信息进行缓存,根据第二输出规则,向配对任务执行子模块输出缓存的用户信息。
第二输出规则可以包括:根据配对任务执行子模块30222的计算能力输出。例如,配对任务执行子模块30222每秒钟可以处理100条数据,则每秒钟输出100条用户信息。
或者,第二输出规则还可以包括:根据一定时间间隔输出。例如,每隔10秒钟,输出一定数量的用户信息等。
通过设置第二缓存子模块,可以将用户信息缓存在第二缓存子模块。任务执行子模块30222可以从第二缓存子模块获取缓存的用户信息。相比于频繁访问数据库获取用户信息,通过设置第二缓存模块,可以提高数据读取的速度。
如图7所示,在一种实施方式中,分析设备3023包括:
第二存储子模块30231,用于存储匹配对。
分析执行子模块30232,对匹配对中预定格式的待处理数据进行分析,得到与用户信息相对应的用户的网络分析数据。
第二存储子模块30231从配对任务执行子模块30222中获取匹配对,并将其存储。分析执行子模块30232中预置有数据分析算法,利用不同的数据分析算法可以得到与用户信息相对应的用户的网络分析数据。例如流量信息、网速信息等。
如图8所示,在一种实施方式中,本申请提供一种信号处理***,包括:
第一分光器,连接于处理公网数据的网络设备与处理私网数据的网络设备之间,用于将上述网络设备之间传输的光信号进行分光处理,得到第一分光信号和第二分光信号。第一分光信号传输至流量采集设备,第二分光信号传输至处理公网数据的网络设备,或传输至处理私网数据的一级路由设备。
一级路由设备,与第一分光器连接,用于接收第一分光信号进行转发。
二级路由设备,与一级路由设备连接,将一级路由设备转发的光信号进行二次转发。
第二分光器,连接于二级路由设备与交换机之间,用于将二级路由设备与交换机之间传输的光信号进行分光处理,得到第一分光信号和第二分光信号。第一分光信号传输至流量采集设备,第二分光信号传输至二级路由设备,或传输至交换机。
另外,二级路由设备可以包括多个,各二级路由设备分别与一级路由设备连接。在二级路由设备包括N个的情况下,每一个二级路由设备与交换机之间,均可以连接一分光器,即对应第二至第N分光器。其中,N为正整数。
交换机,连接于多个二级路由设备与服务器之间,用于转发多个二级路由设备与服务器之间的光信号。
流量采集设备,与各分光器连接,用于将分光器分出的光信号转换为网络流量格式的待处理数据。流量采集设备可以对应前述实施例中的第一格式转换子模块。
数据解析设备,与流量采集设备连接,用于将网络流量格式的待处理数据转换为对象简谱格式的数据,并对转换后的数据进行过滤和/或加载标签处理。数据解析设备可以对应前述实施例中的第二格式转换子模块和数据解析子模块。
第一缓存设备,与数据解析设备连接,用于缓存数据解析设备处理后的数据。第一缓存设备可以采用Kafka(卡夫卡)消息***,该信息***是一个分布式消息***,可以实时处理大量数据以满足各种需求场景。第一缓存设备可以对应前述实施例中的第一缓存子模块。
格式转换设备,例如可以是Logstash引擎设备,与第一缓存设备连接,用于将第一缓存设备中的数据转化成与Logstash引擎设备连接的ElasticSearch(弹性搜索)存储器指定的格式,并将转换后的数据存入ElasticSearch存储器。Logstash引擎设备可以对应前述实施例中的第二格式转换子模块。
ElasticSearch存储器,与Logstash引擎设备连接,用于存储Logstash引擎设备输出的数据。
配对任务生成设备,用于生成配对任务,并从ElasticSearch存储器获取数据,将配对任务和获取的数据发送至与其连接的配对任务执行设备。
配对任务可以包括:查找从ElasticSearch存储器中获取的数据与预存的用户信息之间相同的标识信息,利用相同的标识信息进行配对的任务。标识信息可以是数据的IP字段,端口号等信息。
配对任务执行设备可以包括多个,例如第一至第N配对任务执行设备。各配对任务执行设备并行执行配对任务。
执行配对任务可以包括:从配对任务生成设备获取配对任务和数据。根据配对任务,提取数据的标识信息。以及,根据配对任务,从第二缓存设备获取用户信息,提取用户信息的标识信息。将标识信息相同的数据和用户信息组成匹配对。
数据库,预存有用户信息。第二缓存设备从数据库获取到用户信息,并进行缓存。根据配对任务执行设备的获取请求,将缓存的用户信息发送给配对任务执行设备。
存储设备,与配对任务执行设备连接,用于获取匹配对并存储。存储设备可以采用MongoDB存储器,MongoDB存储器是基于分布式文件存储的数据库。
数据分析设备,与存储设备连接,用于对匹配对中的数据进行分析,得到与用户信息相对应的用户的网络分析数据。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (14)
1.一种信号处理方法,其特征在于,包括:
将接收到的承载待处理数据的光信号分出第一分光信号和第二分光信号;
将所述第一分光信号发送至数据分析端,通过所述数据分析端利用所述第一分光信号对所述待处理数据进行分析,得到网络分析数据;
将所述第二分光信号发送至网络设备,通过所述网络设备将所述第二分光信号进行转发。
2.根据权利要求1所述的方法,其特征在于,还包括:接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号;
将所述第二分光信号发送至网络设备,包括:将所述第二分光信号发送至处理私网数据的路由设备,通过处理私网数据的多级路由设备转发所述第二分光信号。
3.根据权利要求1所述的方法,其特征在于,还包括:接收来自处理私网数据的网络设备之间传输的承载待处理数据的光信号;
将所述第二分光信号发送至网络设备,包括:将所述第二分光信号发送至处理私网数据的交换机,通过所述交换机将所述第二分光信号发送至处理私网数据的服务器。
4.一种分光设备,其特征在于,包括:
第一光传输接口,用于接收承载待处理数据的光信号;
分光执行模块,用于将所述光信号分出第一分光信号和第二分光信号;
光转发接口,用于将所述第一分光信号发送至数据分析端;
第二光传输接口,用于将所述第二分光信号发送至网络设备。
5.根据权利要求4所述的设备,其特征在于,还包括:
所述第一光传输接口接收来自处理公网数据的网络设备与处理私网数据的网络设备之间传输的光信号;
所述第二光传输接口用于将所述第二分光信号发送至处理私网数据的路由设备,通过多级路由设备转发所述第二分光信号。
6.根据权利要求4所述的设备,其特征在于,还包括:
所述第一光传输接口接收来自处理私网的网络设备之间传输的承载待处理数据的光信号;
所述第二光传输接口用于将所述第二分光信号发送至处理私网数据的交换机,通过所述交换机将所述第二分光信号发送至处理私网数据的服务器。
7.一种信号处理***,其特征在于,包括:
权利要求4-6任一所述的分光设备;
数据分析端,用于利用所述分光设备分出的承载待处理数据的第一分光信号对所述待处理数据进行分析,得到网络分析数据;
网络设备,用于将所述分光设备分出的第二分光信号进行转发。
8.根据权利要求7所述的***,其特征在于,所述数据分析端,包括:
格式转换设备,用于接收来自所述分光设备的承载待处理数据的第一分光信号,将所述第一分光信号转换为预定格式的待处理数据;其中,所述预定格式为匹配设备和分析设备可读取的格式;
匹配设备,用于将所述待处理数据与预存的用户信息进行匹配,得到匹配对;
分析设备,用于对所述匹配对中的待处理数据进行分析,得出与所述用户信息相对应的用户的网络分析数据。
9.根据权利要求8所述的***,其特征在于,所述格式转换设备,包括:
第一格式转换子模块,用于将所述第一分光信号转换为网络流量Netflow格式的待处理数据;
第二格式转换子模块,用于将所述网络流量格式的待处理数据转换为对象简谱JSON格式的待处理数据。
10.根据权利要求9所述的***,其特征在于,所述格式转换设备,还包括:
数据解析子模块,用于对所述网络流量格式的待处理数据进行解析,得到所述网络流量格式的待处理数据的IP地址,根据预存的IP地址过滤集合,对所述网络流量格式的待处理数据进行筛选,输出筛选后的所述网络流量格式的待处理数据。
11.根据权利要求9或10所述的***,其特征在于,所述格式转换设备,还包括:
第一缓存子模块,用于缓存所述网络流量格式的待处理数据,根据第一输出规则,向所述第二格式转换子模块输出缓存的所述网络流量格式的待处理数据。
12.根据权利要求8所述的***,其特征在于,所述匹配设备,包括:
配对任务生成子模块,用于生成配对任务;
配对任务执行子模块,用于获取预存的用户信息,以及所述预定格式的待处理数据,根据所述配对任务,将所述用户信息和所述预定格式的待处理数据进行匹配,得到匹配对。
13.根据权利要求12所述的***,其特征在于,所述匹配设备,还包括:
第二缓存子模块,用于从数据库获取所述预存的用户信息,将所述用户信息进行缓存,根据第二输出规则,向所述配对任务执行子模块输出缓存的用户信息。
14.根据权利要求8所述的***,其特征在于,所述分析设备,包括:
第二存储子模块,用于存储所述匹配对;
分析执行子模块,对所述匹配对中预定格式的待处理数据进行分析,得出与所述用户信息相对应的用户的网络分析数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911342543.0A CN110913287A (zh) | 2019-12-23 | 2019-12-23 | 信号处理方法、***以及应用于该方法和***的分光设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911342543.0A CN110913287A (zh) | 2019-12-23 | 2019-12-23 | 信号处理方法、***以及应用于该方法和***的分光设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110913287A true CN110913287A (zh) | 2020-03-24 |
Family
ID=69827477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911342543.0A Pending CN110913287A (zh) | 2019-12-23 | 2019-12-23 | 信号处理方法、***以及应用于该方法和***的分光设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110913287A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101521630A (zh) * | 2009-04-09 | 2009-09-02 | 杭州华三通信技术有限公司 | 一种网络流量的分析方法和设备 |
CN202759481U (zh) * | 2012-06-12 | 2013-02-27 | 亿赞普(北京)科技有限公司 | 一种分光镜像*** |
CN103546343A (zh) * | 2013-10-18 | 2014-01-29 | 中国南方电网有限责任公司 | 网络流量分析***的网络流量展示方法和*** |
CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
CN110213198A (zh) * | 2018-02-28 | 2019-09-06 | 中标软件有限公司 | 网络流量的监控方法及*** |
-
2019
- 2019-12-23 CN CN201911342543.0A patent/CN110913287A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101521630A (zh) * | 2009-04-09 | 2009-09-02 | 杭州华三通信技术有限公司 | 一种网络流量的分析方法和设备 |
CN202759481U (zh) * | 2012-06-12 | 2013-02-27 | 亿赞普(北京)科技有限公司 | 一种分光镜像*** |
CN103546343A (zh) * | 2013-10-18 | 2014-01-29 | 中国南方电网有限责任公司 | 网络流量分析***的网络流量展示方法和*** |
CN108259371A (zh) * | 2016-12-28 | 2018-07-06 | 亿阳信通股份有限公司 | 一种基于流处理的网络流量数据解析方法和装置 |
CN110213198A (zh) * | 2018-02-28 | 2019-09-06 | 中标软件有限公司 | 网络流量的监控方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11601508B2 (en) | Network access method and device for edge router | |
RU2015132628A (ru) | Усовершенствованный потоковый способ и система обработки сетевых метаданных | |
CN103546343A (zh) | 网络流量分析***的网络流量展示方法和*** | |
CN110191024B (zh) | 网络流量监控方法和装置 | |
CN112672381B (zh) | 一种数据关联方法、装置、终端设备及介质 | |
Patil et al. | SSK-DDoS: distributed stream processing framework based classification system for DDoS attacks | |
CN112788060A (zh) | 数据包传输方法和装置、存储介质和电子设备 | |
US10356496B2 (en) | Converged passive optical LAN | |
CN101741745B (zh) | 识别对等网络应用流量的方法及其*** | |
CN108768882A (zh) | 一种协议报文的处理方法及*** | |
CN102546364B (zh) | 网络数据分流方法及其装置 | |
CN102148699A (zh) | 用于提供聚集警报指示信号的***和方法 | |
CN114710416B (zh) | 一种基于工艺流程的网络流量实时数据采集方法 | |
Barsellotti et al. | Introducing data processing units (DPU) at the edge | |
CN105207834A (zh) | 一种报文采集方法、***、网络设备及网管中心 | |
Velasco et al. | Distributed intelligence for pervasive optical network telemetry | |
US9705906B2 (en) | Method and system for combining fiber optic link hierarchical stream metadata with internet protocol metadata | |
CN113783825B (zh) | 一种报文流量统计方法和装置 | |
CN111600929B (zh) | 传输线路探测方法、路由策略生成方法及代理服务器 | |
CN113973240B (zh) | 光纤资源管理方法、***和存储介质 | |
CN105323128A (zh) | 前端设备接入服务器的方法、装置及*** | |
CN110913287A (zh) | 信号处理方法、***以及应用于该方法和***的分光设备 | |
CN101753456A (zh) | 一种对等网络流量检测方法及其*** | |
Khan | Data perspectives in AI-assisted fiber-optic communication networks | |
EP4280561A1 (en) | Information flow identification method, network chip, and network device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200324 |
|
RJ01 | Rejection of invention patent application after publication |