CN113518270A - 面向移动网络的异构数据采集装置和方法 - Google Patents

Abstract

本发明提供了一种面向移动网络的异构数据采集装置以及方法。该装置包括信令接入模块，用于获取数据包；信令解码模块，用于对数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议；信令输出模块，用于输出解码后的数据包。能够极大简化信令采集方案，增加设备利用率，使得组网更加灵活，以及提高了数据采集设备的通用性。

Description

面向移动网络的异构数据采集装置和方法

技术领域

本申请涉及移动通信领域和数据采集领域，具体涉及一种面向移动网络的异构数据采集装置和方法。

背景技术

移动通信网络经过2G、3G、4G的发展，网络越来越复杂，网元数量越来越多，业务种类越来越多样化。随着5G时代的到来，这种现象更加明显。为了保证通信质量，运营商需要对移动网络上的电话、短信、上网业务的指标进行监控和审查，并需要结合大数据手段提供综合分析的能力，包括网络性能分析、业务性能分析和数据库分析等。目前业界普遍的做法是通过数据采集获取移动网络中关键节点链路上的数据，这些数据经过解码、过滤、回填处理后存储到专用的分析***中，由分析***提供上述综合分析能力。另外，还可以通过信令采集方式提供基于位置的业务或漏话提醒等业务，这类业务的实时性要求低于呼叫业务，从经济性和复杂性上考虑，信令采集方式是不错的选择。

由于移动网络的复杂性和业务多样性，数据采集点是多源的，数据结构是异构的。其中，CS(Circuit Switched，电路交换)域网络的数据采集点包括：Mc口、A口、Abis口、LSTP(Low Signal Transfer Point，低级信令转接点)、HSTP(High Signal Transfer Point，高级信令转接点)、HLR(Home Location Register，归属位置寄存器)、关口局等网元以及接口；IMS(IP Multimedia Subsystem，IP多媒体子***)网络的数据采集点包括：I/S-CSCF(Inquiry Call Session Control Function，询问呼叫会话控制功能；Service CallSession Control Function，服务呼叫会话控制功能)和P-CSCF(Proxy Call SessionControl Function，代理呼叫会话控制功能)、I/S-CSCF和MGCF(Media Gateway ControlFunction，媒体网关控制功能)之间的接口、I/S-CSCF与HSS(Home Subscriber Server，归属签约用户服务器)之间的接口以及SBC(Session Border Controller，边界会话控制器)和IMS CE路由器之间的接口。数据结构以信令为主，包括SIP(Session InitiationProtocol，会话初始协议)、CAP(CAMEL Application Part，CAMEL应用部分协议)、MAP(Mobile Application Part，移动应用部分协议)、DIAMETER(IETF的AAA工作组作为下一代的AAA协议标准)、HTTP(HyperText Transfer Protocol,超文本传输协议)、ENUM(E.164Number URI Mapping，电话号码映射)/DNS(omain Name System，域名***)等多种协议。

对于移动网络的数据采集包括信令接入和信令解析两部分，目前信令解析技术主要有以下实现方式：一是基于专用硬件的方法实现。专用硬件是通过板卡的方式实现信令采集，信令解码和输出的程序置于固件中。由于信令接入的端口不同，设备的输入端口可以是E1端口、以太网口或者两种混合。设备的输出端口都为以太网口。专用硬件是一个黑盒，安装部署简单，解码效率高。一是基于软件的方法实现。软件采集方式是指通过在被采集设备上安装监控程序并由此程序将采集到的信令转发给信令采集设备，属于客户端/服务端模式。此方式对被采集设备具有一定的侵入性。

然而，以上信令解析的方法均有一些缺陷，具体如下:

(1)专用硬件内置的解码协议具有较强的针对性，比如七号信令采集设备就只支持七号信令，IMS信令采集设备就只支持SIP，随着网络演进，原有设备的利用率逐渐下降。

(2)信令过滤灵活性欠佳，不能满足对信令的特定操作进行过滤的需求，而这是一些业务平台迫切需要的。

(3)信令采集设备将信令输出到云资源池上时，不具备良好的负载均衡机制。由于云资源池提供的虚拟机规格不会是特别高的配置，会需要很多虚拟机进行信令分析处理，因此会有此问题。

(4)有的信令采集设备的输出是基于二层转发，不能指定上游设备的IP和端口，这需要信令采集设备输出到的设备或平台从链路层开始处理报文，增加了复杂性。

发明内容

针对相关技术中存在的问题，本申请的目的在于提供一种面向移动网络的异构数据采集装置和方法，能够极大简化信令采集方案，增加设备利用率，使得组网更加灵活，进而降低移动网络中数据采集方案的成本、提高数据采集设备的通用性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种面向移动网络的异构数据采集装置，包括：信令接入模块，用于获取数据包；信令解码模块，用于对数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议；信令输出模块，用于输出解码后的数据包。

根据本发明的实施例，异构数据采集装置，还包括：信令过滤模块，用于：接受信令解码模块输入的每一层的解码结果；从解码结果读取字段并将字段与信令过滤规则对应的条件进行匹配；若匹配成功，将过滤规则对应的动作返回信令解码模块，信令解码模块在执行动作后进行更高层的解码。

根据本发明的实施例，异构数据采集装置，动作包括接受和丢弃，接受表示继续处理更高层的协议，丢弃表示直接丢弃数据包；条件由参数名称、逻辑运算和取值组成，参数名称和取值来自于信令解码模块。

根据本发明的实施例，异构数据采集装置，信令接入模块包括DPDK组件。

根据本发明的实施例，异构数据采集装置，其特征在于，DPDK组件包括：输入无锁环形队列，用于缓存装置接收的数据包，数据包由DPDK组件从网卡读到数据包后直接写入，并由信令解码模块读出；输出无锁环形队列，用于缓存需要输出的数据包，数据包由信令过滤模块写入并由信令输出模块读出。

根据本发明的实施例，异构数据采集装置，信令输出模块支持连接多个信令处理装置，信令输出模块将解码后的数据包按照信令输出格式进行编码后输出至多个信令处理装置中对应的信令处理装置。

根据本发明的实施例，异构数据采集装置，采用负载均衡算法将信令分流到多个信令处理装置，负载均衡算法包括轮询、加权轮询、哈希中的一种或多种。

根据本发明的实施例，异构数据采集装置，多种通信协议包括：IP、TCP/UDP/SCTP、MTP3、SCCP、TCAP、BICC、SIP、DIAMETER。

根据本发明的另一方面，提供了一种面向移动网络的异构数据采集方法，其特征在于，包括：步骤一：获取数据包；步骤二：对数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议；步骤三：输出解码后的数据包。

根据本发明的实施例，异构数据采集方法中，步骤二还包括：接受每一层的解码结果；从解码结果读取字段并将字段与信令过滤规则对应的条件进行匹配；若匹配成功，将过滤规则对应的动作返回，并在执行动作后进行更高层的解码。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种面向移动网络的异构数据采集装置。

图2是根据本发明实施例的一种面向移动网络的异构数据采集***。

图3是根据实施例的一种面向移动网络的异构数据采集流程示意图。

图4是根据实施例的一种面向移动网络的异构数据采集流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供了一种面向移动网络的异构数据采集装置A，包括：信令接入模块A1，用于获取数据包；信令解码模块A2，用于对数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及每一层协议的解码规则确定更高层的协议；信令输出模块A3，用于输出解码后的数据包。

其中，上述通信协议包括涵盖CS域网络和IMS网络的各种协议。上述协议的解码规则包括但不限于端口、指示语等。

本发明的上述技术方案通过内置全面的移动网络通信协议，对数据自底向上进行解码，逐层解开数据包，以及根据每一层协议的解码规则确定更高层的协议，可以使数据采集装置具有良好的通用性。并且当业务里发生变化时，可以调整端口处理的业务信令类型。

如图2所示，本发明提供了一种面向移动网络的异构数据采集***，包括：面向移动网络的异构数据采集B、CS域网络的信令接入装置C1、IMS网络的信令接入装置C2、信令处理装置D，面向移动网络的异构数据采集B包括：DPDK组件B1、信令解码模块B2、信令过滤模块B3、信令输出模块B4。

根据本发明的实施例，如图2所示，面向移动网络的异构数据采集装置还包括信令过滤模块B3，用于：接受信令解码模块输入的每一层的解码结果；从解码结果读取字段并将字段与信令过滤规则对应的条件进行匹配；若匹配成功，将过滤规则对应的动作返回信令解码模块，信令解码模块在执行动作后进行更高层的解码。

其中，信令过滤规则包括“条件”和“动作”两部分。“动作”包括“接受”和“丢弃”两种方式，“接受”表示继续处理下一层协议，“丢弃”表示直接丢弃数据包。“条件”由参数名称、逻辑运算和取值组成，参数名称和取值来自于信令解码模块。逻辑运算包括但不限于“等于”、“不等于”、“大于”、“小于”、“大于等于”、“小于等于”、“正则匹配”等。

其中，过滤规则的参数名称按协议分类如下：

上述信令过滤模块是根据过滤规则提供信令过滤的接口服务的，它接受信令解码模块输入的解码结果，从中读取过滤规则所关注的字段与过滤规则对应的条件进行匹配，若成功匹配规则，则返回此规则对应的动作，否则返回接受。

本发明的上述技术方案在数据采集装置中增加了信令过滤模块，其中过滤规则与解码规则类似，也遵循自底向上的方法。在信令解码模块逐层解开数据包时，每解开一层数据包，调用信令过滤模块的接口，根据接口返回结果，即上述动作，以进行下一步处理。若返回结果为丢弃，则丢弃数据包，否则继续更高层的解码。从而实现在解码的同时对信令进行过滤，能够降低业务处理设备的复杂度和资源需求。而且通过多层信令过滤，在自底向上逐层解码的过程中，同时调用信令过滤接口逐层过滤，不对性能产生影响，对被丢弃的信令不做额外的解析。从而达到了尽量节省CPU时间的目的，解决了信令过滤灵活性问题。在数据采集装置增加信令过滤的功能，尤其对只需要特定信令的业务平台具有益处。

根据本发明的实施例，如图2所示，本发明的信令接入模块包括DPDK组件B1。

其中，DPDK(Data Plane Development Kit，数据平面开发套件)组件是由6WIND、Intel等公司开发的数据面开发套件，它是开源的，主要运行在linux***上，它提供了一系列的网卡驱动和数据包处理库，能够极大的提供数据包处理性能和网络吞吐量。DPDK的性能如此之高主要有以下两方面原因：1.运用快速数据通道，使得数据包快速到达用户空间。这样做放弃了典型的数据通道：网卡驱动->TCP/IP协议栈->socket接口->应用程序，而使用了更快速的通道：DPDK网卡驱动->DPDK框架->应用程序。2.运用了CPU亲和性、无锁队列和零拷贝等提升性能的技术。

本发明的上述技术方案基于DPDK快速处理数据包，具有高性能和高吞吐量的特点，以及运行在X86通用服务器上，可以大大降低成本。根据实施例，本发明基于X86架构的服务器和DPDK套件实现数据采集装置，由于DPDK具有丰富的网卡驱动、CPU亲和性、无锁队列和零拷贝等技术，本发明借助于DPDK在数据面处理的性能优势，网络吞吐量可以接近于网卡的线速，可以解决数据采集高吞吐量的问题。

根据本发明的实施例，上述DPDK组件包括两个无锁环形队列(ringbuffer)：输入无锁环形队列(input ringbuffer)，用于缓存装置接收的数据包，数据包可以由述DPDK组件从网卡读到数据包后直接写入，并由信令解码模块读出；输出无锁环形队列(outputringbuffer)，用于缓存需要输出的数据包，数据包可以由信令过滤模块写入并由信令输出模块读出。

本发明的上述技术方案通过采用双队列模式，可以避免数据访问冲突。并且从输入队列到输出队列应用零拷贝技术，只对解析出来的参数值进行拷贝，可以最大化提升性能。

根据本发明的实施例，信令输出模块支持连接多个信令处理装置，信令输出模块将解码后的数据包按照信令输出格式进行编码后输出至多个信令处理装置中对应的信令处理装置。

其中，信令输出格式包括：CDR，固定分隔符分割的文本，一行记录是一条信令，分隔符和每个字段是可配置的；以及原始码流，原始码流是未解码的字节流，支持截取指定的协议。

本发明的上述技术方案通过对输出的信令格式进行配置，可以支持多个信令处理装置，从而具有灵活的信令输出策略。

根据本发明的实施例，采用负载均衡算法将信令分流到多个信令处置装置，负载均衡算法包括但不限于轮询、加权轮询、哈希等。

其中，轮询可以将多个数据包按特定顺序轮流输出到多个信令处置装置。加权轮询可以在轮询算法基础上，为每条输出链路设置一个权值，权值越高，分发的数据包越多。哈希算法能够保证同一个会话的数据包都发往同一个信令处置装置，由于移动网络的信令都具有会话(或类似于会话)的概念，信令中具有标识会话的参数，需要将此参数设置为哈希算法的输入参数。

本发明的上述技术方案具有负荷分担算法，可以提供灵活的组网方案。由于数据采集装置输出格式可通过配置定义，并且能够支持负载均衡输出到多个服务器，从而可以解决信令处理层或业务平台分布式部署的组网问题。

根据本发明的实施例，上述通信协议包括但不限于：IP(Internet Protocol，网际互连协议)、TCP(Transmission Control Protocol，传输控制协议)、UDP(User DatagramProtocol，用户数据报协议)、SCTP(Stream Control Transmission Protocol，流控制传输协议)、MTP3(Message Transfer Part level 3，消息传递部分第3级)、SCCP(SignalingConnection Control Part，信令连接控制部分)、TCAP(Transaction CapabilitiesApplication Part，事务处理能力应用部分)、BICC(bearer Independent Call Controlprotocol，与承载无关的传输控制协议)、SIP、DIAMETER等协议。

本发明还提供了一种面向移动网络的异构数据采集方法，图3是根据实施例的一种面向移动网络的异构数据采集流程示意图，图中示出了信令解码模块1、信令过滤模块2、信令输出模块3、输入无锁环形队列(input ringbuffer)4、输出无锁环形队列(outputringbuffer)5、过滤规则6和输出策略7。图4是根据实施例的一种面向移动网络的异构数据采集流程示意图，包括流程a、b、c、d、e、f。

如图3所示，该方法是在DPDK的框架基础上集成信令解码、过滤和输出流程、并具有灵活过滤规则和输出策略的方法，该方法包括：

步骤一S1：获取数据包。其中，可以通过DPDK组件从网卡读到数据包后写入输入无锁环形队列(input ringbuffer)，并在解码时从输入无锁环形队列读出数据包。如图4所示，可以在该步骤执行流程a获取数据包，可以采用主动轮询的方式获取数据包。

步骤二S2：对数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议，如图3所示，可以通过信令解码模块1对数据包进行上述解码。

在一个实施例中，如图4所示，对数据包进行自底向上的逐层解码包括：流程b解析下一层包头，其中解析一层包头，并记录当前解析的协议名称和数据包的指针偏移量；流程c提取关键参数，其中读取当前协议的关键参数，存储到内部数据结构中。

根据本发明的实施例，步骤二S2还包括：接受每一层的解码结果；从解码结果读取字段并将字段与信令过滤规则对应的条件进行匹配；若匹配成功，则将过滤规则对应的动作返回，并在执行动作后进行更高层的解码。在一个实施例中，如图4所示，可以在该步骤执行流程d得到过滤结果并作出判断，其中，如图3所示，可以调用信令过滤模块2的接口，输入参数为数据包的内部数据结构；信令过滤模块2则根据本地配置的过滤规则6，读取最后一层协议的过滤规则和参数进行匹配；若匹配结果为“丢弃”，返回流程a，获取下一个数据包；若匹配结果为“接受”，则执行流程e判断是否完成解析。

步骤三S3：输出解码后的数据包。如图3所示，可以通过信令输出模块3输出数据包。根据本发明的实施例，步骤三S3还包括：将需要输出的数据包写入输出无锁环形队列(output ringbuffer)5，并在输出时从输出无锁环形队列读出数据包。在一个实施例中，如图4所示，若判断接受的数据包已完成解析，则执行流程f信令输出，其中，可以通过无锁环形队列将解析完成的数据包传递给信令输出模块，输出后返回流程a获取下一个数据包；若接受的数据包未完成解析，返回流程b解析下一层协议。

根据本发明的实施例，步骤三S3包括：将解码后的数据包按照信令输出格式进行编码后输出至多个信令处理装置中对应的信令处理装置。

根据本发明的实施例，如图3所示，信令输出模块3可以根据相应的输出策略7输出解码后的数据包。例如采用负载均衡算法将信令分流到多个信令处理装置，负载均衡算法可以包括但不限于轮询、加权轮询、哈希中等。

根据本发明的实施例，多种通信协议包括但不限于：IP、TCP/UDP/SCTP、MTP3、SCCP、TCAP、BICC、SIP、DIAMETER等协议。

根据本发明的实施例，软件支持配置输出地址的IP和端口，由于应用软件使用IP通信，不关注二层(数据链路层)，用二层转发会增加接收信令的应用软件的开发复杂度，用IP寻址则会简化应用软件的开发复杂度，因而本发明能够降低设备的复杂性。

本发明基于DPDK技术提出一种面向移动网络的异构数据采集装置实现方法，本方法通过DPDK技术实现基于X86架构的高并发处理，通过配置规则灵活地实现信令的解码、过滤与输出功能，是一种通用的信令采集方案。另外，通过引入信令过滤、信令输出负荷分担算法，与业务***集成即可实现诸如基于位置的业务、漏话提醒或闪信此类业务。在现有技术中，业务***必须进行全量的信令解析并过滤，本发明提供的方案大大简化了业务***的复杂度。

此外，对于信令接入部分，本发明可以复用现有信令接入技术，例如基于E1端口信令接入方法实现，包括：高阻跨接方式，将高阻隔离器件跨接在交换侧DDF架的E1中继端口上，进行信令数据采集；交换机内部收敛接入方式：由交换机将分布在多个E1中的64K信令链路收敛到仅承载信令链路的专用E1中。类似端口镜像，缺点是占用交换机资源；分光器方式，分光器方式用于监测以光纤为载体的链路。以及例如基于IP端口信令接入实现，包括：TAP方式，TAP方式类似于E1端口的高阻跨接方式，通过TAP设备将端口数据复制为两路，一路按原路由转发，一路用于采集；镜像方式：镜像方式是采用交换机的端口镜像方式采集数据；分光方式：分光方式是采用分光器对光纤进行分光，一路接到原来的端口，一路用于采集。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向移动网络的异构数据采集装置，其特征在于，包括：

信令接入模块，用于获取数据包；

信令解码模块，用于对所述数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议；

信令输出模块，用于输出解码后的所述数据包。

2.根据权利要求1所述的异构数据采集装置，其特征在于，还包括：

信令过滤模块，用于：

接受所述信令解码模块输入的每一层的解码结果；

从所述解码结果读取字段并将所述字段与信令过滤规则对应的条件进行匹配；

若匹配成功，将所述过滤规则对应的动作返回所述信令解码模块，所述信令解码模块在执行所述动作后进行更高层的解码。

3.根据权利要求2所述的异构数据采集装置，其特征在于，所述动作包括接受和丢弃，所述接受表示继续处理更高层的协议，所述丢弃表示直接丢弃所述数据包；所述条件由参数名称、逻辑运算和取值组成，所述参数名称和所述取值来自于所述信令解码模块。

4.根据权利要求2所述的异构数据采集装置，其特征在于，所述信令接入模块包括DPDK组件。

5.根据权利要求4所述的异构数据采集装置，其特征在于，所述DPDK组件包括：

输入无锁环形队列，用于缓存所述装置接收的数据包，所述数据包由所述DPDK组件从网卡读到数据包后直接写入，并由所述信令解码模块读出；

输出无锁环形队列，用于缓存需要输出的数据包，所述数据包由所述信令过滤模块写入并由所述信令输出模块读出。

6.根据权利要求1所述的异构数据采集装置，其特征在于，所述信令输出模块支持连接多个信令处理装置，所述信令输出模块将解码后的数据包按照信令输出格式进行编码后输出至所述多个信令处理装置中对应的信令处理装置。

7.根据权利要求6所述的异构数据采集装置，其特征在于，采用负载均衡算法将信令分流到所述多个信令处理装置，所述负载均衡算法包括轮询、加权轮询、哈希中的一种或多种。

8.根据权利要求1所述的异构数据采集装置，其特征在于，所述多种通信协议包括：IP、TCP/UDP/SCTP、MTP3、SCCP、TCAP、BICC、SIP、DIAMETER。

9.一种面向移动网络的异构数据采集方法，其特征在于，包括：

步骤一：获取数据包；

步骤二：对所述数据包进行自底向上的逐层解码，其中，根据多种通信协议中的对应一种协议对每一层进行解码，以及根据每一层协议的解码规则确定更高层的协议；

步骤三：输出解码后的所述数据包。

10.根据权利要求9所述的异构数据采集方法，其特征在于，所述步骤二还包括：

接受每一层的解码结果；

从所述解码结果读取字段并将所述字段与信令过滤规则对应的条件进行匹配；

若匹配成功，将所述过滤规则对应的动作返回，并在执行所述动作后进行更高层的解码。

Images