CN107318132B - 一种采集***中数据分发方法及装置 - Google Patents
一种采集***中数据分发方法及装置 Download PDFInfo
- Publication number
- CN107318132B CN107318132B CN201610265342.5A CN201610265342A CN107318132B CN 107318132 B CN107318132 B CN 107318132B CN 201610265342 A CN201610265342 A CN 201610265342A CN 107318132 B CN107318132 B CN 107318132B
- Authority
- CN
- China
- Prior art keywords
- data
- synthesis server
- user information
- server
- data synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/10—Flow control between communication endpoints
- H04W28/12—Flow control between communication endpoints using signalling between network elements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种采集***中数据分发方法及装置。在数据分发方法中,获取采集到的数据中的用户信息,根据用户信息与合成服务器之间的对应关系表,查询是否存在该用户信息对应的合成服务器;若存在,则将所述采集到的数据发送到所述用户信息对应的合成服务器;否则,选择用于对采集到的数据进行处理的合成服务器,并将该用户信息与所选择出的合成服务器之间的对应关系添加到所述对应关系表中,并将采集到的数据发送到所选择出的合成服务器。
Description
技术领域
本发明涉及通信领域,尤其涉及一种采集***中数据分发方法及装置。
背景技术
在LTE(Long Term Evolution,长期演进)信令采集***中,包括数据采集层、数据解码层和应用层,如图1所示。数据采集层的软采解析服务器接收来自SCA(Signalingconvergence adapter,流量汇聚适配器)设备输出的Uu/X2接口的数据,并生成单接口xDR(call/transaction detail record,业务呼叫/事务详细记录)上报至数据解码层的数据合成服务器。数据采集层的硬采解析服务器接收来自S1-MME/S6a/SGs/S11/S10/S5/S8等接口分光链路输出的数据流,并生成单接口xDR上报至数据解码层的数据合成服务器。其中,软采解析服务器通过软采方式采集数据,即在信令数据通过基站时基于相应软件实现采集工作;硬采解析服务器通过硬采方式采集数据,即在物理链路上采取加设分光设备复制分流等方法实现采集工作。数据合成服务器接收软采解析服务器和硬采解析服务器分别上报的单接口xDR,对其进行软硬采的关联,并输出合成xDR至应用层。
根据软采解析服务器的处理能力,每台软采解析服务器可以接入多个SCA上报的数据,软采解析服务器可将SCA作为数据采集的最小粒度,而每个SCA最大可接入500个基站上报的数据。而硬采解析服务器可以接入一条或多条分光链路,一条分光链路上汇聚有若干条S1-MME接口链路或其他接口链路上传输的数据。
目前是基于基站与数据合成服务器ID(Identification,身份标识)之间的对应关系为软采或硬采解析服务器上报的数据分配数据合成服务器。而这种数据分发方法存在数据关联、回填的正确率不高的问题。
发明内容
本发明实施例提供了一种采集***中数据分发方法及装置,用以实现根据用户信息为数据分配数据合成服务器。
本发明实施例提供的采集***中数据分发方法,包括:
获取采集到的数据中的用户信息;
根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;
若存在,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器;否则,选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并将所述采集到的数据发送到所选择出的数据合成服务器。
优选地,该方法还包括:
按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数;
若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
优选地,所述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
优选地,所述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
具体地,所述选择用于对所述采集到的数据进行处理的数据合成服务器,包括:
根据以下公式选择用于对所述采集到的数据进行处理的数据合成服务器的编号:
L=A mod B
其中,L表示数据合成服务器的编号,A表示用户数量,B表示数据合成服务器的数量。
具体地,所述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系;
根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器,包括:
若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;
根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
具体地,所述用户信息包括以下一种或多种:国际移动用户识别码IMSI、国际移动设备标识IMEI、移动用户号码MSISDN、移动管理实体临时移动用户识别码M-TMSI、MME_UE_S1AP_ID。
本发明实施例提供的采集***中数据分发装置,包括:
获取模块,用于获取采集到的数据中的用户信息;
查询模块,用于根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;
发送模块,用于若查询模块的查询结果为存在所述用户信息对应的数据合成服务器,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器;
选择模块,用于若查询模块的查询结果为不存在所述用户信息对应的数据合成服务器,则选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并指示发送模块将所述采集到的数据发送到所选择出的数据合成服务器。
优选地,该装置还包括:
统计模块,用于按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数;
修改模块,用于若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
优选地,所述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
优选地,所述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
具体地,所述选择模块,具体用于:
根据以下公式选择用于对所述采集到的数据进行处理的数据合成服务器的编号:
L=A mod B
其中,L表示数据合成服务器的编号,A表示用户数量,B表示数据合成服务器的数量。
具体地,所述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系;
所述查询模块,具体用于:
若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;
根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
具体地,所述用户信息包括以下一种或多种:国际移动用户识别码IMSI、国际移动设备标识IMEI、移动用户号码MSISDN、移动管理实体临时移动用户识别码M-TMSI、移动管理实体S1应用用户设备身份标识MME_UE_S1AP_ID。
在本发明的上述实施例中,根据采集数据中的用户信息及用户信息与数据合成服务器之间的对应关系表,查询与该用户信息对应的数据合成服务器,将采集数据发送到对应的数据合成服务器中;若用户信息与数据合成服务器之间的对应关系表中不存在与该用户信息对应的数据合成服务器,则选择用于对该采集数据进行处理的数据合成服务器,并将该用户信息与选择出的数据合成服务器的对应关系添加到对应关系表中。由于根据用户信息为采集数据分配数据合成服务器,使得同一用户的数据被分配到相同的数据合成服务器中进行关联、回填、合成,提高了数据关联、回填的正确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术中LTE信令采集***的架构示意图;
图2为本发明实施例提供的采集***中数据分发方法的流程示意图之一;
图3为本发明实施例提供的采集***中数据分发方法的流程示意图之二;
图4为本发明实施例提供的数据分流方法的流程示意图;
图5为本发明实施例提供的采集***中数据分发装置的结构示意图;
图6为本发明实施例提供的数据分流装置的结构示意图;
图7为本发明实施例提供的另一种采集***中数据分发装置的结构示意图;
图8为本发明实施例提供的另一种数据分流装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供了一种采集***中数据分发方法,用以实现根据用户信息为数据分配数据合成服务器。
该方法可适用于如图1所示的信令采集***架构,并可由该架构中的数据合成服务器执行。具体地,可以将执行本发明实施例的数据分发装置集成在数据合成服务器中,通过访问用户信息与数据合成服务器之间的对应关系表,确定对接收到的数据进行处理的数据合成服务器,并将接收到的数据发送至与其对应的数据合成服务器,其中,用户信息与数据合成服务器之间的对应关系表可以存储在任一台数据合成服务器中,也可存储在多台数据合成服务器中。执行本发明实施例的数据分发装置还可以是一***立的数据合成服务器,接收到的数据均通过该数据合成服务器分配到其他数据合成服务器进行处理。
参见图2,为本发明实施例提供的采集***中数据分发方法的流程示意图。如图2所示,该方法包括如下步骤:
步骤201:数据分发装置获取采集到的数据中的用户信息。
用户信息包括固定身份标识,例如,IMSI(International Mobile SubscriberIdentification Number,国际移动用户识别码)、IMEI(International Mobile EquipmentIdentity,国际移动设备标识)、MSISDN(Mobile Subscriber International ISDN/PSTNnumber,移动用户号码)等标识中的一种或多种。用户信息也可以包括临时身份标识,例如,M-TMSI(MME-Temporary Mobile Subscriber Identity,移动管理实体临时移动用户识别码)、MME_UE_S1AP_ID(移动性管理实体在S1-MME参考点的用户临时标识)等标识中的一种或多种。从不同接口采集到的数据中所包含的用户信息的类型也不尽相同,各接口数据中所包含的用户信息如表1所示,有些接口仅包含固定身份标识,有些接口仅包含临时身份标识,而有些接口即包含固定身份标识又包含临时身份标识。
表1
表1中的“√”表示该行对应的接口中传输的数据包含有该列对应的用户标识,例如,Uu接口中传输的数据包含有MME_UE_S1AP_ID,S1-MME接口中传输的数据包含有MME_UE_S1AP_ID、IMSI、IMEI以及M-TMSI。
步骤202:数据分发装置根据用户信息与数据合成服务器之间的对应关系表,查询是否存在与该用户信息对应的数据合成服务器。若存在,则转入步骤203,否则,转入步骤204。
由于各接口数据中所包含的用户信息不尽相同,因此,在查询上述用户信息与数据合成服务器之间的对应关系表时,不论输入何种用户信息,都可以查询到与输入的用户信息对应的数据合成服务器。
优选地,上述技术问题可以通过下述方法解决:用户信息与数据合成服务器之间的对应关系表包括第一类型用户标识与数据合成服务器之间的对应关系表,例如,可以将IMSI作为第一类型用户标识,其他类型的用户标识作为第二类型用户标识,在具体实施时可预先定义第一类型用户标识和第二类型用户标识。若数据分发装置获取到的用户信息包含第一类型用户标识,则根据第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;若数据分发装置获取到的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与获取的第二类型用户标识所对应的第一类型用户标识,然后根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
以IMSI作为第一类型用户标识、其他的用户标识作为第二类型用户标识为例,则用户信息与数据合成服务器之间的对应关系表为IMSI与数据合成服务器之间的对应关系表,而第一类型用户标识与第二类型用户标识之间的对应关系可以通过以下对应关系表示出:
·MME_UE_S1AP_ID与IMSI之间的对应关系表
·IMEI、MSISDN与IMSI之间的对应关系表
·M-TMSI与IMSI之间的对应关系表
当然,上述第一类型用户标识与第二类型用户标识之间的对应关系,可以由上述三个对应关系表示出,但不限于此,也可以仅由一个对应关系表或多个其他形式的对应关系表示出。此外,上述第一类型用户标识与第二类型用户标识的划分方法也仅为本发明提供的一个实施例,并不限于此。
步骤203:数据分发装置将采集到的数据发送到与该用户信息对应的数据合成服务器。
步骤204:数据分发装置选择用于对采集到的数据进行处理的数据合成服务器,将该用户信息与所选择出的数据合成服务器之间的对应关系添加到对应关系表中,并将采集到的数据发送到所选择出的数据合成服务器。
对于无法根据用户信息在用户信息与数据合成服务器之间的对应关系表中查询到对应的数据合成服务器的新用户,应当为该用户选择一个数据合成服务器处理该用户的数据。为新用户选择数据合成服务器时,可以根据不同的原则按照不同的方法进行选择。
本发明的一个实施例提供的选择方法为根据用户数量均衡的原则为新用户选取数据合成服务器。具体地,数据分发装置在获取采集到的数据中的用户信息后,若无法查询与该用户信息对应的数据合成服务器,则确定当前用户的总数量,然后根据下面的公式计算出为该用户的数据进行处理的数据合成服务器:
L=AmodB(1)
其中,L表示为该用户的数据进行处理的数据合成服务器的编号,A表示前用户总数量,B表示数据合成服务器的数量。
在上述方法中,按照用户数据均衡的原则为选择数据合成服务器,其目的是使得各数据合成服务器的负载情况基本均衡。然而,由于用户之间的活跃度不同,上报的数据的数量可能差别较大,故而可能导致数据合成服务器的负载情况有较大差别。因此,本发明实施例还提供了均衡数据合成服务器的负载情况的方法,以提高***资源利用率。该方法流程可以按照设定周期执行,在一个设定周期内,其流程示意图如图3所示,该方法包括如下步骤:
步骤301:按照设定周期对多个数据合成服务器的数据流量进行统计。实际应用中,往往是对该***架构中的全部数据合成服务器的数据流量进行统计。
步骤302:判断一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值是否大于预设门限;其中,第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。若大于,则转入步骤303,否则,该周期内不进行操作。
步骤303:在用户信息与数据合成服务器之间的对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为上述N个用户信息与第二数据合成服务器之间的对应关系。
优选地,上述N个用户信息所对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。将数据量较大的N个用户与数据流量最大的数据合成服务器的对应关系修改为与数据流量最小的数据合成服务器的对应关系,可以对用户信息与数据合成服务器之间的对应关系表进行少量修改的情况下达到均衡数据合成服务器负载的效果。
优选地,上述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且这N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。对满足上述条件的N个用户信息修改与其对应的数据合成服务器,能够在使得数据流量最大的数据合成服务器与数据流量最小的数据合成服务器的负载情况最为均衡。
在本发明的上述实施例中,根据采集数据中的用户信息及用户信息与数据合成服务器之间的对应关系表,查询与该用户信息对应的数据合成服务器,将采集数据发送到对应的数据合成服务器中;若用户信息与数据合成服务器之间的对应关系表中不存在与该用户信息对应的数据合成服务器,则选择用于对该采集数据进行处理的数据合成服务器,并将该用户信息与选择出的数据合成服务器的对应关系添加到对应关系表中。由于根据用户信息为采集数据分配数据合成服务器,使得同一用户的数据被分配到相同的数据合成服务器中进行关联、回填、合成,提高了数据关联、回填的正确率。且由于按照设定周期对各数据合成服务器的数据流量进行统计,在负载不均衡时对用户信息与数据合成服务器之间的对应关系表进行修改,以均衡各数据合成服务器的负载情况。
此外,本发明实施例还提供了一种采集***中数据分流方法,该方法可以应用于汇聚分流器,以解决分光链路中的数据流量大于硬采解析服务器的处理能力时的数据分流问题。
参见图4,为本发明实施例提供的采集***中数据分流方法的流程示意图,如图所示,该方法包括以下步骤:
步骤401:汇聚分流器获取分光链路传输的数据流量大小,所述分光链路中汇聚有K个数据流,K为大于等于1的整数。
在实际应用中,一个汇聚分流器上可能连接有一条或多条分光链路,一条分光链路上传输有一种或多种接口上报的数据,每种接口上报的数据又包括若干条该接口链路上报的数据。举例来说,一条分光链路上可能仅包含S1-MME接口的数据,S1-MME接口的数据又包含若干条S1-MME接口链路上报的数据,每条S1-MME接口链路表示一个基站与一个MME之间的链路,每条S1-MME接口链路上传输的数据构成为一个数据流。
步骤402:汇聚分流器根据分光链路的数据流量大小以及硬采解析服务器所能接纳的数据流量,将上述分光链路传输的数据分发到硬采解析服务器;其中,若一条分光链路的流量大于一个硬采解析服务器所能接纳的数据流量,则将该分光链路传输的数据发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。
优选地,当一条分光链路的流量大于一个硬采解析服务器所能接纳的数据流量时,汇聚分流器可以获取该分光链路传输的各数据流中用于标识数据流的信息;并根据各数据流中用于标识数据流的信息,将该分光链路传输的所有数据流发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。虽然将一条分光链路中所传输的数据发送到不同的硬采解析服务器中,但由于同一条接口链路上的数据流的数据被发送到同一个硬采解析服务器中,仍能够实现将同一用户同一业务的数据发送至同一硬采解析服务器,不会影响硬采解析服务器对接收到的数据进行单接口xDR的合成等操作。
具体地,一条接口链路上的数据流中用于标识数据流的信息包括:该数据流的IP五元组,IP五元组包括:源IP地址、目的IP地址、源端口、目的端口、传输层协议。
进一步地,若一条或多条分光链路的流量小于或等于一个硬采解析服务器所能接纳的数据流量,则将上述一条或多条分光链路传输的数据发送到一个硬采解析服务器。
在本发明的上述实施例中,在将分光链路中的数据分发至时,若一条分光链路的流量大于一个所能接纳的数据流量,则将该分光链路传输的数据发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。解决了若分光链路上的流量较大,超出所能接纳的数据流量,使得超负荷运行,降低***的效率的问题。
基于相同的技术构思,本发明实施例还提供了一种采集***中数据分发的装置,如图5所示,该装置包括获取模块501、查询模块502、发送模块503以及选择模块504,进一步地,该装置还可以包括统计模块505和修改模块506。
具体地,上述获取模块501,用于获取采集到的数据中的用户信息。
上述查询模块502,用于根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
上述发送模块503,用于若查询模块的查询结果为存在所述用户信息对应的数据合成服务器,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器。
上述选择模块504,用于若查询模块的查询结果为不存在所述用户信息对应的数据合成服务器,则选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并指示发送模块将所述采集到的数据发送到所选择出的数据合成服务器。
上述统计模块505,用于按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数。
上述修改模块506,用于若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
优选地,上述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
优选地,上述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
具体地,上述选择模块504,可以根据公式(1)选择用于对所述采集到的数据进行处理的数据合成服务器的编号。
具体地,上述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系。上述查询模块502具体用于:若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
具体地,上述用户信息包括IMSI、IMEI、MSISDN、M-TMSI、以及MME_UE_S1AP_ID中的一种或多种。
在本发明的上述实施例中,根据采集数据中的用户信息及用户信息与数据合成服务器之间的对应关系表,查询与该用户信息对应的数据合成服务器,将采集数据发送到对应的数据合成服务器中;若用户信息与数据合成服务器之间的对应关系表中不存在与该用户信息对应的数据合成服务器,则选择用于对该采集数据进行处理的数据合成服务器,并将该用户信息与选择出的数据合成服务器的对应关系添加到对应关系表中。由于根据用户信息为采集数据分配数据合成服务器,使得同一用户的数据被分配到相同的数据合成服务器中进行关联、回填、合成,提高了数据关联、回填的正确率。且由于按照设定周期对各数合成服务器的数据流量进行统计,在负载不均衡时对用户信息与数据合成服务器之间的对应关系表进行修改,以均衡各数据合成服务器的负载情况。
基于相同的技术构思,本发明实施例还提供了一种数据分流装置,如图6所示,该装置具体包括获取模块601、分发模块602。
上述获取模块601,用于获取分光链路传输的数据流量大小,所述分光链路中汇聚有K个数据流,其中,K为大于等于1的整数。
上述分发模块602,用于根据分光链路的数据流量大小以及硬采解析服务器所能接纳的数据流量,将所述分光链路传输的数据分发到硬采解析服务器;其中,若一条分光链路的流量大于一个硬采解析服务器所能接纳的数据流量,则将该分光链路传输的数据发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。
优选地,分发模块602具体用于获取所述分光链路传输的各数据流中用于标识数据流的信息;并根据各数据流中用于标识数据流的信息,将该分光链路传输的所有数据流发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。
具体地,一条接口链路上的数据流中用于标识数据流的信息包括:该数据流的IP五元组,所述IP五元组包括:源IP地址、目的IP地址、源端口、目的端口、传输层协议。
优选地,上述分发模块602还用于:若一条或多条分光链路的流量小于或等于一个硬采解析服务器所能接纳的数据流量,则将上述一条或多条分光链路传输的数据发送到一个硬采解析服务器。
在本发明的上述实施例中,在将分光链路中的数据分发至时,若一条分光链路的流量大于一个所能接纳的数据流量,则将该分光链路传输的数据发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。解决了若分光链路上的流量较大,超出所能接纳的数据流量,使得超负荷运行,降低***的效率的问题。
基于相同的技术构思,本发明实施例还提供了一种采集***中数据分发装置,该装置可以实现本发明实施例为数据分配数据合成服务器的流程。
参见图7,为本发明实施例提供的装置的结构示意图,该装置可包括:处理器701、存储器702、收发机703以及总线接口。
处理器701负责管理总线架构和通常的处理,存储器702可以存储处理器701在执行操作时所使用的数据。收发机703用于在处理器701的控制下接收和发送数据。
总线架构可以包括任意数量的互联的总线和桥,具体由处理器701代表的一个或多个处理器和存储器702代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机703可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器701负责管理总线架构和通常的处理,存储器702可以存储处理器701在执行操作时所使用的数据。
本发明实施例揭示的为数据分配数据合成服务器的流程,可以应用于处理器701中,或者由处理器701实现。在实现过程中,为数据分配数据合成服务器的流程的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。处理器701可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702,处理器701读取存储器702中的信息,结合其硬件完成为数据分配数据合成服务器流程的步骤。
具体地,处理器701,用于读取存储器702中的程序,执行下列过程:
获取采集到的数据中的用户信息;
根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;
若存在,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器;否则,选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并将所述采集到的数据发送到所选择出的数据合成服务器。
具体地,处理器701根据上述公式(1)选择用于对所述采集到的数据进行处理的数据合成服务器的编号。
优选地,所述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系。
所述处理器701具体用于:
若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;
根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
优选地,所述处理器701还用于:
按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数;若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
优选地,所述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
优选地,所述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
具体地,所述用户信息包括以下一种或多种:国际移动用户识别码IMSI、国际移动设备标识IMEI、移动用户号码MSISDN、移动管理实体临时移动用户识别码M-TMSI、移动管理实体S1应用用户设备身份标识MME_UE_S1AP_ID。
基于相同的技术构思,本发明实施例还提供了一种数据分流装置,该装置可以实现本发明实施例数据分流的流程。
参见图8,为本发明实施例提供的数据分流装置的结构示意图,该装置可包括:处理器801、存储器802、收发机803以及总线接口。
处理器801负责管理总线架构和通常的处理,存储器802可以存储处理器801在执行操作时所使用的数据。收发机803用于在处理器801的控制下接收和发送数据。
总线架构可以包括任意数量的互联的总线和桥,具体由处理器801代表的一个或多个处理器和存储器802代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机803可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器801负责管理总线架构和通常的处理,存储器802可以存储处理器801在执行操作时所使用的数据。
本发明实施例揭示的数据分流的流程,可以应用于处理器801中,或者由处理器801实现。在实现过程中,数据分流的流程的各步骤可以通过处理器801中的硬件的集成逻辑电路或者软件形式的指令完成。处理器801可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器802,处理器801读取存储器802中的信息,结合其硬件完成数据分流流程的步骤。
具体地,处理器801,用于读取存储器802中的程序,执行下列过程:
获取分光链路传输的数据流量大小,所述分光链路中汇聚有K个数据流,K为大于等于1的整数;
根据分光链路的数据流量大小以及硬采解析服务器所能接纳的数据流量,将所述分光链路传输的数据分发到硬采解析服务器;其中,若一条分光链路的流量大于一个硬采解析服务器所能接纳的数据流量,则将该分光链路传输的数据发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。
具体地,所述处理器801具体用于获取所述分光链路传输的各数据流中用于标识数据流的信息;根据各数据流中用于标识数据流的信息,将该分光链路传输的所有数据流发送到多个硬采解析服务器,且同一条接口链路上的数据流被发送到同一个硬采解析服务器。
具体地,一条接口链路上的数据流中用于标识数据流的信息包括:该数据流的IP五元组,所述IP五元组包括:源IP地址、目的IP地址、源端口、目的端口、传输层协议。
可选地,所述处理器801还用于,若X条分光链路的流量小于或等于一个硬采解析服务器所能接纳的数据流量,则将所述X条分光链路传输的数据发送到一个硬采解析服务器;其中X为大于等于1的整数。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种采集***中数据分发方法,其特征在于,包括:
获取采集到的数据中的用户信息;
根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;
若存在,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器;否则,选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并将所述采集到的数据发送到所选择出的数据合成服务器。
2.如权利要求1所述的方法,其特征在于,还包括:
按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数;
若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
3.如权利要求2所述的方法,其特征在于,所述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
4.如权利要求2所述的方法,其特征在于,所述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
5.如权利要求1所述的方法,其特征在于,所述选择用于对所述采集到的数据进行处理的数据合成服务器,包括:
根据以下公式选择用于对所述采集到的数据进行处理的数据合成服务器的编号:
L=A mod B
其中,L表示数据合成服务器的编号,A表示用户数量,B表示数据合成服务器的数量。
6.如权利要求1所述的方法,其特征在于,所述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系;
根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器,包括:
若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;
根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
7.如权利要求1至6中任一项所述的方法,其特征在于,所述用户信息包括以下一种或多种:国际移动用户识别码IMSI、国际移动设备标识IMEI、移动用户号码MSISDN、移动管理实体临时移动用户识别码M-TMSI、MME_UE_S1AP_ID。
8.一种采集***中数据分发的装置,其特征在于,包括:
获取模块,用于获取采集到的数据中的用户信息;
查询模块,用于根据用户信息与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器;
发送模块,用于若查询模块的查询结果为存在所述用户信息对应的数据合成服务器,则将所述采集到的数据发送到所述用户信息对应的数据合成服务器;
选择模块,用于若查询模块的查询结果为不存在所述用户信息对应的数据合成服务器,则选择用于对所述采集到的数据进行处理的数据合成服务器,将所述用户信息与所选择出的数据合成服务器之间的对应关系添加到所述对应关系表中,并指示发送模块将所述采集到的数据发送到所选择出的数据合成服务器。
9.如权利要求8所述的装置,其特征在于,还包括:
统计模块,用于按照设定周期对M个数据合成服务器的数据流量进行统计,M为大于1的整数;
修改模块,用于若在一个统计周期内,第一数据合成服务器的数据流量与第二数据合成服务器的数据流量的差值大于预设门限,则在所述对应关系表中,将N个用户信息与第一数据合成服务器之间的对应关系修改为所述N个用户信息与第二数据合成服务器之间的对应关系;其中,所述第一数据合成服务器为该统计周期内数据流量最大的数据合成服务器,所述第二数据合成服务器为该统计周期内数据流量最小的数据合成服务器,N为大于等于1的整数。
10.如权利要求9所述的装置,其特征在于,所述N个用户信息对应的N个用户,为所述第一数据合成服务器对应的用户中,按照数据流量从大到小排列的前N个用户。
11.如权利要求9所述的装置,其特征在于,所述N个用户信息对应的N个用户的数据流量总和大于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一,且所述N个用户中任意N-1个用户的数据流量总和小于或等于所述第一数据合成服务器的数据流量与第二数据合成服务器的数据流量差值的二分之一。
12.如权利要求8所述的装置,其特征在于,所述选择模块,具体用于:
根据以下公式选择用于对所述采集到的数据进行处理的数据合成服务器的编号:
L=A mod B
其中,L表示数据合成服务器的编号,A表示用户数量,B表示数据合成服务器的数量。
13.如权利要求8所述的装置,其特征在于,所述用户与数据合成服务器的对应关系表中包括:第一类型用户标识与数据合成服务器身份标识的对应关系;
所述查询模块,具体用于:
若采集到的数据中的用户信息为第二类型用户标识,则根据第一类型用户标识与第二类型用户标识之间的对应关系,确定与所述第二类型用户标识所对应的第一类型用户标识;
根据确定出的第一类型用户标识与数据合成服务器之间的对应关系表,查询是否存在所述用户信息对应的数据合成服务器。
14.如权利要求8至13中任一项所述的装置,其特征在于,所述用户信息包括以下一种或多种:国际移动用户识别码IMSI、国际移动设备标识IMEI、移动用户号码MSISDN、移动管理实体临时移动用户识别码M-TMSI、移动管理实体S1应用用户设备身份标识MME_UE_S1AP_ID。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610265342.5A CN107318132B (zh) | 2016-04-26 | 2016-04-26 | 一种采集***中数据分发方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610265342.5A CN107318132B (zh) | 2016-04-26 | 2016-04-26 | 一种采集***中数据分发方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107318132A CN107318132A (zh) | 2017-11-03 |
CN107318132B true CN107318132B (zh) | 2019-12-06 |
Family
ID=60184372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610265342.5A Active CN107318132B (zh) | 2016-04-26 | 2016-04-26 | 一种采集***中数据分发方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107318132B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111372209B (zh) * | 2018-12-06 | 2022-04-08 | ***通信集团辽宁有限公司 | 信令数据处理方法、装置、设备及介质 |
CN112291185B (zh) * | 2019-07-24 | 2022-11-22 | ***通信集团贵州有限公司 | 一种采集网络数据的方法和装置 |
CN113079524B (zh) * | 2020-01-06 | 2022-04-22 | 大唐移动通信设备有限公司 | 一种基于信令软采的信令跟踪方法、基站及可读存储介质 |
CN112330360B (zh) * | 2020-11-04 | 2023-09-01 | 中国联合网络通信集团有限公司 | 广告推送方法及*** |
CN115134767B (zh) * | 2021-03-11 | 2024-02-09 | 上海大唐移动通信设备有限公司 | 提升信令软采集设备性能的方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101335709A (zh) * | 2008-08-07 | 2008-12-31 | 杭州华三通信技术有限公司 | 在流量分析服务器之间实现负载分担的方法和分流设备 |
CN101640823A (zh) * | 2009-09-07 | 2010-02-03 | 杭州华三通信技术有限公司 | 一种多分析***分流的方法和设备 |
CN101699802A (zh) * | 2009-10-23 | 2010-04-28 | 北京锐安科技有限公司 | 一种海量数据分流方法 |
CN104427534A (zh) * | 2013-09-06 | 2015-03-18 | ***通信集团公司 | 长期演进软采的检测方法及可移动检测装置 |
-
2016
- 2016-04-26 CN CN201610265342.5A patent/CN107318132B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101335709A (zh) * | 2008-08-07 | 2008-12-31 | 杭州华三通信技术有限公司 | 在流量分析服务器之间实现负载分担的方法和分流设备 |
CN101640823A (zh) * | 2009-09-07 | 2010-02-03 | 杭州华三通信技术有限公司 | 一种多分析***分流的方法和设备 |
CN101699802A (zh) * | 2009-10-23 | 2010-04-28 | 北京锐安科技有限公司 | 一种海量数据分流方法 |
CN104427534A (zh) * | 2013-09-06 | 2015-03-18 | ***通信集团公司 | 长期演进软采的检测方法及可移动检测装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107318132A (zh) | 2017-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107318132B (zh) | 一种采集***中数据分发方法及装置 | |
WO2015141337A1 (ja) | 受信パケット分散方法、キュー選択器、パケット処理装置、および記録媒体 | |
US20170170856A1 (en) | Cloud sim card pool system | |
US20170142177A1 (en) | Method and system for network dispatching | |
EP3614630B1 (en) | Method for link aggregation and related products | |
CN104540234B (zh) | 一种C‑RAN架构下基于CoMP同步约束的关联任务调度机制 | |
CN107666407B (zh) | 一种业务套餐选择方法、装置及*** | |
CN109873776B (zh) | 一种组播报文负载分担的均衡方法及装置 | |
CN103297282A (zh) | 网络时延测量装置及方法 | |
US10783203B2 (en) | Data processing method and apparatus | |
CN114302429B (zh) | Nwdaf网元的确定方法、装置、设备及存储介质 | |
CN107241701B (zh) | 一种数据传输方法及装置 | |
CN113364682A (zh) | 一种数据传输方法、装置、存储介质及电子装置 | |
CN105335313B (zh) | 一种基础数据的传输方法及装置 | |
CN103607731B (zh) | 一种测量报告的处理方法及装置 | |
TWI744611B (zh) | 接取控制資訊的傳輸方法、裝置及網路側設備 | |
CN104852756A (zh) | 一种天线映射方法、装置及数字前端 | |
EP2838298A1 (en) | Method and device for data transmission | |
CN108449705B (zh) | 一种控制无线宽带用户上网位置的方法及装置 | |
CN106793093B (zh) | 一种业务处理方法及装置 | |
CN111372277A (zh) | 数据分发方法、装置及存储介质 | |
CN112600720B (zh) | 带宽组的限速方法和装置、电子设备和存储介质 | |
CN103619025B (zh) | 一种网络容量计算方法及设备 | |
CN103747488B (zh) | 载波均衡的方法、装置及*** | |
RU2017102506A (ru) | Базовая станция, сервер, система и способ распределения беспроводных ресурсов |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |