CN106941690A - 一种数据质量确定方法和装置 - Google Patents

Abstract

本发明实施例公开了一种数据质量确定方法，包括：接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；根据所述采集数据，生成待验证的用户信息；根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。本发明实施例同时还公开了一种数据质量确定装置。

Description

一种数据质量确定方法和装置

技术领域

本发明涉及长期演进(Long Term Evolution，LTE)，尤其涉及一种数据质量确定方法和装置。

背景技术

为了满足LTE网络运维的要求，LTE网络优化工作提出了基于网络全量数据进行网络监控和维护。为了实现这个目标，现网中已经引入用于采集LTE网络多个接口数据的数据采集***，接口包括Uu/X2/S1-MME/S1-U/S6a/S11/SGs接口。基于这些接口上采集的原始数据，数据采集***生成对应的用户行为记录，并根据用户行为记录生成关键绩效指标(Key Performance Indicator，KPI)数据，之后将用户行为记录及KPI数据上报给存储单元进行存储，或者直接上报给应用***进行网络优化分析。这样上报的用户行为记录和KPI数据的准确性就无法得到保证。

发明内容

为解决上述技术问题，本发明实施例期望提供一种数据质量确定方法和装置，能够确定上报的用户行为记录和KPI数据的准确性。

本发明的技术方案是这样实现的：

第一方面，提供一种数据质量确定方法，所述方法包括：

接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；

根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；

根据所述采集数据，生成待验证的用户信息；

根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。

可选的，所述用户信息包括用户行为记录和/或KPI数据，

所述根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息包括：

解析所述第一数据和所述第二数据，生成所述各个接口的用户行为记录；

关联回填和\或合并所述各个接口的用户行为记录，得到所述各个接口的完整的用户行为记录；

当所述用户信息包括KPI数据时，根据所述完整的用户行为记录，生成完整的KPI数据。

可选的，所述根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标包括：

对比所述完整的用户信息和所述待验证的用户信息，得到所述对比结果；

根据所述对比结果生成所述采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；

以预定形式显示所述数据质量指标。

可选的，所述接收采集***的采集数据包括：

检测所述采集***与数据质量确定装置的通信链路是否是正常链路；

所述通信链路是正常链路时，接收所述采集***的采集数据。

第二方面，提供一种数据质量确定装置，所述装置包括：

接收单元，用于接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；

生成单元，用于根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；还用于根据所述采集数据，生成待验证的用户信息；

确定单元，用于根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。

可选的，所述用户信息包括用户行为记录和/或KPI数据，

所述生成单元具体用于：

解析所述第一数据和所述第二数据，生成所述各个接口的用户行为记录；

关联回填和\或合并所述各个接口的用户行为记录，得到所述各个接口的完整的用户行为记录；

当所述用户信息包括KPI数据时，根据所述完整的用户行为记录，生成完整的KPI数据。

可选的，所述确定单元具体用于：

对比所述完整的用户信息和所述待验证的用户信息，得到所述对比结果；

根据所述对比结果生成所述采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；

以预定形式显示所述数据质量指标。

可选的，所述接收单元具体用于：

检测所述采集***与数据质量确定装置的通信链路是否是正常链路；

所述通信链路是正常链路时，接收所述采集***的采集数据。

本发明实施例提供了一种数据质量确定方法和装置，先接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；再根据第一数据和第二数据，生成各个接口的完整的用户信息；之后，根据采集数据，生成待验证的用户信息；根据完整的用户信息和待验证的用户信息，确定采集***的数据质量指标。这样一来，在上报给应用***之前，根据网络的第一数据和路测***的第二数据，生成各个接口的完整的用户信息，同样的，采集***的采集数据生成待验证的用户信息，从而根据这三者，确定采集***的数据质量指标，这样，确定了上报的用户信息的准确性。

附图说明

图1为本发明实施例提供的一种数据质量确定方法的流程图；

图2为本发明实施例提供的一种应用于数据质量确定***的示意图；

图3为本发明实施例提供的另一种数据质量确定方法的流程图；

图4为本发明实施例提供的一种数据质量确定装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

本发明实施例提供了一种数据质量确定方法，该方法应用于数据质量确定装置，如图1所示，该方法包括：

步骤101、接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据。

本实施例优选的网络是长期演进(Long Term Evolution，LTE)网络，LTE网络的各个接口可以包括Uu/MR/X2/S1-MME/S6a/SGs/S11/S1-U接口；采集***的接口包括数据上报接口，数据上报接口与数据质量确定装置对接，数据质量确定装置和采集***通过数据上报接口传输数据。同样的网络还可以是其他网络，本实施例不做限制，相应的，当网络改变，网络的接口可能会相应改变，可能也会导致采集***的接口改变。

对于接收采集***的采集数据，可以具体包括：检测采集***与数据质量确定装置的通信链路是否是正常链路；所述通信链路是正常链路时，接收采集***的采集数据。检测方法现有技术已经非常完备，本实施例就不再详述了。

步骤102、根据第一数据和第二数据，生成各个接口的完整的用户信息。

当用户信息包括用户行为记录时，步骤102可以具体包括：解析第一数据和第二数据，生成各个接口的用户行为记录；关联回填和\或合并各个接口的用户行为记录，得到各个接口的完整的用户行为记录；当用户信息包括KPI数据时，步骤102可以具体包括：解析第一数据和第二数据，生成各个接口的用户行为记录；关联回填和\或合并所述各个接口的用户行为记录，得到各个接口的完整的用户行为记录；根据完整的用户行为记录，生成完整的KPI数据。当用户信息包括用户行为记录和KPI数据，步骤102的具体实施过程与当用户信息包括KPI数据的具体实施过程相同。

步骤103、根据采集数据，生成待验证的用户信息。

这里，根据采集数据可以直接生成待验证的用户行为记录和待验证的KPI数据。

步骤104、根据完整的用户信息和待验证的用户信息，确定采集***的数据质量指标。

具体的，对比完整的用户信息和待验证的用户信息，得到对比结果；根据对比结果生成采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；以预定形式显示所述数据质量指标。

具体的，根据对比结果生成所述采集***的数据质量指标包括：根据对比结果，确定待验证的用户行为记录和完整的用户行为相同的验证成功个数，将验证成功个数除以完整的用户行为的个数得到用户行为记录生成成功率；同样的，确定待验证的用户行为记录的字段和完整的用户行为记录的字段相同的字段数，将字段数除以完整的用户行为记录的字段数作为用户行为记录字段准确率；同理，确定待验证的用户行为记录中的用户设备身份和完整的用户行为记录的用户设备身份相同的身份个数，将身份个数除以完整的用户行为记录的用户设备身份的个数作为用户设备身份回填准确率；确定待验证的用户行为记录中的各个用户设备的位置字段是否正确，将正确的个数除以完整的用户行为记录的用户设备位置个数作为位置回填准确率；将待验证的KPI数据和完整的KPI数据相同的个数除以完整KPI数据的个数作为KPI准确率。

值得说明的是，当用户信息只包括用户行为记录时，对比完整的用户信息和待验证的用户信息只能对比用户行为记录，因此，数据质量指标就不包括KPI准确率。预定形式可以包括图标形式、数字形式等等，本实施例不做限制。

这样一来，在上报给应用***之前，根据网络的第一数据和路测***的第二数据，生成各个接口的完整的用户信息，同样的，采集***的采集数据生成待验证的用户信息，从而根据这三者，确定采集***的数据质量指标，这样，确定了上报的用户信息的准确性。

实施例二

本发明实施例提供一种数据质量确定方法，应用于数据质量确定***，如图2所示，该***包括：LTE网络、路测***、数据质量确定装置和采集***，上述LTE网络包括移动管理实体(Mobility Management Entity，MME)、归属签约用户服务器(Home Subscriber Server，HSS)、移动交换中心(MobileSwitching Center，MSC)、服务网关(Serving GateWay，SGW)/公用数据网网关(Public Data Network GateWay，PGW)、基站，其中，MSC与第二代手机通信技术规格(2-Generation wireless telephone technology，2G)网络连接，SGW/PGW连接外部网络，LTE网络的接口可以包括Uu/MR/X2/S1-MME/S6a/SGs/S11/S1-U接口。该采集***的接口包括数据上报接口，数据质量确定装置与采集***通过数据上报接口对接，如图3所示，该方法包括：

步骤201、在MME中配置对路测终端的国际移动用户识别码(InternationalMobile Subscriber Identification Number，IMSI)的Trace功能，MME记录下每个路测终端的核心网信令及用户面数据并保存在Trace文件中。

这里，路测终端的标识只要是唯一标识即可，不仅仅可以是IMSI，还可以是移动台国际用户识别码(Mobile Subscriber International Integrated ServiceDigital Network/Public Switched Telephone Network number，MSISDN)。

步骤202、在现网测试区域，由路测***模拟多个路测终端发起业务，路测***记录下每个路测终端的空口信令并保存在路测log文件中。

步骤203、数据质量确定装置确定与采集***的通信链路。

步骤204、数据质量确定装置判断通信链路是否正常链路。若是，则执行步骤205；若否，结束本次流程。

步骤205、采集***通过数据上报接口向数据质量确定装置发送采集数据。

步骤206、数据质量确定装置解析采集数据，得到待验证的用户行为记录和待验证的KPI数据。

步骤207、数据质量确定装置基于采集数据，确定数据上报接口指标。

这里，该数据上报接口指标可以包括丢包率、误码率、时延等。

值得说明的是，即使没有步骤207，也不会影响这个方案的完整性。

步骤208、MME停止Trace功能。

这里，当MME停止Trace功能时，说明路测结束。

步骤209、数据质量确定装置停止接收数据上报接口的数据。

步骤210、数据质量确定装置获取路测***的路测log文件。

步骤211、数据质量确定装置获取MME的Trace文件。

步骤212、数据质量确定装置解析路测log文件和Trace文件，得到LTE网络的各个接口的用户行为记录。

步骤213、数据质量确定装置关联回填并合成各个接口用户行为记录，得到完整的用户行为记录。

步骤214、数据质量确定装置根据完整的用户行为记录，生成完整的KPI数据。

步骤215、数据质量确定装置对比完整的用户行为记录和待验证的用户行为记录，对比完整的KPI数据和待验证的KPI数据，得到对比结果。

步骤216、数据质量确定装置根据对比结果，生成采集***的数据质量指标。

这里，数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、UE身份回填准确率、位置回填准确率和KPI准确率。

步骤217、数据质量确定装置将数据上报接口指标和数据质量指标以图表的形式显示出来。

步骤218、数据质量确定装置根据采集***的数据质量指标，生成数据质量评估报告。

值得说明的是，数据质量确定装置还可以基于完整的用户行为记录和完整的KPI数据，对拨测区域网络进行质量分析，并可呈现和查看分析结果。

实施例三

本发明实施例提供一种数据质量确定装置30，如图4所示，该装置30包括：

接收单元301，用于接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据。

生成单元302，用于根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；还用于根据所述采集数据，生成待验证的用户信息。

确定单元303，用于根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。

这样一来，在上报给应用***之前，根据网络的第一数据和路测***的第二数据，生成各个接口的完整的用户信息，同样的，采集***的采集数据生成待验证的用户信息，从而根据这三者，确定采集***的数据质量指标，这样，确定了上报的用户信息的准确性。

进一步的，所述用户信息包括用户行为记录和/或KPI数据，所述生成单元302具体用于：

解析所述第一数据和所述第二数据，生成所述各个接口的用户行为记录；

关联回填和\或合并所述各个接口的用户行为记录，得到所述各个接口的完整的用户行为记录；

当所述用户信息包括KPI数据时，根据所述完整的用户行为记录，生成完整的KPI数据。

进一步的，所述确定单元303具体用于：

对比所述完整的用户信息和所述待验证的用户信息，得到所述对比结果；

根据所述对比结果生成所述采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；

以预定形式显示所述数据质量指标。

进一步的，所述接收单元301具体用于：

检测所述采集***与数据质量确定装置的通信链路是否是正常链路；

所述通信链路是正常链路时，接收所述采集***的采集数据。

在实际应用中，所述接收单元301、生成单元302和确定单元303均可由位于数据质量确定装置30中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、或现场可编程门阵列(Field Programmable Gate Array，FPGA)等实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1.一种数据质量确定方法，其特征在于，所述方法包括：

接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；

根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；

根据所述采集数据，生成待验证的用户信息；

根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。

2.根据权利要求1所述的方法，其特征在于，所述用户信息包括用户行为记录和/或关键绩效指标KPI数据，

所述根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息包括：

解析所述第一数据和所述第二数据，生成所述各个接口的用户行为记录；

关联回填和\或合并所述各个接口的用户行为记录，得到所述各个接口的完整的用户行为记录；

当所述用户信息包括KPI数据时，根据所述完整的用户行为记录，生成完整的KPI数据。

3.根据权利要求2所述的方法，其特征在于，所述根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标包括：

对比所述完整的用户信息和所述待验证的用户信息，得到所述对比结果；

根据所述对比结果生成所述采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；

以预定形式显示所述数据质量指标。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述接收采集***的采集数据包括：

检测所述采集***与数据质量确定装置的通信链路是否是正常链路；

所述通信链路是正常链路时，接收所述采集***的采集数据。

5.一种数据质量确定装置，其特征在于，所述装置包括：

接收单元，用于接收采集***的采集数据、网络各个接口的第一数据和路测***的第二数据；

生成单元，用于根据所述第一数据和所述第二数据，生成所述各个接口的完整的用户信息；还用于根据所述采集数据，生成待验证的用户信息；

确定单元，用于根据所述完整的用户信息和所述待验证的用户信息，确定所述采集***的数据质量指标。

6.根据权利要求5所述的装置，其特征在于，所述用户信息包括用户行为记录和/或关键绩效指标KPI数据，

所述生成单元具体用于：

解析所述第一数据和所述第二数据，生成所述各个接口的用户行为记录；

关联回填和\或合并所述各个接口的用户行为记录，得到所述各个接口的完整的用户行为记录；

当所述用户信息包括KPI数据时，根据所述完整的用户行为记录，生成完整的KPI数据。

7.根据权利要求6所述的装置，其特征在于，所述确定单元具体用于：

对比所述完整的用户信息和所述待验证的用户信息，得到所述对比结果；

根据所述对比结果生成所述采集***的数据质量指标，所述数据质量指标包括用户行为记录生成成功率、用户行为记录字段准确率、用户设备身份回填准确率、位置回填准确率和KPI准确率；

以预定形式显示所述数据质量指标。

8.根据权利要求5至7任一项所述的装置，其特征在于，所述接收单元具体用于：

检测所述采集***与数据质量确定装置的通信链路是否是正常链路；

所述通信链路是正常链路时，接收所述采集***的采集数据。