CN114125155A - 一种基于大数据分析的骚扰电话检测方法及*** - Google Patents

Abstract

本发明涉及一种基于大数据分析的骚扰电话检测方法及***，所述一种基于大数据分析的骚扰电话检测方法包括：利用通话数据获取通话数据场景特征库；利用所述通话数据场景特征库获取骚扰电话检测结果，所述一种基于大数据分析的骚扰电话检测***包括：获取模块，用于利用通话数据获取通话数据场景特征库；检测模块，用于利用所述通话数据场景特征库获取骚扰电话检测结果，针对不同通话数据的多种类特征进行提取，并进行分类检测，在提升了分类识别速度的同时，也可以覆盖大多数通话数据场景，提高了对骚扰电话的分析程度，对分类识别的准确性有较大提升，应用范围较广，改善了检测方法的适用性。

Description

一种基于大数据分析的骚扰电话检测方法及***

技术领域

本发明涉及通信技术领域，具体涉及一种基于大数据分析的骚扰电话检测方法及***。

背景技术

目前骚扰电话分析、分类方法单一，无法细分骚扰电话属性；骚扰电话的分析程度比较浅，分析结果种类少，提取特征有限，准确性不高。针对以上问题，亟需对电信网话务数据进行大数据特征分析并进行重要特征提取，并依据深度学习技术进行模型训练，进而准确分析出骚扰号码，进行预警处置的技术手段。

发明内容

针对现有技术的不足，本发明提出一种基于大数据分析的骚扰电话检测方法，包括：

利用通话数据获取通话数据场景特征库；

利用所述通话数据场景特征库获取骚扰电话检测结果。

优选的，所述利用通话数据获取通话数据场景特征库包括：

对通话数据进行预处理获取通话数据场景初始特征；

将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

进一步的，所述对通话数据进行预处理获取通话数据场景初始特征包括：

利用数据相识度与非骚扰电话数据记录去除所述通话数据中正常通话数据，得到所述通化数据场景初始特征。

进一步的，所述通话数据特征分类模型的训练包括：

利用通话数据的通话呼叫数据获取通话数据分类特征，利用通话数据的通话身份数据获取通话数据特有特征，利用通话数据的通话基础数据获取通话数据基础特征；

利用所述通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集；

以所述通话数据训练集为输入，以通话数据对应的特征类型为输出，基于机器学习算法对模型进行训练；

利用所述通话数据验证集进行验证，得到通话数据特征初始分类模型；

根据所述通话数据特征初始分类模型的拟合度获取通话数据特征分类模型。

进一步的，所述利用通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集包括：

利用通话数据分类特征、通话数据特有特征与通话数据基础特征基于二八法则建立通话数据训练集与通话数据验证集。

进一步的，所述根据通话数据特征初始分类模型的拟合度获取通话数据特征分类模型包括：

根据拟合度判断通话数据特征初始分类模型是否达到要求，若是，则保留进行模型融合，否则，对通话数据特征初始分类模型进行模型调整后再次计算拟合度。

进一步的，所述保留进行模型融合包括：

对达到要求的通话数据特征初始分类模型基于特征融合法进行融合。

进一步的，所述对通话数据特征初始分类模型进行模型调整包括：

根据通话数据特征初始分类模型的拟合度选择机器学习算法。

基于同一发明构思，本发明还提供了一种基于大数据分析的骚扰电话检测***，包括：

获取模块，用于利用通话数据获取通话数据场景特征库；

检测模块，用于利用所述通话数据场景特征库获取骚扰电话检测结果。

优选的，所述利用通话数据获取通话数据场景特征库包括：

对通话数据进行预处理获取通话数据场景初始特征；

将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

与最接近的现有技术相比，本发明具有的有益效果：

利用通话数据获取通话数据场景特征库；利用所述通话数据场景特征库获取骚扰电话检测结果，针对通话数据的不同特征进行分类，基于机器学习算法并加以改进，提高了分类的准确性与检测速度。

附图说明

图1是本发明提供的一种基于大数据分析的骚扰电话检测方法示意图；

图2是本发明提供的基于大数据分析的骚扰电话检测方法流程图；

图3是本发明提供的一种基于大数据分析的骚扰电话检测***示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

本发明提供了一种基于大数据分析的骚扰电话检测方法，如图1所示，包括：

步骤1：利用通话数据获取通话数据场景特征库；

步骤2：利用所述通话数据场景特征库获取骚扰电话检测结果。

步骤1具体包括：

1-1：对通话数据进行预处理获取通话数据场景初始特征；

1-2：将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

本实施例中，一种基于大数据分析的骚扰电话检测方法，所述场景特征包括：提取相似特征、各场景特有特征及基本特征，所述相似特征包括：日主叫量、日被叫量、日主叫占比、被叫离散度、漫游占比，所述各场景特有特征包括：同名身份证、同一天同一身份证下存在不同活跃号码、一机多卡、存在同一天一个手机对应不同手机卡的情况，所述基本特征包括呼叫总量、频次、主叫占比、被叫离散度、通话时长，通过多种途径、对来自电信网的用户数据根据诈骗场景等进行诈骗各场景诈骗特征及公共诈骗特征提取，形成初始特征库。所述各场景诈骗特征包括漫游的场景如当天漫游呼叫次数，当天漫游呼叫占比等。所述公共诈骗特征包括主叫占比，被叫离散度，主叫外省次数，主叫外省占比等。各场景诈骗特征及公共诈骗特征区别在于各场景诈骗特征依据场景不同相应指标会有异常。

步骤1-1具体包括：

1-1-1：利用数据相识度与非骚扰电话数据记录去除所述通话数据中正常通话数据，得到所述通化数据场景初始特征。

步骤1-2具体包括：

1-2-1：利用通话数据的通话呼叫数据获取通话数据分类特征，利用通话数据的通话身份数据获取通话数据特有特征，利用通话数据的通话基础数据获取通话数据基础特征；

1-2-2：利用所述通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集；

1-2-3：以所述通话数据训练集为输入，以通话数据对应的特征类型为输出，基于机器学习算法对模型进行训练；

1-2-4：利用所述通话数据验证集进行验证，得到通话数据特征初始分类模型；

1-2-5：根据所述通话数据特征初始分类模型的拟合度获取通话数据特征分类模型。

本实施例中，一种基于大数据分析的骚扰电话检测方法，所述通话数据特征分类模型中利用特征模块、离散计算模块、高频分析模块、猫池分析模块计算各特征值。

本实施例中，一种基于大数据分析的骚扰电话检测方法，基于初始特征库(即专家规则库)，再使用归一化、离散化、因子化、缺失值处理、去除共线性等方法对所述初始特征库中数据进行特征预处理和清洗，筛选出显著特征，摒弃非显著特征，即提取各场景诈骗特征，并对公共诈骗特征整理，将公共诈骗特征中与正常记录数据(也可称为正常数据)相识度高的数据(即非显著特征)清洗掉，各场景诈骗特征和未被清洗掉的公共诈骗特征共同构成显著特征，基于所述显著特征生成特征库。其中，所述正常记录指不具备骚扰诈骗的行为特征；相识度高指正常记录和有害记录(即各场景诈骗特征及公共诈骗特征，也可称为有害数据)的多项指标一致。

步骤1-2-2具体包括：

1-2-2-1：利用通话数据分类特征、通话数据特有特征与通话数据基础特征基于二八法则建立通话数据训练集与通话数据验证集。

步骤1-2-5具体包括：

1-2-5-1：根据拟合度判断通话数据特征初始分类模型是否达到要求，若是，则保留进行模型融合，否则，对通话数据特征初始分类模型进行模型调整后再次计算拟合度。

步骤1-2-5-1具体包括：

1-2-5-1-1：对达到要求的通话数据特征初始分类模型基于特征融合法进行融合；

1-2-5-1-2：根据通话数据特征初始分类模型的拟合度选择机器学习算法。

本实施例中，一种基于大数据分析的骚扰电话检测方法，对经过判断后的细分并精细化的不同模型采用特征融合法和瀑布融合法进行融合，即根据各细分模型特征，进行特征的融合。模型融合常见的有线性加权融合、交叉融合、瀑布融合、特征融合、预测融合等，本发明根据多维数据特征，优选特征融合法和瀑布融合法。

本实施例中，一种基于大数据分析的骚扰电话检测方法，在机器学习/深度学习尚无数据时，初始化使用专家规则，即利用业务专家现有的反骚扰经验，基于现有、已发现的真实骚扰电话数据库(其中数据包括电话号码、通话时间、异常标记、接听挂断操作、地域等信息)建模分析

本实施例中，基于大数据分析的骚扰电话检测方法流程，如图2所示，其中，模型启用包括，对模型中权重和偏差进行初始猜测，然后反复调整这些猜测并对模型进行验算，直到获得使得模型所允许的损失为最低的权重和偏差为止。

本实施例中，一种基于大数据分析的骚扰电话检测方法，特征库，进行如下处理：算法插件化、模型细分并精细化生成计算模块、模型训练、模型验证、模型参数调整(即模型调优)。其中，所述处理是基于特征库，对一些具有相同或相似特征的特征库设置模型参数进行模型训练，然后对模型训练的结果进行验证，之后调整模型中的参数再次进行模型训练直到模型计算的效果最佳；算法插件化是将多个算法的模型训练划分为不同的插件，化整为零，相互配合，便于并行训练和观测；计算模块不直接涉及模型，而是用于处理一些需要进行统计，计算才能获取的指标数据；后面的模型训练、模型验证和模型参数调整是对计算模块得到的数据向量和上文提到的特征向量进行模型训练、模型验证和模型参数调整。

实施例2：

本发明提供了一种基于大数据分析的骚扰电话检测***，如图3所示，包括：

获取模块，用于利用通话数据获取通话数据场景特征库；

检测模块，用于利用所述通话数据场景特征库获取骚扰电话检测结果。

所述利用通话数据获取通话数据场景特征库包括：

对通话数据进行预处理获取通话数据场景初始特征；

将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

所述对通话数据进行预处理获取通话数据场景初始特征包括：

利用数据相识度与非骚扰电话数据记录去除所述通话数据中正常通话数据，得到所述通化数据场景初始特征。

所述通话数据特征分类模型的训练包括：

利用通话数据的通话呼叫数据获取通话数据分类特征，利用通话数据的通话身份数据获取通话数据特有特征，利用通话数据的通话基础数据获取通话数据基础特征；

利用所述通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集；

以所述通话数据训练集为输入，以通话数据对应的特征类型为输出，基于机器学习算法对模型进行训练；

利用所述通话数据验证集进行验证，得到通话数据特征初始分类模型；

根据所述通话数据特征初始分类模型的拟合度获取通话数据特征分类模型。

所述利用通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集包括：

利用通话数据分类特征、通话数据特有特征与通话数据基础特征基于二八法则建立通话数据训练集与通话数据验证集。

所述根据通话数据特征初始分类模型的拟合度获取通话数据特征分类模型包括：

根据拟合度判断通话数据特征初始分类模型是否达到要求，若是，则保留进行模型融合，否则，对通话数据特征初始分类模型进行模型调整后再次计算拟合度。

所述保留进行模型融合包括：

对达到要求的通话数据特征初始分类模型基于特征融合法进行融合。

所述对通话数据特征初始分类模型进行模型调整包括：

根据通话数据特征初始分类模型的拟合度选择机器学习算法。

实施例3：

特征提取主要使用算法为决策树(Decision Tree)分类算法，分别是：特征选择，Decision Tree的生成与剪枝过程。

第一阶段即特征选择阶段：特征选择在于选取对训练数据具有分类能力的特征，这样可以提高Decision Tree的学习效率，通常特征选择的准则是信息增益。信息增益算法如下：

输入：训练数据集D和特征集A，其中，训练数据集D中的数据为已知的正常数据和有害数据。

输出：特征集A对训练数据集D的信息增益G(D,A)

其中涉及的算法主要有三个：

计算训练数据集D的经验熵H(D)：

其中，n为分类数目，Ck为第k个类，|Ck|为属于类Ck的样本个数；

计算特征集A对训练数据集D的经验条件熵H(D|A)：

计算信息增益

G(D,A)＝H(D)-H(D|A)。

第二阶段即决策树生成阶段：

输入：训练数据集D，特征集A，阈值ε(注：此处阈值ε根据实际工作情况自定义)

输出：决策树T

主要过程可以按照以下6步完成：

①如果D中的所有实例属于同一类Ci，则置T为单结点树，并将Ci作为结点的类，返回T；

②如果

则置T为单结点树，并将D中实例数最大的类CI作为结点的类，返回T；

③否则选择信息增益最大的特征Ag；

④如果Ag的信息增益小于阈值ε，则置T为单结点树，并将D中的实例数最大的类CI作为该结点的类，返回T；

⑤否则Ag的每一可能值aj,，依照Ag＝aj将D进行分割为若干非空子集Di，将Di中实例数最大的类作为标记，构建子结点，由结点及其子结点构成树T，返回T；

⑥对于结点i,以Di为训练集，以A-{Ag}为特征集，递归调用①～⑤，得到T。

第三阶段即决策树剪枝：为减少决策树的复杂度和减少过拟合，提高预测准确率，因此使用决策树剪枝的方法。剪枝算法如下：

输入：生成算法产生的整个树T，参数α(注：此处α为用于区分子树的标签)

输出：修剪后的子树Ta

主要过程如下：

计算每个结点的经验熵；

递归地从每个叶节点上回缩；

重复②过程，直至不能继续为止。

本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于大数据分析的骚扰电话检测方法，其特征在于，包括：

利用通话数据获取通话数据场景特征库；

利用所述通话数据场景特征库获取骚扰电话检测结果。

2.如权利要求1所述方法，其特征在于，所述利用通话数据获取通话数据场景特征库包括：

对通话数据进行预处理获取通话数据场景初始特征；

将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

3.如权利要求2所述方法，其特征在于，所述对通话数据进行预处理获取通话数据场景初始特征包括：

利用数据相识度与非骚扰电话数据记录去除所述通话数据中正常通话数据，得到所述通化数据场景初始特征。

4.如权利要求2所述方法，其特征在于，所述通话数据特征分类模型的训练包括：

利用通话数据的通话呼叫数据获取通话数据分类特征，利用通话数据的通话身份数据获取通话数据特有特征，利用通话数据的通话基础数据获取通话数据基础特征；

利用所述通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集；

以所述通话数据训练集为输入，以通话数据对应的特征类型为输出，基于机器学习算法对模型进行训练；

利用所述通话数据验证集进行验证，得到通话数据特征初始分类模型；

根据所述通话数据特征初始分类模型的拟合度获取通话数据特征分类模型。

5.如权利要求4所述方法，其特征在于，所述利用通话数据分类特征、通话数据特有特征与通话数据基础特征划分建立通话数据训练集与通话数据验证集包括：

利用通话数据分类特征、通话数据特有特征与通话数据基础特征基于二八法则建立通话数据训练集与通话数据验证集。

6.如权利要求4所述方法，其特征在于，所述根据通话数据特征初始分类模型的拟合度获取通话数据特征分类模型包括：

根据拟合度判断通话数据特征初始分类模型是否达到要求，若是，则保留进行模型融合，否则，对通话数据特征初始分类模型进行模型调整后再次计算拟合度。

7.如权利要求6所述方法，其特征在于，所述保留进行模型融合包括：

对达到要求的通话数据特征初始分类模型基于特征融合法进行融合。

8.如权利要求6所述方法，其特征在于，所述对通话数据特征初始分类模型进行模型调整包括：

根据通话数据特征初始分类模型的拟合度选择机器学习算法。

9.一种基于大数据分析的骚扰电话检测***，其特征在于包括：

获取模块，用于利用通话数据获取通话数据场景特征库；

检测模块，用于利用所述通话数据场景特征库获取骚扰电话检测结果。

10.如权利要求9所述***，其特征在于，所述利用通话数据获取通话数据场景特征库包括：

对通话数据进行预处理获取通话数据场景初始特征；

将所述通话数据初始特征带入预先训练的通话数据特征分类模型得到通话数据场景特征库。

Images