CN104156447A - 一种智能社交平台广告预警及处理方法 - Google Patents

Abstract

本发明公开了一种智能社交平台广告预警及处理方法。本发明基于大量历史数据的统计分析，生成恶意广告行为和正常用户行为的特征，以及用户发言内容的特征，通过分析比较用户发言的内容及行为与大数据统计的特征的相似程度，实时判断用户是否为广告用户，如果是广告用户则进行及时预警，并由人工及时跟进确认审核。经人工确认后的历史广告数据及非广告数据，动态学***台广告预警及处理。

Description

一种智能社交平台广告预警及处理方法

技术领域

本发明属于信息处理技术领域，涉及一种智能社交平台广告预警及处理方法。

背景技术

随着互联网的普及，社交平台飞速发展，给用户带来交友、娱乐的便利，但同时平台上大量的垃圾广告信息也给用户的娱乐体验带来影响，成为了社交平台内容质量的重大威胁。如何快速的鉴定出用户的恶意行为及广告内容，进而采取相应措施显的尤为重要。

社交平台的广告内容主要分为两大类：一类为发送QQ号码或者手机号码作为联系方式的，另一类是发网址的。以往的广告过滤方法，一般是通过用户举报、人工巡查、关键词匹配，再经过人工审核确认，这种方法一般在发现并确认广告时已过去几天甚至更长时间，时效性较差。在实时社交平台上无法起到净化平台内容的目的，也很难达到对广告的有效封杀。

发明内容

本发明针对现有技术的不足，提供了一种智能社交平台广告预警及处理方法。

本发明方法的主要思想：基于大量历史数据的统计分析，生成恶意广告行为和正常用户行为的特征，以及用户发言内容的特征，通过分析比较用户发言的内容及行为与大数据统计的特征的相似程度，实时判断用户是否为广告用户，如果是广告用户则进行及时预警，并由人工及时跟进确认审核。经人工确认后的历史广告数据及非广告数据，动态学习提取通用的广告匹配模式，再用于对实时数据进行判断及预警。

本发明方法具体是：

步骤1.获取社交平台用户实时聊天数据。

步骤2.对聊天数据进行预处理。

步骤3.对用户行为进行统计、对用户发言内容进行分析，具体是：

统计以下行为：

3-1)用户最近2小时的发言量是否超过一定阈值。

3-2)用户最近2小时发言包含中文数量是否超过一定阈值。

3-3)用户最近20分钟内发言句数与发言不同数比值超过10的，且发言句数超过阈值，去重后小于一定阈值的。

3-4)用户单个IP一小时内和一定阈值以上用户聊天。

3-5)用户单个硬盘码和多个用户聊天，聊天用户数超过一定阈值的。

3-6)用户单位时间内与过多用户聊天的。

3-7)用户发言字数差过于单一的。

分析发言内容：

①构造正常文本库和广告文本库；

②计算新文本中每个字出现时是广告文本的概率；

$p\left(s\right|w)=\frac{p\left(w\right|s)*p\left(s\right)}{p\left(w\right|s)*p\left(s\right)+p\left(w\right|h)*p\left(h\right)}$

式中，s表示广告文本，h表示正常的文本，w表示文本中出现的每个字。每个字的概率不为零，最小约定为1％。

③计算新文本的联合概率，如果大于阈值则判断为广告。

$p=\frac{p_1*p_2*...p_n}{p_1*p_2*...p_n+(1-p_1)*(1-p_2)*...(1-p_n)}$

式中，p_i是新文本中每个字为广告文本的概率，n表示文本中字的个数。

如果用户行为属于上述七种行为中的一种或者新文本的联合概率大于设定阈值，则认为此用户可疑，先进行误告可能性的分析，将可疑内容与历史误告警库进行对比，如果在误告警库中出现过的，则判断此记录为误告，不需再人工确认。如果没有在误告警库中出现，则认为此用户为疑似广告用户，则转至步骤4。

步骤4.对识别出来的广告信息进行预警；

步骤5.对预警内容确定其广告置信度；置信度高的直接接入广告库，置信度低的转入步骤6

步骤6.预警内容人工确认，如果能确认是广告的，则加入广告库，再进行后续相关操作；如果不是广告的，则选择误告，加入误告警库。

步骤7.对确认结果接入平台权限进行直接处理；

步骤8.确认后的广告信息，加入广告库，实时更新训练器，计算新加入广告模式，进行机器学习；具体是：

8-1)取最近3天的广告数据，两两进行比较，把两条广告语中不同的字符利用通配符进行替换。如果替换掉的字符数占整个广告语的长度少于一半或一定阈值的，认为广告具有相关性，把通配符替换后的广告语做为一个模式，以此类推，得到所有的广告模式，去重后得到最终的模式集；

8-2)将8-1)中去重后的广告模式集做为正规表达式的模式，最近3天的广告数据做为内容，逐一进行匹配，匹配成功的内容忽略，匹配不成功的内容做为一个新模式加入到模式集；

8-3)把8-2)中的模式集做为新内容，重新迭代执行8-1)和8-2)步骤，直到没有再新增加的模式，这样可以得到一个最简模式集合。

本发明方法在大数据统计分析的基础上，分析用户恶意广告行为的特征，以及用户广告内容的特征，提取特征模式，进而准确鉴定出恶意广告用户及广告内容。此方法不受用户干扰信息的影响，可以准确及时地预警广告行为及内容，预警信息经过人工确定后再导入训练库，不断迭代实现机器智能学***台广告预警及处理。

附图说明

图1为本发明方法流程图。

具体实施方式

为更好理解本发明的内容，下面结合附图和实施例进行详细描述。

下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅便于对本发明的理解，而对其不起任何限定作用。

如图1所示，一种智能社交平台广告预警及处理方法按以下步骤实现：

1.获取社交平台用户实时聊天数据

聊天数据来源于实时产生的社交平台用户真实数据。

2.对数据进行预处理

删除表情、彩条、超短句(三个汉字以下，又没有出现数字)、重复字符(111、2222)、快捷回复语等非广告数据。

3.对用户行为进行统计分析，从以下几个方面进行处理：

1)分析用户最近2小时的发言量是否超过一定阈值；

2)分析用户最近2小时发言包含中文数量是否超过一定阈值；

3)分析用户最近20分钟内发言句数与发言不同数比值超过10的，且发言句数超过阈值，去重后小于一定阈值的；

4)分析用户单个IP一小时内和一定阈值以上用户聊天,把这个IP底下的所有帐号全部进行告警(有效)；

5)分析用户单个硬盘码和多个用户聊天，聊天用户数超过一定阈值的；

6)分析用户单位时间内与过多用户聊天的；

7)分析用户发言字数差过于单一的。

如果用户行为违反了以上若干规则中的任何一条，则认为此用户可疑，先进行误告可能性的分析，将可疑内容与历史误告警库进行对比，如果在误告警库中出现过的，则判断此记录为误告，不需再人工确认。如果没有在误告警库中出现，则认为此用户为疑似广告用户，进行预警。

4.对用户发言内容进行判别，从以下方面进行：

1)基于贝叶斯算法。

基本原理是：

①构造正常文本库和广告文本库；

②计算新文本中每个字出现时是广告文本的概率；

$p\left(s\right|w)=\frac{p\left(w\right|s)*p\left(s\right)}{p\left(w\right|s)*p\left(s\right)+p\left(w\right|h)*p\left(h\right)}$

公式中，s表示广告文本，h表示正常的文本，w表示文本中出现的每个字。每个字的概率不为零，最小约定为1％。

③计算新文本的联合概率，如果大于阈值则判断为广告。

$p=\frac{p_1*p_2*...p_n}{p_1*p_2*...p_n+(1-p_1)*(1-p_2)*...(1-p_n)}$

公式中，p_i是新文本中每个字为广告文本的概率，n表示文本中字的个数。

2)敏感关键词的匹配，如裸、Q、q等

如果用户行为违反了以上若干规则中的任何一条，则认为此用户可疑，先进行误告可能性的分析，将可疑内容与历史误告警库进行对比，如果在误告警库中出现过的，则判断为此记录为误告，不需再人工确认。如果没有在误告警库中出现，则认为此用户为疑似广告用户，进行预警。

5.对于预警出来的疑似内容，确定广告置信度。

广告置信度的计算主要根据告警类型进行划分，置信度高的直接接入广告库，置信度低的安排人工进行确认，分为了广告与误告。

置信度计算的算法如下：

公式中，Num人工确定是每类预警广告中经人工确认为广告的预警广告数目，Num总是每类总的预警广告数目。

再安排相关人员对预警的广告信息进行手工确认，如果能确认是广告的，则加入广告库，再进行后续相关操作，如封号等。如果不是广告的，则选择误告。

6.人工确认内容后续处理

经过人工确认的内容，根据平台的来源和人工处理的结果，直接发送相应指令到各平台，对用户帐号进行处理。并将人工确认的结果加入到对应的广告历史库或者非广告历史库。

7.历史广告内容的智能学习匹配

预警***根据人工确认后的广告与非广告信息进行自我学习，利用算法计算出广告的通用模式，算法步骤流程如下：

算法1：

1)取最近3天的广告数据，两两进行比较，取出最长子字符串，如果最长子字符串长度超过设定值的，认为广告具有相似性，把此共同的最长子字符串加入广告模式中，以此类推，得到所有的广告模式，进而去重。

2)将步骤1)中去重后的广告模式集做为正规表达式的模式，最近3天的广告数据做为内容，逐一进行匹配，匹配成功的内容忽略，匹配不成功的内容做为一个新模式加入到模式集。

3)把2)中的模式集做为新内容，重新迭代执行1)和2)步骤，直到没有再新增加的模式。这样可以得到一个最简模式集合。

算法1的缺点是对于部份不断变化，最长子字符串长度小于设定值的广告语无效。本实施例选用利用算法2弥补了这个问题。

算法2具体如下：

1)取最近3天的广告数据，两两进行比较，把两条广告语中不同的字符利用通配符进行替换。如果替换掉的字符数占整个广告语的长度少于一半(或一定阈值)的，认为广告具有相关性，我们把通配符替换后的广告语做为一个模式，以此类推，得到所有的广告模式，去重后得到最终的模式集

2)将步骤1)中去重后的广告模式集做为正规表达式的模式，最近3天的广告数据做为内容，逐一进行匹配，匹配成功的内容忽略，匹配不成功的内容做为一个新模式加入到模式集。

3)把2)中的模式集做为新内容，重新迭代执行1)和2)步骤，直到没有再新增加的模式。这样可以得到一个最简模式集合。

8.智能自动封号处理

智能自动封号处理可以有效降低人工确认的工作量，对于置信度在一定阈值以上的可疑用户，采用自动封号的模式进行。

本方法通过以上步骤的分析，极大程度上加快了广告预警的效率及准确性，下几个方面解决了原来无法解决的困难：

A根据大数据来统计用户行为和内容特征

通过大数据量的统计分析，确认用户行为特征模式来内容特征模式，具有一般意义，有效的避免了偶然因素的影响。

B根据用户行为和内容预警广告

行为分析设定了重复率、字数差等规则，内容分析除了关键词匹配另外加入了贝叶斯概率统计，解决了传统基于关键词匹配容易被恶意用户绕过的难题。

C根据人工确认结果训练机器动态学习，提高预警准确率和实时性。

人工确认后的广告数据集，利用机器动态学习，计算广告通用模式，再实时进行预警，极大程度上提高了预警的准确率和实时性。解决传统方法广告确认延时严重、误告率过高的问题。

以上方法，在实际社交平台环境下使用后，效果十分良好，广告量下降明显。

以上对本发明所提供的一种智能社交平台广告预警及处理方法进行了详细介绍，并结合具体实施例对本发明的内容和实施方式进行了描述。需进一步说明的是，对本领域的普通技术人员来说，可以根据以上描述对本发明的方法加以改进或者变化，只要这些改进或者变化没有脱离本发明的思想和要点，都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种智能社交平台广告预警及处理方法，其特征在于该方法包括以下步骤：

步骤1.获取社交平台用户实时聊天数据；

步骤2.对聊天数据进行预处理；

步骤3.对用户行为进行统计、对用户发言内容进行分析，具体是：

统计以下行为：

3-1)用户最近2小时的发言量是否超过一定阈值；

3-2)用户最近2小时发言包含中文数量是否超过一定阈值；

3-3)用户最近20分钟内发言句数与发言不同数比值超过10的，且发言句数超过阈值，去重后小于一定阈值的；

3-4)用户单个IP一小时内和一定阈值以上用户聊天；

3-5)用户单个硬盘码和多个用户聊天，聊天用户数超过一定阈值的；

3-6)用户单位时间内与过多用户聊天的；

3-7)用户发言字数差过于单一的；

分析发言内容：

①构造正常文本库和广告文本库；

②计算新文本中每个字出现时是广告文本的概率；

$p\left(s\right|w)=\frac{p\left(w\right|s)*p\left(s\right)}{p\left(w\right|s)*p\left(s\right)+p\left(w\right|h)*p\left(h\right)}$

式中，s表示广告文本，h表示正常的文本，w表示文本中出现的每个字；每个字的概率不为零，最小约定为1％；

③计算新文本的联合概率，如果大于阈值则判断为广告；

$p=\frac{p_1*p_2*...p_n}{p_1*p_2*...p_n+(1-p_1)*(1-p_2)*...(1-p_n)}$

式中，p_i是新文本中每个字为广告文本的概率，n表示文本中字的个数；

如果用户行为属于上述七种行为中的一种或者新文本的联合概率大于设定阈值，则认为此用户可疑，先进行误告可能性的分析，将可疑内容与历史误告警库进行对比，如果在误告警库中出现过的，则判断此记录为误告，不需再人工确认；如果没有在误告警库中出现，则认为此用户为疑似广告用户，则转至步骤4；

步骤4.对识别出来的广告信息进行预警；

步骤5.对预警内容确定其广告置信度；置信度高的直接接入广告库，置信度低的转入步骤6

步骤6.预警内容人工确认，如果能确认是广告的，则加入广告库，再进行后续相关操作；如果不是广告的，则选择误告，加入误告警库；

步骤7.对确认结果接入平台权限进行直接处理；

步骤8.确认后的广告信息，加入广告库，实时更新训练器，计算新加入广告模式，进行机器学习；具体是：

8-1)取最近3天的广告数据，两两进行比较，把两条广告语中不同的字符利用通配符进行替换；如果替换掉的字符数占整个广告语的长度少于一半或一定阈值的，认为广告具有相关性，把通配符替换后的广告语做为一个模式，以此类推，得到所有的广告模式，去重后得到最终的模式集；

8-2)将8-1)中去重后的广告模式集做为正规表达式的模式，最近3天的广告数据做为内容，逐一进行匹配，匹配成功的内容忽略，匹配不成功的内容做为一个新模式加入到模式集；

8-3)把8-2)中的模式集做为新内容，重新迭代执行8-1)和8-2)步骤，直到没有再新增加的模式，这样可以得到一个最简模式集合。

2.根据权利要求1所述的一种智能社交平台广告预警及处理方法，其特征在于：步骤2中的预处理具体是删除表情、彩条、超短句、重复字符、或快捷回复语。