CN105323751A

CN105323751A - 一种手机短信监控装置

Info

Publication number: CN105323751A
Application number: CN201410379283.5A
Authority: CN
Inventors: 李洋; 陈刚; 杨树峰; 李涛; 肖剑林; 李华清
Original assignee: SHAANXI EYINHE ELECTRONIC CO Ltd
Current assignee: SHAANXI EYINHE ELECTRONIC CO Ltd
Priority date: 2014-08-04
Filing date: 2014-08-04
Publication date: 2016-02-10

Abstract

本发明公开一种手机短信监控装置，其特征在于，短信息监控装置通过汇接网关与短信息业务中心相接，手机短信监控装置的内部连接关系为：与起呼信息条数、频率发送成功率统计模块、短信息一致性判别模块、用户信任等级模块、综合评定短信息类别模块、黑白名单管理模块、归属位置寄存器模块相接，话单采集模块与贝叶斯短信息学***台为IBMX39508872-7RC多核环境。本发明能有效清除垃圾短信中的干扰信息，提高了垃圾短信的拦截率和判别正确率，减少手机短信监控装置对短信息业务中心处理能力的影响。

Description

一种手机短信监控装置

技术领域

本发明涉及一种手机短信监控装置。

背景技术

2000年至2006年，我国短信业务量分别为：10亿、189亿、900亿、1371亿、2177亿、4296亿，2006年日均发送12亿条。在如此众多的短信中，30%以上是垃圾短信。所谓垃圾短信是指违背接收者意愿、接收者无法拒收、隐藏发信人真实信息的违法或广告短信。垃圾短信不仅占用了有限的网络资源，造成网络拥塞，败坏了运行商在公众中的企业形象，而且严重影响了用户的正常工作和生活。更为严重的，短信已成为一些不法之徒实施犯罪的载体，利用短信进行诈骗、色情交易和反动宣传的事件时有发生，导致社会公信度下降，不利于构建和谐社会目标的实现。

短信在国外的应用有限。原因是国外通信资费便宜，用户支付能力强，用户没有广泛使用短信的习惯。以日本为例，运行商从未开展短信业务；短信服务发源地欧洲1991年已幵展此项业务，迄今为止，规模仍然十分有限。因此，发达国家在短信息监控方面的研究既不充分也不深入，其中影响较大使用较多的是朗讯公司推出的MlilifeAnti-SPAM产品，简称ASA。ASA采用贝尔实验室专利的规则引擎技术，具有自学习和动态调整规则功能。ASA在国内得到一定应用，但效果差强人意。因为SAS基于关键词完全匹配技术，垃圾短信发送者在短信中附件干扰信息，例如***无意义的字符或近音词替代等，就可以规避ASA的拦截；ASA根据短信发送数量（100条/h）规则拦截，未考虑短信内容一致性等行为特征，垃圾短信发送者仅需作简单技术处理就能规避ASA的拦截。

国内对短消息监控中心的研究停滞在2003年颁布的《短信息业务中心与手机短信监控装置接口规范》上，并无实质性举措，究其原因有以下三点：追逐利润是作为企业的运营商的本能，短信目前是运营商最重要的经济增长点，过滤短信势必影响利润，因此运行商长期以来持消极态度；基于第一点，运行商的消极态度严重影响手机短信监控装置开发商的投入和积极性；国家相关规范、标准的可操性不够，也影响了手机短信监控装置的幵发。以向国家知识产权局申请的发明专利为例，迄今申请量仅十余项，授权三项。随着整治垃圾短信社会呼声的持续升高，运行商认识到企业应当承担社会责任，2006年10月以来，运行商加快了对手机短信监控装置方面的研究与投入。现就手机短信监控装置领域申请的有关专利所涉及的技术和策略综述如下：

一种手机短信监控装置（申请号200510117449.7），提出用户在运营商网络侧建立关键字列表处理垃圾短信的方法。

一种手机短信监控装置（申请号200510117448.2〉，提出用户在运营商网络侧建立号码列表处理垃圾短信的方法。

短信防火墙***和设立短信防火墙的方法（申请号200610020383.4〉，提出了用户设置个性化的短信过滤规则，运营商设置通用的短信过滤规则。

短信内容的线性参数模糊匹配算法（申请号200410061270.X)，提出了关键词中引入通配符的技术，解决关键词匹配技术在附加干扰信息的垃圾短信中失效的问题。

一种手机过滤短消息的方法（ZL02137335.3），提出用户侧设置关键词过滤垃圾短信。

手机过滤短信息的一种方法（ZL200410042668.9)提出用户侧设置电话号码过滤垃圾短信。

短信息防火墙实现方法（ZL20041008826.9）提出用户侧设置垃圾号码过滤垃圾短信。

上述研究成果和有益探索有一定的参考、借鉴价值，其不足之处可归纳如下：关键词中引入通配符模糊匹配技术的有效性有待提高；未注意垃圾短信具有明显的行为特征，尤其是短信内容一致这一要素；手机短信监控装置实时过滤影响短信息业务中心处理能力的问题，缺乏相应的技术措施；合法短信误判与垃圾短信误判相比，前者给用户带来更大的损失，给运营商也造成更过的麻烦，对此缺乏相应的兼顾各方利益的处理技术和策略；关键词词典的自动生成技术。

发明内容

为解决上述现有的缺点，本发明的主要目的在于提供一种实用的手机短信监控装置,能有效清除垃圾短信中的干扰信息，提高了垃圾短信的拦截率和判别正确率，减少手机短信监控装置对短信息业务中心处理能力的影响。

为达成以上所述的目的，本发明的一种手机短信监控装置采取如下技术方案：

一种手机短信监控装置，其特征在于，手机短信监控装置通过汇接网关与短信息业务中心相接，手机短信监控装置的内部连接关系为：话单采集模块与起呼信息条数、频率发送成功率统计模块、短信息一致性判别模块、用户信任等级模块、综合评定短信息类别模块、黑白名单管理模块、归属位置寄存器模块相接，话单釆集模块与贝叶斯短信息学***台为IBMX39508872-7RC多核环境。

采用实时过滤机制融合话单分析机制的方法共同完成垃圾短信的过滤，话单釆集模块从短信息业务中心的计费模块中读入数据，统计短信息的信息条数、频率、发送成功率等行为特征，短信息内容一致性则采用MD5HASH算法，动态调整用户信任等级；话单采集模块同时供贝叶斯学***台为IBMX39508872-7RC多核环境，在Linux对称多处理器架构下运行并行的多线程实时过滤程序。

所述拼音模糊化关键词匹配模板方法：当***接收到短信后，***对短信拼音模糊化后采用拼音模糊化关键词匹配模板技术进行匹配，得到短信对应的垃圾度。拼音模糊化关键词匹配模板技术能有效消除垃圾短信中各种人为的干扰信息；所述话单分析机制的方法：着眼于垃圾短信的行为特征，包括起呼信息条数、频率、发送成功率、短信内容一致性等，动态调整用户的信任等级；结合实时过滤确定的短信垃圾度，综合评定该短信的最终类别。短信内容一致性判别采用密码学中的MD5HASH算法：对进入监控中心的每条短信进行MD5算法产生一个128位的整数，并和一段时间内监控中心接收到的短信产生的所有HASH数进行比较，如果存在相同的整数，则认为两条短信内容相同，对该短信的发送数量加1，计算函数F（X，L，N），X为用户的信任等级，L为短信的垃圾度，N为短信发送的数量，计算出是否可继续发送该短信，并根据计算结果进行相应的处理。如果不存在相同的整数，则将短信发送数量置1，并把该整数***HASH队列中；所述手机短信监控装置将短信分为三类：合法短信、可疑短信和垃圾短信；采用合法短信放行，垃圾短信拦截，可疑短信附加运行商提示语后放行的策略。手机短信监控装置的关键词词典通过贝叶斯法对短信样本离线学习自动生成。

采用如上技术方案的本发明，具有如下有益效果：

1、中文关键字采用拼音模糊化关键词匹配模板技术，能有效清除垃圾短信中的干扰信息。

2、根据垃圾短信的行为特征，动态调整用户的信任等级，结合基于拼音模糊化关键词匹配模板实时过滤技术所确定的短信垃圾度值，综合评定短信的类别，提高了垃圾短信的拦截率和判别正确率；

3、在多核硬件平台上，运行并行的实时过滤程序，减少手机短信监控装置对短信息业务中心处理能力的影响。

4、短信分类和处理的新策略，将短信划分为合法短信、可疑短信和垃圾短信，放行合法短信，拦截垃圾短信，而可疑短信采用附加运营商提示语后放行的策略，在我国现行法律法规框架内，兼顾了用户和运营商的双方利益。

5、釆用贝叶斯法对短信样本进行离线学习，自动生成垃圾短信关键词词典。

附图说明

图1为短信业务中心（短信息业务中心）与手机短信息监控装置（手机短信监控装置）的结构框图。

图2是本发明的结构框图（省略了汇接网关）。

图3是拼音模糊化关键词匹配模板算法流程图。

图4(a)是短消息内容一致性判别MD5算法主循环示意图。

图4(b)是MD5加密算法每轮中的一次操作示意图。

图5是贝叶斯自动生成短信息关键词词典流程图。

具体实施方式

为了进一步说明本发明，下面结合附图进一步进行说明：

短信实时过滤理论上有多种方法，但应用最广的仍然是基于关键词匹配的方法。针对垃圾短信采用人为增加干扰信息，干扰短信息监控中心的监控，提出拼音模糊化关键词匹配模板方法，达到有效消除干扰信息，过滤垃圾短信的目的。

鉴于垃圾短信有别于合法短信的显著行为特征的事实，如高发送频率和发送量，较低发送成功率、短信内容一致等特点，在话单分析方法中予以鉴别，并动态调整用户的信任等级。结合实时过滤确定的短信垃圾度，综合评定短信的最终类别。短信内容一致性判别采用密码学中的MD5HASH算法。

鉴于短信息监控中心投运通常会导致短信息业务中心处理能力下降左右的事实，短信息监控中心硬件平台选择多核环境，在对称多处理器架构下运行并行的多线程实时过滤程序，减少短信息监控中心对短信息业务中心处理能力影响。

鉴于合法短信误判远较垃圾短信误判的负面影响更大的事实，考虑到我国相关法律法规对运行商的约束，将短信划分为合法短信、可疑短信和垃圾短信。合法短信放行，垃圾短信拦截，可疑短信则釆用附加运行商提示语后放行的策略。就用户而言，可避免重要信息被拦截造成的损失；就运行商而言，拦截短信按规定是不收费的，过多拦截势必影响收益，同时可疑短信即便是垃圾短信，因为已附加了提示，从法律角度运行商已尽义务，况且同样一条短信是否垃圾随人而异，因此上述策略兼顾了用户与运行商的利益。

关键词词典借鉴过滤垃圾邮件领域的成果，采用贝叶斯法对短信样本离线学习自动生成。

如图1所示，各短信息业务中心接收普通用户发送或实体提交的短信息后，均发送一个鉴权请求到汇接网关，汇接网关转发鉴权请求至短信息监控中心。短信息监控中心对短信内容和行为特征进行判断，经汇接网关返回给短信息业务中心鉴权响应。如果短消息合法，短信息监控中心返回鉴权成功消息，短信息业务中心将该短信下发给接收者；如果短消息可疑，短信息监控中心返回鉴权接受消息，短信息业务中心将该短信附加运行商提示语后下发给接收者；如果短消息不合法，返回鉴权失败消息，短信息业务中心将该短信丢弃。根据***《短信息业务中心与短信息监控中心接口规范》，短信息业务中心与短信息监控中心之间的信息交互采用标准的SMPP协议，短信息业务中心通过DELIVER＿SM将起呼MO(MobileOriginal)信息提交给短信息监控中心，短信息监控中心提取DELIVER＿SM中short＿message＿test字段内容，按照既定规则处理后返回短信息业务中心一条SELIVER＿SM＿RESP鉴权响应消息。如果短信息业务中心等待响应的时间大于5s，则短信息业务中心记录日志，直接下发短信。

如图2所示，短信息监控中心的内部连接关系为：话单釆集模块与起呼信息条数、频率发送成功率统计模块、短信息一致性判别模块、用户信任等级模块、综合评定短信息类别模块、黑白名单管理模块、HLR归属位置寄存器模块相接，话单釆集模块与贝叶斯短信息学习模块、关键词词典模块、拼音模糊化关键词匹配模块、综合评定短信息类别模块相接。

短信息监控方法采用实时过滤机制融合话单分析机制的方法共同完成垃圾短信的过滤，话单采集模块从短信息业务中心的计费模块中读入数据，统计短信息的信息条数、频率、发送成功率等行为特征，短信息内容一致性则采用MD5HASH算法，动态调整用户信任等级；话单釆集模块同时供贝叶斯学***台为IBMX39508872-RC多核环境，在对称多处理器架构下运行并行的多线程实时过滤程序。

如图3所示，结合实例论述拼音模糊化关键词匹配模板实时过滤技术。通过三万条短信进行垃圾关键词的贝叶斯学习，得到垃圾短信关键词“***功”，进行拼音化后为“FaLunGong”，得到“FaLunGong”对应的垃圾度，设为M。当***接受到“***功人员在天安门广场***……”等违法短信后，***对短信拼音化后进行匹配，匹配到“FaLunGong”并得到对应的垃圾度。不法分子对垃圾短信主要釆取以下几种变形：

增加标点符号。如：“法，轮功人员在天安门广场***……”等，***在匹配前首先去除标点符号，因此以上短信同样可以匹配到“FaLunGong”。

增加分割符。如：“***功人员在天安门广场***……”，***在去除标点符号后，还会去除分割符，因此以上短信同样可以匹配到“FaLunGong”

增加无关词。如：“法呀轮呀功人员在天安门广场***……”短信息关键词模板匹配技术，其核心思想是将通常的关键词分解为单个字。鉴于一条短信的长度《=75汉字，垃圾短信在关键词中***的无关字干扰是有限的，同时过多的无关字会使垃圾短信的可读性变坏，失去骗人作用。关键词模板匹配技术将关键词“***功”视为三个字：“法”“轮”“功”；假设模板的长度为关键词长度X2，以关键词“***功”为例，模板长度为6。实时过滤时，扫描短信全文，“法”字与垃圾短信关键词“***功”的首字匹配，则从短信中截取模板长度〈6个字符〉内容与关键词“***功”匹配，因此以上短信同样可以匹配到“FaLunGong”。这样垃圾短信“法呀轮呀功”等变形体亦无法规避短信息监控中心的实时过滤拦截。模板长度视运营结果随时调整。

用同音字代替，如：“***人员在天安门广场***……”，由于***是用拼音进行匹配的，因此“***”在转化为拼音时也同样会匹配到“FaLunGong”。

用近音字代替，如：“花轮功人员在天安门广场***……”，***在进行汉字到拼音的转化时，会把相似拼音进行模糊处理，如“hua&”到“fa”，“run”到“lun”，“neng”到“nen”等。因此“花轮功”在进行拼音模糊转化后也能匹配“FaLunGong”。

总之，拼音模糊化关键词匹配模板技术能有效消除垃圾短信中各种人为的干扰信息。

如图4（a）（b）所示，鉴于垃圾短信具有明显的恶意行为特征，如高发送频率和发送量、较低发送成功率、短信内容一致等特征，因此分析归纳垃圾短信的行为特征，动态调整用户的信任等级是可行的。与实时过滤技术结合可进一步提高短信息监控中心的效用。发送频率、发送量、发送成功率的统计属公知技术，但短信内容一致性判别按传统的全文扫描逐一比较法是不可行的，全文扫描逐一比较法要耗费短信息监控中心的大量资源，无法满足对实时性要求近于苛刻的短信息监控中心的要求。

MD5的全称是Message-DigestAlgorithm5(信息-摘要算法)，它的典型应用是对一段信息产生信息摘要。将整个文件当作一个大文本信息，通过其不可逆的字符串变换算法，产生了这个唯一的MD5信息摘要。如果在以后传播这个文件的过程中，无论文件的内容发生了任何形式的改变(包括人为修改或者发送过程中线路不稳定引起的传输错误等)只要对这个文件重新计算MD5时就会发现信息摘要不相同，由此可以确定得到的只是一个不正确的文件。简单来说，MD5的作用是让短信在过滤前被“压缩”成一种保密的格式，也就是把一个任意长度的字节串变换成一定长的大整数。

一致性判别消息M被分为从M₁,M₂,……M_k共K个子分组。单向散列函数的输入是消息分组M_i和前一消息分组M_i-1的散列值的散列值h_i-1，输出散列值h_i，输出散列值hi=f(M_i,h_i-1)。该散列值h_i和下一轮的消息分组M_i+1一起，作为单向散列函数的下一轮输入，如此反复，最后一组的输出就是整个待加密消息的散列值。

MD5加密算法是尺RonRivest设计的一种单向散列函数，它以512位分组为单位处理输入明文，每个512位分组又分为16个32位子分组,算法的输出为4个级联的32位分组，组成128位的散列值。MD5算法的初始化、主循环和尾部处理三个步骤如下：

①初始化。算法初始化分为原始明文初始化和链接变量初始化两个部分。明文初始化首先将长度为L的待加密明文P后面级联一个字节0X8O，再级联若干个0X00作为填充，使其长度为(512﹡K-64)位（K为正整数）。接着再级联64位以字节计的明文长度，此时明文长度被填充为512位的整数倍，同时确保不同明文填充后不会相同。四个32位链接变量初始化为：A=0x01234567，B=0x89ABCDEF，C=0xFEDCBA98，D=0x76543210。这四个链接变量对于整个算法至关重要，其取值直接关系到配套设备软件的编写，务必将这四个链接变量写正确。

②算法主循环。算法主循环如图4(a)所示。主循环次数为经过填充的明文数据位数除以512位所得的商。将链接变量A、B、C、D分别赋给a、b、c、d四个变量。每次主循环都有四轮，每轮进行16次操作，每次操作先对a、b、c、d中的三个进行一次非线性函数运算，然后将所得结果依次加上第四个变量、M_j(文本中的一个子分组)和一个C_i(常数)将所得结果循环左移一个不定的常数S，然后再加上a、b、c或者d中之一，最后用该结果取代a、b、c或者d中之一。每次操作过程如图4(b)所示。

③尾部处理。每一次主循环全部完成之后，将A、B、C、D分别加上a、b、c、d。接着用下一个分组继续运行算法，最后的输出散列值是A、B、C和D的级联。定义非线性函数FF（a,b,c,d,M_j,S,C_i）:

a=b+[F(b,c,d)+a+M_j+C_i]＜＜＜S

其中，S为循环左移的位数，为一常数；常数C_i为第i步中如2³²﹡|sin（i）|的整数部分(i单位为弧度)。四轮一共为16×4=64次，每一次的非线性函数都不相同。

基于MD5HASH算法判断是否为重复发送的短信方法如下：对进入监控中心的每条短信进行MD5算法产生一个128位的整数，并和一段时间内监控中心接收到的短信产生的所有HASH数进行比较，如果存在相同的整数，则认为两条短信内容相同，对该短信的发送数量加1，计算函数F（X,L,N）,X为用户的信任等级，L为短信的垃圾度，N为短信发送的数量，计算出是否可继续发送该短信，并根据计算结果进行相应的处理。如果不存在相同的整数，则发送短信，并将短信发送数量置1，并把该整数***HASH队列中。

如图5所示，在短信息监控中心空闲时段，贝叶斯短信息学习模块自动/手工筛选短信息样本对筛选出的样本进行贝叶斯学习；生成的垃圾短信息关键词供拼音模糊化关键词匹配模块进行短信息实时过滤。

现有研究和测试表明，短信息监控中心投运通常降低短信息业务中心30%的处理能力，因为短信息实时过滤——拼音模糊化关键词匹配模板算法的软硬件资源开销较大，这是运行商面临的一个棘手问题。解决这一难题的技术措施是采用多核硬件平台，运行并行的实时过滤程序。多核应用的难点在软件，幸运的是短信息实时过滤具有天然的并行性，因此并行的过滤程序难度大大降低，举例如下。

硬件平台采用的IBMX39508872-7RC服务器含有2颗IntelXeon7020双核处理器，符合***的对称多处理器架构。多核处理器与多处理器的区别在于是否采用前端总线作为数据共享的渠道。短消息的并行处理宜采用单进程多线程处理的模式，因为对比线程和进程，线程的创建和切换开销比进程更小、线程间通信的方式多而且简单也更有效率、多线程有汗牛充栋的基础库支持、多线程的程序比多进程的程序更容易理解和修改。对于支持SMP架构的操作***，各线程分配到不同核的方案由***内核来自动调度，调度方案对内核而言是平台相关的，而对应用程序而言是无关的。

后台应用程序需要包含(pthread.h）头文件以创建多线程。创建新的线程的函数原型为externintpthread_create_P((pthread_t﹡_thread,_constpthread_attr_t﹡_attr,void﹡(﹡_start_routine)(void﹡),void﹡_arg))；第一个参数为指向线程标识符的指针，第二个参数用来设置线程属性，第三个参数是线程运行函数的起始地址，最后一个参数是运行函数的参数。子线程完成后，主

线程用externintpthread_join_P((pthread_t_th,vido﹡﹡_thread,_return))或externintpthread_exit__P((vido﹡__retval))__attribute__((__noreyurn__))等待它的结束。

创建子线程后，可以用pthread_attr_setscope()设定线程是否绑定到轻进程上做不需要调度的实时处理；可以用pthread_attr_setdetachstate(pthread_attr_t﹡attr,intdetachstate)设定线程终止自身的方式。

Claims

1.一种手机短信监控装置，其特征在于，短信息监控装置通过汇接网关与短信息业务中心相接，手机短信监控装置的内部连接关系为：与起呼信息条数、频率发送成功率统计模块、短信息一致性判别模块、用户信任等级模块、综合评定短信息类别模块、黑白名单管理模块、归属位置寄存器模块相接，话单采集模块与贝叶斯短信息学***台为IBMX39508872-7RC多核环境。

2.根据权利要求1所述的一种手机短信监控装置，其特征在于，采用实时过滤机制融合话单分析机制的方法共同完成垃圾短信的过滤，话单釆集模块从短信息业务中心的计费模块中读入数据，统计短信息的信息条数、频率、发送成功率等行为特征，短信息内容一致性则采用MD5HASH算法，动态调整用户信任等级；话单采集模块同时供贝叶斯学***台为IBMX39508872-7RC多核环境，在Linux对称多处理器架构下运行并行的多线程实时过滤程序。

3.根据权利要求2所述的一种手机短信监控装置，其特征在于，所述拼音模糊化关键词匹配模板方法：当***接收到短信后，***对短信拼音模糊化后采用拼音模糊化关键词匹配模板技术进行匹配，得到短信对应的垃圾度，拼音模糊化关键词匹配模板技术能有效消除垃圾短信中各种人为的干扰信息；所述话单分析机制的方法：着眼于垃圾短信的行为特征，包括起呼信息条数、频率、发送成功率、短信内容一致性等，动态调整用户的信任等级；结合实时过滤确定的短信垃圾度，综合评定该短信的最终类别，短信内容一致性判别采用密码学中的MD5HASH算法：对进入监控中心的每条短信进行MD5算法产生一个128位的整数，并和一段时间内监控中心接收到的短信产生的所有HASH数进行比较，如果存在相同的整数，则认为两条短信内容相同，对该短信的发送数量加1，计算函数F（X，L，N），X为用户的信任等级，L为短信的垃圾度，N为短信发送的数量，计算出是否可继续发送该短信，并根据计算结果进行相应的处理，如果不存在相同的整数，则将短信发送数量置1，并把该整数***HASH队列中；所述手机短信监控装置将短信分为三类：合法短信、可疑短信和垃圾短信；采用合法短信放行，垃圾短信拦截，可疑短信附加运行商提示语后放行的策略，手机短信监控装置的关键词词典通过贝叶斯法对短信样本离线学习自动生成。