CN108156335A - 一种诈骗信息码谱分析*** - Google Patents

Abstract

本发明公开了一种诈骗信息码谱分析***，包括数据源，用于提供原始日志数据；数据加载模块，和数据源相连，用于获取和预处理原始日志数据；数据存储模块，用于存储原始日志数据和预处理后的中间结果数据；综合分析模块，和数据存储模块相连，用于对原始日志数据进行多维度综合分析，在综合分析模块内设有分布式计算模块；应用模块，和数据存储模块相连，用于对分析结果进行展示。本发明运用大数据分析的手段从海量的电信网通话详细日志、反诈***基础数据、电路域日志、短信、彩信和互联网日志等多维度的行为数据中挖掘分析，深度剖析诈骗份子的行为特点和诈骗场景，分析受害人群，为通讯信息诈骗综合防范提供技术和数据支撑。

Description

一种诈骗信息码谱分析***

技术领域

本发明属于防诈骗***技术领域，具体而言，尤其涉及一种诈骗信息码谱分析***。

背景技术

反诈工作是与诈骗分子不断对抗的一个过程，基于诈骗手段层出不穷及诈骗通讯载体多样的现状，仅通过电信网通话记录去发现和防范诈骗，不能完全覆盖诈骗场景，且对诈骗主叫的定义以及对诈骗事件的还原缺乏说服力和准确性。通讯信息诈骗综合防范需要解决的关键问题是对各种维度的数据进行综合分析，从更大的范围发现诈骗群体和受害人，并结合诈骗群体和受害人进行诈骗事件还原、案件关联及黑产信息溯源，为通讯信息诈骗综合防范提供技术和数据支撑。

发明内容

本发明的目的在于提供一种诈骗信息码谱分析***，以至少解决现有技术存在不能综合防范通讯信息诈骗的技术问题。

为了解决上述问题，本发明提供一种诈骗信息码谱分析***，其技术方案如下：

一种诈骗信息码谱分析***，包括数据源，用于提供原始日志数据；数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；综合分析模块，所述综合分析模块和所述数据存储模块相连，在所述综合分析模块内设有分布式计算模块和分析模型模块，所述分布式计算模块和所述分析模型模块相连，所述分析模型模块为所述分布式计算模块提供分析模型，所述分布式计算模块用于诈骗群体识别、诈骗事件还原、受害人分析和诈骗案件分析，得到诈骗团伙信息结果，并将所述诈骗团伙信息结果存储在所述数据存储模块内；应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息结果进行展示。

如上述的诈骗信息码谱分析***，进一步优选为：在所述数据加载模块内还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。

如上述的诈骗信息码谱分析***，进一步优选为：在所述数据加载模块内还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。

如上述的诈骗信息码谱分析***，进一步优选为：所述预处理模块包括数据关联模块，所述数据关联模块用于对所述原始日志数据进行号段属地、IP属地、敏感号码的关联分析。

如上述的诈骗信息码谱分析***，进一步优选为：所述预处理模块还包括数据预统计模块，所述数据预统计模块用于对所述原始日志数据进行关键维度粗粒度的统计。

如上述的诈骗信息码谱分析***，进一步优选为：在所述综合分析模块内还设有关联分析模块，所述关联分析模块和所述数据存储模块相连。

如上述的诈骗信息码谱分析***，进一步优选为：在所述数据存储模块内设有分布式文件***，所述分布式文件***和所述数据加载模块相连、所述分布式计算模块相连。

如上述的诈骗信息码谱分析***，进一步优选为：在所述数据存储模块内还设有关系数据库，所述关系数据库和所述分布式计算模块、所述分析模型模块、所述数据加载模块相连。

如上述的诈骗信息码谱分析***，进一步优选为：在所述综合分析模块内还设有数据检索模块，所述数据检索模块和所述分布式计算模块、所述数据存储模块相连，所述数据检索模块用于对诈骗群体的多维关联检索和查询。

如上述的诈骗信息码谱分析***，进一步优选为：所述应用模块包括诈骗群体管理模块、诈骗事件管理模块、受害人管理模块、案件管理模块、黑产管理模块和号码关联分析模块。

本发明的数据源具有多样性，为了利于扩展和支持不同方式的数据源，在数据加载模块可根据不同接口进行获取、解析、预处理与持久化操作，数据加载并预处理之后可将原始日志数据和中间结果数据存储至分布式文件***及关系数据库中并建立索引，便于后续综合分析模块对海量数据进行多维关联检索和查询分析，利用SPARK/MR分布式计算框架对各功能的算法提供算力，可横向扩展提高计算能力。本发明进行多维数据综合分析时，在技术选型上采用分布式计算、分布式文件存储、全文索引、RestFulAPI等关键技术进行分析。

附图说明

图1为本发明的诈骗信息码谱分析***的***架构示意图；

图2为本发明的诈骗信息码谱分析***的***定位示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种诈骗信息码谱分析***，主要包括数据源，用于提供原始日志数据；数据加载模块，和数据源相连，用于获取原始日志数据，在数据加载模块内设有预处理模块，预处理模块用于对原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，和数据加载模块相连，用于存储原始日志数据和中间结果数据；综合分析模块，和数据存储模块相连，在综合分析模块内设有分布式计算模块和分析模型模块，分布式计算模块和分析模型模块相连，分析模型模块为分布式计算模块提供分析模型，分布式计算模块用于诈骗群体识别、受害人分析、诈骗案件分析和诈骗事件还原，得到诈骗团伙信息结果，并将诈骗团伙信息结果存储在数据存储模块内；应用模块，应用模块和数据存储模块相连，用于对诈骗团伙信息结果进行展示。

优选地，本发明中，分布式计算模块还用于诈骗群体分析、诈骗场景分析、诈骗预判分析和黑产溯源分析。

如图2所示，本发明中，数据源主要包括反诈***、移动互联网***、短彩信***及基于行为特征及场景的诈骗分析***。

如图1所示，优选地，原始日志数据主要包括电信网通话详细日志、反诈***基础数据、电路域日志、短信、彩信和互联网日志。

总而言之，本发明创新性的提供一种诈骗信息码谱分析***，实现团伙分析、疑似上当人分析及诈骗主叫的预判功能，通过对线上数据进行的大量分析、模型调整及效果验证，能发现团伙作案的成员、团伙在实施诈骗时所属的角色以及团伙的分布情况等。

如图1所示，本发明在数据加载模块中还设有数据订阅模块，优选地，数据订阅模块用于订阅数据源中的原始日志数据，便于实时加载数据。

如图1所示，本发明在数据加载模块中还设有数据分析模块，优选地，数据分析模块用于解析和过滤数据源中的原始日志数据。

如图1所示，本发明中，预处理模块包括数据关联模块，优选地，数据关联模块用于对原始日志数据进行号段属地、IP属地、敏感号码的关联分析，数据加载模块从外部获取的原始日志数据可能不满足本发明的分析需求，比如号码的属地、IP的属地信息等都通过预处理模块对属地信息进行关联分析，为后续的统计、查询提供完整的结果。

如图1所示，本发明中，预处理模块还包括数据预统计模块，优选地，数据预统计模块用于对原始日志数据进行关键维度粗粒度的统计(如每10分钟统计每个来源地号码在每个被叫地的通话次数等)，从而缩小后续综合分析模块进行统计分析的数据量级，也能较为实时的为业务用户提供相关统计结果。

如图1所示，本发明在综合分析模块内还设有关联分析模块，优选地，关联分析模块和数据存储模块相连，关联分析模块用于进行多维度数据关联分析。

优选地，本发明在数据存储模块内设有分布式文件***，分布式文件***和数据加载模块相连、分布式计算模块相连，分布式文件***用于分布式存储原始日志数据和中间结果数据，进一步的，分布式计算模块对原始日志数据和中间结果数据进行深度分析。

优选地，本发明在数据存储模块内还设有关系数据库，关系数据库和分布式计算模块、分析模型模块相连，优选地，关系数据库模块用于存储所述诈骗团伙信息结果和所述分模型模块的模型参数；关系数据库还和数据加载模块相连，数据加载并预处理之后将原始日志数据和中间结果数据存储至分布式文件***及关系数据库中并建立索引，便于后续数据检索模块对海量数据进行多维关联检索和查询。

优选地，本发明在综合分析模块内还设有数据检索模块，数据检索模块和分布式计算模块、数据存储模块相连，数据检索模块用于对诈骗群体的多维关联检索和查询，以辅助分布式计算模块进行深度分析。

如图1所示，本发明中，应用模块包括诈骗群体管理模块、诈骗事件管理模块、受害人管理模块、案件管理模块、黑产管理模块和号码关联分析模块，其中，号码关联分析模块用于生成关联关系图。

下面对综合分析模块的分析内容进行详细说明：

诈骗群体识别：根据确定的和疑似的诈骗主叫号码进行分析，确定的诈骗主叫号码是反诈***中有诈骗行为、打过诈骗电话且命中了拦截模板的主叫号码；疑似诈骗主叫号码是通过话单中的特定规律分析出来的疑似诈骗主叫号码，根据这两部分的号码从原始日志中进行大数据的分析挖掘，其中，电信网通话详细日志、反诈***基础数据、电路域日志、短信、彩信和互联网日志都可以作为维度来分析；

诈骗群体分析：识别诈骗群体后，可对群体进一步深入分析，分析内容包括团伙融合、团伙发展趋势、团伙组织结构、诈骗被叫分布、群体地理分布、骚扰规律分析、团伙成功率、成员活跃度、诈骗群体上下线分工、诈骗群体成员特征、诈骗群体轨迹、诈骗群体多维关联检索分析；

受害人分析：在一段时间内，一个号码与多个有害主叫进行通话(应答时间大于一定时间，比如1分钟)、收发短信(并且短信中包含特定关键词)等行为时，基本可以认定该号码为上当号码，基于上当人可对历史行为、疑似上当人特征、溯源、信息倒卖、提醒、主叫分析进一步进行分析；

诈骗场景分析：基于某种诈骗场景的组织结构和团伙内部本身的结构可能会不一样，诈骗场景中的组织结构以及角色可以根据不同的分析模型，进行灵活的扩展，比如机票赔偿诈骗的场景，团伙成员1可能会负责收集购票的用户信息，成员2和成员3仿冒航空公司的客服给购票用户拨打电话或者发短信，号称飞机晚点可以给赔偿，要求用户提供银行***等信息，得到这些隐私信息后成员4进行盗刷，根据团伙成员具有相同被叫的特点，并且通话时长大于特定时间，再结合短信及语音进行分析，确定这个诈骗团伙有多少成员参与，分别是什么角色；

诈骗预判分析：通过对号码行为特征、诈骗场景的分析及持续的行为检测对号码进行分析，完成号码从白名单升级为灰名单、灰名单升级为黑名单、将号码加入团伙等功能；

诈骗事件还原分析：针对已知诈骗号码及上当人号码，结合诈骗场景获取相关话单、录音、短信、彩信记录，再结合移动互联网带有基站位置的日志数据对诈骗事件实现时间、空间及内容的完整还原；

诈骗案件分析：通过对多个案件之间的聚合分析实现多个案件在事发时间、事发空间、成员号码、连通分支等方面的关联关系，并通过可视化技术展示案件之间的关联关系；

黑产溯源分析：通过定制化黑产通讯特征及深度号码行为分析完成黑产信息溯源功能，其中，定制化黑产通讯特征为由人工定制黑产通讯的关键特征及流程，包括主叫号码归属地、主叫号码特征(包含特定数字、顺序等)、通话时长、被叫号码属地、被叫的行为特征(回拨、拨打特定号码等)、短信、彩信、移动互联网日志以及各类时长、周期阈值等关键参数，通过模型的定制，本发明***根据模型参数进行挖掘分析完成黑产溯源；深度号码行为分析以受害人被实施诈骗的场景为出发点，基于受害人进行溯源分析，分析受害人的通话、短信、移动互联网等行为日志，同时分析出与受害人有联系的诈骗群体，从群体成员的通讯记录中分析是否存在有第三方服务商的角色存在。

本发明在使用时的性能指标为：外部***获取、解析的时延不超过1分钟；每天对多源数据进行诈骗群体分析，在1小时内发现诈骗群体；每天对诈骗群体的深度分析，在1小时内完成分析内容；针对分析模型实时对团伙进行计算，从获取外部数据到产生团伙时间小于30分钟。

如图1和图2所示，本发明通过获取反诈***、移动互联网***、短彩信***及基于行为特征及场景的诈骗分析***的原始日志数据及分析结果进行综合分析，为通讯信息诈骗综合防范提供技术和数据支撑。其中，业务用户作为本发明的使用者，可以查询本发明分析的所有结果，可对分析进行配置、阈值调整等操作；反诈***包含电信话单日志、VOIP话单日志、确定的诈骗主叫号码及各类名单数据，是本发明分析的主要日志数据；移动互联网***包含移动电话用户的上网行为日志和电路域的行为日志，移动互联网日志包含手机号、IMSI、IMEI、URL、APP类型、基站位置、归属地等信息，电路域日志包含手机号、动作类型(开关机、收发短信、接打电话、位置移动等)、对方号码、基站位置、归属地等信息，移动互联网***的相关日志是本发明多维度关联分析的重要日志；短彩信***提供移动电话及服务号码的短彩信日志，包含手机号、对方号码、运营商、归属地、基站位置、短息内容等，短彩信的日志是本发明多维度关联分析的重要日志；基于行为特征及场景的诈骗分析***提供疑似的诈骗主叫号码，为本发明的诈骗群体分析提供重要数据；反诈***，本发明的分析结果可用于各省级反诈***设置名单的依据，如添加至反诈***的灰名单，对通话内容进行录音，进一步确定疑似诈骗主叫的准确性以及及时的转为黑名单拦截；协同联动***，本发明将分析结果(如诈骗主叫、高危易感号码等结果数据)推送至协同联动***，在各省***、国际口***之间进行数据的共享，达到协同防范的目的；公安***，本发明为公安***提供诈骗主叫、上当用户数据的推送，为立案侦查提供线索；公众用户，本发明的分析成果对外公布，为公众用户提供各类诈骗场景、案例的分析及统计数据。

与现有技术相比，本发明的优点和有益效果在于：

一、本发明运用大数据分析的手段从海量的电信网通话详细日志、反诈***基础数据、电路域日志、短信、彩信和互联网日志等多维度的行为数据中挖掘分析，深度剖析诈骗份子的行为特点和诈骗场景，并通过技术手段发现新出现的诈骗主叫，分析受害人群，为防范业务用户提供最新的诈骗行为动态，及时调整防范策略，也为公安机构打击诈骗及立案侦查提供重要依据；

二、本发明实现了对通讯信息诈骗的综合防范，以满足省级***二阶段建设的需求为出发点，为各省二阶段***的设计和软件开发提供了借鉴和参考；

三、本发明覆盖目前已知的诈骗场景，并能对今后可能出现的团伙作案场景进行识别。

由技术常识可知，本发明可以通过其他的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种诈骗信息码谱分析***，其特征在于，包括：

数据源，用于提供原始日志数据；

数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；

数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；

综合分析模块，所述综合分析模块和所述数据存储模块相连，在所述综合分析模块内设有分布式计算模块和分析模型模块，所述分布式计算模块和所述分析模型模块相连，所述分析模型模块为所述分布式计算模块提供分析模型，所述分布式计算模块用于诈骗群体识别分析、诈骗事件还原分析、受害人分析和诈骗案件分析，得到诈骗团伙信息结果，并将所述诈骗团伙信息结果存储在所述数据存储模块内；

应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息结果进行展示。

2.根据权利要求1所述的诈骗信息码谱分析***，其特征在于：

在所述数据加载模块中还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。

3.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

在所述数据加载模块中还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。

4.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

所述预处理模块包括数据关联模块，所述数据关联模块用于对所述原始日志数据进行号段属地、IP属地、敏感号码的关联分析。

5.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

所述预处理模块还包括数据预统计模块，所述数据预统计模块用于对所述原始日志数据进行关键维度粗粒度的统计。

6.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

在所述综合分析模块内还设有关联分析模块，所述关联分析模块和所述数据存储模块相连。

7.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

在所述数据存储模块内设有分布式文件***，所述分布式文件***和所述数据加载模块相连、分布式计算模块相连。

8.根据权利要求7所述的诈骗信息码谱分析***，其特征在于：

在所述数据存储模块内还设有关系数据库，所述关系数据库和所述分布式计算模块、所述分析模型模块、所述数据加载模块相连。

9.根据权利要求8所述的诈骗信息码谱分析***，其特征在于：

在所述综合分析模块内还设有数据检索模块，所述数据检索模块和所述分布式计算模块、所述数据存储模块相连，所述数据检索模块用于对诈骗群体的多维关联检索和查询。

10.根据权利要求1或2所述的诈骗信息码谱分析***，其特征在于：

所述应用模块包括诈骗群体管理模块、诈骗事件管理模块、受害人管理模块、案件管理模块、黑产管理模块和号码关联分析模块。