CN116757812A - 检测异常数据的方法、装置、电子设备及存储介质 - Google Patents
检测异常数据的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116757812A CN116757812A CN202310762667.4A CN202310762667A CN116757812A CN 116757812 A CN116757812 A CN 116757812A CN 202310762667 A CN202310762667 A CN 202310762667A CN 116757812 A CN116757812 A CN 116757812A
- Authority
- CN
- China
- Prior art keywords
- data
- graph
- abnormal
- generating
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 26
- 230000008439 repair process Effects 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000002547 anomalous effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 17
- 238000010276 construction Methods 0.000 description 7
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- Evolutionary Computation (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及金融数据处理领域,揭露一种检测异常数据的方法,包括:利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板;将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。本发明应用在金融安全、保险等领域中,通过模型组合对业务模板进行处理,生成知识图谱,能够快速有效地识别出知识图谱中的异常群体,有效地防止金融欺诈事件的发生。
Description
技术领域
本发明涉及金融数据处理领域,尤其涉及一种检测异常数据的方法、装置、电子设备及存储介质。
背景技术
在金融科技领域中,常常需要构建知识图谱对金融业务平台的业务数据进行检测,以挖掘出金融欺诈信息。
例如,利用构建好的知识图谱对金融机构的业务数据进行检测,可以得到异常结果(例如异常网点、异常用户、异常服务商家等),金融机构的风控部门根据该异常的检测结果及时地发现和处理潜在的风险问题。
在现有技术中,大型知识网络(知识图谱)的构建往往依赖于各类图数据库(例如,各类图数据库为neo4j,genus graph),但是这些图数据库对数据导入和处理的过程中,需要工作人员掌握相当的专业知识才能实现,造成知识图谱的构建时间较长和存在一定概率的人工错误,容易导致知识图谱对异常数据的识别效率低的问题。
因此,如何快速有效地识别出异常数据是一个亟待解决的问题。
发明内容
鉴于以上内容,有必要提供一种检测异常数据的方法,其目的在于对大量数据进行处理时,能够快速有效地识别出异常数据。
本发明提供的检测异常数据的方法,包括:
利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;
将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;
对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;
根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
可选的,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
从预设数据库中获取预设数量的业务订单作为所述数据集;
对所述业务订单的候选属性进行筛选,得到每条所述待处理数据的属性集,所述属性集包括:报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本。
可选的,在所述对所述业务订单的候选属性进行筛选之前,所述方法还包括:
获取所述业务订单的无效数据和重复数据并删除。
可选的,所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,包括:
将所述属性集中的每个属性填充至预设格式的多层次结构中的对应位置,生成所述业务模板。
可选的,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
将预设C++模块的功能包嵌入到预设Java模块的代码进行编译,生成hello.dll文件,所述C++模块的功能包依赖于预设网络和图算法的第一数据库;
运行所述hello.dll文件生成C++与Java的模型组合。
可选的,所述将所述业务模板的各个层次数据生成一个具有节点和边的图数据,包括:
利用所述C++模块的功能包,将所述业务模板导入所述第一数据库进行定义,生成一个待构建图;
将所述业务模板的属性集的各个属性作为所述待构建图的节点,对相邻节点进行链接生成所述待构建图的边;
对所述待构建图的节点和边进行属性定义,得到所述图数据。
可选的,所述基于各个所述图数据生成知识图谱,包括:
对各个所述图数据的节点对实体的关系、边对实体的关系、实体对实体的属性关系进行提取;
基于提取后的节点对实体的关系、边对实体的关系及实体对实体的属性关系,生成所述知识图谱。
为了解决上述问题,本发明还提供一种异常数据检测装置,所述装置包括:
生成业务模板模块,用于利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;
生成知识图谱模块,用于将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;
划分群体模块,用于对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;
检测异常群体模块,用于根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的异常数据检测程序,所述异常数据检测程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述检测异常数据的方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有异常数据检测程序,所述异常数据检测程序可被一个或者多个处理器执行,以实现上述检测异常数据的方法。
相较现有技术,本发明利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱。将待处理数据生成多层次结构的业务模板,能够快速构建出知识图谱网络。
对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。快速有效地别出各个异常群体,能够有效地打击非法开展的保险欺诈,防止金融事件的发生。
本发明可以应用在金融安全、保险等领域中,对大量数量快速、准确地生成知识图谱和识别出异常群体,有效地防止金融欺诈事件的发生。
附图说明
图1为本发明一实施例提供的检测异常数据的方法的流程示意图;
图2为本发明一实施例提供的异常数据检测装置的模块示意图;
图3为本发明一实施例提供的实现检测异常数据的方法的电子设备的结构示意图;
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
在金融科技领域中,常常需要构建知识图谱对金融业务平台的业务数据进行检测,以挖掘出金融欺诈信息。
本发明提供一种检测异常数据的方法,可以支持金融数据、车辆保险等的应用场景。
在现有技术中,大型知识网络(知识图谱)的构建往往依赖于各类图数据库(例如,各类图数据库为neo4j,genus graph),需要专业人员按照模板提前将大量的业务数据转换为结构化的业务模板,将该业务模板分批次导入到图数据库进行处理,生成知识图谱;
但上述的结构化、处理等操作需要专业人员对图数据库有相当的专业知识,还需要花费***大量的运算能力来梳理业务模板之间的连接关系,造成知识图谱的构建时间长和成本高昂,容易导致对异常数据的识别效率低的问题。
本发明通过将C++模块的功能包嵌入到Java模块组成的模型组合,利用模型组合对多层次结构的业务模板进行处理,能够快速构建出知识图谱。可以解决现有技术中上述使用图数据库存在的问题。
同时模型组合可以识别出知识图谱的异常群体,还可以集成到各类平台上使用。
本发明的检测异常数据的方法可以应用于金融数据、车辆保险的数据分析,也可以应用于银行机构,证券机构等场景,提高生成知识图谱的效率,有效地防止金融欺诈事件的发生。
参照图1所示,为本发明一实施例提供的检测异常数据的方法的流程示意图。该方法由电子设备执行。
本实施例中,检测异常数据的方法包括:
S1、利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息。
本实施例中,预设模型组合是指将预设的C++程序嵌入Java应用中的模型。
数据集是指从金融机构的数据库,选取预设数量(10万条)的业务订单。业务订单可以是保险机构的车险订单,也可以是银行机构的贷款订单,对于业务订单的类型并不作限定。
各个互联网平台为了促进平台业务健康发展和打击黑产(利用非法手段获利的行业),往往需要构建团伙作案的大型知识图谱***,从而更有效的发掘出更深层次的团体欺诈信息。
本发明将以下的例子H进行全文举例说明,(并不作任何场景限定):
例如,从金融机构的数据库获取10万条车险订单(业务订单)作为数据集,基于预设属性选取策略(需要工作人员事先定义出属性的策略),选取数据集的每条待处理数据的报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本等属性作为属性集,在其它例子还可以选取驾驶人、投保人、被保人一起作为属性集。
根据金融机构的服务器预先安装好的模型组合,利用模型组合的Java模块中的预先编写好的代码,将每条待处理数据的属性集转换一个多层次结构的业务模板。
业务模板的结构如下表1:
车牌号-车架号
|
修理厂-报案号-身份证号码-手机号码
|
人伤信息
通过业务模板更好的展示各个属性之间的关联关系,另一方面方便数据导入后续的BGL数据库中进行处理。
也就是说,例如有10万条车险订单,就生成10万个业务模板。
在一个实施例中,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
从预设数据库中获取预设数量的业务订单作为所述数据集;
对所述业务订单的候选属性进行筛选,得到每条所述待处理数据的属性集,所述属性集包括:报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本。
业务订单的候选属性包括报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本、驾驶人、投保人、被保人等。
修理厂是指修理厂的营业执照的纳税识别号,也可以是修理厂的名称或根据修理厂的名称标记对应的ID号实现。
伤员信息的文本是指保险事故的人员伤亡情况的文本描述。
在一个实施例中,在所述对所述业务订单的候选属性进行筛选之前,所述方法还包括:
获取所述业务订单的无效数据和重复数据并删除。
为了减少服务器的资源消耗,减少参与运算的数据,提升运算效率,对业务订单的候选属性进行筛选之前,删除业务订单的无效数据和重复数据。例如,无效数据的值为空,为null的数据,以及明显异常的重复数据,比如同一个身份证号出现超过100次等。
在一个实施例中,所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,包括:
将所述属性集中的每个属性填充至预设格式的多层次结构中的对应位置,生成所述业务模板。
预设格式的多层次结构如上述的表1,多层次结构是由工作人员根据不同业务场景进行事先定义的。通过预先编写的代码将每个属性自动填充多层次结构中对应的位置(例如,将报案号填充至多层次结构中预先设置好的报案号位置),生成业务模板。
在一个实施例中,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
将预设C++模块的功能包嵌入到预设Java模块的代码进行编译,生成hello.dll文件,所述C++模块的功能包依赖于预设网络和图算法的第一数据库;
运行所述hello.dll文件生成C++与Java的模型组合。
C++模块的功能包是指一种利用C++语言编写好的程序,该程序能够利用代码将业务模板的数据导入到具有网络和图算法的第一数据库中(BGL数据库),利用BGL数据库将业务模板的每个属性作为待构建图数据的一个节点,将每个属性的链接关系作为待构建图数据的一条边。
Java模块是一种利用Java语言编写好的程序,该程序的代码具有将待处理数据的属性集转换为结构化数据、获取知识图谱的各个群体与其包含的节点关系的功能。
将C++模块的功能包嵌入到Java模块中,是本发明与现有技术的创新点,通过将C++模块的功能包嵌入到Java模块中,更有效地利用计算资源,节省成本,快速构建出知识图谱网络。
有效的避开现有技术中直接使用图数据库的繁琐之处:
知识图谱的构建往往依赖于各类图数据库(例如,各类图数据库为neo4j,genusgraph),需要专业人员按照模板提前将大量的业务数据转换为结构化的业务模板,将该业务模板分批次导入到图数据库进行处理,再生成知识图谱。但上述的结构化、处理等操作需要专业人员对图数据库有相当的专业知识,还需要花费***大量的运算能力来梳理业务模板之间的连接关系,造成知识图谱的构建时间长和成本高昂的问题。
本发明通过将C++模块的功能包嵌入到Java模块中,能获得能媲美图数据库的规模和性能的大型知识图谱网络。
预设的网络和图算法的数据库可以是指BGL数据库(全称BoostGraphLibrary),BGL数据库是C++Boost库的成员之一。
BGL数据库是一个仅有头文件的库,BGL数据库的特点是灵活性和高运行效率。BGL是以业务模板的形式提供的,可以预先通过C++模块的功能包在业务模板的基础上创建自定义的类型,比如定义节点类、定义顶点和边的属性等。
因此,在对C++模块的功能包进行编写时,将BGL数据库的相关的头文件预先添加至该功能包的源代码中,可以实现使用/调用BGL数据库对业务模板进行处理。
在本实施例中,功能包的源代码可以根据每条待处理数据的属性集进行对应编写,具体如何编写源代码为现有技术,在此不再赘述。
利用Java中的JNI技术将C++模块的功能包嵌入到Java模块的代码进行编译,生成hello.dll文件;
将hello.dll文件复制到服务器的***的工作目录,运行hello.dll文件生成C++与Java的模型组合。
在S1步骤中,通过Java模块将数据集转换为业务模板,可以减少服务器的资源消耗,减少人工参与运算,提升对数据批量处理的效率。可以解决现有技术中,花费大量时间将业务数据转换为结构化的业务模板的问题。
S2、将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱。
本实施例中,通过C++模块将每个业务模板导入其依赖的BGL数据库进行数据处理,输出每个业务模板对应带属性的图数据,提取各个图数据的实体关系包括节点对实体的关系、边对实体的关系、实体对实体的属性关系,生成知识图谱。
延续上述的例子H,例如,选取属性集的报案号作为各个图数据的主节点,即主节点代表各个图数据的实体表示。例如,在知识图谱中各个图数据以主节点代表实体,主节点在服务器的保险***的界面以一级图标进行显示,除了主节点之外的节点作为次节点(手机号码、身份证号码、修理厂、车牌号、车架号、人伤信息)以二级图标在该界面进行显示,一级图标的面积大于二级图标的面积,从而清楚将各个图数据(每张保险订单)进行区分开,便于工作人员的浏览。
本发明生成的知识图谱具有成本低,效率快。而现有技术利用图数据库构建知识图谱,往往图数据库具有收费较高,需要专门的维护人员定时维护,且构建过程到应用过程往往耗时较长,不能满足某些特定场景下。
在一个实施例中,所述将所述业务模板的各个层次数据生成一个具有节点和边的图数据,包括:
利用所述C++模块的功能包,将所述业务模板导入所述第一数据库进行定义,生成一个待构建图;
将所述业务模板的属性集的各个属性作为所述待构建图的节点,对相邻节点进行链接生成所述待构建图的边;
对所述待构建图的节点和边进行属性定义,得到所述图数据。
利用C++模块的功能包调用BGL数据库对业务模板进行定义,根据BGL数据库的邻接表(adjacency_list)对业务模板定义出一张不带属性的有向图(待构建图);
将业务模板的属性集各个属性作为待构建图的节点,分别对每个节点标记一个ID,将ID导入至待构建图中,根据相邻节点的链接关系生成待构建图的边,对待构建图的节点和边进行属性定义,得到一个具有节点属性和边属性的图数据。
属性定义是指对待处理数据的属性之间关系进行抽象,用于将具有相同属性的节点划分同类。例如,在保险订单A和B中,将属性集包括报案号、手机号码、身份证号码、修理厂、车牌号、车架号、人伤信息通过标记ID方式导入待构建图对应的节点上,在待构建图的每个节点和每条边上将对应的属性进行关联映射以完成属性定义。
也就是说,在金融机构的车险报案***中,用鼠标点击每张图数据的每个节点或每条边都能够显示出对应的属性信息。
在一个实施例中,所述基于各个所述图数据生成知识图谱,包括:
对各个所述图数据的节点对实体的关系、边对实体的关系、实体对实体的属性关系进行提取;
基于提取后的节点对实体的关系、边对实体的关系及实体对实体的属性关系,生成所述知识图谱。
在本实施例中,将每条待处理数据的报案号作为各个图数据的实体。
提取图数据中除了报案号节点之外的节点对实体的关系,每条边对实体的关系,以及各个图数据之间的实体对实体的属性关系,生成知识图谱。
在其它实施例中,可以输入任意其他类型的结构化数据生成业务模板,利用C++模块将这些业务模板,通过指定主节点和次节点之间的关系,可以快速构建出相应的知识图谱网络。
在S2步骤中,通过C++模块将每个业务模板导入其依赖的BGL数据库进行数据处理,能够快速有效地生成知识图谱。
可以解决现有技术中,知识图谱的构建往往依赖于各类图数据库(例如,各类图数据库为neo4j,genus graph),需要专业人员对图数据库有相当的专业知识,还需要花费***大量的运算能力来梳理业务模板之间的连接关系的问题。
S3、对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体。
本实施例中,利用C++模块通过BGL数据库提供的接口获取知识图谱的所有图数据,自动划分出图数据属于对应的群体。
延续上述的例子H,例如,保险订单A中手机号码是1234,保险订单B中手机号码也是1234,则保险订单A和B关联到一起了,共用1234这个节点,组成了一个相同属性的节点关系的群体。
在一个实施例中,所述对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体,包括:
根据预置的划分策略,确定出划分相同属性的节点数量;
根据所述节点数量,利用所述C++模块对各个所述图数据的节点进行划分,得到一个以上同类型的群体。
预置的划分策略是指根据不同业务场景设定哪个属性和多少个属性数量进行划分。例如,在划分策略A设定修理厂为相同属性进行划分,那么将具有相同修理厂的图数据,划分为同类型的群体;
在划分策略A设定修理厂、手机号码为相同属性进行划分,那么将具有相同修理厂、手机号码的图数据,划分为同类型的群体;
通过设定的相同属性越多,得到的同类型的群体对应的各个图数据相似度越高,则说明可能存在保险诈骗的风险越大。
在S3步骤中,通过划分出同类型的群体,可以筛选出群体内可能存在保险诈骗的保险订单。提高金融机构对保险订单的有效监控。
S4、根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
本实施例中,异常节点策略是指设定出现属性的次数,来判断群体是否为异常群体的规则。例如,在同一群体,被保人身份证号码都在不同的保险订单中,超过预设阈值(例如阈值为5),或者,某手机号码被多个用户进行关联出现在同一群体内,则将这些保险订单组成一个异常群体,则说明该被保人存在欺诈风险并输出风险信息,将识别出风险信息发送至金融机构的风控部门进行查实。
检测异常群体的策略结合节点属性,进行二次分析及提取,输出识别结果具备可解释性。
在其它实施例中,将识别出风险信息显示在保险***的可视化界面中,通知风控部门进行问题排查,限制异常群体的用户权限及核销服务。
在S4步骤中,通过知识图谱识快速有效地别出各个异常群体,能够有效地打击非法开展的保险欺诈,防止金融事件的发生。
在S1-S4步骤中,利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱。将待处理数据生成多层次结构的业务模板,能够快速构建出知识图谱网络。
对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。快速有效地别出各个异常群体,能够有效地打击非法开展的保险欺诈,防止金融事件的发生。
本发明可以应用在金融安全、保险等领域中,对大量数量快速、准确地生成知识图谱和识别出异常群体,有效地防止金融欺诈事件的发生。
如图2所示,为本发明一实施例提供的异常数据检测装置的模块示意图。
本发明所述异常数据检测装置100可以安装于电子设备中。根据实现的功能,所述异常数据检测装置100可以包括生成业务模板模块110、生成知识图谱模块120、划分群体模块130及检测异常群体模块140。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
生成业务模板模块110,用于利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息。
生成知识图谱模块120,用于将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱。
划分群体模块130,用于对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体。
检测异常群体模块140,用于根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
在一个实施例中,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
从预设数据库中获取预设数量的业务订单作为所述数据集;
对所述业务订单的候选属性进行筛选,得到每条所述待处理数据的属性集,所述属性集包括:报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本。
在一个实施例中,在所述对所述业务订单的候选属性进行筛选之前,所述方法还包括:
获取所述业务订单的无效数据和重复数据并删除。
在一个实施例中,所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,包括:
将所述属性集中的每个属性填充至预设格式的多层次结构中的对应位置,生成所述业务模板。
在一个实施例中,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
将预设C++模块的功能包嵌入到预设Java模块的代码进行编译,生成hello.dll文件,所述C++模块的功能包依赖于预设网络和图算法的第一数据库;
运行所述hello.dll文件生成C++与Java的模型组合。
在一个实施例中,所述将所述业务模板的各个层次数据生成一个具有节点和边的图数据,包括:
利用所述C++模块的功能包,将所述业务模板导入所述第一数据库进行定义,生成一个待构建图;
将所述业务模板的属性集的各个属性作为所述待构建图的节点,对相邻节点进行链接生成所述待构建图的边;
对所述待构建图的节点和边进行属性定义,得到所述图数据。
在一个实施例中,所述基于各个所述图数据生成知识图谱,包括:
对各个所述图数据的节点对实体的关系、边对实体的关系、实体对实体的属性关系进行提取;
基于提取后的节点对实体的关系、边对实体的关系及实体对实体的属性关系,生成所述知识图谱。
如图3所示,为本发明一实施例提供的实现检测异常数据的方法的电子设备的结构示意图。
在本实施例中,电子设备1包括,但不仅限于,可通过***总线相互通信连接的存储器11、处理器12、网络接口13,该存储器11中存储有异常数据检测程序10,所述异常数据检测程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及异常数据检测程序10的电子设备1,本领域技术人员可以理解的是,图3示出的结构并不构成对电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
其中,存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存;可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中,可读存储介质可以是电子设备1的内部存储单元;在另一些实施例中,该非易失性存储介质也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。本实施例中,存储器11的可读存储介质通常用于存储安装于电子设备1的操作***和各类应用软件,例如存储本发明一实施例中的异常数据检测程序10的代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行异常数据检测程序10等。
网络接口13可包括无线网络接口或有线网络接口,该网络接口13用于在所述电子设备1与终端(图中未画出)之间建立通信连接。
可选的,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选的,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的异常数据检测程序10是多个指令的组合,在所述处理器12中运行时,可以实现:
利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;
将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;
对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;
根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
具体地,所述处理器12对上述异常数据检测程序10的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的,也可以是非易失性的。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
所述计算机可读存储介质上存储有异常数据检测程序10,所述异常数据检测程序10可被一个或者多个处理器执行,本发明计算机可读存储介质具体实施方式与上述检测异常数据的方法各实施例基本相同,在此不作赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种检测异常数据的方法,其特征在于,所述方法包括:
利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;
将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;
对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;
根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
2.如权利要求1所述的检测异常数据的方法,其特征在于,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
从预设数据库中获取预设数量的业务订单作为所述数据集;
对所述业务订单的候选属性进行筛选,得到每条所述待处理数据的属性集,所述属性集包括:报案号、手机号码、身份证号码、修理厂、车牌号、车架号、伤员信息的文本。
3.如权利要求1或2所述的检测异常数据的方法,其特征在于,在所述对所述业务订单的候选属性进行筛选之前,所述方法还包括:
获取所述业务订单的无效数据和重复数据并删除。
4.如权利要求1所述的检测异常数据的方法,其特征在于,所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,包括:
将所述属性集中的每个属性填充至预设格式的多层次结构中的对应位置,生成所述业务模板。
5.如权利要求1所述的检测异常数据的方法,其特征在于,在所述利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板之前,所述方法还包括:
将预设C++模块的功能包嵌入到预设Java模块的代码进行编译,生成hello.dll文件,所述C++模块的功能包依赖于预设网络和图算法的第一数据库;
运行所述hello.dll文件生成C++与Java的模型组合。
6.如权利要求1或5所述的检测异常数据的方法,其特征在于,所述将所述业务模板的各个层次数据生成一个具有节点和边的图数据,包括:
利用所述C++模块的功能包,将所述业务模板导入所述第一数据库进行定义,生成一个待构建图;
将所述业务模板的属性集的各个属性作为所述待构建图的节点,对相邻节点进行链接生成所述待构建图的边;
对所述待构建图的节点和边进行属性定义,得到所述图数据。
7.如权利要求1所述的检测异常数据的方法,其特征在于,所述基于各个所述图数据生成知识图谱,包括:
对各个所述图数据的节点对实体的关系、边对实体的关系、实体对实体的属性关系进行提取;
基于提取后的节点对实体的关系、边对实体的关系及实体对实体的属性关系,生成所述知识图谱。
8.一种异常数据检测装置,其特征在于,所述装置包括:
生成业务模板模块,用于利用预设模型组合将数据集中每条待处理数据的属性集生成一个多层次结构的业务模板,所述属性集为每条所述待处理数据在业务过程中产生的标识信息;
生成知识图谱模块,用于将所述业务模板的各个层次数据生成一个具有节点和边的图数据,基于各个所述图数据生成知识图谱;
划分群体模块,用于对所述知识图谱中具有相同属性的节点关系的图数据进行划分,得到一个以上同类型的群体;
检测异常群体模块,用于根据预设的异常节点策略,计算所述群体的异常节点的数量,当所述异常节点的数量大于预设阈值时,将所述群体作为异常群体。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的异常数据检测程序,所述异常数据检测程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的检测异常数据的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有异常数据检测程序,所述异常数据检测程序可被一个或者多个处理器执行,以实现如权利要求1至7任一项所述的检测异常数据的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310762667.4A CN116757812A (zh) | 2023-06-26 | 2023-06-26 | 检测异常数据的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310762667.4A CN116757812A (zh) | 2023-06-26 | 2023-06-26 | 检测异常数据的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116757812A true CN116757812A (zh) | 2023-09-15 |
Family
ID=87956825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310762667.4A Pending CN116757812A (zh) | 2023-06-26 | 2023-06-26 | 检测异常数据的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116757812A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710113A (zh) * | 2023-11-17 | 2024-03-15 | 中国人寿保险股份有限公司山东省分公司 | 基于法人业务知识图谱的异常投保行为识别方法及*** |
CN117851951A (zh) * | 2024-01-16 | 2024-04-09 | 广州美保科技有限公司 | 一种保险数据安全风控平台及其控制方法 |
-
2023
- 2023-06-26 CN CN202310762667.4A patent/CN116757812A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117710113A (zh) * | 2023-11-17 | 2024-03-15 | 中国人寿保险股份有限公司山东省分公司 | 基于法人业务知识图谱的异常投保行为识别方法及*** |
CN117851951A (zh) * | 2024-01-16 | 2024-04-09 | 广州美保科技有限公司 | 一种保险数据安全风控平台及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116757812A (zh) | 检测异常数据的方法、装置、电子设备及存储介质 | |
CN112528616B (zh) | 业务表单生成方法、装置、电子设备及计算机存储介质 | |
CN113792089B (zh) | 基于人工智能的非法行为检测方法、装置、设备及介质 | |
CN112733531B (zh) | 虚拟资源分配方法、装置、电子设备及计算机存储介质 | |
CN111159183B (zh) | 报表生成方法、电子装置及计算机可读存储介质 | |
CN113434674A (zh) | 数据解析方法、装置、电子设备及可读存储介质 | |
US20130332374A1 (en) | Fraud prevention for real estate transactions | |
CN113489704A (zh) | 基于流量的敏感数据识别方法、装置、电子设备及介质 | |
CN113032403A (zh) | 数据洞察方法、装置、电子设备及存储介质 | |
CN114547696A (zh) | 文件脱敏方法、装置、电子设备及存储介质 | |
CN113434542A (zh) | 数据关系识别方法、装置、电子设备及存储介质 | |
CN113221888B (zh) | 车牌号管理***测试方法、装置、电子设备及存储介质 | |
CN116485512A (zh) | 基于强化学习的银行数据分析方法及*** | |
CN115081447A (zh) | 软件开发的需求文档构建方法、装置、设备及存储介质 | |
CN113705201B (zh) | 基于文本的事件概率预测评估算法、电子设备及存储介质 | |
CN114996386A (zh) | 业务角色识别方法、装置、设备及存储介质 | |
CN113822215A (zh) | 设备操作指引文件生成方法、装置、电子设备及存储介质 | |
CN113850260A (zh) | 关键信息抽取方法、装置、电子设备及可读存储介质 | |
CN113626605A (zh) | 信息分类方法、装置、电子设备及可读存储介质 | |
CN113706207A (zh) | 基于语义解析的订单成交率分析方法、装置、设备及介质 | |
CN113448933B (zh) | 业务数据处理方法、装置、电子设备及介质 | |
CN113312409B (zh) | 任务监控方法、装置、电子设备及计算机可读存储介质 | |
CN111625538B (zh) | 基于虚拟数据表技术的数据处理方法、装置及电子设备 | |
CN114202768B (zh) | 保单理赔风险评估方法、装置、电子设备及存储介质 | |
CN116861399A (zh) | 团伙篡改指纹检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |