CN116703184A - 数据处理方法、数据处理装置、电子设备及可读存储介质 - Google Patents
数据处理方法、数据处理装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN116703184A CN116703184A CN202310990419.5A CN202310990419A CN116703184A CN 116703184 A CN116703184 A CN 116703184A CN 202310990419 A CN202310990419 A CN 202310990419A CN 116703184 A CN116703184 A CN 116703184A
- Authority
- CN
- China
- Prior art keywords
- data
- user
- financial
- early warning
- operation log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 title claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Technology Law (AREA)
- Computer Hardware Design (AREA)
- Operations Research (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请公开一种数据处理方法、数据处理装置、电子设备及可读存储介质。获得业务数据库的数据操作日志；对数据操作日志进行解析；在数据操作日志包含用户交易数据的情况下，基于用户交易数据对相应用户的用户金融数据进行更新，对金融机构的累计指标数据进行更新；在数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由计算引擎从预警规则库获得与金融业务请求对应的预警规则，获得与金融业务请求相关的用户金融数据和/或累计指标数据，对金融业务请求相关的用户金融数据和/或累计指标数据与预警规则进行匹配，生成预警结果。本申请公开的方案，在兼顾较高的实时性，且不影响业务数据库运行的情况下，实现针对金融机构的风险预警。
Description
技术领域
本申请属于数据处理技术领域，尤其涉及一种数据处理方法、数据处理装置、电子设备及可读存储介质。
背景技术
对于金融机构来说，风险管控是非常重要的。例如，针对消费金融，为了保障金融机构的资产安全，降低信贷风险，需要在授信、用信、放款、额度调整等环节，对金融机构和客户进行监测，以便在发生异常时及时预警。
目前，针对金融机构的风险管控主要有两种方案。第一种方案：通过离线数据仓库生成经营和风险报表，通过观察报表中的数据发现异常，从而采取应对措施。第二种方案：采用定时调度的方式，直接查询业务数据库，对业务数据进行统计汇总，通过汇总结果发现异常。
但是，目前的风险管控方案均存在不足，第一种方案的实时性较差，通常会有一天的延迟，第二种方案虽然具有较高的实时性，但直接查询业务数据库，会对业务产生影响，在数据量比较大的情况下，甚至会导致业务数据库的崩溃。
发明内容
有鉴于此，本申请的目的在于提供一种数据处理方法、数据处理装置、电子设备及可读存储介质，在兼顾较高的实时性，且不影响业务数据库运行的情况下，实现针对金融机构的风险预警。
为实现上述目的，本申请提供如下技术方案：
第一方面，本申请提供一种数据处理方法，应用于电子设备，所述数据处理方法包括：
获得业务数据库的数据操作日志；
对所述数据操作日志进行解析；
在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
在所述解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
可选的，所述基于所述用户交易数据对相应用户的用户金融数据进行更新，包括：
生成以所述用户的标识为主键，以所述用户交易数据为值的键值对，保存所述键值对。
可选的，所述基于所述用户交易数据对金融机构的累计指标数据进行更新，包括：
确定所述金融机构中与所述用户交易数据相关的目标累计指标数据；
基于所述用户交易数据对所述目标累计指标数据进行累计计算。
可选的，所述获得业务数据库的数据操作日志，包括：
采用模拟所述业务数据库的从库的方式，使得所述业务数据库向数据采集模块发送数据操作日志。
可选的，在所述获得业务数据库的数据操作日志后，还包括：将获得的数据操作日志写入消息队列；相应的，对所述消息队列中的数据操作日志逐条进行解析。
第二方面，本申请提供一种数据处理装置，包括：
数据采集模块，用于获得业务数据库的数据操作日志；
日志解析模块，用于对所述数据操作日志进行解析；
数据更新模块，用于在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
预警分析模块，用于在所述解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
可选的，所述数据更新模块包括：
用户数据更新单元，用于生成以所述用户的标识为主键，以所述用户交易数据为值的键值对，保存所述键值对；
累计指标数据更新单元，用于确定所述金融机构中与所述用户交易数据相关的目标累计指标数据；基于所述用户交易数据对所述目标累计指标数据进行累计计算。
可选的，所述数据采集模块具体用于：采用模拟所述业务数据库的从库的方式，使得所述业务数据库向数据采集模块发送数据操作日志。
第三方面，本申请提供一种电子设备，包括处理器和存储器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任意一种数据处理方法的各个步骤。
第四方面，本申请提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任意一种数据处理方法的各个步骤。
由此可见，本申请的有益效果为：
本申请公开的数据处理方法，获得业务数据库的数据操作日志，基于数据操作日志进行用户金融数据和金融机构的累计指标数据的更新，或者针对金融业务请求进行预警分析，生成预警结果，既保证了较高的实时性，又不影响业务数据库运行。另外，计算引擎从预警规则库获得预警规则，基于预警规则进行预警分析，实现了计算引擎和预警规则的解耦，当需求发生变化时，技术人员修改预警规则库中的预警规则，或者删除原来的预警规则，再将新的预警规则存储至预警规则库即可，而不需要对计算引擎进行调整，降低了计算引擎的维护难度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请公开的一种数据处理方法的流程图；
图2为本申请公开的数据处理方法的实施例的原理图；
图3为本申请公开的一种数据处理装置的结构示意图；
图4为本申请公开的一种电子设备的硬件结构图。
具体实施方式
本申请公开一种数据处理方法、数据处理装置、电子设备及可读存储介质，在兼顾较高的实时性，且不影响业务数据库运行的情况下，实现针对金融机构的风险预警。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图1，图1为本申请公开的一种数据处理方法的流程图。该数据处理方法由电子设备执行，该电子设备可以为服务器。该数据处理方法包括：
S101：获得业务数据库的数据操作日志。
在一种可能的实现方式中，采用模拟业务数据库的从库的方式，使得业务数据库向电子设备的数据采集模块发送数据操作日志。
业务数据库每生成一条数据操作日志，立即向电子设备的数据采集模块发送该数据操作日志，也就是说，业务数据库实时地将生成的数据操作日志向数据采集模块发送。
实施中，利用业务数据库预留的主从同步接口，通过实现对应的接口，并向业务数据库进行注册，以模拟业务数据库的从库，使得业务数据库实时发送数据操作日志到电子设备的数据采集模块。
S102：对数据操作日志进行解析。
对数据操作日志的解析包括：识别数据操作日志中的关键字。
S103：在解析结果指示数据操作日志包含用户交易数据的情况下，基于用户交易数据对相应用户的用户金融数据进行更新，基于用户交易数据对金融机构的累计指标数据进行更新。
如果数据操作日志包含用户交易数据，那么基于用户交易数据对相应用户的用户金融数据进行更新，可以理解的是，当用户金融数据发生变化时，金融机构的某个或某些累计指标数据也会发生变化，因此基于用户交易数据对金融机构的累计指标数据进行更新。
作为一种可能的实现方式，基于用户交易数据对相应用户的用户金融数据进行更新，采用如下方案：生成以用户的标识为主键，以用户交易数据为值的键值对，保存该键值对。
实施中，如果用户交易数据包含用户的标识，那么从该用户交易数据中提取用户的标识作为主键，将该用户交易数据作为值，生成键值对。例如，当用户执行借款操作时，业务数据库生成数据操作日志，该数据操作日志中的用户交易数据包括用户的标识、借款事件的标识和借款金额。电子设备基于该条数据操作日志对用户的用户金融数据进行更新，具体为：生成以该用户的标识为主键，以该用户交易数据为值的键值对，保存该键值对。
实施中，如果用户交易数据不包含用户的标识，那么通过数据之间的关联关系，确定出用户的标识，将该用户的标识作为主键，将该用户交易数据作为值，生成键值对。例如，当用户执行还款操作时，业务数据库生成数据操作日志，该数据操作日志中的用户交易数据包括借据号和借据期号的组合，还包括还款金额。电子设备基于该条数据操作日志对用户的用户金融数据进行更新，具体为：基于该借据号确定出对应的用户，生成以该用户的标识为主键，以该用户交易数据为值的键值对，保存该键值对。
作为一种可能的实现方式，基于用户交易数据对金融机构的累计指标数据进行更新，采用如下方案：
确定金融机构中与用户交易数据相关的目标累计指标数据；
基于用户交易数据对目标累计指标数据进行累计计算。
需要说明的是，用户执行某项交易，可能会对金融机构的一种或者多种累计目标数据造成影响。例如，当针对某贷款用户放款后，金融机构的当月放款次数和当月放款金额都会发生变化。因此，在解析结果指示数据操作日志包含用户交易数据的情况下，首先确定金融机构中与用户交易数据相关的累计指标数据，为了便于描述，将相关的累计指标数据称为目标累计指标数据，之后基于用户交易数据对目标累计指标数据进行累计计算，以便更新目标累计指标数据。
实施中，针对每种交易类型，预先确定出与该交易类型相关的累计指标，构建该交易类型与累计指标的对应关系。在解析结果指示数据操作日志包含用户交易数据的情况下，确定出交易类型，查找预先构建的对应关系，以便确定出金融机构中与用户交易数据相关的目标累计指标数据。
需要说明的是，上述的累计计算包括累加计算或者累减计算。针对每种累计指标数据，预先配置该累计指标数据对应的计算方式（累加计算或者累减计算）。在确定金融机构中与用户交易数据相关的目标累计指标数据后，基于用户交易数据对目标累计指标数据进行相应的累加计算或者累减计算。例如，当针对某贷款用户放款后，在金融机构当前的当月放款次数的基础上加1，作为新的当月放款次数，在金融机构当前的当月放款金额的基础上加上针对该贷款用户的放款金额，作为新的当月放款金额，在金融机构当前的当月放贷余额的基础上减去针对该贷款用户的放款金额，作为新的当月放贷余额。
作为一种可能的实现方式，将用户的用户金融数据存储于HBASE数据库，将金融机构的累计指标数据存储于Doris数据库。
HBASE数据库，是一款NoSql数据库，支持通过主键索引快速查询和读取数据，当并发比较高时，HBASE数据库可以通过横向扩展的方式，把访问压力分摊到多个节点上，以保障数据读取性能的稳定，因此采用HBASE数据库存储用户金融数据。
本申请中，金融机构的累计指标数据是时间维度的累计数据，而Doris数据库是一款基于MPP架构的分析型数据库，可以对聚合的数据自动进行一步聚合的预计算，以空间换时间的方式，能够简化累计数据的计算复杂度。
S104：在解析结果指示数据操作日志包含预设的金融业务请求的情况下，触发计算引擎。
S105：由计算引擎从预警规则库获得与该金融业务请求对应的预警规则，获得与该金融业务请求相关的用户金融数据和/或累计指标数据，对该金融业务请求相关的用户金融数据和/或累计指标数据与预警规则进行匹配，生成预警结果。
其中，预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
实施中，技术人员基于需求，针对多种金融业务请求分别创建对应的预警规则，并将多种金融业务请求对应的预警规则存储至预警规则库。当然，当需求发生变化时，技术人员可以对预警规则库中的预警规则进行修改，或者，将预警规则库中原有的预警规则删除，再将新的预警规则存储至预警规则库。
可选的，可触发计算引擎的金融业务请求包括：授信请求、借款请求、放款完成指示、还款请求、还款完成指示、提额请求和逾期提示。技术人员针对前述的金融业务请求分别创建对应的预警规则，并将创建的预警规则存储至预警规则库。当然，前述仅是对可触发计算引擎的金融业务请求的一种举例，可以根据业务需求进行调整，本申请并不限定于此。
在数据操作日志包含预设的金融业务请求的情况下，由计算引擎从预警规则库获得与金融业务请求对应的预警规则，另外，计算引擎还要获得与金融业务请求相关的数据。需要说明的是，当金融业务请求不同时，需要获得的相关的数据可能也不同。例如，与某些金融业务请求相关的数据包括用户金融数据，与某些金融业务请求相关的数据包括金融机构的累计指标数据，与某些金融业务请求相关的数据包括用户金融数据和金融机构的累计指标数据。计算引擎金融业务请求相关的用户金融数据和/或累计指标数据与预警规则进行匹配，生成预警结果。
需要说明的是，预警规则通常包含针对多种数据的阈值比较，在针对多种数据分别产生比较结果后，再对多个比较结果进行一次或者多次逻辑运算，产生预警结果。本申请中的预警规则，可能仅包含针对用户金融数据的判决规则（例如包含条件表达式和逻辑表达式），可能仅包含针对金融机构的累计指标数据的判决规则（例如包含条件表达式和逻辑表达式），也可能同时包含针对用户金融数据的判决规则和针对金融机构的累计指标数据的判决规则，预警规则的具体内容与业务需求相关。
实施中，计算引擎可以采用Apache Flink引擎。Apache Flink是一个面向数据流处理和批量数据处理的、分布式的开源计算框架，具有时效性高的特点。
本申请公开的数据处理方法，获得业务数据库的数据操作日志，基于数据操作日志进行用户金融数据和金融机构的累计指标数据的更新，或者针对金融业务请求进行预警分析，生成预警结果，既保证了较高的实时性，又不影响业务数据库运行。另外，计算引擎从预警规则库获得预警规则，基于预警规则进行预警分析，实现了计算引擎和预警规则的解耦，当需求发生变化时，技术人员修改预警规则库中的预警规则，或者删除原来的预警规则，再将新的预警规则存储至预警规则库即可，而不需要对计算引擎进行调整，降低了计算引擎的维护难度。
本申请的另一个实施例中，在获得业务数据库的数据操作日志后，还包括：将获得的数据操作日志写入消息队列。相应的，对消息队列中的数据操作日志逐条进行解析。
在上述实施例中，将从业务数据库获得的数据操作日志写入消息队列，遵循先入先出的规则，对消息队列中的数据操作日志逐条进行解析，从而实现按照用户交易或者金融业务请求发生的先后顺序进行相应处理，而且能够避免遗漏或者重复处理数据操作日志。
下面结合图2，对本申请公开的数据处理方法进行更详细的说明。
技术人员基于需求，针对多种金融业务请求分别创建对应的预警规则，将多种金融业务请求对应的预警规则存储至预警规则库。预警规则库可以采用Redis服务器或者Redis集群。
数据采集模块获得业务数据库的数据操作日志，将数据操作日志写入消息队列。
按照先入先出的原则，对消息队列中的数据操作日志逐条进行解析。
如果数据操作日志包含用户交易数据，则基于用户交易数据对相应用户的用户金融数据进行更新，基于用户交易数据对金融机构的累计指标数据进行更新。其中，将用户金融数据存储于第一数据库，第一数据库可以采用HBASE数据库，将金融机构的累计指标数据存储于第二数据库，第二数据库可以采用Doris数据库。
如果数据操作日志包含预设的金融业务请求，则触发计算引擎。计算引擎从预警规则库获得与金融业务请求对应的预警规则，从第一数据库获得与金融业务请求相关的用户金融数据，和/或，从第二数据库获得与金融业务请求相关的累计指标数据。计算引擎对与金融业务请求相关的用户金融数据和/或累计指标数据与预警规则进行匹配，生成预警结果。
本申请上述公开了数据处理方法，相应的，本申请还公开数据处理装置。说明书中关于两者的描述可以相互参考。
参见图3，图3为本申请公开的一种数据处理装置的结构示意图。该数据处理装置包括数据采集模块10、日志解析模块20、数据更新模块30和预警分析模块40。
数据采集模块10，用于获得业务数据库的数据操作日志。
日志解析模块20，用于对数据操作日志进行解析。
数据更新模块30，用于在解析结果指示数据操作日志包含用户交易数据的情况下，基于用户交易数据对相应用户的用户金融数据进行更新，基于用户交易数据对金融机构的累计指标数据进行更新。
预警分析模块40，用于在解析结果指示数据操作日志包含金融业务请求的情况下，触发计算引擎，由计算引擎从预警规则库获得与该金融业务请求对应的预警规则，获得与该金融业务请求相关的用户金融数据和/或累计指标数据，对金融业务请求相关的用户金融数据和/或累计指标数据与预警规则进行匹配，生成预警结果。
其中，预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
可选的，数据更新模块30包括用户数据更新单元和累计指标数据更新单元。用户数据更新单元，用于生成以用户的标识为主键，以用户交易数据为值的键值对，保存该键值对。累计指标数据更新单元，用于确定金融机构中与用户交易数据相关的目标累计指标数据；基于用户交易数据对目标累计指标数据进行累计计算。
可选的，数据采集模块10具体用于：采用模拟业务数据库的从库的方式，使得业务数据库向数据采集模块发送数据操作日志。
可选的，数据采集模块10还用于：将获得的数据操作日志写入消息队列。相应的，日志解析模块20对消息队列中的数据操作日志逐条进行解析。
本申请还提供一种电子设备。
参见图4，图4示出了电子设备的硬件结构，该电子设备包括：处理器401、存储器402、通信接口403、以及通信总线404。
在本申请实施例中，处理器401、存储器402、通信接口403、通信总线404的数量为至少一个，且处理器401、存储器402和通信接口403通过通信总线404完成相互间的通信。通信总线404可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。
需要说明的是，本领域技术人员可以理解，图4中示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图4所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图4对电子设备的各个构成部件进行具体的介绍。
处理器401是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
处理器401可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路ASIC（Application Specific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；
存储器402可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)和只读存储器(Read-Only Memory，ROM)，也可能还包括大容量存储设备，例如至少1个磁盘存储器等。
其中，存储器402存储有程序，处理器401可调用存储器存储的程序，所述程序用于：
获得业务数据库的数据操作日志；
对所述数据操作日志进行解析；
在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
在解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
本申请还提供一种可读存储介质，该可读存储介质存储有适于处理器执行的程序，所述程序用于：
获得业务数据库的数据操作日志；
对所述数据操作日志进行解析；
在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
在解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
可选的，所述程序的细化功能和扩展功能可参照上文描述。
需要说明的是，说明书中的各个实施例记载的技术特征可以相互替代或组合，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请各实施例装置及设备中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。各个实施例中的各技术特征可以排列组合构成新的实施例。对于实施例公开的数据处理装置、电子设备及可读存储介质而言，由于其与实施例公开的数据处理方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
Claims (10)
1.一种数据处理方法，应用于电子设备，其特征在于，所述数据处理方法包括：
获得业务数据库的数据操作日志；
对所述数据操作日志进行解析；
在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
在所述解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述用户交易数据对相应用户的用户金融数据进行更新，包括：
生成以所述用户的标识为主键，以所述用户交易数据为值的键值对，保存所述键值对。
3.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述用户交易数据对金融机构的累计指标数据进行更新，包括：
确定所述金融机构中与所述用户交易数据相关的目标累计指标数据；
基于所述用户交易数据对所述目标累计指标数据进行累计计算。
4.根据权利要求1所述的数据处理方法，其特征在于，所述获得业务数据库的数据操作日志，包括：
采用模拟所述业务数据库的从库的方式，使得所述业务数据库向数据采集模块发送数据操作日志。
5.根据权利要求1所述的数据处理方法，其特征在于，在所述获得业务数据库的数据操作日志后，还包括：将获得的数据操作日志写入消息队列；相应的，对所述消息队列中的数据操作日志逐条进行解析。
6.一种数据处理装置，其特征在于，包括：
数据采集模块，用于获得业务数据库的数据操作日志；
日志解析模块，用于对所述数据操作日志进行解析；
数据更新模块，用于在解析结果指示所述数据操作日志包含用户交易数据的情况下，基于所述用户交易数据对相应用户的用户金融数据进行更新，基于所述用户交易数据对金融机构的累计指标数据进行更新；
预警分析模块，用于在所述解析结果指示所述数据操作日志包含预设的金融业务请求的情况下，触发计算引擎，由所述计算引擎从预警规则库获得与所述金融业务请求对应的预警规则，获得与所述金融业务请求相关的用户金融数据和/或累计指标数据，对所述金融业务请求相关的用户金融数据和/或累计指标数据与所述预警规则进行匹配，生成预警结果；
其中，所述预警规则库用于存储与金融业务请求对应的预警规则，且允许执行添加、修改、删除以及查看预警规则的操作。
7.根据权利要求6所述的数据处理装置，其特征在于，所述数据更新模块包括：
用户数据更新单元，用于生成以所述用户的标识为主键，以所述用户交易数据为值的键值对，保存所述键值对；
累计指标数据更新单元，用于确定所述金融机构中与所述用户交易数据相关的目标累计指标数据；基于所述用户交易数据对所述目标累计指标数据进行累计计算。
8.根据权利要求6所述的数据处理装置，其特征在于，所述数据采集模块具体用于：采用模拟所述业务数据库的从库的方式，使得所述业务数据库向所述数据采集模块发送数据操作日志。
9.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1至5中任一项所述的数据处理方法的各个步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至5中任一项所述的数据处理方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310990419.5A CN116703184B (zh) | 2023-08-08 | 2023-08-08 | 数据处理方法、数据处理装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310990419.5A CN116703184B (zh) | 2023-08-08 | 2023-08-08 | 数据处理方法、数据处理装置、电子设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116703184A true CN116703184A (zh) | 2023-09-05 |
| CN116703184B CN116703184B (zh) | 2023-10-20 |
Family
ID=87834306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310990419.5A Active CN116703184B (zh) | 2023-08-08 | 2023-08-08 | 数据处理方法、数据处理装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116703184B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102028342B1 (ko) * | 2019-02-22 | 2019-10-04 | 주식회사 우리은행 | 데이터 처리 솔루션을 활용한 실시간 금융 비즈니스 제공 및 의사결정 지원 시스템 및 방법 |
| CN113052703A (zh) * | 2021-04-20 | 2021-06-29 | 中国工商银行股份有限公司 | 一种交易风险预警方法及装置 |
| CN114820158A (zh) * | 2022-04-02 | 2022-07-29 | 中国工商银行股份有限公司 | 基于规则引擎的银行监管证券数据方法和装置 |
-
2023
- 2023-08-08 CN CN202310990419.5A patent/CN116703184B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102028342B1 (ko) * | 2019-02-22 | 2019-10-04 | 주식회사 우리은행 | 데이터 처리 솔루션을 활용한 실시간 금융 비즈니스 제공 및 의사결정 지원 시스템 및 방법 |
| CN113052703A (zh) * | 2021-04-20 | 2021-06-29 | 中国工商银行股份有限公司 | 一种交易风险预警方法及装置 |
| CN114820158A (zh) * | 2022-04-02 | 2022-07-29 | 中国工商银行股份有限公司 | 基于规则引擎的银行监管证券数据方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116703184B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3418910A1 (en) | Big data-based method and device for calculating relationship between development objects | |
| CN107273267A (zh) | 基于elastic组件的日志分析方法 | |
| CN108647357A (zh) | 数据查询的方法及装置 | |
| CN112434015B (zh) | 数据存储的方法、装置、电子设备及介质 | |
| CN112686717B (zh) | 一种广告召回的数据处理方法及*** | |
| CN114428822B (zh) | 一种数据处理的方法、装置、电子设备及存储介质 | |
| CN111382182A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| WO2023165271A1 (zh) | 知识图谱的构建、和图计算 | |
| CN113791586A (zh) | 一种新型的工业app与标识注册解析集成方法 | |
| CN111767574A (zh) | 用户权限确定方法、装置、电子设备及可读存储介质 | |
| CN111340062A (zh) | 一种映射关系确定方法及装置 | |
| CN116957813B (zh) | 风控策略测试方法、装置、电子设备及可读存储介质 | |
| CN116703184B (zh) | 数据处理方法、数据处理装置、电子设备及可读存储介质 | |
| CN112346938B (zh) | 操作审计方法、装置及服务器和计算机可读存储介质 | |
| CN113469801A (zh) | 审核结果的确定方法和装置 | |
| CN110851424A (zh) | 一种数据服务*** | |
| CN112632371A (zh) | 银行业务反欺诈方法与*** | |
| CN111078738A (zh) | 数据处理方法、装置、电子设备和存储介质 | |
| CN115017875B (zh) | 企业信息处理方法、装置、***、设备和介质 | |
| CN117331926B (zh) | 一种数据稽核方法、装置、电子设备和存储介质 | |
| US11551113B2 (en) | Intelligent machine processing of queries for cloud-based network file store | |
| Ye | An Evaluation on Using Coarse-grained Events in an Event Sourcing Context and its Effects Compared to Fine-grained Events | |
| CN115439033A (zh) | 基于社保数据的风险用户筛选方法、装置及计算设备 | |
| CN117933995A (zh) | 交易数据处理方法、装置、电子设备及存储介质 | |
| CN115408398A (zh) | 目标数据处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |