CN112613789A - 风险管控数据处理方法、风险预警规则前置数据监控方法 - Google Patents

风险管控数据处理方法、风险预警规则前置数据监控方法 Download PDF

Info

Publication number
CN112613789A
CN112613789A CN202011612815.7A CN202011612815A CN112613789A CN 112613789 A CN112613789 A CN 112613789A CN 202011612815 A CN202011612815 A CN 202011612815A CN 112613789 A CN112613789 A CN 112613789A
Authority
CN
China
Prior art keywords
data
index
risk
processing
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011612815.7A
Other languages
English (en)
Inventor
左伶俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiping Finance Technology Services Shanghai Co ltd
Original Assignee
Taiping Finance Technology Services Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiping Finance Technology Services Shanghai Co ltd filed Critical Taiping Finance Technology Services Shanghai Co ltd
Priority to CN202011612815.7A priority Critical patent/CN112613789A/zh
Publication of CN112613789A publication Critical patent/CN112613789A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Technology Law (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种风险管控数据处理方法、风险预警规则前置数据监控方法、装置、计算机设备和存储介质。所述风险管控数据处理与数据监控方法包括：从多个源***中获取源数据；对源数据进行处理得到基础明细数据；对基础明细数据进行处理，生成每个风险类别对应的风险关联数据；获取风险类别下的待处理指标以及与其对应的指标加工方式；根据指标加工方式以及对应的风险关联数据，对待处理指标进行加工；根据加工的指标数据及预警区间，调用风险规则模型务对业务进行风险规则前置管控，实现风险管控数据处理闭环管理。采用微服务架构采集源数据、集中管理，灵活扩展业务***、集中度监测、保证数据完整性、准确性；提高数据处理效率和风险管控能力。

Description

风险管控数据处理方法、风险预警规则前置数据监控方法
技术领域
本申请涉及计算机技术领域，特别是涉及一种风险管控数据处理方法、装置、计算机设备和存储介质，以及一种风险预警规则前置数据监控方法、装置、计算机设备和存储介质。
背景技术
关键风险指标(KRI，Key Risk Indicator)是指代表某一风险领域变化情况并可定期监控的统计指标，是对金融机构进行科学有效地金融监管的重要工具之一。
传统技术中，金融机构的关键风险指标的计算大多使用第三方开源的公式引擎作为支撑。关键风险指标局限于监管固定的单一风险领域的指标监控，无法全面拓展至各个风险管理领域、无法全面满足内外部风险管理监控需求及分析不同风险分类的交叉风险，且无法将指标监控与业务管理直接关联，实现风险管控前置；另关键风险指标的监控和分析大多使用现有的统计分析工具，例如BI(Business Intelligence，商业智能)工具，或者基于JAVA(计算机编程语言)等开发固定报表进行分析。但是，随着金融监管的发展，传统技术中的关键风险指标的管理方式无法满足对金融机构的内外部灵活实时的管理需求，对于风险前置缺乏事前管理约束，存在监控数据时效低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够拓展风险领域业务范畴、提高指标管理效率、将指标监控结果前置业务管理的闭环风险管控数据处理方法、装置、计算机设备和存储介质，以及一种风险预警规则前置数据监控方法、装置、计算机设备和存储介质。
第一方面，本申请实施例提供一种全面灵活实时地风险管控数据处理方法，所述方法通过微服务架构拓展风险管理业务数据来源，建立风险管理门户，涵盖多种风险类别及其他风险类别，所述方法包括：
通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取源数据的过程基于微服务架构进行，微服务架构随着源***的增多而扩展；通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础明细数据；通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；通过指标加工服务根据待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对待处理指标进行加工。
在其中一个实施例中，通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据，包括：通过数据预处理服务，从已得到的源数据中获取与每个逻辑模型主题对应的源数据，多个风险类别包含在预先配置的风险主题中，风险主题为预先配置的逻辑模型主题的风险分类细化；通过数据预处理服务对每个逻辑模型主题对应的源数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
在其中一个实施例中，通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，包括：通过数据预处理服务根据预设的源数据采集频率采集源***的源数据；通过数据预处理服务根据预先配置的数据校验规则，得到对源数据进行校验的校验信息；通过数据预处理服务根据校验信息对源数据进行校验；通过数据预处理服务在对源数据检验符合要求时，保存源数据。
在其中一个实施例中，所述方法还包括：通过图谱构建服务响应于对目标风险类别及关联集中度风险的图谱构建请求，获取目标风险类别及关联集中度风险对应的基础明细数据；通过图谱构建服务根据目标风险类别及关联集中度风险对应的基础明细数据，生成预设维度的多个数据；通过图谱构建服务对预设维度的多个数据进行排序；通过图谱构建服务将排序后的预设维度的多个数据映射至预先配置的图形库，生成展示图谱。
在其中一个实施例中，所述方法还包括：通过指标加工服务响应于对目标指标的明细查询请求，获取目标指标的指标加工方式；通过指标加工服务根据目标指标的指标加工方式，逐层查询得到与目标指标对应的基础明细数据。
在其中一个实施例中，对待处理指标进行加工之后，还包括：通过指标加工服务根据所述待处理指标的指标加工方式，实时重新配置待处理指标的重新加工任务；根据待处理指标的指标采集频率生成待处理指标的下一次加工时刻；在检测当前时刻到达下一次加工时刻时，从所述源***中获取新源数据，并根据新源数据对所述待处理指标再次进行加工。
在其中一个实施例中，所述方法还包括：通过指标加工服务获取输入文本；通过指标加工服务将输入文本与预先创建的索引数据中的分词单元进行匹配，得到目标分词单元；获取与目标分词单元匹配的指标对应的指标数据。
在其中一个实施例中，微服务架构中的各个服务为单独运行的进程；每个服务对应主服务器和备服务器，当运行于主服务器中的服务出现故障时，则调用运行在备服务器中的服务。
第二方面，本申请实施例提供一种风险预警规则前置数据监控方法，包括：
获取待监控风险类别对应的业务数据；根据第一方面任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据；获取待监控风险类别的指标预警区间，指标预警区间是基于动态分布算法对历史业务数据进行处理得到；基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。
第三方面，本申请实施例提供一种风险管控数据处理装置，包括：
数据收集模块，用于通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取源数据的过程基于微服务架构进行，微服务架构随着源***的增多而扩展；数据预处理模块，用于通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加加工，得到基础明细数据；风险关联数据生成模块，用于通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；获取模块，用于通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；指标加工模块，用于通过待处理指标的指标加工服务以及每个风险类别对应的风险关联数据，对待处理指标进行加工。
第四方面，本申请实施例提供一种风险监控预警规则前置装置，包括：
第一获取模块，用于获取待监控风险类别对应的业务数据；数据处理模块，用于根据上述第一方面任一项的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据；第二获取模块，用于获取待监控风险类别的指标预警区间，指标预警区间是基于动态分布算法对历史业务数据进行处理得到；数据监控模块，用于基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。
第五方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面以及第二方面任一项实施例所述的方法。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面以及第二方面任一项实施例所述的方法。
上述风险管控数据处理方法、装置、计算机设备和存储介质，通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据；根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础明细数据；根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；根据待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对待处理指标进行加工。通过采用微服务架构采集多个源***的源数据，可以拓展风险管理业务领域、全面丰富风险监控体系、记录不同风险分类的风险数据、组合分析不同领域的交叉风险，从而可以为风险管控提供一站式服务，且由于微服务组件之间相互独立、互不影响，从而可以加快数据处理的效率；通过利用数据仓库的ETL(Extract,transform,load)技术把分散在各个不同源***的源数据进行集中管理，能够保证风险管理相关数据的完整性；利用数据库批量处理技术、互联网前端转换等技术对完整的风险管理相关数据进行进一步加工，形成相关统计信息，可以提高数据处理的准确性；通过预先配置多个风险类别，可以对不同风险类别不同维度进行集中度风险的监测、预警和报告。
上述风险预警规则前置数据监控方法，根据第一方面任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据；获取待监控风险类别的指标预警区间；基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。通过采用上述风险管控数据处理方法对业务数据进行处理，为风险监控预警规则前置提供准确依据，可以实现准确地风险监控。
附图说明
图1为一个实施例中风险管控数据处理方法的应用环境图；
图2为一个实施例中风险管控数据处理方法的流程示意图；
图2a为一个实施例中执行工作流步骤的流程示意图；
图2b为一个实施例中采集源数据步骤的流程示意图；
图2c为一个实施例中处理待处理指标步骤的流程示意图；
图3为一个实施例中对源数据进行预处理步骤的流程示意图；
图4为一个实施例中获取源数据步骤的流程示意图；
图5为一个实施例中构建展示图谱步骤的流程示意图；
图5a为一个实施例中一种展示图谱的示意图；
图5b为一个实施例中一种生成展示图谱的操作界面的示意图；
图6为一个实施例中搜索指标步骤的流程示意图；
图7为一个实施例中风险管控数据处理方法的流程示意图；
图8为一个实施例中风险预警规则前置数据监控方法的流程示意图；
图9为一个实施例中风险预警规则前置数据监控方法的流程示意图；
图9a为一个实施例中风险管控数据处理和风险监控预警规则前置的流程示意图；
图10为一个实施例中风险管控数据处理装置的结构框图；
图11为一个实施例中风险预警规则前置数据监控装置的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
由于相关技术中，与风险管理的相关***(包括机构的内部***，例如指标管理***、操作风险***、信用风险***等)均以单独的***部署，互相之间独立运行。在本申请中，将不同风险类别的风险管控相关***整合成一个数据处理***。数据处理***基于微服务架构。微服务是由单一应用程序构成的小服务，拥有自己的进程与轻量化处理。微服务依业务功能设计，以全自动的方式部署。微服务使用最小规模的集中管理技术，可以用不同的编程语言与数据库等。每个与风险管理的相关***以微服务方式独立部署。微服务不限于包括数据预处理服务、指标加工服务、综合业务服务、报表服务、七大类风险业务服务和其他风险业务服务(例如操作风险业务服务、信用风险业务服务、市场风险业务服务等)、图谱构建服务等。每个微服务独立运行，但是不同的微服务间可以互相调用。通过该数据处理***可以实现数据收集、数据加工、报表生成、图谱构建、数据查找等操作。进一步地，为方便运维人员对数据处理***进行监控和管理，数据处理***还可以为运维人员提供数据处理***的日常任务监控、异常信息查询和接口管理等功能，从而实现当前作业运行的可视化监控，并提供明细任务运行情况说明，从而为数据处理***的正常运行和管理提供保障。
本申请提供的风险管控数据处理方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行通信。服务器120中部署有如上所述的数据处理***。终端110中部署有与数据处理***对应的展示界面。用户可以通过该展示界面对数据处理的相关信息进行配置，例如，配置数据采集频率、创建需要监控的指标等；也可以通过该展示界面触发多种指令，例如，查询指令，图谱展示指令等。具体地，服务器120通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取源数据的过程基于微服务架构进行，微服务架构随着源***的增多而扩展；通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础指标数据；通过指标加工服务获取待处理指标以及与待处理指标对应的指标加工方式；通过指标加工服务根据指标加工方式从基础指标数据中筛选出目标基础明细数据，通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；通过指标加工服务根据待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对待处理指标进行加工。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种风险管控数据处理方法，以该方法应用于图1中的服务器120为例进行说明，包括以下步骤：
步骤S210，通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取源数据的过程基于微服务架构进行，微服务架构随着源***的增多而扩展。
其中，数据采集可以基于数据仓库的ETL技术实现。ETL是将源***的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将机构中的分散、零乱、标准不统一的数据整合到一起，为机构的决策提供分析依据。ETL是BI项目重要的一个环节。源***可以是机构内部的业务***，例如，财务***、采购***，以及机构的分机构所拥有的***。
具体地，用户可以预先通过终端的展示界面配置数据采集频率。例如，预先配置在每月第一天的固定时刻通过ETL采集多个源***的数据。当数据预处理服务监测到当前时刻满足预先配置的数据采集频率，则通过预先配置的与每个源***对应的接口，从每个源***中加载得到对应的源数据。
在一个可能性实施例中，源数据的采集可以通过以下方式实现：
源数据采集可以采用ETL的Informatica(一种数据管理工具)。预先配置ETL总控调度配置表，ETL总控调度配置表用于配置指标对应的工作流是否启用以及需要采集那个时间节点的源数据：
以下对ETL总控调度配置表的相关内容进行示例性说明：
(1)ETL总控调度配置表包含业务日期。对业务日期格式进行示例性说明：
Figure BDA0002869836570000081
(2)ETL总控调度配置表的更新策略为，若当前工作流执行成功，则：
根据业务日期、指标抽取频率和偏移量计算得出下一次执行日期，例如：
月指标：月份的后一个月的第一天+预先设置的收集时刻；
季度指标：月份的后一个季度的第一天+预先设置的收集时刻；
年指标：月份的后12个月的第一天+预先设置的收集时刻；
若当前工作流执行失败，则ETL总控调度配置表不做更新。
示例性地，预先配置每天ETL总控调度配置表的年度指标在0:30点启动，将每天晚上批处理时间和下一次执行日期进行比较，若每天晚上批处理时间大于或等于下一次执行日期，则工作流当天具体启动时间由计划决定。
预先配置每天总控调度季度指标在1:50点启动，将每天晚上批处理时间和下一次执行日期比较，若每天晚上批处理时间大于或等于下一次执行日期，则工作流当天具体启动时间由计划决定。
预先配置每天总控调度月度指标在2:25点启动，将每天晚上批处理时间和下一次执行日期比较，若每天晚上批处理时间大于或等于下一次执行日期，工作流当天具体启动时间由计划决定。
参照上述方式确定需要采集的源***的源数据以及对应的工作流。参照图2a，为每个工作流配置计划任务，按照每个工作流的执行时间依次执行每个工作流，并在每个工作流执行完毕后进行更新日志，直至所有工作流执行完毕。
图2b为针对每个工作流对应的源数据采集过程的示例性说明。当检测到工作流启动，即，监测到当前时间点满足执行时间时，从源***中采集对应的源数据。判断源数据是否采集成功，例如，对源***的数据和采集后的数据进行数据条目的比较。若两者的误差小于阈值，则确定源数据采集成功；否则，确定源数据采集失败。若源数据采集成功，则更新日志表，并更新下一次采集的执行时间；若采集失败，则更新日志表，删除当前已采集到的源数据，并执行重新采集指令。重新采集可以通过数据预处理服务自用执行，例如，通过数据预处理服务定时从源***中采集数据，直至采集成功。进一步地，若在当前时间到达预设停止时间时，本次源数据仍然采集失败，则可以通过邮件等方式向对应的源***发出提示信息，以使源***端的用户能够及时核查原因。进一步地，若确定源数据采集失败是由服务器或网络原因引起的批量采集异常，重新采集还可以通过人工干预的方式实现，例如，在故障排除后可以通过用户手动上传的方式上传源数据。
步骤S220，通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础明细数据。
其中，基础明细数据是不可再拆分维度的指标数据，可作为指标加工的基础。具体地，由于从多个源***中获取的源数据的数据量极大，不能直接用于后续的数据分析。因此，需要按照预先配置的数据加工方式对所获取的源数据进行数据清洗和数据加工，生成基础明细数据。
步骤S230，通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
具体地，预先部署多种风险类别，例如保险风险、市场风险、信用风险等。在获取基础明细数据后，针对每个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
步骤S240，通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式。
步骤S250，通过指标加工服务根据待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对待处理指标进行加工。
其中，指标是衡量事务发展程度的参数，是指预期中打算达到的指数、规格、标准等，例如，收益率、产品覆盖率等。指标通常需要根据预先配置的指标加工方式进行加工得到。指标加工方式不限于包括计算公式，例如，加和、平均等。待处理指标是指待进行加工的指标。具体地，针对每个风险类别，当检测满足指标采集频率时，建立待检测指标的加工任务，并获取待处理指标对应的加工方式。指标采集频率可以是每天、每月、每季度、每半年、每年等。根据待处理指标对应的指标加工方式确定待处理指标的因子指标，并按照树形结构逐层处理待处理指标对应的因子指标，直至达到树形结构的叶节点(即基础明细数据)。根据所得到的因子指标的处理结果，按照待处理指标的指标加工方式得到待处理指标的处理结果。
在一个可能性实施例中，对待处理指标的处理方式进行说明。对于数据处理***中的每个指标，可以预先配置唯一性的指标编号，例如机构简称6位_4位自然数，并预先定义多个互相关联的数据关系表，具体如下：
表一，关系表T1，记录数据源名称。
表二，关系表T2，记录数据表名称。
表三，关系表T3，记录维度字段的映射。
表四，关系表T4，记录指标基本信息。
表五，关系表T5，标记指标所属维度信息。
表六，关系表T6，标记指标所属度量信息。
表七：关系表T7，记录指标的运算公式。
表八：关系表T8，记录引用的指标编号、因子编号。
表九：关系表T9，记录指标数据。
表十：关系表T10，记录监控措施。
用户可以基于上述已建立的多个关系表任意配置需要监控的指标，从而实现多个源***的源数据的交叉分析。示例性地，以操作风险事件业务的数据分析及报表展示为例，可以通过以下步骤实现：
(1)在数据源界面配置操作风险事件业务的数据源S1；
(2)在数据模型界面定义操作风险事件业务的表单t_l并从表一种选择操作风险事件业务的数据源S1；
(3)在数据模型字段信息界面从表二选择操作风险事件业务的表单t_l，并维护表单字段(例如，发生日期、发生部门、发生金额、预估金额、追回金额、风险类别、处理状态等)，定义发生日期。以风险类别为维度字段，发生次数、实际金额等为度量字段写入表三数据模型信息表；
(4)在指标维护界面定义指标加入指标库。例如，定义操作风险事件业务的发生次数、操作风险事件业务的净损失。从表三中选择指标值作为度量值；发生日期、风险类别、处理状态等作为指标的维度信息，设置操作风险事件业务的发生次数、操作风险事件业务的净损失等内部管理指标，将指标定义信息写入指标基本信息表。根据编码规则生成指标编码，例如XXXXXX_0001与XXXXXX_0002。将指标编码更新至其他相关数据表中。
当指标加工服务获取待处理指标的加工任务时，可以参照图2c所示的流程示意图，根据上述多个表对待处理指标进行加工。具体地：
(1)预先对待处理指标进行指标定义。指标定义可以通过以下过程实现：用户录入指标的基本信息，指标计算公式使用Fast EL开源表达式引擎、使用Antlr解析表达式；生成Ast(abstract syntax code，抽象语法树)节点，最终完成对语法树的校验，返回校验结果。
(2)在获取待处理指标的加工任务后，对待处理指标的关联信息进行合法性校验，判断待处理指标是否有效。待处理指标的关联信息不限于包括指标编码、报告期、指标基本信息表定义的有效区间(开始时间、结束时间)、指标状态是否已生效、维度信息、度量信息等。
(3)若检测待处理指标有效，则进一步检测待处理指标的类型。若待处理指标为数值型指标，则根据待处理指标的指标加工方式对待处理指标进行逐层处理，得到对应的因子指标，直至分层至基础指标。
(3)对于每一层因子指标，判断是否存在已计算好的来源指标。若存在，则直接调用已计算好的来源指标；若不存在，则对来源指标进行逐层加工。
(4)在对因子指标加工完成后，进一步判断是否需要按照对因子指标进行汇总，例如，按照机构关系进行汇总。若需要，则对因子指标进行汇总，并根据汇总后的因子指标生成待处理指标的处理结果；若不需要对因子指标进行汇总，则直接根据因子指标生成待处理指标的汇总结果。
进一步地，对待处理指标加工完成之后，通过指标加工服务实时重新配置待处理指标的重新加工任务；根据待处理指标的指标采集频率生成待处理指标的下一次加工时刻。当检测当前时刻到达下一次加工时刻时，从源***中获取当前加工时刻的源数据，并根据当前加工时刻的源数据对待处理指标再次进行加工，从而实现数据实时重新采集、数据实时重新计算、数据实时重新集成。
进一步地，在数据处理***中可以部署指标异常监控任务。当判断待处理指标的处理结果属于超限区间或者预警区间，则生成风险应对行动计划，并根据风险应对行动计划进行改进。
进一步地，在数据处理***中还可以部署指标状态监控任务。通过指标状态监控任务监控每个待处理指标各自对应的工作流、待处理指标的源数据采集方式(***自动加载还是用户手动上传)、待处理指标的数据源来自哪个源***以及相应的联系人、待处理指标的工作流的执行状态是否成功(若执行状态异常，则发送提醒信息至源***的联系人)。标状态监控任务还可以对指标的加工情况、存储过程等进行监控，并在发现异常时返回提示信息。数据处理***还可以在检测到异常情况发生时，实时触发重新对待处理指标进行重新加工，直至待处理指标加工完成，或者达到停止条件，例如，当前时刻已达到预设的停止时刻。
进一步地，在对待处理指标处理完成后，还可以根据待处理指标的处理结果生成相应的报表并展示，从而使得用户能够直观的读取当前的数据监控情况。
上述风险管控数据处理方法中，通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据；根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础明细数据；根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；根据待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对待处理指标进行加工。通过采用微服务架构采集多个源***的源数据，可以拓展风险管理业务领域、全面丰富风险监控体系、记录不同风险分类的风险数据、组合分析不同领域的交叉风险，从而可以为风险管控提供一站式服务，且由于微服务组件之间相互独立、互不影响，从而可以加快数据处理的效率；通过利用数据仓库的ETL技术把分散在各个不同源***的源数据进行集中管理，能够保证风险管理相关数据的完整性；利用数据库批量处理技术、互联网前端转换等技术对完整的风险管理相关数据进行进一步加工，形成相关统计信息，可以提高数据处理的准确性；通过预先配置多个风险类别，可以对不同风险类别不同维度进行集中度风险的监测、预警和报告。
在一个实施例中，微服务架构中的各个服务为单独运行的进程；每个服务对应主服务器和备服务器，当运行于主服务器中的服务出现故障时，则调用运行在备服务器中的服务。
具体地，在本实施例中，微服务除包含数据预处理服务和指标加工服务外，还可以依需求增加更多的服务，例如，综合业务服务、报表服务、操作风险业务服务、信用风险业务服务、市场风险业务服务、保险风险业务服务等。每个服务独立部署，并采用双机高可用模式。双机高可用采用主备模式。即，使用两台服务器：一台主服务器和一台备服务器。正常情况下，主服务器提供负载均衡服务，备服务器处于空闲状态；当主服务器发生故障时，则由备服务器接管主服务器提供负载均衡服务。
本实施例中，通过采用微服务架构，将与风险管理的相关***以微服务组件的形式独立部署，从而可以为风险管理提供一站式服务，且由于微服务组件之间相互独立、互不影响，从而可以加快数据处理的效率；通过将每个服务部署为双机高可用模式，避免单点故障，从而能够保证***的正常运行。
在一个实施例中，如图3所示，步骤S230，通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据，可以通过以下步骤实现：
步骤S231，通过数据预处理服务，从已得到的源数据中获取与每个逻辑模型主题对应的源数据，多个风险类别包含在预先配置的风险主题中，风险主题为预先配置的逻辑模型主题的风险分类细化。
步骤S232，通过数据预处理服务对每个逻辑模型主题对应的源数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
其中，逻辑模型是指数据的逻辑结构。逻辑建模是数据仓库实施中的重要一环，因为它能直接反映出业务部门的需求，同时对***的物理实施有着重要的指导作用，它的作用在于可以通过实体和关系勾勒出机构的数据蓝图。在逻辑模型的设计过程中，可以按照实际需求确定多个逻辑模型主题。每个逻辑模型主题是通过多个源数据表来实现的，这些源数据表之间依靠主题的公共码键联系在一起，形成一个完整的逻辑模型主题。在本实施例中，多个逻辑模型主题不限于包括：市场产品、投资产品、机构、风险(包含多个风险类别)、时间、交易对手和客户。其中，市场产品是指提供的任何可市场化的产品、产品组合与服务。投资产品可以是指债券、同业存单、银行存款、另类投资、股权、债权、基金、股票等。机构是指集团、各专业子公司的组织和业务单元等。
具体地，通过数据预处理服务从多个源***中获取源数据后，根据预先部署的逻辑模型，从已得到的源数据中获取与每个逻辑模型主题对应的源数据。针对每个逻辑模型主题，通过数据预处理服务根据源数据加工方式对每个主题对应的源数据进行数据清洗和数据加工，得到基础明细数据。由于所生成的基础明细数据的数据量极大，且其中存在很多无效数据，因此可以通过数据预处理服务对每个逻辑模型主题对应的基础明细数据进行二次加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
进一步地，可以预先配置二次加工、整合和归类处理的执行时间，例如，配置在预设时间到达时启动二次加工、整合和归类。当数据预处理服务生成每个逻辑模型主题对应的基础明细数据后，监控当前时间是否到达二次加工、整合和归类处理的执行时间。若已到达，则启动二次加工、整合和归类处理任务。若监测还未到达，则继续监控当前时间是否到达二次加工的执行时间。
本实施例中，通过采用数据仓库将分散在各个不同源***的源数据进行集中管理，能够保证风险管理相关数据的完整性；利用数据库批量处理技术、互联网前端转换等技术对完整的风险管理相关数据进行进一步加工，形成相关统计信息，可以提高数据处理的准确性。
在一个实施例中，如图4所示，步骤S210，通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，可以通过以下步骤实现：
步骤S211，通过数据预处理服务根据预设的源数据采集频率采集源***的源数据。
步骤S212，通过数据预处理服务根据预先配置的数据校验规则，得到对源数据进行校验的校验信息。
步骤S213，通过数据预处理服务根据校验信息对源数据进行校验。
步骤S214，通过数据预处理服务在对源数据检验符合要求时，保存源数据。
具体地，源数据可以是用户通过源***手动上传的数据，也可以是***通过预设接口自动加载的数据。当数据预处理服务获取源***的源数据后，依次执行文件名校验、文件完整性校验、文件内容列名校验以及文件内容格式校验任务。其中，文件名校验可以通过数据处理***获取到源数据的所属部门，根据所属部门验证所采集的文件的文件名是否符合规范。文件完整性校验可以根据预先配置的模版规范中的指标名称和指标数量，验证模版内的表中是否存在缺失。文件内容列名校验可以根据预先配置的命名规范，验证指标列是否符合预先配置的命名规范。若符合，则根据预先配置的命名规范获取需要采集源数据的指标列名。文件内容格式校验可以根据预先配置的模版规范判断指标列数据的数据类型(包括日期、文本、数字)等是否正确、以及是否可为空。
在校验完成后，终端可以通过弹窗提示上传成功和上传失败的源数据。通过校验并上传成功的源数据的文件信息可以被列表展示。若源数据中有一行数据没有通过校验，则该源数据不会被上传并保存至数据库中，错误的数据信息可以在异常信息查询界面查看。本实施例中，通过按照预先配置的校验规则对采集的源数据进行检验，可以保证数据的完整性和准确性。
在一个实施例中，如图5所示，所述方法还包括：
步骤S510，通过图谱构建服务响应于对目标风险类别及关联集中度风险的图谱构建请求，获取目标风险类别及关联集中度风险的基础明细数据。
步骤S520，通过图谱构建服务根据目标风险类别及关联集中度风险对应的基础明细数据，生成预设维度的多个数据。
步骤S530，通过图谱构建服务对预设维度的多个数据进行排序。
步骤S540，通过图谱构建服务将排序后的预设维度的多个数据映射至预先配置的图形库，生成展示图谱。
其中，关联集中度风险是指与目标风险类别相关的其他风险类别。与每个风险类别对应的关联集中度风险可以预先定义并配置在数据处理***中。维度是事物或现象的某种特征，如地区、时间、行业等都是维度。
具体地，图谱构建请求可以通过点击指定的控件触发。例如，预先在终端的展示界面中部署与每个风险类别对应的控件。用户点击目标风险类别对应的控件，触发对目标风险类别的图谱构建请求。图谱构建服务响应于对目标风险类别的图谱构建请求，获取目标风险类别对应的基础明细数据，以及关联集中度风险的基础明细数据。根据预先配置的与目标风险类别对应的维度对所获取的目标风险类别及关联集中度风险的基础明细数据进行加工，生成与维度对应的多个数据。图谱构建服务对每个维度对应的数据(枚举值)进行排序，将排序后的预设维度的多个数据映射至预先配置的图形库，生成展示图谱。
预先配置的图形库可以采用ECharts(一款开源的数据可视化工具)，依赖矢量图形库ZRender。ECharts和ZRender提供直观、交互丰富、可高度个性化定制的数据可视化图表。它提供了图例、视觉映射、数据区域缩放、tooltip(一种提示工具)、数据刷选等开箱即用的交互组件，可以对数据进行多维度数据筛取、视图缩放、展示细节等交互操作。
示例性地，如图5a和图5b所示，目标风险类别为投资机构。与投资机构一对应的关联交易对手集中度风险。通过勾选投资机构，可以展示与该投资机构相关的关联交易对手列表。关联交易对手列表中包含关联交易对手名称、资产类别等信息。数据处理***根据关联交易对手的基础明细数据，通过图谱的方式展示与关联交易对手的相关信息，例如，展示关联交易对手的所属行业、所属区域、产品信息等。
本实施例中，基于图谱构建服务，以图谱的方式展示风险类别所对应的不同维度下的数据，使得用户能够直观的获取多个风险类别所对应的不同维度下的关系层级，从而提高了数据处理***的使用便捷性。
在一个实施例中，所述方法还包括：通过指标加工服务响应于对目标指标的明细查询请求，获取目标指标的指标加工方式；通过指标加工服务根据目标指标的指标加工方式，逐层查询得到与目标指标对应的基础明细数据。
其中，目标指标是指待查询基础明细数据的指标。具体地，当用户想要查询目标指标的基础明细数据，可以触发目标指标的明细查询请求。指标加工服务获取预先定义的目标指标的指标加工方式。参照上述图2c对应的待处理指标的处理方式对目标指标的基础明细数据进行反向查询。将所查询到的与目标指标关联的因子指标、基础明细数据等逐层展示在终端屏幕中。
本实施例中，在对指标从基础明细数据计算得到指标值后，再由指标值回溯基础明细数据形成闭环，使得用户通过一个***便能了解指标的基础明细数据，从而提高了使用的便捷性，以及对数据进行查询和处理的效率。
在一个实施例中，如图6所示，所述方法还包括：
步骤S610，通过指标加工服务获取输入文本。
步骤S620，通过指标加工服务将输入文本与预先创建的索引数据中的分词单元进行匹配，得到目标分词单元。
步骤S630，获取与目标分词单元匹配的指标对应的指标数据。
具体地，为了使数据处理***能够快速检索到用户想要查询的内容，在本实施例中，预先构建了索引数据。以下对索引数据的一种生成方式进行说明：从数据处理***中获取所有的结构化和非结构化数据，从所获取的结构化和非结构化数据中提取信息，创建索引数据。对索引数据进行语言处理和词法分析，得到多个分词单元(token)。分词可以采用基于字符串匹配的分词方法、词义分词法、统计分词法等，也可以基于ES(Elasticsearch，一种搜索和分析引擎)分词器。
指标加工服务在接收到用户的输入文本后，将输入文本与分词单元进行匹配。获取与输入文本匹配的目标分词单元。进而查找与目标分词单元匹配的指标，并获取与目标分词单元匹配的指标对应指标数据。
进一步地，除了检索指标外，还可以参照上述方式对数据处理***中所包含的相关文件，例如制度性文件等建立索引，从而使用户能够快速查找到想要浏览的文件。
进一步地，当数据处理***中存在新增的文件以及指标等数据时，可以根据新增的文件以及指标等数据生成索引数据的增量更新数据，对已建立的索引数据进行增量更新。
本实施例中，通过预先建立索引数据，在用户想要自主模糊查询文件或指标等信息时，可以根据索引数据快速检索到对应的文件或者指标等信息，从而加快检索响应时间，提高了数据处理效率。
在一个实施例中，如图7所示，提供了一种风险管控数据处理方法，以该方法应用于服务器为例进行说明，包括以下步骤：
步骤S701，通过数据预处理服务根据预设的源数据采集频率采集源数据。其中，源数据可以是源***中的已存储的数据，也可以是用户手动上传的数据。获取源数据的过程基于微服务架构，包括三个逻辑层：数仓层、集市层和应用层。
步骤S702，判断源数据是否采集成功。若采集失败，则继续执行步骤S703；若采集成功，则继续执行步骤S704。
步骤S703，执行重新采集任务。重新采集可以通过数据预处理服务自动执行，直至采集成功或者当前时刻到达预设时刻；也可以通过人工干预，由用户手动上传。
步骤S704，通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加工，得到基础明细数据。
步骤S705，判断是否加工成功。若加工失败，则继续执行步骤S706；否则执行步骤S707。
步骤S706，通过人工干预的方式处理。
步骤S707，存储得到的基础明细数据。
步骤S708，定时获取已存储的基础明细数据。
步骤S709，通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
步骤S710，在获取待处理指标的任务开始时，检测是否已存在与待处理指标对应的风险关联数据。若存在，则继续执行步骤S711；否则结束流程。
步骤S711，根据待处理指标的指标加工方式，逐层识别待处理指标对应的因子指标，直至识别到基础指标。
步骤S712，检测待处理指标的呈报状态是否已提交。若已提交，则继续执行步骤S713；否则执行步骤S715。
步骤S713，逐层计算待处理指标的因子指标，并根据待处理指标的因子指标得到待处理指标的处理结果。
步骤S714，将待处理指标的处理结果***至相应的数据表中。
步骤S715，检测待处理指标是否为挂起状态。若为挂起状态，则结束流程；否则执行步骤S716。
步骤S716，将待处理指标的呈报任务修改为挂起。
步骤S717，发送提示信息。
在一个实施例中，如图8所示，提供了一种风险预警规则前置数据监控方法，以该方法应用于图1中的服务器120为例进行说明，包括以下步骤：
步骤S810，获取待监控风险类别对应的业务数据。
步骤S820，根据上述任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据。
其中，业务数据可以是当前时刻从多个源***获取的源数据。具体地，本实施例中对数据进行预警前置处理，不限于应用于投资产品限额管理，例如债券、可转债等；以及权益投资产品，例如股票、股指期货等。数据处理***根据预设的源数据采集频率从多个源***中获取业务数据。根据上述任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据。
步骤S830，获取待监控风险类别的指标预警区间，指标预警区间是基于动态分布算法对历史业务数据进行处理得到。
步骤S840，基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。
其中，动态分布算法不限于采用动态分布函数。具体地，预先获取历史业务数据，例如，历史三年的业务数据。基于动态分布算法对所获取的历史业务数据进行计算分析，将所得到的数据区间作为当前时刻的指标预警区间。采用预设算法判断当前时刻待监控风险类别的指标数据是否超出指标预警区间。预设算法可以是方差-协方差法、历史模拟法、蒙特卡洛模拟法等。若超出指标预警区间，可以返回预警信息。示例性地，待监控风险类别下的指标为市场风险计量-风险价值(VaR)。其中，风险价值是在给定的置信水平下和一定持有期内，估算最大损失。若判断上述当前投资业务所承受的风险价值达到目标值后，则禁止投资机构对该投资业务的业务处理。
上述风险预警规则前置数据监控方法，根据上述任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据；获取待监控风险类别的指标预警区间；基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。通过采用上述风险管控数据处理方法对业务数据进行处理，为风险监控预警规则前置提供准确依据，可以实现准确地风险监控，对于业务进行事前风险管控，形成风险业务数据处理及预警规则前置的风险管控数据处理闭环管理。
在一个实施例中，如图9提供了一种具体的风险管控数据处理以及风险管控预警规则前置方法(参照图9a，提供了风险管控数据处理以及预警规则前置的流程示意图)，包括以下步骤：
步骤S901，获取历史业务数据。
步骤S902，基于动态分布算法对历史业务数据进行处理，得到指标预警区间。其中，指标预警区间包括指标预警基准值、浮动系数、超限区间等数据。
具体地，在获取历史业务数据后，计算历史业务数据的平均值、方差以及动态分布函数。根据历史业务数据的平均值和方差计算指标预警基准值以及浮动系数。根据历史业务数据的动态分布函数计算分布区间以及超限区间等数据。
步骤S903，获取待监控风险类别对应的业务数据。
步骤S904，根据上述任一项实施例所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据。
步骤S905，调用预先配置的风险规则模型。
步骤S906，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种风险管控数据处理装置1000，包括：数据收集模块1001、数据预处理模块1002、风险关联数据生成模块1003、获取模块1004和指标加工模块1005，其中：
数据收集模块1001，用于通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取源数据的过程基于微服务架构进行，微服务架构随着源***的增多而扩展；数据预处理模块1002，用于通过数据预处理服务根据预先部署的源数据加工方式，对已获取的源数据进行数据清洗与数据加加工，得到基础明细数据；风险关联数据生成模块1003，用于通过数据预处理服务根据预先部署的多个风险类别，对基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；获取模块1004，用于通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与待处理指标对应的指标加工方式；指标加工模块1005，用于通过待处理指标的指标加工服务以及每个风险类别对应的风险关联数据，对待处理指标进行加工。
在一个实施例中，风险关联数据生成模块1003，包括：源数据筛选单元，用于通过数据预处理服务，从已得到的源数据中获取与每个逻辑模型主题对应的源数据，多个风险类别包含在预先配置的风险主题中，风险主题为预先配置的逻辑模型主题的风险分类细化；数据加工单元，用于通过数据预处理服务对每个逻辑模型主题对应的源数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据。
在一个实施例中，数据收集模块1001，包括：获取单元，用于通过数据预处理服务根据预设的源数据采集频率采集源***的源数据；校验信息确定单元，用于通过数据预处理服务根据预先配置的数据校验规则，得到对源数据进行校验的校验信息；校验单元，用于通过数据预处理服务根据校验信息对源数据进行校验；保存单元，用于通过数据预处理服务在对源数据检验符合要求时，保存源数据。
在一个实施例中，所述装置还包括：数据筛选模块，用于通过图谱构建服务响应于对目标风险类别及关联集中度风险的图谱构建请求，获取目标风险类别及关联集中度风险对应的基础明细数据；数据生成模块，用于通过图谱构建服务根据目标风险类别及关联集中度风险对应的基础明细数据，生成预设维度的多个数据；排序模块，用于通过图谱构建服务对预设维度的多个数据进行排序；图谱构建模块，用于通过图谱构建服务将排序后的预设维度的多个数据映射至预先配置的图形库，生成展示图谱。
在一个实施例中，所述装置还包括：第一获取模块，用于通过指标加工服务响应于对目标指标的明细查询请求，获取目标指标的指标加工方式；明细数据查询模块，用于通过指标加工服务根据目标指标的指标加工方式，逐层查询得到与目标指标对应的基础明细数据。
在一个实施例中，所述装置还包括：加工任务配置模块，用于通过指标加工服务根据所述待处理指标的指标加工方式，实时重新配置待处理指标的重新加工任务；加工时刻确定模块，用于根据待处理指标的指标采集频率生成待处理指标的下一次加工时刻；数据处理模块，用于在检测当前时刻到达下一次加工时刻时，从所述源***中获取新源数据，并根据新源数据对所述待处理指标再次进行加工。
在一个实施例中，所述装置还包括：第二获取模块，用于通过指标加工服务获取输入文本；匹配模块，用于通过指标加工服务将输入文本与预先创建的索引数据中的分词单元进行匹配，得到目标分词单元；第三获取模块，用于获取与目标分词单元匹配的指标对应的指标数据。
在一个实施例中，微服务架构中的各个服务为单独运行的进程；每个服务对应主服务器和备服务器，当运行于主服务器中的服务出现故障时，则调用运行在备服务器中的服务。
在一个实施例中，如图11所示，提供了一种风险预警规则前置数据监控装置1100，包括：第一获取模块1101、数据处理模块1102、第二获取模块1103和数据监控模块1104，其中：
第一获取模块1101，用于获取待监控风险类别对应的业务数据；数据处理模块1102，用于根据上述任一项所述的风险管控数据处理方法对待监控风险类别对应的业务数据进行处理，确定待监控风险类别对应的指标数据；第二获取模块1103，用于获取待监控风险类别的指标预警区间，指标预警区间是基于动态分布算法对历史业务数据进行处理得到；数据监控模块1104，用于基于预先配置的风险规则模型，根据待监控风险类别对应的指标数据以及指标预警区间，对待监控风险类别对应的业务数据进行前置风险管控。
关于数据管控数据处理装置和风险预警规则前置数据监控装置的具体限定可以参见上文中对于数据管控数据处理方法和风险预警规则前置数据监控方法的限定，在此不再赘述。上述数据管控数据处理装置和风险监控预警规则前置装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储从多个源***获取的源数据、基础明细数据以及指标数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种风险管控数据处理方法以及一种风险预警规则前置数据监控方法。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项实施例所述的风险管控数据处理方法以及一种风险预警规则前置数据监控方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的风险管控数据处理方法以及一种风险预警规则前置数据监控方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种风险管控数据处理方法，其特征在于，所述方法包括：
通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取所述源数据的过程基于微服务架构进行，所述微服务架构随着所述源***的增多而扩展；
通过所述数据预处理服务根据预先部署的源数据加工方式，对已获取的所述源数据进行数据清洗与数据加工，得到基础明细数据；
通过所述数据预处理服务根据预先部署的多个风险类别，对所述基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；
通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与所述待处理指标对应的指标加工方式；
通过所述指标加工服务根据所述待处理指标的指标加工方式以及每个风险类别对应的风险关联数据，对所述待处理指标进行加工。
2.根据权利要求1所述的方法，其特征在于，所述通过所述数据预处理服务根据预先部署的多个风险类别，对所述基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据，包括：
通过所述数据预处理服务，从已得到的所述源数据中获取与每个逻辑模型主题对应的源数据，所述多个风险类别包含在预先配置的风险主题中，所述风险主题为预先配置的逻辑模型主题的风险分类细化；
通过所述数据预处理服务对所述每个逻辑模型主题对应的源数据进行加工、整合和归类处理，生成所述每个风险类别对应的风险关联数据。
3.根据权利要求1所述的方法，其特征在于，所述通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，包括：
通过所述数据预处理服务根据预设的源数据采集频率采集源***的源数据；
通过所述数据预处理服务根据预先配置的数据校验规则，得到对所述源数据进行校验的校验信息；
通过所述数据预处理服务根据所述校验信息对所述源数据进行校验；
通过所述数据预处理服务在对所述源数据检验符合要求时，保存所述源数据。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过图谱构建服务响应于对目标风险类别及关联集中度风险的图谱构建请求，获取所述目标风险类别及所述关联集中度风险对应的基础明细数据；
通过所述图谱构建服务根据所述目标风险类别及所述关联集中度风险对应的基础明细数据，生成预设维度的多个数据；
通过所述图谱构建服务对所述预设维度的多个数据进行排序；
通过所述图谱构建服务将排序后的所述预设维度的多个数据映射至预先配置的图形库，生成展示图谱。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述指标加工服务实时响应于对目标指标的明细查询请求，获取所述目标指标的指标加工方式；
通过所述指标加工服务根据所述目标指标的指标加工方式，逐层查询得到与所述目标指标对应的基础明细数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述待处理指标进行加工之后，还包括：
通过所述指标加工服务根据所述待处理指标的指标加工方式，实时重新配置所述待处理指标的重新加工任务；
根据所述待处理指标的指标采集频率生成所述待处理指标的下一次加工时刻；
在检测当前时刻到达所述下一次加工时刻时，从所述源***中获取新源数据，并根据所述新源数据对所述待处理指标再次进行加工。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述指标加工服务获取输入文本；
通过所述指标加工服务将所述输入文本与预先创建的索引数据中的分词单元进行匹配，得到目标分词单元；
获取与所述目标分词单元匹配的指标对应的指标数据。
8.根据权利要求1～7任一项所述的方法，其特征在于，所述微服务架构中的各个服务为单独运行的进程；每个服务对应主服务器和备服务器，当运行于所述主服务器中的服务出现故障时，则调用运行在所述备服务器中的服务。
9.一种风险预警规则前置数据监控方法，其特征在于，所述方法包括：
获取待监控风险类别对应的业务数据；
根据权利要求1～8任一项所述的风险管控数据处理方法对所述待监控风险类别对应的业务数据进行处理，确定所述待监控风险类别对应的指标数据；
获取所述待监控风险类别的指标预警区间，所述指标预警区间是基于动态分布算法对历史业务数据进行处理得到；
基于预先配置的风险规则模型，根据所述待监控风险类别对应的指标数据以及指标预警区间，对所述待监控风险类别对应的业务数据进行前置风险管控。
10.一种风险管控数据处理装置，其特征在于，所述装置包括：
数据收集模块，用于通过数据预处理服务根据预设的源数据采集频率从多个源***中获取源数据，获取所述源数据的过程基于微服务架构进行，所述微服务架构随着所述源***的增多而扩展；
数据预处理模块，用于通过所述数据预处理服务根据预先部署的源数据加工方式，对已获取的所述源数据进行数据清洗与数据加加工，得到基础明细数据；
风险关联数据生成模块，用于通过所述数据预处理服务根据预先部署的多个风险类别，对所述基础明细数据进行加工、整合和归类处理，生成每个风险类别对应的风险关联数据；
获取模块，用于通过指标加工服务获取每个风险类别下，满足指标采集频率的待处理指标以及与所述待处理指标对应的指标加工方式；
指标加工模块，用于通过所述待处理指标的指标加工服务以及每个风险类别对应的风险关联数据，对所述待处理指标进行加工。
11.一种风险预警规则前置数据监控装置，其特征在于，所述装置包括：
第一获取模块，用于获取待监控风险类别对应的业务数据；
数据处理模块，根据权利要求1～8任一项所述的风险管控数据处理方法对所述待监控风险类别对应的业务数据进行处理，确定所述待监控风险类别对应的指标数据；
第二获取模块，用于获取所述待监控风险类别的指标预警区间，所述指标预警区间是基于动态分布算法对历史业务数据进行处理得到；
数据监控模块，用于基于预先配置的风险规则模型，根据所述待监控风险类别对应的指标数据以及指标预警区间，对所述待监控风险类别对应的业务数据进行前置风险管控。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～9任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～9任一项所述的方法的步骤。
CN202011612815.7A 2020-12-29 2020-12-29 风险管控数据处理方法、风险预警规则前置数据监控方法 Pending CN112613789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011612815.7A CN112613789A (zh) 2020-12-29 2020-12-29 风险管控数据处理方法、风险预警规则前置数据监控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011612815.7A CN112613789A (zh) 2020-12-29 2020-12-29 风险管控数据处理方法、风险预警规则前置数据监控方法

Publications (1)

Publication Number Publication Date
CN112613789A true CN112613789A (zh) 2021-04-06

Family

ID=75249699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011612815.7A Pending CN112613789A (zh) 2020-12-29 2020-12-29 风险管控数据处理方法、风险预警规则前置数据监控方法

Country Status (1)

Country Link
CN (1) CN112613789A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222611A (zh) * 2021-05-21 2021-08-06 中国农业银行股份有限公司 卡片安全级别识别方法、装置、设备、存储介质及产品
CN113485982A (zh) * 2021-05-19 2021-10-08 国网河北省电力有限公司衡水供电分公司 电力业务数据显示方法、装置和终端设备
CN113657542A (zh) * 2021-08-27 2021-11-16 中大检测(湖南)股份有限公司 一种多维度关联预警***
CN113821546A (zh) * 2021-07-29 2021-12-21 北京金玖银玖数字科技有限公司 基于多元数据分层的实时预警方法及装置
CN114155085A (zh) * 2021-11-12 2022-03-08 四川新网银行股份有限公司 一种基于表达式引擎的风险指标自动预警的方法、***
CN114647555A (zh) * 2022-05-13 2022-06-21 太平金融科技服务（上海）有限公司 基于多业务***的数据预警方法、装置、设备和介质
CN115187153A (zh) * 2022-09-14 2022-10-14 杭银消费金融股份有限公司 应用于业务风险溯源的数据处理方法及***
CN115796597A (zh) * 2022-12-20 2023-03-14 东方邦信金融科技(上海)有限公司 风险压力测试***、方法及设备
CN116483822A (zh) * 2023-06-21 2023-07-25 建信金融科技有限责任公司 业务数据预警方法、装置、计算机设备、存储介质
CN116629620A (zh) * 2023-07-26 2023-08-22 太平金融科技服务(上海)有限公司深圳分公司 一种风险等级确定方法、装置、电子设备及存储介质
CN116881200A (zh) * 2023-09-07 2023-10-13 四川竺信档案数字科技有限责任公司 一种多中心分布式电子档案数据安全管理方法及***
CN118132996A (zh) * 2024-05-06 2024-06-04 南京励业智能科技有限公司 一种基于工业数字孪生的自适应生产调度优化方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485982A (zh) * 2021-05-19 2021-10-08 国网河北省电力有限公司衡水供电分公司 电力业务数据显示方法、装置和终端设备
CN113222611A (zh) * 2021-05-21 2021-08-06 中国农业银行股份有限公司 卡片安全级别识别方法、装置、设备、存储介质及产品
CN113821546A (zh) * 2021-07-29 2021-12-21 北京金玖银玖数字科技有限公司 基于多元数据分层的实时预警方法及装置
CN113657542A (zh) * 2021-08-27 2021-11-16 中大检测(湖南)股份有限公司 一种多维度关联预警***
CN114155085A (zh) * 2021-11-12 2022-03-08 四川新网银行股份有限公司 一种基于表达式引擎的风险指标自动预警的方法、***
CN114647555A (zh) * 2022-05-13 2022-06-21 太平金融科技服务（上海）有限公司 基于多业务***的数据预警方法、装置、设备和介质
CN115187153A (zh) * 2022-09-14 2022-10-14 杭银消费金融股份有限公司 应用于业务风险溯源的数据处理方法及***
CN115187153B (zh) * 2022-09-14 2022-12-09 杭银消费金融股份有限公司 应用于业务风险溯源的数据处理方法及***
CN115796597A (zh) * 2022-12-20 2023-03-14 东方邦信金融科技(上海)有限公司 风险压力测试***、方法及设备
CN116483822A (zh) * 2023-06-21 2023-07-25 建信金融科技有限责任公司 业务数据预警方法、装置、计算机设备、存储介质
CN116483822B (zh) * 2023-06-21 2023-09-26 建信金融科技有限责任公司 业务数据预警方法、装置、计算机设备、存储介质
CN116629620A (zh) * 2023-07-26 2023-08-22 太平金融科技服务(上海)有限公司深圳分公司 一种风险等级确定方法、装置、电子设备及存储介质
CN116629620B (zh) * 2023-07-26 2024-02-02 太平金融科技服务(上海)有限公司深圳分公司 一种风险等级确定方法、装置、电子设备及存储介质
CN116881200A (zh) * 2023-09-07 2023-10-13 四川竺信档案数字科技有限责任公司 一种多中心分布式电子档案数据安全管理方法及***
CN116881200B (zh) * 2023-09-07 2024-01-16 四川竺信档案数字科技有限责任公司 一种多中心分布式电子档案数据安全管理方法及***
CN118132996A (zh) * 2024-05-06 2024-06-04 南京励业智能科技有限公司 一种基于工业数字孪生的自适应生产调度优化方法
CN118132996B (zh) * 2024-05-06 2024-07-02 南京励业智能科技有限公司 一种基于工业数字孪生的自适应生产调度优化方法

Similar Documents

Publication Publication Date Title
CN112613789A (zh) 风险管控数据处理方法、风险预警规则前置数据监控方法
CN109543096B (zh) 数据查询方法、装置、计算机设备和存储介质
US10789651B2 (en) System and method for evaluating text to support multiple applications
CN110796470B (zh) 一种面向市场主体监管和服务的数据分析***
CN111324602A (zh) 一种实现面向金融大数据分析可视化方法
US20180181641A1 (en) Recommending analytic tasks based on similarity of datasets
US20210311980A1 (en) System to determine a credibility weighting for electronic records
US9626081B2 (en) System for classification code selection
CN112527774A (zh) 数据中台搭建方法、***及存储介质
US11379466B2 (en) Data accuracy using natural language processing
CN112364182B (zh) 基于图特征的企业风险传导预测方法、设备及存储介质
CN111737335B (zh) 产品信息集成处理方法、装置、计算机设备和存储介质
CN114997916A (zh) ***的预测方法、***、电子设备和存储介质
CN113538154A (zh) 风险对象的识别方法、装置、存储介质和电子设备
CN115640300A (zh) 一种大数据管理方法、***、电子设备和存储介质
CN112631889B (zh) 针对应用***的画像方法、装置、设备及可读存储介质
Cao et al. Simulation-informed revenue extrapolation with confidence estimate for scaleup companies using scarce time-series data
CN115982429B (zh) 一种基于流程控制的知识管理方法及***
CN115292274B (zh) 一种数据仓库主题模型构建方法和***
CN112699245A (zh) 预算管理知识图谱的构建方法、装置及应用方法、装置
CN116187675A (zh) 任务分配方法、装置、设备及存储介质
CN114490571A (zh) 一种建模方法、服务器及存储介质
CN114495137A (zh) 票据异常检测模型生成方法与票据异常检测方法
US12050568B2 (en) System and method for implementing a data quality framework and engine
US20240086379A1 (en) System and method for implementing a data quality framework and engine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination