CN115170315A - 监控报告生成方法及装置、存储介质及电子设备 - Google Patents
监控报告生成方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115170315A CN115170315A CN202210820576.7A CN202210820576A CN115170315A CN 115170315 A CN115170315 A CN 115170315A CN 202210820576 A CN202210820576 A CN 202210820576A CN 115170315 A CN115170315 A CN 115170315A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- model
- index
- business model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Educational Administration (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Technology Law (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种监控报告生成方法及装置、存储介质及电子设备,该方法包括:确定模型监控指令对应的业务模型;从各个数据表中获得与业务模型相关联的目标数据,目标数据包括业务模型所依赖的源数据和业务模型的运行结果数据中的至少一种;根据目标数据生成业务模型的各个监控指标;根据各个监控指标和业务模型对应的监控报告模板,生成业务模型的监控报告,监控报告至少包括业务模型的监控结果、风险等级、智能专家意见;在监控结果异常的情况下,将监控报告发往业务模型对应的模型管理方,以指示模型管理方优化业务模型,应用本发明实施例提供的方法,能够准确地对模型进行监控,提高监控广度和灵活性,减少模型风险和人工操作风险。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种监控报告生成方法及装置、存储介质及电子设备。
背景技术
随着大数据分析和人工智能的深入推进,越来越多领域应用数据模型来处理业务,为了保障业务运行的稳定,需要对模型进行监控。
目前,通常是通过人工的方式对模型进行监控和验证,然而,随着模型数量和复杂度日益提升,验证与撰写报告的工作量不断增多,造成人工成本高,并且通过人工监控和验证的方式,无法准确监控各模型的运行情况,还可能额外引入操作风险,不利于模型的管理。
发明内容
本发明所要解决的技术问题是提供一种监控报告生成方法,能够及时准确地对模型进行监控,减少人工操作风险。
本发明还提供了一种监控报告生成装置,用以保证上述方法在实际中的实现及应用。
一种监控报告生成方法,包括:
响应于模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
上述方法,可选的,所述确定所述模型监控指令对应的业务模型,包括:
对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
获取所述执行参数中的模型标识;
根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
上述方法,可选的,所述从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,包括:
获取所述执行参数中的验证时间点;
到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
上述方法,可选的,所述根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标,包括:
根据所述指标参数确定所述业务模型的各个监控指标计算方式;
基于所述目标数据以及每个所述监控指标计算方式,计算得到所述业务模型的每个监控指标。
上述方法,可选的,所述根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,包括:
获取所述业务模型对应的监控报告模板,所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块,每个所述模块的内容样式包括图片、表格和文本中的至少一种;
确定各个所述监控指标之间的关系,所述关系包括勾稽关系和制约关系中的至少一种;
根据各个所述监控指标以及各个所述监控指标之间的关系,生成所述监控报告模板所需的管理数据;
根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板,生成所述业务模型的监控报告。
一种监控报告生成装置,包括:
确定单元,用于响应模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
执行单元,用于从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
第一生成单元,用于根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
第二生成单元,用于根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
上述的装置,可选的,所述确定单元,包括:
解析子单元,用于对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
第一获取子单元,用于获取所述执行参数中的模型标识;
确定子单元,用于根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
上述的装置,可选的,所述执行单元,包括:
第二获取子单元,用于获取所述执行参数中的验证时间点;
第一执行子单元,用于到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
第二执行子单元,用于通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
一种存储介质,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的监控报告生成方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如上述的监控报告生成方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种监控报告生成方法及装置、存储介质及电子设备,该方法包括:响应于模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。能够准确地对模型进行监控,提高监控广度和灵活性,减少模型风险和人工操作风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种监控报告生成方法的方法流程图;
图2为本发明提供的一种生成业务模型的各个监控指标的过程的流程图;
图3为本发明提供的一种生成业务模型的监控报告的过程的流程图;
图4为本发明提供的一种监控报告生成装置的结构示意图;
图5为本发明提供的一种电子设备的结构示意图;
图6为本发明提供的一种监控报告生成过程的示例图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种监控报告生成方法,该方法可以应用于电子设备,所述方法的方法流程图如图1所示,具体包括:
S101:响应于模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数。
在本实施例中,可以先接收模型监控指令,模型监控指令可以是用户点击预设的控件触发的指令,也可以是用户点击预设的功能按键触发的指令,还可以是一些应用程序在运行过程中自动触发的指令。
可选的,模型监控指令可以用户指示对业务模型进行监控。
其中,业务模型可以为各类模型,例如,可以是信用风险评估模型、恶意交易识别模型、反欺诈模型等。
可选的,监控配置参数可以是模型监控指令所对应的模型监控指标体系的参数,根据数据源参数可以确定出业务模型的数据源,根据指标参数可以确定出业务模型的监控指标,根据指标阈值参数可以确定出监控指标的指标阈值。
在一些实施例中,可以接收用户对监控配置参数的修改操作,根据修改操作中的修改信息对监控配置参数进行调整,获得更新后的监控配置参数,可以根据更新后的监控配置参数生成监控报告。
S102:从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种。
在本实施例中,目标数据还可以包括业务模型的模型信息、依赖于所述运行结果数据的业务数据等,其中,源数据、运行结果数据、模型信息和业务数据等均包括多个目标字段,可以从各个数据表中抽取各个目标字段,由各个目标字段组成目标数据。
S103:根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标。
在本实施例中,可以对目标数据中的各个目标字段进行加工计算,获得业务模型的监控指标。
可选的,监控指标可以包括但不限于区分力指标、区分力稳定性指标、群体稳定性指标、审慎性指标、准确性指标、一致性指标、全面性指标等。
其中,数据表可以是客户基础信息表、征信表、产品表、贷款交易流水表、评级申请表、中间结果表、评级结果表等。
S104:根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
在本实施例中,风险指示信息可以根据风险等级生成,模型优化指示信息可以根据监控结果生成,监控报告模型可以包括已填充数据的模型基本信息模块、数据监控模块、模型能力模块和监控意见模块等其中至少一种。
在一些实施例中,在所述监控结果表征所述业务模型存在异常的情况下,将所述监控报告发往所述业务模型对应的模型管理方,以指示所述模型管理方优化所述业务模型。
在本实施例中,监控结果可以根据至少一个监控指标与该监控指标对应的指标预警阈值比较得到。
可选的,监控结果可以归属于监控报告的模型意见模块,监控意见模块中的监控意见是根据监控指标自动给出的智能文本,包含了基本结论和优化意见,基本结论也即监控结果。
能够准确地对模型进行监控,提高监控广度和灵活性,减少模型风险和人工操作风险。
在本发明提供的一实施例中,基于上述的方案,可选的,所述确定所述模型监控指令对应的业务模型,包括:
对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
获取所述执行参数中的模型标识;
根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
在本实施例中,执行参数可以包括至少一个模型标识,可以将每个模型标识与各个备选业务模型的标识进行比对,若备选业务模型的标识与该模型标识一致,则确定该备选业务模型为监控指令对应的业务模型。
在本发明提供的一实施例中,基于上述的方案,可选的,所述从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,包括:
获取所述执行参数中的验证时间点;
到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
在本实施例中,执行参数中还可以包括至少一个验证时间点,到达每个验证时间点时,可以通过数据库组件在数据库的各个数据表中获得与业务模型相关联的目标数据,然后根据每个验证时间点获取到的目标数据,获得业务模型在每个验证时间点下的监控指标;根据业务模型在各个验证时间点下的监控指标以及监控报告模型,生成监控报告,从而能够实现多个验证时间点采集到的监控指标之间的相互验证和核对,提升了监控报告的准确性。
在本发明提供的一实施例中,基于上述的方案,可选的,所述根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标的过程,如图2所示,包括:
S201:根据所述指标参数确定所述业务模型的各个监控指标计算方式。
在本实施例中,先确定业务模型的模型监控指标体系,模型监控指标体系包括指标参数、每个指标参数对应的监控指标计算方式、监控指标之间的关系以及指标预警阈值,可以根据指标参数确定业务模型的各个监控指标计算方式。
S202:基于所述目标数据以及每个所述监控指标计算方式,计算得到所述业务模型的每个监控指标。
在本实施例中,目标数据包括多个目标字段,根据每个监控指标计算方式以及每个监控指标计算方式所需的目标字段,计算出每个监控指标计算方式对应的监控指标。
在本发明提供的一实施例中,基于上述的方案,可选的,所述根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告的过程,如图3所示,包括:
S301:获取所述业务模型对应的监控报告模板,所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块,每个所述模块的内容样式包括图片、表格和文本中的至少一种。
在本实施例中,在业务模型的数量为多个的情况下,各业务模型的监控报告模板可以相同或不同。
其中,监控报告模板包含了符合内外部管理需求的章节框架,如至少应当包含数据检验和模型能力验证等内容,以及相应的图片、表格、文本样式,保证模板的规范性。同时,用户可自定义对获取的指标进行二次加工,满足模板的灵活性。监控报告模板具有智能词条功能,智能词条功能可依据实际数据结果给出分析意见或结论,部分替代专家分析。
S302:确定各个所述监控指标之间的关系,所述关系包括勾稽关系和制约关系中的至少一种。
在本实施例中,可以根据业务模型的模型监控指标体系确定业务模型的各指标之间的关系。
S303:根据各个所述监控指标以及各个所述监控指标之间的关系,生成所述监控报告模板所需的管理数据。
在本实施例中,监控指标和管理数据可以用于生成监控报告的智能词条。
S304:根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板,生成所述业务模型的监控报告。
在本实施例中,可以确定各个监控指标以及管理数据在监控报告模板中的填充位置,根据每个监控指标的填充位置以及管理数据的填充位置,将每个监控指标以及管理数据填充到监控报告模板中,以生成业务模型的监控报告,还可以根据指标阈值参数确定各个监控指标对应的指标阈值,将至少一个监控指标与所述至少一个监控指标对应的指标阈值进行比较,从而生成监控结果以及风险等级,根据监控结果以及风险等级中的至少一种生成提示信息,以获得业务模型的监控报告。
与图1所述的方法相对应,本发明实施例还提供了一种监控报告生成装置,用于对图1中方法的具体实现,本发明实施例提供的监控报告生成装置可以应用于电子设备中,其结构示意图如图4所示,具体包括:
确定单元401,用于响应模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
执行单元402,用于从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
第一生成单元403,用于根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
第二生成单元404,用于根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
在本发明提供的一实施例中,基于上述的方案,具体的,所述确定单元401,包括:
解析子单元,用于对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
第一获取子单元,用于获取所述执行参数中的模型标识;
确定子单元,用于根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
在本发明提供的一实施例中,基于上述的方案,具体的,所述执行单元402,包括:
第二获取子单元,用于获取所述执行参数中的验证时间点;
第一执行子单元,用于到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
第二执行子单元,用于通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
在本发明提供的一实施例中,基于上述的方案,具体的,所述第一生成单元,包括:
第一处理子单元,用于根据所述指标参数确定所述业务模型的各个监控指标计算方式;
计算子单元,用于基于所述目标数据以及每个所述监控指标计算方式,计算得到所述业务模型的每个监控指标。
在本发明提供的一实施例中,基于上述的方案,具体的,所述第二生成单元,包括:
第三获取子单元,用于获取所述业务模型对应的监控报告模板,所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块,每个所述模块的内容样式包括图片、表格和文本中的至少一种;
第二处理子单元,用于确定各个所述监控指标之间的关系,所述关系包括勾稽关系和制约关系中的至少一种;
第一生成子单元,用于根据各个所述监控指标以及各个所述监控指标之间的关系,生成所述监控报告模板所需的管理数据;
第二生成单元,用于根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板,生成所述业务模型的监控报告。
上述本发明实施例公开的监控报告生成装置中的各个单元和模块具体的原理和执行过程,与上述本发明实施例公开的监控报告生成方法相同,可参见上述本发明实施例提供的监控报告生成方法中相应的部分,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述监控报告生成方法。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
响应于模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
目前,模型的前提条件和参数设定出现错误,或者模型被不恰当的使用,可能造成严重的经济损失、声誉损失等,同时模型监测报告通常涉及大量数据分析和文本描述。本发明可将各种管理规范嵌入到自动生成模型监测报告的流程中,形成指标体系、模板体系、自动生成报告工具的完整方案及装置。本发明可有效减少人工操作、提高报告效率、减少文本撰写工作量。如图6所示,为本发明提供的一种监控报告生成过程的示例图,具体如下:
通过数据库组件可以调用各个模型所依赖的源数据,以及模型运行的结果数据。
模型监控指标体系包含了各个指标的计算逻辑、指标间的勾稽关系和制约关系、指标预警阈值等内容。将源数据加工成撰写模型监控报告所需的指标和管理用数据。
模型监控模板体系包含了符合内外部管理需求的章节框架,如至少应当包含数据检验和模型能力验证等内容,以及相应的图片、表格、文本样式,保证模板的规范性。同时,用户可自定义对获取的指标进行二次加工,满足模板的灵活性。最后,智能词条功能可依据实际数据结果给出分析意见或结论,部分替代专家分析。
报告生成组件包括输入执行参数并一键执行、报告预览、下载、导出的功能。同时,在触发预警条件时向管理员自动发送报告的功能。
在本实施例中提供的方案中,可以自动地调用相关数据,进行智能整合与分析,自动给出模型运行判定结果,减少对人工分析的依赖。
在本实施例中提供的方案中,提高了模型监控情况的可视化程度。以报表、图片或文本形式展示分析结果,生成图文并茂的监控报告。
在本实施例中提供的方案中,可以根据预先设定的阈值,对模型的各项指标实现报警,提高模型管理的及时性。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种监控报告生成方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种监控报告生成方法,其特征在于,包括:
响应于模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
2.根据权利要求1所述的方法,其特征在于,所述确定所述模型监控指令对应的业务模型,包括:
对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
获取所述执行参数中的模型标识;
根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
3.根据权利要求2所述的方法,其特征在于,所述从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,包括:
获取所述执行参数中的验证时间点;
到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标,包括:
根据所述指标参数确定所述业务模型的各个监控指标计算方式;
基于所述目标数据以及每个所述监控指标计算方式,计算得到所述业务模型的每个监控指标。
5.根据权利要求1所述的方法,其特征在于,所述根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,包括:
获取所述业务模型对应的监控报告模板,所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块,每个所述模块的内容样式包括图片、表格和文本中的至少一种;
确定各个所述监控指标之间的关系,所述关系包括勾稽关系和制约关系中的至少一种;
根据各个所述监控指标以及各个所述监控指标之间的关系,生成所述监控报告模板所需的管理数据;
根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板,生成所述业务模型的监控报告。
6.一种监控报告生成装置,其特征在于,包括:
确定单元,用于响应模型监控指令,确定所述模型监控指令对应的业务模型以及监控配置参数;所述监控配置参数包括数据源参数、指标参数和指标阈值参数;
执行单元,用于从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据,所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种;
第一生成单元,用于根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标;
第二生成单元,用于根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板,生成所述业务模型的监控报告,所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息;所述指示信息包括风险指示信息和模型优化指示信息中的至少一种,所述风险指示信息用于指示所述业务模型的风险,所述模型优化提示信息用于指示优化所述业务模型。
7.根据权利要求6所述的装置,其特征在于,所述确定单元,包括:
解析子单元,用于对所述模型监控指令进行解析,获得所述监控指令中的执行参数;
第一获取子单元,用于获取所述执行参数中的模型标识;
确定子单元,用于根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
8.根据权利要求7所述的装置,其特征在于,所述执行单元,包括:
第二获取子单元,用于获取所述执行参数中的验证时间点;
第一执行子单元,用于到达所述验证时间点时,确定所述数据源参数对应的各个数据表;
第二执行子单元,用于通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
9.一种存储介质,其特征在于,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~5任意一项所述的监控报告生成方法。
10.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求1~5任意一项所述的监控报告生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210820576.7A CN115170315A (zh) | 2022-07-13 | 2022-07-13 | 监控报告生成方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210820576.7A CN115170315A (zh) | 2022-07-13 | 2022-07-13 | 监控报告生成方法及装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170315A true CN115170315A (zh) | 2022-10-11 |
Family
ID=83494069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210820576.7A Pending CN115170315A (zh) | 2022-07-13 | 2022-07-13 | 监控报告生成方法及装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170315A (zh) |
-
2022
- 2022-07-13 CN CN202210820576.7A patent/CN115170315A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427632B (zh) | 自动测试方法及装置 | |
CN106886481B (zh) | 一种***健康度静态分析预测方法及装置 | |
CN109934356B (zh) | 一种基于大数据的机房巡检方法及相关设备 | |
US6973415B1 (en) | System and method for monitoring and modeling system performance | |
CN113434485B (zh) | 一种基于多维分析技术的数据质量健康度分析方法及*** | |
WO2019100576A1 (zh) | 自动化测试管理方法、装置、终端设备及存储介质 | |
US7082381B1 (en) | Method for performance monitoring and modeling | |
CN111475370A (zh) | 基于数据中心的运维监控方法、装置、设备及存储介质 | |
CN109272215B (zh) | 项目开发质量监控方法、装置、计算机设备及存储介质 | |
KR20070080313A (ko) | 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템 | |
US7617313B1 (en) | Metric transport and database load | |
CN112801434A (zh) | 性能指标健康度的监测方法、装置、设备和存储介质 | |
CN113269359A (zh) | 用户财务状况预测方法、设备、介质及计算机程序产品 | |
CN114202256B (zh) | 架构升级预警方法、装置、智能终端及可读存储介质 | |
CN115204733A (zh) | 数据审计方法、装置、电子设备及存储介质 | |
CN116991746B (zh) | 一种软件通用质量特性评估方法和装置 | |
CN111901156B (zh) | 一种监控故障的方法及装置 | |
CN117992304A (zh) | 一种一体化智能运维平台 | |
CN117114412A (zh) | 一种用于危险化学品生产企业的安全预控方法及装置 | |
CN111709117A (zh) | 核电模拟机全寿期过程管理方法及装置 | |
CN111523676A (zh) | 辅助机器学习模型上线的方法及装置 | |
CN115170315A (zh) | 监控报告生成方法及装置、存储介质及电子设备 | |
CN115271277A (zh) | 电力设备画像构建方法、***、计算机设备及存储介质 | |
CN113672497B (zh) | 无埋点事件的生成方法、装置、设备及存储介质 | |
CN115017213A (zh) | 一种敏感数据处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |