CN105761010A - 基于实时数据采集的集团企业稽核实时监控方法及*** - Google Patents

Abstract

本发明公开了基于实时数据采集的集团企业稽核实时监控方法及***，采集在线稽核***的稽核结果数据和财务管控***的账务、报表数据并将数据进行处理后传输至控制器；控制器控制和处理实时采集的两部分业务数据，保证业务数据能够正常的写入实时监控***数据库中；对数据库中存储的稽核结果数据进行实时监控并通过客户端进行展示；能够通过数据采集模块自动获取各业务数据，实时反映稽核结果，实时监控预警。

Description

基于实时数据采集的集团企业稽核实时监控方法及***

技术领域

本发明涉及一种集团企业的稽核业务监控领域，尤其是涉及一种基于实时数据采集的稽核业务监控方法及***。

背景技术

目前用于集团企业稽核业务监控***的数据来源多，业务逻辑复杂，工作周期长。目前一般监控业务***的管理***中由于数据采集的方式主要采用人工手工导入和业务***之间的集成方式，无法做到实时监控。

人工导入，一般通过***提供导入模板通过人工的方式将业务***的数据导入到监控***中。此种数据采集方式效率低，数据的准确性缺乏保证机制，监控的实时性不高。

业务***之间的集成，一般通过数据库之间的ETL软件并通过软件开发的方式，将业务***的数据集成到***监控***中开展监督工作。此种数据采集方式需要业务***是结构化数据，在采集过程中需要人工监控集成后数据，无法做的实时数据采集，影响监督时效性。

发明内容

为解决现有技术存在的不足，本发明公开了基于实时数据采集的集团企业稽核实时监控方法及***，本发明对在线稽核***的结果进行实时监控，对现场专项检查信息进行信息化管理，对业务指标进行实时反映分析，统一检查入口，标准工作流程，降低检查成本，规范检查内容、范围、工作底稿等。

为实现上述目的，本发明的具体方案如下：

基于实时数据采集的集团企业稽核实时监控方法，包括以下步骤：

步骤一：采集在线稽核***的稽核结果数据和财务管控***的账务、报表数据并将数据进行处理后传输至控制器；

步骤二：控制器控制和处理实时采集的两部分业务数据，保证业务数据能够正常的写入实时监控***数据库中；

步骤三：对数据库中存储的稽核结果数据进行实时监控并通过客户端进行展示；

其中，在步骤三中具体包括：

3-1)对专项检查项目按照设定检查内容进行校验并将结果进行汇总并传输至数据库服务器；

3-2)对传输至数据库服务器中的不符合要求的校验结果数据进行整改，建立整改措施，整改单位反馈整改情况，并由发起单位确认是否整改完成；

3-3)创建指标库，由指标组成分析模型，并根据实际需求设置各指标阀值；

分析模型运行时，以获取的财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。

进一步的，在步骤一中，数据采集具体包括采集在线稽核***及财务管控***的数据库日志，对采集的日志进行分析，将分析后的数据进行数据缓存，然后将数据写入相应的数据库。

更进一步的，数据采集通过设置直接读取业务***的数据库日志的方法：通过Logminer工具读取oracle数据库实时产生的日志文件；

数据采集时按照设定的周期获取数据库的增量日志文件，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，对数据进行加密和压缩处理形成消息报文；

建立服务缓冲池与控制器建立链接，采用总线方式将消息报文传输至控制器，控制器将数据写入oracle数据库中。

基于实时数据采集的集团企业稽核实时监控***，包括：

数据采集模块，获取被稽核业务***数据，具体为直接读取业务***的数据库日志并通过总线方式传输数据至控制器；

控制器模块，对采集到的数据进行分析后，写入数据库操作；

数据库服务器，通过建立相应的数据库进行数据存储；

稽核监督模块，用于实现对业务***监控，包括现场稽核检查和***在线稽核检查；

客户端，用于展示实时监控数据。

进一步的，读取业务***的数据库日志之前需要配置业务***数据库的用户和密码从而获取业务***数据库日志访问权限。

进一步的，所述数据采集模块，还包括：

数据库日志采集模块，通过Logminer工具读取oracle数据库实时产生的日志文件，按照设定的周期获取数据库的增量日志文件；

日志分析模块，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，对数据进行加密和压缩处理形成消息报文；

数据缓冲模块，通过建立服务缓冲池实现对数据的缓冲，采用总线方式将消息报文传输至控制器；

数据写入模块，控制器将数据写入数据库中。

进一步的，所述控制器模块控制数据采集模块中内部连接端口、加密算法的选择和内部缓冲空间的设置，控制和处理实时采集的业务数据，保证业务数据能够正常的写入实时监控***数据库中。

更进一步的，所述控制器模块包括数据接收模块、数据转换模块、数据处理模块和数据存储模块；

数据接收模块，用于提供端口设置、连接测试和接收预警功能；通过端口设置来改变接收数据的端口，以符合不同用户的网络环境；连接测试用来保证在使用过程中的可维护性；接收预警用于实现在接收数据出现异常时，能够把信息写入到控制器监控报表中，向用户提供预警信息；

数据转换模块，用于提供转换算法设置和转换预警功能，通过转换算法设置功能满足对不同数据库类型日志数据转换为标准SQL语句；转换预警功能实现当数据日志转换出现异常情况时，能够把信息写入到控制器监控报表中，向用户提供预警信息；

数据处理模块，用于提供数据处理逻辑设置和数据处理预警功能，通过数据处理逻辑设置功能用来满足不同业务处理方式不同的业务要求；数据处理预警功能用来实现当数据处理出现异常情况时，能够把信息反馈到控制器监控报表中，向用户提供预警信息；

数据存储模块，用于提供监控预警和数据统计功能，通过读控制器监控报表，展现整个控制器模块各子模块的运行情况，向用户提供预警信息；数据统计功能用于实现按天、月或年不同统计口径对整个控制器模块处理成功或失败的数据量进行统计。

进一步的，稽核监督模块包括：

专项检查管理模块，以建立稽核项目的方式实现现场稽核检查和***在线稽核检查，提供报告按模板自动生成的功能，并实现历史项目信息查询；

在线稽核检查目前已有成型的外部***，在线稽核***与专项检查管理模块的检查结果接入监控与整改管理模块；

监控与整改管理模块，提供三种模式的监控查询：一是在线稽核项目和现场专项稽核项目结果的监控查询，二是针对集团公司各级单位的检查情况监控查询，三是针对在线稽核具体规则的检查情况监控查询；对于检查过程中发现的问题，需要整改的可引入整改管理，创建整改计划，跟踪整改过程，确认整改结果；

指标预警管理模块，提供灵活设置指标计算模型和指标体系模型的工具，根据实时数据采集到的外部财务管控***中的账务数据和报表数据，计算指标数据，根据阀值提供不同的预警级别。

进一步的，专项检查管理模块包括：

检查内容管理模块，用于建立检查体系，用户可以在此对检查分类、检查要点、检查内容进行日常管理，主要目的是为接下来需要开展的工作做铺垫。

项目管理模块，项目的建立、发布和关闭，主要实现选择项目、工作项管理、组织管理、功能，以满足准备阶段的确定检查项目、成立检查小组、确定检查工作内容的需求。增加项目文书功能，以达到管理项目准备过程中的项目文书资料统一归档的要求。

任务分配模块，项目成员的添加及分工，以满足小组工作分工、人员分工的需求。

工作记录管理模块，用于填写检查后的工作记录、提供工作记录新增、修改和删除功能。按检查事项填写工作记录(检查疑点),工作底稿、生成汇总工作底稿。

工作底稿管理模块，提供新增工作底稿，引用一个或多个工作记录形成问题，填写检查依据、整改意见。工作底稿在保存时，同步在整改问题库生成问题。提供工作底稿的维护功能，支持工作底稿修改和删除。提供按检查分类汇总工作底稿功能。提供汇总工作底稿删除问题功能，不可增加、修改问题。

统计查询模块，统计查询可对***内记录的项目信息进行查询。

进一步的，监控与整改管理模块包括：

稽核监控模块，从稽核对象、稽核项目、稽核规则三种不同维度，对日常稽核、专项在线稽核、定期稽核的稽核结果进行实时查询监控，全方位展示稽核结果的监控数据，协助用户及时发现各业务问题。

问题整改模块，用于实现问题的汇总，整改计划，整改反馈，整改查询。通过问题整改，实现新增整改问题的录入和整改反馈管理功能，可跟踪整改问题的整改过程信息。并可在整改分析中对整改情况统计查询、分析。

进一步的，指标预警管理模块，包括

指标设置管理模块，用于建立指标，设置指标分类、名称、性质、类型及取数或运算公式，建立的指标根据分类形成指标库；

分析模型设置模块，维护分析模型，可新增或引用指标库中的指标，并设置对应的层级和权重，也可对指标公式进行补充；

指标阈值设置模块，用于设置指标对应的阀值区间；

指标预警分析模块，以财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。

本发明的有益效果：

1.本发明对现场检查信息进行信息化管理，统一检查入口，标准工作流程，降低检查成本，规范检查内容、范围、工作底稿等。

2.完善整改机制，使稽核整改工作形成制度化，稽核结果分析和整改流程化、规范化，并对稽核结果统计分析，总结经验。

3.能够通过数据采集模块自动获取各业务数据，实时反映稽核结果，实时监控预警。

4.指标提前预警，按需设置指标阀值，通过按需定制财务、生产指标分析模型，将企业经营数据自动计算、分解至最根本指标，方便企业实时掌握运营动态，了解问题产生的最根本原因。将异动指标及时通知各相关管理层，并以最直观的红、黄、绿灯来标明各指标的预警级别，以引起管理层的不同关注，促进管理提升。

附图说明

图1稽核实时监控***框图；

图2实时数据采集器结构框图；

图3控制器结构框图；

图4专项检查管理模块结构框图；

图5监控与整改管理模块结构框图；

图6指标预警管理模块结构框图。

具体实施方式：

下面结合附图对本发明进行详细说明：

基于实时数据采集的集团企业稽核实时监控方法，包括以下步骤：

步骤一：采集在线稽核***的稽核结果数据和财务管控***的账务、报表数据并将数据进行处理后传输至控制器；

步骤二：控制器控制和处理实时采集的两部分业务数据，保证业务数据能够正常的写入实时监控***数据库中；

步骤三：对数据库中存储的稽核结果数据进行实时监控并通过客户端进行展示。

步骤四：对现场检查常用项目进行分类，固化检查内容。

步骤五：创建专项检查项目，引用步骤四中的检查内容组合，设定检查小组组长及成员，并进行工作任务分配。检查项目分自检自查、内部检查、外部检查、联合检查。

步骤六：小组各成员将检查结果录入到工作记录，所有成员录入完毕汇总形成检查底稿。

步骤七：统计查询可对***内记录的项目信息进行查询。

步骤八：通过将步骤三和步骤六中的问题数据引入到整改模块，也可在整改模块直接新增问题，用于创建整改计划。设置整改单位、需整改内容和期限等。

步骤九：整改计划发起后，整改单位反馈整改情况，并由发起单位确认是否整改完成。确认整改完成的关闭问题。

步骤十：通过指标预警模块功能，逐级设置度量单位和阀值档位，创建指标库，由指标组成分析模型，并根据实际需求设置各指标阀值。

步骤十一：分析模型运行时，以步骤二中获取的财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。

其中，步骤一-三是数据采集流程，步骤四-七是专项检查管理模块的数据处理流程，步骤八-九是监控与整改管理模块的内部数据处理流程，步骤十-十一指标预警管理模块的内容数据处理流程。

如图1所示，基于实时数据采集的集团企业稽核实时监控***包括数据采集与控制模块和实时监督模块。数据采集与控制模块，包括承担被稽核业务***数据采集的数据采集模块，以及与该数据采集模块相连接的、通过总线方式接收数据的控制器模块，所述控制器模块对采集到的数据进行分析后，用于写入数据库操作。被稽核业务***为外部***，外部数据包括在线稽核***及财务管控***。

数据采集模块即实时数据采集器，数据采集模块可以通过设置直接读取业务***的数据库日志。目前数据采集模块支持ORACLE数据库，通过ORACLE公司提供的Logminer工具读取oracle数据库实时产生的日志文件。通过JAVA编程语言，数据采集模块按照设定的周期(分钟、小时、天)获取数据库的增量日志文件，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，将通过JAVA编程语言对数据进行加密和压缩处理形成消息报文。在数据采集模块中建立服务缓冲池与控制器建立链接，采用总线方式将消息报文传输至控制器模块，后续在本管理***的数据控制***模块软件的控制下，控制器模块将数据写入本管理***所使用的数据库中，目前本管理***支持的数据库为oracle数据库。

如图3所示，控制器模块1-2包括数据接收模块1-2-1、数据转换模块1-2-2、数据处理模块1-2-3和数据存储模块1-2-4，实时监控***模块包括专项检查模块、监控与整改模块和指标预警模块。

控制器模块主要控制数据采集模块中内部连接端口、加密算法的选择和内部缓冲空间的设置(根据采购硬件的条件设置)，控制和处理实时采集的业务数据，保证业务数据能够正常的写入实时监控***数据库中。

实时监督模块主要是对业务***监控的数据具体应用。包括现场专项稽核管理模块、监控与整改管理模块、指标预警管理模块。稽核工作包括现场稽核检查和***在线稽核检查两种方式，专项检查管理模块是针对现场检查存在的问题，统一检查体系，以建立稽核项目的方式，多种现场检查方式协同操作，为检查小组分配工作，记录检查情况，汇总检查底稿，提供报告按模板自动生成的功能，并实现历史项目信息查询。在线稽核检查目前已有成型的外部***，在线稽核***与专项检查管理模块的检查结果接入监控与整改模块，提供三种模式的监控查询：一是在线稽核项目和现场专项稽核项目结果的监控查询，二是针对集团公司各级单位的检查情况监控查询，三是针对在线稽核具体规则的检查情况监控查询。对于检查过程中发现的问题，需要整改的可引入整改管理，创建整改计划，跟踪整改过程，确认整改结果，进行整改情况查询。指标预警管理模块，提供灵活设置指标计算模型和指标体系模型的工具，根据实时数据采集到的外部财务管控***中的账务数据和报表数据，计算指标数据，根据阀值提供不同的预警级别。

实施例：一种基于实时数据采集的集团企业稽核实时监控***(参见图1、图2)，包括数据采集与控制模块1，数据库服务器2，稽核监督模块3，客户端4，外部接入***在线稽核A，财务管控***B。其中稽核监控模块3包括专项检查组件3-1，监控与整改组件3-2，指标预警组件3-3。外部在线稽核***A和财务管控***B连接数据采集模块1-1，分别输入在线稽核结果和财务账务、报表数据，并写入控制器1-2，经过转换和处理的数据存储到稽核评价监控***的数据库服务器中，以供稽核监控模块调用。

如图2所示，数据采集模块即实时数据采集器1-1，还包括：

数据库日志采集模块1-1-1，通过Logminer工具读取oracle数据库实时产生的日志文件，按照设定的周期获取数据库的增量日志文件；

日志分析模块1-1-2，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，对数据进行加密和压缩处理形成消息报文；

数据缓冲模块1-1-3，通过建立服务缓冲池实现对数据的缓冲，采用总线方式将消息报文传输至控制器；

数据写入模块1-1-4，控制器1-2将数据写入数据库中。

如图4所示，专项检查管理模块3-1是将现场专项检查过程***化，固化常用的***检查内容，进行项目管理，记录检查结果，并具有统计查询功能。其中包括检查内容管理3.1.1，项目管理3.1.2，任务分配3.1.3，工作记录管理3.1.4，工作底稿管理3.1.5，统计查询3.1.6。检查内容3.1.1连接项目管理3.1.2，创建专项检查项目及检查内容的范围，确定检查小组成员。项目管理3.1.2连接任务分配3.1.3，确定检查小组成员角色，包括组长、协查人员及各成员负责的单位和检查内容。任务分配3.1.3连接工作记录管理3.1.4，检查小组成员将各自负责单位的检查详细结果记录到***中。工作记录组件3.1.4连接工作底稿组件3.1.5，检查小组组长复核详细工作记录无误后，分单位汇总生成工作底稿。工作底稿组件3.1.5连接统计查询组件3.1.6提供本次专项检查详细数据的统计分析。以上过程产生的数据记录全部在数据库服务器中存储。

如图5所示，监控与整改管理模块3-2包括：

稽核监控模块3-2-1，从稽核对象、稽核项目、稽核规则三种不同维度，对日常稽核、专项在线稽核、定期稽核的稽核结果进行实时查询监控，全方位展示稽核结果的监控数据，协助用户及时发现各业务问题。

问题整改模块3-2-2，用于实现问题的汇总3-2-2-1，整改计划3-2-2-2，整改反馈3-2-2-3，整改查询3-2-2-4。通过问题整改，实现新增整改问题的录入和整改反馈管理功能，可跟踪整改问题的整改过程信息。并可在整改分析中对整改情况统计查询、分析。

如图6所示，指标预警管理模块3-3，包括

指标设置管理模块3-3-1，用于建立指标，设置指标分类、名称、性质、类型及取数或运算公式，建立的指标根据分类形成指标库；

分析模型设置模块3-3-2，维护分析模型，可新增或引用指标库中的指标，并设置对应的层级和权重，也可对指标公式进行补充；

指标阈值设置模块3-3-3，用于设置指标对应的阀值区间；

指标预警分析模块3-3-4，以财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于实时数据采集的集团企业稽核实时监控方法，其特征是，包括以下步骤：

步骤一：采集在线稽核***的稽核结果数据和财务管控***的账务、报表数据并将数据进行处理后传输至控制器；

步骤二：控制器控制和处理实时采集的两部分业务数据，保证业务数据能够正常的写入实时监控***数据库中；

步骤三：对数据库中存储的稽核结果数据进行实时监控并通过客户端进行展示；

其中，在步骤三中具体包括：

3-1)对专项检查项目按照设定检查内容进行校验并将结果进行汇总并传输至数据库服务器；

3-2)对传输至数据库服务器中的不符合要求的校验结果数据进行整改，建立整改措施，整改单位反馈整改情况，并由发起单位确认是否整改完成；

3-3)创建指标库，由指标组成分析模型，并根据实际需求设置各指标阀值；

分析模型运行时，以获取的财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。

2.如权利要求1所述的基于实时数据采集的集团企业稽核实时监控方法，其特征是，在步骤一中，数据采集具体包括采集在线稽核***及财务管控***的数据库日志，对采集的日志进行分析，将分析后的数据进行数据缓存，然后将数据写入相应的数据库。

3.如权利要求2所述的基于实时数据采集的集团企业稽核实时监控方法，其特征是，数据采集通过设置直接读取业务***的数据库日志的方法：通过Logminer工具读取oracle数据库实时产生的日志文件；

数据采集时按照设定的周期获取数据库的增量日志文件，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，对数据进行加密和压缩处理形成消息报文；

建立服务缓冲池与控制器建立链接，采用总线方式将消息报文传输至控制器，控制器将数据写入oracle数据库中。

4.基于实时数据采集的集团企业稽核实时监控***，其特征是，包括：

数据采集模块，获取被稽核业务***数据，具体为直接读取业务***的数据库日志并通过总线方式传输数据至控制器；

控制器模块，对采集到的数据进行分析后，写入数据库操作；

数据库服务器，通过建立相应的数据库进行数据存储；

稽核监督模块，用于实现对业务***监控，包括现场稽核检查和***在线稽核检查；

客户端，用于展示实时监控数据。

5.如权利要求4所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，读取业务***的数据库日志之前需要配置业务***数据库的用户和密码从而获取业务***数据库日志访问权限。

6.如权利要求4所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，所述数据采集模块，还包括：

数据库日志采集模块，通过Logminer工具读取oracle数据库实时产生的日志文件，按照设定的周期获取数据库的增量日志文件；

日志分析模块，通过Logminer工具对日志文件进行分析，获取到业务***数据变化的SQL语句，对数据进行加密和压缩处理形成消息报文；

数据缓冲模块，通过建立服务缓冲池实现对数据的缓冲，采用总线方式将消息报文传输至控制器；

数据写入模块，控制器将数据写入数据库中。

7.如权利要求4所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，所述控制器模块控制数据采集模块中内部连接端口、加密算法的选择和内部缓冲空间的设置，控制和处理实时采集的业务数据，保证业务数据能够正常的写入实时监控***数据库中。

8.如权利要求7所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，所述控制器模块包括数据接收模块、数据转换模块、数据处理模块和数据存储模块；

数据接收模块，用于提供端口设置、连接测试和接收预警功能；通过端口设置来改变接收数据的端口，以符合不同用户的网络环境；连接测试用来保证在使用过程中的可维护性；接收预警用于实现在接收数据出现异常时，能够把信息写入到控制器监控报表中，向用户提供预警信息；

数据转换模块，用于提供转换算法设置和转换预警功能，通过转换算法设置功能满足对不同数据库类型日志数据转换为标准SQL语句；转换预警功能实现当数据日志转换出现异常情况时，能够把信息写入到控制器监控报表中，向用户提供预警信息；

数据处理模块，用于提供数据处理逻辑设置和数据处理预警功能，通过数据处理逻辑设置功能用来满足不同业务处理方式不同的业务要求；数据处理预警功能用来实现当数据处理出现异常情况时，能够把信息反馈到控制器监控报表中，向用户提供预警信息；

数据存储模块，用于提供监控预警和数据统计功能，通过读控制器监控报表，展现整个控制器模块各子模块的运行情况，向用户提供预警信息；数据统计功能用于实现按天、月或年不同统计口径对整个控制器模块处理成功或失败的数据量进行统计。

9.如权利要求4所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，稽核监督模块包括：

专项检查管理模块，以建立稽核项目的方式实现现场稽核检查和***在线稽核检查，提供报告按模板自动生成的功能，并实现历史项目信息查询；

在线稽核***与专项检查管理模块的检查结果接入监控与整改管理模块；

监控与整改管理模块，提供三种模式的监控查询：一是在线稽核项目和现场专项稽核项目结果的监控查询，二是针对集团公司各级单位的检查情况监控查询，三是针对在线稽核具体规则的检查情况监控查询；对于检查过程中发现的问题，需要整改的可引入整改管理，创建整改计划，跟踪整改过程，确认整改结果；

指标预警管理模块，提供灵活设置指标计算模型和指标体系模型的工具，根据实时数据采集到的外部财务管控***中的账务数据和报表数据，计算指标数据，根据阀值提供不同的预警级别。

10.如权利要求9所述的基于实时数据采集的集团企业稽核实时监控***，其特征是，指标预警管理模块，包括：

指标设置管理模块，用于建立指标，设置指标分类、名称、性质、类型及取数或运算公式，建立的指标根据分类形成指标库；

分析模型设置模块，维护分析模型，可新增或引用指标库中的指标，并设置对应的层级和权重，或对指标公式进行补充；

指标阈值设置模块，用于设置指标对应的阀值区间；

指标预警分析模块，以财务管控***的账务、报表数据为数据源，经过指标已设置好的取数、运算关系，得出指标结果，对应到阀值档位，以不同的颜色展示。