企业内部***数据交换监控方法
技术领域
本发明涉及数据监控***技术领域,具体而言,涉及一种企业内部***数据交换监控方法。
背景技术
大规模分布式的企业应用需要相对简单而实用的中间件技术来简化和统一越来越复杂、繁琐的企业级信息***平台。面向服务体系架构(SOA)是能够将应用程序的不同功能单元通过服务之间定义良好的接口和契约联系起来。SOA使用户可以不受限制地重复使用软件、把各种资源互连起来,只要IT人员选用标准接口包装旧的应用程序、把新的应用程序构建成服务,那么其他应用***就可以很方便的使用这些功能服务。
支撑SOA的关键是其消息传递架构-企业服务总线(ESB)。ESB是传统中间件技术与XML、Web服务等技术相互结合的产物,用于实现企业应用不同消息和信息的准确、高效和安全传递。让不同的应用服务协调运作,实现不同服务之间的通信与整合。
ESB中间件的主要作用是完成企业各个业务***之间的信息交换,保证企业各个业务***能够正常的工作。目前的ESB中间件在该核心框架之外,仅提供了服务路由等基本的功能模块,而在实际应用中,随着企业的发展,业务***越来越多,业务数据量也越来越大,管理者往往希望通过ESB中间件能够对企业各个***之间传输的信息进行监管和控制,同时获取各个业务***信息资源的使用情况,以便于对信息资源进行集中管理。
发明内容
本发明意在提供一种企业内部***数据交换监控方法,能够使企业对业务***之间传输的数据进行监管和控制。
为了解决上述技术问题,本专利提供如下基础技术方案:
企业内部***数据交换监控方法,包括以下内容:
数据获取步骤,业务***通过数据接口模块向服务模块发送请求和数据;
服务处理步骤,服务模块接收业务的请求和数据,根据业务***的请求将数据进行处理并发送至相应的业务***;
数据监控步骤,所述数据监控步骤用于对数据获取步骤和服务处理步骤的数据进行监控和记录,数据监控步骤具体包括以下内容:
错误检测步骤,错误检测子模块检测数据获取步骤、服务处理步骤以及数据监控步骤中出现的错误;
数据统计步骤,数据统计子模块统计各个业务***的数据传输过程中信息资源的使用情况;
日志记录步骤,日志记录子模块根据数据获取步骤、服务处理步骤、错误检测步骤和数据统计步骤中的数据生成日志数据。
本发明技术方案中,通过数据接口模块将企业内部***数据交换监控方法与各个业务***建立数据连接,各个业务***能够通过数据接口模块向服务模块发送请求或数据,服务模块通过数据接口模块向各个业务***发送数据,错误检测子模块能够实时检测平台运行过程中的错误,如数据格式错误、业务***错误、网络连接错误、数据传输错误等,日志记录子模块能够将服务模块处理传输数据的过程中生成的日志数据,如传输时间、传输内容、数据交换量、错误信息等,进行记录,方便管理人员后期进行查看;数据统计子模块统计各个业务***与平台之间的数据交换过程中各个信息资源的使用情况,如一个数据的访问量、访问频率、一个业务***的数据交换量,一个业务***的请求量等,方便管理员根据信息资源的使用情况对各个业务***进行调配,如提高访问量大的业务***的负载能力,控制业务***的数据交换量等。
进一步,还包括警报步骤,所述警报步骤具体包括:
步骤一:警报子模块获取错误等级和数量;
步骤二:警报子模块根据错误等级和数量按照预设的权重计算出警报等级;
步骤三:警报子模块根据警报等级向与警报等级对应的管理人员发送警报。
警报子模块能够在检测到错误时向管理人员发送警报,可以第一时间提醒管理人员进行处理,根据错误的级别的次数向相应的管理人员发送警报,可以更加精准的通知各个错误等级对应的管理人员,明确管理人员的责任范围。
进一步,还包括数据暂存步骤,数据暂存模块在检测到服务模块将数据发送至业务***过程中发生错误时,将待发送的数据存储起来。
通过数据暂存模块可以将待发送的数据存储起来,以等待业务***正常后再次进行发送。避免数据丢失。
进一步,所述日志数据包括请求业务***、目标业务***、时间、请求内容、数据内容以及错误记录。
根据请求业务***、目标业务***、时间,方便追查数据的流向,根据数据内容、请求内容以及错误记录可以方便对错误进行排查和修复。
进一步,所述服务处理步骤包括:
数据格式校验步骤,数据格式校验子模块判断业务***发送的数据格式是否正确,如果正确则继续处理,如果不正确则停止对该数据的处理并生成格式错误信号。
检测业务***发送数据格式是否正确,筛选出错误数据,避免错误数据发送给其他业务***。
进一步,所述数据格式校验步骤具体包括:
步骤一:数据格式校验子模块获取待检测数据的数据类型和数据名称;
步骤二:数据格式校验子模块根据数据类型和数据名称查找该数据的标准数据格式,如果没有查找到则结束数据格式校验步骤,如果查找到了标准的数据格式则执行下一步;
步骤三:数据格式校验子模块将数据的个数与标准的数据格式进行比对,判断是否相同,若是,则判定格式正确,校验通过,若否,则判定格式错误,校验不通过,数据格式校验子模块结束该数据的服务处理步骤。
附图说明
图1为本发明企业内部***数据交换监控方法实施例中所使用的数据监控***的逻辑框图。
具体实施方式
下面通过具体实施方式对本发明作进一步详细的说明:
如图1所示,本实施例企业内部***数据交换监控方法使用了以下的数据监控***,该数据监控***包括数据接口模块、服务模块、数据监控模块和数据暂存模块,其中:
数据接口模块用于各个业务***向服务模块发送请求和数据,数据接口模块还用于服务模块向各个业务***发送数据;
服务模块用于根据业务***的请求将数据进行处理并发送至相应的业务***;服务模块包括数据格式校验子模块,格式校验子模块用于检测并校验业务***所发送的数据格式是否正确,数据格式校验子模块包括格式匹配单元和格式校验单元,格式匹配单元用于根据数据类型和数据名称获取该数据标准的数据格式,格式校验单元用于根据该数据标准的数据格式验证该数据的格式是否正确。
格式匹配单元根据数据类型和数据名称获取数据标准的格式进而可以对数据的格式进行校验。
数据监控模块,数据监控模块包括错误检测子模块、日志记录子模块、警报子模块和数据统计子模块,错误检测子模块用于检测服务模块处理数据的过程中的错误。
日志记录子模块用于记录服务模块处理数据过程中的产生的日志数据,日志数据包括请求业务***、目标业务***、时间、请求内容、数据内容以及错误记录。根据请求业务***、目标业务***、时间,方便追查数据的流向,根据数据内容、请求内容以及错误记录可以方便对错误进行排查和修复。
数据统计子模块用于统计各个业务***的数据传输过程中信息资源的使用情况,数据统计子模块包括处理时长统计单元、数据量统计单元、访问频率统计单元、访问量统计单元,处理时长统计单元同于统计服务模块处理每一个业务***所花费的总时长,数据量统计单元用于统计每一个业务***通过服务模块进行处理和传输的数据总量,访问频率统计单元用于统计每一个业务***和数据的访问频率,访问量统计单元用于统计每一个业务***和数据的访问量。
通过统计业务***和数据的数据总量、数据处理花费总时长、访问频率、访问量可以判断每个业务***的活跃度和重要程度,在进行业务***和数据的调整时,为管理人员提供数据支持,以便于企业对企业的资源进行合理的配置和管理。
警报子模块内存储有错误等级和对应的管理人员,警报子模块用于在错误检测子模块检测到错误时根据错误等级和次数向相应的管理人员发送警报。可以第一时间提醒管理人员进行处理,根据错误的级别的次数向相应的管理人员发送警报,可以更加精准的通知各个错误等级对应的管理人员,明确管理人员的责任范围。
该平台还包括数据清洗模块,数据清洗模块用于对各个业务***发送的数据内容进行检测、匹配和清洗,数据清洗模块包括:
主数据管理模块,包括主数据存储子模块审批子模块和主数据新建子模块,主数据存储子模块存储有主数据列表和数据清洗规则列表,主数据列表中的主数据与清洗规则列表中的清洗规则一一对应,主数据新建子模块用于新建主数据以及与主数据对应的数据清洗规则并分别存储到主数据列表和清洗规则列表中;
数据操作模块,数据操作模块用于根据主数据的数据清洗规则对各个业务***发送的数据进行匹配并对匹配的数据进行清洗替换。
在很多时候,同一个数据可以有不同的表述方式,特别是地区不同的分公司之间,由于地域的差异,对于同一个内容可能会有不同的叫法,即使是同一个公司,在不同的发展时期,对同一个内容的认知也可能会发生改变,一个公司的各个业务***中经常会出现数据不统一的问题,例如,对于一个客户公司的名字,在业务***中即存在简称又存在全称;对于一个产品的名称,随着产品功能的拓展,需要进行更改,造成业务***中该产品存在多个名称等;
通过主数据管理模块存储并管理主数据列表,主数据列表中每一个主数据均包含相应的数据清洗规则,数据操作模块根据主数据列表中的主数据对各个业务***发送的数据进行清洗,替换每一个符合数据清洗规则的数据,因而服务模块最终向各个业务***返回的关键数据都是标准的主数据,从而解决企业业务***中同一数据的存在形式不一致造成数据混乱的问题。
主数据新建子模块包括主数据输入单元、主数据查找单元、关键词匹配单元和数据清洗规则生成单元。
主数据输入单元用于供用户输入要建立的主数据,主数据查找单元用于查找并验证用户输入的主数据是否已经在主数据列表中存在,避免重复建立主数据。
关键词匹配单元能够自动从日志数据中获取各个业务***之间传输的数据内容记录中匹配与用户输入的主数据相似的数据作为清洗关键词供用户选择,使用户了解到各个业务***传输的数据中现在存在的与主数据相似的数据;
数据清洗规则生成单元能够根据用户输入的主数据和选择的清洗关键词生成数据清洗规则。数据清洗规则包括清洗关键词和匹配关联关键词,匹配关联关键词用于在数据清理时和清洗关键词一起对数据进行匹配,数据清洗规则生成单元能够根据用户选择的清洗关键词提取匹配关联关键词供用户选择,如对于公司名称,用户选择了包含了公司名称的清洗关键词后,数据清洗规则生成单元自动根据用户选择的关键词的共有的其他关联数据,例如公司地址,根据相似度将关联数据分组,供用户选择,并将用户的选择作为匹配关联关键词。
数据操作模块包括数据替换子模块和备份还原子模块,数据替换子模块用于根据主数据的数据清洗规则通过数据读写模块对各个业务***传输的数据中的数据进行匹配,具体的,其首先以清洗关键词为匹配关键字,选出所有匹配的数据,然后再以匹配关联关键词对所有匹配的数据进行筛选,选出与匹配关联关键词相匹配的数据,然后按照数据清洗规则对匹配的数据进行清洗替换。通过数据操作模块将各个业务***传输的数据进行清洗,替换每一个符合数据清洗规则的数据,从而解决企业业务***传输的数据中同一数据的存在形式不一致造成数据混乱的问题。
匹配关联关键词可以避免同内容的数据被错误的替换,例如,业务***传输的数据中存在两个数据均为“X公司”,但其指代的是不同的公司,具有不同的地址、经营业务,而后通过本***建立了一个名为“重庆X科技有限责任公司”对业务***的数据进行清洗,管理人员将“X公司”作为清洗关键词,此时就需要管理人员选择和确认相应的匹配关联关键词,如以公司地址作为匹配关联关键词,从而使***能够正确区分两个“X公司”,避免误操作。
日志数据还包括主数据清洗记录,该平台还包括数据清洗提醒模块,数据清洗提醒模块能够根据根据日志数据中的清洗记录以传输的数据内容,获取被清洗的数据所对应的类别,并向相应的类别的负责人发送提醒信息,例如数据内容与合同相关,则通知财务部和业务部门,数据与产品相关,则通知生产部门和销售部门,从而使主数据快速被推广应用,也方便主数据被误修改后,相关人员进行追查。
该方法包括以下内容:
数据获取步骤,业务***通过数据接口模块向服务模块发送请求和数据;
服务处理步骤,服务模块接收业务的请求和数据,根据业务***的请求将数据进行处理并发送至相应的业务***;
数据监控步骤,数据监控步骤用于对数据获取步骤和服务处理步骤的数据进行监控和记录,数据监控步骤具体包括以下内容:
错误检测步骤,错误检测子模块检测数据获取步骤、服务处理步骤以及数据监控步骤中出现的错误;
数据统计步骤,数据统计子模块统计各个业务***的数据传输过程中信息资源的使用情况;
日志记录步骤,日志记录子模块根据数据获取步骤、服务处理步骤、错误检测步骤和数据统计步骤中的数据生成日志数据。
还包括警报步骤,警报步骤具体包括:
步骤一:警报子模块获取错误等级和数量;
步骤二:警报子模块根据错误等级和数量按照预设的权重计算出警报等级;
步骤三:警报子模块根据警报等级向与警报等级对应的管理人员发送警报。
还包括数据暂存步骤,数据暂存模块在检测到服务模块将数据发送至业务***过程中发生错误时,将待发送的数据存储起来。
服务处理步骤包括:
数据格式校验步骤,数据格式校验子模块判断业务***发送的数据格式是否正确,如果正确则继续处理,如果不正确则停止对该数据的处理并生成格式错误信号。
数据格式校验步骤具体包括:
步骤一:数据格式校验子模块获取待检测数据的数据类型和数据名称;
步骤二:数据格式校验子模块根据数据类型和数据名称查找该数据的标准数据格式,如果没有查找到则结束数据格式校验步骤,如果查找到了标准的数据格式则执行下一步;
步骤三:数据格式校验子模块将数据的个数与标准的数据格式进行比对,判断是否相同,若是,则判定格式正确,校验通过,若否,则判定格式错误,校验不通过,数据格式校验子模块结束该数据的服务处理步骤。
还包括数据清洗步骤,所述数据清洗步骤用来对业务***输入的数据进行清洗过滤,数据清洗步骤包括:
主数据新建步骤,用户通过主数据新建子模块建立新的主数据,并将主数据存储到主数据存储子模块的主数据列表中,主数据包括数据清洗规则;
数据清洗步骤,数据操作模块读取各个业务***发送来的数据,并将读取到的数据与主数据列表中的主数据进行匹配,将匹配到的数据按照对应的主数据的数据清洗规则进行替换。
主数据新建步骤包括主数据检验步骤和主数据生成步骤,主数据检验步骤具体包括:
步骤一:主数据新建子模块获取用户输入的主数据关键字;
步骤二:主数据新建子模块读取主数据存储子模块中的主数据列表,将用户输入的主数据关键字与主数据列表中的主数据进行匹配;
步骤三:主数据新建子模块判断是否存在于用户输入的主数据关键字完全相同的主数据,如果是,则结束本次主数据的建立,如果否,则执行下一步;
步骤四:主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的主数据;
步骤五:主数据新建子模块对每一个筛选出来的主数据执行步骤六至步骤八:
步骤六:主数据新建子模块获取用户输入的主数据关键字与筛选传来的主数据之间的差异;
步骤七:主数据新建子模块获取每个差异对应的分值,计算差异的总分值;
步骤八:主数据新建子模块判断差异的总分值是否在预设的差异值范围内,如果是,则将该主数据标记为嫌疑数据,如果否,则跳过该主数据;
步骤九:主数据新建子模块筛选出所有的标记为嫌疑数据的主数据供用户查看确认。
主数据生成步骤具体包括:
步骤一:主数据新建子模块从日志数据中获取各个业务***之间传输的数据内容,将用户输入的主数据关键字与各个业务***的数据进行匹配;
步骤二:主数据新建子模块筛选出与用户输入的主数据关键字相似度超过预设值的数据作为清洗关键词供用户选择;
步骤三:主数据新建子模块根据用户选择的清洗关键词从业务***传输的内容中筛选出与清洗关键词关联性较大的数据,并根据相似度对数据进行归类,生成关联匹配关键词供用户选择;
步骤四:主数据新建子模块根据用户选择的根据用户输入的主数据和选择的清洗关键词和匹配关联关键词生成数据清洗规则。
以上的仅是本发明的实施例,方案中公知的具体结构及特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。