CN101661423A - 一种多维日志*** - Google Patents
一种多维日志*** Download PDFInfo
- Publication number
- CN101661423A CN101661423A CN200910194968A CN200910194968A CN101661423A CN 101661423 A CN101661423 A CN 101661423A CN 200910194968 A CN200910194968 A CN 200910194968A CN 200910194968 A CN200910194968 A CN 200910194968A CN 101661423 A CN101661423 A CN 101661423A
- Authority
- CN
- China
- Prior art keywords
- reader
- multidimensional
- daily record
- user
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明涉及一种多维日志***,该***包括多维日志数据池、阅读器引擎、用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器,所述的阅读器引擎从多维日志数据池中读取多维数据,所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性,所述的用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。与现有技术相比,本发明具有更加灵活、更加节省资源、效率更高等优点。
Description
技术领域
本发明涉及软件日志,尤其涉及一种多维日志***。
背景技术
在软件***中,需要日志功能来记录软件***运行过程中所发生的事件,日志对应用程序来说都是一个重要的组成部分。按照传统的软件三层架构(前台操作层、MODEL(业务)层、DAO(数据存储)层)来分,对应的日志也应该分为三种:前台操作日志、逻辑运算日志、DAO日志。
不同的日志种类,关注重点是不一样的,其结构会也会有很大差异。例如:前台操作日志关注的是用户的输入和***的输出等内容;逻辑运算日志关注的是***执行有无异常等等;DAO日志关注的是数据库执行的SQL语句的结果,以及语句执行时间等内容。
另外,从使用角度看,不同的阅读者使用日志的角度也不一样。对于***维护人员,关注于***的执行效率以及***告警信息;对于用户,关注于当***出现错误,能够把当时的操作场景及时的反馈给***的维护开发人员;而对于开发人员,关注于出错时,***的逻辑执行顺序以及模块调用关系,从而迅速的定位出现问题的地方。
对于目前主流的日志模块,例如Log4cpp、Log4j、Log4cxx等,虽然提供了统一的日志输入、输出接口,但是日志的逻辑结构仅限于时间戳、日志类别、消息等级、消息内容等数个定长的属性,缺乏灵活性和可扩展性,也没有提供针对不同用户的日志筛选功能。
因此,需要提出一种灵活的、可扩展的日志体系结构,来满足日益复杂的软件应用需求。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷,提供一种灵活性高、可扩展的多维日志***结构。
本发明的目的可以通过以下技术方案来实现:
一种多维日志***,其特征在于,该***包括多维日志数据池、阅读器引擎、用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器,所述的阅读器引擎从多维日志数据池中读取多维数据,所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性,所述的用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。
所述的阅读器引擎通过以下步骤实现对数据的读取及处理:
1)获取日志的维数及名称;
2)按照某一维或者某几维进行数据过滤(对于字符串可以执行比较,相似运算,对于数字、日期进行比较运算,而逻辑运算包括:并且、或者、非运算);
3)按照某一维或者某几维进行数据分组;
4)按照某一维或者某几维进行数据统计汇总;
5)2)、3)、4)步的运算可以随意组合。
日志中的自定义属性可以根据需要扩充,如在前台操作日志上增加了输入、输出两个属性,在逻辑运算日志上增加了类名、函数名、异常堆栈三个属性,在数据储存日志上增加了SQL、执行时间两个属性。
与现有技术相比,本发明具有以下优点:
(1)各个层面可以实现自定义的日志对象,可以灵活的提供日志输出的内容,并通过可扩展的自定义属性,来满足不同应用需求。如果使用传统模式实现以上需求,需要定一个各个层次都通用的、全局的日志数据结构,相比而言,本***提供的方式更加灵活,而且也更加节省资源。
(2)***提出了阅读器引擎和日志阅读器,通过这两个模块,用户可以更快的、更准确的定位出现问题的原因。相比传统方式,这种阅读方式更加友好,效率更高。
附图说明
图1是本发明一种多维日志***的结构示意图;
图2是本发明一种多维日志***的纵向数据结构;
图3是本发明一种多维日志***的多维数据结构。
具体实施方式
以下结合具体实施例对本发明做进一步说明。
实施例1
如图1、图2、图3所示,一种多维日志***,该***包括多维日志数据池1、阅读器引擎2、用户阅读器3、***管理员阅读器4、维护人员阅读器5、开发人员阅读器6、自定义阅读器7,所述的阅读器引擎2从多维日志数据池1中读取多维数据,所述的多维数据包括线程ID8、时间戳9、分类10、级别11、用户ID12、用户IP 13、消息来源14、自定义属性15,所述的用户阅读器3、***管理员阅读器4、维护人员阅读器5、开发人员阅读器6、自定义阅读器7分别与阅读器引擎2相连。
所述的阅读器引擎2通过以下步骤实现对数据的读取及处理:
1)获取日志的维数及名称;
2)可以按照某一维或者某几维进行数据过滤(对于字符串可以执行比较,相似运算,对于数字、日期进行比较运算,而逻辑运算包括:并且、或者、非运算);
3)可以按照某一维或者某几维进行数据分组;
4)可以按照某一维或者某几维进行数据统计汇总;
5)2、3、4步的运算可以随意组合。
日志分为前台操作日志16、逻辑运算日志17、数据储存日志18,所述的自定义属性15在前台操作日志16上增加了输入19、输出20两个属性,所述的自定义属性15在逻辑运算日志18上增加了类名23、函数名24、异常堆栈25三个属性,所述的自定义属性15在数据储存日志17上增加了SQL21、执行时间22两个属性。
综上所述,各个层次的日志包含分类、时间戳、自定义属性等不同内容,形成了纵向“多维”的数据结构,而阅读器引擎则实现了对多维数据的读取和处理,从不同的应用角度向普通用户、***管理员等提供相应的日志内容。横向维数和纵向维数都是不定的,纵横交汇就形成了面向特定用户、面向不同应用的“多维”的日志体系,如图3所示。
实施例2
本发明在中国铝业广西分公司运输生产调度***(以下简称“运输生产调度***”)进行实施。
该运输生产调度******基于BS结构,日志部分除了记录线程ID、时间戳、分类、级别、用户ID、用户IP以及消息来源等公共属性外,扩展了前台操作(记录用户的输入和***的输出)日志、逻辑运算(记录签名信息、堆栈信息和异常)日志、DAO(记录执行的sql语句以及执行时间)日志。
另外,日志部分除了“多维日志”本身提供的阅读器外,还实现了发送错误报告的阅读器。通过点击发送错误报告的按钮,***就会自动收集用户操作的上下文,形成一个csv文件,并通过邮件方式发送给***的维护开发人员,供他们诊断故障原因。
经过现场实践证明,这种方式可以有效降低维护的成本,提高维护作业的效率。
Claims (3)
1.一种多维日志***,其特征在于,该***包括多维日志数据池、阅读器引擎、用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器,所述的阅读器引擎从多维日志数据池中读取多维数据,所述的多维数据包括线程ID、时间戳、分类、级别、用户ID、用户IP、消息来源、自定义属性,所述的用户阅读器、***管理员阅读器、维护人员阅读器、开发人员阅读器、自定义阅读器分别与阅读器引擎相连。
2.根据权利要求1所述的多维日志***,其特征在于,所述的阅读器引擎通过以下步骤实现对数据的读取及处理:
1)获取日志的维数及名称;
2)按照某一维或者某几维进行数据过滤(对于字符串可以执行比较,相似运算,对于数字、日期进行比较运算,而逻辑运算包括:并且、或者、非运算);
3)按照某一维或者某几维进行数据分组;
4)按照某一维或者某几维进行数据统计汇总;
5)2)、3)、4)步的运算可以随意组合。
3.根据权利要求1所述的多维日志***,其特征在于,日志中的自定义属性可以根据需要扩充,如在前台操作日志上增加了输入、输出两个属性,在逻辑运算日志上增加了类名、函数名、异常堆栈三个属性,在数据储存日志上增加了SQL、执行时间两个属性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910194968A CN101661423A (zh) | 2009-09-01 | 2009-09-01 | 一种多维日志*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200910194968A CN101661423A (zh) | 2009-09-01 | 2009-09-01 | 一种多维日志*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101661423A true CN101661423A (zh) | 2010-03-03 |
Family
ID=41789467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910194968A Pending CN101661423A (zh) | 2009-09-01 | 2009-09-01 | 一种多维日志*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101661423A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102880541A (zh) * | 2012-09-28 | 2013-01-16 | 用友软件股份有限公司 | 日志信息的获取***和获取方法 |
CN102902752A (zh) * | 2012-09-20 | 2013-01-30 | 新浪网技术(中国)有限公司 | 一种日志监控方法及*** |
CN103793297A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 基于分发模式的日志保护方法 |
CN104268064A (zh) * | 2014-09-11 | 2015-01-07 | 百度在线网络技术(北京)有限公司 | 产品日志的异常诊断方法和装置 |
CN106445769A (zh) * | 2015-08-11 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 计算机运行监测方法、装置和*** |
CN110505238A (zh) * | 2019-09-06 | 2019-11-26 | 杭州安恒信息技术股份有限公司 | 基于edr的消息队列的处理装置和方法 |
-
2009
- 2009-09-01 CN CN200910194968A patent/CN101661423A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902752A (zh) * | 2012-09-20 | 2013-01-30 | 新浪网技术(中国)有限公司 | 一种日志监控方法及*** |
CN102902752B (zh) * | 2012-09-20 | 2015-04-15 | 新浪网技术(中国)有限公司 | 一种日志监控方法及*** |
CN102880541A (zh) * | 2012-09-28 | 2013-01-16 | 用友软件股份有限公司 | 日志信息的获取***和获取方法 |
CN103793297A (zh) * | 2014-01-14 | 2014-05-14 | 上海上讯信息技术股份有限公司 | 基于分发模式的日志保护方法 |
CN103793297B (zh) * | 2014-01-14 | 2017-10-20 | 上海上讯信息技术股份有限公司 | 基于分发模式的日志保护方法 |
CN104268064A (zh) * | 2014-09-11 | 2015-01-07 | 百度在线网络技术(北京)有限公司 | 产品日志的异常诊断方法和装置 |
CN104268064B (zh) * | 2014-09-11 | 2018-03-27 | 北京音之邦文化科技有限公司 | 产品日志的异常诊断方法和装置 |
CN106445769A (zh) * | 2015-08-11 | 2017-02-22 | 腾讯科技(深圳)有限公司 | 计算机运行监测方法、装置和*** |
CN106445769B (zh) * | 2015-08-11 | 2020-12-15 | 腾讯科技(深圳)有限公司 | 计算机运行监测方法、装置和*** |
CN110505238A (zh) * | 2019-09-06 | 2019-11-26 | 杭州安恒信息技术股份有限公司 | 基于edr的消息队列的处理装置和方法 |
CN110505238B (zh) * | 2019-09-06 | 2022-01-21 | 杭州安恒信息技术股份有限公司 | 基于edr的消息队列的处理装置和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101661423A (zh) | 一种多维日志*** | |
CN106372975B (zh) | 一种基于SOAP技术和ActiveX控件技术的***管理*** | |
CN106951552A (zh) | 一种基于Hadoop的用户行为数据处理方法 | |
US20080071800A1 (en) | System and Method for Representing and Using Tagged Data in a Management System | |
CN110688399A (zh) | 一种流式计算实时报表***及方法 | |
CN105786913A (zh) | 一种面向云制造平台的erp集成数据库服务接口封装***及方法 | |
US8850321B2 (en) | Cross-domain business service management | |
CN202068449U (zh) | 用于多级数据交换的数据交换平台 | |
CN103631600A (zh) | 一种嵌入式rfid中间件的数据处理方法及*** | |
CN101582026A (zh) | 业务***应用软件中动态业务生成的应用方法 | |
CN114297290A (zh) | 一种电力营销数据共享应用平台 | |
CN103729455B (zh) | 一种基于主副本存储模式的主数据存储方法 | |
CN102122430B (zh) | 农产品信息采集器及采集方法 | |
CN201489521U (zh) | 一种多维日志体系结构 | |
CN104732438A (zh) | 一种交易冲正方法和交易处理*** | |
CN105069589A (zh) | 一种库存管理信息*** | |
CN109800425B (zh) | 一种跨平台信息交换的语义缺失自动纠错处理方法及*** | |
CN114077973A (zh) | 用于太阳能电池组件生产的制造执行***及方法 | |
CN111158990A (zh) | 数据仓库智能调度任务跑批***及方法 | |
CN103605565B (zh) | 基于大量业务数据预警提醒的处理方法 | |
Chen et al. | Design of Log Collection Architecture Based on Cloud Native Technology | |
TWI240860B (en) | Database monitoring and automatic problems reporting system | |
CN104993975B (zh) | 一种基于标准化接口的配电网信息交互监控可视化方法 | |
CN202306630U (zh) | 一种财务信息管理*** | |
CN111078968B (zh) | 一种可视化配置的跨***数据交互方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100303 |