CN107870850A - 一种高效的互联网应用日志*** - Google Patents

一种高效的互联网应用日志*** Download PDF

Info

Publication number
CN107870850A
CN107870850A CN201710740148.2A CN201710740148A CN107870850A CN 107870850 A CN107870850 A CN 107870850A CN 201710740148 A CN201710740148 A CN 201710740148A CN 107870850 A CN107870850 A CN 107870850A
Authority
CN
China
Prior art keywords
log
logic unit
journal file
program
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710740148.2A
Other languages
English (en)
Inventor
吴天玉
王承明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sprout Technology LLC
Original Assignee
Chengdu Sprout Technology LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sprout Technology LLC filed Critical Chengdu Sprout Technology LLC
Priority to CN201710740148.2A priority Critical patent/CN107870850A/zh
Publication of CN107870850A publication Critical patent/CN107870850A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及计算机应用技术领域，具体的讲涉及一种高效的互联网应用日志***，包括主程序、逻辑单元、数据库抽象层、日志收集***和日志文件；所述主程序启动后检查程序主目录中的日志文件夹并进行判断，同时执行用户访问页面对应的逻辑单元；所述逻辑单元用于访问数据库抽象层获取页面中所需要的数据，在这个过程中，发现数据获取异常或者网络bug故障，日志采集***则将数据库操作日志记录到日志文件中；所述日志采集***将会采集到程序的启动信息根据设置的日志输出等级把对应等级的日志记录到日志文件中；本发明请求日志信息更为详细，按天生成日志文件，方便存档和查询，可动态设置日志输出等级，筛选无用日志信息。

Description

一种高效的互联网应用日志***
技术领域
本发明涉及计算机应用技术领域，具体的讲涉及一种高效的互联网应用日志***。
背景技术
日志***又叫***日志，***日志是记录***中硬件、软件和***问题的信息，同时还可以监视***中发生的事件，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。***日志包括***日志、应用程序日志和安全日志。
在日志***中特别是Python这样的动态语言，很多错误都只能在运行的时候才能发现，一个好的日志***对于大型应用程序相当重要，最简单的解决方案当然是直接输出运行信息，但是这样太简单了，没有分级功能，如果在发布的时候想去掉调试用的运行信息还得找出所有的输出打印语句进行修改；再者，打印函数只能输出到控制台，想要输出到文件或者通过电子邮件发送到其他地方，单独一个打印语句就没办法解决。所以亟待构建一个高可用性的日志***，来解决以上问题。
现在世面上成熟的互联网应用开发框架都自带了一套日志***，但仅能满足一些简单的需求，只适合开发中调试用，不能生成日志文件，不能按天切割，输出的日志信息不够健全等等。这样的日志***不利于产品上线后的***健康度分析，也不方便程序在生产环境中遭遇bug时快速定位错误。
发明内容
因此本发明提出一种高效的互联网应用日志***，用来解决现有的互联网应用开发框架自带的日志***不能生成日志文件，不能按天切割，输出的日志信息不够健全，导致日志***不利于产品上线后的***健康度分析，不方便程序在生产环境中遭遇bug时快速定位错误的问题。
本发明的技术方案是这样实现的：一种高效的互联网应用日志***，包括主程序、逻辑单元、数据库抽象层、日志收集***和日志文件；所述主程序启动后检查程序主目录中的日志文件夹并进行判断，同时执行用户访问页面对应的逻辑单元，在执行过程中发现错误和异常，日志采集***则将错误日志同步到日志文件中；所述逻辑单元用于访问数据库抽象层获取页面中所需要的数据，在这个过程中，发现数据获取异常或者网络bug故障，日志采集***则将数据库操作日志记录到日志文件中；所述日志采集***将会采集到程序的启动信息根据设置的日志输出等级把对应等级的日志记录到日志文件中。
进一步地，所述主程序对程序主目录中的日志文件夹进行判断：当判断日志文件不存在时，则创建一个日志文件夹。
进一步地，当程序运行到每天的0点，日志采集***将会新建一个日志文件，将新一天的日志写入新建的日志文件内。
进一步地，所述逻辑单元包括业务逻辑单元a、业务逻辑单元b、业务逻辑单元c；所述业务逻辑单元a、业务逻辑单元b、业务逻辑单元c分别对应不同类型的业务处理，这样用来缓解各个业务逻辑单元的执行访问压力。
进一步地，所述主程序控制逻辑单元和日志采集***，所述逻辑单元访问数据库抽象层，当所述主程序关闭时，日志采集***同步关闭。
通过上述公开内容，本发明的有益效果为：根据发明所描述方式实现的日志采集***，可以服务于程序从开发到运行的所有生命周期；开发阶段，该日志采集***将实时捕获程序中的错误和异常，并打印成完善的日志信息，极大的方便了开发者根据信息进行问题的修复，程序上线运行阶段，该日志采集***会采集和记录所有运行时信息，按天生成对应的日志文件，方便了服务器运维人员对日志的存档和程序异常的问题查询。
附图说明
图1为本发明一种高效的互联网应用日志***实施例的结构框图。
图2为本发明一种高效的互联网应用日志***实施例的运行流程图。
图3为本发明一种高效的互联网应用日志***实施例的用户请求时序图。
附图标记如下：
主程序1、逻辑单元2、数据库抽象层3、日志收集***4和日志文件5。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种高效的互联网应用日志***，包括主程序1、逻辑单元2、数据库抽象层3、日志收集***4和日志文件5；主程序1启动后检查程序主目录中的日志文件夹并进行判断，同时执行用户访问页面对应的逻辑单元2，在执行过程中发现错误和异常，日志采集***4则将错误日志同步到日志文件5中；逻辑单元2用于访问数据库抽象层3获取页面中所需要的数据，在这个过程中，发现数据获取异常或者网络bug故障，日志采集***4则将数据库操作日志记录到日志文件5中；日志采集***4将会采集到程序的启动信息根据设置的日志输出等级把对应等级的日志记录到日志文件5中。
如图2，程序运行时，日志采集***4同步启动开始工作，主程序1产生的日志信息将记录到该日志采集***4中，包括程序运行时的基本信息和运行时间；
主程序1接收用户访问请求，触发日志采集***4收集访问用户的基本信息，包括用户的id，需要处理请求的逻辑单元2，以及用户请求时携带的参数；
当程序运行时存在异常或者有出现错误的时候，打印错误日志，比如数据库查询数据时出现错误等。
如图3所示，用户访问时程序处理情况如下：
1、用户通过输入一个网址开始访问服务器上的主程序1；
2、日志采集***4捕获到用户的请求相关信息(IP，用户标识，用户访问的设备，请求的逻辑单元，携带的参数等)写入文件5；
3、程序通过数据库服务器查询页面所需要的数据；数据库服务器返回服务器需要的
数据；
4、上步骤中如果存在查询失败或者查询逻辑异常，则日志采集***4将产生的错误
信息记录并写入文件5；
5、服务器返回用户访问的页面结果。
通过上述几个步骤后，程序将会在标准输出时打印出详细的完整的程序运行时日志，同时日志中的错误级别比较高的将同时写入日志文件5(错误级别可以配置)，这样一来，运维人员即可通过查看运行时产生的日志文件5进行程序健康度分析以及一些重大异常处理；同样，开发者在开发时，因为标准输出中打印了详细的请求日志，也方便了后端开发者对前端接口请求的调试检查，提升代码自检效率。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种高效的互联网应用日志***，其特征在于：包括主程序(1)、逻辑单元(2)、数据库抽象层(3)、日志收集***(4)和日志文件(5)；
所述主程序(1)启动后检查程序主目录中的日志文件夹并进行判断，同时执行用户访问页面对应的逻辑单元(2)，在执行过程中发现错误和异常，日志采集***(4)则将错误日志同步到日志文件(5)中；
所述逻辑单元(2)用于访问数据库抽象层(3)获取页面中所需要的数据，在这个过程中，发现数据获取异常或者网络bug故障，日志采集***(4)则将数据库操作日志记录到日志文件(5)中；
所述日志采集***(4)将会采集到程序的启动信息根据设置的日志输出等级把对应等级的日志记录到日志文件(5)中。
2.根据权利要求1所述的一种高效的互联网应用日志***，其特征在于：所述主程序(1)对程序主目录中的日志文件夹进行判断：当判断日志文件不存在时，则创建一个日志文件夹(5)。
3.根据权利要求1所述的一种高效的互联网应用日志***，其特征在于：当程序运行到每天的0点，日志采集***(4)将会新建一个日志文件(5)，将新一天的日志写入新建的日志文件(5)内。
4.根据权利要求1所述的一种高效的互联网应用日志***，其特征在于：所述逻辑单元(2)包括业务逻辑单元a、业务逻辑单元b、业务逻辑单元c；所述业务逻辑单元a、业务逻辑单元b、业务逻辑单元c分别对应不同类型的业务处理，这样用来缓解各个业务逻辑单元的执行访问压力。
5.根据权利要求4所述的一种高效的互联网应用日志***，其特征在于：所述主程序(1)控制逻辑单元(2)和日志采集***(4)，所述逻辑单元(2)访问数据库抽象层(3)，当所述主程序(1)关闭时，日志采集***(4)同步关闭。
CN201710740148.2A 2017-08-25 2017-08-25 一种高效的互联网应用日志*** Pending CN107870850A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710740148.2A CN107870850A (zh) 2017-08-25 2017-08-25 一种高效的互联网应用日志***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710740148.2A CN107870850A (zh) 2017-08-25 2017-08-25 一种高效的互联网应用日志***

Publications (1)

Publication Number Publication Date
CN107870850A true CN107870850A (zh) 2018-04-03

Family

ID=61761294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710740148.2A Pending CN107870850A (zh) 2017-08-25 2017-08-25 一种高效的互联网应用日志***

Country Status (1)

Country Link
CN (1) CN107870850A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471845A (zh) * 2018-10-25 2019-03-15 深圳壹账通智能科技有限公司 日志管理方法、服务器及计算机可读存储介质
CN110389883A (zh) * 2019-06-27 2019-10-29 西安联乘智能科技有限公司 一种基于多线程的模块日志实时监控***
CN111258792A (zh) * 2018-11-30 2020-06-09 南京大学 一种基于目标模型的日志记录和错误分析工具
CN112115032A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种日志生成方法和装置
CN112835793A (zh) * 2021-01-29 2021-05-25 杭州朗和科技有限公司 一种网页调试方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226497A (zh) * 2007-12-10 2008-07-23 金蝶软件（中国）有限公司 应用程序监控***和监控方法
CN101646140A (zh) * 2008-08-05 2010-02-10 中兴通讯股份有限公司 消息日志处理方法和***
JP2016024786A (ja) * 2014-07-24 2016-02-08 富士通フロンテック株式会社 ログ解析装置
CN106021064A (zh) * 2016-05-16 2016-10-12 浪潮电子信息产业股份有限公司 一种收集监控信息的方法、基板管理控制器和***
CN106339303A (zh) * 2016-08-23 2017-01-18 浪潮电子信息产业股份有限公司 一种运行日志异常分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226497A (zh) * 2007-12-10 2008-07-23 金蝶软件（中国）有限公司 应用程序监控***和监控方法
CN101646140A (zh) * 2008-08-05 2010-02-10 中兴通讯股份有限公司 消息日志处理方法和***
JP2016024786A (ja) * 2014-07-24 2016-02-08 富士通フロンテック株式会社 ログ解析装置
CN106021064A (zh) * 2016-05-16 2016-10-12 浪潮电子信息产业股份有限公司 一种收集监控信息的方法、基板管理控制器和***
CN106339303A (zh) * 2016-08-23 2017-01-18 浪潮电子信息产业股份有限公司 一种运行日志异常分析方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109471845A (zh) * 2018-10-25 2019-03-15 深圳壹账通智能科技有限公司 日志管理方法、服务器及计算机可读存储介质
CN111258792A (zh) * 2018-11-30 2020-06-09 南京大学 一种基于目标模型的日志记录和错误分析工具
CN110389883A (zh) * 2019-06-27 2019-10-29 西安联乘智能科技有限公司 一种基于多线程的模块日志实时监控***
CN110389883B (zh) * 2019-06-27 2023-08-01 西安联乘智能科技有限公司 一种基于多线程的模块日志实时监控***
CN112115032A (zh) * 2020-09-29 2020-12-22 中国银行股份有限公司 一种日志生成方法和装置
CN112115032B (zh) * 2020-09-29 2023-12-08 中国银行股份有限公司 一种日志生成方法和装置
CN112835793A (zh) * 2021-01-29 2021-05-25 杭州朗和科技有限公司 一种网页调试方法及装置

Similar Documents

Publication Publication Date Title
CN107689953B (zh) 一种面向多租户云计算的容器安全监控方法及***
US9767171B2 (en) Method and system for implementing an operating system hook in a log analytics system
US10037232B1 (en) Alarms with stack trace spanning logical and physical architecture
US20190279098A1 (en) Behavior Analysis and Visualization for a Computer Infrastructure
Potharaju et al. Juggling the jigsaw: Towards automated problem inference from network trouble tickets
WO2019134226A1 (zh) 一种日志收集方法、装置、终端设备及存储介质
US7664986B2 (en) System and method for determining fault isolation in an enterprise computing system
CN107870850A (zh) 一种高效的互联网应用日志***
CN107229556A (zh) 基于elastic组件的日志分析***
US20220050765A1 (en) Method for processing logs in a computer system for events identified as abnormal and revealing solutions, electronic device, and cloud server
US20100145978A1 (en) Techniques to provide unified logging services
JPWO2004061681A1 (ja) 運用管理方法および運用管理サーバ
CN108170566A (zh) 产品故障信息处理方法、***、设备和协同工作平台
CN107066370A (zh) 一种自动监控并收集故障硬盘日志的工具及方法
CN109976959A (zh) 一种用于服务器故障检测的便携式设备及方法
CN106919485A (zh) 一种基于服务器上配置硬件测试工具的***
CN104104734A (zh) 日志分析方法和装置
CN109902073A (zh) 日志处理方法、装置、计算机设备和计算机可读存储介质
JP2016115352A (ja) 生産システムの監視方法及び監視システム
US20080126283A1 (en) Method of capturing Problem Resolution for Subsequent Use in Managed Distributed Computer Systems
CN107277193A (zh) 一种基板管理控制器地址管理方法、装置和***
US20120072589A1 (en) Information Processing Apparatus and Method of Operating the Same
CN112506969A (zh) 一种bmc地址查询方法、***、设备及可读存储介质
WO2015139565A1 (en) Heterogeneous logging system management configuration
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180403

RJ01 Rejection of invention patent application after publication