CN101197694B - 一种通讯***日志集中统计、处理***及其方法 - Google Patents

一种通讯***日志集中统计、处理***及其方法 Download PDF

Info

Publication number
CN101197694B
CN101197694B CN2006101443680A CN200610144368A CN101197694B CN 101197694 B CN101197694 B CN 101197694B CN 2006101443680 A CN2006101443680 A CN 2006101443680A CN 200610144368 A CN200610144368 A CN 200610144368A CN 101197694 B CN101197694 B CN 101197694B
Authority
CN
China
Prior art keywords
data
server
basic data
log server
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006101443680A
Other languages
English (en)
Other versions
CN101197694A (zh
Inventor
吴琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2006101443680A priority Critical patent/CN101197694B/zh
Publication of CN101197694A publication Critical patent/CN101197694A/zh
Application granted granted Critical
Publication of CN101197694B publication Critical patent/CN101197694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种***日志集中统计、处理***及其方法，其中，方法包括：步骤一，建立多个数据源与一日志服务器之间的通讯链路；步骤二，所述各数据源按照所述日志服务器设定的数据格式传送基础数据至所述日志服务器；及步骤三，所述日志服务器接收、处理所述基础信息，并将处理后的基础数据导入数据库服务器。本发明提供的一种集中式日志统计、处理***及其方法，能有效降低***对数据库服务器的依赖程度，减小日志信息对数据库服务器的影响，提高***稳定性；此外，还能大幅度提高***灵活性和可实施性，减小因新增业务需求而带给***的影响。

Description

一种通讯***日志集中统计、处理***及其方法
技术领域
本发明涉及数据通信领域，特别是涉及一种通信***的***日志集中统计、处理***及其方法。
背景技术
通信***都需要记录日志信息，其包括***日志、操作日志、异常日志等信息，其主要目的就是为了让客户更全面、更详细地了解***的运行情况，评估工作量等。
一般的通信***的日志信息，都采用分散式的日志记录架构，该架构中包括数据源1～N共N个数据源101，如图1所示。
数据源101一般都是***中一些重要的功能性模块，由于功能不同，不同的数据源101往往不能共用一个数据表结构，因此各个数据源101只能按照各自的数据表结构，生成可执行的SQL(Structured Query Language，结构化查询语言)语句，将数据写入数据服务器102中。日志展示模块103从数据库服务器102中获取各数据源101写入的数据，供用户查看。采用这种方式，存在以下问题：
1)，各个数据源必须具备访问数据库服务器的功能，加大了***的开销，增加***复杂度；
2)，多个数据源同时操作一个库或一张数据表，对数据库服务器的性能要求较高，使得***成本增高；
3)，当数据库服务器中的数据表结构因故有所变动时，对应的数据源都必须变动，降低了***灵活性，加大了工程实施的难度与风险。
发明内容
本发明所要解决的技术问题在于提供一种***日志集中统计、处理***及其方法，用于降低***复杂度，提高***灵活性及可实施性。
为了实现上述目的，本发明提供了一种通讯***日志集中统计、处理***，包括多个数据源、数据库服务器，所述各数据源用于提供基础数据，所述数据库服务器用于存放所述***的***数据，其特征在于，还包括：一日志服务器，用于接收、处理所述各数据源按照所述日志服务器设定的数据格式传送的基础数据，并将处理后的基础数据导入所述数据库服务器；
其中，所述日志服务器包括：
一内存数据库，用于存放数据；
一采集模块，用于接收所述基础数据，并对所述基础数据进行分类，再将分类后的基础数据保存至所述内存数据库；
一挖掘模块，用于对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及
一同步模块，用于将所述新数据中需同步的新数据同步至所述数据库服务器。
所述的***日志集中统计、处理***，其中，所述统计、处理***还包括：一日志展示模块，连接所述数据库服务器，用于以图形或表格形式展示从所述数据库服务器中获取的数据。
所述的***日志集中统计、处理***，其中，所述各数据源通过所述日志服务器设定的通用日志消息接口将所述基础数据传送至所述日志服务器。
所述的***日志集中统计、处理***，其中，所述日志服务器根据所述***的要求增加或减少设置模块的数量以适应不同的策略。
为了实现上述目的，本发明提供了一种***日志集中统计、处理方法，其特征在于，包括：
步骤一，建立多个数据源与一日志服务器之间的通讯链路；
步骤二，所述各数据源按照所述日志服务器设定的数据格式传送基础数据至所述日志服务器；及
步骤三，所述日志服务器接收、处理所述基础数据，并将处理后的基础数据导入数据库服务器；
其中，所述步骤三中，所述日志服务器接收、处理所述基础数据的步骤包括：
步骤81，接收所述基础数据并进行分类，再将分类后的基础数据存放至一内存数据库中；
步骤82，对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及
步骤83，将所述新数据中需同步的新数据同步至所述数据库服务器。
所述的***日志集中统计、处理方法，其中，所述步骤二，所述各数据源通过所述日志服务器设定的通用日志消息接口传送所述基础数据至所述日志服务器。
所述的***日志集中统计、处理方法，其中，所述步骤三中，所述日志服务器将所述处理后的基础数据单个或批量导入数据库服务器。
所述的***日志集中统计、处理方法，其中，所述步骤三中，还包括：以图形或表格形式展示从所述数据库服务器获取的数据的步骤。
本发明提供的一种集中式日志统计、处理***及其方法，能有效降低***对数据库服务器的依赖程度，减小日志信息对数据库服务器的影响，提高***稳定性；此外，还能大幅度提高***灵活性和可实施性，减小因新增业务需求而带给***的影响。
以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
图1是现有技术分散式日志统计、处理的组网架构示意图；
图2是本发明的集中式日志统计、处理的组网架构示意图；
图3是本发明日志服务器的处理流程图。
具体实施方式
下面将结合附图，详细说明本发明的实现***及其方法。
请参阅图2，是本发明的集中式日志统计、处理的组网架构示意图。该组网架构描述了新***通过新增日志服务器204，解决了原有***进行日志统计、处理时所存在的上述技术问题。
在组网架构实施过程中，该***涉及到的通信网络设备包括：数据源201(数据源1～N)、数据库服务器202、日志展示模块203、日志服务器204。
数据源201，为***中的功能模块，是***中***日志、操作日志等基础数据的来源，并以日志服务器204定义的通用数据格式将基础数据发送给日志服务器204；
数据库服务器202，用于存放各种***数据；
日志展示模块203，用于提供统计数据的展示功能，其以图形、表格等形式展示从数据库服务器202中获取的数据，供用户清晰、直观地查看***相关数据；
日志服务器204，用于采集、分析、保存、整理、同步***中的数据信息，并将处理后的数据单个或批量导入数据库服务器202。其又包括：采集模块241、挖掘模块242、同步模块243、内存数据库244。
采集模块241，用于接收所有数据源201的信息，将其分类保存至内存数据库244中；
挖掘模块242，用于定时按预定策略对内存数据库244中分类后的基础数据进行分析、整理、统计，并按策略生成新数据，再重新存放在内存数据库244中；
同步模块243，用于按照策略定期将生成的新数据中需要同步的新数据同步至数据库服务器202中。
该***中的数据源201只需与日志服务器204通过内部消息进行消息交互，而无需访问数据库服务器202。日志服务器204可根据配置策略对数据进行过滤、采集、保存等工作，并可选择在数据库服务器202空闲时候将整理后的基础数据批量导入数据库服务器202，在提供了数据整理业务的同时，也降低了数据库服务器202繁忙时的压力。
在日志服务器204的具体实现方案上，可采用分散式的架构，即用一个应用支撑平台支持多个应用插件的方法，通过减少、增加应用插件来满足各种需求，而无需对数据源201进行更改。
请参阅图3，是本发明日志服务器的处理流程图。结合图2，该流程描述了本发明一种***的日志集中统计、处理方法。
在进行日志集中统计、处理之前，日志服务器先定义一套通用日志消息接口；各数据源与日志服务器建立起通讯链路；各数据源在实现各自功能时，将所有的操作日志信息、***日志信息等日志信息按照通用日志消息接口发送至日志服务器，具体流程按以下步骤实现：
步骤301，日志服务器的采集模块接收各数据源的基础数据；
步骤302，日志服务器的采集模块将接收到的各数据源的基础数据分类保存至日志服务器的内存数据库中；
步骤303，日志服务器的挖掘模块判断是否需要提取数据，若是，则执行步骤304，否则，返回步骤301执行；
步骤304，日志服务器的挖掘模块按照策略提取相关数据；
步骤305，对提取的相关数据进行分析、整理，生成新数据并保存在内存数据库；
步骤306，日志服务器的同步模块判断是否将新数据批量导入数据库服务器，若是，则执行步骤307，否则，返回步骤301执行；
步骤307，日志服务器的同步模块将新数据批量导入数据库服务器。
在将新数据批量导入数据库服务器后，日志展示模块可从数据库服务器中获取数据，并通过图形、表格等形式直观地展现出来，供用户参考。
本发明提供的一种***集中式日志统计、处理***及其方法，通过日志服务器使各数据源从数据库服务器相关的业务中剥离出来，简化了各数据源的功能，降低了***复杂度；日志服务器可选择在数据库服务器空闲时同步数据，相比原有***，大幅度降低了话务繁忙时对数据库服务器的压力，提高了***稳定性；日志服务器在各数据源和日志展示模块之间起到了一个很好的屏蔽作用，能有效防止频繁、复杂的日志展示功能的需求改动引起重要功能模块的更改，同时还提供一种简单、实施性好的接口以满足不同的日志展示需求。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种通讯***日志集中统计、处理***，包括多个数据源、数据库服务器，所述各数据源用于提供基础数据，所述数据库服务器用于存放所述***的***数据，其特征在于，还包括：一日志服务器，用于接收、处理所述各数据源按照所述日志服务器设定的数据格式传送的基础数据，并将处理后的基础数据导入所述数据库服务器；
其中，所述日志服务器包括：
一内存数据库，用于存放数据；
一采集模块，用于接收所述基础数据，并对所述基础数据进行分类，再将分类后的基础数据保存至所述内存数据库；
一挖掘模块，用于对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及
一同步模块，用于将所述新数据中需同步的新数据同步至所述数据库服务器。
2.根据权利要求1所述的***日志集中统计、处理***，其特征在于，所述统计、处理***还包括：一日志展示模块，连接所述数据库服务器，用于以图形或表格形式展示从所述数据库服务器中获取的数据。
3.根据权利要求1所述的***日志集中统计、处理***，其特征在于，所述各数据源通过所述日志服务器设定的通用日志消息接口将所述基础数据传送至所述日志服务器。
4.根据权利要求1所述的***日志集中统计、处理***，其特征在于，所述日志服务器根据所述***的要求增加或减少设置模块的数量以适应不同的策略。
5.一种***日志集中统计、处理方法，其特征在于，包括：
步骤一，建立多个数据源与一日志服务器之间的通讯链路；
步骤二，所述各数据源按照所述日志服务器设定的数据格式传送基础数据至所述日志服务器；及
步骤三，所述日志服务器接收、处理所述基础数据，并将处理后的基础数据导入数据库服务器；
其中，所述步骤三中，所述日志服务器接收、处理所述基础数据的步骤包括：
步骤81，接收所述基础数据并进行分类，再将分类后的基础数据存放至一内存数据库中；
步骤82，对所述分类后的基础数据进行整理、统计，生成新数据，并存放至所述内存数据库；及
步骤83，将所述新数据中需同步的新数据同步至所述数据库服务器。
6.根据权利要求5所述的***日志集中统计、处理方法，其特征在于，所述步骤二，所述各数据源通过所述日志服务器设定的通用日志消息接口传送所述基础数据至所述日志服务器。
7.根据权利要求5或6所述的***日志集中统计、处理方法，其特征在于，所述步骤三中，所述日志服务器将所述处理后的基础数据单个或批量导入数据库服务器。
8.根据权利要求5或6所述的***日志集中统计、处理方法，其特征在于，所述步骤三中，还包括：以图形或表格形式展示从所述数据库服务器获取的数据的步骤。
CN2006101443680A 2006-12-04 2006-12-04 一种通讯***日志集中统计、处理***及其方法 Active CN101197694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2006101443680A CN101197694B (zh) 2006-12-04 2006-12-04 一种通讯***日志集中统计、处理***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006101443680A CN101197694B (zh) 2006-12-04 2006-12-04 一种通讯***日志集中统计、处理***及其方法

Publications (2)

Publication Number Publication Date
CN101197694A CN101197694A (zh) 2008-06-11
CN101197694B true CN101197694B (zh) 2011-05-11

Family

ID=39547860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101443680A Active CN101197694B (zh) 2006-12-04 2006-12-04 一种通讯***日志集中统计、处理***及其方法

Country Status (1)

Country Link
CN (1) CN101197694B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及***
CN106209466A (zh) * 2016-07-21 2016-12-07 柳州龙辉科技有限公司 一种***日志处理方法
CN106230618A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种***日志集中处理***

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101753344B (zh) * 2008-12-12 2012-09-05 华为技术有限公司 一种记录日志的方法、装置及***
CN102254231A (zh) * 2010-05-17 2011-11-23 北京市电力公司 在操作管理***中处理数据的方法与装置
CN102158345B (zh) * 2010-06-23 2013-06-05 青岛海信传媒网络技术有限公司 一种数据管理方法、装置和***
CN102377580B (zh) * 2010-08-06 2015-08-12 大唐移动通信设备有限公司 性能数据的上传方法和设备
CN102064969A (zh) * 2010-12-27 2011-05-18 大唐移动通信设备有限公司 一种日志的处理方法和设备
CN102739718A (zh) * 2011-04-12 2012-10-17 中兴通讯股份有限公司 一种机顶盒质量数据处理方法及***
CN102915269B (zh) * 2012-09-20 2016-07-27 浪潮软件股份有限公司 一种b/s软件***的通用日志分析方法
CN104639585B (zh) * 2013-11-13 2019-01-08 腾讯科技（深圳）有限公司 一种实时数据传输***及其数据同步方法
CN103944973A (zh) * 2014-04-02 2014-07-23 北京中交兴路车联网科技有限公司 一种日志采集方法及装置
CN105337930B (zh) * 2014-06-30 2019-02-19 北京新媒传信科技有限公司 一种对数据进行处理的方法及装置
CN106909478A (zh) * 2015-12-22 2017-06-30 曹圣航 一种基于wmi技术与决策树分类算法的智能维修***
CN107229554A (zh) * 2016-03-25 2017-10-03 展讯通信(天津)有限公司 移动终端稳定性测试方法及装置
CN111858274B (zh) * 2020-07-02 2021-06-01 北京睿知图远科技有限公司 一种大数据评分***稳定性监控方法
CN114157017A (zh) * 2021-10-18 2022-03-08 国网安徽省电力有限公司马鞍山供电公司 一种基于大数据的电网信息运维主动预警方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理***
CN1483270A (zh) * 1999-06-10 2004-03-17 �йȲ��� 基于策略的网络体系结构

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1483270A (zh) * 1999-06-10 2004-03-17 �йȲ��� 基于策略的网络体系结构
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102780726A (zh) * 2011-05-13 2012-11-14 中兴通讯股份有限公司 一种基于web平台的日志分析方法及***
CN102780726B (zh) * 2011-05-13 2016-12-07 国网山东省电力公司蒙阴县供电公司 一种基于web平台的日志分析方法及***
CN106209466A (zh) * 2016-07-21 2016-12-07 柳州龙辉科技有限公司 一种***日志处理方法
CN106230618A (zh) * 2016-07-21 2016-12-14 柳州龙辉科技有限公司 一种***日志集中处理***

Also Published As

Publication number Publication date
CN101197694A (zh) 2008-06-11

Similar Documents

Publication Publication Date Title
CN101197694B (zh) 一种通讯***日志集中统计、处理***及其方法
CN107040863B (zh) 实时业务推荐方法及***
CN103546343B (zh) 网络流量分析***的网络流量展示方法和***
US20070189272A1 (en) Device analysis system for tracking device operations within a wireless network
US20080056144A1 (en) System and method for analyzing and tracking communications network operations
CN101854400A (zh) 一种数据库同步部署及监控的方法和装置
CN103209087A (zh) 分布式日志统计处理方法和***
CN109923847A (zh) 调用链路的发现方法、装置、设备及存储介质
CN102867282A (zh) 一种基于移动互联网的客户服务质量分析***的实现方法
CN101556586A (zh) 一种自动采集数据的方法、***和装置
CN101833580A (zh) 一种报表查询***及其采集数据的方法和装置
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN102378151A (zh) 信息共享平台及方法
CN112181678A (zh) 业务数据的处理方法、装置和***、存储介质、电子装置
US6442269B1 (en) Method and apparatus for integrating business data and transaction data in a transaction processing environment
CN107426017A (zh) 一种通过采集交换机网络流量进行数据分析的方法
CN105338107A (zh) 一种据点运营同步管理***及方法
CN114661823A (zh) 数据同步的方法、装置、电子设备及可读存储介质
US20070207774A1 (en) System for compiling data from call event information
CN111107137B (zh) 通信数据同步及处理方法和***
CN106230618A (zh) 一种***日志集中处理***
CN107896246A (zh) 基于xbrl的消息传播***
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN111861641A (zh) 基于通信行业的多渠道订单集成管理***及方法
CN106503149B (zh) 一种数据同步方法及其***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant