CN108334556A - 一种分析互联网金融海量日志的方法及*** - Google Patents
一种分析互联网金融海量日志的方法及*** Download PDFInfo
- Publication number
- CN108334556A CN108334556A CN201711495499.8A CN201711495499A CN108334556A CN 108334556 A CN108334556 A CN 108334556A CN 201711495499 A CN201711495499 A CN 201711495499A CN 108334556 A CN108334556 A CN 108334556A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- business diary
- massive logs
- internet finance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/168—Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种分析互联网金融海量日志的***及分析方法，该分析***包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。
Description
技术领域
本发明涉及互联网金融技术领域，具体来说，涉及一种互联网金融海量日志的分析***及分析方法。
背景技术
现有的日志***，部分是针对性能分析的，部分是针对数据处理的。而针对数据处理的，都是离线数据处理，很难做到实时监控，并且很难适应间歇性高并发的应用场景，尤其是针对互联网金融这种对数据一致性，时效性要求高的应用，如果不能及时针对线上故障做出响应，带来的影响就非常大。除此之外，现有的日志***不能快速处理海量数据，导致问题发现的非常缓慢。
整体来说，现有的日志***存在以下缺陷：
一、不能有效的应对间歇性的高并发情况。互联网应用因为时段、运营手段等原因，容易出现某个时段高并发情况，这个时候日志量会暴增，如果处理不好很容易出现宕机的情况。例如，突然的一些运营活动导致线上业务压力大、日志量井喷，很容使日志***宕机；
二、实时性差。现有的日志***很多都只是离线分析日志，或是准实时的分析日志，当出现线上问题时不能快速有效的响应；
三、处理的数据量有限。现有日志处理的数据量都比较有限，这导致不能保存足够长时间的日志，不利于问题排查。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述问题，本发明提出一种分析互联网金融海量日志的***及分析方法，采用kafka作为日志传输工具，能够有效地解决高并发带来的风险；采用storm集群实时采集数据、分析结果，实现了海量日志实时分析。
本发明的技术方案是这样实现的：
根据本发明的一个方面，提供了一种分析互联网金融海量日志的***，其特征在 于，包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
在一个实施例中，还包括：存储模块，连接于处理模块；其中，存储模块包括redis存储单元，其中redis存储单元用于存储统计数据。
在一个实施例中，存储模块还包括：MySQL存储单元、以及Elasticsearch存储单元；其中，MySQL存储单元用于存储规则数据；以及Elasticsearch存储单元用于存储日志文本数据。
在一个实施例中，处理模块包括：报警控制单元，用于根据实时计算和分析的结果生成报警反馈。
在一个实施例中，还包括web展示模块，连接于存储模块，web展示模块实时动态展示监控数据。
根据本发明的另一方面，提供了一种分析互联网金融海量日志的方法，其特征在于，包括：
利用flume实时收集业务日志；
利用kafka技术对业务日志进行传输；
接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储统计数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：存储规则数据；以及存储日志文本数据。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：根据实时计算和分析的结果生成报警反馈。
在一个实施例中，在对业务日志进行实时计算和分析之后还包括：实时动态展示监控数据。
本发明通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种分析互联网金融海量日志的***的示意图；
图2是根据本发明实施例的一种分析互联网金融海量日志的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1，示出了根据本发明实施例的一种分析互联网金融海量日志的***的示意图，根 据本发明实施例的分析***100包括：顺序连接的采集模块10、传输模块20、以及处理模块 30；
其中，采集模块10利用flume实时收集业务日志；传输模块20利用kafka技术对业务日志进行传输，处理模块30接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
上述技术方案，通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。
具体地，flume是一个分布式、可靠的高性能工具，可用于从不同数据源收集、聚合、传输大量日志数据至一个中央数据源。本发明的分析***100通过flume实时收集分布在各个业务应用***上的日志，实现了日志分布式实时收集；kafka是一种高吞吐量的分布式发布订阅消息***，通过采用kafka作为日志传输工具，Kafka吞吐量大，且不易丢失日志，有效的解决了高并发带来的风险、提高了高并发的容灾性能；海量日志实时分析。上述storm可以是storm实时计算集群，通过采用storm集群能够实时采集数据、并实时分析数据。
在一个实施例中，如图1所示，分析***100还包括：存储模块40，连接于处理模块30；存储模块40包括redis存储单元42，其中redis存储单元42用于存储统计数据。
其中，存储模块40还包括：MySQL存储单元41、以及Elasticsearch存储单元43；MySQL存储单元41用于存储规则数据；以及Elasticsearch存储单元43用于存储日志文本数据。
在一个实施例中，处理模块30包括：报警控制单元33，用于根据实时计算和分析的结果生成报警反馈。通过利用storm的流式数据处理优势，能够实时处理刚产生的日志，并及时反馈线上应用***的运行状态，对线上出现的问题能够及时生成报警反馈。即本发明的分析***100能够对线上出现的问题实时给出报警反馈，进而方便及时有效的对线上故障进行处理。如图1所示，在一些可选的实施例中，处理模块30还可以具体包括：日志读取单元31、采样统计单元32、采样存储单元34、以及结果输出单元35。
在一个实施例中，分析***100还包括web展示模块50，连接于存储模块40，web展示模块50实时动态展示监控数据。根据实际需求，可以通过该web展示模块50实时展示分析结果、监控数据等。
如图1所示，在一些可选的实施例中，web展示模块50可以包括：监控规则管理单元51、报警渠道管理单元52、性能参数动态展示单元53、报警对象管理单元54、报警历史展示单元55、业务异常动态展示单元56、关键词内容检索单元57。从而能够通过网站web进行相应的功能管理和内容展示。
下面结合图1所示，对本发明实施例的分析***100的工作过程进行说明。采集模块10利用flume从各个线上应用***(应用***1，...，应用***n)实时收集业务日志，然后传输模块20利用Kafka作为日志传输工具发送日志，Storm集群接收Kafka发送来的日志，并根据预定的监控规则进行实时计算。并将统计数据存储到redis存储单元42，满足一定条件存储到MySQL存储单元41，将日志的文本数据存储到Elasticsearch存储单元43中。最后通过web展示模块50在网站实时动态展示监控数据。
在一个可选的实施例中，本发明的分析***100的软件环境是Linux操作***；硬件环境是：包括多台由高速网络互连和计算机/服务器，以此可以实现分布式、可并行计算；编程语言为java。应当理解，本发明的分析***100的软件环境、硬件环境及编程语言可以根据需要进行配置，本发明对此不做出限定。
如图2所示，根据本发明的实施例，还提供了一种分析互联网金融海量日志的方法200，包括以下步骤：
S210，利用flume实时收集业务日志；
S220，利用kafka技术对业务日志进行传输；
S230，接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。
其中，在S230之后还可以包括步骤：S241，存储统计数据。
在一个实施例中，在S230之后还可以包括步骤：
S242，存储规则数据；以及
S243，存储日志文本数据。
在一个实施例中，在S230之后还可以包括步骤：S244，根据实时计算和分析的结果生成报警反馈。
在一个实施例中，在S230之后还可以包括步骤：S250，实时动态展示监控数据。
综上所述，本发明通过flume来实时收集业务日志，实现了对海量日志的实时收集；通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm集群实时采集数据，能够实时分析数据、实时展示分析结果、实时给出报警反馈。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种分析互联网金融海量日志的***，其特征在于，包括顺序连接的采集模块、传输模块、以及处理模块；
其中，所述采集模块利用flume实时收集业务日志；所述传输模块利用kafka技术对所述业务日志进行传输，所述处理模块接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。
2.根据权利要求1所述的一种分析互联网金融海量日志的***，其特征在于，还包括：存储 模块，连接于所述处理模块；
其中，所述存储模块包括redis存储单元，其中所述redis存储单元用于存储统计数据。
3.根据权利要求2所述的一种分析互联网金融海量日志的***，其特征在于，所述存储模块 还包括：MySQL存储单元、以及Elasticsearch存储单元；
其中，所述MySQL存储单元用于存储规则数据；以及
所述Elasticsearch存储单元用于存储日志文本数据。
4.根据权利要求1所述的一种分析互联网金融海量日志的***，其特征在于，所述处理模块 包括：
报警控制单元，用于根据实时计算和分析的结果生成报警反馈。
5.根据权利要求2所述的一种分析互联网金融海量日志的***，其特征在于，还包括web展 示模块，连接于所述存储模块，所述web展示模块实时动态展示所述监控数据。
6.一种分析互联网金融海量日志的方法，其特征在于，包括：
利用flume实时收集业务日志；
利用kafka技术对所述业务日志进行传输；
接收所述业务日志并利用storm对所述业务日志进行实时计算和分析以得到监控数据。
7.根据权利要求6所述的一种分析互联网金融海量日志的方法，其特征在于，在对所述业务 日志进行实时计算和分析之后还包括：
存储统计数据。
8.根据权利要求7所述的一种分析互联网金融海量日志的方法，其特征在于，在对所述业务 日志进行实时计算和分析之后还包括：
存储规则数据；以及
存储日志文本数据。
9.根据权利要求6所述的一种分析互联网金融海量日志的方法，其特征在于，在对所述业务 日志进行实时计算和分析之后还包括：
根据实时计算和分析的结果生成报警反馈。
10.根据权利要求7所述的一种分析互联网金融海量日志的方法，其特征在于，在对所述业 务日志进行实时计算和分析之后还包括：
实时动态展示所述监控数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711495499.8A CN108334556A (zh) | 2017-12-31 | 2017-12-31 | 一种分析互联网金融海量日志的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711495499.8A CN108334556A (zh) | 2017-12-31 | 2017-12-31 | 一种分析互联网金融海量日志的方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108334556A true CN108334556A (zh) | 2018-07-27 |
Family
ID=62924032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711495499.8A Pending CN108334556A (zh) | 2017-12-31 | 2017-12-31 | 一种分析互联网金融海量日志的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108334556A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165863A (zh) * | 2018-09-06 | 2019-01-08 | 华泰证券股份有限公司 | 基于分布式数据流基金资产实时估值的方法、***及应用 |
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN111090646A (zh) * | 2019-10-21 | 2020-05-01 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN112651840A (zh) * | 2021-01-13 | 2021-04-13 | 李青 | 基于区块链和数字金融的业务数据日志处理方法及*** |
| CN111858274B (zh) * | 2020-07-02 | 2021-06-01 | 北京睿知图远科技有限公司 | 一种大数据评分***稳定性监控方法 |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN115801353A (zh) * | 2022-11-03 | 2023-03-14 | 智网安云(武汉)信息技术有限公司 | 基于大数据级安全事件日志实时聚合后联动剧本处理方法 |
-
2017
- 2017-12-31 CN CN201711495499.8A patent/CN108334556A/zh active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726074A (zh) * | 2018-08-31 | 2019-05-07 | 网联清算有限公司 | 日志处理方法、装置、计算机设备和存储介质 |
| CN109165863A (zh) * | 2018-09-06 | 2019-01-08 | 华泰证券股份有限公司 | 基于分布式数据流基金资产实时估值的方法、***及应用 |
| CN109165863B (zh) * | 2018-09-06 | 2022-03-22 | 华泰证券股份有限公司 | 基于分布式数据流基金资产实时估值的方法、***及应用 |
| CN111090646A (zh) * | 2019-10-21 | 2020-05-01 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN111090646B (zh) * | 2019-10-21 | 2023-07-28 | 中国科学院信息工程研究所 | 一种电磁数据处理平台 |
| CN111858274B (zh) * | 2020-07-02 | 2021-06-01 | 北京睿知图远科技有限公司 | 一种大数据评分***稳定性监控方法 |
| CN112651840A (zh) * | 2021-01-13 | 2021-04-13 | 李青 | 基于区块链和数字金融的业务数据日志处理方法及*** |
| CN112651840B (zh) * | 2021-01-13 | 2023-11-14 | 李青 | 基于区块链和数字金融的业务数据日志处理方法及*** |
| CN113434376A (zh) * | 2021-06-24 | 2021-09-24 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN113434376B (zh) * | 2021-06-24 | 2023-04-11 | 山东浪潮科学研究院有限公司 | 一种基于NoSQL的Web日志分析方法、装置 |
| CN115801353A (zh) * | 2022-11-03 | 2023-03-14 | 智网安云(武汉)信息技术有限公司 | 基于大数据级安全事件日志实时聚合后联动剧本处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334556A (zh) | 一种分析互联网金融海量日志的方法及*** | |
| CN109522287B (zh) | 分布式文件存储集群的监控方法、***、设备及介质 | |
| CN107357804A (zh) | 互联网金融海量日志的分析***及方法 | |
| CN109412870B (zh) | 告警监控方法及平台、服务器、存储介质 | |
| US10116534B2 (en) | Systems and methods for WebSphere MQ performance metrics analysis | |
| US20200034216A1 (en) | Router management by an event stream processing cluster manager | |
| CN111339175B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
| CN111740860A (zh) | 日志数据传输链路监控方法及装置 | |
| CN103295155A (zh) | 证券核心业务***监控方法 | |
| CN111858251A (zh) | 一种基于大数据计算技术的数据安全审计方法及*** | |
| CN111858274B (zh) | 一种大数据评分***稳定性监控方法 | |
| CN107656973A (zh) | 一种应用于云审计***的日志审计子*** | |
| CN105122733A (zh) | 队列监控和可视化 | |
| US9037705B2 (en) | Routing of performance data to dependent calculators | |
| CN111240936A (zh) | 一种数据完整性校验的方法及设备 | |
| CN111049846A (zh) | 数据处理方法和装置、电子设备及计算机可读存储介质 | |
| CN111130882A (zh) | 网络设备的监控***及方法 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及*** | |
| CN116506300A (zh) | 一种网站流量数据统计方法和*** | |
| EP2770447B1 (en) | Data processing method, computational node and system | |
| CN115664992A (zh) | 网络运行数据的处理方法、装置、电子设备及介质 | |
| CN114925283A (zh) | 推送任务的管理方法及***、电子设备及介质 | |
| CN111796993A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| Chakraborty et al. | Observability | |
| Dzik et al. | Real-time AWS resources monitoring and analytics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180727 |