CN113282557A - 一种基于Spring框架的大数据日志分析的方法和*** - Google Patents
一种基于Spring框架的大数据日志分析的方法和*** Download PDFInfo
- Publication number
- CN113282557A CN113282557A CN202110458196.9A CN202110458196A CN113282557A CN 113282557 A CN113282557 A CN 113282557A CN 202110458196 A CN202110458196 A CN 202110458196A CN 113282557 A CN113282557 A CN 113282557A
- Authority
- CN
- China
- Prior art keywords
- agent1
- big data
- log
- sink1
- logback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012423 maintenance Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 13
- 238000007418 data mining Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于Spring框架的大数据日志分析的方法和***,属于信息安全技术领域,该方法包括如下步骤:日志统一采集,在不同的Spring框架中,在POM文件中新增logback依赖,同时在各个服务的resources目录下新建logback.xml文件。本发明针对不同的Spring框架的内部WEB服务提供了统一的管理平台;从离线和实时的维度对数据进行分析和挖掘,保证了数据的准确性和一致性;提供了从时间、服务名称、日志层次,关键字搜索功能,使开发、运维人员快速定位生产环境的问题。
Description
技术领域
本发明涉及一种基于Spring框架的大数据日志分析的方法和***,属于信息安全技术领域。
背景技术
在如今复杂多样的企业WEB服务中,不仅集成了Spring MVC、Spring Boot、SpringCloud各种服务框架,同时记录日志方式也是多种多样、千差万别。不仅缺失了日志的归档、管理的功能,而且对各个WEB服务无法做出统一的告警管理、风险预警;无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题,也没有高效搜索日志内容从而快速定位问题的方式;同时无法提前预知和及时处理问题,极大的影响的客户的感知体验,因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息,集中管理、及时预警,并提供良好的UI界面进行数据展示,处理分析,同时对客户行为进行数据挖掘,提炼出更大的商业价值。
发明内容
本发明的主要目的是为了解决现有技术的不足,而提供一种基于Spring框架的大数据日志分析的方法和***。
本发明的目的可以通过采用如下技术方案达到:
一种基于Spring框架的大数据日志分析的方法,该方法包括如下步骤:
步骤1:日志统一采集,在不同的Spring框架中,在POM文件中新增logback依赖,同时在各个服务的resources目录下新建logback.xml文件;
步骤2:Logstash数据入ES,在logstash config目录下面新建trace-logging.conf文件,将实时的日志存入ES,后续通过Flink进行流处理;
步骤3:Flume数据存HDFS,在Flume conf目录下新建properties文件,将离线文件存储在HDFS后,后续可以通过HIVE、SPARK进行数据分析和挖掘;
步骤4:Kibana接入ES,修改kibana.yml,将离线实时数据已全接入大数据平台中。
优选的,在步骤1中,所述新增logback依赖如下:
优选的,在步骤1中,在各个服务的resources目录下新建logback.xml文件如下:
优选的,在步骤2中,新建trace-logging.conf文件如下:
优选的,所述9601是logstash接收数据的端口,在logback必须配置此端口,codec=>json_lines是一个json解析器,接收json的数据,需要安装logstash-codec-json_lines插件;ouput elasticsearch指向我们安装的集群的ip地址和端口;stdout会打印收到的消息。
优选的,和***,所述Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
优选的,在步骤3中,Flume conf目录下新建.properties文件如下:
#agent1 name
agent1.sources source1
agent1.sinks=sink1
agent1.channels=channel1
#Spooling Directory
#set source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader=false
agent1.sources.source1.interceptors=i1.
agent1.sources.source1.interceptors.i1.type=timestamp
#set sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix%Y-%m-%d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfstmp
优选的,在步骤4中,修改kibana.yml如下:
server.port:5601##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200","http://11.1.5.70:9200","http://11.1.5.71:9200"]
一种基于Spring框架的大数据日志分析的方法的***,所述***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能:通过设置时间、服务名称和日志层次维度筛选;
报表监控:通过对错误日志的监控能够及时通知项目运维人员,通过对服务、接口调用次数,接口响应时间维度进行监控;
告警管理,
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时,告警管理***能够通过邮件、短信、钉钉或微信的方式推送维人员;
行为分析
通过接口的调用频率可以统计出PV/UV,DAU/MAU,新增用户数,访问时长,GMV重用指标;
通过用户的点击行为作为行为特征,同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像,再结合机器学习对用户进行精准营销和智能推荐。
优选的,所述报表统计的数据包括:PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
本发明的有益技术效果:按照本发明的基于Spring框架的大数据日志分析的方法和***,针对不同的Spring框架的内部WEB服务提供了统一的管理平台;从离线和实时的维度对数据进行分析和挖掘,保证了数据的准确性和一致性;提供了从时间、服务名称、日志层次,关键字搜索功能,使开发、运维人员快速定位生产环境的问题;提供了风险预警和告警监控的功能,通过邮件、短信、钉钉、微信灵活多样的方式推送维人员;对用户的行为数据做进一步分析和挖掘,为运营人员和数据分析师做运营决策分析。
附图说明
图1为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的Spring整体框架示意图。
图2为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的Flume数据采集架构示意图;
图3为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的日志监控框架图;
图4为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的告警管理框架图;
图5为按照本发明的基于Spring框架的大数据日志分析的方法和***的行为分析框架图;
图6为按照本发明的基于Spring框架的大数据日志分析的方法和***的***框架图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案,下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1-图5所示,本实施例提供的基于Spring框架的大数据日志分析的方法和***,一种基于Spring框架的大数据日志分析的方法,该方法包括如下步骤:
步骤1:日志统一采集,在不同的Spring框架中,在POM文件中新增logback依赖,同时在各个服务的resources目录下新建logback.xml文件;
步骤2:Logstash数据入ES,在logstash config目录下面新建trace-logging.conf文件,将实时的日志存入ES,后续通过Flink进行流处理;
步骤3:Flume数据存HDFS,在Flume conf目录下新建properties文件,将离线文件存储在HDFS后,后续可以通过HIVE、SPARK进行数据分析和挖掘;
步骤4:Kibana接入ES,修改kibana.yml,将离线实时数据已全接入大数据平台中。
在步骤1中,新增logback依赖如下:
<dependency>
<groupId>net.logstash.logback</groupid>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.11</version>
</dependency>
在步骤1中,在各个服务的resources目录下新建logback.xml文件如下:
<?xml version=""1.0"encoding="UTF-8"?>
<configuration>
<l--这个名字将反应到每一条日志的开头-->
<contextName>car-trace-logging</contextName>
<!--设置变量,下面有用到,含义是日志保存路径-->
<property name="log.path"value="D:/log/CarTrace"/>
<!--输出到控制台-->
<appendername="console"class="ch.qos.logback.core.ConsoleAppender">
<!--级别过滤-->
<filterclass="ch.qos.logback.classic.filter.LevelFilter">
<level>INFO</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<!--日志输出格式-->
<encoder>
<pattern>%d{HH:mm:ss.ssS}%contextName[%thread]%-5level%logger{36}-kmsgKn</pattern.
</encoder>
</appender>
<!--输出到文件-->
<appendername="file"class="ch.qos.logback.core.rolling.RollingFileAppender">
<l--日志名,用到了上面配置的路径-->
<file>${log.path}/car-trace.log</file>
<I--根据yyyy--dd-->
<rollingPolicyclass="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${log.path}/car-trace.%d{yyyy-M-dd}.log.zip</fileNamePattern></rollingPolicy>
<encoder>
<pattern>%d{H:mm:ss.SSS]%contextName[%thread]%-5level%logger{36}-‰msg%n</pattern>
</encoder>
</appender>
</appendername="LOGSTASH"class="net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>192.168.253.6:9601</destination>〈--指定logstaship:监听端口tcpAppender可自己实现如kafka传输-->
<encodercharset="UTF-8"class="net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<!--设置日志隔离级别-->
<root level="info">
<appender-ref ref="console"/>
<appender-ref ref=""file">
<appender-ref ref="LOGSTASH”/>
</root>
<!--设置具体包的隔离级别-->
<logger name="cn.theUnit4.Mapper"level="debug"/>
</configuration>
在步骤2中,新建trace-logging.conf文件如下:
input{
tcp{
port=>9601
codec=>json_lines
}
output{
<elasticsearch{
action=>"index"
hosts=>["11.1.5.69:8088","11.1.5.70:8088","11.1.5.71:8088"]#ES集群的ip地址和端口
index=>"%{[appName]}-%{+YYYY.MM.dd}"#用一个项目名称来做索引
document_type=>"applog”
}
stdout{codec=>rubydebug}
}
9601是logstash接收数据的端口,在logback必须配置此端口,codec=>json_lines是一个json解析器,接收json的数据,需要安装logstash-codec-json_lines插件;ouput elasticsearch指向我们安装的集群的ip地址和端口;stdout会打印收到的消息。
和***,Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
在步骤3中,Flume conf目录下新建.properties文件如下:
#agent1 name
agent1.sources source1
agent1.sinks=sink1
agent1.channels=channel1
#Spooling Directory
#set source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader=false
agent1.sources.source1.interceptors=i1.
agent1.sources.source1.interceptors.i1.type=timestamp
#set sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix%Y-%m-%d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfstmp
在步骤4中,修改kibana.yml如下:
server.port:5601##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200","http://11.1.5.70:9200","http://11.1.5.71:9200"]
一种基于Spring框架的大数据日志分析的方法的***,***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能:通过设置时间、服务名称、日志层次维度筛选,关键字搜索使运维和开发人员能够快速分析、定位生产环境的问题;
报表监控:通过对错误日志的监控能够及时通知项目运维人员,通过对服务、接口调用次数,接口响应时间维度进行监控,能够提升用户体验,也为后续的扩容、性能优化提供参考;
告警管理,
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时,告警管理***能够通过邮件、短信、钉钉、微信灵活多样的方式推送维人员,运维人员不仅能及时的发现问题,更能够提前预知问题的发生,及时的扩容;
行为分析
通过接口的调用频率可以统计出PV/UV,DAU/MAU,新增用户数,访问时长,GMV重用指标,为运营人员和数据分析师做运营决策;
通过用户的点击行为作为行为特征,同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像,再结合机器学习对用户进行精准营销和智能推荐。报表统计的数据包括:PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
综上所述,在本实施例中,按照本实施例的基于Spring框架的大数据日志分析的方法和***,本实施例提供的基于Spring框架的大数据日志分析的方法和***,针对不同的Spring框架的内部WEB服务提供了统一的管理平台;从离线和实时的维度对数据进行分析和挖掘,保证了数据的准确性和一致性;提供了从时间、服务名称、日志层次,关键字搜索功能,使开发、运维人员快速定位生产环境的问题;提供了风险预警和告警监控的功能,通过邮件、短信、钉钉、微信灵活多样的方式推送维人员;对用户的行为数据做进一步分析和挖掘,为运营人员和数据分析师做运营决策分析。
以上所述,仅为本发明进一步的实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明所公开的范围内,根据本发明的技术方案及其构思加以同替换或改变,都属于本发明的保护范围。
Claims (10)
1.一种基于Spring框架的大数据日志分析的方法,其特征在于,该方法包括如下步骤:
步骤1:日志统一采集,在不同的Spring框架中,在POM文件中新增logback依赖,同时在各个服务的resources目录下新建logback.xml文件;
步骤2:Logstash数据入ES,在logstash config目录下面新建trace-logging.conf文件,将实时的日志存入ES,后续通过Flink进行流处理;
步骤3:Flume数据存HDFS,在Flume conf目录下新建properties文件,将离线文件存储在HDFS后,后续可以通过HIVE、SPARK进行数据分析和挖掘;
步骤4:Kibana接入ES,修改kibana.yml,将离线实时数据已全接入大数据平台中。
2.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法,其特征在于,在步骤1中,所述新增logback依赖如下:
<dependency>
<groupId>net.logstash.logback</groupid>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.11</version>
</dependency>
5.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法,其特征在于,所述9601是logstash接收数据的端口,在logback必须配置此端口,codec=>json_lines是一个json解析器,接收json的数据,需要安装logstash-codec-json_lines插件;ouputelasticsearch指向我们安装的集群的ip地址和端口;stdout会打印收到的消息。
6.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法和***,其特征在于,所述Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
7.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法,其特征在于,在步骤3中,Flume conf目录下新建.properties文件如下:
#agent1 name
agent1.sources source1
agent1.sinks=sink1
agent1.channels=channel1
#Spooling Directory
#set source1
agent1.sources.source1.type=spooldir
agent1.sources.source1.spoolDir=/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader=false
agent1.sources.source1.interceptors=i1.
agent1.sources.source1.interceptors.i1.type=timestamp
#set sink1
agent1.sinks.sink1.type=hdfs
agent1.sinks.sink1.hdfs.path=/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat=TEXT
agent1.sinks.sink1.hdfs.rollInterval=1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix%Y-%m-%d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfs tmp
8.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法,其特征在于,在步骤4中,修改kibana.yml如下:
server.port:5601 ##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200","http://11.1.5.70:9200","http://11.1.5.71:9200"]
9.一种基于Spring框架的大数据日志分析的方法的***,其特征在于,所述***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能:通过设置时间、服务名称和日志层次维度筛选;
报表监控:通过对错误日志的监控能够及时通知项目运维人员,通过对服务、接口调用次数,接口响应时间维度进行监控;
告警管理,
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时,告警管理***能够通过邮件、短信、钉钉或微信的方式推送维人员;
行为分析
通过接口的调用频率可以统计出PV/UV,DAU/MAU,新增用户数,访问时长,GMV重用指标;
通过用户的点击行为作为行为特征,同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像,再结合机器学习对用户进行精准营销和智能推荐。
10.根据权利要求9所述的一种基于Spring框架的大数据日志分析的方法的***,其特征在于,所述报表统计的数据包括:PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110458196.9A CN113282557B (zh) | 2021-04-27 | 一种基于Spring框架的大数据日志分析的方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110458196.9A CN113282557B (zh) | 2021-04-27 | 一种基于Spring框架的大数据日志分析的方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113282557A true CN113282557A (zh) | 2021-08-20 |
CN113282557B CN113282557B (zh) | 2024-07-26 |
Family
ID=
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116611663A (zh) * | 2023-06-07 | 2023-08-18 | 广州三七极梦网络技术有限公司 | 一种美术外包管理*** |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030015061A (ko) * | 2001-08-14 | 2003-02-20 | (주) 이씨마이너 | 웹로그와 사용자 아이디 매칭을 통한 고객관계관리방법 |
WO2017134677A1 (en) * | 2016-02-06 | 2017-08-10 | Picangelo Ltd. | Methods and systems for software related problem solution |
CN109614553A (zh) * | 2018-12-21 | 2019-04-12 | 北京博明信德科技有限公司 | 用于日志收集的PaaS平台 |
US10372595B1 (en) * | 2016-12-15 | 2019-08-06 | EMC IP Holding Company LLC | System and method to diagnose applications by accessing log files associated with different subsystems of a data center via a common interface |
CN110457178A (zh) * | 2019-07-29 | 2019-11-15 | 江苏艾佳家居用品有限公司 | 一种基于日志采集分析的全链路监控告警方法 |
CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警***及方法 |
US10810110B1 (en) * | 2018-01-25 | 2020-10-20 | Intuit Inc. | Methods, systems, and articles of manufacture for testing web services using a behavior-driven development domain specific language framework |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030015061A (ko) * | 2001-08-14 | 2003-02-20 | (주) 이씨마이너 | 웹로그와 사용자 아이디 매칭을 통한 고객관계관리방법 |
WO2017134677A1 (en) * | 2016-02-06 | 2017-08-10 | Picangelo Ltd. | Methods and systems for software related problem solution |
US10372595B1 (en) * | 2016-12-15 | 2019-08-06 | EMC IP Holding Company LLC | System and method to diagnose applications by accessing log files associated with different subsystems of a data center via a common interface |
US10810110B1 (en) * | 2018-01-25 | 2020-10-20 | Intuit Inc. | Methods, systems, and articles of manufacture for testing web services using a behavior-driven development domain specific language framework |
CN109614553A (zh) * | 2018-12-21 | 2019-04-12 | 北京博明信德科技有限公司 | 用于日志收集的PaaS平台 |
CN110457178A (zh) * | 2019-07-29 | 2019-11-15 | 江苏艾佳家居用品有限公司 | 一种基于日志采集分析的全链路监控告警方法 |
CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警***及方法 |
Non-Patent Citations (4)
Title |
---|
姬朝阳;唐红喜;: "基于SSH的日志统计分析***的分析与设计", 计算机技术与发展, no. 08, 10 August 2010 (2010-08-10) * |
赵阳;王春喜;: "基于Storm框架结构的分布式实时日志分析***的设计研究", 信息与电脑(理论版), no. 08 * |
赵阳;王春喜;: "基于Storm框架结构的分布式实时日志分析***的设计研究", 信息与电脑(理论版), no. 08, 23 April 2016 (2016-04-23) * |
陈涛;叶荣华;: "基于Spring Boot和MongoDB的数据持久化框架研究", 电脑与电信, no. 1 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116611663A (zh) * | 2023-06-07 | 2023-08-18 | 广州三七极梦网络技术有限公司 | 一种美术外包管理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop | |
CN111092852B (zh) | 基于大数据的网络安全监控方法、装置、设备及存储介质 | |
US10108411B2 (en) | Systems and methods of constructing a network topology | |
Chen et al. | CauseInfer: Automated end-to-end performance diagnosis with hierarchical causality graph in cloud environment | |
US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
CN108200111B (zh) | 资源配置信息更新方法、装置和资源接口设备 | |
US10567409B2 (en) | Automatic and scalable log pattern learning in security log analysis | |
US20160306613A1 (en) | Code routine performance prediction using test results from code integration tool | |
Sang et al. | Precise, scalable, and online request tracing for multitier services of black boxes | |
US10810216B2 (en) | Data relevancy analysis for big data analytics | |
CN114363042B (zh) | 日志分析方法、装置、设备及可读存储介质 | |
CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其*** | |
CN113760652B (zh) | 基于应用的全链路监控的方法、***、设备和存储介质 | |
CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
Astekin et al. | Incremental analysis of large-scale system logs for anomaly detection | |
CN107204868B (zh) | 一种任务运行监控信息获取方法和装置 | |
JP6002849B2 (ja) | 監視装置、監視方法、および記録媒体 | |
Kubacki et al. | Multidimensional log analysis | |
CN113282557B (zh) | 一种基于Spring框架的大数据日志分析的方法和*** | |
CN116662127A (zh) | 一种设备告警信息分类并预警的方法、***、设备和介质 | |
CN113282557A (zh) | 一种基于Spring框架的大数据日志分析的方法和*** | |
CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
CN115766768A (zh) | 一种算力网络操作***中感知中枢设计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |