CN113282557A - 一种基于Spring框架的大数据日志分析的方法和*** - Google Patents
一种基于Spring框架的大数据日志分析的方法和*** Download PDFInfo
- Publication number
- CN113282557A CN113282557A CN202110458196.9A CN202110458196A CN113282557A CN 113282557 A CN113282557 A CN 113282557A CN 202110458196 A CN202110458196 A CN 202110458196A CN 113282557 A CN113282557 A CN 113282557A
- Authority
- CN
- China
- Prior art keywords
- agent1
- big data
- log
- sink1
- logback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000012423 maintenance Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 13
- 238000007418 data mining Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003542 behavioural effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000011161 development Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000002955 isolation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种基于Spring框架的大数据日志分析的方法和***，属于信息安全技术领域，该方法包括如下步骤：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件。本发明针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题。
Description
技术领域
本发明涉及一种基于Spring框架的大数据日志分析的方法和***，属于信息安全技术领域。
背景技术
在如今复杂多样的企业WEB服务中，不仅集成了Spring MVC、Spring Boot、SpringCloud各种服务框架，同时记录日志方式也是多种多样、千差万别。不仅缺失了日志的归档、管理的功能，而且对各个WEB服务无法做出统一的告警管理、风险预警；无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式；同时无法提前预知和及时处理问题，极大的影响的客户的感知体验，因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理、及时预警，并提供良好的UI界面进行数据展示，处理分析，同时对客户行为进行数据挖掘，提炼出更大的商业价值。
发明内容
本发明的主要目的是为了解决现有技术的不足，而提供一种基于Spring框架的大数据日志分析的方法和***。
本发明的目的可以通过采用如下技术方案达到：
一种基于Spring框架的大数据日志分析的方法，该方法包括如下步骤：
步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；
步骤2：Logstash数据入ES，在logstash config目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；
步骤3：Flume数据存HDFS，在Flume conf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；
步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。
优选的，在步骤1中，所述新增logback依赖如下：
优选的，在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：
优选的，在步骤2中，新建trace-logging.conf文件如下：
优选的，所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouput elasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。
优选的，和***，所述Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
优选的，在步骤3中，Flume conf目录下新建.properties文件如下：
#agent1 name
agent1.sources source1
agent1.sinks＝sink1
agent1.channels＝channel1
#Spooling Directory
#set source1
agent1.sources.source1.type＝spooldir
agent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader＝false
agent1.sources.source1.interceptors＝i1.
agent1.sources.source1.interceptors.i1.type＝timestamp
#set sink1
agent1.sinks.sink1.type＝hdfs
agent1.sinks.sink1.hdfs.path＝/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat＝TEXT
agent1.sinks.sink1.hdfs.rollInterval＝1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix％Y-％m-％d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfstmp
优选的，在步骤4中，修改kibana.yml如下：
server.port:5601##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"]
一种基于Spring框架的大数据日志分析的方法的***，所述***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能：通过设置时间、服务名称和日志层次维度筛选；
报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控；
告警管理，
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理***能够通过邮件、短信、钉钉或微信的方式推送维人员；
行为分析
通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标；
通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。
优选的，所述报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
本发明的有益技术效果：按照本发明的基于Spring框架的大数据日志分析的方法和***，针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题；提供了风险预警和告警监控的功能，通过邮件、短信、钉钉、微信灵活多样的方式推送维人员；对用户的行为数据做进一步分析和挖掘，为运营人员和数据分析师做运营决策分析。
附图说明
图1为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的Spring整体框架示意图。
图2为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的Flume数据采集架构示意图；
图3为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的日志监控框架图；
图4为按照本发明的基于Spring框架的大数据日志分析的方法和***的一优选实施例的告警管理框架图；
图5为按照本发明的基于Spring框架的大数据日志分析的方法和***的行为分析框架图；
图6为按照本发明的基于Spring框架的大数据日志分析的方法和***的***框架图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1-图5所示，本实施例提供的基于Spring框架的大数据日志分析的方法和***，一种基于Spring框架的大数据日志分析的方法，该方法包括如下步骤：
步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；
步骤2：Logstash数据入ES，在logstash config目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；
步骤3：Flume数据存HDFS，在Flume conf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；
步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。
在步骤1中，新增logback依赖如下：
<dependency>
<groupId>net.logstash.logback</groupid>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.11</version>
</dependency>
在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：
<？xml version＝""1.0"encoding＝"UTF-8"？>
<configuration>
<l--这个名字将反应到每一条日志的开头-->
<contextName>car-trace-logging</contextName>
<！--设置变量，下面有用到，含义是日志保存路径-->
<property name＝"log.path"value＝"D:/log/CarTrace"/>
<！--输出到控制台-->
<appendername＝"console"class＝"ch.qos.logback.core.ConsoleAppender">
<！--级别过滤-->
<filterclass＝"ch.qos.logback.classic.filter.LevelFilter">
<level>INFO</level>
<onMatch>ACCEPT</onMatch>
<onMismatch>DENY</onMismatch>
</filter>
<！--日志输出格式-->
<encoder>
<pattern>％d{HH:mm:ss.ssS}％contextName[％thread]％-5level％logger{36}-kmsgKn</pattern.
</encoder>
</appender>
<！--输出到文件-->
<appendername＝"file"class＝"ch.qos.logback.core.rolling.RollingFileAppender">
<l--日志名，用到了上面配置的路径-->
<file>${log.path}/car-trace.log</file>
<I--根据yyyy--dd-->
<rollingPolicyclass＝"ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>${log.path}/car-trace.％d{yyyy-M-dd}.log.zip</fileNamePattern></rollingPolicy>
<encoder>
<pattern>％d{H:mm:ss.SSS]％contextName[％thread]％-5level％logger{36}-‰msg％n</pattern>
</encoder>
</appender>
</appendername＝"LOGSTASH"class＝"net.logstash.logback.appender.LogstashTcpSocketAppender">
<destination>192.168.253.6:9601</destination>〈--指定logstaship:监听端口tcpAppender可自己实现如kafka传输-->
<encodercharset＝"UTF-8"class＝"net.logstash.logback.encoder.LogstashEncoder"/>
</appender>
<！--设置日志隔离级别-->
<root level＝"info">
<appender-ref ref＝"console"/>
<appender-ref ref＝""file">
<appender-ref ref＝"LOGSTASH”/>
</root>
<！--设置具体包的隔离级别-->
<logger name＝"cn.theUnit4.Mapper"level＝"debug"/>
</configuration>
在步骤2中，新建trace-logging.conf文件如下：
input{
tcp{
port＝>9601
codec＝>json_lines
}
output{
<elasticsearch{
action＝>"index"
hosts＝>["11.1.5.69:8088","11.1.5.70:8088"，"11.1.5.71:8088"]#ES集群的ip地址和端口
index＝>"％{[appName]}-％{+YYYY.MM.dd}"#用一个项目名称来做索引
document_type＝>"applog”
}
stdout{codec＝>rubydebug}
}
9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouput elasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。
和***，Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
在步骤3中，Flume conf目录下新建.properties文件如下：
#agent1 name
agent1.sources source1
agent1.sinks＝sink1
agent1.channels＝channel1
#Spooling Directory
#set source1
agent1.sources.source1.type＝spooldir
agent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader＝false
agent1.sources.source1.interceptors＝i1.
agent1.sources.source1.interceptors.i1.type＝timestamp
#set sink1
agent1.sinks.sink1.type＝hdfs
agent1.sinks.sink1.hdfs.path＝/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat＝TEXT
agent1.sinks.sink1.hdfs.rollInterval＝1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix％Y-％m-％d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfstmp
在步骤4中，修改kibana.yml如下：
server.port:5601##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"]
一种基于Spring框架的大数据日志分析的方法的***，***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能：通过设置时间、服务名称、日志层次维度筛选，关键字搜索使运维和开发人员能够快速分析、定位生产环境的问题；
报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控，能够提升用户体验，也为后续的扩容、性能优化提供参考；
告警管理，
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理***能够通过邮件、短信、钉钉、微信灵活多样的方式推送维人员，运维人员不仅能及时的发现问题，更能够提前预知问题的发生，及时的扩容；
行为分析
通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标，为运营人员和数据分析师做运营决策；
通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
综上所述，在本实施例中，按照本实施例的基于Spring框架的大数据日志分析的方法和***，本实施例提供的基于Spring框架的大数据日志分析的方法和***，针对不同的Spring框架的内部WEB服务提供了统一的管理平台；从离线和实时的维度对数据进行分析和挖掘，保证了数据的准确性和一致性；提供了从时间、服务名称、日志层次，关键字搜索功能，使开发、运维人员快速定位生产环境的问题；提供了风险预警和告警监控的功能，通过邮件、短信、钉钉、微信灵活多样的方式推送维人员；对用户的行为数据做进一步分析和挖掘，为运营人员和数据分析师做运营决策分析。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以同替换或改变，都属于本发明的保护范围。
Claims (10)
1.一种基于Spring框架的大数据日志分析的方法，其特征在于，该方法包括如下步骤：
步骤1：日志统一采集，在不同的Spring框架中，在POM文件中新增logback依赖，同时在各个服务的resources目录下新建logback.xml文件；
步骤2：Logstash数据入ES，在logstash config目录下面新建trace-logging.conf文件，将实时的日志存入ES，后续通过Flink进行流处理；
步骤3：Flume数据存HDFS，在Flume conf目录下新建properties文件，将离线文件存储在HDFS后，后续可以通过HIVE、SPARK进行数据分析和挖掘；
步骤4：Kibana接入ES，修改kibana.yml，将离线实时数据已全接入大数据平台中。
2.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤1中，所述新增logback依赖如下：
<dependency>
<groupId>net.logstash.logback</groupid>
<artifactId>logstash-logback-encoder</artifactId>
<version>4.11</version>
</dependency>
3.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤1中，在各个服务的resources目录下新建logback.xml文件如下：
4.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤2中，新建trace-logging.conf文件如下：
5.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，所述9601是logstash接收数据的端口，在logback必须配置此端口，codec＝>json_lines是一个json解析器，接收json的数据，需要安装logstash-codec-json_lines插件；ouputelasticsearch指向我们安装的集群的ip地址和端口；stdout会打印收到的消息。
6.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法和***，其特征在于，所述Flume数据采集架构为Web Server.依次经过到Source、Channel、Sink和HDFS。
7.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤3中，Flume conf目录下新建.properties文件如下：
#agent1 name
agent1.sources source1
agent1.sinks＝sink1
agent1.channels＝channel1
#Spooling Directory
#set source1
agent1.sources.source1.type＝spooldir
agent1.sources.source1.spoolDir＝/usr/app/flumelog/dir/logdfs
agent1.sources.source1.channe ls:channel1
agent1.sources.source1.fileHeader＝false
agent1.sources.source1.interceptors＝i1.
agent1.sources.source1.interceptors.i1.type＝timestamp
#set sink1
agent1.sinks.sink1.type＝hdfs
agent1.sinks.sink1.hdfs.path＝/user/yuhui/flume
agent1.sinks.sink1.hdfs.fileType DataStream
agent1.sinks.sink1.hdfs.writeFormat＝TEXT
agent1.sinks.sink1.hdfs.rollInterval＝1
agent1.sinks.sink1.channel-channel1
agent1.sinks.sink1.hdfs.filePrefix％Y-％m-％d
#set channel1
agent1.channels.channel1.type file
agent1.channe ls.channel1.checkpointDir-/usr/app/flume log/dir/logdfstmp/point
agent1.channe ls.channe 11.dataDirs-/usr/app/f lume log/dir/logdfs tmp
8.根据权利要求1所述的一种基于Spring框架的大数据日志分析的方法，其特征在于，在步骤4中，修改kibana.yml如下：
server.port:5601 ##服务端口
server.host:"0.0.0.0"
elasticsearch.hosts:["http://11.1.5.69:9200"，"http://11.1.5.70:9200"，"http://11.1.5.71:9200"]
9.一种基于Spring框架的大数据日志分析的方法的***，其特征在于，所述***包括日志监控、告警管理和行为分析
日志监控包括搜索功能和报表监控
搜索功能：通过设置时间、服务名称和日志层次维度筛选；
报表监控：通过对错误日志的监控能够及时通知项目运维人员，通过对服务、接口调用次数，接口响应时间维度进行监控；
告警管理，
当WEB服务产生错误日志或者某个服务在某段时间发生不正常的激增时，告警管理***能够通过邮件、短信、钉钉或微信的方式推送维人员；
行为分析
通过接口的调用频率可以统计出PV/UV，DAU/MAU，新增用户数，访问时长，GMV重用指标；
通过用户的点击行为作为行为特征，同时提取用户的年龄、性别、住址、爱好属性特征建立用户画像，再结合机器学习对用户进行精准营销和智能推荐。
10.根据权利要求9所述的一种基于Spring框架的大数据日志分析的方法的***，其特征在于，所述报表统计的数据包括：PV/UV、GMV、DAU/MAU、点击数/访问时长和新增用户数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458196.9A CN113282557B (zh) | 2021-04-27 | 一种基于Spring框架的大数据日志分析的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110458196.9A CN113282557B (zh) | 2021-04-27 | 一种基于Spring框架的大数据日志分析的方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113282557A true CN113282557A (zh) | 2021-08-20 |
| CN113282557B CN113282557B (zh) | 2024-07-26 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116611663A (zh) * | 2023-06-07 | 2023-08-18 | 广州三七极梦网络技术有限公司 | 一种美术外包管理*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030015061A (ko) * | 2001-08-14 | 2003-02-20 | (주) 이씨마이너 | 웹로그와 사용자 아이디 매칭을 통한 고객관계관리방법 |
| WO2017134677A1 (en) * | 2016-02-06 | 2017-08-10 | Picangelo Ltd. | Methods and systems for software related problem solution |
| CN109614553A (zh) * | 2018-12-21 | 2019-04-12 | 北京博明信德科技有限公司 | 用于日志收集的PaaS平台 |
| US10372595B1 (en) * | 2016-12-15 | 2019-08-06 | EMC IP Holding Company LLC | System and method to diagnose applications by accessing log files associated with different subsystems of a data center via a common interface |
| CN110457178A (zh) * | 2019-07-29 | 2019-11-15 | 江苏艾佳家居用品有限公司 | 一种基于日志采集分析的全链路监控告警方法 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警***及方法 |
| US10810110B1 (en) * | 2018-01-25 | 2020-10-20 | Intuit Inc. | Methods, systems, and articles of manufacture for testing web services using a behavior-driven development domain specific language framework |
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030015061A (ko) * | 2001-08-14 | 2003-02-20 | (주) 이씨마이너 | 웹로그와 사용자 아이디 매칭을 통한 고객관계관리방법 |
| WO2017134677A1 (en) * | 2016-02-06 | 2017-08-10 | Picangelo Ltd. | Methods and systems for software related problem solution |
| US10372595B1 (en) * | 2016-12-15 | 2019-08-06 | EMC IP Holding Company LLC | System and method to diagnose applications by accessing log files associated with different subsystems of a data center via a common interface |
| US10810110B1 (en) * | 2018-01-25 | 2020-10-20 | Intuit Inc. | Methods, systems, and articles of manufacture for testing web services using a behavior-driven development domain specific language framework |
| CN109614553A (zh) * | 2018-12-21 | 2019-04-12 | 北京博明信德科技有限公司 | 用于日志收集的PaaS平台 |
| CN110457178A (zh) * | 2019-07-29 | 2019-11-15 | 江苏艾佳家居用品有限公司 | 一种基于日志采集分析的全链路监控告警方法 |
| CN111581054A (zh) * | 2020-04-30 | 2020-08-25 | 重庆富民银行股份有限公司 | 一种基于elk的日志埋点的业务分析告警***及方法 |
Non-Patent Citations (4)
| Title |
|---|
| 姬朝阳;唐红喜;: "基于SSH的日志统计分析***的分析与设计", 计算机技术与发展, no. 08, 10 August 2010 (2010-08-10) * |
| 赵阳;王春喜;: "基于Storm框架结构的分布式实时日志分析***的设计研究", 信息与电脑(理论版), no. 08 * |
| 赵阳;王春喜;: "基于Storm框架结构的分布式实时日志分析***的设计研究", 信息与电脑(理论版), no. 08, 23 April 2016 (2016-04-23) * |
| 陈涛;叶荣华;: "基于Spring Boot和MongoDB的数据持久化框架研究", 电脑与电信, no. 1 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116611663A (zh) * | 2023-06-07 | 2023-08-18 | 广州三七极梦网络技术有限公司 | 一种美术外包管理*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Monitoring and analyzing big traffic data of a large-scale cellular network with Hadoop | |
| CN111092852B (zh) | 基于大数据的网络安全监控方法、装置、设备及存储介质 | |
| US10108411B2 (en) | Systems and methods of constructing a network topology | |
| Chen et al. | CauseInfer: Automated end-to-end performance diagnosis with hierarchical causality graph in cloud environment | |
| US20180365085A1 (en) | Method and apparatus for monitoring client applications | |
| CN108200111B (zh) | 资源配置信息更新方法、装置和资源接口设备 | |
| US10567409B2 (en) | Automatic and scalable log pattern learning in security log analysis | |
| US20160306613A1 (en) | Code routine performance prediction using test results from code integration tool | |
| Sang et al. | Precise, scalable, and online request tracing for multitier services of black boxes | |
| US10810216B2 (en) | Data relevancy analysis for big data analytics | |
| CN114363042B (zh) | 日志分析方法、装置、设备及可读存储介质 | |
| CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其*** | |
| CN113760652B (zh) | 基于应用的全链路监控的方法、***、设备和存储介质 | |
| CN113448812A (zh) | 微服务场景下的监控告警方法及装置 | |
| CN113760677A (zh) | 异常链路分析方法、装置、设备及存储介质 | |
| CN113420032A (zh) | 一种日志的分类存储方法及装置 | |
| Astekin et al. | Incremental analysis of large-scale system logs for anomaly detection | |
| CN107204868B (zh) | 一种任务运行监控信息获取方法和装置 | |
| JP6002849B2 (ja) | 監視装置、監視方法、および記録媒体 | |
| Kubacki et al. | Multidimensional log analysis | |
| CN113282557B (zh) | 一种基于Spring框架的大数据日志分析的方法和*** | |
| CN116662127A (zh) | 一种设备告警信息分类并预警的方法、***、设备和介质 | |
| CN113282557A (zh) | 一种基于Spring框架的大数据日志分析的方法和*** | |
| CN108959041B (zh) | 信息发送的方法、服务器及计算机可读存储介质 | |
| CN115766768A (zh) | 一种算力网络操作***中感知中枢设计方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |