CN106569936B - 一种实时采集滚动日志的方法及*** - Google Patents
一种实时采集滚动日志的方法及*** Download PDFInfo
- Publication number
- CN106569936B CN106569936B CN201610851865.8A CN201610851865A CN106569936B CN 106569936 B CN106569936 B CN 106569936B CN 201610851865 A CN201610851865 A CN 201610851865A CN 106569936 B CN106569936 B CN 106569936B
- Authority
- CN
- China
- Prior art keywords
- file
- filepointer
- filelength
- read
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种实时采集滚动日志的方法及***，涉及计算机技术领域。其中方法包括：监控日志文件目录是否发生预设事件，预设事件包括文件新建事件和文件修改事件；若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source。本发明能够有效的消除日志文件目录下新文件创建、文件内容不断修改和临时文件重命名情况对日志采集的影响，实现滚动日志的实时采集，提高日志收集的可靠性。
Description
技术领域
本发明属于计算机技术领域，尤其涉及一种实时采集滚动日志的方法及***。
背景技术
Flume是现有技术中最常用的日志采集技术，Flume是一个分布式，可靠高效的日志收集***，它允许用户自定义数据传输模型，扩展性很强，并且具有较强的容错和恢复机制。然而，在实际使用过程中Flume仍才存在有一定的缺陷：Flume一般使用SpoolingDirectory Source或者Exec Source来收集日志，其中Spooling Directory Source不支持对收集的日志文件的内容进行追加，在有新的日志内容产生时，只能通过新建日志文件的方式来收集新的日志内容，如果采用这种方式来采集实时滚动日志，将会在日志目录下产生非常多的小文件，因此Spooling Directory Source不适用于滚动日志的实时采集；而Exec Source虽然能够实时搜集数据，但是其一般是从tail命令中获取日志文件的内容，只能对固定的日志文件进行tail读取内容，当日志文件按照时间进行滚动写入或者发生临时文件重命名时，将会出现采集失败，导致日志丢失的情况，其日志采集的可靠性较低。
发明内容
本发明实施例的目的在于提供一种实时采集滚动日志的方法及***，旨在解决上述Flume中一般采用Spooling Directory Source或者Exec Source来收集日志，其不适用于滚动日志的实时采集或者采集可靠性较低的问题。
本发明实施例是这样实现的，一种实时采集滚动日志的方法，包括：
监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；
若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source。
在上述技术方案的基础上，所述若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***的数据序列化的消息源Avro Source具体包括：
若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；
判断日志收集***的缓存中是否存在所述文件的缓存信息；
若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的AvroSource；
若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
在上述技术方案的基础上，若所述预设事件的事件类型为文件新建事件，则所述根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
在上述技术方案的基础上，若所述预设事件的事件类型为文件修改事件，则根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source。
在上述技术方案的基础上，所述若存在所述文件的缓存信息之后还包括：
读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；
判断所述差值是否大于预设时间阈值；
若大于预设时间阈值，则清除所述缓存信息。
本发明实施例的另一目的在于提供一种实时采集滚动日志的***，包括：
事件监测模块，用于监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；
日志收集模块，用于若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source。
在上述技术方案的基础上，日志收集模块具体包括：
文件信息获取单元，用于若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；
缓存判断单元，用于判断日志收集***的缓存中是否存在所述文件的缓存信息；
第一日志收集单元，用于若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的Avro Source；
第二日志收集单元，用于若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
在上述技术方案的基础上，若所述预设事件的事件类型为文件新建事件，则所述第二日志收集单元具有用于：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
在上述技术方案的基础上，若所述预设事件的事件类型为文件修改事件，则所述第二日志收集单元具体用于：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source。
在上述技术方案的基础上，所述日志收集模块还包括：
缓存清理单元，用于读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；判断所述差值是否大于预设时间阈值；若大于预设时间阈值，则清除所述缓存信息。
实施本发明实施例提供的一种实时采集滚动日志的方法及***具有以下有益效果：
本发明实施例通过监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source，从而能够有效的消除日志文件目录下新文件创建、文件内容不断修改和临时文件重命名情况对日志采集的影响，能够实现滚动日志的实时采集，提高日志收集的可靠性。
附图说明
图1是本发明实施例提供的一种实时采集滚动日志的方法的具体实现流程图；
图2是本发明实施例提供的一种实时采集滚动日志的方法中步骤S102的具体实现流程图；
图3是本发明实施例提供的一种实时采集滚动日志的***的示意性框图；
图4是本发明实施例提供的一种实时采集滚动日志的***中日志收集模块的示意性框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是本发明实施例提供的一种实时采集滚动日志的方法的具体实现流程图。参见图1所示，本实施例提供的一种实时采集滚动日志的方法，可以包括以下步骤：
在S101中，监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件。
在本实施例中，步骤S101具体包括：创建一个监控服务实例对象watcher，并为所述日志文目录添加watcher，将预设事件为注册监听事件，然后通过所述watcher监控所述日志文件目录是否发生所述预设事件。
在S102中，若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source。
图2示出了步骤S102的具体实现流程，参见图2所示，步骤S102具体可以包括以下步骤：
在S201中，若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength。
在本实施例中，当发生预设事件时，监控事件对象会发出信号，并且加入到watcher的队列中，日志收集***可以从watcher监测到的队列中查找到发出信号的监控事件对象，进而获取到该监控事件对象对应文件的文件名，然后根据所述文件名获取所述文件的设备号、文件索引号以及filelength。
在S202中，判断日志收集***的缓存中是否存在所述文件的缓存信息。
在本实施例中，通过所述文件的文件名在所述日志收集***的缓存中查找是否有该文件的缓存信息，若查找到与该文件名相匹配的缓存信息，则说明日志收集***的缓存中有该文件的缓存信息，反之，日志收集***的缓存中没有该文件的缓存信息。
在S203中，若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的Avro Source。
在本实施例中，若日志收集***的缓存中不存在所述文件的缓存信息，则说明该文件中的日志内容是新增或者修改后的内容，此时将filepointer设置为0，在[0，filelength]范围内按行读取该文件的全部内容，并将读取到的内容发送至日志收集***的Avro Source，同时更新文件中文件指针的filepointer以及缓存信息的读取时间，并以文件的设备号和文件索引号作为唯一标识缓存更新后的文件中文件指针的filepointer以及缓存信息的读取时间。
在S204中，若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
在一具体实施例中，若所述预设事件的事件类型为文件新建事件，则所述根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
在本实施例中，若所述预设事件为文件新建事件，并且缓存中存在该文件的缓存信息，则说明该文件的新建事件是由于文件重命名触发的，此时若filepointer大于或等于filelength，则直接清除该文件的缓存信息；相反，若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息。
在另一具体实施例中，若所述预设事件的事件类型为文件修改事件，则根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source。
在本实施例中，若所述预设事件为文件修改事件，并且缓存中存在该文件的缓存信息，则直接在在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，并保存该文件的缓存信息，同时更新文件中文件指针的filepointer以及缓存信息的读取时间，并以文件的设备号和文件索引号作为唯一标识缓存更新后的文件中文件指针的filepointer以及缓存信息的读取时间。
进一步的，步骤S204中，在所述若存在所述文件的缓存信息之后还包括：
读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；
判断所述差值是否大于预设时间阈值；
若大于预设时间阈值，则清除所述缓存信息。
在本实施例中，由于实时根据缓存信息的缓存时间和当前时间的差值对缓存信息进行清理，从而能够避免因日志文件目录不发生文件重命名事件导致的缓存信息清理受阻问题发生。
以上可以看出，本实施例提供的一种实时采集滚动日志的方法通过监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源AvroSource，从而能够有效的消除日志文件目录下新文件创建、文件内容不断修改和临时文件重命名情况对日志采集的影响，能够实现滚动日志的实时采集，提高日志收集的可靠性。
图3是本发明实施例提供的一种实时采集滚动日志的***的示意性框图，该***用于运行图1所示实施例提供的方法。为了便于说明仅仅示出了与本实施例相关的部分。
参见图3所示，本实施例提供的一种实时采集滚动日志的***，包括：
事件监测模块1，用于监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；
日志收集模块2，用于若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source。
可选的，参见图4所示，所述日志收集模块2具体包括：
文件信息获取单元21，用于若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；
缓存判断单元22，用于判断日志收集***的缓存中是否存在所述文件的缓存信息；
第一日志收集单元23，用于若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的Avro Source；
第二日志收集单元24，用于若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
可选的，若所述预设事件的事件类型为文件新建事件，则所述第二日志收集单元24具有用于：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
可选的，若所述预设事件的事件类型为文件修改事件，则所述第二日志收集单元24具体用于：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息。
可选的，所述日志收集模块还包括：
缓存清理单元25，用于读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；判断所述差值是否大于预设时间阈值；若大于预设时间阈值，则清除所述缓存信息。
需要说明的是，本发明实施例提供的上述***中的各个模块，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
因此，可以看出本发明实施例提供的一种实时采集滚动日志的***同样能够有效的消除日志文件目录下新文件创建、文件内容不断修改和临时文件重命名情况对日志采集的影响，能够实现滚动日志的实时采集，提高日志收集的可靠性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种实时采集滚动日志的方法，其特征在于，包括：
监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；
若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source；
所述若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***的数据序列化的消息源Avro Source具体包括：
若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；
判断日志收集***的缓存中是否存在所述文件的缓存信息；
若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的AvroSource；
若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
2.如权利要求1所述的实时采集滚动日志的方法，其特征在于，若所述预设事件的事件类型为文件新建事件，则所述根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
3.如权利要求1所述的实时采集滚动日志的方法，其特征在于，若所述预设事件的事件类型为文件修改事件，则根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source具体包括：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source。
4.如权利要求1所述的实时采集滚动日志的方法，其特征在于，所述若存在所述文件的缓存信息之后还包括：
读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；
判断所述差值是否大于预设时间阈值；
若大于预设时间阈值，则清除所述缓存信息。
5.一种实时采集滚动日志的***，其特征在于，包括：
事件监测模块，用于监控日志文件目录是否发生预设事件，所述预设事件包括文件新建事件和文件修改事件；
日志收集模块，用于若发生预设事件，则获取该文件中文件指针的当前读取位置filepointer以及该文件的文件长度filelength，根据所述文件中文件指针的filepointer和该文件的filelength读取新增的文件内容，并将读取到的文件内容发送至日志收集***Flume的数据序列化的消息源Avro Source；
日志收集模块具体包括：
文件信息获取单元，用于若发生预设事件，则获取所述文件的文件名，并根据所述文件名获取所述文件的设备号、文件索引号以及filelength；
缓存判断单元，用于判断日志收集***的缓存中是否存在所述文件的缓存信息；
第一日志收集单元，用于若不存在所述文件的缓存信息，则将文件中文件指针的filepointer设置为0，在[0，filelength]范围内按行读取文件内容，并将读取到的内容发送至日志收集***的Avro Source；
第二日志收集单元，用于若存在所述文件的缓存信息，则根据所述设备号和所述文件索引号从所述缓存中读取该文件中文件指针的filepointer，并根据所述文件指针的filepointer、所述文件的filelength以及所述预设事件的事件类型读取新增的文件内容，将读取到的文件内容发送至日志收集***的Avro Source。
6.如权利要求5所述的实时采集滚动日志的***，其特征在于，若所述预设事件的事件类型为文件新建事件，则所述第二日志收集单元具有用于：
判断所述文件指针的filepointer是否小于所述文件的filelength；
若filepointer小于filelength，则在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source，同时删除该文件的缓存信息；
若filepointer大于或等于filelength，则直接清除该文件的缓存信息。
7.如权利要求5所述的实时采集滚动日志的***，其特征在于，若所述预设事件的事件类型为文件修改事件，则所述第二日志收集单元具体用于：
直接在[filepointer，filelength]范围内按行读取文件内容，并将读取到的文件内容发送至日志收集***的Avro Source。
8.如权利要求5所述的实时采集滚动日志的***，其特征在于，所述日志收集模块还包括：
缓存清理单元，用于读取所述缓存信息的缓存时间，计算所述缓存时间与当前时间的差值；判断所述差值是否大于预设时间阈值；若大于预设时间阈值，则清除所述缓存信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610851865.8A CN106569936B (zh) | 2016-09-26 | 2016-09-26 | 一种实时采集滚动日志的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610851865.8A CN106569936B (zh) | 2016-09-26 | 2016-09-26 | 一种实时采集滚动日志的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106569936A CN106569936A (zh) | 2017-04-19 |
| CN106569936B true CN106569936B (zh) | 2019-05-03 |
Family
ID=58532446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610851865.8A Active CN106569936B (zh) | 2016-09-26 | 2016-09-26 | 一种实时采集滚动日志的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106569936B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107341258B (zh) * | 2017-07-12 | 2020-03-13 | 中国工商银行股份有限公司 | 一种日志数据采集方法及*** |
| CN108304305A (zh) * | 2018-01-11 | 2018-07-20 | 北京潘达互娱科技有限公司 | 日志文件读取的方法和设备 |
| CN108733546A (zh) * | 2018-04-02 | 2018-11-02 | 阿里巴巴集团控股有限公司 | 一种日志采集方法、装置及设备 |
| CN110309158B (zh) * | 2018-04-13 | 2023-08-01 | 腾讯科技（深圳）有限公司 | 日志文件的滚动异常判断方法、装置及可读介质 |
| CN110825711A (zh) * | 2019-10-17 | 2020-02-21 | 上海易点时空网络有限公司 | 基于Flume快速分区传输数据的方法以及装置 |
| CN112015798B (zh) * | 2020-09-24 | 2023-12-05 | 中盈优创资讯科技有限公司 | 一种保证数据不重复和延迟监控的数据处理方法及装置 |
| CN114996335B (zh) * | 2022-08-03 | 2022-11-01 | 海看网络科技(山东)股份有限公司 | 一种iptv日志实时聚类分析方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
| CN103679002A (zh) * | 2013-12-12 | 2014-03-26 | 小米科技有限责任公司 | 监控文件变化的方法、装置及服务器 |
| CN104636494A (zh) * | 2015-03-04 | 2015-05-20 | 浪潮电子信息产业股份有限公司 | 一种基于Spark大数据平台的日志审计倒查*** |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析*** |
-
2016
- 2016-09-26 CN CN201610851865.8A patent/CN106569936B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208646A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 監視システム |
| CN103401934A (zh) * | 2013-08-06 | 2013-11-20 | 广州唯品会信息科技有限公司 | 获取日志数据的方法和*** |
| CN103679002A (zh) * | 2013-12-12 | 2014-03-26 | 小米科技有限责任公司 | 监控文件变化的方法、装置及服务器 |
| CN104636494A (zh) * | 2015-03-04 | 2015-05-20 | 浪潮电子信息产业股份有限公司 | 一种基于Spark大数据平台的日志审计倒查*** |
| CN105631026A (zh) * | 2015-12-30 | 2016-06-01 | 北京奇艺世纪科技有限公司 | 一种安全数据分析*** |
Non-Patent Citations (1)
| Title |
|---|
| 基于 Elasticsearch 的实时集群日志采集和分析***实现;胡庆宝等;《科研信息化技术与应用》;20160531;第13-18页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106569936A (zh) | 2017-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106569936B (zh) | 一种实时采集滚动日志的方法及*** | |
| US8418003B2 (en) | Log collecting apparatus, program, method, and system | |
| CN108833184B (zh) | 服务故障定位方法、装置、计算机设备及存储介质 | |
| CN107273496B (zh) | 一种微博网络地域突发事件的检测方法 | |
| Wong et al. | Quantifying political leaning from tweets and retweets | |
| US11113354B2 (en) | Method and apparatus for managing region tag | |
| EP2472829A8 (en) | Methods, systems and devices for horizontally scalable high-availability dynamic context-based routing | |
| CN109067787B (zh) | 分布式拒绝服务ddos攻击检测方法和装置 | |
| EP2907121B1 (en) | Real-time traffic detection | |
| US8489694B2 (en) | Peer-to-peer collaboration of publishers in a publish-subscription environment | |
| CN109698820A (zh) | 一种域名相似性计算及分类方法和*** | |
| CN104301304A (zh) | 基于大型isp互联口的漏洞检测***及其方法 | |
| US9667737B2 (en) | Publisher-assisted, broker-based caching in a publish-subscription environment | |
| CN103428249B (zh) | 一种http请求包的收集及处理方法、***和服务器 | |
| CN111797104A (zh) | 数据变更情况的获取方法、装置及电子设备 | |
| CN110415236A (zh) | 一种基于双流神经网络的复杂地下管道的异常检测方法 | |
| CN108966169A (zh) | 针对农田土壤的重金属污染分析预警*** | |
| CN102693315A (zh) | 一种基于共享内存映射的url去重方法及装置 | |
| CN107729206A (zh) | 告警日志的实时分析方法、***和计算机处理设备 | |
| KR20180043922A (ko) | SQLite 데이터베이스의 비정상 페이지와 저널 파일에서의 삭제된 레코드 복구 방법, 그 방법을 수행하는 장치 및 컴퓨터 프로그램 | |
| CN104486524A (zh) | 检测图像是否经历两次压缩质量相同的jpeg压缩的方法 | |
| CN104850606A (zh) | 一种移动群智感知中社会事件的总结方法 | |
| CN110727648B (zh) | 一种工业设备的高效数据压缩方法及数据服务器 | |
| CN110958312A (zh) | 一种航空传动故障数据分析*** | |
| CN110781309A (zh) | 一种基于模式匹配的实体并列关系相似度计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Guangdong Nanshan District street of Shenzhen city in Guangdong province 518000 software industry base in Shenzhen, fifth building room 505 Applicant after: Shenzhen box Mdt InfoTech Ltd Address before: Guangdong Nanshan District street of Shenzhen city in Guangdong province 518000 software industry base in Shenzhen, fifth building room 505 Applicant before: Shenzhen Iboxpay Information Technology Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |