CN109032910A - 日志采集方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提出一种日志采集方法、装置及计算机可读存储介质。其中日志采集方法包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。本发明实施例中的缓存通道使得采集日志时，不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中进行有效数据采集，保障了极高的吞吐量。

Description

日志采集方法、装置及存储介质

技术领域

本发明涉及信息技术领域，尤其涉及一种日志采集方法、装置及计算机可读存储介质。

背景技术

flume(水槽)是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的***，flume支持在日志***中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力。以flume NG版本为例，开源***flume NG的channel(通道)的实现方式主要分为两大类：一种是基于内存的channel(简称Memchannel)；另一种是基于文件的channel(简称Filechannel)。Memchannel支持高性能、高吞吐采集，但可能出现数据丢失的现象。Filechannel支持数据持久化，保障数据不丢失，但其性能略显不足。

发明内容

本发明实施例提供一种日志采集方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种日志采集方法，包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，还包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

结合第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；采集源端将所述事务数据包转存到缓存通道中。

结合第一方面的第二种实现方式，本发明实施例在第一方面的第三种实现方式中，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。

结合第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第一方面的第五种实现方式中，所述偏移量信息包括文件号、文件游标和文件路径。

结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第一方面的第六种实现方式中，还包括：在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

第二方面，本发明实施例提供了一种日志采集装置，包括：采集源端，用于获取日志数据的存储位置信息；所述采集源端还用于：将所述日志数据的存储位置信息转存到缓存通道中；消费端，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。

结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述消费端还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

结合第二方面的第一种实现方式，本发明实施例在第二方面的第二种实现方式中，所述存储位置信息包括偏移量信息，所述采集源端还用于：将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；将所述事务数据包转存到缓存通道中。

结合第二方面的第二种实现方式，本发明实施例在第二方面的第三种实现方式中，所述消费端还用于：根据所述缓存通道中的偏移量信息，读取对应的日志数据。

结合第二方面的第三种实现方式，本发明实施例在第二方面的第四种实现方式中，所述消费端还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

结合第二方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第二方面的第五种实现方式中，所述偏移量信息包括文件号、文件游标和文件路径。

结合第二方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第二方面的第六种实现方式中，所述采集源端还用于：在获取日志数据的存储位置信息之前，从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

在一个可能的设计中，日志采集装置的结构中包括处理器和存储器，所述存储器用于存储支持日志采集装置执行上述第一方面中日志采集方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述日志采集装置还可以包括通信接口，用于日志采集装置与其他设备或通信网络通信。

第三方面，本发明实施例提供了一种日志采集装置，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面中任一所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一所述的方法。

上述技术方案中的一个技术方案具有如下优点或有益效果：借助缓存通道使得采集日志时，不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中进行有效数据采集，保障了极高的吞吐量。

上述技术方案中的另一个技术方案具有如下优点或有益效果：借助将已消费的所述日志数据的存储位置信息保存到位置信息文件中的持久化操作，保证了数据的不丢失，达到断点续传的效果。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明一实施例提供的日志采集方法的流程图。

图2为本发明另一实施例提供的日志采集方法的流程图。

图3为本发明一实施例提供的日志采集方法的在flume(日志收集***)中应用的流程图。

图4为本发明另一实施例提供的日志采集方法的在flume(日志收集***)中应用的流程图。

图5为本发明一实施例提供的日志采集装置的结构框图。

图6为本发明另一实施例提供的日志采集装置的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1为本发明一实施例提供的日志采集方法的流程图。如图1所示，本发明实施例的日志采集方法包括：步骤S110，采集源端获取日志数据的存储位置信息；步骤S120，采集源端将所述日志数据的存储位置信息转存到缓存通道中；步骤S130，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。

大多数场景下，日志采集服务都会部署到目标数据源所在的宿主机上进行日志文件的收集工作。因此可以不使用文件持久化的方式将数据重复保存到本地磁盘目录。

本实施例的日志采集方法可以应用于flume(日志收集***)中。Flume包括source(采集源端)、channel(缓存通道)、sink(消费端)。采集源端在采集数据时可以将日志数据的存储位置信息转存到缓存通道中。消费端每次从缓存通道中消费数据时，可以从缓存通道中获取数据的存储位置信息，从而根据数据的存储位置信息获取源日志记录。

上述技术方案具有如下优点或有益效果：在背景技术中为了保障数据不丢失而将数据重复保存到本地磁盘目录。本发明实施例借助缓存通道保存数据的存储位置信息，在采集日志时不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中采集有效数据，保障了极高的吞吐量。

图2为本发明另一实施例提供的日志采集方法的流程图。如图2所示，根据本发明日志采集方法的一种实施方式，所述方法还包括步骤S140：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

当消费端真正提交数据时，再将当前已消费数据的存储位置信息保存到本地磁盘位置信息文件中。如果程序异常中断，需要重启日志收集***，采集源端就可以从本地保存的位置信息文件里读取数据的存储位置信息，进而恢复正常的日志采集操作。

上述技术方案中具有如下优点或有益效果：借助将已消费的所述日志数据的存储位置信息保存到位置信息文件中的持久化操作，在程序异常中断或重启时仍可以从本地保存的位置信息文件里读取数据的存储位置信息，保证了数据的不丢失，达到断点续传的效果。

图3为本发明一实施例提供的日志采集方法的流程图。如图3所示，根据本发明日志采集方法的一种实施方式，所述存储位置信息包括偏移量信息；图2中的步骤S120，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：步骤S210，采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；步骤S220，采集源端将所述事务数据包转存到缓存通道中。

根据本发明日志采集方法的一种实施方式，图2中的步骤S130，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：步骤S230，消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。

根据本发明日志采集方法的一种实施方式，图2中的步骤S140，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：步骤S240，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

根据本发明日志采集方法的一种实施方式，所述偏移量信息包括文件号、文件游标和文件路径。

根据本发明日志采集方法的一种实施方式，还包括：在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

在一个示例中，本发明实施例的日志采集方法可应用于flume(日志收集***)。flume的核心功能是把数据从数据源收集过来，再送到目的地。为了保证输送成功，在送到目的地之前，可以先将数据缓存，然后再传输到目的地。

flume传输的数据的基本单位是event(事务)。如果event是文本文件，通常是一行记录，这也是事务的基本单位。flume运行的核心是agent(代理节点)。Agent是一个完整的数据收集工具，它是一个独立的flume进程，含有三个核心组件，分别是source(采集源端)、channel(缓存通道)、sink(消费端)。event从source，流向channel，再到sink。通过这些组件，event可以从一个地方流向另一个地方。

source采集源端，负责将event传递到channel。source可以接收外部源发送过来的数据，并将接收的数据以flume的event格式传递给缓存通道channal。

channel负责中转event的缓存队列，保留由source端传递过来的event。channel是一个存储容器，接收source的输出，直到有sink消费掉channel中的数据。

Sink(消费端)，负责从channel中读取并移除event，将event传递给其他存储***，比如hdfs(Hadoop Distributed File System，分布式文件***)、hbase(Hadoopdatabase，hadoop数据库)、kafka等，其中Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者规模的网站中的所有动作流数据，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。sink从channal消费数据(例如event)并将其传递给目标地，如数据可以写入到hdfs或者hbase中。

本发明实施例通过设置缓存offset信息(偏移量信息)的channel，既保障数据传输不丢失又能实现了高性能数据传输。结合在本地采集日志数据的使用场景，在本发明实施例提供的日志采集方法中设计了一种即能保障数据传输不丢失又能兼顾高性能的channel，为体现本发明的设计思想，可将这种channel命名为offsetChannel(偏移量缓存通道)。

具体地，本发明实施例的日志采集方法应用于flume中，主要技术方案如下：

1)在source采集数据时，可以将相关offset信息装入到数据报头中。offset信息包括文件号(inode)、文件游标(position，简称pos)和文件路径(path)。其中，文件游标记录了文件的采集进度，也就是采集到当前文件的哪个位置。

2)将载有offset信息的数据包转存到offsetChannel内存队列中。

3)每次sink从offsetChannel中消费event数据时，可以根据数据报头中的offset信息，直接读取源日志记录。

4)当sink真正提交数据时，再将当前已消费数据的offset信息保存到本地磁盘位置信息文件(position file)中。

5)如果程序异常中断，需要重启flume，source可以从本地保存的位置信息文件里读取offset信息，近而恢复正常的日志采集操作。

由此可见，本发明实施例中offsetChannel的设计，不仅保障了数据传输的不丢失，达到断点续传的效果，而且还兼顾了类似memchannel高性能的特点。

图4为本发明另一实施例提供的日志采集方法的在flume(日志收集***)中应用的流程图。如图4所示，在另一个示例中，本发明实施例的具体流程如下：

步骤S310：当启动日志采集***flume时，source(采集源端)加载position file文件(位置信息文件)；

步骤S320：source(采集源端)根据position file文件中记载的历史已采集位置信息，初始化日志文件的采集位置；

步骤S330：生成event(事务，基本数据单元)后，将offset信息(偏移量信息)传给offsetChannel(偏移量缓存通道)；

步骤S340：sink(消费端)从offsetChannel(偏移量缓存通道)读取event(事务，基本数据单元)，发送到其他存储***，比如hdfs/hbase/kafka等***；

步骤S350：当sink(消费端)成功消费event(事务，基本数据单元)时，执行commitevent(提交事务)动作，把offset信息(偏移量信息)保存到position file文件(位置信息文件)中。

图5为本发明一实施例提供的日志采集装置的结构框图。如图5所示，本发明实施例的日志采集装置包括：采集源端100，用于获取日志数据的存储位置信息；所述采集源端100还用于：将所述日志数据的存储位置信息转存到缓存通道200中；消费端300，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。

根据本发明日志采集装置的一种实施方式，所述消费端300还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

根据本发明日志采集装置的一种实施方式，所述存储位置信息包括偏移量信息，所述采集源端100还用于：将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；将所述事务数据包转存到缓存通道中。

根据本发明日志采集装置的一种实施方式，所述消费端300还用于：根据所述缓存通道中的偏移量信息，读取对应的日志数据。

根据本发明日志采集装置的一种实施方式，所述消费端300还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

根据本发明日志采集装置的一种实施方式，所述偏移量信息包括文件号、文件游标和文件路径。

根据本发明日志采集装置的一种实施方式，所述采集源端100还用于：在获取日志数据的存储位置信息之前，从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

本发明实施例的日志采集装置中各单元的功能可以参见上述方法的相关描述，在此不再赘述。

在一个可能的设计中，日志采集装置的结构中包括处理器和存储器，所述存储器用于存储支持日志采集装置执行上述日志采集方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述日志采集装置还可以包括通信接口，用于日志采集装置与其他设备或通信网络通信。

图6为本发明另一实施例提供的日志采集装置的结构框图。如图6所示，该装置包括：存储器101和处理器102，存储器101内存储有可在处理器102上运行的计算机程序。所述处理器102执行所述计算机程序时实现上述实施例中的日志采集方法。所述存储器101和处理器102的数量可以为一个或多个。

该装置还包括：

通信接口103，用于与外界设备进行通信，进行数据交互传输。

存储器101可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器101、处理器102和通信接口103独立实现，则存储器101、处理器102和通信接口103可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponent)总线或扩展工业标准体系结构(EISA，Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器101、处理器102及通信接口103集成在一块芯片上，则存储器101、处理器102及通信接口103可以通过内部接口完成相互间的通信。

又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述日志采集方法中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种日志采集方法，其特征在于，包括：

采集源端获取日志数据的存储位置信息；

采集源端将所述日志数据的存储位置信息转存到缓存通道中；

消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

3.根据权利要求2所述的方法，其特征在于，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：

采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；

采集源端将所述事务数据包转存到缓存通道中。

4.根据权利要求3所述的方法，其特征在于，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：

消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。

5.根据权利要求4所述的方法，其特征在于，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：

消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

6.根据权利要求3至5中任一项所述的方法，其特征在于，所述偏移量信息包括文件号、文件游标和文件路径。

7.根据权利要求3至5中任一项所述的方法，其特征在于，还包括：

在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

8.一种日志采集装置，其特征在于，包括：

采集源端，用于获取日志数据的存储位置信息；

所述采集源端还用于：将所述日志数据的存储位置信息转存到缓存通道中；

消费端，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。

9.根据权利要求8所述的装置，其特征在于，所述消费端还用于：

提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

10.根据权利要求9所述的装置，其特征在于，所述存储位置信息包括偏移量信息，所述采集源端还用于：

将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；

将所述事务数据包转存到缓存通道中。

11.根据权利要求10所述的装置，其特征在于，所述消费端还用于：根据所述缓存通道中的偏移量信息，读取对应的日志数据。

12.根据权利要求11所述的装置，其特征在于，所述消费端还用于：

提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

13.根据权利要求10至12中任一项所述的装置，其特征在于，所述偏移量信息包括文件号、文件游标和文件路径。

14.根据权利要求10至12中任一项所述的装置，其特征在于，所述采集源端还用于：

在获取日志数据的存储位置信息之前，从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

15.一种日志采集装置，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。