CN103853743A - 一种分布式***及其日志查询方法 - Google Patents

一种分布式***及其日志查询方法 Download PDF

Info

Publication number
CN103853743A
CN103853743A CN201210501969.8A CN201210501969A CN103853743A CN 103853743 A CN103853743 A CN 103853743A CN 201210501969 A CN201210501969 A CN 201210501969A CN 103853743 A CN103853743 A CN 103853743A
Authority
CN
China
Prior art keywords
log
query
daily record
machine
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210501969.8A
Other languages
English (en)
Inventor
王昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201210501969.8A priority Critical patent/CN103853743A/zh
Publication of CN103853743A publication Critical patent/CN103853743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式***及其日志查询方法，该方法包括：控制单元将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；机器集群中机器的日志查询单元依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。根据本发明提供的技术方案，能够实现机器中日志的实时查询。

Description

一种分布式***及其日志查询方法
【技术领域】
本发明涉及互联网应用领域的搜索技术，尤其涉及一种分布式***及其日志查询方法。
【背景技术】
目前，在大型的分布式集群中，常常部署有上百台机器，每台机器上部署的程序的日志文件的大小高达几百G甚至更多，在进行***调试和程序问题分析时，运维人员需要输入关键字，查看机器上程序的日志文件。现有技术中，机器上程序的日志文件的查询方法为：将机器集群中每台机器上的日志文件都拷贝到搭建的存储***上，存储***中再建立查询索引供运维人员进行查询。
目前日志文件的查询方式存在以下问题：
1、需要搭建一个存储***，并对海量的日志文件建立索引，因此查询成本较高。
2、将机器集群中每台机器上的日志文件都拷贝到搭建的存储***上将占用大量的传输时间，浪费了大量的时间资源和存储资源。
3、在存储***中查询日志时，需要运行索引算法来查询日志，索引算法查询的日志文件多，而且运算时间较长，往往需要几个小时的时间才能得到查询结果，因此查询效率较低。
【发明内容】
本发明提供了一种分布式***及其日志查询方法，能够实现机器中日志的实时查询。
本发明的具体技术方案如下：
根据本发明一优选实施例，一种分布式***，包括：控制单元和机器集群；所述机器集群包括一个以上机器，所述机器包括日志查询单元和存储单元；其中，
控制单元，用于将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；
日志查询单元，用于依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
上述***中，该***还包括：
交互单元，用于接收用户输入的关键字以及日志的时间信息，并将所述关键字和所述时间信息携带在查询请求中发送给控制单元。
上述***中，所述日志查询脚本模板包括以下内容：机器集群中机器执行的操作、保存查询结果的文件的文件名前缀、机器中保存日志文件的目录和所述时间信息。
上述***中，日志查询单元在查询日志时具体包括：
对所述日志查询脚本进行解析，依据解析得到的参数在机器的存储单元中找到保存日志文件的目录；
依据日志文件的名称后缀，对所述保存日志文件的目录下的日志文件进行分类；
依据时间信息在每个类型的日志文件中提取对应时间信息的日志文件；
依据需要执行的日志查询操作，在提取的日志文件中依据关键字查询对应的日志。
上述***中，日志查询单元在将找到的日志返回给控制单元时具体包括：
依据预设的保存查询结果的文件的文件名前缀创建保存查询结果的文件，将查询到的日志作为查询结果保存到所述保存查询结果的文件中，将所述保存查询结果的文件上报给控制单元。
上述***中，
所述控制单元，还用于接收机器的日志查询单元上报的日志；当预设的等待超时时间到时后，将查询结果通过交互单元显示给用户；所述查询结果包括：机器的标识、日志时间、日志分类和日志的具体内容。
一种分布式***的日志查询方法，包括：
控制单元将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；
机器集群中机器的日志查询单元依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
上述方法中，该方法还包括：
交互单元接收用户输入的关键字以及日志的时间信息，并将所述关键字和所述时间信息携带在查询请求中发送给控制单元。
上述方法中，所述日志查询脚本模板包括以下内容：机器集群中机器执行的操作、保存查询结果的文件的文件名前缀、机器中保存日志文件的目录和所述时间信息。
上述方法中，日志查询单元查询日志的方法为：
对所述日志查询脚本进行解析，依据解析得到的参数在机器的存储单元中找到保存日志文件的目录；
依据日志文件的名称后缀，对所述保存日志文件的目录下的日志文件进行分类；
依据时间信息在每个类型的日志文件中提取对应时间信息的日志文件；
依据需要执行的日志查询操作，在提取的日志文件中依据关键字查询对应的日志。
上述方法中，日志查询单元将找到的日志返回给控制单元的方法为：
日志查询单元依据预设的保存查询结果的文件的文件名前缀创建保存查询结果的文件，将查询到的日志作为查询结果保存到所述保存查询结果的文件中，将所述保存查询结果的文件上报给控制单元。
上述方法中，该方法还包括：
控制单元接收机器的日志查询单元上报的日志；
预设的等待超时时间到时后，控制单元将查询结果通过交互单元显示给用户；所述查询结果包括：机器的标识、日志时间、日志分类和日志的具体内容。
由以上技术方案可以看出，本发明提供的技术方案具有以下有益效果：
控制单元对分布式的机器集群采用多进程的并发控制和管理，对每个机器都启动一个单独的进程完成交互控制，能够实现实时的日志查询，使得机器集群的日志实时查询的完成时间与机器集群的规模无关，无论机器集群的规模大小，查询时间都是取决于查询时间最久的机器，从而具有良好的扩展性。
【附图说明】
图1是本发明实现分布式***的优选实施例的结构示意图；
图2是本发明实现分布式***的日志查询方法的优选实施例的流程示意图。
【具体实施方式】
本发明的基本思想是：控制单元将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；机器集群中机器的日志查询单元依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
本发明提供一种分布式***，图1是本发明实现分布式***的优选实施例的结构示意图，如图1所示，该分布式***包括：交互单元10、控制单元11和机器集群；机器集群包括一个以上机器，机器进一步包括日志查询单元12和存储单元13。
基于上述***，本发明提供一种分布式***的日志查询方法，图2是本发明实现分布式***的日志查询方法的优选实施例的流程示意图，如图2所示，该优选实施例包括以下步骤：
步骤201，交互单元接收用户输入的关键字和时间信息，并转发给控制单元。
具体的，交互单元向用户提供输入框和时间选项，用以接收用户依据查询需求输入的关键字以及需要查询的日志的时间信息，该时间信息可以包括日期和具体时段。
交互单元将关键字和时间信息携带在查询请求中发送给控制单元；实际应用中，所述交互单元可以为web页面，通过该web页面用户可以输入关键字并选择时间，还可以查看关键字对应的查询结果；所述web页面可以利用超文本预处理语言（PHP，PHP：Hypertext Preprocessor）实现。
这里，在交互单元中选择需要查询的日志的日期和时间段，能够缩小查询范围，减少查询时间，提高网页响应速度。
步骤202，控制单元将关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群。
具体的，控制单元能够采用多进程并发的控制和管理机制，对机器集群中的一个以上机器进行日志查询控制和管理；当从交互单元收到查询请求后，从查询请求中获取关键字和时间信息。
控制单元中预设一个以上脚本模板，如，日志查询脚本模板、流量统计脚本模板和磁盘清理脚本模板等；本优选实施例中是以日志查询为例，日志查询脚本模板可以为mcontrol(list,cmd,outfile,errfile,directory,time)；其中list参数的参数值为机器集群中机器的标识，如机器名、域名或IP地址，控制单元可以从用户预设的hlist文件中读取机器集群中每个机器的标识；cmd参数的参数值为机器集群中机器具体执行的操作，本优选实施例中，cmd参数的参数值表示查询日志操作，cmd参数作为具体的日志查询命令，directory参数和time参数可以在日志查询单元进行日志查询时作为该日志查询命令的输入；outfile参数的参数值为保存查询结果的文件的文件名前缀，errfile参数的参数值为保存错误结果的文件的文件名的前缀，directory参数的参数值为机器中保存日志文件的目录，time参数的参数值为用户输入的时间信息。
用户输入的关键字为字段，控制单元对该字段进行预处理；例如，判断关键字是非法输入还是合法输入；如果关键字为URL，则判断该URL是非法网址还是合法网址，或当URL的长度较长时，对URL进行缩减处理，删除其中的“http”、“/”等字段。
控制单元将预处理后的关键字、收到的时间信息和机器的标识作为参数值输入到日志查询脚本模板，生成日志查询脚本，日志查询脚本模板中的其他参数值都是固定的，可以进行统一设置，只有该三个参数值是可变的；控制单元将生成的日志查询脚本发送给机器集群中与日志查询脚本中机器的标识对应的机器，实现将日志查询脚本自动分发部署到分布式集群中的各个机器上，如此，就可以与机器集群中的机器之间建立多个进程和链接，以控制机器启动日志查询任务，实现机器集群中机器上日志的并发查询操作；所述机器集群中包括一个以上机器。
步骤203，机器的日志查询单元依据日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
具体的，机器集群中部署有依据控制单元下发的脚本执行操作的实体，本优选实施例是以日志查询为例，该实体为日志查询单元；机器集群中的机器上还部署有存储单元。
日志查询单元收到控制单元发送的日志查询脚本后，对该日志查询脚本进行解析，将解析得到的参数作为自身的输入参数，首先依据cmd参数确定需要执行的操作是日志查询操作，然后依据directory参数的参数值在机器的存储单元中找到保存日志文件的目录，这里，存储单元中存储有海量的日志文件，这里仅依据配置的保存日志文件的目录，可以快速找到需要查询的日志；日志查询单元依据日志文件的名称后缀，对找到的保存日志文件的目录中的日志文件进行分类，例如分成构建类型、集成类型等；日志查询单元依据解析得到的time参数，在每个类型的日志文件中提取对应time参数中日期和时间段的日志文件，在提取的日志文件中依据解析得到的关键字查询对应的日志；日志查询单元依据outfile参数的参数值创建保存查询结果的文件，然后将查询到的日志作为查询结果保存到该文件中，将保存查询结果的文件上报给控制单元；其中，日志查询单元还会依据errfile参数的参数值创建保存错误结果的文件，正常情况下，该文件是空的,只有异常情况下日志查询单元才会记录日志查询的出错信息，如读日志文件失败等，日志查询单元可以通过保存错误结果的文件将异常情况上报给控制单元。
本优选实施例中，在日志查询单元查询日志的过程中，控制单元通过监控与每个机器建立的进程的执行状态，来获得并显示每个机器上日志查询单元的查询进度，例如查询是否完成、查询是否出现异常等。
步骤204，控制单元将找到的日志通过交互单元显示给用户。
具体的，控制单元接收各个机器的日志查询单元上报的保存查询结果的文件，将查询结果汇总后通过交互单元显示给用户；所述汇总后的查询结果包含机器的标识、日志时间、日志分类及日志的具体内容。
其中，控制单元还可以同时将收到的查询结果保存到本地，每个机器的查询结果可以单独存储在一个文件中。
这里，可以预先在控制单元中依据查询需求配置等待超时时间，即使存在机器的日志查询单元在等待超时时间内没有上报保存查询结果的文件，控制单元也在等待超时时间到时后向用户显示其他机器的日志查询单元上报的查询结果。
为实现上述方法，如图1所示，分布式***中：
交互单元10，用于接收用户输入的关键字以及日志的时间信息，并将所述关键字和所述时间信息携带在查询请求中发送给控制单元11。
控制单元11，用于将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群。
日志查询单元12，用于依据所述日志查询脚本在存储单元13中查询日志，将找到的日志返回给控制单元11。
其中，所述日志查询脚本模板包括以下内容：机器集群中机器执行的操作、保存查询结果的文件的文件名前缀、机器中保存日志文件的目录和所述时间信息。
其中，日志查询单元12在查询日志时具体包括：
对所述日志查询脚本进行解析，依据解析得到的参数在机器的存储单元中找到保存日志文件的目录；
依据日志文件的名称后缀，对所述保存日志文件的目录下的日志文件进行分类；
依据时间信息在每个类型的日志文件中提取对应时间信息的日志文件；
依据需要执行的日志查询操作，在提取的日志文件中依据关键字查询对应的日志。
其中，日志查询单元12在将找到的日志返回给控制单元时具体包括：
依据预设的保存查询结果的文件的文件名前缀创建保存查询结果的文件，将查询到的日志作为查询结果保存到所述保存查询结果的文件中，将所述保存查询结果的文件上报给控制单元。
所述控制单元11，还用于接收机器的日志查询单元12上报的日志；当预设的等待超时时间到时后，将查询结果通过交互单元10显示给用户；所述查询结果包括：机器的标识、日志时间、日志分类和日志的具体内容。
本发明的上述技术方案具有以下有益技术效果：
1、控制单元对分布式的机器集群采用多进程的并发控制和管理，对每个机器都启动一个单独的进程完成交互控制，能够实现实时的日志查询，使得机器集群的日志实时查询的完成时间与机器集群的规模无关，无论机器集群的规模大小，查询时间都是取决于查询时间最久的机器，从而具有良好的扩展性。例如，对于具有30个机器的机器集群，应用本发明的技术方案实现URL的查询后，单条URL的查询时间是4s左右，以前将日志文件保存到存储***并建立索引的过程就需要至少一个小时，因此，无法满足实时查询的需求。
2、分布式***可以应用于任何分布式集群，如其他文件的查询、流量统计和磁盘清理等，针对不同的分布式***，只需要对操作执行实体（如日志查询单元）进行升级即可。
3、不需要创建专门的存储***并建立索引，因此可以节省带宽资源和存储空间，减少查询成本，提高查询效率。
4、控制单元可以对日志查询单元进行灵活配置，以满足不同的查询需求。
5、分布式***的结构简单清晰，由控制单元进行统一控制，具有较高的可行性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种分布式***，其特征在于，该***包括：控制单元和机器集群；所述机器集群包括一个以上机器，所述机器包括日志查询单元和存储单元；其中，
控制单元，用于将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；
日志查询单元，用于依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
2.根据权利要求1所述的***，其特征在于，该***还包括：
交互单元，用于接收用户输入的关键字以及日志的时间信息，并将所述关键字和所述时间信息携带在查询请求中发送给控制单元。
3.根据权利要求1所述的***，其特征在于，所述日志查询脚本模板包括以下内容：机器集群中机器执行的操作、保存查询结果的文件的文件名前缀、机器中保存日志文件的目录和所述时间信息。
4.根据权利要求1所述的***，其特征在于，日志查询单元在查询日志时具体包括：
对所述日志查询脚本进行解析，依据解析得到的参数在机器的存储单元中找到保存日志文件的目录；
依据日志文件的名称后缀，对所述保存日志文件的目录下的日志文件进行分类；
依据时间信息在每个类型的日志文件中提取对应时间信息的日志文件；
依据需要执行的日志查询操作，在提取的日志文件中依据关键字查询对应的日志。
5.根据权利要求1所述的***，其特征在于，日志查询单元在将找到的日志返回给控制单元时具体包括：
依据预设的保存查询结果的文件的文件名前缀创建保存查询结果的文件，将查询到的日志作为查询结果保存到所述保存查询结果的文件中，将所述保存查询结果的文件上报给控制单元。
6.根据权利要求1所述的***，其特征在于，
所述控制单元，还用于接收机器的日志查询单元上报的日志；当预设的等待超时时间到时后，将查询结果通过交互单元显示给用户；所述查询结果包括：机器的标识、日志时间、日志分类和日志的具体内容。
7.一种分布式***的日志查询方法，其特征在于，该方法包括：
控制单元将预设的关键字和时间信息作为参数值输入到预设的日志查询脚本模板，生成日志查询脚本并发送到机器集群；
机器集群中机器的日志查询单元依据所述日志查询脚本在存储单元中查询日志，将找到的日志返回给控制单元。
8.根据权利要求7所述的方法，其特征在于，该方法还包括：
交互单元接收用户输入的关键字以及日志的时间信息，并将所述关键字和所述时间信息携带在查询请求中发送给控制单元。
9.根据权利要求7所述的方法，其特征在于，所述日志查询脚本模板包括以下内容：机器集群中机器执行的操作、保存查询结果的文件的文件名前缀、机器中保存日志文件的目录和所述时间信息。
10.根据权利要求7所述的方法，其特征在于，日志查询单元查询日志的方法为：
对所述日志查询脚本进行解析，依据解析得到的参数在机器的存储单元中找到保存日志文件的目录；
依据日志文件的名称后缀，对所述保存日志文件的目录下的日志文件进行分类；
依据时间信息在每个类型的日志文件中提取对应时间信息的日志文件；
依据需要执行的日志查询操作，在提取的日志文件中依据关键字查询对应的日志。
11.根据权利要求7所述的方法，其特征在于，日志查询单元将找到的日志返回给控制单元的方法为：
日志查询单元依据预设的保存查询结果的文件的文件名前缀创建保存查询结果的文件，将查询到的日志作为查询结果保存到所述保存查询结果的文件中，将所述保存查询结果的文件上报给控制单元。
12.根据权利要求7所述的方法，其特征在于，该方法还包括：
控制单元接收机器的日志查询单元上报的日志；
预设的等待超时时间到时后，控制单元将查询结果通过交互单元显示给用户；所述查询结果包括：机器的标识、日志时间、日志分类和日志的具体内容。
CN201210501969.8A 2012-11-29 2012-11-29 一种分布式***及其日志查询方法 Pending CN103853743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210501969.8A CN103853743A (zh) 2012-11-29 2012-11-29 一种分布式***及其日志查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210501969.8A CN103853743A (zh) 2012-11-29 2012-11-29 一种分布式***及其日志查询方法

Publications (1)

Publication Number Publication Date
CN103853743A true CN103853743A (zh) 2014-06-11

Family

ID=50861410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210501969.8A Pending CN103853743A (zh) 2012-11-29 2012-11-29 一种分布式***及其日志查询方法

Country Status (1)

Country Link
CN (1) CN103853743A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099764A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 日志处理方法及装置
CN105117411A (zh) * 2015-07-29 2015-12-02 上海斐讯数据通信技术有限公司 一种服务器日志文件管理***和方法
CN105740348A (zh) * 2016-01-25 2016-07-06 武汉精伦电气有限公司 一种基于分布式终端***关键日志信息提取方法及***
CN105824958A (zh) * 2016-03-31 2016-08-03 广州华多网络科技有限公司 一种查询日志的方法、装置和***
CN105897834A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 Hive客户端、Hive服务器、Hive执行日志远程监控***和方法
CN106227727A (zh) * 2016-06-30 2016-12-14 乐视控股（北京）有限公司 一种分布式***的日志更新方法、装置与***
CN106682868A (zh) * 2015-11-10 2017-05-17 北京计算机技术及应用研究所 办公自动化设备存储部件的在线数据提取设备及方法
CN106908258A (zh) * 2015-12-23 2017-06-30 阿里巴巴集团控股有限公司 性能测试的方法及装置
CN107465549A (zh) * 2017-08-18 2017-12-12 北京奇艺世纪科技有限公司 一种分布式消息处理方法和***
CN107644017A (zh) * 2016-07-20 2018-01-30 平安科技（深圳）有限公司 日志文件的查询方法及装置
WO2018035799A1 (zh) * 2016-08-25 2018-03-01 阿里巴巴集团控股有限公司 数据查询方法、应用和数据库服务器、中间件及***
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN107943591A (zh) * 2017-12-05 2018-04-20 郑州云海信息技术有限公司 一种基于linux的多主机进程管理的方法
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技（深圳）有限公司 电子装置、分布式***日志查询方法及存储介质
CN108737467A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种服务器日志查看方法、装置和***
CN109885548A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 日志查询方法、装置、存储介质和电子装置
CN112463738A (zh) * 2020-11-20 2021-03-09 中国建设银行股份有限公司 日志检索方法、***、计算机设备和存储介质
CN112579009A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 错误日志的打印方法及装置、存储介质、电子设备
CN113590372A (zh) * 2021-08-10 2021-11-02 平安普惠企业管理有限公司 基于日志的链路追踪方法、装置、计算机设备及存储介质
CN113765694A (zh) * 2021-03-24 2021-12-07 北京京东拓先科技有限公司 日志信息显示方法、装置、电子设备和计算机可读介质
WO2023123397A1 (zh) * 2021-12-31 2023-07-06 深圳晶泰科技有限公司 一种多云的日志处理方法、存储方法及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582087A (zh) * 2009-06-16 2009-11-18 恒生电子股份有限公司 一种日志提取方法及装置
US20100228784A1 (en) * 2009-02-23 2010-09-09 Iron Mountain Incorporated Methods and Systems for Single Instance Storage of Asset Parts
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
US20110179013A1 (en) * 2010-01-21 2011-07-21 Microsoft Corporation Search Log Online Analytic Processing
US20120197928A1 (en) * 2011-01-31 2012-08-02 Splunk Inc. Real time searching and reporting

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228784A1 (en) * 2009-02-23 2010-09-09 Iron Mountain Incorporated Methods and Systems for Single Instance Storage of Asset Parts
CN101902505A (zh) * 2009-05-31 2010-12-01 中国科学院计算机网络信息中心 一种分布式dns查询日志的实时统计装置及方法
CN101582087A (zh) * 2009-06-16 2009-11-18 恒生电子股份有限公司 一种日志提取方法及装置
US20110179013A1 (en) * 2010-01-21 2011-07-21 Microsoft Corporation Search Log Online Analytic Processing
US20120197928A1 (en) * 2011-01-31 2012-08-02 Splunk Inc. Real time searching and reporting

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099764A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 日志处理方法及装置
CN105099764B (zh) * 2015-06-29 2019-01-18 北京音之邦文化科技有限公司 日志处理方法及装置
CN105117411A (zh) * 2015-07-29 2015-12-02 上海斐讯数据通信技术有限公司 一种服务器日志文件管理***和方法
CN106682868B (zh) * 2015-11-10 2021-01-08 北京计算机技术及应用研究所 办公自动化设备存储部件的在线数据提取设备及方法
CN106682868A (zh) * 2015-11-10 2017-05-17 北京计算机技术及应用研究所 办公自动化设备存储部件的在线数据提取设备及方法
CN105897834A (zh) * 2015-12-04 2016-08-24 乐视网信息技术（北京）股份有限公司 Hive客户端、Hive服务器、Hive执行日志远程监控***和方法
CN106908258A (zh) * 2015-12-23 2017-06-30 阿里巴巴集团控股有限公司 性能测试的方法及装置
CN105740348A (zh) * 2016-01-25 2016-07-06 武汉精伦电气有限公司 一种基于分布式终端***关键日志信息提取方法及***
CN105824958A (zh) * 2016-03-31 2016-08-03 广州华多网络科技有限公司 一种查询日志的方法、装置和***
CN105824958B (zh) * 2016-03-31 2019-06-18 广州华多网络科技有限公司 一种查询日志的方法、装置和***
CN106227727A (zh) * 2016-06-30 2016-12-14 乐视控股（北京）有限公司 一种分布式***的日志更新方法、装置与***
CN107644017A (zh) * 2016-07-20 2018-01-30 平安科技（深圳）有限公司 日志文件的查询方法及装置
WO2018035799A1 (zh) * 2016-08-25 2018-03-01 阿里巴巴集团控股有限公司 数据查询方法、应用和数据库服务器、中间件及***
CN107784050A (zh) * 2016-12-14 2018-03-09 平安科技（深圳）有限公司 日志信息查找方法及装置
CN108737467A (zh) * 2017-04-19 2018-11-02 腾讯科技（深圳）有限公司 一种服务器日志查看方法、装置和***
CN108737467B (zh) * 2017-04-19 2021-03-26 腾讯科技（深圳）有限公司 一种服务器日志查看方法、装置和***
CN107465549A (zh) * 2017-08-18 2017-12-12 北京奇艺世纪科技有限公司 一种分布式消息处理方法和***
CN107465549B (zh) * 2017-08-18 2021-03-02 北京奇艺世纪科技有限公司 一种分布式消息处理方法和***
CN107943591A (zh) * 2017-12-05 2018-04-20 郑州云海信息技术有限公司 一种基于linux的多主机进程管理的方法
CN108427705B (zh) * 2018-01-17 2022-04-12 平安科技（深圳）有限公司 电子装置、分布式***日志查询方法及存储介质
WO2019140828A1 (zh) * 2018-01-17 2019-07-25 平安科技（深圳）有限公司 电子装置、分布式***日志查询方法及存储介质
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技（深圳）有限公司 电子装置、分布式***日志查询方法及存储介质
CN109885548A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 日志查询方法、装置、存储介质和电子装置
CN112579009A (zh) * 2019-09-30 2021-03-30 北京国双科技有限公司 错误日志的打印方法及装置、存储介质、电子设备
CN112463738A (zh) * 2020-11-20 2021-03-09 中国建设银行股份有限公司 日志检索方法、***、计算机设备和存储介质
CN113765694A (zh) * 2021-03-24 2021-12-07 北京京东拓先科技有限公司 日志信息显示方法、装置、电子设备和计算机可读介质
CN113765694B (zh) * 2021-03-24 2024-04-19 北京京东拓先科技有限公司 日志信息显示方法、装置、电子设备和计算机可读介质
CN113590372A (zh) * 2021-08-10 2021-11-02 平安普惠企业管理有限公司 基于日志的链路追踪方法、装置、计算机设备及存储介质
WO2023123397A1 (zh) * 2021-12-31 2023-07-06 深圳晶泰科技有限公司 一种多云的日志处理方法、存储方法及计算机存储介质

Similar Documents

Publication Publication Date Title
CN103853743A (zh) 一种分布式***及其日志查询方法
CN101651707B (zh) 一种网络用户行为日志自动获取方法
CN102446222B (zh) 一种网页内容预加载方法、装置及***
CN102937980B (zh) 一种集群数据库数据查询方法
CN101098248B (zh) 一种基于配置描述文件实现通用网络管理的方法及***
CN102663062A (zh) 一种处理搜索结果中无效链接的方法及装置
CN102710795B (zh) 热点聚合方法及装置
CN103617287A (zh) 一种分布式环境下的日志管理方法和装置
CN102918534A (zh) 查询管道
CN101799751A (zh) 一种构建主机监控代理软件的方法
CN101046806B (zh) 搜索引擎***和方法
WO2011150645A1 (zh) 网站托管服务调度方法、应用访问处理方法、装置及***
CN101945013A (zh) 一种实现服务器配置管理的***及方法
CN102480510B (zh) C/s和b/s混合架构的实现方法和装置
CN103297275A (zh) Web网管客户端模块动态发现与加载的***及方法
CN102663049B (zh) 一种更新搜索引擎网址库方法及装置
CN103312544A (zh) 一种控制终端上报日志文件的方法、设备和***
CN102098229A (zh) 统一资源定位符优化审计的方法、装置和网络侧设备
CN102291460B (zh) 基于Web Service的信息资源访问方法
JP5487864B2 (ja) データ収集装置、データ収集方法およびデータ収集プログラム
CN105045905A (zh) 一种基于全文检索的日志维护方法及***
CN109634753B (zh) 切换浏览器内核的数据处理方法、装置、终端和存储介质
CN101355590A (zh) 下载提示方法、***及装置
CN113656673A (zh) 面向广告投放的主从分布内容爬取机器人
CN1889557A (zh) 远程xml数据更新方法以及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140611