JP2008198039A - Log collection and management method - Google Patents
Log collection and management method Download PDFInfo
- Publication number
- JP2008198039A JP2008198039A JP2007034241A JP2007034241A JP2008198039A JP 2008198039 A JP2008198039 A JP 2008198039A JP 2007034241 A JP2007034241 A JP 2007034241A JP 2007034241 A JP2007034241 A JP 2007034241A JP 2008198039 A JP2008198039 A JP 2008198039A
- Authority
- JP
- Japan
- Prior art keywords
- log
- log collection
- file
- logs
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
本発明は、複数のログ出力製品が稼働する複数のマシンからログを収集し、データベースで一元管理する技術に関する。 The present invention relates to a technique for collecting logs from a plurality of machines on which a plurality of log output products operate, and centrally managing them in a database.
ログを出力するマシンからネットワークを利用してログを収集する方法が一般的に知られている。また、特許文献１には、ストレージ装置とログ収集装置間でアドレスを通知することにより、ログを収集するサーバ装置を容易に特定する方法が開示されている。
A method of collecting logs from a machine that outputs logs using a network is generally known.
従来、ログの収集対象となるマシン及びログを収集するサーバの双方に設定が必要であることは特許文献１にも開示されているとおりである。この課題を解決する１つの方法として、特許文献１には、ストレージ装置とログ収集装置間でアドレスを通知することにより、ログを収集するサーバ装置を容易に特定する方法が開示されている。
Conventionally, as disclosed in
複数のログ出力製品が稼働するマシンをログの収集対象とする場合においては、さらに、収集対象となるマシン側でログ出力製品ごとにログ出力製品に応じた設定を行う必要がある。このような設定は、複数の製品で統一されておらず、製品毎に異なる設定を行わなければならない。このようなマシンが複数存在する場合、その設定作業は煩雑で漏れや誤りが生じ易いという問題がある。 When a machine on which a plurality of log output products is operated is a log collection target, it is necessary to make settings corresponding to the log output product for each log output product on the machine to be collected. Such settings are not standardized for a plurality of products, and different settings must be made for each product. When there are a plurality of such machines, the setting work is complicated and there is a problem that leakage and errors are likely to occur.
また、収集したログについては、不必要なデータを含んで膨大なデータとなっている場合も多く、ログ収集に負荷がかかるという問題がある。 In addition, the collected logs are often enormous data including unnecessary data, and there is a problem that a load is imposed on log collection.
さらに、製品ごとに出力するログの様式が異なっており、データベースで一元管理するのが困難であるという問題がある。 In addition, there is a problem in that the log format to be output is different for each product, and it is difficult to centrally manage with a database.
本発明は、こうした課題を解決するために、複数のログ出力製品が稼働する複数のマシンからログを収集する際に、ログ収集対象マシンに対する設定を容易にし、設定時の漏れや誤りを防止する方法を提供することを第１の目的とする。 In order to solve these problems, the present invention makes it easy to set a log collection target machine when logs are collected from a plurality of machines on which a plurality of log output products operate, and prevents omissions and errors at the time of setting. It is a first object to provide a method.
また、必要なデータのみを収集することにより、ログ収集時の負荷を軽減することを第２の目的とする。 A second object is to reduce the load during log collection by collecting only necessary data.
さらに、出力されたログの様式の差異を吸収し、データベースで一元管理する方法を提供することを第３の目的とする。 It is a third object of the present invention to provide a method for absorbing differences in the format of output logs and managing them in a database.
本発明では、上記第１の目的を達成するために、ログ収集対象マシンにインストールされている製品の情報を収集し、ログ収集対象マシンごとに製品ごとの動作定義ファイルを生成して、ログ収集対象マシン側に設定情報を送信する手段を提供する。さらに、上記第２の目的を達成するために、動作定義ファイルに、収集するログを取捨選択するための定義を追加する手段を提供する。また、上記第３の目的を達成するために、収集したログから必要なデータを切り出すためのルールを定義可能とし、定義に従って必要なデータを切り出してデータベースに格納する手段を提供する。 In the present invention, in order to achieve the first object, information on products installed in a log collection target machine is collected, an operation definition file for each product is generated for each log collection target machine, and log collection is performed. A means for transmitting setting information to the target machine is provided. Furthermore, in order to achieve the second object, a means for adding a definition for selecting a log to be collected to an operation definition file is provided. In order to achieve the third object, a rule for extracting necessary data from collected logs can be defined, and means for extracting necessary data according to the definition and storing it in a database is provided.
リモートでのログ収集の定義設定を容易に実現するとともに、出力様式の異なるログをデータベースで一元管理することを可能にする。 This makes it easy to remotely define collection settings for logs, and makes it possible to centrally manage logs with different output formats in a database.
以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明する。図１は、本発明における１実施例であるログ収集システムのおおまかなプログラム構成を示した図である。 The best mode for carrying out the present invention will be described below in detail with reference to the drawings. FIG. 1 is a diagram showing a rough program configuration of a log collection system according to an embodiment of the present invention.
ログ管理サーバ１００には、入力装置１０１、出力装置１０２および監査ログ格納データベース１０３が接続されており、入出力装置からの入出力を制御する入出力制御部１０４、入力装置から入力された条件を定義ファイルに反映する条件設定部１０５、製品に関する情報を定義した製品定義ファイル１０６、条件設定部１０５により作成・変更される動作定義ファイル１０７と監査定義ファイル１０８、設定時にログ収集対象マシンと必要な情報をやり取りするための基本制御部１０９、ログ管理サーバとログ収集対象マシン間の通信を制御する通信制御部１１０、収集対象マシンからログデータの収集を行うログデータ取得制御部１１１、収集したログから必要なデータの切り出しを行うログデータ正規化部１１３、監査ログ格納データベースとの入出力を制御するデータベース入出力制御部１１４から構成される。
An
ログ収集対象マシン２００は、ログ管理サーバとログ収集対象マシン間の通信を制御する通信制御部２０１、設定時にログ管理サーバと必要な情報をやり取りするための基本制御部２０３、設定に必要な情報を問い合わせるオペレーティングシステム（ＯＳ）２０２、ログ収集部の起動順序を定義する起動順序定義ファイル２０４、ログ管理サーバとのやり取りで生成する動作定義ファイル２０５、動作定義ファイルを読み込んで製品毎に出力されるログファイルを監視し、該当するログのみログ収集制御部２０９へ渡すログ収集部２０８、複数製品から収集したログに通番をつけて転送データ格納部へ格納するログ収集制御部２０９、ログ管理サーバへ転送するデータを格納する転送データ格納部２１０、ログ管理サーバからのログ取得要求に対応し、転送データ格納部からデータを読み出して、ログ管理サーバに転送するログデータ取得制御部２１１、およびログ出力プログラム２０６とそのプログラムが出力する出力ログファイル２０７から構成される。
The log
図２は、製品定義ファイル１０６の定義例である。製品定義ファイルは、ログ収集の対象とする製品（プログラム毎）に予め作成する。予め製品に同梱して提供された定義ファイルを読み込むようにしてもよい。
FIG. 2 is a definition example of the
製品定義ファイルには、その製品が監査のために出力するログファイルの数（Ｃ２０１）、ログファイル数に指定した数分の収集対象とするログファイルの名称（Ｃ２０２）、適用する正規化ルールのファイル名（Ｃ２０３）を定義する。 The product definition file includes the number of log files output by the product for auditing (C201), the names of log files to be collected (C202) for the number of log files specified, and the normalization rules to be applied. A file name (C203) is defined.
図３は、動作定義ファイル１０７、２０５の定義例である。動作定義ファイルは、ログ管理サーバ側でログ収集の対象とする製品（プログラム毎）に予め作成するか、条件設定部からの入力内容を元に生成し、ログ収集対象マシン側へ送信する。
FIG. 3 is a definition example of the
動作定義ファイルには、その製品が監査のために出力するログファイルのタイプ（Ｃ３０１）、ログファイルのレコード形式（Ｃ３０２）、ログファイルのヘッダーの行数（Ｃ３０３）やログファイルのヘッダーのサイズ（Ｃ３０４）、指定した文字列に部分一致するレコードを監視対象外にする設定（Ｃ３０５）あるいは、指定した文字列に部分一致するレコードだけを監視対象にする設定（Ｃ３０６）を定義する。 The action definition file includes the type of log file (C301), the log file record format (C302), the number of log file header lines (C303), and the size of the log file header (C303). C304), a setting that excludes records that partially match a specified character string (C305) or a setting that only records that partially match a specified character string are monitored (C306).
指定した文字列に部分一致するレコードを監視対象外にする設定（Ｃ３０５）あるいは、指定した文字列に部分一致するレコードだけを監視対象にする設定（Ｃ３０６）は複数設定が可能である。 It is possible to set a plurality of settings for setting a record partially matching a specified character string to be excluded from monitoring (C305) or setting only a record partially matching a specified character string to be monitored (C306).
図４は、監査定義ファイル１０８の定義例である。監査定義ファイルは、ホスト名をセクションとしてそのホストで収集対象となる製品に関する情報を定義する。セクション名を複数設定して複数のホストのログファイルに関する設定をすることもできる。 FIG. 4 is a definition example of the audit definition file 108. The audit definition file defines information related to products to be collected on the host with the host name as a section. You can set multiple section names and configure log files for multiple hosts.
監査定義ファイルには、ホスト名（セクション名）（Ｃ４０１）、そのホストで稼働している製品の動作定義ファイル名（Ｃ４０２）、その製品が監査のために出力するログファイルのタイプ（Ｃ３０１）、ログファイルのレコード形式（Ｃ３０２）、ログファイルのヘッダーの行数（Ｃ３０３）やログファイルのヘッダーのサイズ（Ｃ３０４）、指定した文字列に部分一致するレコードを監視対象外にする設定（Ｃ３０５）あるいは、指定した文字列に部分一致するレコードだけを監視対象にする設定（Ｃ３０６）を定義する。動作定義ファイル名、製品定義ファイル名、ファイルの監視間隔、ログ出力プログラム名は、監視する製品の複数指定が可能である。なおログ出力プログラムはプログラムに限らず、ログ出力を行うログ出力部であってもよい。 The audit definition file includes a host name (section name) (C401), an operation definition file name of a product operating on the host (C402), a log file type (C301) output by the product for auditing, Log file record format (C302), number of log file header lines (C303), log file header size (C304), setting to partially exclude records that match specified character string (C305) or Define a setting (C306) that only monitors records that partially match the specified character string. For the action definition file name, product definition file name, file monitoring interval, and log output program name, multiple products to be monitored can be specified. The log output program is not limited to a program, and may be a log output unit that performs log output.
図５、図６は、正規化ルールファイル（１１２）の定義例である。正規化ルールファイルは、ログのタイプを指定する［ＬＯＧＴＹＰＥ］セクションと、ログレコードから必要な情報を切り出すためのルールを定義するセクション（名称は任意、複数指定可能）からなる。正規化ルールファイルは、ログタイプ毎に作成する。 5 and 6 are definition examples of the normalization rule file (112). The normalization rule file includes a [LOGTYPE] section that specifies a log type, and a section that defines a rule for extracting necessary information from a log record (any name can be specified, and a plurality of names can be specified). A normalization rule file is created for each log type.
本発明では、出力ログを識別するためにレコードの先頭に埋め込まれている情報をセクション名としている。CALFHM 1.0,で始まるログデータを図５に示すルールで正規化し、A001 で始まるログデータを図６に示すルールで正規化する。 In the present invention, in order to identify an output log, information embedded at the beginning of a record is used as a section name. Log data starting with CALFHM 1.0 is normalized with the rule shown in FIG. 5, and log data starting with A001 is normalized with the rule shown in FIG.
正規化ルールファイルには、ログのタイプを指定の開始位置を示す［ＬＯＧＴＹＰＥ］セクション（Ｈ５０１、Ｈ６０１）、ログの形式（Ｈ５０２、Ｈ６０２）、ログの区切り文字の種別（Ｈ５０３、Ｈ６０３）、以降のセクション名の有無（Ｈ５０４、Ｈ６０４）、読み出し開始位置（Ｈ５０５、Ｈ６０５）、エスケープの種別（Ｈ５０６、Ｈ６０６）、エスケープ開始文字指定（Ｈ６０７）、エスケープ終了文字指定（Ｈ６０８）を定義する。 In the normalization rule file, the [LOGTYPE] section (H501, H601) indicating the start position where the log type is designated, the log format (H502, H602), the log delimiter type (H503, H603), and the following The presence / absence of a section name (H504, H604), read start position (H505, H605), escape type (H506, H606), escape start character designation (H607), and escape end character designation (H608) are defined.
ここまでの定義について、以下にさらに詳細に説明する。
ログの形式Ｈ６０２には、ＫＥＹ，ＶＡＬＵＥ，ＥＶＥＮＴがある。
ＫＥＹは、ログのデータが、「KEY=値」の形式であることを示す。
ＶＡＬＵＥは、「値」が羅列された形式であることを示す。
ＥＶＥＮＴは、ＯＳなどが出力するイベント形式であることを示す。
これらの設定は、正規化するログの形式が異なる場合、その形式に合う定義を追加していくことができる。
The definition so far will be described in more detail below.
The log format H602 includes KEY, VALUE, and EVENT.
KEY indicates that the log data is in the format of “KEY = value”.
VALUE indicates that “value” is in an enumerated form.
EVENT indicates an event format output by the OS or the like.
For these settings, if the log format to be normalized is different, definitions that match the format can be added.
ログの区切り文字の種別Ｈ６０３には、ｓｐａｃｅ，ｃｏｍｍａ，ＣＲＬＦがある。
ｓｐａｃｅは、ログのデータが「“＿”（スペース）」で区切られていることを示す。ｃｏｍｍａは、ログのデータが「“,”（カンマ）」で区切られていることを示す。ＣＲＬＦは、ログのデータが「“CR+LF”（改行コード）」で区切られていることを示す。
Log delimiter types H603 include space, comma, and CRLF.
The space indicates that log data is delimited by “_” (space). comma indicates that log data is delimited by ““, ”(comma)”. CRLF indicates that log data is delimited by “CR + LF” (line feed code).
これらの設定は、正規化するログの形式が異なる場合、その形式に合う定義を追加していくことができる。 For these settings, if the log format to be normalized is different, definitions that match the format can be added.
以降のセクション名の有無Ｈ６０４には、０（行わない）,１（行う）がある。読み出し開始位置Ｈ６０５には、数値を指定する。０を指定した場合は、ログレコードの先頭から読み出しを行い、１が指定されている場合は、最初の区切り文字までを読み飛ばし、２つめのデータから読み出しを行う。同様にログレコードの先頭から指定されている数分の区切り文字分を読み飛ばすということを示す。 Subsequent section name presence / absence H604 includes 0 (not performed) and 1 (performed). A numerical value is designated as the read start position H605. When 0 is specified, reading is performed from the beginning of the log record. When 1 is specified, reading up to the first delimiter is skipped and reading is performed from the second data. Similarly, it indicates that the specified number of delimiters are skipped from the beginning of the log record.
エスケープの種別Ｈ６０６には、０（エスケープ文字を使用しない）,１（「”（ダブルコーテーション）」を使用する）,２（「”（ダブルコーテーション）」以外のエスケープ文字を使用する）がある。エスケープ種別に、「２」を指定した場合には、エスケープ開始文字指定Ｈ６０７でエスケープの開始文字を、エスケープ終了文字指定Ｈ６０８でエスケープの終了文字指定をする。例えば、図６では、エスケープの開始文字を［、終了文字を］と指定している。 The escape type H606 includes 0 (does not use escape characters), 1 (uses "" (double quotation) "), and 2 (uses escape characters other than" "(double quotation)"). When “2” is designated as the escape type, an escape start character is designated by the escape start character designation H607, and an escape end character is designated by the escape end character designation H608. For example, in FIG. 6, the escape start character is designated as [, and the end character as].
続けて、図５の［CALFHM 1.0］セクションのルール定義について説明する。
1=AuditLogID:-:seqnum:2
行の先頭は通番である。１から順に処理を行う。「AuditLogID」が、「-（必ず存在）」であり、KEY名称が「seqnum」の値を読み出して、図７に示す「AuditLogID（監査ログＩＤ：Ｔ７０１）」テーブルに格納することを意味し、この処理が終わると次に行う処理が２で始まる行に記述されていることを示す。
Next, the rule definition of the [CALFHM 1.0] section in FIG. 5 will be described.
1 = AuditLogID:-: seqnum: 2
The beginning of the line is a serial number. Processing is performed in order from 1. "AuditLogID" is "-(must exist)", meaning that the value of KEY name "seqnum" is read and stored in the "AuditLogID (audit log ID: T701)" table shown in FIG. When this processing ends, it indicates that the next processing to be performed is described in a line beginning with 2.
2=MessageID:-:msgid:3
２は１と同様の処理を行う。「MessageID」が「-（必ず存在）」であり、KEY名称が「msgid」の値を読み出して、図７に示す「MessageID（メッセージログＩＤ：Ｔ７０２）」テーブルに格納することを意味し、この処理が終わると次に行う処理が３で始まる行に記述されていることを示す。
2 = MessageID:-: msgid: 3
2 performs the same processing as 1. This means that “MessageID” is “-(must exist)” and the value of KEY name “msgid” is read out and stored in the “MessageID (message log ID: T702)” table shown in FIG. When the process is completed, it indicates that the process to be performed next is described in a line beginning with 3.
3=MessageDate:D:date:4
３は「MessageDate」が「D（日付け形式のデータ）」であり、KEY名称が「date」の値を読み出して、図７に示す「MessageDate（発生日時：Ｔ７０３）」テーブルに格納することを意味し、この処理が終わると次に行う処理が４で始まる行に記述されていることを示す。
3 = MessageDate: D: date: 4
3 indicates that “MessageDate” is “D (data in date format)”, the value of KEY name “date” is read out and stored in the “MessageDate (occurrence date: T703)” table shown in FIG. This means that when this process is completed, the next process is described in a line beginning with 4.
４、５、６では、同様にして、プログラム名（Ｔ７０４）、コンポーネント名（Ｔ７０５）、プロセスＩＤ（Ｔ７０６）をそれぞれ読み出してテーブルに格納する。 In 4, 5, and 6, similarly, the program name (T704), component name (T705), and process ID (T706) are read out and stored in the table.
7=PlaceInfo:S:”ocp:host,ocp:ipv4,ocp:ipv6”:8
７は、「PlaceInfo」が「S（いくつかの候補があるデータ）」であり、KEY名称が「ocp:host」、「ocp:ipv4」、「ocp:ipv6」のいずれかに該当する値を読み出して、図７に示す「PlaceInfo（発生場所：Ｔ７０７）」テーブルに格納することを意味し、この処理が終わると次に行う処理が８で始まる行に記述されていることを示す。
7 = PlaceInfo: S: ”ocp: host, ocp: ipv4, ocp: ipv6”: 8
7 is “PlaceInfo” is “S” (data with some candidates), and the KEY name is “ocp: host”, “ocp: ipv4”, or “ocp: ipv6”. This means that the data is read out and stored in the “PlaceInfo (occurrence location: T707)” table shown in FIG. 7. When this processing is completed, the next processing is described in a line starting with “8”.
８，９では、同様にして、監査事象（Ｔ７０８）、結果（Ｔ７０９）をそれぞれ読み出してテーブルに格納する。 Similarly, at 8 and 9, the audit event (T708) and the result (T709) are read out and stored in the table.
10=SubjectInfo:S:”subj:uid,subj:euid,subj:pid”:11
１０は、７と同様に「SubjectInfo」が「S（いくつかの候補があるデータ）」であり、KEY名称が「subj:uid」、「subj:euid」、「subj:pid」のいずれかに該当する値を読み出して、図７に示す「SubjectInfo（利用者情報：Ｔ７１０）」テーブルに格納することを意味し、この処理が終わると次に行う処理が１１で始まる行に記述されていることを示す。
10 = SubjectInfo: S: ”subj: uid, subj: euid, subj: pid”: 11
10 is “SubjectInfo” is “S (data with some candidates)” and KEY name is any of “subj: uid”, “subj: euid”, “subj: pid” This means that the corresponding value is read out and stored in the “SubjectInfo (user information: T710)” table shown in FIG. 7. When this processing is completed, the next processing is described in the line beginning with 11. Indicates.
11= PeculiarInfo:M:" obj,op,auth":0
１１は、「M（複数のKEY指定がある）」があり、KEY名称が「obj」、「op」、「auth」に該当する値を読み出して、図７に示す「Object（操作対象：Ｔ７１１）」、「Operation（操作内容：Ｔ７１２）」、「Authority（権限情報：Ｔ７１６）」テーブルに格納することを意味し、この処理が終わると次に行う処理は無い（この処理で終了する）ことを示す。
11 = PeculiarInfo: M: "obj, op, auth": 0
11 includes “M (multiple KEY designations)”, and the values corresponding to the KEY names “obj”, “op”, and “auth” are read out, and “Object (operation target: T711) illustrated in FIG. ) ”,“ Operation (operation content: T712) ”, and“ Authority (authority information: T716) ”table, and when this processing ends, there is no next processing (ends in this processing). Indicates.
同様に、図６の［A001］セクションのルール定義について説明する。
1=AuditLogID:*:0:2
行の先頭は通番である。１から順に処理を行う。「AuditLogID」が、「*（固定値）」であり、0を図７に示す「AuditLogID（監査ログＩＤ：Ｔ７０１）」テーブルに格納することを意味し、この処理が終わると次に行う処理が２で始まる行に記述されていることを示す。
Similarly, the rule definition of the [A001] section in FIG. 6 will be described.
1 = AuditLogID: *: 0: 2
The beginning of the line is a serial number. Processing is performed in order from 1. “AuditLogID” is “* (fixed value)”, which means that 0 is stored in the “AuditLogID (audit log ID: T701)” table shown in FIG. 7. Indicates that it is described in a line beginning with 2.
2=CHECK:J:4:”:”:3:4
２は、「J（判定）」することを示す。図６では区切り文字がスペースであるので、スペースで区切られた４つめの値に「：（コロン）」が存在する場合（真）、次に行う処理が３で始まる行に記述されていることを示し、「：（コロン）」が存在しない場合（偽）、次に行う処理が４で始まる行に記述されていることを示す。
2 = CHECK: J: 4: ”:”: 3: 4
2 indicates “J (determination)”. In FIG. 6, since the delimiter is a space, if “: (colon)” exists in the fourth value delimited by a space (true), the next process to be performed is described in a line beginning with 3. When “: (colon)” does not exist (false), it indicates that the process to be performed next is described in a line beginning with “4”.
3=MessageDate:D:2,3,4:5
4=MessageDate:D:2,3:6
３は、「MessageDate」が「D（日付け形式のデータ）」であり、スペースで区切られた２つめの値、３つめの値、４つめの値が日付データであることを示している。この場合、「MMM DD hh:mm:ss」（MMMは、Jan等３文字の英語の月表記）の値を読み出して、データ変換を行い（本発明では、YYYY-MM-DDThh:mm:ss.sssTZD形式に変換）、図７に示す「MessageDate（発生日時：Ｔ７０３）」テーブルに格納することを意味し、この処理が終わると次に行う処理が５で始まる行に記述されていることを示す。
3 = MessageDate:
4 = MessageDate:
3 indicates that “MessageDate” is “D (date-format data)”, and the second value, the third value, and the fourth value separated by a space are date data. In this case, the value of “MMM DD hh: mm: ss” (MMM is the three-letter English month such as Jan) is read and data conversion is performed (in the present invention, YYYY-MM-DDThh: mm: ss .sssTZD format), which means that it is stored in the “MessageDate (occurrence date: T703)” table shown in FIG. 7. When this processing is completed, the next processing is described in the line beginning with 5. Show.
４は、「MessageDate」が「D（日付け形式のデータ）」であり、スペースで区切られた２つめの値、３つめの値が日付データであることを示している。この場合、「YYYY/MM/DD hh:mm:ss」の値を読み出して、データ変換を行い（本発明では、YYYY-MM-DDThh:mm:ss.sssTZD形式に変換）、図７に示す「MessageDate（発生日時：Ｔ７０３）」テーブルに格納することを意味し、この処理が終わると次に行う処理が６で始まる行に記述されていることを示す。 4 indicates that “MessageDate” is “D (date-format data)”, and the second value and the third value separated by a space are date data. In this case, the value “YYYY / MM / DD hh: mm: ss” is read and data conversion is performed (in the present invention, conversion is made to YYYY-MM-DDThh: mm: ss.sssTZD format), as shown in FIG. This means that the message is stored in the “MessageDate (date and time of occurrence: T703)” table. When this process ends, it indicates that the process to be performed next is described in the line beginning with “6”.
5=CHECK:J:5:KAVS:7:8
7=ProcessID:*:-1:11
8=ProcessID:-:5:12
５は、「J（判定）」することを示す。スペースで区切られた５つめの値に「KAVS」が存在する場合（真）、次に行う処理が７で始まる行に記述されていることを示し、７では、「*（固定値）」、-1を図７に示す「ProcessID（プロセスＩＤ：Ｔ７０６）」テーブルに格納、「KAVS」が存在しない場合（偽）、次に行う処理が８で始まる行に記述されていることを示し、８では、「-（必ず存在）」する５つめの値を「ProcessID（プロセスＩＤ：Ｔ７０６）」テーブルに格納することを意味し、この処理が終わると次に行う処理が１２で始まる行に記述されていることを示す。
5 = CHECK: J: 5: KAVS: 7: 8
7 = ProcessID: *:-1:11
8 = ProcessID:-: 5:12
5 indicates “J (determination)”. If “KAVS” exists in the fifth value separated by a space (true), this indicates that the next processing is described in the line beginning with 7. In “7”, “* (fixed value)”, -1 is stored in the “ProcessID (process ID: T706)” table shown in FIG. 7. If “KAVS” does not exist (false), it indicates that the next process to be performed is described in the line beginning with “8”. This means that the fifth value “-(must exist)” is stored in the “ProcessID (process ID: T706)” table, and when this processing is finished, the next processing is described in the line starting with 12. Indicates that
12=MessageID:-:6:15
１２は、「MessageID」が「-（必ず存在）」する６つめの値を「MessageID（プロセスＩＤ：Ｔ７０２）」テーブルに格納することを意味し、この処理が終わると次に行う処理が１５で始まる行に記述されていることを示す。
12 = MessageID:-: 6:15
12 means that the sixth value “MessageID” is “-(always present)” is stored in the “MessageID (process ID: T702)” table. Indicates that it is described in the starting line.
15=PeculiarInfo:*:obj=,op=:18
１５は、「*（固有値）」を図７に示す「Object（操作対象：Ｔ７１１）」、「Operation（操作内容：Ｔ７１２）」テーブルに格納することを意味し、この処理が終わると次に行う処理が１８で始まる行に記述されていることを示す。
15 = PeculiarInfo: *: obj =, op =: 18
15 indicates that “* (unique value)” is stored in the “Object (operation object: T711)” and “Operation (operation content: T712)” table shown in FIG. Indicates that the process is described in a line beginning with 18.
18=PeculiarInfo:A:auth=:7:21
１８は、「A（加工）」することを示す。「auth=」に、スペースで区切られた７つめの値を付加して、図７に示す「Authority（権限情報：Ｔ７１６）」テーブルに格納することを意味し、この処理が終わると次に行う処理が２１で始まる行に記述されていることを示す。
18 = PeculiarInfo: A: auth =: 7: 21
21=PeculiarInfo:N:8:23
２１は、「N（すべて転記）」することを示す。スペースで区切られた８つめ以降の値をすべて、「Message（メッセージ：Ｔ７２４）」テーブルに格納することを意味し、この処理が終わると次に行う処理が２３で始まる行に記述されていることを示す。２３、２４では同様にして、「*（固定値）」Program2を「プログラム名（Ｔ７０４）」、””を「コンポーネント名（Ｔ７０５）」テーブルに格納する。
21 = PeculiarInfo: N: 8: 23
21 indicates “N (all transcription)”. This means that all the values after the eighth separated by a space are stored in the “Message (message: T724)” table, and when this processing ends, the next processing to be performed is described in the line beginning with 23. Indicates. 23 and 24 store “* (fixed value)” Program2 in the “program name (T704)” and “” in the “component name (T705)” table.
25=PlaceInfo:H:26
２５は、イベントサーバ名称を「PlaceInfo（発生場所：Ｔ７０７）」テーブルに格納することを意味し、この処理が終わると次に行う処理が２６で始まる行に記述されていることを示す。２６、２７、２８では同様にして、「*（固定値）」StartStopを「監査事象（Ｔ７０８）」、Successを「結果（Ｔ７０９）」””を「コンポーネント名（Ｔ７０５）」テーブルに格納する。
25 = PlaceInfo: H: 26
25 indicates that the event server name is stored in the “PlaceInfo (occurrence location: T707)” table. When this process is completed, the next process is described in the line starting with 26. Similarly, in 26, 27 and 28, “* (fixed value)” StartStop is stored in the “audit event (T708)” and Success is stored in the “result (T709)” “” in the “component name (T705)” table.
この処理が終わると次に行う処理は無い（この処理で終了する）ことを示す。説明を省略した処理についても同様にして処理を行う。 When this processing is completed, it indicates that there is no next processing to be performed (ends in this processing). The same processing is performed for processing that is not described.
図７は、監査ログ格納データベースのテーブル構造を示す。図５、図６の説明で引用したように、正規化ルールに従って、収集したログデータから必要な情報を切り出した後、このデータベースの該当テーブルに値を格納する。 FIG. 7 shows the table structure of the audit log storage database. As quoted in the description of FIG. 5 and FIG. 6, after extracting necessary information from the collected log data in accordance with the normalization rule, the value is stored in the corresponding table of this database.
監査ログ格納データベースのテーブルは、監査ログＩＤ（Ｔ７０１）、メッセージＩＤ（Ｔ７０２）、発生日時（Ｔ７０３）、プログラム名（Ｔ７０４）、コンポーネント名（Ｔ７０５）、プロセスＩＤ（Ｔ７０６）、発生場所（Ｔ７０７）、監査事象（Ｔ７０８）、結果（Ｔ７０９）、利用者情報（Ｔ７１０）、操作対象（Ｔ７１１）、操作内容（Ｔ７１２）、ロケーション情報（Ｔ７１３）、変更前情報（Ｔ７１４）、変更後情報（Ｔ７１５）、権限情報（Ｔ７１６）、サービスインスタンス名（Ｔ７１７）、リクエスト沿おう受信ホスト（Ｔ７１８）、リクエスト送受信ポート（Ｔ７１９）、一括操作識別子（Ｔ７２０）、ログ種別情報（Ｔ７２１）、出力元の場所（Ｔ７２２）、エージェント情報（Ｔ７２３）、メッセージ（Ｔ７２４）で構成される。 The audit log storage database table includes an audit log ID (T701), a message ID (T702), an occurrence date (T703), a program name (T704), a component name (T705), a process ID (T706), and an occurrence location (T707). Audit event (T708), result (T709), user information (T710), operation target (T711), operation content (T712), location information (T713), pre-change information (T714), post-change information (T715) , Authority information (T716), service instance name (T717), request receiving host (T718), request transmission / reception port (T719), batch operation identifier (T720), log type information (T721), output source location (T722) ), Agent information (T723), message (T72) ) It consists of.
図８は、ログ収集サーバ側で表示する監査ログの収集設定参照画面例である。「追加」ボタンを押すと図９に示すような入力ダイヤログにより、監査ログを収集対象とするマシン（イベントサーバ名）やプログラム名を指定できる。 FIG. 8 is an example of an audit log collection setting reference screen displayed on the log collection server side. When the “Add” button is pressed, a machine (event server name) and program name for which audit logs are collected can be specified by an input dialog as shown in FIG.
プログラム名を指定すると、製品定義ファイルからログファイルの名称を読み込むことができる。さらに、指定されたイベントサーバと通信を行い、イベントサーバ側のログファイル格納先を検索し、該当ファイルが見つかった場合に、そのログファイルのログファイル格納先フォルダ名（フルパス情報）を自動的に指定できる。このようにして複数のマシンの複数のログファイルを収集対象として設定した結果を図８のように確認することができる。 When the program name is specified, the log file name can be read from the product definition file. In addition, it communicates with the specified event server, searches the log file storage location on the event server side, and if the corresponding file is found, the log file storage folder name (full path information) of that log file is automatically specified. Can be specified. The result of setting a plurality of log files of a plurality of machines as collection targets in this way can be confirmed as shown in FIG.
図１０および図１１は、図８、図９に関連したログ管理サーバおよびログ収集対象マシン（イベントサーバ）の内部処理を説明するシーケンス図である。 10 and 11 are sequence diagrams for explaining internal processing of the log management server and the log collection target machine (event server) related to FIGS. 8 and 9.
ログ管理サーバでグラフィカルユーザインタフェース（ＧＵＩ）を起動し（Ｓ１００１）、図９に示すような設定画面を表示する（Ｓ１００２）。入力を受け付けて（Ｓ１００３）、イベントサーバ名の入力がない場合（Ｓ１００４−ＮＯ）、入力受付状態に戻る。 A graphical user interface (GUI) is activated on the log management server (S1001), and a setting screen as shown in FIG. 9 is displayed (S1002). The input is accepted (S1003), and if there is no input of the event server name (S1004-NO), the process returns to the input acceptance state.
イベントサーバ名が入力されると（Ｓ１００４−ＹＥＳ）、プログラム名の入力がない場合（Ｓ１００５−ＮＯ）、入力受付状態に戻る。プログラム名が入力されていれば（Ｓ１００５−ＹＥＳ）、製品定義ファイルから定義されているログファイル名を読み込む（Ｓ１００６）。イベントサーバ名に指定されたログ収集対象マシンに対してコネクションを開始（Ｓ１００７）する。 When the event server name is input (S1004-YES), if no program name is input (S1005-NO), the process returns to the input acceptance state. If the program name has been input (S1005-YES), the log file name defined from the product definition file is read (S1006). A connection is started to the log collection target machine specified in the event server name (S1007).
ログ収集対象マシンは、待機状態（Ｓ１００８）であり、ログ管理サーバからの接続要求を受け付け（Ｓ１００９）、ＯＳ情報を取得（Ｓ１０１０）し、ＯＳ情報と自身の製品バージョン情報を収集管理サーバへ送信する（Ｓ１０１１）。 The log collection target machine is in a standby state (S1008), accepts a connection request from the log management server (S1009), acquires OS information (S1010), and sends the OS information and its own product version information to the collection management server. (S1011).
ログ管理サーバは、受信したＯＳ情報と製品バージョン情報をチェック（Ｓ１０１２）する。これは、ＯＳの違いにより収集するファイル名が異なる場合があることや、バージョンによって定義ファイルの形式が異なることを想定した処理を行うためであり、ログ管理サーバは、ログ収集対象マシンのＯＳや製品バージョンに対応する収集ログファイル名を送信（Ｓ１１０１）する。 The log management server checks the received OS information and product version information (S1012). This is to perform processing assuming that the file name to be collected may differ depending on the OS, and that the format of the definition file differs depending on the version. The collection log file name corresponding to the product version is transmitted (S1101).
ログ収集対象マシンは、収集ログファイル名を受信し、ログファイルを検索（Ｓ１１０２）する。ログファイルが存在しない場合（Ｓ１１０３−ＮＯ）、ログ管理サーバにエラーを返し、ログ管理サーバは、エラーメッセージを表示（Ｓ１１０４）して処理を終了（Ｓ１１０５）する。ログファイルが存在する場合（Ｓ１１０３−ＹＥＳ）、全てのファイルが検索できるまでループ（Ｓ１１０６−ＮＯ）する。全てのログファイルについて、ログファイルの存在が確認できた場合（Ｓ１１０６−ＹＥＳ）、検索した全てのログファイルの情報をログ管理サーバに送信する（Ｓ１１０７）。 The log collection target machine receives the collected log file name and searches the log file (S1102). If the log file does not exist (S1103-NO), an error is returned to the log management server, and the log management server displays an error message (S1104) and ends the processing (S1105). If the log file exists (S1103-YES), the process loops (S1106-NO) until all files can be searched. If the presence of log files can be confirmed for all log files (S1106: YES), information on all searched log files is transmitted to the log management server (S1107).
ログ管理サーバ１００は、ログファイルの情報を受信して、動作定義ファイル１０７を生成（Ｓ１１０８）し、監査定義ファイル１０８を生成（Ｓ１１０９）し、作成した定義ファイルをログ収集対象サーバ２００に送信する（Ｓ１１１０）。
The
ログ収集対象サーバ２００は、定義ファイルを受信し、動作定義ファイル２０５を生成（Ｓ１１１１）し、ログ収集部２０８を起動して起動順序定義ファイル２０４を更新（Ｓ１１１２）し、処理完了通知をログ管理サーバ１００に送信（Ｓ１１１３）して、待機する（Ｓ１１１４）。
The log
ログ管理サーバ１００は、完了通知を受信して完了メッセージを表示（Ｓ１１１５）し、処理を終了する（Ｓ１１１６）。
The
ここで、起動順序定義ファイル２０４とは、プログラムやログ収集部などの部品を起動する順序を定義してあるファイルであり、ＯＳが起動時に起動順序定義ファイル２０４に定義した順番にプログラムを起動するための定義である。
Here, the activation
図１２は、収集対象ログ取得時のログ収集対象マシン２００の内部処理を示すシーケンス図である。起動順序定義２０４によりＯＳ起動時にログ収集に必要なプログラムを順番どおりに起動（Ｓ１２０１）する。製品毎に起動されたログ収集部２０８は、関連する製品の動作定義ファイル２０５を読み込み（Ｓ１２０２）、その製品が出力するログファイルを監視する（Ｓ１２０３）。監視対象に指定されているログが出力されるまでループし（Ｓ１２０４−ＮＯ）、監視対象に指定されているログが出力される（Ｓ１２０４−ＹＥＳ）と該当ログデータを取得（Ｓ１２０５）し、ログ収集制御部２０９へ受け渡す。
FIG. 12 is a sequence diagram showing internal processing of the log
ログ収集制御部２０９は、複数のログ収集部２０８から取得したログデータを取得順に採番して、転送データ格納部２１０へ格納する（Ｓ１２０６）。これらの処理は、マシンが停止するまで繰り返し行う。
The log
図１３は、ログ管理サーバ１００がログを収集する時のログ管理サーバ１００およびログ収集対象マシン２００の内部処理を示すシーケンス図である。
FIG. 13 is a sequence diagram showing internal processing of the
定期的にログを収集する方法では、設定時刻になるまで待機（Ｓ１３０１）および（Ｓ１３０２−ＮＯ）し、設定時刻になると（Ｓ１３０２−ＹＥＳ）、前回取得したログデータから次に読み込むべきログの開始位置を読み込み（Ｓ１３０３）、ログ収集対象マシン２００に対して、ログデータの送信要求を送信する（Ｓ１３０４）。 In the method of periodically collecting logs, the system waits (S1301) and (S1302-NO) until the set time is reached, and when the set time is reached (S1302-YES), starts the next log to be read from the previously acquired log data The position is read (S1303), and a log data transmission request is transmitted to the log collection target machine 200 (S1304).
ログ収集対象サーバ２００は、ログの開始位置を受信して、転送データ格納部から今回送信するデータを抽出し（Ｓ１３０６）、ログデータを送信（Ｓ１３０７）して待機状態に戻る（Ｓ１３０８）。
The log
ログ管理サーバ１００は、ログデータを受信（Ｓ１３０９）し、受信したログデータを正規化ルールに従って必要な情報を切り出してデータベースに登録する（Ｓ１３１０）。
The
受信したログデータの全ての処理が終わるまでループ（Ｓ１３１１−ＮＯ）し、最終エントリの処理が完了すると（Ｓ１３１１−ＹＥＳ）、待機状態に戻る（Ｓ１３１２）。 A loop is performed until all processing of the received log data is completed (S1311-NO), and when processing of the last entry is completed (S1311-YES), the process returns to a standby state (S1312).
ここでは、定時イベント時の処理について説明したが、時間とは無関係の何らかの事象発生時にログの収集処理を実行するように構成することもできる。例えば、ログ収集対象マシン２００の転送データ格納部２１０の容量に対して、想定出力ログの量や頻度よりも実際に出力されるログが多いといった場合など、ログ収集対象マシン２００から、転送データ格納部２１０の空き容量が予め指定された値を下回ったあるいは上回ったといったイベント情報をログ管理サーバ１００に送信し、そのイベントを受け付けてログ収集処理を実行するといった構成にすることもできる。
Here, the process at the time of the scheduled event has been described, but it is also possible to configure the log collection process to be executed when some event that is unrelated to time occurs. For example, transfer data storage from the log
これまでに説明した本発明の実施例によれば、リモートでのログ収集の定義設定を容易に実現するとともに、出力様式の異なるログをデータベースで一元管理することが可能になる。 According to the embodiments of the present invention described so far, it is possible to easily implement remote log collection definition settings, and to centrally manage logs with different output formats in a database.
１００：ログ管理サーバ
１０３：監査ログ格納ＤＢ
１０６：製品定義ファイル
１０７：動作定義ファイル
１０８：監査定義ファイル
１１２：正規化ルールファイル
２００：ログ収集対象マシン
２０５：動作定義ファイル
100: Log management server 103: Audit log storage DB
106: Product definition file 107: Action definition file 108: Audit definition file 112: Normalization rule file 200: Log collection target machine 205: Action definition file
Claims (3)
ログを出力するマシンの情報とログを出力する製品の情報を受け付け、
前記製品の情報から取得するログファイル名を特定し、
ログを出力するマシンに前記ログファイル名を送信し、
ログを出力するマシンから、前記ログファイルのパス情報を受信し、
受信したパス情報により、ログの収集設定を行うことを特徴とするログの収集管理方法。 A log collection and management method using a network from a machine that outputs logs,
Accepts information about the machine that outputs the log and information about the product that outputs the log,
Specify the log file name to be acquired from the product information,
Send the log file name to the machine that outputs the log,
Receive the log file path information from the log output machine,
A log collection management method, characterized in that log collection setting is performed based on received path information.
前記ログの収集設定に収集するログを取捨選択するための定義を追加し、ログを出力するマシンに送信し、
ログを出力するマシンで前記設定にしたがって取得するログを取捨選択し、
取得したログのみを収集することを特徴とするログの収集管理方法。 The log collection and management method according to claim 1,
Add a definition to select the log to be collected in the log collection settings, send it to the machine that outputs the log,
Select the log to be acquired according to the above settings on the machine that outputs the log,
A log collection management method characterized by collecting only acquired logs.
収集したログから必要なデータを切り出すためのルールに従って、
収集したログデータから、必要なデータのみを切り出してデータベースに格納することを特徴とするログの収集管理方法。 The log collection and management method according to claim 2,
Follow the rules for extracting the necessary data from the collected logs,
A log collection and management method, wherein only necessary data is cut out from collected log data and stored in a database.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007034241A JP2008198039A (en) | 2007-02-15 | 2007-02-15 | Log collection and management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007034241A JP2008198039A (en) | 2007-02-15 | 2007-02-15 | Log collection and management method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008198039A true JP2008198039A (en) | 2008-08-28 |
Family
ID=39756906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007034241A Pending JP2008198039A (en) | 2007-02-15 | 2007-02-15 | Log collection and management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008198039A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010231709A (en) * | 2009-03-30 | 2010-10-14 | Alps System Integration Co Ltd | Log integration management system |
| CN104714878A (en) * | 2013-12-11 | 2015-06-17 | 阿里巴巴集团控股有限公司 | Method and device for collecting log data |
| JP2016066323A (en) * | 2014-09-26 | 2016-04-28 | 三菱電機株式会社 | Data collection device |
| JP2018025965A (en) * | 2016-08-10 | 2018-02-15 | 理想科学工業株式会社 | Information management device |
-
2007
- 2007-02-15 JP JP2007034241A patent/JP2008198039A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010231709A (en) * | 2009-03-30 | 2010-10-14 | Alps System Integration Co Ltd | Log integration management system |
| CN104714878A (en) * | 2013-12-11 | 2015-06-17 | 阿里巴巴集团控股有限公司 | Method and device for collecting log data |
| JP2016066323A (en) * | 2014-09-26 | 2016-04-28 | 三菱電機株式会社 | Data collection device |
| JP2018025965A (en) * | 2016-08-10 | 2018-02-15 | 理想科学工業株式会社 | Information management device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100429613C (en) | Print control program, method of controlling printing apparatus and print control unit | |
| JP5489619B2 (en) | Information processing apparatus and method | |
| JP5105855B2 (en) | Information processing apparatus, control method therefor, and computer program | |
| JP5460215B2 (en) | Information processing apparatus and method | |
| JP5455527B2 (en) | Image forming apparatus, method for controlling the apparatus, and control program | |
| JP5197287B2 (en) | Management apparatus, image forming apparatus, service processing method, and program | |
| JP2006099362A (en) | Setting data transmission program, setting data transmission device, and setting data transmission system | |
| JP2003256258A (en) | Information processor | |
| JP6937703B2 (en) | Configuration change management device, configuration change management method, and program | |
| EP1669871B1 (en) | Method, apparatus and a corresponding computer readable medium for transmitting setting data | |
| JP2008198039A (en) | Log collection and management method | |
| CN100450013C (en) | Method for storing configuration data of communication equipment | |
| JP5355032B2 (en) | Client device, server device, and document management system, document management method, and document management program using them | |
| JP7374752B2 (en) | Server system that determines files to be printed, server system control method, and program | |
| JP5677556B2 (en) | Information processing apparatus and method | |
| EP1764949A1 (en) | Management of network device based on operation history | |
| JP4584631B2 (en) | Information processing apparatus configuration design support method, apparatus, system, and program | |
| US8887179B2 (en) | Command presentation and generation systems, methods and computer program products using logical trees | |
| JP5847855B2 (en) | Image forming apparatus, method of controlling the apparatus, and control program | |
| JP6905111B2 (en) | Systems including management devices and information processing devices, information processing devices, their control methods, and programs | |
| JP5917240B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2011023868A (en) | Device and program for transmitting image information | |
| WO2019193810A1 (en) | Analysis sequence control system and analysis sequence control method | |
| JP5777363B2 (en) | Data communication system and control method thereof | |
| JP5769548B2 (en) | Information processing apparatus, information processing method, and program |