KR20120003567A - Log management system, log processing method of the same of and recording medium storing the log processing method of the same of - Google Patents
Log management system, log processing method of the same of and recording medium storing the log processing method of the same of Download PDFInfo
- Publication number
- KR20120003567A KR20120003567A KR1020100064241A KR20100064241A KR20120003567A KR 20120003567 A KR20120003567 A KR 20120003567A KR 1020100064241 A KR1020100064241 A KR 1020100064241A KR 20100064241 A KR20100064241 A KR 20100064241A KR 20120003567 A KR20120003567 A KR 20120003567A
- Authority
- KR
- South Korea
- Prior art keywords
- log
- column
- raw
- definition
- file
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
본 발명은 로그 관리 시스템에 관한 것으로서, 더욱 상세하게는 시간 및 인적 자원을 절감할 수 있도록 하는 로그 관리 시스템과 이의 로그 처리방법 및 이의 로그 처리방법을 저장하는 기록 매체에 관한 것이다.The present invention relates to a log management system, and more particularly, to a log management system that can save time and human resources, a log processing method thereof, and a recording medium for storing the log processing method thereof.
통합 정보 처리 시스템에 저장된 보안이 요구되는 정보를 담은 파일이 악의적 의도를 가진 내부 관계자에 의해 외부로 유출되어 사회적 문제로 부각되고 있다. 대표적인 예로는, 신용카드사 직원에 의한 고객정보 유출, 광고대행사에 의한 연예인 사생활 정보의 유출, 은행직원에 의한 고객 계좌정보 유출 등을 들 수 있다.Files containing security-required information stored in integrated information processing systems have been leaked to the outside by malicious parties and are emerging as social problems. Representative examples include leakage of customer information by employees of credit card companies, leakage of celebrity privacy information by advertising agencies, and leakage of customer account information by bank employees.
정보 통신 기술이 급속도로 발전함에 따라, 많은 사람들은 회사 내에서 업무를 하면서 메신저, 메일 프로그램 등을 이용하여 자료를 주고받는 데 익숙해져 있다. 위와 같은 프로그램들이 통합 정보 처리 시스템에 저장된 파일을 불법 유출하는 도구로 활용될 수 있다. As information and communication technology develops rapidly, many people are accustomed to exchanging data using messengers, mail programs, etc. while working within the company. Such programs can be used as a tool to illegally leak files stored in the integrated information processing system.
파일의 불법유출 등의 문제를 대비하기 위해, 통합 정보 처리 시스템에는 통합 정보 처리 시스템의 운용 및 관리(OS, H/W) 상의 모든 내역을 기록하는 원시 로그 저장 서버가 마련된다. 그리고 파일의 불법유출 등의 문제가 발생한 경우 관리자는 원시 로그 저장 서버에 저장된 원시 로그들이 수 작업하여 유출된 파일 및 불법 파일 유출자를 검색하여 사고원인을 규명하는 분석을 하고 있다.In order to prepare for problems such as illegal leakage of files, the integrated information processing system is provided with a raw log storage server that records all the details of operation and management (OS, H / W) of the integrated information processing system. And when a problem such as illegal file leakage occurs, the administrator analyzes the leaked files and illegal file leakers by manually storing the raw logs stored in the raw log storage server and analyzes the cause of the accident.
그런데, 이러한 종래의 불법 파일 유출자를 검색하는 등의 사고원인 규명하는 분석방법은 시간적 및 인적 자원이 많이 요구되는 문제가 있다. 다시 말하면, 로그 저장 서버에 저장되는 로그는 로그를 출력하는 시스템의 제조사에 따라 로그 포맷이 다양하여 이를 분류 등 분석하는 데에 많은 시간적 자원이 요구된다. 그리고 로그 분석을 사람이 직접 수행하여 로그를 분석하는 데에 많은 인적 자원이 요구된다. By the way, the conventional analysis method for identifying the cause of the accident, such as searching for illegal file leakers has a problem that requires a lot of time and human resources. In other words, the log stored in the log storage server has a variety of log formats according to the manufacturer of the system that outputs the log, so a large amount of time is required to analyze the data. In addition, many human resources are required for log analysis by humans.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 시간 및 인적 자원을 절감할 수 있는 로그 관리 시스템을 제공하는 것이다.Therefore, the first problem to be solved by the present invention is to provide a log management system that can save time and human resources.
또한, 본 발명이 해결하고자 하는 두 번째 과제는 시간 및 인적 자원을 절감할 수 있는 로그 관리 시스템의 로그 처리방법을 제공하는 것이다.In addition, a second problem to be solved by the present invention is to provide a log processing method of a log management system that can save time and human resources.
또한, 본 발명이 해결하고자 하는 세 번째 과제는 시간 및 인적 자원을 절감할 수 있는 로그 관리 시스템의 로그 처리방법을 저장한 기록 매체를 제공하는 것이다. In addition, a third problem to be solved by the present invention is to provide a recording medium storing a log processing method of a log management system that can save time and human resources.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 컴퓨터 시스템의 원시 로그를 수집하는 원시 로그 수집 시스템; 처리된 로그를 저장하는 로그 저장 데이터 베이스; 상기 원시 로그가 수집되는지를 판단하고, 상기 원시 로그가 수집되는 것으로 판단되면 입력된 이벤트 ID 테이블과 입력된 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 상기 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성하고, 생성된 상기 로그 정의 파일을 이용하여 로그 정의 XML 파일을 생성하고, 상기 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 상기 로그 저장 데이터 베이스에 저장하고, 상기 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 상기 파싱 코드를 이용하여 원시 로그 수집 시스템에 의해 수집된 상기 원시 로그를 파싱하여 상기 데이터베이스 테이블에 입력하는 제어부를 포함하는 로그 관리 시스템을 제공한다.The present invention to achieve the first object, the raw log collection system for collecting the raw log of the computer system; A log storage database for storing processed logs; It is determined whether the raw log is collected, and if it is determined that the raw log is collected, a log is obtained by obtaining an input event ID table, an input description format table, a format table for a predetermined item, and a log sample which is part of the raw log. Create a definition file, generate a log definition XML file using the generated log definition file, create a database table using the log definition XML file and store it in the log storage database, the log definition XML file It generates a parsing code by using, and provides a log management system including a control unit for parsing the raw log collected by the raw log collection system using the parsing code and input to the database table.
본 발명의 일실시예에 따르면, 상기 제어부는 상기 로그 샘플을 각각의 컬럼으로 구분하여 상기 각각의 컬럼에 각각의 컬럼 아이디를 부여하고, 상기 이벤트 ID 테이블과 상기 설명 포맷 테이블 및 미리 정해진 항목들에 대한 포맷 테이블을 읽어 들여 상기 각각의 컬럼에 상기 테이블 각각을 매칭하고, 상기 각각의 컬럼에 상기 매칭된 각각의 테이블의 항목명 및 상기 항목명에 대응하는 컬럼명을 부여하고, 상기 각각의 컬럼의 컬럼길이와 컬럼타입을 파악하여 상기 각각의 컬럼에 파악된 상기 컬럼길이와 상기 컬럼타입을 부여하고, 상기 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용이 부여된 각각의 컬럼을 저장하고, 상기 저장된 각각의 컬럼을 상기 컬럼 아이디, 상기 항목명, 상기 컬럼타입, 상기 컬럼길이 및 상기 컬럼명의 내용으로 테이블화하여 상기 로그 정의 파일을 생성한다.According to an embodiment of the present invention, the control unit divides the log sample into respective columns, assigns each column ID to each column, and assigns each column ID to the event ID table, the description format table, and predetermined items. Reads a format table for each column, matches each of the tables to each column, gives each column an item name of each matched table and a column name corresponding to the item name, and column length of each column. And identifying the column type and assigning the column length and the column type identified to each column, and storing each column to which the column ID, the item name, the column type, the column length, and the contents of the column name are given. Each column stored in the column ID, the item name, the column type, the column length and the content of the column name Create the log definition file by making a table.
또한, 상기 제어부는 상기 로그 정의 파일의 각각의 라인을 읽어 들여 로그 정의 XML들을 생성하고, 생성된 상기 로그 정의 XML들을 이용하여 상기 로그 정의 XML 파일을 생성한다.The control unit reads each line of the log definition file to generate log definition XMLs, and generates the log definition XML file using the generated log definition XMLs.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 원시 로그가 수집되는 지를 판단하는 단계; 상기 원시 로그가 수집되는 것으로 판단되면 입력된 이벤트 ID 테이블과 입력된 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 수집된 상기 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성하는 단계; 상기 로그 정의 파일을 이용하여 로그 정의 XML 파일을 생성하는 단계; 상기 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 로그 저장 데이터 베이스에 저장하는 단계; 및 상기 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 상기 파싱 코드를 이용하여 원시 로그 수집 시스템에 저장된 원시 로그를 파싱하여 상기 데이터베이스 테이블에 입력하는 단계를 포함하는 로그 관리 시스템의 로그 처리방법을 제공한다.The present invention comprises the steps of determining whether the raw log is collected to achieve the second object; Generating a log definition file by obtaining an input event ID table, an input description format table, a format table for a predetermined item, and a log sample which is a part of the collected raw log when the raw log is determined to be collected; Generating a log definition XML file using the log definition file; Generating a database table using the log definition XML file and storing the database table in a log storage database; And generating a parsing code using the log definition XML file, and parsing the raw log stored in the raw log collection system using the parsing code and inputting the raw log into the database table. to provide.
본 발명의 일실시예에 따르면, 상기 로그 정의 파일을 생성하는 단계는, 상기 로그 샘플을 각각의 컬럼으로 구분하는 단계; 상기 각각의 컬럼에 컬럼 아이디를 부여하는 단계; 상기 각각의 컬럼에 상기 입력된 이벤트 ID 테이블과 상기 입력된 설명 포맷 테이블과 상기 미리 정해진 항목에 대한 포맷 테이블들을 매칭하는 단계; 상기 각각의 컬럼에 상기 매칭된 테이블의 항목명 및 상기 항목명에 대응하는 컬럼명을 부여하는 단계; 상기 각각의 컬럼의 컬럼길이와 컬럼타입을 파악하여 상기 각각의 컬럼에 파악된 상기 컬럼길이와 상기 컬럼타입을 부여하는 단계; 상기 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명이 부여된 각각의 컬럼을 저장하는 단계; 및 상기 저장된 각각의 컬럼을 상기 컬럼 아이디, 상기 항목명, 상기 컬럼타입, 상기 컬럼길이 및 상기 컬럼명을 내용으로 테이블화 하는 단계를 포함한다.According to an embodiment of the present invention, the generating of the log definition file may include: dividing the log sample into respective columns; Assigning a column ID to each column; Matching the input event ID table, the input description format table, and format tables for the predetermined item to each column; Assigning each column an item name of the matched table and a column name corresponding to the item name; Identifying the column length and column type of each column and assigning the identified column length and column type to each column; Storing each column to which the column ID, item name, column type, column length, and column name are assigned; And table each of the stored columns with the column ID, the item name, the column type, the column length, and the column name.
또한, 상기 로그 정의 XML 파일을 생성하는 단계는, 상기 로그 정의 파일의 라인들 순차적으로 읽어 들여 로그 정의 XML들을 생성하여 저장하고, 상기 저장된 로그 정의 XML들로 로그 정의 XML 파일을 생성한다.The generating of the log definition XML file may include sequentially reading the lines of the log definition file, generating and storing log definition XMLs, and generating a log definition XML file using the stored log definition XMLs.
본 발명은 상기 세 번째 과제를 달성하기 위하여, 상기 로그 관리 시스템의 로그 처리방법을 저장하는 기록 매체를 제공한다. The present invention provides a recording medium for storing the log processing method of the log management system in order to achieve the third object.
본 발명에 따르면, 로그 관리 시스템이 자동으로 다양한 로그 포맷에 따른 원시 로그들을 XML(extensible markup language)형태로 로그 저장 데이터 베이스에 저장함으로써, 불법 파일 유출자를 검색하는 등의 사고원인 규명하는 분석하는 데에 요구되는 인적 및 시간적 자원이 절감된다.According to the present invention, the log management system automatically stores raw logs according to various log formats in a log storage database in the form of extensible markup language (XML), thereby analyzing the cause of accidents such as searching for illegal file leakers. The human and time resources required for this are saved.
도 1은 본 발명의 일실시예에 따른 로그 관리 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 처리방법을 나타낸 흐름도이다.
도 3은 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 정의 파일 생성방법을 나타낸 흐름도이다.
도 4는 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 정의 XML 파일 생성방법을 나타낸 흐름도이다.
도 5 내지 도 11은 본 발명의 일실시예에 따른 로그 관리 시스템 및 이의 로그 처리방법의 작용을 설명하기 위한 도면이다.1 is a block diagram showing a log management system according to an embodiment of the present invention.
2 is a flowchart illustrating a log processing method of a log management system according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a log definition file generation method of a log management system according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a method of generating a log definition XML file of a log management system according to an exemplary embodiment of the present invention.
5 to 11 are views for explaining the operation of the log management system and its log processing method according to an embodiment of the present invention.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.Prior to the description of the specific contents of the present invention, for the convenience of understanding, the outline of the solution of the problem to be solved by the present invention or the core of the technical idea will be presented first.
본 발명의 일실시예에 따른 로그 관리 시스템은 컴퓨터 시스템의 원시 로그를 수집하는 원시 로그 수집 시스템; 처리된 로그를 저장하는 로그 저장 데이터 베이스; 상기 원시 로그가 수집되는지를 판단하고, 상기 원시 로그가 수집되는 것으로 판단되면 입력된 이벤트 ID 테이블과 입력된 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 상기 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성하고, 생성된 상기 로그 정의 파일을 이용하여 로그 정의 XML 파일을 생성하고, 상기 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 상기 로그 저장 데이터 베이스에 저장하고, 상기 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 상기 파싱 코드를 이용하여 원시 로그 수집 시스템에 의해 수집된 상기 원시 로그를 파싱하여 상기 데이터베이스 테이블에 입력하는 제어부를 포함한다.Log management system according to an embodiment of the present invention comprises a raw log collection system for collecting the raw log of the computer system; A log storage database for storing processed logs; It is determined whether the raw log is collected, and if it is determined that the raw log is collected, a log is obtained by obtaining an input event ID table, an input description format table, a format table for a predetermined item, and a log sample which is part of the raw log. Create a definition file, generate a log definition XML file using the generated log definition file, create a database table using the log definition XML file and store it in the log storage database, the log definition XML file The control unit generates a parsing code using the parsing code, and parses the raw log collected by the raw log collection system using the parsing code and inputs the parsing code into the database table.
이하, 바람직한 실시예를 들어 본 발명을 더욱 상세하게 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다. 아울러 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Hereinafter, the present invention will be described in more detail with reference to preferred examples. However, these examples are intended to illustrate the present invention in more detail, it will be apparent to those skilled in the art that the scope of the present invention is not limited thereby. In addition, when it is determined that the detailed description of the known function or configuration and other matters related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
도 1을 참조하면, 본 발명의 일실시예에 따른 로그 관리 시스템은 직원이 사용하는 컴퓨터 등과 같은 컴퓨터 시스템(150)으로부터 로그를 수집하는 원시 로그 수집 시스템(120)과, 원시 로그를 출력하여는 컴퓨터 시스템(150)의 이벤트 ID 테이블 및 설명 포맷 테이블을 입력 받기 위한 입력부(140)와, 제어부(110)에 의해 파싱 처리된 로그를 저장하기 위한 로그 저장 데이터 베이스(130) 및 로그 관리 시스템을 전반적으로 제어하는 제어부(110)를 포함한다.Referring to FIG. 1, a log management system according to an exemplary embodiment of the present invention may output a raw
컴퓨터 시스템(150)은 일반인 컴퓨터로서, 제조사의 이벤트 ID 테이블에 따라 운용 및 관리(OS, H/W) 상의 모든 내역을 기록하는 로그를 저장한다.
원시 로그 수집 시스템(120)은 직원들이 사용하는 컴퓨터 시스템(150)에 저장된 원시 로그를 수집하여 저장하거나 제어부(110)의 요청에 따라 제어부(110)에 제공한다. The raw
입력부(140)는 일반적인 입력장치인 키보드 등으로 구현되어 사용자가 도 5와 같은 이벤트 아이디 정의를 기반으로 하여 컴퓨터 시스템(150)의 이벤트 ID 테이블 및 설명 포맷 테이블을 입력할 수 있도록 한다. 이에 따라, 제어부(110)는 이벤트 ID 테이블 및 설명 포맷 테이블을 저장할 수 있게 된다.The
로그 저장 데이터 베이스(130)는 제어부(110)에 의해 생성된 로그 정의 데이터 테이블을 저장한다. 로그 정의 데이터 테이블에는 제어부(110)에 의해 파싱 처리된 원시 로그 정보가 저장된다. 한편, 이러한 로그 저장 데이터 베이스(130)에 저장된 로그 정보는 관리자의 요청에 따라 관리자에게 제공한다.The
제어부(110)는 원시 로그가 수집되는지를 판단한다. 즉, 원시 로그 수집 시스템(120)이 컴퓨터 시스템(150)의 원시 로그를 수집하고 있는지를 판단한다. 만일, 원시 로그가 수집되는 것으로 판단되면 저장되어 있는 이벤트 ID 테이블과 설명 포맷 테이블 및 원시 로그 수집 시스템(150)이 수집한 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성한다. 그리고 이렇게 생성된 로그 정의 파일을 이용하여 로그 정의 XML(extensible markup language) 파일을 생성하고, 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 로그 저장 데이터 베이스(130)에 저장한다. 그리고 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 파싱 코드를 이용하여 원시 로그 수집 시스템(150)에 의해 수집된 원시 로그를 파싱하여 데이터베이스 테이블에 입력한다.The
한편, 제어부(110)는 로그 샘플에서 구분자를 인식하고 인식된 구분자를 이용하여 로그 샘플을 각각의 컬럼으로 구분한다. 여기서, 구분자의 인식방법은 후에 자세히 설명하기로 한다. 그 다음, 각각의 컬럼에 각각의 컬럼 아이디를 부여하고, 이벤트 ID 테이블과 설명 포맷 테이블 및 미리 정해진 항목들 각각에 대한 포맷 테이블을 읽어 들여, 각각의 컬럼에 이벤트 ID 테이블과 설명 포맷 테이블 및 각각의 포맷 테이블 중 일부를 매칭하고, 각각의 컬럼에 매칭된 테이블의 항목명 및 항목명에 대응하는 컬럼명을 부여하고, 각각의 컬럼의 컬럼길이와 컬럼타입을 파악하여 각각의 컬럼에 파악된 컬럼길이와 컬럼타입을 부여하고, 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용이 부여된 각각의 컬럼을 저장하고, 저장된 각각의 컬럼을 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용으로 테이블화함으로써 로그 정의 파일을 생성한다.Meanwhile, the
또한, 제어부(110)는 생성된 로그 정의 파일에서 각각의 라인을 읽어 들여 도 11의 (a)에 도시되는 바와 같은 로그 정의 XML들을 생성하고, 생성된 로그 정의 XML들로 도 11의 (b)에 도시되는 바와 같은 로그 정의 XML 파일을 생성한다. In addition, the
한편, 본 발명의 일실시예에 따른 로그 관리 시스템이 XML(extensible markup language)를 이용하는 것은 XML은 구조화되어 있어 사용자가 구축 및 검색을 보다 용이하게 할 수 있도록 하기 위한 것이다. On the other hand, the log management system according to an embodiment of the present invention uses XML (extensible markup language) is to make the XML structured so that the user can more easily build and search.
이하에서는 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 처리방법에 대해 설명하기로 한다.Hereinafter, a log processing method of a log management system according to an embodiment of the present invention will be described.
도 2를 참조하면, 제어부(110)는 원시 로그의 수집이 있는지를 판단한다(210). 즉, 제어부(110)는 원시 로그 수집 시스템(120)이 원시 로그를 수집하고 있는지를 판단한다.Referring to FIG. 2, the
이때, 원시 로그의 수집이 없으면, 제어부(110)는 종료조건인지를 판단하여(290), 종료조건이면 종료하고 종료조건이 아니면 210단계로 회귀한다.At this time, if there is no collection of the raw log, the
반면, 원시 로그의 수집이 있으면, 제어부(110)는 이벤트 ID 테이블과 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 로그 샘플을 입수한다(220). 즉, 제어부(110)는 도 8의 (a) 및 (d)와 같은 이벤트 ID 테이블과 설명 포맷 테이블과 도 8의 (b), (c), (e) 및 (f)와 같은 포맷 테이블을 읽어 들이고, 원시 로그 수집 시스템(120)에 수집된 로그 중 일부인 로그 샘플을 요청하여, 도 6과 같은 로그 샘플을 요청하여 수신한다.On the other hand, if there is a collection of raw logs, the
그 다음, 제어부(110)는 입수된 이벤트 ID 테이블과 설명 포맷 테이블 및 로그 샘플을 이용하여 후에 설명될 로그 정의 파일을 생성한다(230).Next, the
이어서, 제어부(110)는 생성된 로그 정의 파일을 이용하여 후에 설명될 로그 정의 XML 파일을 생성한다(240).Subsequently, the
그 다음, 제어부(110)는 로그 정의 XML 파일을 이용하여 데이터베이스(DB) 테이블(Table)을 생성하여 로그 저장 데이터 베이스(130)에 저장한다.Next, the
그리고, 제어부(110)는 로그 정의 XML 파일을 이용하여 로그 파싱 코드를 생성한다(260).The
그 다음, 제어부(110)는 로그 파싱 코드를 이용하여 원시 로그 수집 시스템(120)에 저장된 원시 로그를 파싱 처리 한다(270).Next, the
마지막으로, 제어부(110)는 파싱 처리된 원시 로그를 로그 저장 데이터 베이스(130)에 저장된 데이터 베이스 테이블에 입력하면서(280), 앞서 설명된 290단계를 수행한다.Finally, the
이하에서는 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 정의 파일 생성방법에 대해 도면과 함께 설명하기로 한다.Hereinafter, a method of generating a log definition file of a log management system according to an embodiment of the present invention will be described with reference to the accompanying drawings.
도 3을 참조하면, 제어부(110)는 로그 정의 파일 생성 조건인지를 판단한다(310). Referring to FIG. 3, the
이때, 로그 정의 파일 생성 조건이 아니면 종료조건인지를 판단하여(390), 종료조건이면 종료하고 종료조건이 아니면 310단계로 회귀 및 그 이후의 단계를 수행한다. At this time, if it is not the log definition file generation condition, it is determined whether it is an end condition (390). If it is an end condition, the operation is terminated.
반면, 로그 정의 파일 생성조건이면, 제어부(110)는 도 6와 같은 로그 샘플에서 구분자를 인식한다(320). 즉, 제어부(110)는 도 8의 (a)와 같은 이벤트 ID 테이블과, 도 8의 (b)와 같은 날짜 포맷 테이블과, 도 8의 (c)와 같은 시간 포맷 테이블과, 도 8의 (d)와 같은 설명 포맷 테이블과, 도 8의 (e)와 같은 IP주소 포맷 테이블과, 도 8의 (f)와 같은 URL주소 포맷 테이블을 읽어 들인다. 그 다음, 제어부(110)는 도 6과 같이 로그 샘플에서 한 행을 읽어 들이고, 읽어 들여진 제1행(L1)에 도 7과 같은 각각의 테이블들 모두 매칭시켜 제1행을 구문단위(P1, P2..)로 나눈다. 그 다음, 제어부(110)는 첫 번째 구문(P1)의 앞에 위치한 앞 문자군(CF)을 검색하고, 첫 번째 구문(P1)과 두 번째 구문(P2) 사이에 위치한 뒤 문자군(CR)에서 검색된 앞 문자군(CF)을 제외하여 이를 끝 구분자로 인식하고, 앞 문자군을 시작 구분자로 인식한다. 이러한 방법을 통해 본 발명의 일실시예에서는 시작 구분자는 없고, 끝 구분자는 콤마(,)인 것이 인식되었다.On the other hand, if the log definition file generation condition, the
그 다음, 제어부(110)는 인식된 앞 구분자와 끝 구분자를 이용하여 도 6과 같이 로그 샘플을 컬럼별(C1, C2...)로 구분하여 각각의 컬럼에 대해 컬럼 아이디를 부여한다(330). Then, the
그 다음, 제어부(110)는 사용자에 의해 저장되어 있는 이벤트 ID 테이블 및 설명 포맷 테이블과, 미리 정해진 항목에 대한 포맷 테이블을 읽어 들여 각각의 컬럼에 테이블을 매칭시킨다(340). 다시 말하면, 도 8의 (a)와 같은 이벤트 ID 테이블과, 도 8의 (b)와 같은 날짜 포맷 테이블과, 도 8의 (c)와 같은 시간 포맷 테이블과, 도 8의 (d)와 같은 설명 포맷 테이블과, 도 8의 (e)와 같은 IP주소 포맷 테이블과, 도 8의 (f)와 같은 URL주소 포맷 테이블을 읽어 들인다. 그 다음, 제어부(110)는 각각의 컬럼에 대해 매칭되는 테이블을 검색하여 이들에 매칭시킨다. 즉, 각각의 컬럼들과, 테이블의 유사성에 따라 각각의 컬럼들에 테이블을 매칭시킨다. 예컨데, 도 6에 도시되는 바와 같이, 제1컬럼(C1)이 두 자리 숫자이고, 도 8의 (a)와 같이 이벤트 ID 테이블도 두 자리 숫자이므로, 제1칼럼(C1)에 이벤트 ID 테이블을 매칭 시킨다. Next, the
이어서, 제어부(110)는 각각의 컬럼들에 매칭된 테이블의 항목명 및 이 항목명에 상응하는 컬럼명을 부여한다(350). Subsequently, the
그 다음, 제어부(110)는 각각의 컬럼들에 컬럼길이와 컬럼타입을 파악하여 이를 부여한다(360). Next, the
이어서, 제어부(110)는 도 9와 같이 모든 컬럼들에 대해 컬럼아이디, 항목명, 컬럼길이, 컬럼타입 및 컬럼명의 내용이 부여되었으면, 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용이 부여된 컬럼을 저장한다(370).Subsequently, when the column ID, the item name, the column length, the column type, and the column name have been assigned to all columns, the
그 다음, 제어부(110)는 도 10과 같이 저장된 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용이 부여된 컬럼들을 도 10에 도시되는 바와 같이 컬럼의 내용으로 테이블화하여 로그 정의 파일을 생성한다(380).Next, the
그 다음, 앞서 설명된 310단계로 회귀하여 그 이후의 단계를 수행한다.The process then returns to step 310 described above to perform subsequent steps.
이하에서는 본 발명의 일실시예에 따른 로그 관리 시스템의 로그 XML 파일 생성 방법에 대해 도면과 함께 설명하기로 한다.Hereinafter, a method for generating a log XML file of a log management system according to an embodiment of the present invention will be described with reference to the accompanying drawings.
도 4를 참조하면, 제어부(110)는 로그 정의 XML 파일 생성조건인지를 판단한다(410). 여기서, 로그 정의 XML 파일 생성조건은 로그 정의 파일 생성의 완료인 경우이다.Referring to FIG. 4, the
이때, 로그 정의 XML 파일 생성조건이 아니면 종료조건인지를 판단하여(450), 종료조건이면 종료하고 종료조건이 아니면 410단계로 회귀 및 그 이후의 단계를 수행한다. At this time, if it is not the log definition XML file generation condition, it is determined whether it is an end condition (450). If it is an end condition, the operation is terminated. If it is not an end condition,
반면, 로그 정의 XML 파일 생성조건이면, 제어부(110)는 도 10와 같은 로그 정의 파일에 기록된 각각의 라인을 순차적으로 읽어들여 도 11의 (a)와 같은 로그 정의 XML을 생성하여 저장한다(420). 그 다음, 제어부(110)는 모든 라인에 대한 로그 정의 XML의 생성 및 저장이 완료되었는지를 판단하여(430), 로그 정의 XML의 생성 및 저장이 완료되지 않았으면 420단계로 회귀하고, 로그 정의 XML의 생성 및 저장이 완료되었으면 도 11의 (b)와 같은 로그 정의 XML 파일을 생성한다(440). 그 다음, 제어부(110)는 앞서 설명된 410단계로 회귀하여 그 이후의 단계를 수행한다.On the other hand, if the log definition XML file is generated, the
본 발명의 일실시예에 따른 로그 관리 시스템의 로그 처리방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The log processing method of the log management system according to an exemplary embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is only provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all of the equivalents and equivalents of the claims as well as the claims to be described later belong to the scope of the present invention. .
110: 제어부 120: 원시 로그 수집 시스템
130: 로그 저장 데이터 베이스 140: 입력부
150: 컴퓨터 시스템110: control unit 120: raw log collection system
130: log storage database 140: input unit
150: computer system
Claims (7)
처리된 로그를 저장하는 로그 저장 데이터 베이스;
상기 원시 로그가 수집되는지를 판단하고, 상기 원시 로그가 수집되는 것으로 판단되면 입력된 이벤트 ID 테이블과 입력된 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 상기 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성하고, 생성된 상기 로그 정의 파일을 이용하여 로그 정의 XML 파일을 생성하고, 상기 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 상기 로그 저장 데이터 베이스에 저장하고, 상기 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 상기 파싱 코드를 이용하여 원시 로그 수집 시스템에 의해 수집된 상기 원시 로그를 파싱하여 상기 데이터베이스 테이블에 입력하는 제어부를 포함하는 로그 관리 시스템.A raw log collection system for collecting raw logs of a computer system;
A log storage database for storing processed logs;
It is determined whether the raw log is collected, and if it is determined that the raw log is collected, a log is obtained by obtaining an input event ID table, an input description format table, a format table for a predetermined item, and a log sample which is part of the raw log. Create a definition file, generate a log definition XML file using the generated log definition file, create a database table using the log definition XML file and store it in the log storage database, the log definition XML file Generating a parsing code using the parsing code, and parsing the raw log collected by the raw log collection system using the parsing code and inputting the parity code into the database table.
상기 제어부는 상기 로그 샘플을 각각의 컬럼으로 구분하여 상기 각각의 컬럼에 각각의 컬럼 아이디를 부여하고, 상기 이벤트 ID 테이블과 상기 설명 포맷 테이블 및 미리 정해진 항목들에 대한 포맷 테이블을 읽어 들여 상기 각각의 컬럼에 상기 테이블 각각을 매칭하고, 상기 각각의 컬럼에 상기 매칭된 각각의 테이블의 항목명 및 상기 항목명에 대응하는 컬럼명을 부여하고, 상기 각각의 컬럼의 컬럼길이와 컬럼타입을 파악하여 상기 각각의 컬럼에 파악된 상기 컬럼길이와 상기 컬럼타입을 부여하고, 상기 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명의 내용이 부여된 각각의 컬럼을 저장하고, 상기 저장된 각각의 컬럼을 상기 컬럼 아이디, 상기 항목명, 상기 컬럼타입, 상기 컬럼길이 및 상기 컬럼명의 내용으로 테이블화하여 상기 로그 정의 파일을 생성하는 것을 특징으로 하는 로그 관리 시스템.The method of claim 1,
The control unit divides the log sample into respective columns, assigns each column ID to each column, reads the event ID table, the description format table, and a format table for predetermined items, respectively. Matching each of the tables to a column, assigning each column a column name corresponding to the item name and the item name of each matched table, and identifying the column length and column type of each column Assigning the column length and the column type identified to the column, storing each column to which the column ID, the item name, the column type, the column length, and the contents of the column name are assigned, and storing each column as the column ID, Define the log by tabulating the item name, the column type, the column length, and the contents of the column name. Log management system, characterized in that for generating a file.
상기 제어부는 상기 로그 정의 파일의 각각의 라인을 읽어 들여 로그 정의 XML들을 생성하고, 생성된 상기 로그 정의 XML들을 이용하여 상기 로그 정의 XML 파일을 생성하는 것을 특징으로 하는 로그 관리 시스템.The method of claim 1,
And the control unit reads each line of the log definition file to generate log definition XMLs, and generates the log definition XML file using the generated log definition XMLs.
상기 원시 로그가 수집되는 것으로 판단되면 입력된 이벤트 ID 테이블과 입력된 설명 포맷 테이블과 미리 정해진 항목에 대한 포맷 테이블 및 수집된 상기 원시 로그의 일부인 로그 샘플을 입수하여 로그 정의 파일을 생성하는 단계;
상기 로그 정의 파일을 이용하여 로그 정의 XML 파일을 생성하는 단계;
상기 로그 정의 XML 파일을 이용하여 데이터베이스 테이블을 생성하여 로그 저장 데이터 베이스에 저장하는 단계; 및
상기 로그 정의 XML 파일을 이용하여 파싱 코드를 생성하고, 상기 파싱 코드를 이용하여 원시 로그 수집 시스템에 저장된 원시 로그를 파싱하여 상기 데이터베이스 테이블에 입력하는 단계를 포함하는 로그 관리 시스템의 로그 처리방법.Determining whether raw logs are collected;
Generating a log definition file by obtaining an input event ID table, an input description format table, a format table for a predetermined item, and a log sample which is a part of the collected raw log when the raw log is determined to be collected;
Generating a log definition XML file using the log definition file;
Generating a database table using the log definition XML file and storing the database table in a log storage database; And
Generating a parsing code using the log definition XML file, and parsing the raw log stored in the raw log collection system using the parsing code and inputting the raw log into the database table.
상기 로그 정의 파일을 생성하는 단계는,
상기 로그 샘플을 각각의 컬럼으로 구분하는 단계;
상기 각각의 컬럼에 컬럼 아이디를 부여하는 단계;
상기 각각의 컬럼에 상기 입력된 이벤트 ID 테이블과 상기 입력된 설명 포맷 테이블과 상기 미리 정해진 항목에 대한 포맷 테이블들을 매칭하는 단계;
상기 각각의 컬럼에 상기 매칭된 테이블의 항목명 및 상기 항목명에 대응하는 컬럼명을 부여하는 단계;
상기 각각의 컬럼의 컬럼길이와 컬럼타입을 파악하여 상기 각각의 컬럼에 파악된 상기 컬럼길이와 상기 컬럼타입을 부여하는 단계;
상기 컬럼 아이디, 항목명, 컬럼타입, 컬럼길이 및 컬럼명이 부여된 각각의 컬럼을 저장하는 단계; 및
상기 저장된 각각의 컬럼을 상기 컬럼 아이디, 상기 항목명, 상기 컬럼타입, 상기 컬럼길이 및 상기 컬럼명을 내용으로 테이블화 하는 단계를 포함하는 로그 관리 시스템의 로그 처리방법.The method of claim 4, wherein
Generating the log definition file,
Dividing the log samples into respective columns;
Assigning a column ID to each column;
Matching the input event ID table, the input description format table, and format tables for the predetermined item to each column;
Assigning each column an item name of the matched table and a column name corresponding to the item name;
Identifying the column length and column type of each column and assigning the identified column length and column type to each column;
Storing each column to which the column ID, item name, column type, column length, and column name are assigned; And
And table each of the stored columns with the column ID, the item name, the column type, the column length, and the column name.
상기 로그 정의 XML 파일을 생성하는 단계는, 상기 로그 정의 파일의 라인들 순차적으로 읽어 들여 로그 정의 XML들을 생성하여 저장하고, 상기 저장된 로그 정의 XML들로 로그 정의 XML 파일을 생성하는 것인 로그 관리 시스템의 로그 처리방법.The method of claim 4, wherein
The generating of the log definition XML file may include sequentially reading the lines of the log definition file, generating and storing log definition XMLs, and generating a log definition XML file using the stored log definition XMLs. How to handle logs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100064241A KR20120003567A (en) | 2010-07-05 | 2010-07-05 | Log management system, log processing method of the same of and recording medium storing the log processing method of the same of |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100064241A KR20120003567A (en) | 2010-07-05 | 2010-07-05 | Log management system, log processing method of the same of and recording medium storing the log processing method of the same of |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20120003567A true KR20120003567A (en) | 2012-01-11 |
Family
ID=45610468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100064241A KR20120003567A (en) | 2010-07-05 | 2010-07-05 | Log management system, log processing method of the same of and recording medium storing the log processing method of the same of |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20120003567A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537037A (en) * | 2014-12-23 | 2015-04-22 | 杭州华为数字技术有限公司 | Method and device for processing database logs |
KR20180061517A (en) * | 2016-11-29 | 2018-06-08 | 한국전자통신연구원 | System and method for collecting contents log data based on mobile environment |
CN112347066A (en) * | 2019-08-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | Log processing method and device, server and computer readable storage medium |
US11068463B2 (en) | 2017-08-16 | 2021-07-20 | Machbase, Inc. | System and method for managing log data |
CN115190189A (en) * | 2022-07-08 | 2022-10-14 | 中国银行股份有限公司 | Message information processing method and device |
-
2010
- 2010-07-05 KR KR1020100064241A patent/KR20120003567A/en not_active Application Discontinuation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104537037A (en) * | 2014-12-23 | 2015-04-22 | 杭州华为数字技术有限公司 | Method and device for processing database logs |
CN104537037B (en) * | 2014-12-23 | 2018-01-23 | 杭州华为数字技术有限公司 | A kind of method and device of processing data storehouse daily record |
KR20180061517A (en) * | 2016-11-29 | 2018-06-08 | 한국전자통신연구원 | System and method for collecting contents log data based on mobile environment |
US11068463B2 (en) | 2017-08-16 | 2021-07-20 | Machbase, Inc. | System and method for managing log data |
CN112347066A (en) * | 2019-08-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | Log processing method and device, server and computer readable storage medium |
CN112347066B (en) * | 2019-08-08 | 2023-10-13 | 腾讯科技(深圳)有限公司 | Log processing method and device, server and computer readable storage medium |
CN115190189A (en) * | 2022-07-08 | 2022-10-14 | 中国银行股份有限公司 | Message information processing method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110275965B (en) | False news detection method, electronic device and computer readable storage medium | |
KR102348971B1 (en) | Method and device for processing information | |
CN104750795A (en) | Intelligent semantic searching system and method | |
CN109637000B (en) | Invoice detection method and device, storage medium and electronic terminal | |
CN112163072B (en) | Data processing method and device based on multiple data sources | |
CN110852095B (en) | Statement hot spot extraction method and system | |
KR101888860B1 (en) | Log generator and big data analysis preprocessing system including the log generator | |
CN112560100A (en) | Data desensitization method and device, computer readable storage medium and electronic equipment | |
CN113760891B (en) | Data table generation method, device, equipment and storage medium | |
KR20120003567A (en) | Log management system, log processing method of the same of and recording medium storing the log processing method of the same of | |
CN110909126A (en) | Information query method and device | |
CN110633375A (en) | System for media information integration utilization based on government affair work | |
CN110533456A (en) | A kind of coupon information method for pushing, system and server | |
CN110020161B (en) | Data processing method, log processing method and terminal | |
CN112307052A (en) | Data management method, service system, terminal and storage medium | |
KR102166102B1 (en) | Device and storage medium for protecting privacy information | |
CN111552792A (en) | Information query method and device, electronic equipment and storage medium | |
CN113157978B (en) | Data label establishing method and device | |
KR102257139B1 (en) | Method and apparatus for collecting information regarding dark web | |
CN111429110A (en) | Store standardization auditing method, device, equipment and storage medium | |
CN111325562A (en) | Grain safety tracing system and method | |
CN111221690A (en) | Model determination method and device for integrated circuit design and terminal | |
CN115756486A (en) | Data interface analysis method and device | |
US20080162165A1 (en) | Method and system for analyzing non-patent references in a set of patents | |
Kurmi et al. | Text summarization using enhanced MMR technique |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |