KR101338223B1 - System and method for analyzing network traffic - Google Patents
System and method for analyzing network traffic Download PDFInfo
- Publication number
- KR101338223B1 KR101338223B1 KR1020110119909A KR20110119909A KR101338223B1 KR 101338223 B1 KR101338223 B1 KR 101338223B1 KR 1020110119909 A KR1020110119909 A KR 1020110119909A KR 20110119909 A KR20110119909 A KR 20110119909A KR 101338223 B1 KR101338223 B1 KR 101338223B1
- Authority
- KR
- South Korea
- Prior art keywords
- signature
- traffic
- application
- information
- analysis
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
본 발명은 시그니처를 저장하는 시그니처 저장부; 네트워크 트래픽으로부터 상기 시그니처를 추출하여 상기 시그니처 저장부에 저장하는 시그니처 추출부; 상기 시그니처 저장부에 저장되어 있는 시그니처를 사용하여 네트워크 트래픽을 분석하는 트래픽 분석부; 및 상기 시그니처의 적어도 하나 이상의 특성을 기초로, 트래픽 분석에 유용한 시그니처는 유지시키고 유용하지 않은 시그니처는 삭제하여, 상기 시그니처 저장부에 저장되어 있는 시그니처를 최소량으로 유지하는 시그니처 관리부;를 포함하는 네트워크 트래픽 분석 시스템을 제공한다.The present invention provides a signature storage unit for storing a signature; A signature extracting unit extracting the signature from network traffic and storing the signature in the signature storage unit; A traffic analyzer for analyzing network traffic using signatures stored in the signature storage unit; And a signature manager configured to maintain signatures useful for traffic analysis and delete signatures that are not useful, based on at least one characteristic of the signature, to maintain a minimum amount of signatures stored in the signature storage unit. Provide an analysis system.
Description
본 발명은 네트워크 트래픽 분석에 관한 것으로서, 보다 상세하게는 네트워크 트래픽 분석에 사용되는 시그니처를 효과적으로 관리하는 네트워크 트래픽 분석 시스템 및 방법에 관한 것이다.The present invention relates to network traffic analysis, and more particularly, to a network traffic analysis system and method for effectively managing signatures used for network traffic analysis.
네트워크와 인터넷이 발달함에 따라 효율적이고 안전하게 네트워크를 관리하기 위해 네트워크 트래픽 분석의 중요성이 커지고 있다. 네트워크 수요를 만족시키기 위해 대역폭을 관리하기 위해서도, 악성적인 공격을 감지, 방어하기 위해서도 트래픽 분석은 중요하다.As the network and the Internet develop, the importance of network traffic analysis is increasing to manage the network efficiently and safely. Traffic analysis is also important for managing bandwidth to meet network demands and for detecting and defending against malicious attacks.
가장 원시적인 방법은 포트 정보만을 사용하는 것으로, 간단하고 빠르지만, 정확성이 매우 낮다. 따라서 정확한 트래픽 분석을 위한 연구가 많이 제안되고 있다.The most primitive method is to use only port information, which is simple and fast, but with very low accuracy. Therefore, many studies for accurate traffic analysis have been proposed.
예를 들어, 페이로드(payload) 기반 시그니처를 추출하여 트래픽 분석에 활용하는 방법이 있다. 하지만 페이로드 시그니처는 분석 오버헤드가 높고, 페이로드가 없는 트래픽이나 암호화된 트래픽에는 적용하기 어렵다는 난점이 있다.For example, there is a method of extracting payload-based signatures and using them for traffic analysis. However, payload signatures have a high analysis overhead and are difficult to apply to non-payloaded or encrypted traffic.
헤더 기반 분석 방법은 포트 번호와 함께 호스트 정보를 함께 사용한다. 특정 응용을 제공하는 서버의 헤더 정보(IP 주소, 포트 번호, 전송 계층 프로토콜 등)를 사용하여 트래픽을 분석하는 것이다. 헤더 시그니처를 사용하면 빠르고 정확하게 트래픽을 분석할 수 있는 장점이 있다.The header-based analysis method uses the host information together with the port number. It analyzes the traffic using the header information (IP address, port number, transport layer protocol, etc.) of the server providing the specific application. The advantage of using header signatures is that you can analyze traffic quickly and accurately.
하지만 추출되는 시그니처의 양이 많아진다는 단점이 있다. 따라서 헤더 시그니처의 장점을 살리되, 시그니처의 수는 최소한으로 줄이기 위한 네트워크 트래픽 분석 시스템 및 방법이 필요하다. 즉, 트래픽 분석에 도움이 되는 시그니처는 유지하되, 트래픽 분석에 많이 사용되지 않는 시그니처는 삭제할 수 있는 네트워크 트래픽 분석 시스템 및 방법이 요구된다.However, there is a disadvantage in that the amount of signatures to be extracted increases. Therefore, there is a need for a network traffic analysis system and method that can take advantage of the header signature but reduce the number of signatures to a minimum. In other words, there is a need for a network traffic analysis system and method capable of maintaining signatures useful for traffic analysis but deleting signatures that are not frequently used for traffic analysis.
이와 관련하여 한국등록특허 제10-0615080호("10-0615080")에는 네트워크 데이터의 프로토콜 헤더로부터 TCP 세션 기반 통계적 정보를 추출하고 가공하는 가공 단계; 데이터 가공을 통해 얻은 탐지척도에 기반하여 의사결정나무 알고리즘을 이용해서 나무 모형을 생성하는 생성 단계; 나무모형을 탐지규칙으로 탐지 패턴을 자동 생성하는 정형화단계 및; 각 네트워크의 세션이 끝날 때 정보를 탐지규칙과 비교하여 매칭되면 알람을 울리고, 이에 해당되는 규칙을 살펴봄으로 공격의 특징을 분류하는 실험 및 분석 단계를 포함하는 것을 특징으로 하는 컴퓨터 네트워크상에서 악성 봇과 웜에 대한 규칙기반 탐지패턴을 자동 생성하는 구성이 개시되어 있다.In this regard, Korean Patent No. 10-0615080 ("10-0615080") includes a processing step of extracting and processing TCP session based statistical information from a protocol header of network data; A generation step of generating a tree model using a decision tree algorithm based on a detection scale obtained through data processing; A formalization step of automatically generating a detection pattern using a tree model as a detection rule; At the end of each network session, it compares the information with the detection rule and sounds an alarm, and examines the corresponding rule to test and analyze the characteristics of the attack. A configuration for automatically generating rule-based detection patterns for worms is disclosed.
한편, 한국등록특허 제10-0937217호("시그니처 최적화 시스템 및 방법")는 네트워크를 통해 입력되는 데이터 플로우로부터 공격 의심되는 적어도 하나의 패킷을 이용하여 시그니처를 생성하는 시그니처 생성수단; 네트워크를 통해 입력되는 플로우를 저장하고, 플로우 중 시그니처 생성수단을 통해 생성된 시그니처에 대응하는 플로우를 추출하는 패킷 수집부; 패킷 수집부를 통해 추출된 플로우가 공격 징후를 포함하는지 확인하는 검증수단; 및 시그니처 생성수단을 통해 생성된 시그니처를 검증수단을 통해 확인된 공격 징후 별로 최종 시그니처를 생성하는 시그니처 최적화수단;을 포함하는 구성이 개시되어 있다.Meanwhile, Korean Patent No. 10-0937217 ("Signal Optimization System and Method") includes signature generation means for generating a signature using at least one packet suspected of attack from a data flow input through a network; A packet collector configured to store a flow input through the network and extract a flow corresponding to the signature generated through the signature generation means among the flows; Verification means for confirming whether the flow extracted through the packet collector includes an attack indication; And signature optimization means for generating a final signature for each attack indication identified through the verification means by the signature generated by the signature generation means.
본 발명은 전술한 네트워크 트래픽 분석 문제를 해결하기 위한 것으로서, 그 목적은 네트워크 트래픽 분석에 유용한 최소의 시그니처만을 유지하여 분석 성능과 효율성이 높은 네트워크 트래픽 분석 시스템 및 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described network traffic analysis problem, and an object thereof is to provide a network traffic analysis system and method having high analysis performance and efficiency by maintaining only a minimum signature useful for network traffic analysis.
상기와 같은 목적을 달성하기 위한 본 발명의 제 1 측면에 따른 네트워크 트래픽 분석에 사용되는 시그니처를 관리하는 네트워크 트래픽 분석 시스템은, 상기 시그니처를 저장하는 시그니처 저장부; 네트워크 트래픽으로부터 상기 시그니처를 추출하여 상기 시그니처 저장부에 저장하는 시그니처 추출부; 상기 시그니처 저장부에 저장되어 있는 시그니처를 사용하여 네트워크 트래픽을 분석하는 트래픽 분석부; 및 상기 시그니처의 적어도 하나 이상의 특성을 기초로, 트래픽 분석에 유용한 시그니처는 유지시키고 유용하지 않은 시그니처는 삭제하여, 상기 시그니처 저장부에 저장되어 있는 시그니처를 최소량으로 유지하는 시그니처 관리부;를 포함하는 것을 특징으로 한다.A network traffic analysis system for managing signatures used for network traffic analysis according to the first aspect of the present invention for achieving the above object includes a signature storage unit for storing the signature; A signature extracting unit extracting the signature from network traffic and storing the signature in the signature storage unit; A traffic analyzer for analyzing network traffic using signatures stored in the signature storage unit; And a signature manager configured to maintain signatures useful for traffic analysis and delete signatures that are not useful, based on at least one characteristic of the signature, to maintain a minimum amount of signatures stored in the signature storage unit. It is done.
상기와 같은 목적을 달성하기 위한 본 발명의 제 2 측면에 따른 네트워크 트래픽 분석에 사용되는 시그니처를 관리하는 네트워크 트래픽 분석 방법은, (a) 네트워크 트래픽으로부터 상기 시그니처를 추출하는 단계; (b) 상기 시그니처를 사용하여 네트워크 트래픽을 분석하는 단계; 및 (c) 상기 시그니처 목록을 최소량으로 유지하는 단계;를 포함하는 것을 특징으로 한다.In order to achieve the above object, a network traffic analysis method for managing signatures used in network traffic analysis according to a second aspect of the present invention includes: (a) extracting the signature from network traffic; (b) analyzing network traffic using the signature; And (c) maintaining the signature list in a minimum amount.
본 발명은 네트워크 트래픽 분석 시스템 및 방법에 있어, 오버헤드는 낮추면서 정확하고 빠르게 네트워크 트래픽을 분석하는 효과를 얻는다.The present invention provides a network traffic analysis system and method, the effect of analyzing the network traffic accurately and quickly with low overhead.
즉, 포트 번호만을 사용하는 방법보다 정확하고 페이로드 시그니처를 사용하는 방법보다 오버헤드가 낮고 빠르며, 네트워크 트래픽 분석에 유용한 최소의 시그니처만을 유지하므로 분석 성능은 더욱 향상되고 자원은 절약된다.This is more accurate than using only port numbers, lower and faster overhead than using payload signatures, and keeps only minimal signatures useful for analyzing network traffic, further improving analysis performance and saving resources.
또한 트래픽 수집시 발생할 수 있는 패킷 손실 및 TCP/IP 조각화 문제를 고려하지 않아도 된다.It also eliminates the need for packet loss and TCP / IP fragmentation issues that can occur when collecting traffic.
또한 페이로드가 없거나 암호화된 경우에도 트래픽을 분석할 수 있다.You can also analyze traffic even if the payload is missing or encrypted.
또한 시그니처 추출, 트래픽 분석, 시그니처 관리를 실시간으로 수행할 수 있다는 장점이 있다.In addition, there is an advantage that signature extraction, traffic analysis, and signature management can be performed in real time.
도 1은 본 발명에 따른 네트워크 트래픽 분석 시스템의 구조를 도시함.
도 2는 도 1의 시스템이 사용하는 트래픽 데이터의 개념을 도시함.
도 3은 도 1의 시스템이 트래픽 헤더에서 추출하는 데이터의 구조를 도시함.
도 4는 본 발명에 따른 네트워크 트래픽 분석 방법의 흐름을 도시함.
도 5는 시그니처 추출 단계의 흐름을 도시함.
도 6은 트래픽 분석 단계의 흐름을 도시함.
도 7은 시그니처 관리 단계의 흐름을 도시함.
도 8은 비정상 트래픽의 특성 및 P2P트래픽의 특성을 분석한 그래프를 도시함.
도 9는 발생 형태 분석 단계의 흐름을 도시함.
도 10은 응용별 시그니처 최대 유휴 시간을 분석한 그래프를 도시함.
도 11은 사용 주기 분석 단계의 흐름을 도시함.
도 12는 시그니처별 트래픽 분석 성능을 분석한 그래프를 도시함.
도 13은 통계적 특성 분석 단계의 흐름을 도시함.
도 14는 응용별 시그니처 사용률을 분석한 그래프를 도시함.
도 15는 사용 빈도 분석 단계의 흐름을 도시함.1 illustrates a structure of a network traffic analysis system according to the present invention.
FIG. 2 illustrates the concept of traffic data used by the system of FIG.
3 shows the structure of data extracted from the traffic header by the system of FIG.
4 illustrates a flow of a network traffic analysis method according to the present invention.
5 shows the flow of the signature extraction step.
6 shows the flow of the traffic analysis step.
7 shows the flow of the signature management phase.
8 shows a graph analyzing the characteristics of abnormal traffic and the characteristics of P2P traffic.
9 shows the flow of the generation form analysis step.
10 is a graph illustrating an analysis of application-specific signature maximum idle time.
11 shows the flow of the usage cycle analysis phase.
12 shows a graph analyzing the traffic analysis performance of each signature.
13 shows the flow of the statistical characterization step.
FIG. 14 is a graph illustrating an analysis of signature usage by application. FIG.
15 shows the flow of the frequency of use analysis step.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.
먼저, 도 1에서 도 3을 참조하여 본 발명에 따른 네트워크 트래픽 분석 시스템(10)을 설명한다.First, the network
도 1은 본 발명에 따른 네트워크 트래픽 분석 시스템(10)을 나타낸 블록도이다.1 is a block diagram illustrating a network
도 1을 참조하면, 본 발명에 따른 네트워크 트래픽 분석 시스템(10)은 하나 이상의 네트워크 사용 기기(500)와 네트워크를 통해 연결되어 있다. 여기서 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 무선 네트워크 등 모든 종류의 네트워크로 구현될 수 있다. 네트워크 사용 기기(500)도 컴퓨터, 휴대용 단말 등 기기의 종류에 제한을 두지 않으며, 서버인지 클라이언트인지에 상관 없이 네트워크를 사용하는 모든 기기를 포함한다. 또한 네트워크 트래픽 분석 시스템(10)을 구성하는 방법에도 제한이 없다. 도면에는 단일 시스템으로 도시되어 있으나, 여러 네트워크 사용 기기(500)에 분산되어 구성될 수도 있다.Referring to FIG. 1, the network
네트워크 트래픽 분석 시스템(10)은 시그니처를 저장하는 시그니처 저장부(100), 네트워크 트래픽으로부터 시그니처를 추출하는 시그니처 추출부(200), 시그니처를 활용하여 네트워크 트래픽을 분석하는 트래픽 분석부(300), 시그니처 저장부(100)에 저장되어 있는 시그니처를 최소량으로 유지하는 시그니처 관리부(400)를 포함한다.The network
이때 네트워크 트래픽 분석이란 분석 대상 네트워크의 트래픽을 수집하여 분석 기준에 맞게 트래픽을 분류하고 분류된 트래픽을 수량적으로 측정하는 것을 의미한다. 본 발명에 따른 네트워크 트래픽 분석 시스템(10)이 채택하고 있는 분류 기준은 트래픽을 발생시킨 응용 프로그램이다(이하 응용이라 함). 즉, 네트워크 트래픽을 해당 트래픽을 발생시킨 응용을 기준으로 분류하고 응용별로 트래픽량을 측정한다. 분석된 응용 트래픽은 네트워크 관리 및 보안에 중요한 자료로 사용될 수 있다. 예를 들어, 특정 응용에서 발생하는 트래픽의 대역폭을 조절하거나 차단하는 등 네트워크 자원을 관리하기 위해서는 응용 트래픽을 실시간 분석하는 것이 중요하다.In this case, network traffic analysis refers to collecting traffic of an analysis target network, classifying the traffic according to analysis criteria, and quantitatively measuring the classified traffic. The classification criteria adopted by the network
응용 트래픽을 측정하기 위해, 시그니처 추출부(200)는 네트워크 트래픽을 응용별로 분류하여 응용에 대한 정보를 포함하는 시그니처를 생성하며, 트래픽 분석부(300)는 트래픽 분석시 시그니처에 포함되어 있는 응용 정보를 사용하여 트래픽을 응용별로 분류한다. In order to measure application traffic, the
이때 트래픽은 서버 별로 재구성된다. 설명을 위해 네트워크 트래픽 분석 시스템(10)이 사용하는 트래픽 데이터의 개념을 도시하고 있는 도 2를 참조한다. 도면에서 원은 IP 주소, 사각형은 포트를 나타낸다.At this time, traffic is reconstructed by server. Reference is made to FIG. 2 which illustrates the concept of traffic data used by network
종래 기술들은 트래픽 즉, 패킷을 플로우(flow) 단위로 조합하여 사용한다. 플로우는 동일한 5-튜플(5-tuple: 소스 IP 주소, 목적지 IP 주소, 소스 포트, 목적지 포트, 전송 계층 프로토콜)을 가지는 단방향 패킷들의 집합이다. 하지만 네트워크에서 발생하는 응용 트래픽은 특정 서버를 중심으로 발생되기 때문에 플로우를 서버 기준으로 재조합하면 응용의 발생 형태와 플로우간의 관계를 좀더 효과적으로 파악할 수 있다. Conventional techniques use a combination of traffic, ie packets, on a flow basis. A flow is a set of unidirectional packets with the same 5-tuple (source IP address, destination IP address, source port, destination port, transport layer protocol). However, since the application traffic generated in the network is generated around a specific server, recombining the flow on a server basis can more effectively grasp the relationship between the application type and the flow.
따라서 본 발명은 응용 서버 기준으로 플로우를 재조합한 번치(bunch)를 사용한다. 번치는 특정 서버의 3-튜플(3-tuple: IP 주소, 포트, 전송 계층 프로토콜)를 포함하는 모든 플로우들의 집합이다. 도 2의 우측 도면에 도시된 것과 같이, 번치는 하나의 서버 노드와 하나 이상의 클라이언트 노드로 구성된다. 대부분의 응용 서버는 하나의 서버 포트와 다수의 클라인언트 포트를 통해 트래픽을 발생시킨다. 이러한 관점에서 볼 때, 번치 단위의 트래픽은 특정 서버에서 발생한 응용 트래픽을 더욱 명확하게 나타낸다.Therefore, the present invention uses a bunch (bunch) recombining the flow on the basis of the application server. A bunch is a collection of all flows that contain a 3-tuple (IP address, port, transport layer protocol) of a particular server. As shown in the right figure of FIG. 2, the bunch consists of one server node and one or more client nodes. Most application servers generate traffic through one server port and multiple client ports. From this point of view, bunch-level traffic is a clearer representation of application traffic originating from a particular server.
도 3에서 보는 바와 같이, 응용 서버별로 재구성된 트래픽의 헤더에서 본 발명에 따른 네트워크 트래픽 분석 시스템(10)은 IP 주소, 포트 번호, 전송 계층 프로토콜을 추출한다. 즉, 서버 노드의 3-튜플이 헤더 시그니처로 추출된다. 이 3-튜플은 시그니처 저장부(100)가 사용하는 해시(hash) 자료 구조의 키(key)로 사용되기 위한 것이다.As shown in FIG. 3, the network
즉, 시그니처 추출부(200)는 시그니처 생성시 생성된 시그니처를 응용 서버별로 재구성된 트래픽의 헤더에서 추출한 <IP 주소, 포트 번호, 전송 계층 프로토콜 정보>를 키로 하여 시그니처 저장부(100)에 저장하고, 트래픽 분석부(300)는 시그니처 저장부(100)에서 트래픽 분석에 사용할 시그니처를 검색하기 위해 <IP 주소, 포트 번호, 전송 계층 프로토콜 정보>를 키로 사용한다. 즉, 분석할 트래픽에서 시그니처 추출부(200)가 시그니처를 생성할 때와 같은 방법으로 <IP 주소, 포트 번호, 전송 계층 프로토콜 정보>를 추출하고, 시그니처 저장부(100)에 저장되어 있는 시그니처들 중 이와 동일한 키를 갖는 시그니처가 있는지 검색한다. 이 키가 분석 대상 트래픽과 동일한 시그니처를 발생시킨 응용은 분석 대상 트래픽을 발생시킨 응용과 동일할 것이므로, 3-튜플을 키로 하여 검색된 시그니처에 포함된 응용 정보를 통해 트래픽을 분석하는 것이 가능하다.That is, the
이렇게 헤더 정보를 이용하여 트래픽을 분석할 경우 종래의 포트 번호만을 사용하는 방법이나 페이로드 시그니처를 사용하는 방법에 비해 여러가지 이점이 있다. 예를 들어, 포트 번호만을 사용하여 트래픽을 분석하는 경우보다 정확도가 높으며, 트래픽 수집시 발생할 수 있는 패킷 손실 및 TCP/IP 조각화(fragmentation) 문제를 고려하지 않아도 된다. 헤더 정보를 통해 트래픽을 분석하기 때문에 페이로드(payload)가 없거나 암호화된 경우에도 트래픽을 분석할 수 있으며, 페이로드 시그니처보다 분석 오버헤드가 덜하고 자원을 덜 사용한다. 트래픽의 헤더 정보는 고정된 위치에 존재하기 때문에 추출과 분석이 용이하다. 이에 더해, 본 발명에 따른 네트워크 트래픽 분석 시스템(10)은 전술한 바와 같이 추출된 헤더 정보를 해시 자료 구조의 키로 사용하기 때문에 빠르게 동일한 시그니처를 찾을 수 있다는 장점도 갖는다.When analyzing traffic using the header information, there are various advantages over the conventional method using only the port number or the method using the payload signature. For example, it is more accurate than analyzing traffic using only port numbers, and does not have to consider packet loss and TCP / IP fragmentation problems that may occur when collecting traffic. By analyzing the traffic through the header information, the traffic can be analyzed even if there is no payload or encrypted, and it uses less analysis overhead and uses less resources than payload signatures. Since the header information of the traffic is in a fixed location, it is easy to extract and analyze. In addition, since the network
이렇게 헤더 기반 시그니처를 사용하면 정확하고 빠르게 트래픽을 분석할 수 있지만, 헤더 정보를 사용하기 때문에 많은 양의 시그니처가 추출된다. 따라서 최적의 시그니처를 유지할 수 있는 관리 방법이 필요하다. 전술한 헤더 시그니처의 장점을 활용하면서도 단점은 최소화하는 것이 본 발명의 목적이다. 그 방법은 분석에 도움이 되는 시그니처는 목록에 유지하고, 분석에 도움이 되지 않으면서 자원만 낭비하고 있는 시그니처는 삭제하는 것이다.This header-based signature allows for accurate and fast traffic analysis, but because of the header information, a large amount of signatures are extracted. Therefore, there is a need for a management method that can maintain an optimal signature. It is an object of the present invention to utilize the advantages of the above-mentioned header signature while minimizing the disadvantages. The trick is to keep the signatures that are helpful for analysis in the list, and to remove signatures that only waste resources that are not helpful for analysis.
이를 위해 시그니처의 사용 이력이 이용된다. 즉, 시그니처는 자신이 분석한 트래픽의 크기, 지속 시간, 호스트, 사용 시간 등 트래픽 분석 이력을 저장하며, 이 정보는 시그니처 관리부(400)가 시그니처를 유지, 관리하는 데 사용된다. 이렇게 응용이 발생시키는 트래픽의 발생 형태와 특성, 그리고 사용 이력을 고려하여 트래픽 분석에 활용하는 데 최적인 헤더 시그니처만을 목록에 유지하기 때문에, 본 발명에 따른 네트워크 트래픽 분석 시스템(10)은 오버헤드는 줄이면서 분석률(completeness), 정확도(accuracy) 등 시그니처 분석 성능은 높게 유지할 수 있다.For this purpose, the usage history of the signature is used. That is, the signature stores the traffic analysis history such as the size, duration, host, and usage time of the traffic analyzed by the signature, and this information is used by the
시그니처 관리에 대한 자세한 설명은 이하 도 4에서 도 15를 참조하여 설명한다.A detailed description of the signature management will be described below with reference to FIGS. 4 to 15.
도 4는 본 발명에 따른 네트워크 트래픽 분석 방법의 흐름을 도시하고 있다.4 illustrates a flow of a network traffic analysis method according to the present invention.
본 발명에 따른 네트워크 트래픽 분석 방법은 네트워크 트래픽으로부터 시그니처를 추출하는 단계(S410), 시그니처를 사용하여 네트워크 트래픽을 분석하는 단계(S420), 시그니처 목록을 최소량으로 유지하는 단계(S430)을 포함한다.The network traffic analysis method according to the present invention includes extracting a signature from the network traffic (S410), analyzing the network traffic using the signature (S420), and maintaining a minimum amount of the signature list (S430).
도 4에는 이 단계들이 순차적으로 이루어지는 것처럼 도시되어 있지만, 이 단계들은 동시에 수행될 수도 있으며, 또한 많은 경우 실제 네트워크 환경에서 실시간으로 이루어질 수 있다. 인터넷 응용은 사용자의 요구에 따라 매번 수정되고 새로 출현하기 때문에 실시간 시그니처 추출 및 관리가 필수적인데, 본 발명에 따른 네트워크 트래픽 분석 시스템(10)은 시그니처 추출, 트래픽 분석, 시그니처 관리를 실시간으로 수행할 수 있다는 장점이 있는 것이다. Although these steps are shown as being sequentially performed in FIG. 4, these steps may be performed concurrently, and in many cases may also be done in real time in a real network environment. Real-time signature extraction and management is essential because the Internet application is modified and newly appeared every time according to the user's needs. The network
도 5는 시그니처 추출 단계(S410)의 흐름을 도시하고 있다.5 shows the flow of the signature extraction step S410.
시그니처 추출 단계(S410)에서 시그니처 추출부(200)는 정답지 트래픽(Ground truth Traffic)을 실시간으로 수집하여 시그니처를 추출한다. 정답지 트래픽을 생성하는 방법은 이미 많은 연구를 통해 제안되었으므로, 자세한 설명은 생략한다. 예를 들어, 정답지 트래픽은 실제 트래픽을 발생 시키는 호스트에 설치된 에이전트를 통해 수집될 수 있다.In the signature extraction step (S410), the
전술한 바와 같이, 정답지 트래픽에서 특정 응용을 서비스하는 서버의 헤더 정보가 시그니처로 추출된다. 이를 위해서는 플로우의 서버를 구분해야 하는데, TCP 플로우의 경우 SYN, ACK 플래그를 통해 서버를 쉽게 판별할 수 있지만, UDP 플로우는 서버 판별이 모호하다. 따라서 UDP 플로우인 경우에는 두 종단 호스트에 발생한 첫 번째 패킷을 서비스 요청으로 가정하여 첫 패킷의 목적지 호스트를 서버로 판별한다.As described above, header information of a server serving a specific application is extracted as a signature in the correct destination traffic. To do this, it is necessary to distinguish the server of the flow. In the case of the TCP flow, the server can be easily identified through the SYN and ACK flags. However, the server flow is ambiguous in the UDP flow. Therefore, in case of UDP flow, the destination host of the first packet is determined as a server by assuming that the first packet generated at both end hosts is a service request.
도면에 도시되어 있는 추출 방법은 플로우를 번치로 재조합하는 부분(line:4~6)과 생성된 번치의 서버 노드에서 시그니처를 추출하는 부분(line:7~9)으로 구성된다. 추출된 시그니처와 기존에 추출된 시그니처가 동일한 3-튜플을 가지고 서로 다른 응용에서 추출된 경우 충돌이라 정의하며, 충돌이 발생하면 기존의 시그니처와 새로 추출된 시그니처 모두 삭제한다The extraction method shown in the figure comprises a portion (line: 4 to 6) for recombining the flow into a bunch and a portion (line: 7 to 9) for extracting a signature from the server node of the generated bunch. If the extracted signature and the existing signature are extracted from different applications with the same 3-tuple, it is defined as a collision. If a collision occurs, the existing signature and the newly extracted signature are deleted.
도 6은 트래픽 분석 단계(S420)의 흐름을 도시하고 있다.6 shows the flow of the traffic analysis step S420.
트래픽 분석 단계(S420)에서 트래픽 분석부(300)는 트래픽의 서버 3-튜플을 추출(line:5)하여 동일한 3-튜플을 가지는 헤더 시그니처를 찾는다(line:6). 3-튜플을 추출하는 방법은 앞서 설명한 시그니처 생성 단계(S410)에서 서버를 구분한 방법과 동일하다. 동일한 시그니처를 찾았을 경우, 해당 시그니처의 응용으로 트래픽을 분석한다(line:7). 이때 3-튜플 정보를 키로 사용하는 해시 자료 구조를 사용하기 때문에 빠르게 동일한 시그니처를 찾을 수 있다. 또한, 시그니처의 분석 이력을 기록하여 시그니처 관리 단계(S430)에서 활용한다In the traffic analysis step S420, the
도 7은 시그니처 관리 단계(S430)의 흐름을 도시하고 있다.7 shows the flow of the signature management step S430.
전술한 바와 같이 시그니처를 관리한다는 것은 각 시그니처의 특성을 파악하여 트래픽 분석에 유용한 시그니처는 목록에 유지 시키고 그렇지 않은 시그니처는 목록에서 삭제하는 것을 의미한다. 이를 위해 시그니처 관리부(400)는 발생 형태, 사용 주기, 트래픽 통계적 특성, 사용 빈도를 고려한다.As described above, managing signatures means identifying the characteristics of each signature and keeping the signatures useful for traffic analysis in the list, and deleting the signatures that are not in the list. For this purpose, the
트래픽 분석 단계(S410)에서 입력 데이터는 현재의 시그니처 목록(HSbefore)이고 출력 데이터는 최적화된 시그니처 목록(HSafter)이다. 시그니처 관리부(400)는 추출된 시그니처의 특성을 파악하여 비정상 트래픽(예: 단방향 통신, P2P)을 분석하는 시그니처(isAbnormal)와 해당 응용을 기준으로 일정 기간 사용되지 않은 시그니처(isTimeout)를 삭제한다(line:5). 단, 해당 시그니처로 분석된 트래픽이 우세한 특징을 가지고(isDominant), 여러 호스트에 의해 사용된 경우(isPopular), 삭제 대상에서 제외된다(line:6)In the traffic analysis step S410, the input data is the current signature list HSbefore and the output data is the optimized signature list HSafter. The
각 세부 관리 방법은 이하 도 8에서 도 15를 사용하여 설명한다. 도 8, 9는 발생 형태, 도 10, 11은 사용 주기, 도 12, 13은 트래픽 통계적 특성, 도 14, 15는 사용 빈도 정보를 시그니처 관리에 어떻게 사용하는지 도시한 도면이다.Each detailed management method will be described below with reference to FIGS. 8 to 15. 8 and 9 show a generation form, Figs. 10 and 11 show usage cycles, Figs. 12 and 13 show traffic statistical characteristics, and Figs. 14 and 15 show how frequency information is used for signature management.
도 8은 비정상 트래픽의 특성 및 P2P트래픽의 특성을 분석한 그래프를 도시하며, 도 9는 발생 형태 분석 단계의 흐름을 도시한다.8 shows a graph analyzing the characteristics of the abnormal traffic and the characteristics of the P2P traffic, and FIG. 9 illustrates the flow of the generation type analysis step.
비정상적인 트래픽(포트 스캔, NetBIOS-SMB)과 P2P 응용에서 발생한 트래픽은 발생 형태의 특성 때문에 많은 시그니처가 추출되지만, 추출된 시그니처의 대부분은 분석에 일회적으로만 사용되기 때문에 분석 성능을 떨어뜨리고 메모리 오버헤드를 증가시키므로, 삭제하는 것이 바람직하다.Unusual traffic (port scan, NetBIOS-SMB) and traffic from P2P applications are extracted many signatures due to the nature of their occurrence, but most of the extracted signatures are used only once for analysis, which reduces analysis performance and memory overhead. Since it increases, it is preferable to delete it.
먼저 도 8을 통해 비정상 트래픽(위)과 P2P 응용(아래)의 특성을 살펴보자.First, the characteristics of abnormal traffic (above) and P2P application (below) will be described with reference to FIG. 8.
비정상과 정상 트래픽의 시그니처 당 분석된 플로우 수(fps)와 시그니처 당 분석된 클라이언트 수(cps)를 CDF(Cumulative Distribution Function)로 나타내면, 도면과 같이 비정상 트래픽에서 추출한 대부분의 시그니처(96.16%)는 오직 하나의 플로우만 분석한다. 즉, 정상적인 양방향 통신이 아니 단방향 통신에서 발생된 트래픽을 분석한다. 이에 반해 정상 트래픽에서 추출한 시그니처는 소수의 시그니처(10.01%)만이 하나의 플로우를 분석한다.The number of flows analyzed per signature (fps) and the number of clients analyzed per signature (cps) per signature are represented as Cumulative Distribution Functions (CDFs) .The majority of signatures extracted from abnormal traffic (96.16%) are Only one flow is analyzed. That is, it analyzes traffic generated in one-way communication rather than normal two-way communication. In contrast, only a few signatures (10.01%) analyze a single flow in signatures extracted from normal traffic.
이러한 특성을 이용하여 비정상 트래픽에서 추출한 시그니처를 판별할 수 있지만, 좀 더 정확한 판별을 위해 추가적인 특성을 사용할 수 있다. 비정상 트래픽에서 추출한 시그니처로 분석된 트래픽의 고유한 클라이언트 수(cps)를 조사한 결과 시그니처의 cps가 대부분 1이었다. 즉, 해당 시그니처로 분석된 플로우를 앞서 설명한 번치로 재구성하였을 때, 오직 하나의 클라이언트 노드로 구성된다.These characteristics can be used to determine signatures extracted from abnormal traffic, but additional characteristics can be used for more accurate determination. As a result of examining the unique number of clients (cps) of the traffic analyzed by the signature extracted from the abnormal traffic, the cps of the signature was mostly 1. In other words, when the flow analyzed by the signature is reconfigured to the above-described bunch, only one client node is configured.
따라서 특정 시그니처가 분석한 플로우의 개수가 1이고, 해당 시그니처로 분석된 클라이언트 수가 1이면, 비정상 시그니처로 판별할 수 있다. 즉, 단일 호스트에서 발생된 단방향 플로우를 나타내는 것은 비정상 시그니처로 판별할 수 있다Therefore, when the number of flows analyzed by a specific signature is 1 and the number of clients analyzed by the signature is 1, it may be determined as an abnormal signature. That is, indicating a unidirectional flow generated from a single host may be determined as an abnormal signature.
또한 P2P 시그니처로 분석된 트래픽의 플로우 대부분(80%)은 오직 하나의 패킷으로 구성되었다. 따라서 오직 하나의 패킷으로 구성된 트래픽은 P2P 응용의 검색 또는 파일 전송에 관련된 것이므로 해당 시그니처를 P2P 시그니처로 판별할 수 있다.In addition, most of the flow (80%) of traffic analyzed by P2P signatures consisted of only one packet. Therefore, the traffic consisting of only one packet is related to the discovery or file transfer of the P2P application, so the corresponding signature can be determined as the P2P signature.
이러한 특성을 이용해 도 9의 방법은 비정상 시그니처(line:4~7), P2P 시그니처(line:8~10)를 판별한다. 비정상 시그니처를 판별하기 위해 해당 시그니처로 분석된 플로우 개수를 확인(line:5)하고 단방향 플로우이면 해당 트래픽을 발생 시킨 클라이언트 개수를 확인(line:6)하고, 해당 트래픽이 특정 호스트에서 독점적으로 발생한 것이면 비정상 시그니처로 판별한다. P2P 시그니처는 해당 시그니처로 분석된 트래픽의 플로우 당 패킷 수를 확인(line:9)하여 1이면 P2P 시그니처로 판별한다.Using these characteristics, the method of FIG. 9 determines an abnormal signature (line: 4 to 7) and a P2P signature (line: 8 to 10). To determine the abnormal signature, check the number of flows analyzed by the signature (line: 5), and if it is a one-way flow, check the number of clients that generated the traffic (line: 6), and if the traffic is exclusively from a specific host, Determine by abnormal signature. The P2P signature checks the number of packets per flow of traffic analyzed by the signature (line: 9), and if it is 1, determines the P2P signature.
도 10은 응용별 시그니처 최대 유휴 시간을 분석한 그래프를 도시하며, 도 11은 사용 주기 분석 단계의 흐름을 도시한다.10 shows a graph analyzing the signature maximum idle time for each application, and FIG. 11 shows the flow of the use cycle analysis step.
시그니처 목록의 폭발적인 증가를 막기 위해서는 오랜 기간 사용하지 않은 시그니처를 목록에서 제거해야 한다. 하지만 모든 응용에 동일한 유휴 시간 기준값을 적용하면 사용 주기가 긴 응용의 시그니처는 지속적으로 목록에서 삭제되어 버릴 것이다. 따라서, 응용의 사용 주기를 반영하여 기준값을 설정하고 시그니처를 관리해야 한다In order to prevent the explosion of signature lists, signatures that have not been used for a long time should be removed from the list. However, if the same idle time threshold is applied to all applications, the signatures of long-lived applications will continue to be removed from the list. Therefore, it is necessary to set reference values and manage signatures to reflect the life cycle of the application.
도 10은 응용별 시그니처의 사용 주기를 확인하기 위해 몇가지 응용을 선정하여 시그니처를 추출하고 실제 발생 트래픽을 분석하고, 분석에 사용된 시그니처에 사용 이력을 기록하여 시그니처 별 최대 유휴 시간을 분석한 그래프이다. 정확한 실험을 위해 2회 이상 사용된 시그니처만 대상으로 하였다. 즉, 일회성 시그니처는 실험 대상에서 제외시켰다.FIG. 10 is a graph of several signatures selected to determine the usage cycles of signatures for each application, extracting signatures, analyzing actual traffic generated, and recording usage history in signatures used for analysis to analyze maximum idle time for each signature. . Only signatures used more than once for the exact experiments were covered. That is, the one-time signature was excluded from the test subject.
그 결과 웹(IE)이나 메신저(nateon) 트래픽을 분석한 시그니처의 유휴 시간은 P2P 응용(torrent)에서 발생한 트래픽을 분석한 시그니처의 유휴 시간보다 상대적으로 길었다. 이를 근거로 시그니처 사용 이력 정보를 활용하여 응용별로 최대 유휴 시간을 정할 수 있음을 알 수 있다. 즉, 응용별로 가장 긴 유휴 시간을 갖는 시그니처에 기록된 유휴 시간을 응용별 최대 유휴 시간을 정하는 데 사용할 수 있다.As a result, the signature idle time of web (IE) or messenger (nateon) traffic was relatively longer than the signature idle time of traffic from P2P application (torrent). Based on this, it can be seen that the maximum idle time can be determined for each application by using the signature usage history information. That is, the idle time recorded in the signature having the longest idle time for each application may be used to determine the maximum idle time for each application.
하지만 네트워크의 환경에 따라 각 응용에 적합한 유휴 시간 기준값이 다를 것이므로, 본 발명의 일실시예에서는 각 응용의 최대 유휴 시간 값을 유동적으로 구하기 위해 해당 응용 시그니처 중 가장 긴 유휴 시간을 α배한 값을 사용할 수 있다. 즉, α배의 이유는 응용 별 유휴 시간 기준을 응용의 사용량에 따라 유동적으로 변화시키기 위함이다. 여기서 α값은 예를 들어 1.1이 될 수 있다. However, since the idle time reference value suitable for each application will be different according to the environment of the network, in an embodiment of the present invention, a value obtained by multiplying the longest idle time among the corresponding application signatures by α is used to flexibly obtain the maximum idle time value of each application. Can be. That is, the reason of α times is to change the idle time criteria for each application flexibly according to the usage amount of the application. The value of α may be, for example, 1.1.
도 11의 방법은 입력된 시그니처의 최대 유휴시간과 해당 응용의 최대 유휴 시간을 비교하여 일정 기간 이상 사용하지 않은 시그니처를 판별한다. 입력된 시그니처의 응용을 확인(line:4)하고, 현재 시간을 기준으로 유휴 시간을 계산한다(line:5). 입력된 시그니처의 유휴 시간이 해당 응용에서 추출된 시그니처들의 최대 유휴 시간 α배와 비교(line:6)하여 크면 참을 반환(line:7)하고 그렇지 않으면 거짓을 반환(line:8)한다. 즉, 해당 응용의 최대 유휴 시간 보다 오랜 기간 사용하지 않은 시그니처를 삭제 대상 시그니처로 판별한다.The method of FIG. 11 compares the maximum idle time of the input signature with the maximum idle time of the corresponding application to determine a signature that has not been used for a predetermined period. The application of the input signature is checked (line: 4) and the idle time is calculated based on the current time (line: 5). If the idle time of the input signature is greater than the maximum idle time α times of the signatures extracted from the application (line: 6), it returns true (line: 7), otherwise false (line: 8). That is, the signature that is not used for longer than the maximum idle time of the application is determined as the signature to be deleted.
도 12는 시그니처별 트래픽 분석 성능을 분석한 그래프를 도시하며, 도 13은 통계적 특성 분석 단계의 흐름을 도시한다.12 shows a graph analyzing the traffic analysis performance by signature, and FIG. 13 shows the flow of the statistical characteristic analysis step.
트래픽 특성을 연구한 논문들에 따르면, 소량의 우세한(dominant) 몇몇 트래픽이 전체 트래픽에 큰 영향을 미친다. 즉, 전체 트래픽에서 소수의 유력(heavy hitter) 플로우가 트래픽의 많은 바이트 비율을 차지한다.According to papers that study traffic characteristics, some small amounts of dominant traffic have a significant effect on the overall traffic. That is, a small number of heavy hitter flows account for a large percentage of the traffic in the total traffic.
마찬가지로 헤더 시그니처에도 유력 시그니처가 존재 한다. 즉, 트래픽 분석에 있어 우세한 트래픽을 분석하는 우세한 헤더 시그니처가 존재한다. 따라서 이러한 우세한 시그니처들을 시그니처 테이블에 오래 유지시켜야 트래픽 분석 성능을 향상시킬 수 있을 것이다.Similarly, a header signature exists in the header signature. That is, there is a predominant header signature that analyzes the traffic prevailing in the traffic analysis. Therefore, keeping these dominant signatures in the signature table for a long time will improve traffic analysis performance.
도 12는 우세한 시그니처의 존재를 확인하기 위하여 일정 기간 동안 시그니처를 추출하고 해당 시그니처로 분석된 트래픽의 비율을 조사한 결과를 보여준다. 우세한 시그니처를 확인하기 위하여 분석한 트래픽의 비율이 높은 순서로 시그니처 아이디를 부여하였다.12 shows a result of extracting a signature over a period of time and checking the ratio of traffic analyzed by the signature in order to confirm the existence of a dominant signature. In order to identify the predominant signatures, the signature IDs are assigned in the order of the high percentage of traffic analyzed.
그 결과, 일부 시그니처(73.56%) 만이 트래픽 분석에 사용되었고, 또한 몇몇 소량의 시그니처(15.17%)가 분석된 트래픽의 대부분(90%)을 분석하였음을 알 수 있다. 즉, 우세한 트래픽을 분석하는 우세한 시그니처가 존재함을 확인할 수 있다As a result, it can be seen that only some signatures (73.56%) were used for traffic analysis, and some small amounts of signatures (15.17%) analyzed most of the analyzed traffic (90%). In other words, it can be seen that there is a dominant signature that analyzes dominant traffic.
본 관리 방법에서는 우세한 시그니처를 판별하기 위해 해당 시그니처가 분석한 트래픽의 다양한 특성(예를 들어, 플로우의 크기, 플로우의 지속 시간)을 사용하며, 하나 이상의 측면에서 우세한 특성을 가지면 해당 시그니처를 우세한 시그니처로 판별한다.This management method uses various characteristics of the traffic analyzed by the signature (e.g., flow size, duration of the flow) to determine the predominant signature, and the signature that prevails the signature if the signature is superior in one or more aspects. Determine with.
또한, 응용별로 상이한 특성을 반영하기 위해 응용별 평균 트래픽 특성을 기준으로 각 트래픽 특성을 파악한다. 우세한 특성을 판단하기 위해 각 특성의 평균(mean)과 표준편차(standard deviation)를 사용한다. 즉, 어떤 특성이 우세한 특성인지 여부는 해당 응용으로 분석된 전체 트래픽의 평균과 표준편차 3배의 합보다 해당 특성의 값이 큰지 여부로 판별된다. 이 방법은 종래에 제안된 방법이므로 왜 이러한 수식을 사용하는지에 대한 설명은 생략한다.In addition, each traffic characteristic is identified based on the average traffic characteristic of each application in order to reflect different characteristics for each application. Use the mean and standard deviation of each feature to determine the dominant features. In other words, whether the characteristic is the dominant characteristic is determined by whether the value of the characteristic is larger than the sum of the average and the standard deviation of three times the total traffic analyzed by the application. Since this method is a conventionally proposed method, a description of why the equation is used is omitted.
도 13의 방법은 앞에서 예로 든 플로우의 크기(i가 0일 때), 플로우의 지속 시간(i가 1일 때)이라는 2가지 측면의 트래픽 특성을 파악하기 위해 반복 구조(line:4~11)를 사용한다. 우선, 시그니처가 입력되면, 해당 시그니처가 추출된 응용을 확인한다(line:6). 확인된 응용으로 분석된 전체 트래픽의 해당 특성에 대한 평균(mean) 과 표준 편차(standard deviation)을 구한다(line:7~8). 해당 시그니처의 특성과 해당 시그니처가 속한 응용의 전체 특성을 비교하여 우세한 시그니처를 분석한다(line:9~10).The method of FIG. 13 is an iterative structure (line: 4 to 11) in order to grasp the traffic characteristics of two aspects of the flow size (when i is 0) and the duration of the flow (when i is 1). Use First, if a signature is input, the application is checked for the signature (line: 6). Obtain the mean and standard deviation for the corresponding characteristics of the total traffic analyzed by the identified application (line: 7-8). The dominant signature is analyzed by comparing the signature's characteristics with the overall characteristics of the application to which the signature belongs (line: 9 ~ 10).
도 14는 응용별 시그니처 사용률을 분석한 그래프를 도시하며, 도 15는 사용 빈도 분석 단계의 흐름을 도시한다.FIG. 14 is a graph illustrating an analysis of signature usage by application, and FIG. 15 is a flowchart illustrating a usage frequency analysis step.
시그니처는 해당 응용 서버를 대표하는 것이기 때문에 해당 응용을 사용할 때 자주 사용되는 것이어야 한다. 따라서, 해당 시그니처로 분석된 트래픽을 발생시킨 호스트의 개수 대비 해당 응용으로 분석된 트래픽을 발생시킨 호스트 개수의 비율로 계산되는 시그니처의 사용률이 임계값 β 이상일 때 해당 시그니처를 삭제 대상에서 제외하는 것이 필요하다. 즉, 인기있는 시그니처는 시그니처 목록에 유지하자는 것이다.Since signatures are representative of the application server, they should be used frequently when using the application. Therefore, it is necessary to exclude the signature from the target of deletion when the utilization rate of the signature calculated as the ratio of the number of hosts that generate traffic analyzed by the application to the number of hosts that generate traffic analyzed by the signature is greater than or equal to the threshold β. Do. That is, keep the popular signatures on the list of signatures.
도 14는 응용별 시그니처의 사용률을 확인하기 위해 몇몇 응용을 선정하고 사용률의 분포를 분석한 그래프이다. 그 결과, 단일 호스트에서 트래픽이 발생하는 P2P 응용의 경우 대부분 시그니처의 사용률이 0인 것에 반해, 메신저 응용의 경우 사용률이 상대적으로 높은 시그니처가 존재함을 확인할 수 있다.14 is a graph in which several applications are selected to analyze the distribution of usage rates in order to confirm the usage rates of signatures for each application. As a result, in the case of P2P applications that generate traffic in a single host, the signature usage rate is mostly 0, whereas in the messenger application, there is a relatively high usage rate signature.
도 15의 방법은 시그니처가 입력되면 해당 시그니처가 추출된 응용을 확인한다(line:4). 확인된 응용을 통해 해당 응용을 사용한 호스트의 개수를 구한다(line:5). 이 응용을 사용한 총 호스트의 개수와 해당 시그니처를 사용한 호스트의 개수의 비율(line:6)이 특정 기준값(β)을 넘으면 해당 시그니처는 인기있는 시그니처로 판별된다.In the method of FIG. 15, when a signature is input, the application of the signature is extracted (line: 4). Find the number of hosts using the application through the identified application (line: 5). If the ratio (line: 6) of the total number of hosts using this application to the number of hosts using the signature exceeds a certain reference value β, the signature is determined to be a popular signature.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .
10: 네트워크 트래픽 분석 시스템
100: 시그니처 저장부(100)
200: 시그니처 추출부(200)
300: 트래픽 분석부(300)
400: 시그니처 관리부(400)10: network traffic analysis system
100:
200:
300:
400:
Claims (11)
네트워크 트래픽으로부터 시그니처를 추출하는 시그니처 추출부;
상기 시그니처 추출부에 의해 추출된 상기 시그니처가 저장되는 시그니처 저장부;
상기 시그니처 저장부에 저장되어 있는 시그니처를 기초로 네트워크 트래픽을 분석하고, 상기 시그니처에 상기 트래픽의 분석 이력을 저장하는 트래픽 분석부; 및
상기 분석 이력을 기초로 도출되는 상기 시그니처의 적어도 하나 이상의 특성을 기초로 상기 시그니처 저장부에 저장되어 있는 시그니처의 삭제 여부를 결정하여 상기 시그니처 수를 최소량으로 유지하는 시그니처 관리부;를 포함하되,
상기 분석 이력은 트래픽의 크기, 지속 시간, 호스트, 및 사용 시간 중 적어도 하나 이상을 포함하는 네트워크 트래픽 분석 시스템.In the network traffic analysis system,
A signature extractor that extracts a signature from network traffic;
A signature storage unit storing the signature extracted by the signature extraction unit;
A traffic analyzer for analyzing network traffic based on the signature stored in the signature storage unit, and storing an analysis history of the traffic in the signature; And
And a signature manager configured to determine whether to delete a signature stored in the signature storage unit based on at least one or more characteristics of the signature derived based on the analysis history, and to maintain the number of signatures to a minimum amount.
The analysis history comprises at least one of traffic size, duration, host, and usage time.
상기 트래픽 분석부는 분석 대상 네트워크의 트래픽을 수집하여, 상기 트래픽을 발생시킨 응용에 따라 분류하고, 상기 분류된 트래픽을 수량적으로 측정하는 것이되,
상기 시그니처 추출부는 상기 네트워크 트래픽을 응용별로 분류하여 상기 응용에 대한 정보를 포함하는 시그니처를 생성하며,
상기 트래픽 분석부는 상기 트래픽 분석시 상기 시그니처에 포함되어 있는 상기 응용 정보를 사용하는 네트워크 트래픽 분석 시스템.The method of claim 1,
The traffic analysis unit collects the traffic of the analysis target network, classifies according to the application that generated the traffic, and measures the classified traffic quantitatively,
The signature extracting unit classifies the network traffic for each application to generate a signature including information about the application.
The traffic analysis unit is a network traffic analysis system using the application information included in the signature when analyzing the traffic.
상기 시그니처 추출부는 응용별로 분류된 네트워크 트래픽을 서버별로 재구성하여 상기 시그니처를 추출하며, 상기 시그니처는 상기 서버의 헤더에서 추출한 IP 주소, 포트 번호, 및 전송 계층 프로토콜 정보를 키로 하는 해시 자료 구조를 사용하여 상기 시그니처 저장부에 저장되며,
상기 트래픽 분석부는 수집된 네트워크 트래픽의 헤더 정보에서 추출한 IP 주소, 포트 번호, 및 전송 계층 프로토콜 정보를 해시 키로 하여 상기 시그니처 저장부에서 상기 해시 키가 동일한 시그니처를 검색하고, 상기 검색된 시그니처의 응용을 통해 상기 트래픽의 응용을 식별함으로써 상기 트래픽을 분석하는 것인 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature extracting unit extracts the signature by reconfiguring network traffic classified by application for each server, and the signature uses a hash data structure using an IP address, a port number, and transport layer protocol information extracted from a header of the server as a key. Stored in the signature storage,
The traffic analyzer retrieves a signature having the same hash key from the signature storage unit using the IP address, the port number, and the transport layer protocol information extracted from the header information of the collected network traffic, and applies an application of the retrieved signature. And analyze the traffic by identifying the application of the traffic.
상기 시그니처 추출부는 정답지 트래픽(Ground Truth Traffic)을 실시간으로 수집하여 상기 시그니처를 추출하는 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature extractor extracts the signature by collecting ground truth traffic in real time.
상기 시그니처 특성은 시그니처 발생 형태 정보를 포함하며, 상기 시그니처 관리부는 상기 정보를 기초로 일회성 시그니처를 삭제하는 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature characteristic includes signature generation type information, and the signature manager deletes the one-time signature based on the information.
상기 시그니처 특성은 시그니처 사용 주기 정보를 포함하며, 상기 시그니처 관리부는 상기 정보를 기초로 상기 시그니처가 트래픽 분석에 사용되지 않은 시간이 응용별 최대 유휴 시간 이상인 시그니처를 삭제하는 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature characteristic includes signature usage period information, and wherein the signature management unit deletes a signature for which a time when the signature is not used for traffic analysis is greater than or equal to a maximum idle time for each application, based on the information.
상기 시그니처 특성은 시그니처가 분석한 트래픽의 통계적 특성 정보를 포함하며, 상기 시그니처 관리부는 상기 정보를 기초로 전체 트래픽에 큰 영향을 미치는 우세한 트래픽을 분석해내는 우세한 시그니처를 유지하되,
상기 우세한 시그니처는 상기 분석 이력에 기록된 트래픽의 다양한 특성 중 적어도 하나가 우세하다고 판단될 경우 우세한 시그니처로 결정되는 것이며,
상기 특성이 우세한지 여부는 상기 시그니처에 해당되는 응용으로 분석된 트래픽의 평균과 표준 편차에 기초하여 판단되는 것인 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature characteristic includes statistical characteristic information of the traffic analyzed by the signature, and the signature manager maintains a predominant signature that analyzes the predominant traffic having a great influence on the overall traffic based on the information.
The predominant signature is determined as the predominant signature when it is determined that at least one of the various characteristics of the traffic recorded in the analysis history is predominant.
Whether the characteristic is dominant is determined based on the average and standard deviation of traffic analyzed by the application corresponding to the signature.
상기 시그니처 특성은 시그니처 사용 빈도 정보를 포함하며, 상기 시그니처 관리부는 상기 정보를 기초로 여러 호스트에 사용된 인기 시그니처를 유지하되,
상기 인기 시그니처는 상기 시그니처의 응용을 사용하는 호스트 수 대비 상기 시그니처를 사용하는 호스트 수 비율이 임계값을 초과한 경우인 네트워크 트래픽 분석 시스템.The method of claim 1,
The signature characteristic includes signature frequency information, and the signature manager maintains popular signatures used for various hosts based on the information.
The popular signature is when the ratio of the number of hosts using the signature to the number of hosts using the application of the signature exceeds the threshold.
(a) 네트워크 트래픽을 응용별로 분류하여 상기 응용에 대한 정보를 포함하는 시그니처를 추출하는 단계;
(b) 분석 대상 네트워크의 트래픽을 수집하고, 상기 시그니처에 포함되어 있는 상기 응용 정보를 사용하여 상기 트래픽을 발생시킨 응용에 따라 분류하고, 상기 분류된 트래픽을 수량적으로 측정하여 네트워크 트래픽을 분석하고, 상기 시그니처에 상기 트래픽의 크기, 지속 시간, 호스트, 및 사용 시간 중 적어도 하나 이상을 포함하는 트래픽 분석 이력을 저장하는 단계; 및
(c) 상기 분석 이력을 기초로 도출되는 상기 시그니처의 적어도 하나 이상의 특성을 기초로 상기 시그니처의 삭제 여부를 결정하여, 상기 시그니처 수를 최소로 유지하는 단계;를 포함하는 네트워크 트래픽 분석 방법.A method for analyzing network traffic,
(a) classifying network traffic by application and extracting a signature including information about the application;
(b) collect the traffic of the network to be analyzed, classify according to the application that generated the traffic using the application information included in the signature, analyze the network traffic by quantitatively measuring the classified traffic; Storing a traffic analysis history including at least one of the size, duration, host, and usage time of the traffic in the signature; And
(c) determining whether to delete the signature based on at least one characteristic of the signature derived based on the analysis history, and maintaining the number of signatures to a minimum.
상기 시그니처는 상기 응용별로 분류된 네트워크 트래픽을 서버별로 재구성하여 헤더에서 추출한, 상기 서버의 IP 주소, 포트 번호, 및 전송 계층 프로토콜 정보를 포함하는 네트워크 트래픽 분석 방법.The method of claim 9,
The signature comprises the IP address, port number, and transport layer protocol information of the server, which is extracted from a header by reconfiguring network traffic classified by application for each server.
상기 시그니처 특성은 시그니처 발생 형태, 시그니처사용 주기, 시그니처가 분석한 트래픽의 통계적 특성, 및 시그니처 사용 빈도 정보를 포함하며,
상기 (c) 단계는 상기 정보를 기초로 일회성 시그니처, 및/또는 트래픽 분석에 사용되지 않은 시간이 응용별 최대 유휴 시간 이상인 시그니처를 삭제하고,
전체 트래픽에 큰 영향을 미치는 우세한 트래픽을 분석해내는 우세한 시그니처, 및 여러 호스트에 사용된 인기 시그니처를 유지하는 네트워크 트래픽 분석 방법.The method of claim 9,
The signature characteristic includes a signature generation form, a signature usage period, statistical characteristics of traffic analyzed by the signature, and signature frequency information.
Step (c) deletes the one-time signature based on the information, and / or the signature for which the time not used for the traffic analysis is greater than the maximum idle time for each application,
A method of analyzing network traffic that maintains a dominant signature that analyzes dominant traffic that has a significant impact on overall traffic, and a popular signature used on multiple hosts.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110119909A KR101338223B1 (en) | 2011-11-17 | 2011-11-17 | System and method for analyzing network traffic |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110119909A KR101338223B1 (en) | 2011-11-17 | 2011-11-17 | System and method for analyzing network traffic |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130054511A KR20130054511A (en) | 2013-05-27 |
| KR101338223B1 true KR101338223B1 (en) | 2013-12-10 |
Family
ID=48663276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110119909A KR101338223B1 (en) | 2011-11-17 | 2011-11-17 | System and method for analyzing network traffic |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101338223B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101512134B1 (en) * | 2014-03-31 | 2015-04-14 | (주) 시스메이트 | Apparatus and Method for Processing Dispersely Asymmetry Traffic Statistics |
| KR101625890B1 (en) | 2015-04-17 | 2016-05-31 | (주)소만사 | Test automation system and test automation method for detecting change for signature of internet application traffic protocol |
| KR101884529B1 (en) * | 2016-11-16 | 2018-08-02 | 고려대학교 세종산학협력단 | System and method for automatic payload signature update for classification of recent network application |
| KR102297290B1 (en) * | 2020-10-19 | 2021-09-03 | (주)휴네시온 | Method and Apparatus for Analyzing the Quantization of Network Traffic |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100127591A (en) * | 2009-05-26 | 2010-12-06 | 포항공과대학교 산학협력단 | Signature generation apparatus for network behavior of applications, collection server, detection system for network behavior, and signature generation method for network behavior |
-
2011
- 2011-11-17 KR KR1020110119909A patent/KR101338223B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100127591A (en) * | 2009-05-26 | 2010-12-06 | 포항공과대학교 산학협력단 | Signature generation apparatus for network behavior of applications, collection server, detection system for network behavior, and signature generation method for network behavior |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130054511A (en) | 2013-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10721243B2 (en) | Apparatus, system and method for identifying and mitigating malicious network threats | |
| CN111935170B (en) | Network abnormal flow detection method, device and equipment | |
| US9088598B1 (en) | Systematic mining of associated server herds for uncovering malware and attack campaigns | |
| KR101519623B1 (en) | DDoS detection apparatus and method, DDoS detection and prevention apparatus for reducing positive false | |
| KR101391781B1 (en) | Apparatus and Method for Detecting HTTP Botnet based on the Density of Web Transaction | |
| US8634717B2 (en) | DDoS attack detection and defense apparatus and method using packet data | |
| US20070248084A1 (en) | Symmetric connection detection | |
| KR101295708B1 (en) | Apparatus for capturing traffic and apparatus, system and method for analyzing traffic | |
| Liu et al. | Fine-grained DDoS detection scheme based on bidirectional count sketch | |
| JP2015502060A (en) | Streaming method and system for processing network metadata | |
| US10440035B2 (en) | Identifying malicious communication channels in network traffic by generating data based on adaptive sampling | |
| Aizuddin et al. | DNS amplification attack detection and mitigation via sFlow with security-centric SDN | |
| KR101338223B1 (en) | System and method for analyzing network traffic | |
| Vaarandi | Detecting anomalous network traffic in organizational private networks | |
| JP2020022133A (en) | Infection expansion attack detection device, attack source identification method and program | |
| Zhang et al. | A spark-based DDoS attack detection model in cloud services | |
| US7706273B2 (en) | Port tracking on dynamically negotiated ports | |
| Kong et al. | Time-out bloom filter: A new sampling method for recording more flows | |
| Liu et al. | Next generation internet traffic monitoring system based on netflow | |
| Nie et al. | Intrusion detection using a graphical fingerprint model | |
| Nawaz et al. | Attack detection from network traffic using machine learning | |
| KR101573413B1 (en) | Apparatus and method for detecting intrusion using principal component analysis | |
| CN108347447B (en) | P2P botnet detection method and system based on periodic communication behavior analysis | |
| Li et al. | Composite lightweight traffic classification system for network management | |
| TWI666568B (en) | Method of Netflow-Based Session Detection for P2P Botnet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160928 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191007 Year of fee payment: 7 |