KR20080066653A - 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법 - Google Patents

완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법 Download PDF

Info

Publication number
KR20080066653A
KR20080066653A KR1020087002379A KR20087002379A KR20080066653A KR 20080066653 A KR20080066653 A KR 20080066653A KR 1020087002379 A KR1020087002379 A KR 1020087002379A KR 20087002379 A KR20087002379 A KR 20087002379A KR 20080066653 A KR20080066653 A KR 20080066653A
Authority
KR
South Korea
Prior art keywords
communication network
network traffic
traffic
anomaly
communication
Prior art date
Application number
KR1020087002379A
Other languages
English (en)
Inventor
마크 크로벨라
아누쿨 라키나
Original Assignee
트러스티스 오브 보스턴 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 트러스티스 오브 보스턴 유니버시티 filed Critical 트러스티스 오브 보스턴 유니버시티
Publication of KR20080066653A publication Critical patent/KR20080066653A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 통신 네트워크에서 드문 네트워크 사건 또는 네트워크 변칙을 검출, 모니터링 또는 분석하고 다른 장점들을 수행하기 위한 방법 및 장치에 관한 것이다. 본 발명의 실시예들은 다수의 통계적 및 수학적 방법들을 적용함으로써 네트워크를 검출, 모니터링 또는 분석할 수 있다. 본 발명의 실시예들은 네트워크 변칙을 검출, 모니터링 또는 분석하기 위한 방법 및 장치 모두를 포함한다. 실시예들은 분류 및 국부화(localization)를 포함한다.

Description

완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽 피쳐 분포를 사용하여 네트워크 변칙들을 검출하고 분류하기 위한 방법{METHOD AND APPARATUS FOR WHOLE-NETWORK ANOMALY DIAGNOSIS AND METHODS TO DETECT AND CLASSIFY NETWORK ANOMALIES USING TRAFFIC FEATURE DISTRIBUTIONS}
본 출원은 2005년 6월 29일에 출원된 미국 예비 특허 출원 60/694,853호 및 60/694,840호의 U.S.C. § 119(e)의 이익을 청구하며, 그 모든 내용은 본 명세서에 참조로서 통합된다.
본 발명은 국립 과학 재단(National Science Foundation) 승인 번호 ANI-9986397 및 CCR-0325701로부터 일부분 지지되어 전개된다.
네트워크 변칙은 네트워크 제공자, 네트워크 사용자, 네트워크 작동자 또는 법 집행 에이전시와 같은 실체에게 흥미로운 네트워크에서 드물게 일어나는 사건이다. 네트워크 리소스에서의 붕괴와 같은 일반적 네트워크 트래픽 상태의 결과로서 네트워크 변칙은 뜻하지 않게 생성된다. 네트워크 변칙은 또한 네트워크를 손상시키거나 네트워크의 성능을 약하게 하도록 행동하는 개인 또는 해커에 의한 악의적인 공격에 의해 뜻하지 않게 생성될 수 있다.
통상적으로, 네트워크 변칙은 네트워크의 단일 라우터 또는 단일 링크와 같 은 네트워크 엘리먼트로부터 데이터를 수집함으로써 모니터링 또는 분석된다. 그러한 데이터 수집은 다른 네트워크 데이터 또는 다른 네트워크 엘리먼트들로부터 고립되어 수행된다. 다시 말해, 네트워크 변칙을 찾아내는 것은 링크-레벨 트래픽 특성화와 밀접하게 관련된다.
네트워크 변칙을 모니터링 또는 분석하기 위한 다른 접근법은 트래픽 크기의 편차로서 네트워크 변칙을 다룬다. 이는 시각적으로 두드러지는 네트워크 변칙의 검출을 가능하게 하지만, 낮은 정도의 네트워크 변칙(예를 들어, 웜(worm), 포트 스캔(port-scan), 작은 휴지(outage) 사건 등)은 트래픽 체적에 기초한 접근법에 의해 검출되지 않는다.
네트워크 변칙을 모니터링 또는 분석하기 위한 또 다른 접근법은 규칙이 개발되는 수동 방법이다. 규칙의 준수 또는 위반은 네트워크 변칙이 발생하는지 여부를 결정한다. 그러나, 규칙-기반 방법들은 새로운, 이전에 볼 수 없었던 변칙을 검출해낼 수 없다.
많은 현재의 방법들은 네트워크의 엘리먼트에 대한, 네트워크 변칙의 각각의 종류에 대한 해결책을 제공하나, 네트워크의 다수의 엘리먼트들에 대한 해결책이 선호된다.
본 발명은 통신 네트워크에서 드문 네트워크 사건 또는 네트워크 변칙을 검출, 모니터링 또는 분석하고 다른 장점들을 수행하기 위한 방법 및 장치에 관한 것이다. 본 발명의 실시예들은 다수의 통계적 및 수학적 방법들을 적용함으로써 네트워크를 검출, 모니터링 또는 분석할 수 있다. 본 발명의 실시예들은 네트워크 변칙을 검출, 모니터링 또는 분석하기 위한 방법 및 장치 모두를 포함한다. 실시예들은 분류 및 국부화(localization)를 포함한다.
본 발명은 연속적인 효율적 방식으로 네트워크에서 드문 사건들(변칙들)을 검출하고 분류하기 위한 일반적 기술이다. 상기 기술은 네트워크 전반 트래픽의 다중 피쳐들(어드레스들, 포트들 등)의 분포상의 특성들을 분석하는데서 발견된다. 트래픽 피쳐들의 이러한 분포상의 분석은 의미있는 클러스터들로의 네트워크 변칙들의 분류를 위한 두 개의 중요 엘리먼트들을 갖는다.
네트워크 트래픽은 다중 트래픽 피쳐들(어드레스들, 포트들, 프로토콜 등)의 분포를 위해 동시에 분석된다. 피쳐 분포를 이용한 변칙 검출은 고도로 민감하며, 체적 기반 방법에 의해 검출될 수 없는 낮은 속도의 중요한 변칙들을 노출시킴으로써 체적-기반 검출들을 증대시킨다.
네트워크 트래픽의 피쳐 분포는 변칙에 대한 구조적 지식을 추출하도록 생성된다. 변칙에 대한 이러한 구조적 지식은 구조적이고 의미론적으로 중요한 별개의 클러스터들로 변칙들을 분류하도록 사용된다. 변칙들의 분류는 비통제된 접근법에 의해 달성되어, 인간의 개입 또는 선험적 지식이 변칙들을 카테고리화하는데 필요치 않다. 이러한 비통제된 접근법은 본 발명이 신규한(이전에 볼 수 없었던) 변칙들(예를 들어, 새로운 웜들)을 인지하고 분류하도록 한다.
또한, 본 발명은 네트워크 전반의 데이터, 즉, 네트워크의 다중 리소스들로부터 수집되는 데이터의 다중 피쳐들을 분석한다. 네트워크 전반 분석은 네트워크를 통해 확장하는 변칙들의 검출을 가능하게 한다. 피쳐 분포 분석과 결합된 네트워크 전반 분석은 본 발명이 네트워크 전반 변칙들을 검출 및 분류하도록 하여, 주로 단일-리소스 데이터의 체적-기반 분석인 현재 방안(current scheme)에 의한 검출을 증대시킨다.
다중 네트워크 리소스들(즉, 네트워크 링크들, 라우터들 등)로부터 수집된 데이터의 조직적인 분석은 본 발명의 중요한 피쳐이다. 전체 네트워크 데이터에 영향을 줌으로써, 본 발명은 네트워크 전체에 걸친 변칙들을 포함하는 넓은 범위의 변칙들을 진단할 수 있다. 진단은 변칙이 존재하는 시간의 식별, 네트워크에서 변칙의 위치의 식별 및 변칙 타입의 식별을 허용한다.
변칙들은 폐해(공격, 웜 등)로부터 의도되지 않은 것(장비의 고장, 인간에 의한 에러 등)까지의 다양한 이유들에 대해 발생할 수 있다. 본 기술은 각각의 타입의 변칙에 대한 해결책을 가리키는데 한정되지 않는다. 대신, 설립된 통상의 반응으로부터의 실질적 편차로서 변칙들을 다룸으로써, 본 발명은 변칙적 사건들의 큰 종류를 진단하기 위하여 일반적 해결책을 제공한다.
일실시예는 네트워크 엘리먼트들에 의해 처리되는 통신 네트워크 트래픽에 대응하는 적어도 하나의 치수를 갖는 타임 시리즈를 형성하는 단계 및 이러한 네트워크 엘리먼트들에 존재하는 다수의 통신 네트워크 트래픽 패턴들로 타임 시리즈를 분해시키는 단계를 개시한다.
다른 실시예는 네트워크 엘리먼트들에 의해 처리되는 통신 네트워크 트래픽에 대응하는 적어도 하나의 치수를 갖고, 통신 네트워크 트래픽의 패턴에서 변칙을 검출하는 단일 또는 다중 변량 모델을 형성한다.
또 다른 실시예는 통신 네트워크 트래픽의 피쳐에서 편차를 발견한다.
또 다른 실시예는 통신 네트워크 트래픽 피쳐의 적어도 하나의 분포를 발생시키고, 통신 네트워크 트래픽 피쳐의 엔트로피를 추정하고, 통신 네트워크 트래픽 피쳐의 엔트로피의 임계치를 설정하며, 통신 네트워크 트래픽 피쳐의 엔트로피가 통신 네트워크 트래픽 피쳐의 엔트로피의 설정 임계치와 상이한 것으로 발견되는 경우 통신 네트워크 트래픽 피쳐가 변칙적임을 가리킨다.
본 발명의 이러한 피쳐들 및 다른 피쳐들은 다음의 첨부 도면들 및 상세한 설명과 함께 하기에서 설명된다.
도 1은 변칙 검출을 위해 데이터 소스에 대하여 본 발명에서 사용되는 전체 네트워크를 도시한다.
도 2a 내지 도 2c는 본 발명의 일측면에 따른 네트워크 데이터의 처리를 도시한다.
도 2d 내지 도 2g는 본 발명을 이해하는데 유용한 분포이다.
도 2h는 통상의 네트워크 통신 트래픽을 개시하는 본 발명에 따라 획득된 데이터를 도시한다.
도 2i는 변칙적인 네트워크 통신 트래픽을 도시하는 본 발명에 따라 획득된 데이터를 도시한다.
도 2j는 2차원상의 데이터 클러스터링을 도시한다.
도 3a 및 도 3b는 본 발명의 추가의 측면에 따른 네트워크 데이터의 처리를 도시한다.
도 3c는 본 발명의 사용에서 생성된 복수의 피쳐들에 대한 데이터의 다중-치수 매트릭스들을 도시한다.
도 3d는 도 3c의 매트릭스들에 대한 매트릭스 컨텐츠를 도시한다.
도 3e 및 도 3f는 본 발명에 따른 엔트로피 메트릭을 사용하는 결과값들을 도시한다.
도 3g는 본 발명에 실행되는 바와 같이 풀려진 매트릭스를 도시한다.
도 3h는 본 발명에서 실행되는 바와 같은 클러스터링의 결과값을 도시한다.
도 3i는 본 발명에 따른 변칙 특징화를 위한 예시적인 표이다.
본 발명은 통신 네트워크에서의 네트워크 변칙 또는 드문 네트워크 사건을 검출, 모니터링 또는 분석하기 위한 방법 및 장치에 관한 것이다. 본 발명의 실시예들은 네트워크 변칙을 검출, 모니터링 또는 분석하기 위한 특정 통계적 기술을 개시하며, 다른 공지된 기술들 또한 사용될 수 있다. 본 발명의 실시예들은 네트워크 변칙을 검출, 모니터링 또는 분석하기 위한 방법 및 장치 모두를 포함한다. 본 명세서에서는 데이터 수집을 위한 원리에 적용될 때 전체 네트워크라는 용어는 데이터가 변칙 검출 및 분석에서 의미 있도록 네트워크의 적어도 실체적 부분을 의미한다.
도 1은 통신 네트워크(100)를 도시한다. 통신 네트워크(100)는 라우터, 서 버 등을 갖는 노드들(a-m)과 같은 네트워크 엘리먼트들을 갖는다. 트래픽의 흐름의 도면이 루트(118)로 표시된다. 네트워크 엘리먼트들은 용량, 포맷 등과 같은 피쳐들이 유사하거나 또는 매우 상이할 수 있는 네트워크 링크들(102)에 의해 접속된다. 해당 네트워크에서 더 많거나 더 적은 네트워크 엘리먼트들 및 네트워크 링크들이 존재할 수 있으며, 실제 인터넷 세상에서 이것은 실제의 간략화된 도면이다.
도면에서, 네트워크 노드(j)는 서브-네트워크, 랜(Local Area Network), 개인용 컴퓨터 및 이동 에이전트를 갖는 낮은 레벨의 통신 네트워크로 이루어지는 것으로 보여진다. 네트워크 엘리먼트(104)에 의해 표시된 바와 같이, 그러한 낮은 레벨의 통신 네트워크는 유효 범위, 서버들, 라우터들 또는 다른 수단이 유사하거나 상이할 수 있는 (서브)네트워크 엘리먼트들(106)로 이루어진다. 이러한 것들은 종래 기술에서 공지된 바와 같이 네트워크 연계(108)를 갖는다. 각각의 서브 네트워크 엘리먼트는 통상적으로 유사하거나 뚜렷이 구분되는 개인용 컴퓨터들(120) 또는 이동 에이전트들(122)로 구성될 것이다. 이러한 것들은 무선 또는 종래의 것일 수 있는 네트워크 링크들(110)에 의해 연계된다.
상기 네트워크에서의 하나의 컴퓨터 설비(124)는 본 발명에서 사용되는 데이터 및/또는 데이터에 대한 데이터 조사를 달성하기 위하여 미디어(114)를 통해 본 발명의 프로그래밍(112)을 업로딩하도록 사용될 수 있다. 본 발명의 분석은 통로들(130) 또는 데이터(116)가 전송되는 프로세서(120)와 같은 어떤 다른 곳을 통해 노드들 또는 다른 엘리먼트들로부터 수신되는 데이터(116)상에서 행해질 수 있다. 데이터에 대한 액세스는 제공되는 네트워크에게 맡겨져 데이터를 획득하는 것이 가능하다. 제3자가 분석을 수행한다면, 액세스 인증이 필요하다.
상기 설명은 단지 통신 네트워크(100)의 도식적인 아키텍쳐에 대한 것이라는 것을 유념해야 한다. 통신 네트워크(100)의 컴포넌트들 중 임의의 것의 더 많은 개수 또는 더 적은 개수가 존재할 수 있으며, 주어진 네트워크 엘리먼트 및 주어진 네트워크 링크에 대한 하위 레벨의 다수의 층들이 존재할 수 있다.
도 2a 내지 도 2c는 통신 네트워크(100) 트래픽(118) 등을 모니터링하기 위한 방법을 개시한다. 모니터링은 네트워크를 통해 데이터에 액세스하기 위하여 필요할 것이며, 그러한 각각의 노드(a-m)는 모니터링 프로세서(들)에 액세스 승인을 허용할 필요가 있다. 엄청난 양의 데이터가 본 단계에서 수집되고, 통상적으로 매트릭스 형태로 구성될 것이다. 하나 이상의 프로세싱 스테이션들(124)을 포함할 수 있는 수집 기계 또는 기계들은 이러한 목적으로 사용된다.
본 방법의 실행에 있어서, 단계(202)에서 타임 시리즈를 형성하는 단계가 시작된다. 타임 시리즈는 다수의 시간 주기 각각에 대한 플로우(118)의 네트워크 노드들과 같은, 다수의 네트워크 엘리먼트들상의 통신 네트워크(100) 트래픽에 대응하는 적어도 하나의 치수(dimension)를 갖는다. 엘리먼트들은 이러한 설명을 목적으로 소스(source)들로 불리운다. 단계(204)에서, 타임 시리즈에 대한 데이터는 다수의 네트워크 엘리먼트 노드들(a-m)에 존재하는 다수의 통신 네트워크(100) 트래픽 패턴들로 분해된다. 엘리먼트(206)는 타임 시리즈를 나타내는 매트릭스(208)로 한차례 분해된 본 데이터의 수학적 형태를 도시한다.
매트릭스(208)는 데이터가 수집되는 하나의 시간 주기 동안 수집된 데이터인 각각의 열 및 각각의 행에 대한 개별적인 소스를 갖는다. 데이터는 트래픽 바이트의 개수, 패킷의 개수 및 레코드들의 개수로서 네트워크 트래픽의 변수에 대한 정보를 포함한다. 데이터는 각각의 노드 내의 PC(110)와 같은 포트 어드레스 및 각각의 링크의 트래픽을 운반하는데 사용되는 인터넷 제공자(IP: internet provider)의 정보를 포함한다. 데이터는 목적 IP 및 목적 포트뿐 아니라 소스 IP 및 소스 포터와 같은 다수의 피쳐들을 나타낸다. 이러한 모든 데이터는 네트워크 트래픽의 블럭들에서 이용가능하다. 이러한 모든 데이터는 링크 원리에 따라 , 즉, 목적 OD 원리에 따라 수집된다.
도 2b는 주기적으로 각각의 소스 주기에 대한 레벨들을 조사함으로써 시간이 흐름에 따른 공통 패턴들을 추출하기 위하여 단계(212)에서 처리된다. 이로부터, 정규 패턴들이 추출된다. 오차 패턴들은 변칙적인 것으로 간주된다. 정규 패턴들은 통상적으로 24 시간과 같은 정기적인 시간상의 체적 사이클링을 보여준다(도 2h). 이러한 타입의 칩들이 대체적으로 데이터로부터 추출되는 경우, 오차 데이터는 거의 임의의 분포를 보일 것이나, 추측되는 또는 식별된 변칙에서 체적 피크(도 2i의 230)와 함께 보여질 것이다.
이것은 단계(214)가 매트릭스(208)의 모든 시간 주기에 걸쳐 나아가는데 사용되도록 시간 주기마다 수행된다. 각각의 반복(iteration)에서, 단계(214)는 각각의 시간 주기에서의 전체 소스 데이터 세트가 임계치보다 큰지(정규) 또는 작은지(아마도 변칙적) 여부를 판단한다. 임계치는 데이터 조사(mining) 결과값들로부 터 시간에 따라 미리 설정되거나 업데이트될 수 있다.
체적 값(figure)이 한 시간 주기에서 임계치를 초과한다면, 프로세싱은 각각의 추측된 변칙이 다수의 가능한 용지들이 매칭을 발견하기 위한 시도에서 테스트되는 가정 프로세스에 의해 평가되는 단계(216) 및 도 2c로 착수한다. 이것은 위치에 대한 매칭을 발견하거나 가장 매칭되지 않는 것을 식별하는 서브 단계를 초래한다.
단계(218)는 정규 트래픽의 추측된 소스에 대한 체적을 변칙적 체적과 비교함으로써 단계(216)에서 발견된 변칙을 분석한다. 이것은 그러한 소스에서 변칙에 대한 바이ㅌ들, 패킷들 또는 레코드들의 개수에 값을 부여할 것이다. 그로부터 단계(220)는 인증된 사용자에게 변칙 시간, 위치 및 수량을 제공한다. 단계(220)로부터, 단계(222)는 다음 시간 주기의 평가를 위해 다시 단계(214)로 프로세싱을 되돌린다.
정규 및 변칙 트래픽의 분포에 있어서의 체적 차가 도 2d 내지 도 2g에 도시된다. 도 2d 내지 도 2g는 각각 검출된 포켓들, 바이트들(포켓 컨텐츠) 또는 플로우들 및 포트에 따른 정규 트래픽 패턴들을 도시한다. 도 2f 내지 도 2g는 동일한 데이터 소스들상의 변칙 트래픽을 도시한다. 도 2h 및 도 2i는 정규 트래픽의 검출된 주기적 반응(2h) 및 추측된 변칙과 함께 오차의 스파이크(spike)(230)를 갖는 임의의 성질을 보여준다.
수학적으로 이러한 지점에 도달하기 위하여, 몇몇 형태의 치수적 분석이 통상적으로 사용된다. 본 발명에서 사용되는 하나의 폼은 하기 개시된 PCA(Principle Component Analysis)이다.
PCA는 주어진 데이터 포인트 세트를 새로운 축들에 매핑하는 좌표 변형 방법이다. 이러한 축들은 주요 축들 또는 주요 컴포넌트들로 불리운다. 영-평균(zero-mean) 데이터로 작업할 때, 각각의 주요 컴포넌트는 데이터에 남아있는 최대 변화의 방향에서 그것이 가리키는 특성을 갖고, 상기 변화는 앞서 컴포넌트들에서 이미 고려되었다. 그와 같이, 제1 주요 컴포넌트는 단일 축상의 가능한 가장 큰 등급으로 데이터의 변화를 캡쳐한다. 다음 주요 컴포넌트들은 그 후 각각 오차 직각 방향 중에서 최대 변화를 캡쳐한다.
우리는 Y의 각각의 행을 처리하는, 우리의 링크 데이터 매트릭스(208)상에 PCA를 적용할 것이다. 그것은 그것의 열이 영 평균을 갖도록 Y를 조정하는데 필수적이다. 이것은 PCA 치수가 참(true) 변화를 캡쳐하는 것을 확보하고, 따라서 평균 링크 이용에 있어서의 차로 인한 결과값이 왜곡되는 것을 방지한다. Y는 평균-집중된 링크 트래픽 데이터를 나타낼 것이다.
Y에 PCA를 적용하는 것은 m 주요 컴포넌트들의 세트,
Figure 112008007379918-PCT00001
를 산출해낸다. 제1 주요 컴포넌트 v1은 Y의 최대 변화의 방향을 지시하는 벡터이다:
Figure 112008007379918-PCT00002
(1)
여기서
Figure 112008007379918-PCT00003
는 v를 따라 측정된 데이터의 변화에 비례한다. 반복적인 프로세싱에서, 일단 제1 k-1 주요 컴포넌트들이 판단되면, k-th 주요 컴포넌트는 오차의 최대 변화에 대응한다. 오차는 제1 k-1 주요 축들상에 매핑된 데이터와 원래 데이터 사이의 차이다. 따라서, 우리는 k-th 주요 컴포넌트 vk를 다음과 같이 기재할 수 있다:
Figure 112008007379918-PCT00004
(2)
PCA의 중요한 사용은 데이터 포인트들의 세트의 진성 차원을 조사하는 것이다. 각각의 주요 컴포넌트,
Figure 112008007379918-PCT00005
에 의해 캡쳐된 변화의 양을 검사함으로써, 데이터의 변화성의 대부분이 낮은 차원의 공간에서 캡쳐될 수 있는지를 묻는 것이 가능하다. 제1 r 차원에 따른 변화만이 대수롭지 않다면, 그 후 Y에 의해 표시되는 포인트세트가 R의 r-차원적 서브공간에 효율적으로 존재하는 것으로 결론 내려진다.
일단 주요 축들이 판단되면, 데이터 세트는 새로운 축들로 매핑될 수 있다. 주요 축 i로의 데이터의 매핑은
Figure 112008007379918-PCT00006
로 주어진다. 이러한 벡터는
Figure 112008007379918-PCT00007
로 그것을 나눔으로써 단위 길이로 정규화될 수 있다. 따라서, 각각의 주요 축 i에 대하여,
Figure 112008007379918-PCT00008
(3)
ui는 크기 t의 벡터이며, 구조적으로 직각이다. 상기 방정식은 vi에 의해 가중될 때, 모든 링크 카운트들이 하나의 치수의 변형된 데이터를 생성하는 것을 보여준다. 따라서, 벡터 ui는 주요 축 i를 따라 링크 트래픽 타임시리즈의 전체 앙상블에 공통인 임시적 변수를 캡쳐한다. 주요 축들은 전체 변화에 대한 기여순 이기 때문에, u1은 모든 링크 트래픽에 공통적인 가장 강한 임시적 트렌드를 캡쳐하고, u2는 다음으로 강한 것을 캡쳐하고, 이어서 같은 방식으로 캡쳐가 계속된다. 세트
Figure 112008007379918-PCT00009
는 대부분의 변화를 캡쳐하고, 이에 따라 모든 링크 트래픽 타임시리즈들의 앙상블에 공통적인 가장 현저한 임시적 패턴들을 캡쳐한다. 도 2h 및 도 2i는 각각 가장 강한 주요 컴포넌트, u1 및 훨씬 적은 축 프로미넌스(axial prominence)를 갖는 컴포넌트를 보여준다.
서브공간 방법은 트래픽에서 정규 및 변칙 변수에 대응하는 두 개 세트들로 주요 축들을 분리시킴으로써 작용한다. 정규 축의 세트에 의해 채워진 공간은 정규 서브공간 S이고, 변칙적 축들에 의해 채워진 공간은 변칙 서브공간 S이다. 이것은 도 2j에 보여진다.
데이터의 Ux 프로젝션(projection)은 현저한 변칙 작용을 도시한다. 트래픽 "스파이크"(230)는 변칙에 의해 야기될 수 있는 드문 네트워크 상태를 나타낸다. 서브공간 방법은 변칙 서브공간에 속함에 따라 데이터의 그러한 프로젝션들을 처리한다.
다양한 공정들이 정규 및 변칙 세트들로 두 가지 타입의 프로젝션들을 분리하기 위하여 적용될 수 있다. 통상적 프로젝션들과 비통상적 프로젝션들 사이의 차를 검사하는 것에 기초하여, 간단한 임계치-기반 분리 방법이 실제로 잘 작용한다. 분리 공정은 최대 확산에서 최소 확산의 순서로 각각의 주요 축상에 프로젝션을 검사하도록 기대된다. 프로젝션이 임계치를 초과하는(예를 들어, 평균으로부터 의 3σ 편차를 포함하는) 것으로 발견되는 한, 주요 축 및 모든 이어지는 축들은 변칙적 서브공간에 할당된다. 모든 이전의 주요 축들은 그 후 정규 서브공간에 할당된다. 이러한 공정은 정규 서브공간의 주요 컴포넌트들의 이른 배치를 초래한다.
모든 가능한 링크 트래픽 측정값들의 공간을 서브 공간들
Figure 112008007379918-PCT00010
및
Figure 112008007379918-PCT00011
로 분할한다면, 각각의 링크상의 트래픽은 정규 및 변칙 컴포넌트들로 분해된다.
체적 변칙들을 검출하고 식별하기 위해 사용되는 방법들은 다변수 프로세스 제어의 서브공간-기반 결함 검출을 위해 개발된 이론으로부터 얻어진다.
링크 트래픽의 체적 변칙들을 검출하는 것은 임의의 시간단계에서 링크 트래픽 y의 정규 및 변칙 컴포넌트들로의 분리를 사용한다. 이러한 것들은 y의 모델링된 오차 부분들이다.
서브공간-기반 검출 단계에서, 일단
Figure 112008007379918-PCT00012
및
Figure 112008007379918-PCT00013
가 구성되면, 이러한 분류는 이러한 두 개 서브공간들로 링크 트래픽의 프로젝션을 형성함으로써 효과적으로 수행될 수 있다. 시간 y의 주어진 지점에서 링크 측정값들의 세트는 분해된다:
Figure 112008007379918-PCT00014
(4)
여기서
Figure 112008007379918-PCT00015
는 오차 트래픽에 대한 모델링된
Figure 112008007379918-PCT00016
에 대응한다.
Figure 112008007379918-PCT00017
를
Figure 112008007379918-PCT00018
로 프로젝션시킴으로써
Figure 112008007379918-PCT00019
를, 그리고
Figure 112008007379918-PCT00020
를
Figure 112008007379918-PCT00021
로 프로젝션시킴으로써
Figure 112008007379918-PCT00022
를 형성하는 것이 가능하다.
정규 서브공간들(v1, v2, ..., vr)에 대응하는 주요 컴포넌트들의 세트가 r 이 정규 축들(k)의 개수를 나타내는 크기 m×r의 매트릭스 P의 열로서 배열된다.
Figure 112008007379918-PCT00023
및
Figure 112008007379918-PCT00024
는 다음과 같다:
Figure 112008007379918-PCT00025
(5)
여기서 매트릭스(C=PPT)는 정규 서브공간(S)으로의 프로젝션을 수행하는 선형 작동자를 나타내고,
Figure 112008007379918-PCT00026
도 마찬가지로 변칙 서브공간
Figure 112008007379918-PCT00027
으로 프로젝션한다.
따라서,
Figure 112008007379918-PCT00028
는 모델링된 트래픽을 포함하고,
Figure 112008007379918-PCT00029
는 오차 트래픽을 포함한다. 일반적으로 체적 변칙의 발생은
Figure 112008007379918-PCT00030
에 대한 큰 변화를 초래하는 경향이 있다.
Figure 112008007379918-PCT00031
에서의 비정상적 변화를 검출하기 위한 유용한 통계치는 정사각형 예측 에러(SPE)이다:
Figure 112008007379918-PCT00032
(6)
SPE가 다음과 같은 경우에 네트워크 트래픽은 정규적이다:
Figure 112008007379918-PCT00033
(7)
여기서
Figure 112008007379918-PCT00034
는 1-α 신용 레벨에서 SPE에 대한 임계치를 나타낸다. Q-통계치로서 공지된 오차 벡터에 대한 통계적 테스트는 다음과 같이 주어진다:
Figure 112008007379918-PCT00035
(8)
여기서,
Figure 112008007379918-PCT00036
(9)
이며, λj는 j-th 주요 컴포넌트상의 데이터를 프로젝팅함으로써 캡쳐되는 변화이고(
Figure 112008007379918-PCT00037
), cα는 표준 정규 분포의 1-α 백분위수이다. 결과값은 얼마나 많은 주요 컴포넌트들이 정규 서브공간에서 유지되는지와 관계없이 고정된다.
이러한 세팅에서, 이러한 결과값이 유도되는 가정이 만족된다면 1-α 신용 제한은 α의 거짓(false) 경보 속도에 대응한다. Q-통계치에 대한 신용 제한은 샘플 벡터 y가 다변수 가우시안 분포를 따르는 가정하에서 유도된다. 그러나, 이는 원래 데이터의 근원적 분포가 실질적으로 가우시안과 상이할 때조차 Q-통계치는 조금 변화한다는 것을 나타낸다.
서브공간 구조에서, 체적 변칙은 S로부터의 상태 벡터 y의 변위를 나타낸다. 변위의 특정 방향은 변칙의 성질에 관한 정보를 준다. 변칙 식별에 대한 접근법은 잠재적 변칙들의 세트 외부의 변칙이 정규 서브공간 S로부터의 y의 편차를 최상으로 설명할 수 있는지를 묻는 것이다.
모든 가능한 변칙들의 세트는 {Fi, i=1, ..., I} 이다. 이러한 세트는 식별될 수 있는 변칙들의 세트를 한정하기 때문에, 가능한 한 완벽하도록 선택되어야 한다.
설명의 간략화를 위하여, 단지 1-차원적인 변칙들, 즉, 부가적인 링크당 트래픽이 단일 변수의 선형적 함수로서 설명될 수 있는 변칙들이 고려된다. 이것은 아래쪽에서 도시된 바와 같이 다중-차원적 변칙들에 대한 접근법을 개괄하기 위한 것이다.
그 후 각각의 변칙 Fi는 이러한 변칙이 네트워크의 각각의 링크에 트래픽을 부가하는 방식으로 한정되는 관련 벡터 θi를 갖는다. θi가 단위 표준을 갖는다고 가정하면, 그 후 변칙 Fi의 존재하에 상태 벡터 y가 다음과 같이 나타난다:
Figure 112008007379918-PCT00038
(10)
여기서
Figure 112008007379918-PCT00039
는 정규 트래픽 조건을 위한(변칙 발생시 공지되지 않는) 샘플 벡터를 나타내고,
Figure 112008007379918-PCT00040
는 변칙의 크기를 나타낸다.
몇몇 가정된 변칙 Fi이 주어진다면, 변칙의 효과를 제거함으로써
Figure 112008007379918-PCT00041
의 추정치를 형성하고, 이는 변칙 Fi과 관련된 링크들로부터 몇몇 트래픽 기여를 차감하는 것에 대응한다. 변칙 Fi를 가정하는
Figure 112008007379918-PCT00042
의 최상의 추정치는 변칙의 방향으로 정규 서브공간 S에 대한 거리를 최소화함으로써 발견된다:
Figure 112008007379918-PCT00043
(11)
여기서
Figure 112008007379918-PCT00044
이고,
Figure 112008007379918-PCT00045
이다. 이것은
Figure 112008007379918-PCT00046
를 나타낸다.
따라서,
Figure 112008007379918-PCT00047
가정 변칙 Fi의 최상의 추정치는 다음과 같다:
Figure 112008007379918-PCT00048
(12)
잠재적 변칙 세트로부터의 최상의 가설을 식별하기 위하여, 가장 많은 양의 오차 트래픽을 설명하는 가설을 선택하라. 즉,
Figure 112008007379918-PCT00049
에 대한
Figure 112008007379918-PCT00050
의 프로젝션을 최소화하는 Fi를 선택하라.
따라서, 요약하면, 식별 알고리즘은 다음으로 구성된다:
1. 각각의 가설 변칙 Fi, i=1, ..., I에 대하여, 식(1)을 사용하여
Figure 112008007379918-PCT00051
를 계산한다.
2.
Figure 112008007379918-PCT00052
에 따라 변칙 FJ를 선택한다.
가능한 변칙들은 n이 네트워크의 OD 플로우들의 개수인 {Fi, i=1, ..., I}이다. 이러한 경우에, 각각의 변칙은 그것이 영향을 미치는 각각의 링크에 동일한 양의 트래픽을 부가(또는 차감)한다. 그 후 θi는 단위 표준으로 정규화된, 라우팅 매트릭스 (A)의 열 i로서 한정된다:
Figure 112008007379918-PCT00053
.
특정 체적 변칙 Fi의 추정과 함께, 이러한 변칙을 구성하는 바이트들의 개수가 추정된다. 선택된 변칙 Fi로 인하여 각각의 링크상의 추정된 양의 변칙 트래픽은 다음에 의해 주어진다.
Figure 112008007379918-PCT00054
(13)
그 후 부가적인 트래픽의 추정된 합은
Figure 112008007379918-PCT00055
에 비례한다. 부가적 트래픽이 다중 링크들상에 흐르기 때문에, 변칙에 의해 영향을 받는 링크들의 개수에 의해 정규화되어야만 한다.
변칙들이 OD 플로우의 세트에 의해 한정되는 현재의 경우에, 우리의 부량(quantification)은 A에 의존한다. 우리는 A의 각각의 열이 단위 합을 갖도록 정규화된 라우팅 매트릭스를 나타내기 위해 A를 사용한다:
Figure 112008007379918-PCT00056
(14)
그 후, 변칙(Fi)의 식별이 주어지면, 우리의 부량 추정치는 다음과 같다:
Figure 112008007379918-PCT00057
(15)
몇몇 변칙들은 정규 서브공간 S내에 완전히 놓일 수 있어, 서브공간 방법에 의해 검출될 수 없다. 형식적으로, 몇몇 변칙 Fi에 대해
Figure 112008007379918-PCT00058
라면 이것이 발생할 수 있다. 사실상 이것은 변칙 및 정규 서브공간 S이 완벽하게 정렬되도록 요구할 가능성이 낮다. 그러나, 변칙 θi과 정규 서브공간 사이의 상대적 관계는 다른 방향에서보다 검출하기 어려운 한 방향으로 주어진 크기의 변칙들을 만들 수 있다.
상기 개시된 원리들은 트래픽 플로우 데이터의 다중-피쳐(다중-방법), 다중 소스(다변수) 분포를 생성하기 위하여 본 발명의 다른 측면에서 사용된다. 프로세스는 전체 네트워크의 다중 피쳐상에 다중 소스들에 대하여 데이터를 수집함으로써 도 3a의 단계(310)에서 개시된다. 단계(340)에서 데이터는 도 3c에 도시된 일실시예로서, 3D 매트릭스 형태로 구성된다. 본 명세서에서 각각의 피쳐들에 대해 하나씩 일련의 매트릭스들(332)이 형성된다. 매트릭스 형태는 시간 주기의 수에 대해 각각의 열에 대해 하나씩, 각각의 행에 대해 하나씩 제공되는 링크들 또는 OD 쌍들, 소스를 갖는다. 본 발명이 실시예에서 피쳐들은 소스 IP, 소스 포트, 목적 IP 및 목적 포트이다. 보다 적은 피쳐들 또는 다른 피쳐들이 또한 사용될 수 있다.
도 3d는 매트릭스들(332)이 사실상 3차원임을 의미하는 각각의 매트릭스 엘리먼트에 대한 데이터 세트를 보여주며, 각각의 매트릭스 위치는 일련의 데이터 포인트들(334)을 갖는다. 따라서 이는 상기 소스 v. 시간 주기 데이터를 보여주는 상기 매트릭스들과 유사하다.
도 3a의 단계(344)에서, 이러한 데이터는 각각의 피쳐 분포를 특징화하는 프로세스, 본 실시예에서는, 엔트로피 메트릭에 의해 통계학적으로 감소되며 단계(346)에 결과가 제공된다. 도 3g에 도시된 3D 매트릭스들(336)의 세트의 결과값들은 하기에서 논의된다. 엔트로피 메트릭은 다음의 방정식을 사용하여 각각의 데이터 포인트를 처리한다:
Figure 112008007379918-PCT00059
(16)
여기서 i는 ni번 발생하고, S는 매트릭스에서 관측의 전체 개수이다. 도 3g 및 단계(360)의 새로운 매트릭스들(336)은 마찬가지로 3D 문자들을 갖는다.
엔트로피 메트릭에 의한 두 개의 상이한 분포들의 통계적 간략화 프로세스가 높은 엔트로피 도면 및 낮은 엔트로피 도면을 개시하는 도 3e 및 도 3f에 도시된다. 분포 히스토그램이 분산되는 경우(도 3e), 히스토그램의 엔트로피 요약은 높다. 그리고, 히스토그램이 도 3f에서와 같이 소량의 값들상에 왜곡되거나 집중되 는 경우, 히스토그램의 엔트로피 값은 작다.
이어지는 단계(338)에서, 매트릭스들(336)은 각각의 매트릭스(336)의 행들이 피쳐로부터 피쳐로 이어짐으로써 도 3g에서 (348)과 같은 긴 행으로 조립되는 큰 2D 매트릭스(342)로 "벗겨진다(unwrapped)". 도 3g에서, 피쳐들은 예시적인 소스 IP 어드레스 및 포트 및 목적 IP 어드레스 및 포트 형태이다.
매트릭스(342)는 그 후 이전에 개시된 바와 같은 원리의 섭공간 클러스터링 기술에 의해 단계(350 및 352)에서 처리된다. 이것은 단계들(370 및 380)을 통해 루핑(loop)하는, 단계(352)의 공정들을 통해 그 단계들을 반복적으로 수행하는 반복 프로세스이다. 반복의 네트(net) 결과를 하기에 개시한다.
각각의 검출된 변칙에 대한 변칙 분류 프로세스의 단계(354)에서 오차 컴포넌트들이 각각의 K 피쳐들에 대해 발견된다. 검출된 변칙은 매트릭스(340)에서 피쳐들 각각의 하나에, "K" 숫자의 세트를 산출해낸다. K 숫자는 K-차원적 공간의 포인트를 나타내며, 따라서 단계(356)에서 처리된다. 상기 처리는, K 숫자들이 K 공간의 K 축들에 따른 위치들에 따라 처리되고, 단계(358)에서 기입(plot)되는 것이다. 이러한 기입은 프로세서(120) 및 관련 데이터베이스와 같은 프로세서에서 발생한다.
클러스터링 기술은 그 후 근접에 대한 임계치 값에 따라 서로에게 인접한 포인트들의 클러스터들을 식별하기 위하여 단계(360)에서 적용된다. 임계치에 대한 그러한 값은 데이터포인트들로부터 직접 판단되며, 또한 사용 프로세스로부터의 습득의 일부로서 보다 정확한 결과를 위해 시간에 따라 조정된다. 클러스터링은 예 를 들어, 도 3h에서와 같이 2D 공간으로 프로젝팅하는 등과 같이 낮은 차원 공간에서 수행될 수 있다.
도 3h에서와 같이 결과 클러스터들(K=2 차원의 실시예가 362에 도시됨)이 규칙에 의해 해석될 수 있으며, 상기 규칙은 변칙의 인간 친화적 설명을 갖는 영역과 상호연관시키기 위하여 매뉴얼 관찰에 대한 지식에 의해 세워진다. 일실시예에서, 높은 오차 목적 IP 엔트로피 및 낮은 오차 목적 포트 엔트로피의 영역에서 하강하는 변칙은 웜 스캔이다. 도 3i는 실제 네트워크 트래픽 및 그것의 해석에 대한 본 발명의 평가에 의해 획득되는 실제 데이터의 테이블을 도시한다. 테이블은엔트로피 메트릭 레벨(- 높은, + 낮은)이 도면에 도시된 다양한 변칙 타입들(복수의 라벨들)로서 해석되는 클러스터링 위치들을 형성하는 방법에 대해 사기 개시된 4개 피쳐들에 대해 도시된다. 이것은 변칙 분류가 위치가 클러스터링 동안 피쳐로서 부가되는 경우 달성되도록 하고, 본 발명은 동시적 분류 및 국부화를 허용한다. 분류될 수 있는 다른 변칙 타입들은 컨텐츠 분포, 라우팅 루프, 트래픽 엔지니어링, 과부하를 포함한다. 본 발명은 클러스터링 기반 접근법을 사용하여 이전에 공지된 것 이상의 다른 변칙들을 발견할 수 있다. 이것은 새로운 네트워크 변칙 타입들을 식별하기 위한 접근법의 관리되지 않는 습득을 제공한다.
이러한 방식으로 본 발명을 사용하는 네트워크를 위한 다양한 서비스 제공자들(예를 들어, 서비스 제공자 네트워크들 또는 케이블 제공자들)은 변칙들을 다루고 그러한 능력의 가입자들에게 보장하기 위하여 개선 단계들을 취할 수 있다. 이는 잠재적으로 그들의 서비스를 보다 매력적으로 만들 것이다. 제공자들은 또한 네트워크 엘리먼트들에 대한 필수적인 액세스를 제공함으로써 독립적인 시스템 분석자들에게 이러한 기능을 계약하여, 새로운 비지니스 기회를 창출할 수 있다.
본 발명은 서비스 제공자 네트워크들에서의 사용을 위하여 개시되었으나, 수송 고속 하이웨이 네트워크, 우편 서비스 네트워크 및 센서 네트워크들과 같은 다른 타입의 네트워크들에도 동일하게 사용될 수 있다.

Claims (75)

  1. 통신 네트워크 트래픽을 모니터링하기 위한 방법으로서,
    복수의 네트워크 엘리먼트들상에 통신 네트워크 트래픽을 총괄적으로 특징화시키는 복수의 타임 시리즈들을 형성하는 단계; 및
    상기 복수의 네트워크 엘리먼트들 중 적어도 두 개에 존재하는 적어도 하나의 통신 네트워크 트래픽 패턴으로 상기 복수의 타임 시리즈들을 분해하는 단계
    를 포함하는, 통신 네트워크 트래픽 모니터링 방법.
  2. 제1항에 있어서,
    상기 다중 타임 시리즈들은 데이터 스트림으로부터 형성되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  3. 제1항에 있어서,
    상기 다중 타임 시리즈들은 복수의 소스들로부터 형성되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  4. 통신 네트워크 트래픽을 모니터링하기 위한 방법으로서,
    시간에 따라 복수의 네트워크 엘리먼트들상에 통신 네트워크 트래픽을 총괄적으로 특징화시키는 복수의 타임 시리즈들을 형성하는 단계; 및
    상기 복수의 네트워크 엘리먼트들 중 적어도 하나에 존재하는 적어도 하나의 통신 네트워크 트래픽 패턴으로 시간에 따라 상기 복수의 타임 시리즈들을 분해하는 단계
    를 포함하는, 통신 네트워크 트래픽 모니터링 방법.
  5. 제1항에 있어서,
    상기 복수의 타임 시리즈들은 다중 네트워크 위치들의 통신 네트워크 트래픽에 대응하는 데이터로부터 형성되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  6. 제5항에 있어서,
    상기 분해하는 단계는 상기 타임 시리즈들에 대한 주요 컴포넌트 분석을 수행하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  7. 제1항에 있어서,
    상기 복수의 네트워크 엘리먼트들에 존재하는 정규 통신 네트워크 트래픽 패턴들을 나타내는 데이터 모델을 구성하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  8. 제7항에 있어서,
    상기 구성하는 단계는 정규 통신 네트워크 트래픽의 저-차원 근사치를 형성하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  9. 제8항에 있어서,
    상기 구성하는 단계는 상기 타임 시리즈로부터 통신 네트워크 트래픽 정보의 일부(fraction)를 나타내는 적어도 하나의 패턴을 추출하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  10. 제8항에 있어서,
    상기 구성하는 단계는 상기 타임 시리즈로부터 엔트로피에 의한 측정에 따라 상기 통신 네트워크 트래픽 정보의 일부를 나타내는 적어도 하나의 패턴을 추출하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    변칙을 검출하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  12. 제11항에 있어서,
    상기 변칙을 검출하는 단계는 상기 통신 네트워크 트래픽의 데이터 플로우를 추정하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방 법.
  13. 제11항에 있어서,
    상기 검출하는 단계는 적어도 하나의 패킷을 카운트하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  14. 제13항에 있어서,
    상기 검출하는 단계는 패킷 컨텐츠를 처리하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  15. 제11항에 있어서,
    상기 검출하는 단계는 상기 변칙의 형태를 검출하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  16. 제11항에 있어서,
    상기 검출하는 단계는 정규 네트워크 트래픽과 별개로 오차(residual) 통신 네트워크 트래픽을 식별하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  17. 제16항에 있어서,
    상기 분석하는 단계는 상기 오차 통신 네트워크 트래픽이 통계적 임계치를 초과하는 경우를 판단하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  18. 제17항에 있어서,
    상기 판단하는 단계는 변칙에 의해 영향을 받는 하나 이상의 네트워크 엘리먼트들에 상기 변칙을 국부화시키는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  19. 제18항에 있어서,
    상기 국부화시키는 단계는 적합성(fit)을 발견하기 위하여 적어도 하나의 습득된 가설과 상기 변칙을 비교하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 통신 네트워크 트래픽의 피쳐에서 편차를 발견하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  21. 제20항에 있어서,
    상기 발견하는 단계는 엔트로피를 사용하는 개수의 트래픽 피쳐의 분포를 요 약하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  22. 제20항에 있어서,
    피쳐 편차를 국부화시키는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서,
    상기 분해하는 단계는 클러스터링 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  24. 통신 네트워크 트래픽을 분석하기 위한 방법으로서,
    복수의 네트워크 엘리먼트들상에 통신 네트워크 트래픽에 대응하는 적어도 하나의 치수를 갖는 하나 이상의 소스들로부터 하나 이상의 데이터 타입들로부터의 모델을 형성하는 단계; 및
    상기 통신 네트워크 트래픽의 모델에서 패턴으로서 변칙을 검출하는 단계
    를 포함하는, 통신 네트워크 트래픽 분석 방법.
  25. 제24항에 있어서,
    상기 검출된 변칙 패턴은 DoS 공격; 웜 스캔; 포트 스캔; 플래시 크라우드(flash crowd); 컨텐츠 분포; 대형 트래픽 시프트; 과부하; 휴지(outage) 사건; 라우팅 루프; 트래픽 엔지니어링으로 구성된 그룹에서 하나 이상의 변칙을 특징화하는 패턴인 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  26. 제24항에 있어서,
    상기 패턴은 이전에 공지된 패턴인 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  27. 제24항에 있어서,
    상기 검출하는 단계는 상기 통신 네트워크 트래픽의 데이터 플로우를 추정하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  28. 제24항에 있어서,
    상기 검출하는 단계는 적어도 하나의 패킷을 카운트하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  29. 제28항에 있어서,
    상기 검출하는 단계는 패킷 컨텐츠를 처리하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  30. 제24항에 있어서,
    상기 검출하는 단계는 상기 변칙의 형태를 검출하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  31. 제24항에 있어서,
    상기 검출하는 단계는 정규 네트워크 트래픽으로부터 오차 통신 네트워크 트래픽을 식별하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  32. 제31항에 있어서,
    상기 분석하는 단계는 상기 오차 통신 네트워크 트래픽 또는 상기 정규 통신 네트워크 트래픽 중 하나가 통계적 임계치를 초과하는 경우를 판단하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  33. 제32항에 있어서,
    상기 판단하는 단계는 상기 변칙에 의해 영향을 받는 하나 이상의 네트워크 엘리먼트들에 상기 변칙을 국부화시키는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  34. 제33항에 있어서,
    상기 국부화시키는 단계는 적합성을 발견하기 위하여 적어도 하나의 미리 정 해진 가설과 상기 변칙을 비교하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  35. 제24항 내지 제34항 중 어느 한 항에 있어서,
    상기 통신 네트워크 트래픽의 피쳐에서 편차를 발견하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  36. 제35항에 있어서,
    상기 발견하는 단계는 엔트로피를 사용하는 개수의 분포를 요약하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  37. 제35항에 있어서,
    상기 변칙에 의해 영향을 받는 하나 이상의 네트워크 엘리먼트들에 상기 피쳐의 편차를 국부화시키는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  38. 제24항 내지 제37항 중 어느 한 항에 있어서,
    상기 검출하는 단계를 클러스터링 단계를 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 분석 방법.
  39. 통신 네트워크에서 변칙을 검출하기 위한 방법으로서,
    통신 네트워크 트래픽의 복수의 피쳐들로부터 판단된 패턴에서의 편차를 발견하는 단계
    를 포함하는, 통신 네트워크에서의 변칙 검출 방법.
  40. 제39항에 있어서,
    상기 패턴 편차는 DoS 공격; 웜 스캔; 포트 스캔; 플래시 크라우드; 컨텐츠 분포; 대형 트래픽 시프트; 과부하; 휴지 사건; 라우팅 루프; 트래픽 엔지니어링으로 구성된 그룹에서 하나 이상의 변칙을 특징화하는 패턴인 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  41. 제40항에 있어서,
    상기 패턴은 이전에 공지되지 않은 변칙을 나타내는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  42. 제39항에 있어서,
    상기 편차를 발견하는 단계는 소스 어드레스, 목적 어드레스, 애프리케이션 포트 및 프로토콜 정보의 피쳐들을 포함하는 피쳐들의 세트로부터 편차를 발견하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  43. 제39항에 있어서,
    편차를 발견하는 단계는 통신 네트워크 트래픽의 데이터 플로우를 추정하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  44. 제39항에 있어서,
    상기 편차를 발견하는 단계는 적어도 하나의 패킷을 카운트하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  45. 제44항에 있어서,
    상기 편차를 발견하는 단계는 패킷 컨텐츠를 처리하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  46. 제39항에 있어서,
    상기 편차를 발견하는 단계는 상기 변칙의 형태를 검출하는 단계를 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  47. 제39항에 있어서,
    영향을 받은 엘리먼트들에 상기 편차를 국부화시키는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  48. 제39항 내지 제 47항 중 어느 한 항에 있어서,
    상기 편차를 발견하는 단계는 클러스터링 단계를 포함하는 것을 특징으로 하는 통신 네트워크에서의 변칙 검출 방법.
  49. 통신 네트워크 트래픽을 모니터링하기 위한 방법으로서,
    적어도 통신 네트워크 트래픽 피쳐의 분포를 발생시키는 단계;
    상기 분포의 엔트로피를 추정하는 단계; 및
    상기 통신 네트워크 트래픽 피쳐의 엔트로피가 상기 엔트로피의 임계치와 상이한 경우 상기 통신 네트워크 트래픽 피쳐를 변칙적인 것으로 지정하는 단계
    를 포함하는, 통신 네트워크 트래픽 모니터링 방법.
  50. 제49항에 있어서,
    네트워크 트래픽 히스토리로부터 상기 분포의 엔트로피의 상기 임계치를 확립하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  51. 제49항에 있어서,
    상기 네트워크 트래픽 피쳐는 소스 IP, 목적 IP, 소스 포트, 목적 포트 및 통신 프로토콜 중 하나 이상으로 이루어진 그룹으로부터 선택되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  52. 제49항에 있어서,
    상기 엔트로피를 추정하는 단계는 통신 네트워크의 단일 엘리먼트에 대한 상기 통신 네트워크 트래픽 피쳐 분포의 엔트로피를 추정하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  53. 제49항에 있어서,
    상기 엔트로피를 추정하는 단계는 피쳐 분포에서 높거나 낮은 것으로 상기 엔트로피를 식별하는 단계를 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  54. 제49항에 있어서,
    상기 통신 네트워크 트래픽 피쳐의 엔트로피를 추정하는 단계는 매트릭스 동작을 더 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  55. 제49항에 있어서,
    상기 엔트로피를 추정하는 단계는 시간 간격과 관련하여 상기 분포의 엔트로피의 추정을 포함하는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 방법.
  56. 변칙을 검출하기 위한 방법으로서,
    복수의 타입들 및 복수의 소스들에 대응하는 네트워크 통신 트래픽의 모델을 형성하는 단계;
    상기 모델로부터 패턴을 추출하는 단계; 및
    변칙을 식별하기 위하여 상기 패턴의 임계치를 설정하는 단계
    를 포함하는, 변칙 검출 방법.
  57. 네트워크 통신 트래픽 특징화를 위한 방법으로서,
    복수의 네트워크 통신 트래픽 피쳐들상에 데이터를 클러스터링하는 단계; 및
    상기 네트워크 통신에서 정규 트래픽 상태를 식별하기 위하여 모델을 형성하는 단계
    를 포함하는, 네트워크 통신 트래픽 특징화 방법.
  58. 네트워크 통신 트래픽 특징화를 위한 방법으로서,
    복수의 네트워크 통신 트래픽 피쳐들상에 데이터를 클러스터링하는 단계; 및
    상기 네트워크 통신에서 변칙 트래픽 상태를 식별하기 위하여 모델을 형성하는 단계
    를 포함하는, 네트워크 통신 트래픽 특징화 방법.
  59. 하나 이상의 서비스 제공자에 의해 통신이 제공되는 네트워크에서, 상기 제공자가 소비자에게 서비스를 보장하기 위한 방법으로서,
    제8항 내지 제58항 중 어느 한 항의 방법을 수행하는 단계; 및
    상기 검출된 변칙을 국부화하는 단계
    를 포함하는, 네트워크에서 제공자가 소비자에게 서비스를 보장하는 방법.
  60. 제59항에 있어서,
    상기 네트워크상의 데이터에 대한 액세스를 획득하는 단계를 더 포함하는 것을 특징으로 하는 네트워크에서 제공자가 소비자에게 서비스를 보장하는 방법.
  61. 제39항에 있어서,
    복수의 상기 통신 네트워크 트래픽의 피쳐들로부터 판단된 패턴으로부터 임계치를 판단하는 단계를 포함하는 것을 특징으로 하는 네트워크에서 제공자가 소비자에게 서비스를 보장하는 방법.
  62. 제1항 내지 제61항 중 어느 한 항의 방법을 수행하기 위한 프로세싱 명령어들로 인코딩된 장치.
  63. 제62항에 있어서,
    상기 인코딩은 미디어의 하나 이상의 엘리먼트들상에서 이루어지는 것을 특징으로 하는 인코딩된 장치.
  64. 제62항에 있어서,
    상기 인코딩은 하나 이상의 프로세서들에서 이루어지고, 이에 따라 인코딩되는 상기 하나 이상의 프로세서들은 상기 방법을 수행하기에 효과적인 것을 특징으로 하는 인코딩된 장치.
  65. 통신 네트워크 트래픽을 모니터링하기 위한 장치로서,
    복수의 네트워크 엘리먼트들상에서 통신 네트워크 트래픽을 총괄적으로 특징화하는 복수의 타임 시리즈들을 형성하는 수단; 및
    상기 복수의 네트워크 엘리먼트들 중 적어도 둘에 존재하는 적어도 하나의 통신 네트워크 트래픽 패턴으로 상기 복수의 타임 시리즈들을 분해하는 수단
    을 포함하는, 통신 네트워크 트래픽 모니터링 장치.
  66. 제65항에 있어서,
    상기 다중 타임 시리즈들은 데이터 스트림으로부터 형성되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 장치.
  67. 제65항에 있어서,
    상기 다중 타임 시리즈들은 복수의 소스들로부터 형성되는 것을 특징으로 하는 통신 네트워크 트래픽 모니터링 장치.
  68. 통신 네트워크 트래픽을 모니터링하기 위한 장치로서,
    시간에 따라 복수의 네트워크 엘리먼트들상에 통신 네트워크 트래픽을 총괄적으로 특징화하는 복수의 타임 시리즈들을 형성하는 수단; 및
    상기 복수의 네트워크 엘리먼트들 중 적어도 하나에 존재하는 적어도 하나의 통신 네트워크 트래픽 패턴으로 시간에 따라 상기 복수의 타임 시리즈들을 분해하는 수단
    을 포함하는, 통신 네트워크 트래픽 모니터링 장치.
  69. 통신 네트워크 트래픽을 분석하기 위한 장치로서,
    복수의 네트워크 엘리먼트들상에 통신 네트워크 트래픽에 대응하는 적어도 하나의 치수를 갖는 하나 이상의 소스들로부터 하나 이상의 데이터 타입들로부터의 모델을 형성하는 수단; 및
    상기 통신 네트워크 트래픽의 모델에서 패턴으로서 변칙을 검출하는 수단
    을 포함하는, 통신 네트워크 트래픽 분석 장치.
  70. 통신 네트워크에서 변칙을 검출하기 위한 장치로서,
    복수의 통신 네트워크 트래픽의 피쳐들로부터 판단된 패턴에서 편차를 발견하는 수단
    을 포함하는, 통신 네트워크에서의 변칙 검출 장치.
  71. 통신 네트워크 트래픽을 모니터링하기 위한 장치로서,
    적어도 통신 네트워크 트래픽 피쳐들의 분포를 발생시키는 수단;
    상기 분포의 엔트로피를 추정하는 수단; 및
    상기 통신 네트워크 트래픽 피쳐의 엔트로피가 상기 엔트로피의 임계치와 상이한 경우 상기 통신 네트워크 트래픽 피쳐가 변칙적인 것으로 지정하는 수단
    을 포함하는, 통신 네트워크 트래픽 모니터링 장치.
  72. 변칙 검출을 위한 장치로서,
    복수의 타입들 및 복수의 소스들에 대응하는 네트워크 통신 트래픽의 모델을 형성하는 수단;
    상기 모델로부터 패턴을 추출하는 수단; 및
    변칙을 식별하기 위하여 상기 패턴의 임계치를 설정하는 수단
    를 포함하는, 변칙 검출 장치.
  73. 네트워크 통신 트래픽 특징화를 위한 장치로서,
    복수의 네트워크 통신 트래픽 피쳐들상에 데이터를 클러스터링하는 수단; 및
    상기 네트워크 통신에서 정규 트래픽 상태를 식별하기 위하여 모델을 형성하는 수단
    를 포함하는, 네트워크 통신 트래픽 특징화 장치.
  74. 통신 네트워크 트래픽을 모니터링하기 위한 방법으로서,
    적어도 소스 IP, 소스 포트, 목적 IP 및 목적 포트로 구성되는 그룹으로부터 선택된 통신 네트워크 트래픽의 분포를 발생시키는 단계;
    상기 피쳐에 대한 상기 분포의 엔트로피를 추정하는 단계; 및
    하기와 같은 하나 이상의 타입들로부터의 상기 엔트로피에 따른 변칙 타입을 식별하는 단계
    Figure 112008007379918-PCT00060
    를 포함하는, 통신 네트워크 트래픽 모니터링 방법.
  75. 통신 네트워크 트래픽을 모니터링하기 위한 장치로서,
    적어도 소스 IP, 소스 포트, 목적 IP 및 목적 포트로 구성되는 그룹으로부터 선택된 통신 네트워크 트래픽의 분포를 발생시키는 위한 수단;
    상기 피쳐에 대한 상기 분포의 엔트로피를 추정하기 위한 수단; 및
    하기와 같은 하나 이상의 타입들로부터의 상기 엔트로피에 따른 변칙 타입을 식별하기 위한 수단
    Figure 112008007379918-PCT00061
    을 포함하는, 통신 네트워크 트래픽 모니터링 장치.
KR1020087002379A 2005-06-29 2006-06-29 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법 KR20080066653A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US69484005P 2005-06-29 2005-06-29
US69485305P 2005-06-29 2005-06-29
US60/694,853 2005-06-29
US60/694,840 2005-06-29

Publications (1)

Publication Number Publication Date
KR20080066653A true KR20080066653A (ko) 2008-07-16

Family

ID=37596051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087002379A KR20080066653A (ko) 2005-06-29 2006-06-29 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법

Country Status (9)

Country Link
US (1) US8869276B2 (ko)
EP (1) EP1907940A4 (ko)
JP (1) JP2008545343A (ko)
KR (1) KR20080066653A (ko)
AU (1) AU2006263653A1 (ko)
CA (1) CA2613793A1 (ko)
IL (1) IL188344A0 (ko)
IN (1) IN2015MN00459A (ko)
WO (1) WO2007002838A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055957A (ko) * 2016-11-16 2018-05-28 순천향대학교 산학협력단 이상 데이터 분석을 통한 네트워크 침입 검출 장치 및 방법

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9037698B1 (en) * 2006-03-14 2015-05-19 Amazon Technologies, Inc. Method and system for collecting and analyzing time-series data
KR101303643B1 (ko) * 2007-01-31 2013-09-11 삼성전자주식회사 침입 코드 탐지 장치 및 그 방법
TWI331868B (en) * 2007-06-11 2010-10-11 Univ Nat Pingtung Sci & Tech Detecting method of network invasion
US7933946B2 (en) 2007-06-22 2011-04-26 Microsoft Corporation Detecting data propagation in a distributed system
EP2023572B1 (en) * 2007-08-08 2017-12-06 Oracle International Corporation Method, computer program and apparatus for controlling access to a computer resource and obtaining a baseline therefor
US7996510B2 (en) * 2007-09-28 2011-08-09 Intel Corporation Virtual clustering for scalable network control and management
US8954562B2 (en) * 2007-09-28 2015-02-10 Intel Corporation Entropy-based (self-organizing) stability management
KR20090041198A (ko) * 2007-10-23 2009-04-28 한국정보보호진흥원 추이성분 필터링을 이용한 시계열 모델 기반의 네트워크공격 탐지 방법
US9843596B1 (en) * 2007-11-02 2017-12-12 ThetaRay Ltd. Anomaly detection in dynamically evolving data and systems
EP2241072B1 (en) 2007-12-31 2011-05-25 Telecom Italia S.p.A. Method of detecting anomalies in a communication system using numerical packet features
EP2227889B1 (en) 2007-12-31 2011-07-13 Telecom Italia S.p.A. Method of detecting anomalies in a communication system using symbolic packet features
US8717913B2 (en) 2008-06-20 2014-05-06 T-Mobile Usa, Inc. Method and system for user based network analysis and planning
US8472328B2 (en) * 2008-07-31 2013-06-25 Riverbed Technology, Inc. Impact scoring and reducing false positives
US8825473B2 (en) 2009-01-20 2014-09-02 Oracle International Corporation Method, computer program and apparatus for analyzing symbols in a computer system
US8230272B2 (en) * 2009-01-23 2012-07-24 Intelliscience Corporation Methods and systems for detection of anomalies in digital data streams
US20100287416A1 (en) * 2009-03-17 2010-11-11 Correlsense Ltd Method and apparatus for event diagnosis in a computerized system
US8474041B2 (en) * 2009-04-22 2013-06-25 Hewlett-Packard Development Company, L.P. Autonomous diagnosis and mitigation of network anomalies
JP4980396B2 (ja) * 2009-06-30 2012-07-18 日本電信電話株式会社 トラヒック特性計測方法および装置
US8245301B2 (en) * 2009-09-15 2012-08-14 Lockheed Martin Corporation Network intrusion detection visualization
US8245302B2 (en) * 2009-09-15 2012-08-14 Lockheed Martin Corporation Network attack visualization and response through intelligent icons
US8666731B2 (en) * 2009-09-22 2014-03-04 Oracle International Corporation Method, a computer program and apparatus for processing a computer message
GB2507184B (en) * 2010-03-04 2014-08-13 Takadu Ltd System and method for monitoring resources in a water utility network
US7920983B1 (en) 2010-03-04 2011-04-05 TaKaDu Ltd. System and method for monitoring resources in a water utility network
CN101848160B (zh) * 2010-05-26 2012-07-18 钱叶魁 在线检测和分类全网络流量异常的方法
US8719930B2 (en) * 2010-10-12 2014-05-06 Sonus Networks, Inc. Real-time network attack detection and mitigation infrastructure
US8683591B2 (en) 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
US8583386B2 (en) * 2011-01-18 2013-11-12 TaKaDu Ltd. System and method for identifying likely geographical locations of anomalies in a water utility network
CN102130800B (zh) * 2011-04-01 2013-08-28 苏州赛特斯网络科技有限公司 基于数据流行为分析的网络访问异常检测装置及方法
US8737204B2 (en) 2011-05-02 2014-05-27 Telefonaktiebolaget Lm Ericsson (Publ) Creating and using multiple packet traffic profiling models to profile packet flows
US20120283991A1 (en) * 2011-05-06 2012-11-08 The Board of Trustees of the Leland Stanford, Junior, University Method and System for Online Detection of Multi-Component Interactions in Computing Systems
US9106689B2 (en) 2011-05-06 2015-08-11 Lockheed Martin Corporation Intrusion detection using MDL clustering
CN102271091B (zh) * 2011-09-06 2013-09-25 电子科技大学 一种网络异常事件分类方法
US8817655B2 (en) 2011-10-20 2014-08-26 Telefonaktiebolaget Lm Ericsson (Publ) Creating and using multiple packet traffic profiling models to profile packet flows
EP2587751A1 (en) 2011-10-24 2013-05-01 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Method and arrangement for data clustering
US9141914B2 (en) 2011-10-31 2015-09-22 Hewlett-Packard Development Company, L.P. System and method for ranking anomalies
US8341106B1 (en) 2011-12-07 2012-12-25 TaKaDu Ltd. System and method for identifying related events in a resource network monitoring system
CN103186551B (zh) * 2011-12-28 2016-06-08 金蝶软件（中国）有限公司 基于web应用平台的异常分析方法及仿真***
US9053519B2 (en) 2012-02-13 2015-06-09 TaKaDu Ltd. System and method for analyzing GIS data to improve operation and monitoring of water distribution networks
US9471544B1 (en) 2012-05-24 2016-10-18 Google Inc. Anomaly detection in a signal
US10242414B2 (en) 2012-06-12 2019-03-26 TaKaDu Ltd. Method for locating a leak in a fluid network
US9628499B1 (en) 2012-08-08 2017-04-18 Google Inc. Statistics-based anomaly detection
CN103051475B (zh) * 2012-12-20 2016-08-03 瑞斯康达科技发展股份有限公司 网管设备、分级网管***及其查询被管设备状态的方法
US9614742B1 (en) * 2013-03-14 2017-04-04 Google Inc. Anomaly detection in time series data
US9380066B2 (en) 2013-03-29 2016-06-28 Intel Corporation Distributed traffic pattern analysis and entropy prediction for detecting malware in a network environment
US9503465B2 (en) 2013-11-14 2016-11-22 At&T Intellectual Property I, L.P. Methods and apparatus to identify malicious activity in a network
EP3085017A1 (en) 2013-12-19 2016-10-26 BAE Systems PLC Method and apparatus for detecting fault conditions in a network
US10972345B1 (en) * 2019-02-20 2021-04-06 Amdocs Development Limited System, method, and computer program for evaluating confidence level of predicting a network situation in a communication network managed using artificial intelligence
EP3085016A1 (en) * 2013-12-19 2016-10-26 BAE Systems PLC Data communications performance monitoring
EP2887579A1 (en) * 2013-12-19 2015-06-24 BAE Systems PLC Data communications performance monitoring using principal component analysis
US9692674B1 (en) 2013-12-30 2017-06-27 Google Inc. Non-parametric change point detection
US10560469B2 (en) 2014-01-24 2020-02-11 Hewlett Packard Enterprise Development Lp Identifying deviations in data
US9652354B2 (en) 2014-03-18 2017-05-16 Microsoft Technology Licensing, Llc. Unsupervised anomaly detection for arbitrary time series
US9503467B2 (en) 2014-05-22 2016-11-22 Accenture Global Services Limited Network anomaly detection
US10230747B2 (en) 2014-07-15 2019-03-12 Cisco Technology, Inc. Explaining network anomalies using decision trees
US9973520B2 (en) * 2014-07-15 2018-05-15 Cisco Technology, Inc. Explaining causes of network anomalies
CN105337951B (zh) * 2014-08-15 2019-04-23 中国电信股份有限公司 对***攻击进行路径回溯的方法与装置
US9407645B2 (en) 2014-08-29 2016-08-02 Accenture Global Services Limited Security threat information analysis
US9716721B2 (en) 2014-08-29 2017-07-25 Accenture Global Services Limited Unstructured security threat information analysis
US10505819B2 (en) 2015-06-04 2019-12-10 Cisco Technology, Inc. Method and apparatus for computing cell density based rareness for use in anomaly detection
US9729571B1 (en) * 2015-07-31 2017-08-08 Amdocs Software Systems Limited System, method, and computer program for detecting and measuring changes in network behavior of communication networks utilizing real-time clustering algorithms
US9979743B2 (en) 2015-08-13 2018-05-22 Accenture Global Services Limited Computer asset vulnerabilities
US9886582B2 (en) 2015-08-31 2018-02-06 Accenture Global Sevices Limited Contextualization of threat data
US10193780B2 (en) 2015-10-09 2019-01-29 Futurewei Technologies, Inc. System and method for anomaly root cause analysis
DE112015006466B4 (de) * 2015-10-23 2024-05-02 NEC Laboratories Europe GmbH Verfahren und System zur Unterstützung der Detektion von Unregelmässigkeiten in einem Netzwerk
JP6078179B1 (ja) * 2016-01-20 2017-02-08 西日本電信電話株式会社 セキュリティ脅威検出システム、セキュリティ脅威検出方法、及びセキュリティ脅威検出プログラム
CN105808639B (zh) * 2016-02-24 2021-02-09 平安科技（深圳）有限公司 网络访问行为识别方法和装置
WO2017145591A1 (ja) * 2016-02-26 2017-08-31 日本電信電話株式会社 分析装置、分析方法および分析プログラム
US10659333B2 (en) 2016-03-24 2020-05-19 Cisco Technology, Inc. Detection and analysis of seasonal network patterns for anomaly detection
US10659481B2 (en) 2016-06-29 2020-05-19 Paypal, Inc. Network operation application monitoring
US10079768B2 (en) 2016-07-07 2018-09-18 Cisco Technology, Inc. Framework for joint learning of network traffic representations and traffic classifiers
US10223191B2 (en) * 2016-07-20 2019-03-05 International Business Machines Corporation Anomaly detection in performance management
US20180077227A1 (en) * 2016-08-24 2018-03-15 Oleg Yeshaya RYABOY High Volume Traffic Handling for Ordering High Demand Products
US10505894B2 (en) 2016-10-13 2019-12-10 Microsoft Technology Licensing, Llc Active and passive method to perform IP to name resolution in organizational environments
KR20200007931A (ko) * 2017-05-18 2020-01-22 익스팬스 인코포레이티드 상관관계 중심 위협 평가 및 치료
US11934937B2 (en) 2017-07-10 2024-03-19 Accenture Global Solutions Limited System and method for detecting the occurrence of an event and determining a response to the event
WO2019026684A1 (ja) * 2017-08-04 2019-02-07 日本電信電話株式会社 経路制御方法及び経路設定装置
CN110110160B (zh) 2017-12-29 2020-04-14 阿里巴巴集团控股有限公司 确定数据异常的方法及装置
US10547518B2 (en) * 2018-01-26 2020-01-28 Cisco Technology, Inc. Detecting transient vs. perpetual network behavioral patterns using machine learning
CN108566340B (zh) * 2018-02-05 2021-03-09 中国科学院信息工程研究所 基于动态时间规整算法的网络流量精细化分类方法和装置
US11005870B2 (en) * 2018-11-27 2021-05-11 General Electric Company Framework to develop cyber-physical system behavior-based monitoring
US11405413B2 (en) * 2019-02-01 2022-08-02 Microsoft Technology Licensing, Llc Anomaly lookup for cyber security hunting
WO2021133791A1 (en) * 2019-12-23 2021-07-01 Boon Logic Inc. Method for network traffic analysis
WO2021262136A1 (en) * 2020-06-22 2021-12-30 Hewlett-Packard Development Company, L.P. Monitoring an embedded system
US11652833B2 (en) 2020-07-24 2023-05-16 Microsoft Technology Licensing, Llc Detection of anomalous count of new entities
US11398970B2 (en) * 2020-08-05 2022-07-26 Cisco Technology, Inc. Internet last-mile outage detection using IP-route clustering

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6321338B1 (en) 1998-11-09 2001-11-20 Sri International Network surveillance
WO2002046928A1 (en) * 2000-12-04 2002-06-13 Rensselaer Polytechnic Institute Fault detection and prediction for management of computer networks
US8509086B2 (en) 2001-06-20 2013-08-13 Arbor Networks, Inc. Detecting network misuse
US8220052B2 (en) * 2003-06-10 2012-07-10 International Business Machines Corporation Application based intrusion detection
US7463590B2 (en) * 2003-07-25 2008-12-09 Reflex Security, Inc. System and method for threat detection and response
US7526807B2 (en) * 2003-11-26 2009-04-28 Alcatel-Lucent Usa Inc. Distributed architecture for statistical overload control against distributed denial of service attacks
US7607170B2 (en) * 2004-12-22 2009-10-20 Radware Ltd. Stateful attack protection
US20060294588A1 (en) * 2005-06-24 2006-12-28 International Business Machines Corporation System, method and program for identifying and preventing malicious intrusions

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180055957A (ko) * 2016-11-16 2018-05-28 순천향대학교 산학협력단 이상 데이터 분석을 통한 네트워크 침입 검출 장치 및 방법

Also Published As

Publication number Publication date
US8869276B2 (en) 2014-10-21
AU2006263653A1 (en) 2007-01-04
IN2015MN00459A (ko) 2015-09-04
IL188344A0 (en) 2008-04-13
WO2007002838A3 (en) 2007-12-06
EP1907940A2 (en) 2008-04-09
US20100071061A1 (en) 2010-03-18
WO2007002838A8 (en) 2008-07-31
JP2008545343A (ja) 2008-12-11
WO2007002838A2 (en) 2007-01-04
EP1907940A4 (en) 2012-02-08
CA2613793A1 (en) 2007-01-04

Similar Documents

Publication Publication Date Title
KR20080066653A (ko) 완전한 네트워크 변칙 진단을 위한 방법 및 장치와 트래픽피쳐 분포를 사용하여 네트워크 변칙들을 검출하고분류하기 위한 방법
CN112651006B (zh) 一种电网安全态势感知***
Rabbani et al. A hybrid machine learning approach for malicious behaviour detection and recognition in cloud computing
Suresh et al. Evaluating machine learning algorithms for detecting DDoS attacks
Lakhina et al. Diagnosing network-wide traffic anomalies
Yeung et al. Covariance-matrix modeling and detecting various flooding attacks
Marnerides et al. Traffic anomaly diagnosis in Internet backbone networks: A survey
Fernandes Jr et al. Autonomous profile-based anomaly detection system using principal component analysis and flow analysis
Palmieri et al. A nonlinear, recurrence-based approach to traffic classification
Gajewski et al. Two-tier anomaly detection based on traffic profiling of the home automation system
Qin et al. Monitoring abnormal network traffic based on blind source separation approach
Al-Sanjary et al. Comparison and detection analysis of network traffic datasets using K-means clustering algorithm
Zolotukhin et al. Data mining approach for detection of DDoS attacks utilizing SSL/TLS protocol
JP2020022133A (ja) 感染拡大攻撃検知装置、攻撃元特定方法及びプログラム
Chen et al. A MSPCA based intrusion detection algorithm tor detection of DDoS attack
Kline et al. Traffic anomaly detection at fine time scales with bayes nets
Wagner et al. DANAK: Finding the odd!
Muelas et al. Dictyogram: A statistical approach for the definition and visualization of network flow categories
Xu Network Behavior Analysis
Chatzigiannakis et al. Improving network anomaly detection effectiveness via an integrated multi‐metric‐multi‐link (M3L) PCA‐based approach
Bandara et al. Modeling spatial and temporal behavior of internet traffic anomalies
Zhang et al. A space-efficient fair packet sampling algorithm
Zabri et al. Analyzing network intrusion behavior of packet capture using association rules technique: an initial framework
Zhang et al. Traffic features extraction and clustering analysis for abnormal behavior detection
David et al. A parallel approach to pca based malicious activitydetection in distributed honeypot data

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid