JP2015502060A - ネットワークメタデータを処理するストリーミング方法およびシステム - Google Patents

ネットワークメタデータを処理するストリーミング方法およびシステム Download PDF

Info

Publication number
JP2015502060A
JP2015502060A JP2014540202A JP2014540202A JP2015502060A JP 2015502060 A JP2015502060 A JP 2015502060A JP 2014540202 A JP2014540202 A JP 2014540202A JP 2014540202 A JP2014540202 A JP 2014540202A JP 2015502060 A JP2015502060 A JP 2015502060A
Authority
JP
Japan
Prior art keywords
network
metadata
policy
network metadata
netflow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014540202A
Other languages
English (en)
Inventor
ジー. フリードマン,ウィリアム
ジー. フリードマン,ウィリアム
ベレドニツキー,アレキサンダー
Original Assignee
ネットフロー ロジック コーポレーション
ネットフロー ロジック コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネットフロー ロジック コーポレーション, ネットフロー ロジック コーポレーション filed Critical ネットフロー ロジック コーポレーション
Publication of JP2015502060A publication Critical patent/JP2015502060A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/20Traffic policing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102Entity profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

ネットワークメタデータを処理するための方法およびシステムについて記述する。ネットワークメタデータは、ネットワークメタデータの特徴について、かつネットワークメタデータにより伝送される情報のコンシューマへのネットワークメタデータの提示についてポリシベースの決定を下す動的にインスタンス化される実行可能ソフトウェアモジュールによって処理されてもよい。ネットワークメタデータは、タイプ別に分類されてもよく、かつタイプ内の各サブクラスは、一意のフィンガープリント値によって定義へマップされてもよい。フィンガープリント値は、ネットワークメタデータのサブクラスを関連するポリシおよび変換規則に照らしてマッチングするために使用されてもよい。NetFlow v9等のテンプレートベースのネットワークメタデータの場合、本発明の一実施形態は、未知のテンプレートを探してネットワークトラフィックを絶えず監視し、テンプレート定義を捕捉し、かつカスタムポリシおよび変換規則が存在しないテンプレートについて管理者に知らせることができる。変換モジュールは、ネットワークメタデータの選択されたタイプおよび/またはサブクラスを代替メタデータフォーマットへ効率的に変換することができる。【選択図】 図3

Description

概して、本発明は、ネットワークの監視およびイベント管理に関する。より具体的には、本発明は、ネットワークの監視アクティビティを介して入手されるネットワークメタデータの処理、およびこれに続くメタデータの処理に関し、これにより、メタデータのコンシューマには有益な情報が効率よくタイムリーに伝わることになる。
ネットワーク監視は、企業およびサービスプロバイダによってしばしば使用される極めて重要な情報技術(IT)であって、パフォーマンス、不正行為をするホスト、不審なユーザアクティビティ、他に関連する問題点について、内部ネットワーク上で発生するアクティビティを見張ることを含む。ネットワーク監視は、様々なネットワークデバイスにより提供される情報によって可能にされる。この情報はこれまで、概してネットワークメタデータと称され、即ち、ネットワーク上で伝送される他の情報を補足しかつ相補するものであるネットワーク上のアクティビティを記述する情報クラスを指している。
Syslogは、ネットワーク監視に一般的に使用されるネットワークメタデータの一タイプである。Syslogは、プログラムメッセージをログするための規格であって、他では管理者に問題またはパフォーマンスを知らせる手段を伝達することができないデバイスを提供する。Syslogは、コンピュータシステムの管理およびセキュリティ監査、ならびに一般化された情報、分析およびデバッグメッセージ用に使用されることが多い。これは、複数のプラットフォームに渡る(プリンタおよびルータのような)広範なデバイスおよび受信機によってサポートされている。これに起因して、Syslogは、多くの異なるタイプのシステムからのログデータを中央リポジトリに統合するために使用されることが可能である。
さらに最近では、様々なベンダーによりNetFlow、jFlow、sFlow、他と称される別のタイプのネットワークメタデータも、規格ネットワークトラフィックの一部として導入されている(以後、概して「NetFlow」と称する)。NetFlowは、トラフィック監視用の業界標準となっている、IPトラフィック情報を収集するためのネットワークプロトコルである。NetFlowは、ルータ、スイッチ、ファイアウォール、侵入検知システム(IDS)、侵入防止システム(IPS)、ネットワークアドレス変換(NAT)エンティティ、他多数等の様々なネットワークデバイスによって生成されることが可能である。しかしながら、最近まで、NetFlowのネットワークメタデータは、専ら、ネットワークトポロジーの発見、ネットワークスループットのボトルネックのロケーティング、サービス水準合意(SLA)の検証、他等の事後のネットワーク監督を目的として使用されている。NetFlowメタデータのこのような限定的使用は、概して、ネットワークデバイスにより生成される情報の多量さおよび高い送出量、情報ソースの多様さ、および追加的な情報ストリームを既存のイベントアナライザへ統合する全体的な複雑さに起因する可能性がある。より具体的には、NetFlowメタデータの生成者は、典型的には、コンシューマがリアルタイム設定で分析しかつ使用し得る量より多い情報を生成している。例えば、ネットワーク上の大規模スイッチへの単一媒体は、1秒当たり400,000個のNetFlowレコードを生成する場合もある。
今日のsyslogコレクタ、syslogアナライザ、セキュリティ情報管理(SIM)システム、セキュリティイベント管理(SEM)システム、セキュリティ情報およびイベント管理(SIEM)システム、他(以後、纏めて「SIEMシステム」と称する)は、NetFlowの受信分析ができず、NetFlowパケットに含まれる初歩的な情報の処理に限定されるか、NetFlowパケットを、このようなパケットが典型的に生成される速度より遙かに低い速度で処理するか、の何れかである。
NetFlow v9(RFC3954)およびIPFIX(RFC5101および関連のIETF RFC)等のロバストなネットワーク監視プロトコルは、ネットワークセキュリティおよびインテリジェントネットワーク管理の領域においてネットワークメタデータを用いる機会を大幅に拡大している。同時に、先に同定した制約に起因して、今日のSIEMシステムは、概して、単に観察されたバイトおよびパケット計数を報告するだけで、ネットワーク監視情報を利用することはできない。
ネットワークマネージャおよびネットワークセキュリティの専門家は、業界で「ビッグデータ」と称される問題に絶えず直面し、かつ闘っている。ビッグデータ問題により生じる問題点の中には、異なるフォーマットおよび構造で存在することが多い膨大な量の機械生成データを分析かつ記憶できないことが含まれる。一般的に遭遇する課題は、下記のように要約することができる。
1.リアルタイムで分析するにはデータが多すぎて、ネットワーク状態に関する時宜を得た識見を得ることができない。
2.データがネットワーク上の異なるデバイスタイプから異なるフォーマットで到来し、異なるデバイスタイプからのデータ補正を困難かつ遅くする。
3.データが多すぎて、(例えば、後の分析用および/またはデータ保持要件との整合用に)記憶することができない。
本発明は、大量のメタデータをリアルタイムで分析し、大量のメタデータを、単一の監視システム内部の他のデータによる即時的相関を可能にする共通フォーマットへ変換する能力を提供し、かつパケット検証、フィルタリング、集約および重複排除等のリアルタイムデータ低減技術を介して着信データ量を大幅に低減することにより、ビッグデータに関連づけられる先に同定した全ての課題に対処することができるシステムおよび方法を提供する。
本発明の実施形態は、着信するネットワークメタデータ・パケットの有効性をチェックして、不正な形式の、または不適切なメッセージを廃棄することができる。また実施形態は、着信するネットワークメタデータのパケットを、その情報コンテンツの関連態様を識別するためにリアルタイムで調べかつフィルタリングし、かつ着信するネットワークメタデータの異なるストリームを、本発明の処理エンジン内で異なった処理をするためにセグメント化またはルーティングすることもできる。このような異なる処理には、ネットワークマネージャにより構成される、および、着信メッセージの早期調査の間に決定されることが可能な基準を基礎として特定のメッセージまたは選択されるメッセージストリームをドロップすることによって出力メタデータのトラフィックを低減する機会が含まれる。これにより、ネットワークマネージャは、ネットワーク分析を、持続ベースまたは特定のネットワーク状態に応答する一時的なものの何れかに集中させることができる。一例として、ネットワークマネージャは、侵入イベントの可能性を調査するために、ネットワーク上のエッジデバイスとなるべく限定して生成されるシステム内部のネットワークメタデータに注目するように選ぶことができる。
本発明の実施形態は、さらに、着信するネットワークメタデータ・パケットに含まれる情報コンテンツを集め、かつ大量の関連パケットを、同じ情報を捕捉するが、生成するダウンストリームディスプレイ、分析および記憶要件がオリジナルのメタデータフローより遙かに少ない1つのパケット、または遙かに少数の他のパケットと置換することができる。
本発明の実施形態は、さらに、ネットワークデバイスにより生成される正常なメタデータフローのコンテンツの重複を排除することができる。着信トラフィックは、典型的には、ネットワーク内で一連のネットワークデバイスを介して宛先デバイスへとルーティングされることから、また、各ネットワークデバイスは、典型的には、各ネットワークデバイスを横断するフロー毎にネットワークメタデータを生成することから、大量の余分なメタデータが生成され、業界のビッグデータ問題を引き起こす。
本発明は、例えばネットワークまたは機械生成メタデータである、様々なデータフォーマットの任意の構成データ(以後、ネットワークメタデータ)を受信し、ネットワークメタデータを効率的に処理し、かつ受信されるネットワークメタデータおよび/またはオリジナルのネットワークメタデータから導出されるネットワークメタデータを様々なデータフォーマットで転送することができるシステムおよび方法に関する。ネットワークメタデータは、ルータ、スイッチ、ファイアウォール、侵入検知システム(IDS)、侵入防止システム(IPS)、ネットワークアドレス変換(NAT)エンティティ、他多数等の様々なネットワークデバイスによって生成される可能性もある。
ネットワークメタデータの情報は、NetFlowおよびその変形(例えば、jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、syslog、他を含む、但しこれらに限定されない幾つかのフォーマットで生成される。本明細書に記述する方法およびシステムは、ネットワークメタデータの情報を、NetFlowおよびその変形(jFlow、cflowd、sFlow、IPFIX)、SNMP、SMTP、syslog、OpenFlow、他を含む、但しこれらに限定されない幾つかのフォーマットで出力することができる。さらに、本発明の実施形態は、選択されたタイプのネットワークメタデータ情報を、リアルタイムまたはリアルタイムに近いネットワークサービスの提供を可能にするに足る速度で出力することができる。その結果、本システムは、N(N≧1)名のネットワークメタデータ生成者およびM(M≧1)名のオリジナルまたは導出されたネットワークメタデータのコンシューマによる配備において、有意義なサービスを提供することができる。本発明の特定の一実施形態が、RFC5982に反映されているようなIPFIXメディエータの定義に整合することは認識され得る。
本発明の一実施形態は、受信されるネットワークメタデータの性質、特徴および/またはタイプ(「クラス」)を識別し、かつ受信される情報をカテゴリまたはクラスに編成するための方法およびシステムを提供する。これは、テンプレートを基礎としかつコンテンツおよび目的が広範であることが可能なNetFlow v9およびこれに類似するメッセージに関連して使用される場合に特に有益であり得る。一旦カテゴリまたはクラスに編成されると、個々のクラス・メンバ・インスタンスは、さらに、ゼロの、1つの、または複数のクラス指定処理規則に従って、またはデフォルトの処理規則(「ポリシ」)に従って処理されることが可能である。本発明のこの態様は、限りなく広範なタイプのネットワークメタデータをきめ細かく処理することができる。
着信ネットワークメタデータのクラスをオペレーションの早期段階で識別することにより、この実施形態は、ネットワークメタデータの処理を効率的に編成することができ、かつ適切な状況において、システム管理者にとっての限定的な興味の対象であるネットワークメタデータ部分をフィルタリングし、統合しかつ/または排除して必要な処理量を低減することができ、これにより、システムのリアルタイムまたはリアルタイムに近いオペレーションに貢献し、かつネットワークメタデータのコレクタ(収集器)側の記憶要件を低減する。例えば、ある特定のネットワークトラフィック本体がネットワーク内の複数のデバイス(装置)をトラバースするにつれて、冗長な情報を含むトラバースされた各デバイスからネットワークメタデータが生成されてもよい。SIEMシステム内部に画定される監視の焦点またはエリアに依存して、SIEMシステムへ転送されるメタデータフローから、冗長な情報を含むメタデータレコードをフィルタリングし、集め、統合し、または排除することが望ましい場合がある。SIEMシステムへ方向づけられる所定のクラスのネットワークメタデータから冗長性を除去し、同時にコレクタへ方向づけられるフローのメタデータを全て保全するポリシの導入が可能である。
したがって、本発明の実施形態により実装されるポリシが、SIEMシステムの焦点であるポリシまたはエリア、および/またはネットワーク内部で動作するメタデータコレクタをサポートしかつ/またはこれと調和されるように定義可能であることは認識されるであろう。
ポリシは、ネットワーク管理およびセキュリティを目的として、セキュリティ攻撃を示す可能性もある重要な、または珍しいネットワークイベントを検出し、ネットワーク上のトラフィックスパイクを報告し、ネットワークへの攻撃を検出し、ネットワークリソースのより良い使用法を育み、かつ/またはネットワーク上で実行されるアプリケーションを識別するために導入されることが可能である。ポリシは、汎用である可能性も、時間ベースである可能性もあり、かつネットワークを通過する特定クラスのネットワークメタデータ、またはネットワークメタデータのサブセットに適用されることが可能である。本発明の一実施形態は、システムのスループットおよびパフォーマンスを向上させるために、複数のポリシモジュールと共動する複数のワーキングスレッドの準備を企図している。
ワーキングスレッドは、システムのパフォーマンスおよびスループットをさらに拡大するために特定のクラスまたはサブクラスのネットワークメタデータと共用するように特化または調整されたものを導入することができる。このような特化されたワーキングスレッドおよびポリシモジュールは、システムのパフォーマンスおよびスループットを拡大するために、ネットワークメタデータ・ストリームの異なる部分に処理オペレーションを並行して実行することができる。また、システムのパフォーマンスおよびスループットをさらに拡大するために、かなりの量の特定のクラスまたはサブクラスのネットワークメタデータに応答して、特化されたワーキングスレッドおよび/またはポリシモジュールの複数のインスタンス(オブジェクト)を、並行動作するようにインスタンス化(オブジェクト化)することもできる。
例えば、本発明の一実施形態は、内部ネットワーク上に存在する外部制御のネットワークホスト(「ボットネットメンバ」)を検出する固有のケイパビリティを提供する。セントラルコントローラ(「ボットネットマスタ」)によって操作される感染したネットワークホストについて考察されたい。典型的には、ネットワークホスト上の悪意のあるコンテンツを検出するには、そのホスト上に専用のプラグインモジュールをインストールする必要がある。この方法は、ホストベースの手段では検出できない悪意のある高度なエージェント(「ルートキット」)に対して機能しない。本発明の一実施形態は、内部ネットワーク上でのボットネットマスタとボットネットメンバとの間の通信行動を識別してセキュリティシステムに通知することができるポリシを導入する。
ネットワークメタデータ情報の使用に起因して、本発明により提供される知能は、ネットワークトラフィックに曝される類似目的のデバイスにより提供される知能より高度な信頼性を達成する。例えば、悪意のあるトラフィックに曝されるインライン侵入検知システム(IDS)または侵入防止システム(IPS)は、サービス拒絶(「DoS」)攻撃を受ける、またはこれにより損なわれる可能性があるが、本発明は、このような攻撃者がアクセスできない内部ネットワーク上に配備されることが可能である。
さらに、本発明は、ネットワークメタデータの難読化を必要とする配備に適するものにする、ネットワークメタデータの変換を有効化する。
本発明の別の実施形態によれば、本方法およびシステムは、ストリーミング式に実装されてもよく、即ち、入力されるネットワークメタデータを着信されるままに(「リアルタイムで、またはほぼリアルタイムで」)、ネットワークメタデータを持続的に記憶する必要なしに処理するように実装されてもよい。本発明のこの実施形態は、本システムおよび方法を限定されたメモリおよび記憶容量のコンピュータ上へ配備できるようにし、これにより、本実施形態は、クラウドコンピューティングにおける配備に特に適するものとなる。
1つまたは複数のポリシに従ったクラス・メンバ・インスタンスの処理の後、本発明の一実施形態は、ポリシのアプリケーション結果を、変換されたネットワークメタデータまたはオリジナルのネットワークメタデータの受信者によるさらなる処理に適するゼロ、1つまたは複数の表現に変換するための効率的な方法(「コンバータ」)を提供してもよい。その結果、本明細書に開示するシステムおよび方法は、その出力がsyslogメタデータと共に用いるべく適応されたSIEMシステム等の既存の多様なコンポーネントへと方向づけられ得る既存環境における配備に極めてよく適する。
本発明の一実施形態は、1つまたは複数の特定クラスのネットワークメタデータおよび/または出力フォーマット用にカスタマイズされ得る、よって、ネットワーク上でのリアルタイムまたはほぼリアルタイムのサービスをよりよく有効化すべくシステムのスループットを上げる複数のコンバータを提供する。また、システムのパフォーマンスおよびスループットをさらに拡大するために、かなりの量の特定のクラスまたはサブクラスのネットワークメタデータに応答して、カスタム化されたワーキングスレッドおよび/または変換モジュールの複数のインスタンスを、並行動作するようにインスタンス化することもできる。
さらに、本発明の一実施形態は、メッセージ認証コードを添付することによって、変換されたネットワークメタデータの完全性を保証することができる。本発明のこの実施形態は、洗練されたネットワークメタデータ受信者による、受信した情報の信憑性の検証を有効化する。
本発明のさらに別の実施形態は、本システムおよび方法を既存のネットワークエコシステムが透けて見えるように配備する能力である。この実施形態では、既存のネットワークコンポーネントの構成を変更する必要がない。
本発明の別の実施形態は、ネットワークメタデータの処理および変換規則を視覚的に、またはテキスト用語で、もしくはこれらの組み合わせの何れかで記述するための方法および装置を提供する。ポリシの記述が完了しかつ矛盾のないことが検証されれば、規則を遵守するクラスメンバに適用可能なポリシおよびコンバータは、1つまたは複数のネットワークメタデータ処理および変換規則の定義から同時に導出される1つまたは複数の実行可能モジュールとしてインスタンス化されてもよい。その結果、複数のモジュールに渡る体系的なポリシ一貫性が達成される。さらに、このポリシおよび変換規則を実装するモジュールのバイナリ性は、システムが入力されるネットワークメタデータを、同等の処理規則を解釈する環境における処理速度を遙かに超える速度で処理することを可能にする。
本発明をより明白に確認できるように、以下、添付の図面を参照して、幾つかの実施形態を例示として説明する。
図1は、本発明の一実施形態による、分析されることが可能なメタデータを生成する様々なネットワークデバイスを含むネットワークシステムを示す簡略図である。 図2は、メタデータを生成する様々なネットワークデバイスと、このようなメタデータを分析するための本発明の一実施形態によるシステムとを含むネットワークシステムを示す簡略図である。 図3は、本発明の一実施形態による、分析されることが可能なメタデータを生成する様々なネットワークデバイスと、本発明の一実施形態による、分析されたメタデータの提供先であるネットワークデバイスとを含むネットワークシステムを示す簡略図である。 図4は、本発明の一実施形態による、共働してメタデータを分析する様々な処理モジュールを含むネットワークシステムを示す簡略図である。 図5は、本発明の一実施形態による、共働してメタデータを分析する処理モジュールの部分を示すより詳細な略図である。 図6は、本発明の一実施形態による、メタデータの分析に使用され得る1つの論理の流れを示す表である。 図7は、本発明の一実施形態による、メタデータのデータ構造および共働してメタデータを分析する様々な処理モジュールを示す簡略図である。 図8は、本発明の一実施形態による、共働してメタデータを分析する様々な処理モジュールを示す簡略図である。 図9は、本発明の一実施形態による、共働してメタデータを分析する様々な処理モジュールを示す簡易ブロック図およびフローチャートである。 図9aは、本発明の一実施形態による、実装されることが可能なポリシを示す簡易ブロック図およびフローチャートである。 図9bは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図9cは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図9dは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図9eは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図9fは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図9xは、本発明の一実施形態による、実装されることが可能な別のポリシを示す簡易ブロック図およびフローチャートである。 図10は、本発明の一実施形態による、NetFlowメタデータの分析およびOpenFlowへの変換を示す簡易ブロック図およびフローチャートである。 図11は、本発明の一実施形態による、Syslogメタデータの処理を示す簡易ブロック図およびフローチャートである。 図11aは、本発明の一実施形態による、大規模ネットワークのブランチサブネットにおけるメタデータの処理を示す簡易ブロック図である。 図11bは、本発明の一実施形態による、大規模ネットワークのブランチサブネットにおけるメタデータの処理を示す簡易ブロック図である。 図11cは、本発明の一実施形態による、クラウドベースの実装におけるネットワーク内でのメタデータの処理を示す簡易ブロック図である。 図12は、本発明の一実施形態による、ネットワークにおけるメタデータのルーティングを示す簡易ブロック図である。 図13は、本発明の一実施形態による、ネットワークにおける一般化されたフォーマットのメタデータの分析およびルーティングを示す簡易ブロック図である。
概して、本発明は、ネットワークの監視およびイベント管理に関する。より具体的には、本発明は、ネットワークの監視アクティビティの結果として入手されるネットワークメタデータの処理、およびこれに続くメタデータの処理に関し、これにより、イベント管理エンティティには有益な情報がタイムリーに伝わることになる。
以下の説明では、単に例示を目的として、本発明を、ネットワークメタデータ処理のコンテキストにおいて開示する。しかしながら、本発明が広範なアプリケーションおよび用途に適し、かつ本発明の所定の実施形態がネットワークメタデータ処理以外のコンテキストでも適用可能であることは認識されるであろう。例えば、OpenFlow対応環境において、本システムは、ネットワークからNetFlow情報を受信し、かつOpenFlowコントローラへ命令を出力してもよい。
本発明の一実施形態において、本方法およびシステムは、NetFlow−syslogコンバータ(「NF2SL」)を用いて実装されてもよい。このコンバータは、NetFlowバージョン1からバージョン8、NetFlow v9、jFlow、sflowd、sFlow、NetStream、IPFIXおよびこれらに類似する(「NetFlow」)生成者を、syslogを処理することができるSIEMシステムと統合できるようにするソフトウェアプログラムである。統合は、ネットワーク上でNetFlow生成者により生成されるネットワークメタデータをネットワーク監視システムの共通語−syslogに変換することによって達成される。NetFlow情報の対応するsyslog情報へのマッピングは、NF2SL管理者により確立されるポリシ、規則および優先順位に従って実行されてもよい。
今日のsyslogコレクタ(システムログ収集器)、syslogアナライザ、SIM、SEMおよびSIEMシステム、他(以後、纏めて「SIEMシステム」と称する)は、NetFlowの受信および分析ができないか、NetFlowパケットに含まれる初歩的な情報の処理に限定されているか、処理はできても低速であって結果のタイムリーさおよび有用性が制限される。NF2SLシステムを介して実装される本発明の実施形態は、ネットワーク上のNetFlow生成者とSIEMシステムとの間のインテリジェントな媒介として機能することができ、SIEMシステムが他の方法では不可能な細分性、深度および速度で情報にアクセスできるようにする。
ネットワーク上に配備されると、NF2SLシステムの一実施形態は、概して、NetFlowパケットを受信し、パケット内のNetFlowレコードを識別しかつ分類し、受信されたパケット内に発見されるNetFlowレコードをNF2SL管理者により提供されるポリシに照らしてマッチングし、NetFlowレコードを適用可能なポリシに従って処理し、NetFlowレコード内の情報をNF2SL管理者の決定通りにsyslogパケットへマッピングし、受信され、統合されかつ/または新たに生成されたNetFlowレコードをNetFlowフォーマット(ネットフローフォーマット)からsyslogフォーマット(システムログフォーマット)へ変換し、かつ結果的に生じるsyslogパケットを1つまたは複数の指定されたSIEMシステムへ転送する各機能を包含することができる。このようなNF2SLシステムは、SIEMシステムがデータを分析しかつ相関させるために利用可能となる情報ソースの数および有益な情報の量およびタイムリーさを大幅に増大させることができる。
図1は、ヘッドエンドルータ100と、外部ファイアウォール101と、内部ファイアウォール102と、「DMZ」ネットワークにおいてファイアウォール101、102間に配備される利用可能な公開ウェブサーバ103と、データセンタスイッチ104と、アプリケーションサーバ105とから成る、ある例示的なネットワークを描いている。ある典型的な配備では、上述のエンティティは、生成されるsyslogメッセージをSIEMシステム106へ転送するように構成される。syslogメッセージをSIEMシステム106へ伝達する例示的なエンティティコレクションは、「グループA」として識別されている。
図2を参照すると、NF2SLシステム107を用いて実装される本発明の一実施形態がネットワークへ導入される場合、ヘッドエンドルータ100、外部ファイアウォール101、内部ファイアウォール102およびデータセンタスイッチ104のうちの1つまたはそれ以上は、NetFlowメッセージをNF2SLシステム107へエクスポートするように構成されてもよい。この例示的なネットワークトポロジーにおいて、NF2SLシステム107は、NetFlowパケットにおいてネットワークメタデータを受信し、NetFlowレコード(ネットフロー記録、通信記録)を識別しかつ/または分類し、これらのパケット内に発見されるネットワークメタデータをNF2SL管理者により構成されるポリシに従って処理し(特に関心のあるNetFlowメッセージのフィルタリングおよび統合を含む)、場合により、このような処理の結果として追加的なNetFlowメッセージを生成し、NetFlowメッセージのうちの選択されたものをsyslogメッセージへ効率的に変換し、かつ結果的に生じるsyslogメッセージをSIEMシステム106へ転送する。したがって、NetFlow生成者からNF2SLシステム107に至るまでが構成される、ネットワークのヘッドエンドルータ100、外部ファイアウォール101、内部ファイアウォール102、ウェブサーバ103、アプリケーションサーバ105およびデータセンタスイッチ104のネットワークインタフェースは、潜在的な有益情報をNF2SLシステム107の仲介によりSIEMシステム106へリアルタイムで、またはほぼリアルタイムで伝達する追加的なエンティティグループを備える。NF2SLシステムを介してSIEMシステム106へ伝達するエンティティコレクションは、「グループB」として識別されている。
情報ソースの数を図1と図2で比較すると、図2におけるNF2SLシステム107の導入によって、SIEMシステム106に対する相関および分析に適するデータを生成する潜在的な情報ソースの数が効果的にはほぼ倍増することを容易に認識できると思われる。本発明のこの態様は、ネットワーク上の状態およびアクティビティに対する可視性を大幅に増大させる。
本発明によるこの実施形態のさらに別の態様は、NF2SLシステムの実装の多用性である。そのプラットフォーム独立性に起因して、NF2SLシステムは、無制限に、専用のネットワークアプライアンス上、スタンドアロンサーバ上、クラウドベースのバーチャルマシン上、またはネットワークで結ばれた他の任意のコンピューティングデバイス上に実装されてもよい。その結果、ユーザは、そのニーズおよび予算を最もよく満たすNF2SL実装を選んでもよい。また、これは、NetFlow情報を、ネットワーク上の全てのNetFlow生成デバイスからではなく、選択されたネットワークデバイスから受信するように実装されてもよい。
図3は、NetFlow生成者およびsyslogおよびNetFlowコンシューマを伴うNF2SLシステムの例示的な配備を示している。この実施形態では、NF2SLシステム107は、ルータ120およびスイッチ121によって表されるNetFlow生成者の例示的なコレクションからNetFlowメッセージ122を受信する。受信されたNetFlowメッセージがNF2SL管理者により供給されるポリシに従って処理されると、NF2SLシステム107は、結果的に生じるsyslogメッセージ124を、図3上ではSIEMシステム/syslogアナライザ125およびsyslogコレクタ(システムログ収集器)126により例示されているsyslog情報コンシューマのコレクションへ転送する。また、所望されれば、NF2SLシステム107は、オリジナルのNetFlowメッセージ、オリジナルNetFlowメッセージのサブセットまたはオリジナルNetFlowメッセージ123のスーパーセットをNetFlowコレクタデバイス(ネットフロー収集装置)127へ転送するように構成される場合もある。規制上は、syslogおよびNetFlowメッセージの全てのトラフィックがネットワーク管理者により各々syslogコレクタ126およびNetFlowコレクタ127において保持されることの遵守を求める場合が多い。
図3を参照すると、NetFlowコレクタデバイス127が既にネットワーク上に配備され、かつルータ120およびスイッチ121がNetFlowコレクタデバイス127へNetFlow情報をエクスポートしていた状況において、NF2SLシステム107は、例示として、NetFlow生成者のルータ120およびスイッチ121ならびにNetFlowコレクタデバイス127に関し、下記のような異なる幾つかの例示的方法で構成されてもよい。
− ルータ120およびスイッチ121の構成は、NetFlowメッセージ122をNF2SLシステム107へ転送するように修正されてもよく、かつNF2SLシステム107は、結果的に生じるNetFlowメッセージ123をNetFlowコレクタデバイス127へ転送するように構成されてもよい。
− NetFlowコレクタデバイス127のIPアドレスは、修正されてNF2SLシステム107へ指定されてもよい。よって、NF2SLシステム107は、NetFlowメッセージ122を受信し、かつこれをNetFlowコレクタデバイス127の新たに割り当てられたIPアドレスへ転送してもよい。
− NF2SLシステム107は、ローカルネットワーク上に流れる全てのトラフィックがNF2SLシステム107に明らかであり、よってNF2SLシステムがNetFlowコレクタデバイス127に対して完全にトランスペアレントとなる「プロミスキャス」モードで配備されてもよい。NF2SLシステム107のこの配備モードに要する労力は、NetFlowコレクタデバイス127およびルータ120およびスイッチ121の構成が変わらないことから最小である。NF2SLシステム107のこの配備モードを用いる不利な点は、NetFlowメッセージ122のストリームに影響を与えるポリシの規定がより困難になることにある。この配備モードにおいて、NF2SLシステム107は、依然として追加的なメッセージを生成しかつこれをNetFlowメッセージストリーム123へ注入できることは認識されるであろう。
NF2SLシステムは、好ましくは、最新のマルチコアプロセッサを利用するように設計され、かつマルチスレッド式ソフトウェアまたはファームウェアアプリケーションとして構築されてもよい。
図4は、NF2SLシステムの機能コンポーネントの例示的なコレクションを反映した一実施形態を描いている。図4を参照すると、NF2SLの入力スレッド(I)141は、好ましくは、NetFlow生成者(例えば、ルータ、スイッチ、他)により発せられるNetFlowメッセージ140の受信者として機能する、コンピュータ・プログラミング・コードを介して実装される論理ブロックである。入力スレッド141は、複数のNetFlow生成者から着信するNetFlowメッセージ140を「聴く」1つまたは複数が存在してもよい。ある実施形態では、全ての入力スレッド141が、構成ポート上で聴く単一のUDPソケットへ結びつけられてもよい。
NetFlowメッセージ140を受信すると、ある入力スレッド141は、NetFlowメッセージ140に対して(例えば、そのNetFlowのプロトコルバージョン、NetFlowメッセージの最小サイズ、他を検証することにより)初期チェックを実行してもよい。受信されたパケットが初期チェックに合格しなければ、入力スレッド141は、そのメッセージを廃棄してもよく、またはこれを他の何らかの適切な方法で処理してもよい。パケットが初期チェックに合格すれば、入力スレッド141は、これを、同様に好ましくはコンピュータ・プログラミング・コードを介して実装される論理ブロックであるNF2SLワーカ(W)スレッド143のうちの1つへ送ってもよい。NF2SLシステムのスレッド間通信は、軽量キューメカニズム142を介して、または技術上知られる他の任意のメカニズムを介して実装されてもよい。概して、あるNF2SLスレッドは、あるパケットを別のスレッドへ送りたい場合、そのパケットを受信者のスレッドキューに入れてもよい。例えば、キューメカニズム142は、ワーカスレッド143への供給を行い、かつキューメカニズム148は、出力スレッド149への供給を行う。パケットをキューに入れると、スレッドは、受信者スレッドへ受信者スレッドが保留中のジョブを有するという信号を送る。
NF2SLシステムは、受信者スレッドを選ぶ場合、ラウンドロビン方式または技術上知られる他の任意のメカニズムを用いてもよい。他に、無作為の選択、または定義された優先性ステータスに従った選択等の他の選択方法が利用される可能性もあることは認識されるであろう。
NF2SLワーカスレッド143は、NF2SL管理者が示すポリシおよびフォーマット変換変形の実行を担当している。NF2SLポリシは、NetFlowレコードの処理規則コレクションである。ポリシは、ある特定のNetFlowレコードタイプに適用されても、NetFlowレコードタイプのグループに適用されても、NF2SLシステムを流れる全てのNetFlowメッセージに適用されてもよい。好ましくは、ポリシは、ネットワーク内で動作可能な任意のSIEMシステム125において動作可能なポリシ、ならびに配備される任意のsyslogおよび/またはNetFlowコレクタの動作を定義するポリシをサポートしかつ/または補足するように定義される。
ポリシを生成する、または定義する場合、NF2SL管理者は、1つまたは複数の時間ベースの(「kron」)ポリシを指定することもある。NF2SL時間ベースポリシは、Kron(K)スレッド144によって実行されてもよい。ここに記述したもの以外にも、他のタイプのポリシ、例えば所定のイベント計数、時刻、他によってトリガされるポリシも可能であることが予想される。
NF2SL管理者は、ポリシのオーサリングを、内蔵GUIを介して、NF2SLソフトウェア開発キット(「SDK」)を介して、または技術上知られる他の任意のメカニズムを介して行ってもよい。GUI方式を用いる場合、ポリシの定義が完了すると、NF2SLシステムは、これらのポリシ(ポリシモジュール146)、対応する変換変形(変換モジュール147)、およびもし定義されていれば、時間ベースのポリシ(時間ベースのポリシモジュール145)を実装することができる実行可能なソフトウェアプログラムを生成するように構成される。ある例示的な実施形態では、生成されるソフトウェアプログラムは、動的リンクライブラリ(DLLまたは「共有オブジェクト」)としてコンパイルされてもよい。これらの共有オブジェクトは、ランタイムにおいてNF2SLシステムにロードされてもよい。あるいは、ポリシ、変換変形および時間ベースポリシは、密接な複数の実行可能モジュールではなく、単一の実行可能モジュールとしてインスタンス化され得ることも予想される。
可能なNF2SLポリシおよび時間ベースポリシの範囲は、NetFlow生成者が発する情報の範囲によってのみ限定される。例えば、着信するトラフィックフローに関する情報を含むNetFlowメッセージを伝えるNetFlow生成者(例えば、ヘッドエンドルータ)について考察されたい。対応するポリシは、NF2SLシステムに指令して、内部ネットワーク上の特定のhttpサーバを宛先とするIPパケットの計数を保持し、かつIPパケットの累積計数を60秒毎にSIEMシステム125へ報告させるように定義されてもよい。SIEMシステム125は、このような情報を効果的に利用して、オペレータに異常なネットワーク状態を知らせることができる。先行技術の実装においてSIEMシステム125へ典型的に配信されるsyslogメッセージは、概して、SIEMシステム125がネットワーク上のこのような状態を認識できるほど十分な情報を包含しない。
ポリシのアレイは、ある特定のレコードタイプに適用可能であるように定義されてもよく、好ましくは、NetFlowメッセージ140において見出される各レコードは、このレコードタイプに適用可能な全てのポリシに照らして評価される。ネットワーク管理者は、あるレコードタイプに関連するポリシアレイの適用順序を定義してもよく、または、他の優先順位論理および/または他の論理を用いてこのような順序が定義されてもよい。ポリシの評価が完了すると、処理モジュール146は、NetFlowレコード処理を続けるべきか、問題のレコードを廃棄すべきかを示す。また、ポリシモジュールは、NetFlow生成者から受信される1つまたは複数のオリジナルNetFlowメッセージ140と共に、またはその代わりにNF2SLシステムが処理する新しい(派生的な)NetFlowメッセージを生成することを選んでもよい。ある例示的な実施形態において、時間ベースのポリシにより生成されるNetFlowメッセージは、ポリシによる評価を受けない。本発明の他の実施形態では、時間ベースのポリシにより生成されるNetFlowメッセージが1つまたは複数のポリシによって評価されてもよいことは予想される。
NetFlowメッセージ140の処理の次のステップでは、ワーカスレッド143は、NetFlowレコードを、このNetFlowレコードタイプに適用可能なsyslogパケット変換規則(「変換規則」)へ位置づけ、変換モジュール147を呼び出して変換手順を実行させる。
NF2SL変換規則は、オリジナルのNetFlowメッセージ140または派生的なNetFlowレコード152を1つまたは複数のsyslogまたはNetFlowメッセージ150へマップする命令コレクションである。NetFlowレコード内に見出される情報のsyslogを介して伝えられる情報へのマッピングは、NF2SL管理者によりNF2SL GUIを介して指定される。変換規則の単純な一例は、NetFlowレコード内の全フィールドのコンテンツをsyslogパケット150において伝えていく。
ワーカスレッド143は、関連する全ての変換規則をNetFlowメッセージ140内のレコードに適用すると、結果的に生じるsyslogパケットを出力(O)スレッド149のうちの1つへ送り、これが、構成されたsyslogおよび/またはNetFlowメッセージのコンシューマへと配信される。
NF2SLシステムにおける入力スレッド141、ワーカスレッド143および出力スレッド149の数が設定可能であること、およびNF2SLシステムが、入力スレッド141、ワーカスレッド143および出力スレッド149の複数のインスタンスが並列で動作し得ることに起因して遙かに大量のメッセージトラフィックを処理できることは認識されるべきである。

NF2SLシステムの輻輳制御メカニズム
ある例示的な実施形態では、NetFlowのトラフィックバーストに対処するために、NF2SLシステムは輻輳制御メカニズムを含んでもよい。図5を参照すると、NF2SLシステムは、WRED(「重み付けランダム早期検出」)方式を用いてワーク・スレッド・キュー163の輻輳レベルを決定してもよい。
各ワークスレッド165は、限定サイズの即時ワーク・スレッド・キュー163と、制限のないワークスレッドWREDキュー164とを有してもよい。入力スレッド161は、NetFlowメッセージMSG160を受信すると、このNetFlowメッセージMSG160を処理すべきワークスレッド165を選択する。ワークスレッド165の選択は、ラウンドロビン様式で行われても、効果的であるとされる他の任意の方式で行われてもよい。ワークスレッド165が選択されると、入力スレッド161は、着信パケットをワークスレッド165のどのキューに入れるべきかを決定するWREDオラクル162を調べる。WREDオラクル162は、この決定を、ワーク・スレッド・キュー163の現行長さ、およびWRED方式のガイドラインに従って計算されるキューの平均長さを基礎として下してもよい。
通常の負荷状態の下では、WREDオラクル162は、入力スレッド161にパケットをワーク・スレッド・キュー163に入れるように命令してもよい。トラフィック量が多い場合、WREDオラクル162は、確率的手法を用いて、NetFlowメッセージMSG160がワーク・スレッド・キュー163に入れられるべきか、ワークスレッドWREDキュー164に入れられるべきかを決定してもよい。トラフィック量が増すにつれて、NetFlowメッセージMSG160がワークスレッドWREDキュー164に入れられる確率は高まり得る。
NetFlowパケットMSG160がワークスレッドWREDキュー164へ転送される確率は、NetFlowメッセージMSG160のある特定のソースに関連づけられる重量にも依存する場合がある。NetFlowソースの重量は、NF2SL管理者によって決定されてもよい。
NF2SLシステムにおいて、輻輳制御という目的に関しては、WRED以外のアルゴリズムが使用される可能性もあることは認識されるべきである。例えば、NF2SLシステムにおける輻輳を軽減するために、オリジナルのRED(「ランダム早期検出」)アルゴリズム、ARED(「適応ランダム早期検出」)、シスコシステムズ社のDBL(「動的バッファ制限」)、他が使用される可能性もある。

NF2SLシステムのNetFlowトラフィック処理規則
再度図4を参照すると、NF2SLシステムは、専用の変換モジュール147を持たないNetFlowレコードを変換するためにNF2SL管理者が有効化し得るデフォルト(初期設定)の変換モジュール151を含んでもよい。デフォルトの変換モジュール151は、NetFlowレコードフィールドを下記のようにフィールドのNetFlowタイプidが先行してコロン(「:」)で分離されるタイプ指定フォーマットのASCIIストリングとしてマップするデフォルトの変換規則を実装してもよい。

<レコードフィールドid>:<レコードフィールド値>
図6は、レコード指定のポリシおよび変換規則が設定されている場合と設定されていない場合、および図4上のデフォルトの変換モジュール151が有効化される場合と有効化されない場合の、タイプRのNetFlowデータFlowSetレコード(「レコードR」)の例示的な処理を示す。NetFlowデータFlowSetレコードの処理に関しては、他に、ポリシも変換規則またはデフォルトの変換規則も設定されていない場合には受信されるNetFlowメッセージをドロップする、他等の選択肢も存在し得ることは予想される。
一般的なイベント報告プロトコルが、配信される情報の完全性を保証するための内蔵メカニズムを準備していないことは認識されるべきである。NF2SLシステムは、NF2SLシステムにより生成される出力メッセージへチェックサムまたは他の完全性保証エレメントを添付することができる高度な機能を提供する。チェックサムは、CRC−16等のチェックコード、md5、sha−1、FNVまたはその一部等のメッセージハッシュ、またはHMAC等のキー式認証コードであってもよい。チェックサムの存在により、情報の受信者は、メッセージの受信時またはその後の何れかでその信憑性を検証することができる。

NetFlow v9のデータFlowSetレコードidの識別と追跡
NetFlow v9プロトコルは、RFC3954に記述されているように、ネットワーク管理者に、豊富なネットワークフロー記述を生成するためのメカニズムを提供している。このメカニズムは、テンプレートFlowSetおよびオプションテンプレートFlowSetの概念を基礎とする。テンプレートは、ランタイムにおいてNetFlow生成者により発せられるNetFlowデータレコードのフィールドタイプおよびフィールドサイズのリストである。例えば、あるテンプレートフィールドは、あるフローにおいて観察されるバイトの数を含んでもよい。あるオプションテンプレートは、NetFlow生成者に関する情報を含むNetFlowレコードのフィールドタイプおよびフィールドサイズのリストである。例えば、あるオプション・テンプレート・フィールドは、NetFlow情報を発するNetFlow生成者のインタフェースのフルネームを含んでもよい。
NetFlow v5と呼ばれるNetFlow v9に先行するプロトコルは、単一タイプのデータレコードを定義している。NetFlow v5レコードが、NetFlow v9プロトコルのテンプレートファシリティ(装置、装備)によって記述され得ることは認識される。この手法は、NF2SLポリシおよび変換メカニズムの利点をNetFlow v5生成者へ拡張できるようにする。
NetFlowバージョン9の導入により、NetFlowメッセージは、遙かに大量の可変性および対応する情報および意味によって生成される可能性もある。例えば、NetFlowバージョン9のメッセージは、NetFlow v5メッセージのフィールドの全てを包含することができ、かつ場合により、マルチプロトコル・ラベル・スイッチング(MPLS)のラベルおよびIPv6アドレスおよびポート等の追加情報を含むことができる。しかしながら、有用性は高まるものの、NetFlow v9メッセージを解釈しかつ用いるように設計されるシステムは、さらに複雑なものになっている。バージョン9のエクスポートフォーマットは、テンプレートを用いて、IPパケットフローの観察へのアクセスを柔軟かつ拡張可能式に提供する。テンプレートは、フィールドおよびフィールド長さのコレクションを、対応する構造体および意味の記述を添えて定義する。
以下、NetFlow v9に関連づけられる有用な用語の幾つかを挙げて論じる。
IPフロー、またはフロー:フローとも呼ばれるIPフローは、所定の時間間隔の間にネットワーク内の観察ポイントを通るIPパケットセットである。ある特定のフローに属する全てのパケットは、パケットに含まれるデータから、かつ観察ポイントにおけるパケット処理から導出される共通の特性セットを有する。
エクスポータ:エクスポータは、NetFlowサービスが有効化されているデバイス(例えば、ルータ)である。エクスポータは、観察ポイントに入ってくるパケットを監視して、これらのパケットからフローを生成する。これらのフローからの情報は、フローレコードの形式でエクスポート(流出)される。
エクスポートパケット:エクスポートパケットは、エクスポータを起源(発生源、流出源)として、このエクスポータのフローレコードを伝送するパケットであり、その宛先は、本発明のNetFlowコレクタまたはNF2SLであってもよい。
パケットヘッダ:パケットヘッダは、エクスポートパケットの最初の部分である。パケットヘッダは、NetFlowバージョン、パケットに包含されるレコード数およびシーケンスの付番等の、パケットに関する基本情報を提供する。
テンプレートレコード:テンプレートレコードは、あるフロー・データ・レコードにおけるフィールドの構成および解釈を定義する。
テンプレートID:テンプレートIDは、あるテンプレートレコードに一時的に関連づけられる数値である。
テンプレート・フロー・セット:テンプレート・フロー・セットは、テンプレートレコードを過渡的なテンプレートIDに関連づける構造体である。
フロー・データ・レコード:フローレコードは、観察ポイントで観察されるIPフローに関する情報を提供する。フロー・データ・レコードは、テンプレートレコードに対応するフローパラメータの値を含むデータレコードである。
データ・フロー・セット:データ・フロー・セットは、1つまたは複数のフロー・データ・レコードを同じテンプレートIDで纏める構造体である。
したがって、かつ図7を参照すると、NetFlow v9のフロー・データ・レコード204は、NetFlow v9のフロー・データ・レコード204を周知の定義にバインドする固有の識別子を保有しなくてもよい。代わりに、NetFlow v9のエクスポータは、周期的に、テンプレートID202と呼ばれる値によって識別されるNetFlow v9のレコードテンプレートFlowSet200を発する。テンプレートID202のレコードタイプ識別子は、特定のNetFlow v9フロー・データ・レコードへバインドされず、経時的に、例えばNetFlowエクスポータの構成が変わる場合、またはエクスポータデバイスが再起動する場合に変わってもよい。したがって、フロー・データ・レコード204のコンテンツおよび意味の定義は、予測不能に変わる可能性があるテンプレートに依存する。
NF2SLシステムの例示的な一実施形態は、NetFlow v9フロー・データ・レコード204の定義および同一性を決定しかつ追跡する新規手法を提供する。この同じ方法または類似方法が、NetFlow v9から導出される、またはその意味でNetFlow v9に類似するIPFIX、NetStream、sflowd、他等のプロトコルのネットワーク・メタデータ・レコードの同一性の決定および追跡についても適用可能であることは認識されるべきである。
テンプレートID202の値の変化に対応するために、NF2SLシステムは、NetFlow v9のテンプレートFlowSetセクション201のチェックサムを計算する。テンプレートIDフィールド202およびフィールド計数フィールド217が、チェックサムに包含される必要はない。NetFlow v9のテンプレートFlowSetセクション201上で計算されるチェックサム値は、「レコードフィンガープリント」と呼ばれる場合がある。
所定のNetFlow v9データタイプは、可変長さを有するものとして定義される(例えば、インタフェースを短縮したネーム、およびフルネームを含むIF_NAMEまたはIF_DESC)。1つまたは複数の可変サイズフィールドを含むレコードのレコードフィンガープリントを計算する場合、このようなフィールドの長さは0であるものとされてもよい。
チェックサム値が、md5、sha−1、sha−256、FNV、他を含む、但しこれらに限定されない幾つかのアルゴリズムを用いて計算され得ることは認識されるべきである。図7の例示的な実施形態では、NF2SLシステムは、md5アルゴリズムを用いてNetFlow v9データ・フロー・レコード204のフィンガープリントを計算している。
NF2SLシステムに登録する場合、各コンバータおよびポリシモジュールは、このモジュールがポリシまたは変換規則の何れか、または双方を実装するNetFlow v9のデータ・フロー・セット203の関数ベクトルおよびmd5フィンガープリント値を供給してもよい。NF2SLシステムは、このフィンガープリントおよびモジュールの関数ベクトルをコンテナF205に保存することができる。
NetFlow v9のプロトコルによれば、所定のレコードタイプのNetFlow v9データFlowSetメッセージ203の放出に先行して、NetFlow v9のエクスポータは、後続のNetFlow v9データFlowSetメッセージ203を所定の過渡的なテンプレートID値202、Id0に関連づける個々のテンプレートFlowSetメッセージ200を発する。NF2SLシステムは、NetFlow v9データFlowSet200のレコードフィンガープリント値、fiを計算することができ、かつこれを、この特定のテンプレートFlowSet200に対応するエントリ(記録、登録)をコンテナF205内に位置決めするためのキーとして用いることができる。コンテナF205内の対応するエントリが発見されれば、NF2SLシステムは、コンテナR206内にオブジェクトrm208を生成することができる。
複数のNetFlow v9エクスポータを識別するために、NF2SLシステムは、NetFlow v9エクスポータのソースIDおよびソースIPアドレスを過渡的なテンプレートID202、Id0と共に用いることができる。この情報は、オブジェクトrm208内に{Id0,ソースID,ソースIPアドレス}タプル211として記憶されてもよい。
{Id0,ソースID,ソースIPアドレス}タプル211に加えて、オブジェクトrm208は、オブジェクトrm208が関連づけられるコンテナF205内のオブジェクトfi207に対する参照ref(fi)209も有する場合がある。オブジェクトfi207に関連づけられるオブジェクトがコンテナR206内に2つ以上存在すれば、コンテナR206内のこれらのオブジェクトに対する参照は、纏めてfiへの参照のコンテナ210内に入れられる。
ある例示的な実施形態では、コンテナF205およびコンテナR206は、AVL木として実装される。fiへの参照のコンテナ210は、ソートされるリストとして実装される。コンテナF205、コンテナR206およびfiへの参照のコンテナ210が、ハッシュテーブル、リンクリスト、赤黒木、他等の異なる様式で実装される可能性もあることは認識されるであろう。
ある例示的な実施形態において、NF2SLシステムは、テンプレートID202値がId0であるNetFlow v9データFlowSet203を受信すると、コンテナR206内の{Id0,ソースID,ソースIPアドレス}タプル211を検索し、かつ参照ref(fi)209を用いてオブジェクトfi207をコンテナF205内に位置決めする。オブジェクトfi207は、NetFlow v9データFlowSet203に適用可能なポリシを実行するポリシモジュールの関数ベクトルを含んでもよい。同じ検索手順を繰り返して、NetFlow v9データFlowSet203に適用可能な変換規則が位置決めされ、かつ実行される。
既知のソースID、SID、およびソースIPアドレス、SRCに対して、新しいNetFlow v9テンプレートFlowSet205のテンプレートID202が導入される場合、以下のシナリオが考慮され得ることは認識されるであろう。NetFlow v9のテンプレートFlowSetセクション201上で計算されるデータ・フロー・レコード204のフィンガープリント値は変化せず、よってオブジェクトfi207がコンテナF205内へ容易に位置決めされる可能性もある点に留意することは有益である。
シナリオ1:NetFlow v9の生成者は、テンプレートFlowSet fiのテンプレートID202をId0からId1へ変更する。
この場合、コンテナR206内にタプル{Id1,SID,SRC}211は存在しない。NF2SLシステムは、タプル{Id1,SID,SRC}215を保持するオブジェクトrk212を生成することができ、かつこれをコンテナR206へ、およびfiへの参照のコンテナ210へ挿入することができる。タプル{Id0,SID,SRC}に関連づけられる先に存在するオブジェクトは、fiへの参照のコンテナ210およびコンテナR206から、後のアイドルオブジェクト除去手順の間に、またはタプル{Id1,SID,SRC}215がコンテナR206およびfiへの参照のコンテナ210へ挿入された直後に除去されてもよい。
シナリオ2:NetFlow v9の生成者は、先行して知られるテンプレートFlowSet fiのテンプレートID(これは、もはや使用されない)のそれと同じであるテンプレートID、Id1を有するテンプレートFlowSetfjを導入する。
この場合、コンテナR206には、オブジェクトrk212タプル{Id0,SID,SRC}211がオブジェクトrk212内に既に存在する。NF2SLシステムは、オブジェクトrk212をコンテナR206内に位置決めし、かつオブジェクトrk212が、先に参照されたテンプレートFlowSet fi207ではなく、異なるテンプレートFlowSet fj213を参照しているものと推測する。NF2SLシステムは、テンプレートFlowSet fi207およびテンプレートFlowSet fj213のフィンガープリント値を比較して不一致を検出してもよい。すると、NF2SLシステムは、オブジェクトrk212をfiへの参照のコンテナ211から除去し、参照ref(fi)209を除去し、かつこれを、オブジェクトfj213をポイントする参照ref(fj)214で置換する。また、これは、オブジェクトrk212をfjへの参照のコンテナ216へも挿入する場合がある。
シナリオ3:NetFlow v9の生成者は、値Id0を変えることなくテンプレートFlowSet fiのテンプレートID202をリフレッシュする。
この場合、コンテナR206には、タプル{Id0,SID,SRC}211がオブジェクトrm212内に既に存在する。NF2SLシステムは、オブジェクトrm212をコンテナR206内に位置決めし、かつこれが、先と同じテンプレートFlowSet fiを参照しているものと推測する。NF2SLシステムは、それ以上の行動は起こさない。

NetFlowデータFlowSetオブジェクトのNF2SLシステムへの登録
v9に先行するNetFlowプロトコルバージョンは、バージョン毎に1つのデータタイプのみをサポートしている。これらのデータタイプは、NF2SLシステムにおいて、その個々の文書記述を基礎として登録されてもよい。
先に論じたように、NetFlow v9のプロトコル、その派生物およびこれに取って代わるものは、任意のデータタイプをサポートする。これらのデータタイプは、NetFlow v9テンプレートFlowSetの構成概念によって記述される。
NetFlow v9のデータFlowSetが1つまたは複数のsyslogメッセージに変換されるためには、データFlowSetの定義がNF2SLシステムに知らされなければならない。ある例示的な実施形態では、NF2SLシステムは、NetFlow v9データFlowSetの定義を捕捉するために、以下の方法を用いる。
1.NetFlow v9のプロトコルによれば、NetFlow v9のプロトコルは、データFlowSetのエクスポートに先行して、エクスポートされるべきNetFlow v9データFlowSetオブジェクトについて記述するテンプレートFlowSetおよびオプションテンプレートFlowSetメッセージを発しなければならない。NF2SLシステムは、NetFlow生成者によりエクスポートされるNetFlow v9テンプレートFlowSetメッセージを捕捉し、かつこれらを内部XML表現で保存してもよい。
2.NetFlow v9の生成者(例えば、シスコのIOS、ジュニパーネットワークスのJunOS、他)は、NetFlow v9情報を構成してエクスポートするための包括的なコマンド・ライン・インタフェースを提供する。NF2SLシステムは、NetFlow生成者からのNetFlow関連設定の抽出、およびその内部XML表現への変換をサポートする。
3.NF2SLシステムは、NetFlow v9のデータFlowSet定義を細かく規定するためのGUIツールを提供する。NetFlow v9データFlowSetの定義は、内部XML表現で記憶される。
NetFlow v9テンプレートFlowSetレコードの定義が捕捉されると、NF2SL管理者は、NetFlow v9データFlowSet情報のsyslogパケットへのマッピングを指定するために、かつ/またはこのNetFlow v9データFlowSet処理のポリシを定義するために、この定義を用いてもよい。
NF2SLシステムの他の実施形態が、上述の方法以外のNetFlow v9データFlowSet定義の捕捉方法を実装し得ることは予想される。

NF2SLポリシおよび変換メカニズム
図8を参照すると、ある例示的な実施形態において、NF2SLシステムは、NF2SL管理者が、NF2SLシステムをトラバースするNetFlowデータFlowSetオブジェクトが処理される方法に影響を与えるポリシを生成できるようにする。NF2SLシステムのポリシは、コンテンツベース(「コンテンツポリシ」)であっても、時間ベース(「kronポリシ」)であっても、他の要素を基礎とするものであってもよい。このNF2SLシステムにおいて、ポリシは、NF2SLポリシマネージャ241によって管理されてもよく、かつ実行可能なポリシモジュール242によって実行されてもよい。
ある例示的な実施形態において、NF2SLシステムのポリシモジュール242は、好ましくは標準化されたインタフェースを提供する動的にロードされる実行可能拡張子(DLLまたは「共有オブジェクト」)である。NF2SLポリシマネージャ241は、ポリシモジュール242を動的にロードし、かつそのインタフェースの関数ベクトルを、周知のエントリポイント関数を呼び出すことによって発見することができる。ポリシモジュール242の関数ベクトルは、ロードされるポリシモジュール242に含まれるコンテンツベースまたは時間ベースのポリシ関数を実装する関数を指す関数ポインタアレイを含んでもよい。
NF2SLポリシマネージャ241は、そのデータFlowSetレコードフィンガープリントに一致するNetFlowデータFlowSetオブジェクトにポリシを適用する。コンテンツベースのポリシは、データFlowSet当たりゼロまたはそれ以上の数で存在してもよい。コンテンツベースのポリシは、NF2SL管理者によって各コンテンツベースのポリシに割り当てられる優先性の順位でデータFlowSetに適用される。
NF2SLポリシマネージャ241は、入力メッセージ240において提出されるデータFlowSetをパースし、かつこのデータFlowSetにおいて見出される各NetFlowレコードを251において関連のポリシモジュール242へ送ることができる。NetFlowレコードの処理に際して、ポリシモジュール242は、入力メッセージ240における問題のゼロまたはそれ以上のNetFlowレコードが、さらなる処理のために252において転送されるべきであると決定してもよく、さらなる検討には値しないものとして250においてNetFlowレコードをマーキングしてもよく、機密情報を難読化するためにNetFlowレコードデータを意図的に修正してもよく、または1つまたは複数の派生メッセージ243を生成してもよい。循環処理の可能性を回避するために、NF2SLポリシモジュール242により生成される派生メッセージは、NF2SLコンテンツベースポリシと整合される必要はなく、直にNF2SL変換マネージャ244へ転送されてもよい。
時間ベースの(「kron」)ポリシは、NF2SL Kronポリシマネージャ246によって周期的に呼び出されてもよい。kronポリシは、Kronポリシモジュール247によって実行される。kronポリシを呼び出す頻度は、kronポリシをNF2SL Kronポリシマネージャ246に登録する時点で規定されてもよい。kronポリシは、管理する情報に対して任意のアクションを実行してもよく、さらに、1つまたは複数のKronメッセージ248を発してもよい。Kronメッセージ248は、概して、NF2SLコンテンツベースポリシに整合される必要はなく、直にNF2SL変換マネージャ244へ転送されてもよいが、代替挙動も可能である。
NF2SLシステムのこの実施形態では、変換規則はNF2SL変換マネージャ244によって管理され、かつ実行可能な変換モジュール245によって実装される。
ある例示的な実施形態において、NF2SLシステムの変換モジュール245は、好ましくは標準化されたインタフェースを提供する動的にロードされる実行可能拡張子(DLLまたは「共有オブジェクト」)である。NF2SL変換マネージャ244は、変換モジュール245を動的にロードし、かつそのインタフェースの関数ベクトルを、周知のエントリポイント関数を呼び出すことによって発見する。変換モジュール245の関数ベクトルは、入力メッセージ240、派生メッセージ243およびKronメッセージ248において見出されるNetFlowデータFlowSetレコードを1つまたは複数のsyslog出力メッセージ249に変換する関数を指す関数ポインタを含む。

NF2SLポリシおよび変換規則表現
図9を参照すると、NetFlowデータFlowSetレコードの定義260は、ポリシおよび変換規則の作成手順において利用されてもよい。NF2SLシステムにおいて、NetFlowデータFlowSetレコードは、このレコードのNetFlow v9スタイルテンプレートFlowSet定義上で計算されるチェックサム値によって一意に識別されてもよい。NetFlow v5のレコードも、NetFlow v9スタイルのテンプレートFlowSetによってモデリングされてもよい。ある例示的な実施形態において、NF2SLは、XMLフォーマットを用いてNetFlowデータFlowSetレコードの定義260を表現する。
NetFlowデータFlowSetレコードの定義260を作成した後、NF2SL管理者は、GUIツールまたはNF2SL SDKを用いてポリシおよび変換規則を作成してもよい。NF2SL管理者は、ポリシおよびkronポリシ261および変換規則262のグラフィック表現を作成してもよい。NF2SLシステムは、GraphML XML構文を用いてこのグラフィック表現をテキスト表現に変える。
ポリシおよびkronポリシ261および変換規則262のグラフィック表現が完成すると、GraphML表記は、ポリシおよびkronポリシ263および変換規則264を記述する一連の規則に変えられてもよい。一連の規則は、RuleML構文を用いて書かれてもよい。
ポリシおよびkronポリシ263および変換規則264のRuleML表現は、機械プログラミング言語で書かれる等価の規則シーケンスに変えられてもよく、これは、バイナリ表現にコンパイルされて効率的に実行されてもよい。変換の結果として、プログラミング言語の用語でポリシおよびkronポリシ265および変換規則266を記述する2つのモジュールが生じる。続くコンパイルの結果、ポリシおよびkronポリシ267および変換規則268を実装する2つの実行可能なバイナリモジュールが生じる。
ある例示的な実施形態では、ポリシおよびkronポリシ265および変換規則266をプログラミング言語の用語で提示する場合、NF2SLシステムは、機械プログラミング言語の選択肢として「C」プログラミング言語を用いる。ポリシおよびkronポリシ265および変換規則266、およびポリシおよびkronポリシ267および変換規則268が、複数のオブジェクトであるよりも、1つのオブジェクトに統合され得ることは認識されるであろう。
また、ポリシおよび変換規則を表現するために、GraphML、RuleMLおよび「C」プログラミング言語以外の構文が使用され得ることも認識されるであろう。本発明の好適な一実施形態の有益な態様は、ポリシおよび変換規則を実装するための実行可能な専用モジュールの提案である。この実施形態のこの態様は、入力データを解釈する類似目的のシステムより少なくとも10倍は速いパフォーマンスを保証する。

NF2SLポリシ
コンテンツベースのNF2SLポリシは、概して、外部のNetFlow生成者により発せられるNetFlowトラフィックに関連づけられるが、時間ベースのポリシは、典型的には、オリジナルのNetFlowトラフィックの処理によって結果的に生じるデータを処理し、かつ追加のNetFlow情報を発する。以下のNF2SLポリシ、ポリシパラメータおよびポリシ実装は例示的であり、よって本明細書に明示されるもの以外の方法で実行され得ることは認識されるべきである。
図9aは、NetFlowテンプレートX400の例示的なコンテンツベースポリシ、およびNetFlowテンプレートY401を発する例示的な時間ベースポリシを示す。NetFlowテンプレートX400は、次の例示的なフィールドを含む。


src_ip_addr−フローソースのIPアドレス
src_port−フローソースのポート
dst_ip_addr−フロー宛先のIPアドレス
dst_port−フロー宛先のポート
in_pkts−フロー内のパケット数
in_bytes−フロー内のバイト数
app_tag−フローに関連づけられるアプリケーションのid
テンプレートX400は、この例に関係しない他のフィールドを有してもよい。
コンテンツベースのフィルタリングポリシは、擬似コード構文を用いて次のように表されてもよい。

for all Data FlowSet records of type X:
if (dst_port == 80 or dst_port == 443) {
accumulatein_pkts counter;
accumulatein_bytes counter;
ignore record;
}
else if (application == directory_service) {
report event;
}
else ignore record;
上述の擬似コードは、人が見て読み取れる次のようなポリシ記述に相当する。
「タイプXのデータFlowSetレコードを観察する。
レコードが、ウェブサービス(「http:80」または「https:443」)宛のフローを記述していれば、フロー内のパケット数およびフロー内に観察されるバイト数をこれらのウェブサービスを宛先とする先に観察されたパケットおよびバイトの数に加算する。レコードは、転送しないこと。
レコードが、ディレクトリサービスへのフローを記述していれば、レコードを転送する。
そうでなければ、レコードを転送しないこと。」
本発明の一実施形態において、NF2SL管理者は、上述のポリシの定義を、NF2SLGUIツールを用いて作成することができる。第1のステップにおいて、NF2SL管理者は、テンプレート・ビルダ・ツール403によってテンプレートX400のコンテンツを定式化することができ、かつテンプレートX400をポリシ・エントリ・オブジェクト402と関連づけることにより、テンプレートX400をコンテンツベースポリシのサブジェクト・データ・タイプとして指定することができる。
次のステップにおいて、NF2SL管理者は、テンプレートX400のdst_portフィールド値が80(「http」)であるかどうかを評価する条件付きオブジェクト404を生成することができる。評価が「真」となる場合、テンプレートX400の「in_pkts」および「in_bytes」フィールドにおいて見出される値は、加算オブジェクト405を介して積算器オブジェクト406へ転送される。
次のステップにおいて、NF2SL管理者は、テンプレートX400の「dst_port」フィールド値が443(「https」)であるかどうかを評価する条件付きオブジェクト408を生成することができる。評価が「真」となる場合、テンプレートX400の「in_pkts」および「in_bytes」フィールドにおいて見出される値は、加算オブジェクト405を介して積算器オブジェクト406へ転送される。条件付きオブジェクト404および408を生成するに当たって、NF2SL管理者は、条件付きオブジェクトビルダ407を利用することができる。
次のステップにおいて、NF2SL管理者は、テンプレートX400の「app_tag」フィールドがディレクトリサービスに関連づけられる値を含んでいるかどうかを評価する条件付きオブジェクト409を生成することができる。評価が「真」となる場合、レコードは転送され、410においてさらに処理される。
条件付きオブジェクト409の基準を満たすもの以外のレコードは全て、さらなる処理を受けず、411においてドロップされる。
このような例示的な時間ベースのポリシは10秒毎に実行されることが可能であって、NetFlowテンプレートY401に対応するNetFlowデータFlowSetレコードを発する。図9aをさらに参照すると、NetFlowテンプレートY401は、次のような例示的フィールドを含む。
in_pkts−フローにおいて観察されるパケットの累積数
in_bytes−フローにおいて観察されるバイトの累積数
時間ベースのポリシ412は、呼び出されると、積算器オブジェクト406内に見出される値を検索して、カウンタ414の値をリセットする。次に、時間ベースのポリシ412は、NetFlowテンプレート401に対応するデータレコードをフォーマットし、これを410におけるさらなる処理のために転送する。

NF2SLポリシ:トラフィックスパイクの検出および報告
図9bは、NF2SL管理者により指定されるネットワークホストを確かめるためにトラフィック内のスパイクを報告する、例示的なNF2SLポリシモジュールを示す。
NF2SLのこの例示的なポリシモジュールのコンテンツベースポリシは、シスコシステムズの予め定義された「オリジナル入力」NetFlow DataFlowレコード440を採用し、かつ条件付きオブジェクト441を用いて、レコード440のdst_ip_addrフィールドが監視されているIPアドレス442のリストに存在するIPアドレスを含むかどうかを決定する。監視されているIPアドレスのリストにそのIPアドレスが見つかれば、in_bytesフィールドのコンテンツがコレクタオブジェクト(収集オブジェクト)443内に見出される対応するエントリへ追加され、レコードは転送されて、449においてさらに処理される。監視されているIPアドレスのリストにそのIPアドレスが見つからなくても、レコードは転送されて、449でさらに処理される。
NF2SLシステムは、NF2SLのこの例示的なポリシモジュールの時間ベースポリシ444を、予め定義された間隔、例えば10秒間隔で呼び出してもよい。ポリシは、呼び出されると、コレクタオブジェクト443内のエントリを1つずつ調査し、445において、最後の収集間隔の間に観察されたネットワークデバイスへのトラフィック量を抽出する。次に、時間ベースのポリシ444は、446においてコレクタオブジェクト443におけるエントリをリセットする。
時間ベースポリシ444の条件付きオブジェクト447が、平均的なトラフィック量に比較して、観察間隔中のそのネットワークIPアドレスへのトラフィックレートはNF2SL管理者が述べる尺度で(例えば、10倍)増加していることを発見すれば、時間ベースのポリシ444は、NetFlowデータFlowSetレコードを生成しかつこれを「Alert:Spike」定義448に従ってフォーマットし、かつこのレコードをさらなる処理のために転送してもよい。

NF2SLポリシ:内部ネットワーク上のコンプロマイズドホストの検出
図9cは、内部ネットワーク上のコンプロマイズされたネットワークホストについてネットワーク管理者に警告する、ある例示的なNF2SLポリシモジュールを示す。このポリシモジュールは、内部ネットワーク上の非サーバであるネットワークホストによる、外部ネットワークのエンティティが行なう要求されていない接続への応答の発生を監視する。高い蓋然性を有するこのようなイベントは、問題の非サーバであるネットワークホストがコンプロマイズされていて、悪意のある外部エンティティに制御されている場合があることを指す。
第1に、NF2SLのこの例示的なポリシモジュールのコンテンツベースポリシは、シスコシステムズの予め定義された「オリジナル入力」NetFlow DataFlowレコード440を採用し、かつ条件付きオブジェクト461を用いて、レコード440のdst_ip_addrフィールドが監視されているIPアドレス462のリストに存在するIPアドレスを含むかどうかを決定する。監視されているIPアドレスのリストにそのIPアドレスが見つかれば、dst_ip_addr、dst_port、src_ip_addrおよびsrc_portフィールドのコンテンツがコレクタオブジェクト463に入れられ、レコードは転送されて、449においてさらに処理される。監視されているIPアドレスのリストにそのIPアドレスが見つからなくても、レコードは単に転送されて、449でさらに処理される。
第2に、NF2SLのこの例示的なポリシモジュールのコンテンツベースポリシは、シスコシステムズの予め定義された「オリジナル出力」NetFlow DataFlowレコード460を採用し、かつ条件付きオブジェクト464を用いて、レコード460のsrc_ip_addr、src_port、dst_ip_addrおよびdst_portフィールドがコレクタオブジェクト463内に存在するかどうかを決定する。レコード460のsrc_ip_addr、src_port、dst_ip_addrおよびdst_portフィールドがコレクタオブジェクト463内に存在していなければ、レコードは単に転送されて、469でさらに処理される。レコード460のsrc_ip_addr、src_port、dst_ip_addrおよびdst_portフィールドがコレクタオブジェクト463内に存在していれば、第2のポリシは、内部ネットワークホストと外部エンティティとの間で観察される通信に関する情報を含む「Alert:Traffic」NetFlowレコード465を生成してフォーマットし、かつ466におけるさらなる処理のためにこれを転送する。また、これは、このエントリをマッチしたものとしてマーキングしてもよい。また、「オリジナル出力」レコード460は、469におけるさらなる処理のために転送される場合もある。
NF2SLシステムは、NF2SLのこの例示的なポリシモジュールの時間ベースポリシ466を、予め定義された間隔、例えば60秒間隔で呼び出す。時間ベースのポリシ466は、コレクタオブジェクト463内のエントリにアクセスし、かつ条件付きオブジェクト467を用いてコレクタオブジェクト内のエントリがマッチしないかどうかを評価し、かつ60秒より古いマッチしないエントリをコレクタオブジェクト463から除去してもよい。

NF2SLポリシ:「ローアンドスロー」ネットワークスキャンの検出
ターゲットネットワークのスキャンは、任意の高度なサイバー攻撃の第一段階であることが多い。侵入者は、ネットワークのスキャンを用いてネットワーク上のアクティブなホストを識別する。ネットワークをスキャンしながら、攻撃者は、インターネット上でアクセス可能な固有のIPアドレス、そのオペレーティングシステム、システムアーキテクチャおよび各コンピュータ上で実行されるサービスに関する情報を見つける。
所謂「ローアンドスロー」スキャンは、検出しにくいことで悪名高い。攻撃者は、ターゲットのホストまたはネットワークのスキャンに何日も、何週間もかけ、または何か月もかける場合すらある。このスキャン技術により、攻撃者は、そのプローブをネットワークノイズに混和させることができ、検出しきい値を超えたり、一般的な侵入検知システムのリソースを使い果たすことは絶対にない。
TCP/IP FINパケットのネットワークスキャンは、最も洗練された走査技術の1つである。TCP/IPプロトコルの性質に起因して、FINパケットは、その目的を修正することなくファイアウォールを通過することができる。要求されていないFINパケットに応答して、閉鎖ポートは適切なRSTパケットで返答するが、開放ポートは、漂遊するFINパケットを無視する。
図9dは、最小限のNF2SLシステムおよび他のネットワークリソースを消費しながらローアンドスロースキャンを試行する潜在性についてネットワーク管理者に通知することができる、NF2SLの例示的なポリシモジュールを示す。
第1に、NF2SLのこの例示的なポリシモジュールのコンテンツベースポリシは、シスコシステムズの予め定義された「オリジナル入力」NetFlow DataFlowレコード440を採用し、かつ条件付きオブジェクト481を用いて、フローがTCP/IPフラグFINセットを有する単一のパケットより成っているかどうかを決定する。この条件の評価が「真」であれば、「オリジナル入力」NetFlow DataFlowレコード440のsrc_ip_addr、src_port、dst_ip_addr、dst_portおよびtcp_flagフィールドは、コレクタオブジェクト482内に保存され、レコードは、449におけるさらなる処理のために転送される。条件の評価が「偽」であれば、レコードは単に転送されて、449においてさらに処理される。
第2に、NF2SLのこの例示的なポリシモジュールのコンテンツベースポリシは、シスコシステムズの予め定義された「オリジナル出力」NetFlow DataFlowレコード460を採用し、かつ条件付きオブジェクト483を用いて、フローがTCP/IPフラグRSTセットを有する単一のパケットより成っているかどうかを決定する。この条件の評価が「真」であれば、「オリジナル出力」NetFlow DataFlowレコード460のdst_ip_addr、dst_port、src_ip_addr、src_portおよびtcp_flagフィールドがコレクタオブジェクト482内のエントリとマッチングされる。マッチングするエントリが位置決めされれば、「オリジナル出力」NetFlow DataFlowレコード460および「オリジナル入力」NetFlow DataFlowレコード440のtcp_flagフィールドが論理的にORされ、レコードは、449におけるさらなる処理のために転送される。マッチングするエントリが位置決めされなければ、レコードは単に転送されて、449においてさらに処理される。
NF2SLシステムは、NF2SLのこの例示的なポリシモジュールの時間ベースポリシ484を、予め定義された間隔、例えば6時間間隔で呼び出す。時間ベースのポリシ484は、485において各レコードを検索し、かつ486においてこれをコレクタオブジェクト482から除去し、487においてレコードを「Info:Fin scan」NetFlowテンプレート488のフォーマットで出力する。「Info:Fin scan」NetFlowテンプレート488フォーマットの出力レコードは、489におけるさらなる処理のために転送される。

NF2SLポリシ:ネットワーク監視
ネットワーク監視は、最新のネットワーク監視システム(NMS)の基本コンポーネントである。ネットワーク管理者にとって、正確なネットワークトポロジー、各ネットワークデバイスの調子または状態、様々なネットワークセグメント上のトラフィック負荷、様々なアプリケーションによるネットワーク帯域幅の消費、他を知ることは必須である。
インタフェース状態監視:
図9eは、1つまたは複数のネットワークデバイスに渡る1つまたは複数のネットワークインタフェースの調子または状態を監視することができる、NF2SLの例示的なポリシモジュールを示す。
図9eを参照すると、1つまたは複数のネットワーク・デバイス・インタフェースを監視するコンテンツベースのポリシは、「AS(自律システム)集約スキーム」フローレコード500のシーケンスを基礎として決定を下す(「報告」)。このポリシは、条件付きオブジェクト501を用いて、監視されるインタフェースのリスト503に入力インタフェース(「input_snmp」)が含まれているかどうかを決定する。監視されるインタフェースのリスト503にそのインタフェースが存在しなければ、レコード500は、502におけるさらなる処理のために転送される。監視されるインタフェースのリストにそのインタフェースが存在すれば、レコード500に含まれる、そのインタフェース上で観察されるフローに関するタイミング情報(「last_switched」)がステータス報告リスト504へと伝搬され、レコード500は、506におけるさらなる処理のために転送されてもよい。
さらに図9eを参照すると、ある例示的な時間ベースのポリシ507は、一定の間隔、例えば60秒間隔で呼び出されてもよい。このポリシは、508においてステータス報告リスト504内のエントリを読み取ることができ、条件付きオブジェクト509が、予め設定された報告遅延しきい値が超過されていることを検出すれば、時間ベースのポリシ507は、カスタム情報のフローレコード「インタフェースダウン」510を生成し、これは、511におけるさらなる処理のために転送される。
帯域幅消費の監視:図9fは、1つまたは複数のソフトウェアアプリケーションによるネットワーク帯域幅の消費を監視することができるNF2SLの例示的なポリシモジュールを示す。
図9fを参照すると、1つまたは複数のソフトウェアアプリケーションによるネットワーク帯域幅の消費にアクセスするコンテンツベースのポリシは、予め定義されたシスコシステムズの「プロトコルポート」フローレコード520を利用する。このポリシは、条件付きオブジェクト521を用いて、追跡されるアプリケーションのリスト523にアプリケーション(入トラフィックの場合は「14_dst_port」、出トラフィックの場合は「14_src_port」で定義される)が含まれているかどうかを決定する。追跡されるアプリケーションのリスト523にそのアプリケーションが存在しなければ、レコード520は、単に転送されて522においてさらに処理されてもよい。追跡されるアプリケーションのリストにそのアプリケーションが存在すれば、フロー内で観察される、かつレコード520に含まれるパケット(「in_pkts」)およびバイト(「in_bytes」)の数に関する情報が、アプリケーション集約データリスト524内の個々の情報と合計され、次に、レコード520は、526におけるさらなる処理のために転送されてもよい。
さらに図9fを参照すると、ある例示的な時間ベースのポリシ527は、一定の間隔、例えば60秒間隔で呼び出されてもよい。このポリシは、528においてアプリケーション集約データリスト524内のエントリを読み取り、かつ任意のエントリまたは各エントリについて、カスタム情報のフローレコード「集約アプリケーションデータ」530を作成し、かつ532においてエントリをリセットしてもよい。作成されたカスタム情報のフローレコード「集約アプリケーションデータ」530は、次に、531におけるさらなる処理のために転送されてもよい。
NetFlowエクスポータがネットワークベースのアプリケーション認識(NBAR)メカニズムを装備していれば、上述のポリシが、カスタマイズされた「プロトコルポート」フローレコードにおいて報告されるアプリケーション分類情報(「application_tag」)を利用するように増強される可能性もあり、よってアプリケーション帯域幅消費のより高い細分性が達成されることは認識されるべきである。
本発明の一実施形態によりサポートされることが可能な追加の例示的ポリシには、下記が含まれる:
リンク監視によるアプリケーションプロトコル当たりのネットワークトラフィック
このポリシモジュールの一実施形態は、フローがそれを介してネットワークデバイスに出入りするネットワークデバイスの入出インタフェースに関する情報を含むNetFlowメッセージを入力し、かつフロー分類情報、フロー内で観察されるバイトおよびパケット計数およびフローの始まりと終わりに関するタイミング情報を生成することができる。各NetFlowエクスポータまたはNetFlowエクスポータの選択されたコンビネーションについて、このポリシモジュールは、アプリケーションプロトコルおよびインタフェースペア(インタフェースの組)当たりのパケット数およびバイト数を合計することができる。
監視されるプロトコルのリストが含まれてもよく、また、リストは設定可能であってもよい。監視リストに含まれていない全てのアプリケーションプロトコルは、「その他」と明記されるプロトコルの下で合計されてもよい。アプリケーションプロトコルは、OSIレイヤ3プロトコル(例えば、TCP)、OSIレイヤ4宛先ポート(例えば、ポート80−http)、OSIレイヤ7の分類子(例えば、PANA−L7等の分類子エンジンID、これに続くこの分類におけるベンダー指定のアプリケーションID)、または他の任意のネットワークトラフィック分類スキーマとして解釈されてもよい。
ネットワークインタフェースは、ペアで1つのリンクを構成する。リンク内のインタフェースは、その個々のSNMPインデックス(input_snmpおよびoutput_snmp)によって識別されてもよい。リンクの数は、ランタイムで決定されても、設定により所定のインタフェースサブセットに制限されても、ハードコードされてもよい。概して、観察されるリンクの数に制限はない。ポリシモジュールは、設定可能な時間期間(期間)における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、所定のカウンタを基礎とする集約された報告を発してもよく、トラフィック毎に興味深い各リンクトラバーサルを報告してもよい。
このポリシモジュールの利用により配信できる情報は、ネットワークマネージャにより、下記毎のバイトまたはパケット数を含む、但しこれらに限定されないネットワークトラフィックの詳細をリアルタイムで見るために使用されることが可能である。
ある特定のネットワークデバイス
このネットワークデバイスの1つのリンク
あるアプリケーションプロトコル
選択された1つのネットワークデバイスについて、ネットワークマネージャは、各リンク内のアプリケーションプロトコル毎の、または各アプリケーションプロトコル内のリンク毎のネットワークトラフィックの組成を見ることができる。また、ネットワークマネージャは、あるリンクを介するトラフィックがいつになく多くなるイベント、またはある所定のリンク上のパケットサイズが大幅に縮小するイベントを見分ける場合もある。後者のイベントは、ハードウェアの機能不全を示す場合も、サイバー攻撃の兆候である場合もある。
このポリシモジュールにより生成されるデータは、例えばネットワークトラフィックをより使用量が多いネットワーク部分からより少ないネットワーク部分へ移動させることによるネットワーク規模の負荷バランシング、アプリケーション識別情報から導出されるコンテンツベースのルーティング、および他の類似する目的のために制限なしに使用されることが可能である。このデータのさらに別の使用法は、概して、ネットワークのトラフィック調査および容量プランニングである。
プロトコル毎のトップホスト接続の識別
このポリシモジュールの一実施形態は、接続ホストのソースおよび宛先IPアドレスに関する情報を含むNetFlowメッセージを入力し、かつ観察される各ホストにより行われる接続の数を合計することによって、ある時間期間(期間)に渡る最もアクティブ(活動的)なホストのリストを生成する。アクティブなホストのリストは、所定の期間に渡って観察された全てのホスト、最もアクティブなN個のホスト(「上位N個の接続」)によるグループ、または他の何らかの基準に従って選択されたホストによるグループを含んでもよい。
ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の基準を基礎とする集約された報告を発してもよい。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、ある特定の時間期間に渡って最も多くの接続を開始しているホストを識別するために使用されることが可能である。この情報は、ウイルスまたはワームまたはeメールスパムを拡散する感染したホストを示している可能性がある。
上位ホストトーカの識別
このポリシモジュールの一実施形態は、通信ネットワークホストのソースおよび宛先IPアドレスに関する情報を含むNetFlowメッセージを入力し、かつ観察される各ホストにより送られるバイト数およびパケット数を合計して、予め定義された時間期間に渡る最もアクティブなホストのリストを生成する。
監視されるプロトコルのリストが含まれてもよく、また、リストは設定可能であってもよい。監視リストに含まれていない全てのアプリケーションプロトコルは、「その他」と明記されるプロトコルの下で合計されてもよい。アプリケーションプロトコルは、OSIレイヤ3プロトコル(例えば、TCP)、OSIレイヤ4宛先ポート(例えば、ポート80−http)、OSIレイヤ7の分類子(例えば、PANA−L7等の分類子エンジンID、これに続くこの分類におけるベンダー指定のアプリケーションID)、または他の任意のネットワークトラフィック分類スキーマとして解釈されてもよい。
アクティブなホストのリストは、所定の期間に渡って観察された全てのホスト、最もアクティブなN個のホスト(「上位Nトーカ」)によるグループ、または他の何らかの基準に従って選択されたホストによるグループを含んでもよい。
ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする集約された報告を発してもよい。ポリシモジュールは、全体として最も高いトラフィックの生成者を対象とするタイプ、および最も多くのパケットを生成したホストを対象とする別のタイプ等の、複数のメッセージタイプを生成することができる。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、DoSまたは低量DoSサイバー攻撃を示すパターン、全体的な負荷バランシング、トラフィック調査および容量プランニングを目的としてネットワークトラフィックを分析するために使用されることが可能である。
この規則の追加的な利点は、ネットワークデバイスによっては上位ホストトーカの報告を設定できるものもあるが、これをNF2SLにおいて設定すれば、NF2SLに接続される全てのネットワークデバイス上にこれが即座に効果的に設定されることにある。
エッジデバイスのアクセス制御違反の監視
このポリシモジュールの一実施形態は、ネットワークのエッジデバイス上のイベントに関する情報を含む、NetFlowメッセージおよびシスコASAのNetFlowセキュリティイベント言語(NSEL)等のその派生メッセージを入力する。ある例示的な実施形態において、NF2SLは、シスコASAのNSELメッセージを入力し、かつセキュリティイベントに関連する、NSEL NF_F_FW_EVENTフィールド等のフィールドにおいて情報を処理する。このようなフィールドにおいて報告される値を評価することにより、NF2SLは、全ての、または選択されたネットワークポリシの違反者を特定し、かつある時間期間に渡って最も多い違反を有するホスト(上位N)のリストを生成することができる。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。監視されるエッジデバイスがAAAシステム(例えば、マイクロソフトのアクティブディレクトリ、RADIUS、他)に統合されていれば、報告は、ネットワークポリシ違反者のユーザidを含んでもよい。エッジデバイスにそうした情報を生成する能力がある場合、報告は、違反された正確なポリシに関する情報を含んでもよい(即ち、分岐ACLを識別する)。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、異常な挙動を示すホストを識別し、かつ不適切なアクティビティに関わるユーザを識別するために使用されることが可能である。これは、悪者または感染したホストを示すものである可能性もある。さらに、違反されたネットワークポリシに関する情報を実際のエッジデバイス設定情報と相関することにより、ネットワークマネージャは、違反者にとって関心対象がどのリソースであったかを発見する場合があり、必要であれば、組織のセキュリティ姿勢を調整してもよい。
DNSサーバの挙動監視
このポリシモジュールの一実施形態は、ホストとDNSサーバとの間のネットワークトラフィックに関する情報を含むNetFlowメッセージを入力し、かつDNSサーバの平均応答時間およびある時間間隔に渡る交換パケットの平均サイズを計算することができる。ポリシは、選択されたサーバのリストについて、または観察される全てのDNSサーバについて、平均応答時間および平均パケットサイズを報告することができる。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。
このポリシモジュールは、周知のOSIレイヤ4ポート番号(例えば、ポート80上のhttpサーバ)によって、またはOSIレイヤ7分類子(例えば、アプリケーション識別子を伴うPANA−L7)によって特徴づけられる任意のネットワークサービスへ拡張されてもよい。
このポリシの利用により配信可能な情報は、ネットワークマネージャにより、DNS応答時間が長くなる場合のDNSサービスに関連する問題点を識別するために使用されることが可能である。DNSサービスは、エンドユーザへのコンテンツ配信を有効化することから、広範囲に分布されるネットワークを通じて最高レベルの利用可能性および最短の応答時間を提供しなければならない。ビジネス活動に対するDNSの役割の重要性に起因して、セキュリティ攻撃はDNSサーバを標的にすることが多く、これをトラフィックで溢れさせて障害発生時点にまで至らせ、サービスの中断を狙う。DNSサービスの応答時間の鈍化は、破壊的な攻撃が進行中であることを示す場合がある。よって、ネットワークマネージャは、防護措置を講じて、そのローカルホストのDNS要求を他のDNSサーバへリルートしてもよい。
さらに、DNSサーバとDNSサービス要求者とで交換される平均パケットサイズを調べることにより、ネットワークマネージャは、DNSサービスが妨害されているかどうかを識別してもよい。例えば、DNSサービスの応答パケットサイズの増大は、DNSサーバを妨害して、DNSサービス要求者を標的にバッファのオーバーフロー攻撃を行なう試みを示す場合がある。
また、DNSサービスにより提供される、後続のホスト通信に反映される次のホップ(次に経由する中継装置)の情報を調査して、DNSサービスにより示唆されるルーティング経路の大幅な変化に留意することにより、このポリシがDNS改変者のマルウェア等の悪意のあるアクティビティを識別する場合があることも認識される。
リンク当たりの平均パケットサイズの監視
このポリシモジュールの一実施形態は、ネットワークトラフィックに関する情報を含むNetFlowメッセージを入力して、ある時間間隔に渡る1対のネットワーク・デバイス・インタフェース(「リンク」)を通過したネットワークパケットの平均サイズを計算することができる。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。
このポリシの利用により配信可能な情報は、ネットワークマネージャにより、ネットワークのボトルネックまたは悪意のあるアクティビティを特定するために使用されることが可能である。パケットサイズの想定外の低下(パケット破砕)は、機能不全のハードウェアまたは進行中のサイバー攻撃を示している可能性もある。さらに、この情報をネットワーク上のサーバから入手される情報と相関することにより、ネットワークマネージャは、情報配信問題がネットワーク上から生じているか、サーバによる下手なパフォーマンスによるものかを識別してもよい。健全なネットワークであれば、確実に、そのサーバを問題のある者として識別する。後者の場合、ネットワーク管理者は、パフォーマンス不良のアプリケーションを識別して、是正措置を講じてもよい。
アプリケーションプロトコル毎のリンク当たり平均パケットサイズの監視
このポリシモジュールの一実施形態は、ネットワークトラフィックに関する情報を含むNetFlowメッセージを入力して、監視されるアプリケーションプロトコル毎に、ある時間間隔に渡る1対のネットワーク・デバイス・インタフェース(「リンク」)を通過したネットワークパケットの平均サイズを計算することができる。ポリシは、監視されるプロトコル毎の平均パケットサイズを報告することができる。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。
このポリシの利用により配信可能な情報は、ネットワークマネージャにより、ネットワークのボトルネックまたは悪意のあるアクティビティを特定するために使用されることが可能である。パケットサイズの想定外の低下(パケット破砕)は、機能不全のハードウェアまたは進行中のサイバー攻撃を示している可能性もある。さらに、この情報をサーバから入手される情報と相関することにより、ネットワークマネージャは、情報配信問題がネットワーク上から生じているか、アプリケーションサーバによる下手なパフォーマンスによるものかを識別してもよい。健全なネットワークであれば、確実に、そのアプリケーションサーバを問題のある者として識別する。後者の場合、ネットワーク管理者は、パフォーマンス不良のアプリケーションを識別して、是正措置を講じてもよい。
エッジデバイスの上位帯域幅ユーザの識別
このポリシモジュールの一実施形態は、エッジデバイスを通過するトラフィックに関する情報を含む、NetFlowメッセージおよびシスコASAのNetFlowセキュリティイベント言語(NSEL)等のその派生メッセージを入力する。観察される通信を合計することにより、このポリシは、ある時間期間に渡るエッジデバイス帯域幅の上位N名のコンシューマ(利用者)を識別することができる。コンシューマに関する情報は、通信するネットワークホストのIPアドレスとして提供されてもよい。エッジデバイスがAAAシステム(例えば、マイクロソフトのアクティブディレクトリ、RADIUS、他)に統合されていれば、報告は、消費された帯域幅を特定のユーザidに帰してもよい。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、エッジデバイスを通るネットワークの最も高位の帯域幅ユーザを識別するために使用されることが可能である。この情報は、従業員による望ましくないネットワーク使用法(例えば、ビデオのストリーミング、過度のインターネットブラウジング、他)、または大規模ファイルのネットワーク内部から無認可の外部ロケーションへの転送を識別するために使用されることが可能である。
さらに、典型的なエッジデバイス配備における高いトラフィック量および流量に起因して、デバイスの帯域幅消費に関する情報は、概して収集されない。この欠陥は、syslog生成時のエッジデバイス上の高負荷、およびログ収集およびSIEMシステムにこのような大量の着信ログを受け入れて使用する能力がないことに起因する。
NF2SLは、その高いパフォーマンスおよびデータ集約ケイパビリティに起因して、ネットワーク管理者がエッジデバイスの帯域幅消費情報を全体的なネットワーク管理データプールに包含すること、およびネットワーク容量およびセキュリティ姿勢について貴重な洞察を引き出すことを有効化する。
アプリケーションプロトコルによるネットワークデバイス毎のエッジデバイス上位帯域幅ユーザの識別
このポリシモジュールの一実施形態は、エッジデバイスを通過するトラフィックおよびこのようなメッセージを生成させるアプリケーションに関する情報を、このようなアプリケーションが周知のOSIレイヤ4のポート番号(例えば、ポート80上のhttpサーバ)によって、またはOSIレイヤ7分類子(例えば、アプリケーション識別子を伴うPANA−L7)によって特徴づけられる程度に含む、NetFlowメッセージ(およびNetFlow v9、IPFIX、シスコASANetFlowセキュリティイベント言語(NSEL)、パロアルトネットワークスのNetFlow等のその派生メッセージ)を入力する。観察される通信を合計することにより、このポリシは、特定のアプリケーションについて、ある時間期間に渡るエッジデバイス帯域幅の上位N名のコンシューマを識別することができる。コンシューマに関する情報は、通信するネットワークホストのIPアドレスとして提供されてもよい。エッジデバイスがAAAシステム(例えば、マイクロソフトのアクティブディレクトリ、RADIUS、他)に統合されていれば、報告は、消費された帯域幅を特定のユーザidに帰してもよい。ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする報告を発してもよい。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、エッジデバイスを通るネットワークの最も高位の帯域幅ユーザを識別するためと、上位の帯域幅消費アプリケーションを識別するために使用されることが可能である。この情報は、従業員による望ましくないアプリケーション使用法(例えば、裁可されていないアプリケーションの使用)、および内部ホスト上のボットネットスレーブ等のマルウェアアプリケーションの存在を識別するために使用されることが可能である。
さらに、典型的なエッジデバイス配備における高いトラフィック量および流量に起因して、デバイスの帯域幅消費に関する情報は、概して収集されない。この欠陥は、syslog生成時のエッジデバイス上の高負荷、および収集およびSIEMシステムにこのような大量の着信ログを受け入れて分析する能力がないことに起因する。
NF2SLは、その高いパフォーマンスおよびデータ集約ケイパビリティに起因して、ネットワーク管理者がアプリケーションベースでエッジデバイスの帯域幅消費情報を全体的なネットワーク管理データプールに包含すること、およびネットワーク容量およびセキュリティ姿勢について貴重な洞察を引き出すことを有効化する。
ネットワークサブネットの監視
このポリシモジュールの一実施形態は、通信するネットワークホストの宛先IPアドレスに関する情報を含むNetFlowメッセージを入力し、かつ観察される各ホストから監視される外部サブネットのリストへ送られるバイト数およびパケット数を合計することができる。このポリシモジュールは、予め定義された時間期間に渡って最も多いトラフィックを有するサブネットのリストを生成することができる。監視されるプロトコルのリストが含まれてもよく、また、リストは設定可能であってもよい。プロトコル監視リストに含まれていない全てのアプリケーションプロトコルは、「その他」と明記されるプロトコルの下で合計されてもよい。アプリケーションプロトコルは、OSIレイヤ3プロトコル(例えば、TCP)、OSIレイヤ4宛先ポート(例えば、ポート80−http)、OSIレイヤ7分類子(例えば、PANA−L7等の分類子エンジンID、これに続くこの分類におけるベンダー指定のアプリケーションID)、または他の任意のネットワークトラフィック分類スキーマとして解釈されてもよい。
サブネットのリストは、監視される全てのサブネット、最もアクセスされたN個のサブネットによるグループ、他の何らかの基準に従って選択されたサブネットによるグループを含んでもよい。
ポリシは、設定可能な時間期間における集約された結果の報告を有効化する時間ベースのトリガを含んでもよく、または所定のカウンタまたは他の何らかの基準を基礎とする集約された報告を発してもよい。ポリシモジュールは、全体として最も高いトラフィックの受信者を対象とするタイプ、および最も多くのパケットを受信したサブネットを対象とする別のタイプ等の、複数のメッセージタイプを生成することができる。
このポリシモジュールの利用により配信可能な情報は、ネットワークマネージャにより、内部ホストと、クラウドベースのリソース専用のもの等のリモートサブネットとの間のネットワークトラフィックを分析し、各リモートサブネットへのトラフィック量およびトラフィックパターンを決定し、かつリモートリソースを最適な方式で運用するために使用されることが可能である。
挙動ベースのネットワーク監視
このポリシモジュールの一実施形態は、少なくとも2つの動作モード、即ち学習および監視、を行なうことによって、「オーバーベースライン(基準超過)」ポリシを実装する。学習モードは、ネットワークトラフィックのベースライン(基準)情報を集めるためにオンにされることが可能である。監視モードは、オペレーションの学習期間中に入手される情報を用いて、ネットワーク状態を監視する。これらの2つの動作モードは排他的ではなく、学習プロセスは、監視がオンにされている間も継続してもよい。
学習モードが動作している状態で、ポリシは、ベースライン情報を収集し、かつこれを、例えばローカルデータベース(例えば、NF2SLの一部として提供されるもの)等の永続性記憶装置に記憶することができる。ベースライン情報は、短い時間間隔、例えば5分間に渡るトラフィック挙動を統合したものであってもよい。学習される挙動の情報が広がることによって、ベースライン(基準)ポリシは、時刻、曜日および何月かにも依存して、トラフィックのパターンを考慮することができる。時間ベースのトラフィックパターンの他に、ベースライン挙動には、以下のトラフィックパターンが含まれる。
− 同時フローの数
− グローバルなパケットレート
− グローバルなスループット
− プロトコル当たりのスループット
− 新規フローの作成速度
− 送受信されるTCP/IP SYNパケットの数
− TCP/IP接続リセットの数
− フローの平均持続時間
− フロー持続時間の分散
− リモートサブネットの利用
− VLANの利用度
− グローバルアプリケーションの組成
− その他。
トラフィックパターンの上述のリストが網羅的ではなく、よってベースライン(基準)挙動の計算には他のトラフィック特性が含まれ得ることは認識される。
ベースライン情報が収集されると、これは、分析およびしきい値の定義のために表計算等のツールへ移出される可能性もある。あるいは、ベースラインポリシは、正常なトラフィックパターンからの偏向を決定するために内蔵メカニズムを実装することができる。
しきい値の設定に当たっては、望ましければ3段式手法、即ち、予測、警告および破断点、が利用されてもよい。しきい値が、マニュアル式に決定されても、統計分析から導出されても、ファジーな挙動モデルに嵌め込まれてもよいことは認識される。
しきい値は、好ましくは、ポリシオペレーションの監視モードがオンにされる前に設定される。監視モードがオンにされると、ポリシは、現行で観察される挙動を、対応するしきい値モデルを用いるベースライン情報と比較することができる。しきい値が超過されると、例えばsyslogメッセージまたはeメールであるアラートメッセージが生成されて、ネットワーク監視アナリストへ警告するためにネットワークマネージャまたはSIEMシステムへ直に送信されてもよい。
ベースラインポリシは、さらなる観察を基礎として、またはネットワークマネージャのコマンド等の外部イベントによりトリガされてネットワークのベースライン挙動を調整することにより、適応式に行動してもよい。
このポリシの利用により配信可能な情報は、ネットワークマネージャにより、悪意のあるソフトウェアに感染したホストによって引き起こされる、または悪者によって引き起こされる異常なネットワークアクティビティをタイムリーに検出するために使用されることが可能である。
ボットネットアクティビティの検出
ボットネットスレーブは、伝統的なホストベースおよびネットワークベースの手段では検出が困難であるとして悪名高い。ボットネットスレーブは、しばしば、ホスト内部からは検出できないルートキットとして自らをインストールすることによって、ホストベースのメカニズムによる検出を回避する。ボットネットスレーブの伝統的なネットワークベース検出は、膨大な量の情報収集、およびボットネットスレーブのビーコンを探す広範な科学捜査に依存する。これらの問題点は、ネットワーク情報をストリーミング式に処理するシステムを使用することによって克服されてもよい。
ボットネットアクティビティを検出するポリシモジュールの一実施形態は、内部ネットワーク上の「立入禁止」デバイスが外部のピア(なお、「ピア」とは、ある通信プロトコルでデータを交換する2台の装置の対のこと)に応答するイベントを識別することができる。内部ネットワーク上のホストは、概して、外界への接続(例えば、ウェブブラウジング)を開始してもよいが、接続が外部から開始される場合のこのトラフィックへの応答は、内部ネットワーク上にボットネットスレーブが存在していることを示す可能性がある。
このポリシモジュールの一実施形態は、通信するネットワークホストの宛先IPアドレスに関する情報を含むNetFlowメッセージを入力して、これらのIPアドレスを、構成された監視される立入禁止ネットワークデバイスのリストと比較する。そのIPアドレスがリストに存在しなければ、対策は講じられない。宛先IPアドレスが監視されるデバイスのリストに見出されれば、ソースIPアドレスおよび宛先OSIレイヤ4ポート、ならびに宛先IPアドレスおよびソースOSIレイヤ4ポートが、バイトおよびパケット計数、他等の他の情報と共に、潜在的アラート(潜在的な警告)のリストに格納される。また、アプリケーションプロトコル情報も、潜在的アラートのリストに記入される場合がある。このコンテキストでは、プロトコル情報は、OSIレイヤ3プロトコル(例えば、TCP)、OSIレイヤ4宛先ポート(例えば、ポート80−http)、OSIレイヤ7分類子(例えば、PANA−L7等の分類子エンジンID、これに続くこの分類におけるベンダー指定のアプリケーションID)、または他の任意のネットワークトラフィック分類スキーマとして解釈されてもよい。
次のステップにおいて、ポリシモジュールは、接続開始者に対して、監視される立入禁止内部デバイスから応答があったかどうかを監視する。このような通信が予め設定された期間内に行われれば、ポリシモジュールは、syslog、eメール、他等の標準的な通信プロトコルのうちの1つを用いて対応するメッセージを送信することによって、ネットワークマネージャまたはSIEMシステムに警告する。予め設定された応答時間期間が経過すれば、ポリシは、この立入禁止デバイスを潜在的アラートのリストから除去することができる。
デバイスが潜在的アラートのリストに含まれる時間間隔は、変わってもよい。このステップは、ボットネット監視システムに気づいていて、応答を遅らせることで検出を回避しようとするボットネット通信を捕捉できるようにする。
ボットネット検出ポリシモジュールの別の実施形態は、内部ネットワークホストのIPアドレス、その通信ピアおよびこれらの通信の間に利用されるプロトコルに関する情報を含むNetFlowメッセージを入力する。このコンテキストでは、プロトコル情報は、OSIレイヤ3プロトコル(例えば、TCP)、OSIレイヤ4宛先ポート(例えば、ポート80−http)、OSIレイヤ7分類子(例えば、PANA−L7等の分類子エンジンID、これに続くこの分類におけるベンダー指定のアプリケーションID)、または他の任意のネットワークトラフィック分類スキーマとして解釈されてもよい。
このように、ポリシモジュールは、観察された全ての通信のデータベースを徐々にコンパイルし、これは、普通でない通信の発見を目的として分析されることが可能である。この分析は、大規模なネットワークトラフィックのパターングループをストリーミング式に決定し、かつ外れ値を識別する目的で、STREAM、BIRCH、他等のデータ・ストリーミング・クラスタリング方法を用いて実行される可能性もある。小さく「正常でない」クラスタの存在は、確実に、ボットネット通信の特徴である異常なネットワークアクティビティを示している。このような異常なクラスタが発見されれば、ポリシモジュールは、syslog、eメール、他等の標準的な通信プロトコルのうちの1つを用いて対応するメッセージを送信することにより、ネットワークマネージャまたはSIEMシステムに警告することができる。
観察される全ての通信のデータベースにおける普通でない通信の発見が、他の類型的データ分析方法によって、またはクラスタリング計算値をオフラインで求めることにより静的に実行され得ることは認識される。
このポリシの利用により配信可能な情報は、ネットワークマネージャにより、ネットワーク上のボットネットスレーブをタイムリーかつ費用効果的な方法でを識別して根絶するために使用されることが可能であるが、これは、大部分が無関係のデータである特大のデータベースを収集しかつこれを事後にオフラインで分析することによってネットワークデバイスの感染を発見しようとする現行方法の使用では不可能である。本明細書に開示する技術による、ネットワーク由来のマルウェアをタイムリーに発見することの有用性は、米国連邦通信委員会(FCC)により最近普及された規則によって明らかにされている。
会話
このポリシの一実施形態は、ある時間期間Tに渡るデバイス間の会話を統合し、かつ上位N個の会話をSIEMシステムへ送信することができる。会話は、同じポート(ソースポートおよび宛先ポート)を使用する、同じトランスポート(TCPまたはUDP)上の、同じルータ/スイッチ(エクスポータ)を通過する2つのホスト(ソースIPおよび宛先IP)間の相互作用の結果として生成される一連のNetFlowメッセージとして定義される。これらのフローのバイトおよびパケットの数は、定義された時間期間に渡って合計され、かつ統合されたsyslogまたは他のフォーマットのメッセージ内に押し出されることが可能である。この技術は、下流側のSIEMシステムによる収集および/または分析のために送信されるマシンデータの量を大幅に低減する1つの方法として使用されることが可能である。
レピュテーションを基礎とする警告
このポリシの一実施形態は、通信するには安全でないとみなされる、ネットワークデバイスを出入りして流れるネットワークトラフィックを検出することができる。ネットワークデバイスを安全でないと分類する基準は、そのIPアドレスまたは完全修飾識別名(FQDN)の何れかによって識別されるネットワークデバイスの公開されていて入手可能なデータベースまたは私的データベースを基礎としてもよい。例えば、エイリアンヴォールトは、フィッシング攻撃、マルウェアの拡散、ボットネットマスタ、他に関わっていることが知られるネットワークデバイスの公開されていて入手可能なデータベースを提供している。デバイスは、レピュテーションと呼ばれる、その予想される有害さのレベルに従ってランク付けされる。例えば、既知のボットネットマスタと通信する危険性は、フィッシングホストへの接続より高位にランク付けされる。
この実施形態によるポリシは、外部デバイスから、このような安全でないIPアドレスまたはFQDNのリストを受信することができ、または、このようなリストの提供者に直に照会して、保護されているネットワーク上のネットワークデバイスと、安全でないデバイスのリスト上のネットワークデバイスとの間の通信の発生を報告する。ポリシは、通信行為および接触された外部ネットワークデバイスのレピュテーションレベルを示す警告をタイムリーに発行することができる。
所定の国からのトラフィック
所定の国は、産業スパイおよびサイバー戦争行為を行っていることが知られている。このポリシの一実施形態は、このような国に存在するネットワークデバイスから内部ネットワークデバイスへの通信、および内部ネットワークデバイスからこのような国におけるホストへの通信を追跡する。IPアドレスレンジの国別リストは、インターネット割り当て番号機関(IANA)から公開されていて入手可能である。ポリシは、このようなリスト、またはこのようなリストのサブセットを用いて、外部ネットワークデバイスの通信元である国を決定し、かつこのような通信の行為をタイムリーに報告する。
OSIレイヤ3のプロトコル
ネットワーク利用の監視は、企業および電気通信プロバイダにとって極めて重要である。このような環境におけるアプリケーションデータのほとんどは、UDP(OSIレイヤ3プロトコルid17)およびTCP/IP(OSIレイヤ3プロトコルid6)上で伝送される。これらの「働き者」であるプロトコルの他に、ネットワークの保全に関連する大量の通信が存在する。例えば、ICMP(インターネット制御メッセージプロトコル)プロトコル(OSIレイヤ3プロトコル1)は、ネットワークデバイスのステータスの検証、ネットワークルートのトレース、他を目的とするメッセージを含む。ICMPおよび、ISIS、EGP、RSVP、その他のような他の類似するユーティリティプロトコルに関連づけられるネットワークパケットは、ネットワークトラフィック全体におけるかなりの割り当て分を構成する。ネットワーク上には、かなりの制御トラフィックが存在することから、電気通信プロバイダは、このようなトラフィックの絶え間ない監視を必要とする。
このポリシの一実施形態は、TCPおよびUDP以外のOSIL3プロトコルを介して転送されている制御トラフィックに関する情報を収集する。ポリシは、全てのOSIレイヤ3プロトコルを追跡しても、監視されるべきOSIレイヤ3プロトコルの設定されたリストを用いてもよい。ICMP等のプロトコルによっては、ポリシは、伝送されるデータの所定の特有のサブタイプのみを追跡するように構成されてもよい。例えば、裁可されていないネットワークデバイスによって発行されるリダイレクトICMPパケットの追跡は、ネットワーク上の破壊的なアクティビティ(動作、流れ)を明示するものとなる場合がある。
ポリシのさらに別の実施形態は、制限された通信を監視するように構成される。例えば、GREプロトコルは、任意の非IPトラフィックをIPネットワーク上で伝送するように設計される。このGREケイパビリティは、GREカプセル化されなければネットワーク・セキュリティ・インフラによって検出されるはずの違法トラフィックをマスクするために使用される場合がある。ポリシは、GREカプセル化されたネットワークフローを監視し、前記フローのソースIPアドレスが合法的なGREトラフィックソースのリストに存在するかどうかをチェックし、かつこの合法的ソースリストに含まれていないネットワークデバイスにより試行される通信をタイムリーに報告する。
上述のポリシの実施形態が共に、単一のポリシモジュールにおいて実装される可能性もあれば、複数のポリシモジュールにおいて実装される可能性もあることは認識される。
集約(統合)されたトラフィック
このポリシの一実施形態は、宛先ネットワークサブネットおよびネットワークサブネットマスクのリストを使用し、かつローカル・ネットワーク・デバイスによりこのようなサブネットへ送信されるバイト数と、このようなサブネットによりローカルホストへ送信されるバイト数とを合計する。このポリシは、ネットワークマネージャに、クラウドベースの私的データセンタ等のリモートリソースの利用に対する貴重な洞察を提供することができる。
トラフィック量が増加するにつれて、NetFlowコレクタ等の伝統的な手段では、本明細書に記述する方法によるネットワーク帯域幅利用の測定がもはや不可能であることは認識される。この問題は、最新のネットワークデバイスにより発せられるNetFlowトラフィックのレートが極端に高いことから生じる。例えば、シスコASR1000等の80Gbpsミドルレンジルータは、毎秒400,000フローまでを処理して報告することができる。受信するNetFlowレコードを後続処理のために保存する超ハイエンドのNetFlowコレクタであっても、メッセージをこのようなレートで処理することはできず、毎秒100,000レコードの壁に到達することはほとんどない。このような高いレートが持続される可能性があるのは、NetFlow処理がストリーミング式に行われる場合に限られる。
このポリシのさらに別の実施形態は、内部ネットワークの利用に対する洞察を与える。この実施形態において、ポリシは、サブネットIPアドレスおよびIPアドレスマスクではなく、VLAN当たりのネットワークトラフィック情報を集約する。
インタフェースのリアルタイム利用
ネットワークのパフォーマンスおよび信頼性は、今日の企業およびサービスプロバイダ組織における最も重要な要素である。全てのネットワークコンポーネントが適切に機能していることを確認し、かつ問題を可能な限り最短で検出することは重要である。
このポリシの一実施形態は、あるネットワーク・デバイス・インタフェースを通過するトラフィックを集約し、かつネットワークパケットのドロップおよび全体的な輻輳を引き起こし得るインタフェース容量の利用不足またはインタフェース利用レベルが高くなりすぎる場合を通知する。インタフェースは、そのSNMPインデックスによって識別されてもよい。インタフェースのタイプおよび容量は、ネットワークデバイスにより発せられるNetFlowオプションFlowSetから推測される。インタフェース利用のしきい値は、マニュアル式に指定される可能性もあれば、統計分析から導出される、またはファジーな挙動モデルに嵌め込まれる可能性もある。
このポリシが、単一のインタフェースまたは複数のインタフェースの利用を追跡し得ることは認識される。
NetFlowの重複排除
NetFlowの重複排除は、「重複する」NetFlowレコードをなくすための技術である。ネットワーク状態に対する完全な可視性を得るために、多くの組織は、全てのネットワークデバイス上のNetFlowを有効化している。ネットワークパケットは、あるホストから別のホストへ移動するにつれて複数のルータおよびスイッチを通り、これらの各々が、同じネットワークフローを表すNetFlowレコードを生成する。重複するフローに関する情報の包含は、結果的にトラフィック量の計算を不正確にし、またはセキュリティイベントの重要性を誤って伝える場合がある。さらに、記憶装置およびソフトウェアのライセンシングコストが著しく高まる結果ともなる可能性がある。
このポリシの一実施形態は、ソースIP−宛先IPホストペア毎の信頼できるエクスポータの動的選択を基礎とするフローの重複排除を実装することができる。
ある例示的な実施形態において、このポリシは、ソースIPアドレス、宛先IPアドレス、ネットワーク上で見えるNetFlowエクスポータおよびあるエクスポータがIPアドレスで識別される通信するエンドポイントペア間の通信を最後に報告した時間による4次元行列をメモリに埋め込んで保持する。NetFlowレコード等のフロー記述を受信すると、ポリシは、受信したフロー記述において見出されるそのエクスポータが観察したエンドポイント間のフローの計数を更新する。観察されたフローの現行の最大数(「重量」)を有するエクスポータは、信頼できるエクスポータとして指定され、集計にはそのフローレポートのみが計上される。
動的なフロー行列において2名以上のエクスポータが同じ重量を有していれば、この不確定さは、例えば、各エクスポータが同じフローを報告した相対時間を比較することによって解決されることが可能である。そのフローをより早い時間に報告したエクスポータは、所定の通信エンドポイントに対してもう一方のエクスポータより上流に位置づけられることから、信頼できるエクスポータとして指定される。ポリシは、例えば、各エクスポータが報告した地方時間をその固有の時間に正規化し(「クロックスキュー」)、かつそのようなクロックスキューを基礎としてフロー観察の相対時間を計算することによって、エクスポータの相対時間を計算することができる。ルーティング経路の曖昧さは、さらに、例えばフロー記述レコードにおいて報告される次のホップ(次に経由する中継装置)のIPアドレスを調べることによってなくされてもよい。あるいは、概してフロー記述において報告される残り寿命(TTL)の値は、報告側エクスポータ間のフロートラバーサル順序を示し、かつこれらの目的で使用されてもよい。
また、任意の所定時間において、本方法は、ネットワークの現行のルーティングトポロジーのスナップショットを提供することもできる。このネットワークトポロジーは、この情報をエンドユーザに提示することができるエンティティへ、グラフィカルに、テキストテーブルの形式で、二次元マップで、または他の手段で報告されることが可能である。
ポリシのこの実施形態は、重要な値のネットワークマネージャへの提供を、ネットワーク帯域幅消費の正確な計数を動的に提供することによって行なうことができる。この情報のタイムリーな配信は、フローコレクタのデータベースからの検索等の伝統的な手段による実行といった事後的な様式ではなく、ストリーミング式に報告される場合にのみ可能である。さらに、フロー情報のストリーミング式重複排除は、フロー情報の重複をフローコレクタのデータベースへの保存後に排除するために使用され得る、伝統的なフローコレクタには必要な記憶装置の必要性を大幅に減らす。

NF2SLコンバータ
NF2SLコンバータは、概してNetFlowデータFlowSetレコードを取り、NF2SL管理者が指定するマッピングに従ってsyslogメッセージを生成する。図9Xは、NF2SL GUIベースの変換ツール431を用いる、例示的なNetFlowテンプレートFlowSet420のSyslogメッセージ421へのマッピングを示す。
NF2SL管理者は、NetFlowテンプレートからのSyslogメッセージを、NetFlowテンプレートFlowSet420内のフィールド記述子をドラッグしかつこれらを変換ツール431のキャンバス上へドロップすることによってフォーマットすることができる。例えば、ipv4_src_addrおよび14_src_portフィールド422、およびipv4_dst_addrおよび14_dst_portフィールド423は、変換ツール431のキャンバス上に置かれている。同様にして、NF2SL管理者は、in_pktsフィールド424をマップすることもできる。
結果的に生じる例示的なSyslogメッセージ421は、NetFlow生成者のタイムスタンプ425と、NetFlow生成者のIPアドレス426と、NetFlow生成者のNetFlowソースID427と、フローソースのIPアドレスおよびソースポート428と、フロー宛先のIPアドレスおよび宛先ポート429と、フロー内で観察されたパケット数430とから成る。

ストリーミングシステムのケイパビリティの一般化
NF2SLシステムは、本発明の例示的な一実施形態である。ネットワークメタデータを複数のフォーマットで受信し、このように受信されるネットワークメタデータを1つまたは複数のポリシに従って処理しかつ場合により変換し、このように処理されたネットワークメタデータを複数のフォーマットに変換しかつ変換されたネットワークメタデータをリアルタイムで中継することができる、というこの開示しているストリーミングシステムの概念は、他の実用的なアプリケーションに拡張される可能性もあることは認識される。
例えば、図10を参照すると、ストリーミングシステムは、スイッチまたはルータ等のNetFlowを生成するOpenFlow準拠デバイス280を通って流れるトラフィックを管理するOpenFlowコントローラ282の能力を増強するために使用されてもよい。
OpenFlow準拠デバイス280上のNetFlow生成者285は、あるポートを通過する、またはフロー内で観察されるトラフィックの量だけでなく、そのフローを正確にはどのアプリケーションがインスタンス化したのかに関する情報および他の追加情報をも示すNetFlowプロトコルメッセージ283を発するように構成されてもよい。トラフィックの量およびその起源(発生源)に関するこの増強された情報は、次に、ストリーミングシステムのNetFlow−OpenFlow(NF2OF)281によってダイジェストされ、かつポート統計、フロー統計および個々のフロー統計またはその類似物等の拡張されたOpenFlowプロトコルメッセージ284を介してOpenFlowコントローラ282へ送られてもよい。
本発明のこの態様は、アプリケーションレベルのサービス品質(QoS)要件に対する洞察を与えることにより、一般的なOpenFlowコントローラのネットワーク管理ケイパビリティをより高度に洗練されたレベルにまで引き上げる。
支払いカード業界のデータセキュリティ基準(PCI−DSS)、2002年度施行の連邦情報セキュリティ管理法(FISMA)、サーベンス・オクスリー法(SOX)、医療保険の相互運用性と説明責任に関する法律(HIPAA)、他等の規制遵守要件に起因して、組織は、イベント、システム構成、ネットワークのトラフィックおよびパフォーマンスを含む広範なセキュリティ関連データを継続して監視しかつ報告しなければならない。この要件の主要部分は、ログの収集および保存である。ログの収集は、Syslogメッセージの搬送にUDPを用いるsyslogプロトコルの損失しがちな性質に起因して、困難なタスクであることが分かっている。
図11を参照すると、本発明の一実施形態は、ログ配信を確実にする目的で使用されてもよい。この実施形態において、SL2ASL(確実なsyslogへのsyslog)システム303は、コンピューティングデバイス300上に存在するsyslog生成者301に近接して配備される。SL2ASLシステムをネットワークメタデータ生成者に近接して配備することにより、ネットワークメタデータを損失するリスクは最小限に抑えられる。
この実施形態において、SL2ASLシステム303は、受信されるsyslogプロトコルメッセージ302を、標準的なsyslogプロトコルメッセージ304の配信UDPトランスポートを用いて複数のsyslogコンシューマデバイス305に複製する。この技術は、ログ情報を確実に保存する確率を高める。
図11をさらに参照すると、さらに別の実施形態において、SL2ASLシステム303は、受信されるsyslogプロトコルメッセージ302を高信頼性のTCP/IP接続部306上へ送信することにより、拡張型syslogコンシューマデバイス308と通信してもよい。キープアライブチャネル307は、拡張型syslogコンシューマ308が故障した場合に、SL2ASLシステム303がローカル輻輳制御ファシリティ(設備、装置)を用いて、拡張型syslogコンシューマデバイス308が再起動する間にsyslogプロトコルメッセージ302を一時的に蓄積することを保証する。
本発明のこの実施形態は、ログ収集の規制遵守要件の履行を大幅に単純化する。
本発明の一実施形態は、NetFlow情報をWAN上でリモートネットワークから中央ネットワークへ確実に配信するために使用されてもよい。
図11aを参照すると、ある典型的なブランチ601の配備において、NetFlow有効化ルータ603は、ブランチネットワーク602上のNetFlow情報606を収集し、NetFlow情報606をWAN604上で、HQ600に配備されるルータ605を介してNetFlowコレクタ607へ伝送する。
しかしながら、ブランチ601とHQ600との間のNetFlow情報606の移送に使用されるUDPプロトコルの信頼性のなさに起因して、伝送されるNetFlow情報606の一部は伝送中に失われることがあり、その結果、NetFlowコレクタ607には不完全なNetFlow情報608が届くことになる。
SCTP等の高信頼性または準信頼性トランスポートプロトコルの使用は、高信頼性トランスポートプロトコルでは処理できないNetFlow有効化ルータ603上の高いNetFlowイベント率に起因して望ましくない場合が多い。このような場合、ネットワーク管理者は、サンプリングされたNetFlowレポートに頼ることを余儀なくされ、よってネットワークメタデータの希薄さがさらに増す。
図11bを参照すると、ここではNF2ASL(確実なSysLogへのNetFlow)と称される本発明の一実施形態は、NetFlow情報606の高い伝送率をサポートする間のNetFlow情報606の伝送中の損失を防止する。
図11bをさらに参照すると、NetFlow有効化ルータ603は、ブランチネットワーク602上のNetFlow情報606を収集し、かつNetFlow情報606をNF2ASLサーバ620へ伝送する。NetFlow有効化ルータ603およびNF2ASLサーバ620は互いに近接して配備されることから、NetFlow情報606の損失は存在しないか、ごく僅かである。NF2ASLサーバ620は、NetFlow情報606を受信すると、これをsyslog情報621に変換する。変換プロセスは、NF2ASLサーバ620上に配備される1つまたは複数のポリシおよび変換規則に従って、またはデフォルトの変換規則に従って実行されてもよい。
NetFlow情報606のHQ600への配信の信頼性を最大限に高めるために、NF2ASLサーバ620は、syslog情報621を複製してHQ600に配備される複数のsyslogサーバ622へ送るように構成される。複製されたsyslog情報612は、WAN604上をHQ600に配備されるルータ605へ配信される。
syslog情報621を複製することにより、NF2ASLサーバ620は、NetFlow情報606を保存する確率を高める。NetFlow情報606が保存される確率が、syslog情報621の複製先であるsyslogサーバ620の数に伴って高まることは予想される。
図11cを参照すると、本発明の一実施形態は、仮想マシンハイパーバイザ312がその制御下の仮想マシンの組成を管理する能力を増強するために使用されてもよい。
NetFlow生成者315は、仮想マシンハイパーバイザ312を実行しかつそのアプリケーションにこのトラフィックが属するサーバ310を宛先とするトラフィックの量を示すNetFlowプロトコルメッセージ313を発するように構成されてもよい。トラフィック量およびその意味的組成に関する情報は、ストリーミングシステム311のハイパーバイザへのNetFlow(NF2HV)によってダイジェストされ、かつ情報プロトコルメッセージ314に入れてサーバ310上で実行される仮想マシンハイパーバイザ312へ渡されてもよい。
本発明のこの態様は、仮想マシンハイパーバイザ312が、サーバ310上で実行されるミッションクリティカルなアプリケーションに必要なリソースを提供するためにリアルタイムのネットワーク負荷および組成情報を用いることを可能にする。
図12を参照すると、本発明の一実施形態は、多様なm名のネットワークメタデータ生成者321および多様なn名のネットワーク・メタデータ・コンシューマ324を有する環境で用いるためにさらに一般化されてもよい。
システムの例示的な実施形態mX2nY320が、ネットワークメタデータを送信するためにネットワークメタデータ生成者321によって使用される複数の入力プロトコル322を見分けることができる点は認識されるべきである。例えば、ネットワークメタデータ生成者321の中には、NetFlowプロトコルメッセージを発するものもあれば、syslogを介してネットワークメタデータを伝達するものもある。
ネットワークメタデータを含むメッセージを受容可能なフォーマット322のうちの1つで受信すると、システムの実施形態mX2nY320は、このメッセージを、そのメッセージの入力フォーマット用に構成される1つまたは複数のポリシへ内的にディスパッチすることができる。ポリシアプリケーションの結果は、複数の出力プロトコル323上で1つまたは複数のネットワーク・メタデータ・コンシューマ324へ転送されてもよい。
図13は、システムの実施形態mX2nY320の例示的な内部組成を示す。この例では、所定のタイプの入力プロトコルメッセージ322が専用のレシーバモジュールRX341によって受信され、入力プロトコルメッセージ322はレシーバモジュールRX341によって専用のフォーマッタモジュールF342へ転送される。フォーマッタモジュールF342は、入力プロトコルメッセージ322を、ポリシモジュールP343により理解される共通のネットワーク・メタデータ・フォーマットに変換することができる。次に、フォーマッタモジュールF342は、変換された入力プロトコルメッセージ322をポリシモジュールP343へ送ることができ、ポリシモジュールP343は、設定されたポリシの適用に当たって、入力プロトコルメッセージ322を任意の派生ネットワークメタデータと共にディスパッチャモジュール344へ転送することができる。ディスパッチャモジュール344は、出力プロトコルメッセージ323をコンバータモジュール345へ配分するように構成されることが可能であり、コンバータモジュール345は、出力プロトコルメッセージ323を、ネットワーク・メタデータ・コンシューマへ転送するために送信モジュール346へ送ることができる。
システムの例示的な実施形態mX2nY320の内部組成が、上述の組成とは異なる場合のあることは認識されるべきである。例えば、複数のフォーマット用モジュール342は、単一の汎用フォーマットモジュール、他として実装される可能性もある。
また、図13をさらに参照すると、システムの実施形態mX2nY320のインスタンスは、ネットワークメタデータ322をシステムの実施形態mX2nY320の他のインスタンスから受信するように配備される場合があることも認識されるべきである。同様に、システムの実施形態mX2nY320のインスタンスは、ネットワークメタデータの処理の結果323をシステムの実施形態mX2nY320の他のインスタンスへ転送するように配備される場合があることは認識されるべきである。
本発明を幾つかの実施形態に関連して説明したが、本発明の範囲に含まれる変形、変更、置換、および代替均等物が存在する。本発明の説明を補助するために、小項目のタイトルを付しているが、これらは単に例示的なものであって、本発明の範囲を限定するためのものではない。
また、本発明の方法および装置の実装に当たっては、多くの代替方法が存在することも留意されるべきである。したがって、添付した下記の請求の範囲は、このような変形、変更、置換および代替均等物を全て本発明の真の精神および範囲内にあるものとして包含すると解釈されるべきものである。

Claims (80)

  1. ネットワーク上で生成されネットワークトラフィックを送信するネットワークメタデータを1つまたは複数のネットワークプロトコルを用いて処理する方法であって、前記ネットワークは、そのうちの少なくとも幾つかが入力インタフェースを介してネットワークトラフィックを受信しかつ出力インタフェースを介してネットワークトラフィックを送信する複数のデバイスを含み、前記方法は、
    データ処理システムにおける複数のソースからネットワークメタデータを少なくとも1つのデータフォーマットで受信するステップと、
    前記ネットワークメタデータのタイプまたは特徴を決定するステップと、
    有益な情報を抽出するために前記ネットワークメタデータを処理するステップと、
    少なくとも部分的に前記決定するステップの結果に応じて、前記ネットワークメタデータの少なくとも一部を、前記データ処理システムにおいて他のシステムメタデータ用に使用される1つまたは複数の異なるデータフォーマットに変換するステップとを含む方法。
  2. 前記処理するステップは、前記ネットワークメタデータが、前記ネットワーク上で前記ネットワークメタデータを生成したネットワークデバイスと前記ネットワークメタデータを格納することができるデバイスとの間を移行する間に実行される、請求項1に記載の方法。
  3. 前記処理するステップは、ネットワークメタデータ処理を統率する少なくとも1つのポリシを適用することによって達成される、請求項2に記載の方法。
  4. 前記少なくとも1つのポリシは、セキュリティに対する潜在的脅威であることを示す前記ネットワーク上のトラフィックを検出する目的で適用される、請求項3に記載の方法。
  5. 前記少なくとも1つのポリシは、
    着信するネットワークトラフィックのソースを、前記ネットワーク上の監視される立入禁止デバイスの予め定義されたリストと比較するステップと、
    宛先IPアドレスが立入禁止デバイスの予め定義されたリストに存在すれば、潜在的アラートリストにソースIP/ポートならびに宛先IP/ポートを、入力側のNetFlowレコードに報告されているバイトおよびパケットの数と共に格納するステップと、
    前記ソースIP/ポートおよび前記宛先IP/ポートが前記潜在的アラートリスト内のエントリに一致するかどうかを決定するために、出力レコードを調べるステップと、
    一致が発見されれば、このような一致を、内部ホストが外部ピア要求に応答したことを示すものとして扱うステップと、
    ボットネット感染の可能性を知らせるアラートメッセージをタイムリーに生成するステップとを含む、請求項4に記載の方法。
  6. 前記少なくとも1つのポリシは、
    外部ネットワークデバイスと通信する内部ネットワークデバイスに関する情報を収集するステップであって、前記情報は、通信しているデバイスのIPアドレスおよびプロトコルのリストを含むステップと、
    前記通信するデバイス間の通信におけるパターンを決定するために、ストリーミングクラスタ分析法を適用するステップと、
    計算された全パターンの集合における、小さく分解されたパターンの存在により、前記通信するデバイス間の通信の異常なインスタンスを識別するステップと、
    少なくとも1つの異常な通信パターンが識別されれば、ボットネット感染の可能性を知らせるアラートメッセージをタイムリーに生成するステップとを含む、請求項4に記載の方法。
  7. 前記少なくとも1つのポリシは、前記ネットワーク上のトラフィックスパイクを識別する目的で適用される、請求項3に記載の方法。
  8. 前記少なくとも1つのポリシは、
    着信するネットワークトラフィックのソースを、前記ネットワーク上の監視されるデバイスの予め定義されたリストと比較するステップと、
    ソースIPアドレスがデバイスの予め定義されたリストに存在すれば、メモリ内データベースにソースIPを、入力側のNetFlowレコードに報告されているバイトおよびパケットの数と共に格納するステップと、
    予め定義された間隔で、前記メモリ内データベースを調べて、ネットワークマネージャが規定するしきい値を超えるデバイスを識別するステップと、
    トラフィックスパイクを知らせるアラートメッセージをタイムリーに生成するステップとを含む、請求項7に記載の方法。
  9. 前記少なくとも1つのポリシは、前記ネットワーク上のNetFlowトラフィックを捕捉する信頼性を高める目的で適用される、請求項3に記載の方法。
  10. 前記少なくとも1つのポリシは、
    信頼性がないネットワーク・トランスポート・プロトコル上で1つまたは複数のNetFlowメッセージを受信するステップと、
    場合により、前記受信されたNetFlowメッセージを、NetFlow以外のフォーマット、異なる特徴のNetFlowまたは前記受信されるNetFlowと同じフォーマットのうちの1つまたはそれ以上に変換するステップと、
    前記受信された、または変換されたメッセージを、信頼性がないネットワーク・トランスポートプロトコル上で複数のエンドポイントへ、信頼性のあるネットワーク・トランスポート・プロトコル上で少なくとも1つのエンドポイントへ、または信頼性がないネットワーク・トランスポートプロトコル上で少なくとも1つのエンドポイントへ、かつ信頼性のあるネットワーク・トランスポート・プロトコル上で少なくとも1つのエンドポイントへ転送するステップとを含む、請求項9に記載の方法。
  11. 前記少なくとも1つのポリシは、前記ネットワーク上の前記ネットワークメタデータを格納するデバイスに到着するNetFlowメッセージの数を減らす目的で適用される、請求項3に記載の方法。
  12. 前記少なくとも1つのポリシは、
    複数のNetFlowメッセージを受信するステップと、
    前記受信されたNetFlowメッセージにおける類似性を識別するステップと、
    前記受信されたNetFlowメッセージにおける類似するとして識別された情報を、1つまたは複数のNetFlowメッセージに統合するステップと、
    情報を統合されたNetFlowメッセージを廃棄するステップと、
    統合されたNetFlowメッセージを、前記ネットワーク上のネットワークメタデータを格納するデバイスへ転送するステップとを含む、請求項11に記載の方法。
  13. 前記統合されたNetFlowメッセージを転送するステップは、設定可能な時間期間の経過後に実行される、請求項12に記載の方法。
  14. 前記少なくとも1つのポリシは、前記ネットワーク上のネットワークインタフェースが動作不能になる時点を検出する目的で適用される、請求項3に記載の方法。
  15. 前記少なくとも1つのポリシは、
    着信するネットワークメタデータにおけるインタフェース識別子の不在が前記ネットワークインタフェースの動作不能状態を示す間のしきい値時間期間を確立するステップであって、前記確立されるしきい値時間期間は、時間および地理的基準に依存して可変であるステップと、
    前記ネットワークインタフェースに関連するネットワークメタデータを監視するステップと、
    前記ネットワークインタフェースに関連するネットワークメタデータが前記しきい値時間期間を超える期間に渡って検出されなければ、前記ネットワークインタフェースの動作不能状態を知らせるアラートメッセージをタイムリーに生成するステップとを含む、請求項14に記載の方法。
  16. 前記少なくとも1つのポリシは、前記ネットワーク上のネットワークメタデータを用いてネットワーク待ち時間を測定する目的で適用される、請求項3に記載の方法。
  17. 前記少なくとも1つのポリシは、
    ドメイン名サーバ(DNS)のサービスを要求したネットワークデバイスがその間に前記DNSサービスから応答を受信しなければならないしきい値時間期間を確立するステップと、
    ネットワークデバイスとDNSサービスとの間の通信を規定するネットワークメタデータを監視するステップと、
    前記ネットワークデバイスによるDNSサービスの要求と、このDNSサービスからの応答の受信との間の経過時間を計算するステップと、
    前記経過時間を前記しきい値時間期間と比較するステップと、
    過度のネットワーク待ち時間を知らせるアラートメッセージを生成するステップとを含む、請求項16に記載の方法。
  18. 前記少なくとも1つのポリシは、前記ネットワーク上の複数のデバイスに渡って、アプリケーションタイプ別にリアルタイムのネットワーク可視性を提供する目的で適用される、請求項3に記載の方法。
  19. 前記少なくとも1つのポリシは、前記ネットワーク上で特定の時間期間に渡って最も活動的なホストのリストを生成する目的で適用される、請求項3に記載の方法。
  20. 前記少なくとも1つのポリシは、
    複数のネットワーク・メタデータ・メッセージを受信するステップと、
    個々のネットワークホストに関連するネットワークメタデータを識別するステップと、
    識別された各ネットワークホストについて、ネットワークメタデータを集約するステップと、
    最も多くのネットワーク接続を生成したネットワークホストのサイズ設定可能リストを選択するステップと、
    最も多くのネットワーク接続を生成した前記ネットワークホストのリストを報告するステップとを含む、請求項19に記載の方法。
  21. 前記少なくとも1つのポリシは、特定の時間期間に渡ってアクセス制御リストに最も多く違反したネットワーク上のデバイスのリストを生成する目的で適用される、請求項3に記載の方法。
  22. 前記少なくとも1つのポリシは、
    ネットワークメタデータを含む複数のメッセージを受信するステップであって、前記メタデータは、アクセス制御リストの違反に関する情報を含むステップと、
    各メッセージが少なくとも1つのアクセス制御リスト違反を報告するように、前記メッセージのサブセットを選択するステップと、
    報告されたネットワークデバイス毎に前記メッセージのサブセットを集約するステップと、
    アクセス制御リストに最も多く違反したネットワークデバイスがリストの最初にくるように、前記集約されたメッセージのサブセットを降順に並び替えるステップと、
    前記ソートされたリストの冒頭から設定可能なエントリ数を検索するステップと、
    前記リストの冒頭における前記エントリにおいて見出される、アクセス制御リストに最も多く違反したネットワークデバイスを知らせるアラートメッセージをタイムリーに生成するステップとを含む、請求項21に記載の方法。
  23. 前記少なくとも1つのポリシは、指定可能な時間間隔に渡って、指定可能な入力インタフェースおよび出力インタフェースを介してネットワークデバイスを通過するネットワークパケットの平均サイズを計算する目的で適用される、請求項3に記載の方法。
  24. 前記少なくとも1つのポリシは、
    ネットワークメタデータを含む複数のメッセージを受信するステップであって、前記メタデータは、区別可能な入力インタフェースと区別可能な出力インタフェースとの間を通ったパケット数およびバイト数に関する情報を含むステップと、
    前記情報を、区別可能なインタフェースペア毎に集約するステップと、
    区別可能な各インタフェースペアを通過したネットワークパケットの現行の平均サイズを計算するステップと、
    前記区別可能なネットワークインタフェースペアの少なくとも一部同士の間を通ったネットワークパケットの平均サイズに関する情報を、タイムリーに報告するステップとを含む、請求項23に記載の方法。
  25. 前記少なくとも1つのポリシは、指定可能な時間間隔に渡るネットワーク帯域幅の上位の利用者であるネットワーク上のデバイスを識別する目的で適用される、請求項3に記載の方法。
  26. 前記少なくとも1つのポリシは、
    複数のネットワーク・メタデータ・メッセージを受信するステップと、
    個々のネットワークホストに関連するネットワークメタデータを識別するステップと、
    識別された各ネットワークホストについて、ネットワークメタデータを集約するステップと、
    最も多くのネットワークトラフィックを生成したネットワークホストのサイズ設定可能リストを選択するステップと、
    最も多くのネットワークトラフィックを生成した前記ネットワークホストのリストを報告するステップとを含む、請求項25に記載の方法。
  27. 前記少なくとも1つのポリシは、指定可能な時間間隔に渡る、ネットワークデバイス毎、ネットワークプロトコル毎のネットワーク帯域幅の上位の利用者であるネットワーク上のデバイスを識別する目的で適用される、請求項26に記載の方法。
  28. 前記少なくとも1つのポリシは、このようなアクティビティの基準レベルより上であるネットワーク上のアクティビティを識別する目的で適用される、請求項3に記載の方法。
  29. 前記少なくとも1つのポリシは、指定可能な時間期間に渡り、学習モードにおいて、前記ネットワークのマネージャの関心を引くネットワーク状態の特徴に関して正常であると思われるパラメータの基準を確立するように動作するステップと、監視モードにおいて、前記マネージャに、前記ネットワーク上のアクティビティが前記基準を予め定義可能なレベルだけ超過すると報告するように動作するステップとを含む、請求項28に記載の方法。
  30. 前記基準は、
    同時フローの数、グローバルなパケットレート、グローバルなスループット、新規フローの生成レート、送信されるSYNパケットの数、受信されるSYNパケットの数、接続リセットの数、平均フロー持続時間、フロー持続時間の分散および時刻より成るグループからの1つまたは複数のネットワーク属性に関連するネットワーク情報を含む、請求項29に記載の方法。
  31. 前記少なくとも1つのポリシは、フローエクスポータにより報告されるフロー情報の重複を排除する目的で適用される、請求項3に記載の方法。
  32. 前記少なくとも1つのポリシは、
    − 通信しているエンドポイントのIPアドレスと、フローレコードを提供したデバイスのIPアドレスとを含むフローレコードを受信するステップと、
    − 前記レコードが受信された時間を書き留めるステップと、
    − メモリに、通信しているエンドポイントのIPアドレス、フロー報告デバイスのIPアドレスおよび最後に観察された通信の時間に関する情報を保全するステップであって、前記情報は、少なくとも幾つかの通信路が前記フロー報告デバイスによって利用される頻度を示すものであるステップと、
    − 前記メモリ情報を基礎として、前記フローを報告する他のフロー報告デバイスのうちで最も高い使用頻度を有するフロー報告デバイスを選択し、かつ前記最も高い頻度のフロー報告デバイスを、前記ネットワークエンドポイント間の通信に関する情報の信頼できるソースとして指定するステップと、
    − 前記メモリ情報に反映されている最も高い使用頻度が2つ以上のフロー報告デバイスで同じである場合、さらに、フロー報告デバイスが前記フローを報告した時間、前記フロー報告デバイスにより提出されたフローレコードに報告されている残り寿命カウンタ、および前記フロー報告デバイスにより提出されたフローレコードに報告されている次のホップのIPアドレスより成るグループから選択される基準に基づいて、前記ネットワークエンドポイント間の通信に関する情報の前記信頼できるソースの同一性の曖昧さをなくすステップと、
    − 前記信頼できるフロー報告デバイスから受信される前記通信しているエンドポイント間の通信に関するフローレコードを、さらなる処理のために転送するステップと、
    − 他のフロー報告デバイスから受信される前記通信しているエンドポイント間の通信に関するフローレコードを廃棄するステップとを含む、請求項31に記載の方法。
  33. 前記少なくとも1つのポリシは、
    前記ネットワークをトラバースするネットワークメタデータから、IPアドレスおよびインタフェースインデックスに関連する隣接性のリストを収集するステップと、
    前記隣接性のリストから、前記ネットワークのデバイスおよびトポロジーを表現するコンピュータモデルを構築するステップと、
    前記ネットワーク上の特定のネットワーク・トラフィック・フローに関連するネットワークメタデータを独自に生み出すデバイスを統計的に識別するステップと、
    下流のネットワークデバイスにより生成され得るネットワークメタデータ情報の重複を、前記下流デバイスを介する同じネットワークトラフィックのフローを反映して排除するステップとを含む、請求項31に記載の方法。
  34. 前記受信されるネットワークメタデータをネットワークメタデータの下流側の利用者またはコレクタへ、その少なくとも1つのデータフォーマットを保全しながら転送するステップをさらに含む、請求項1に記載の方法。
  35. 変換されたネットワークメタデータを前記1つまたは複数の異なるデータフォーマットのネットワークメタデータの利用者またはコレクタへ転送するステップをさらに含む、請求項1に記載の方法。
  36. 前記決定するステップは、前記受信されるネットワークメタデータの有効性に関連する少なくとも1つのアサーションを追認することを含む、請求項1に記載の方法。
  37. 前記変換するステップは、前記受信されるネットワークメタデータを共通のデータフォーマットに変換することを含む、請求項1に記載の方法。
  38. 前記決定するステップは、前記ネットワークメタデータに割り当てられる過渡的な識別子の検索を含む、請求項1に記載の方法。
  39. ネットワークメタデータの過渡的な識別子は、前記ネットワークメタデータに割り当てられる永続的な識別子に動的に関連づけられる、請求項38に記載の方法。
  40. ネットワークメタデータの永続的な識別子は、さらに1つまたは複数のポリシに関連づけられる、請求項39に記載の方法。
  41. 前記処理するステップは、1つまたは複数のポリシを前記ネットワークメタデータに適用することを含む、請求項40に記載の方法。
  42. 前記決定するステップは、前記ネットワークメタデータを分類することを含む、請求項1に記載の方法。
  43. 前記分類するステップは、ネットワークメタデータ処理を統率する少なくとも1つのポリシを適用することによって達成される、請求項42に記載の方法。
  44. 前記少なくとも1つのポリシは、前記ネットワークメタデータのコンテンツを基礎とする、請求項43に記載の方法。
  45. 前記少なくとも1つのポリシは時間ベースである、請求項43に記載の方法。
  46. 前記少なくとも1つのポリシは、動的にロード可能なソフトウェアモジュールを組み入れることによって実装される、請求項43に記載の方法。
  47. 前記動的にロード可能なソフトウェアモジュールはバイナリ実行可能モジュールである、請求項46に記載の方法。
  48. 前記少なくとも1つのポリシの適用は、前記処理されるネットワークメタデータから導出される追加的なネットワークメタデータを生成する、請求項43に記載の方法。
  49. 前記追加的なネットワークメタデータは、前記処理されるネットワークメタデータと同じフォーマットである、請求項48に記載の方法。
  50. 前記追加的なネットワークメタデータは、前記処理されるネットワークメタデータのフォーマット以外のフォーマットである、請求項48に記載の方法。
  51. 前記少なくとも1つのポリシの適用は、ネットワークメタデータのコンテンツを変換する、請求項43に記載の方法。
  52. 前記ネットワークメタデータを変換するステップは、変換規則を適用することを含む、請求項1に記載の方法。
  53. 前記変換規則は、前記ネットワークメタデータのコンテンツを基礎とする、請求項52に記載の方法。
  54. 前記変換規則はデフォルトの変換規則である、請求項52に記載の方法。
  55. 前記変換規則は、動的にロード可能なソフトウェアモジュールを組み入れることによって実装される、請求項52に記載の方法。
  56. 前記動的にロード可能なソフトウェアモジュールはバイナリ実行可能モジュールである、請求項55に記載の方法。
  57. 前記受信されるネットワークメタデータを転送するステップは、前記ネットワークメタデータの起源のインジケータを変える、請求項2に記載の方法。
  58. 前記受信されるネットワークメタデータを転送するステップは、前記ネットワークメタデータの起源のインジケータを変えない、請求項2に記載の方法。
  59. 変換されて転送されるネットワークメタデータを認証するステップをさらに含む、請求項3に記載の方法。
  60. 前記認証するステップは、強力に暗号化した認証を実装する、請求項59に記載の方法。
  61. 前記認証するステップは、強力に暗号化していない認証を実装する、請求項59に記載の方法。
  62. ネットワークメタデータを分類する方法であって、
    不変ネットワークメタデータ定義固有の識別子を計算するステップと、
    少なくとも1つの処理規則を前記ネットワークメタデータ固有の識別子に関連づけるステップと、
    前記ネットワークメタデータ定義固有の識別子を第1の情報コンテナに格納するステップと、
    前記少なくとも1つの処理規則を前記第1の情報コンテナに格納するステップと、
    前記少なくとも1つの処理規則を、前記第1の情報コンテナ内の前記ネットワークメタデータ定義固有の識別子に関連づけるステップと、
    一意に識別されるソースから、ネットワークメタデータ定義および第1の過渡的なネットワークメタデータ識別子を含む情報の第1のパケットを受信するステップと、
    不変ネットワークメタデータ定義を前記第1のパケットに位置決めするステップと、
    前記第1のパケットにおけるネットワークメタデータ定義に対応する不変ネットワークメタデータ定義固有の識別子を計算するステップと、
    前記ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナに位置決めするステップと、
    前記第1の過渡的なネットワークメタデータ識別子および前記ソース識別子を第2の情報コンテナに格納するステップと、
    前記第2の情報コンテナにおける前記第1の過渡的なネットワークメタデータ識別子を、前記第1の情報コンテナにおける前記ネットワークメタデータ定義固有の識別子に関連づけるステップと、
    ネットワークメタデータと、前記第1の過渡的なネットワークメタデータ識別子と、前記ソース識別子とを含む情報の第2のパケットを受信するステップと、
    前記第1の過渡的なネットワークメタデータ識別子および前記ソース識別子を前記第2の情報コンテナに位置決めするステップと、
    前記第2の情報コンテナにおける前記関連づけを用いて、ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナ内に位置決めするステップと、
    前記第1の情報コンテナにおけるネットワークメタデータ定義固有の識別子の前記関連づけを用いて、前記処理規則を位置決めするステップと、
    前記処理規則を実行してネットワークメタデータを分類するステップとを含む方法。
  63. 前記一意に識別されるソースから、ネットワークメタデータ定義および第2の過渡的なネットワークメタデータ識別子を含む情報の第3のパケットを受信することと、
    不変ネットワークメタデータ定義を前記第3のパケットに位置決めすることと、
    前記第3のパケットにおけるネットワークメタデータ定義に対応する不変ネットワークメタデータ定義固有の識別子を計算することと、
    前記ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナに位置決めすることと、
    前記第2の過渡的なネットワークメタデータ識別子および前記ソース識別子を第2の情報コンテナに格納することと、
    前記第2の情報コンテナにおける前記第2の過渡的なネットワークメタデータ識別子を、前記第1の情報コンテナにおける前記ネットワークメタデータ定義固有の識別子に関連づけることと、
    前記第1の過渡的なネットワークメタデータ識別子を、前記ソース識別子を用いて前記第2の情報コンテナに位置決めすることと、
    前記第1の過渡的なネットワークメタデータ識別子および前記ソース識別子を前記第2のコンテナから除去することと、
    ネットワークメタデータと、前記第2の過渡的なネットワークメタデータ識別子と、前記ソース識別子とを含む情報の第4のパケットを受信することと、
    前記第2の過渡的なネットワークメタデータ識別子および前記ソース識別子を前記第2の情報コンテナに位置決めすることと、
    前記第2の情報コンテナにおける前記関連づけを用いて、ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナ内に位置決めすることと、
    前記第1の情報コンテナにおけるネットワークメタデータ定義固有の識別子の前記関連づけを用いて、前記処理規則を位置決めすることと、
    前記処理規則を実行してネットワークメタデータを分類することとをさらに含む、請求項62に記載の方法。
  64. 前記第1の過渡的なネットワークメタデータ識別子およびソース識別子を前記第2のコンテナから除去する前記ステップは、前記第2のコンテナに格納されるエレメントにエージングアルゴリズムを適用することによって実行される、請求項62に記載の方法。
  65. 不変ネットワークメタデータ定義固有の識別子を計算する前記ステップは、不変ネットワークメタデータ定義のハッシュ値を計算することを含む、請求項62に記載の方法。
  66. 前記ハッシュ値は、暗号論的に強いアルゴリズムを用いて計算される、請求項65に記載の方法。
  67. 前記ハッシュ値は、非暗号論的に強いアルゴリズムを用いて計算される、請求項65に記載の方法。
  68. 前記処理規則は、ネットワークメタデータ処理を統率するポリシである、請求項62に記載の方法。
  69. 前記ポリシは、少なくとも部分的に、前記ネットワークメタデータのコンテンツを基礎とする、請求項68に記載の方法。
  70. 前記ポリシは時間ベースである、請求項68に記載の方法。
  71. ネットワーク上のSIEMシステムへ供給されるネットワークメタデータの量を選択的に減らす方法であって、
    少なくとも部分的に冗長メタデータを含むネットワーク・メタデータ・パケットを識別するステップと、
    少なくとも部分的に冗長メタデータを含む前記ネットワーク・メタデータ・パケットを処理して、関心のあるメタデータを保全しながら前記パケットをより少ないパケット数に集約するステップとを含む方法。
  72. ネットワークメタデータを処理するためのシステムであって、
    複数のソースからネットワークメタデータを少なくとも1つのデータフォーマットで受信するように適合化されるネットワークノードと、
    前記ネットワークメタデータのタイプまたは特徴を決定するための処理モジュールと、
    有益な情報を抽出するために前記ネットワークメタデータを処理するための処理モジュールと、
    少なくとも部分的に前記決定するステップの結果に応じて、前記ネットワークメタデータの少なくとも一部を1つまたは複数の異なるデータフォーマットに変換するための処理モジュールとを備えるシステム。
  73. ネットワークメタデータを分類するためのシステムであって、
    不変ネットワークメタデータ定義固有の識別子を計算するためのプロセッサと、
    少なくとも1つの処理規則を前記ネットワークメタデータ固有の識別子に関連づけるためのプロセッサと、
    前記ネットワークメタデータ定義固有の識別子を第1の情報コンテナに格納するためのプロセッサと、
    前記少なくとも1つの処理規則を前記第1の情報コンテナに格納するためのプロセッサと、
    前記少なくとも1つの処理規則を、前記第1の情報コンテナ内の前記ネットワークメタデータ定義固有の識別子に関連づけるためのプロセッサと、
    ネットワークメタデータ定義および過渡的なネットワークメタデータ識別子を含む情報の第1のパケットを受信するためのプロセッサと、
    不変ネットワークメタデータ定義を前記第1のパケットに位置決めするためのプロセッサと、
    前記第1のパケットにおけるネットワークメタデータ定義に対応する不変ネットワークメタデータ定義固有の識別子を計算するためのプロセッサと、
    前記ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナに位置決めするためのプロセッサと、
    前記過渡的なネットワークメタデータ識別子を第2の情報コンテナに格納するためのプロセッサと、
    前記第2の情報コンテナにおける前記過渡的なネットワークメタデータ識別子を、前記第1の情報コンテナにおける前記ネットワークメタデータ定義固有の識別子に関連づけるためのプロセッサと、
    ネットワークメタデータと、前記過渡的なネットワークメタデータ識別子とを含む情報の第2のパケットを受信するためのプロセッサと、
    前記過渡的なネットワークメタデータ識別子を前記第2の情報コンテナに位置決めするためのプロセッサと、
    前記第2の情報コンテナにおける前記関連づけを用いて、ネットワークメタデータ定義固有の識別子を前記第1の情報コンテナ内に位置決めするためのプロセッサと、
    前記第1の情報コンテナにおけるネットワークメタデータ定義固有の識別子の前記関連づけを用いて、前記処理規則を位置決めするためのプロセッサと、
    前記処理規則を実行してネットワークメタデータを分類するためのプロセッサとを備えるシステム。
  74. ネットワークシステムであって、
    ローカルネットワークを備え、前記ローカルネットワークは、
    ネットワークメタデータの第1のコレクションをsyslogフォーマットで生成する、前記ネットワーク上の複数のデバイスと、
    syslogデータを受信するように適合化されるネットワーク監視装置と、
    ネットワークメタデータの第2のコレクションをsyslogデータのフォーマット以外のフォーマットで生成する、前記ネットワーク上の複数のデバイスと、
    前記ネットワークメタデータの第2のコレクションの少なくとも一部をsyslogフォーマットに変換できる第1のネットワークメタデータ処理装置と、
    前記第1のネットワークメタデータ処理装置の変換された出力を前記ネットワーク監視装置へ入力として供給するための通信媒体とを備えるネットワークシステム。
  75. 前記第1のネットワークメタデータ処理装置は、前記ネットワークメタデータの第2のコレクションの少なくとも一部を、前記ネットワークメタデータの第2のコレクションの前記少なくとも一部をsyslogフォーマットに変換する前に処理するためのプロセスを含む、請求項74に記載のネットワークシステム。
  76. 前記プロセッサは、前記ネットワークメタデータの第2のコレクション内に含まれるメッセージのタイプを決定できる分類子を備える、請求項75に記載のネットワークシステム。
  77. 前記プロセッサは、前記ネットワークメタデータの第2のコレクション内の各メッセージを、少なくとも部分的に前記分類子によるタイプの決定を基礎として選択的に処理できるポリシモジュールを備える、請求項75に記載のネットワークシステム。
  78. 前記ポリシモジュールは、少なくとも部分的に前記分類子によるタイプの決定を基礎として各メッセージに1つまたは複数のポリシを適用する、請求項77に記載のネットワークシステム。
  79. リモートサブネットをさらに備え、前記リモートサブネットは、
    ネットワークメタデータの第3のコレクションをsyslogフォーマットで生成する、前記リモートサブネット上の複数のデバイスと、
    ネットワークメタデータの第4のコレクションをsyslogデータのフォーマット以外のフォーマットで生成する、前記サブネット上の複数のデバイスと、
    前記ネットワークメタデータの第4のコレクションの少なくとも一部をsyslogフォーマットに変換できる第2のネットワークメタデータ処理装置と、
    前記第2のネットワークメタデータ処理装置の変換された出力を前記ネットワーク監視装置へ入力として供給するための通信媒体とを備える、請求項74に記載のネットワークシステム。
  80. WAN上でブランチネットワークから主要ネットワークへNetFlowメッセージを伝送する信頼性を高める方法であって、
    前記ブランチネットワーク上で生成されるNetFlowメッセージの少なくとも一部をsyslogメッセージに変換するステップと、
    UDPより信頼性のあるネットワークプロトコルを利用して、前記変換されたsyslogメッセージを前記ブランチネットワークから前記主要ネットワーク上のサーバへ転送するステップとを含む方法。
JP2014540202A 2011-11-07 2012-11-06 ネットワークメタデータを処理するストリーミング方法およびシステム Pending JP2015502060A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161556817P 2011-11-07 2011-11-07
US61/556,817 2011-11-07
US201261699823P 2012-09-11 2012-09-11
US61/699,823 2012-09-11
US13/669,235 US9392010B2 (en) 2011-11-07 2012-11-05 Streaming method and system for processing network metadata
US13/669,235 2012-11-05
PCT/US2012/063749 WO2013070631A1 (en) 2011-11-07 2012-11-06 A streaming method and system for processing network metadata

Publications (1)

Publication Number Publication Date
JP2015502060A true JP2015502060A (ja) 2015-01-19

Family

ID=48224692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014540202A Pending JP2015502060A (ja) 2011-11-07 2012-11-06 ネットワークメタデータを処理するストリーミング方法およびシステム

Country Status (8)

Country Link
US (2) US9392010B2 (ja)
EP (1) EP2777226B1 (ja)
JP (1) JP2015502060A (ja)
KR (1) KR20140106547A (ja)
CN (1) CN104115463B (ja)
CA (1) CA2854883A1 (ja)
RU (1) RU2014124009A (ja)
WO (1) WO2013070631A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163352A (ja) * 2015-03-04 2016-09-05 フィッシャー−ローズマウント システムズ,インコーポレイテッド 産業用通信ネットワークにおける異常検出、異常検出システム、及び異常検出を行う方法
JP2018128967A (ja) * 2017-02-10 2018-08-16 日本電気株式会社 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム
JP2018191121A (ja) * 2017-05-02 2018-11-29 アライドテレシスホールディングス株式会社 アクセス制御システム
JP2020092332A (ja) * 2018-12-05 2020-06-11 アラクサラネットワークス株式会社 ネットワーク異常検知装置、ネットワーク異常検知システム及びネットワーク異常検知方法
JP2020141191A (ja) * 2019-02-27 2020-09-03 Necフィールディング株式会社 データ取得装置、クライアントサーバシステム、データ取得方法、及び、プログラム
JP2021044655A (ja) * 2019-09-10 2021-03-18 アズビル株式会社 特定装置および特定方法

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654505B2 (en) * 2009-06-22 2017-05-16 Citrix Systems, Inc. Systems and methods for encoding the core identifier in the session identifier
US8601556B2 (en) 2009-06-22 2013-12-03 Citrix Systems, Inc. Systems and methods for handling SSL session not reusable across multiple cores
US9392010B2 (en) * 2011-11-07 2016-07-12 Netflow Logic Corporation Streaming method and system for processing network metadata
US9843488B2 (en) 2011-11-07 2017-12-12 Netflow Logic Corporation Method and system for confident anomaly detection in computer network traffic
US8976661B2 (en) * 2012-01-11 2015-03-10 Nec Laboratories America, Inc. Network self-protection
US8805163B2 (en) * 2012-01-20 2014-08-12 Comcast Cable Communications, Llc Network storage device and method
KR102007732B1 (ko) * 2012-04-18 2019-08-07 한국전자통신연구원 시간기반 정책을 통한 트래픽 제어 방법
US9912638B2 (en) * 2012-04-30 2018-03-06 Zscaler, Inc. Systems and methods for integrating cloud services with information management systems
US9112804B2 (en) * 2012-05-31 2015-08-18 International Business Machines Corporation Network congestion notification preservation and modification during transmission of network data between physical network and virtual network
US9332053B2 (en) * 2012-06-15 2016-05-03 Tekelec, Inc. Methods, systems, and computer readable media for load balancing stream control transmission protocol (SCTP) messages
WO2014052756A2 (en) * 2012-09-28 2014-04-03 Level 3 Communications, Llc Apparatus, system and method for identifying and mitigating malicious network threats
US9438488B2 (en) * 2012-11-09 2016-09-06 Citrix Systems, Inc. Systems and methods for appflow for datastream
US20150029871A1 (en) * 2013-07-24 2015-01-29 Cisco Technology, Inc. Service level agreement validation via service traffic sample-and-replay
TW201505411A (zh) * 2013-07-31 2015-02-01 Ibm 用於規則式安全防護設備之規則解譯方法及設備
US9680916B2 (en) * 2013-08-01 2017-06-13 Flowtraq, Inc. Methods and systems for distribution and retrieval of network traffic records
US9444914B2 (en) 2013-09-16 2016-09-13 Annapurna Labs Ltd. Configurable parser and a method for parsing information units
KR20150032018A (ko) * 2013-09-17 2015-03-25 삼성전자주식회사 전자 장치 및 전자 장치의 정보 전송 방법, 정보 전송 시스템
CN104518921A (zh) * 2013-09-30 2015-04-15 宁夏先锋软件有限公司 一种适合不同标准及输出展示形式多样的网络监控***
WO2015053791A1 (en) * 2013-10-11 2015-04-16 Hewlett-Packard Development Company, L.P. Provisioning a network for network traffic during a session
US10601654B2 (en) * 2013-10-21 2020-03-24 Nyansa, Inc. System and method for observing and controlling a programmable network using a remote network manager
US9755942B2 (en) * 2013-10-25 2017-09-05 Vmware, Inc. Method and system for monitoring conditions in a dynamic network environment
CN103561018A (zh) * 2013-10-30 2014-02-05 蓝盾信息安全技术股份有限公司 一种面向大数据应用平台的入侵检测的实时分析***
US9794278B1 (en) * 2013-12-19 2017-10-17 Symantec Corporation Network-based whitelisting approach for critical systems
CN103680143B (zh) * 2013-12-30 2015-09-23 北京世纪高通科技有限公司 一种交通信息处理方法和装置
EP3105697A4 (en) * 2014-02-16 2017-12-13 B.G. Negev Technologies & Applications Ltd. at Ben-Gurion University A system and method for integrating legacy flow-monitoring systems with sdn networks
US9407647B2 (en) 2014-03-11 2016-08-02 Vectra Networks, Inc. Method and system for detecting external control of compromised hosts
US9846718B1 (en) * 2014-03-31 2017-12-19 EMC IP Holding Company LLC Deduplicating sets of data blocks
NZ768365A (en) * 2014-04-01 2022-04-29 Endace Tech Limited Hash tag load balancing
EP3138008B1 (en) * 2014-05-01 2020-07-08 Netflow Logic Corporation Method and system for confident anomaly detection in computer network traffic
US10803027B1 (en) * 2014-05-07 2020-10-13 Cisco Technology, Inc. Method and system for managing file system access and interaction
US9647882B1 (en) * 2014-05-29 2017-05-09 Amazon Technologies, Inc. Network topology assisted device provisioning
CN105207881B (zh) * 2014-06-10 2018-12-28 阿里巴巴集团控股有限公司 一种消息发送方法和设备
US10027562B2 (en) * 2014-09-12 2018-07-17 Cisco Technology, Inc. Detecting network services based on network flow data
US9276955B1 (en) 2014-09-17 2016-03-01 Fortinet, Inc. Hardware-logic based flow collector for distributed denial of service (DDoS) attack mitigation
US9852003B2 (en) 2014-10-31 2017-12-26 Rovi Guides, Inc. Systems and methods for generating a unique fingerprint aggregating set of unique tracking identifiers throughout request/response processing
CN105681250B (zh) * 2014-11-17 2019-04-02 中国信息安全测评中心 一种僵尸网络分布式实时检测方法和***
CN108063765B (zh) * 2014-12-17 2021-07-16 南昌理工学院 适于解决网络安全的sdn***
US10986131B1 (en) 2014-12-17 2021-04-20 Amazon Technologies, Inc. Access control policy warnings and suggestions
CN104539595B (zh) * 2014-12-17 2018-04-10 南京晓庄学院 一种集威胁处理和路由优化于一体的sdn架构及工作方法
US10122757B1 (en) 2014-12-17 2018-11-06 Amazon Technologies, Inc. Self-learning access control policies
CN107979607A (zh) * 2014-12-17 2018-05-01 蔡留凤 适于网络安全的软件定义的网络架构及其工作方法
US9917738B2 (en) * 2015-01-13 2018-03-13 Accenture Global Services Limited Intelligent device data router
JP5862811B1 (ja) * 2015-02-02 2016-02-16 日本電信電話株式会社 評価装置、評価方法、及びプログラム
US10043030B1 (en) 2015-02-05 2018-08-07 Amazon Technologies, Inc. Large-scale authorization data collection and aggregation
US9858438B2 (en) * 2015-03-26 2018-01-02 International Business Machines Corporation Managing digital photograph metadata anonymization
US20160285704A1 (en) * 2015-03-27 2016-09-29 Iosif Gasparakis Technologies for dynamic network analysis and provisioning
US10110496B2 (en) * 2015-03-31 2018-10-23 Juniper Networks, Inc. Providing policy information on an existing communication channel
US9998477B2 (en) * 2015-03-31 2018-06-12 Comcast Cable Communications, Llc Digital content access control
US10367838B2 (en) * 2015-04-16 2019-07-30 Nec Corporation Real-time detection of abnormal network connections in streaming data
US10291726B2 (en) 2015-05-12 2019-05-14 Equinix, Inc. Network field unit for a cloud-based services exchange
US10235676B2 (en) * 2015-05-12 2019-03-19 The Toronto-Dominion Bank Systems and methods for accessing computational resources in an open environment
JP6433378B2 (ja) * 2015-05-29 2018-12-05 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
US10142353B2 (en) 2015-06-05 2018-11-27 Cisco Technology, Inc. System for monitoring and managing datacenters
US10536357B2 (en) * 2015-06-05 2020-01-14 Cisco Technology, Inc. Late data detection in data center
US9917753B2 (en) 2015-06-12 2018-03-13 Level 3 Communications, Llc Network operational flaw detection using metrics
US10084816B2 (en) * 2015-06-26 2018-09-25 Fortinet, Inc. Protocol based detection of suspicious network traffic
US10063446B2 (en) * 2015-06-26 2018-08-28 Intel Corporation Netflow collection and export offload using network silicon
KR101688635B1 (ko) * 2015-07-01 2016-12-21 한국전자통신연구원 플로우 기반 트래픽 저장 장치 및 방법
CN105187393B (zh) * 2015-08-10 2018-05-22 济南大学 一种移动终端恶意软件网络行为重构方法及其***
US10643181B2 (en) * 2015-08-18 2020-05-05 Satish Ayyaswami System and method for a big data analytics enterprise framework
US9916459B2 (en) 2015-08-21 2018-03-13 International Business Machines Corporation Photograph metadata encryption
US10721161B2 (en) * 2015-08-28 2020-07-21 Vmware, Inc. Data center WAN aggregation to optimize hybrid cloud connectivity
US10721098B2 (en) 2015-08-28 2020-07-21 Vmware, Inc. Optimizing connectivity between data centers in a hybrid cloud computing system
US10193824B2 (en) 2015-09-06 2019-01-29 RISC Networks, LLC Systems and methods for intelligent application grouping
US20170070562A1 (en) 2015-09-06 2017-03-09 Jeremy Lynn Littlejohn Method for denominating move groups of applications
US9934395B2 (en) 2015-09-11 2018-04-03 International Business Machines Corporation Enabling secure big data analytics in the cloud
US10063451B2 (en) * 2015-09-28 2018-08-28 Juniper Networks, Inc. Providing application metadata using export protocols in computer networks
EP3151152B1 (en) * 2015-09-30 2020-04-08 Secure-Nok AS Non-intrusive software agent for monitoring and detection of cyber security events and cyber-attacks in an industrial control system
EP3378208B1 (en) 2015-11-17 2021-09-29 Hewlett Packard Enterprise Development LP Handling network threats
US10541873B2 (en) 2015-11-20 2020-01-21 Hewlett Packard Enterprise Development Lp Determining violation of a network invariant
CN105553689B (zh) * 2015-12-03 2018-12-28 中国科学院信息工程研究所 一种openflow消息中流规则等价快速判定方法
US9967178B1 (en) * 2015-12-15 2018-05-08 Juniper Networks, Inc. Flow record size reduction
US10140267B1 (en) * 2015-12-28 2018-11-27 EMC IP Holding Company LLC Efficient operation of GRC processing platforms
US10296748B2 (en) 2016-02-25 2019-05-21 Sas Institute Inc. Simulated attack generator for testing a cybersecurity system
US20170251016A1 (en) 2016-02-25 2017-08-31 Imperva, Inc. Techniques for targeted botnet protection using collective botnet analysis
GB2567335B (en) * 2016-02-25 2019-12-04 Sas Inst Inc Cybersecurity system
US10268527B2 (en) * 2016-03-22 2019-04-23 Tata Consultancy Services Limited Systems and methods for generating real time events
US10200267B2 (en) 2016-04-18 2019-02-05 Nyansa, Inc. System and method for client network congestion detection, analysis, and management
US10193741B2 (en) 2016-04-18 2019-01-29 Nyansa, Inc. System and method for network incident identification and analysis
US10230609B2 (en) 2016-04-18 2019-03-12 Nyansa, Inc. System and method for using real-time packet data to detect and manage network issues
US10491528B2 (en) 2016-10-27 2019-11-26 Hewlett Packard Enterprise Development Lp Selectively monitoring a network of network function chains based on probability of service level agreement violation
US10148549B2 (en) 2016-10-31 2018-12-04 Servicenow, Inc. System and method for identifying components of a computer network based on component connections
US11546266B2 (en) * 2016-12-15 2023-01-03 Arbor Networks, Inc. Correlating discarded network traffic with network policy events through augmented flow
US10652278B2 (en) * 2016-12-19 2020-05-12 Forescout Technologies, Inc. Compliance monitoring
WO2018122640A1 (en) * 2016-12-30 2018-07-05 Redsocks Security Holdings Bv System for preparing network traffic for fast analysis
US10038671B2 (en) * 2016-12-31 2018-07-31 Fortinet, Inc. Facilitating enforcement of security policies by and on behalf of a perimeter network security device by providing enhanced visibility into interior traffic flows
US10592664B2 (en) 2017-02-02 2020-03-17 Cisco Technology, Inc. Container application security and protection
US10389594B2 (en) * 2017-03-16 2019-08-20 Cisco Technology, Inc. Assuring policy impact before application of policy on current flowing traffic
US10447713B2 (en) 2017-04-26 2019-10-15 At&T Intellectual Property I, L.P. Internet traffic classification via time-frequency analysis
KR20200007931A (ko) 2017-05-18 2020-01-22 익스팬스 인코포레이티드 상관관계 중심 위협 평가 및 치료
US10958623B2 (en) * 2017-05-26 2021-03-23 Futurewei Technologies, Inc. Identity and metadata based firewalls in identity enabled networks
CN107368527B (zh) * 2017-06-09 2020-06-30 东南大学 基于数据流的多属性索引方法
US20180375762A1 (en) * 2017-06-21 2018-12-27 Microsoft Technology Licensing, Llc System and method for limiting access to cloud-based resources including transmission between l3 and l7 layers using ipv6 packet with embedded ipv4 addresses and metadata
RU2665919C1 (ru) * 2017-07-17 2018-09-04 Акционерное общество "Лаборатория Касперского" Система и способ определения DDoS-атак при некорректной работе сервисов сервера
US10447598B2 (en) * 2017-07-17 2019-10-15 Qualcomm Incorporated User datagram protocol (UDP) receive offloading
US10601849B2 (en) * 2017-08-24 2020-03-24 Level 3 Communications, Llc Low-complexity detection of potential network anomalies using intermediate-stage processing
US10992652B2 (en) 2017-08-25 2021-04-27 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems, and computer readable media for monitoring encrypted network traffic flows
US10903985B2 (en) 2017-08-25 2021-01-26 Keysight Technologies Singapore (Sales) Pte. Ltd. Monitoring encrypted network traffic flows in a virtual environment using dynamic session key acquisition techniques
US10586051B2 (en) * 2017-08-31 2020-03-10 International Business Machines Corporation Automatic transformation of security event detection rules
US11750622B1 (en) 2017-09-05 2023-09-05 Barefoot Networks, Inc. Forwarding element with a data plane DDoS attack detector
CN109698814B (zh) * 2017-10-23 2021-06-15 中国电信股份有限公司 僵尸网络发现方法及僵尸网络发现装置
US10666494B2 (en) 2017-11-10 2020-05-26 Nyansa, Inc. System and method for network incident remediation recommendations
US11190544B2 (en) 2017-12-11 2021-11-30 Catbird Networks, Inc. Updating security controls or policies based on analysis of collected or created metadata
JP6898846B2 (ja) * 2017-12-28 2021-07-07 株式会社日立製作所 異常原因特定支援システムおよび異常原因特定支援方法
CN108270778B (zh) * 2017-12-29 2020-11-20 中国互联网络信息中心 一种dns域名异常访问检测方法及装置
WO2019133763A1 (en) 2017-12-29 2019-07-04 Virtual Instruments Corporation System and method of application discovery
US11223534B2 (en) 2017-12-29 2022-01-11 Virtual Instruments Worldwide, Inc. Systems and methods for hub and spoke cross topology traversal
US10574575B2 (en) * 2018-01-25 2020-02-25 Cisco Technology, Inc. Network flow stitching using middle box flow stitching
US10798015B2 (en) 2018-01-25 2020-10-06 Cisco Technology, Inc. Discovery of middleboxes using traffic flow stitching
US10999167B2 (en) 2018-04-13 2021-05-04 At&T Intellectual Property I, L.P. Varying data flow aggregation period relative to data value
US11108812B1 (en) 2018-04-16 2021-08-31 Barefoot Networks, Inc. Data plane with connection validation circuits
WO2019215735A1 (en) * 2018-05-07 2019-11-14 Cyber Sec Bi Ltd. Network data clustering
US11709946B2 (en) 2018-06-06 2023-07-25 Reliaquest Holdings, Llc Threat mitigation system and method
US10855702B2 (en) 2018-06-06 2020-12-01 Reliaquest Holdings, Llc Threat mitigation system and method
US10938685B2 (en) * 2018-07-24 2021-03-02 Cisco Technology, Inc. Secure traffic visibility and analytics for encrypted traffic
CN109040229A (zh) * 2018-07-30 2018-12-18 佛山市甜慕链客科技有限公司 一种网络监控方法及***
US10893030B2 (en) 2018-08-10 2021-01-12 Keysight Technologies, Inc. Methods, systems, and computer readable media for implementing bandwidth limitations on specific application traffic at a proxy element
EP3840298A4 (en) * 2018-08-15 2021-09-22 Sony Group Corporation NETWORK MONITORING SYSTEM, NETWORK MONITORING METHOD AND PROGRAM
US10659301B2 (en) 2018-08-24 2020-05-19 Cisco Technology, Inc. Configuring container attribute data on network switches to enable networking functionality
CN109474602A (zh) * 2018-11-27 2019-03-15 武汉虹旭信息技术有限责任公司 一种海量数据的安全审计***及其方法
US10999202B2 (en) 2018-11-30 2021-05-04 Oracle International Corporation Methods, systems, and computer readable media for distributing Sigtran connections among signal transfer point (STP) message processors
EP3902228B1 (en) * 2019-01-22 2023-10-04 Huawei Technologies Co., Ltd. Data message transmission methods
US11115278B2 (en) * 2019-02-25 2021-09-07 Cisco Technology, Inc. Learning by inference from brownfield deployments
CN111628900B (zh) * 2019-02-28 2023-08-29 西门子股份公司 基于网络协议的模糊测试方法、装置和计算机可读介质
US10887380B2 (en) * 2019-04-01 2021-01-05 Google Llc Multi-cluster ingress
US10999159B2 (en) * 2019-04-04 2021-05-04 Cisco Technology, Inc. System and method of detecting application affinity using network telemetry
US11082434B2 (en) 2019-04-06 2021-08-03 International Business Machines Corporation Inferring temporal relationships for cybersecurity events
CN111859028B (zh) * 2019-04-30 2024-08-16 伊姆西Ip控股有限责任公司 创建用于流式存储的索引的方法、设备和计算机程序产品
US11132109B2 (en) * 2019-05-08 2021-09-28 EXFO Solutions SAS Timeline visualization and investigation systems and methods for time lasting events
USD926809S1 (en) 2019-06-05 2021-08-03 Reliaquest Holdings, Llc Display screen or portion thereof with a graphical user interface
USD926810S1 (en) 2019-06-05 2021-08-03 Reliaquest Holdings, Llc Display screen or portion thereof with a graphical user interface
USD926811S1 (en) 2019-06-06 2021-08-03 Reliaquest Holdings, Llc Display screen or portion thereof with a graphical user interface
USD926200S1 (en) 2019-06-06 2021-07-27 Reliaquest Holdings, Llc Display screen or portion thereof with a graphical user interface
USD926782S1 (en) 2019-06-06 2021-08-03 Reliaquest Holdings, Llc Display screen or portion thereof with a graphical user interface
CN110519273B (zh) * 2019-08-28 2021-11-02 杭州迪普科技股份有限公司 入侵防御方法和装置
US11621970B2 (en) * 2019-09-13 2023-04-04 Is5 Communications, Inc. Machine learning based intrusion detection system for mission critical systems
US20220337605A1 (en) * 2019-09-30 2022-10-20 Nec Corporation Management apparatus, network monitoring system, determination method, communication method, and non-transitory computer readable medium
US11483290B2 (en) * 2019-10-21 2022-10-25 Cisco Technology, Inc. Distribution of stateless security functions
CN110752895A (zh) * 2019-10-22 2020-02-04 盛科网络(苏州)有限公司 以太网报文的编程方法和装置
US11190417B2 (en) * 2020-02-04 2021-11-30 Keysight Technologies, Inc. Methods, systems, and computer readable media for processing network flow metadata at a network packet broker
US11323381B2 (en) * 2020-04-16 2022-05-03 Juniper Networks, Inc. Dropped packet detection and classification for networked devices
EP4380124A3 (en) 2020-04-16 2024-07-24 Juniper Networks, Inc. Dropped packet detection and classification for networked devices
EP4158849A4 (en) * 2020-05-28 2024-01-17 Axellio Inc. HIGH-PERFORMANCE PACKET CAPTURE AND ANALYSIS ARCHITECTURE
CN113810242A (zh) * 2020-06-16 2021-12-17 中盈优创资讯科技有限公司 ***日志分析方法及装置
US10990676B1 (en) 2020-07-01 2021-04-27 Morgan Stanley Services Group Inc. File collection method for subsequent malware detection
US10860717B1 (en) 2020-07-01 2020-12-08 Morgan Stanley Services Group Inc. Distributed system for file analysis and malware detection
US11061879B1 (en) 2020-07-01 2021-07-13 Morgan Stanley Services Group Inc. File indexing and retrospective malware detection system
CN111817905B (zh) * 2020-09-07 2020-12-15 腾讯科技(深圳)有限公司 一种网络配置方法、相关装置及存储介质
CN111935175B (zh) * 2020-09-14 2020-12-29 华芯生物科技(武汉)有限公司 一种检测设备的数据加密传输方法
US11576072B2 (en) 2020-09-21 2023-02-07 Oracle International Corporation Methods, systems, and computer-readable media for distributing S1 connections to mobility management entities (MMEs) and N2 connections to access and mobility management functions (AMFs)
US11956628B2 (en) * 2020-11-23 2024-04-09 Cisco Technology, Inc. Openroaming for private communication systems
CN112468486B (zh) * 2020-11-24 2023-05-02 北京天融信网络安全技术有限公司 Netflow数据去重方法、装置、电子设备及存储介质
CN113194043B (zh) * 2021-03-18 2022-09-02 成都深思科技有限公司 一种nat环境下的网络流量分类方法
US20220384061A1 (en) * 2021-05-25 2022-12-01 Optiks Solutions, Inc. System and method for secure healthcare professional communication
CN113507395B (zh) * 2021-06-21 2023-02-03 华东师范大学 一种网络数据流的状态追踪装置
US20230015789A1 (en) * 2021-07-08 2023-01-19 Vmware, Inc. Aggregation of user authorizations from different providers in a hybrid cloud environment
CN114201955B (zh) * 2021-11-29 2024-06-25 北京国瑞数智技术有限公司 互联网流量平台监测方法和***
CN114384792B (zh) * 2021-12-10 2024-01-02 浙江大学 一种安全冗余的plc通信控制***
US20230239247A1 (en) * 2022-01-24 2023-07-27 Netscout Systems Texas, Llc Method and system for dynamic load balancing
US20240022486A1 (en) * 2022-07-12 2024-01-18 Netography, Inc. Streaming complex endpoint events
CN116048822B (zh) * 2023-04-03 2023-07-07 成都新西旺自动化科技有限公司 一种高吞吐的并行日志存储***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117658A1 (en) * 2002-09-27 2004-06-17 Andrea Klaes Security monitoring and intrusion detection system
JP2007228113A (ja) * 2006-02-22 2007-09-06 Nippon Telegr & Teleph Corp <Ntt> トラフィックデータ集約装置およびトラフィックデータ集約方法
US20090016236A1 (en) * 2007-07-10 2009-01-15 Level 3 Communications Llc System and method for aggregating and reporting network traffic data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865247B1 (ko) * 2000-01-13 2008-10-27 디지맥 코포레이션 메타데이터를 인증하고 매체 신호들의 워터마크들 내에 메타데이터를 임베딩하는 방법
US7127743B1 (en) * 2000-06-23 2006-10-24 Netforensics, Inc. Comprehensive security structure platform for network managers
US7707305B2 (en) 2000-10-17 2010-04-27 Cisco Technology, Inc. Methods and apparatus for protecting against overload conditions on nodes of a distributed network
CA2544064C (en) * 2003-11-13 2012-02-07 Commvault Systems, Inc. System and method for performing integrated storage operations
US7996427B1 (en) * 2005-06-23 2011-08-09 Apple Inc. Unified system for accessing metadata in disparate formats
US8688790B2 (en) * 2005-07-01 2014-04-01 Email2 Scp Solutions Inc. Secure electronic mail system with for your eyes only features
US20070033190A1 (en) * 2005-08-08 2007-02-08 Microsoft Corporation Unified storage security model
JP4512196B2 (ja) * 2005-10-20 2010-07-28 アラクサラネットワークス株式会社 異常トラヒックの検出方法およびパケット中継装置
US7653633B2 (en) 2005-11-12 2010-01-26 Logrhythm, Inc. Log collection, structuring and processing
US7633944B1 (en) 2006-05-12 2009-12-15 Juniper Networks, Inc. Managing timeouts for dynamic flow capture and monitoring of packet flows
US7797335B2 (en) * 2007-01-18 2010-09-14 International Business Machines Corporation Creation and persistence of action metadata
US8011010B2 (en) * 2007-04-17 2011-08-30 Microsoft Corporation Using antimalware technologies to perform offline scanning of virtual machine images
US8250590B2 (en) * 2007-07-13 2012-08-21 International Business Machines Corporation Apparatus, system, and method for seamless multiple format metadata abstraction
US8359320B2 (en) * 2007-10-31 2013-01-22 At&T Intellectual Property I, Lp Metadata repository and methods thereof
WO2010028279A1 (en) 2008-09-05 2010-03-11 Arcsight, Inc. Storing log data efficiently while supporting querying
US20100071065A1 (en) 2008-09-18 2010-03-18 Alcatel Lucent Infiltration of malware communications
CN101686235B (zh) * 2008-09-26 2013-04-24 北京神州绿盟信息安全科技股份有限公司 网络异常流量分析设备和方法
US8954957B2 (en) 2009-07-01 2015-02-10 Riverbed Technology, Inc. Network traffic processing according to network traffic rule criteria and transferring network traffic metadata in a network device that includes hosted virtual machines
CN101610174B (zh) * 2009-07-24 2011-08-24 深圳市永达电子股份有限公司 一种日志事件关联分析***与方法
US8910212B2 (en) * 2010-09-29 2014-12-09 Verizon Patent And Licensing Inc. Multiple device storefront for video provisioning system
US20140075557A1 (en) * 2012-09-11 2014-03-13 Netflow Logic Corporation Streaming Method and System for Processing Network Metadata
US9392010B2 (en) * 2011-11-07 2016-07-12 Netflow Logic Corporation Streaming method and system for processing network metadata
US8688703B1 (en) * 2011-12-22 2014-04-01 Emc Corporation Metadata cache supporting multiple heterogeneous systems
US20140074894A1 (en) * 2012-09-13 2014-03-13 Clo Virtual Fashion Inc. Format conversion of metadata associated with digital content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117658A1 (en) * 2002-09-27 2004-06-17 Andrea Klaes Security monitoring and intrusion detection system
JP2007228113A (ja) * 2006-02-22 2007-09-06 Nippon Telegr & Teleph Corp <Ntt> トラフィックデータ集約装置およびトラフィックデータ集約方法
US20090016236A1 (en) * 2007-07-10 2009-01-15 Level 3 Communications Llc System and method for aggregating and reporting network traffic data

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163352A (ja) * 2015-03-04 2016-09-05 フィッシャー−ローズマウント システムズ,インコーポレイテッド 産業用通信ネットワークにおける異常検出、異常検出システム、及び異常検出を行う方法
JP2018128967A (ja) * 2017-02-10 2018-08-16 日本電気株式会社 データ分析システム、記録装置、データ分析装置、データ管理方法、データ分析方法及びプログラム
JP2018191121A (ja) * 2017-05-02 2018-11-29 アライドテレシスホールディングス株式会社 アクセス制御システム
JP2020092332A (ja) * 2018-12-05 2020-06-11 アラクサラネットワークス株式会社 ネットワーク異常検知装置、ネットワーク異常検知システム及びネットワーク異常検知方法
JP7079721B2 (ja) 2018-12-05 2022-06-02 アラクサラネットワークス株式会社 ネットワーク異常検知装置、ネットワーク異常検知システム及びネットワーク異常検知方法
JP2020141191A (ja) * 2019-02-27 2020-09-03 Necフィールディング株式会社 データ取得装置、クライアントサーバシステム、データ取得方法、及び、プログラム
JP2021044655A (ja) * 2019-09-10 2021-03-18 アズビル株式会社 特定装置および特定方法
JP7376288B2 (ja) 2019-09-10 2023-11-08 アズビル株式会社 特定装置および特定方法

Also Published As

Publication number Publication date
EP2777226A4 (en) 2015-10-14
US10079843B2 (en) 2018-09-18
US20170013001A1 (en) 2017-01-12
US9392010B2 (en) 2016-07-12
RU2014124009A (ru) 2016-02-10
WO2013070631A1 (en) 2013-05-16
CN104115463B (zh) 2017-04-05
EP2777226A1 (en) 2014-09-17
CA2854883A1 (en) 2013-05-16
CN104115463A (zh) 2014-10-22
KR20140106547A (ko) 2014-09-03
US20130117847A1 (en) 2013-05-09
EP2777226B1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
US10079843B2 (en) Streaming method and system for processing network metadata
Lima Filho et al. Smart detection: an online approach for DoS/DDoS attack detection using machine learning
CN111294365B (zh) 攻击流量防护***、方法、装置、电子设备和存储介质
US9860154B2 (en) Streaming method and system for processing network metadata
Dhawan et al. Sphinx: detecting security attacks in software-defined networks.
US7623466B2 (en) Symmetric connection detection
US10355949B2 (en) Behavioral network intelligence system and method thereof
US11546266B2 (en) Correlating discarded network traffic with network policy events through augmented flow
US20160359695A1 (en) Network behavior data collection and analytics for anomaly detection
JP2016508353A (ja) ネットワークメタデータを処理する改良されたストリーミング方法およびシステム
US20230308458A1 (en) Structured data discovery and cryptographic analysis
US11343143B2 (en) Using a flow database to automatically configure network traffic visibility systems
Neu et al. Lightweight IPS for port scan in OpenFlow SDN networks
Qiu et al. Global Flow Table: A convincing mechanism for security operations in SDN
CN112383573B (zh) 一种基于多个攻击阶段的安全入侵回放设备
US20240022486A1 (en) Streaming complex endpoint events
Žádník Network monitoring based on ip data flows
de Lima Filho et al. Research Article Smart Detection: An Online Approach for DoS/DDoS Attack Detection Using Machine Learning
Halman et al. Threshold-Based Software-Defined Networking (SDN) Solution for Healthcare Systems against Intrusion Attacks.
Wytrębowicz Software-defined anti-DDoS: Is it the next step?
Čermák et al. Stream-Based IP Flow Analysis
Siddiqui et al. SUTMS: Designing a Unified Threat Management System for Home Networks
IDRIS et al. INTRUSION PREVENTION SYSTEM: A SURVEY
Esposito et al. Intrusion detection and reaction: an integrated approach to network security
Limmer Efficient Network Monitoring for Attack Detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160923

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161220