JP2018521611A - 情報伝送パフォーマンス警告を生成するための方法、システム、および装置 - Google Patents

情報伝送パフォーマンス警告を生成するための方法、システム、および装置 Download PDF

Info

Publication number
JP2018521611A
JP2018521611A JP2018523370A JP2018523370A JP2018521611A JP 2018521611 A JP2018521611 A JP 2018521611A JP 2018523370 A JP2018523370 A JP 2018523370A JP 2018523370 A JP2018523370 A JP 2018523370A JP 2018521611 A JP2018521611 A JP 2018521611A
Authority
JP
Japan
Prior art keywords
latency
data
traceroute
computer network
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018523370A
Other languages
English (en)
Other versions
JP6816139B2 (ja
JP2018521611A5 (ja
Inventor
ホブグッド,アンドリュー・ウェスリー
ブラウン,セス・ジョナサン
カーウィ,ジェイムズ・ハロルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Network Services Inc
Original Assignee
Dynamic Network Services Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dynamic Network Services Inc filed Critical Dynamic Network Services Inc
Publication of JP2018521611A publication Critical patent/JP2018521611A/ja
Publication of JP2018521611A5 publication Critical patent/JP2018521611A5/ja
Application granted granted Critical
Publication of JP6816139B2 publication Critical patent/JP6816139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852Delays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0677Localisation of faults
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0894Policy-based network configuration management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/10Active monitoring, e.g. heartbeat, ping or trace-route
    • H04L43/106Active monitoring, e.g. heartbeat, ping or trace-route using time related information in packets, e.g. by adding timestamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00Network arrangements, protocols or services for addressing or naming
    • H04L61/45Network directories; Name-to-address mapping
    • H04L61/4505Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
    • H04L61/4511Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

高周波のグローバルおよびローカルなトレースルートデータにおけるリアルタイムの情報伝送異常を識別し、特徴付けるために、警告システムおよび方法が提供される。システムは、アクティブなネットワークセンサおよび/またはコレクタデバイスを含み、それらは、コンピュータネットワークにおける異なる地点への伝送に関連付けられたトレースルートデータを収集し、そのトレースルートデータをマスターサーバに提供する。トレースルートデータは、ターゲットデバイスに対してローカルに、および/またはグローバルに位置する多くのコンピューティングターゲットデバイスへ探索用データパケットを送信することにより、アクティブネットワークセンサによって取得される。マスターサーバは、受信されたトレースルートデータから1つ以上の異常を判断し、タイプ、重症度、位置、影響を受けたドメイン名システム(DNS)サーバおよび/またはインターネット・サービス・プロバイダ(ISP)の観点から異常を特徴付ける。

Description

関連出願との相互参照
本願は、「情報伝送パフォーマンス警告を生成するための方法、システム、および装置」(Methods, Systems, and Apparatus to Generate Information Transmission Performance Alerts)と題された、2015年7月22日に出願された米国出願第62/195,478号の米国特許法第119条(e)の優先権利益を主張する。上に引用された出願は、その全体がここに引用により援用される。
背景
インターネットとは、パケット交換プロトコルのインターネットプロトコル(Internet Protocol:IP)ファミリーを使用して通信する相互接続されたコンピュータネットワークのグローバルなシステムである。インターネットに接続されたデバイス同士は、典型的には複数のビット数(たとえば、IPv4については32ビット、IPv6については128ビット)として表わされる特定のIPアドレスにアドレス指定された情報のパケットを交換することによって、互いに通信する。
ルータ、スイッチ、ブリッジ、および他のデバイスは、各パケットを、当該パケットのIPアドレスに基づいて、その宛先へ転送する。ルータなどのいくつかのデバイスは、たとえば輻輳を避けるために、または利用可能な経路間でトラフィック負荷を分散させるために、パケットを、当該パケットの宛先への異なる経路上のトラフィックに基づいてルーティングすることができる。ルータも、パケットを、当該パケットによって搬送されるデータのタイプに基づいてルーティングしてもよい。たとえば、ルータは、待ち時間を不必要に増加させないようにするために、音声または映像データといった待ち時間に影響されやすいデータを搬送するパケットを、他のパケットに先立って伝送してもよい。
インターネットに接続された各ルータは、それ自体のIPアドレスを1つ以上有しており、インターネット上の多くのノードのうちの1つを形成する。インターネットはパケット交換を使用し、多くのノードを有しているため、それは、影響を受けたエリアを迂回するようにトラフィックを動的にルーティングすることによって、機器故障、自然災害、政治事件などによる重大なノードの損失に耐えることができる。にもかかわらず、あるノードの一時的損失でさえ、接続性を減少させるかまたは待ち時間を増加させることによってインターネットサービスを混乱させるおそれがある。インターネットサービスが混乱すると、影響を受けたエリアにおいておよびおそらくは当該エリアを超えてコンテンツプロバイダがコンテンツを消費者に確実に配信するためにより費用がかかるおそれがある。
概要
発明者らは、ノード故障などによって生じたインターネットサービスでの混乱は通常のネットワークパフォーマンスパターンからのずれをもたらす場合がある、ということを認識してきた。異常とも呼ばれるこれらのずれは、グローバルに分散されたトレースルートデータコレクタシステムによって取得されたトレースルートデータを使用して検出され得る。当該システムが異常を検出すると、それは、その異常についてのパフォーマンス警告を発行してもよい。場合によっては、当該システムは異常を特徴付け、異常の特性に基づいて、異常を引き起こす原因となったインターネットサービス混乱の存在、位置、および/またはタイプを判断してもよい。
いくつかの実現化例では、マスターサーバは、第1のネットワークセンサまたはトレースルートデータコレクタから、当該ネットワークセンサとターゲットコンピューティングデバイスとの間の伝送待ち時間を示すトレースルートデータを受信する。マスターサーバは、ターゲットコンピューティングデバイスに対する予期される待ち時間と現在の待ち時間との差異が著しいか、および/または予め規定されたしきい値を越えているかどうかを判断することによって、異常表示を識別することができる。同様に、マスターサーバは、第2のネットワークセンサまたはトレースルートデータコレクタによって送信されたトレースルートデータパケットを受信することができる。マスターサーバは、ターゲットコンピューティングデバイスに対する予期される待ち時間と現在の待ち時間との差異が著しいか、および/または予め規定されたしきい値を越えているかどうかを判断することによって、異常表示を識別することができる。
マスターサーバは、トレースルートデータコレクタから収集されたデータに由来した1つ以上の異常表示を利用してコヒーレンス値または信頼値を計算し、さらに、第1および第2のトレースルートデータコレクタから計算された異常表示に少なくとも基づいてネットワークパフォーマンス異常推測を行なうことができる。
いくつかの実現化例では、マスターサーバは、コンピュータネットワークにおける第1の地点とコンピュータネットワークにおける第2の地点との間の情報の伝送に関連付けられたベースライン待ち時間状態を推定することができる。そのようなベースライン待ち時間状態は、ベースラインリザーバに格納された離散的待ち時間値の分布を表わす。さらに、マスターサーバは、コンピュータネットワークにおける第1の地点とコンピュータネットワークにおける第2の地点との間の情報の伝送に関連付けられた現在の待ち時間状態を推定することができる。そのような現在の待ち時間状態は、最近のサンプルキューに格納された離散的待ち時間値の分布を表わす。続いて、マスターサーバは、推定されたベースライン待ち時間状態と推定された現在の待ち時間状態との比較を行なうことによって、第1の地点と第2の地点との間の異常の存在を識別することができる。
いくつかの実現化例では、マスターサーバは、多くのネットワークセンサまたはトレースルートデータコレクタからトレースルートデータを受信する。トレースルートデータパケットは、多くのトレースルートデータコレクタの各々と1組のターゲットコンピューティングデバイスとの間の伝送待ち時間データを含む。伝送待ち時間データは、異なる期間で観察される伝送待ち時間を表わし得る。たとえば、第1の1組のトレースルートデータは、時間Tlから時間T2まで観察された伝送待ち時間を表わし、一方、第2の1組のトレースルートデータは、後の(およびおそらくは重複する)期間、たとえば時間T3から時間T4まで観察された伝送待ち時間を表わし得る。
マスターサーバは、第1の1組のトレースルートデータに基づいて、トレースルートデータコレクタの各々とターゲットコンピューティングデバイスとの間の予期される待ち時間値を計算することができる。加えて、マスターサーバは、第2の1組のトレースルートデータに基づいて、トレースルートデータコレクタの各々とターゲットコンピューティングデバイスとの間の現在の待ち時間値を計算することができる。マスターサーバはさらに、各トレースルートデータコレクタについて、コンピューティングターゲットデバイスまたはコンピューティングターゲットデバイスのグループに対する現在の待ち時間値と予期される待ち時間値との差異を計算することができる。その後、マスターサーバは、1つ以上のトレースルートデータコレクタと、1つのターゲットコンピューティングデバイスおよび/または1組のターゲットコンピューティングデバイスとに関連付けられた異常を推測することができる。
異常についての情報は、コンピュータネットワークの性能を向上させるために、さまざまな異なるやり方で使用され得る。たとえば、マスターサーバは、異常のタイプ、重症度、位置などについての自動通知を発行してもよい。ユーザ、ルータ、およびサーバを含む、この通知の受信者は、異常についてのこの情報を使用して、トラフィックを適切にルーティングすること、たとえば、輻輳を減少させること、接続性問題の影響を受けたエリアを避けること、負荷を分散させること、待ち時間を減少させることなどができる。たとえば、ドメイン名システム(domain name system:DNS)サーバが異常通知を受信した場合、DNSサーバは異常に基づいてDNS要求に応答してもよい。同様に、異常が第1のインターネット・サービス・プロバイダ(Internet Service Provider:ISP)に影響を与えるものの、第2のISPには影響を与えないことを異常通知が示す場合、ルータが、異常を避けるために、第2のISPを介してトラフィックをルーティングしてもよい。
以下により詳細に説明される前述の概念および追加の概念のすべての組合せが(そのような概念が互いに矛盾しない場合)ここに開示されるこの発明の主題の一部として考えられる、ということが理解されるべきである。特に、この開示の最後に現われる、請求される主題のすべての組合せは、ここに開示されるこの発明の主題の一部として考えられる。引用により援用される任意の開示にも現われ得る、ここに明示的に採用された用語は、ここに開示される特定の概念と最も一致する意味を与えられるべきである、ということも理解されるべきである。
図面の簡単な説明
当業者であれば、図面は主として例示を目的とするものであり、ここに説明されるこの発明の主題の範囲を限定するよう意図されてはいない、ということを理解するであろう。図面は必ずしも縮尺通りではなく、場合によっては、ここに開示されるこの発明の主題のさまざまな局面は、異なる特徴の理解を容易にするために、図面において誇張または拡大して示される場合がある。図面では、同じ参照符号は概して、同じ特徴(たとえば、機能的に同様の、および/または構造上同様の要素)を指す。
マスターサーバと、ルーティングデバイスと、トレースルートコレクタデバイスと、ターゲットコンピューティングデバイスとを含む、パフォーマンス警告システムの一例を示す図である。 ハードウェアモジュールとソフトウェアモジュールとを含むマスターサーバの一例のブロック図である。 ハードウェアモジュールとソフトウェアモジュールとを含むトレースルートコレクタデバイスの一例のブロック図である。 TTLをインクリメントすることによって(図1上に暗い矢印で示された)特定のトレースルートを判断するためのプロセスを示す図である。 ターゲットコンピューティングデバイスに対してコレクタによって取得されたトレースルートデータの一例を示す図である。 データ平滑化または正規化プロセスの一例を示す図である。 データ平滑化または正規化プロセスの一例を示す図である。 データ平滑化または正規化プロセスの一例を示す図である。 新しいトレースルートデータと、最近のトレースルートデータの集合と、ベースライントレースルートデータの集合とを含む、トレースルートデータ置換ポリシーを示す図である。 新しいトレースルートデータと、最近のトレースルートデータの集合と、ベースライントレースルートデータの集合とを含む、トレースルートデータ置換ポリシーを示す図である。 新しいトレースルートデータと、最近のトレースルートデータの集合と、ベースライントレースルートデータの集合とを含む、トレースルートデータ置換ポリシーを示す図である。 ターゲットコンピューティングデバイスと、コレクタと、ルーティングデバイスとを含む、グローバルに分散されたシステムのサブセットを示す図である。 本発明の一実施形態に従った、コンピュータネットワークにおけるパフォーマンス異常の検出のための方法を示す図である。 本発明の追加の一実施形態に従った、コンピュータネットワークにおける異常を検出するための方法を示す図である。 本発明のさらに別の実施形態に従った、複数のコレクタを含むコンピュータネットワークにおけるパフォーマンス異常を検出するための方法を示す図である。 1組の3つの別個の(しかし地理的に近い)トレースルートコレクタから、イラクのスコープスカイ・コミュニケーション・アンド・インターネット社(ScopeSky Communication and Internet Ltd)(AS50597)によって制御されるIPアドレスのグループまで測定されるような、往復待ち時間のプロットである。 1組の3つの同様のコレクタから、中国のパックネット(Pacnet)によって制御される特定のネットワークプレフィックス(222.126.128.0/23)におけるIPアドレスまで測定されるような、往復待ち時間のプロットである。 1組の3つの同様のコレクタから、南アフリカのテネット(TENET)(AS2018)によって制御されるアドレスまで測定されるような、往復待ち時間のプロットである。 1組の3つの同様のコレクタから、ルーマニアのブカレストのRCS&RDSによって制御される特定のネットワークプレフィックス(213.154.100.0/23)におけるIPアドレスまで測定されるような、往復待ち時間のプロットである。 警告システムによって生成された警告メッセージ内に含まれるコンテンツの一例を示す図である。
本技術の特徴および利点は、以下に述べる詳細な説明を図面とともに解釈すれば、より明らかになるであろう。
詳細な説明
以下は、情報伝送パフォーマンス警告をローカルおよびグローバルなスケールで生成するためのこの発明のシステム、方法、および装置に関する、ならびにそれらの実施形態の、さまざまな概念のより詳細な説明である。開示される概念はどの特定の態様の実現化例にも限定されないため、上に紹介された、および以下により詳細に説明されるさまざまな概念は、多くのやり方のうちのいずれでも実現され得る、ということが理解されるべきである。具体的な実現化例および用途の例は、主として例示を目的として提供される。
はじめに
インターネットパフォーマンスの1つの尺度は、インターネット上の2つの地点間でパケットを伝送することに関連付けられた時間遅延、すなわち待ち時間である。総待ち時間は、パケットがその送信元と宛先との間を伝搬するのにかかる時間に依存する。待ち時間は、2つの地点を隔てる物理的距離と光速との積によって与えられる下限を有する。実際には、総待ち時間は、パケットが光ファイバーなどに沿って2つの地点間を伝搬するのにかかる時間に依存する。総待ち時間はまた、ルータ、スイッチ、およびブリッジといった中間デバイスが、パケットをその送信元と宛先との間でルーティングするのにかかる時間にも依存する。場合によっては、特定の1対の地点間には多くの経路があるかもしれず、各経路は異なる待ち時間を有するかもしれない。各経路についての待ち時間はまた、トラフィック輻輳、機器故障などによって変動するかもしれない。ある場合には、これらの変動は、インターネット使用時の周期的変動(たとえば、夜のストリーミングビデオに関連付けられた日内変動)によって生じるかもしれない。他の場合には、これらの変動は、機器故障などによって生じる、インターネットトラフィックパターンにおける異常なまたは不規則なずれを表わすかもしれない。
インターネットトラフィックにおける変動は、グローバルに分散されたコレクタのネットワーク、すなわち、略してコレクタネットワークにおける各コレクタからの待ち時間を測定するためにトレースルートユーティリティを使用して識別され、追跡され得る。当業者によって理解され、以下により詳細に説明されるように、トレースルートとは、インターネットを通る、送信元コンピュータ(たとえばコレクタ)と特定された宛先コンピュータとの間のルートを記録するユーティリティである。トレースルートデータは、宛先へのルートに沿ったルータおよび他のデバイスのアドレス双方と、宛先へのルートに沿った各ホップに関連付けられた待ち時間とを含む。
グローバルに分散されたコレクタのネットワークは、インターネットに接続されたネットワークおよびデバイスの少なくとも一部について、トレースルートデータを収集する。全体として、コレクタネットワークは、典型的な1日に、およそ2,000,000個の固有アドレスを監視する場合がある。コレクタネットワークは、高トラフィックのノードに位置するルータといったいくつかのデバイスについては、他のデバイスよりも頻繁にトレースルートデータを収集する場合がある。加えて、コレクタネットワークにおける異なるコレクタは、同じ宛先、異なる宛先、同じ宛先への異なるルート、および/またはいくつかのルートに共通のホップについて、トレースルートデータを収集する場合がある。
トレースルートデータは、ほぼ毎日1回収集されるインターネット上のいくつかの地点までの測定値と、毎秒何回も測定されるインターネット上の他の(より一般的には横断される)地点までの測定値とを含むデータのストリームとして考えられ得る。さらに説明すると、各トレースルートは、1組の[コレクタ、レスポンダ、待ち時間]タプルへ分解され得る。ホップW、X、Y、およびZから順調なホップ応答を引き出すコレクタAからのトレース(たとえば、A→W(10ms)→X(30ms)→Y(45ms)→Z(55ms))は、以下のようになる:
[A、W、10ms]
[A、X、30ms]
[A、Y、45ms]
[A、Z、55ms]
これらのタプルはトレース分解ステップから出現するため、それらはもはや、それらの内部に含まれる経路情報を有していない。さらに、異なる[コレクタ、レスポンダ]対が異なるレートでデータストリームに現われるかもしれない。なぜなら、一般的には横断されるルータ(W、X、およびYなど)は繰り返し観察/測定されがちである一方、終点(Z)はたまにしか(たとえば1日に1回しか)見られないかもしれないためである。各[コレクタ、レスポンダ]対は、それ自体の最近のサンプルキューおよびベースラインリザーバを有する。キューおよびリザーバのサイズは、対ごとに固有である観察頻度に基づいて調整され得る。
コレクタネットワークは、トレースルートデータから、インターネット上のIPアドレスの多くについて待ち時間データを計算し、当該待ち時間データをベースライン待ち時間データとして蓄積する(トレースルートデータは、場合によってはこのシステムによって無視され得る経路情報を含む)。このベースライン待ち時間データは、コレクタネットワークにおける各コレクタによって監視された各IPアドレスに関連付けられた待ち時間の分布、すなわち待ち時間状態を含んでいてもよい。コレクタネットワークはトレースルートデータを継続的に収集するため、それは、インターネット上のノードおよび接続部の数および配置の変化による待ち時間の変化も検出する。言い換えれば、トレースされているルートに沿った各ホップ応答は、トレースルートコレクタと、応答する特定のホップに関連付けられたノードとの間の新たな待ち時間測定値として処理され得る。その結果、コレクタネットワークによって収集された最も最近のトレースルートデータは、インターネットの現在の状態(または、より正確には、データが収集されたときのインターネットの状態)を表わす。コレクタネットワークが更新された最近のトレースルートデータを収集する際、それは、以前に収集されたトレースルートデータをベースライン待ち時間データに追加し、そのため、ベースライン待ち時間データは、インターネット接続の進展を時間とともに追跡する。その結果、ベースライン待ち時間状態は、地理的領域、ターゲットコンピューティングデバイス、相互接続された1組のルーティングデバイス、および/または1つ以上のターゲットコンピューティングデバイスに関するインターネットの正規/通常順序を記述することができる。
コレクタネットワークの一部である、またはコレクタネットワークに動作可能に結合された警告システムは、ベースライン待ち時間データとより最近に収集された待ち時間データとの類似性を計算する。たとえば、警告システムは、インターネット上の特定の1対の地点間のパケット伝送についての現在の待ち時間状態(離散的待ち時間値の最近測定された分布)を、同じ1対の地点間のベースライン待ち時間状態(離散的待ち時間値のベースライン分布)と比較してもよい。警告システムは、現在の待ち時間状態がインターネット異常を表わすかどうかを判断するために1つ以上の類似性メトリックを計算することによって、この比較を行なってもよい。警告システムはまた、影響を受けた地理的エリア、影響を受けていない代替トラフィックルート、および異常の分類を含むもののそれらに限定されない、異常に固有の情報を判断してもよい。
現在の待ち時間状態が異常であることを比較が示す場合、警告システムは、異常、影響を受けたルート、影響を受けていない代替ルート、異常のタイプなどを示すパフォーマンス警告を発行してもよい。パフォーマンス警告は、1組のコレクタ(1組の関連するIP/コレクタタプルとしても公知)から見られるような、特定の位置における特定のネットワークに属するIPアドレスのグループ上で異常を観察した後に生成され得る。これは、単一のネットワークノードの誤動作または単一のコレクタでのネットワークパフォーマンス問題による誤検出を防止するのに役立つ。警告がいったん生成されると、それは、影響を受けたネットワークまたは地理的エリアに関心を示した顧客へ、もしくは、詳細調査のためにアナリストへ送信されてもよい。
現在の待ち時間状態とベースライン待ち時間状態との適切な比較を保証するために、コレクタシステムは、同じ取得プロセス(または同じ組のプロセス)を使用して、待ち時間状態および根底的な離散的待ち時間値を収集し、判断してもよい。一貫した待ち時間収集および判断プロセスを使用することは、測定ノイズの変化による誤検出が比較に現われることを減少させ、または防止する。加えて、現在の待ち時間状態およびベースライン待ち時間状態における待ち時間値分布は、ダイナミクスを取込むのに十分大きいものの、異常なルーティング挙動による待ち時間の変化を呈するのに十分小さくなるように選択されてもよい。
コンピュータネットワークトラフィック異常を検出するためのシステム
図1は、インターネットなどのコンピュータネットワークにおけるパフォーマンス異常を検出するパフォーマンス警告システムの一例を示す。図1に示すパフォーマンス警告システムは、パフォーマンス警告サーバ110(マスターサーバ110としても公知)を含み、それは、パフォーマンス警告データベース112と、1つ以上のクライアント114と、トレースルートコレクタ120のネットワークとに結合される。明確にするために、図1はたった1つのパフォーマンス警告サーバ110およびデータベース112を示しているが、システム100は、同期された複数のマスターサーバ110およびデータベース112を含んでいてもよく、および/または使用してもよい。複数のマスターサーバ110が使用される場合、マスターサーバ110は、複数のデータベース112上に分散され得るデータを処理するために同期され得る。したがって、データベース112同士は同期可能であり、このため、有線および/または無線通信プロトコルおよび/または手法を使用して通信可能である。
トレースルートコレクタ120は、自律システム(Autonomous System;AS)130またはルーティングドメインに各々属する、それらのそれぞれのプロバイダのデータセンター内に存在する実在マシンまたは仮想マシンである。動作時、トレースルートコレクタ120は、それら自体のAS130内および他のAS130内のルータ140、ターゲットコンピューティングデバイス150、および境界ゲートウェイプロトコル(Border Gateway Protocol:BGP)ルータ160(境界ルータ160としても公知)へのルートに関連付けられた待ち時間を測定する。
AS130は、コンピューティングデバイス150の郵便番号と考えられ得る。すなわち、各AS130は、あるISPに基づくとともに範囲が必ずしも地理的ではない、インターネットの近隣区域(neighborhood)として描写され得る。各AS130内には、境界ゲートウェイプロトコル(BGP)ルータ160(境界ルータ160としても公知)と、AS130のルーティングポリシーを実現し、隣り合うAS130内のBGPルータ160への物理的接続を維持する他のルータ140とがある。出願時点では、グローバルなインターネット上のASの数は、51,000以上である。
より正式には、AS130は、単一の管理エンティティ(大学、企業、事業部など)のために共通ネットワークアドミニストレータ(またはアドミニストレータのグループ)によって制御される明確に定義された単一のルーティングポリシーを有する、IPネットワークの接続されたグループである。AS130における所与のIPネットワーク内のノードは同じネットワークプレフィックスを共有し、そのプレフィックス内の個々のIPアドレスをインターネット接続性のために採用する。たいていの自律システム130は、複数のネットワークプレフィックスを含む。AS130は、TCP/IPネットワークにおいてドメイン間ルーティングを行なうために使用される外部ゲートウェイプロトコル(exterior gateway protocol:EGP)であるBGPを使用して、他のAS130とルーティング情報を共有することができる。
ルーティング情報は、BGP更新を交換するために境界ルータ160からそのBGPピアのうちの1つへの接続を確立することによって、AS130内で、またはAS130間で共有され得る。当業者には理解されるように、境界ルータ160間でデータを交換するプロセスは、「ピアリング」と呼ばれる。ピアリングセッションでは、2つのネットワークが直接接続してデータを交換する。内部BGPピアリングセッションは、単一のAS130内で境界ルータ160同士を直接接続することを伴う。外部BGPピアリングセッションは、隣り合うAS130における境界ルータ160同士を互いに直接接続することを伴う。
トレースルートコレクタデバイス120は、(インターネットに接続された任意のデバイスであり得る)特定のターゲットへの道に沿って、ルータ140および境界ルータ160中のルートを探索し、トレースルートデータを伝送する。トレースルートコレクタデバイス120は、収集されたメッセージデータを、図1に示すような1つ以上のデータベース112にデータを格納またはアーカイブするマスターサーバ110へ転送することができる。マスターサーバ110はデータベース112からのトレースルートデータを処理して、処理されたデータにアクセスし、当該データを操作し、および/または他の態様で表示するためのツールをクライアント114に提供する。それは、ネットワーク経路を監視し、パフォーマンス異常を検出し、ネットワーク異常に基づいてルーティング決定を行なうために使用され得る。当該データは、クライアント114が複数の有利な地点(コレクタデバイス120)からネットワーク経路を監視することを可能にする。
データベース112はまた、グローバルなルーティング状態、ルーティングレジストリデータ、ドメイン名システム(DNS)データ、インターネットネットワークデータ、および/または、トレースルートデータに関するかまたは由来する他のデータといった、他のデータを含み得る。これらのデータは、観察された待ち時間異常を集約し、相関させ、クラスタ化するために、および、データを理解しようとする人間のオペレータまたはアナリストをサポートするために使用され得る。
マスターサーバおよびトレースルートコレクタデバイス
図2は、ユーザインターフェイス212に結合されたプロセッサ218と、通信インターフェイス219と、実行可能命令216を格納するメモリ214とを含むマスターサーバ110の一例のブロック図を示す。これらの実行可能命令216はアナリストエンジン217を規定し、それは、プロセッサ218によって実現される場合、インターネットトラフィックにおけるパフォーマンス異常を識別するためにトレースルートデータを分析する。
プロセッサ218は、ユーザおよび/またはシステムが生成した要求を実行するためのプログラムコンポーネントを実行するための1つ以上の高速データ処理ユニットを含み得る。これらの高速データ処理ユニットは、集積システム(バス)コントローラ、メモリ管理制御ユニット、浮動小数点ユニット、さらには、グラフィック処理ユニット、デジタル信号処理ユニットなどのような特殊処理サブユニットなどを含むもののそれらに限定されない、さまざまな特殊処理ユニットを取り入れることが多い。加えて、プロセッサ218は、内部高速アクセスアドレス指定可能メモリを含んでいてもよく、プロセッサ自体を越えてメモリをマッピングし、アドレス指定することが可能であってもよい。内部メモリは、高速レジスタ、さまざまなレベルのキャッシュメモリ(たとえば、レベル1、2、3など)、RAM、ROMなどを含んでいてもよいが、それらに限定されない。プロセッサ218は、命令アドレスを介してアクセス可能なメモリアドレス空間の使用を通して、メモリ214および実行可能命令216にアクセスしてもよく、その命令アドレスをプロセッサ218は構築し復号することができ、それが、メモリ状態および/または実行可能命令を有する特定のメモリアドレス空間への回路経路にアクセスすることを可能にする。
通信インターフェイス219は、入出力(I/O)インターフェイス、ストレージインターフェイス、ネットワークインターフェイスなどを含むもののそれらに限定されない、従来(必ずというわけではないが)アダプタカードの形をした多くのインターフェイスアダプタを受入れ、接続し、および/または当該インターフェイスアダプタに通信する。たとえば、通信インターフェイス219に含まれるネットワークインターフェイスは、図3のトレースルートコレクタデバイス120との間で情報を送受信するために利用され得る。
ユーザインターフェイスディスプレイ212は、ビデオインターフェイスからの信号を受入れるインターフェイス(たとえば、DVI回路およびケーブル)を有する、陰極線管(Cathode Ray Tube:CRT)または液晶ディスプレイ(Liquid Crystal Display:LCD)ベースのモニタを含み得る。これに代えて、ユーザインターフェイスディスプレイ212は、タッチスクリーンおよび/または他のコンテンツ表示デバイスを含み得る。ビデオインターフェイスは、メモリ214に格納されプロセッサ218によって実行される実行可能命令216によって生成された情報を合成する。実行可能命令217は、1つ以上のトレースルートコレクタデバイス120から取得されたデータを処理し分析する1組の命令を有するアナリストエンジンモジュール217を含む。ユーザインターフェイスディスプレイ212は、アップルOS、Windows(登録商標)OS、Linux(登録商標)、Unix(登録商標)ベースのOSなどといったオペレーティングシステムおよび/または動作環境によって、当該オペレーティングシステムおよび/または動作環境を用いて、ならびに/もしくは、当該オペレーティングシステムおよび/または動作環境上に提供されるような、従来のグラフィックユーザインターフェイスを含んでいてもよい。ユーザインターフェイスディスプレイ212は、テキスト機能および/またはグラフィック機能を通した、プログラムコンポーネントおよび/またはシステム機能の表示、実行、対話、操作、および/または動作を可能にしてもよい。ユーザインターフェイスディスプレイ212は、ユーザがコンピュータシステムに影響を与え、コンピュータシステムと対話し、および/またはコンピュータシステムを動作させ得る機能を提供する。ユーザインターフェイスディスプレイ212は、それ自体を含むコンポーネントの集合における他のコンポーネント、および/または機能などと通信してもよい。ユーザインターフェイスディスプレイ212は、プログラムコンポーネント、システム、ユーザ、および/またはデータ通信、要求、および/または応答を含み、通信し、生成し、取得し、および/または提供してもよい。
図3は、ハードウェアモジュールとソフトウェアモジュールとを含むトレースルートコレクタデバイス120の一例のブロック図を示す。トレースルートコレクタデバイス120は、前述の通信インターフェイス219の特性と同様の特性を有する通信インターフェイス322を含む。プロセッサ324も、前述のプロセッサ218の特性に類似した特性を有し得る。メモリ326は、実行可能命令328と、1つ以上のターゲットコンピューティングデバイス(たとえば、図1のターゲットコンピューティングデバイス150a、150b、および150c)からトレースルートデータを収集する命令を有するトレース探索モジュール329とを含む。
トレースルートデータおよびデータ収集
図1および図4は、トレースルートデータシステムの動作原理を示す。トレースルートを行なうために、トレースルートコレクタ120aは、インターネット・コントロール・メッセージ・プロトコル(Internet Control Message Protocol:ICMP)を使用して、第1のパケットを宛先コンピュータ(150a)へ送信する。トレースルートコレクタ120aはまた、第1のパケットについてのホップリミット値を特定する。それは、「有効時間」(time to live:TTL)として公知であり、1に等しい。第1のルータ140aが第1のパケットを受信すると、それはTTLを(1から0へ)デクリメントする。TTL=0のパケットを処理すると、第1のルータは、宛先コンピュータ150aへの経路に沿った次のルータへ第1のパケットを転送する代わりに、「超過時間」メッセージ401aをトレースルートコレクタ120aへ返す。これにより、トレースルートコレクタ120aは、ターゲットコンピュータ150aへの経路上の第1のルータ140aへのホップに関連付けられた待ち時間を判断することができる。トレースルートコレクタ120aは次に、TTL=2の第2のパケットをターゲットコンピュータ150aへ送信する。第2のルータ160aは別の超過時間メッセージを返す、などとなっている。(TTL=3からTTL=7を含む)その後のパケットは、ルータ160b、160c、140b、160d、および160eから超過時間メッセージを引き出す。宛先コンピュータ150aがTTL=8の最終パケットを受信すると、それは「エコー返答」メッセージ402をトレースルートコレクタ120aへ返し、トレースルートコレクタ120aが最終ホップの待ち時間を測定することを可能にする。
トレースルートコレクタデバイス120aは、それがパケットを送信するたびにTTLを増加させ、中間ルータからの「超過TTL」応答401a、401b、401cなどを監視することによって、宛先コンピュータ150aへの経路上の連続ホップを発見する。収集された「超過TTL」応答および「ICMPエコー返答」402の順序およびタイミングは、ターゲットデバイス150aに向かう途中でICMPパケットによって横断されるルータのリストを構築するために、トレースルートコレクタデバイス120aによって使用される。経路に沿った各ホップは、応答(超過TTLまたはエコー返答)の到着時間からICMPエコー要求の送信時間を減算することによって計算された往復待ち時間を有する。
図5Aは、図1のトレースルートコレクタ120によって取得されたトレースルートデータの一例を示す。図5Aのトレースルートデータは、データパケットが、センサまたはトレースルートコレクタデバイスからターゲットコンピューティングデバイスまで通る経路を示す。トレースルートデータは、トレースルートコレクタデバイス120についての識別子および/またはIPアドレス501を含む、トレースルートにおける各デバイスについての識別子を含む。502aおよび502bに含まれるIPアドレスは、グローバルまたはローカルなコンピュータネットワークの一部であるルータを表わし得る。トレースルートデータはまた、トレースルートコレクタデバイス501がルータ502aおよび502bから応答を取得するのにそれぞれかかった、往復時間を表わす時間503aおよび503bを含む。同様に、時間503cは、トレースルートコレクタデバイス120が、識別子504によって識別されたターゲットコンピューティングデバイスからICMPエコー返答を取得するのにかかった時間を表わす。
場合によっては、1つ以上のトレースルートコレクタデバイスによって取得されたトレースルートデータは、以下に示すようなデータ構造の、中間の人間可読フォーマットを生成するために、マスターサーバ110によって処理され得る。
データ構造tr_base_fieldsは、現在の内部データフォーマット(たとえば、TlまたはT5)を表わすデータバージョンdcvフィールドと、トレースルートが開始した時間を特定するtsフィールドと、たとえばインターネット・コントロール・メッセージ・プロトコル(ICMP)、ユーザ・データグラム・プロトコル(User Datagram Protocol:HDP)、伝送制御プロトコル(Transmission Control Protocol:TCP)、および同様のプロトコルといった1つ以上のインターネットプロトコルを特定するprotocolフィールドと、トレースルートデータの伝送に関連付けられたポート番号または識別子を特定するportフィールドと、トレースルートコレクタデバイスのIPアドレスを特定するcollector_ipフィールドと、コレクタデバイスの外部IPアドレスを特定するcollector_external_ipフィールドと、コレクタデバイス名を特定するcollector_nameと、ターゲットデバイスのIPアドレスを特定するtarget_ipフィールドと、たとえば成功、ループ、到達不能、またはギャップといった停止原因を特定するhalt_reasonフィールドと、トレースルートデータ伝送中に記録されたホップを表わすhoprecordsリストとを含み得る。
hoprecordsリストは、1つ以上の要素を有し得る。各要素は、トレースルートコレクタおよびターゲットデバイスからのトレースルートにおけるターゲットデバイスまたはタイプルーティングデバイスを表わす。ルーティングデバイスは、IPネットワーク間のデータトラフィックを調整するゲートウェイルータであり得る。加えて、ルーティングデバイスは、パケットがどのようにターゲットデバイスに到達できるかを指示する静的または動的な1組のルールを有するIPネットワーク内のあるインターフェイスから別のインターフェイスへデータパケットを向けることができる。hoprecordsリストの要素を表わすデータ構造は、以下のように提供される。
データ構造exは、ルーティングデバイスまたはターゲットデバイスを表わすIPアドレスh.ipと、トレースルートコレクタデバイス(たとえば、図4の120c)によって送信されたトレースルート伝送に応答して、受容器デバイスからの受領確認伝送(たとえば、図4の401a〜401cおよび402)を受信するためにかかる時間を表わす往復遅延時間h.rttと、伝送失敗とみなされる前にトレースルート伝送パケットが通り得るホップの制限を特定する有効時間(TTL)距離h.distと、伝送失敗とみなされる前にトレースルート伝送への受領確認が通り得る多くのホップを特定するTTL距離h.replyttlと、私的および/または公的ネットワーク内で通るルートを事前に判断するためにたとえばラベル交換経路を特定する1つ以上のマルチプロトコル・ラベル・スイッチング(Multiprotocol Label Switching:MPLS)タグmpls_tagsとを含み得る。
tr_base_fieldsおよびexデータ構造において示されるように編成された、収集されたトレースルートデータの一例を、以下に提供する。
図5B〜5Dは、待ち時間値を含むトレースルートデータを図5Aに示すデータとして分布させることに適用され得るデータ平滑化または正規化プロセスの一例を示す。いくつかの実現化例では、マスターサーバ110は、1つ以上のコレクタによって受信されたトレースルートデータを、処理されるように準備することができる。データの準備は、トレースルートデータ内のノイズと考えられる外れ値および/または他の値の却下を含み得る。たとえば、ある百分位数(たとえば、10番目、15番目、20番目、または第25番目の百分位数)より上および/または下の待ち時間データが、分布から省略され得る。加えて、マスターサーバ110は、トレースルートデータから取得された離散的待ち時間値の分布(図5C)から、カーネル密度グラフ(図5B)を導き出すことができる。カーネル密度グラフは、たとえばσのカーネル幅でガウス合計手法(sum-of-Gaussians technique)を適用することによって、マスターサーバによって受信された各分布について推定され得る。その後、マスターサーバ110は、たとえば母集団サイズごとに1つ以上のカーネル分布推定値の高さを測定することによって、または、カーネル分布推定値から新たな分布を再度サンプリングすることによって、各分布を共有ベースで、等しい母集団サイズで計算することができる。カーネルの帯域幅は、ケースバイケースで構成され得る自由なパラメータである。同様に、サブ間隔、ビン、またはバケットは、それに応じて構成され得るある範囲のデータをカバーする自由なパラメータである、図5Dは、図の背景に示された柱状図上の離散的データに対応する、重複されたカーネル密度推定値を示す。
ベースライン待ち時間状態の蓄積および更新
図6A〜6Cは、新しいトレースルートデータ、最近のトレースルートデータ、およびベースライントレースルートデータに基づいて、待ち時間状態を取得し、蓄積し、更新するためのトレースルートデータ置換ポリシーを示す。マスターサーバ110は、1つ以上のトレースルートコレクタデバイス120によって収集されたトレースルート記録を含むデータストリームを受信する。トレースルート記録の各々は、所与のトレースルートコレクタデバイス120とコンピュータネットワークにおける別のノードとの間の1つ以上のホップを表わす。上に示されたように、各ホップ記録は、ホップの往復時間(待ち時間)を含む。各ホップ記録はまた、hop_recordデータ構造において示されたようなタイムスタンプ、ホップ距離、および返答TTLを含んでいてもよい。
マスターサーバ101は、tr_base_fieldsデータ構造におけるタイムスタンプtsに基づいて、データストリームにおけるトレースルート記録をソートする。それはまた、タイムスタンプでソートされたトレースルート記録のホップ記録を、1組の時間順データサブストリームへと分解し、各サブストリーム604は、単一のコレクタと単一の受容器IPアドレスとの間にサンプルを含む。これらのサンプルは、tr_base_fieldsデータ構造において記述されたコレクタと、測定値の各hop_recordのh.ipフィールドにおける受容器IPアドレスとに基づいて、サブストリーム604へ向けられる。
サンプルは、図6Aに示されるような最近のサンプルキュー(Recent Sample Queue:RSQ)601におけるメモリ114に一時的に保持され得る。マスターサーバ110のいくつかの場合では、受信されたサンプルは、RSQ601の末尾に押し付けられ得る。RSQ601は、予め構成された保持能力を含み得る。図6Bは、RSQ601の保持能力が消耗した場合はいつでも、マスターサーバ110は最も古いサンプルをRSQ601の先頭からベースラインリザーバ(baseline reservoir:BR)602内へ移動させることができる、ということを示す。
所望すれば、RSQ601の保持能力は調整され得る。一般に、より小さいRSQ保持能力は、システムがより迅速に異常に応答することを可能にするものの、システムを誤検出により敏感にする傾向がある。場合によっては、各[コレクタ、レスポンダ]対は、コレクタがレスポンダからサンプルを受信する観察された頻度に基づいたRSQ保持能力を有する。(たとえば、レスポンダがインターネットの難所にあるルータであるために)コレクタがレスポンダからサンプルを頻繁に受信する場合、システムは、比較的短時間の間、受信されたサンプルを保持するように、RSQ保持能力を設定してもよい。また、それは、受信されたサンプルの一部(たとえば、10番目ごとのサンプル)のみを保持してもよい。そして、それは、より多い数のサンプルを保持してもよい。しかし、(たとえば、レスポンダがインターネットの行き止まりにあるクライアントデバイスであるために)コレクタがレスポンダからサンプルを比較的たまにしか受信しない場合、システムは、比較的長時間の間、受信されたサンプルを保持するように、および/または、RSQ601において全体でより少数のサンプルを保持するように、RSQ保持能力を設定してもよい。たとえば、10個未満のサンプルを保持するRSQ601は、ほんの数個の逸脱したサンプルで多くの誤検出を生成するおそれがあり、一方、200個を上回るサンプルを保持するRSQ601は、最も頻繁に観察される[コレクタ、レスポンダ]対のみを除き、ゆっくり反応するかもしれない。
RSQ601の保持能力と同様に、BR602の保持能力は、予め定められた数のサンプルを保持するように予め構成され得る。RSQ保持能力が調整され得るのと同様に、BR保持能力は、コレクタがレスポンダからサンプルを受信する観察された頻度に基づいて、各[コレクタ、レスポンダ]対について設定されてもよい。典型的には、BR602は、対応するRSQ601のおよそ5〜10倍のサンプルを保持すべきである。
図6Cに示すように、BR602がその保持能力にいったん到達すると、1個以上のサンプル603をBR602から除去し、それらを、1つ以上の置換ポリシー、たとえばターンテーブル置換ポリシーなどに従って、RSQ601から得られたサンプルと置換することにより、対応する数のサンプルをBR602に追加することができる。
場合によっては、立退きポリシーとしても公知である置換ポリシーが、永続的な立退きのためにサンプルをBR602からランダムに選択することを特定できる。そのような場合、各サンプルは、同じ立退き確率を有していてもよい。さらに、各サンプルは、関数[1−(l/s)]によって定義されたBR602同等物にとどまる確率を有していてもよく、式中、sは、BR602に保持されたサンプルの数であり、mは、BR602に配置された追加のサンプルの数である。
マスターサーバ110は、BR602に格納された離散的待ち時間値に基づいて、2つ以上のデバイス間の情報の伝送に関連付けられた伝送ベースライン待ち時間状態を判断することができる。ベースライン待ち時間状態は、BR602に保持されたサンプルに対して、たとえば離散的待ち時間値の代表値および/または分布の分散度といった1つ以上の記述統計を計算することによって、判断され得る。同様に、マスターサーバ110は、RSQ601に格納された離散的待ち時間値に基づいて、2つ以上のデバイス間の情報の伝送に関連付けられた現在の待ち時間状態を判断することができる。現在の待ち時間状態も同様に、RSQ601に保持されたサンプルに対して、代表値および/または分散度を含むもののそれらに限定されない1つ以上の記述統計を計算することによって、判断され得る。
場合によっては、BR602およびRSQ601に含まれる分布は、マスターサーバ110によって実行される1つ以上のサンプリングポリシーおよび/または正規化ポリシーに従い得る。たとえば、マスターサーバ110は、待ち時間値分布から推測を引き出す際に、あるしきい値より下または上のサンプルを考慮に入れるべきでないと特定することによって、外れ値サンプルを省略するポリシーを適用してもよい。加えて、BR602およびRSQ601における分布は、任意の統計的分析および/またはテストを行なう前に、任意の好適な動作によって平滑化および/または正規化され得る。好適な平滑化動作は、各分布についてカーネル密度を判断すること、分布の各々を共有ベースで、等しい母集団サイズで計算することなどを含むものの、それらに限定されない。
マスターサーバ110は、ベースライン待ち時間状態と現在の待ち時間状態との差異を分析することによって、1つ以上の情報伝送異常を識別することができる(以下に説明される図11A〜11Dは、ベースラインリザーバおよび現在の待ち時間状態の双方からのサンプルを表示する)。そのような分析は、たとえば、対数尤度分析、ピアソンのカイ二乗検定、および同様の離散的な比較分析といった、ベース待ち時間状態および現在の待ち時間状態が同じ母集団から引き出された可能性を判断するための離散的な比較を含み得る。他の場合では、分析は、たとえば、2つの分布中の2つ以上の差異に敏感であるコルモゴロフ−スミルノフ分析および同様の統計的分析に基づいた連続的な比較を含み得る。
図7は、ターゲットコンピューティングデバイス150aおよび150yと、トレースルートコレクタ120a〜120cと、AS境界ルーティングデバイス160a〜160fと、内部ルータ140a〜140cとを含む、図1に示すデバイスのサブセットを示す。それは、マスターサーバ110が2つ以上のデバイス間で判断された異常に基づいてどのように代替情報伝送ルートを判断できるかを示す。たとえば、コンピュータデバイス150yは、ターゲットデバイス150aへ情報を伝送するための経路を2つ有する。第1の経路は、境界ルータ160cと、内部ルータ140bとを含む。第2の経路は、内部ルータ140cと、境界ルータ160fとを含む。双方の経路は、境界ルータ160a、160b、および160dを含む。コレクタデバイス/ネットワークセンサ120はマスターサーバ110に接続されて、予め構成された間隔でトレースルートデータをマスターサーバ110へ送信することができる。
マスターサーバ110は、コレクタデバイス120aによって提供されるトレースルートデータに基づいて、異なる予想を推測することができる。たとえば、第1の経路140a−160a−160b−160c−140b−160d−160eを通る、ターゲットデバイス150aへのトレースルートデータの伝送については、コレクタデバイス120aから受信されたデータに対して、異常を識別する予想が前述のように判断され得る。並行して、マスターサーバ110は、第2の経路140a−160a−160b−140c−160f−160d−160eを通る、ターゲットデバイス150aへのトレースルートデータの伝送については、コレクタデバイス120bから受信されたデータに対して、異常はないと判断することができる。そのような場合、マスターサーバ110は、異常について、および、異常に機能していない第2の経路(すなわち、140a−160a−160b−140c−160f−160d−160e)を介して情報をターゲットデバイス150aへ伝送する可能性について、デバイス150xに警告することができる。場合によっては、たとえば追加の伝送情報の検討、第1の経路がうまくいかない際の第1および第2の経路の待ち時間の比較、第1の経路への伝送が経路内のある地点で到達不能であるとみなされたかどうかについての判断、および同様の条件の後で、代替経路が推薦される。
場合によっては、マスターサーバ110は、トレースルートデータに基づいて、異常を特定のリンクおよび/または地理的エリアまで絞り込むことができる。たとえば、第1の経路で異常が識別されたという条件で、第3の経路160c−160b−160a−140a−150yを通るコレクタデバイス120cとターゲットデバイス150yとの間で検出される異常がない場合、マスターサーバ110は、異常が、影響を受けたルートから160a―160bおよび160d−160eを接続するリンクを除く、部分経路160c−140b−160dのどこかに存在すると推測することができる。この予想は、部分的に重複する経路を通して他のコレクタデバイスから受信されたトレースルートデータを分析することによって、再確認され、無視され、ならびに/もしくは、特定のリンクまたは地理的エリアまでさらに絞り込まれ得る。デバイス120から引き出された推測が矛盾しているかまたは合わない場合、マスターサーバ110は、トレースルートデータコレクタデバイス120によって受信されたデータにコヒーレンス値を割り当てることによって、推測を調和させてもよい。場合によっては、コヒーレンス値は、コレクタの各々に対応する信頼性重みの関数、および/または他の信頼性尺度であり得る。
パフォーマンス異常の検出
図8は、インターネットなどのコンピュータネットワークにおけるパフォーマンス異常を検出するための方法800を示す。ステップ801で、プロセッサ(たとえばマスターサーバ110)は、コンピュータネットワーク上のコンピュータまたはルータなどのターゲットデバイスと、コンピュータネットワークにおける、またはコンピュータネットワークに結合された1つ以上のコレクタ(たとえばコレクタ120a)との間の伝送待ち時間を表わす、トレースルートデータまたはpingデータなどの待ち時間データを受信する。待ち時間データは、tr_base_fieldsデータ構造に関して上述されたフィールドを含むように各々編成され得る1つ以上のトレースルートデータパケットからの測定値を含み得る。たとえば、フィールドは、コンピュータネットワーク内の異なる宛先(ノード)への1つのホップまたは多くのホップに関連付けられた待ち時間を示してもよい。上述のように、別のターゲットに向かう途中で各ホップに遭遇するかもしれない。
待ち時間データはまた、所与のIPアドレスを直接ターゲットとし得る1つ以上のpingパケット(またはping)によって引き出された待ち時間測定値を含み得る。各pingパケットは、コンピュータネットワーク内の個々のコレクタと特定のターゲット宛先との間で収集される。各pingパケットは、ある瞬間に、コレクタと宛先との間の単一の往復時間(待ち時間)を測定する。
ステップ802で、待ち時間データは時間順ストリームへと編成されるかまたは配置され、各ストリームは、単一のコレクタと単一のターゲットデバイスとの間で観察されたサンプルのみを表わす。トレースルートデータの場合、これらのストリームは、トレースルート測定値を順序付け、分解することによって取得される。トレースルート測定値の各ホップ記録は、トレースルートを発生させたコレクタとホップIPアドレスとの間の新たな往復時間(待ち時間)測定値として理解され得る。pingデータの場合、これらのストリームは、コレクタとターゲットとの間の別個のping測定値を順序付け、照合するだけで取得される。
場合によっては、プロセッサは、コンピュータネットワーク内のターゲットデバイスの位置と、ターゲットデバイスへの、ターゲットデバイスからの、またはターゲットデバイスを通過するトラフィックの量とに基づいて、待ち時間収集パラメータを調節してもよい(804)。たとえば、プロセッサは、待ち時間データをバッファ(図6の最近のサンプルキュー601)に格納する前に、収集レートを減少させる(804a)か、または待ち時間データを間引いてもよい(804c)。たとえば、プロセッサは、待ち時間における高周波変動をフィルタリングするために、および、バッファが現在の待ち時間状態およびベースライン待ち時間状態の意味のある推定を行なうのに十分な待ち時間データを保持することを保証するために、頻繁に通過されるルータとの行き来に関連付けられた待ち時間データを間引いてもよい。プロセッサはまた、待ち時間データを保持するために使用されるバッファ(最近のサンプルキュー601およびベースラインリザーバ602)のサイズを調節してもよい。典型的なターゲットについては、最近のサンプルキューは25個のサンプルを保持し、ベースラインリザーバは175個のサンプルを保持する。これらの数は、ターゲットへの待ち時間がコレクタによって測定される頻度に依存して増減してもよい(なお、ステップ804は、図8に示すプロセスフロー内の異なる地点で行なわれ得る)。
プロセッサは、到着する待ち時間データを最近のサンプルキューに格納する(806)。プロセッサはまた、より古い待ち時間データを最近のサンプルキューからベースラインリザーバへ移動させる(808)。たとえば、プロセッサは、測定間隔ごとに、ベースラインリザーバにおける最も古い待ち時間サンプルを、最近のサンプルキューからの最も古い待ち時間サンプルと置換してもよい。これに代えて、プロセッサは、測定間隔ごとに1回、ベースラインリザーバにおけるランダムな待ち時間サンプルを、最近のサンプルキューからの待ち時間サンプルと置換してもよい。
プロセッサは、ベースラインリザーバにおける待ち時間サンプルからベースライン待ち時間状態を推定し(810)、最近のサンプルキューにおける待ち時間サンプルから現在の待ち時間状態を推定する(812)。それは、現在の待ち時間状態とベースライン待ち時間状態とを比較し(814)、比較が異常なネットワーク挙動を示す場合、異常の存在を識別する(816)。プロセッサはまた、たとえば経路変更、輻輳、接続性故障など、ならびに、ネットワークおよび/または特定の地理的エリア内のその位置といった、異常のタイプを識別しようとしてもよい(818)。たとえば、プロセッサは、異常に関連付けられた、および/または異常によって影響を受けた、1つ以上のIPアドレス、地理的領域、もしくは、IPアドレスおよび地理的領域の双方を識別してもよい。
プロセッサは、現在の待ち時間状態およびベースライン待ち時間状態を推定し、任意の好適な比較手法を使用して比較してもよい。たとえば、プロセッサは、現在の待ち時間分布およびベースライン待ち時間分布を生成して正規化し、次に、正規化された分布同士を比較して、現在の待ち時間パフォーマンスがこれまでの待ち時間パフォーマンスに対して異常である確率を判断してもよい。プロセッサはまた、たとえば離散的待ち時間値の代表値および/または分布の分散度を含む1つ以上の記述統計805を計算してもよい。その後、マスターサーバ110は、現在の待ち時間値と予期される待ち時間値とのずれがネットワークパフォーマンス異常807に対応する確率を示す値を計算することができる。ずれが統計的に有意である場合、それは異常の徴候かもしれない。実際には、p≦0.00001が、単一のコレクタ/レスポンダ対が異常であると考えるのに十分である。これらのコレクタ/レスポンダ対は、混乱に遭遇しているネットワークまたは地理を見つけるためにクラスタ化され得る。
プロセッサはまた、異常のタイプ、影響を受けたエリアのIPアドレス、影響を受けた地理的位置、およびタイミング;以前に判断された応答ポリシー;ユーザからの命令などに基づいて、異常に応答してもよい(820)。たとえば、プロセッサは、異常警告を、異常のタイプ、位置、およびタイミングについての情報とともに、1人以上のユーザまたは他のデバイスに自動的に送信してもよい(820a)。これらのデバイスは、DNSサーバ、ルータ、負荷分散装置、ネットワーク最適化機器、および構成管理システムを含むものの、それらに限定されない。
たとえば、プロセッサは、コンピュータネットワークにおいて異常が存在するかどうかに部分的に依存してDNSクエリを解決するDNSサーバへ異常警告を送信してもよい。当業者には容易に理解されるように、DNSサーバとは、ドメイン名を、コンピュータネットワークを通してパケットをルーティングするために使用され得るIPアドレスへ変換するサーバである。DNSサーバは、権威あるDNSサーバ、キャッシングDNSサーバ、および転送DNSサーバを含む、さまざまなタイプで提供される。異常がない状況下では、DNSサーバは第1の予め定められたポリシーに従ってDNSクエリを解決してもよく、当該ポリシーは、たとえば所望の待ち時間を達成し、負荷を分散し、コストを減少させ、特定のインターネット・サービス・プロバイダ(ISP)を介したトラフィックのルーティングを避けるかまたは好むように設定されてもよい。DNSサーバは、プロセッサからの異常警告に応答して、DNSクエリに答えるための別の予め定められたポリシーに切り替えてもよい。場合によっては、DNSサーバは、異常の異なるタイプ、位置、および重症度について、異なるポリシーを有していてもよい。各ポリシーは、異常に応答して予め定められ、または設定され、または修正されてもよい。
別の表現で言うと、異常が、第1の予め定められたポリシーに従って特定のドメイン名についてのDNSクエリを解決するDNSサーバの能力に影響を与える場合、DNSサーバは、その特定のドメイン名についてのクエリを違ったやり方で扱う第2の予め定められたポリシーに切り替えてもよい。たとえば、DNSサーバが第1の予め定められたポリシーの下で所与のクエリに応答してトラフィックを第1のIPアドレスへ導き、異常がそのIPアドレスとの間のインターネットトラフィックに影響を与える場合、DNSサーバは、第2の予め定められたポリシーの下で同じクエリに応答してトラフィックを第2のIPアドレスへ導いてもよい。同様に、DNSサーバは、宛先の地理的位置、DNSクエリ送信元、および異常の影響を受けたエリアに基づいて、ならびに、対応するIPアドレス間でルーティングされるトラフィックに関連付けられた待ち時間に基づいて、トラフィックを導いてもよい。
プロセッサはまた、異常を勘案するルーティングポリシーを実施する(たとえば顧客サイトにある)構成可能ネットワークルータに異常警告を自動的に送信してもよい。ルータが(たとえば異なるISPを介した)インターネットへの利用可能な経路を複数有する場合、それは、予め定められたポリシー(負荷分散、最低コスト、または最高性能を含む)に基づいて、外部送信トラフィックを対応するインターフェイスを通して経路(ISP)へ向けることができる。ポリシーはまた、1つ以上の異常の存在を、および異なるタイプの異常を勘案してもよい。その結果、所与のISPを介したトラフィックがより多い待ち時間または他の問題を経験する可能性があることを示す異常警告をルータが受信した場合、ルータは、異常が解決されるまで、代替ISPを介してトラフィックを送信してもよい。ルータがコレクタ120(図1)のうちの1つ以上とともに配置される場合、コレクタは、各ISPインターフェイスを通して同じターゲットをサンプリングし、異常を識別し、構成可能ネットワークルータ上のポリシーエンジンにプログラム提案を行なうことによって、各ISPインターフェイスを通してルータの観点からインターネットを見てもよい。
図9は、コンピュータネットワークにおける異常を検出するための別の方法900を示す。ステップ902で、マスターサーバ110または他のプロセッサは、複数のコレクタから待ち時間データを収集する。この待ち時間データは、より詳細に上述されたように、各コレクタから、コンピュータネットワーク全体に分散された1つ以上の他のデバイスへのトレースルートパケットを含んでいてもよい。
ステップ904で、マスターサーバ110は、利用可能なデータに基づいて、コンピュータネットワークにおけるコレクタと各ターゲットとの間の伝送に関連付けられた待ち時間状態を判断する。待ち時間状態は、待ち時間分布を含むか表わしてもよく、図8のステップ810および812に関して上述された手法を使用して推定され得る。たとえば、マスターサーバ110は、現在の待ち時間状態によって表わされる待ち時間値の移動平均、中央値、または最頻値を計算してもよく、もしくは、現在の待ち時間状態によって表わされる待ち時間値の分布にピークを合わせてもよい。現在の待ち時間状態は、各コレクタ/ターゲット対間の最近のほぼリアルタイムの伝送状態を説明できる。マスターサーバ110は、あらゆる可能な組合せが計算されるまで、これらの計算を対ごとに、たとえば、各コレクタと第1のターゲット、第2のターゲット、などとの間で行なってもよい(場合によっては、データがない、または接続がないコレクタおよびターゲットについて待ち時間状態を推定することは、実用的または可能でないかもしれない)。
マスターサーバ110はまた、各コレクタ/ターゲット対について予期される待ち時間状態を判断する。ある場合では、マスターサーバ110は、図8のステップ810に関して上述されたように、これまでの待ち時間データから予期される待ち時間状態を計算してもよい。他の場合では、マスターサーバ110は、ユーザによって特定されたデータから予期される待ち時間状態を判断してもよい。すなわち、ユーザは所望の待ち時間または待ち時間状態を設定してもよく、マスターサーバ110は、ユーザによって供給されたこの情報を使用して、予期される待ち時間状態を判断してもよい。マスターサーバ110はまた、ユーザによって提供された情報に基づいて、予測される、または所望の待ち時間状態を生成してもよい。
ステップ908で、マスターサーバ110は、予期される待ち時間状態と現在の待ち時間状態とを比較する。比較の一環として、マスターサーバ110は、第1のしきい値より上の、または第2のしきい値より下の離散的待ち時間値を却下し、予期される待ち時間状態のカーネル密度推定値を構築し、および/または、現在の待ち時間状態のカーネル密度推定値を構築してもよい。比較は、ターゲットデバイスのうちの1つ以上との通信に影響を与えるネットワーク伝送異常の存在を推測する(ステップ910)のに十分な情報を提供することができる。そのような場合、マスターサーバ110は、たとえばIPアドレス、地理的位置、または他の識別子によって、異常の影響を受けたターゲットデバイスを識別してもよく(ステップ912)、コンピュータネットワークのうちの影響を受けていない部分を識別してもよい(ステップ914)。マスターサーバは、図8に関して上述したものと同様の警告メッセージを生成し、送信する(ステップ916)。この警告メッセージを受信するDNSサーバ、ルータ、およびユーザは、異常についての情報を使用して、上述のように異常の有害な影響を緩和する態様でDNSクエリを解決する、ISPを選択する、などしてもよい。
図10は、コンピュータネットワーク(たとえば、図1に示すネットワーク100)におけるパフォーマンス異常を検出するためのさらに別の方法1000を示す。ステップ1002で、コレクタはトレースルートデータパケットを受信し、トレースルートデータパケットにおいて符号化された待ち時間情報をマスターサーバ110へ提供する。ステップ1004および1006で、マスターサーバ110は、たとえば上述のようなこれまでの待ち時間情報および/またはユーザ入力を使用して、収集された待ち時間情報に基づいた実際の待ち時間状態と、予期される待ち時間状態とを判断する。
いくつかの実現化例では、マスターサーバ100は、たとえば、パケットが特定の経路を所与の待ち時間で通過する確率を生成することによって、実際の待ち時間状態と予期される待ち時間状態とを比較する。それはこの確率を、コレクタデバイスに関連付けられた信頼性値、待ち時間データの質といった他の要因とともに使用して、パフォーマンスネットワーク異常予想を判断する(1004a)。この予想は、ネットワークパフォーマンス異常のタイプに関して完全な推測を生成するのにともに十分である多くのまたは少なくとも2つの前例のうちの1つとして解釈され得る。マスターサーバ110は、他のコレクタから受信されたトレースルートデータに由来した予想間の不一致を調和させるために、コヒーレンス値を計算する(1004b)。コヒーレンス値が予め定められた異常しきい値より上である場合、マスターサーバ110は、ネットワークパフォーマンス異常を示す推測を生成することができる(1010)。マスターサーバ110は、異常のタイプを診断または分類する(1012a)ために、1つ以上の人工知能手法を使用してトレースルートデータを分析することによって異常に応答してもよい(ステップ1012)。それはまた、異常警告を送信し(1012b)、異常に基づいてパケットをルーティングし(1012c)、および/または、上述のように異常に基づいてDNSクエリを解決してもよい(1012d)。
パフォーマンス異常警告
場合によっては、マスターサーバは、異なるタイプの異常を検出し、マスターサーバのユーザインターフェイスディスプレイ212を通してグラフィック出力および/またはテキスト出力を提供することができる。図11A〜11Dは、異なる記号が異なるコレクタによる測定値を表わす、警告システムによって検出された1組の現実世界異常を示す。図11A〜11Cは異常な経路変更であるように見え、図11Dは異常な輻輳事象であるように見える。
より具体的には、図11Aは、1組の3つの別個の(しかし地理的に近い)トレースルートコレクタから、イラクのスコープスカイ・コミュニケーション・アンド・インターネット社(AS50597)によって制御されるIPアドレスのグループまで測定されるような、往復待ち時間のプロットである。このプロットは、典型的な双峰分布(およそ80msおよび130msでピークを有する)と、劣化したより遅い単峰分布(160〜170ms前後で若干変化するピークを有する)との間の遷移を示す。
図11Bは、(異なる色で表示された)1組の3つの同様のコレクタから、中国のパックネットによって制御される特定のネットワークプレフィックス(222.126.128.0/23)におけるIPアドレスまで測定されるような、往復待ち時間のプロットである。このプロットは、各々およそ80msずつ離れた(310ms、390ms、および470msでの)3つの別々のモードを示す。6月13日に、上方のモードが低下し、最も速い結果から10〜20msしか離れていないため、パフォーマンスが向上する。
図11Cは、(異なる色で表示された)1組の3つの同様のコレクタから、南アフリカのテネット(AS2018)によって制御されるアドレスまで測定されるような、往復待ち時間のプロットである。このプロットは、(大部分が)漸進的に向上する待ち時間を示しているが、40ms速くなる際に独立したままである(およそ20ms離れた)2つのモードがある。
図11Dは、(異なる色で表示された)1組の3つの同様のコレクタから、ルーマニアのブカレストのRCS&RDSによって制御される特定のネットワークプレフィックス(213.154.100.0/23)におけるIPアドレスまで測定されるような、往復待ち時間のプロットである。このプロットは、3つのコレクタすべてからのおよそ35msの一貫した待ち時間を示す。6月12日より、測定されたアドレスの部分母集団が日ごとの待ち時間増加を呈し始めた。6月18日までに、部分母集団は、ベースラインから300msもの日ごとの待ち時間変動を呈する。
マスターサーバ110は、トレースルートデータサンプルの観察から、情報伝送システムおよび/またはネットワーク100の自動モデル化を可能にする1つ以上の人工知能手法によって、時間とともにトレースルートデータパターンを認識するように訓練され得る。人工知能手法は、タイミングを合わせた自動化、リアルタイム自動化、および同様の人工知能手法を含み得るものの、それらに限定されない。システム100がいったんモデル化されると、マスターサーバ110は、異常のタイプを識別するために、トレースルートデータの分類子として動作することができる。マスターサーバ110によって識別され得る異常のうちのいくつかは、モード変更1102、モード統合1104、マルチモードシフト1106、悪化する日ごとの輻輳1108、および同様の異常を含み得る。さらに、マスターサーバはまた、異常の影響を受けた国1110、影響を受けた国の地域インターネットレジストリ1112、異常の影響を受けたDNS識別子1111、および/または、異常の影響を受けたISP1109を判断することができる。
パフォーマンス異常警告
マスターサーバ110が、たとえば待ち時間データにおけるパターンの認識、または現在の待ち時間状態とベースライン待ち時間状態との比較によって、パフォーマンス異常を認識した場合、それは、図12に示す警告メッセージ1201のような警告を生成し、発行してもよい。場合によっては、マスターサーバ110は、識別された異常について、1つ以上のクライアント114に警告することができる。異常警告は、警告の影響を受ける地理的エリアを示すことができる。たとえば、警告メッセージは、影響を受けた地理的エリアがワシントンD.C.北西部であることを示すことができる。地理的エリアに加えて、警告メッセージは、影響を受けた経路1205を示すことができる。この例において影響を受けた経路は、図7に示すデバイス(140a−160a−160b−160c−140b−160d−160e)を含む。
さらに、警告メッセージは、影響を受けていない地理的エリア1003、たとえば、ワシントンD.C.南西部を示すことができる。場合によっては、警告メッセージは、提案された代替経路を含んでいてもよい。たとえば、代替経路は、図7に示すデバイス140a−160a−160b−140c−160f−160d−160eを含み得る。提案された代替経路を通してデータパケットを伝送するための推定時間を示す、代替経路に対応する推定された待ち時間伝送時間1007を、警告メッセージにおいて提供することができる。
結論
この発明のさまざまな実施形態をここに説明し図示してきたが、当業者であれば、ここに説明された機能を行なうための、および/または結果、および/または利点のうちの1つ以上を得るためのさまざまな他の手段および/または構造を容易に構想するであろう。そのような変更および/または修正の各々は、ここに説明されたこの発明の実施形態の範囲内にあると考えられる。より一般的には、当業者であれば、ここに説明されたすべてのパラメータ、寸法、材料、および構成は例示的であるよう意図されていること、ならびに、実際のパラメータ、寸法、材料、および/または構成は、この発明の教示が使用される特定の用途に依存することを容易に理解するであろう。当業者であれば、ここに説明されたこの発明の特定の実施形態との多くの同等物を認識し、または単なる定型実験を使用して確かめることができるであろう。したがって、前述の実施形態は例としてのみ提示されること、ならびに、添付された請求項およびそれとの同等物の範囲内で、この発明の実施形態が、具体的に記載され請求されたもの以外の態様で実践され得ることが理解されるべきである。本開示の発明の実施形態は、ここに説明された各個々の特徴、システム、物品、材料、キット、および/または方法に向けられる。加えて、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および/または方法が互いに矛盾しない場合、本開示の発明の範囲内に含まれる。
この発明の上述の実施形態は、多くの方法のうちのいずれかで実現され得る。たとえば、いくつかの実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実現されてもよい。実施形態の任意の局面がソフトウェアで少なくとも部分的に実現される場合、単一のコンピュータに提供されるか複数のコンピュータ中に分散されるかにかかわらず、ソフトウェアコードが任意の好適なプロセッサまたはプロセッサの集合上で実行され得る。
この点において、この発明のさまざまな局面は、1つ以上のコンピュータまたは他のプロセッサ上で実行されると上述の技術のさまざまな実施形態を実現する方法を行なう1つ以上のプログラムで符号化された、コンピュータ読取可能記憶媒体(または複数のコンピュータ読取可能記憶媒体)(たとえば、コンピュータメモリ、1つ以上のフロッピー(登録商標)ディスク、コンパクトディスク、光ディスク、磁気テープ、フラッシュメモリ、フィールドプログラマブルゲートアレイまたは他の半導体装置における回路構成、もしくは他の有形のコンピュータ記憶媒体または非一時的な媒体)として少なくとも部分的に具現化されてもよい。コンピュータ読取可能媒体は、その上に格納されたプログラムが上述のような本技術のさまざまな局面を実現するように1つ以上の異なるコンピュータまたは他のプロセッサにロードされ得るように、可搬型であってもよい。
「プログラム」、「ソフトウェア」という用語は、上述のような本技術のさまざまな局面を実現するようにコンピュータまたは他のプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコードまたは1組のコンピュータ実行可能命令を指すために、一般的な意味でここに使用される。加えて、この実施形態の1つの局面によれば、実行されると本技術の方法を行なう1つ以上のコンピュータプログラムは、本技術のさまざまな局面を実現するために、単一のコンピュータまたはプロセッサ上に存在する必要はなく、多くの異なるコンピュータまたはプロセッサ中にモジュール方式で分散されてもよい、ということが理解されるべきである。
コンピュータ実行可能命令は、1つ以上のコンピュータまたは他のデバイスによって実行されるプログラムモジュールといった、多くの形態を取ってもよい。一般に、プログラムモジュールは、特定のタスクを行なう、または特定の抽象データ型を実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラムモジュールの機能性は、さまざまな実施形態において所望されるように組合され、または分散されてもよい。
また、ここに説明された技術は、方法として具現化されてもよく、その少なくとも1つの例が提供されてきた。方法の一環として行なわれる行為は、任意の好適なやり方で順序付けられてもよい。したがって、例示されたものとは異なる順序で行為が行なわれる実施形態が構築されてもよく、例示された実施形態では順次の行為として示されたものであっても、それはいくつかの行為を同時に行なうことを含んでいてもよい。
ここに定義され使用されたようなすべての定義は、辞書の定義、引用により援用される文献における定義、および/または定義された用語の通常の意味を統括していると理解されるべきである。
明細書および請求項においてここに使用されるような不定冠詞「a」および「an」は、そうでないことが明らかに示されない限り、「少なくとも1つ」を意味すると理解されるべきである。
明細書および請求項においてここに使用されるような「および/または」という句は、そのように結合された要素、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素の「いずれかまたは双方」を意味すると理解されるべきである。「および/または」を用いて列挙された複数の要素は同じ態様で、すなわち、そのように結合された要素のうちの「1つ以上」と解釈されるべきである。「および/または」という句によって具体的に識別された要素以外に、他の要素が、それらの具体的に識別された要素に関連していようとなかろうと、オプションで存在してもよい。このため、非限定的な例として、「Aおよび/またはB」への言及は、「…を備える」などのオープンエンドの文言とともに使用される場合、ある実施形態ではAのみ(オプションでB以外の要素を含む);別の実施形態ではBのみ(オプションでA以外の要素を含む);さらに別の実施形態ではAとBの双方(オプションで他の要素を含む);などを指すことができる。
明細書および請求項においてここに使用されるように、「または」は、上で定義されたような「および/または」と同じ意味を有すると理解されるべきである。たとえば、リストにおける項目を分ける場合、「または」あるいは「および/または」は、包括的であると解釈されるものとする。すなわち、多くの要素またはリストの要素のうちの少なくとも1つ(しかしながら2つ以上も含む)、およびオプションでリストにない追加の項目を含むと解釈されるものとする。「…のうちの1つのみ」あるいは「…のうちのまさしく1つ」、もしくは請求項で使用される場合には「…からなる」といった、そうでないことが明らかに示された用語だけが、多くの要素またはリストの要素のうちのまさしく1つの要素を含むことを指すであろう。一般に、ここに使用されるような「または」という用語は、「いずれか」、「…のうちの1つ」、「…のうちの1つのみ」あるいは「…のうちのまさしく1つ」といった排他性の用語が後続する場合、単に排他的な代替物を示すと解釈されるものとする(すなわち「一方または他方、しかしながら双方でない」)。「本質的に…からなる」は、請求項で使用される場合、特許法の分野で使用されるようなその通常の意味を有するものとする。
明細書および請求項においてここに使用されるように、1つ以上の要素のリストに関する「少なくとも1つ」という句は、要素のリストにおける要素のいずれか1つ以上から選択されるものの、要素のリスト内に具体的に列挙されたすべての各要素のうちの少なくとも1つを必ずしも含まず、要素のリストにおける要素のいかなる組合せも除外しない、少なくとも1つの要素を意味すると理解されるべきである。この定義はまた、「少なくとも1つ」という句が指す要素のリスト内で具体的に識別された要素以外に、要素が、それらの具体的に識別された要素に関連していようとなかろうと、オプションで存在してもよい、ということを可能にする。このため、非限定的な例として、「AおよびBのうちの少なくとも1つ」(あるいは同等に「AまたはBのうちの少なくとも1つ」、あるいは同等に「Aおよび/またはBのうちの少なくとも1つ」)は、ある実施形態では、Aが少なくとも1つ(オプションで2つ以上を含む)、Bは存在せず(およびオプションでB以外の要素を含む);別の実施形態では、Bが少なくとも1つ(オプションで2つ以上を含む)、Aは存在せず(およびオプションでA以外の要素を含む);さらに別の実施形態では、Aが少なくとも1つ(オプションで2つ以上を含む)、およびBが少なくとも1つ(オプションで2つ以上を含む)(およびオプションで他の要素を含む);などを指すことができる。
上述の明細書だけでなく、請求項においても、「…を備える」、「…を含む」、「…を搬送する」、「…を有する」、「…を含有する」「…を伴う」、「…を保持する」、「…から構成された」などといった移行句はすべて、オープンエンドである、すなわち、「…を含むもののそれらに限定されない」という意味であると理解されるべきである。米国特許庁特許審査便覧のセクション2111.03に規定されるように、「…からなる」および「本質的に…からなる」という移行句のみが、それぞれクローズドまたはセミクローズドの移行句であるものとする。

Claims (22)

  1. コンピュータネットワークを監視する方法であって、前記方法は、
    前記コンピュータネットワークにおける第1の地点と前記コンピュータネットワークにおける第2の地点との間の情報の伝送に関連付けられたベースライン待ち時間状態を推定するステップを含み、前記ベースライン待ち時間状態は、ベースラインリザーバに格納された離散的待ち時間値の分布を表わし、前記方法はさらに、
    前記コンピュータネットワークにおける前記第1の地点と前記コンピュータネットワークにおける前記第2の地点との間の情報の伝送に関連付けられた現在の待ち時間状態を推定するステップを含み、前記現在の待ち時間状態は、最近のサンプルキューに格納された離散的待ち時間値の分布を表わし、前記方法はさらに、
    前記ベースライン待ち時間状態と前記現在の待ち時間状態との比較を行なうステップと、
    前記ベースライン待ち時間状態と前記現在の待ち時間状態との前記比較に基づいて、前記コンピュータネットワークにおける前記第1の地点と前記コンピュータネットワークにおける前記第2の地点との間の情報の伝送に関連付けられた異常の存在を識別するステップとを含む、方法。
  2. 前記コンピュータネットワークに動作可能に結合された複数のセンサを用いて、前記離散的待ち時間値をある取得レートで取得するステップをさらに含み、前記複数のセンサにおける各センサは、異なる地理的位置にあり、前記方法はさらに、
    前記離散的待ち時間値を前記最近のサンプルキューに格納するステップを含む、請求項1に記載の方法。
  3. 待ち時間値の前記分布を測定するステップは、
    前記複数のセンサにおける第1のセンサで、前記コンピュータネットワークにおけるインターネットプロトコル(IP)アドレスと前記第1のセンサとの間の通信に関連付けられた複数の待ち時間値を示す複数のトレースルートデータパケットを受信するステップを含む、請求項2に記載の方法。
  4. 前記複数のトレースルートデータパケットにおける各トレースルートデータパケットは、前記トレースルートデータパケットがいつ受信されたかを示すそれぞれのタイムスタンプを有し、
    前記現在の待ち時間状態または前記ベースライン待ち時間状態のうちの少なくとも1つを推定するステップは、予め定められた時間範囲内でそれぞれのタイムスタンプを有する前記複数のトレースルートデータパケットのうちの選択されたグループに対して、中心傾向または分散度のうちの少なくとも1つを計算するステップを含む、請求項3に記載の方法。
  5. 前記取得レートが、前記ベースラインリザーバまたは前記最近のサンプルキューのうちの少なくとも1つのサイズに基づくしきい値より上である場合、前記離散的待ち時間値を前記最近のサンプルキューに格納する前に、前記離散的な待ち時間値を間引くステップをさらに含む、請求項3に記載の方法。
  6. 前記離散的待ち時間値の取得レートに基づいて、前記ベースラインリザーバまたは前記最近のサンプルキューのうちの少なくとも1つのサイズを設定するステップをさらに含む、請求項3に記載の方法。
  7. 前記ベースライン待ち時間状態と前記現在の待ち時間状態との前記比較を行なうステップは、
    第1のしきい値より上の、または第2のしきい値より下の離散的待ち時間値を却下するステップ、
    前記ベースライン待ち時間状態のカーネル密度推定値を構築するステップ、
    前記現在の待ち時間状態のカーネル密度推定値を構築するステップ、または、
    前記ベースライン待ち時間状態および前記現在の待ち時間状態を計算するステップ、
    のうちの少なくとも1つを含む、請求項1に記載の方法。
  8. 前記最近のサンプルキューにおける最も古い離散的待ち時間値を前記ベースラインリザーバへ移動させるステップをさらに含む、請求項1に記載の方法。
  9. 前記ベースラインリザーバから第1の離散的待ち時間値をランダムに除去するステップと、
    前記第1の離散的待ち時間値を置換するために、第2の離散的待ち時間値を前記最近のサンプルキューから前記ベースラインリザーバへ移動させるステップとをさらに含む、請求項1に記載の方法。
  10. 前記ベースライン待ち時間状態と前記現在の待ち時間状態との前記比較に基づいて、前記異常のタイプを識別するステップをさらに含む、請求項1に記載の方法。
  11. 前記異常の影響を受けたインターネットプロトコル(IP)アドレスをユーザに通知するステップをさらに含む、請求項1に記載の方法。
  12. 前記異常に基づいて、前記コンピュータネットワークにおける前記第1の地点と前記コンピュータネットワークにおける前記第2の地点との間の通信をルーティングするステップをさらに含む、請求項1に記載の方法。
  13. 前記コンピュータネットワークにおける、または前記コンピュータネットワークに結合されたドメイン名システム(DNS)サーバで、DNS要求を受信するステップと、
    前記異常に基づいて、前記DNS要求への応答を発行するステップとをさらに含む、請求項1に記載の方法。
  14. コンピュータネットワークを監視する方法であって、前記方法は、
    前記コンピュータネットワーク中に分散された複数のコレクタデバイスから複数の伝送待ち時間値を受信するステップを含み、前記複数の伝送待ち時間値における伝送待ち時間値は、前記複数のコレクタデバイスにおけるそれぞれのコレクタデバイスと前記コンピュータネットワークにおけるそれぞれのターゲットコンピューティングデバイスとの間のそれぞれの伝送待ち時間を示し、前記方法はさらに、
    前記複数のコレクタデバイスにおける各コレクタデバイスについて、前記複数の伝送待ち時間値の第1のサブセットに少なくとも部分的に基づいて、複数のターゲットコンピューティングデバイスにおける第1のターゲットコンピューティングデバイスへの伝送についての予期される伝送待ち時間状態を計算するステップと、
    前記複数のコレクタデバイスにおける各コレクタデバイスについて、前記複数の伝送待ち時間値の第2のサブセットに少なくとも部分的に基づいて、前記第1のターゲットコンピューティングデバイスへの前記伝送についての現在の伝送待ち時間状態を計算するステップと、
    複数のコレクタデバイスにおける各コレクタデバイスについて、前記現在の伝送待ち時間状態と前記予期される伝送待ち時間状態との比較を行なうステップと、
    前記現在の伝送待ち時間状態と前記予期される伝送待ち時間状態との前記比較に少なくとも部分的に基づいて、前記第1のターゲットコンピューティングデバイスに関連付けられた異常を推測するステップとを含む、方法。
  15. 前記第1のターゲットコンピューティングデバイスのインターネットプロトコル(IP)アドレスに基づいて、前記異常の影響を受けた前記コンピュータネットワークの一部を識別するステップをさらに含む、請求項14に記載の方法。
  16. 前記異常に基づいて、トラフィックを、代替インターネットサービスプロバイダを介して、前記複数のターゲットコンピューティングデバイスにおける第2のターゲットコンピューティングデバイスへルーティングするステップをさらに含む、請求項15に記載の方法。
  17. 異常通知をユーザへ送信するステップをさらに含み、前記異常通知は、前記異常の重症度、または前記異常の影響を受けた前記コンピュータネットワークの前記一部、のうちの少なくとも1つを表わす、請求項15に記載の方法。
  18. コンピュータネットワークにおけるパフォーマンス異常を検出する方法であって、前記方法は、
    第1のネットワークセンサによって収集された複数のトレースルートデータパケットを、プロセッサで受信するステップを含み、前記複数のトレースルートデータパケットにおける各トレースルートデータパケットは、前記第1のネットワークセンサとターゲットデバイスとの間のそれぞれの通信に関連付けられた待ち時間値を示し、前記方法はさらに、
    前記複数のトレースルートデータパケットによって表わされる待ち時間状態を、前記プロセッサを介して計算するステップと、
    前記待ち時間状態と予期される待ち時間状態との比較を行なうステップと、
    前記比較に少なくとも部分的に基づいて、パフォーマンス異常の存在を推測するステップとを含む、方法。
  19. 前記比較を行なうステップは、
    前記第1のネットワークセンサによって収集されたデータの信頼性の関数としての第1のネットワークセンサ予想を、前記プロセッサを介して判断するステップと、
    前記第1のネットワークセンサ予想と、少なくとも、第2のネットワークセンサによって収集されたデータに基づく第2のネットワークセンサ予想とに少なくとも部分的に基づいて、コヒーレンス値を計算するステップとを含み、
    前記第2のネットワークセンサによって収集された前記データは、前記第2のネットワークセンサと前記ターゲットデバイスとの間の待ち時間値を表わす、請求項18に記載の方法。
  20. 前記パフォーマンス異常の影響を受けたインターネットプロトコル(IP)アドレスを判断するステップをさらに含む、請求項18に記載の方法。
  21. 前記異常の影響を受けた前記IPアドレスに基づいて、トラフィックを、代替インターネットサービスプロバイダを介して、前記ターゲットデバイスへルーティングするステップをさらに含む、請求項20に記載の方法。
  22. 前記コンピュータネットワークにおける、または前記コンピュータネットワークに結合されたドメイン名システム(DNS)サーバで、DNS要求を受信するステップと、
    前記異常の影響を受けた前記IPアドレスに基づいて、前記DNS要求への応答を発行するステップとをさらに含む、請求項20に記載の方法。
JP2018523370A 2015-07-22 2016-07-21 情報伝送パフォーマンス警告を生成するための方法、システム、および装置 Active JP6816139B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562195478P 2015-07-22 2015-07-22
US62/195,478 2015-07-22
PCT/US2016/043340 WO2017015462A1 (en) 2015-07-22 2016-07-21 Methods, systems, and apparatus to generate information transmission performance alerts

Publications (3)

Publication Number Publication Date
JP2018521611A true JP2018521611A (ja) 2018-08-02
JP2018521611A5 JP2018521611A5 (ja) 2019-07-11
JP6816139B2 JP6816139B2 (ja) 2021-01-20

Family

ID=57834796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523370A Active JP6816139B2 (ja) 2015-07-22 2016-07-21 情報伝送パフォーマンス警告を生成するための方法、システム、および装置

Country Status (5)

Country Link
US (3) US10848406B2 (ja)
EP (1) EP3326330B1 (ja)
JP (1) JP6816139B2 (ja)
CN (2) CN113315682B (ja)
WO (1) WO2017015462A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3771152A1 (en) 2019-07-24 2021-01-27 Fujitsu Limited Network analysis program, network analysis device, and network analysis method

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10951485B1 (en) * 2018-03-07 2021-03-16 Amdocs Development Limited System, method, and computer program for operating a multi-stage artificial intelligence (AI) analysis in a communication network
CN107566280A (zh) * 2016-06-30 2018-01-09 上海诺基亚贝尔股份有限公司 验证组播数据路径的方法和路由器设备
DE102016219663B4 (de) * 2016-10-11 2018-08-02 Conti Temic Microelectronic Gmbh Verfahren zur Überwachung eines Netzwerks auf Anomalien
US10992693B2 (en) * 2017-02-09 2021-04-27 Microsoft Technology Licensing, Llc Near real-time detection of suspicious outbound traffic
WO2019239005A1 (en) * 2018-06-15 2019-12-19 Celltrum Oy Method for determining a performance indicator of a wireless telecommunications network
FI129839B (en) 2018-06-15 2022-09-30 Celltrum Oy A method for determining a performance indicator for a wireless telecommunications network
US11036561B2 (en) * 2018-07-24 2021-06-15 Oracle International Corporation Detecting device utilization imbalances
SG11202101261YA (en) * 2018-08-13 2021-03-30 Micro Motion Inc Detecting a change in a vibratory meter based on two baseline meter verifications
US10893018B2 (en) * 2018-09-10 2021-01-12 Level 3 Communications, Llc Systems and methods for automatic inventory and DNS record generation
US11050652B2 (en) 2018-11-01 2021-06-29 Microsoft Technology Licensing, Llc Link fault isolation using latencies
US10887196B2 (en) * 2018-11-28 2021-01-05 Microsoft Technology Licensing, Llc Efficient metric calculation with recursive data processing
EP3912037A1 (en) * 2019-03-04 2021-11-24 Huawei Technologies Co., Ltd. Automated root-cause analysis for distributed systems using tracing-data
US10891546B2 (en) * 2019-04-29 2021-01-12 Google Llc Network anomaly detection
US11178163B2 (en) * 2019-07-02 2021-11-16 Easy Solutions Enterprises Corp. Location spoofing detection using round-trip times
US10855740B1 (en) * 2019-07-09 2020-12-01 Microsoft Technology Licensing, Llc Network problem node identification using traceroute aggregation
US11240960B2 (en) * 2019-09-18 2022-02-08 Deere & Company Delay management for geospatial crop yield mapping
US11178107B2 (en) * 2019-09-30 2021-11-16 Michael Schloss System and method for detecting surreptitious packet rerouting
CN111224842A (zh) * 2019-12-31 2020-06-02 大唐软件技术股份有限公司 一种互联网服务质量监测方法和装置
CN113572683B (zh) * 2020-04-29 2023-07-04 腾讯科技(深圳)有限公司 数据处理方法、装置、电子设备及存储介质
CN115668882A (zh) * 2020-05-19 2023-01-31 华为技术有限公司 用于测量传输信道的装置和方法
US11388042B2 (en) * 2020-08-12 2022-07-12 Cisco Technology, Inc. Anomaly detection triggered proactive rerouting for software as a service (SaaS) application traffic
CN112202638B (zh) * 2020-09-29 2022-03-01 北京百度网讯科技有限公司 数据处理方法、装置、设备及计算机存储介质
US11363049B1 (en) 2021-03-25 2022-06-14 Bank Of America Corporation Information security system and method for anomaly detection in data transmission
US20230129290A1 (en) * 2021-10-21 2023-04-27 Cisco Technology, Inc. Interpretable forecasting using path state transitions in application driven predictive routing
WO2023156827A1 (en) * 2022-02-18 2023-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Anomaly detection
CN114760225A (zh) * 2022-03-31 2022-07-15 深信服科技股份有限公司 一种故障诊断方法、***和存储介质
WO2023249622A1 (en) * 2022-06-22 2023-12-28 Rakuten Mobile, Inc. System and method for diagnosis and suppression of root causes of performance requirement failure in a network
CN115396337B (zh) * 2022-08-10 2023-06-06 广州天懋信息***股份有限公司 一种路由异常检测方法、***、存储介质及电子设备
CN117880055B (zh) * 2024-03-12 2024-05-31 灵长智能科技(杭州)有限公司 基于传输层指标的网络故障诊断方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060704A (ja) * 2001-07-25 2003-02-28 Hewlett Packard Co <Hp> ネットワークのパフォーマンスを監視する方法および装置
US20030061340A1 (en) * 2001-09-25 2003-03-27 Mingqiu Sun Network health monitoring through real-time analysis of heartbeat patterns from distributed agents
JP2003536162A (ja) * 2000-06-21 2003-12-02 コンコード・コミュニケーションズ・インコーポレーテッド ライブエクセプションズ・システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050111363A1 (en) * 1999-03-04 2005-05-26 Snelgrove William M. Operating system for telecommunications
FI19992236A (fi) 1999-10-15 2001-04-16 Nokia Networks Oy Sijainninmääritys tietoliikenneverkossa
US8341297B2 (en) 2000-07-19 2012-12-25 Akamai Technologies, Inc. Latencies and weightings in a domain name service (DNS) system
AU2003230563A1 (en) * 2002-02-25 2003-09-09 General Electric Company Method and apparatus for node electronics unit architecture
US7373415B1 (en) 2003-07-31 2008-05-13 Yahoo! Inc. System and method for monitoring delivery of digital content, including streaming media
US7596096B2 (en) * 2004-04-29 2009-09-29 Avaya Inc Method and apparatus for providing trace route and timing information for media streams
US8127242B1 (en) 2010-08-12 2012-02-28 The United States Of America As Represented By The Secretary Of The Army Graphic user interface and software for processing large size signal data samples in a small buffer using automatically adjusted decimation ratio
GB0416272D0 (en) 2004-07-20 2004-08-25 British Telecomm Method of operating a network
US7475130B2 (en) * 2004-12-23 2009-01-06 International Business Machines Corporation System and method for problem resolution in communications networks
JP4720295B2 (ja) * 2005-06-02 2011-07-13 日本電気株式会社 異常検出システムおよび保全システム
US20060285509A1 (en) * 2005-06-15 2006-12-21 Johan Asplund Methods for measuring latency in a multicast environment
US7609628B2 (en) 2005-09-07 2009-10-27 At&T Intellectual Property I, L.P. System and method for fault-tolerance in an inter-carrier network interface
US20070250625A1 (en) * 2006-04-25 2007-10-25 Titus Timothy G Real-time services network quality control
US8880724B2 (en) 2008-01-31 2014-11-04 Cisco Technology, Inc. Event triggered traceroute for optimized routing in a computer network
US9118680B1 (en) * 2009-06-30 2015-08-25 Amazon Technologies, Inc. Opportunistic routing
JP5538652B2 (ja) * 2010-12-20 2014-07-02 三菱電機株式会社 ネットワークの状態監視方式
US20130081001A1 (en) * 2011-09-23 2013-03-28 Microsoft Corporation Immediate delay tracker tool
US20140109223A1 (en) 2012-10-17 2014-04-17 At&T Intellectual Property I, L.P. Providing a real-time anomalous event detection and notification service in a wireless network
US9332087B2 (en) * 2013-02-06 2016-05-03 Microsoft Technology Licensing, Llc Dynamic buffer
US9667722B2 (en) * 2014-10-20 2017-05-30 Arista Networks, Inc. Method and system for non-tagged based latency calculation
US9847922B2 (en) * 2015-03-18 2017-12-19 Arista Networks, Inc. System and method for continuous measurement of transit latency in individual data switches and multi-device topologies
EP3281361B1 (en) * 2015-07-01 2019-06-12 Hewlett-Packard Enterprise Development LP Latency measurer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003536162A (ja) * 2000-06-21 2003-12-02 コンコード・コミュニケーションズ・インコーポレーテッド ライブエクセプションズ・システム
JP2003060704A (ja) * 2001-07-25 2003-02-28 Hewlett Packard Co <Hp> ネットワークのパフォーマンスを監視する方法および装置
US20030061340A1 (en) * 2001-09-25 2003-03-27 Mingqiu Sun Network health monitoring through real-time analysis of heartbeat patterns from distributed agents

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3771152A1 (en) 2019-07-24 2021-01-27 Fujitsu Limited Network analysis program, network analysis device, and network analysis method
US11507076B2 (en) 2019-07-24 2022-11-22 Fujitsu Limited Network analysis program, network analysis device, and network analysis method

Also Published As

Publication number Publication date
US11818025B2 (en) 2023-11-14
JP6816139B2 (ja) 2021-01-20
EP3326330B1 (en) 2021-10-20
CN108028778B (zh) 2021-06-18
CN108028778A (zh) 2018-05-11
US10848406B2 (en) 2020-11-24
CN113315682B (zh) 2023-09-01
US20210021501A1 (en) 2021-01-21
EP3326330A1 (en) 2018-05-30
US11178035B2 (en) 2021-11-16
EP3326330A4 (en) 2019-03-06
CN113315682A (zh) 2021-08-27
WO2017015462A1 (en) 2017-01-26
US20220038356A1 (en) 2022-02-03
US20180212849A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6816139B2 (ja) 情報伝送パフォーマンス警告を生成するための方法、システム、および装置
EP1742416B1 (en) Method, computer readable medium and system for analyzing and management of application traffic on networks
Queiroz et al. An approach for SDN traffic monitoring based on big data techniques
US10560311B2 (en) Management apparatus, management method, and recording medium
US9577906B2 (en) Scalable performance monitoring using dynamic flow sampling
US7313141B2 (en) Packet sequence number network monitoring system
US8601126B2 (en) Method and apparatus for providing flow based load balancing
US7889656B2 (en) Binned duration flow tracking
US20100046377A1 (en) List-Based Alerting in Traffic Monitoring
US11509552B2 (en) Application aware device monitoring correlation and visualization
JP2007336512A (ja) 統計情報収集システム及び統計情報収集装置
JP2008283621A (ja) ネットワーク輻輳状況監視装置、ネットワーク輻輳状況監視方法及びプログラム
Casas et al. IP mining: Extracting knowledge from the dynamics of the internet addressing space
US11032124B1 (en) Application aware device monitoring
US20190068457A1 (en) Historical and predictive traffic analytics of network devices based on tcam usage
Yao et al. Hlb: Toward load-aware load balancing
JP2016146581A (ja) トラヒック情報収集装置およびトラヒック情報収集方法
JP5684748B2 (ja) ネットワーク品質監視装置及びネットワーク品質監視方法
Kreuger et al. Scalable in-network rate monitoring
JP4871775B2 (ja) 統計情報収集装置
Gharakheili et al. iTeleScope: Intelligent video telemetry and classification in real-time using software defined networking
KR20180015916A (ko) Sdn 기반 네트워크에서의 플로우 트래픽 모니터링 장치 및 그 방법
Mazzola et al. Analyzing Remote Peering Deployment and Its Implications for Internet Routing
Afaq et al. sFlow monitoring system in a disaster-resilient global SDN testbed based on KOREN/APII/TEIN network
Kitatsuji et al. Real-time ip flow measurement tool with scalable architecture

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R150 Certificate of patent or registration of utility model

Ref document number: 6816139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250