JP3697249B2 - ネットワーク状態監視システム及びプログラム - Google Patents

ネットワーク状態監視システム及びプログラム Download PDF

Info

Publication number
JP3697249B2
JP3697249B2 JP2003125397A JP2003125397A JP3697249B2 JP 3697249 B2 JP3697249 B2 JP 3697249B2 JP 2003125397 A JP2003125397 A JP 2003125397A JP 2003125397 A JP2003125397 A JP 2003125397A JP 3697249 B2 JP3697249 B2 JP 3697249B2
Authority
JP
Japan
Prior art keywords
alert
model
information
history
alerts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003125397A
Other languages
English (en)
Other versions
JP2004336130A (ja
Inventor
直輝 辻川
恵一 岩田
勝 磯崎
誠 小堀
慶一郎 中川
啓之 山中
義行 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2003125397A priority Critical patent/JP3697249B2/ja
Publication of JP2004336130A publication Critical patent/JP2004336130A/ja
Application granted granted Critical
Publication of JP3697249B2 publication Critical patent/JP3697249B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ネットワークの監視技術に関する。
【0002】
【従来の技術】
ネットワークへの様々な攻撃を検知してアラートを発生するIDS(侵入検知システム;Intrution Detection System)が開発され、利用されている(例えば、特許文献1)。IDSは、ネットワーク上の機器に何らかの攻撃が発生したときにアラートを発生する。
【0003】
しかし、従来のIDSは、攻撃の事実を取りこぼさないようにするため、攻撃に敏感に反応するように作られている。このため、普通の運用であっても、IDSからは大量のアラートが出力され続ける。そこで、現在、セキュリティ管理の分野では、実害のあるアラートのみを監視装置に表示してセキュリティ管理者に知らせるようにフィルタリングしている。フィルタリングされたアラートは捨てられている。捨てられたアラートには重要な情報が眠っていると考えられているが、その利用方法が確立していない。
【0004】
また、IDSから発行されるアラートを有効に活用するため、侵入パターンに応じた複数の検出パターンを準備しておき、発生したアラートを検出パターンと比較することにより、不正を検出することが特許文献1に開示されている。特許文献1に開示された監視システムでは、予め準備した検出パターンに一致しない侵入パターンについては、検知することができないという問題があった。
【0005】
【特許文献1】
特開2002−342276号公報
【0006】
また、従来、ネットワーク上に配置されるファイアウオール装置や各ネットワーク機器から出力される情報を、ネットワーク状態の管理に有効に活用することができなかった。また、従来は、情報システム全体を概観して、正常に使われているのか、一部のサイトで異常な使われ方をしているのか、全体的に異常な使われ方をしているのか、把握する手法が確立していない。
【0007】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、信頼度の高いネットワーク状態監視システムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、本発明の第1の観点に係る、ネットワーク状態監視システムは、
ネットワーク上に配置され、ネットワークへの攻撃を検出し、攻撃を検出すると、アラートを発生する侵入検知手段と、
前記複数の侵入検知手段により発生されたアラートを特定する情報を収集するアラート情報収集手段と、
前記アラート情報収集手段により収集されたアラートに関する情報に基づいて生成されたアラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段と、
発生したアラートの履歴情報を取得するアラート履歴情報取得手段と、
前記アラート履歴情報取得手段で取得されたアラート履歴情報により特定されるアラートの組合せを前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段と、
を備えることを特徴とする。
【0009】
例えば、前記モデル記憶手段は、出力されたアラートの種類の組合せとアクションとを対応付けて記憶し、前記異常検知手段は、新たなアラートが発生した場合に、攻撃者とアラートの種類とを特定し、前記アラート履歴情報取得手段に記憶されているアラート履歴情報から、その攻撃者が過去に発行させたアラートの種類を求め、その攻撃者が過去に発行させたアラートの種類の組合せと今回のアラートの種類との組合せが、前記モデル記憶手段に記憶されているアラートの種類の組合せのいずれかに合致する場合には、登録されているアクションを実行し、いずれにも合致しない場合には、異常を通知する。
【0010】
例えば、前記モデル記憶手段は、出力されたアラートの種類の順番とアクションとを対応付けて記憶し、前記異常検知手段は、新たなアラートが発生した場合に、攻撃者とアラートの種類とを特定し、前記アラート履歴情報取得手段に記憶されているアラート履歴情報から、その攻撃者が過去に発行させたアラートの種類の順番を求め、その攻撃者が過去に発行させたアラートと今回のアラートとの種類の順番が、前記モデル記憶手段に記憶されているアラートの種類の順番のいずれかに合致する場合には、登録されているアクションを実行し、いずれにも合致しない場合には、異常を通知する。
【0011】
例えば、前記モデル記憶手段は、アラートの出力量の時間推移のモデルを記憶し、前記異常検知手段は、前記アラート履歴情報取得手段により取得されたアラートの量と前記アラートの出力量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知する。
【0012】
発生したアラートの種類に基づいて、アラート発生者を分類(クラスタリング)する分類手段を配置してもよい。また、アラートの発生者別に、発生したアラートの種類と量とを求める手段と、求めたアラートの種類と量とに基づいて、同一傾向のアラート発生者を同一の分類に分類する分類手段とを配置してもよい。
【0013】
通信量を測定する通信量測定手段をさらに配置し、前記モデル記憶手段は、前記通信量の時間推移のモデルを記憶し、前記異常検知手段は、前記通信量測定手段で測定された通信量と前記通信量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知するようにしてもよい。
【0014】
アクセス量を測定するアクセス量測定手段をさらに配置し、前記モデル記憶手段は、前記アクセス量の時間推移のモデルを記憶し、前記異常検知手段は、前記アクセス量測定手段で測定されたアクセス量と前記アクセス量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知するようにしてもよい。
【0015】
上記目的を達成するため、本発明の第2の観点に係るネットワーク状態監視システムは、
ネットワークへの攻撃を検出するとアラートを発生する複数の侵入検知手段から、発生したアラートの情報を収集するアラート情報収集手段と、
前記アラート情報収集手段により収集されたアラートの情報に基づいてアラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成するモデル生成手段と、
前記アラート情報収集手段により収集されたアラートの情報に基づいて、発生したアラートの履歴情報を生成するアラート履歴生成手段と、
を備えることを特徴とする。
【0016】
例えば、前記アラート情報収集手段は、複数のローカルシステムに配置された侵入検知手段が発生したアラートの情報を収集し、前記モデル生成手段は、前記アラート情報収集手段により収集された複数のローカルシステムで発生したアラートの情報に基づいて、アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成する手段と、発生したアラートの履歴情報を生成する手段と、各ローカルシステムの異常検出装置に、生成したモデルと履歴情報とを提供する送信手段と、を備える。
【0017】
上記目的を達成するため、本発明の第3の観点に係るネットワーク状態監視システムは、
ネットワークへの攻撃を検出する侵入検知手段から発生されるアラートを受信するアラート受信手段と、
前記アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段と、
前記侵入検知手段が発生したアラートの履歴情報を記憶するアラート履歴記憶手段と、
前記アラート受信手段で受信した新たなアラートと前記アラート履歴記憶手段に記憶されているアラートの履歴とから生成されたアラート情報を、前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段と、
を備えることを特徴とする。
【0018】
上記目的を達成するため、本発明の第4の観点に係る、コンピュータプログラムは、
コンピュータ又はコンピュータ群を、
ネットワークへの攻撃を検出するとアラートを発生する複数の侵入検知手段から、発生したアラートの情報を収集するアラート情報収集手段、
前記アラート情報収集手段で収集されたアラートの情報に基づいて、アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成するモデル生成手段、
前記アラート情報収集手段で収集されたアラートの情報に基づいて、発生したアラートの履歴情報を生成するアラート履歴生成手段、
として機能させることを特徴とする。
【0019】
上記目的を達成するため、本発明の第5の観点に係る、コンピュータプログラムは、
アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段、
発生したアラートの履歴情報を記憶するアラート履歴記憶手段、
ネットワークへの攻撃を検出する侵入検知手段からのアラートを受信するアラート受信手段、
前記アラート受信手段で受信した新たなアラートと前記アラート履歴記憶手段に記憶されているアラートの履歴とから生成されたアラート情報を、前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段、
として機能させる。
【0020】
【発明の実施の形態】
以下、本発明の実施の形態に係るネットワーク状態監視システムを備えたネットワークシステムを説明する。
【0021】
この実施形態に係るネットワークシステム11は、図1に示すように、複数のローカルシステム21(21−1〜21−n)と、該複数のローカルシステム21にWAN(広域ネットワーク)25を介して接続されたサイバー攻撃対処センタ23とを備える。
【0022】
各ローカルシステム21は、一又は複数の侵入検知システム(IDS;Intrusion Detection System)31と、ファイアウオール33と、異常検出装置35と、ルータ37と、一又は複数のネットワーク機器39と、を備える。
【0023】
各IDS31は、ローカルシステム21内の機器に何らかの攻撃があったときに、攻撃元のIPアドレス、ポート番号、攻撃対象のIPアドレス、ポート番号、攻撃の内容等を示すアラート(アラート情報)を異常検出装置35に出力する。
【0024】
異常検出装置35は、IDS31から出力されるアラートに基づいて、ローカルシステム21内の異常の有無を判別し、また、発生されたアラートの情報を集約してサイバー攻撃センタ23に通知する。また、ローカルシステム21内のシステム異常を検出し、その情報を集約してサイバー攻撃センタ23に通知する。
【0025】
異常検出装置35は、図2に示すように、制御部111と、記憶部112と、通信部113と、入力部114と、表示部115とを備える。
【0026】
制御部111は、プロセッサ等から構成され、記憶部112に記憶された動作プログラムに従って後述する異常検出動作を行う。
記憶部112には、制御部111の動作プログラムと共に、1)アラート出力パターンモデル、2)アラート出力シーケンシャルパターンモデル、3)攻撃者情報1及び2、4)時間遷移モデル、が記憶されている。
【0027】
ここで、1)アラート出力パターンモデルは、図3(a)に示すように、アラートの種類の組合せと、それに対するアクションとを対応付けるモデルである。
「結論」に相当する種類のアラートが発生されたときに、それ以前のフラグ「1」が設定されている種類のアラートが出力されている場合に、対応する「アクション」を実行することを定義する。
【0028】
また、2)アラート出力シーケンシャルパターンモデルは、図3(b)に示すように、出力の順番まで考慮して、アラートの種類の組合せと、それに対するアクションとを対応付けるモデルである。登録されている順番通りにアラートが発生したときに、対応する「アクション」を実行することを定義する。
【0029】
3)攻撃者情報1は、図3(c)に示すように、攻撃者別に、どの種類のアラートを発生させたかを示す情報である。攻撃者情報2は、図3(d)に示すように、攻撃者別に、どのような順番でアラートを発生させたかを示す情報である。
【0030】
さらに、4)時間遷移モデルは、図4(a)〜(c)に示すように、IDS31から出力されるアラートの総量を予想するモデル、ルータ37等が判別するパケット量(トラヒック量;通信量)を予想するモデル、さらに、アクセス量(総アクセス量)を予想するモデル、等を含む。例えば、1日、1週間、1時間、等を1タイムスロットとして、過去の実績に基づいて、アラートの総量や、通信パケット量(トラヒック量;通信量)や、アクセス量を予想するモデルである。
【0031】
通信部113は、LAN(ローカルエリアネットワーク)を介して、ローカルシステム21内の各種装置やWAN25を介した通信を行う。入力部114は、各種情報、コマンド、等を入力する。表示部115は、各種情報を表示する。
【0032】
図1に示すファイアウオール33は、そこを通過する様々なアクセスを条件によって制限したり、あるいは内容を置き換えたりして外部からローカルシステム21を防護する。例えば、外部側の相手のIPアドレスを見て、通過を許したり許さなかったりの制御(パケット・フィルタリング)を行う。また、アクセスするプロトコル(http,SMTP,ftp,telnetなど)とアクセス方向(ローカルシステムから外部か、その逆か)に応じて通過を許したり許さなかったりの制御(アプリケーション・ゲートウエイ)を行う。なお、httpは、ホームページ送受信用のプロトコル。SMTP はインターネットメール送信のためのプロトコル。ftpは、ファイル転送用のプロトコル。telnetは、サーバにログインし、操作を行うためのプロトコルである。また、ファイアウオール33は、telnet,ftp等のセッションの履歴を取得し、異常検出装置35に履歴情報を提供する。
【0033】
ルータ37は、ローカルシステム21と外部のWAN25間の通信を可能とするものである。ルータ37は、ローカルシステム21と外部との間の通信量(パケット総量;トラヒック量)とを測定し、異常検出装置35に提供する。
【0034】
ネットワーク機器39は、クライアント端末、サーバ装置等から構成され、ローカルシステム21内部で相互にアクセスすると共にファイアウオール33、ルータ37を介して外部と通信を行う。ネットワーク機器39によるアクセス及びネットワーク機器へのアクセスの状況がIDS31により監視される。
【0035】
一方、サイバー攻撃対処センタ23は、各ローカルシステム21の各異常検出装置35の記憶部112に記憶されるモデルを適宜更新すると共にネットワーク全体を監視するためのものであり、1又は複数の侵入検知システム(IDS)31と、異常検出装置35と、ファイアウオール33と、ルータ37と、監視装置41と、攻撃者管理システム43と、DB(データベース)サーバ45と、を備える。
【0036】
侵入検知装置(IDS)31〜ルータ37までは、ローカルシステム21に配置されているものと実質的に同一である。
監視装置41は、システム全体及び各ローカルシステム21のネットワークコンデションを監視する装置であり、例えば、バッチ処理で、回帰分析等を用いたデータ・マイニング処理を行って、前述の種々のモデルを生成し、各ローカルシステム21の異常検出装置35に深夜などに配信する。
攻撃者管理システム43は、後述する攻撃者のクラスタリング結果(同一傾向の攻撃を行う攻撃者の分類)に基づいて、注視すべき攻撃者を登録する。
【0037】
DBサーバ45は、複数のローカルシステム21のIDS31から発行されたアラートの履歴、複数のローカルシステム21の異常検出装置35から出力された異常検出の通知の履歴、複数のローカルシステム21のファイアウオール33から出力されたアクセスの頻度の履歴、複数のローカルシステム21のルータ37から出力された通信パケットの総量等の情報を蓄積し、その履歴を取得する。また、DBサーバ45は、各ローカルシステム21で発生したシステム障害の情報等をも蓄積する。
【0038】
次に、上記構成のネットワーク状態監視システムによる監視動作を説明する。
まず、各ローカルシステム21内の異常検出装置35による異常検出動作を、図5〜図7のフローチャートを参照して説明する。
【0039】
まず、IDS31は、ローカルシステム21内のいずれかの機器への攻撃を検出すると、発生時間、攻撃者(IPアドレス、ポート番号)、攻撃を受けたもの(IPアドレス、ポート番号)、攻撃の内容、等を特定して、アラートを発行する。このアラートは異常検出装置35の通信部113を介して制御部111に伝達される。
【0040】
制御部111は、アラートに応答して、図5のフローチャートに示す異常検出処理を開始し、まず、アラートの内容(攻撃者、攻撃対象、アラートの種類)を特定する(ステップS11)。
次に、現在のタイムスロットのアラート数を+1する(ステップS12)。
続いて、アラート出力パターンに基づく異常検出を行う(ステップS13)。
続いて、アラート出力のシーケンシャルパターンに基づく異常検出を行う(ステップS14)。
【0041】
次に、ステップS13のアラート出力パターンに基づく異常検出処理について、図6を参照して説明する。
まず、ステップS11で特定したアラートの攻撃者をキーに、図3(c)に示す記憶部112に記憶されている攻撃者情報1を検索し、その攻撃者が過去にどのようなアラートを発生させているか、即ち、アラート発生履歴を特定する(ステップS21)。
【0042】
次に、特定した過去のアラート履歴と今回のアラートとの組合せが、図3(a)に示すアラート出力パターンモデルに登録されているか否かを判別する(ステップS22)。即ち、今回のアラートを「結論」、過去のアラート発生履歴を条件とするアラートの組合せがアラート出力パターンモデルに登録されているか否かを判別する(ステップS22)。
【0043】
登録されていれば、モデルに設定されているアクション(無視又はアラーム発生)を実行する(ステップS23)。
一方、登録されていなければ、アラームを発生する(ステップS24)。
【0044】
次に、今回のアラートが攻撃者情報1に登録されているか否かを判別し(ステップS25)、登録されていなければ、登録する(ステップS26)。
【0045】
以上の動作を具体例に基づいて説明すると、例えば、あるアラートが発生する直前の攻撃者情報1が図3(c)に示す内容で、アラート出力パターンモデルが(a)に示す内容であり、この状態で、攻撃者βによるアラートCが発生したとする。
【0046】
制御部111は、攻撃者βをキーに、攻撃者情報1を検索し、(アラートA,B,C,D...)について(1,0,0,1...)を求める(ステップS21)。(なお、フラグ「1」が過去にそのアラートが発生したことを示しているとする)。
【0047】
次に、判別した過去のアラートを条件として、今回のアラートを結果とするパターンが図3(a)のアラート出力パターンモデルに登録されているいずれかのパターンと一致するか否かを判別する(ステップS22)。すると、図3(a)の第3行に示すパターンに一致することが判別される。そこで、その行に設定されているアクションである「アラーム」が実行され、異常を示すアラームがステップS23で発行される。
【0048】
続いて、今回のアラートが攻撃者情報1に登録されているか否かを判別する(ステップS25)。この例では、図3(c)には攻撃者βとアラートCの組合せには、フラグがセットされていないので、新たにフラグをセットし、攻撃者情報1を(1,0,1、1...)に更新する(ステップS26)。
【0049】
なお、仮に、判別した過去のアラートを条件として、今回のアラートを結果とするパターンが図3(a)のアラート出力パターンモデルに登録されているいずれかのパターンと一致しない場合(ステップS22;No)は、アラームがステップS24で発行される。
【0050】
次に、ステップS14のアラート出力のシーケンシャルパターンに基づく異常検出処理について、図7を参照して説明する。
まず、ステップS11で特定したアラートの攻撃者をキーに、図3(d)に示す攻撃者情報2を検索し、その攻撃者が過去にどのよう順番でアラートを発生させているかを特定する(ステップS31)。
【0051】
次に、検索したアラートの履歴(シーケンス)の最後尾に今回発生したアラートを付け加え、アラートの新たなシーケンスを生成する(ステップS32)。
【0052】
次に、生成したアラートのシーケンスについて、アラートの取りうるシーケンシャルパターンを全て作成する(ステップS33)。仮に、n個のアラートのシーケンスが存在するとすれば、最初に、任意の2個を抽出して、これらのシーケンシャルパターンを作成する。次に、任意の3個を抽出して、これらのシーケンシャルパターンを作成する。...n個を抽出してシーケンシャルパターンを作成するまで、同様の処理を繰り返す。
【0053】
次に、ステップS33で生成した、アラートの取りうるシーケンシャルパターンのそれぞれについて、図3(b)に示すシーケンシャルモデルのいずれかに一致するか否か判別する(ステップS34)。
一致するものがあれば、モデルに設定されているアクション(無視又はアラーム発行)を実行する(ステップS35)。なお、取りうるシーケンシャルパターンの複数のものがモデルに一致する場合には、それぞれについて、アクションを実行する。
【0054】
一方、一致するものがなければ、アラームを発生する(ステップS36)。一致しないものが複数ある場合には、それぞれについて、アラームを発生する。
次に、今回のアラートを攻撃者情報2に登録する(ステップS37)。
【0055】
以上の動作を具体例で説明すると、例えば、あるアラートが発生する直前の攻撃者情報2が図3(d)に示すような内容で、アラート出力シーケンシャルパターンモデルが図3(b)に示す内容であり、この状態で、攻撃者βによるアラートCが発生したとする。
【0056】
すると、制御部111は、攻撃者がβで、アラートがCであることを判別し(ステップS11)、攻撃者βをキーに、攻撃者情報2を検索し(ステップS31)、攻撃者βによる攻撃のシーケンス(この例では、アラートA,アラートD)を求める。次に、このアラートのシーケンスの末尾に今回のアラートを追加し、(アラートA,アラートD,アラートC)というシーケンスを求める(ステップS32)。
【0057】
このアラートのシーケンスを、取りうるシーケンシャルパターンに展開し(ステップS33)、図8(a)に示す4つのシーケンシャルパターンが得られる。
次に、いずれかのパターンがシーケンシャルモデルのいずれかに合致するか否かを判別する(ステップS34)。この例では、第4行のパターン(アラートA、アラートD,アラートC)がアラート出力シーケンシャルパターンモデルの第3行のパターンに合致するので、そこに登録されているアクション「アラーム」を実行する(ステップS35)。続いて、今回のアラートを攻撃者情報2に追加し、図8(b)に示すように更新する(ステップS37)。
【0058】
なお、仮に、図8(a)に示す取りうるシーケンシャルパターンのいずれかが、図3(b)のアラート出力シーケンシャルパターンモデルのいずれにも一致しない場合(ステップS34;No)は、アラームがステップS36で発行される。
【0059】
以上で、アラート発生時の異常検出装置35の動作の説明を終了する。
【0060】
一方、異常検出装置35の制御部111は、時間遷移モデルに基づいて予め設定されているタイムスロットが終了するタイミングで、タイマ割込等に従って、図9に示す処理を実行する。
【0061】
まず、現在時刻が、時間遷移モデル上のタイムスロットのいずれに属すかを判別する(ステップS41)。
【0062】
次に、記憶部112に記憶されている現在のタイムスロットのアラート数(ステップS12でカウントされていたもの)を読み出し(ステップS42)、さらに、記憶部112に格納されている時間遷移アラートモデル(図4(a))を読み出し(ステップS43)、アラート数が予測範囲を逸脱しているか否かを判別する(ステップS44)。例えば、実際のアラート数が予測モデルが予測しているアラート数の2/3から4/3の範囲にあれば、これは予測範囲内であると判別し、また、この範囲以外であれば、予測範囲を逸脱していると判別する。実際のアラート数が予測範囲を逸脱する場合には、アラームを発生する(ステップS45)。一方、予測範囲内の場合には、例えば、何もしない。
【0063】
次に、パケットの入出力量(数)の履歴をルータ37に問い合わせて取得し(ステップS46)、記憶部112から、図4(b)に示すパケット入出量の時間遷移予測モデルを読み出し(ステップS47)、現タイムスロットの実際のパケット数が予測範囲を逸脱しているか否かを判別する(ステップS48)。例えば、実際のパケット数が予測モデルが予測しているパケット数の2/3から4/3の範囲にあれば、これは予測範囲内であると判別し、また、この範囲以外であれば、予測範囲を逸脱していると判別する。実際のパケット数が予測範囲を逸脱する場合には、アラームを発生し(ステップS49)、予測範囲内の場合には何もしない。
【0064】
次に、ファイヤウオール33に問い合わせて、現タイムスロットでのtelnet, ftp等の実際のアクセス頻度(量)を取得し(ステップS50)、記憶部112から、図4(c)に示すアクセス量の予測モデルを読み出し(ステップS51)、アクセス頻度が予測範囲を逸脱しているか否かを判別する(ステップS52)。例えば、実際のアクセス頻度が予測モデルが予測しているアクセス頻度の2/3から4/3の範囲にあれば、これは予測範囲内であると判別し、また、この範囲以外であれば、予測範囲を逸脱していると判別する。実際のアクセス頻度が予測範囲を逸脱する場合には、アラームを発生する(ステップS53)。一方、予測範囲内の場合には何もしない。
【0065】
以上で、今回の割り込み処理を終了する。
【0066】
次に、サイバー攻撃対処センタ23の動作を説明する。
前述のように、サイバー攻撃対処センタ23は、大きく分けて2つの機能を有する。第1は、前述の各異常検出装置35の記憶部112に記憶されるモデルを適宜更新する処理であり、第2は、ローカルシステム21全体を監視する処理である。
【0067】
まず、モデルを生成して、配信する処理について図10を参照して説明する。DBサーバ45は、深夜等に、全てのローカルシステム21の異常検出装置35にアクセスし、全てのログ情報(アラートログ、パケットの入出力量、エラーパケットの数、許可されていないトラヒックや許可されていてもtelnet,login,ftp等のセッションがあった場合のログ、パケットの入出量、エラーパケット数等の情報)、及び、ローカルシステム21に発生した異常の情報を取得する(ステップS61)。
【0068】
一方、監視装置41は、DBサーバ45が収集して蓄積したログに対して、データマイニングの手法を用いて、アラートの組とその結果とを対応付ける(ステップS62)。ここで、アラートの組とは、例えば、アラートの種類の組み合わせ(順番を問題としない)とアラートのシーケンス(順番を問題とする)との両方を含む。
【0069】
次に、監視装置41は、アラートの組合せの結果と任意に設定した基準とを比較して、結果が基準以上(重大)ならば、「アラームの発生」をアクションに設定し、結果が基準未満(軽微)ならば、「無視」をアクションに設定する(ステップS63)。例えば、ある特定のアラートの組合せが成立した後に、基準以上の重大な結果が発生する(蓋然性が高い)と判別された場合には、「アラームの発生」をアクションに設定する。逆に、ある特定のアラートの組合せが成立しても、なにも異変が起こらない(蓋然性が高い)と判別された場合には、「無視」をアクションに設定する。
【0070】
また、監視装置41は、アラートの履歴を攻撃者別にソートして、整理し、攻撃者情報1と攻撃者情報2とを更新する(ステップS64)。
【0071】
また、監視装置41は、収集したアラート履歴、通信パケット量、エラーパケット量、アクセス量などに基づいて、各ローカルシステム21で、今後の規定期間に発生するであろうアラートの量、通信パケットの量、アクセス量の予想値を求める(ステップS65)。この予想値を求める際には、月、日、曜日等を考慮する。これは、攻撃者は、「一定期間継続して攻撃を仕掛ける傾向」や、「複数の攻撃者が同時に攻撃を仕掛ける傾向」や「特定の曜日や時期に攻撃を仕掛ける傾向」があることに着目したものである。このようにして、時間遷移モデルを生成する。このような予想は、例えば、月、日、曜日等を説明変数に加えた回帰分析により可能である。
【0072】
このようにして、アラート出力パターンモデルと、アラート出力シーケンシャルパターンモデルと、3つの時間遷移モデルとを生成し、各異常検出装置35に配信する(ステップS66)。各異常検出装置35は、これらのモデルを受信して、記憶部112に記憶する。
【0073】
一方、攻撃者管理システム43は、図11に示すように、DBサーバ45よりアラート情報のログを受領する(ステップS71)。
【0074】
次に、図11に示すように、攻撃者別にアラートの種類とそのアラートの発生のさせ方を、図12に示すようにまとめ、アラートの発生のさせ方をベクトル化する(ステップS72)。即ち、アラートの種類別の発生回数を要素とするベクトルを生成する。各攻撃者のアラートの発生のさせ方をベクトル化する。生成されたベクトルを特徴ベクトルと呼ぶ。例えば、図12の攻撃者αであれば、(24,20,0,0)という特徴ベクトルが得られる。次に、特徴ベクトルを用いて、攻撃者をクラスタ化する(ステップS73)。即ち、各特徴ベクトルの類似度を求め(例えば、特徴ベクトルの単位ベクトル同士の内積を求めて、内積の小さいものは類似すると認定できる)、一定の基準に基づいて、類似の攻撃を行う攻撃者を1つのまとまりとして、攻撃者を分類する。さらに、図13に例示するように、クラスタ化した攻撃者を可視化して(ステップS74)、オペレータの要求に応じて、表示装置に表示する(ステップS75)。セキュリティ管理者は、分類結果を見て、攻撃者の特徴を把握し、注意が必要な攻撃者をピックアップし、今後の監視方式に役立てることができる。このような処理を行うことにより、例えば、図12の攻撃者αとγとが類似することが容易に判別できる。
【0075】
なお、アラートの発生のさせ方をベクトル化する手法は任意である。例えば、各攻撃者が単位時間に発生されたアラート数で表現することも可能である。
【0076】
監視装置41は、ネットワーク全体を監視し、各ローカルシステム21からのアラーム信号を検知し、ローカルシステム21毎及びネットワーク全体の異常状態を判別する。即ち、情報システムを概観して、正常に使われているのか、一部のサイトで異常な使われ方をしているのか、全体的に異常な使われ方をしているのか、等を判別する。そして、必要に応じて、各ローカルシステム21の異常検出のしきい値を修正したり、システム全体の安全性(ネットワークコンデンション)を調整する。
【0077】
例えば、監視装置41は、特定のローカルシステム21−kの異常検出装置35から異常状態が通知された場合に、そのローカルシステム21−kのネットワークコンデション(情報システムがどれだけ安全な状態かを示す指標)を引き上げ、そのローカルシステム21−kのIDS31のシグネチャ(攻撃と推測されるパケットの特徴をパターン化したもの)を、より危険の高い状態用のシグネチャに切り替えることを指示する。この指示に応答して、ローカルシステム21−kのIDS31は、シグネチャを切り替える。
【0078】
また、監視装置41は、例えば、特定数以上のローカルシステム21、例えば、2つ以上のローカルシステム21の異常検出装置35から異常状態が通知された場合に、本情報システムのネットワークコンデションを引き上げ、各ローカルシステム21のIDS31のシグネチャを、より危険の高い状態用のシグネチャに切り替えることを指示する。この指示に応答して、各ローカルシステム21のIDS31は、シグネチャを切り替える。
【0079】
このように、監視装置41は、情報システム全体を概観して、正常に使われているのか、一部のサイトで異常な使われ方をしているのか、全体的に異常な使われ方をしているのかを把握し、正常に使われている場合には、その状態を維持し(或いは、ネットワークコンデションを下げて)、一部のサイトで異常な使われ方をしている場合には、そのローカルサイトのネットワークコンデションのレベルを引き上げ、全体的に異常な使われ方をしている場合には、情報システム全体のネットワークコンデションを上げる等、情報システムの安全性を適宜高めることができる。
【0080】
以上、説明したように、この実施の形態によれば、IDS31のアラート出力のログを使って、アラート出力パターンモデル、アラート出力シーケンシャルパターンモデル、アラート出力量推移モデル等で表現し、各ローカルシステム21でのIDS31のアラートの出力され方の異常を検知し、対応するアクションを実行させることができる。
また、アラートが発生したときに、IDS31のアラート出力のログを使って、アラート出力パターンモデル、アラート出力シーケンシャルパターンモデルのいずれにも該当しない場合に、異常を報知させることにより、パターンモデルに登録されていない異常を検出できる。
【0081】
また、各ローカルシステム21のトラヒック(パケット量)をモデル化し、各サイトのトラヒックの異常を検知することができる。
さらに、蓄積されたファイアウオール33のログを使って、定常時の情報システムの状態(Telnet,ftpセッション等の頻度)をモデル化し、セッションの頻度の異常を検知することができる。
【0082】
さらに、監視装置で全体を監視して、システム全体のネットワークコンディションを決めることにより、IDS31のシグネチャの変更、ファイアウオール33のルール変更等のアクションを統一的に指示することができる。
また、攻撃者をアラートの特徴ベクトルで分類することにより、注視すべき攻撃者を特定しやすくなる。
【0083】
なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。
【0084】
また、コンピュータ又はコンピュータ群に、上述の動作を実行するためのプログラム、即ち、上述のマウスポインタユーティリティプログラムを格納した媒体(フレキシブルディスク、CD−ROM等)から該プログラムをインストールすることにより、上述の処理を実行するコンピュータ等を構成することができる。なお、上述の機能を、OSが分担又はOSとアプリケーションの共同により実現する場合等には、OS以外の部分のみを媒体に格納してもよい。
【0085】
なお、搬送波をプログラム信号で変調して、通信を介して配信することも可能である。
【0086】
【発明の効果】
以上説明したように、本発明によれば、信頼性の高いネットワーク状態監視システムを提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る監視システムを備えるネットワークの構成例を示す図である。
【図2】図1に示す異常検出装置の構成例を示す図である。
【図3】異常監視装置に格納されるデータの例を示す図である。
【図4】異常監視装置に格納されるデータの例を示す図である。
【図5】IDSからアラートが発生された際の異常検出装置の動作を説明するためのフローチャートである。
【図6】図5のフローチャートのうち、アラート出力パターンモデルに基づく異常検出動作を説明するためのフローチャートである。
【図7】図5のフローチャートのうち、アラート出力のシーケンシャルパターンモデルに基づく異常検出動作を説明するためのフローチャートである。
【図8】(a)は、図7のステップS33で実行されるアラートのとりうるシーケンシャルパターンを求める処理を説明するための図、(b)は攻撃者情報2の更新された状態を示す図である。
【図9】時間遷移モデルに基づく異常検出処理を説明するためのフローチャートである。
【図10】モデル更新処理を説明するための図である。
【図11】攻撃者をクラスタリングする処理を説明するための図である。
【図12】攻撃者をクラスタリングする処理を説明するための図である。
【図13】攻撃者をクラスタリングし、可視化した例を説明するための図である。
【符号の説明】
21 ローカルシステム
23 サイバー攻撃対処センタ
33 ファイアウオール
35 異常検出装置
37 ルータ
41 監視装置
43 攻撃者管理システム
45 DBサーバ

Claims (13)

  1. ネットワーク上に配置され、ネットワークへの攻撃を検出し、攻撃を検出すると、アラートを発生する侵入検知手段と、
    前記複数の侵入検知手段により発生されたアラートを特定する情報を収集するアラート情報収集手段と、
    前記アラート情報収集手段により収集されたアラートに関する情報に基づいて生成されたアラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段と、
    発生したアラートの履歴情報を取得するアラート履歴情報取得手段と、
    前記アラート履歴情報取得手段で取得されたアラート履歴情報により特定されるアラートの組合せを前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段と、
    を備えることを特徴とするネットワーク状態監視システム。
  2. 前記モデル記憶手段は、出力されたアラートの種類の組合せとアクションとを対応付けて記憶し、
    前記異常検知手段は、新たなアラートが発生した場合に、攻撃者とアラートの種類とを特定し、前記アラート履歴情報取得手段に記憶されているアラート履歴情報から、その攻撃者が過去に発行させたアラートの種類を求め、その攻撃者が過去に発行させたアラートの種類の組合せと今回のアラートの種類との組合せが、前記モデル記憶手段に記憶されているアラートの種類の組合せのいずれかに合致する場合には、登録されているアクションを実行し、いずれにも合致しない場合には、異常を通知する、
    ことを特徴とする請求項1に記載のネットワーク状態監視システム。
  3. 前記モデル記憶手段は、出力されたアラートの種類の順番とアクションとを対応付けて記憶し、
    前記異常検知手段は、新たなアラートが発生した場合に、攻撃者とアラートの種類とを特定し、前記アラート履歴情報取得手段に記憶されているアラート履歴情報から、その攻撃者が過去に発行させたアラートの種類の順番を求め、その攻撃者が過去に発行させたアラートと今回のアラートとの種類の順番が、前記モデル記憶手段に記憶されているアラートの種類の順番のいずれかに合致する場合には、登録されているアクションを実行し、いずれにも合致しない場合には、異常を通知する、
    ことを特徴とする請求項1又は2に記載のネットワーク状態監視システム。
  4. 前記モデル記憶手段は、アラートの出力量の時間推移のモデルを記憶し、
    前記異常検知手段は、前記アラート履歴情報取得手段により取得されたアラートの量と前記アラートの出力量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知する、
    ことを特徴とする請求項1、2又は3に記載のネットワーク状態監視システム。
  5. 発生したアラートの種類に基づいて、アラート発生者を分類する分類手段をさらに備える、ことを特徴とする請求項1乃至4のいずれか1項に記載のネットワーク状態監視システム。
  6. アラートの発生者別に、発生したアラートの種類と量とを求める手段と、求めたアラートの種類と量とに基づいて、同一傾向のアラートを発生する発生者を同一の分類に分類する分類手段とをさらに備える、ことを特徴とする請求項1乃至4のいずれか1項に記載のネットワーク状態監視システム。
  7. 通信量を測定する通信量測定手段をさらに備え、
    前記モデル記憶手段は、前記通信量の時間推移のモデルを記憶し、
    前記異常検知手段は、前記通信量測定手段で測定された通信量と前記通信量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知する、
    ことを特徴とする請求項1乃至6のいずれか1項に記載のネットワーク状態監視システム。
  8. アクセス量を測定するアクセス量測定手段をさらに備え、
    前記モデル記憶手段は、前記アクセス量の時間推移のモデルを記憶し、
    前記異常検知手段は、前記アクセス量測定手段で測定されたアクセス量と前記アクセス量の時間推移のモデルとを対比し、対比結果に基づいて、異常を通知する、
    ことを特徴とする請求項1乃至7のいずれか1項に記載のネットワーク状態監視システム。
  9. ネットワークへの攻撃を検出するとアラートを発生する複数の侵入検知手段から、発生したアラートの情報を収集するアラート情報収集手段と、
    前記アラート情報収集手段により収集されたアラートの情報に基づいてアラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成するモデル生成手段と、
    前記アラート情報収集手段により収集されたアラートの情報に基づいて、発生したアラートの履歴情報を生成するアラート履歴生成手段と、
    を備えることを特徴とするネットワーク状態監視システム。
  10. 前記アラート情報収集手段は、複数のローカルシステムに配置された侵入検知手段が発生したアラートの情報を収集し、
    前記モデル生成手段は、前記アラート情報収集手段により収集された複数のローカルシステムで発生したアラートの情報に基づいて、アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成する手段と、発生したアラートの履歴情報を生成する手段と、各ローカルシステムの異常検出装置に、生成したモデルと履歴情報とを提供する送信手段と、を備える、
    ことを特徴とする請求項9に記載のネットワーク状態監視システム。
  11. ネットワークへの攻撃を検出する侵入検知手段から発生されるアラートを受信するアラート受信手段と、
    前記アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段と、
    前記侵入検知手段が発生したアラートの履歴情報を記憶するアラート履歴記憶手段と、
    前記アラート受信手段で受信した新たなアラートと前記アラート履歴記憶手段に記憶されているアラートの履歴とから生成されたアラート情報を、前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段と、
    を備えることを特徴とするネットワーク状態監視システム。
  12. コンピュータ又はコンピュータ群を、
    ネットワークへの攻撃を検出するとアラートを発生する複数の侵入検知手段から、発生したアラートの情報を収集するアラート情報収集手段、
    前記アラート情報収集手段で収集されたアラートの情報に基づいて、アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを生成するモデル生成手段、
    前記アラート情報収集手段で収集されたアラートの情報に基づいて、発生したアラートの履歴情報を生成するアラート履歴生成手段、
    として機能させるコンピュータプログラム。
  13. コンピュータ又はコンピュータ群を、
    アラートの出力パターンと該出力パターンに対するアクションとを対応付けるモデルを記憶するモデル記憶手段、
    発生したアラートの履歴情報を記憶するアラート履歴記憶手段、
    ネットワークへの攻撃を検出する侵入検知手段からのアラートを受信するアラート受信手段、
    前記アラート受信手段で受信した新たなアラートと前記アラート履歴記憶手段に記憶されているアラートの履歴とから生成されたアラート情報を、前記モデル記憶手段に記憶されたモデルと対比し、いずれかのモデルに合致する場合には、登録されているアクションを実行し、いずれのモデルにも合致しない場合には、異常を検知する異常検知手段、
    として機能させるコンピュータプログラム。
JP2003125397A 2003-04-30 2003-04-30 ネットワーク状態監視システム及びプログラム Expired - Lifetime JP3697249B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003125397A JP3697249B2 (ja) 2003-04-30 2003-04-30 ネットワーク状態監視システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003125397A JP3697249B2 (ja) 2003-04-30 2003-04-30 ネットワーク状態監視システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2004336130A JP2004336130A (ja) 2004-11-25
JP3697249B2 true JP3697249B2 (ja) 2005-09-21

Family

ID=33502677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003125397A Expired - Lifetime JP3697249B2 (ja) 2003-04-30 2003-04-30 ネットワーク状態監視システム及びプログラム

Country Status (1)

Country Link
JP (1) JP3697249B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209829A (zh) * 2015-01-16 2017-09-26 三菱电机株式会社 数据判定装置、数据判定方法及程序

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2006077666A1 (ja) * 2004-12-28 2008-06-19 国立大学法人京都大学 観測データ表示装置、観測データ表示方法、観測データ表示プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP4523480B2 (ja) 2005-05-12 2010-08-11 株式会社日立製作所 ログ分析システム、分析方法及びログ分析装置
JP4887081B2 (ja) * 2006-06-12 2012-02-29 株式会社Kddi研究所 通信監視装置、通信監視方法およびプログラム
US20130074143A1 (en) * 2011-09-15 2013-03-21 Mcafee, Inc. System and method for real-time customized threat protection
JP6476143B2 (ja) * 2016-02-02 2019-02-27 日本電信電話株式会社 異常検知装置、異常検知システム、異常検知方法、及びプログラム
KR101972295B1 (ko) * 2016-06-23 2019-04-24 미쓰비시덴키 가부시키가이샤 침입 검지 장치 및 기억 매체에 저장된 침입 검지 프로그램
JP6869869B2 (ja) * 2017-10-26 2021-05-12 株式会社日立製作所 制御システムのための対策立案システムおよび監視装置
JP7034989B2 (ja) * 2019-07-22 2022-03-14 ソフトバンク株式会社 警報集約選別装置及び警報集約選別方法
AT523933B1 (de) * 2020-11-18 2022-01-15 Ait Austrian Inst Tech Gmbh Verfahren zur Klassifizierung von anomalen Betriebszuständen eines Computernetzwerks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209829A (zh) * 2015-01-16 2017-09-26 三菱电机株式会社 数据判定装置、数据判定方法及程序
CN107209829B (zh) * 2015-01-16 2019-09-06 三菱电机株式会社 数据判定装置及数据判定方法

Also Published As

Publication number Publication date
JP2004336130A (ja) 2004-11-25

Similar Documents

Publication Publication Date Title
US10476749B2 (en) Graph-based fusing of heterogeneous alerts
US11997113B2 (en) Treating data flows differently based on level of interest
US20230080471A1 (en) Endpoint agent and system
US20200244673A1 (en) Multivariate network structure anomaly detector
EP2040435B1 (en) Intrusion detection method and system
US7917393B2 (en) Probabilistic alert correlation
Hajj et al. Anomaly‐based intrusion detection systems: The requirements, methods, measurements, and datasets
US10476752B2 (en) Blue print graphs for fusing of heterogeneous alerts
CN104509034A (zh) 模式合并以识别恶意行为
KR20150091775A (ko) 비정상 행위 탐지를 위한 네트워크 트래픽 분석 방법 및 시스템
Sadighian et al. Semantic-based context-aware alert fusion for distributed Intrusion Detection Systems
Iturbe et al. Towards Large‐Scale, Heterogeneous Anomaly Detection Systems in Industrial Networks: A Survey of Current Trends
JP3697249B2 (ja) ネットワーク状態監視システム及びプログラム
Uhříček et al. Bota: Explainable iot malware detection in large networks
JP6616045B2 (ja) 異種混在アラートのグラフベース結合
JP2023050189A (ja) 脅威制御方法およびシステム
Skopik et al. Intrusion detection in distributed systems using fingerprinting and massive event correlation
Yeshwanth et al. Adoption and Assessment of Machine Learning Algorithms in Security Operations Centre for Critical Infrastructure
Lee et al. Sierra: Ranking anomalous activities in enterprise networks
WO2017176673A1 (en) Blue print graphs for fusing of heterogeneous alerts
WO2020255512A1 (ja) 監視システム、および、監視方法
Capuzzi et al. IRSS: Incident response support system
Chettiba et al. A Frequent Pattern Based Extension of Snort for Intrusion Detection
NarasimaMallikarjunan et al. Anomaly Based Intrusion Detection System using Classifiers
Singhal et al. Intrusion detection systems

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050701

R150 Certificate of patent or registration of utility model

Ref document number: 3697249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090708

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100708

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110708

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120708

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120708

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130708

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term