JP4845310B2 - 接続型ネットワークの共用出力バッファを仕切るための双モード制御システム及び方法 - Google Patents

接続型ネットワークの共用出力バッファを仕切るための双モード制御システム及び方法 Download PDF

Info

Publication number
JP4845310B2
JP4845310B2 JP2001500601A JP2001500601A JP4845310B2 JP 4845310 B2 JP4845310 B2 JP 4845310B2 JP 2001500601 A JP2001500601 A JP 2001500601A JP 2001500601 A JP2001500601 A JP 2001500601A JP 4845310 B2 JP4845310 B2 JP 4845310B2
Authority
JP
Japan
Prior art keywords
partition
buffer
switch
amount
guaranteed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001500601A
Other languages
English (en)
Other versions
JP2003501913A (ja
Inventor
ジェイムズ ピー スコット
エドワード ジー カヴァジアン
Original Assignee
ネットワーク・イクイプメント・テクノロジーズ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ネットワーク・イクイプメント・テクノロジーズ・インコーポレイテッド filed Critical ネットワーク・イクイプメント・テクノロジーズ・インコーポレイテッド
Publication of JP2003501913A publication Critical patent/JP2003501913A/ja
Application granted granted Critical
Publication of JP4845310B2 publication Critical patent/JP4845310B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q11/00Selecting arrangements for multiplex systems
    • H04Q11/04Selecting arrangements for multiplex systems for time-division multiplexing
    • H04Q11/0428Integrated services digital network, i.e. systems for transmission of different types of digitised signals, e.g. speech, data, telecentral, television signals
    • H04Q11/0478Provisions for broadband connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5638Services, e.g. multimedia, GOS, QOS
    • H04L2012/5646Cell characteristics, e.g. loss, delay, jitter, sequence integrity
    • H04L2012/5651Priority, marking, classes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5678Traffic aspects, e.g. arbitration, load balancing, smoothing, buffer management
    • H04L2012/5681Buffer or queue management
    • H04L2012/5682Threshold; Watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
(技術分野)
本発明は、一般的にはコンピュータネットワーク通信のためのハードウェア及びソフトウェアの分野に関し、特定的にはネットワーク接続に、特に、非同期転送モード(ATM)スイッチまたは他の何等かの高速ネットワーク環境に含まれるデータのバッファリングの分野に関する。
【0002】
(従来の技術)
ネットワーク通信システムは、ネットワーク内の多くのユーザを相互接続している。各ユーザは、1つのポートにおいてネットワークに接続される。ネットワークは多くのノードを相互接続することによって形成され、ある源(ソース)の1ユーザからの入力ポートにおける情報入力は、ネットワークを通してノードからノードへ、出力ポートへ、そして行先(デスティネーション)の別のユーザへ渡される。源から行先へ転送される情報はパケット化され、各ノードは入力ポートにおける入力パケットを出力ポートにおける出力パケットへスイッチする。
【0003】
ノードにおける高速パケットスイッチは、各スイッチポートにおいて数十万のパケットを転送することができる。スイッチサイズは、数ポートから数千ポートに亘っている。“高速パケットスイッチ”という用語は、可変長パケット及び固定長パケットの両方を取扱うことができるスイッチを含む。スイッチ設計を簡易化するので、固定長パケットが望ましい。短い固定長パケット(セル)を使用する高速パケットスイッチを、非同期転送モード(ATM)スイッチと呼ぶ。高速パケットスイッチは、単一の統合ネットワークにおいて異なる型の通信サービスを取扱い、これらのサービスは音声、ビデオ、及びデータ通信を含むことができる。音声及びビデオサービスは、ネットワークを通して制限された量の遅延及び遅延変動しか許容できない。ATMスイッチは、これらのサービスに特に適している。広帯域ネットワークのためのATM標準は、5バイトのヘッダーと48バイトのデータを有する合計53バイトの長さを有するセルを定義している。
【0004】
典型的なATMスイッチにおいては、セル処理機能はネットワークのノード内で遂行される。各ノードはATMスイッチであり、入力コントローラ、スイッチファブリック、出力コントローラ、及びノード制御を含む。ノード制御は、接続の確立及び解放、帯域幅予約、輻輳制御、保守及びネットワーク管理を含む機能のための使用される。
【0005】
ATMスイッチへのセルの到着はスケジュールされていない。典型的には、複数のセルが異なる入力ポートに同時に到着し、各々が同一の出力ポートを要求するかも知れない。要求が出力ポートの出力容量を越えるような動作を、出力回線争奪、または競合という。1つの出力ポートは一時に固定数のセルしか伝送することができず、伝送のために固定数のセルしか受入れることができないから、そのポートへルートされる他のどのセルも破棄するか、または待ち行列内にバッファしなければならない。トラフィックロードがスイッチにおける使用可能なシステムの資源を越えると、接続が拒絶され、性能が劣化し、そして競合がもたらされる。
【0006】
競合は、幾つかの要因によって惹起される。もしネットワーク内のノードがそれらに要求された種々のタスク(キューイングバッファ、更新テーブル等)を遂行するのに遅過ぎれば、たとえ余分なライン容量が存在しているとしても、待ち行列が累積する。もしノードがペンディングセルの推定されるロードを支援するのに十分なバッファ資源を有していなければ、ノードはそのセルをブロックする。この問題に対処する1つの使用可能な競合制御技術は、資源を事前に割振ることである。あるチャンネルがセットアップされている場合には(このセットアップはデータが実際に送られるまでしか計画されていないから、一般に“仮想チャンネル”という)、呼出し要求はネットワークを通って走行し、その後のトラフィックが辿るルートを制御する各ノードにテーブルエントリを作る。事前割振りでは、各セル要求は、全てのバッファが既に予約されていない限り、各ノード内の1つまたはそれ以上のデータバッファを予約する。もし全てのバッファが予約されていれば、別のルートを見出すか、または“使用中信号”を資源へ戻す。もし各ノード内の各チャンネル毎にバッファが予約されれば、そのノードへ到来するどのパケットをも格納する場所が常に存在する。事前割振りに伴う1つの問題は、実質的なバッファ資源が、仮想チャンネル上の何等かのトラフィックの存否には無関係に、特定の仮想チャンネル接続に割振られることである。それにも拘わらず、それらが割振られている接続が使用していない資源を、他の仮想チャンネルが使用することはできないので、資源、特にバッファ資源の使用が不十分になる。
【0007】
この問題は、データ型特性が要求されているATMネットワークにおいては悪化する。ATMフォーラムトラフィック管理仕様、バージョン4.0(1996年4月、ATMF96b、af-tm-0056.000)は、5つのサービスカテゴリ、即ち定ビットレート(“CBR”)、可変ビットレート実時間(“VBRrt”)、可変ビットレート非実時間(“VBRnrt”)、無指定ビットレート(“UBR”)、及び使用可能ビットレート(“ABR”)を定義している。
【0008】
リースされたラインサービスに類似するCBRサービスカテゴリは、接続の間絶えず静的な量の帯域幅を必要とする接続のために使用される。CBRは、そのピークセルレート(PCR)を特徴としている。典型的な応用は、ビデオ会議及びオーディオ/ビデオ分散及び検索(テレビジョン、距離学習、ペイ・パー・ビュー、ビデオ・オン・デマンド、及びオーディオライブラリ)を含む音声及びビデオを含む。CBRは接続されている期間中、絶えず静的な量の帯域幅を使用する。
【0009】
VBRrtサービスカテゴリは、厳密に制約された遅延及び遅延変動を供給するが、必ずしも固定伝送レートではない。VBRrt接続は、それらのPCR、持続セルレート(SCR)、及び最大バーストサイズ(MBS)を特徴とする。応用は、帯域幅圧縮及び無音抑圧、及び若干の型のマルチメディア通信を伴うネーティブATM音声を含む。
【0010】
VBRnrtサービスカテゴリは、フレームリレートラフィックのようなサービス保証を必要とする非実時間バースティトラフィックのために意図されたものである。VBRrtと同様に、VBRnrt接続もPCR、SCR、及びMBSを特徴とする。典型的な応用は、損失感応/遅延不感応トランザクション処理(航空機予約、銀行取引、プロセス監視)、及びフレームリレーインターネットワーキングを含む。
【0011】
最良努力サービスと呼ばれることもあるUBRサービスカテゴリは、非実時間バースティ応用のために意図されたものである。これらは遅延及び損失には寛容なテキスト、データ、及び画像転送を含み、これら自体は在宅勤務(テレコミューティング)、eメール、及び遠隔手順呼出し、分散ファイルサービス、及びコンピュータプロセススワッピング及びページングのようなスーパーコンピュータ応用を含む。他の例は、LANエミュレーション、及びLAN相互接続及びインターネットワーキングのような応用(伝送制御プロトコル/インターネットプロトコル(TCP/IP)のようなルーターをベースとするプロトコル上で走る)を含む。
【0012】
ABRサービスカテゴリは、最小セルレート(MCR)+何等かの使用可能な帯域幅を提供する。ABR接続は、PCR及びMCRの両方を特徴とし、ネットワークフィードバックに適合できる応用によって使用される。流れ制御メカニズムが、使用可能な帯域幅をABR接続の間に公平に割振る。応用は、UBRのための応用と類似している。ABRトラフィックではMCR及び何等かの使用可能な帯域幅が供給され、UBRトラフィックにおいてはスイッチは帯域幅を交渉するのに指定されたセルレートを使用する必要はない。
【0013】
常に、しかしながら競合の期間中、特定のインポートのスイッチング優先順位はCBR、VBRrt、VBRnrt、及びABR(但し、MCRの下のABRのみ)を含む“保証された”データ型に与えられ、一方UBR及び残余のABRトラフィック(MCRの上)は保証された(以下、単に「保証」という)接続契約が満たされた後に、残余の使用可能な(“非保証”)帯域幅に対してだけアクセスを得る。十分なバッファ資源が使用できない場合には、ATMスイッチはペンディングの接続をブロックする。
【0014】
トラフィックの流れ、優先順位、及びタイミングに対するこれらの特定の制約のために、共用バッファ内に(接続毎に)どれ程大きい待ち行列が成長するのを許容すべきかを決定するシステムが必要になる。遅延感応トラフィック(CBR及びVBRrt)のための待ち行列の長さは、最悪遅延を画するために厳密に制約すべきである。反対に、遅延感応トラフィック(VBRnrt、ABR、UBR)のための待ち行列の長さは、スループットを最大にしながら損失を最小にするために、もし必要ならば、極めて大きく成長することを許容すべきである。このようにするには、共用バッファの若干のパーセンテージが常に保証クラス内の接続から到着するセルのために使用可能になるように、バッファを仕切る(パーティションする)ことが不可欠である。
【0015】
従って、当分野においては、適切なデータトラフィック優先順位階層に準拠しながら、使用可能なバッファ空間を使用して競合を最小にし、接続レベルローディングパターンを変える高レベルの適応性を提供するスイッチバッファ管理及びノード制御の方法及びシステムに対する要望が存在している。更に、常にサービス保証を要求するトラフィックのためのユーザの損失及び遅延目的を支援することができ、デバイスが競合しながら動作中、優雅な性能劣化を呈する方法及びシステムに対する要望も存在している。
【0016】
(発明の概要)
使用可能な技術の欠陥に対処するために、本発明はコンピュータデータネットワーク内にバッファされた接続を与えるためのスイッチを提供する。このスイッチは、複数の入力ポート及び少なくとも1つの出力ポートを有し、少なくとも第1の入力ポートにおいて受信した第1データ型及び第2の入力ポートにおいて受信した第2データ型を格納するバッファを含み、第1データ型は第2のデータ型よりも高い優先順位レベルで上記バッファ内へ格納され、上記スイッチは更に、上記バッファを上記第1データ型のための第1の格納領域と、上記第2データ型のための第2の格納領域とに仕切るためのコントローラを含んでいる。上記コントローラは、上記バッファを少なくとも2つの手法で仕切ることができ、少なくとも一方の手法は静的仕切り(パーティション)であり、少なくとも一方の手法は適応仕切りであり、または2つの手法は静的仕切り及び適応仕切りの両者であることができる。
【0017】
本発明は、コンピュータデータネットワーク内の接続を完了するためのスイッチにおいて接続をバッファリングする方法を提供し、上記スイッチは複数の入力ポート及び少なくとも1つの出力ポートを有し、上記方法は、データバッファ内の仕切りを第1の位置にセットするステップを含み、上記仕切りはバッファ内の記憶領域を第1データ型及び第2データ型の間に分割し、それによって上記バッファが格納することができる上記第1データ型の最大量を指定し、上記方法は、第1の時点における上記第1データ型のデータロードを測定するステップと、上記最大に対する第1データ型ロード高許容レベル、及び上記第1の時点に測定された上記データロードに対する第1データ型ロード低許容レベルを指定するステップと、第2の時点における上記第1データ型のデータロードを測定するステップと、もし上記第2の時点に測定された上記データロードが少なくとも上記ロード高許容レベルにあれば、上記仕切りを第2の位置へ調整し、それによって上記バッファが格納することができる上記第1データ型の上記最大量を増加させるステップと、もし上記第2の時点に測定された上記データロードが上記ロード低許容レベルより小さいかまたは等しければ、上記仕切りを第2の位置へ調整し、それによって上記バッファが格納することができる上記第1データ型の最大量を減少させるステップとを更に含んでいる。本発明は、更に、この方法の諸ステップを実現するためにコンピュータで実現されているシステムを提供する。
【0018】
本発明の上述した、及び付加的な長所は、以下の添付図面に基づく本発明の好ましい実施の形態の詳細な説明からより明白に理解されよう。本発明は種々の変更及び代替形状が可能であるが、図面はその特定の実施の形態を例示し、それらの詳細を以下に説明する。しかしながら、この詳細な説明は本発明をこれらの特定形状に限定する意図の下になされるものではないことを理解されたい。そうではなく、本発明は、特許請求の範囲に記載の本発明の思想及び範囲内に入る全ての変更、等価、及び代替をカバーすることを意図している。
【0019】
(実施の形態)
先ず図1のブロック図を参照する。図示したデータバッファ10は仕切り境界12を有している。図示のように、バッファ10内の領域14は境界12の左側にあり、保証トラフィック(上述したように、CBR、VBRrt、及びVBRnrt、及び若干のABR)のために予約されており、一方領域16は保証されていない(以下、単に非保証という)UBR及び残余のABRトラフィックに対してアクセス可能である。図1に示す仕切り技術は、一般的に、予測されるデータフローの型及び量に基づいて高速接続特性のためにセットされる。この技術を以下に静的仕切りと称し、境界12の位置、従って領域14及び16の相対サイズはネットワークオペレータによって決定され、ネットワークデータフロー特性の変化に無関係に自動的に変更されることはない。
【0020】
ここで、ユーザは仕切り境界を配置する必要がないことに注目されたい。本発明のシステムは、各ポートにおける各トラフィック毎のオペレータが構成した容量セッティングに基づく手法で、境界12の適切な位置を計算する。従って、各ポートは、オペレータが定義したある数の異なるトラフィッククラスを、使用可能な帯域幅の変化するパーセンテージで有し、本発明のシステムは、それから関連ポートの到来(ingress )及び送出(egress)レートに従って共用バッファ10内の仕切り境界12の位置を計算する。動作例では、もしオペレータがあるポートを横切って少なくとも10%のCBRトラフィックを必要とし、選択されたポートの型がある到来レート(セル/秒)及び特定の送出レートを提供するものとすれば、本発明のシステムは、次式に従ってバッファされる占有要求(及び、従って、仕切り境界の位置)を計算する。
OfferedLoadper connection=(ingressRate * sharedBufferSize) / egressRate
【0021】
この式は、個々の接続のために、及び総合静的モード仕切り境界のために使用可能なロードを推定するために使用できることにも注目されたい。特にVBRnrtトラフィックのための接続毎の、及びクラス毎の到来ロードの推定に関する背景については、1991年9月のIEEE Journal on Selected Areas of Communications. Vol. 9, No.7に所載のGuerin, R. Ahmadi, H., Naghshineh, M. の論文“Equivalent Capacity and Its Application to Bandwidth Allocation in High-Speed Networks”を参照されたい。
【0022】
次に、図2を参照する。静的モード仕切りアプローチの使用例を示している。スイッチの活動容量を超えて接続がなされると、バッファが使用され、複数の仮想チャンネル24及び26がそれぞれ各領域14及び16内に作成され、各チャンネルはある接続を受入れるように予約される。チャンネル24を通るより多くの保証接続が領域14内の使用可能なバッファ空間を使うと、境界12によって定義された保証バッファ空間限界に到達する。境界12によってセットされた限界に到達すると、保証接続に付加的なバッファ空間を割振ることができず、付加的な保証接続を拒絶しなければならない。これは、図示のように、たとえ非保証接続バッファ領域16内に実質的な使用されないバッファ空間が存在するとしてもである。このようにバッファの使用が不十分であると呼出しをブロックする可能性が最適よりも高くなり、従って望ましくない。
【0023】
静的バッファ仕切りの明白な欠点にも拘わらず、特に本発明の方法及びシステムによって実現されるような、若干の望ましい品質が存在している。例えば、静的仕切りによってネットワークオペレータは、任意の時点に少なくとも最小量の保証接続が、重要な保証接続バッファのために構成されたスイッチを横切って実行可能であることをネットワークユーザが保証するのを可能にする。また静的仕切りは、スイッチング時間を仕切り境界のセッティングに専用する必要がないので、高速である。従って、オペレータが定義した最小バッファリング特性を可能にしたまま、より効率的にバッファを使用して呼出しブロッキングの可能性を減少させ得るようにする計画に対する要望も残されている。
【0024】
この要望に対処するために、本発明は、スイッチングシステム内に第2の適応バッファ管理アプローチを設け、静的及び適応の両バッファ管理を行わせる。適応モードバッファリングを図3A及び図3Bに示す。図3Aに示すように、静的モード仕切りのために計算されたセット仕切りの代わりに、先ず最小トリガリングしきい値Threshmin、及び最大トリガリングしきい値Threshmaxをネットワークオペレータによってセットするか、または省略時レベルにセットする。各保証接続毎の計算された待ち行列ロードを追跡することによって、システムはそれらの保証を支援するのに必要なバッファ空間(周囲ロード)の量の推定を維持することができる。次いで、システムは、付加的な保証トラフィックを受入れるために、バッファ仕切りの位置を移動させることが必要か否かを決定する。
【0025】
Threshmin及びThreshmaxを生成するために使用されるDeltamin及びDeltamaxは、好ましくは0からバッファサイズまでの整数値である。DeltaminはDeltamaxより小さいか、または等しく、周囲ロードより下の固定オフセットを表していて最小しきい値として役立つ。もし現周囲ロードがしきい値Threshmin(仕切り境界が最後に計算された時点に測定された周囲よりDeltaminの距離に位置している)以下に低下すれば、その仕切りは下方に移動して保証接続のために使用可能なバッファ空間の量が減少し、一方非保証接続のために使用可能な量が増加する。同様に、図示のように、Deltamaxは仕切り位置の下の固定オフセットを表し、それによってThreshmaxを定義している。従って、周囲ロードがThreshmaxを越えて移動仕切り32(全ての遅延感応保証トラフィックを受入れるのに必要な最小空間が得られるように、始めにある点にセットされている)に接近すれば、しきい値及び仕切り位置の移動が実施され、図3Bに示すように保証バッファ領域34のサイズが拡張される。保証バッファ領域が成長すると、非保証ABR及びUBRトラフィックのために使用可能な領域が減少する。
【0026】
オペレータによってセットされる仕切り拡大縮小係数は、図3Bに“Factor”によって示されている。好ましい実施の形態では、Deltamin、Deltamax、及び拡大縮小係数は、入力メカニズム(図示してないが、本発明が関連する分野に精通していれば理解されよう)を介してネットワークオペレータまたは他のユーザによって予め決定されている。拡大縮小係数は、好ましくは0と1との間の浮動小数点値であり、保証仕切りが変更される度毎に拡大、または縮小させるバッファ空間のパーセンテージを決定するために使用される拡大縮小係数を表している。Deltaminがトリガされると、古い仕切りに量(1−係数)を乗ずることによって新しい仕切りが計算される。同様に、図3Bに示すように、Deltamaxがトリガされると、古い仕切りに量(1+係数)を乗ずることによって新しい仕切りが計算される。
【0027】
上述したメカニズムによって、本発明の方法及びシステムは、適応モードバッファ仕切りの感応性を調整するためのメカニズムを提供する。Deltamin及びDeltamaxの変化は適応仕切りの応答性に直接影響し、仕切り再計算の頻度を増加または減少させる。また、以下に説明するように。仕切り計算頻度が増加すると、仕切りの変化によってもたらされる待ち時間が比例的に増加する。
【0028】
本発明の方法及びシステムでは、ネットワークオペレータが、好ましくは静的モード仕切りと適応モード仕切りとの間を選択する。もし静的モードで動作していれば、本発明のシステムは、オペレータが提唱する仕切り位置の変更を進めることができるようになる前に、その変更が既存接続の要求を侵害しないことを確認する。もしその変更がシステムによって受入れられれば、仕切りは新しい構成に従って更新され、それによってオペレータの観測したバッファローディングパターンに適合するようにバッファ使用の静的モード調整が可能にされながら、高速接続が確立される。もし適応モードで動作していれば、オペレータは3つの構成可能なパラメータ、Factor、Deltamin、及びDeltamaxをセットすることも、またはシステムによってセットされる省略時パラメータに頼ることもできる。
【0029】
本発明の適応バッファ管理に伴う1つのそれ程重要ではないコストは、接続のセットアップ中にこれらのセットアップ経路内に周期的に待ち時間を注入することであり、これが共用バッファ仕切りを再計算させることになる。しかしながら、このような遅延が受入れられない場合でも、静的モード仕切りは本発明の双モードシステムの一部として使用可能のままである。
【0030】
図4に、本発明のシステムによって実施される制御ステップを示す。図4に示すステップは、状態マシンとして好ましく実現されており、図の各要素が説明に従って機能する2元フラグまたはビットを表していることに注目されたい。しかしながら代替として、図示したステップの流れは、処理ユニットによって実行される純粋なソフトウェアとして実現することもできる。この同等をより良く説明するために、図は一連のステップを記述している。当分野に精通していれば、各要素が、コントローラの状態に従って高または低にセットされるビットを表すことができることが容易に理解できよう。
【0031】
mgmtModeステップ40において、上述したような静的動作モードと適応動作モードとの間の選択がなされる。もし静的モードが選択されれば、システムはステップdiscardDefined42において何れかの既存仕切りパラメータを検査する。もし既存のパラメータが見出されなければ、ステップgenStaticThreshold44において、ポート毎の構成データが配置され、上述したように共用バッファ仕切りが計算される。ステップupdate database46においてシステムデータベースが更新されると、呼出し処理か開始される。
【0032】
ステップ42において、もし既存仕切りパラメータが配置されれば、ステップcheckConfig48において検査が遂行され、最後の検査以降に構成変化(例えば、特定のトラフィック型のためにあるポートのポート毎の容量の変化)がなされたか否かが決定される。もし否であれば、呼出し処理が開始される。もし変化が見出されれば、ステップvalidateConfig50において、処理された構成が既存保証トラフィックロードの要求に関して検査される。もし有効構成が見出されれば、ステップ44及び46の後に呼出し処理が開始される。もし否であれば、ステップlog event & rollback database52においてイベントがログされ、オペレータに通知され、システムは最後の有効構成へロールバックされ、そして呼出し処理が開始される。
【0033】
ステップ40においてもし適応モードが選択されれば、ステップcheckEstXCs54において呼出し制御データベースの検査が実行され、調べられているスイッチラインカードの何れかのポート上に何等かのクロス接続(ネットワーク制御機能に専用されている仮想チャンネルによって使用されているもの以外)が存在するか否かが決定される。もし何も見出されなければ、システムはステップdiscardDefined56において何れかの既存仕切りパラメータを検査する。もしこれらの既存パラメータが見出されなければ、ステップgenerate Adaptive Threshold58において、ポート毎の構成データが配置され、初期共用バッファ状態が計算される。もし先行状態が存在すれば、それはステップvalidateConfig60において検査され、その既存状態が既存保証トラフィックのサービス要求を支援できるか否かが決定される。もし支援できれば、ステップ59においてそのデータベースが更新され、制御の流れは通常の呼出システム処理へ進む。もし支援できなければ、ステップlog event & rollback database62においてイベントがログされ、オペレータに通知され、システムは最後の有効構成へロールバックされ、そして呼出し処理が開始される。
【0034】
もし何れかのポート上にクロス接続が見出されれば、ステップ64において現周囲ロードが検査され、それがDeltamax以内にあるのか、または既存の共用バッファ仕切り境界より大きいのかが決定される。もし現周囲ロードが最大しきい値より上であれば、ステップ66において破棄サブシステムの既存状態が調べられ、それらの意味(セマンティックス)が適応モードにおいて予測されるものに準拠することを確認する。もし意味が予測されるものであれば、ステップ58において破棄状態が再生され、現周囲ロード要求が保証トラフィックに合致される。もし意味が適応モード要求に準拠しなければ、ステップ68においてオペレータに通知され、システムは最後の有効構成へロールバックされ、そして呼出し処理が開始される。もし現周囲ロードが共用バッファ仕切り境界を再計算することを要求しなければ、ステップ70において、解析中のラインカードのための先行構成と現構成とが比較され、物理的ポートが追加または削除されたか否かが決定される。もし諾であれば、システムの送出レートが変化したのであり、ステップ58において破棄サブシステムの現状態を再生しなければならない。もし構成が変化していなければ、通常の処理が開始あれる。
【0035】
図4を参照して上述した静的及び適応モードの初期状態、処理の流れ、及び状態マシンは、以下のように類別し、記述することができる。
【0036】
静的モード初期状態
静的状態は、3つの初期状態の何れからも開始するすることができる。
a)始動時から静的モード
ラインカード上の何等かの回路の確立の前にそのカードが初期化され、ネットワークオペレータが共用バッファ管理の静的モードを選択すると、コントローラは始動状態になる。この状態が検出されると、コントローラによって生成された破棄サブシステム状態はそのラインカード上の物理的ポートの既存構成を反映する。これらのポート構成は、工場省略時値であることも、またはネットワークオペレータによって予測されたトラフィック混合を反映しているオペレータ指定値であることもできる。
b)適応モードからトグルした静的モード
スイッチの動作中のどの時点においても、ネットワークオペレータは、‘mgmtMode’ビットをリセットして静的バッファ管理が好ましいことをコントローラに通知することができる。これは、共用バッファ仕切り、及び適応モードメカニズムを介してロードパターンを変化させるように先に適応させた関連接続毎のバッファしきい値を“凍結”する能力をオペレータに与える。この状態で動作している場合、デバイスは静的モードのために構成されているが、破棄サブシステムの状態はポートセッティング(これは構成することも、構成しないこともできる)との相関は有していない。この状態は、ネットワーク関連性能問題をデバッグするのに大いに有用である。
c)静的モードから静的モードの再表明
この状態によりネットワークオペレータは、ラインカードの送出レート特性が変更された(物理的ポートの追加または削除として)場合に、破棄サブシステム状態を再生することが可能になる。即ち、この状態が検出された時、その後に生成される破棄サブシステムは、現ポート及びラインカード構成に基づいている。静的モードで動作している時には、Factor、Deltamin、及びDeltamaxパラメータの値は、関係がないことに注目されたい。
【0037】
適応モード初期状態
静的モードと同様に、適応モードは3つの初期状態からトリガすることができる。
d)始動から適応モード
適応モードは、スイッチ上に先行状態が存在せずに開始することができる。この場合には、初期共用バッファ仕切り境界は、遅延感応トラフィック(CBR、VBRrt)のための空間だけが事前割振りされるようにセットされる。予約されたセルバッファ位置の量はラインカードの送出レートの関数として変化するが、全ての場合にこの値が数百セル位置程度であることに注目されたい。これにより、非保証トラフィックは、遅延不感応保証クラス(VBRnrt及びABR)から確立された接続が存在しないようなシナリオで全共用バッファ空間を仮想的に集めることが可能になる。
e)静的モードからトグルした適応モード
この状態では、使用される初期構成セッティングは、先行ポートセッティングから導出された、静的モードのために先に生成されたものである。事実、このモードは、予め定義された破棄状態(静的モード)を使用してラインカードの動作を開始させ、その後に適応挙動へ移行させる能力をネットワークオペレータに与える。
f)適応モードから適応モードの再表明
静的モードにおける類似状態と同様に、この状態は、トラフィックがあるラインカードの他のポートを横切っている間にそのラインカードの送出レート特性が変更されれば、破棄サブシステム状態を強制的に再生させるメカニズムをネットワークオペレータに与える。この状態では、破棄状態は、周囲ロード条件に基づいてコントローラによって再計算される。
【0038】
現在では好ましい省略時セッティングは、以下に示すようであることに注目されたい。これらの値は、本発明の方法及びシステムを用いて付加的な経験がえられるにつれて変化させることができる。
パラメータ 値 単位
静的モード: N/A
Factor 0.25 (スカラー)
Deltamin 2500 (セル/秒)
Deltamax 5000 (セル/秒)
【0039】
以上のように、本発明は接続型ネットワーク接続デバイスにおける共用出力バッファの双モード仕切りのための新規な方法及びシステムを提供している。本発明を好ましい実施の形態に関して説明したが、特許請求の範囲内で種々の変化及び変更が可能である。従って、特許請求の範囲に記載の全ての手段またはステップ、プラス機能要素の対応する構造、材料、動作、及び等価は、特に記載されている他の要素と組合わせた何等かの構造、材料、または機能を遂行するための動作をも含むことを意図している。
【図面の簡単な説明】
【図1】 仕切られた接続バッファを示すブロック図である。
【図2】 静的モードにおいて、保証及び非保証データトラフィックのために複数のチャンネルに分割された図1の接続バッファを示すブロック図である。
【図3】 A及びBは、本発明の方法及びシステムのバッファ破棄管理及び制御の適応モードを示す図である。
【図4】 本発明の方法の性能特性を反映している状態マシンを表す流れ図である。

Claims (3)

  1. コンピュータデータネットワーク内の接続を完了させるためのスイッチにおいて、上記スイッチは複数の入力ポート及び少なくとも1つの出力ポートを有し、接続をバッファする方法であって、上記方法は、
    共用出力バッファ内の第1の位置に仕切りを設定するステップを含み、上記仕切りは上記共用出力バッファ内の格納領域を保証データ型及び非保証データ型の間に分割し、それによって上記共用出力バッファが格納することができる上記保証データ型の最大量を指定し、
    上記方法は、更に、
    第1の時点における上記保証データ型のバッファ空間の量を測定し、上記共用出力バッファの推定ロード量を決定するステップと、
    上記保証データ型の上記最大量に対する保証データ型ロード量の高許容レベルを設定し、さらに、上記第1の時点において測定された上記バッファ空間の量に対する保証データ型ロード量の低許容レベルを設定するステップと、
    第2の時点における上記保証データ型の上記バッファ空間の量を測定するステップと、を含み、
    もし上記第2の時点において測定された上記バッファ空間の量が少なくとも上記ロード量の高許容レベルにあれば、上記共用出力バッファが格納することができる上記非保証データ型の最大量を減少させるために、上記仕切りを第2の位置へ調整し、
    もし上記第2の時点において測定された上記バッファ空間の量が上記ロード量の低許容レベルより小さいか、または等しければ、上記共用出力バッファが格納することができる上記非保証データ型の最大量を増加させるために、上記仕切りを第3の位置へ調整する、ことを特徴とする方法。
  2. コンピュータデータネットワーク内にバッファされた接続を設けるためのスイッチであって、上記スイッチは複数の入力ポート及び少なくとも1つの出力ポートを有し、上記スイッチは、
    少なくとも、時間感応保証データトラフィックと時間非感応非保証データトラフィックとの両方を格納するための共用出力バッファと、
    ユーザの入力に応じて静的仕切りモード及び適応仕切りモードの両方において上記スイッチを操作するコントローラであって、さらに、保証データのための第1の割り当て部と非保証データのための第2の割り当て部とに上記共用出力バッファを仕切るコントローラとを備え、
    上記コントローラは、
    上記適応仕切りモードの選択を検出するとともに、上記保証データトラフィックのバッファ空間の量にしたがって、上記共用出力バッファを再度仕切り、
    上記スイッチのポート上のクロス接続の存在を判定し、クロス接続が存在しない場合には、当該ポート毎の構成データが配置され、初期共用バッファ状態が計算されるよう構成されている状態マシンを具備しており、
    さらに、上記コントローラは、上記保証データを支持するのに必要な上記バッファ空間の量に基づいて仕切りの位置を切替えることで、上記保証データのための上記割り当て部の大きさを増加させて追加の保証データトラフィックを調整し、さらに、上記割り当て部の大きさを減少させて保証データトラフィックをより少なく調整することを特徴とするスイッチ。
  3. 上記状態マシンは、上記ユーザの入力に対して、当該入力が構成可能なパラメータ、Factor、Deltamin、及びDeltamaxのうちの一つであることを確認する意味的チェックを実行し、意味的に妥当ではないことを検出した場合には上記ユーザに対して通知を行うよう構成されていることを特徴とする請求項2に記載のスイッチ。
JP2001500601A 1999-05-28 2000-05-26 接続型ネットワークの共用出力バッファを仕切るための双モード制御システム及び方法 Expired - Lifetime JP4845310B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/321,904 1999-05-28
US09/321,904 US6466579B1 (en) 1999-05-28 1999-05-28 Bi-modal control system and method for partitioning a shared output buffer in a connection-oriented network connections device
PCT/US2000/014547 WO2000074433A1 (en) 1999-05-28 2000-05-26 Bi-modal control system and method for partitioning a shared output buffer in a connection-oriented network

Publications (2)

Publication Number Publication Date
JP2003501913A JP2003501913A (ja) 2003-01-14
JP4845310B2 true JP4845310B2 (ja) 2011-12-28

Family

ID=23252549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001500601A Expired - Lifetime JP4845310B2 (ja) 1999-05-28 2000-05-26 接続型ネットワークの共用出力バッファを仕切るための双モード制御システム及び方法

Country Status (7)

Country Link
US (2) US6466579B1 (ja)
EP (1) EP1183901A1 (ja)
JP (1) JP4845310B2 (ja)
AU (1) AU5589700A (ja)
IL (2) IL146765A0 (ja)
RU (1) RU2001135832A (ja)
WO (1) WO2000074433A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771602B1 (en) * 1999-11-29 2004-08-03 Lucent Technologies Inc. Method and apparatus for dynamic EPD threshold for UBR control
US6892243B1 (en) * 1999-12-21 2005-05-10 Intel Corporation Prioritizing data transfers over data buses
US6738386B1 (en) * 2000-05-11 2004-05-18 Agere Systems Inc. Controlled latency with dynamically limited queue depth based on history and latency estimation
US6765922B1 (en) * 2000-09-08 2004-07-20 Hewlett-Packard Development Company, L.P. Speculative transmit for system area network latency reduction
US20030072260A1 (en) * 2000-10-06 2003-04-17 Janoska Mark William Multi-dimensional buffer management hierarchy
US8670390B2 (en) 2000-11-22 2014-03-11 Genghiscomm Holdings, LLC Cooperative beam-forming in wireless networks
US20080095121A1 (en) * 2002-05-14 2008-04-24 Shattil Steve J Carrier interferometry networks
DE10062640B4 (de) * 2000-12-15 2006-11-02 Infineon Technologies Ag Verfahren zur zeitlichen Steuerung der Ausgabe von Datenpaketen aus Netzknoten, Netzknoten und konfiguriertes Netz
US9819449B2 (en) 2002-05-14 2017-11-14 Genghiscomm Holdings, LLC Cooperative subspace demultiplexing in content delivery networks
US10931338B2 (en) 2001-04-26 2021-02-23 Genghiscomm Holdings, LLC Coordinated multipoint systems
US10355720B2 (en) 2001-04-26 2019-07-16 Genghiscomm Holdings, LLC Distributed software-defined radio
US9893774B2 (en) 2001-04-26 2018-02-13 Genghiscomm Holdings, LLC Cloud radio access network
US10425135B2 (en) 2001-04-26 2019-09-24 Genghiscomm Holdings, LLC Coordinated multipoint systems
KR100434053B1 (ko) * 2001-12-31 2004-06-04 엘지전자 주식회사 Is-95a/b 보코더
DE10219359B4 (de) * 2002-04-30 2007-05-03 Advanced Micro Devices, Inc., Sunnyvale Vorrichtung und Verfahren mit einem Queuemechanismus
US9628231B2 (en) 2002-05-14 2017-04-18 Genghiscomm Holdings, LLC Spreading and precoding in OFDM
US10200227B2 (en) 2002-05-14 2019-02-05 Genghiscomm Holdings, LLC Pre-coding in multi-user MIMO
US9136931B2 (en) 2002-05-14 2015-09-15 Genghiscomm Holdings, LLC Cooperative wireless networks
US9270421B2 (en) 2002-05-14 2016-02-23 Genghiscomm Holdings, LLC Cooperative subspace demultiplexing in communication networks
WO2003096676A1 (en) * 2002-05-14 2003-11-20 Koninklijke Philips Electronics N.V. Method of processing data of at least one data stream, data storage system and method of use thereof
US10644916B1 (en) 2002-05-14 2020-05-05 Genghiscomm Holdings, LLC Spreading and precoding in OFDM
US10142082B1 (en) 2002-05-14 2018-11-27 Genghiscomm Holdings, LLC Pre-coding in OFDM
US9225471B2 (en) 2002-05-14 2015-12-29 Genghiscomm Holdings, LLC Cooperative subspace multiplexing in communication networks
US8942082B2 (en) 2002-05-14 2015-01-27 Genghiscomm Holdings, LLC Cooperative subspace multiplexing in content delivery networks
US6928495B2 (en) 2002-09-27 2005-08-09 Broadcom Corporation Method and system for an adaptive multimode media queue
US6848012B2 (en) * 2002-09-27 2005-01-25 Broadcom Corporation Method and system for an adaptive multimode media queue
US11184037B1 (en) 2004-08-02 2021-11-23 Genghiscomm Holdings, LLC Demodulating and decoding carrier interferometry signals
US11552737B1 (en) 2004-08-02 2023-01-10 Genghiscomm Holdings, LLC Cooperative MIMO
US11381285B1 (en) 2004-08-02 2022-07-05 Genghiscomm Holdings, LLC Transmit pre-coding
US7551623B1 (en) * 2005-01-31 2009-06-23 Packeteer, Inc. Modulation of partition parameters achieving delay-based QoS mechanism
US7953002B2 (en) * 2005-11-10 2011-05-31 Broadcom Corporation Buffer management and flow control mechanism including packet-based dynamic thresholding
US7953008B2 (en) * 2005-11-10 2011-05-31 Broadcom Corporation Cell copy count hazard detection
US8077610B1 (en) * 2006-02-22 2011-12-13 Marvell Israel (M.I.S.L) Ltd. Memory architecture for high speed network devices
CN100596237C (zh) * 2007-07-05 2010-03-24 华为技术有限公司 扇区前向负载的度量方法及装置、控制方法及装置
US7562168B1 (en) 2008-05-29 2009-07-14 International Business Machines Corporation Method of optimizing buffer usage of virtual channels of a physical communication link and apparatuses for performing the same
EP2374246B1 (en) * 2009-01-02 2012-10-03 Telefonaktiebolaget L M Ericsson (publ) Admission control systems and methods
US8830929B2 (en) * 2010-06-16 2014-09-09 Texas Instruments Incorporated Intentional idle gaps in coexisting wireless networks
US8856420B2 (en) * 2011-12-27 2014-10-07 Intel Corporation Multi-protocol I/O interconnect flow control
US10243773B1 (en) 2017-06-30 2019-03-26 Genghiscomm Holdings, LLC Efficient peak-to-average-power reduction for OFDM and MIMO-OFDM
US10637705B1 (en) 2017-05-25 2020-04-28 Genghiscomm Holdings, LLC Peak-to-average-power reduction for OFDM multiple access
US10608943B2 (en) * 2017-10-27 2020-03-31 Advanced Micro Devices, Inc. Dynamic buffer management in multi-client token flow control routers
US11917604B2 (en) 2019-01-25 2024-02-27 Tybalt, Llc Orthogonal multiple access and non-orthogonal multiple access
US11343823B2 (en) 2020-08-16 2022-05-24 Tybalt, Llc Orthogonal multiple access and non-orthogonal multiple access
WO2020154550A1 (en) 2019-01-25 2020-07-30 Genghiscomm Holdings, LLC Orthogonal multiple access and non-orthogonal multiple access
WO2020242898A1 (en) 2019-05-26 2020-12-03 Genghiscomm Holdings, LLC Non-orthogonal multiple access

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07226770A (ja) * 1991-08-02 1995-08-22 At & T Corp パケット交換装置およびその制御方法
JPH1065741A (ja) * 1996-08-19 1998-03-06 Yokogawa Electric Corp ネットワーク中継装置
JPH10271114A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp パケット通信方式およびatm交換機
JPH1117708A (ja) * 1997-06-11 1999-01-22 Samsung Electron Co Ltd Atmスイッチシステムの入力バッファ制御装置及び論理バッファサイズ決定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995012165A1 (en) * 1993-10-22 1995-05-04 Gestalt Technologies, Incorporated Distributed management in a partitioned memory system
US5517495A (en) * 1994-12-06 1996-05-14 At&T Corp. Fair prioritized scheduling in an input-buffered switch
US5732087A (en) * 1996-05-10 1998-03-24 Mitsubishi Electric Information Technology Center America, Inc. ATM local area network switch with dual queues
US6308228B1 (en) * 1998-11-23 2001-10-23 Duke University System and method of adaptive message pipelining

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07226770A (ja) * 1991-08-02 1995-08-22 At & T Corp パケット交換装置およびその制御方法
JPH1065741A (ja) * 1996-08-19 1998-03-06 Yokogawa Electric Corp ネットワーク中継装置
JPH10271114A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp パケット通信方式およびatm交換機
JPH1117708A (ja) * 1997-06-11 1999-01-22 Samsung Electron Co Ltd Atmスイッチシステムの入力バッファ制御装置及び論理バッファサイズ決定方法

Also Published As

Publication number Publication date
EP1183901A1 (en) 2002-03-06
WO2000074433A1 (en) 2000-12-07
RU2001135832A (ru) 2003-07-27
US6650645B2 (en) 2003-11-18
AU5589700A (en) 2000-12-18
IL146765A0 (en) 2002-07-25
JP2003501913A (ja) 2003-01-14
US20030048798A1 (en) 2003-03-13
US6466579B1 (en) 2002-10-15
IL146765A (en) 2007-05-15

Similar Documents

Publication Publication Date Title
JP4845310B2 (ja) 接続型ネットワークの共用出力バッファを仕切るための双モード制御システム及び方法
US5629928A (en) Dynamic fair queuing to support best effort traffic in an ATM network
JP3525656B2 (ja) パケット交換機、および輻輳通知方式
JP3070677B2 (ja) 非同期転送モード(atm)スイッチのためのマルチクラスコネクション受付制御方法及びatmスイッチ
JP2500097B2 (ja) パケット通信ネットワ―ク
US5553061A (en) Packet processor having service priority and loss priority features
US5757771A (en) Queue management to serve variable and constant bit rate traffic at multiple quality of service levels in a ATM switch
EP0872988B1 (en) A method for supporting per-connection queuing for feedback-controlled traffic
US5487061A (en) System and method for providing multiple loss and service priorities
US6141322A (en) Method and apparatus for precedence and preemption in ATM connection admission control
US20030198241A1 (en) Allocating buffers for data transmission in a network communication device
JPH08331154A (ja) 最大−最小公平割当を行うパケット交換ネットワーク用混雑制御システムおよび方法
JPH08251233A (ja) メモリ割り付けを改善したパケット通信システム及び方法
US6704316B1 (en) Push-out technique for shared memory buffer management in a network node
JPH0744542B2 (ja) 非同期転送モードにおける仮想パスの帯域割当方式
JPH1070555A (ja) 交換組織とポート・カードを有するシステムにおけるデータ通信の方法
US20040202169A1 (en) ATM communication apparatus and ATM cell forwarding control method
JP3949282B2 (ja) 資源を共有するシステムにおけるサービス要求受付管理方法
JP2003501912A (ja) 公平な破棄システム
US6246687B1 (en) Network switching system supporting guaranteed data rates
KR100429897B1 (ko) 공유 버퍼형 스위치의 적응 버퍼 배분 방법 및 이에사용되는 스위치
Bian et al. Dynamic flow switching. A new communication service for ATM networks
EP0838970B1 (en) Method for shared memory management in network nodes
Chen et al. A scheme for QoS control in ATM switching systems
Zukerman et al. A shared medium multi-service protocol

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100813

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100902

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110517

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4845310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term