JP2007512719A - ネットワーク・スイッチにおいて帯域幅を保証しかつオーバーロードを防止する方法と装置 - Google Patents
ネットワーク・スイッチにおいて帯域幅を保証しかつオーバーロードを防止する方法と装置 Download PDFInfo
- Publication number
- JP2007512719A JP2007512719A JP2006523205A JP2006523205A JP2007512719A JP 2007512719 A JP2007512719 A JP 2007512719A JP 2006523205 A JP2006523205 A JP 2006523205A JP 2006523205 A JP2006523205 A JP 2006523205A JP 2007512719 A JP2007512719 A JP 2007512719A
- Authority
- JP
- Japan
- Prior art keywords
- queue
- queues
- egress
- tier
- ingress
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/39—Credit based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/43—Assembling or disassembling of packets, e.g. segmentation and reassembly [SAR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/52—Queue scheduling by attributing bandwidth to queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/6215—Individual queue per QOS, rate or priority
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6255—Queue scheduling characterised by scheduling criteria for service slots or service orders queue load conditions, e.g. longest queue first
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/25—Routing or path finding in a switch fabric
- H04L49/253—Routing or path finding in a switch fabric using establishment or release of connections between ports
- H04L49/254—Centralised controller, i.e. arbitration or scheduling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3045—Virtual queuing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/10—Packet switching elements characterised by the switching fabric construction
- H04L49/101—Packet switching elements characterised by the switching fabric construction using crossbar or matrix
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【選択図】 図14
Description
本発明の実施形態は、データ転送のためのQoS保証を実装しかつ所定のタイムスロットの間にどの待ち行列を提供するかを公正に決定するために使用され得る設定可能な加重された分散スケジューリング方法及びシステムを規定する。
図2は、本発明の一実施形態によるシステム100のブロック図を示す。図2のシステム100は、ある実施形態ではチップである幾つかのモジュラ・コンポーネントを含む。図2のシステム100は、1つまたは複数のイングレス・チップ102と、1つまたは複数のエグレス・チップ104と、アービタ・チップ106と、任意のイングレス102を任意のエグレス104へパイプライン110を使用して接続することができる共有スイッチまたはクロスバー・チップまたはリンク108とを含む。さらに各イングレス102は、関連の転送エンジンまたは待ち行列マネージャ112を有する可能性がある。データ・パケットはトラフィック・ソース114からイングレス102へ入り、エグレス・チップ104からトラフィック出力116へ出る。複数のイングレス102は、共有リンク108上で複数のエグレス104へリンクされることが可能である。例えば、ある実施形態では、64個のイングレス102が共有リンク108上で64個のエグレスへリンクされることが可能である。
図4Aは、本発明のオペレーションの一実施形態を示すフローチャートである。概して本発明は、各待ち行列の保証レートを上記待ち行列の待ち行列メトリック情報を基礎として計算することと(ブロック200)、所定のタイムスロットの間の各待ち行列の優先順位を上記待ち行列の保証レートを基礎として計算することと(ブロック202)、所定のタイムスロットの間にサービスする待ち行列を上記各待ち行列の優先順位を基礎として決定すること(ブロック204)を含む。
システム100のイングレス102の待ち行列に関する保証レートの計算に際しては、本発明の範囲内で幾つかの方法を使用可能である。概して、保証レートは帯域幅を割り当てる、故にQoS保証を維持するために使用される。ここでは、帯域幅を保証する4方法、即ち(1)単一の待ち行列について帯域幅を保証する方法、(2)エグレスについて帯域幅を保証する方法、(3)イングレスについて帯域幅を保証する方法及び(4)待ち行列グループについて帯域幅を保証する方法について論じる。図5は、帯域幅を保証するこれらの方法のうちの最初の3方法を描いたものである。
イングレス内の特定の待ち行列Qの帯域幅を保証するために、上記待ち行列の保証レートは、幾つかのタイムスロットに関して一定のままであることが可能な適切な値gqに設定される。このような定値gqは、待ち行列へ入るフローが少なくともgqに等しい到着レートを有するという条件で、任意の妥当な長い時間期間に渡って上記待ち行列が取得する平均帯域幅はgqであることを保証する。例えば、ある例では、0.25Gbpsの帯域幅レートを妥当に長い時間期間に渡って待ち行列へ割り当てるために、値gqは0.25Gbpsに設定されることが可能である。図5は、ブロック502における値gqの設定行為を描いている。
図6Aは、特定のエグレスE1の帯域幅を保証する一実施形態を例示している。このような実施形態では、単一のエグレスE1の帯域幅は、任意の1つまたは複数のイングレスI1、I2からのパケットがエグレスE1へ送信され得るように保証される。図6AのイングレスI1は3つの待ち行列、即ち待ち行列Q1、Q2、Q3を含み、各待ち行列は所定のCOS及び所定のエグレスに関連づけられる。例えば、この実施形態において、パケットは、パケットのCOSだけでなく、パケットの宛先であるエグレスにも依存して待ち行列内にバッファされる。例えば、図6Aの待ち行列Q1はエグレスE1に関連づけられ、かつCOS1を有する。待ち行列Q2はエグレスE2に関連づけられてCOS1を有し、待ち行列Q3はエグレスE3に関連づけられてCOS3を有する。イングレスI2及びI3も同様に、イングレスI1内の待ち行列と同じ関係を有する3つの待ち行列Q1、Q2、Q3でセットアップされる。
である。
図7Aは、特定のイングレスI1の帯域幅を保証する一実施形態を例示している。このような実施形態では、単一のイングレスI1の帯域幅は、イングレスI1内の待ち行列からのパケットがエグレスE1、E2、E3のうちの任意のものへ伝達され得るように保証される。図7AのイングレスI1は6つの待ち行列、即ち待ち行列Q1、Q2、Q3、Q4、Q5、Q6を含み、各待ち行列は所定のCOSに関連づけられる。例えば、図7Aの待ち行列Q1はCOS1に関連づけられる。待ち行列Q2はCOS2に関連づけられ、等々と続く。帯域幅を保証するこの実施形態では、各イングレスI1、I2、I3の待ち行列Q1、Q2、Q3は単一のエグレスに関連づけられる必要はない。例えば、COS1を有する待ち行列Q1は、システムの任意のエグレスに方向づけられているパケットを保有することが可能である。図7Aは、待ち行列Q1におけるエグレスE1を行先とするパケットを描いているが、待ち行列Q1における次のパケットは異なるエグレスに方向づけられている可能性もある。しかしながら別の実施形態では、待ち行列Qは、待ち行列Q内にバッファされるパケットの全てがそのエグレスに方向づけられるように所定のエグレスに関連づけられる場合もある。
である。
図7Bは、任意の待ち行列グループであることが可能な待ち行列グループの帯域幅を保証する一実施形態を例示している。このような実施形態では、待ち行列が異なるイングレス内に存在しかつ異なるエグレスに方向づけられているパケットを有する可能性があるような待ち行列グループの帯域幅を保証することができる。さらに、グループ内の待ち行列は同じCOSを有する場合も、異なるCOSを有する場合もある。帯域幅の合計量は、待ち行列のQ長さを基礎として、または他の実施形態ではデータの待ち行列までの到着レートを基礎としてこれらの待ち行列に分配されることが可能である。
である。
図8には、本発明の一実施形態による、所定の待ち行列のクレジット値を更新するための一方法がブロック形式で描かれている。先に述べたように、サービスされない待ち行列のクレジット値は概して各タイムスロット後に増加し、よってこれらの待ち行列の優先順位は上がる。同様に、サービスされる待ち行列はそれがサービスされるタイムスロット後には低減された関連のクレジット値を有し、よってその待ち行列の優先順位は下がる。ある実施形態では、本発明のオペレーションより前の各クレジット値の初期値は0であることが可能である。イングレスの各待ち行列のクレジット値は、概してタイムスロット毎に更新される。従って、1つの待ち行列がサービスされた後、クレジット値はそのカレント値(最初は0であるが、オペレーションの開始後、クレジット値のカレント値は大規模な正の数または負の数になる可能性がある)から減らされる可能性がある。クレジット値は、メータリング・モジュール154のメータリング更新モジュール160において、帯域幅アロケータ・モジュール150から受信される待ち行列の保証レート52を使用して更新されることが可能である。定常状態のシステムでは、全ての待ち行列のクレジット値は合計0になるが、これは、これらの待ち行列が平均して所望される帯域幅レートを受信していることを表す。
待ち行列のクレジット値が更新された後、各イングレスにおける各待ち行列のエグレスとの接続の必要性を表示する優先順位が決定される。先に説明しかつ後に詳述する通り、これらの優先順位はイングレスとエグレスとの間の共有リンク108のマッピングを計算するために使用されることが可能である。
Slimit=(Fmin−Fmax)*時間期間
となるように設定されることが可能である。
各待ち行列の優先順位が決定されると、複数の優先順位を使用して、あるタイムスロットのイングレス及びエグレス間の共有リンク108上のマッピングが計算される。図9は、所定のタイムスロットの間にサービスされる待ち行列を選択する単純化された一実施形態を示す。図9は、その各々が4つの待ち行列を有する2つのイングレスI1、I2を描いている。各待ち行列Q1、Q2、Q3、Q4内には、待ち行列のCOS及び待ち行列の先頭におけるパケットが描かれている。待ち行列の先頭におけるパケットの各々は、任意の所定のタイムスロットの間に共有リンク108へのアクセスを求めて競合する。例えば図9では、エグレスE1に方向づけられているパケットが各待ち行列Q1の先頭に存在し、エグレスE1に方向づけられているパケットが各待ち行列Q2の先頭にも存在し、かつエグレスE2に方向づけられているパケットが待ち行列Q3及び待ち行列Q4の各々の先頭に存在する。
1.はじめに
本発明の別の実施形態は、共有リンクを通したイングレスからエグレスへの接続を、帯域幅保証の形式のサービス品質(QoS)要件が満たされることを可能にするような方法で効率的にスケーリングするための装置と方法に関する。本発明のこの実施形態は、オーバーロード保護を供給すると同時に帯域幅を保証することができる。
本発明のこの実施形態は、スイッチ・クロスバーを従来のCIOQスイッチの場合より慎重にスケジューリングするために、ネットワーク・スイッチに帯域幅保証及びオーバーロード保護を供給することに関する。この実施形態では、クロスバーを帯域幅要件に関係なくスケジュールする代わりに、待ち行列がそれらに割り当てられた帯域幅レートを受信しているかどうかに関する情報が考慮される。さらに、イングレスをエグレスにマッチさせる際には、動的な段階的最大マッチング戦略が使用される。この実施形態は、入力待ち行列の優先順位を決定しかつこれらの優先順位を帯域幅の割当てに使用するための方法及びシステムである。
Claims (32)
- 共有リンクを介してサービスする待ち行列を選択する方法であって、
複数のイングレス内の待ち行列グループからの各待ち行列を個数「N」のティアのうちの1つのティアに分類することを含み、上記数「N」は2より大きいか等しく、上記待ち行列のうちの少なくとも幾つかを上記ティアに分類するために待ち行列状態情報が使用され、待ち行列の各ティアには異なる優先順位が割り当てられ、
より低い優先順位を有するティア内に分類される待ち行列をマッチングすべく試行するより前に、より高い優先順位を有するティア内に分類される待ち行列をマッチングすべく試行することによって待ち行列を利用可能なエグレスにマッチングすることを有することを特徴とする方法。 - 上記各待ち行列を分類することは、少なくとも第1のティアと第2のティアとに分類することを含み、上記待ち行列状態情報は上記待ち行列の各々のための保証された帯域幅レートに関する情報を含み、上記第1のティアに分類される待ち行列の各々は上記待ち行列のための保証された帯域幅レートより少ない帯域幅を受信しておりかつ上記第2のティアに分類される待ち行列の各々は上記待ち行列のための保証された帯域幅レートより多い帯域幅を受信しており、上記第1のティアは上記第2のティアより高い優先順位を有することを特徴とする請求項1記載の方法。
- 上記待ち行列を利用可能なエグレスにマッチングすることは、
待ち行列の利用可能なエグレスへのマッチングがまだ実行されていない最も高い優先順位を有するティアを選択することと、
上記選択されるティア内の待ち行列のうちの1つを選択することと、
希望されるエグレスが利用可能であれば上記選択される待ち行列をその希望されるエグレスにマッチングし、上記選択される待ち行列が上記希望されるエグレスにマッチングされれば上記希望されるエグレスを利用可能なエグレスのリストから削除することと、
上記選択される待ち行列を考察されるべき待ち行列のリストから削除することと、
上記待ち行列のうちの1つを選択するステップと、上記選択される待ち行列をマッチングするステップと、上記選択される待ち行列を削除するステップとを、上記選択されるティア内の全ての待ち行列が評価されるまで繰り返すこと、を含むことを特徴とする請求項1記載の方法。 - 上記待ち行列のうちの1つを選択する行為は、上記選択されるティア内の待ち行列のうちの1つをランダムに選択することを含むことを特徴とする請求項3記載の方法。
- 上記分類しかつマッチングする行為は上記共有リンクを介してサービスするための各タイムスロットについて実行される請求項1記載の方法。
- 上記分類しかつマッチさせる行為は、利用可能なエグレスに向かうパケットを有しかつその保証された帯域幅レートを受信する第1の待ち行列が、その利用可能なエグレスに向かうパケットを有する第2の待ち行列がその保証された帯域幅レートを受信していなければその利用可能なエグレスにマッチングされないことを保証することによりオーバーロード保護を提供することを特徴とする請求項1記載の方法。
- 上記第1の待ち行列は、上記第2の待ち行列が分類されるティアより高い優先順位を有するティアに分類されることを特徴とする請求項6記載の方法。
- 各待ち行列における先出しパケットのサイズを確認することと、
任意の待ち行列における上記先出しパケットのサイズが大きすぎて単一のタイムスロットでは上記共有リンクを介して伝送され得なければ、その待ち行列を最も高い優先順位を有するティアに分類することをさらに含むことを特徴とする請求項1記載の方法。 - 各待ち行列のキュー・メトリックに関する情報を保持することと、
上記キュー・メトリック情報及び保証された帯域幅量を基礎として各待ち行列の保証レートを計算することと、
上記保証レートを使用して上記待ち行列グループにおける各待ち行列のクレジット値を計算すること、をさらに含み、上記クレジット値は上記待ち行列状態情報であることを特徴とする請求項1記載の方法。 - 上記保証レートを使用して各待ち行列のクレジット値を計算することは、
各待ち行列に関連づけられる上記クレジット値を、
上記待ち行列が所定のタイムスロットにおいてサービスされれば、上記クレジット値をしかるべき量で減分することと、
上記所定のタイムスロットの後、上記クレジット値を上記保証レートを基礎とする量で増分すること、によって調整することを含むことを特徴とする請求項9記載の方法。 - 上記保証された帯域幅の量はエグレスの量を基礎とする請求項10記載の方法。
- 上記保証された帯域幅の量は待ち行列グループの量を基礎とすることを特徴とする請求項10記載の方法。
- 上記各待ち行列を分類することは、(a)ゼロより大きいクレジット値を有する少なくとも1つの待ち行列を、第2のティアより高い優先順位を有する第1のティアへ分類することと、(b)ゼロより小さいクレジット値を有する少なくとも1つの待ち行列を第2のティアへ分類することを含むことを特徴とする請求項10記載の方法。
- 上記待ち行列状態情報は上記待ち行列の少なくとも幾つかに関するクレジット値を含み、各クレジット値は各待ち行列の保証された帯域幅レートから導出されることを特徴とする請求項1記載の方法。
- ゼロより大きいクレジット値は渇望している待ち行列を示し、ゼロより小さいクレジット値は満足している待ち行列を示すことを特徴とする請求項14記載の方法。
- 渇望している各待ち行列は第2のティアより高い優先順位を有する第1のティアへ分類され、満足している各待ち行列は上記第2のティアへ分類されることを特徴とする請求項15記載の方法。
- 割り当てられた帯域幅に関する情報は上記待ち行列が空であるかどうかに関する情報を含むことを特徴とする請求項14記載の方法。
- 空である待ち行列は最も低い優先順位を有するティアへ分類されることを特徴とする請求項17記載の方法。
- 上記待ち行列状態情報は待ち行列が部分パケットを含むかどうかに関する情報を含み、上記部分パケットは大きすぎて単一のタイムスロットでは上記共有リンクを通して伝送され得ないパケットであることを特徴とする請求項18記載の方法。
- 部分パケットを含む待ち行列は最も高い優先順位を有するティアへ分類されることを特徴とする請求項19記載の方法。
- 上記待ち行列状態情報は待ち行列がその処理能力に見合う数のパケットを受信しているかどうかに関する情報を含むことを特徴とする請求項20記載の方法。
- その処理能力に見合う数のパケットを受信していない各待ち行列は、最も低い優先順位を有するティアの直ぐ上の優先順位レベルを有するティアへ分類されることを特徴とする請求項21記載の方法。
- 上記待ち行列状態情報は待ち行列が長期間に渡ってサービスされていないかどうかに関する情報を含み、上記長期間は予め定義されたタイムスロット数であることを特徴とする請求項21記載の方法。
- 長期間に渡ってサービスされていない各待ち行列は最も高い優先順位を有するティアの直ぐ下の優先順位レベルを有するティアへ分類されることを特徴とする請求項23記載の方法。
- 上記割り当てられた帯域幅に関する情報は、
上記待ち行列の少なくとも幾つかに関するクレジット値であって、各クレジット値は各待ち行列の保証レートから上記待ち行列のキュー・メトリック情報を基礎として導出されるクレジット値と、
各待ち行列が空であるかどうかに関する情報と、
待ち行列が部分パケットを含むかどうかに関する情報と、
待ち行列がその処理能力に見合う数のパケットを受信しているかどうかに関する情報と、
待ち行列が長期間に渡ってサービスされていないかどうかに関する情報と、のうちの少なくとも2つ以上を含むことを特徴とする請求項1記載の方法。 - 共有リンクを介したアクセスを調停するための方法であって、
待ち行列グループの各待ち行列について待ち行列状態情報を保持することを含み、上記待ち行列状態情報は各待ち行列の保証された帯域幅レート及び各待ち行列が空であるかどうかに関する情報を含み、
上記共有リンクを介してサービスするための各タイムスロットの間に、
上記待ち行列状態情報を使用して、各待ち行列を少なくとも2つのティアより成るグループからのティアにマップし、各ティアは異なる優先順位レベルを有し、かつ、
より低い優先順位を有するティア内の待ち行列をマッチングする前に、より高い優先順位を有するティア内の少なくとも幾つかの待ち行列をマッチングすることにより上記待ち行列の幾つかをエグレスにマッチングすることを含むことを特徴とする方法。 - 上記待ち行列の幾つかをエグレスにマッチングすることは、
最も高い優先順位を有するティアを選択することと、
上記選択されるティア内の待ち行列のうちの1つを選択することと、
上記エグレスが利用可能であれば上記選択される待ち行列をその希望されるエグレスにマッチングし、上記希望するエグレスが利用可能であれば上記エグレスを利用可能なエグレスのリストから削除することと、
上記選択される待ち行列を考察されるべき待ち行列のリストから削除することと、
上記待ち行列のうちの1つを選択するステップと、上記選択される待ち行列をマッチングするステップと、上記選択される待ち行列を削除するステップとを、上記選択されるティア内の全ての待ち行列が評価されるまで繰り返すこと、を含むことを特徴とする請求項26記載の方法。 - 共有リンクを介してサービスする待ち行列を選択するためのシステムであって、
複数のイングレス内の待ち行列グループからの各待ち行列を個数「N」のティアのうちの1つのティアに分類するための手段を備え、上記数「N」は2より大きいか等しく、上記待ち行列のうちの少なくとも幾つかを上記ティアに分類するために待ち行列状態情報が使用され、待ち行列の各ティアには異なる優先順位が割り当てられ、
より低い優先順位を有するティア内に分類される待ち行列をマッチングすべく試行するより前に、より高い優先順位を有するティア内に分類される待ち行列をマッチングすべく試行することによって待ち行列を利用可能なエグレスにマッチングするための手段を有することを特徴とするシステム。 - 共有リンクを介したアクセスを調停するためのシステムであって、
待ち行列グループの各待ち行列について待ち行列状態情報を保持するための手段を備え、上記待ち行列状態情報は各待ち行列の保証された帯域幅レート及び各待ち行列が空であるかどうかに関する情報を含み、
上記共有リンクを介してサービスするための各タイムスロットの間に、上記待ち行列状態情報を使用して各待ち行列を少なくとも2つのティアより成るグループからのティアにマップするための手段を備え、各ティアは異なる優先順位レベルを有し、
上記共有リンクを介してサービスするための各タイムスロットの間に、より低い優先順位を有するティア内の待ち行列をマッチングする前に、より高い優先順位を有するティア内の少なくとも幾つかの待ち行列をマッチングすることにより上記待ち行列の幾つかをエグレスにマッチングするための手段を有することを特徴とするシステム。 - 共有リンクを介してサービスする待ち行列を選択するためのシステムであって、
データ転送のための各タイムスロットの間にイングレス内の少なくとも幾つかの待ち行列のクレジット値を決定する、上記イングレス内のメータリング・モジュールを備え、各クレジット値は所定の待ち行列がその割り当てられた帯域幅を受信したかどうかを表示し、
各タイムスロットの間に、(a)各待ち行列を、各々が異なる優先順位レベルを有する少なくとも2つのティアより成るグループからのティアにマップし、(b)より低い優先順位を有するティア内の待ち行列をマッチングする前に、より高い優先順位を有するティア内の少なくとも幾つかの待ち行列をマッチングすることにより上記待ち行列の幾つかをエグレスにマッチングする調停モジュールを有することを特徴とするシステム。 - 何らかの待ち行列グループのキュー・メトリック情報及び保証された帯域幅量を基礎として各待ち行列の保証された帯域幅レートを計算する帯域幅アロケータ・モジュールをさらに備え、上記メータリング・モジュールは上記保証されたレートを使用してクレジット値を決定することを特徴とする請求項30記載のシステム。
- 共有リンクを介して帯域幅を割り当てるための方法であって、
ある待ち行列グループにおける各待ち行列のキュー・メトリックに関する情報を保持することと、
上記待ち行列グループにおける各待ち行列の保証レートを、上記待ち行列メトリック情報及び保証された帯域幅量を基礎として計算することと、
上記各待ち行列の保証レートを各待ち行列に関連づけられるイングレスへ送ることを含み、各イングレスは上記各待ち行列の保証レートを使用して各待ち行列のクレジット値を計算することが可能であり、
少なくとも1つのイングレスから待ち行列状態情報を受信することを含み、上記待ち行列状態情報は少なくとも1つまたは複数の待ち行列のクレジット値を含み、
上記クレジット値を使用することにより、各待ち行列を少なくとも2つのティアより成るグループからのティアへマップすることを含み、各ティアは異なる優先順位レベルを有し、
より低い優先順位を有するティア内の待ち行列をマッチングすべく試行するより前に、より高い優先順位を有するティア内の少なくとも幾つかの待ち行列をマッチングすべく試行することによって待ち行列の幾つかをエグレスにマッチングすることを有することを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/639,269 US7724760B2 (en) | 2001-07-05 | 2003-08-12 | Method and apparatus for bandwidth guarantee and overload protection in a network switch |
PCT/US2004/023758 WO2005019975A2 (en) | 2003-08-12 | 2004-07-22 | Method and apparatus for bandwidth guarantee and overload protection in a network switch |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007512719A true JP2007512719A (ja) | 2007-05-17 |
Family
ID=32230628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006523205A Pending JP2007512719A (ja) | 2003-08-12 | 2004-07-22 | ネットワーク・スイッチにおいて帯域幅を保証しかつオーバーロードを防止する方法と装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US7724760B2 (ja) |
EP (1) | EP1654616A4 (ja) |
JP (1) | JP2007512719A (ja) |
KR (1) | KR100933917B1 (ja) |
CA (1) | CA2535545A1 (ja) |
WO (1) | WO2005019975A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014042237A (ja) * | 2012-08-06 | 2014-03-06 | Renesas Electronics Europe Ltd | ハードウェア回路、クレジットに基づくトラフィックシェイパー、装置、およびハードウェアによる実現方法 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850965B2 (en) * | 1998-11-17 | 2005-02-01 | Arthur Douglas Allen | Method for connection acceptance and rapid determination of optimal multi-media content delivery over network |
US7334044B1 (en) | 1998-11-17 | 2008-02-19 | Burst.Com | Method for connection acceptance control and optimal multi-media content delivery over networks |
US7415539B2 (en) * | 2001-09-28 | 2008-08-19 | Siebel Systems, Inc. | Method and apparatus for detecting insufficient memory for data extraction processes |
US20030103453A1 (en) * | 2001-12-05 | 2003-06-05 | Broadweb Corporation | System and method for managing flow bandwidth utilization in a packet communication environment |
US7385997B2 (en) * | 2002-04-08 | 2008-06-10 | International Business Machines Corporation | Priority based bandwidth allocation within real-time and non-real-time traffic streams |
US7227866B2 (en) * | 2002-10-21 | 2007-06-05 | Tropic Networks Inc. | Fast work-conserving round robin scheduling |
AU2002368389A1 (en) * | 2002-11-21 | 2004-06-18 | Wei-Han Lien | Advanced telecommunications router and crossbar switch controller |
US7734805B2 (en) * | 2003-04-15 | 2010-06-08 | Alcatel-Lucent Usa Inc. | Method for scheduling transmissions in communication systems |
US8199764B2 (en) * | 2003-08-25 | 2012-06-12 | Cisco Technology, Inc. | Scalable approach to large scale queuing through dynamic resource allocation |
US9065741B1 (en) * | 2003-09-25 | 2015-06-23 | Cisco Technology, Inc. | Methods and apparatuses for identifying and alleviating internal bottlenecks prior to processing packets in internal feature modules |
US20050174958A1 (en) * | 2004-02-11 | 2005-08-11 | Phonex Broadband Corporation | Method and system for prioritazation and dynamic channel allocation within a communication system |
US20060101469A1 (en) * | 2004-11-10 | 2006-05-11 | International Business Machines (Ibm) Corporation | Method, controller, program product and services for managing resource element queues |
US8125486B2 (en) * | 2006-02-23 | 2012-02-28 | Los Alamos National Security, Llc | Combining multi-layered bitmap files using network specific hardware |
US8553684B2 (en) * | 2006-04-24 | 2013-10-08 | Broadcom Corporation | Network switching system having variable headers and addresses |
US7733781B2 (en) * | 2006-04-24 | 2010-06-08 | Broadcom Corporation | Distributed congestion avoidance in a network switching system |
US7801164B2 (en) * | 2006-04-27 | 2010-09-21 | Agere Systems Inc. | Two dimensional timeout table mechanism with optimized delay characteristics |
US8005041B2 (en) | 2006-05-08 | 2011-08-23 | Ipwireless, Inc. | Wireless communication system, apparatus for supporting data flow and method therefor |
US7990989B2 (en) * | 2006-09-16 | 2011-08-02 | Mips Technologies, Inc. | Transaction selector employing transaction queue group priorities in multi-port switch |
US7961745B2 (en) * | 2006-09-16 | 2011-06-14 | Mips Technologies, Inc. | Bifurcated transaction selector supporting dynamic priorities in multi-port switch |
US7773621B2 (en) * | 2006-09-16 | 2010-08-10 | Mips Technologies, Inc. | Transaction selector employing round-robin apparatus supporting dynamic priorities in multi-port switch |
US7760748B2 (en) | 2006-09-16 | 2010-07-20 | Mips Technologies, Inc. | Transaction selector employing barrel-incrementer-based round-robin apparatus supporting dynamic priorities in multi-port switch |
GB0619519D0 (en) * | 2006-10-04 | 2006-11-15 | Siemens Ag | Packet scheduling |
WO2009051533A1 (en) * | 2007-10-19 | 2009-04-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for scheduling data packets in a communication network system |
US8040901B1 (en) * | 2008-02-06 | 2011-10-18 | Juniper Networks, Inc. | Packet queueing within ring networks |
US8625624B1 (en) * | 2008-06-13 | 2014-01-07 | Cisco Technology, Inc. | Self-adjusting load balancing among multiple fabric ports |
CN101621460B (zh) * | 2008-06-30 | 2011-11-30 | 中兴通讯股份有限公司 | 一种分组调度方法和装置 |
US8005087B2 (en) * | 2008-09-16 | 2011-08-23 | Alcatel Lucent | Application-level processing for default LTE bearer |
GB2464310B (en) * | 2008-10-10 | 2012-10-17 | Micron Technology Inc | Switching device |
US8687639B2 (en) * | 2009-06-04 | 2014-04-01 | Nvidia Corporation | Method and system for ordering posted packets and non-posted packets transfer |
US8526452B1 (en) * | 2009-07-13 | 2013-09-03 | Viasat, Inc. | Quality of service packet scheduler design |
US8811407B1 (en) * | 2009-11-30 | 2014-08-19 | Cox Communications, Inc. | Weighted data packet communication system |
US8532098B2 (en) * | 2009-11-30 | 2013-09-10 | Nvidia Corporation | System and method for virtual channel communication |
US9331869B2 (en) * | 2010-03-04 | 2016-05-03 | Nvidia Corporation | Input/output request packet handling techniques by a device specific kernel mode driver |
CN102857442B (zh) * | 2011-06-30 | 2017-11-21 | 马维尔国际贸易有限公司 | 传送队列状态的方法、网络设备及其产品 |
GB201111106D0 (en) * | 2011-06-30 | 2011-08-10 | Xelerated Ab | Method, network device, computer program and computer program product for communication queue state |
US9590820B1 (en) | 2011-09-02 | 2017-03-07 | Juniper Networks, Inc. | Methods and apparatus for improving load balancing in overlay networks |
US9998400B2 (en) * | 2011-09-30 | 2018-06-12 | British Telecommunications Public Limited Company | Attribution of congestion contributions |
WO2013073639A1 (ja) * | 2011-11-15 | 2013-05-23 | 日本電気株式会社 | ネットワーク通信装置、及び転送フレーム優先的帯域制限方法 |
JP2013118486A (ja) * | 2011-12-02 | 2013-06-13 | Nec Corp | 回線中継装置、tdm回線迂回システムおよびtdm回線迂回制御方法 |
US8953449B2 (en) * | 2012-03-22 | 2015-02-10 | Fujitsu Limited | Virtual subport data traffic management |
US9331929B1 (en) * | 2012-03-29 | 2016-05-03 | Juniper Networks, Inc. | Methods and apparatus for randomly distributing traffic in a multi-path switch fabric |
WO2014032960A1 (en) * | 2012-08-29 | 2014-03-06 | Universiteit Gent | Method and device for scheduling data traffic |
US20140105218A1 (en) * | 2012-10-12 | 2014-04-17 | Prashant H. Anand | Queue monitoring to filter the trend for enhanced buffer management and dynamic queue threshold in 4g ip network/equipment for better traffic performance |
US9154438B2 (en) * | 2013-01-24 | 2015-10-06 | Cisco Technology, Inc. | Port-based fairness protocol for a network element |
US9582440B2 (en) * | 2013-02-10 | 2017-02-28 | Mellanox Technologies Ltd. | Credit based low-latency arbitration with data transfer |
WO2015012811A1 (en) | 2013-07-23 | 2015-01-29 | Hewlett-Packard Development Company, L.P. | Work conserving bandwidth guarantees using priority |
US9641465B1 (en) | 2013-08-22 | 2017-05-02 | Mellanox Technologies, Ltd | Packet switch with reduced latency |
ES2650498T3 (es) | 2013-09-09 | 2018-01-18 | Intercapital Services North America Llc | Método y aparato para entrada de órdenes en un sistema de negociación electrónico |
US9590914B2 (en) | 2013-11-05 | 2017-03-07 | Cisco Technology, Inc. | Randomized per-packet port channel load balancing |
US9825884B2 (en) | 2013-12-30 | 2017-11-21 | Cavium, Inc. | Protocol independent programmable switch (PIPS) software defined data center networks |
US10469404B1 (en) * | 2014-05-12 | 2019-11-05 | Google Llc | Network multi-level rate limiter |
US9900253B2 (en) | 2014-08-28 | 2018-02-20 | Cavium, Inc. | Phantom queue link level load balancing system, method and device |
US9813327B2 (en) | 2014-09-23 | 2017-11-07 | Cavium, Inc. | Hierarchical hardware linked list approach for multicast replication engine in a network ASIC |
US9760418B2 (en) | 2014-09-23 | 2017-09-12 | Cavium, Inc. | Session based packet mirroring in a network ASIC |
US9729338B2 (en) | 2014-09-23 | 2017-08-08 | Cavium, Inc. | Fast hardware switchover in a control path in a network ASIC |
US10291540B2 (en) | 2014-11-14 | 2019-05-14 | Cavium, Llc | Method and apparatus for performing a weighted queue scheduling using a set of fairness factors |
US10447608B2 (en) | 2014-11-14 | 2019-10-15 | Marvell Semiconductor, Inc. | Packet scheduling using hierarchical scheduling process with priority propagation |
US10110515B2 (en) | 2014-11-14 | 2018-10-23 | Cavium, Inc. | Packet scheduling using hierarchical scheduling process |
CN105991188B (zh) | 2015-02-16 | 2019-09-10 | 阿里巴巴集团控股有限公司 | 一种检测共享风险链路组的方法及装置 |
WO2016133508A1 (en) * | 2015-02-18 | 2016-08-25 | Intel Corporation | Traffic class arbitration based on priority and bandwidth allocation |
US10419571B2 (en) | 2015-03-24 | 2019-09-17 | Cavium, Llc | Packet processor forwarding database cache |
US10305819B2 (en) * | 2015-05-13 | 2019-05-28 | Cisco Technology, Inc. | Dynamic protection of shared memory used by output queues in a network device |
US9866401B2 (en) | 2015-05-13 | 2018-01-09 | Cisco Technology, Inc. | Dynamic protection of shared memory and packet descriptors used by output queues in a network device |
US9990240B2 (en) * | 2015-12-11 | 2018-06-05 | Successfactors, Inc. | Event handling in a cloud data center |
EP3400687A4 (en) * | 2016-01-08 | 2019-06-12 | Inspeed Networks, Inc. | BIDIRECTIONAL DATA TRAFFIC CONTROL |
CN108234350B (zh) * | 2016-12-21 | 2021-08-03 | 华为技术有限公司 | 一种调度方法及客户驻地设备 |
US11134021B2 (en) * | 2016-12-29 | 2021-09-28 | Intel Corporation | Techniques for processor queue management |
US10735221B2 (en) | 2017-03-28 | 2020-08-04 | Marvell International Ltd. | Flexible processor of a port extender device |
CN109104382B (zh) * | 2017-06-20 | 2022-05-24 | 华为技术有限公司 | 一种动态调度方法、装置及*** |
CN107612846A (zh) * | 2017-11-01 | 2018-01-19 | 北京天创凯睿科技有限公司 | 一种业务数据自适应传输方法及装置 |
US11343358B2 (en) | 2019-01-29 | 2022-05-24 | Marvell Israel (M.I.S.L) Ltd. | Flexible header alteration in network devices |
US11943149B2 (en) * | 2019-10-15 | 2024-03-26 | Hewlett Packard Enterprise Development Lp | Arbiter with random tie breaking |
US20210279192A1 (en) * | 2020-03-06 | 2021-09-09 | Infineon Technologies Ag | Distribution of interconnect bandwidth among master agents |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243000A (ja) * | 1997-02-19 | 1998-09-11 | Telefon Ab L M Ericsson | スイッチングフロー制御 |
JP2001298477A (ja) * | 2000-04-11 | 2001-10-26 | Nec Corp | パケット交換装置およびパケット交換方法 |
JP2002237841A (ja) * | 2001-02-09 | 2002-08-23 | Nec Corp | パケット転送レート監視制御装置、方法、及びプログラム |
WO2003005227A1 (en) * | 2001-07-05 | 2003-01-16 | Sandburst Corporation | Method and apparatus for allocating link bandwidth |
JP2003249952A (ja) * | 2002-01-14 | 2003-09-05 | Fujitsu Network Communications Inc | クレジット履歴を利用する重み付けクレジット調停 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064677A (en) | 1996-06-27 | 2000-05-16 | Xerox Corporation | Multiple rate sensitive priority queues for reducing relative data transport unit delay variations in time multiplexed outputs from output queued routing mechanisms |
US6064651A (en) * | 1996-06-27 | 2000-05-16 | Xerox Corporation | Rate shaping in per-flow output queued routing mechanisms for statistical bit rate service |
US5963557A (en) | 1997-04-11 | 1999-10-05 | Eng; John W. | High capacity reservation multiple access network with multiple shared unidirectional paths |
JP3276341B2 (ja) | 1999-02-23 | 2002-04-22 | 日本電信電話株式会社 | パケット転送装置及びパケット転送方法 |
EP1161817B1 (en) | 1999-03-17 | 2006-10-25 | Broadcom Corporation | Network switch |
AU3752000A (en) * | 1999-03-17 | 2000-10-04 | Broadcom Corporation | Method for managing congestion in a network switch |
JP3319723B2 (ja) | 1999-04-02 | 2002-09-03 | 日本電気株式会社 | スイッチ及びそのスケジューラ並びにスイッチスケジューリング方法 |
JP2001016206A (ja) | 1999-06-28 | 2001-01-19 | Nec Corp | 帯域共有制御装置 |
US6901452B1 (en) | 2000-03-02 | 2005-05-31 | Alcatel | Selectable prioritization for data communication switch |
JP4879382B2 (ja) * | 2000-03-22 | 2012-02-22 | 富士通株式会社 | パケットスイッチ、スケジューリング装置、廃棄制御回路、マルチキャスト制御回路、およびQoS制御装置 |
US6862265B1 (en) * | 2000-04-13 | 2005-03-01 | Advanced Micro Devices, Inc. | Weighted fair queuing approximation in a network switch using weighted round robin and token bucket filter |
US6915372B2 (en) * | 2000-08-31 | 2005-07-05 | Tellabs Operations, Inc. | Methods and apparatus for managing traffic through a buffered crossbar switch fabric |
JP2002135269A (ja) | 2000-10-20 | 2002-05-10 | Nec Corp | 優先制御装置および優先制御方法 |
JP3698079B2 (ja) * | 2001-08-22 | 2005-09-21 | 日本電気株式会社 | データ転送方法、データ転送装置及びプログラム |
EP1573950B1 (en) * | 2002-06-27 | 2017-10-18 | Coriant Operations, Inc. | Apparatus and method to switch packets using a switch fabric with memory |
US7852829B2 (en) * | 2003-06-19 | 2010-12-14 | Polytechnic University | Packet reassembly and deadlock avoidance for use in a packet switch |
-
2003
- 2003-08-12 US US10/639,269 patent/US7724760B2/en not_active Expired - Fee Related
-
2004
- 2004-07-22 JP JP2006523205A patent/JP2007512719A/ja active Pending
- 2004-07-22 EP EP04779015A patent/EP1654616A4/en not_active Withdrawn
- 2004-07-22 CA CA002535545A patent/CA2535545A1/en not_active Abandoned
- 2004-07-22 WO PCT/US2004/023758 patent/WO2005019975A2/en active Application Filing
- 2004-07-22 KR KR1020067002981A patent/KR100933917B1/ko not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10243000A (ja) * | 1997-02-19 | 1998-09-11 | Telefon Ab L M Ericsson | スイッチングフロー制御 |
JP2001298477A (ja) * | 2000-04-11 | 2001-10-26 | Nec Corp | パケット交換装置およびパケット交換方法 |
JP2002237841A (ja) * | 2001-02-09 | 2002-08-23 | Nec Corp | パケット転送レート監視制御装置、方法、及びプログラム |
WO2003005227A1 (en) * | 2001-07-05 | 2003-01-16 | Sandburst Corporation | Method and apparatus for allocating link bandwidth |
JP2003249952A (ja) * | 2002-01-14 | 2003-09-05 | Fujitsu Network Communications Inc | クレジット履歴を利用する重み付けクレジット調停 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014042237A (ja) * | 2012-08-06 | 2014-03-06 | Renesas Electronics Europe Ltd | ハードウェア回路、クレジットに基づくトラフィックシェイパー、装置、およびハードウェアによる実現方法 |
Also Published As
Publication number | Publication date |
---|---|
US7724760B2 (en) | 2010-05-25 |
WO2005019975A3 (en) | 2009-05-07 |
WO2005019975A2 (en) | 2005-03-03 |
US20040090974A1 (en) | 2004-05-13 |
KR20060064627A (ko) | 2006-06-13 |
EP1654616A2 (en) | 2006-05-10 |
EP1654616A4 (en) | 2010-10-20 |
KR100933917B1 (ko) | 2009-12-23 |
CA2535545A1 (en) | 2005-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007512719A (ja) | ネットワーク・スイッチにおいて帯域幅を保証しかつオーバーロードを防止する方法と装置 | |
US7415477B2 (en) | Method and apparatus for allocating link bandwidth | |
US9112786B2 (en) | Systems and methods for selectively performing explicit congestion notification | |
US8520522B1 (en) | Transmit-buffer management for priority-based flow control | |
US6654343B1 (en) | Method and system for switch fabric flow control | |
JP4879382B2 (ja) | パケットスイッチ、スケジューリング装置、廃棄制御回路、マルチキャスト制御回路、およびQoS制御装置 | |
US7245586B2 (en) | Buffer management based on buffer sharing across ports and per-port minimum buffer guarantee | |
US20020178282A1 (en) | Methods and systems providing fair queuing and priority scheduling to enhance quality of service in a network | |
US9608927B2 (en) | Packet exchanging device, transmission apparatus, and packet scheduling method | |
US20100172363A1 (en) | Systems and methods for congestion control using random early drop at head of buffer | |
WO2002098080A1 (en) | System and method for scheduling traffic for different classes of service | |
US9197570B2 (en) | Congestion control in packet switches | |
US8665719B2 (en) | Variable packet-size backplanes for switching and routing systems | |
EP2134037B1 (en) | Method and apparatus for scheduling data packet flows | |
WO2015061357A1 (en) | Enabling concurrent operation of tail-drop and priority-based flow control in network devices | |
WO2002098047A2 (en) | System and method for providing optimum bandwidth utilization | |
US7619971B1 (en) | Methods, systems, and computer program products for allocating excess bandwidth of an output among network users | |
WO2021143913A1 (zh) | 拥塞控制方法、装置及***、存储介质 | |
US7623456B1 (en) | Apparatus and method for implementing comprehensive QoS independent of the fabric system | |
US7324536B1 (en) | Queue scheduling with priority and weight sharing | |
Benet et al. | Providing in-network support to coflow scheduling | |
KR100745679B1 (ko) | 적응 라운드 로빈을 이용한 패킷 스케쥴링 방법 및 장치 | |
JP4104756B2 (ja) | 電気通信網においてデータパケットをスケジューリングする方法およびシステム | |
Oladeji et al. | CWRR: A Scheduling Algorithm for Maximizing the Performance of Quality of Service Network Router |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070703 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070703 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100907 |