JPWO2010044409A1 - マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム - Google Patents

マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム Download PDF

Info

Publication number
JPWO2010044409A1
JPWO2010044409A1 JP2010533906A JP2010533906A JPWO2010044409A1 JP WO2010044409 A1 JPWO2010044409 A1 JP WO2010044409A1 JP 2010533906 A JP2010533906 A JP 2010533906A JP 2010533906 A JP2010533906 A JP 2010533906A JP WO2010044409 A1 JPWO2010044409 A1 JP WO2010044409A1
Authority
JP
Japan
Prior art keywords
pci
root
switch
virtual
pci express
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010533906A
Other languages
English (en)
Other versions
JP5440507B2 (ja
Inventor
飛鷹 洋一
洋一 飛鷹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010533906A priority Critical patent/JP5440507B2/ja
Publication of JPWO2010044409A1 publication Critical patent/JPWO2010044409A1/ja
Application granted granted Critical
Publication of JP5440507B2 publication Critical patent/JP5440507B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/4401Bootstrapping
    • G06F9/4411Configuring for operating with peripheral devices; Loading of device drivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4004Coupling between buses
    • G06F13/4022Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/40Bus structure
    • G06F13/4063Device-to-bus coupling
    • G06F13/4068Electrical coupling
    • G06F13/4081Live connection to bus, e.g. hot-plugging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Bus Control (AREA)

Abstract

本発明は、複数のルートコンプレックスを収容するMRA(Multi−root Aware)PCIエクスプレススイッチにおいて、システムの規模によらず、ルートコンプレックスを待たせることなく起動できるマルチルートPCIエクスプレススイッチを提供し、システムの運用性を向上させる。スイッチの接続先のトポロジ、物理的な接続状況に基づいてPCIツリーの設定に必要な情報を格納する設定レジスタと、設定レジスタの状態によらず、仮想的なPCIツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、を備える。仮想スイッチブリッジ制御部の情報に基づいて、ルートコンプレックスが起動できる(図12)。

Description

(関連出願についての記載)
本発明は、日本国特許出願:特願2008−266444号(2008年10月15日出願)の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、コンピュータ並びにネットワーク装置で使われるコンピューティングデバイス並びにネットワーキングデバイスのPCIエクスプレスインターフェースを拡張するPCIエクスプレスプレススイッチに関する。特に複数のコンピュータを接続するMRA(Multi-Root Aware)PCIエクスプレススイッチ及びその起動方法、そのマルチルートPCIマネージャプログラムに関する。
中央演算装置(CPU)、ハードディスク、グラフィックコントローラ等のコンピューティングデバイス、フォワーディングエンジン、ネットワークコントローラ等のネットワーキングデバイス間を接続するバス規格として、ペリフェラルコンポーネントインターコネクト(PCI)が広く普及している。このPCIの次世代規格として、PCIのパラレルバスをシリアル化し、パケット方式で通信を行うPCIエクスプレスが標準化されている。
このPCIエクスプレススイッチで構成するシステム上に複数CPUを接続する方法が、非特許文献1に記載されている。図1に非特許文献1で実現できるシステム構成図を、図2と図3に、非特許文献1で提案されているMRA(Multi-Root Aware) PCIエクスプレススイッチの構成を示す。MRA PCIエクスプレススイッチを利用したシステムでは、図1に示す、スイッチに接続されるいずれかのCPU上にスイッチの構成状態を管理するマルチルートPCIマネジャーソフトウェア MR−PCIM 52が必要となる。
また、複数のルートコンプレックスからのアクセスに対応するI/Oデバイス MRエンドポイント505、MRエンドポイント506が接続可能であり、マルチルートPCIマネージャからMRA PCIエクスプレススイッチに設定を行う事で、複数のルートコンプレックスの接続並びに、複数のルートコンプレックスからMRエンドポイントデバイスへアクセスが可能になる。以下にMRA PCIエクスプレススイッチの構成並びにシステム動作概要について示す。図1ではMRA PCIエクスプレススイッチ2個を用いたシステム構成を示している。図2と図3にMRA PCIエクスプレススイッチ511、512の内部構成を示す。
MRA PCIエクスプレススイッチ511は、複数のルートコンプレックス並びに、MRエンドポイントを収容するために、従来のPCIエクスプレススイッチとは異なるPCI−PCIブリッジ5111、5112、5122、5113、5114、5115、ブリッジ間のスイッチ処理を行う仮想PCIエクスプレススイッチ5116、5117、5118、5119、またMR−PCIM52から設定制御されるMRAコントローラ論理5120並びにその設定情報が格納される設定レジスタ5121で構成される。
接続ポート数を拡張するためのもう一つ、MRA PCIエクスプレススイッチ512も同様に、従来のPCIエクスプレススイッチとは異なるPCI−PCIブリッジ5123、5124、5133、ブリッジ間のスイッチ処理を行う仮想PCIエクスプレススイッチ5126、5127、5129、またMR−PCIM52から設定制御されるMRAコントローラ論理5120並びにその設定情報が格納される設定レジスタ5131で構成される。
MRA PCIエクスプレススイッチでは、複数のルートコンプレックスに対して、各々に従来のPCIエクスプレス同様のツリーを構成するために、ルートコンプレックス単位に、どの仮想PCIエクスプレススイッチを利用するか、PCI−PCIブリッジを複数で使うためのVH(Virtual Hierarchy)番号の割当てを行う必要がある。仮想PCIエクスプレススイッチ毎にスイッチ処理が行われるため、他の仮想PCIエクスプレススイッチと干渉することはない。
また、MR対応のPCI−PCIブリッジでは、VH番号を割振り、1つのリンクに複数のPCI−PCIブリッジが接続されている事を考慮する。異なるVH番号では、クレジット制御やコンフィグレーション情報の分離等が行われ、1つポート上での複数のPCI−PCIブリッジ利用番号を示す。
これらの設定は、MR−PCIMが、MRAコントローラ論理の制御情報である設定レジスタに対して行うことで、割当が行われる。図4と図5にMRA PCIエクスプレススイッチ511、512の設定レジスタ5121、5131の構成例を示す。この構成では、MR−PCIMはCPU101、ルートコンプレックス102が接続されているPort:1に接続されている。MRA PCIエクスプレススイッチでは、MR−PCIMからの設定のためMR PCI−PCIブリッジで、VH0の番号の経路が利用される。
設定レジスタの設定情報に関して以下に説明する。設定レジスタは、仮想PCIエクスプレススイッチ番号に対して、その仮想PCIエクスプレススイッチを構成するための情報、スイッチポート利用番号、利用VH番号、上流PCI−PCIブリッジか下流PCI−PCIブリッジかのUP/Down:DN情報がポート数分格納される。設定レジスタ5121では、仮想PCIエクスプレススイッチ1 5116は、スイッチ番号1で、ポート1で、VH番号:VH0:上流PCI−PCIブリッジ:UPと、Port3はVH0でDN、Port4は、VH番号無し:N/A(通常のPCIeポートの扱い)、Port6はVH0のDNで構成されている事を示している。つまり、本設定情報によって、ルートコンプレックス102からは、MR対応上流PCI−PCIブリッジ5111、仮想PCIエクスプレススイッチ1 5116、MR対応下流PCI−PCIブリッジ5113、MRエンドポイント505、下流PCI−PCIブリッジ5114、エンドポイント106、MR対応下流PCI−PCIブリッジ5122までアクセスできるようになる。
MR対応上流・下流PCI−PCIブリッジ5122の先へのアクセスは、MRA PCIエクスプレススイッチ512の設定レジスタ5131の設定によって、アクセスできるようになる。設定レジスタ5131では、仮想PCIエクスプレススイッチ2 5127に対して、Port2/VH0/DNとPort3/VH0/UPとなっている。従って、MR対応上流・下流PCI−PCIブリッジ5122の先は、MR対応上流・下流PCI−PCIブリッジ5124、仮想PCIエクスプレススイッチ2 5127、MR対応下流PCI−PCIブリッジ5133、MRエンドポイント506までが、ルートコンプレックス102からアクセスできる。
同様に、設定レジスタ5121の仮想PCIエクスプレススイッチ2 5117、仮想PCIエクスプレススイッチ3 5118、設定レジスタ5131の仮想PCIエクスプレススイッチ1 5126についても図4、5に示すとおり設定される。これらの設定によって、CPU101に対して、図6に示すPCIツリーがI/Oデバイスに対して組まれ、CPU1011に対して、図7に示すPCIツリーが組まれる。
Multi-Root I/O Virtualization and Sharing Specification Revision 0.9, PCI-SIG, November 7, 2007, pp. 30
なお、上記非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
本発明による分析によれば、上述した従来のMRA PCIエクスプレススイッチを用いたシステムにおいては、以下に述べるような問題点がある。
すなわち、MRA PCIエクスプレススイッチでは、MR−PCIMがスイッチの接続状態と論理的な接続状態を考慮して、設定レジスタを設定しない限り、PCIツリーが構成されないため、ルートコンプレックスはMR−PCIMの処理が完了するまで、起動できない。そのため、システムの規模に応じて、ルートコンプレックスのシステム起動に非常に時間がかかり、システムの運用性を著しく、低下させることである。
上記課題について、図面を引用して説明する。図8にMR−PCIM 52のシーケンスを示す。MR−PCIMは起動後、まずどのような種類のスイッチが何個つながっているか、そのスイッチはリンクを何本もっているかを把握する(ステップS1)。これはスイッチのレジスタを参照するだけで把握することが可能である。
次に、スイッチがどのようなトポロジで接続されているか、物理的な接続状況を把握する必要がある(ステップS2)。この作業はトポロジ状態がループになっているかどうか等を考慮しながら探索していくためきぼやトポロジの構成によっては探索に時間がかかる。次にトポロジの先に、I/Oが接続されているか確認し、接続されている場合は、I/Oの種類を把握する(ステップS3)。この作業も同様にI/Oの数によって、時間がかかる。その後、ユーザが要望する設定、すなわち、図4、図5に示すテーブル情報の設定(ステップS4)が完了した後、ようやくルートコンプレックスへスイッチの利用を許可し(ステップS5)、CPU101ならびにCPU1011は起動できるようになる。
図8に示したMR−PCIMの動作により、CPU101、CPU1011のルートコンプレックスの起動シーケンスは、図9のようになる。システムの規模や構成によって、非常に時間が掛かる、MR−PCIMが接続状況を把握している間(ステップS11)、MR−PCIMがI/Oの種別を把握している間(ステップS12)は、ルートコンプレックスはずっと待つ事になる。その後のMR−PCIMのツリー設定が完了し(ステップS13)、MR−PCIMから利用許可が出た時点(ステップS14)から、ようやくルートコンプレックスにリセットが掛かり、BIOSを起動することができるようになる(ステップS15)。
BIOS起動中に、MR−PCIMで設定されたPCIツリー情報を認識し(ステップS16)、図10に示すPCIツリーを構成する各PCI−PCIブリッジの中にあるコンフィグレーションレジスタ1502を一つずつ設定していく。コンフィグレーションレジスタは、バス番号下限値18001、バス番号上限値18002、32ビットI/Oアドレス下限値18003、32ビットI/Oアドレス上限値18004、32ビットメモリ下限値18005、32ビットメモリ上限値18006、64ビットメモリ下限値18007、64ビットメモリ上限値18008で構成され、データ転送時、パケット転送ロジック18009がテーブル情報を参照し、ルーティング時の情報に使用される。
バス番号設定が完了すると、その情報をOSに引継ぎ、次はOSの起動に移り(ステップS17)、OS起動中は設定されたPCIツリー上に存在するI/O用のドライバやコンフィグレーションが行われ、ようやくOSの起動が完了し、ソフトウェアが利用できるようになる(ステップS18)。
このように、MRA PCIエクスプレススイッチを利用する全てのルートコンプレックスは、ソフトウェア利用まで、MR−PCIMの起動シーケンスにより待たされ、さらにその後、BIOS起動並びに、OS起動にまたされる時間が発生し、システムの起動に時間が非常にかかり、システムの運用性を著しく低下させる。また、システム規模に応じて、MR−PCIMがルートコンプレックスに対して、起動許可を与えるタイミングが異なるため、システムのリセット、電源管理が複雑になる。
本発明の目的は、複数のルートコンプレックステムを収容するMRA PCIエクスプレススイッチにおいて、システムの規模によらず、ルートコンプレックスを待たせることなく起動できるマルチルートPCIエクスプレススイッチを提供し、システムの運用性を向上させることにある。
本発明の第1の側面に係るマルチルートPCIエクスプレススイッチは、複数のルートコンプレックスに対して接続可能なマルチルートPCIエクスプレススイッチにおいて、スイッチの接続先のトポロジ、物理的な接続状況に基づいてPCIツリーの設定に必要な情報を格納する設定レジスタと、前記設定レジスタの状態によらず仮想的なPCIツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、を備える。
また、本発明の第2の側面に係るマルチルートPCIエクスプレススイッチの起動方法は、複数のルートコンプレックスに接続されるマルチルートPCIエクスプレススイッチの起動方法であって、システム起動時にシステムを構成するスイッチの数及びスイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、前記設定された情報に基づいてBIOSシステムを起動し仮想的なPCIツリーを構築するステップと、前記接続先のトポロジを確認して接続状況を確認した後前記仮想的なPCIツリーを実構成のPCIツリーに置き換えるステップと、を有する。
本発明の第3の側面に係るマルチルートPCIマネージャプログラムは、複数のルートコンプレックスに接続されるマルチルートPCIエクスプレススイッチをコンピュータに管理させるマルチルートPCIマネージャプログラムであって、システム起動時に前記マルチルートPCIエクスプレススイッチを構成するスイッチの数及びスイッチのリンク数の情報に基づいて仮想的なPCIツリーの構築に必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、前記設定した情報に基づいて前記ルートコンプレックスに前記マルチルートPCIエクスプレススイッチの使用許可を与えるステップと、前記マルチルートPCIエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のPCIツリー構築に必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、を有する。
本発明によれば、マルチルート対応PCIエクスプレススイッチにおいて、システム起動時に、接続先のトポロジや物理的な接続状況を把握できるまで待つことなくルートコンプレックスを起動することができ、システム起動時間の短縮化を実現することができる。その理由は、接続先のトポロジや物理的な接続状況が把握できる前に仮想的なPCIツリーを構築し、それに基づいてルートコンプレックスが起動できるようにしたためである。
また、本発明によれば、マルチルート対応PCIエクスプレススイッチにおいて、システムの規模によらず、一定のタイミングで、ルートコンプレックスを起動することができ、ルートコンプレックスに対してのリセット、電源管理制御を簡略化できる。その理由は、接続先のトポロジや物理的な接続状況が把握できる前に仮想的なPCIツリーを構築し、それに基づいてルートコンプレックスが起動できるようにしたためである。
MRA PCIエクスプレススイッチを使用したコンピュータシステムである。 MRA PCIエクスプレススイッチの内部構成である。 MRA PCIエクスプレススイッチの内部構成である。 MRA PCIエクスプレススイッチの設定レジスタの構成例である。 MRA PCIエクスプレススイッチの設定レジスタの構成例である。 MRA PCIエクスプレススイッチにおけるCPUから見えるPCIツリーである。 MRA PCIエクスプレススイッチにおけるCPUから見えるPCIツリーである。 MR−PCIMの動作シーケンスにおける課題を説明する図である。 ルートコンプレックスの動作シーケンスにおける課題を説明する図である。 PCI−PCIブリッジの構成を示す図である。 本発明によるMRA拡張PCIエクスレススイッチ使用したコンピュータシステムの一例である。 本発明の一実施形態によるMRA拡張PCIエクスプレススイッチの内部構成図である。 本発明の一実施形態によるMRA拡張PCIエクスプレススイッチの内部構成図である。 本発明の一実施形態によるMRA拡張PCIエクスプレススイッチの多段仮想スイッチブリッジ制御部の構成図である。 本発明の一実施形態によるPCIスイッチブリッジ仮想コンフィグレーションレジスタ情報の構成例を示す図である。 本発明の一実施形態によるMRA拡張PCIエクスプレススイッチのMR−PCIMの動作シーケンスを示す図である。 本発明の一実施形態によるMRA拡張PCIエクスプレススイッチに接続されるルートコンプレックスの動作シーケンスを示す図である。 本発明の一実施形態による多段仮想スイッチブリッジ制御部におけるCPUから見えるPCIツリーの例を示す図である。 本発明の一実施形態による設定反映後PCIツリー上で削除される箇所の例を示す図である。
本発明において次の好ましい形態が可能である。
[形態1]
第1の側面に記載のとおりのマルチルートPCIエクスプレススイッチが好ましい。
[形態2]
マルチルートPCIエクスプレススイッチにおいて、前記複数のルートコンプレックスに対して接続可能なマルチルート対応PCI-PCIブリッジと、前記複数のルートコンプレックスに対応して設けられ、前記マルチルート対応PCI−PCIブリッジを含む複数のブリッジ間の接続を行う仮想PCIエクスプレススイッチと、をさらに備えることが好ましい。
[形態3]
マルチルートPCIエクスプレススイッチにおいて、前記仮想スイッチブリッジ制御部は、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて設定されるPCIスイッチブリッジ仮想コンフィグレーションレジスタを備えることが好ましい。
[形態4]
マルチルートPCIエクスプレススイッチにおいて、データ転送時に必要なアドレス情報が格納された実コンフィグレーションレジスタをさらに備え、前記仮想スイッチブリッジ制御部が、前記設定レジスタの設定に基づいて、前記PCIスイッチブリッジ仮想コンフィグレーションレジスタと前記実コンフィグレーションレジスタとの同期制御を行う仮想レジスタ同期制御部をさらに備えることが好ましい。
[形態5]
マルチルートPCIエクスプレススイッチにおいて、前記仮想スイッチブリッジ制御部が、前記マルチルートPCIエクスプレスの設定状態に応じて、前記仮想的なPCIツリーを実構成のPCIツリーと整合させるためのホットプラグイベントを発行するホットプラグイベント発行部をさらに備えることが好ましい。
[形態6]
第2の側面に記載のとおりのマルチルートPCIエクスプレススイッチの起動方法であることが好ましい。
[形態7]
マルチルートPCIエクスプレススイッチの起動方法において、前記マルチルートPCIエクスプレススイッチが、前記仮想的なPCIツリーの情報を保持し、前記仮想的なPCIツリーを実構成のPCIツリーに置き換えさせる仮想スイッチブリッジ制御部を備えているマルチルートPCIエクスプレススイッチの起動方法であることが好ましい。
[形態8]
マルチルートPCIエクスプレススイッチの起動方法において、ホストコンピュータのマルチルートPCIマネージャプログラムが、前記システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定する処理を行い、前記ルートコンプレックスが、BIOSシステムを起動し、前記仮想的なPCIツリーを構築し、前記マルチルートPCIマネージャプログラムが、前記接続先のトポロジを確認して接続状況を確認した後、実構成のPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定し、前記ルートコンプレックスが、前記実構成のPCIツリーを構築するために設定された情報に基づいて、前記仮想的なPCIツリーを実構成のPCIツリーに置き換えるマルチルートPCIエクスプレススイッチの起動方法であることが好ましい。
[形態9]
マルチルートPCIエクスプレススイッチの起動方法において、前記マルチルートPCIマネージャプログラムは、前記マルチルートPCIエクスプレススイッチ内のレジスタを参照することにより、前記システムを構成するスイッチの数、及び、スイッチのリンク数を把握して仮想的なPCIツリーを構築するために必要な情報を設定し、前記ホストコンピュータが接続されるルートコンプレックスに対してVH(Virtual Hierarchy)番号を固定で割り当てて、前記ホストコンピュータが接続されるルートコンプレックスに対してスイッチの利用許可を与え、前記利用許可に応答して、前記利用許可を受けたルートコンプレックスが前記BIOSシステムを起動し、仮想的なPCIツリーを構築し、前記マルチルートPCIマネージャプログラムは、前記ルートコンプレックスの処理と並行して前記接続先のトポロジを確認して物理的な接続状況を把握し、I/Oが接続されているか否か確認し、接続されている場合はI/Oの種類を把握する処理を行うマルチルートPCIエクスプレススイッチの起動方法であることが好ましい。
[形態10]
マルチルートPCIエクスプレススイッチの起動方法において、前記マルチルートPCIマネージャプログラムは、前記物理的な接続状況の把握、I/Oの種別の把握に、前記マルチルートPCIエクスプレススイッチが、その設定に応答してホットプラグイベントを発行して、前記ルートコンプレックスに前記仮想的なPCIツリーと実構成のPCIツリーとの整合を行わせるマルチルートPCIエクスプレススイッチの起動方法であることが好ましい。
[形態11]
マルチルートPCIマネージャプログラムとしては、第3の側面に記載のとおりとすることが好ましい。
[形態12]
マルチルートPCIマネージャプログラムを記録したコンピュータが読み取り可能な記憶媒体としては、上記形態11のマルチルートPCIマネージャプログラムを記録したコンピュータが読み取り可能な記憶媒体であることが好ましい。
次に、本発明の実施の形態について図面を参照して詳細に説明する。図11に本発明を用いたMRA拡張PCIエクスプレスシステムの構成図を示す。本発明のMRA PCIエクスプレスシステムでは、MRA拡張PCIエクスプレススイッチ9511に、従来のMRA PCIエクスプレススイッチで構成されるシステムにおいても使用されるCPU101、CPU108、ルートコンプレックス102、メモリ103、ルートコンプレックス109、メモリ110、MRエンドポイント505、エンドポイント106、エンドポイント107が接続され、MRA拡張 PCIエクスプレススイッチ9511に接続される。またMRA拡張 PCIエクスプレススイッチ9512には、CPU1011、ルートコンプレックス1021、メモリ1031、MRエンドポイント506が接続される。接続できるルートコンプレックス並びにエンドポントは従来のPCIエクスプレス対応のデバイスならびに、非特許文献1で規定されるMRエンドポイントであり、図1と同様にデバイス間で通信を行うことができる。
本実施形態では図1に示した、従来のMRA PCIエクスプレススイッチでの構成と同様の構成で、システム起動時間の短縮を実現する場合、MRA拡張 PCIエクスプレススイッチにおいて、どのような構成、どのような設定で実現されるかを、MRA拡張 PCIエクスプレススイッチの内部構成並びに動作、設定状態について説明する。
MRA拡張PCIエクスプレススイッチの内部構成の詳細について以下に示す。MRA拡張PCIエクスプレススイッチでは、MRA PCIエクスプレスでも使用される、上流・下流・MR対応下流PCI−PCIブリッジ、MRAコントローラ論理、設定レジスタを用い、加えて、ルートコンプレックスに対して、多段の仮想的なスイッチを構成する上流・下流PCI−PCIブリッジ並びに、仮想的なI/OとしてPCI−PCIブリッジを見せる、多段仮想スイッチブリッジ制御部が付与される。
図12に、MRA拡張PCIエクスプレススイッチ9511、図13にMRA拡張PCIエクスプレススイッチ9512の構成を示す。MRA拡張PCIエクスプレススイッチ9511、9512は、従来のMRA PCIエクスプレススイッチ511、512に加えて、多段仮想スイッチブリッジ制御部81が付与された形で構成される。
MR対応PCI−PCIブリッジにおいては、MRA PCIエクスプレススイッチと同様VHの割当が行われる。また、MR−PCIMからの設定もVH0のポート並びに、MRAコントローラ論理を介して、設定レジスタの設定が行われることで、利用する仮想PCIエクスプレススイッチ並びにそのポート、VH番号、上流か下流が決定され、ルートコンプレックスに対して、PCIエクスプレスのツリーの構築が行われ、エンドポイントへのアクセスが可能になる。従って、MRA拡張PCIエクスプレススイッチ9511、9512内でのルートコンプレックス、エンドポイント間のデータ転送を行う処理は、従来のMRA PCIエクスプレススイッチと同様に行われる。
MRA拡張PCIエクスプレススイッチの特徴は、多段仮想スイッチブリッジ制御部が、ルートコンプレックスに対して、多段の仮想的なスイッチ並びにブリッジをみせる所にある。図12に示すMRA拡張PCIエクスプレススイッチ9511では、ルートコンプレックス102とルートコンプレックス109に対して、MR対応上流PCI−PCIブリッジ5111並びに、上流PCI−PCIブリッジ5112の先に、多段の仮想的なスイッチとブリッジを構成する。同様に、図13に示すMRA拡張PCIエクスプレススイッチ9512では、ルートコンプレックス1021に対して、上流PCI−PCIブリッジ5123の先に、仮想的なスイッチとブリッジを構成する。
図14に、多段仮想スイッチブリッジ制御部81の内部構成の詳細を示す。多段仮想スイッチブリッジ制御部81は、コンフィグレーション送受制御部821、多段仮想スイッチ仮想ブリッジ制御部822、PCIスイッチブリッジ仮想コンフィグレーションレジスタ情報824、仮想レジスタ同期制御825、ホットプラグイベント発行部823で構成される。
以下に、多段仮想スイッチブリッジ制御部81の機能について示す。多段仮想スイッチブリッジ制御部81は、まずシステム起動時MR−PCIMから、システムは何段のスイッチで構成されているか、またそのスイッチのリンク数はいくつであるかの設定情報を、MR−PCI仮想スイッチ、ブリッジ段数設定812として、多段仮想スイッチ仮想ブリッジ制御部822に対して設定される。段数並びにリンク数が設定されると、多段仮想スイッチ仮想ブリッジ制御部822は、ルートコンプレックスからみて、仮想的な上流・下流PCI−PCIブリッジ並びにPCIブリッジが存在しているように見せるため、PCIスイッチブリッジ仮想コンフィグレーションレジスタ情報824を複数構成する。ルートコンプレックスに対して、起動許可がおり、BIOSが起動し、PCIツリーサーチのプログラムが走る。その後、MRA拡張PCIエクスプレススイッチに対して、コンフィグレーションアクセスが発生し、上流PCI−PCIブリッジを経由して、ブリッジコンフィグレーションパケット813として受信する。受信情報は、PCIスイッチブリッジ仮想コンフィグレーションレジスタ情報824にアクセスが発生する。
PCIスイッチブリッジ仮想コンフィグレーションレジスタ情報824の詳細構成を、図15に示す。本レジスタは、図10に示した、実PCI−PCIブリッジが保持するコンフィグレーションレジスタ1502と同様の構成をとり、本レジスタにより、コンフィグレーションを行うルートコンプレックスに対して、仮想的なPCI−PCIブリッジ並びにPCIブリッジが存在しているように、ルートコンプレックスに見せることが可能になる。
また、多段仮想スイッチブリッジ制御部81は、MRA拡張PCIエクスプレススイッチの設定レジスタを参照することで、実際のスイッチへのコンフィグレーション状態を把握、実PCI−PCIブリッジが利用可能になった際には、仮想レジスタ同期制御825は、実PCI−PCIブリッジに相当する仮想PCI−PCIブリッジと、スイッチ内部実コンフィグレーションレジスタ814に対して、レジスタの情報のコピー並びにミラーリングを行うことで、同期制御を行う。実PCI−PCIブリッジが有効になった時点で、ルートコンプレックスに見せていた仮想PCI−PCIブリッジを実際のPCI−PCIブリッジ並びにI/Oへ置き換えるために、ホットプラグイベント発行部823は、仮想PCI−PCIブリッジのHot−Remove(切離し)並びに、実PCI−PCIブリッジのHot−Add(付与)のホットプラグイベントを発行し、仮想的な状態から、実際に利用している状態との整合を行う。
次に、上述した、多段仮想スイッチブリッジ制御部を搭載したMRA拡張PCIエクスプレスにおけるMR−PCIMの動作シーケンス並びに、ルートコンプレックスの起動シーケンスを説明し、どのようにシステム起動時間が短縮されるかを説明する。
図16にMRA拡張PCIエクスプレススイッチ9511、9512を管理するMR−PCIM952の動作シーケンスを示す。MR−PCIM952は、起動後、まずどのような種類のスイッチが何個をつながっているか、そのスイッチはリンクを何本もっているかを把握する(ステップS21)。これはスイッチのレジスタを参照するだけで把握することが可能である。次に、多段仮想スイッチブリッジ制御部81へ接続するためのパスを開くために、ルートコンプレックスが接続されているポートのVHの番号を初期値として固定で割り当てる(ステップS22)。ルートコンプレックスが接続されているリンクは共有されないので、VHの番号は任意の固定の番号を設定しても問題ない。その後、MR−PCIMはルートコンプレックスにスイッチ利用を許可する(ステップS23)。スイッチ段数とリンク数の確認、初期値の設定は、システム規模によらず、単なるレジスタのリード、ライト1コマンドで終了するため、ルートコンプレックスがスイッチ利用の許可を受けるまでの時間は常に一定で、非常に短い。利用許可後、従来のMR−PCIMと同様に、スイッチがどのようなトポロジで接続されているかの物理的な接続状況を把握(ステップS24)、トポロジの先に繋がるI/Oの確認と種別把握の処理が行われ(ステップS25)、ユーザが要望する設定、すなわち、図4、図5に示すテーブル情報の設定が行われる(ステップS26)。
図17に、上述したMR−PCIM952の動作に対してのルートコンプレックスの動作シーケンスを示す。CPU101、CPU1011のルートコンプレックスは、システム起動後、すぐにスイッチの利用許可をMR−PCIMから指示を受け(ステップS31)、BIOSシステムの起動を行う(ステップS32)。すなわち、システムの規模や構成によらず、一定時間後すぐに、MR−PCIM起動後ルートコンプレックスに対して起動許可が発行され、ルートコンプレックスは、ほとんど待つ事なく、リセットが掛かり、BIOSを起動することができるようになる。BIOS起動中は、ルートコンプレックスが接続されているポートの先の上流PCI−PCIブリッジの先は、まだ設定レジスタによる設定がされていないため、仮想PCIエクスプレススイッチは利用されず、多段仮想スイッチブリッジ制御部が提供する多段仮想スイッチブリッジを認識して起動することになる。多段仮想スイッチブリッジは、MR−PCIM起動直後、仮想スイッチの段数、リンク数の情報を受けているので、仮想的なスイッチブリッジが既に構成されている。
図18にルートコンプレックス102から見た、起動直後の仮想スイッチ、ブリッジ構成されるPCIツリーを示す。図11に示す構成においては、スイッチは2段、各スイッチのリンク数は6と3であるので、仮想スイッチは2段(N=2)で構成されており、1段目の仮想スイッチのリンク数は6(M1=6)、2段目の仮想スイッチのリンク数は3(M2=3)で構成され、末端のリンクには仮想ブリッジが構成される。BIOSはこの仮想スイッチブリッジで構成されたPCIツリーを認識し、仮想スイッチブリッジに対し、コンフィグレーションを行い、次にOS起動に入る。
ルートコンプレックスがMR−PCIMからの指示で立ち上がっている間、MR−PCIM952は、図16に示したように、従来と同様に時間がかかる物理的な接続状況の把握ならびに、I/O種別の把握に関する処理を、ルートコンプレックスの処理として時間がかかる、BIOS起動やOS起動と平行して行うことで、システム起動時間の短縮を図る。
また、物理的な接続状況の把握ならびに、I/O種別の把握に関する処理が完了するとツリーの設定として、スイッチの設定レジスタの読み込みが行われVH番号はVS番号の設定がされ、実際のPCI−PCIブリッジが使用可能になる。前述したとおり、図14に示す仮想レジスタ同期制御825並びにホットプラグイベント発行部823は実際のPCI−PCIブリッジが利用になると、情報の同期と、構成変更のためにホットプラグ処理を行い、実際のシステム運用と同じ状態になるように整合する。すなわち、図17のステップS36〜S39に示すように、MR−PCIMが、物理的な接続状況を把握し(ステップS36)、I/Oの種別を把握し(ステップS37)、ユーザが要望するツリー設定に必要な情報を設定レジスタ(95121、95131)に設定する(ステップS38)。さらに、ホットプラグイベントによって、仮想的なPCIツリーが、実構成のPCIツリーと一致するように再構成される(ステップS39)。
図19はPCIツリー上で削除される箇所を示している。網線部分は、VH/VSの設定により、PCIツリーとして不要であることが解った部分である。この箇所はホットプラグイベント発行部823により、Hot−Remove(切離し)処理が行われ、実構成として同じPCIツリー状態になるように構成される。また、仮想PCI−PCIブリッジ並びに仮想ブリッジは、実PCI−PCIブリッジ並びに実I/Oに、Hot−Remove(切離し)、Hot−Add(追加)で、PCIツリーの状態を保ったまま、変更され、図6に示した構成と同じ構成になる。
以上のように、従来のMRA PCIエクスプレススイッチで問題となっていた、物理的な接続状況の把握ならびに、I/O種別の把握で時間が掛っていた箇所は、ルートコンプレックスがBIOS起動中、OS起動中の時間を有効活用して行われるため、システムの起動時間が短縮され、また、従来システムと同様のPCIツリーでユーザはソフトウェアを利用する事ができる。
以上、説明したように、本発明の一実施形態のマルチルートPCIエクスプレススイッチは、例えば図12、13に示すように、複数のルートコンプレックス(102、109、1021)に対して接続可能なマルチルートPCIエクスプレススイッチ(9511、9512)において、スイッチの接続先のトポロジ、物理的な接続状況に基づいてPCIツリーの設定に必要な情報を格納する設定レジスタ(95121、95131)と、設定レジスタの状態によらず仮想的なPCIツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部81と、を備えている。
上記マルチルートPCIエクスプレススイッチによれば、仮想的なPCIツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部81を備えているので、設定レジスタの設定前でも、接続先のトポロジや物理的な接続状況を把握できるまで待つことなくルートコンプレックスを起動することができる。また、システムの規模によらず、ルートコンプレックスを起動するまでの時間を一定にすることができる。
さらに、本発明の一実施形態のマルチルートPCIエクスプレススイッチは、例えば図12、13に示すように、複数のルートコンプレックスに対して接続可能なマルチルート対応PCI-PCIブリッジ(5113、5133)と、複数のルートコンプレックス(102、109、1021)に対応して設けられマルチルート対応PCI−PCIブリッジ(5113、5133)を含む複数のブリッジ(5111、5112、5122、5113、5114、5115、5123、5124、5133)間の接続を行う仮想PCIエクスプレススイッチ(5116、5117、5118、5119、5126、5127、5129)と、をさらに備えたものであってもよい。
また、本発明の一実施形態のマルチルートPCIエクスプレススイッチの起動方法は、例えば、図16、17に示すように、複数のルートコンプレックス(図11の102、109、1021)に接続されるマルチルートPCIエクスプレススイッチ(図11の9511、9512)の起動方法であって、システム起動時にシステムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップ(S21、S22)と、設定された情報に基づいてBIOSシステムを起動し仮想的なPCIツリーを構築するステップ(S33)と、接続先のトポロジを確認して接続状況を確認した後、前記仮想的なPCIツリーを実構成のPCIツリーに置き換えるステップ(S36〜S39)と、を有する。
上記起動方法によれば、システム起動時に、仮想的にPCIツリーを構築する(図18参照)ので、短時間でBIOSシステムを起動することができる。また、仮想的に構築したPCIツリー(図18)は、接続先のトポロジや接続状況を確認した後、実構成のPCIツリーに置き換えられる(図19参照)ので、矛盾が生じることもない。
さらに、本発明の一実施形態のマルチルートPCIマネージャプログラムは、図16に示すように、複数のルートコンプレックス(図11の102、109、1021)に接続されるマルチルートPCIエクスプレススイッチ(図11の9511、9512)をコンピュータ(図11の101)に管理させるマルチルートPCIマネージャプログラムであって、システム起動時にマルチルートPCIエクスプレススイッチ(9511、9512)を構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリー(例えば図18)の構築に必要な情報を前記マルチルートPCIエクスプレススイッチ(図11の9511、9512)に設定するステップ(S21、S22)と、設定した情報に基づいてルートコンプレックス(102、109、1021)にマルチルートPCIエクスプレススイッチの使用許可を与えるステップ(S23)と、マルチルートPCIエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のPCIツリー構築に必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップ(S24〜S26)と、を有する。
上記マルチルートPCIマネージャプログラムは、CDROM、DVD、フレキシブルディスク、ROM、フラッシュメモリ、RAM、ハードディスクなどの記憶媒体を介してコンピュータにインストール可能である。また、コンピュータは、上記記憶媒体に格納されたマルチルートPCIマネージャプログラムを実行することができる。
上記マルチルートPCIマネージャによれば、システム起動時に、スイッチのレジスタを参照するだけで把握できるスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報をマルチルートPCIエクスプレススイッチに設定し、それに基づいて、ルートコンプレックスにマルチルートPCIエクスプレススイッチの使用許可を与える。したがって、ルートコンプレックスは、システムの規模に依存せず、早期に起動することができる。仮想的なPCIツリー構築のために設定した情報は、スイッチの接続先のトポロジ、物理的な接続状況を確認できた後、実構成のPCIツリー構築に必要な情報を設定しているので、ホットプラグ処理等により、仮想的なPCIツリーを実構成のPCIツリーに更新できるので、矛盾が生じることもない。
本発明によれば、複数のルートコンプレックスを収容するMRA PCIエクスプレススイッチにおいて、MR−PCIMは物理構成、論理構成について把握している時間を待つ事なく、ルートコンプレックスを即時起動することを可能とし、システム起動時間の短縮化を実現できる。その理由は、MRA PCIエクスプレススイッチの構成に加え、多段の仮想的なスイッチ並びに仮想的なブリッジをルートコンプレックスに見せる仮想スイッチブリッジ制御部を持ち、ルートコンプレックスのシステム起動時は、最初、多段の仮想的なスイッチ並びにブリッジを利用させることで、MR−PCIMは即時ルートコンプレックスの起動を許可できるようにしたためである。
また、本発明によれば、MRA PCIエクスプレスシステムにおいて、システムの規模によらず、一定のタイミングで、MR−PCIMがルートコンプレックスに対して、起動直後、即時、起動許可を与えることができるため、ルートコンプレックスに対してのリセット、電源管理制御を簡略化できる。その理由は、マルチルートPCIエクスプレススイッチの構成に加え、多段の仮想的なスイッチ並びに仮想的なブリッジをルートコンプレックスに見せる仮想スイッチブリッジ制御部を持ち、ルートコンプレックスのシステム起動時は、最初、多段の仮想的なスイッチ並びにブリッジを利用させることで、MR−PCIMは即時ルートコンプレックスの起動を許可できるようにしたためである。
以上、本発明を実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
本発明の活用例として、本実施例では有線で接続されたコンピュータシステム並びにネットワークシステムを説明したが、有線または無線に関わらず、PCIエクスプレスインターフェースを搭載しているシステム環境全てに活用可能である。
101,108,1011 CPU
102,109,1021 ルートコンプレックス
103,110,1031 メモリ
104 PCIエクスプレススイッチ
105,106,107 エンドポイント
505,506 MRエンドポイント
52,952 MR−PCIM
511,512 MRA PCIエクスプレススイッチ
5111 MR対応上流PCI−PCIブリッジ
5122,5124 MR対応上流・下流PCI−PCIブリッジ
5116,5117,5118,5119,5126,5127,5129 仮想PCIエクスプレススイッチ
5113,5133 MR対応下流PCI−PCIブリッジ
5114,5115 下流PCI−PCIブリッジ
5120 MRAコントローラ論理
5121,5131 設定レジスタ
5112,5123 上流PCI−PCIブリッジ
1502 コンフィグレーションレジスタ
18001 バス番号下限値
18002 バス番号上限値
18003 32ビットI/Oアドレス下限値
18004 32ビットI/Oアドレス上限値
18005 32ビットメモリ下限値
18006 32ビットメモリ上限値
18007 64ビットメモリ下限値
18008 64ビットメモリ上限値
18009 パケット転送ロジック
9511,9512 MRA拡張PCIエクスプレススイッチ
81 多段仮想スイッチブリッジ制御部
821 コンフィグレーション送受制御部
822 多段仮想スイッチ仮想ブリッジ制御部
823 ホットプラグイベント発行部
824 PCIスイッチブリッジ仮想コンフィグレーションレジスタ情報
825 仮想レジスタ同期制御

Claims (11)

  1. 複数のルートコンプレックスに対して接続可能なマルチルートPCIエクスプレススイッチにおいて、
    スイッチの接続先のトポロジ、物理的な接続状況に基づいてPCIツリーの設定に必要な情報を格納する設定レジスタと、
    前記設定レジスタの状態によらず、仮想的なPCIツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、
    を備えたマルチルートPCIエクスプレススイッチ。
  2. 前記複数のルートコンプレックスに対して接続可能なマルチルート対応PCI-PCIブリッジと、
    前記複数のルートコンプレックスに対応して設けられ、前記マルチルート対応PCI−PCIブリッジを含む複数のブリッジ間の接続を行う仮想PCIエクスプレススイッチと、
    をさらに備えた請求項1記載のマルチルートPCIエクスプレススイッチ。
  3. 前記仮想スイッチブリッジ制御部は、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて設定されるPCIスイッチブリッジ仮想コンフィグレーションレジスタを備えた請求項1又は2記載のマルチルートPCIエクスプレススイッチ。
  4. データ転送時に必要なアドレス情報が格納された実コンフィグレーションレジスタをさらに備え、
    前記仮想スイッチブリッジ制御部が、前記設定レジスタの設定に基づいて、前記PCIスイッチブリッジ仮想コンフィグレーションレジスタと前記実コンフィグレーションレジスタとの同期制御を行う仮想レジスタ同期制御部をさらに備えた請求項1乃至3いずれか1項記載のマルチルートPCIエクスプレススイッチ。
  5. 前記仮想スイッチブリッジ制御部が、前記マルチルートPCIエクスプレスの設定状態に応じて、前記仮想的なPCIツリーを実構成のPCIツリーと整合させるためのホットプラグイベントを発行するホットプラグイベント発行部をさらに備えた請求項1乃至4いずれか1項記載のマルチルートPCIエクスプレススイッチ。
  6. 複数のルートコンプレックスに接続されるマルチルートPCIエクスプレススイッチの起動方法であって、
    システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、
    前記設定された情報に基づいて、BIOSシステムを起動し、仮想的なPCIツリーを構築するステップと、
    前記接続先のトポロジを確認して接続状況を確認した後、前記仮想的なPCIツリーを
    実構成のPCIツリーに置き換えるステップと、
    を有するマルチルートPCIエクスプレススイッチの起動方法。
  7. 前記マルチルートPCIエクスプレススイッチが、前記仮想的なPCIツリーの情報を保持し、前記仮想的なPCIツリーを実構成のPCIツリーに置き換えさせる仮想スイッチブリッジ制御部を備えている請求項6記載のマルチルートPCIエクスプレススイッチの起動方法。
  8. ホストコンピュータのマルチルートPCIマネージャプログラムが、前記システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定する処理を行い、
    前記ルートコンプレックスが、BIOSシステムを起動し、前記仮想的なPCIツリーを構築し、
    前記マルチルートPCIマネージャプログラムが、前記接続先のトポロジを確認して接続状況を確認した後、実構成のPCIツリーを構築するために必要な情報を前記マルチルートPCIエクスプレススイッチに設定し、
    前記ルートコンプレックスが、前記実構成のPCIツリーを構築するために設定された情報に基づいて、前記仮想的なPCIツリーを実構成のPCIツリーに置き換える
    請求項6又は7記載のマルチルートPCIエクスプレススイッチの起動方法。
  9. 前記マルチルートPCIマネージャプログラムは、前記マルチルートPCIエクスプレススイッチ内のレジスタを参照することにより、前記システムを構成するスイッチの数、及び、スイッチのリンク数を把握して仮想的なPCIツリーを構築するために必要な情報を設定し、前記ホストコンピュータが接続されるルートコンプレックスに対してVH(Virtual Hierarchy)番号を固定で割り当てて、前記ホストコンピュータが接続されるルートコンプレックスに対してスイッチの利用許可を与え、
    前記利用許可に応答して、前記利用許可を受けたルートコンプレックスが前記BIOSシステムを起動し、仮想的なPCIツリーを構築し、
    前記マルチルートPCIマネージャプログラムは、前記ルートコンプレックスの処理と並行して前記接続先のトポロジを確認して物理的な接続状況を把握し、I/Oが接続されているか否か確認し、接続されている場合はI/Oの種類を把握する処理を行う請求項8記載のマルチルートPCIエクスプレススイッチの起動方法。
  10. 前記マルチルートPCIマネージャプログラムは、前記物理的な接続状況の把握、I/Oの種別の把握に、
    前記マルチルートPCIエクスプレススイッチが、その設定に応答してホットプラグイベントを発行して、前記ルートコンプレックスに前記仮想的なPCIツリーと実構成のPCIツリーとの整合を行わせる請求項9記載のマルチルートPCIエクスプレススイッチの起動方法。
  11. 複数のルートコンプレックスに接続されるマルチルートPCIエクスプレススイッチをコンピュータに管理させるマルチルートPCIマネージャプログラムであって、
    システム起動時に、前記マルチルートPCIエクスプレススイッチを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なPCIツリーの構築に必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、
    前記設定した情報に基づいて、前記ルートコンプレックスに前記マルチルートPCIエクスプレススイッチの使用許可を与えるステップと、
    前記マルチルートPCIエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のPCIツリー構築に必要な情報を前記マルチルートPCIエクスプレススイッチに設定するステップと、を有するマルチルートPCIマネージャプログラム。
JP2010533906A 2008-10-15 2009-10-14 マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム Active JP5440507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010533906A JP5440507B2 (ja) 2008-10-15 2009-10-14 マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008266444 2008-10-15
JP2008266444 2008-10-15
PCT/JP2009/067758 WO2010044409A1 (ja) 2008-10-15 2009-10-14 マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム
JP2010533906A JP5440507B2 (ja) 2008-10-15 2009-10-14 マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム

Publications (2)

Publication Number Publication Date
JPWO2010044409A1 true JPWO2010044409A1 (ja) 2012-03-15
JP5440507B2 JP5440507B2 (ja) 2014-03-12

Family

ID=42106572

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010533906A Active JP5440507B2 (ja) 2008-10-15 2009-10-14 マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム

Country Status (3)

Country Link
US (1) US8719483B2 (ja)
JP (1) JP5440507B2 (ja)
WO (1) WO2010044409A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101397377B1 (ko) * 2008-02-26 2014-05-19 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 호스트 열거 프로세스 수행 방법 및 장치
JP5401679B2 (ja) * 2009-02-19 2014-01-29 株式会社日立製作所 計算機システム、管理方法及び管理サーバ
JP5074457B2 (ja) * 2009-06-04 2012-11-14 株式会社日立製作所 計算機システム、スイッチ切り替え方法及びpciスイッチ
US8554973B2 (en) * 2010-04-23 2013-10-08 Hitachi, Ltd. Storage device and method for managing size of storage device
US8949499B2 (en) * 2010-06-24 2015-02-03 International Business Machines Corporation Using a PCI standard hot plug controller to modify the hierarchy of a distributed switch
WO2012023152A2 (en) * 2010-08-19 2012-02-23 Ineda Systems Pvt. Ltd Multi-processor electronic systems
US20130151750A1 (en) * 2010-08-19 2013-06-13 Balaji Kanigicherla Multi-root input output virtualization aware switch
JP5399570B2 (ja) * 2010-11-29 2014-01-29 株式会社日立製作所 計算機システム、それに使用されるスイッチ及びパケット転送制御方法
CN102819517A (zh) * 2011-06-08 2012-12-12 鸿富锦精密工业(深圳)有限公司 Pcie接口卡
JP5979229B2 (ja) 2012-05-22 2016-08-24 富士通株式会社 情報処理装置、制御方法、及び制御プログラム
US8843688B2 (en) 2012-09-11 2014-09-23 International Business Machines Corporation Concurrent repair of PCIE switch units in a tightly-coupled, multi-switch, multi-adapter, multi-host distributed system
US9262363B2 (en) 2012-11-30 2016-02-16 Ciena Corporation PCI and PCI express virtual hot plug systems and methods
KR102007368B1 (ko) * 2012-12-17 2019-08-05 한국전자통신연구원 Pci 익스프레스 스위치 및 이를 이용한 컴퓨터 시스템
US9436630B2 (en) * 2013-06-11 2016-09-06 Western Digital Technologies, Inc. Using dual phys to support multiple PCIe link widths
US20150254082A1 (en) * 2014-03-10 2015-09-10 Plx Technology, Inc. Remote booting over pci express using synthetic remote boot capability
US9779050B2 (en) 2015-04-27 2017-10-03 Red Hat Israel, Ltd. Allocating virtual resources to root PCI bus
US10572426B2 (en) * 2015-06-02 2020-02-25 Nxp Usa, Inc. System-level redundancy in PCI express equipment
WO2017201742A1 (zh) * 2016-05-27 2017-11-30 华为技术有限公司 存储***及设备扫描方法
WO2017209854A1 (en) 2016-05-31 2017-12-07 Brocade Communications Systems, Inc. Hot-plug hardware and software implementation
US10133699B2 (en) 2016-08-05 2018-11-20 Red Hat Israel, Ltd. Hot-plug of devices in virtualized computer systems
KR102669219B1 (ko) 2016-08-16 2024-05-28 삼성전자주식회사 종단 장치로부터 제공되는 부트 업 명령어에 기초하여 부팅 동작을 수행하도록 구성되는 전자 장치
WO2019036217A1 (en) 2017-08-18 2019-02-21 Missing Link Electronics, Inc. HETEROGENEOUS TRANSPORT BASED ON PACKETS
US11356388B2 (en) 2017-08-18 2022-06-07 Missing Link Electronics, Inc. Real-time multi-protocol heterogeneous packet-based transport
US10853299B2 (en) * 2017-09-15 2020-12-01 Dell Products L.P. Hot-plugged PCIe device configuration system
CN108804230B (zh) * 2018-06-11 2020-05-26 苏州浪潮智能科技有限公司 一种根据pci设备的类型分配资源的方法、装置及介质
CN109408454B (zh) * 2018-11-01 2021-10-22 郑州云海信息技术有限公司 一种芯片管理的方法以及相关装置
CN111651515B (zh) * 2020-08-10 2020-10-27 成都智明达电子股份有限公司 可对外供电的高速数据卸载设备及其使用方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265598A (ja) 2000-03-15 2001-09-28 Matsushita Electric Ind Co Ltd 情報処理装置
JP4810349B2 (ja) * 2006-08-11 2011-11-09 日本電気株式会社 I/o装置及び方法
JP4501916B2 (ja) * 2006-09-20 2010-07-14 日本電気株式会社 I/o機器の共有システムと情報処理装置共有システム及びそれらに用いる方法
US8271604B2 (en) * 2006-12-19 2012-09-18 International Business Machines Corporation Initializing shared memories for sharing endpoints across a plurality of root complexes
US7657663B2 (en) * 2006-12-19 2010-02-02 International Business Machines Corporation Migrating stateless virtual functions from one virtual plane to another
US7813366B2 (en) * 2006-12-19 2010-10-12 International Business Machines Corporation Migration of a virtual endpoint from one virtual plane to another
US7979592B1 (en) * 2007-02-09 2011-07-12 Emulex Design And Manufacturing Corporation Virtualization bridge device
US20110029693A1 (en) * 2008-04-01 2011-02-03 Hubert Brinkmann Reserving pci memory space for pci devices
US8359415B2 (en) * 2008-05-05 2013-01-22 International Business Machines Corporation Multi-root I/O virtualization using separate management facilities of multiple logical partitions
US8625615B2 (en) * 2008-05-16 2014-01-07 Nec Corporation PCI express switch, PCI express system, and network control method

Also Published As

Publication number Publication date
US8719483B2 (en) 2014-05-06
US20110185163A1 (en) 2011-07-28
WO2010044409A1 (ja) 2010-04-22
JP5440507B2 (ja) 2014-03-12

Similar Documents

Publication Publication Date Title
JP5440507B2 (ja) マルチルートpciエクスプレススイッチ、その起動方法、及び、マルチルートpciマネージャプログラム
EP2927812B1 (en) Method and apparatus for extending pcie bus domain
JP5598148B2 (ja) スイッチング装置、情報処理装置、及びスイッチング装置の制御方法
KR101324844B1 (ko) 기능 변환 시스템 및 방법과 변환 수행 시스템
US7822908B2 (en) Discovery of a bridge device in a SAS communication system
US8700856B2 (en) Method for accessing mirrored shared memories and storage subsystem using method for accessing mirrored shared memories
JP5310175B2 (ja) スイッチシステム、及びスイッチシステムの制御方法
JP4799222B2 (ja) 情報処理装置、情報処理システムおよび初期化方法
KR102007368B1 (ko) Pci 익스프레스 스위치 및 이를 이용한 컴퓨터 시스템
US11995019B2 (en) PCIe device with changeable function types and operating method thereof
US11983136B2 (en) PCIe device and operating method thereof
US11928070B2 (en) PCIe device
US8775712B2 (en) Bus connecting device for connecting host with external device
JP6094575B2 (ja) I/oデバイス共有システムおよびi/oデバイス共有方法
CN115203110A (zh) PCIe功能及其操作方法
JP2011113163A (ja) Ioアクセス通信システムにおけるエンドポイント間通信制御装置および方法
US20230318606A1 (en) Interface device and method of operating the same
JP2001027920A (ja) バスブリッジ回路及びそのパワーマネージメント方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131202

R150 Certificate of patent or registration of utility model

Ref document number: 5440507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150