JP5058615B2 - Node control apparatus and information processing apparatus - Google Patents
Node control apparatus and information processing apparatus Download PDFInfo
- Publication number
- JP5058615B2 JP5058615B2 JP2007014982A JP2007014982A JP5058615B2 JP 5058615 B2 JP5058615 B2 JP 5058615B2 JP 2007014982 A JP2007014982 A JP 2007014982A JP 2007014982 A JP2007014982 A JP 2007014982A JP 5058615 B2 JP5058615 B2 JP 5058615B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- bus
- control device
- access
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Bus Control (AREA)
Description
本発明は、複数のＩＯ（入出力）ノードを含む大規模な情報処理装置およびその情報処理装置において使用するノード制御装置に関し、特に、ＰＣＩ(Peripheral Component Interconnect)仕様で定義されるコンフィグレーション空間を複数設定して処理できるようにすることにより、従来と比較して多数のＩＯデバイスを接続可能にする技術に関する。 The present invention relates to a large-scale information processing apparatus including a plurality of IO (input / output) nodes and a node control apparatus used in the information processing apparatus, and more particularly to a configuration space defined by the PCI (Peripheral Component Interconnect) specification. The present invention relates to a technology that enables a plurality of IO devices to be connected as compared with the prior art by enabling a plurality of settings to be processed.
ＰＣＩバスで使用されるコンフィグレーション空間のバス番号は、８ビットであり、最大で２５６個のバスがサポートされる（例えば、特許文献１参照）。これは、ＰＣＩ Ｌｏｃａｌ Ｂｕｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ、ＰＣＩ−Ｘ Ｐｒｏｔｏｘｏｌ Ａｄｄｅｎｄｕｍ ｔｏ ｔｈｅ ＰＣＩ Ｌｏｃａｌ Ｂｕｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ、ＰＣＩ Ｅｘｐｒｅｓｓ Ｂａｓｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎで共通である。 The bus number of the configuration space used by the PCI bus is 8 bits, and a maximum of 256 buses are supported (see, for example, Patent Document 1). This is common to PCI Local Bus Specification, PCI-X Protoxol Addendum to the PCI Local Bus Specification, and PCI Express Base Specification.
一方、複数のＩＯノードを含む大規模な情報処理装置においては、多数のＩＯデバイスを接続したいという要求がある。しかし、ＰＣＩ仕様で定義されるコンフィグレーション空間のバス番号は８ビットであるため、バス番号が不足し、多数のＩＯデバイスを接続することができないという問題があった。このような問題点を解決するためには、例えば、バス番号のビット数を増やすという方法が考えられるが、バス番号のビット数が仕様により定義されているＰＣＩバスには適用することができない。 On the other hand, in a large-scale information processing apparatus including a plurality of IO nodes, there is a demand for connecting a large number of IO devices. However, since the bus number of the configuration space defined by the PCI specification is 8 bits, there is a problem that the bus number is insufficient and a large number of IO devices cannot be connected. In order to solve such a problem, for example, a method of increasing the number of bits of the bus number can be considered, but it cannot be applied to a PCI bus in which the number of bits of the bus number is defined by the specification.
〔発明の目的〕
そこで、本発明の目的は、バス番号のビット数を増加させることなく、利用できるバスの本数を増加できるようにすることにある。
(Object of invention)
Accordingly, an object of the present invention is to increase the number of usable buses without increasing the number of bits of the bus number.
本発明にかかる第１のノード制御装置は、
複数のコンフィグレーション空間をメモリ空間にマップするマップ手段と、
アクセス先を示すアドレスフィールドを含んだアクセス要求がプロセッサノードから入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定する判定手段と、
該判定手段によって前記アクセス要求のアクセス先がコンフィグレーション空間であると判定された場合、前記アクセス要求のアドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号および前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、前記アクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを出力するノードＩＤ出力手段と、
前記アクセス要求を、前記ノードＩＤ出力手段から出力されたノードＩＤのＩＯノードへルーティングするルーティング手段とを備えたことを特徴とする。
The first node control apparatus according to the present invention is:
A mapping means for mapping a plurality of configuration spaces to a memory space;
When an access request including an address field indicating an access destination is input from a processor node, a determination is made as to whether or not the access destination of the access request is a configuration space mapped to a memory space by the mapping means Means,
When the determination means determines that the access destination of the access request is a configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field of the access request are Node ID output means for outputting the node ID of the IO node under the bus connected to the access target device based on the segment number of the configuration space assigned to the IO node under the control;
Routing means for routing the access request to an IO node having a node ID output from the node ID output means.
本発明にかかる第２のノード制御装置は、第１のノード制御装置において、
前記マップ手段が、
前記コンフィグレーション空間のベースアドレスが設定される第１のレジスタと、
前記コンフィグレーション空間のサイズに関するサイズ情報が設定される第２のレジスタとを備えたことを特徴とする。
The second node control device according to the present invention is the first node control device,
The map means comprises:
A first register in which a base address of the configuration space is set;
And a second register in which size information relating to the size of the configuration space is set.
本発明にかかる第３のノード制御装置は、第２のノード制御装置において、
前記第２のレジスタには、サイズ情報として前記メモリ空間にマップしたコンフィグレーション空間の個数が設定されることを特徴とする。
A third node control device according to the present invention is the second node control device,
The number of configuration spaces mapped to the memory space is set in the second register as size information.
本発明にかかる第４のノード制御装置は、第２または第３のノード制御装置において、
前記判定手段が、前記第１のレジスタの内容、前記第２のレジスタの内容および前記アドレスフィールドの内容に基づいて、前記アクセス要求のアクセス先が前記コンフィグレーション空間であるか否かを判定することを特徴とする。
A fourth node control device according to the present invention is the second or third node control device,
The determination unit determines whether the access destination of the access request is the configuration space based on the contents of the first register, the contents of the second register, and the contents of the address field. It is characterized by.
本発明にかかる第５のノード制御装置は、第３のノード制御装置において、
アクセス先を前記コンフィグレーション空間とするアクセス要求のアドレスフィールドには、その所定ビット範囲に前記コンフィグレーション空間のベースアドレスが設定され、且つ、
前記判定手段が、前記第１のレジスタの最上位ビットから前記第２のレジスタに設定されている個数に応じたビット位置までに設定されている値と、入力されたアクセス要求における前記所定ビット範囲の最上位ビットから前記第２のレジスタに設定されている個数に応じたビット位置までに設定されている値とが等しいか否かに基づいて、前記アクセス要求のアクセス先がコンフィグレーション空間であるか否かを判定することを特徴とする。
A fifth node control device according to the present invention is the third node control device,
In the address field of the access request whose access destination is the configuration space, the base address of the configuration space is set in the predetermined bit range, and
The determination means includes a value set from the most significant bit of the first register to a bit position corresponding to the number set in the second register, and the predetermined bit range in the input access request The access destination of the access request is the configuration space based on whether or not the value set from the most significant bit to the bit position corresponding to the number set in the second register is equal It is characterized by determining whether or not.
本発明にかかる第６のノード制御装置は、第１のノード制御装置において、
前記ノードＩＤ出力手段が、
セグメント番号とバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するセグメント番号とバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記判定手段でコンフィグレーション空間へのアクセスであると判定された場合、前記アクセス要求中のセグメント番号とバス番号との組み合わせに対応したエントリに登録されているノードＩＤを出力するテーブルを備えていることを特徴とする。
A sixth node control device according to the present invention is the first node control device,
The node ID output means is
It has a plurality of entries corresponding to a combination of a segment number and a bus number, and a node ID of an IO node specified by a combination of a segment number and a bus number corresponding to the entry is registered in each of the plurality of entries. And a table for outputting a node ID registered in an entry corresponding to a combination of a segment number and a bus number in the access request when the determination unit determines that the access is to the configuration space. It is characterized by being.
本発明にかかる第７のノード制御装置は、第６のノード制御装置において、
前記テーブルが、前記セグメント番号と前記バス番号の上位ビットとの組み合わせに対応した複数のエントリを有することを特徴とする。
A seventh node control device according to the present invention is the sixth node control device,
The table has a plurality of entries corresponding to combinations of the segment number and the higher-order bits of the bus number.
本発明にかかる第８のノード制御装置は、第２のノード制御装置において、
自装置に接続されるプロセッサノード毎に、前記判定手段、前記ノードＩＤ出力手段および前記ルーティング手段を備え、且つ、
前記プロセッサノード毎の判定手段が、前記第１のレジスタおよび第２のレジスタを共用することを特徴とする。
An eighth node control device according to the present invention is the second node control device,
For each processor node connected to its own device, the determination means, the node ID output means and the routing means, and
The determination means for each processor node shares the first register and the second register.
本発明にかかる第９のノード制御装置は、第４のノード制御装置において、
前記メモリ空間にマップされた複数のコンフィグレーション空間を複数のパーティションで分割して使用する場合は、前記テーブルに代えて、
セグメント番号とバス番号とパーティション番号の組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するセグメント番号とバス番号とパーティション番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記判定手段でコンフィグレーション空間へのアクセスであると判定された場合、前記アクセス要求を出力したプロセッサノードが属するパーティションのパーティション番号と前記アクセス要求中のセグメント番号とバス番号との組み合わせに対応したエントリに登録されているノードＩＤを出力するテーブルを使用することを特徴とする。
A ninth node control device according to the present invention is the fourth node control device,
When using a plurality of configuration spaces mapped to the memory space divided into a plurality of partitions, instead of the table,
Each of the plurality of entries has a plurality of entries corresponding to a combination of a segment number, a bus number, and a partition number, and each of the plurality of entries has an IO node specified by a combination of a segment number, a bus number, and a partition number. If a node ID is registered and the determination means determines that the access is to the configuration space, the partition number of the partition to which the processor node that has output the access request belongs, the segment number and bus number in the access request, A table for outputting a node ID registered in an entry corresponding to the combination is used.
本発明にかかる第１０のノード制御装置は、
複数のコンフィグレーション空間をメモリ空間にマップするマップ手段と、
アクセス先を示すアドレスフィールドを含んだアクセス要求がプロセッサノードから入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定し、アクセス先が前記コンフィグレーション空間であると判定した場合、前記アドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号と前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号とをマージしたインデックス信号を出力する判定手段と、
該判定手段から出力されたインデックス信号に含まれているセグメント番号の上位ビットを前記プロセッサノードが属しているパーティションのパーティション番号で置き換え、置き換え後のインデックス信号を出力するインデックス切り替え回路と、
パーティション番号とセグメント番号の下位ビットとバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するパーティション番号とセグメント番号の下位ビットとバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記インデックス切り替え回路から出力されたインデックス信号によって示されるエントリに登録されているノードＩＤを出力するテーブルと、
前記アクセス要求を前記テーブルから出力されたノードＩＤのＩＯノードへルーティングするルーティング手段とを備えたことを特徴とする。
The tenth node control apparatus according to the present invention is:
A mapping means for mapping a plurality of configuration spaces to a memory space;
When an access request including an address field indicating an access destination is input from a processor node, it is determined whether the access destination of the access request is a configuration space mapped to a memory space by the map unit; When it is determined that the access destination is the configuration space, the bus number of the bus to which the access target device is connected and the configuration assigned to the IO node under the bus are included in the address field. Determination means for outputting an index signal obtained by merging the segment number of the correlation space;
An index switching circuit that replaces the upper bits of the segment number included in the index signal output from the determination means with the partition number of the partition to which the processor node belongs, and outputs the replaced index signal;
A plurality of entries corresponding to combinations of partition numbers, lower bits of segment numbers, and bus numbers, and combinations of partition numbers corresponding to the entries, lower bits of segment numbers, and bus numbers, respectively A table for registering the node ID of the IO node specified by, and outputting the node ID registered in the entry indicated by the index signal output from the index switching circuit;
And routing means for routing the access request to the IO node having the node ID output from the table.
本発明にかかる第１１のノード制御装置は、第１〜第１０の何れかのノード制御装置において、
前記コンフィグレーション空間が、ＰＣＩ仕様で定義されたコンフィグレーション空間であることを特徴とする。
An eleventh node control device according to the present invention is any one of the first to tenth node control devices,
The configuration space is a configuration space defined by the PCI specification.
本発明にかかる第１の情報処理装置は、
複数のノード制御装置が互いに接続され、且つ、各ノード制御装置にそれぞれプロセッサノードとＩＯノードとが接続された情報処理装置であって、
前記各ノード制御装置が、それぞれ、
自装置に接続されたノード制御装置毎のポート入力部およびポート出力部と、
自装置に接続されたプロセッサノード毎のポート入力部およびポート出力部と、
自装置に接続されたＩＯノード毎のポート入力部およびポート出力部と、
前記各ポート入力部と前記各ポート出力部とを接続するクロスバースイッチとを備え、且つ、
前記プロセッサノードが接続されたポート入力部が、それぞれ、
複数のコンフィグレーション空間をメモリ空間にマップするマップ手段と、
自ポート入力部に接続されたプロセッサノードからアクセス先を示すアドレスフィールドを含んだアクセス要求が入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定する判定手段と、
該判定手段によって前記アクセス要求のアクセス先が前記コンフィグレーション空間であると判定された場合、前記アクセス要求のアドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号および前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、前記アクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを出力するノードＩＤ出力手段と、
該ノードＩＤ出力手段から出力されたノードＩＤを転送先に指定して前記アクセス要求を前記クロスバースイッチに対して出力する出力手段とを備えたことを特徴とする。
A first information processing apparatus according to the present invention includes:
An information processing apparatus in which a plurality of node control devices are connected to each other, and a processor node and an IO node are connected to each node control device,
Each of the node control devices is respectively
A port input unit and a port output unit for each node control device connected to the own device;
A port input unit and a port output unit for each processor node connected to the own device;
A port input unit and a port output unit for each IO node connected to the own device;
A crossbar switch for connecting each port input unit and each port output unit, and
Port input units to which the processor nodes are connected are respectively
A mapping means for mapping a plurality of configuration spaces to a memory space;
When an access request including an address field indicating an access destination is input from the processor node connected to the own port input unit, the access destination of the access request is displayed in the configuration space mapped to the memory space by the map means. Determination means for determining whether or not there is;
When it is determined by the determination means that the access destination of the access request is the configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field of the access request Node ID output means for outputting the node ID of the IO node under the bus connected to the access target device based on the segment number of the configuration space assigned to the IO node under
Output means for specifying the node ID output from the node ID output means as a transfer destination and outputting the access request to the crossbar switch.
本発明にかかる第２の情報処理装置は、
複数のノード制御装置が互いに接続され、且つ、各ノード制御装置にそれぞれプロセッサノードとＩＯノードとが接続された情報処理装置であって、
前記各ノード制御装置が、それぞれ、
自装置に接続されたノード制御装置毎のポート入力部およびポート出力部と、
自装置に接続されたプロセッサノード毎のポート入力部およびポート出力部と、
自装置に接続されたＩＯノード毎のポート入力部およびポート出力部と、
前記各ポート入力部と前記各ポート出力部とを接続するクロスバースイッチと、
複数のコンフィグレーション空間をメモリ空間にマップするマップ手段と、
パーティション番号とセグメント番号の下位ビットとバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するパーティション番号とセグメント番号の下位ビットとバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、インデックス信号が入力されたとき、該インデックス信号によって示されるエントリに登録されているノードＩＤを出力するテーブルとを備え、且つ、
前記プロセッサノードに接続されたポート入力部が、それぞれ、
自ポート入力部に接続されたプロセッサノードが属するパーティションのパーティション番号が設定されたパーティション番号記憶部と、
自ポート入力部に接続されたプロセッサノードからアクセス先を示すアドレスフィールドを含んだアクセス要求が入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によって前記メモリ空間にマップされたコンフィグレーション空間であるか否かを判定し、アクセス先が前記コンフィグレーション空間であると判定した場合、前記アドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号と前記バスを配下に持つＩＯノードの割り当てられているコンフィグレーション空間のセグメント番号とをマージしたインデックス信号を出力する判定手段と、
該判定手段から出力されたインデックス信号に含まれているセグメント番号の上位ビットを前記パーティション番号記憶部に設定されているパーティション番号で置き換え、置き換え後のインデックス信号を前記テーブルに対して出力するインデックス切り替え回路と、
該インデックス切り替え回路から出力されたインデックス信号に応答して前記テーブルから出力されたノードＩＤを転送先に指定して、前記アクセス要求を前記クロスバースイッチに出力する出力手段とを備えたことを特徴とする。
The second information processing apparatus according to the present invention is:
An information processing apparatus in which a plurality of node control devices are connected to each other, and a processor node and an IO node are connected to each node control device,
Each of the node control devices is respectively
A port input unit and a port output unit for each node control device connected to the own device;
A port input unit and a port output unit for each processor node connected to the own device;
A port input unit and a port output unit for each IO node connected to the own device;
A crossbar switch for connecting each port input unit and each port output unit;
A mapping means for mapping a plurality of configuration spaces to a memory space;
A plurality of entries corresponding to combinations of partition numbers, lower bits of segment numbers, and bus numbers, and combinations of partition numbers corresponding to the entries, lower bits of segment numbers, and bus numbers, respectively And a table for outputting the node ID registered in the entry indicated by the index signal when the node ID of the IO node specified by is registered and an index signal is input, and
Port input units connected to the processor nodes are respectively
A partition number storage unit in which the partition number of the partition to which the processor node connected to the own port input unit belongs is set;
When an access request including an address field indicating an access destination is input from a processor node connected to the own port input unit, the access destination of the access request is mapped to the memory space by the map unit If it is determined that the access destination is the configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field are subordinated. A determination means for outputting an index signal obtained by merging the segment number of the configuration space to which the IO node is assigned;
Index switching for replacing the upper bits of the segment number included in the index signal output from the determination means with the partition number set in the partition number storage unit and outputting the replaced index signal to the table Circuit,
Output means for designating a node ID output from the table in response to an index signal output from the index switching circuit as a transfer destination and outputting the access request to the crossbar switch. And
〔作用〕
マップ手段により複数のコンフィグレーション空間をメモリに割り当てておく。ノード制御装置内の判定手段は、プロセッサノードからアクセス先を示すアドレスフィールドを含んだアクセス要求が入力されると、そのアクセス先がマップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定する。そして、アクセス先がコンフィグレーション空間であった場合には、ノードＩＤ出力手段が、アクセス要求のアドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号および上記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、上記ＩＯノードのノードＩＤを出力する。ルーティング手段は、アクセス要求を、ノードＩＤ出力手段から出力されたノードＩＤのＩＯノードへルーティングする。
[Action]
A plurality of configuration spaces are allocated to the memory by the mapping means. When an access request including an address field indicating an access destination is input from the processor node, the determination means in the node control device determines whether the access destination is a configuration space mapped to the memory space by the mapping means. Determine. If the access destination is the configuration space, the node ID output means subordinates the bus number of the bus connected to the access target device and the bus included in the address field of the access request. The node ID of the IO node is output based on the segment number of the configuration space assigned to the IO node. The routing unit routes the access request to the IO node having the node ID output from the node ID output unit.
本発明によれば、バス番号のビット数を増加させることなく、多くのバスをサポートすることが可能になり、その結果、多くのＩＯデバイスを接続することが可能になる。その理由は、複数のコンフィグレーション空間をメモリ空間にマップすると共に、アクセス要求のアドレスフィールドに含まれているアクセス対象デバイスが接続されているバスのバス番号および上記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、上記アクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを求め、このノードＩＤによって特定されるＩＯノードへアクセス要求をルーティングするようにしているからである。即ち、１つのコンフィグレーション空間でサポートできるバス数が、バス番号のビット数によって制限されていても、複数のコンフィグレーション空間をメモリ空間にマップしているので、サポート可能なバス数が増加し、その結果、多くのＩＯデバイスを接続することが可能になる。 According to the present invention, it is possible to support many buses without increasing the number of bits of the bus number, and as a result, it is possible to connect many IO devices. The reason is that a plurality of configuration spaces are mapped to a memory space and assigned to the bus number of the bus to which the access target device included in the address field of the access request is connected and the IO node under which the bus is subordinate. Based on the segment number of the configured configuration space, the node ID of the IO node subordinate to the bus to which the access target device is connected is obtained, and the access request is routed to the IO node specified by this node ID. It is because it is doing. In other words, even if the number of buses that can be supported in one configuration space is limited by the number of bits of the bus number, the number of buses that can be supported increases because multiple configuration spaces are mapped to the memory space. As a result, many IO devices can be connected.
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。 Next, the best mode for carrying out the present invention will be described in detail with reference to the drawings.
〔第１の実施の形態の構成の説明〕
図１に、本発明にかかる情報処理装置の第１の実施の形態の構成例を示す。図１の例では、１６個のプロセッサノード１００〜１１５と、８個のＩＯノード１２０〜１２７とが、４個のノード制御装置１３０〜１３３を介して接続され、ひとつの情報処理装置を構成する。各ノード制御装置１３０〜１３３には、インタフェース１４０〜１５５を介してそれぞれ４個のプロセッサノードが接続されると共に、インタフェース１６０〜１６７を介してそれぞれ２個のＩＯノードが接続される。４個のノード制御装置１３０〜１３３は、インタフェース１３４〜１３９を介して互いに１：１で接続する。図示しないが、プロセッサノード１００〜１１５は、ひとつまたは複数のプロセッサと主記憶から構成される。もっと小規模な構成（例えば、プロセッサノード２個、ノード制御装置１個、ＩＯノード２個の構成）や、もっと大規模の構成（例えば、プロセッサノード６４個、ＩＯノード３２個、ノード制御装置１６個の構成）の情報処理装置も実現可能である。
[Description of Configuration of First Embodiment]
FIG. 1 shows a configuration example of a first embodiment of an information processing apparatus according to the present invention. In the example of FIG. 1, 16
図２に、ＩＯノード１２０の構成の一例を示す。ＩＯノード１２０は、１個のＩＯ制御装置２００と、４個のＩＯデバイス２１０〜２１３から構成される。ＩＯ制御装置２００は、インタフェース１６０を介してノード制御装置１３０と接続される。また、ＩＯデバイス２１０〜２１３は、それぞれインタフェース２２０〜２２３を介してＩＯ制御装置２００と接続される。インタフェース２２０〜２２３は、ＰＣＩ−Ｅｘｐｒｅｓｓ、ＰＣＩ−ＸまたはＰＣＩの仕様に準拠する。なお、他のＩＯノード１２１〜１２７もＩＯノード１２０と同様の構成を有する。
FIG. 2 shows an example of the configuration of the
図３に、ノード制御装置１３０の構成例を示す。このノード制御装置１３０は、９個のポート入力部３００〜３０８と、９個のポート出力部３１０〜３１８と、クロスバースイッチ３２０とから構成される。ここで、一組のポート入力部とポート出力部をポートと定義する。例えばプロセッサノード１００に接続するポートは、ポート入力部３００とポート出力部３１０とから構成される。ノード制御装置１３０の９個のポートは、それぞれ、プロセッサノード１００〜１０３、ＩＯノード１２０〜１２１、ノード制御装置１３１〜１３３に接続する。なお、他のノード制御装置１３１〜１３３もノード制御装置１３０と同様の構成を有する。
FIG. 3 shows a configuration example of the node control device 130. The node control device 130 includes nine
図５に、本実施の形態の情報処理装置における、コンフィグレーション空間のメモリ空間へのマップ方法について示す。ひとつのコンフィグレーション空間は２５６Ｍバイトであり、複数のコンフィグレーション空間はアドレス空間の一部の領域に連続してマップされる。図５は、Ｎ個（Ｎは２のべき乗）のコンフィグレーション空間を、ベースアドレス〜（ベースアドレス＋サイズ−１）の領域にマップした例である。ここで、各コンフィグレーション空間は、ＰＣＩセグメント番号０〜Ｎで識別される。
FIG. 5 shows a method for mapping the configuration space to the memory space in the information processing apparatus of the present embodiment. One configuration space is 256 Mbytes, and a plurality of configuration spaces are continuously mapped to a partial area of the address space. FIG. 5 shows an example in which N configuration spaces (N is a power of 2) are mapped to an area from base address to (base address + size−1). Here, each configuration space is identified by
図６に、本実施の形態の情報処理装置における、情報の転送フォーマットの一例を示す。ここで、論理的な情報の転送単位をパケットと定義し、また、パケットはひとつ以上のフリットから構成されるものと定義する。フリットは固定のビット幅を持ち、本実施の形態では９０ビット幅である。フリットには、ヘッダフリット、データフリットの２種類が存在し、図６は各フリットの転送フォーマットを示している。 FIG. 6 shows an example of an information transfer format in the information processing apparatus of this embodiment. Here, a logical information transfer unit is defined as a packet, and a packet is defined as one or more flits. The frit has a fixed bit width, which is 90 bits in this embodiment. There are two types of flits, header flits and data flits. FIG. 6 shows the transfer format of each flit.
フリットのビット８９：８８はストローブであり、フリットが有効であること、およびフリットの種類を示す。ストローブが００（２進数）の場合はフリットが無効であることを示し、０１（２進数）の場合はヘッダフリットであることを示し、１０（２進数）の場合はデータフリットであることを示す。このコード定義は一例である。パケットは、１個のヘッダフリットと、０個、１個、２個、４個または８個のデータフリットから構成される。よって、本実施の形態のパケットは、最小では１個のフリットから構成され、最大では９個のフリットから構成される。 Frit bits 89:88 are strobes that indicate that the frit is valid and the type of frit. When the strobe is 00 (binary number), the flit is invalid. When 01 (binary number), the header flit is indicated. When the strobe is 10 (binary number), the data flit is indicated. . This code definition is an example. A packet is composed of one header flit and zero, one, two, four or eight data flits. Therefore, the packet of the present embodiment is composed of one flit at the minimum and nine flits at the maximum.
ヘッダフリットのビット８７：０には、それぞれ８ビットの５個のフィールドと４８ビットのアドレスフィールドとが定義される。これらのフィールド定義は一例であり、情報処理装置のリソース、プロトコルおよびトポロジーに依存して決定される。 The header flit bits 87: 0 define five 8-bit fields and 48-bit address fields, respectively. These field definitions are examples, and are determined depending on the resource, protocol, and topology of the information processing apparatus.
コマンドコードは、例えばメモリリード、メモリライト、コンフィグレーションリード、コンフィグレーションライト、リプライといった、ターゲットの装置に対する動作を指定するコードが格納されるフィールドである。 The command code is a field for storing a code for designating an operation for the target device such as memory read, memory write, configuration read, configuration write, and reply.
ソースノードＩＤは、パケットの転送元のプロセッサノードまたはＩＯノードを識別する固有の番号が格納されるフィールドである。 The source node ID is a field in which a unique number for identifying a processor node or an IO node that is a packet transfer source is stored.
ターゲットノードＩＤは、パケットの転送先のプロセッサノードまたはＩＯノードまたはノード制御装置を識別する固有の番号が格納されるフィールドである。 The target node ID is a field in which a unique number for identifying a processor node, an IO node, or a node control device as a packet transfer destination is stored.
データレングスは、リードリクエストの場合に、ターゲットのデータレングスをバイト単位で指定するフィールドである。００（１６進数）〜４０（１６進数）の場合、０〜６４バイトを指定する。 The data length is a field for specifying the target data length in bytes in the case of a read request. In the case of 00 (hexadecimal number) to 40 (hexadecimal number), 0 to 64 bytes are designated.
アドレスは、リクエストのターゲットとなるアドレスを格納するフィールドである。 The address is a field for storing an address that is a target of the request.
データフリットのビット７１：６４には、バイトイネーブルが定義され、ビット６３：０に定義される各バイトの有効または無効を指定する。データフリットのビット８７：７２は未定義である。 Byte enable is defined in bits 71:64 of the data flit, and valid or invalid of each byte defined in bits 63: 0 is designated. Data flits bits 87:72 are undefined.
なお、フリットには、故障からフリットの内容を保護するために、ＥＣＣやパリティが付加されるが、本発明とは直接関係しないので、その詳細は省略する。 Note that ECC and parity are added to the flit in order to protect the contents of the flit from failure, but the details are omitted because they are not directly related to the present invention.
図７に、図６のヘッダフリットのアドレスフィールドに関する、コンフィグレーションアクセスを行う場合の詳細を示す。ビット４７：２８は、コンフィグレーション空間をマップするメモリ空間のベースアドレスとＰＣＩセグメント番号の論理和である。ビット４７：２８は、プロセッサノードがパケットを発行する場合のみ有効であり、ノード制御装置がパケットを発行する場合はオール０に差し替えて発行される。ビット２７：０は、ＰＣＩ−Ｅｘｐｒｅｓｓなどの仕様で定義されるフィールドに対応し、ビット２７：２０はバス番号、ビット１９：１５はデバイス番号、ビット１４：１２はファンクション番号、ビット１１：８は拡張レジスタ番号、ビット７：０はレジスタアドレスである。これらのフィールド定義は一例であり、プロセッサノードおよびＩＯ制御装置に依存する。 FIG. 7 shows details of the configuration access regarding the address field of the header flit shown in FIG. Bits 47:28 are the logical sum of the base address of the memory space that maps the configuration space and the PCI segment number. Bits 47:28 are valid only when the processor node issues a packet. When the node control device issues a packet, it is replaced with all 0s and issued. Bits 27: 0 correspond to fields defined by specifications such as PCI-Express, bits 27:20 are bus numbers, bits 19:15 are device numbers, bits 14:12 are function numbers, and bits 11: 8 are The extension register number, bits 7: 0 is the register address. These field definitions are examples and depend on the processor node and the IO controller.
図４に、図３に示すノード制御装置１３０のポート入力部３００の詳細を示す。プロセッサノード１００〜１０３が接続されるポート入力部３００〜３０３は、同じ構成である。
FIG. 4 shows details of the
レジスタ４００および４０１は、メモリ空間にマップされるコンフィグレーション空間のベースアドレスおよびサイズを指定する値を保持する。これらのレジスタは、システムの初期化時にシステムファームウェアまたはサービスプロセッサによって設定されるが、これらの設定に関する詳細な構成については、当業者にとってよく知られており、また本発明とは直接関係しないので省略する。
レジスタ４０１は、４ビットの幅であり、メモリ空間にマップされるコンフィグレーション空間のサイズを指定する値を保持する。保持する値をｎ（ｎ＝０〜８）とすると、指定するサイズは、２５６Ｍバイト×（２のｎ乗）となる。ひとつのコンフィグレーション空間は２５６Ｍバイトなので、レジスタ４０１の値が０ならば１個のコンフィグレーション空間を指定し、値が１ならば２個のコンフィグレーション空間を指定し、値が８ならば２５６個のコンフィグレーション空間を指定する。 The register 401 has a width of 4 bits and holds a value that specifies the size of the configuration space mapped to the memory space. If the value to be held is n (n = 0 to 8), the specified size is 256 Mbytes × (2 to the power of n). Since one configuration space is 256 Mbytes, if the value of the register 401 is 0, one configuration space is specified. If the value is 1, two configuration spaces are specified. If the value is 8, 256 is specified. Specifies the configuration space for.
レジスタ４００は、例えば情報処理装置が４８ビットのアドレス空間をサポートする場合、２０ビットの幅であり、ビット１９：０はメモリ空間のアドレスのビット４７：２８に対応する。レジスタ４００の指定するベースアドレスは、レジスタ４０１が指定するサイズの示すアドレス境界に整列しなければならない。例えば、レジスタ４０１に設定する値が２で１Ｇバイトのサイズを示す場合、レジスタ４００の最下位の２ビットは００（２進数）で１Ｇバイト境界に整列したベースアドレスを指定しなければならない。つまり、レジスタ４０１に設定する値をｎ（ｎ＝０〜８）とすると、レジスタ４００の下位ｎビットは全て０でなければならない。
For example, when the information processing apparatus supports a 48-bit address space, the
テーブル４０２は、コンフィグレーション空間のＰＣＩセグメント番号およびバス番号から、そのバスを配下に持つＩＯノード１２０〜１２７のノードＩＤを得るためのテーブルである。例えば、ＩＯノード配下のバス番号を１６個の粒度で指定する場合、ＰＣＩセグメント番号の８ビットと、バス番号の上位４ビットをマージした１２ビットをインデックスとするため、テーブル４０２は４０９６個のエントリを持つ。本実施の形態では、ＰＣＩセグメント番号を８ビットとしているが、もっと大きくすることも小さくすることも可能である。例えば、サポートするコンフィグレーション空間の数が１６個までならば、ＰＣＩセグメント番号は４ビットとなり、テーブル４０２のエントリ数を少なくすることができる。同様に、本実施の形態では、ＩＯノード配下のバス番号を１６個の粒度で指定しているが、もっと粗くすることも、細かくすることも可能である。例えば、４個の粒度で指定する場合、ＰＣＩセグメント番号とバス番号の上位６ビットでテーブル４０２のインデックスを行うことになる。インデックスが指定するエントリには、対応するバスを配下に持つＩＯノードのノード番号が設定される。このテーブル４０２は、システムの初期化時にシステムファームウェアまたはサービスプロセッサによって設定されるが、これらの設定に関する詳細な構成については、当業者にとってよく知られており、また本発明とは直接関係しないので省略する。インデックス信号４１２が指定するエントリに格納されている値が、ノードＩＤ信号４１４として出力される。
The table 402 is a table for obtaining the node IDs of the
コンフィグレーションアクセス検出回路４０３は、プロセッサノード１００から入力するフリット信号３３０がヘッダフリットの場合（ストローブフィールドが０１（２進数）の場合）に、ヘッダフリットのアドレスフィールドと、レジスタ４００および４０１の値が示すアドレス領域との比較を行う。具体的には、レジスタ４０１の保持する値がｎ（ｎ＝０〜８）の場合、レジスタ４００のビット１９：ｎと、アドレスフィールドのビット４７：（２８＋ｎ）を比較する。一致結果信号４１３は、フリット信号３３０がヘッダフリットでかつ比較結果が一致した場合に１になり、それ以外の場合は０になる。コンフィグレーションアクセス検出回路４０３はまた、レジスタ４０１の保持する値がｎ（ｎ＝０〜８）の場合、アドレスのビット３５：２８の値と、（２のｎ乗）−１の値の論理積からＰＣＩセグメント番号を算出し、アドレス２７：２４のバス番号の上位４ビットとマージして、インデックス信号４１２を出力する。例えば、レジスタ４０１の保持する値が４で、アドレスのビット３５：２０が１２３４（１６進数）の場合、ＰＣＩセグメント番号は０２（１６進数）となり、バス番号の上位４ビットは３（１６進数）なので、インデックス信号４１２は０２３（１６進数）となる。
When the
コンフィグレーションフリット生成回路４０４は、プロセッサノード１００から入力されたフリット信号３３０がヘッダフリットの場合に、アドレスフィールドのビット４７：２８をオール０に差し替え、ターゲットノードＩＤをテーブル４０２から入力するノードＩＤ信号４１４に差し替え、コマンドコードがメモリリードのコードならばコンフィグレーションリードのコードに差し替え、メモリライトのコードならばコンフィグレーションライトのコードに差し替えて、ヘッダフリット信号４１５として出力する。
When the
セレクタ４０５は、一致結果信号４１３が０ならばフリット信号３３０を選択し、一致結果信号４１３が１ならばヘッダフリット信号４１５を選択して、フリット信号３４０をクロスバースイッチ３２０へ出力する。
The
本実施の形態では、レジスタ４００、レジスタ４０１およびテーブル４０２は、ポート入力部３００〜３０３に独立に実装しているが、設定される値は同じであるため、独立に参照できるならば、共用することも可能である。
In this embodiment, the
〔第１の実施の形態の動作の説明〕
次に、本実施の形態の動作について詳細に説明する。
[Description of Operation of First Embodiment]
Next, the operation of the present embodiment will be described in detail.
先ず、システムの初期化時に実施する設定について説明する。システムファームウェアは、ＩＯノード１２０〜１２７に関して、ＰＣＩセグメント番号とバス番号とを割り当てる。例えば、ＩＯノード１２０〜１２１はＰＣＩセグメント番号０、ＩＯノード１２２〜１２３はＰＣＩセグメント番号１、ＩＯノード１２４〜１２５はＰＣＩセグメント番号２、ＩＯノード１２６〜１２７はＰＣＩセグメント番号３を割り当てる。また、それぞれのＰＣＩセグメント番号において、ＩＯノード１２０、１２２、１２４、１２６にはバス番号００〜７Ｆ（１６進数）、ＩＯノード１２１、１２３、１２５、１２７にはバス番号８０〜ＦＦ（１６進数）を割り当てる。
First, the setting performed at the time of system initialization will be described. The system firmware assigns a PCI segment number and a bus number for the
次にシステムファームウェアは、空間をメモリにマップするコンフィグレーション空間のベースアドレスを決定し、各ノード制御装置１３０〜１３３に設けられているポート入力部３００〜３０３内のレジスタ４００に同じ値（ベースアドレス）をセットする。また、４個のコンフィグレーション空間を使用するため、各ポート入力部内のレジスタ４０１には２をセットする（サイズは１Ｇバイト）。ベースアドレスをＦＦＦＦＣ０００００００（１６進数）とすると、レジスタ４００にはＦＦＦＦＣ（１６進数）をセットする。
Next, the system firmware determines the base address of the configuration space that maps the space to the memory, and stores the same value (base address) in the
さらに、システムファームウェアは、ノード制御装置１３０〜１３３のテーブル４０２に同じ値をセットする（ポート入力部３００〜３０３にも同様にセットする）。図１０に示すように、テーブル４０２のエントリ０〜７にはＩＯノード１２０のノードＩＤをセットし、エントリ８〜１５にはＩＯノード１２１のノードＩＤをセットし、エントリ１６〜２３にはＩＯノード１２２のノードＩＤをセットし、エントリ２４〜３１にはＩＯノード１２３のノードＩＤをセットし、エントリ３２〜３９にはＩＯノード１２４のノードＩＤをセットし、エントリ４０〜４７にはＩＯノード１２５のノードＩＤをセットし、エントリ４８〜５５にはＩＯノード１２６のノードＩＤをセットし、エントリ５６〜６３にはＩＯノード１２７のノードＩＤをセットし、残りのエントリには何もセットしない（残りのエントリは使用しない）。これらの設定は、システムファームウェアの代わりにサービスプロセッサが行っても良い。
Furthermore, the system firmware sets the same value in the table 402 of the node control devices 130 to 133 (also sets the
次に、プロセッサノード１００から、ＩＯノード１２５配下のバス番号８Ｆ（１６進数）のバスに接続されているＩＯデバイスに対して、コンフィグレーションリードを行う場合について説明する。ここで、ＩＯノード１２５のＰＣＩセグメント番号は２とする。
Next, the case where configuration read is performed from the
プロセッサノード１００内のプロセッサ上で動作するシステムファームウェアは、ＯＳなどのソフトウェアからＩＯノード１２５配下のバス番号８Ｆ（１６進数）のＩＯデバイスに対するコンフィグレーション空間のレジスタへのリード要求を受け取ると、初期化時にメモリ空間にマップしたアドレスをターゲットにしてメモリリードトランザクションを発行する。具体的には、図７のアドレスフォーマットにおいて、ビット４７：２８はベースアドレスのＦＦＦＦＣ（１６進数）とＰＣＩセグメント番号の０２（１６進数）の論理和であるＦＦＦＦＥ（１６進数）とし、ビット２７：２０はバス番号の８Ｆ（１６進数）とする。ビット１９：０のデバイス番号、ファンクション番号、拡張レジスタ番号、レジスタアドレスに関しても、ソフトウェアからのリード要求に伴う情報とするが、詳細は省略する。システムファームウェアは、また、ソフトウェアから要求されたターゲットのデータレングスを付加してトランザクションを発行する。
When the system firmware operating on the processor in the
プロセッサノード１００は、システムファームウェアからのメモリリードトランザクションを受け取ると、図６のヘッダフリットのフォーマットに関して、アドレスおよびデータレングスを受け取った値とし、ストローブを０１（２進数）とし、コマンドコードをメモリリードのコードとし、ソースノードＩＤをプロセッサノード１００のノードＩＤとし、ターゲットノードＩＤをノード制御装置１３０のノードＩＤとして、フリット信号３３０を発行する。ここで、トランザクションＩＤは、プロセッサノード１００についてユニークな番号とする。
Upon receipt of the memory read transaction from the system firmware, the
プロセッサノード１００からフリット信号３３０が入力されると、コンフィグレーションアクセス検出回路４０３は、入力したフリットのストローブフィールドが０１（２進数）でヘッダフリットであるので、ヘッダフリットのアドレスフィールドと、レジスタ４００および４０１の値が示すアドレス領域の比較を行う。レジスタ４０１の保持する値が２で、レジスタ４００の保持する値がＦＦＦＦＣ（１６進数）とすると、レジスタ４００のビット１９：２と、アドレスフィールドのビット４７：３０を比較するので、一致結果信号４１３が１になる。コンフィグレーションアクセス検出回路４０３は、また、レジスタ４０１の保持する値が２であるので、アドレスのビット３５：２８の値と、（２の２乗）−１の値の論理積からＰＣＩセグメント番号を０２（１６進数）として算出し、アドレス２７：２４のバス番号８Ｆ（１６進数）の上位４ビットとマージして、インデックス信号４１２を０２８（１６進数）として出力する。
When the
テーブル４０２は、インデックス信号４１２として０２８（１６進数）が入力されるので、エントリ４０に格納されるＩＯノード１２５のノードＩＤを、ノードＩＤ信号４１４として出力する。
Since the table 402 receives 028 (hexadecimal) as the
コンフィグレーションフリット生成回路４０４は、プロセッサノード１００から入力するフリット信号３３０がヘッダフリットであるので、アドレスフィールドのビット４７：２８をオール０に差し替え、ターゲットノードＩＤをテーブル４０２から入力するノードＩＤ信号４１４に差し替え、コマンドコードがメモリリードのコードなのでコンフィグレーションリードのコードに差し替えて、ヘッダフリット信号４１５として出力する。
Since the
セレクタ４０５は、一致結果信号４１３が１なので、ヘッダフリット信号４１５を選択して、フリット信号３４０をクロスバースイッチ３２０へ出力する。
Since the
クロスバースイッチ３２０は、ターゲットノードＩＤに従って、フリットをポート出力部３１７へ出力する。クロスバースイッチがターゲットノードＩＤに従って、出力先のポート出力部を決定する方法は、本発明とは直接関係しないので、その詳細は省略する。ポート出力部３１７から出力されたフリットは、ノード制御装置１３２を経由して、ＩＯノード１２５へ出力され、ＩＯノード１２５内に存在するターゲットのＩＯデバイスへ出力される。その後、ターゲットのＩＯデバイスからは、リプライデータがノード制御装置１３２および１３０を経由して、プロセッサノード１００に返却される。
The
〔第１の実施の形態の効果〕
本実施の形態によれば、バス番号のビット数を増加させることなく、多くのバスをサポートすることが可能になり、その結果、多くのＩＯデバイスを接続することが可能になる。
[Effect of the first embodiment]
According to this embodiment, it is possible to support many buses without increasing the number of bits of the bus number, and as a result, it is possible to connect many IO devices.
その理由は、マップ手段であるレジスタ４００、４０１を用いて複数のコンフィグレーション空間をメモリ空間にマップしておき、プロセッサノードからフリット信号（アクセス要求）が入力された場合は、判定手段であるコンフィグレーションアクセス検出回路４０３を用いてアクセス先がコンフィグレーション空間であるか否かを判定し、アクセス先がコンフィグレーション空間であった場合には、ノードＩＤ出力手段であるテーブル４０２を用いてアクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを出力し、更に、ルーティング手段であるクロスバースイッチ３２０を用いてテーブル４０２から出力されたノードＩＤのＩＯノードへフリット信号をルーティングするようにしているからである。即ち、１つのコンフィグレーション空間でサポートできるバス数が、バス番号のビット数によって制限されていても、複数のコンフィグレーション空間をメモリ空間にマップしているので、サポート可能なバス数が増加し、その結果、多くのＩＯデバイスを接続することが可能になる。
The reason is that if a plurality of configuration spaces are mapped to the memory space using the
また、本実施の形態によれば、テーブル４０２のサイズを小さくすることが可能になる。その理由は、テーブル４０２に、セグメント番号とバス番号の上位ビットとの組み合わせに対応した複数のエントリを設けるようにしているからである。即ち、複数のバス番号に対して１つのエントリを割り当てるようにしているので、テーブル４０２のサイズを小さくすることが可能になる。 Further, according to the present embodiment, the size of the table 402 can be reduced. This is because the table 402 is provided with a plurality of entries corresponding to the combination of the segment number and the upper bits of the bus number. That is, since one entry is assigned to a plurality of bus numbers, the size of the table 402 can be reduced.
〔第２の実施の形態の構成の説明〕
次に、本発明にかかる情報処理装置の第２の実施の形態について説明する。本実施の形態は、プロセッサノードおよびＩＯノードを複数のパーティションに分割して運用する場合についてのものである。この場合、各パーティションが必要とするコンフィグレーション空間の数は少なくなる。そこで本実施の形態では、アドレスフィールドからＰＣＩセグメント番号をデコードして対応のＩＯノードへアクセス要求を転送する際に使用するテーブルに関して、テーブルを参照する際に使用するＰＣＩセグメント番号の一部をパーティション番号に切り替える機能を設けることで、このテーブルに関するハードウェアを少なくする。
[Description of Configuration of Second Embodiment]
Next, a second embodiment of the information processing apparatus according to the present invention will be described. In this embodiment, the processor node and the IO node are divided into a plurality of partitions for operation. In this case, the number of configuration spaces required by each partition is reduced. Therefore, in the present embodiment, a part of the PCI segment number used when referring to the table is partitioned with respect to the table used when the PCI segment number is decoded from the address field and the access request is transferred to the corresponding IO node. By providing a function for switching to a number, the hardware related to this table is reduced.
図８に、図１の情報処理装置をパーティション８００とパーティション８０１に分割した一例を示す。この例では２個のパーティションに分割しているが、更に細かく分割することも可能である。パーティション８００とパーティション８０１では、独立のオペレーティングシステム（ＯＳ）が動作する。
FIG. 8 shows an example in which the information processing apparatus of FIG. 1 is divided into a
本実施の形態の基本的な構成は上記の通りであるが、ノード制御装置１３０〜１３３に関してさらに工夫している。ノード制御装置１３０の構成例を図９に示す。なお、他のノード制御装置１３１〜１３３も同様の構成を有している。
Although the basic configuration of the present embodiment is as described above, the node control devices 130 to 133 are further devised. A configuration example of the node control device 130 is shown in FIG. The other
ノード制御装置１３０にポート入力共通部９００を設ける。ポート入力共通部９００は、ポート入力部３００〜３０３で共用するレジスタ９０１〜９０３およびテーブル９０４を含む。
A port input
レジスタ９０２は、図４のレジスタ４０１と同じ機能を持ち、メモリ空間にマップされるコンフィグレーション空間のサイズを指定する。レジスタ９０２は４ビットの幅であり、保持する値をｎ（ｎ＝０〜８）とすると、指定するサイズは、２５６Ｍバイト×（２のｎ乗）となる。ひとつのコンフィグレーション空間は２５６Ｍバイトなので、レジスタ９０２の値が０ならば１個のコンフィグレーション空間を指定し、値が１ならば２個のコンフィグレーション空間を指定し、値が８ならば２５６個のコンフィグレーション空間を指定する。
The
レジスタ９０１は、図４のレジスタ４００と同じ機能を持ち、メモリ空間にマップされるコンフィグレーション空間のベースアドレスを指定する。レジスタ９０１は、例えば情報処理装置が４８ビットのアドレス空間をサポートする場合、２０ビットの幅であり、ビット１９：０はメモリ空間のアドレスのビット４７：２８に対応する。レジスタ９０１の指定するベースアドレスは、レジスタ９０２の指定するサイズの示すアドレス境界に整列しなければならない。例えば、レジスタ９０２に設定する値が２で１Ｇバイトのサイズを示す場合、レジスタ９０１の最下位の２ビットは００（２進数）で１Ｇバイト境界に整列したベースアドレスを指定しなければならない。つまり、レジスタ９０２に設定する値がｎ（ｎ＝０〜８）とすると、レジスタ９０１の下位ｎビットは全て０でなければならない。
The register 901 has the same function as that of the
レジスタ９０３は、１ビットのレジスタであり、インデックスの切り替えフラグを保持する。インデックス切り替え回路９０６において、インデックス切り替えを行わない場合は０を設定し、インデックス切り替えを行う場合は１を設定する。
The register 903 is a 1-bit register and holds an index switching flag. In the
テーブル９０４は、インデックス信号９２０〜９２３から、対応するＩＯノード１２０〜１２７のノードＩＤを得るためのテーブルである。インデックス信号９２０が指定するエントリに格納する値がノードＩＤ信号９３０として出力され、インデックス信号９２１が指定するエントリに格納する値がノードＩＤ信号９３１として出力され、インデックス信号９２２が指定するエントリに格納する値がノードＩＤ信号９３２として出力され、インデックス信号９２３が指定するエントリに格納する値がノードＩＤ信号９３３として出力される。
The table 904 is a table for obtaining the node IDs of the
プロセッサノード１００が接続されるポート入力部３００は、コンフィグレーションアクセス検出回路４０３と、コンフィグレーションフリット生成回路４０４と、セレクタ４０５と、レジスタ９０５と、インデックス切り替え回路９０６とを含む。なお、他のプロセッサノード１０１〜１０３に接続されるポート入力部３０１〜３０３も同様の構成を有する。
The
レジスタ９０５は、４ビットの幅であり、ポート入力部３００に接続するプロセッサノード１００の属するパーティション番号を指定する。
The
コンフィグレーションアクセス検出回路４０３は、レジスタ９０２の保持する値がｎ（ｎ＝０〜８）の場合、アドレスのビット３５：２８の値と、（２のｎ乗）−１の値の論理積からＰＣＩセグメント番号を算出し、アドレス２７：２４のバス番号の上位４ビットとマージして、インデックス信号９４１を出力する。
When the value held in the
インデックス切り替え回路９０６は、レジスタ９０３から出力されるインデックス切り替え信号９１０が０の場合は、コンフィグレーションアクセス検出回路４０３の出力するインデックス信号９４１をそのままインデックス信号９２０として出力し、インデックス切り替え信号９１０が１の場合は、インデックス信号９４１の上位４ビットをレジスタ９０５から入力するパーティション番号９４０に差し替えて、インデックス信号９２０として出力する。つまり、インデックス切り替え信号９１０が１の場合、インデックス信号９２０は、４ビットのパーティション番号と、ＰＣＩセグメント番号の下位４ビットと、バス番号の上位４ビットをマージした値となる。
When the index switching signal 910 output from the register 903 is 0, the
コンフィグレーションフリット生成回路４０４は、プロセッサノード１００から入力するフリット信号３３０がヘッダフリットの場合に、アドレスフィールドのビット４７：２８をオール０に差し替え、ターゲットノードＩＤをテーブル９０４から入力するノードＩＤ信号９３０に差し替え、コマンドコードがメモリリードのコードならばコンフィグレーションリードのコードに差し替え、メモリライトのコードならばコンフィグレーションライトのコードに差し替えて、ヘッダフリット信号４１５として出力する。
When the
セレクタ４０５は、一致結果信号４１３が０ならばフリット信号３３０を選択し、一致結果信号４１３が１ならばヘッダフリット信号４１５を選択して、フリット信号３４０をクロスバースイッチ３２０へ出力する。
The
レジスタ９０１、９０２、９０３、９０５およびテーブル９０４は、システムの初期化時にシステムファームウェアまたはサービスプロセッサによって設定されるが、これらの設定に関する詳細な構成については、当業者にとってよく知られており、また本発明とは直接関係しないので省略する。
The
〔第２の実施の形態の動作の説明〕
次に、本実施の形態の動作について説明する。ここで、図８のパーティション８００のパーティション番号を０、パーティション８０１のパーティション番号を１とする。
[Description of Operation of Second Embodiment]
Next, the operation of the present embodiment will be described. Here, it is assumed that the partition number of the
まず、初期化時に実施する設定について説明する。 First, settings performed at initialization will be described.
システムファームウェアは、システムをパーティションに分割して使用する場合、ノード制御装置１３０〜１３３のレジスタ９０３を１に設定する。システムファームウェアは、システムをパーティションに分割せずに使用する場合は、レジスタ９０３を０に設定する。システムをパーティションに分割しない場合については、前述した第１の実施の形態と同じであるため説明を省略する。 The system firmware sets the register 903 of the node control devices 130 to 133 to 1 when the system is divided into partitions. The system firmware sets the register 903 to 0 when using the system without dividing it into partitions. The case where the system is not divided into partitions is the same as that of the first embodiment described above, and thus the description thereof is omitted.
システムファームウェアは、ノード制御装置１３０〜１３３のポート入力部３００〜３０３のレジスタ９０５に、そのポートに接続するプロセッサノードが属すパーティションの番号を設定する。具体的には、ノード制御装置１３０および１３１のポート入力部３００および３０１のレジスタ９０５には０を設定し、ポート入力部３０２と３０３のレジスタ９０５には１を設定する。また、ノード制御装置１３２および１３３のポート入力部３００〜３０３のレジスタ９０５には１を設定する。
The system firmware sets the partition number to which the processor node connected to the port belongs in the
システムファームウェアは、メモリにマップするコンフィグレーション空間のベースアドレスおよびサイズを決定し、ノード制御装置１３０〜１３３のレジスタ９０１および９０２に同じ値をセットする。従って、コンフィグレーション空間をマップする領域は、パーティション８００と８０１で共通となる。最大で４個のコンフィグレーション空間を使用するため、レジスタ９０２には２をセットする（サイズは１Ｇバイト）。ベースアドレスをＦＦＦＦＣ０００００００（１６進数）とすると、レジスタ９０１にはＦＦＦＦＣ（１６進数）をセットする。
The system firmware determines the base address and size of the configuration space to be mapped in the memory, and sets the same value in the
システムファームウェアは、パーティション８００のＩＯノード１２０、１２２に関して、ＰＣＩセグメント番号とバス番号を割り当てる。例えば、ＩＯノード１２０および１２２ともＰＣＩセグメント番号０を割り当て、ＩＯノード１２０にはバス番号００〜７Ｆ（１６進数）、ＩＯノード１２２にはバス番号８０〜ＦＦ（１６進数）を割り当てる。
The system firmware assigns a PCI segment number and a bus number for the
また、システムファームウェアは、パーティション８０１のＩＯノード１２１、１２３〜１２７に関して、ＰＣＩセグメント番号とバス番号を割り当てる。例えば、ＩＯノード１２１はＰＣＩセグメント番号０、ＩＯノード１２３はＰＣＩセグメント番号１、ＩＯノード１２４〜１２５はＰＣＩセグメント番号２、ＩＯノード１２６〜１２７はＰＣＩセグメント番号３を割り当てる。また、それぞれのＰＣＩセグメント番号において、ＩＯノード１２１、１２３にはバス番号００〜ＦＦ（１６進数）、ＩＯノード１２４、１２６にはバス番号００〜７Ｆ（１６進数）、ＩＯノード１２５、１２７にはバス番号８０〜ＦＦ（１６進数）を割り当てる。
Further, the system firmware assigns a PCI segment number and a bus number for the
さらに、システムファームウェアは、ノード制御装置１３０〜１３３のテーブル９０４に同じ値をセットする。図１１に示すようにテーブル９０４のエントリ０〜２５５はパーティション８００に対応し、エントリ２５６〜５１１はパーティション８０１に対応する。テーブル９０４のエントリ０〜７にはＩＯノード１２０のノードＩＤをセットし、エントリ８〜１５にはＩＯノード１２２のノードＩＤをセットし、エントリ２５６〜２７１にはＩＯノード１２１のノードＩＤをセットし、エントリ２７２〜２８７にはＩＯノード１２３のノードＩＤをセットし、エントリ２８８〜２９５にはＩＯノード１２４のノードＩＤをセットし、エントリ２９６〜３０３にはＩＯノード１２５のノードＩＤをセットし、エントリ３０４〜３１１にはＩＯノード１２６のノードＩＤをセットし、エントリ３１２〜３１９にはＩＯノード１２７のノードＩＤをセットし、残りのエントリには何もセットしない（残りのエントリは使用しない）。
Further, the system firmware sets the same value in the table 904 of the node control devices 130 to 133. As shown in FIG. 11,
これらの設定は、システムファームウェアの代わりにサービスプロセッサが行っても良い。 These settings may be made by the service processor instead of the system firmware.
次に、プロセッサノード１０２から、ＩＯノード１２３配下のバス番号３０（１６進数）のバスに接続されているＩＯデバイスに対して、コンフィグレーションリードを行う場合について説明する。ここで、ＩＯノード１２３のＰＣＩセグメント番号は１とする。
Next, a case where configuration read is performed from the
プロセッサノード１０２内のプロセッサ上で動作するシステムファームウェアは、ＯＳなどのソフトウェアからＩＯノード１２３配下のバス番号３０（１６進数）のバスに接続されているＩＯデバイスに対するコンフィグレーション空間レジスタへのリード要求を受け取ると、初期化時にメモリ空間にマップしたアドレスをターゲットにしてメモリリードトランザクションを発行する。具体的には、図７のアドレスフィールドのフォーマットにおいて、ビット４７：２８はベースアドレスのＦＦＦＦＣ（１６進数）とＰＣＩセグメント番号の０１（１６進数）の論理和であるＦＦＦＦＤ（１６進数）とし、ビット２７：２０はバス番号の３０（１６進数）とする。ビット１９：０のデバイス番号、ファンクション番号、拡張レジスタ番号、レジスタアドレスに関しても、ソフトウェアからのリード要求に伴う情報とするが、詳細は省略する。システムファームウェアは、また、ソフトウェアから要求されたターゲットのデータレングスを付加してトランザクションを発行する。
The system firmware operating on the processor in the
プロセッサノード１０２は、システムファームウェアからのメモリリードトランザクションを受け取ると、図６のヘッダフリットのフォーマットに関して、アドレスおよびデータレングスを受け取った値とし、ストローブを０１（２進数）とし、コマンドコードをメモリリードのコードとし、ソースノードＩＤをプロセッサノード１０２のノードＩＤとし、ターゲットノードＩＤをノード制御装置１３０のノードＩＤとして、フリット信号３３２を発行する。ここで、トランザクションＩＤは、プロセッサノード１０２についてユニークな番号とする。
Upon receiving the memory read transaction from the system firmware, the
プロセッサノード１０２からフリット信号３３２が入力されると、ポート入力部３０２のコンフィグレーションアクセス検出回路４０３は、入力したフリット信号３３２のストローブフィールドが０１（２進数）でヘッダフリットであるので、ヘッダフリットのアドレスフィールドと、レジスタ９０１および９０２の値が示すアドレス領域の比較を行う。レジスタ９０２の保持する値が２で、レジスタ９０１の保持する値がＦＦＦＦＣ（１６進数）とすると、レジスタ９０１のビット１９：２と、アドレスフィールドのビット４７：３０を比較するので、一致結果信号４１３が１になる。また、コンフィグレーションアクセス検出回路４０３は、レジスタ９０２の保持する値が２であるので、アドレスのビット３５：２８の値と、（２の２乗）−１の値の論理積からＰＣＩセグメント番号を０１（１６進数）として算出し、アドレス２７：２４のバス番号３０（１６進数）の上位４ビットとマージして、インデックス信号９４１を０１３（１６進数）として出力する。
When the
インデックス切り替え回路９０６は、レジスタ９０３の出力が１であるので、インデックス信号９４１の上位４ビットをレジスタ９０５の値１に差し替えて、１１３（１６進数）の値でインデックス信号９２２を出力する。
Since the output of the register 903 is 1, the
テーブル９０４は、インデックス信号９２２として１１３（１６進数）が入力されるので、エントリ２７５に格納されるＩＯノード１２３のノードＩＤを、ノードＩＤ信号９３２として出力する。
Since 113 (hexadecimal number) is input to the table 904 as the index signal 922, the node ID of the
コンフィグレーションフリット生成回路４０４は、プロセッサノード１０２から入力されるフリット信号３３２がヘッダフリットであるので、アドレスフィールドのビット４７：２８をオール０に差し替え、ターゲットノードＩＤをテーブル９０４から入力するノードＩＤ信号９３２に差し替え、コマンドコードがメモリリードのコードなのでコンフィグレーションリードのコードに差し替えて、ヘッダフリット信号４１５として出力する。
Since the
セレクタ４０５は、一致結果信号４１３が１なので、ヘッダフリット信号４１５を選択して、フリット信号３４２をクロスバースイッチ３２０へ出力する。
Since the
クロスバースイッチ３２０は、ターゲットノードＩＤに従って、フリットをポート出力部３１６へ出力する。クロスバースイッチがターゲットノードＩＤに従って、出力先のポート出力部を決定する方法は、本発明とは直接関係しないので、その詳細は省略する。ポート出力部３１６から出力されたフリットは、ノード制御装置１３１を経由して、ＩＯノード１２３へ出力され、ＩＯノード１２３内に存在するターゲットのＩＯデバイスへ出力される。その後、ターゲットのＩＯデバイスからは、リプライデータがノード制御装置１３１および１３０を経由して、プロセッサノード１０２に返却される。
The
〔第２の実施の形態の効果〕
このように、本実施の形態では、情報処理装置を複数のパーティションに分割して運用する場合に、パーティション毎にテーブルを設ける必要がなく、ハードウェアを少なくすることができるという効果が得られる。
[Effects of Second Embodiment]
As described above, according to the present embodiment, when the information processing apparatus is divided into a plurality of partitions and operated, it is not necessary to provide a table for each partition, and an effect that hardware can be reduced is obtained.
その理由は、パーティション番号とセグメント番号の下位ビットとバス番号との組み合わせに対応した複数のエントリを有すると共に、各エントリそれぞれに、そのエントリに対応するパーティション番号とセグメント番号の下位ビットとバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録されたテーブル９０４を備えると共に、テーブル９０４に対するインデックス信号９４１に含まれているセグメント番号の上位ビットを、フリット信号を出力したプロセッサノードが属しているパーティションのパーティション番号に置き換えるインデックス切り替え回路９０６を備えているからである。
The reason is that each entry has a plurality of entries corresponding to the combination of the partition number, the lower bit of the segment number, and the bus number, and each entry has a partition number, a lower bit of the segment number, and a bus number. And a processor node that outputs a flit signal with the upper bits of the segment number included in the
複数のＩＯノードを備え、多くのＩＯデバイスを接続する情報処理装置に適用すると好適である。 It is preferable to apply to an information processing apparatus that includes a plurality of IO nodes and connects many IO devices.
１００〜１１５…プロセッサノード
１２０〜１２７…ＩＯノード
２００…ＩＯ制御装置
２１０〜２１３…ＩＯデバイス
１３０〜１３３…ノード制御装置
３００〜３０８…ポート入力部
４００、４０１…レジスタ
４０２…テーブル
４０３…コンフィグレーションアクセス検出回路
４０４…コンフィグレーションフリット生成回路
４０５…セレクタ
３１０〜３１８…ポート出力部
３２０…クロスバースイッチ
８００、８０１…パーティション
９００…ポート入力共通部
９０１〜９０３、９０５…レジスタ
９０４…テーブル
９０６…インデックス切り替え回路
100-115 ... Processor nodes 120-127 ...
Claims (13)
アクセス先を示すアドレスフィールドを含んだアクセス要求がプロセッサノードから入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定する判定手段と、
該判定手段によって前記アクセス要求のアクセス先がコンフィグレーション空間であると判定された場合、前記アクセス要求のアドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号および前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、前記アクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを出力するノードＩＤ出力手段と、
前記アクセス要求を、前記ノードＩＤ出力手段から出力されたノードＩＤのＩＯノードへルーティングするルーティング手段とを備えたことを特徴とするノード制御装置。 A mapping means for mapping a plurality of configuration spaces to the same memory space;
When an access request including an address field indicating an access destination is input from a processor node, a determination is made as to whether or not the access destination of the access request is a configuration space mapped to a memory space by the mapping means Means,
When the determination means determines that the access destination of the access request is a configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field of the access request are Node ID output means for outputting the node ID of the IO node under the bus connected to the access target device based on the segment number of the configuration space assigned to the IO node under the control;
A node control device comprising routing means for routing the access request to an IO node having a node ID output from the node ID output means.
前記マップ手段が、
前記コンフィグレーション空間のベースアドレスが設定される第１のレジスタと、
前記コンフィグレーション空間のサイズに関するサイズ情報が設定される第２のレジスタとを備えたことを特徴とするノード制御装置。 The node control device according to claim 1,
The map means comprises:
A first register in which a base address of the configuration space is set;
A node control apparatus comprising: a second register in which size information relating to a size of the configuration space is set.
前記第２のレジスタには、サイズ情報として前記メモリ空間にマップしたコンフィグレーション空間の個数が設定されることを特徴とするノード制御装置。 The node control device according to claim 2, wherein
The node control device according to claim 2, wherein the second register is set with the number of configuration spaces mapped to the memory space as size information.
前記判定手段が、前記第１のレジスタの内容、前記第２のレジスタの内容および前記アドレスフィールドの内容に基づいて、前記アクセス要求のアクセス先が前記コンフィグレーション空間であるか否かを判定することを特徴とするノード制御装置。 The node control device according to claim 2 or 3,
The determination unit determines whether the access destination of the access request is the configuration space based on the contents of the first register, the contents of the second register, and the contents of the address field. A node control device characterized by the above.
アクセス先を前記コンフィグレーション空間とするアクセス要求のアドレスフィールドには、その所定ビット範囲に前記コンフィグレーション空間のベースアドレスが設定され、且つ、
前記判定手段が、前記第１のレジスタの最上位ビットから前記第２のレジスタに設定されている個数に応じたビット位置までに設定されている値と、入力されたアクセス要求における前記所定ビット範囲の最上位ビットから前記第２のレジスタに設定されている個数に応じたビット位置までに設定されている値とが等しいか否かに基づいて、前記アクセス要求のアクセス先がコンフィグレーション空間であるか否かを判定することを特徴とするノード制御装置。 The node control device according to claim 3, wherein
In the address field of the access request whose access destination is the configuration space, the base address of the configuration space is set in the predetermined bit range, and
The determination means includes a value set from the most significant bit of the first register to a bit position corresponding to the number set in the second register, and the predetermined bit range in the input access request The access destination of the access request is the configuration space based on whether or not the value set from the most significant bit to the bit position corresponding to the number set in the second register is equal A node control device characterized by determining whether or not.
前記ノードＩＤ出力手段が、
セグメント番号とバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するセグメント番号とバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記判定手段でコンフィグレーション空間へのアクセスであると判定された場合、前記アクセス要求中のセグメント番号とバス番号との組み合わせに対応したエントリに登録されているノードＩＤを出力するテーブルを備えていることを特徴とするノード制御装置。 The node control device according to claim 1,
The node ID output means is
It has a plurality of entries corresponding to a combination of a segment number and a bus number, and a node ID of an IO node specified by a combination of a segment number and a bus number corresponding to the entry is registered in each of the plurality of entries. And a table for outputting a node ID registered in an entry corresponding to a combination of a segment number and a bus number in the access request when the determination unit determines that the access is to the configuration space. A node control device characterized by comprising:
前記テーブルが、前記セグメント番号と前記バス番号の上位ビットとの組み合わせに対応した複数のエントリを有することを特徴とするノード制御装置。 The node control device according to claim 6, wherein
The node control device, wherein the table has a plurality of entries corresponding to combinations of the segment number and the upper bits of the bus number.
自装置に接続されるプロセッサノード毎に、前記判定手段、前記ノードＩＤ出力手段および前記ルーティング手段を備え、且つ、
前記プロセッサノード毎の判定手段が、前記第１のレジスタおよび第２のレジスタを共用することを特徴とするノード制御装置。 The node control device according to claim 2, wherein
For each processor node connected to its own device, the determination means, the node ID output means and the routing means, and
The node control apparatus characterized in that the determination means for each processor node shares the first register and the second register.
前記メモリ空間にマップされた複数のコンフィグレーション空間を複数のパーティションで分割して使用する場合は、前記テーブルに代えて、
セグメント番号とバス番号とパーティション番号の組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するセグメント番号とバス番号とパーティション番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記判定手段でコンフィグレーション空間へのアクセスであると判定された場合、前記アクセス要求を出力したプロセッサノードが属するパーティションのパーティション番号と前記アクセス要求中のセグメント番号とバス番号との組み合わせに対応したエントリに登録されているノードＩＤを出力するテーブルを使用することを特徴とするノード制御装置。 The node control device according to claim 6 , wherein
When using a plurality of configuration spaces mapped to the memory space divided into a plurality of partitions, instead of the table,
Each of the plurality of entries has a plurality of entries corresponding to a combination of a segment number, a bus number, and a partition number, and each of the plurality of entries has an IO node specified by a combination of a segment number, a bus number, and a partition number. If a node ID is registered and the determination means determines that the access is to the configuration space, the partition number of the partition to which the processor node that has output the access request belongs, the segment number and bus number in the access request, A node control device using a table for outputting node IDs registered in entries corresponding to combinations of the above.
アクセス先を示すアドレスフィールドを含んだアクセス要求がプロセッサノードから入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定し、アクセス先が前記コンフィグレーション空間であると判定した場合、前記アドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号と前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号とをマージしたインデックス信号を出力する判定手段と、
該判定手段から出力されたインデックス信号に含まれているセグメント番号の上位ビットを前記プロセッサノードが属しているパーティションのパーティション番号で置き換え、置き換え後のインデックス信号を出力するインデックス切り替え回路と、
パーティション番号とセグメント番号の下位ビットとバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するパーティション番号とセグメント番号の下位ビットとバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、前記インデックス切り替え回路から出力されたインデックス信号によって示されるエントリに登録されているノードＩＤを出力するテーブルと、
前記アクセス要求を前記テーブルから出力されたノードＩＤのＩＯノードへルーティングするルーティング手段とを備えたことを特徴とするノード制御装置。 A mapping means for mapping a plurality of configuration spaces to the same memory space;
When an access request including an address field indicating an access destination is input from a processor node, it is determined whether the access destination of the access request is a configuration space mapped to a memory space by the map unit; When it is determined that the access destination is the configuration space, the bus number of the bus to which the access target device is connected and the configuration assigned to the IO node under the bus are included in the address field. Determination means for outputting an index signal obtained by merging the segment number of the correlation space;
An index switching circuit that replaces the upper bits of the segment number included in the index signal output from the determination means with the partition number of the partition to which the processor node belongs, and outputs the replaced index signal;
A plurality of entries corresponding to combinations of partition numbers, lower bits of segment numbers, and bus numbers, and combinations of partition numbers corresponding to the entries, lower bits of segment numbers, and bus numbers, respectively A table for registering the node ID of the IO node specified by, and outputting the node ID registered in the entry indicated by the index signal output from the index switching circuit;
A node control device comprising routing means for routing the access request to an IO node having a node ID output from the table.
前記コンフィグレーション空間が、ＰＣＩ仕様で定義されたコンフィグレーション空間であることを特徴とするノード制御装置。 The node control device according to any one of claims 1 to 10,
The node control device, wherein the configuration space is a configuration space defined by a PCI specification.
前記各ノード制御装置が、それぞれ、
自装置に接続されたノード制御装置毎のポート入力部およびポート出力部と、
自装置に接続されたプロセッサノード毎のポート入力部およびポート出力部と、
自装置に接続されたＩＯノード毎のポート入力部およびポート出力部と、
前記各ポート入力部と前記各ポート出力部とを接続するクロスバースイッチとを備え、且つ、
前記プロセッサノードが接続されたポート入力部が、それぞれ、
複数のコンフィグレーション空間を同一のメモリ空間にマップするマップ手段と、
自ポート入力部に接続されたプロセッサノードからアクセス先を示すアドレスフィールドを含んだアクセス要求が入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定する判定手段と、
該判定手段によって前記アクセス要求のアクセス先が前記コンフィグレーション空間であると判定された場合、前記アクセス要求のアドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号および前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号に基づいて、前記アクセス対象デバイスが接続されているバスを配下に持つＩＯノードのノードＩＤを出力するノードＩＤ出力手段と、
該ノードＩＤ出力手段から出力されたノードＩＤを転送先に指定して前記アクセス要求を前記クロスバースイッチに対して出力する出力手段とを備えたことを特徴とする情報処理装置。 An information processing apparatus in which a plurality of node control devices are connected to each other, and a processor node and an IO node are connected to each node control device,
Each of the node control devices is respectively
A port input unit and a port output unit for each node control device connected to the own device;
A port input unit and a port output unit for each processor node connected to the own device;
A port input unit and a port output unit for each IO node connected to the own device;
A crossbar switch for connecting each port input unit and each port output unit, and
Port input units to which the processor nodes are connected are respectively
A mapping means for mapping a plurality of configuration spaces to the same memory space;
When an access request including an address field indicating an access destination is input from the processor node connected to the own port input unit, the access destination of the access request is displayed in the configuration space mapped to the memory space by the map means. Determination means for determining whether or not there is;
When it is determined by the determination means that the access destination of the access request is the configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field of the access request Node ID output means for outputting the node ID of the IO node under the bus connected to the access target device based on the segment number of the configuration space assigned to the IO node under
An information processing apparatus comprising: output means for designating a node ID output from the node ID output means as a transfer destination and outputting the access request to the crossbar switch.
前記各ノード制御装置が、それぞれ、
自装置に接続されたノード制御装置毎のポート入力部およびポート出力部と、
自装置に接続されたプロセッサノード毎のポート入力部およびポート出力部と、
自装置に接続されたＩＯノード毎のポート入力部およびポート出力部と、
前記各ポート入力部と前記各ポート出力部とを接続するクロスバースイッチと、
複数のコンフィグレーション空間を同一のメモリ空間にマップするマップ手段と、
パーティション番号とセグメント番号の下位ビットとバス番号との組み合わせに対応した複数のエントリを有すると共に、前記複数のエントリそれぞれに、そのエントリに対応するパーティション番号とセグメント番号の下位ビットとバス番号との組み合わせによって特定されるＩＯノードのノードＩＤが登録され、インデックス信号が入力されたとき、該インデックス信号によって示されるエントリに登録されているノードＩＤを出力するテーブルとを備え、且つ、
前記プロセッサノードに接続されたポート入力部が、それぞれ、
自ポート入力部に接続されたプロセッサノードが属するパーティションのパーティション番号が設定されたパーティション番号記憶部と、
自ポート入力部に接続されたプロセッサノードからアクセス先を示すアドレスフィールドを含んだアクセス要求が入力されたとき、前記アクセス要求のアクセス先が、前記マップ手段によってメモリ空間にマップされたコンフィグレーション空間であるか否かを判定し、アクセス先が前記コンフィグレーション空間であると判定した場合、前記アドレスフィールドに含まれている、アクセス対象デバイスが接続されているバスのバス番号と前記バスを配下に持つＩＯノードに割り当てられているコンフィグレーション空間のセグメント番号とをマージしたインデックス信号を出力する判定手段と、
該判定手段から出力されたインデックス信号に含まれているセグメント番号の上位ビットを前記パーティション番号記憶部に設定されているパーティション番号で置き換え、置き換え後のインデックス信号を前記テーブルに対して出力するインデックス切り替え回路と、
該インデックス切り替え回路から出力されたインデックス信号に応答して前記テーブルから出力されたノードＩＤを転送先に指定して、前記アクセス要求を前記クロスバースイッチに出力する出力手段とを備えたことを特徴とする情報処理装置。 An information processing apparatus in which a plurality of node control devices are connected to each other, and a processor node and an IO node are connected to each node control device,
Each of the node control devices is respectively
A port input unit and a port output unit for each node control device connected to the own device;
A port input unit and a port output unit for each processor node connected to the own device;
A port input unit and a port output unit for each IO node connected to the own device;
A crossbar switch for connecting each port input unit and each port output unit;
A mapping means for mapping a plurality of configuration spaces to the same memory space;
A plurality of entries corresponding to combinations of partition numbers, lower bits of segment numbers, and bus numbers, and combinations of partition numbers corresponding to the entries, lower bits of segment numbers, and bus numbers, respectively And a table for outputting the node ID registered in the entry indicated by the index signal when the node ID of the IO node specified by is registered and an index signal is input, and
Port input units connected to the processor nodes are respectively
A partition number storage unit in which the partition number of the partition to which the processor node connected to the own port input unit belongs is set;
When an access request including an address field indicating an access destination is input from the processor node connected to the own port input unit, the access destination of the access request is displayed in the configuration space mapped to the memory space by the map means. If it is determined whether or not the access destination is the configuration space, the bus number of the bus to which the access target device is connected and the bus included in the address field are subordinate. Determining means for outputting an index signal obtained by merging the segment number of the configuration space allocated to the IO node;
Index switching for replacing the upper bits of the segment number included in the index signal output from the determination means with the partition number set in the partition number storage unit and outputting the replaced index signal to the table Circuit,
Output means for designating a node ID output from the table in response to an index signal output from the index switching circuit as a transfer destination and outputting the access request to the crossbar switch. Information processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007014982A JP5058615B2 (en) | 2007-01-25 | 2007-01-25 | Node control apparatus and information processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007014982A JP5058615B2 (en) | 2007-01-25 | 2007-01-25 | Node control apparatus and information processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008181389A JP2008181389A (en) | 2008-08-07 |
| JP5058615B2 true JP5058615B2 (en) | 2012-10-24 |
Family
ID=39725239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007014982A Active JP5058615B2 (en) | 2007-01-25 | 2007-01-25 | Node control apparatus and information processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5058615B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4854050B2 (en) * | 2009-09-24 | 2012-01-11 | エヌイーシーコンピュータテクノ株式会社 | Node control device, control method for node control device, information processing system, and computer program |
| JP5541021B2 (en) * | 2010-09-09 | 2014-07-09 | 富士通株式会社 | Switch device |
| WO2012086068A1 (en) * | 2010-12-24 | 2012-06-28 | 株式会社日立製作所 | Computer system and routing control method |
| JP5240872B2 (en) * | 2011-02-10 | 2013-07-17 | エヌイーシーコンピュータテクノ株式会社 | Information processing apparatus and method of operating information processing apparatus |
| US9479461B2 (en) | 2012-03-16 | 2016-10-25 | Hitachi, Ltd. | Computer system and method for communicating data between computers |
| US9135200B2 (en) | 2013-06-28 | 2015-09-15 | Futurewei Technologies, Inc. | System and method for extended peripheral component interconnect express fabrics |
| US9306863B2 (en) * | 2013-12-06 | 2016-04-05 | Intel Corporation | Link transfer, bit error detection and link retry using flit bundles asynchronous to link fabric packets |
| CN111435939B (en) * | 2019-01-14 | 2023-05-05 | 百度在线网络技术（北京）有限公司 | Method and device for dividing storage space of node |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59188900A (en) * | 1983-04-12 | 1984-10-26 | Nec Corp | Data processor |
| US6901451B1 (en) * | 2000-10-31 | 2005-05-31 | Fujitsu Limited | PCI bridge over network |
| JP2003216565A (en) * | 2002-01-18 | 2003-07-31 | Hitachi Ltd | Computer system and configuration access routing method |
| US7107382B2 (en) * | 2003-04-03 | 2006-09-12 | Emulex Design & Manufacturing Corporation | Virtual peripheral component interconnect multiple-function device |
| US7003591B2 (en) * | 2003-08-20 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Configurable mapping of devices to bus functions |
| JP4711709B2 (en) * | 2005-03-18 | 2011-06-29 | 富士通株式会社 | Partition allocation method and computer system |
-
2007
- 2007-01-25 JP JP2007014982A patent/JP5058615B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008181389A (en) | 2008-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5058615B2 (en) | Node control apparatus and information processing apparatus | |
| US11429550B2 (en) | System and method for extended peripheral component interconnect express fabrics | |
| US7752346B2 (en) | Universal routing in PCI-Express fabrics | |
| CN110489365B (en) | Switching device, peripheral component interconnect express system and initialization method thereof | |
| US8032684B2 (en) | Programmable bridge header structures | |
| CN111092773B (en) | PCIE (peripheral component interface express) switching chip port configuration system and method supporting virtual switching | |
| US8285911B2 (en) | Computer apparatus, computer system and adapter carry-over method | |
| JP5452733B2 (en) | Computer system and routing control method | |
| US20130173837A1 (en) | Methods and apparatus for implementing pci express lightweight notification protocols in a cpu/memory complex | |
| US20230161728A1 (en) | Method for expanding pcie system, pcie switching device, and pcie system | |
| US10169279B2 (en) | Input/output control device, input/output control system, and input/output control method for conversion of logical address of instruction into local address of device specified in instruction | |
| TWI791134B (en) | Communication device, information processing system and communication method | |
| CN114006875A (en) | PCIe system expansion method, PCIe exchange equipment and PCIe system | |
| JP4854050B2 (en) | Node control device, control method for node control device, information processing system, and computer program | |
| US6842817B2 (en) | Method for generating configuration tables and for forwarding packets through a network | |
| JP5240872B2 (en) | Information processing apparatus and method of operating information processing apparatus | |
| JPWO2015155997A1 (en) | Setting device, control device, setting method, and network switch | |
| CN117978775A (en) | Address translation method, device, equipment and medium for PCI-E non-transparent bridge | |
| JPH0750459B2 (en) | adapter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20090715 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090715 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101022 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101221 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20120710 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5058615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120710 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |