WO2010044409A1 - マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム - Google Patents

マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム Download PDF

Info

Publication number
WO2010044409A1
WO2010044409A1 PCT/JP2009/067758 JP2009067758W WO2010044409A1 WO 2010044409 A1 WO2010044409 A1 WO 2010044409A1 JP 2009067758 W JP2009067758 W JP 2009067758W WO 2010044409 A1 WO2010044409 A1 WO 2010044409A1
Authority
WO
WIPO (PCT)
Prior art keywords
pci
root
switch
virtual
pci express
Prior art date
Application number
PCT/JP2009/067758
Other languages
English (en)
French (fr)
Inventor
飛鷹　洋一
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/060,980 priority Critical patent/US8719483B2/en
Priority to JP2010533906A priority patent/JP5440507B2/ja
Publication of WO2010044409A1 publication Critical patent/WO2010044409A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4022—Coupling between buses using switching circuits, e.g. switching matrix, connection or expansion network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G06F9/4411—Configuring for operating with peripheral devices; Loading of device drivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4063—Device-to-bus coupling
    • G06F13/4068—Electrical coupling
    • G06F13/4081—Live connection to bus, e.g. hot-plugging

Definitions

  • the present invention relates to a computing device used in a computer and a network device, and a PCI express press switch that extends a PCI express interface of a networking device.
  • the present invention relates to an MRA (Multi-Root Aware) PCI Express switch for connecting a plurality of computers, a method for starting the switch, and a multi-root PCI manager program.
  • MRA Multi-Root Aware
  • PCI Peripheral component interconnect
  • CPU central processing unit
  • hard disk hard disk
  • graphic controller graphics controller
  • networking devices such as a forwarding engine and a network controller.
  • PCI Express which serializes a PCI parallel bus and performs communication by a packet system, has been standardized.
  • Non-patent document 1 describes a method of connecting a plurality of CPUs on a system constituted by the PCI express switch.
  • FIG. 1 shows a system configuration diagram that can be realized in Non-Patent Document 1
  • FIGS. 2 and 3 show the configuration of an MRA (Multi-Root Aware) PCI Express switch proposed in Non-Patent Document 1.
  • MRA Multi-Root Aware
  • the multi-root PCI manager software MR-PCIM 52 for managing the configuration state of the switch is required on any of the CPUs connected to the switch shown in FIG.
  • FIG. 1 shows a system configuration using two MRA PCI Express switches.
  • 2 and 3 show the internal configuration of the MRA PCI Express switches 511 and 512.
  • FIG. 1 shows a system configuration using two MRA PCI Express switches.
  • the MRA PCI express switch 511 is a PCI-PCI bridge 5111, 5112, 5122, 5113, 5114, 5115, a switch between bridges different from the conventional PCI express switch in order to accommodate a plurality of route complexes and MR endpoints.
  • the virtual PCI express switches 5116, 5117, 5118, and 5119 that perform processing, the MRA controller logic 5120 that is set and controlled from the MR-PCIM 52, and a setting register 5121 that stores the setting information are included.
  • Another MRA PCI express switch 512 for expanding the number of connection ports is similarly a PCI-PCI bridge 5123, 5124, 5133 different from the conventional PCI express switch, and a virtual PCI express switch for performing a switching process between the bridges. 5126, 5127, and 5129, MRA controller logic 5120 that is set and controlled by the MR-PCIM 52, and a setting register 5131 that stores the setting information.
  • MRA PCI Express Switch in order to configure a tree similar to the conventional PCI Express for each of the multiple root complexes, which virtual PCI Express switch is used for each root complex, multiple PCI-PCI bridges are used. It is necessary to assign a VH (Virtual ⁇ Hierarchy) number for use in the network. Since switch processing is performed for each virtual PCI express switch, there is no interference with other virtual PCI express switches.
  • VH Virtual ⁇ Hierarchy
  • VH numbers are allocated, and it is considered that multiple PCI-PCI bridges are connected to one link. With different VH numbers, credit control, configuration information separation, and the like are performed, and a plurality of PCI-PCI bridge usage numbers on one port are indicated.
  • These settings are assigned by the MR-PCIM to the setting register which is the control information of the MRA controller logic.
  • 4 and 5 show configuration examples of the setting registers 5121 and 5131 of the MRA PCI express switches 511 and 512, respectively.
  • the MR-PCIM is connected to Port: 1 to which the CPU 101 and the root complex 102 are connected.
  • the route of the number VH0 is used in the MR PCI-PCI bridge for setting from the MR-PCIM.
  • the setting information of the setting register includes, for the virtual PCI express switch number, information for configuring the virtual PCI express switch, switch port use number, use VH number, UP / Down of upstream PCI-PCI bridge or downstream PCI-PCI bridge : DN information is stored for the number of ports.
  • the virtual PCI Express switch 1 5116 is switch number 1 and is port 1.
  • the MR complex upstream PCI-PCI bridge 5111, the virtual PCI express switch 1 5116, the MR compatible downstream PCI-PCI bridge 5113, the MR endpoint 505, the downstream PCI-PCI bridge 5114, The end point 106 and the MR compliant downstream PCI-PCI bridge 5122 can be accessed.
  • Access to the end of the MR compatible upstream / downstream PCI-PCI bridge 5122 can be made by setting the setting register 5131 of the MRA PCI express switch 512.
  • the setting register 5131 Port 2 / VH 0 / DN and Port 3 / VH 0 / UP are set for the virtual PCI Express switch 2 5127. Therefore, the MR compatible upstream / downstream PCI-PCI bridge 5122 is connected to the MR compatible upstream / downstream PCI-PCI bridge 5124, the virtual PCI Express switch 2 5127, the MR compatible downstream PCI-PCI bridge 5133, and the MR end point 506. Accessible from the root complex 102.
  • the virtual PCI express switch 2 5117, the virtual PCI express switch 3 5118 in the setting register 5121, and the virtual PCI express switch 1 5126 in the setting register 5131 are also set as shown in FIGS. With these settings, the PCI tree shown in FIG. 6 is built for the I / O device with respect to the CPU 101, and the PCI tree shown in FIG.
  • the MR-PCIM does not configure the PCI tree unless the MR-PCIM takes into account the switch connection state and the logical connection state and sets the setting register. Cannot start until complete. Therefore, depending on the scale of the system, it takes a very long time to start the root complex system, and the operability of the system is significantly reduced.
  • FIG. 8 shows the MR-PCIM 52 sequence. After the MR-PCIM is activated, it first grasps how many types of switches are connected and how many links the switch has (step S1). This can be grasped only by referring to the register of the switch.
  • step S2 it is necessary to grasp the physical connection status and the topology in which the switches are connected (step S2). Since this operation is performed while considering whether the topology state is a loop or the like, it takes time to search depending on the structure of the kibo and the topology. Next, it is confirmed whether the I / O is connected to the tip of the topology, and if it is connected, the type of the I / O is grasped (step S3). This operation also takes time depending on the number of I / Os. Thereafter, after the setting requested by the user, that is, the setting of the table information shown in FIGS. 4 and 5 (step S4) is completed, the use of the switch is finally permitted to the root complex (step S5), and the CPU 101 and the CPU 1011 are activated. become able to.
  • the start sequence of the root complex of the CPU 101 and the CPU 1011 is as shown in FIG. 9 by the operation of the MR-PCIM shown in FIG. Depending on the scale and configuration of the system, it takes a very long time, while MR-PCIM grasps the connection status (step S11), while MR-PCIM grasps the type of I / O (step S12).
  • the root complex will wait a long time. Subsequent MR-PCIM tree setting is completed (step S13), and when the use permission is issued from MR-PCIM (step S14), the root complex is finally reset and the BIOS can be started. (Step S15).
  • the configuration register includes a bus number lower limit value 18001, a bus number upper limit value 18002, a 32-bit I / O address lower limit value 18003, a 32-bit I / O address upper limit value 18004, a 32-bit memory lower limit value 18005, and a 32-bit memory upper limit value 18006.
  • the information is transferred to the OS, and then the OS is started (step S17).
  • the OS is started (step S17).
  • the I / O driver and configuration existing on the set PCI tree are executed.
  • the activation of the OS is completed and the software can be used (step S18).
  • An object of the present invention is to provide a multi-root PCI express switch that can be activated without waiting for a root complex, regardless of the scale of the system, in an MRA PCI express switch that accommodates a plurality of root complex tems. It is to improve.
  • the multi-root PCI express switch is a multi-root PCI express switch that can be connected to a plurality of root complexes, and is based on the topology of the switch connection destination and the physical connection status.
  • a setting register that stores information necessary for the setting of the virtual switch bridge
  • a virtual switch bridge control unit that stores information necessary for constructing a virtual PCI tree regardless of the state of the setting register.
  • a multi-root PCI express switch activation method is a multi-root PCI express switch activation method connected to a plurality of root complexes, and includes a switch that configures the system when the system is activated.
  • a multi-root PCI manager program is a multi-root PCI manager program that causes a computer to manage a multi-root PCI express switch connected to a plurality of root complexes, and the multi-root PCI manager program is activated when the system is started.
  • Setting information necessary for constructing a virtual PCI tree in the multi-root PCI express switch based on information on the number of switches constituting the express switch and the number of links of the switch; and on the basis of the set information, Granting the root complex permission to use the multi-root PCI express switch; confirming the topology and physical connection status of the connection destination of the multi-root PCI express switch; Has a step of setting the information required for Lee built the multi-route PCI Express switch, the.
  • the root complex in a multi-route compatible PCI Express switch, at the time of system startup, the root complex can be started without waiting until the topology of the connection destination and the physical connection status can be grasped, and the system startup time is shortened. Can be realized.
  • the reason is that a virtual PCI tree is constructed before the topology and physical connection status of the connection destination can be grasped, and the root complex can be activated based on the virtual PCI tree.
  • the root complex in a multi-route compatible PCI Express switch, can be started at a fixed timing regardless of the scale of the system, and reset and power management control for the root complex are simplified.
  • Can be The reason is that a virtual PCI tree is constructed before the topology and physical connection status of the connection destination can be grasped, and the root complex can be activated based on the virtual PCI tree.
  • MRA PCI Express switch This is the internal configuration of the MRA PCI Express switch. This is the internal configuration of the MRA PCI Express switch. It is a structural example of the setting register of MRA PCI Express switch. It is a structural example of the setting register of MRA PCI Express switch. It is a PCI tree that can be seen from the CPU in the MRA PCI Express switch. It is a PCI tree that can be seen from the CPU in the MRA PCI Express switch. It is a figure explaining the subject in the operation sequence of MR-PCIM. It is a figure explaining the subject in the operation
  • FIG. 1 is an internal configuration diagram of an MRA extended PCI Express switch according to an embodiment of the present invention.
  • FIG. 1 is an internal configuration diagram of an MRA extended PCI Express switch according to an embodiment of the present invention.
  • FIG. It is a block diagram of the multistage virtual switch bridge controller of the MRA extended PCI Express switch according to an embodiment of the present invention. It is a figure which shows the structural example of the PCI switch bridge virtual configuration register information by one Embodiment of this invention.
  • FIG. 5 is a diagram illustrating an MR-PCIM operation sequence of the MRA extended PCI Express switch according to an embodiment of the present invention.
  • a multi-root PCI express switch In a multi-root PCI express switch, a multi-root PCI-PCI bridge that can be connected to the plurality of root complexes, and a plurality of PCI-PCI bridges provided corresponding to the plurality of root complexes and including the multi-root PCI-PCI bridge It is preferable to further include a virtual PCI express switch for performing connection between the bridges.
  • the virtual switch bridge control unit preferably includes a PCI switch bridge virtual configuration register set based on information on the number of switches constituting the system and the number of links of the switches.
  • the multi-root PCI express switch further includes an actual configuration register in which address information necessary for data transfer is stored, and the virtual switch bridge control unit performs the PCI switch bridge virtual configuration based on the setting of the setting register. It is preferable to further include a virtual register synchronization control unit that performs synchronization control between the register and the actual configuration register.
  • the virtual switch bridge control unit issues a hot plug event for matching the virtual PCI tree with the actual PCI tree according to the setting state of the multi-root PCI express. It is preferable to further include a hot plug event issuing unit.
  • the multi-root PCI express switch activation method is as described in the second aspect.
  • the multi-root PCI express switch holds information on the virtual PCI tree and replaces the virtual PCI tree with a real-configuration PCI tree. It is preferable that the multi-root PCI express switch has a starting method.
  • a multi-root PCI manager program of a host computer creates a virtual PCI tree based on information on the number of switches constituting the system and the number of links of the switch when the system is activated.
  • a process for setting information necessary for construction in the multi-root PCI express switch is performed, the root complex starts a BIOS system, constructs the virtual PCI tree, and the multi-root PCI manager program
  • After confirming the topology of the connection destination and confirming the connection status, information necessary for constructing an actual configuration PCI tree is set in the multi-root PCI express switch, and the root complex is configured by the actual configuration PCI.
  • Tree Based on the information set in order to built, it is preferable the virtual PCI tree is a multi-root PCI Express switch activation method of replacing the PCI tree of the actual configuration.
  • the multi-root PCI manager program grasps the number of switches constituting the system and the number of links of the switch by referring to a register in the multi-root PCI express switch. Then, information necessary for constructing a virtual PCI tree is set, a VH (Virtual Hierarchy) number is fixedly assigned to the root complex to which the host computer is connected, and the host computer is connected. In response to the use permission, the root complex that has received the use permission activates the BIOS system, constructs a virtual PCI tree, and the multi-root PCI manager.
  • VH Virtual Hierarchy
  • the topology of the connection destination is confirmed to grasp the physical connection status, whether or not the I / O is connected, and if connected, the I / O It is preferable that the method is a multi-root PCI express switch activation method that performs a process of grasping the type of O.
  • the multi-root PCI manager program allows the multi-root PCI express switch to respond to the setting in order to grasp the physical connection status and the type of I / O.
  • this is a multi-root PCI express switch activation method that issues a hot plug event and causes the root complex to match the virtual PCI tree with the actual PCI tree.
  • the multi-root PCI manager program is preferably as described in the third aspect.
  • the computer-readable storage medium that records the multi-root PCI manager program is preferably a computer-readable storage medium that records the multi-root PCI manager program according to the eleventh aspect.
  • FIG. 11 shows a configuration diagram of an MRA extended PCI Express system using the present invention.
  • the CPU 101, the CPU 108, the route complex 102, the memory 103, the route complex 109, and the memory 110 which are also used in the system composed of the conventional MRA PCI express switch, are used as the MRA extended PCI express switch 9511.
  • the MR end point 505, the end point 106, and the end point 107 are connected and connected to the MRA expansion PCI Express switch 9511.
  • the MRA expansion PCI express switch 9512 is connected to a CPU 1011, a route complex 1021, a memory 1031, and an MR end point 506.
  • the root complex and end point that can be connected are a conventional PCI Express compatible device and an MR end point defined in Non-Patent Document 1, and can communicate between devices as in FIG.
  • the MRA extended PCI Express switch uses the upstream / downstream / MR compatible downstream PCI-PCI bridge, MRA controller logic, and configuration registers that are also used in MRA PCI Express.
  • An upstream / downstream PCI-PCI bridge constituting the switch and a multi-stage virtual switch bridge control unit that displays the PCI-PCI bridge as virtual I / O are provided.
  • FIG. 12 shows the configuration of the MRA extended PCI express switch 9511
  • FIG. 13 shows the configuration of the MRA extended PCI express switch 9512.
  • the MRA extended PCI express switches 9511 and 9512 are configured such that, in addition to the conventional MRA PCI express switches 511 and 512, a multistage virtual switch bridge control unit 81 is provided.
  • VH allocation is performed in the same way as the MRA PCI Express switch.
  • the setting from the MR-PCIM also sets the setting register via the VH0 port and the MRA controller logic, so that the virtual PCI Express switch to be used and its port, VH number, upstream or downstream are determined.
  • the PCI Express tree is constructed for the root complex, and access to the end point becomes possible. Accordingly, the process of transferring data between the root complex and the endpoints in the MRA extended PCI express switches 9511 and 9512 is performed in the same manner as the conventional MRA PCI express switch.
  • the feature of the MRA extended PCI Express switch is that the multi-stage virtual switch bridge controller shows multi-stage virtual switches and bridges for the root complex.
  • the MRA extended PCI express switch 9511 shown in FIG. 12 the MR complex upstream PCI-PCI bridge 5111 and the upstream PCI-PCI bridge 5112 are connected to the root complex 102 and the root complex 109 in a multistage virtual switch. Configure the bridge.
  • the MRA extended PCI express switch 9512 shown in FIG. 13 a virtual switch and a bridge are configured ahead of the upstream PCI-PCI bridge 5123 with respect to the root complex 1021.
  • FIG. 14 shows details of the internal configuration of the multistage virtual switch bridge control unit 81.
  • the multistage virtual switch bridge control unit 81 includes a configuration transmission / reception control unit 821, a multistage virtual switch virtual bridge control unit 822, PCI switch bridge virtual configuration register information 824, virtual register synchronization control 825, and a hot plug event issue unit 823.
  • the configuration transmission / reception control unit 821 includes a configuration transmission / reception control unit 821, a multistage virtual switch virtual bridge control unit 822, PCI switch bridge virtual configuration register information 824, virtual register synchronization control 825, and a hot plug event issue unit 823.
  • the multistage virtual switch bridge control unit 81 obtains setting information indicating how many switches the system is composed of and the number of links of the switch from the MR-PCIM at the time of system startup.
  • the switch and bridge stage number setting 812 is set for the multistage virtual switch virtual bridge controller 822.
  • the multi-stage virtual switch virtual bridge controller 822 makes it appear that there are virtual upstream / downstream PCI-PCI bridges and PCI bridges as seen from the root complex.
  • a plurality of bridge virtual configuration register information 824 are configured.
  • the root complex has a start permission, the BIOS starts, and the PCI tree search program runs. Thereafter, configuration access occurs to the MRA extended PCI Express switch, and the bridge configuration packet 813 is received via the upstream PCI-PCI bridge.
  • the PCI switch bridge virtual configuration register information 824 is accessed.
  • FIG. 15 shows a detailed configuration of the PCI switch bridge virtual configuration register information 824.
  • This register has the same configuration as the configuration register 1502 held by the actual PCI-PCI bridge shown in FIG. 10, and this register allows a virtual PCI-PCI bridge to the root complex to be configured. As a PCI bridge, it can be shown to the root complex.
  • the multistage virtual switch bridge control unit 81 refers to the setting register of the MRA extended PCI express switch to grasp the configuration state of the actual switch, and when the actual PCI-PCI bridge becomes available.
  • the virtual register synchronization control 825 performs synchronization control by copying and mirroring register information to the virtual PCI-PCI bridge corresponding to the actual PCI-PCI bridge and the switch internal configuration register 814. .
  • the hot plug event issuing unit 823 has a virtual PCI -Issue hot-remove (disconnect) of PCI bridge and hot-add (grant) of actual PCI-PCI bridge to match from virtual state to actual use state .
  • FIG. 16 shows an operation sequence of the MR-PCIM 952 that manages the MRA extended PCI Express switches 9511 and 9512.
  • the MR-PCIM 952 first knows what type of switches are connected and how many links are connected to the switches (step S21). This can be grasped only by referring to the register of the switch.
  • the VH number of the port to which the root complex is connected is fixedly assigned as an initial value (step S22). Since the link to which the root complex is connected is not shared, there is no problem even if an arbitrary fixed number is set for the VH number.
  • the MR-PCIM permits the root complex to use the switch (step S23).
  • step S24 grasp the physical connection status of the topology in which the switch is connected (step S24), confirm the I / O connected to the tip of the topology and grasp the type (Step S25), the setting desired by the user, that is, the table information shown in FIGS. 4 and 5 is set (step S26).
  • FIG. 17 shows an operation sequence of the root complex for the operation of the MR-PCIM 952 described above.
  • the CPU 101 and the root complex of the CPU 1011 receive an instruction from the MR-PCIM for permission to use the switch immediately after the system is activated (step S31), and activate the BIOS system (step S32).
  • the activation permission is issued to the root complex after the MR-PCIM is activated immediately after a certain time, and the root complex is almost reset and starts the BIOS. Will be able to.
  • the upstream PCI-PCI bridge beyond the port to which the root complex is connected has not been set by the setting register yet, so the virtual PCI Express switch is not used and multistage virtual switch bridge control is performed.
  • the multi-stage virtual switch bridge provided by the unit is recognized and activated. Since the multistage virtual switch bridge receives information on the number of virtual switch stages and the number of links immediately after MR-PCIM activation, a virtual switch bridge has already been configured.
  • FIG. 18 shows a PCI tree composed of a virtual switch and a bridge immediately after startup, as viewed from the root complex 102.
  • the end link is a virtual bridge.
  • the BIOS recognizes the PCI tree configured by this virtual switch bridge, configures the virtual switch bridge, and then starts the OS.
  • MR-PCIM 952 grasps the time-consuming physical connection status and grasps the I / O type while the root complex is set up according to the instruction from MR-PCIM.
  • the system startup time is shortened by performing the processing related to the time of the BIOS and OS startup, which takes time as the root complex processing.
  • the setting register of the switch is read as the tree setting, the VH number is set to the VS number, and the actual PCI- The PCI bridge can be used.
  • the virtual register synchronization control 825 and the hot plug event issuing unit 823 shown in FIG. 14 perform hot plug processing for information synchronization and configuration change when an actual PCI-PCI bridge is used. Match to the same state as system operation. That is, as shown in steps S36 to S39 in FIG.
  • the MR-PCIM grasps the physical connection status (step S36), grasps the type of I / O (step S37), and the tree requested by the user Information necessary for the setting is set in the setting register (95121, 95131) (step S38). Further, the virtual PCI tree is reconfigured by the hot plug event so as to match the actual PCI tree (step S39).
  • FIG. 19 shows a part to be deleted on the PCI tree.
  • the net line portion is a portion that has been found to be unnecessary as a PCI tree by the setting of VH / VS.
  • This part is configured so that the hot-plug event issuing unit 823 performs hot-remove processing, and the actual configuration is the same PCI tree state.
  • the virtual PCI-PCI bridge and virtual bridge are changed to the actual PCI-PCI bridge and real I / O with Hot-Remove (detach) and Hot-Add (add) while maintaining the state of the PCI tree.
  • the configuration is the same as that shown in FIG.
  • the location that took time to grasp the physical connection status and I / O type which was a problem with the conventional MRA PCI Express switch, indicates that the OS is running while the root complex is running the BIOS. Since the activation time is used effectively, the activation time of the system is shortened, and the user can use the software in the same PCI tree as the conventional system.
  • the multi-root PCI express switch can be connected to a plurality of root complexes (102, 109, 1021) as shown in FIGS.
  • a setting register (95121, 95131) for storing information necessary for setting the PCI tree based on the topology of the connection destination of the switch and the physical connection status, and the status of the setting register
  • the virtual switch bridge controller 81 stores information necessary for constructing a virtual PCI tree.
  • the multi-root PCI express switch includes the virtual switch bridge control unit 81 that stores information necessary for constructing a virtual PCI tree.
  • the root complex can be activated without waiting until the physical connection status can be grasped.
  • the time until the root complex is activated can be made constant regardless of the scale of the system.
  • the multi-root PCI express switch includes, for example, a multi-root PCI-PCI bridge (5113, 5133) that can be connected to a plurality of root complexes, as shown in FIGS.
  • a plurality of bridges (5111, 5112, 5122, 5113, 5114, 5115, 5123, 5124) including a multi-root compatible PCI-PCI bridge (5113, 5133) provided corresponding to the plurality of root complexes (102, 109, 1021) , 5133), a virtual PCI express switch (5116, 5117, 5118, 5119, 5126, 5127, 5129) may be further provided.
  • the multi-root PCI express switch activation method is, for example, a multi-route connected to a plurality of route complexes (102, 109, 1021 in FIG. 11) as shown in FIGS.
  • a step of setting necessary information in the multi-root PCI express switch (S21, S22), a step of starting a BIOS system based on the set information and building a virtual PCI tree (S33); After confirming the topology and the connection status, the virtual PCI tree A step (S36 ⁇ S39) to replace the PCI tree of the actual configuration, the.
  • the BIOS system can be started up in a short time. Also, since the virtually constructed PCI tree (FIG. 18) is replaced with the actual configuration PCI tree after confirming the topology and connection status of the connection destination (see FIG. 19), there is no inconsistency.
  • the multi-root PCI manager program is connected to a plurality of root complexes (102, 109, 1021 in FIG. 11).
  • 9511, 9512 is a multi-root PCI manager program for managing a computer (101 in FIG. 11), and the number of switches constituting the multi-root PCI express switch (9511, 9512) and the number of switch links (S21, S22) for setting information necessary for constructing a virtual PCI tree (for example, FIG. 18) in the multi-root PCI express switch (9511, 9512 in FIG.
  • the multi-root PCI manager program can be installed in a computer via a storage medium such as a CD ROM, DVD, flexible disk, ROM, flash memory, RAM, or hard disk.
  • the computer can execute a multi-root PCI manager program stored in the storage medium.
  • the multi-root PCI manager it is necessary to construct a virtual PCI tree based on information on the number of switches and the number of links of switches that can be grasped only by referring to the switch registers at the time of system startup.
  • Information is set in the multi-root PCI express switch, and based on this information, the root complex is permitted to use the multi-root PCI express switch. Therefore, the root complex can be activated early without depending on the scale of the system.
  • the information set for constructing the virtual PCI tree is the information necessary for constructing the actual PCI tree after confirming the topology and physical connection status of the switch connection destination. Since the virtual PCI tree can be updated to the actual PCI tree by plug processing or the like, no inconsistency occurs.
  • MR-PCIM in an MRA PCI Express switch that accommodates a plurality of root complexes, can immediately start the root complex without waiting for the time to grasp the physical configuration and logical configuration. System startup time can be shortened.
  • the reason is that in addition to the configuration of the MRA PCI Express switch, it has a multi-stage virtual switch and a virtual switch bridge control unit that makes the virtual bridge appear in the root complex. This is because the MR-PCIM can permit the activation of the immediate root complex by using a typical switch and bridge.
  • the MR-PCIM in the MRA PCI Express system, can grant the activation permission to the root complex immediately after activation at a fixed timing regardless of the scale of the system. Reset and power management control for the root complex can be simplified. The reason for this is that in addition to the configuration of the multi-root PCI express switch, it has a multi-stage virtual switch and a virtual switch bridge control unit that makes the virtual bridge appear in the root complex. This is because MR-PCIM can allow the immediate root complex to be activated by using virtual switches and bridges.
  • the computer system and the network system connected by wire have been described in the present embodiment, but the present invention can be used for all system environments equipped with a PCI Express interface regardless of wired or wireless.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Stored Programmes (AREA)
  • Bus Control (AREA)

Abstract

　本発明は、複数のルートコンプレックスを収容するＭＲＡ（Ｍｕｌｔｉ－ｒｏｏｔ　Ａｗａｒｅ）ＰＣＩエクスプレススイッチにおいて、システムの規模によらず、ルートコンプレックスを待たせることなく起動できるマルチルートＰＣＩエクスプレススイッチを提供し、システムの運用性を向上させる。スイッチの接続先のトポロジ、物理的な接続状況に基づいてＰＣＩツリーの設定に必要な情報を格納する設定レジスタと、設定レジスタの状態によらず、仮想的なＰＣＩツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、を備える。仮想スイッチブリッジ制御部の情報に基づいて、ルートコンプレックスが起動できる（図１２）。

Description

マルチルートＰＣＩエクスプレススイッチ、その起動方法、及び、マルチルートＰＣＩマネージャプログラム
　（関連出願についての記載）
　本発明は、日本国特許出願：特願２００８－２６６４４４号（２００８年１０月１５日出願）の優先権主張に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
　本発明は、コンピュータ並びにネットワーク装置で使われるコンピューティングデバイス並びにネットワーキングデバイスのＰＣＩエクスプレスインターフェースを拡張するＰＣＩエクスプレスプレススイッチに関する。特に複数のコンピュータを接続するＭＲＡ（Multi-Root Aware）ＰＣＩエクスプレススイッチ及びその起動方法、そのマルチルートＰＣＩマネージャプログラムに関する。
　中央演算装置（ＣＰＵ）、ハードディスク、グラフィックコントローラ等のコンピューティングデバイス、フォワーディングエンジン、ネットワークコントローラ等のネットワーキングデバイス間を接続するバス規格として、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）が広く普及している。このＰＣＩの次世代規格として、ＰＣＩのパラレルバスをシリアル化し、パケット方式で通信を行うＰＣＩエクスプレスが標準化されている。
　このＰＣＩエクスプレススイッチで構成するシステム上に複数ＣＰＵを接続する方法が、非特許文献１に記載されている。図１に非特許文献１で実現できるシステム構成図を、図２と図３に、非特許文献１で提案されているＭＲＡ（Multi-Root Aware）　ＰＣＩエクスプレススイッチの構成を示す。ＭＲＡ　ＰＣＩエクスプレススイッチを利用したシステムでは、図１に示す、スイッチに接続されるいずれかのＣＰＵ上にスイッチの構成状態を管理するマルチルートＰＣＩマネジャーソフトウェア　ＭＲ－ＰＣＩＭ　５２が必要となる。
　また、複数のルートコンプレックスからのアクセスに対応するＩ／Ｏデバイス　ＭＲエンドポイント５０５、ＭＲエンドポイント５０６が接続可能であり、マルチルートＰＣＩマネージャからＭＲＡ　ＰＣＩエクスプレススイッチに設定を行う事で、複数のルートコンプレックスの接続並びに、複数のルートコンプレックスからＭＲエンドポイントデバイスへアクセスが可能になる。以下にＭＲＡ　ＰＣＩエクスプレススイッチの構成並びにシステム動作概要について示す。図１ではＭＲＡ　ＰＣＩエクスプレススイッチ２個を用いたシステム構成を示している。図２と図３にＭＲＡ　ＰＣＩエクスプレススイッチ５１１、５１２の内部構成を示す。
　ＭＲＡ　ＰＣＩエクスプレススイッチ５１１は、複数のルートコンプレックス並びに、ＭＲエンドポイントを収容するために、従来のＰＣＩエクスプレススイッチとは異なるＰＣＩ－ＰＣＩブリッジ５１１１、５１１２、５１２２、５１１３、５１１４、５１１５、ブリッジ間のスイッチ処理を行う仮想ＰＣＩエクスプレススイッチ５１１６、５１１７、５１１８、５１１９、またＭＲ－ＰＣＩＭ５２から設定制御されるＭＲＡコントローラ論理５１２０並びにその設定情報が格納される設定レジスタ５１２１で構成される。
　接続ポート数を拡張するためのもう一つ、ＭＲＡ　ＰＣＩエクスプレススイッチ５１２も同様に、従来のＰＣＩエクスプレススイッチとは異なるＰＣＩ－ＰＣＩブリッジ５１２３、５１２４、５１３３、ブリッジ間のスイッチ処理を行う仮想ＰＣＩエクスプレススイッチ５１２６、５１２７、５１２９、またＭＲ－ＰＣＩＭ５２から設定制御されるＭＲＡコントローラ論理５１２０並びにその設定情報が格納される設定レジスタ５１３１で構成される。
　ＭＲＡ　ＰＣＩエクスプレススイッチでは、複数のルートコンプレックスに対して、各々に従来のＰＣＩエクスプレス同様のツリーを構成するために、ルートコンプレックス単位に、どの仮想ＰＣＩエクスプレススイッチを利用するか、ＰＣＩ－ＰＣＩブリッジを複数で使うためのＶＨ（Virtual Hierarchy）番号の割当てを行う必要がある。仮想ＰＣＩエクスプレススイッチ毎にスイッチ処理が行われるため、他の仮想ＰＣＩエクスプレススイッチと干渉することはない。
　また、ＭＲ対応のＰＣＩ－ＰＣＩブリッジでは、ＶＨ番号を割振り、１つのリンクに複数のＰＣＩ－ＰＣＩブリッジが接続されている事を考慮する。異なるＶＨ番号では、クレジット制御やコンフィグレーション情報の分離等が行われ、１つポート上での複数のＰＣＩ－ＰＣＩブリッジ利用番号を示す。
　これらの設定は、ＭＲ－ＰＣＩＭが、ＭＲＡコントローラ論理の制御情報である設定レジスタに対して行うことで、割当が行われる。図４と図５にＭＲＡ　ＰＣＩエクスプレススイッチ５１１、５１２の設定レジスタ５１２１、５１３１の構成例を示す。この構成では、ＭＲ－ＰＣＩＭはＣＰＵ１０１、ルートコンプレックス１０２が接続されているＰｏｒｔ：１に接続されている。ＭＲＡ　ＰＣＩエクスプレススイッチでは、ＭＲ－ＰＣＩＭからの設定のためＭＲ　ＰＣＩ－ＰＣＩブリッジで、ＶＨ０の番号の経路が利用される。
　設定レジスタの設定情報に関して以下に説明する。設定レジスタは、仮想ＰＣＩエクスプレススイッチ番号に対して、その仮想ＰＣＩエクスプレススイッチを構成するための情報、スイッチポート利用番号、利用ＶＨ番号、上流ＰＣＩ－ＰＣＩブリッジか下流ＰＣＩ－ＰＣＩブリッジかのＵＰ／Ｄｏｗｎ：ＤＮ情報がポート数分格納される。設定レジスタ５１２１では、仮想ＰＣＩエクスプレススイッチ１　５１１６は、スイッチ番号１で、ポート１で、ＶＨ番号：ＶＨ０：上流ＰＣＩ－ＰＣＩブリッジ：ＵＰと、Ｐｏｒｔ３はＶＨ０でＤＮ、Ｐｏｒｔ４は、ＶＨ番号無し：Ｎ／Ａ（通常のＰＣＩｅポートの扱い）、Ｐｏｒｔ６はＶＨ０のＤＮで構成されている事を示している。つまり、本設定情報によって、ルートコンプレックス１０２からは、ＭＲ対応上流ＰＣＩ－ＰＣＩブリッジ５１１１、仮想ＰＣＩエクスプレススイッチ１　５１１６、ＭＲ対応下流ＰＣＩ－ＰＣＩブリッジ５１１３、ＭＲエンドポイント５０５、下流ＰＣＩ－ＰＣＩブリッジ５１１４、エンドポイント１０６、ＭＲ対応下流ＰＣＩ－ＰＣＩブリッジ５１２２までアクセスできるようになる。
　ＭＲ対応上流・下流ＰＣＩ－ＰＣＩブリッジ５１２２の先へのアクセスは、ＭＲＡ　ＰＣＩエクスプレススイッチ５１２の設定レジスタ５１３１の設定によって、アクセスできるようになる。設定レジスタ５１３１では、仮想ＰＣＩエクスプレススイッチ２　５１２７に対して、Ｐｏｒｔ２／ＶＨ０／ＤＮとＰｏｒｔ３／ＶＨ０／ＵＰとなっている。従って、ＭＲ対応上流・下流ＰＣＩ－ＰＣＩブリッジ５１２２の先は、ＭＲ対応上流・下流ＰＣＩ－ＰＣＩブリッジ５１２４、仮想ＰＣＩエクスプレススイッチ２　５１２７、ＭＲ対応下流ＰＣＩ－ＰＣＩブリッジ５１３３、ＭＲエンドポイント５０６までが、ルートコンプレックス１０２からアクセスできる。
　同様に、設定レジスタ５１２１の仮想ＰＣＩエクスプレススイッチ２　５１１７、仮想ＰＣＩエクスプレススイッチ３　５１１８、設定レジスタ５１３１の仮想ＰＣＩエクスプレススイッチ１　５１２６についても図４、５に示すとおり設定される。これらの設定によって、ＣＰＵ１０１に対して、図６に示すＰＣＩツリーがＩ／Ｏデバイスに対して組まれ、ＣＰＵ１０１１に対して、図７に示すＰＣＩツリーが組まれる。
Multi-Root I/O Virtualization and Sharing Specification Revision 0.9, PCI-SIG, November 7, 2007, pp. 30
　なお、上記非特許文献の全開示内容はその引用をもって本書に繰込み記載する。以下の分析は、本発明によって与えられたものである。
　本発明による分析によれば、上述した従来のＭＲＡ　ＰＣＩエクスプレススイッチを用いたシステムにおいては、以下に述べるような問題点がある。
　すなわち、ＭＲＡ　ＰＣＩエクスプレススイッチでは、ＭＲ－ＰＣＩＭがスイッチの接続状態と論理的な接続状態を考慮して、設定レジスタを設定しない限り、ＰＣＩツリーが構成されないため、ルートコンプレックスはＭＲ－ＰＣＩＭの処理が完了するまで、起動できない。そのため、システムの規模に応じて、ルートコンプレックスのシステム起動に非常に時間がかかり、システムの運用性を著しく、低下させることである。
　上記課題について、図面を引用して説明する。図８にＭＲ－ＰＣＩＭ　５２のシーケンスを示す。ＭＲ－ＰＣＩＭは起動後、まずどのような種類のスイッチが何個つながっているか、そのスイッチはリンクを何本もっているかを把握する（ステップＳ１）。これはスイッチのレジスタを参照するだけで把握することが可能である。
　次に、スイッチがどのようなトポロジで接続されているか、物理的な接続状況を把握する必要がある（ステップＳ２）。この作業はトポロジ状態がループになっているかどうか等を考慮しながら探索していくためきぼやトポロジの構成によっては探索に時間がかかる。次にトポロジの先に、Ｉ／Ｏが接続されているか確認し、接続されている場合は、Ｉ／Ｏの種類を把握する（ステップＳ３）。この作業も同様にＩ／Ｏの数によって、時間がかかる。その後、ユーザが要望する設定、すなわち、図４、図５に示すテーブル情報の設定（ステップＳ４）が完了した後、ようやくルートコンプレックスへスイッチの利用を許可し（ステップＳ５）、ＣＰＵ１０１ならびにＣＰＵ１０１１は起動できるようになる。
　図８に示したＭＲ－ＰＣＩＭの動作により、ＣＰＵ１０１、ＣＰＵ１０１１のルートコンプレックスの起動シーケンスは、図９のようになる。システムの規模や構成によって、非常に時間が掛かる、ＭＲ－ＰＣＩＭが接続状況を把握している間（ステップＳ１１）、ＭＲ－ＰＣＩＭがＩ／Ｏの種別を把握している間（ステップＳ１２）は、ルートコンプレックスはずっと待つ事になる。その後のＭＲ－ＰＣＩＭのツリー設定が完了し（ステップＳ１３）、ＭＲ－ＰＣＩＭから利用許可が出た時点（ステップＳ１４）から、ようやくルートコンプレックスにリセットが掛かり、ＢＩＯＳを起動することができるようになる（ステップＳ１５）。
　ＢＩＯＳ起動中に、ＭＲ－ＰＣＩＭで設定されたＰＣＩツリー情報を認識し（ステップＳ１６）、図１０に示すＰＣＩツリーを構成する各ＰＣＩ－ＰＣＩブリッジの中にあるコンフィグレーションレジスタ１５０２を一つずつ設定していく。コンフィグレーションレジスタは、バス番号下限値１８００１、バス番号上限値１８００２、３２ビットＩ／Ｏアドレス下限値１８００３、３２ビットＩ／Ｏアドレス上限値１８００４、３２ビットメモリ下限値１８００５、３２ビットメモリ上限値１８００６、６４ビットメモリ下限値１８００７、６４ビットメモリ上限値１８００８で構成され、データ転送時、パケット転送ロジック１８００９がテーブル情報を参照し、ルーティング時の情報に使用される。
　バス番号設定が完了すると、その情報をＯＳに引継ぎ、次はＯＳの起動に移り（ステップＳ１７）、ＯＳ起動中は設定されたＰＣＩツリー上に存在するＩ／Ｏ用のドライバやコンフィグレーションが行われ、ようやくＯＳの起動が完了し、ソフトウェアが利用できるようになる（ステップＳ１８）。
　このように、ＭＲＡ　ＰＣＩエクスプレススイッチを利用する全てのルートコンプレックスは、ソフトウェア利用まで、ＭＲ－ＰＣＩＭの起動シーケンスにより待たされ、さらにその後、ＢＩＯＳ起動並びに、ＯＳ起動にまたされる時間が発生し、システムの起動に時間が非常にかかり、システムの運用性を著しく低下させる。また、システム規模に応じて、ＭＲ－ＰＣＩＭがルートコンプレックスに対して、起動許可を与えるタイミングが異なるため、システムのリセット、電源管理が複雑になる。
　本発明の目的は、複数のルートコンプレックステムを収容するＭＲＡ　ＰＣＩエクスプレススイッチにおいて、システムの規模によらず、ルートコンプレックスを待たせることなく起動できるマルチルートＰＣＩエクスプレススイッチを提供し、システムの運用性を向上させることにある。
　本発明の第１の側面に係るマルチルートＰＣＩエクスプレススイッチは、複数のルートコンプレックスに対して接続可能なマルチルートＰＣＩエクスプレススイッチにおいて、スイッチの接続先のトポロジ、物理的な接続状況に基づいてＰＣＩツリーの設定に必要な情報を格納する設定レジスタと、前記設定レジスタの状態によらず仮想的なＰＣＩツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、を備える。
　また、本発明の第２の側面に係るマルチルートＰＣＩエクスプレススイッチの起動方法は、複数のルートコンプレックスに接続されるマルチルートＰＣＩエクスプレススイッチの起動方法であって、システム起動時にシステムを構成するスイッチの数及びスイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、前記設定された情報に基づいてＢＩＯＳシステムを起動し仮想的なＰＣＩツリーを構築するステップと、前記接続先のトポロジを確認して接続状況を確認した後前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換えるステップと、を有する。
　本発明の第３の側面に係るマルチルートＰＣＩマネージャプログラムは、複数のルートコンプレックスに接続されるマルチルートＰＣＩエクスプレススイッチをコンピュータに管理させるマルチルートＰＣＩマネージャプログラムであって、システム起動時に前記マルチルートＰＣＩエクスプレススイッチを構成するスイッチの数及びスイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーの構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、前記設定した情報に基づいて前記ルートコンプレックスに前記マルチルートＰＣＩエクスプレススイッチの使用許可を与えるステップと、前記マルチルートＰＣＩエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のＰＣＩツリー構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、を有する。
　本発明によれば、マルチルート対応ＰＣＩエクスプレススイッチにおいて、システム起動時に、接続先のトポロジや物理的な接続状況を把握できるまで待つことなくルートコンプレックスを起動することができ、システム起動時間の短縮化を実現することができる。その理由は、接続先のトポロジや物理的な接続状況が把握できる前に仮想的なＰＣＩツリーを構築し、それに基づいてルートコンプレックスが起動できるようにしたためである。
　また、本発明によれば、マルチルート対応ＰＣＩエクスプレススイッチにおいて、システムの規模によらず、一定のタイミングで、ルートコンプレックスを起動することができ、ルートコンプレックスに対してのリセット、電源管理制御を簡略化できる。その理由は、接続先のトポロジや物理的な接続状況が把握できる前に仮想的なＰＣＩツリーを構築し、それに基づいてルートコンプレックスが起動できるようにしたためである。
ＭＲＡ　ＰＣＩエクスプレススイッチを使用したコンピュータシステムである。 ＭＲＡ　ＰＣＩエクスプレススイッチの内部構成である。 ＭＲＡ　ＰＣＩエクスプレススイッチの内部構成である。 ＭＲＡ　ＰＣＩエクスプレススイッチの設定レジスタの構成例である。 ＭＲＡ　ＰＣＩエクスプレススイッチの設定レジスタの構成例である。 ＭＲＡ　ＰＣＩエクスプレススイッチにおけるＣＰＵから見えるＰＣＩツリーである。 ＭＲＡ　ＰＣＩエクスプレススイッチにおけるＣＰＵから見えるＰＣＩツリーである。 ＭＲ－ＰＣＩＭの動作シーケンスにおける課題を説明する図である。 ルートコンプレックスの動作シーケンスにおける課題を説明する図である。 ＰＣＩ－ＰＣＩブリッジの構成を示す図である。 本発明によるＭＲＡ拡張ＰＣＩエクスレススイッチ使用したコンピュータシステムの一例である。 本発明の一実施形態によるＭＲＡ拡張ＰＣＩエクスプレススイッチの内部構成図である。 本発明の一実施形態によるＭＲＡ拡張ＰＣＩエクスプレススイッチの内部構成図である。 本発明の一実施形態によるＭＲＡ拡張ＰＣＩエクスプレススイッチの多段仮想スイッチブリッジ制御部の構成図である。 本発明の一実施形態によるＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報の構成例を示す図である。 本発明の一実施形態によるＭＲＡ拡張ＰＣＩエクスプレススイッチのＭＲ－ＰＣＩＭの動作シーケンスを示す図である。 本発明の一実施形態によるＭＲＡ拡張ＰＣＩエクスプレススイッチに接続されるルートコンプレックスの動作シーケンスを示す図である。 本発明の一実施形態による多段仮想スイッチブリッジ制御部におけるＣＰＵから見えるＰＣＩツリーの例を示す図である。 本発明の一実施形態による設定反映後ＰＣＩツリー上で削除される箇所の例を示す図である。
　本発明において次の好ましい形態が可能である。
［形態1］
　第１の側面に記載のとおりのマルチルートＰＣＩエクスプレススイッチが好ましい。
［形態２］
　マルチルートＰＣＩエクスプレススイッチにおいて、前記複数のルートコンプレックスに対して接続可能なマルチルート対応ＰＣＩ-ＰＣＩブリッジと、前記複数のルートコンプレックスに対応して設けられ、前記マルチルート対応ＰＣＩ－ＰＣＩブリッジを含む複数のブリッジ間の接続を行う仮想ＰＣＩエクスプレススイッチと、をさらに備えることが好ましい。
［形態３］
　マルチルートＰＣＩエクスプレススイッチにおいて、前記仮想スイッチブリッジ制御部は、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて設定されるＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタを備えることが好ましい。
［形態４］
　マルチルートＰＣＩエクスプレススイッチにおいて、データ転送時に必要なアドレス情報が格納された実コンフィグレーションレジスタをさらに備え、前記仮想スイッチブリッジ制御部が、前記設定レジスタの設定に基づいて、前記ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタと前記実コンフィグレーションレジスタとの同期制御を行う仮想レジスタ同期制御部をさらに備えることが好ましい。
［形態５］
　マルチルートＰＣＩエクスプレススイッチにおいて、前記仮想スイッチブリッジ制御部が、前記マルチルートＰＣＩエクスプレスの設定状態に応じて、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーと整合させるためのホットプラグイベントを発行するホットプラグイベント発行部をさらに備えることが好ましい。
［形態６］
　第２の側面に記載のとおりのマルチルートＰＣＩエクスプレススイッチの起動方法であることが好ましい。
［形態７］
　マルチルートＰＣＩエクスプレススイッチの起動方法において、前記マルチルートＰＣＩエクスプレススイッチが、前記仮想的なＰＣＩツリーの情報を保持し、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換えさせる仮想スイッチブリッジ制御部を備えているマルチルートＰＣＩエクスプレススイッチの起動方法であることが好ましい。
［形態８］
　マルチルートＰＣＩエクスプレススイッチの起動方法において、ホストコンピュータのマルチルートＰＣＩマネージャプログラムが、前記システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定する処理を行い、前記ルートコンプレックスが、ＢＩＯＳシステムを起動し、前記仮想的なＰＣＩツリーを構築し、前記マルチルートＰＣＩマネージャプログラムが、前記接続先のトポロジを確認して接続状況を確認した後、実構成のＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定し、前記ルートコンプレックスが、前記実構成のＰＣＩツリーを構築するために設定された情報に基づいて、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換えるマルチルートＰＣＩエクスプレススイッチの起動方法であることが好ましい。
［形態９］
　マルチルートＰＣＩエクスプレススイッチの起動方法において、前記マルチルートＰＣＩマネージャプログラムは、前記マルチルートＰＣＩエクスプレススイッチ内のレジスタを参照することにより、前記システムを構成するスイッチの数、及び、スイッチのリンク数を把握して仮想的なＰＣＩツリーを構築するために必要な情報を設定し、前記ホストコンピュータが接続されるルートコンプレックスに対してＶＨ（Virtual Hierarchy）番号を固定で割り当てて、前記ホストコンピュータが接続されるルートコンプレックスに対してスイッチの利用許可を与え、前記利用許可に応答して、前記利用許可を受けたルートコンプレックスが前記ＢＩＯＳシステムを起動し、仮想的なＰＣＩツリーを構築し、前記マルチルートＰＣＩマネージャプログラムは、前記ルートコンプレックスの処理と並行して前記接続先のトポロジを確認して物理的な接続状況を把握し、Ｉ／Ｏが接続されているか否か確認し、接続されている場合はＩ／Ｏの種類を把握する処理を行うマルチルートＰＣＩエクスプレススイッチの起動方法であることが好ましい。
［形態１０］
　マルチルートＰＣＩエクスプレススイッチの起動方法において、前記マルチルートＰＣＩマネージャプログラムは、前記物理的な接続状況の把握、Ｉ／Ｏの種別の把握に、前記マルチルートＰＣＩエクスプレススイッチが、その設定に応答してホットプラグイベントを発行して、前記ルートコンプレックスに前記仮想的なＰＣＩツリーと実構成のＰＣＩツリーとの整合を行わせるマルチルートＰＣＩエクスプレススイッチの起動方法であることが好ましい。
［形態１１］
　マルチルートＰＣＩマネージャプログラムとしては、第３の側面に記載のとおりとすることが好ましい。
［形態１２］
　マルチルートＰＣＩマネージャプログラムを記録したコンピュータが読み取り可能な記憶媒体としては、上記形態１１のマルチルートＰＣＩマネージャプログラムを記録したコンピュータが読み取り可能な記憶媒体であることが好ましい。
　次に、本発明の実施の形態について図面を参照して詳細に説明する。図１１に本発明を用いたＭＲＡ拡張ＰＣＩエクスプレスシステムの構成図を示す。本発明のＭＲＡ　ＰＣＩエクスプレスシステムでは、ＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１に、従来のＭＲＡ　ＰＣＩエクスプレススイッチで構成されるシステムにおいても使用されるＣＰＵ１０１、ＣＰＵ１０８、ルートコンプレックス１０２、メモリ１０３、ルートコンプレックス１０９、メモリ１１０、ＭＲエンドポイント５０５、エンドポイント１０６、エンドポイント１０７が接続され、ＭＲＡ拡張　ＰＣＩエクスプレススイッチ９５１１に接続される。またＭＲＡ拡張　ＰＣＩエクスプレススイッチ９５１２には、ＣＰＵ１０１１、ルートコンプレックス１０２１、メモリ１０３１、ＭＲエンドポイント５０６が接続される。接続できるルートコンプレックス並びにエンドポントは従来のＰＣＩエクスプレス対応のデバイスならびに、非特許文献１で規定されるＭＲエンドポイントであり、図１と同様にデバイス間で通信を行うことができる。
　本実施形態では図１に示した、従来のＭＲＡ　ＰＣＩエクスプレススイッチでの構成と同様の構成で、システム起動時間の短縮を実現する場合、ＭＲＡ拡張　ＰＣＩエクスプレススイッチにおいて、どのような構成、どのような設定で実現されるかを、ＭＲＡ拡張　ＰＣＩエクスプレススイッチの内部構成並びに動作、設定状態について説明する。
　ＭＲＡ拡張ＰＣＩエクスプレススイッチの内部構成の詳細について以下に示す。ＭＲＡ拡張ＰＣＩエクスプレススイッチでは、ＭＲＡ　ＰＣＩエクスプレスでも使用される、上流・下流・ＭＲ対応下流ＰＣＩ－ＰＣＩブリッジ、ＭＲＡコントローラ論理、設定レジスタを用い、加えて、ルートコンプレックスに対して、多段の仮想的なスイッチを構成する上流・下流ＰＣＩ－ＰＣＩブリッジ並びに、仮想的なＩ／ＯとしてＰＣＩ－ＰＣＩブリッジを見せる、多段仮想スイッチブリッジ制御部が付与される。
　図１２に、ＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１、図１３にＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１２の構成を示す。ＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１、９５１２は、従来のＭＲＡ　ＰＣＩエクスプレススイッチ５１１、５１２に加えて、多段仮想スイッチブリッジ制御部８１が付与された形で構成される。
　ＭＲ対応ＰＣＩ－ＰＣＩブリッジにおいては、ＭＲＡ　ＰＣＩエクスプレススイッチと同様ＶＨの割当が行われる。また、ＭＲ－ＰＣＩＭからの設定もＶＨ０のポート並びに、ＭＲＡコントローラ論理を介して、設定レジスタの設定が行われることで、利用する仮想ＰＣＩエクスプレススイッチ並びにそのポート、ＶＨ番号、上流か下流が決定され、ルートコンプレックスに対して、ＰＣＩエクスプレスのツリーの構築が行われ、エンドポイントへのアクセスが可能になる。従って、ＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１、９５１２内でのルートコンプレックス、エンドポイント間のデータ転送を行う処理は、従来のＭＲＡ　ＰＣＩエクスプレススイッチと同様に行われる。
　ＭＲＡ拡張ＰＣＩエクスプレススイッチの特徴は、多段仮想スイッチブリッジ制御部が、ルートコンプレックスに対して、多段の仮想的なスイッチ並びにブリッジをみせる所にある。図１２に示すＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１では、ルートコンプレックス１０２とルートコンプレックス１０９に対して、ＭＲ対応上流ＰＣＩ－ＰＣＩブリッジ５１１１並びに、上流ＰＣＩ－ＰＣＩブリッジ５１１２の先に、多段の仮想的なスイッチとブリッジを構成する。同様に、図１３に示すＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１２では、ルートコンプレックス１０２１に対して、上流ＰＣＩ－ＰＣＩブリッジ５１２３の先に、仮想的なスイッチとブリッジを構成する。
　図１４に、多段仮想スイッチブリッジ制御部８１の内部構成の詳細を示す。多段仮想スイッチブリッジ制御部８１は、コンフィグレーション送受制御部８２１、多段仮想スイッチ仮想ブリッジ制御部８２２、ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報８２４、仮想レジスタ同期制御８２５、ホットプラグイベント発行部８２３で構成される。
　以下に、多段仮想スイッチブリッジ制御部８１の機能について示す。多段仮想スイッチブリッジ制御部８１は、まずシステム起動時ＭＲ－ＰＣＩＭから、システムは何段のスイッチで構成されているか、またそのスイッチのリンク数はいくつであるかの設定情報を、ＭＲ－ＰＣＩ仮想スイッチ、ブリッジ段数設定８１２として、多段仮想スイッチ仮想ブリッジ制御部８２２に対して設定される。段数並びにリンク数が設定されると、多段仮想スイッチ仮想ブリッジ制御部８２２は、ルートコンプレックスからみて、仮想的な上流・下流ＰＣＩ－ＰＣＩブリッジ並びにＰＣＩブリッジが存在しているように見せるため、ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報８２４を複数構成する。ルートコンプレックスに対して、起動許可がおり、ＢＩＯＳが起動し、ＰＣＩツリーサーチのプログラムが走る。その後、ＭＲＡ拡張ＰＣＩエクスプレススイッチに対して、コンフィグレーションアクセスが発生し、上流ＰＣＩ－ＰＣＩブリッジを経由して、ブリッジコンフィグレーションパケット８１３として受信する。受信情報は、ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報８２４にアクセスが発生する。
　ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報８２４の詳細構成を、図１５に示す。本レジスタは、図１０に示した、実ＰＣＩ－ＰＣＩブリッジが保持するコンフィグレーションレジスタ１５０２と同様の構成をとり、本レジスタにより、コンフィグレーションを行うルートコンプレックスに対して、仮想的なＰＣＩ－ＰＣＩブリッジ並びにＰＣＩブリッジが存在しているように、ルートコンプレックスに見せることが可能になる。
　また、多段仮想スイッチブリッジ制御部８１は、ＭＲＡ拡張ＰＣＩエクスプレススイッチの設定レジスタを参照することで、実際のスイッチへのコンフィグレーション状態を把握、実ＰＣＩ－ＰＣＩブリッジが利用可能になった際には、仮想レジスタ同期制御８２５は、実ＰＣＩ－ＰＣＩブリッジに相当する仮想ＰＣＩ－ＰＣＩブリッジと、スイッチ内部実コンフィグレーションレジスタ８１４に対して、レジスタの情報のコピー並びにミラーリングを行うことで、同期制御を行う。実ＰＣＩ－ＰＣＩブリッジが有効になった時点で、ルートコンプレックスに見せていた仮想ＰＣＩ－ＰＣＩブリッジを実際のＰＣＩ－ＰＣＩブリッジ並びにＩ／Ｏへ置き換えるために、ホットプラグイベント発行部８２３は、仮想ＰＣＩ－ＰＣＩブリッジのＨｏｔ－Ｒｅｍｏｖｅ（切離し）並びに、実ＰＣＩ－ＰＣＩブリッジのＨｏｔ－Ａｄｄ（付与）のホットプラグイベントを発行し、仮想的な状態から、実際に利用している状態との整合を行う。
　次に、上述した、多段仮想スイッチブリッジ制御部を搭載したＭＲＡ拡張ＰＣＩエクスプレスにおけるＭＲ－ＰＣＩＭの動作シーケンス並びに、ルートコンプレックスの起動シーケンスを説明し、どのようにシステム起動時間が短縮されるかを説明する。
　図１６にＭＲＡ拡張ＰＣＩエクスプレススイッチ９５１１、９５１２を管理するＭＲ－ＰＣＩＭ９５２の動作シーケンスを示す。ＭＲ－ＰＣＩＭ９５２は、起動後、まずどのような種類のスイッチが何個をつながっているか、そのスイッチはリンクを何本もっているかを把握する（ステップＳ２１）。これはスイッチのレジスタを参照するだけで把握することが可能である。次に、多段仮想スイッチブリッジ制御部８１へ接続するためのパスを開くために、ルートコンプレックスが接続されているポートのＶＨの番号を初期値として固定で割り当てる（ステップＳ２２）。ルートコンプレックスが接続されているリンクは共有されないので、ＶＨの番号は任意の固定の番号を設定しても問題ない。その後、ＭＲ－ＰＣＩＭはルートコンプレックスにスイッチ利用を許可する（ステップＳ２３）。スイッチ段数とリンク数の確認、初期値の設定は、システム規模によらず、単なるレジスタのリード、ライト１コマンドで終了するため、ルートコンプレックスがスイッチ利用の許可を受けるまでの時間は常に一定で、非常に短い。利用許可後、従来のＭＲ－ＰＣＩＭと同様に、スイッチがどのようなトポロジで接続されているかの物理的な接続状況を把握（ステップＳ２４）、トポロジの先に繋がるＩ／Ｏの確認と種別把握の処理が行われ（ステップＳ２５）、ユーザが要望する設定、すなわち、図４、図５に示すテーブル情報の設定が行われる（ステップＳ２６）。
　図１７に、上述したＭＲ－ＰＣＩＭ９５２の動作に対してのルートコンプレックスの動作シーケンスを示す。ＣＰＵ１０１、ＣＰＵ１０１１のルートコンプレックスは、システム起動後、すぐにスイッチの利用許可をＭＲ－ＰＣＩＭから指示を受け（ステップＳ３１）、ＢＩＯＳシステムの起動を行う（ステップＳ３２）。すなわち、システムの規模や構成によらず、一定時間後すぐに、ＭＲ－ＰＣＩＭ起動後ルートコンプレックスに対して起動許可が発行され、ルートコンプレックスは、ほとんど待つ事なく、リセットが掛かり、ＢＩＯＳを起動することができるようになる。ＢＩＯＳ起動中は、ルートコンプレックスが接続されているポートの先の上流ＰＣＩ－ＰＣＩブリッジの先は、まだ設定レジスタによる設定がされていないため、仮想ＰＣＩエクスプレススイッチは利用されず、多段仮想スイッチブリッジ制御部が提供する多段仮想スイッチブリッジを認識して起動することになる。多段仮想スイッチブリッジは、ＭＲ－ＰＣＩＭ起動直後、仮想スイッチの段数、リンク数の情報を受けているので、仮想的なスイッチブリッジが既に構成されている。
　図１８にルートコンプレックス１０２から見た、起動直後の仮想スイッチ、ブリッジ構成されるＰＣＩツリーを示す。図１１に示す構成においては、スイッチは２段、各スイッチのリンク数は６と３であるので、仮想スイッチは２段（Ｎ＝２）で構成されており、１段目の仮想スイッチのリンク数は６（Ｍ１＝６）、２段目の仮想スイッチのリンク数は３（Ｍ２＝３）で構成され、末端のリンクには仮想ブリッジが構成される。ＢＩＯＳはこの仮想スイッチブリッジで構成されたＰＣＩツリーを認識し、仮想スイッチブリッジに対し、コンフィグレーションを行い、次にＯＳ起動に入る。
　ルートコンプレックスがＭＲ－ＰＣＩＭからの指示で立ち上がっている間、ＭＲ－ＰＣＩＭ９５２は、図１６に示したように、従来と同様に時間がかかる物理的な接続状況の把握ならびに、Ｉ／Ｏ種別の把握に関する処理を、ルートコンプレックスの処理として時間がかかる、ＢＩＯＳ起動やＯＳ起動と平行して行うことで、システム起動時間の短縮を図る。
　また、物理的な接続状況の把握ならびに、Ｉ／Ｏ種別の把握に関する処理が完了するとツリーの設定として、スイッチの設定レジスタの読み込みが行われＶＨ番号はＶＳ番号の設定がされ、実際のＰＣＩ－ＰＣＩブリッジが使用可能になる。前述したとおり、図１４に示す仮想レジスタ同期制御８２５並びにホットプラグイベント発行部８２３は実際のＰＣＩ－ＰＣＩブリッジが利用になると、情報の同期と、構成変更のためにホットプラグ処理を行い、実際のシステム運用と同じ状態になるように整合する。すなわち、図１７のステップＳ３６～Ｓ３９に示すように、ＭＲ－ＰＣＩＭが、物理的な接続状況を把握し（ステップＳ３６）、Ｉ／Ｏの種別を把握し（ステップＳ３７）、ユーザが要望するツリー設定に必要な情報を設定レジスタ（９５１２１、９５１３１）に設定する（ステップＳ３８）。さらに、ホットプラグイベントによって、仮想的なＰＣＩツリーが、実構成のＰＣＩツリーと一致するように再構成される（ステップＳ３９）。
　図１９はＰＣＩツリー上で削除される箇所を示している。網線部分は、ＶＨ／ＶＳの設定により、ＰＣＩツリーとして不要であることが解った部分である。この箇所はホットプラグイベント発行部８２３により、Ｈｏｔ－Ｒｅｍｏｖｅ（切離し）処理が行われ、実構成として同じＰＣＩツリー状態になるように構成される。また、仮想ＰＣＩ－ＰＣＩブリッジ並びに仮想ブリッジは、実ＰＣＩ－ＰＣＩブリッジ並びに実Ｉ／Ｏに、Ｈｏｔ－Ｒｅｍｏｖｅ（切離し）、Ｈｏｔ－Ａｄｄ（追加）で、ＰＣＩツリーの状態を保ったまま、変更され、図６に示した構成と同じ構成になる。
　以上のように、従来のＭＲＡ　ＰＣＩエクスプレススイッチで問題となっていた、物理的な接続状況の把握ならびに、Ｉ／Ｏ種別の把握で時間が掛っていた箇所は、ルートコンプレックスがＢＩＯＳ起動中、ＯＳ起動中の時間を有効活用して行われるため、システムの起動時間が短縮され、また、従来システムと同様のＰＣＩツリーでユーザはソフトウェアを利用する事ができる。
　以上、説明したように、本発明の一実施形態のマルチルートＰＣＩエクスプレススイッチは、例えば図１２、１３に示すように、複数のルートコンプレックス（１０２、１０９、１０２１）に対して接続可能なマルチルートＰＣＩエクスプレススイッチ（９５１１、９５１２）において、スイッチの接続先のトポロジ、物理的な接続状況に基づいてＰＣＩツリーの設定に必要な情報を格納する設定レジスタ（９５１２１、９５１３１）と、設定レジスタの状態によらず仮想的なＰＣＩツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部８１と、を備えている。
　上記マルチルートＰＣＩエクスプレススイッチによれば、仮想的なＰＣＩツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部８１を備えているので、設定レジスタの設定前でも、接続先のトポロジや物理的な接続状況を把握できるまで待つことなくルートコンプレックスを起動することができる。また、システムの規模によらず、ルートコンプレックスを起動するまでの時間を一定にすることができる。
　さらに、本発明の一実施形態のマルチルートＰＣＩエクスプレススイッチは、例えば図１２、１３に示すように、複数のルートコンプレックスに対して接続可能なマルチルート対応ＰＣＩ-ＰＣＩブリッジ（５１１３、５１３３）と、複数のルートコンプレックス（１０２、１０９、１０２１）に対応して設けられマルチルート対応ＰＣＩ－ＰＣＩブリッジ（５１１３、５１３３）を含む複数のブリッジ（５１１１、５１１２、５１２２、５１１３、５１１４、５１１５、５１２３、５１２４、５１３３）間の接続を行う仮想ＰＣＩエクスプレススイッチ（５１１６、５１１７、５１１８、５１１９、５１２６、５１２７、５１２９）と、をさらに備えたものであってもよい。
　また、本発明の一実施形態のマルチルートＰＣＩエクスプレススイッチの起動方法は、例えば、図１６、１７に示すように、複数のルートコンプレックス（図１１の１０２、１０９、１０２１）に接続されるマルチルートＰＣＩエクスプレススイッチ（図１１の９５１１、９５１２）の起動方法であって、システム起動時にシステムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップ（Ｓ２１、Ｓ２２）と、設定された情報に基づいてＢＩＯＳシステムを起動し仮想的なＰＣＩツリーを構築するステップ（Ｓ３３）と、接続先のトポロジを確認して接続状況を確認した後、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換えるステップ（Ｓ３６～Ｓ３９）と、を有する。
　上記起動方法によれば、システム起動時に、仮想的にＰＣＩツリーを構築する（図１８参照）ので、短時間でＢＩＯＳシステムを起動することができる。また、仮想的に構築したＰＣＩツリー（図１８）は、接続先のトポロジや接続状況を確認した後、実構成のＰＣＩツリーに置き換えられる（図１９参照）ので、矛盾が生じることもない。
　さらに、本発明の一実施形態のマルチルートＰＣＩマネージャプログラムは、図１６に示すように、複数のルートコンプレックス（図１１の１０２、１０９、１０２１）に接続されるマルチルートＰＣＩエクスプレススイッチ（図１１の９５１１、９５１２）をコンピュータ（図１１の１０１）に管理させるマルチルートＰＣＩマネージャプログラムであって、システム起動時にマルチルートＰＣＩエクスプレススイッチ（９５１１、９５１２）を構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリー（例えば図１８）の構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチ（図１１の９５１１、９５１２）に設定するステップ（Ｓ２１、Ｓ２２）と、設定した情報に基づいてルートコンプレックス（１０２、１０９、１０２１）にマルチルートＰＣＩエクスプレススイッチの使用許可を与えるステップ（Ｓ２３）と、マルチルートＰＣＩエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のＰＣＩツリー構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップ（Ｓ２４～Ｓ２６）と、を有する。
　上記マルチルートＰＣＩマネージャプログラムは、ＣＤＲＯＭ、ＤＶＤ、フレキシブルディスク、ＲＯＭ、フラッシュメモリ、ＲＡＭ、ハードディスクなどの記憶媒体を介してコンピュータにインストール可能である。また、コンピュータは、上記記憶媒体に格納されたマルチルートＰＣＩマネージャプログラムを実行することができる。
　上記マルチルートＰＣＩマネージャによれば、システム起動時に、スイッチのレジスタを参照するだけで把握できるスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報をマルチルートＰＣＩエクスプレススイッチに設定し、それに基づいて、ルートコンプレックスにマルチルートＰＣＩエクスプレススイッチの使用許可を与える。したがって、ルートコンプレックスは、システムの規模に依存せず、早期に起動することができる。仮想的なＰＣＩツリー構築のために設定した情報は、スイッチの接続先のトポロジ、物理的な接続状況を確認できた後、実構成のＰＣＩツリー構築に必要な情報を設定しているので、ホットプラグ処理等により、仮想的なＰＣＩツリーを実構成のＰＣＩツリーに更新できるので、矛盾が生じることもない。
　本発明によれば、複数のルートコンプレックスを収容するＭＲＡ　ＰＣＩエクスプレススイッチにおいて、ＭＲ－ＰＣＩＭは物理構成、論理構成について把握している時間を待つ事なく、ルートコンプレックスを即時起動することを可能とし、システム起動時間の短縮化を実現できる。その理由は、ＭＲＡ　ＰＣＩエクスプレススイッチの構成に加え、多段の仮想的なスイッチ並びに仮想的なブリッジをルートコンプレックスに見せる仮想スイッチブリッジ制御部を持ち、ルートコンプレックスのシステム起動時は、最初、多段の仮想的なスイッチ並びにブリッジを利用させることで、ＭＲ－ＰＣＩＭは即時ルートコンプレックスの起動を許可できるようにしたためである。
　また、本発明によれば、ＭＲＡ　ＰＣＩエクスプレスシステムにおいて、システムの規模によらず、一定のタイミングで、ＭＲ－ＰＣＩＭがルートコンプレックスに対して、起動直後、即時、起動許可を与えることができるため、ルートコンプレックスに対してのリセット、電源管理制御を簡略化できる。その理由は、マルチルートＰＣＩエクスプレススイッチの構成に加え、多段の仮想的なスイッチ並びに仮想的なブリッジをルートコンプレックスに見せる仮想スイッチブリッジ制御部を持ち、ルートコンプレックスのシステム起動時は、最初、多段の仮想的なスイッチ並びにブリッジを利用させることで、ＭＲ－ＰＣＩＭは即時ルートコンプレックスの起動を許可できるようにしたためである。
　以上、本発明を実施例に即して説明したが、本発明は上記実施例の構成にのみ制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
　本発明の活用例として、本実施例では有線で接続されたコンピュータシステム並びにネットワークシステムを説明したが、有線または無線に関わらず、ＰＣＩエクスプレスインターフェースを搭載しているシステム環境全てに活用可能である。
１０１，１０８，１０１１　ＣＰＵ
１０２，１０９，１０２１　ルートコンプレックス
１０３，１１０，１０３１　メモリ
１０４　ＰＣＩエクスプレススイッチ
１０５，１０６，１０７　エンドポイント
５０５，５０６　ＭＲエンドポイント
５２，９５２　ＭＲ－ＰＣＩＭ
５１１，５１２　ＭＲＡ　ＰＣＩエクスプレススイッチ
５１１１　ＭＲ対応上流ＰＣＩ－ＰＣＩブリッジ
５１２２，５１２４　ＭＲ対応上流・下流ＰＣＩ－ＰＣＩブリッジ
５１１６，５１１７，５１１８，５１１９，５１２６，５１２７，５１２９　仮想ＰＣＩエクスプレススイッチ
５１１３，５１３３　ＭＲ対応下流ＰＣＩ－ＰＣＩブリッジ
５１１４，５１１５　下流ＰＣＩ－ＰＣＩブリッジ
５１２０　ＭＲＡコントローラ論理
５１２１，５１３１　設定レジスタ
５１１２，５１２３　上流ＰＣＩ－ＰＣＩブリッジ
１５０２　コンフィグレーションレジスタ
１８００１　バス番号下限値
１８００２　バス番号上限値
１８００３　３２ビットＩ／Ｏアドレス下限値
１８００４　３２ビットＩ／Ｏアドレス上限値
１８００５　３２ビットメモリ下限値
１８００６　３２ビットメモリ上限値
１８００７　６４ビットメモリ下限値
１８００８　６４ビットメモリ上限値
１８００９　パケット転送ロジック
９５１１，９５１２　ＭＲＡ拡張ＰＣＩエクスプレススイッチ
８１　多段仮想スイッチブリッジ制御部
８２１　コンフィグレーション送受制御部
８２２　多段仮想スイッチ仮想ブリッジ制御部
８２３　ホットプラグイベント発行部
８２４　ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタ情報
８２５　仮想レジスタ同期制御

Claims (11)

  1. 　複数のルートコンプレックスに対して接続可能なマルチルートＰＣＩエクスプレススイッチにおいて、
    　スイッチの接続先のトポロジ、物理的な接続状況に基づいてＰＣＩツリーの設定に必要な情報を格納する設定レジスタと、
    　前記設定レジスタの状態によらず、仮想的なＰＣＩツリーを構築するために必要な情報を格納する仮想スイッチブリッジ制御部と、
    を備えたマルチルートＰＣＩエクスプレススイッチ。
  2. 　前記複数のルートコンプレックスに対して接続可能なマルチルート対応ＰＣＩ-ＰＣＩブリッジと、
    　前記複数のルートコンプレックスに対応して設けられ、前記マルチルート対応ＰＣＩ－ＰＣＩブリッジを含む複数のブリッジ間の接続を行う仮想ＰＣＩエクスプレススイッチと、
    をさらに備えた請求項１記載のマルチルートＰＣＩエクスプレススイッチ。
  3. 　前記仮想スイッチブリッジ制御部は、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて設定されるＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタを備えた請求項１又は２記載のマルチルートＰＣＩエクスプレススイッチ。
  4. 　データ転送時に必要なアドレス情報が格納された実コンフィグレーションレジスタをさらに備え、
    　前記仮想スイッチブリッジ制御部が、前記設定レジスタの設定に基づいて、前記ＰＣＩスイッチブリッジ仮想コンフィグレーションレジスタと前記実コンフィグレーションレジスタとの同期制御を行う仮想レジスタ同期制御部をさらに備えた請求項１乃至３いずれか１項記載のマルチルートＰＣＩエクスプレススイッチ。
  5. 　前記仮想スイッチブリッジ制御部が、前記マルチルートＰＣＩエクスプレスの設定状態に応じて、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーと整合させるためのホットプラグイベントを発行するホットプラグイベント発行部をさらに備えた請求項１乃至４いずれか１項記載のマルチルートＰＣＩエクスプレススイッチ。
  6. 　複数のルートコンプレックスに接続されるマルチルートＰＣＩエクスプレススイッチの起動方法であって、
    　システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、
    　前記設定された情報に基づいて、ＢＩＯＳシステムを起動し、仮想的なＰＣＩツリーを構築するステップと、
    　前記接続先のトポロジを確認して接続状況を確認した後、前記仮想的なＰＣＩツリーを
    実構成のＰＣＩツリーに置き換えるステップと、
    を有するマルチルートＰＣＩエクスプレススイッチの起動方法。
  7. 　前記マルチルートＰＣＩエクスプレススイッチが、前記仮想的なＰＣＩツリーの情報を保持し、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換えさせる仮想スイッチブリッジ制御部を備えている請求項６記載のマルチルートＰＣＩエクスプレススイッチの起動方法。
  8. 　ホストコンピュータのマルチルートＰＣＩマネージャプログラムが、前記システム起動時に、システムを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定する処理を行い、
    　前記ルートコンプレックスが、ＢＩＯＳシステムを起動し、前記仮想的なＰＣＩツリーを構築し、
    　前記マルチルートＰＣＩマネージャプログラムが、前記接続先のトポロジを確認して接続状況を確認した後、実構成のＰＣＩツリーを構築するために必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定し、
    　前記ルートコンプレックスが、前記実構成のＰＣＩツリーを構築するために設定された情報に基づいて、前記仮想的なＰＣＩツリーを実構成のＰＣＩツリーに置き換える
    請求項６又は７記載のマルチルートＰＣＩエクスプレススイッチの起動方法。
  9. 　前記マルチルートＰＣＩマネージャプログラムは、前記マルチルートＰＣＩエクスプレススイッチ内のレジスタを参照することにより、前記システムを構成するスイッチの数、及び、スイッチのリンク数を把握して仮想的なＰＣＩツリーを構築するために必要な情報を設定し、前記ホストコンピュータが接続されるルートコンプレックスに対してＶＨ（Virtual Hierarchy）番号を固定で割り当てて、前記ホストコンピュータが接続されるルートコンプレックスに対してスイッチの利用許可を与え、
    　前記利用許可に応答して、前記利用許可を受けたルートコンプレックスが前記ＢＩＯＳシステムを起動し、仮想的なＰＣＩツリーを構築し、
    　前記マルチルートＰＣＩマネージャプログラムは、前記ルートコンプレックスの処理と並行して前記接続先のトポロジを確認して物理的な接続状況を把握し、Ｉ／Ｏが接続されているか否か確認し、接続されている場合はＩ／Ｏの種類を把握する処理を行う請求項８記載のマルチルートＰＣＩエクスプレススイッチの起動方法。
  10. 　前記マルチルートＰＣＩマネージャプログラムは、前記物理的な接続状況の把握、Ｉ／Ｏの種別の把握に、
    　前記マルチルートＰＣＩエクスプレススイッチが、その設定に応答してホットプラグイベントを発行して、前記ルートコンプレックスに前記仮想的なＰＣＩツリーと実構成のＰＣＩツリーとの整合を行わせる請求項９記載のマルチルートＰＣＩエクスプレススイッチの起動方法。
  11. 　複数のルートコンプレックスに接続されるマルチルートＰＣＩエクスプレススイッチをコンピュータに管理させるマルチルートＰＣＩマネージャプログラムであって、
    　システム起動時に、前記マルチルートＰＣＩエクスプレススイッチを構成するスイッチの数、及び、スイッチのリンク数の情報に基づいて仮想的なＰＣＩツリーの構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、
    　前記設定した情報に基づいて、前記ルートコンプレックスに前記マルチルートＰＣＩエクスプレススイッチの使用許可を与えるステップと、
    　前記マルチルートＰＣＩエクスプレススイッチの接続先のトポロジ、物理的な接続状況を確認して実構成のＰＣＩツリー構築に必要な情報を前記マルチルートＰＣＩエクスプレススイッチに設定するステップと、を有するマルチルートＰＣＩマネージャプログラム。
PCT/JP2009/067758 2008-10-15 2009-10-14 マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム WO2010044409A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/060,980 US8719483B2 (en) 2008-10-15 2009-10-14 Multi-root PCI express switch, boot method thereof, and multi-root PCI manager program
JP2010533906A JP5440507B2 (ja) 2008-10-15 2009-10-14 マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-266444 2008-10-15
JP2008266444 2008-10-15

Publications (1)

Publication Number Publication Date
WO2010044409A1 true WO2010044409A1 (ja) 2010-04-22

Family

ID=42106572

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/067758 WO2010044409A1 (ja) 2008-10-15 2009-10-14 マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム

Country Status (3)

Country Link
US (1) US8719483B2 (ja)
JP (1) JP5440507B2 (ja)
WO (1) WO2010044409A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100211717A1 (en) * 2009-02-19 2010-08-19 Hitachi, Ltd. Computer system, method of managing pci switch, and management server
US20100312943A1 (en) * 2009-06-04 2010-12-09 Hitachi, Ltd. Computer system managing i/o path and port
JP2011514590A (ja) * 2008-02-26 2011-05-06 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ホスト列挙プロセスを実行するための方法及び装置
WO2012073304A1 (ja) * 2010-11-29 2012-06-07 株式会社日立製作所 計算機システム、それに使用されるスイッチ及びパケット転送制御方法
JPWO2013175570A1 (ja) * 2012-05-22 2016-01-12 富士通株式会社 情報処理装置、制御方法、及び制御プログラム
CN109408454A (zh) * 2018-11-01 2019-03-01 郑州云海信息技术有限公司 一种芯片管理的方法以及相关装置
US10437473B2 (en) * 2016-05-27 2019-10-08 Huawei Technologies Co., Ltd. Storage system and method for scanning for devices

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8554973B2 (en) * 2010-04-23 2013-10-08 Hitachi, Ltd. Storage device and method for managing size of storage device
US8949499B2 (en) * 2010-06-24 2015-02-03 International Business Machines Corporation Using a PCI standard hot plug controller to modify the hierarchy of a distributed switch
WO2012023149A2 (en) * 2010-08-19 2012-02-23 Ineda Systems Pvt. Ltd Multi-root input output virtualization aware switch
WO2012023152A2 (en) * 2010-08-19 2012-02-23 Ineda Systems Pvt. Ltd Multi-processor electronic systems
CN102819517A (zh) * 2011-06-08 2012-12-12 鸿富锦精密工业（深圳）有限公司 Pcie接口卡
US8843688B2 (en) 2012-09-11 2014-09-23 International Business Machines Corporation Concurrent repair of PCIE switch units in a tightly-coupled, multi-switch, multi-adapter, multi-host distributed system
US9262363B2 (en) 2012-11-30 2016-02-16 Ciena Corporation PCI and PCI express virtual hot plug systems and methods
KR102007368B1 (ko) * 2012-12-17 2019-08-05 한국전자통신연구원 Ｐｃｉ 익스프레스 스위치 및 이를 이용한 컴퓨터 시스템
US9436630B2 (en) * 2013-06-11 2016-09-06 Western Digital Technologies, Inc. Using dual phys to support multiple PCIe link widths
US20150254082A1 (en) * 2014-03-10 2015-09-10 Plx Technology, Inc. Remote booting over pci express using synthetic remote boot capability
US9779050B2 (en) 2015-04-27 2017-10-03 Red Hat Israel, Ltd. Allocating virtual resources to root PCI bus
US10572426B2 (en) * 2015-06-02 2020-02-25 Nxp Usa, Inc. System-level redundancy in PCI express equipment
EP3341837A4 (en) 2016-05-31 2019-05-22 Avago Technologies International Sales Pte. Limited IMPLEMENTATION OF HOT PLUG HARDWARE AND SOFTWARE
US10133699B2 (en) 2016-08-05 2018-11-20 Red Hat Israel, Ltd. Hot-plug of devices in virtualized computer systems
KR102669219B1 (ko) * 2016-08-16 2024-05-28 삼성전자주식회사 종단 장치로부터 제공되는 부트 업 명령어에 기초하여 부팅 동작을 수행하도록 구성되는 전자 장치
WO2019036217A1 (en) 2017-08-18 2019-02-21 Missing Link Electronics, Inc. HETEROGENEOUS TRANSPORT BASED ON PACKETS
US11356388B2 (en) 2017-08-18 2022-06-07 Missing Link Electronics, Inc. Real-time multi-protocol heterogeneous packet-based transport
US10853299B2 (en) * 2017-09-15 2020-12-01 Dell Products L.P. Hot-plugged PCIe device configuration system
CN108804230B (zh) * 2018-06-11 2020-05-26 苏州浪潮智能科技有限公司 一种根据pci设备的类型分配资源的方法、装置及介质
CN111651515B (zh) * 2020-08-10 2020-10-27 成都智明达电子股份有限公司 可对外供电的高速数据卸载设备及其使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265598A (ja) * 2000-03-15 2001-09-28 Matsushita Electric Ind Co Ltd 情報処理装置
JP2008046722A (ja) * 2006-08-11 2008-02-28 Nec Corp Ｉ／ｏ装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4501916B2 (ja) * 2006-09-20 2010-07-14 日本電気株式会社 Ｉ／ｏ機器の共有システムと情報処理装置共有システム及びそれらに用いる方法
US8271604B2 (en) 2006-12-19 2012-09-18 International Business Machines Corporation Initializing shared memories for sharing endpoints across a plurality of root complexes
US7813366B2 (en) * 2006-12-19 2010-10-12 International Business Machines Corporation Migration of a virtual endpoint from one virtual plane to another
US7657663B2 (en) * 2006-12-19 2010-02-02 International Business Machines Corporation Migrating stateless virtual functions from one virtual plane to another
US7979592B1 (en) * 2007-02-09 2011-07-12 Emulex Design And Manufacturing Corporation Virtualization bridge device
JP2011516964A (ja) 2008-04-01 2011-05-26 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． Ｐｃｉデバイス用ｐｃｉメモリ空間の確保
US8359415B2 (en) * 2008-05-05 2013-01-22 International Business Machines Corporation Multi-root I/O virtualization using separate management facilities of multiple logical partitions
US8625615B2 (en) * 2008-05-16 2014-01-07 Nec Corporation PCI express switch, PCI express system, and network control method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001265598A (ja) * 2000-03-15 2001-09-28 Matsushita Electric Ind Co Ltd 情報処理装置
JP2008046722A (ja) * 2006-08-11 2008-02-28 Nec Corp Ｉ／ｏ装置及び方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011514590A (ja) * 2008-02-26 2011-05-06 ヒューレット−パッカード デベロップメント カンパニー エル．ピー． ホスト列挙プロセスを実行するための方法及び装置
US8533381B2 (en) * 2009-02-19 2013-09-10 Hitachi, Ltd. Computer system, method of managing PCI switch, and management server
US20100211717A1 (en) * 2009-02-19 2010-08-19 Hitachi, Ltd. Computer system, method of managing pci switch, and management server
US20100312943A1 (en) * 2009-06-04 2010-12-09 Hitachi, Ltd. Computer system managing i/o path and port
US8407391B2 (en) * 2009-06-04 2013-03-26 Hitachi, Ltd. Computer system managing I/O path and port
JP5399570B2 (ja) * 2010-11-29 2014-01-29 株式会社日立製作所 計算機システム、それに使用されるスイッチ及びパケット転送制御方法
WO2012073304A1 (ja) * 2010-11-29 2012-06-07 株式会社日立製作所 計算機システム、それに使用されるスイッチ及びパケット転送制御方法
US9396150B2 (en) 2010-11-29 2016-07-19 Hitachi, Ltd. Computer system and method utilizing a PCIe switch to control transfer of packets
JPWO2013175570A1 (ja) * 2012-05-22 2016-01-12 富士通株式会社 情報処理装置、制御方法、及び制御プログラム
US9703590B2 (en) 2012-05-22 2017-07-11 Fujitsu Limited Information processing apparatus including bridges that connect virtual machines and physical devices, and control method thereof
US10437473B2 (en) * 2016-05-27 2019-10-08 Huawei Technologies Co., Ltd. Storage system and method for scanning for devices
CN109408454A (zh) * 2018-11-01 2019-03-01 郑州云海信息技术有限公司 一种芯片管理的方法以及相关装置
CN109408454B (zh) * 2018-11-01 2021-10-22 郑州云海信息技术有限公司 一种芯片管理的方法以及相关装置

Also Published As

Publication number Publication date
US20110185163A1 (en) 2011-07-28
JPWO2010044409A1 (ja) 2012-03-15
JP5440507B2 (ja) 2014-03-12
US8719483B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
JP5440507B2 (ja) マルチルートｐｃｉエクスプレススイッチ、その起動方法、及び、マルチルートｐｃｉマネージャプログラム
EP2927812B1 (en) Method and apparatus for extending pcie bus domain
KR101324844B1 (ko) 기능 변환 시스템 및 방법과 변환 수행 시스템
JP5598148B2 (ja) スイッチング装置、情報処理装置、及びスイッチング装置の制御方法
US7822908B2 (en) Discovery of a bridge device in a SAS communication system
JP5763873B2 (ja) データ処理システムの複数のルート複合体間の通信のために共用メモリを初期設定するための方法、コンピュータ・プログラム、およびデータ処理システム
JP2019145153A (ja) スイッチングデバイス、ペリフェラル・コンポーネント・インターコネクト・エクスプレスシステムおよびその初期化方法
JP4799222B2 (ja) 情報処理装置、情報処理システムおよび初期化方法
KR102007368B1 (ko) Ｐｃｉ 익스프레스 스위치 및 이를 이용한 컴퓨터 시스템
US11995019B2 (en) PCIe device with changeable function types and operating method thereof
US11983136B2 (en) PCIe device and operating method thereof
US11928070B2 (en) PCIe device
US8775712B2 (en) Bus connecting device for connecting host with external device
JP2011113163A (ja) Ｉｏアクセス通信システムにおけるエンドポイント間通信制御装置および方法
US20230318606A1 (en) Interface device and method of operating the same
JP2001027920A (ja) バスブリッジ回路及びそのパワーマネージメント方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09820587

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13060980

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2010533906

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09820587

Country of ref document: EP

Kind code of ref document: A1