WO2012008008A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2012008008A1
WO2012008008A1 PCT/JP2010/061785 JP2010061785W WO2012008008A1 WO 2012008008 A1 WO2012008008 A1 WO 2012008008A1 JP 2010061785 W JP2010061785 W JP 2010061785W WO 2012008008 A1 WO2012008008 A1 WO 2012008008A1
Authority
WO
WIPO (PCT)
Prior art keywords
directory
node
processing unit
cpu
information
Prior art date
Application number
PCT/JP2010/061785
Other languages
English (en)
French (fr)
Inventor
細川由佳
畑井田誠
秋保晋
伊藤大介
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2012524351A priority Critical patent/JP5435132B2/ja
Priority to PCT/JP2010/061785 priority patent/WO2012008008A1/ja
Publication of WO2012008008A1 publication Critical patent/WO2012008008A1/ja
Priority to US13/738,433 priority patent/US20130132678A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/084—Multiuser, multiprocessor or multiprocessing cache systems with a shared cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G06F12/0831—Cache consistency protocols using a bus scheme, e.g. with bus monitoring or watching means

Definitions

  • the present invention relates to an information processing system.
  • An information processing system in which multiple nodes are connected to each other is effective for speeding up parallel computing.
  • a parallel computer having a distributed shared memory can execute high-speed parallel computation.
  • Each node of the information processing system includes an arithmetic processing unit (hereinafter referred to as a CPU (Central Processing Unit)), a cache memory (Cache Memory), and the like.
  • the information processing system uses the cache memory of each node as a distributed shared memory.
  • Consistency control is control that maintains cache coherence.
  • Snoop Cache is effective for a mechanism for maintaining cache coherence.
  • the other node In the snoop cache, when the CPU of one node has written data held in its own cache memory, the other node receives the write through the shared bus and updates the data in the cache memory of the other node.
  • the directory system is used as a hardware mechanism for maintaining cache coherence. In the directory system, information indicating in which CPU the same data is cached is held in the cache, and the cache line is invalidated and updated.
  • FIG. 11 and 12 are configuration diagrams of a conventional directory.
  • FIG. 11 shows an entry format in which the format type 101 of the directory 100 is A-type (bit “1”).
  • the entry format of the directory 100 includes an entry format type column 101, a reserve bit column 102, a status (Status) column 103, a CPU-ID (1) column 104, and a CPU-ID ( 2) column 105.
  • the status column 103 indicates a data holding state of an exclusive state (Exclusive), an invalid state (Invalid), and one or two CPUs and a shared state (Shared).
  • the exclusive state indicates that the requester CPU is under exclusive control (for example, the state after update after reading).
  • the invalid state indicates that no CPU holds data.
  • the shared state indicates that a plurality of CPUs are sharing data.
  • the CPU-ID columns 104 and 105 store the requested CPU-ID (identifier: Identification).
  • FIG. 12 shows an entry format whose format type 106 is B-type (bit “1”).
  • the status column 107 indicates an exclusive state (Exclusive), an invalid state (Invalid), and a shared state (Shared) with a plurality of CPUs.
  • the board (node) ID bitmap field 108 stores the requested board (node) of the CPU (node) in the bitmap format.
  • the directory 100 is searched with the requested address, and the data holding state (Status) is determined. If the requested address data is held in a shared state (hereinafter referred to as S state) by searching the directory, a snoop is transmitted to the CPU holding the data, and the corresponding data is invalidated ( To I state). If the requested data is held in an exclusive state, a snoop is transmitted to the CPU holding the data, and the corresponding data is set to an invalid state (I: Invalid state).
  • the directory 100 is searched with the requested address, and the data holding state is determined.
  • a snoop for changing the data state (status) is transmitted to the CPU holding the data. If the corresponding data is held in a shared state (S state), a snoop is transmitted to the CPU holding the data, and the requester's CPU-ID is registered in the directory.
  • A-Type (Format type bit is “1”) is set in the directory format column of FIG.
  • the format type A-Type is an entry format for storing an identifier (ID) of the CPU. In the example of FIG. 11, up to two CPU-IDs can be stored.
  • B-Type (Format type bit is “0”) is set in the directory format column of FIG.
  • the format type B-Type is a type that holds the CPU-ID as a bitmap. In this example, up to 12 nodes or CPUs can be identified.
  • the amount of information that a directory can hold is physically limited.
  • S state shared state
  • the entry size of the directory mechanism is limited, so that detailed information that can identify the CPU of the snoop destination can be stored. Can not.
  • the number of target CPUs can be increased by changing the information to be held to hardware higher than the CPU. That is, the CPU is held only with an ID for each unit (for example, a board ID that is a system board unit). For example, when information is held in units of system boards, the CPU in the system board cannot be identified.
  • An object of the present invention is to provide an information processing system that reduces the number of snoop transmissions and reduces the amount of communication between CPUs even if the number of CPUs increases, minimizing an increase in directory capacity. .
  • the disclosed information processing system includes a plurality of nodes, each of the nodes including at least one arithmetic processing unit, and a cache memory for storing data used by the arithmetic processing unit,
  • a directory storing status information indicating whether or not the data stored in the cache memory is held in the cache memory of another node and information for identifying the other node
  • a node controller that communicates snoops to another node, the node controller including status information indicating whether the data stored in the cache memory is held in the cache memory of the other node and the other node
  • a first directory for storing information for identifying a node, and data stored in the cache memory
  • a second directory which stores information for identifying the shared node of the data is a shared state held in the cache memory of the other nodes.
  • FIG. 6 is a data request processing flowchart in the S state of the embodiment of FIGS. 1 to 5;
  • FIG. 7 is a data request processing flowchart in the S state of the comparative example with respect to FIG. 6.
  • FIG. 6 is a data request processing flowchart in the E state of the embodiment of FIGS. 1 to 5;
  • FIG. 9 is a data request processing flowchart in the E state of the comparative example with respect to FIG. 8.
  • It is a block diagram of the information processing system of 2nd Embodiment. It is explanatory drawing of the conventional directory. It is explanatory drawing of the directory in the conventional S state.
  • FIG. 1 is a block diagram of an information processing system according to an embodiment.
  • FIG. 2 is a block diagram of the CPU of FIG.
  • FIG. 3 is a block diagram of the node controller of FIG.
  • FIG. 1 shows an example of an information processing system in which a plurality of system boards are connected as an information processing system. In this example, one system board is managed as one node.
  • the information processing system has a large number (here, n> 3) of system boards 1-1 to 1-n.
  • Each of the system boards 1-1 to 1-n includes a plurality of (in this example, two) arithmetic processing units (hereinafter referred to as CPU: Central Processing Unit) 3A and 3B, and a memory 4A connected to each of the CPUs 3A and 3B. , 4B and a node controller 2 connected to each of the CPUs 3A, 3B.
  • the memories 4A and 4B constitute, for example, L2 and L3 cache memories.
  • the memories 4A and 4B for example, DIMM (Dual Inline Memory Module) can be used. However, it may be composed of another volatile memory or the like.
  • the CPU 3A includes two CPU cores (Core) 30A and 30B, two cache memories (L1 cache memory) 32A and 32B connected to the CPU cores 30A and 30B, a memory 4A and a CPU.
  • a memory controller 34 that connects the cores 30A and 30B and controls memory access is provided.
  • the CPU 3B in FIG. 1 has the same configuration.
  • the node controller 2 communicates between the system boards 1-1 to 1-N.
  • the node controller 2 of the first system board 1-1 is connected to the node controller 2 of the second system board 1-2 via the first communication path 14-1.
  • the node controller 2 of the second system board 1-2 is connected to the node controller 2 of the third system board via the second communication path 14-2.
  • the node controller 2 of the (n-1) th system board is connected to the node controller 2 of the (n-1) th system board 1-n via the (n-1) th communication path 14-m.
  • These communication paths 14-1 to 14-m constitute a common bus.
  • the communication paths 14-1 to 14-m may be formed by shared paths instead of the separated paths in FIG.
  • the system controller 10 is connected to each of the system boards 1-1 to 1-n via the management bus 12.
  • the system controller 10 performs state setting, state monitoring, and the like of circuits (CPU, memory, etc.) in each of the system boards 1-1 to 1-n.
  • a separate main memory may be provided and connected to each node.
  • the node controller 2 includes an external node interface circuit 20 that communicates with a node controller of another system board via a communication path 14-1, and a CPU interface circuit that communicates with a memory controller 34 of the CPU 3A (3B). 26, a directory 22, a second directory 24, and a processing unit 28.
  • the processing unit 28 is connected to the external node interface circuit 20, the CPU interface circuit 20, the directory 22, and the second directory 24.
  • the processing unit 28 searches the directory 22 and the second directory 24 in response to read / write requests from the CPU 3A (and 3B) and other nodes, and performs snoop transmission and the like.
  • the directory 22 is used by the node controller 2 to manage data.
  • the directory 22 stores management information indicating which node holds the same data as the data state in the address space of the cache memory 4A of the own node.
  • FIG. 4 is an explanatory diagram of the directory shown in FIGS.
  • the directory 22 has an entry for each memory address of the L2 and L3 cache memories of its own node.
  • the access unit of the CPU is 64 bits
  • the number of entries is the result of dividing the capacity of the L2 and L3 cache memories 4A and 4B of the own node by 64 bits.
  • the example of FIG. 4 shows an example in which entries of format type A and entries of format type B are mixed.
  • the reserved bit column 22-2 is a spare bit of 1 bit.
  • the status column 22-3 is composed of 2 bits.
  • the exclusive state (E state) is "10”
  • the invalid state (I state) is "00”
  • the shared state (S state) with one CPU is "01”
  • the two CPUs The sharing state is indicated by “11”.
  • the E state indicates that the requested CPU (referred to as a requester CPU) is under exclusive control.
  • the I state indicates that no CPU holds data.
  • the S state indicates that a plurality of CPUs share data.
  • the CPU-ID (1) column 22-4 and the CPU-ID (2) column 22-5 of format type A each store the CPU-ID of the CPU (requester) that issued the request.
  • the CPU-ID columns 22-4 and 22-5 are each composed of 6 bits.
  • the CPU-ID columns 22-4 and 22-5 store a 4-bit board (system board) ID and a 2-bit local ID (CPU-ID in the board). Therefore, in this example, it is possible to specify up to 16 nodes and up to 4 CPUs in the node.
  • the board ID bitmap field 22-7 is composed of 12 bits, and stores the board ID of the requested CPU (referred to as a requester) in a bitmap format. In this example, up to 12 nodes can be specified. However, the CPU in the node cannot be specified. That is, detailed information for each CPU cannot be stored.
  • FIG. 5 is an explanatory diagram of the second directory in FIG.
  • a second directory (hereinafter referred to as an extension directory) 24 is a directory used when detailed information cannot be stored in the directory 22.
  • the shared state when a certain number or more of CPUs holding data in the shared state (S state) occur (in this example, there are three or more CPUs), the shared state is different from the directory 22 of FIG.
  • This is a dedicated directory for storing detailed information for specifying a CPU holding data in (S state).
  • the extended directory 24 may be an n-way RAM (Random access memory) or a full-associative CAM.
  • the extended directory 24 has a valid bit field 24-1, a memory address field 24-2, a reserved bit field 24-3, and a CPU-ID bitmap field 24-4. One bit is assigned to the valid bit column 24-1.
  • the extended directory 24 is not provided for each memory address, but only stores detailed information of the CPU holding data in a shared state (S state). Therefore, a memory address 24-2 column is provided in the extended directory 24.
  • the memory address column 24-2 stores the upper 25 bits excluding the cache line and the index among the memory addresses of the shared data.
  • the reserved bit column 24-3 is a spare bit.
  • the CPU-ID bitmap field 24-4 is composed of 48 bits. Each bit in the bitmap field 24-4 identifies one CPU. In this example, 48 CPUs can be specified. In this example, the entry width of the extended directory 24 is 80 bits.
  • each entry in the directory 22 is 2 bytes, and thus the required memory capacity of the directory 22 is 32 GB.
  • the required memory capacity of the directory 22 is 32 GB.
  • the entry width of the directory 22 must be expanded to 6 bytes or more (more precisely, 6.5 bytes). Therefore, expanding the directory 22 to identify more CPUs requires at least 96 GB.
  • the extended directory 24 holds data when three or more CPUs share it. Therefore, the shared data in the directory 22 may be targeted. In the information processing system, the probability of being in a shared state is lower than the probability of being in an invalid state and an exclusive state. For this reason, the extended directory 24 may be any number from a few KBytes to a maximum of 1 MByte. That is, the performance equivalent to that of the 96 GB directory 22 can be provided by the directory 22 of 32 GB and the extended directory 24 of 1 MB maximum.
  • FIG. 6 is a data request processing flowchart in the S state of the embodiment.
  • FIG. 6 shows a directory search processing flow diagram of the node controller 2 when a data request (read request) is made in the S (shared) state from the CPU 3A (or 3B) in the configuration described with reference to FIGS.
  • the CPU 3A (or 3B) issues a read request in the S state to the node controller 2.
  • the processing unit 28 receives a read request via the CPU interface circuit 26.
  • the processing unit 28 searches the directory 22 of the node controller 2 based on the read address included in the read request.
  • the processing unit 28 refers to the status column 22-3 of the entry of the directory 22 by the read address, and identifies information in the status column 22-3. If the status column 22-3 is in an invalid state (I state), no CPU has the requested data. That is, no CPU is requesting the data of the read address. If the status is determined to be invalid, the processing unit 28 proceeds to step S16.
  • I state an invalid state
  • the processing unit 28 of the node controller 2 registers in the directory 22 the CPU-ID and status (S state) of the CPU that issued the request (herein called the requester).
  • step S20 If the status is determined as the E state, the processing unit 28 snoops to the CPU having the CPU-ID registered in the CPU-ID fields 22-4 and 22-5 of the directory 22 via the external node interface circuit 20. Send. In the snoop transmission, the CPU of the registered CPU-ID is requested to change the data state. In step S 16, the processing unit 28 registers the CPU-ID of the CPU that issued the request in the directory 22.
  • the processing unit 28 determines whether the CPU-ID can be registered in the directory 22. As described above, the entry of the A-Type directory 22 can register only two CPU-IDs. The processing unit 28 determines that the CPU-ID can be registered when the detailed information can be stored in the directory 22 (format A-Type in FIG. 4) and only one CPU-ID is registered. To do. If the processing unit 28 determines that the CPU-ID can be registered, the processing unit 28 proceeds to step S 16, and the processing unit 28 registers the requester's CPU-ID in the directory 22.
  • the processing unit 28 If it is determined that the CPU-ID cannot be registered, the processing unit 28 cannot store the detailed information in the directory 22. That is, two CPU-IDs are already stored in the A-Type entry of the directory 22 or the entry format is already B-Type. If it is determined that the CPU-ID cannot be registered, the processing unit 28 determines whether there is a free space in the extended directory 24.
  • the processing unit 28 determines that the extended directory 24 has a free space, the processing unit 28 registers the requester's CPU-ID in the extended directory 24 in the bitmap format. The processing unit 28 registers the board ID of the requester CPU in the B-Type entry of the directory 22 in the bitmap format. In this case, when the entry of the directory 22 needs to be changed from A-Type to B-Type, the processing unit 28 changes the format type 22-1 and status 22-3 of the directory 22 to B-Type, shared state. Update to
  • processing unit 28 determines that there is no free space in the extended directory 24, it registers the board ID of the requester CPU in the B-Type entry of the directory 22 in a bitmap format.
  • FIG. 7 is a data request processing flowchart of the comparative example of FIG.
  • FIG. 7 shows a directory search processing flow diagram of the node controller 2 when a data request (read request) is made in the S (shared) state from the CPU 3A (or 3B) when the extended directory 24 is not provided.
  • the CPU 3A (or 3B) issues a read request in the S state to the node controller 2 (S100).
  • the processing unit 28 of the node controller 2 receives a read request via the CPU interface circuit 26.
  • the processing unit 28 searches the directory 22 of the node controller 2 based on the read address included in the read request.
  • the processing unit 28 refers to the status column 22-3 of the entry in the directory 22 by the read address, and identifies information in the status column 22-3. If the status is determined to be the I state, the processing unit 28 proceeds to step S103 (S102).
  • the processing unit 28 of the node controller 2 registers the CPU-ID and status (S state) of the CPU that issued the request in the directory 22 (S103). As a result of referring to the status column 22-3 of the directory 22, the processing unit 28 determines whether the status of the requested data is E state. If the status is determined as the E state, the processing unit 28 transmits a snoop to the CPU having the CPU-ID registered in the CPU-ID fields 22-4 and 22-5 of the directory 22 via the external node interface circuit 20. (S104). In step S103, the processing unit 28 registers the CPU-ID of the CPU that issued the request in the directory 22.
  • the processing unit 28 determines whether the status of the requested data is the S state as a result of referring to the status column 22-3 of the directory 22 (S105). If the status is determined to be the S state, the processing unit 28 determines whether the CPU-ID can be registered in the directory 22. If the processing unit 28 determines that the CPU-ID can be registered, the processing unit 28 proceeds to step S103, and the processing unit 28 registers the requester's CPU-ID in the directory 22. If the processing unit 28 determines that the CPU-ID cannot be registered, the processing unit 28 registers the CPU-ID of the requester in the B-Type entry of the directory 22 in the bitmap format. In this case, when the entry of the directory 22 needs to be changed from A-Type to B-Type, the processing unit 28 changes the format type 22-1 and status 22-3 of the directory 22 to B-Type, shared state. (S106).
  • the extended directory 24 having a format different from that of the directory 22 is provided exclusively for the S state. Since the requester CPU-ID is registered in the extended directory 24 in the bitmap format, even if the number of CPUs mounted in the information processing system increases, the increase in the directory capacity is minimized, and the S-state CPU is Can be recognized.
  • FIG. 8 is a data request processing flowchart in the E state of the embodiment.
  • FIG. 8 shows a directory search processing flow diagram of the node controller 2 when a data request (read request) is made in the E (exclusive) state from the CPU 3A (or 3B) in the configuration described with reference to FIGS.
  • the processing unit 28 receives a read request via the CPU interface circuit 26.
  • the processing unit 28 searches the directory 22 of the node controller 2 based on the read address included in the read request.
  • the processing unit 28 refers to the status column 22-3 of the entry in the directory 22 by the read address, and identifies information in the status column 22-3. If the status column 22-3 is in the I state, no CPU has the requested data. That is, no CPU is requesting the data of the read address. If the status is determined as the I state, the processing unit 28 proceeds to step S46.
  • the processing unit 28 of the node controller 2 registers the CPU-ID and status (E state) of the CPU that issued the request in the directory 22.
  • step S50 If the status is determined as the E state, the processing unit 28 snoops to the CPU having the CPU-ID registered in the CPU-ID fields 22-4 and 22-5 of the directory 22 via the external node interface circuit 20. Send. In the snoop transmission, the CPU of the registered CPU-ID is requested to change the data state. In step S46, the processing unit 28 registers the CPU-ID of the CPU that issued the request in the directory 22.
  • the processing unit 28 determines whether the number of registered CPU-IDs in the directory 22 is two or less. As described above, the entry of the A-Type directory 22 can register only two CPU-IDs. When the processing unit 28 determines that the number of registered CPU-IDs is two or less, the processing unit 28 passes through the external node interface circuit 20 and the CPU-ID fields 22-4 and 22-5 of the directory 22 The snoop is transmitted to the CPU having the CPU-ID registered in. In step S46, the processing unit 28 updates the directory 22. That is, when one CPU-ID is registered in the directory 22, the processing unit 28 registers the requester's CPU-ID.
  • the entry in the directory 22 is changed from A-Type to B-Type. That is, the processing unit 28 sets the format type field 22-1 of the directory 22 to the board ID on which the CPU of the CPU-ID already registered in the B-Type, board ID bitmap field 22-7 and the CPU to be registered this time. Register the board ID on which the ID is mounted in bitmap format, and update the status 22-6 to the E state.
  • the processing unit 28 determines whether or not there is an address field 24-2 of the extended directory 24 corresponding to the read address of the request (HIT determination).
  • the processing unit 28 After the snoop transmission, the processing unit 28 registers the requester's CPU-ID in the bitmap format 24-4 of the extended directory 24 in the bitmap format. The processing unit 28 registers the board ID having the CPU-ID of the requester in the B-Type entry of the directory 22 in the bitmap format. Further, the processing unit 28 updates the status in the status column 22-6 of the directory 22 to the E state.
  • processing unit 28 determines that the address field 24-2 of the extended directory 24 does not correspond to the read address of the request, uses the board ID bit of the B-Type entry of the directory 22 The snoop is transmitted to the board registered in the map field 22-7 via the external node interface circuit 20. Then, the board ID of the requester CPU-ID is registered in the B-Type entry of the directory 22 in the bitmap format, and the status is updated to the E state.
  • FIG. 9 is a data request processing flowchart in the E state of the comparative example of FIG.
  • FIG. 9 shows a directory search processing flow diagram of the node controller 2 when a data request (read request) is made in the E (exclusive) state from the CPU 3A (or 3B) in a configuration in which no extended directory is provided in FIG.
  • the CPU 3A (or 3B) issues a read request in the E state to the node controller 2 (S110).
  • the processing unit 28 searches the directory 22 of the node controller 2 based on the read address included in the read request.
  • the processing unit 28 determines whether or not the status column 22-3 of the entry of the directory 22 referred to by the read address is in an invalid state (Invalid) (S112). If the status is determined to be the I state, the processing unit 28 proceeds to step S113, and registers the CPU-ID and status (E state) of the CPU that issued the request in the directory 22 (S113).
  • the processing unit 28 refers to the status column 22-3 of the directory 22 and determines whether the status of the requested data is the E state (S114). If the status is determined to be the E state, the processing unit 28 transmits a snoop to the CPU having the CPU-ID registered in the directory 22 via the external node interface circuit 20. In the snoop transmission, the CPU of the registered CPU-ID is requested to change the data state. In step S113, the processing unit 28 registers the CPU-ID of the CPU that issued the request in the directory 22 (S115).
  • the entry in the directory 22 is changed from A-Type to B-Type. That is, the processing unit 28 registers the format type 22-1 of the directory 22 in the bitmap format with the CPU-ID already registered in the B-Type and board ID bitmap 22-7 and the CPU-ID to be registered this time. Then, the status 22-6 is updated to the E state (S113).
  • the extended directory 24 having a format different from that of the directory 22 is provided exclusively for the S state. Since the requester CPU-ID is registered in the extended directory 24 in the bitmap format, even if the number of CPUs mounted in the information processing system increases, the S-state CPU can be recognized and the number of snoop communications can be reduced.
  • the snoop destination can be narrowed down and the communication amount can be reduced.
  • the snoop CPU can be specified when a request is issued, etc., and the amount of communication decreases, contributing to performance improvement.
  • FIG. 10 is a block diagram of an information processing system according to the second embodiment. 10, the same components as those described in FIGS. 1 to 5 are denoted by the same reference numerals.
  • FIG. 10 also shows an information processing system in which a plurality of system boards are connected as an example of the information processing system, as in FIG.
  • the information processing system has a large number (here, 4) of system boards (nodes) 1-1 to 1-4.
  • Each of the system boards 1-1 to 1-4 includes one or a plurality of CPUs 3A, a first memory 4 connected to the CPU 3A, a node controller 2 connected to the CPU 3A, and a second memory connected to the node controller 2.
  • the memory 5 includes a system controller 10 connected to the CPU 3 ⁇ / b> A and the node controller 2.
  • the first memory 4 constitutes an L2 cache memory.
  • the second memory 5 constitutes an L3 cache memory.
  • DIMM Digital Inline Memory Module
  • the node controller 2 performs communication between the system boards 1-1 to 1-4.
  • the node controller 2 of the first system board 1-1 is connected to the node controller 2 of the second system board 1-2 via the first communication path 14-1.
  • the node controller 2 of the second system board 1-2 is connected to the node controller 2 of the third system board via the second communication path 14-2.
  • the node controller 2 of the third system board 1-3 is connected to the node controller 2 of the fourth system board 1-4 via the third communication path 14-3.
  • the system controller 10 performs state setting, state monitoring and the like of circuits (CPU, memory, etc.) in the system boards 1-1 to 1-4.
  • the system controllers 10 provided on the system boards 1-1 to 1-4 are connected to each other via the management bus 12.
  • Each system controller 10 notifies the operation status of each system board 1-1 to 1-4 via the management bus 12, and monitors the status of other system boards.
  • the node controller 2 has a memory space directory 22 including the additional cache memory 5 and an extended directory 24 in the same manner as in FIGS. 3 to 5.
  • the second memory 5 is an expansion memory, and since the second memory 5 is provided in the node controller 2, it is easy to increase the cache memory of the CPU 3A.
  • the system controller 10 is provided on each of the system boards 1-1 to 1-4, the load on the system controller can be reduced as compared with the first embodiment. Even in the information processing system having such a configuration that allows easy addition of the cache memory, the snoop partner can be narrowed down in the shared state as in the first embodiment, and the amount of communication can be reduced.
  • one node is one system board, but one node may be a plurality of system boards, and a plurality of nodes may be one system board. Further, although two examples of the CPU mounted on the system board have been described, three or more CPUs may be mounted on one system board.
  • Node controller 1-1 to 1-N node (system board) 2 Node controller 3A, 3B CPU 4, 4A, 4B Cache memory 5 Additional cache memory 10 System controller 12 Management bus 14-1 to 14-m Communication path 20 External node interface circuit 22 Directory 22-1 Format type column 22-3, 22-6 Status column 22- 4, 22-5 CPU-ID column 22-7 Board ID bitmap column 24 Extended directory 24-1 Effective bit column 24-2 Address column 24-4 CPU-ID bitmap column 26 CPU interface circuit 28 Processing units 30A and 30B CPU core 34 Memory controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

複数ノード（１－１～１－ｎ）のスヌープキャッシュ（４Ａ，４Ｂ）を使用した情報処理システムにおいて、複数ノード（１－１～１－ｎ）のスヌープキャッシュ（４Ａ，４Ｂ）のキャッシュコヒーレンスを保つためのディレクトリを、第１のディレクトリ（２２）と第１のディレクトリ（２２）のフォーマットと異なるフォーマットを持ち、共有状態専用の第２のディレクトリ（２４）とで構成する。第１のディレクトリのエントリ幅を大きくすることなく、共有ノードの詳細な情報を保持することが可能となる。このため、第２のディレクトリを検索した情報により、宛先を絞ったスヌープ発行が可能となる。

Description

情報処理システム
　本発明は、情報処理システムに関する。
　複数のノードを相互に接続した情報処理システムは、並列計算処理の高速化に有効である。並列計算機が分散型共有メモリを持つことにより、高速な並列計算を実行できる。情報処理システムの各ノードは、演算処理ユニット（以下、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）という）と，キャッシュメモリ（Ｃａｃｈｅ　Ｍｅｍｏｒｙ）等を有する。情報処理システムは、各ノードのキャッシュメモリを分散型共有メモリとして使用する。
　キャッシュメモリを使用した分散型共有メモリでは、複数のノードが各キャッシュメモリを共有するため、キャッシュメモリの一貫性制御が必要となる。一貫性制御は、キャッシュコヒーレンス（Ｃａｃｈｅ　Ｃｏｈｅｒｅｎｃｅ）を保つ制御である。スヌープキャッシュ（Ｓｎｏｏｐ　Ｃａｃｈｅ）は、キャッシュコヒーレンスを保つ機構に有効である。
　スヌープキャッシュは、一のノードのＣＰＵが自分のキャッシュメモリに保持されたデータの書き込みがある場合に、他のノードが共有バスを介しその書き込みを受け、他ノードのキャッシュメモリのデータを更新する。ディレクトリ（Ｄｉｒｅｃｔｏｒｙ）方式は、キャッシュコヒーレンスを保持するハードウェア機構として、利用される。ディレクトリ方式は、同じデータがどのＣＰＵにキャッシュされているかを示す情報をキャッシュ内に保持しておき、キャッシュラインの無効化、更新を行う。
　ディレクトリによりキャッシュ管理するシステムでは、メモリの１のアドレスに対して、リードなどのリクエストが発行された場合に、ディレクトリに、状態（Ｓｔａｔｕｓ）、ノード（ボード）識別子（ＩＤ：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、ノード（ボード）内のＣＰＵ識別子（ＩＤ）などのスヌープの宛先を特定できる詳細情報を登録する。
　図１１及び図１２は、従来のディイレクトリの構成図である。図１１は、ディレクトリ１００のフォーマットタイプ１０１がＡ－ｔｙｐｅ（ビット「１」）のエントリフォーマットを示す。図１１に示すように、ディレクトリ１００のエントリフォーマットは、エントリのフォーマットタイプ欄１０１と、リザーブビット欄１０２と、ステータス（Ｓｔａｔｕｓ）欄１０３と、ＣＰＵ－ＩＤ（１）欄１０４と、ＣＰＵ－ＩＤ（２）欄１０５とを有する。
　ステータス欄１０３は、排他状態（Ｅｘｃｌｕｓｉｖｅ）、無効状態（Ｉｎｖａｌｉｄ）、１つ又は２つのＣＰＵと共有状態（Ｓｈａｒｅｄ）というデータの保持状態を示す。排他状態は、リクエスタＣＰＵが排他制御中（例えば、読み出し後更新前の状態）であることを示す。無効状態は、いずれのＣＰＵもデータを保持していないことを示す。共有状態は、複数のＣＰＵがデータを共有していることを示す。ＣＰＵ－ＩＤ欄１０４，１０５は、リクエストのあった（リクエスタという）ＣＰＵ－ＩＤ（識別子：Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を格納する。
　図１２は、フォーマットタイプ１０６がＢ－ｔｙｐｅ（ビット「１」）のエントリフォーマットを示す。ステータス欄１０７は、排他状態（Ｅｘｃｌｕｓｉｖｅ）、無効状態（Ｉｎｖａｌｉｄ）、複数のＣＰＵと共有状態（Ｓｈａｒｅｄ）を示す。ボード（ノード）ＩＤのビットマップ欄１０８は、リクエストのあった（リクエスタという）ＣＰＵのボード(ノード)をビットマップ形式で格納する。
　例えば、ＣＰＵがデータの更新等のため、ＣＰＵが排他状態（以下、Ｅステートという)でのデータを要求した（リードリクエスト）場合には、リクエストしたアドレスでディレクトリ１００を検索し、データの保持状態（Ｓｔａｔｕｓ）を判定する。ディレクトリの検索により、リクエストしたアドレスのデータが、共有状態(以下、Ｓステートという)で保持されている場合には、当該データを保持しているＣＰＵへスヌープを送信し、該当データを無効状態(Ｉステートという)に更新する。又、要求したデータが排他状態で保持されている場合には、データを保持しているＣＰＵへスヌープを送信し、該当データを無効状態(I：Invalidステート)にする。
　更に、ＣＰＵが共有状態（Ｓステートという)でデータを要求した（リードリクエスト）場合には、リクエストしたアドレスでディレクトリ１００を検索し、データの保持状態を判定する。要求したデータが排他状態で保持されている場合、データを保持しているＣＰＵへ、データの状態(ステータス)を変更するためのスヌープを送信する。又、該当データが共有状態(Ｓステート)で保持されている場合に、データを保持しているＣＰＵへスヌープを送信し、ディレクトリにリクエスタのＣＰＵ－ＩＤを登録する。
　ここで、図１１のディレクトリフォーマット欄には、Ａ－Ｔｙｐｅ（Format　typeビットが「１」)が設定されている。フォーマットタイプＡ－Ｔｙｐｅは、ＣＰＵの識別子（ＩＤ）を格納するエントリフォーマットである。図１１の例では、ＣＰＵ－ＩＤを２個まで格納できる。一方、図１２のディレクトリフォーマット欄には、Ｂ－Ｔｙｐｅ(Format　typeビットが「０」)が設定されている。フォーマットタイプＢ－Ｔｙｐｅは、ＣＰＵ－ＩＤをビットマップで保持するタイプである。この例では、ノード又はＣＰＵを１２個まで識別できる。
　このように、登録すべきＣＰＵが２個を越えると、ディレクトリ１００のエントリのフォーマットをＡタイプ(図１１)からＢタイプ(図１２)に変更し、ノード（又はＣＰＵ）を１２個まで格納できるようにしていた。
日本特許公開２００１－１０１１４８号公報 日本特許公開２００５－０４４３４２号公報
　近年、情報処理システムの大規模化に伴い、１つのノード（ボード）に複数のＣＰＵが存在し、且つ接続可能なシステムノード（ボード）数が増えている。このため、１つのノードのディレクトリが管理しなければならないノード（又はＣＰＵ）数も増える。
　ディレクトリが保持できる情報量は、物理的に限りがある。共有状態（Ｓステート）でデータを保持するノードまたはＣＰＵの数が増える場合には、ディレクトリ機構のエントリサイズが制限されるため、スヌープ宛先のＣＰＵを特定できるような詳細な情報を格納することができない。
　例えば、共有状態（Ｓステート）でデータ保持しているＣＰＵが３個以上発生した場合には、図１１のＡ－Ｔｙｐｅのエントリフォーマットでは、３個以上のＣＰＵの情報を格納できないので、図１２のＢ－ＴｙｐｅのエントリフォーマットでＣＰＵの情報を保持する。しかしながら、Ｂ－Ｔｙｐｅのエントリフォーマットであっても、保持できるＣＰＵの数は１２個までである。このため、Ｂ－Ｔｙｐｅのエントリフォーマットを使用しても、情報処理システム内にＣＰＵが１３個以上ある場合には、登録するＣＰＵを保持できなくなってしまう。
　又、Ｂ－Ｔｙｐｅのエントリフォーマットにおいて、保持する情報をＣＰＵの上位のハードウェアに変更することにより、対象とするＣＰＵ数を増加できる。即ち、ＣＰＵをある単位毎のＩＤ(例えば、システムボード単位となるボードＩＤ)のみで保持する。例えば、システムボード単位で情報を保持する場合には、システムボード内のＣＰＵを識別できない。
　このため、システムボード内では、全ＣＰＵに対してスヌープを送信する必要があり、十分にスヌープの宛先を絞ることができない。このように、Ｓステートでデータ保持しているノードやＣＰＵが増えると、リクエスト発行時などに、ＣＰＵの特定ができず、システムボード上の全ＣＰＵへスヌープを発行することになる。その結果、通信量が増大し、性能低下を引き起こす。
　本発明の目的は、ＣＰＵの数が増大しても、ディレクトリの容量の増加を最小限として、スヌープの送信回数を減少し、ＣＰＵ間の通信量を減少する情報処理システムを提供することにある。
　この目的の達成のため、開示の情報処理システムは、複数のノードを有し、前記ノードの各々は、少なくとも１つの演算処理ユニットと、前記演算処理ユニットが使用するデータを格納するキャッシュメモリと、演算処理ユニットからのデータ要求に応じて、前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されているか否かの状態情報と前記他のノードを識別する情報とを格納するディレクトリを参照して、他のノードにスヌープを通信するノードコントローラとを有し、前記ノードコントローラは、前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されているか否かの状態情報と前記他のノードを識別する情報とを格納する第１のディレクトリと、前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されている共有状態であるデータの共有ノードを識別する情報を格納する第２のディレクトリとを有する。
　第１のディレクトリのフォーマットと異なるフォーマットを持ち、共有状態専用の第２のディレクトリを設定することにより、第１のディレクトリのエントリ幅を大きくすることなく、共有ノードの詳細な情報を保持することが可能となる。このため、第２のディレクトリを検索した情報により、宛先を絞ったスヌープ発行が可能となる。
実施の形態の情報処理システムのブロック図である。 図１のＣＰＵのブロック図である。 図１のノードコントローラのブロック図である。 図３のディレクトリの説明図である。 図３の拡張ディレクトリの説明図である。 図１乃至図５の実施の形態のＳステートでのデータ要求処理フロー図である。 図６に対する比較例のＳステートでのデータ要求処理フロー図である。 図１乃至図５の実施の形態のＥステートでのデータ要求処理フロー図である。 図８に対する比較例のＥステートでのデータ要求処理フロー図である。 第２の実施の形態の情報処理システムのブロック図である。 従来のディレクトリの説明図である。 従来のＳステートでのディレクトリの説明図である。
　以下、実施の形態の例を、情報処理システムの第１の実施の形態、Ｓステートでのデータ要求処理、Ｅステートでのデータ要求処理、情報処理システムの第２の実施の形態、他の実施の形態の順で説明するが、開示の情報処理システム、ディレクトリは、この実施の形態に限られない。
　（情報処理システムの第１の実施の形態）
　図１は、実施の形態の情報処理システムのブロック図である。図２は、図１のＣＰＵのブロック図である。図３は、図１のノードコントローラのブロック図である。図１は、情報処理システムとして、複数のシステムボードが連結された情報処理システムを例に示す。この例では、１つのシステムボードを１つのノードとして管理する。
　図１に示すように、情報処理システムは多数（ここでは、ｎ＞３）台のシステムボード１－１～１－ｎを有する。各システムボード１－１～１－ｎは、複数（この例では、２台）の演算処理ユニット（以下、ＣＰＵ：Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔという）３Ａ、３Ｂと、各ＣＰＵ３Ａ、３Ｂに接続されたメモリ４Ａ，４Ｂと、各ＣＰＵ３Ａ、３Ｂに接続されたノードコントローラ２とを有する。メモリ４Ａ、４Ｂは、例えば、Ｌ２、Ｌ３キャッシュメモリを構成する。メモリ４Ａ、４Ｂは、例えば、ＤＩＭＭ（Ｄｕａｌ　Ｉｎｌｉｎｅ　Ｍｅｍｏｒｙ　Ｍｏｄｕｌｅ）を使用できる。しかし、他の揮発性メモリ等で構成してもよい。
　図２に示すように、ＣＰＵ３Ａは、２つのＣＰＵコア（Ｃｏｒｅ）３０Ａ、３０Ｂと、各ＣＰＵコア３０Ａ，３０Ｂに接続された２つのキャッシュメモリ（Ｌ１キャッシュメモリ）３２Ａ、３２Ｂと、メモリ４ＡとＣＰＵコア３０Ａ、３０Ｂとを接続し、メモリアクセス制御するメモリコントローラ３４とを有する。図１のＣＰＵ３Ｂも同一の構成である。
　図１に戻り、ノードコントローラ２は、システムボード１－１～１－Ｎ間で通信を行う。この例では、第１のシステムボード１－１のノードコントローラ２が、第１の通信パス１４－１を介し第２のシステムボード１－２のノードコントローラ２に接続する。又、第２のシステムボード１－２のノードコントローラ２が、第２の通信パス１４－２を介し第３のシステムボードのノードコントローラ２に接続する。以下、同様に、第ｎ―１のシステムボードのノードコントローラ２が、第ｎ－１の通信パス１４－ｍを介し第ｎのシステムボード１－ｎのノードコントローラ２に接続する。
　この通信パス１４－１～１４－ｍは、共通バスを構成する。通信パス１４－１～１４－ｍを図１の分離したパスでなく、共有したパスで形成してもよい。
　システムコントローラ１０は、管理バス１２を介し各システムボード１－１～１－ｎに接続する。システムコントローラ１０は各システムボード１－１～１－ｎ内の回路（ＣＰＵ、メモリ等）の状態設定、状態監視等を行う。尚、図１では、図示していないが、別にメインメモリを設け、各ノードと接続してもよい。
　図３に示すように、ノードコントローラ２は、他のシステムボードのノードコントローラと通信パス１４－１を介し通信する外部ノードインターフェース回路２０と、ＣＰＵ３Ａ（３Ｂ）のメモリコントローラ３４と通信するＣＰＵインターフェース回路２６と、ディレクトリ２２と、第２のディレクトリ２４と、処理ユニット２８とを有する。
　処理ユニット２８は、外部ノードインターフェース回路２０と、ＣＰＵインターフェース回路２０と、ディレクトリ２２と、第２のディレクトリ２４とに接続する。処理ユニット２８は、ＣＰＵ３Ａ（及び３Ｂ）や他のノードからのリード／ライト要求に応じて、ディレクトリ２２及び第２のディレクトリ２４を検索し、スヌープ送信等を行う。
　ディレクトリ２２は、ノードコントローラ２がデータを管理するために使用する。ディレクトリ２２は、自ノードが持っているキャッシュメモリ４Ａのアドレス空間において、データの状態と、同じデータがどのノードに保持されているかの管理情報を格納する。
　図４は、図１及び図３のディレクトリの説明図である。図４に示すように、ディレクトリ２２は、自ノードのＬ２、Ｌ３キャッシュメモリのメモリアドレス毎にエントリを持つ。例えば、ＣＰＵのアクセス単位を６４ｂｉｔとし、自ノードのＬ２、Ｌ３キャッシュメモリ４Ａ，４Ｂの容量を６４ビットで割った結果の個数のエントリを持つ。
　この例では、ディレクトリ２２の１つのエントリ幅が２Ｂｙｔｅ（＝１６ビット）で構成されている。又、図４の例では、フォーマットタイプＡのエントリとフォーマットタイプＢのエントリとが混在した例を示す。
　図４に示すように、フォーマットタイプＡのエントリフォーマットは、エントリのフォーマットタイプ欄２２－１（Ａ－ｔｙｐｅ＝１）と、リザーブビット欄２２－２と、ステータス欄２２－３と、ＣＰＵ－ＩＤ（１）欄２２－４と、ＣＰＵ－ＩＤ（２）欄２２－５とを有する。フォーマットタイプＢのエントリフォーマットは、エントリのフォーマットタイプ欄２２－１（Ｂ－Ｔｙｐｅ＝０）と、第２のステータス欄２２－６と、ボードＩＤビットマップ欄２２－７とを有する。
　リザーブビット欄２２－２は、１ビットの予備のビットである。ステータス欄２２－３は、２ビットで構成される。ステータス欄２２－３では、排他状態（Ｅステート）を「１０」、無効状態（Ｉステート）を「００」、１つのＣＰＵとの共有状態（Ｓステート）を「０１」、２つのＣＰＵとの共有状態を「１１」で示す。Ｅステートは、リクエストしたＣＰＵ（リクエスタＣＰＵと呼ぶ）が排他制御中であることを示す。Ｉステートは、いずれのＣＰＵもデータを保持していないことを示す。Ｓステートは、複数のＣＰＵがデータを共有していることを示す。
　フォーマットタイプＡのＣＰＵ－ＩＤ（１）欄２２－４、ＣＰＵ－ＩＤ（２）欄２２－５は、それぞれリクエストを出したＣＰＵ（リクエスタ）のＣＰＵ－ＩＤを格納する。ＣＰＵ－ＩＤ欄２２－４，２２－５は、それぞれ６ビットで構成される。ＣＰＵ－ＩＤ欄２２－４，２２－５は、４ビットのボード(システムボード)のＩＤと２ビットのローカルＩＤ（ボード内のＣＰＵ－ＩＤ）とを格納する。従って、この例では、最大で、ノード数が１６個、ノード内ＣＰＵが４個までを特定できる。
　３つ以上のＣＰＵが共有状態である場合に、フォーマットタイプＡを使用できない。３つ以上のＣＰＵが共有状態になった場合に、ディレクトリ２２において、フォーマットタイプＡのエントリが、フォーマットタイプＢのエントリに変更される。フォーマットタイプＢの第２のステータス２２－６欄は、３ビットで構成され、３つ以上のＣＰＵが共有している場合に、「１１１」がセットされる。ボードＩＤビットマップ欄２２－７は、１２ビットで構成され、リクエストのあった（リクエスタという）ＣＰＵのボードＩＤをビットマップ形式で格納する。この例では、１２個のノードまでを特定できる。しかし、ノード内のＣＰＵは特定できない。即ち、ＣＰＵ単位の詳細情報を格納できない。
　図５は、図１の第２のディレクトリの説明図である。第２のディレクトリ（以下、拡張ディレクトリという）２４は、ディレクトリ２２に詳細情報を格納できなくなった場合に使用するディレクトリである。
　拡張ディレクトリ２４は、共有状態（Ｓステート）でデータ保持しているＣＰＵが一定数以上発生した場合（この例では、ＣＰＵが３つ以上の場合）、図４のディレクトリ２２とは別に、共有状態（Ｓステート）でデータ保持しているＣＰＵを特定する詳細情報を格納する専用ディレクトリである。拡張ディレクトリ２４は、ｎ－ｗａｙのＲＡＭ（Ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）であっても、ｆｕｌｌアソシエイテイブのＣＡＭでもよい。
　拡張ディレクトリ２４は、バリッド（Ｖａｌｉｄ）ビット欄２４－１と、メモリアドレス欄２４－２と、リザーブビット欄２４－３と、ＣＰＵ－ＩＤのビットマップ欄２４－４とを有する。バリッドビット欄２４－１は、１ビットを割り当てられる。バリッドビット欄２４－１は、拡張ディレクトリ２４のエントリが有効（Ｅｎａｂｌｅ＝「１」）であるか、無効（Ｄｉｓａｂｌｅ＝「０」）であるかを示す。
　拡張ディレクトリ２４は、メモリアドレス毎に設けられず、共有状態（Ｓステート）でデータ保持しているＣＰＵの詳細情報を格納するのみである。このため、拡張ディレクトリ２４に、メモリアドレス２４－２欄を設ける。メモリアドレス欄２４－２は、共有状態のデータのメモリアドレスの内、キャッシュライン、インデックスを除いた上位２５ビットを格納する。リザーブビット欄２４－３は予備のビットである。ＣＰＵ－ＩＤのビットマップ欄２４－４は、４８ビットで構成される。ビットマップ欄２４－４の各１ビットが１つのＣＰＵを特定する。この例では、４８個のＣＰＵを特定できる。この例では、拡張ディレクトリ２４のエントリ幅は、８０ビットである。
　このように、ディレクトリ２２のフォーマットと異なるフォーマットを持つ拡張ディレクトリ２４を設定することにより、図４で示した本来のディレクトリ２２のエントリ幅を大きくすることなく、ＣＰＵの詳細な情報を保持することが可能となる。このため、拡張ディレクトリ２４を検索した情報により、宛先を絞ったスヌープ発行が可能となる。
　例えば、情報処理システムが１Ｔｅｒａ　Ｂｙｔｅのキャッシュメモリを備える場合には、ディレクトリ２２の各エントリが２Ｂｙｔｅであるため、必要なディレクトリ２２のメモリ容量は、３２ＧＢｙｔｅとなる。ディレクトリ２２のエントリフォーマットで、拡張ディレクトリ２４のような４８個のＣＰＵを特定するには、１エントリに更に３６ビットを要する。このため、ディレクトリ２２のエントリ幅は、６Ｂｙｔｅ以上（正確には、６．５Ｂｙｔｅ）に拡張しなければばらない。このため、ディレクトリ２２を拡張して、より多くのＣＰＵを識別するのは、最低、９６ＧＢｙｔｅを必要とする。
　これに対し、この実施の形態では、拡張ディレクトリ２４は、３つ以上のＣＰＵが共有した場合に、データを保持するため、ディレクトリ２２内の共有状態のデータを対象とすれば、良い。また、情報処理システムにおいて、共有状態となる確率は、無効状態と排他状態となる確率より低い。このため、拡張ディレクトリ２４は、数ＫＢｙｔｅから最大１ＭＢｙｔｅであれば、良い。即ち、３２ＧＢｙｔｅのディレクトリ２２と最大１ＭＢｙｔｅの拡張ディレクトリ２４により、９６ＧＢｙｔｅのディレクトリ２２と同等の性能を付与できる。
　このため、ディレクトリの物量の増大を最小限として、ＣＰＵの詳細情報の保持が可能になる。さらに、この拡張ディレクトリ２４の詳細情報からスヌープの発行数を最小限に抑えることができるので、通信量の増大も防ぐことが可能になる。
　（Ｓステートでのデータ要求処理）
　図６は実施の形態のＳステートでのデータ要求処理フロー図である。図６は、図1乃至図５で説明した構成において、ＣＰＵ３Ａ（又は３Ｂ）からＳ（共有）ステートでデータ要求（リード要求）した場合のノードコントローラ２のディレクトリ検索処理フロー図を示す。
　（Ｓ１０）ＣＰＵ３Ａ（又は３Ｂ）は、ノードコントローラ２にＳステートでのリード（Ｒｅａｄ）リクエストを発行する。
　（Ｓ１２）ノードコントローラ２では、処理ユニット２８がＣＰＵインターフェース回路２６を介しリードリクエストを受ける。処理ユニット２８は、リードリクエストに含まれるリードアドレスにより、ノードコントローラ２のディレクトリ２２を検索する。
　（Ｓ１４）処理ユニット２８は、リードアドレスで、ディレクトリ２２のエントリのステータス欄２２－３を参照し、ステータス欄２２－３の情報を識別する。ステータス欄２２－３が無効ステート（Ｉステート）である場合には、どのＣＰＵもリクエストしたデータを持っていない。即ち、どのＣＰＵも当該リードアドレスのデータを要求していない状態である。処理ユニット２８は、ステータスが無効ステートと判定した場合、ステップＳ１６に進む。
　（Ｓ１６）ノードコントローラ２の処理ユニット２８は、リクエストを発行したＣＰＵ(ここでは、リクエスタと呼ぶ)のＣＰＵ－ＩＤとステータス（Ｓステート）をディレクトリ２２へ登録する。
　（Ｓ１８）処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスが排他状態（Ｅステート）であるか判定する。
　（Ｓ２０）処理ユニット２８は、ステータスがＥステートと判定した場合、外部ノードインターフェース回路２０を介しディレクトリ２２のＣＰＵ－ＩＤ欄２２－４，２２－５に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する。スヌープ送信は、登録されたＣＰＵ－ＩＤのＣＰＵにデータのステートの変更を要求する。そして、ステップＳ１６に進み、処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤをディレクトリ２２へ登録する。
　（Ｓ２２）処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスが共有状態（Ｓステート）であるか判定する。
　（Ｓ２４）処理ユニット２８はステータスがＳステートと判定した場合、処理ユニット２８はディレクトリ２２にＣＰＵ－ＩＤを登録できるか判定する。前述のように、Ａ－Ｔｙｐｅのディレクトリ２２のエントリは、２つのＣＰＵ－ＩＤしか登録できない。処理ユニット２８は、ディレクトリ２２へ詳細情報の格納が可能な状態(図４のフォーマットＡ－Ｔｙｐｅ)で、且つ登録されたＣＰＵ－ＩＤが１つである場合に、ＣＰＵ－ＩＤを登録できると判定する。処理ユニット２８は、ＣＰＵ－ＩＤを登録できると判定した場合には、ステップＳ１６に進み、処理ユニット２８は、ディレクトリ２２へリクエスタのＣＰＵ－ＩＤを登録する。
　（Ｓ２６）処理ユニット２８は、ＣＰＵ－ＩＤを登録できないと判定した場合には、ディレクトリ２２へ詳細情報が格納できない場合である。即ち、ディレクトリ２２のＡ－Ｔｙｐｅのエントリに、既にＣＰＵ―ＩＤが２つ格納されている、又はエントリフォーマットが、既にＢ－Ｔｙｐｅである場合である。処理ユニット２８は、ＣＰＵ－ＩＤを登録できないと判定した場合には、拡張ディレクトリ２４に空きがあるかを判定する。
　（Ｓ２８)処理ユニット２８は拡張ディレクトリ２４に空きがあると判定した場合には、処理ユニット２８は、拡張ディレクトリ２４にリクエスタのＣＰＵ－ＩＤをビットマップ形式で登録する。又、処理ユニット２８はディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵのボードＩＤをビットマップ形式で登録する。この場合、ディレクトリ２２のエントリがＡ－ＴｙｐｅからＢ－Ｔｙｐｅへ変更することが必要な場合は、処理ユニット２８はディレクトリ２２のフォーマットタイプ２２－１とステータス２２－３を、Ｂ－Ｔｙｐｅ、共有ステートに更新する。
　（Ｓ３０）処理ユニット２８は拡張ディレクトリ２４に空きがないと判定した場合には、ディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵのボードＩＤをビットマップ形式で登録する。
　図７は、図６の比較例のデータ要求処理フロー図である。図７は、拡張ディレクトリ２４を設けない場合において、ＣＰＵ３Ａ（又は３Ｂ）からＳ（共有）ステートでデータ要求（リード要求）した場合のノードコントローラ２のディレクトリ検索処理フロー図を示す。
　図７に示すように、ＣＰＵ３Ａ（又は３Ｂ）は、ノードコントローラ２にＳステートでのリード（Read）リクエストを発行する（Ｓ１００）。ノードコントローラ２の処理ユニット２８がＣＰＵインターフェース回路２６を介しリードリクエストを受ける。処理ユニット２８は、リードリクエストに含まれるリードアドレスにより、ノードコントローラ２のディレクトリ２２を検索する。処理ユニット２８は、リードアドレスでディレクトリ２２のエントリのステータス欄２２－３を参照し、ステータス欄２２－３の情報を識別する。処理ユニット２８は、ステータスがＩステートと判定した場合、ステップＳ１０３に進む（Ｓ１０２）。
　ノードコントローラ２の処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤとステータス（Ｓステート）をディレクトリ２２へ登録する（Ｓ１０３）。処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスがＥステートであるか判定する。処理ユニット２８は、ステータスがＥステートと判定した場合、外部ノードインターフェース回路２０を介しディレクトリ２２のＣＰＵ－ＩＤ欄２２－４，２２－５に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する（Ｓ１０４）。そして、ステップＳ１０３に進み、処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤをディレクトリ２２へ登録する。
　処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスがＳステートであるか判定する（Ｓ１０５）。処理ユニット２８は、ステータスがＳステートと判定した場合、ディレクトリ２２にＣＰＵ－ＩＤを登録できるか判定する。処理ユニット２８は、ＣＰＵ－ＩＤを登録できると判定した場合には、ステップＳ１０３に進み、処理ユニット２８は、ディレクトリ２２へリクエスタのＣＰＵ－ＩＤを登録する。処理ユニット２８は、ＣＰＵ－ＩＤを登録できないと判定した場合には、処理ユニット２８はディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵ－ＩＤをビットマップ形式で登録する。この場合、ディレクトリ２２のエントリがＡ－ＴｙｐｅからＢ－Ｔｙｐｅへ変更することが必要な場合は、処理ユニット２８はディレクトリ２２のフォーマットタイプ２２－１とステータス２２－３を、Ｂ－Ｔｙｐｅ、共有ステートに更新する（Ｓ１０６）。
　このように、本実施の形態では、ディレクトリ２２と異なるフォーマットを持つ拡張ディレクトリ２４をＳステート専用に設ける。そして、拡張ディレクトリ２４にビットマップ形式でリクエスタＣＰＵ－ＩＤを登録するため、情報処理システムに搭載されたＣＰＵの台数が増加しても、ディレクトリの容量の増加を最小限として、ＳステートのＣＰＵを認識できる。
　（Ｅステートでのデータ要求処理）
　図８は実施の形態のＥステートでのデータ要求処理フロー図である。図８は、図1乃至図５で説明した構成において、ＣＰＵ３Ａ（又は３Ｂ）からＥ（排他）ステートでデータ要求（リード要求）した場合のノードコントローラ２のディレクトリ検索処理フロー図を示す。
　（Ｓ４０）ＣＰＵ３Ａ（又は３Ｂ）は、ノードコントローラ２にＥステートでのリード（Read）リクエストを発行する。
　（Ｓ４２）ノードコントローラ２では、処理ユニット２８がＣＰＵインターフェース回路２６を介しリードリクエストを受ける。処理ユニット２８は、リードリクエストに含まれるリードアドレスにより、ノードコントローラ２のディレクトリ２２を検索する。
　（Ｓ４４）処理ユニット２８は、リードアドレスでディレクトリ２２のエントリのステータス欄２２－３を参照し、ステータス欄２２－３の情報を識別する。ステータス欄２２－３がＩステートである場合には、どのＣＰＵもリクエストしたデータを持っていない。即ち、どのＣＰＵも当該リードアドレスのデータを要求していない状態である。処理ユニット２８は、ステータスがＩステートと判定した場合、ステップＳ４６に進む。
　（Ｓ４６）ノードコントローラ２の処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤとステータス（Ｅステート）をディレクトリ２２へ登録する。
　（Ｓ４８）処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスがＥステートであるか判定する。
　（Ｓ５０）処理ユニット２８は、ステータスがＥステートと判定した場合、外部ノードインターフェース回路２０を介しディレクトリ２２のＣＰＵ－ＩＤ欄２２－４，２２－５に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する。スヌープ送信は、登録されたＣＰＵ－ＩＤのＣＰＵにデータのステートの変更を要求する。そして、ステップＳ４６に進み、処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤをディレクトリ２２へ登録する。
　（Ｓ５２）処理ユニット２８は、ディレクトリ２２のステータス２２－３を参照した結果、リクエストしたデータのステータスがＳステートであるか判定する。
　（Ｓ５４）処理ユニット２８は、ステータスがＳステートと判定した場合、ディレクトリ２２の登録されたＣＰＵ－ＩＤが２つ以下であるか否かを判定する。前述のように、Ａ－Ｔｙｐｅのディレクトリ２２のエントリは、２つのＣＰＵ－ＩＤしか登録できない。処理ユニット２８は、登録されたＣＰＵ－ＩＤが２つ以下であると判定した場合には、処理ユニット２８は、外部ノードインターフェース回路２０を介しディレクトリ２２のＣＰＵ－ＩＤ欄２２－４，２２－５に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する。そして、ステップＳ４６に進み、処理ユニット２８は、ディレクトリ２２を更新する。即ち、処理ユニット２８は、ディレクトリ２２に１つのＣＰＵ－ＩＤが登録された場合には、リクエスタのＣＰＵ－ＩＤを登録する。又、ディレクトリ２２に２つのＣＰＵ－ＩＤが登録された場合には、ディレクトリ２２のエントリをＡ－ＴｙｐｅからＢ－Ｔｙｐｅへ変更する。即ち、処理ユニット２８はディレクトリ２２のフォーマットタイプ欄２２－１を、Ｂ－Ｔｙｐｅ、ボードＩＤビットマップ欄２２－７に既に登録されたＣＰＵ－ＩＤのＣＰＵを搭載するボードＩＤと今回登録すべきＣＰＵ－ＩＤを搭載するボードＩＤとをビットマップ形式で登録し、ステータス２２－６をＥステートに更新する。
　（Ｓ５６）処理ユニット２８は、ディレクトリ２２に登録されたＣＰＵ－ＩＤが２つ以上でないと判定した場合には、拡張ディレクトリ２４をリクエストのリードアドレスで検索する。
　（Ｓ５８）処理ユニット２８は、拡張ディレクトリ２４のアドレス欄２４－２にリクエストのリードアドレスに対応するものがあるか否かを判定（ＨＩＴ判定）する。
　（Ｓ６０）処理ユニット２８は、拡張ディレクトリ２４のアドレス欄２４－２にリクエストのリードアドレスに対応するものがあると判定（ＨＩＴ判定）した場合には、拡張ディレクトリ２４のＣＰＵ－ＩＤのビットマップ欄２４－４に登録されたＣＰＵ－ＩＤを持つＣＰＵへ、外部ノードインターフェース回路２０を介しスヌープを送信する。
　（Ｓ６２）処理ユニット２８は、スヌープ送信後、拡張ディレクトリ２４のＣＰＵ－ＩＤのビットマップ欄２４－４にリクエスタのＣＰＵ－ＩＤをビットマップ形式で登録する。又、処理ユニット２８はディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵ－ＩＤを持つボードＩＤをビットマップ形式で登録する。又、処理ユニット２８はディレクトリ２２のステータス欄２２－６のステータスを、Ｅステートに更新する。
　（Ｓ６４）処理ユニット２８は拡張ディレクトリ２４のアドレス欄２４－２にリクエストのリードアドレスに対応するものがないと判定した場合には、処理ユニット２８はディレクトリ２２のＢ－ＴｙｐｅのエントリのボードＩＤビットマップ欄２２－７に登録されたボードへ外部ノードインターフェース回路２０を介しスヌープを送信する。そして、ディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵ－ＩＤのボードＩＤをビットマップ形式で登録し、ステータスをＥステートに更新する。
　図９は図８の比較例のＥステートでのデータ要求処理フロー図である。図９は、図８において、拡張ディレクトリを設けない構成において、ＣＰＵ３Ａ（又は３Ｂ）からＥ（排他）ステートでデータ要求（リード要求）した場合のノードコントローラ２のディレクトリ検索処理フロー図を示す。
　ＣＰＵ３Ａ（又は３Ｂ）は、ノードコントローラ２にＥステートでのリード（Read）リクエストを発行する（Ｓ１１０）。処理ユニット２８は、リードリクエストに含まれるリードアドレスにより、ノードコントローラ２のディレクトリ２２を検索する。処理ユニット２８は、リードアドレスで参照したディレクトリ２２のエントリのステータス欄２２－３が無効ステート（Invalid）であるか否かを判定する（Ｓ１１２）。処理ユニット２８は、ステータスがＩステートと判定した場合、ステップＳ１１３に進み、リクエストを発行したＣＰＵのＣＰＵ－ＩＤとステータス（Ｅステート）をディレクトリ２２へ登録する（Ｓ１１３）。
　処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照し、リクエストしたデータのステータスがＥステートであるか判定する（Ｓ１１４）。処理ユニット２８は、ステータスがＥステートと判定した場合、外部ノードインターフェース回路２０を介しディレクトリ２２に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する。スヌープ送信は、登録されたＣＰＵ－ＩＤのＣＰＵにデータのステートの変更を要求する。そして、ステップＳ１１３に進み、処理ユニット２８は、リクエストを発行したＣＰＵのＣＰＵ－ＩＤをディレクトリ２２へ登録する（Ｓ１１５）。
　処理ユニット２８は、ディレクトリ２２のステータス欄２２－３を参照した結果、リクエストしたデータのステータスがＳステートであるか判定する（Ｓ１１６）。処理ユニット２８は、ステータスがＳステートと判定した場合、ディレクトリ２２の登録されたＣＰＵ－ＩＤが２つ以下であるか否かを判定する（Ｓ１１７）。処理ユニット２８は、登録されたＣＰＵ－ＩＤが２つ以下であると判定した場合には、処理ユニット２８は、外部ノードインターフェース回路２０を介しディレクトリ２２に登録されたＣＰＵ－ＩＤを持つＣＰＵへスヌープを送信する（Ｓ１１５）。そして、ステップＳ１１３に進み、処理ユニット２８は、ディレクトリ２２を更新する。即ち、処理ユニット２８は、ディレクトリ２２に１つのＣＰＵ－ＩＤが登録された場合には、リクエスタのＣＰＵ－ＩＤを登録する。又、ディレクトリ２２に２つのＣＰＵ－ＩＤが登録された場合には、ディレクトリ２２のエントリをＡ－ＴｙｐｅからＢ－Ｔｙｐｅへ変更する。即ち、処理ユニット２８はディレクトリ２２のフォーマットタイプ２２－１を、Ｂ－Ｔｙｐｅ、ボードＩＤビットマップ２２－７に既に登録されたＣＰＵ－ＩＤと今回登録すべきＣＰＵ－ＩＤとをビットマップ形式で登録し、ステータス２２－６をＥステートに更新する（Ｓ１１３）。
　処理ユニット２８は、ディレクトリ２２に登録されたＣＰＵ－ＩＤが２つ以上でないと判定した場合には、処理ユニット２８はディレクトリ２２のＢ－ＴｙｐｅのエントリのボードＩＤビットマップ欄２２－７に登録されたボード又はＣＰＵへ外部ノードインターフェース回路２０を介しスヌープを送信する。そして、ディレクトリ２２のＢ－ＴｙｐｅのエントリにリクエスタのＣＰＵ－ＩＤ又はボードＩＤをビットマップ形式で登録し、ステータスをＥステートに更新する（Ｓ１１８）。
　このように、本実施の形態では、ディレクトリ２２と異なるフォーマットを持つ拡張ディレクトリ２４をＳステート専用に設ける。そして、拡張ディレクトリ２４にビットマップ形式でリクエスタＣＰＵ－ＩＤを登録するため、情報処理システムに搭載されたＣＰＵの台数が増加しても、ＳステートのＣＰＵを認識でき、スヌープ通信回数を減少できる。
　このため、システムボード(ノード)１－１～１－ｎのキャッシュメモリ４Ａ，４Ｂを共有キャッシュメモリに使用しても、スヌープの宛先を絞ることができ、通信量を減少できる。特に、Ｓステートでデータ保持しているノードやＣＰＵが増えても、リクエスト発行時などに、スヌープのＣＰＵの特定ができ、通信量が減少し、性能向上に寄与する。
　（情報処理システムの第２の実施の形態）
　図１０は、第２の実施の形態の情報処理システムのブロック図である。図１０において、図１乃至図５で説明したものと同一のものは、同一の記号を付してある。図１０も、図１と同様に、情報処理システムとして、複数のシステムボードが連結された情報処理システムを例に示す。
　図１０に示すように、情報処理システムは多数（ここでは、４）台のシステムボード（ノード）１－１～１－４を有する。各システムボード１－１～１－４は、単数又は複数のＣＰＵ３Ａと、ＣＰＵ３Ａに接続された第1のメモリ４と、ＣＰＵ３Ａに接続されたノードコントローラ２、ノードコントローラ２に接続された第２のメモリ５と、ＣＰＵ３Ａとノードコントローラ２とに接続されたシステムコントローラ１０とを有する。
　第1のメモリ４は、Ｌ２キャッシュメモリを構成する。第２のメモリ５は、Ｌ３キャッシュメモリを構成する。第1及び第２のメモリ４，５は、例えば、ＤＩＭＭ（Ｄｕａｌ　Ｉｎｌｉｎｅ　Ｍｅｍｏｒｙ　Ｍｏｄｕｌｅ）を使用できる。ノードコントローラ２は、システムボード１－１～１－４間で通信を行う。この例では、第１のシステムボード１－１のノードコントローラ２が、第１の通信パス１４－１を介し第２のシステムボード１－２のノードコントローラ２に接続する。又、第２のシステムボード１－２のノードコントローラ２が、第２の通信パス１４－２を介し第３のシステムボードのノードコントローラ２に接続する。以下、同様に、第３のシステムボード１－３のノードコントローラ２が、第３の通信パス１４－３を介し第４のシステムボード１－４のノードコントローラ２に接続する。
　システムコントローラ１０は各システムボード１－１～１－４内の回路（ＣＰＵ、メモリ等）の状態設定、状態監視等を行う。各システムボード１－１～１－４に設けられたシステムコントローラ１０は、管理バス１２を介し互いに接続する。各システムコントローラ１０は、管理バス１２を介し各システムボード１－１～１－４の運用状態を通知し、他のシステムボードの状態を監視する。
　又、ノードコントローラ２は、図３乃至図５と構成と同様に、増設キャッシュメモリ５を含めたメモリ空間のディレクトリ２２と拡張ディレクトリ２４とを有する。第２の実施の形態では、第２のメモリ５は、増設用メモリであり、ノードコントローラ２に第２のメモリ５を設けたので、ＣＰＵ３Ａのキャッシュメモリの増設が容易である。
　又、システムコントローラ１０を各システムボード１－１～１－４に設けたため、第1の実施の形態に比し、システムコントローラの負荷を低減できる。このようなキャッシュメモリの増設が容易な構成の情報処理システムにおいても、第1の実施の形態と同様に、共有ステートにおいて、スヌープ相手先を絞ることができ、通信量を低減できる。
　（他の実施の形態）
　前述の実施の形態では、１ノードを１つのシステムボードとしているが、１ノードを複数のシステムボードとしてもよく、複数のノードを１つのシステムボードとしてもよい。又、システムボードに搭載したＣＰＵを２つの例で説明したが、３つ以上のＣＰＵを１つのシステムボードに搭載してもよい。
　以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。
　第１のディレクトリのフォーマットと異なるフォーマットを持ち、共有状態専用の第２のディレクトリを設定することにより、第１のディレクトリのエントリ幅を大きくすることなく、共有ノードの詳細な情報を保持することが可能となる。このため、ディレクトリの容量の増加を最小限として、第２のディレクトリを検索した情報により、宛先を絞ったスヌープ発行が可能となる。
１－１～１－Ｎ　ノード（システムボード）
２　ノードコントローラ
３Ａ，３Ｂ　ＣＰＵ
４，４Ａ，４Ｂ　キャッシュメモリ
５　増設キャッシュメモリ
１０　システムコントローラ
１２　管理バス
１４－１～１４－ｍ　通信パス
２０　外部ノードインターフェース回路
２２　ディレクトリ
２２－１　フォーマットタイプ欄
２２－３，２２－６　ステータス欄
２２－４，２２－５　ＣＰＵ－ＩＤ欄
２２－７　ボードＩＤビットマップ欄
２４　拡張ディレクトリ
２４－１　有効ビット欄
２４－２　アドレス欄
２４－４　ＣＰＵ－ＩＤビットマップ欄
２６　ＣＰＵインターフェース回路
２８　処理ユニット
３０Ａ，３０Ｂ　ＣＰＵコア
３４　メモリコントローラ

Claims (8)

  1. 　複数のノードを接続した情報処理システムにおいて、
    　前記ノードの各々は、
    　少なくとも１つの演算処理ユニットと、
    　前記演算処理ユニットが使用するデータを格納するキャッシュメモリと、
    　演算処理ユニットからのデータ要求に応じて、前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されているか否かの状態情報と前記他のノードを識別する情報とを格納するディレクトリを参照して、他のノードにスヌープを通信するノードコントローラとを有し、
    　前記ノードコントローラは、
    　前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されているか否かの状態情報と前記他のノードを識別する情報とを格納する第１のディレクトリと、
    　前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されている共有状態であるデータの共有ノードを識別する情報を格納する第２のディレクトリとを有する
    　ことを特徴とする情報処理システム。
  2. 　請求項１の情報処理システムにおいて、
    　前記ノードコントローラは、演算処理ユニットからのデータ要求に応じて、前記第１のディレクトリを参照し、前記スヌープを通信すべき前記他のノードを識別できないことを判定し、前記第２のディレクトリを参照して、前記スヌープを通信すべき前記他のノードを識別し、前記識別した他のノードにスヌープを通信する
    　ことを特徴とする情報処理システム。
  3. 　請求項１の情報処理システムにおいて、
    　前記ノードコントローラは、演算処理ユニットからのデータ要求に応じて、前記第１のディレクトリに前記演算処理ユニットのノードの識別子を格納できるか否かを判定し、前記演算処理ユニットのノードの識別子を格納できると判定した場合には、前記第１のディレクトリに前記演算処理ユニットのノードの識別子を格納し、前記演算処理ユニットのノードの識別子を格納できないと判定した場合には、前記第２のディレクトリに前記演算処理ユニットのノードの識別子を格納する
    　ことを特徴とする情報処理システム。
  4. 　請求項２の情報処理システムにおいて、
    　前記ノードコントローラは、演算処理ユニットからのデータ要求に応じて、前記第１のディレクトリに前記演算処理ユニットのノードの識別子を格納できないと判定した場合には、前記第２のディレクトリに空き領域があるか否かを判定し、前記第２のディレクトリに空き領域があると判定した場合には、前記第２のディレクトリに前記演算処理ユニットのノードの識別子を格納し、前記第２のディレクトリに空きがないと判定した場合には、前記第１のディレクトリのエントリフォーマットを変更して、前記演算処理ユニットのノードの識別子をビットマップ形式で格納する
    　ことを特徴とする情報処理システム。
  5. 　請求項２の情報処理システムにおいて、
    　前記ノードコントローラは、演算処理ユニットからの排他状態でのデータ要求に応じて、前記第２のディレクトリを参照し、前記第２のディレクトリに登録されたスヌープ通信すべき他のノードを特定し、前記特定した他のノードにスヌープを通信する
    　ことを特徴とする情報処理システム。
  6. 　請求項１の情報処理システムにおいて、
    　前記ノードは、複数の前記演算処理ユニットを有し、
    　前記第１のディレクトリは、前記他のノードの前記演算処理ユニットのキャッシュメモリに保持されているか否かの状態情報と前記他のノードの演算処理ユニットを識別する情報とを格納し、
    　前記第２のディレクトリは、前記共有状態であるデータの他のノードの演算処理ユニットを識別する情報を格納する
    　ことを特徴とする情報処理システム。
  7. 　請求項１の情報処理システムにおいて、
    　前記第１のディレクトリは、前記他のノードのキャッシュメモリに保持されているか否かの状態情報と前記他のノードを識別する情報とを格納する第１のエントリフォーマットと、前記他のノードのキャッシュメモリに保持されているか否かの状態情報とビットマップ形式で前記他のノードを識別する情報を格納する第２のエントリフォーマットとを備え、
    　前記第２のディレクトリは、ビットマップ形式で前記共有状態であるデータの他のノードを識別する情報を格納する
    　ことを特徴とする情報処理システム。
  8. 　請求項１の情報処理システムにおいて、
    　前記第１のディレクトリは、少なくとも前記キャッシュメモリの格納データが他のノードのキャッシュメモリに保持されている共有状態か、前記キャッシュメモリの格納データが排他状態かを示す状態情報を格納する
    　ことを特徴とする情報処理システム。
PCT/JP2010/061785 2010-07-12 2010-07-12 情報処理システム WO2012008008A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012524351A JP5435132B2 (ja) 2010-07-12 2010-07-12 情報処理システム
PCT/JP2010/061785 WO2012008008A1 (ja) 2010-07-12 2010-07-12 情報処理システム
US13/738,433 US20130132678A1 (en) 2010-07-12 2013-01-10 Information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/061785 WO2012008008A1 (ja) 2010-07-12 2010-07-12 情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/738,433 Continuation US20130132678A1 (en) 2010-07-12 2013-01-10 Information processing system

Publications (1)

Publication Number Publication Date
WO2012008008A1 true WO2012008008A1 (ja) 2012-01-19

Family

ID=45469033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/061785 WO2012008008A1 (ja) 2010-07-12 2010-07-12 情報処理システム

Country Status (3)

Country Link
US (1) US20130132678A1 (ja)
JP (1) JP5435132B2 (ja)
WO (1) WO2012008008A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5614452B2 (ja) * 2010-09-13 2014-10-29 富士通株式会社 情報処理装置および情報処理装置の制御方法
EP4129255A1 (en) 2020-07-06 2023-02-08 Ontex BV Absorbent article with improved core and method of making

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488606B (zh) * 2013-09-10 2016-08-17 华为技术有限公司 基于节点控制器的请求响应方法和装置
CN106647437B (zh) * 2016-09-30 2024-04-16 衡水益通管业股份有限公司 基于互联网的管廊信号采集节点执行控制器及其监控方法
US11550720B2 (en) * 2020-11-24 2023-01-10 Arm Limited Configurable cache coherency controller
WO2024116215A1 (en) 2022-11-30 2024-06-06 Tone Spring Amplifier for musical instruments

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263374A (ja) * 1995-03-20 1996-10-11 Hitachi Ltd キャッシュ制御方法およびそれを用いたマルチプロセッサシステム
JPH08320827A (ja) * 1995-03-20 1996-12-03 Fujitsu Ltd キャッシュコヒーレンス装置
JPH0922381A (ja) * 1995-07-06 1997-01-21 Hitachi Ltd プロセッサ間データ一貫性保証装置
JP2001147903A (ja) * 1999-09-15 2001-05-29 Internatl Business Mach Corp <Ibm> 効率的なバス機構及びコヒーレンス制御を有する繰り返しチップ構造を有するスケーラブル共用メモリ・マルチプロセッサ・コンピュータ・システム
JP2009245323A (ja) * 2008-03-31 2009-10-22 Nec Computertechno Ltd レイテンシ短縮方式及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3410535B2 (ja) * 1994-01-20 2003-05-26 株式会社日立製作所 並列計算機
JP4689783B2 (ja) * 1999-09-28 2011-05-25 富士通株式会社 分散共有メモリ型並列計算機
US7234029B2 (en) * 2000-12-28 2007-06-19 Intel Corporation Method and apparatus for reducing memory latency in a cache coherent multi-node architecture
JP2003216596A (ja) * 2002-01-17 2003-07-31 Hitachi Ltd マルチプロセッサシステム及びノード装置
US6868485B1 (en) * 2002-09-27 2005-03-15 Advanced Micro Devices, Inc. Computer system with integrated directory and processor cache
JP4134807B2 (ja) * 2003-04-25 2008-08-20 ブラザー工業株式会社 特殊画像付加方法、描画処理システム、及びドライバプログラム
US7089361B2 (en) * 2003-08-07 2006-08-08 International Business Machines Corporation Dynamic allocation of shared cache directory for optimizing performance
US7624234B2 (en) * 2006-08-31 2009-11-24 Hewlett-Packard Development Company, L.P. Directory caches, and methods for operation thereof
US7774551B2 (en) * 2006-10-06 2010-08-10 Hewlett-Packard Development Company, L.P. Hierarchical cache coherence directory structure
US8185695B2 (en) * 2008-06-30 2012-05-22 Advanced Micro Devices, Inc. Snoop filtering mechanism
WO2010038301A1 (ja) * 2008-10-02 2010-04-08 富士通株式会社 メモリアクセス方法及び情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263374A (ja) * 1995-03-20 1996-10-11 Hitachi Ltd キャッシュ制御方法およびそれを用いたマルチプロセッサシステム
JPH08320827A (ja) * 1995-03-20 1996-12-03 Fujitsu Ltd キャッシュコヒーレンス装置
JPH0922381A (ja) * 1995-07-06 1997-01-21 Hitachi Ltd プロセッサ間データ一貫性保証装置
JP2001147903A (ja) * 1999-09-15 2001-05-29 Internatl Business Mach Corp <Ibm> 効率的なバス機構及びコヒーレンス制御を有する繰り返しチップ構造を有するスケーラブル共用メモリ・マルチプロセッサ・コンピュータ・システム
JP2009245323A (ja) * 2008-03-31 2009-10-22 Nec Computertechno Ltd レイテンシ短縮方式及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5614452B2 (ja) * 2010-09-13 2014-10-29 富士通株式会社 情報処理装置および情報処理装置の制御方法
EP4129255A1 (en) 2020-07-06 2023-02-08 Ontex BV Absorbent article with improved core and method of making

Also Published As

Publication number Publication date
JP5435132B2 (ja) 2014-03-05
JPWO2012008008A1 (ja) 2013-09-05
US20130132678A1 (en) 2013-05-23

Similar Documents

Publication Publication Date Title
CN105740164B (zh) 支持缓存一致性的多核处理器、读写方法、装置及设备
US8185695B2 (en) Snoop filtering mechanism
US6289420B1 (en) System and method for increasing the snoop bandwidth to cache tags in a multiport cache memory subsystem
US10402327B2 (en) Network-aware cache coherence protocol enhancement
JP4447580B2 (ja) 分散共有メモリマルチプロセッサシステムのための分割疎ディレクトリ
US6408362B1 (en) Data processing system, cache, and method that select a castout victim in response to the latencies of memory copies of cached data
US8812786B2 (en) Dual-granularity state tracking for directory-based cache coherence
JP5435132B2 (ja) 情報処理システム
US20150058570A1 (en) Method of constructing share-f state in local domain of multi-level cache coherency domain system
US10055349B2 (en) Cache coherence protocol
CN111143244B (zh) 计算机设备的内存访问方法和计算机设备
KR20170130388A (ko) 비대칭 세트 결합된 캐시
US6973547B2 (en) Coherence message prediction mechanism and multiprocessing computer system employing the same
US7925857B2 (en) Method for increasing cache directory associativity classes via efficient tag bit reclaimation
US20100217939A1 (en) Data processing system
US20120124297A1 (en) Coherence domain support for multi-tenant environment
US20110185128A1 (en) Memory access method and information processing apparatus
US11321233B2 (en) Multi-chip system and cache processing method
US9983994B2 (en) Arithmetic processing device and method for controlling arithmetic processing device
US20170371783A1 (en) Self-aware, peer-to-peer cache transfers between local, shared cache memories in a multi-processor system
US8799587B2 (en) Region coherence array for a mult-processor system having subregions and subregion prefetching
JP6343722B2 (ja) マルチコアシステムにおいてデータ訪問者ディレクトリにアクセスするための方法及びデバイス
US10565111B2 (en) Processor
US6996675B2 (en) Retrieval of all tag entries of cache locations for memory address and determining ECC based on same
CN117667785A (zh) 数据处理方法、数据处理装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10854692

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012524351

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10854692

Country of ref document: EP

Kind code of ref document: A1