JP2009282651A

JP2009282651A - Virtual machine system

Info

Publication number: JP2009282651A
Application number: JP2008132627A
Authority: JP
Inventors: Takatsugu Tamura; 卓嗣田村; Hitoshi Ueno; 仁上野; Haruji Koike; 晴二小池
Original assignee: Hitachi Ltd; Hitachi Information and Communication Engineering Ltd
Current assignee: Hitachi Ltd; Hitachi Information and Telecommunication Engineering Ltd
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2009-12-03
Anticipated expiration: 2028-05-21
Also published as: JP5142819B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an LPAR environment capable of performing the I/O access of a 32 bit address mode in a server having a general-purpose IO bus represented by a PCI-Express bus. <P>SOLUTION: (1) When an IO transaction issued by an OS on an LPAR is a 32 bit format, and a converted absolute address exceeds a 32 bit space, the packet format of an IO transaction is converted. (2) When an ECRC is applied to the IO transaction issued by the OS on the LPAR, the ECRC is recalculated so as to be normally received by the final reception destination. (3) When the ECRC is already an error, an ECRC pattern with which the same error is reproduced is generated, and applied to a packet. (4) Concerning ECRC generation, a 32 bit CRC arithmetic unit and a 64 bit CRC arithmetic unit are loaded, and the ECRCs are simultaneously calculated, and a correct CRC arithmetic result is selected based on data length on the bus in generating a packet. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、単一の計算機で複数のOSを稼動させることが可能で、かつOS間での不正アクセスによる誤動作の防止・エラー発生時の処理機能を持つ仮想計算機システムに関し、特にCPUとIOデバイスの間のIOバス上で、メモリアドレスのフォーマット変換方法と、エラーのチェック方法並びに、それらを用いた仮想計算機システムに関する。 The present invention relates to a virtual computer system capable of operating a plurality of OSs with a single computer and having a function of preventing malfunction due to unauthorized access between OSs and processing when an error occurs, in particular, a CPU and an IO device. The present invention relates to a memory address format conversion method, an error check method, and a virtual machine system using them.

論理分割 (Logical Partition) は、単一のサーバ上で複数のオペレーティングシステム (Operating System、以下OS) を同時に動作させる技術である。論理分割では、ハイパバイザと呼ばれる管理プログラムがサーバ管理者からの指示に従って、サーバの計算機資源 (メモリ領域、及びIOデバイスなどを含む) を複数の論理区画 (LPAR) に分割して、各LPAR上で１つずつのOSを動作させる。 Logical partition is a technology that allows multiple operating systems (OSs) to operate simultaneously on a single server. In logical partitioning, a management program called a hypervisor divides server computer resources (including memory areas and IO devices) into multiple logical partitions (LPARs) according to instructions from the server administrator. Run one OS at a time.

論理分割では、LPAR上のOSや、LPAR上のOSに割り付けられたIOデバイスのメモリアクセスをアドレス変換し、該LPARに割り付けられたメモリ領域内のアドレス (絶対アドレス) にアクセスさせる必要がある。このアドレスは、LPAR上のOSがアドレス変換して得た物理アドレス (以下、実アドレス) とは一般に異なる。 In the logical partitioning, it is necessary to convert the address of the memory access of the OS on the LPAR and the IO device assigned to the OS on the LPAR and to access the address (absolute address) in the memory area assigned to the LPAR. This address is generally different from the physical address (hereinafter, real address) obtained by address conversion by the OS on the LPAR.

また、あるOSの動作によって他のLPAR上のOSが停止、もしくは誤動作してはならない。そのためには、あるOSの動作によって他のLPAR上のOSが停止、もしくは誤動作してはならない。そのためには、あるOSが他のLPARの資源へアクセスできないこと (以下、アイソレーション) を保証する必要がある。 Also, the OS on another LPAR must not stop or malfunction due to the operation of one OS. For this purpose, the OS on another LPAR must not stop or malfunction due to the operation of one OS. For that purpose, it is necessary to guarantee that an OS cannot access other LPAR resources (hereinafter referred to as isolation).

ところで、Intel社のIA-32アーキテクチャに代表されるPCサーバでは近年、IOバスとしてPCI-Expressバスが広く用いられるようになってきている。PCI-Expressは、PCIバスと同様、論理分割を意識した設計を為されていないため、IOデバイス発のアクセスによってアイソレーションが保たれない (以下、アイソレーション障害) 恐れがある。具体的にはOSやIOドライバに不良がある場合や、IOカードの故障時でハードウェアによってエラーを検出できなかった場合に、アイソレーションが保証できない。そのため、PCサーバで論理分割を実現するには、IOデバイス発のアクセスに対してアイソレーションを保証することが従来から課題となっていた。 By the way, in the PC server represented by Intel's IA-32 architecture, in recent years, the PCI-Express bus has been widely used as an IO bus. PCI-Express, like the PCI bus, is not designed with logical partitioning in mind, so there is a risk that isolation will not be maintained by access from the IO device (hereinafter referred to as isolation failure). Specifically, isolation cannot be guaranteed if the OS or IO driver is defective, or if an error cannot be detected by the hardware when the IO card fails. Therefore, in order to achieve logical partitioning on a PC server, it has been a challenge to guarantee isolation for access from IO devices.

上記の課題に対し、従来では特にPCIバスを念頭に置いて、特開2004-220218 (特許文献１) が提案されている。特許文献１では、チップセット内のI/O Ctrl Unit内にアドレス修飾機能を埋め込んだ例と、IOバス上にアクセス監視カードを装備し、その中でアドレス修飾機能を埋め込んだ例によって、実現するとしている。 Conventionally, Japanese Patent Application Laid-Open No. 2004-220218 (Patent Document 1) has been proposed with the PCI bus in mind in particular. In Patent Document 1, this is realized by an example in which an address modification function is embedded in an I / O Ctrl Unit in a chipset and an example in which an access monitoring card is provided on an IO bus and an address modification function is embedded therein. It is said.

特開2004-220218JP2004-220218

しかし、特許文献１では、特にアクセス監視カードの方式をPCI-Expressバス上で採用した場合に、以下に示すような課題が解決されない。 However, in Patent Document 1, the following problems are not solved particularly when the access monitoring card method is adopted on the PCI-Express bus.

第1の課題は、LPAR上のOSが小さいアドレスフォーマット (32bitアドレスフォーマット) で動作している場合、32bit未満の実アドレスに対応する絶対アドレスが32bitを超え、大きいアドレスフォーマット (64bitアドレスフォーマット) とする必要がある。PCI-Expressのパケットでは、32bitと64bitのアドレスフォーマットが許されるが、32bitアドレスは3ダブルワード長のパケットであり、64bitアドレスは4ダブルワード長のパケットとなっており、単純に絶対アドレスで置き換えることが出来ない。 The first issue is that when the OS on the LPAR is operating in a small address format (32-bit address format), the absolute address corresponding to a real address less than 32 bits exceeds 32 bits, and a large address format (64-bit address format) There is a need to. PCI-Express packets allow 32 bit and 64 bit address formats, but 32 bit addresses are 3 double word long packets and 64 bit addresses are 4 double word long packets, simply replace them with absolute addresses. I can't.

第２の課題は、PCI-Expressのパケット内には、パケットを最初に生成した生成元と、最後に受領した最終受領先で、パケット内のデータにエラーが無いかを保証するためのECRC (End-to-End CRC) を埋め込むことが出来る。このECRCは、アドレス変換やアドレスフォーマット変換を実施すると、そのままではエラーとなってしまう。 The second problem is that in the PCI-Express packet, there is an ECRC (in order to ensure that there is no error in the data in the packet at the source that first generated the packet and the final destination that was received last. End-to-End CRC) can be embedded. This ECRC results in an error if address conversion or address format conversion is performed.

第３の課題は、何らかの方式により第２の課題を解決してパケットの最終受領先でECRCを一致させた場合に、もしアドレス変換やアドレスフォーマット変換時に既にECRCがエラーであった場合に、本来検知する必要があるエラーが検知不能となってしまう。 The third problem is that when the second problem is solved by some method and ECRC is matched at the final recipient of the packet, if ECRC is already an error at the time of address conversion or address format conversion, Errors that need to be detected become undetectable.

第４に、データバス上に流れるパケットのCRCを計算する場合に、上記のフォーマット変換によるパケットサイズの変更や、転送時のデータのバイト長によって、64bitブロックがまとめて来る場合と、32bitブロックしかバス上に無い場合がある。どちらの場合もスループットを最大化するために１サイクルで処理する必要があるが、データブロックのサイズを判定してからCRC演算するのでは処理が間に合わず、２サイクル処理となってしまう。 Fourth, when calculating the CRC of a packet that flows on the data bus, depending on the packet size change due to the format conversion described above and the byte length of the data at the time of transfer, a 64-bit block may be combined, or a 32-bit block only May not be on the bus. In either case, it is necessary to perform processing in one cycle in order to maximize the throughput. However, if the CRC calculation is performed after determining the size of the data block, the processing is not in time and the processing is two cycles.

本発明は、上記の課題を解決することを目的とする。 An object of the present invention is to solve the above problems.

本発明は、LPAR上で発行されたIOトランザクションが32bitフォーマットであった場合で、かつ変換後の絶対アドレスが32bit空間を超えている場合に、IOトランザクションのパケットフォーマットを変換する。 The present invention converts the IO transaction packet format when the IO transaction issued on the LPAR is in the 32-bit format and the converted absolute address exceeds the 32-bit space.

次に、LPAR上で発行されたIOトランザクションにECRCが付与されていた場合に、ECRCを再計算して最終受領先で正常に受信できるようにする。 Next, when ECRC is given to the IO transaction issued on the LPAR, the ECRC is recalculated so that it can be normally received by the final recipient.

この時、ECRCが既にエラーになっていた場合には、同じエラーを再現するようなECRCパターンを生成してパケットに付与する。 At this time, if the ECRC already has an error, an ECRC pattern that reproduces the same error is generated and attached to the packet.

前記のECRCについて、32bitと64bitのCRC演算器を搭載して同時に計算し、パケット生成時にバス上のデータ長を元に正しいCRC演算結果を選択することで、CRCの毎サイクル生成を可能とし、スループットを最大化する。 For the above ECRC, 32bit and 64bit CRC calculators are installed and calculated simultaneously, and by selecting the correct CRC calculation result based on the data length on the bus at the time of packet generation, it is possible to generate each cycle of CRC, Maximize throughput.

PCI-Expressを採用するサーバにおいて、IOバス上に本発明を適用したアクセス監視カードを実装することにより、下記の利点が得られる。 In a server adopting PCI-Express, the following advantages can be obtained by mounting an access monitoring card to which the present invention is applied on an IO bus.

LPAR上で、32bitアドレッシングモードで動作するOSの動作を可能にする。 Enables operation of an OS that operates in 32-bit addressing mode on an LPAR.

ECRCを付与して信頼性を高めたIOトランザクションを、LPAR上のOSで、スループットを最大に保ったまま使用する手段を提供する。 Provides a means to use IO transactions with ECRC to improve reliability while maintaining the maximum throughput on the OS on the LPAR.

以下に図面を用いて、本発明の実施の形態例を示す。 Embodiments of the present invention will be described below with reference to the drawings.

図１に本発明が想定するサーバの概略を示す。本実施例では、複数のＣＰＵを接続可能な１１０ＣＰＵバスに、４つのＣＰＵ (１００〜１０３) が接続されている例を示す。本実施例では、ＣＰＵ数を４としているが、４以外でも構わない。 FIG. 1 shows an outline of a server assumed by the present invention. In the present embodiment, an example is shown in which four CPUs (100 to 103) are connected to a 110 CPU bus to which a plurality of CPUs can be connected. In this embodiment, the number of CPUs is four, but may be other than four.

このＣＰＵバスを制御する１２０チップセットがあり、チップセットはＣＰＵバスのほかに、１３０ＩＯバス＃０及び１３１ＩＯバス＃１、１６０メモリインタフェースの制御を行っている。このＩＯバスは、現在一般に使われているPCI-Expressバスなどを想定している。 There are 120 chip sets for controlling the CPU bus, and the chip set controls the 130 IO bus # 0 and the 131 IO bus # 1, 160 memory interface in addition to the CPU bus. The IO bus is assumed to be a PCI-Express bus that is generally used at present.

なお本実施例ではＩＯバスを１３０及び１３１のように２バス接続する構成例を示しているが、２本以外の構成でも構わない。 In the present embodiment, a configuration example is shown in which two IO buses are connected like 130 and 131, but configurations other than two may be used.

１２０チップセットは、ＣＰＵバスを制御する１２１ＣＰＵＢｕｓＣｔｒｌＵｎｉｔと、メモリインタフェースを制御する１２２ＭｅｍｏｒｙＣｔｒｌＵｎｉｔ、ＩＯバスを制御する１２３ＩＯＣｔｒｌＵｎｉｔから成る。 The 120 chip set includes a 121 CPU Bus Ctrl Unit that controls the CPU bus, a 122 Memory Ctrl Unit that controls the memory interface, and a 123 IO Ctrl Unit that controls the IO bus.

１３０ＩＯバス＃０と１７０〜１７２ＩＯバス＃００〜０２の間には１３８アクセス監視カード＃０が組み込まれ、１３１ＩＯバス＃１と１７３〜１７５ＩＯバス＃１０〜１２の間には１３９アクセス監視カードが組み込まれる。 130 IO bus # 0 and 170-172 The 138 access monitoring card # 0 is incorporated between the IO buses # 00-02, and the 139 access between the 131 IO bus # 1 and 173-175 IO buses # 10-12. A monitoring card is incorporated.

本発明では、このＣＰＵとチップセット、１５０メモリと、ＩＯバス間のアクセス監視カード、ＩＯバスに接続されるＩＯデバイス (図面では示していない) をまとめて計算機と想定している。 In the present invention, the CPU, chipset, 150 memory, access monitoring card between the IO buses, and IO devices (not shown in the drawing) connected to the IO bus are assumed to be a computer.

このサーバで提供される仮想計算機システムは、ハイパバイザと呼ばれるソフトウェアによって実現される。 The virtual machine system provided by this server is realized by software called a hypervisor.

図２に仮想計算機システムで使用されるアドレスマップの相関図を示す。 FIG. 2 shows a correlation diagram of address maps used in the virtual machine system.

図１のサーバにより提供されるアドレスマップを絶対アドレス空間と呼ぶ。図２の実アドレス空間はＯＳが使用するアドレスを示し、図２の仮想アドレス空間とはアプリケーションプログラムが使用するアドレスを示している。 The address map provided by the server of FIG. 1 is called an absolute address space. The real address space in FIG. 2 indicates addresses used by the OS, and the virtual address space in FIG. 2 indicates addresses used by the application program.

図２は２つのＯＳが各ＬＰＡＲ上で動作している例を示しており、それぞれＯＳＡ、及びＯＳＢであるものとしている。ＯＳＡ及びＯＳＢの上で動作する、異なるアプリケーションプログラムが使用する仮想アドレスＶＡとＶＢが、それぞれ非論理分割時にはＲＡとＲＢで示されるアドレスに変換されるものとする。論理分割運用時でハイパバイザによるアドレス変換が無い場合、ＲＡとＲＢが同じ値であると、同じ絶対アドレスをＯＳＡとＯＳＢがそれぞれアクセスするため、正常に動作できない。ハイパバイザはこれを防ぐために、ＲＡ及びＲＢに対応する、ＰＡ及びＰＢ (≠ＰＡ) に対するアクセスを行わせている。 FIG. 2 shows an example in which two OSs are operating on each LPAR, which are OS A and OS B, respectively. It is assumed that virtual addresses VA and VB used by different application programs operating on OS A and OS B are converted into addresses indicated by RA and RB, respectively, at the time of non-logical division. When there is no address conversion by the hypervisor during logical partitioning operation, if RA and RB have the same value, the same absolute address is accessed by OS A and OS B, respectively. In order to prevent this, the hypervisor makes access to PA and PB (≠ PA) corresponding to RA and RB.

仮想計算機における、ＣＰＵ及びＩＯデバイスからのアクセスを以下に説明する。 The access from the CPU and IO device in the virtual machine will be described below.

ＣＰＵからのアクセスの場合、ＯＳＡがＶＡをＲＡに変換するＴＬＢエントリをＣＰＵに登録しようとするのをハイパバイザが検知し、ハイパバイザがＯＳに代わってＶＡをＰＡに変換するＴＬＢエントリの登録を行う。ハイパバイザは、各ＬＰＡＲへのメモリの割り付け状況とＲＡから、ＰＡを算出可能である。実際にアプリケーションプログラムがＶＡにアクセスする際には、ＶＡをＰＡに変換するＴＬＢエントリがハイパバイザによって登録されているため、該アクセスはＲＡではなくＰＡをアクセスすることになり、図２で示すＬＰＡＲごとのアドレス変換が実現されている。 In the case of access from the CPU, the hypervisor detects that the OS A intends to register the TLB entry for converting the VA into the RA, and the hypervisor registers the TLB entry for converting the VA into the PA on behalf of the OS. . The hypervisor can calculate PA from the memory allocation status and RA to each LPAR. When the application program actually accesses the VA, since the TLB entry for converting the VA to the PA is registered by the hypervisor, the access accesses the PA instead of the RA. For each LPAR shown in FIG. Address translation is realized.

一方、ＩＯデバイスからのアクセスの場合、ＣＰＵからのアクセスと異なりＴＬＢに相当するアドレス変換機能が無いため、ハイパバイザによるアドレス変換は出来ない。そこで本発明では、図１における１３８アクセス監視カード＃０を図３のように構成することによって、ＩＯからのトランザクションパケットに応じて該パケットを発生させたＬＰＡＲを識別して、ＬＰＡＲ毎に異なるアドレスにアクセスするようにアドレス変換を行う。以下このアドレス変換の仕組みを、図を用いて説明する。なお、１３９アクセス監視カード＃１についても全く同じ回路を使用するため、本実施例では１３８のみの説明を行う。 On the other hand, in the case of access from an IO device, unlike the access from the CPU, since there is no address conversion function corresponding to TLB, address conversion by the hypervisor cannot be performed. Therefore, in the present invention, by configuring the 138 access monitoring card # 0 in FIG. 1 as shown in FIG. 3, the LPAR that generated the packet is identified according to the transaction packet from the IO, and a different address for each LPAR. Address translation to access The mechanism of this address conversion will be described below with reference to the drawings. Since the same circuit is used for the 139 access monitoring card # 1, only 138 will be described in this embodiment.

図３は１３８アクセス監視カードの構成例を示す。１３８アクセス監視カードは、１３０ＩＯバス＃０に接続されており、２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔによりＩＯバスの制御を行っている。本実施例のＩ／Ｏデバイス側では、Slot＃０からSlot＃２がある構成を示している。Ｉ／Ｏバスへのアクセス要求は、２０４ＢｕｓＡｒｂ (バス調停回路) によって調停され、制御される。 FIG. 3 shows a configuration example of the 138 access monitoring card. The 138 access monitoring card is connected to the 130 IO bus # 0, and the IO bus is controlled by the 200 I / O Bus Ctrl Unit. On the I / O device side of the present embodiment, a configuration with Slot # 0 to Slot # 2 is shown. An access request to the I / O bus is arbitrated and controlled by a 204 Bus Arb (bus arbitration circuit).

１７０〜１７２ＩＯバスのいずれかのスロットから、他のＩＯバスまたはＣＰＵ、メモリに対するトランザクションパケットが発行された場合、ＩＯバスを介して該パケットが１３８アクセス監視カード＃０に伝達される。アクセス監視カードでは、２０４ＢｕｓＡｒｂが、ＩＯバス１７０〜１７２に同時にトランザクションパケットの処理要求が来た時、どのバスの情報を受け付けるかを判定すると同時に、一連のパケット変換の間、選択したパケットが発行されたスロット番号を記憶して、どのパケットをどのＬＰＡＲと対応付けするかを判断する指標を、２１０発行元Ｓｌｏｔ番号として出力する。 170-172 When a transaction packet for another IO bus, CPU, or memory is issued from any slot of the IO bus, the packet is transmitted to the 138 access monitoring card # 0 via the IO bus. In the access monitoring card, when 204 Bus Arb simultaneously receives a transaction packet processing request on the IO buses 170 to 172, it determines which bus information is accepted, and at the same time, during a series of packet conversions, the selected packet is The issued slot number is stored, and an index for determining which packet is associated with which LPAR is output as the 210 issuing slot number.

処理選択したパケットがECRCを持つ場合、２０６ ECRCチェックによってECRCをチェックする。チェック完了時に、エラーの有無と、エラーだった場合にはそのCRCパターンが２０９ＥＣＲＣチェック結果として２０５プロトコル変換部に出力される。 If the packet selected for processing has ECRC, ECRC is checked by 206 ECRC check. When the check is completed, the presence / absence of an error and, if there is an error, the CRC pattern is output to the 205 protocol conversion unit as the 209 ECRC check result.

それと同時に、ＩＯバスから入力されたパケット内のアドレスフィールドを切り出し、２０７アドレスに宛先アドレスとして載せる。同じく、パケットのデータフィールドを切り出し、２０８データに載せる。 At the same time, the address field in the packet input from the IO bus is cut out and placed at the 207 address as the destination address. Similarly, the data field of the packet is cut out and placed in 208 data.

この宛先アドレスを２０３のＡｄｒ修飾部で、そのアドレスの値と、２１０発行元Ｓｌｏｔ番号に基づいて、２０１Ａｄｒ変換情報に記憶されているＬＰＡＲ情報に基づいて修飾する。 The destination address is modified by the Adr modification unit 203 based on the LPAR information stored in the 201 Adr conversion information based on the value of the address and the 210 issuer slot number.

この修飾の内容は、前述のＬＰＡＲごとに異なるアドレスにアクセスするよう、アドレス変換することを指している。続いて２０２ＡｄｒＤｅｃでアクセス先とアクセス可否の判定を行う。最後に、２０５プロトコル変換部で送出パケットのフォーマットを整える。この時、もし２０９ＥＣＲＣチェック結果がエラーであった場合は、同時に送られているエラーのＣＲＣデータとなるよう、プロトコル変換する。この結果を、２２０パケットバスを経由して２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔに送り、そこから１３０Ｉ／Ｏバス＃０にパケットを送出する。 The contents of this modification indicate that address conversion is performed so that a different address is accessed for each LPAR described above. Subsequently, 202 Adr Dec is used to determine the access destination and whether access is possible. Finally, the 205 protocol conversion unit arranges the format of the outgoing packet. At this time, if the result of the 209 ECRC check is an error, the protocol conversion is performed so that the CRC data of the error transmitted at the same time is obtained. This result is sent to the 200 I / O Bus Ctrl Unit via the 220 packet bus, and then the packet is sent to the 130 I / O bus # 0.

図４にこのアドレス修飾部２０３の構成例を示す。図４に示す回路例では、２０１Ａｄｒ変換情報に格納されたアドレス変換に関する情報を使用する。この情報には次のものが含まれる。(1) インタリーブ及びアドレス領域情報、(2) スロット単位での所属LPAR情報、(3) 実アドレス範囲に応じたＬＰＡＲごとのアドレス加算値。図６にこれらの情報を格納するレジスタのフォーマットを示す。 FIG. 4 shows a configuration example of the address modification unit 203. In the circuit example shown in FIG. 4, information related to address conversion stored in 201 Adr conversion information is used. This information includes: (1) Interleave and address area information, (2) LPAR information for each slot, and (3) Address addition value for each LPAR according to the real address range. FIG. 6 shows a format of a register for storing such information.

（１）インターリーブおよびアドレス領域情報については、図２で説明したアドレスマップのうちの絶対アドレスで指定された範囲に対して、アドレス種別、インターリーブ有無・範囲指定、宛先バス・スロット番号の各情報が含まれる。アドレス種別は該アドレス範囲がメモリデバイス、もしくはＭｅｍｏｒｙＭａｐｐｅｄＩＯ（以下ＭＭＩＯ）によってＩＯデバイスに割り付けられているかの区別が格納される。該アドレス範囲がメモリデバイスに割り当てられている場合、特定のノードのメモリデバイスに割り付けられているか、もしくは複数のノードのメモリデバイス間でインターリーブされているかの情報が、インターリーブ有無・範囲指定のフィールドに格納される。該アドレス範囲がＩＯデバイスに割り付けられている（以下、ＭＭＩＯ）場合、アクセス対照となるＩＯデバイスのバス番号、およびスロット番号が、宛先バス・スロット番号のフィールドに格納される。
インターリーブ及びアドレス領域情報はサーバの初期化シーケンス中にＢＩＯＳ（ＢａｓｉｃＩＯＳｙｓｔｅｍ）、もしくはファームウェアによって設定され、特に論理分割をサポートしないサーバにおいても、これに類する情報を所持している。 (1) For interleaving and address area information, information on the address type, interleaving presence / absence / range designation, and destination bus / slot number for the range designated by the absolute address in the address map described in FIG. included. The address type stores a distinction as to whether the address range is allocated to an IO device by a memory device or Memory Mapped IO (hereinafter referred to as MMIO). When the address range is assigned to a memory device, information indicating whether the address range is assigned to a memory device of a specific node or is interleaved between memory devices of a plurality of nodes is displayed in the interleave presence / absence / range specification field. Stored. When the address range is allocated to an IO device (hereinafter referred to as MMIO), the bus number and slot number of the IO device to be accessed are stored in the destination bus slot number field.
The interleave and address area information is set by a BIOS (Basic IO System) or firmware during the server initialization sequence, and particularly in servers that do not support logical partitioning, similar information is possessed.

（２）スロット単位での所属ＬＰＡＲ情報は、発行元ＰＣＩ−Ｅｘｐｒｅｓｓスロットごとにアクセス可能な（＝同一のＬＰＡＲに属している）スロットを識別するための情報である。本情報中の許可ビットが１にセットされているスロットに対してのみアクセスが許可される。本情報は各ＬＰＡＲの生成時にハイパバイザによって設定される。また本レジスタフォーマットのバリエーションとして、許可ビットが０になっているスロットに対してのみアクセスを許可する、としても構わない。
本情報は、発行元ＩＯスロットと発行先ＩＯスロットの組み合わせ1つに対して1ビットの容量で済むため、少ない記憶容量で制御を実装できる。 (2) The assigned LPAR information in slot units is information for identifying an accessible slot (= belonging to the same LPAR) for each issuer PCI-Express slot. Access is permitted only to slots whose permission bit in this information is set to 1. This information is set by the hypervisor when each LPAR is generated. Further, as a variation of this register format, access may be permitted only to a slot whose permission bit is 0.
Since this information only requires a 1-bit capacity for one combination of the issue source IO slot and the issue destination IO slot, control can be implemented with a small storage capacity.

（３）実アドレス範囲に応じたＬＰＡＲごとの加算値は、ＬＰＡＲごとに固有の、実アドレスから絶対アドレスへのアドレス変換を行うための情報である。本情報は各ＬＰＡＲの生成時にハイパバイザによって設定される。 (3) The added value for each LPAR corresponding to the real address range is information for performing address conversion from a real address to an absolute address that is unique to each LPAR. This information is set by the hypervisor when each LPAR is generated.

なお、図６で示した制御情報フォーマットでは、個々のＩＯバス＃００〜０２が、それぞれ最大２スロットまで制御できるが、制御情報を増やすことで、より多くのスロットを制御することも可能である。 In the control information format shown in FIG. 6, each IO bus # 00-02 can control up to 2 slots at maximum, but more slots can be controlled by increasing the control information. .

図４に示す２０３Ａｄｒ修飾部は、３０４ａ、３０４ｂアドレス加算値と、アドレス領域情報、２０４ＢｕｓＡｒｂから入力される２１０発行元スロット番号、及びＩＯバストランザクション（207アドレス）を入力として受信する。本実施例では、アドレス加算値が２１０発行元スロット番号ごとに２つある例を示しているが、２つ以外でも構わない。 The 203 Adr modifier shown in FIG. 4 receives as input the 304a and 304b address addition values, the address area information, the 210 issuer slot number input from 204 Bus Arb, and the IO bus transaction (207 addresses). In this embodiment, an example is shown in which there are two address addition values for each 210 issuer slot number, but there may be other than two.

ＩＯバストランザクションは、３０１Ｔｘ復号回路により、リード・ライトなどのトランザクションの種別と、トランザクションが32bitアドレスだったか、64bitアドレスだったかを記録するＴｘ情報、及びアクセス先を示す３０７実アドレスに分離される。Ｔｘ情報については、Ａｄｒ修飾部では何も操作せずに、そのまま出力される。 The IO bus transaction is separated by the 301 Tx decoding circuit into Tx information that records the type of transaction such as read / write, whether the transaction was a 32-bit address or a 64-bit address, and 307 real address indicating the access destination. . The Tx information is output as it is without any operation in the Adr modifier.

３０４ａ，３０４ｂアドレス加算値は、２１０発行元スロット番号によって選択された後、３０５ａＢａｓｅ及びＳｉｚｅ部と、３０６ａ、３０６ｂＯｆｆｓｅｔ部に分離される。 The address addition values 304a and 304b are selected according to the 210 issuer slot number and then separated into a 305a Base and Size part and 306a and 306b Offset parts.

３０７実アドレスは、３０３ａ、３０３ｂ加算器に入力され、３０６ａ、３０６ｂＯｆｆｓｅｔと加算される。 307 The real address is input to the adders 303a and 303b and added to 306a and 306b Offset.

３１０６４bit変換では、３０７実アドレスが３２bitフォーマットである場合に、Ｏｆｆｓｅｔ加算時に６４bitとなる場合に備え、あらかじめ６４bit形式に拡張する。 310 In 64-bit conversion, 307, when the real address is in 32-bit format, it is expanded in advance to 64-bit format in preparation for the case where it becomes 64 bits when Offset is added.

３０２Ａｄｒ変換判定回路は、３０９ａ、３０９ｂの加算結果と、３０７実アドレスの内の１つを選択し、３１２絶対アドレスとして出力する。 The 302 Adr conversion determination circuit selects one of the addition result of 309a and 309b and the actual address of 307, and outputs it as a 312 absolute address.

図５は、２０２ＡｄｒＤｅｃの構成例を示す。２０２ＡｄｒＤｅｃは、図４の２０３Ａｄｒ修飾部から出力される３０８Ｔｘ情報、及び３１２絶対アドレス、３１１アドレス変換有無を受信し、さらに２０１Ａｄｒ変換情報からインタリーブ及びアドレス領域情報、Slot単位での所属ＬＰＡＲ情報と、２０４ＢｕｓＡｒｂからは２１０発行元Slot番号を受信して、図３の２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔに対し、トランザクション (以下ＩｎｂｏｕｎｄＴｘ) を発行する。 FIG. 5 shows a configuration example of 202 Adr Dec. 202 Adr Dec receives the 308 Tx information output from the 203 Adr modifier in FIG. 4, 312 absolute address, 311 address conversion presence / absence, and further interleave and address area information from 201 Adr conversion information, belonging in slot units The LPAR information and the 210 issuer slot number are received from 204 Bus Arb, and a transaction (hereinafter referred to as Inbound Tx) is issued to 200 I / O Bus Ctrl Unit of FIG.

図７に２０５プロトコル変換部の構成例を示す。３０８Ｔｘ情報により、Ｉ／Ｏデバイスが発行したトランザクションパケットが３２ｂｉｔアドレスモードであったことが通知されると、６４ｂｉｔアドレス形式である２１１絶対アドレスの値が、３２ｂｉｔ未満の領域であった場合に限り、アドレス形式を３２ｂｉｔ形式のＴＬＰパケットに再変換して、２２０パケットバス上に送出する。 FIG. 7 shows a configuration example of the 205 protocol conversion unit. When it is notified by 308 Tx information that the transaction packet issued by the I / O device is in the 32-bit address mode, only when the value of 211 absolute address in the 64-bit address format is an area less than 32 bits. The address format is reconverted into a 32-bit TLP packet and sent onto the 220 packet bus.

また、前記３２ｂｉｔ／６４ｂｉｔ判定後、確定したトランザクションパケットについて、３２ｂｉｔＣＲＣと６４ｂｉｔＣＲＣを同時に演算する。これは、データ長によっては６４ｂｉｔバス上に３２ｂｉｔしかデータが載っていない場合があるため、６４ｂｉｔ幅のデータでも３２ｂｉｔ幅のデータでもスループットを最大化するためには２種類のＣＲＣ演算器を準備し、常にＣＲＣ演算を行った上で、正しいデータ幅の計算結果を採用するという実装方式が必要な為である。 In addition, after the 32-bit / 64-bit determination, a 32-bit CRC and a 64-bit CRC are simultaneously calculated for the confirmed transaction packet. This is because depending on the data length, there may be only 32 bits of data on the 64 bit bus, so two types of CRC calculators are prepared to maximize the throughput of both 64 bit data and 32 bit data. This is because an implementation method is required in which the CRC calculation is always performed and the calculation result of the correct data width is adopted.

２０９ＥＣＲＣチェック結果からＥＣＲＣエラーが報告されていた場合、計算したＣＲＣの値５１０ＥＣＲＣパターンと、チェック結果のＣＲＣエラーパターンを使用し、アドレス変換後のデータでも同じエラーパターンが発生するＥＣＲＣを作成して、トランザクションパケットに付与する。 209 If an ECRC error is reported from the ECRC check result, the calculated CRC value 510 ECRC pattern and the CRC error pattern of the check result are used to create an ECRC in which the same error pattern occurs in the address-converted data. To the transaction packet.

実施例２は実施例１におけるスロットが、１３８アクセス監視カード＃０の下に必ず１つしか無いことが保証される場合の例である。 The second embodiment is an example in which it is guaranteed that there is always only one slot in the first embodiment under the 138 access monitoring card # 0.

この時、ＢｕｓＡｒｂは必要なくなり、Slot番号に関わる制御も不要となるため、図８に示すとおり、制御が大幅に簡素になる。 At this time, the bus arb is not necessary, and the control relating to the slot number is also unnecessary, so that the control is greatly simplified as shown in FIG.

この方式は、例えばＩ／Ｏカードに、少ないゲート数で１８８アクセス監視カード＃０相当の機能を有する付加論理を実装することが出来るため、LPAR上のOSからの制御を前提としないPCI-Expressカードの部品をそのまま使って、LPAR環境で利用可能なＩ／Ｏカードを製造することが可能である。 In this method, for example, additional logic having a function equivalent to 188 access monitoring card # 0 can be mounted on an I / O card with a small number of gates, so PCI-Express that does not assume control from the OS on the LPAR. It is possible to manufacture an I / O card that can be used in an LPAR environment by using the card components as they are.

以上の様に本発明は、仮想計算機システムにおいて、PCI-Expressにより接続されたＩ／Ｏデバイスについて、トランザクションパケットのアイソレーション障害を防止しながらアドレス変換とアドレスフォーマット変換を行い、論理分割機能を実現する。また、既存のPCI-Express Ｉ／Ｏカードの部品を使用して論理分割に対応したＩ／Ｏカードを製造する手段を提供する。 As described above, the present invention realizes a logical partition function by performing address conversion and address format conversion on an I / O device connected by PCI-Express while preventing transaction packet isolation failure in a virtual machine system. To do. In addition, a means for manufacturing an I / O card corresponding to logical partitioning using parts of an existing PCI-Express I / O card is provided.

本発明が想定するサーバの構成例のブロック図。The block diagram of the structural example of the server which this invention assumes. 本発明が想定するアドレスマップ図。The address map figure which this invention assumes. 本発明におけるアクセス監視カードの構成例１のブロック図。The block diagram of the structural example 1 of the access monitoring card | curd in this invention. 本発明におけるＡｄｒ修飾部の構成ブロック図。The block diagram of the configuration of the Adr modifier in the present invention. 本発明におけるＡｄｒＤｅｃの構成ブロック図。The block diagram of the configuration of Adr Dec in the present invention. 本発明におけるＡｄｒ変換情報のフォーマット図。The format figure of Adr conversion information in the present invention. 本発明におけるプロトコル変換部のブロック図。The block diagram of the protocol conversion part in this invention. 本発明におけるアクセス監視カードの構成例２のブロック図The block diagram of the structural example 2 of the access monitoring card | curd in this invention

符号の説明Explanation of symbols

１００〜１０３ＣＰＵ＃０〜ＣＰＵ＃３
１１０ＣＰＵバス
１２０チップセット
１２１ＣＰＵＢｕｓＣｔｒｌＵｎｉｔ
１２２ＭｅｍｏｒｙＣｔｒｌＵｎｉｔ
１２３Ｉ／ＯＣｔｒｌＵｎｉｔ
１３０、１３１ＩＯバス＃０、ＩＯバス＃１
１３８、１３９アクセス監視カード＃０、アクセス監視カード＃１
１５０メモリ
１６０メモリインタフェース
１７０〜１７５ＩＯバス＃００〜ＩＯバス＃１２
１８８アクセス監視カード＃０
１９０計算機
２００Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔ
２０１Ａｄｒ変換情報
２０２ＡｄｒＤｅｃ
２０３Ａｄｒ修飾部
２０４ＢｕｓＡｒｂ
２０５プロトコル変換部
２０６ＥＣＲＣチェック
２０７アドレス
２０８データ
２０９ＥＣＲＣチェック結果
２１０発行元Slot番号
２１１絶対アドレス
２２０パケットバス
２５０Ｉ／ＯＢｕｓＣｔｒｌＵｎｉｔ
２５１Ａｄｒ変換情報
２５２ＡｄｒＤｅｃ
２５３Ａｄｒ修飾部
２５５プロトコル変換部
２５６ＥＣＲＣチェック
２５７アドレス
２５８データ
２５９ＥＣＲＣチェック結果
２７０パケットバス
３０１Ｔｘ復号回路
３０２Ａｄｒ変換判定回路
３０３ａ、３０３ｂ加算器
３０４ａ、３０４ｂアドレス加算値
３０５ａ、３０５ｂＢａｓｅ，Ｓｉｚｅ
３０６ａ、３０６ｂＯｆｆｓｅｔ
３０７実アドレス
３０８Ｔｘ情報
３０９ａ、３０９ｂ加算結果
３１０６４ｂｉｔ変換
３１１アドレス変換有無
３１２絶対アドレス
４０１アクセス先判定回路
４０２アクセス可否判定
４０３宛先Ｒｅｇ
４０４ＩＮＴ生成
４０５アイソレーション障害レジスタ
４１１アドレス種別
４１２宛先スロット番号
４１３ＩｎｂｏｕｎｄＴｘ
５００３２ｂｉｔ整形
５０１３２ｂｉｔＣＲＣ生成
５０２６４ｂｉｔＣＲＣ生成
５０３ＣＲＣレジスタ
５１０ＥＣＲＣパターン
５１１アドレス・データ 100 to 103 CPU # 0 to CPU # 3
110 CPU Bus 120 Chipset 121 CPU Bus Ctrl Unit
122 Memory Ctrl Unit
123 I / O Ctrl Unit
130, 131 IO bus # 0, IO bus # 1
138, 139 Access monitoring card # 0, Access monitoring card # 1
150 Memory 160 Memory interface 170 to 175 IO bus # 00 to IO bus # 12
188 Access monitoring card # 0
190 Computer 200 I / O Bus Ctrl Unit
201 Adr conversion information 202 Adr Dec
203 Adr modifier 204 Bus Arb
205 Protocol conversion unit 206 ECRC check 207 Address 208 Data 209 ECRC check result 210 Issuer slot number 211 Absolute address 220 Packet bus 250 I / O Bus Ctrl Unit
251 Adr conversion information 252 Adr Dec
253 Adr modification unit 255 protocol conversion unit 256 ECRC check 257 address 258 data 259 ECRC check result 270 packet bus 301 Tx decoding circuit 302 Adr conversion determination circuit 303a, 303b adder 304a, 304b address addition value 305a, 305b Base, Size
306a, 306b Offset
307 Real address 308 Tx information 309a, 309b Addition result 310 64-bit conversion 311 Address conversion presence / absence 312 Absolute address 401 Access destination determination circuit 402 Access availability determination 403 Destination Reg
404 INT generation 405 Isolation failure register 411 Address type 412 Destination slot number 413 Inbound Tx
500 32-bit shaping 501 32-bit CRC generation 502 64-bit CRC generation 503 CRC register 510 ECRC pattern 511 Address data

Claims

複数のCPUとメモリと複数のIOデバイスを、それぞれ制御部とCPUバス、メモリインタフェース、IOバスにより接続し、前記IOバス上のメモリとIOデバイスの間のアクセスを監視するアクセス監視装置を備えた物理計算機上にハイパバイザの制御下で複数のＬＰＡＲを生成する仮想計算機システムにおいて、
前記IOデバイスからメモリへのアクセス時に、該アクセスを発生させたデバイスが属するLPARで確保しているアドレス空間にアドレス変換する手段と、前記アドレス変換の結果、変換前のアドレスフォーマットではビット数が足りず、指定出来ない場合に、アドレス領域を拡張したフォーマットに変換する手段を有することを特徴とする仮想計算機システム。 A CPU, a memory, and a plurality of IO devices are connected to each other by a control unit, a CPU bus, a memory interface, and an IO bus, and an access monitoring device that monitors accesses between the memory and the IO devices on the IO bus is provided. In a virtual computer system that generates a plurality of LPARs under the control of a hypervisor on a physical computer,
When accessing the memory from the IO device, means for converting the address to the address space reserved in the LPAR to which the device that generated the access belongs, and the address format before conversion as a result of the address conversion, the number of bits is sufficient. A virtual computer system characterized by having means for converting the address area into an extended format when it cannot be specified.

前記アドレス変換時や、アドレスフォーマット変換時に、トランザクションパケットに埋め込まれたECRCを再計算し、トランザクションパケット内のECRCを置き換える手段を有することを特徴とする請求項１記載の仮想計算機システム。 2. The virtual computer system according to claim 1, further comprising means for recalculating an ECRC embedded in a transaction packet and replacing the ECRC in the transaction packet at the time of address conversion or address format conversion.

前記ECRC再計算時に、変換前のトランザクションパケットに埋め込まれていたECRCをチェックし、エラーがあった場合には同じエラーパターンを再計算したECRCに埋め込む手段を有することを特徴とする請求項２記載の仮想計算機システム。 The ECRC embedded in the transaction packet before conversion is checked at the time of the ECRC recalculation, and if there is an error, the same error pattern is embedded in the recalculated ECRC. Virtual computer system.

前記ECRC再計算時に、IOバスに流れるビットパターンを32bit CRC演算器と64bit CRC演算器で同時に演算し、IOバス上に実際に存在していたデータやアドレスが、32bit幅であったか、64bit幅であったかを前記演算後に判定してCRC演算データを収めるレジスタにセットすることを特徴とする請求項２の仮想計算機システム。 At the time of ECRC recalculation, the bit pattern that flows on the IO bus is calculated simultaneously by the 32-bit CRC calculator and the 64-bit CRC calculator, and the data and addresses that were actually present on the IO bus were 32 bits wide or 64 bits wide. 3. The virtual computer system according to claim 2, wherein the virtual computer system is determined after the calculation and set in a register for storing CRC calculation data.