CN109324899B - 基于PCIe池化硬件资源的编址方法、装置及主控节点 - Google Patents

基于PCIe池化硬件资源的编址方法、装置及主控节点 Download PDF

Info

Publication number
CN109324899B
CN109324899B CN201811051961.XA CN201811051961A CN109324899B CN 109324899 B CN109324899 B CN 109324899B CN 201811051961 A CN201811051961 A CN 201811051961A CN 109324899 B CN109324899 B CN 109324899B
Authority
CN
China
Prior art keywords
pcie
address
resource pool
resource
cabinet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811051961.XA
Other languages
English (en)
Other versions
CN109324899A (zh
Inventor
袁柳
杨腾飞
谢海永
魏星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Electronic and Information Technology of CETC
Original Assignee
China Academy of Electronic and Information Technology of CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Electronic and Information Technology of CETC filed Critical China Academy of Electronic and Information Technology of CETC
Priority to CN201811051961.XA priority Critical patent/CN109324899B/zh
Publication of CN109324899A publication Critical patent/CN109324899A/zh
Application granted granted Critical
Publication of CN109324899B publication Critical patent/CN109324899B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Small-Scale Networks (AREA)
  • Bus Control (AREA)

Abstract

本发明公开了一种基于PCIe池化硬件资源的编址方法、装置及主控节点，本发明可以通过层次化的编址方案对PCIe池化硬件资源进行统一编址，编址采用从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的层次化设计。当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。由于本发明每个计算、存储资源均通过编址技术形成特定的地址，可以实现各资源之间基于地址的直接访问，为大规模硬件资源高效调度或重构提供支撑。从而有效解决了现有PCIe池化硬件资源无法实现高效直接的访问的问题。

Description

基于PCIe池化硬件资源的编址方法、装置及主控节点
技术领域
本发明涉及计算机技术领域，特别是涉及一种基于PCIe池化硬件资源的编址方法、装置及主控节点。
背景技术
海量数据和海量节点需求正给传统数据中心带来极大挑战，传统的数据中心存在各CPU、GPU、FPGA、人工智能芯片等计算资源、存储资源和网络资源冗余度过高，效率和计算密度不高，同时由于硬件资源利用率不均衡会造成资源和能源的浪费。基于PCIe池化的硬件架构具有如下优势：1)配置简单、可扩展性好，支持通过PCIe switch扩展IO数量，可支持大部分异构设备，且设备可直接连接，降低CPU压力，简化程序流程。2)PCIe提供连接重构能力：能够为应用分配恰当数量的计算节点，各计算存储资源可以被统一管理，灵活分配，支持连接重构。3)低延迟，降低CPU压力，简化程序流程：PCIe总线提供DMA技术，各终端设备可以通过PCIe直接连接，无需通过CPU。4)提供池化管理：提供SR-IOV,MR-IOV等虚拟化技术。因此百度、腾讯、华为等企业都开始了数据中心硬件资源池化研究。但是目前基于PCIe硬件资源池化仅局限于整机层次，还在探索，没有形成标准，且由于非透明桥等技术的存在，大量硬件资源难以实现完全的解耦合，也没有形成从多个不同机柜、到机柜中不同主板、主板中不同计算存储网络资源池、资源池中不同硬件资源的层次化编址方案。从而造成对对层次化的硬件资源无法实现高效直接的访问。
发明内容
本发明提供了一种基于PCIe池化硬件资源的编址方法、装置及主控节点，以解决现有技术中PCIe池化硬件资源无法实现高效直接的访问的问题。
本发明第一方面提供了一种基于PCIe池化硬件资源的编址方法，该方法包括：
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；
步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内，主板ID和主板基址形成PCIe主板的主板地址；
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树；
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝硬件资源的总线号+硬件资源的设备号+硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
优选地，所述方法还包括：按照预设的编址格式将编址结果存储于存储器中。
优选地，所述预设的编址格式包括：机柜地址，主板地址，资源池地址和硬件资源地址；
其中，所述机柜地址包括机柜ID和机柜基址，机柜ID人工定义，机柜基址由交换机分配；
所述主板地址包括主板ID和主板基址，主板ID包括PCIe主板的总线号，设备号和功能号；
所述资源池地址包括资源池ID和资源池基址，资源池ID进一步包括PCIe资源池的总线号，PCIe资源池的设备号和PCIe资源池的功能号；
所述硬件资源地址包括硬件资源ID和硬件资源基址，硬件资源ID进一步包括PCIe硬件资源的总线号，PCIe硬件资源的设备号和PCIe硬件资源的功能号。
优选地，所述PCIe主板的总线号包括PCIe主板的主总线、次级总线和从属总线号，主板基址为配置的PCIe基址寄存器的地址，分配于所在机柜的内存空间中。
优选地，其中PCIe资源池的总线号包括PCIe资源池的主总线、次级总线和从属总线号，资源池基址为配置的PCIe基址寄存器的地址，分配于所在主板的内存空间中。
优选地，所述PCIe硬件资源的总线号包括PCIe硬件资源的主总线、次级总线和从属总线号，硬件资源基址为配置的PCIe基址寄存器的地址，分配于所在资源池的内存空间中。
优选地，该方法还包括：当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。
本发明第二方面提供了一种基于PCIe池化硬件资源的编址装置，该装置包括：
创建单元，用于依次以所有机柜地址为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜的地址空间内，主板ID和主板基址形成PCIe主板的主板地址；依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；以每个资源池为树的根，创建包括所有硬件资源的树；
分配单元，用于为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
本发明第三方面提供了一种基于PCIe池化硬件资源的主控节点，包括上述所述的基于PCIe池化硬件资源的编址装置，以及寻址装置和存储器；其中，
所述寻址装置，用于当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件；
所述存储器，用于存储所述编址装置的编址。
本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现上述任意一种所述的基于PCIe池化硬件资源的编址方法。
本发明有益效果如下：
本发明可以通过层次化的编址方案对PCIe池化硬件资源进行统一编址，编址采用从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的层次化设计。当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。由于本发明每个计算、存储通过编址技术形成特定的地址，以实现各资源之间的直接访问，为大规模硬件资源高效重构提供支撑。从而有效解决了现有PCIe池化硬件资源无法实现高效直接的访问的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种基于PCIe池化硬件资源的编址方法的流程示意图；
图2是本发明实施例的PCIe池化硬件资源的硬件架构示意图；
图3是本发明实施例的编址示意图；
图4是本发明实施例的基于树状结构的编址示意图；
图5是本发明实施例的基于设备ID的寻址方法流程示意图；
图6是本发明实施例的基于设备基址的寻址方法示意图；
图7是本发明实施例的主控节点的结构示意图；
图8是本发明实施例的基于PCIe池化硬件资源的编址装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明第一实施例提供了一种基于PCIe池化硬件资源的编址方法，参见图1，该方法包括：
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机分配的地址资源，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；
步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内，主板ID和主板基址形成PCIe主板的主板地址；
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和资源池基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树；
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝总线号+设备号+功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
也就是说，本发明实施例可以通过层次化的编址方案对PCIe池化硬件资源进行统一编址，编址采用从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的层次化设计。当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。由于本发明每个计算、存储通过编址技术形成特定的地址，以实现各资源之间的直接访问，为大规模硬件资源高效重构提供支撑。从而有效解决了现有PCIe池化硬件资源无法实现高效直接的访问的问题。
本发明实施例中所述方法还包括：按照预设的编址格式将编址结果存储于存储器中。所述预设的编址格式包括：机柜地址，主板地址，资源池地址和硬件资源地址；其中，所述机柜地址包括机柜ID和机柜基址，机柜ID人工定义，机柜基址由交换机分配；所述主板地址包括主板ID和主板基址，主板ID包括PCIe主板的总线号，PCIe主板的设备号和PCIe主板的功能号；所述资源池地址包括资源池ID和资源池基址，资源池ID进一步包括PCIe资源池的总线号，PCIe资源池的设备号和PCIe资源池的功能号；所述硬件资源地址包括硬件资源ID和硬件资源基址，硬件资源ID进一步包括PCIe硬件资源的总线号，PCIe硬件资源的设备号和PCIe硬件资源的功能号。
本发明实施例中所述PCIe主板的总线号包括PCIe主板的主总线、次级总线和从属总线号，主板基址为配置的PCIe基址寄存器的地址，分配于所在机柜的内存空间中。
本发明实施例中所述PCIe资源池的总线号包括PCIe资源池的主总线、次级总线和从属总线号，资源池基址为配置的PCIe基址寄存器的地址，分配于所在主板的内存空间中。
本发明实施例中所述PCIe硬件资源的总线号包括PCIe硬件资源的主总线、次级总线和从属总线号，硬件资源基址为配置的PCIe基址寄存器的地址，分配于所在资源池的内存空间中。
本发明实施例所述方法还包括：当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。
本发明实施例所提供一种面向PCIe池化硬件资源的层次化编址方案，解决现有编址方法对层次化的硬件资源无法实现高效直接的访问，充分发挥PCIe连接低延迟、高灵活性、可动态部署、设备可重构的优势。
另外，本发明实施例提供从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的ID编址和基址编址，在访问设备时，可以通过设备ID进行直接定位到具体硬件资源，也可以通过基址进行直接定位到具体硬件资源，灵活性更高。
本发明基于标准PCIe接口提出一种基于树型结构的层次化编址技术，形成从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的层次化方案。每个计算、存储通过编址技术形成特定的地址，以实现各资源之间的直接访问，从而支撑大规模硬件资源重构。
图2为本发明提出的PCIe池化硬件资源的硬件架构，基于此硬件架构，实现PCIe池化硬件的层次化编址。PCIe池化硬件架构包括机柜到主板到资源池到硬件资源的层次化结构。
首先PCIe池化硬件架构包括不同机柜构成的集群，机柜之间通过万兆以太网交换机连接；其中每一台机柜都包括多块不同的主板，主板之间通过PCIe交换机互联；其中每一块主板都包括不同的资源池，包括CPU、GPU、FPGA、IPU等异构计算资源，SSD、HDD等存储资源分布在各个主板中，每个主板包含了CPU池、GPU池、FPGA池、IPU池、存储池等至少一种资源池，在主板中各个资源池通过PCIe switch交叉开关连接；CPU池、GPU池、FPGA池、IPU池、存储池等不同资源池中分别包括1块或多块CPU、GPU、FPGA、IPU、硬盘等硬件资源。
基于PCIe池化硬件的层次化编址方法按照从机柜、到主板、到资源池、到底层硬件资源的编址方案，为每一个底层硬件资源分配独立的ID和基址，以便通过设备ID信息或设备基址信息直接找到并访问唯一对应的硬件设备。
图1为本发明提出的基于池化硬件资源的编址流程图，数据中心编址采用层次化方案，基于PCIe多总线配置的树形结构，以树形结构进行层次化编址。
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址。然后以机柜为根创建包括所有机柜内部PCIe主板的树。步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，然后为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的地址空间内。主板ID和主板基址形成PCIe主板的主板地址。
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树。
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，然后为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内。资源池ID和资源池基址形成资源池地址。
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树。
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，然后为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
通过以上层次化的编址方案，每一个硬件资源都有其一一对应的存储空间，可以根据存储空间直接调用硬件资源，完成基于PCIe DMA的数据传输。
图3为本发明提出的编址格式示意图，编址结果存储于存储器中。共包括4个部分：机柜地址，主板地址，资源池地址和硬件资源地址。其中：
机柜地址包括机柜ID和机柜基址，机柜ID人工定义，机柜基址分配于内存空间内。
主板地址包括主板ID和主板基址，主板ID包括PCIe主板的总线号、PCIe主板的设备号和PCIe主板的功能号。其中PCIe主板的总线号包括PCIe主板的主总线、次级总线和从属总线号。主板基址为配置的PCIe基址寄存器的地址，分配于所在机柜的内存空间中。
资源池地址包括资源池ID和资源池基址，资源池ID包括PCIe资源池的总线号、PCIe资源池的设备号和PCIe资源池的功能号。其中PCIe资源池的总线号包括PCIe资源池的主总线、次级总线和从属总线号。资源池基址为配置的PCIe基址寄存器的地址，分配于所在主板的内存空间中。
硬件资源地址包括硬件资源ID和硬件资源基址，硬件资源ID包括PCIe硬件资源的总线号、PCIe硬件资源的设备号和PCIe硬件资源的功能号。其中PCIe硬件资源的总线号包括PCIe硬件资源的主总线、次级总线和从属总线号。硬件资源基址为配置的PCIe基址寄存器的地址，分配于所在资源池的内存空间中。
图4为本发明基于PCIe资源池化硬件架构及编址方法的实施案例。其中包括：一台整机柜1，整机柜1基于PCIe switch交换机1与主板11，主板12，主板13相连。在进行编址时，为机柜1人工定义机柜的ID,通过交换机为机柜1分配地址，例如：配置机柜1的ID为0，基址为192.168.1.1。机柜ID和机柜基址依次存储作为机柜地址。
整机柜1包括3个主板，主板11，主板12和主板13。在进行编址时，以整机柜1为根，建立基于机柜内PCIe switch1的树。扫描机柜1连接的PCIe主板资源，并通过非透明桥技术为其配置总线号(主总线号、次级总线号、从属总线号)、设备号和功能号，三者共同构成生成主板11、主板12、主板13的ID号。然后根据机柜基址和机柜地址空间大小，为三个主板配置基址寄存器，构成主板11的基址、主板12的基址、主板13的基址。例如：主板11的总线号为125，设备号为1，功能号为1，故主板11的ID为125.1.1。同理：主板12的ID为：122.2.1,主板13的ID为126.3.1。例如：假设机柜1种主控节点的基址范围为：0x0000到Ox200000，举例主板11的基址可为Ox10000，主板12的基址为Ox90000,主板13的基址为Ox150000,在机柜内部主控节点的内存空间内。
主板11通过PCIe switch2连接资源池111，资源池112，资源池113.以主板11为根，建立基于主板内PCIe switch2的树。扫描主板11连接的PCIe资源池，并为其配置总线号(主总线号、次级总线号、从属总线号)、设备号和功能号，三者共同构成生成资源池111、资源池112、资源池113的ID号。然后根据主板基址和主板地址空间大小，为三个资源池配置基址寄存器，构成资源池111的基址、资源池112的基址、资源池113的基址。例如：资源池112的总线号为：125，设备号为1，功能号为1，故资源池112的ID为：125.1.1。同理：资源池111的ID为：122.2.1，资源池113的ID为122.3.2。资源池112的基址在所在主板11的基址空间内，假设主板11的基址空间范围为0x00000到O200000，则资源池111的基址可设置为0x00000,112的基址可设置为Ox20000，资源池113的基址可以设置为Ox80000。
资源池112通过PCIe switch3连接硬件资源1121，硬件资源1122，硬件资源1123.以资源池112为根，建立基于资源池内PCIe switch3的树。扫描资源池112连接的PCIe硬件资源，并为其配置总线号(主总线号、次级总线号、从属总线号)、设备号和功能号，三者共同构成生成硬件资源1121、硬件资源1122、硬件资源1123的ID号。然后根据资源池基址和资源池地址空间大小，为三个硬件配置基址寄存器，构成硬件资源1121的基址、硬件资源1122的基址、硬件资源1123的基址。例如：硬件资源1121的总线号为：445，设备号为5，功能号为1，故硬件资源1121的ID为：445.5.1。同理硬件资源1122的ID为：234.3.1，硬件资源1123的ID为：345.4.1。硬件资源1121的基址在所在资源池112的基址空间内，假设资源池112的基址范围为：0x2000到0x80000,则硬件资源1121的基址可设置为Ox20000，资源池1122的基址可设置为0x40000，资源池1123的基址可设置为0x50000。主板13通过PCIe switch4连接资源池131，资源池132，资源池133.以主板13为根，建立基于主板内PCIe switch4的树。扫描主板13连接的PCIe资源池，并为其配置总线号(主总线号、次级总线号、从属总线号)、设备号和功能号，三者共同构成生成资源池131、资源池132、资源池133的ID号。然后根据主板基址和主板地址空间大小，为三个资源池配置基址寄存器，构成资源池131的基址、资源池132的基址、资源池133的基址。例如：资源池131的ID为：122.1.1。同理：资源池132的ID为：122.2.1，资源池133的ID为126.3.1。假设主板13的基址空间范围为0x00000到O200000，则资源池131的基址可设置为0x00000,132的基址可设置为Ox20000，资源池133的基址可以设置为Ox80000。
资源池133通过PCIe switch5连接硬件资源1331，硬件资源1332，硬件资源1333.以资源池133为根，建立基于资源池内PCIe switch5的树。扫描资源池133连接的PCIe硬件资源，并为其配置总线号(主总线号、次级总线号、从属总线号)、设备号和功能号，三者共同构成生成硬件资源1331、硬件资源1332、硬件资源1333的ID号。然后根据资源池基址和资源池地址空间大小，为三个硬件配置基址寄存器，构成硬件资源1331的基址、硬件资源1332的基址、硬件资源1333的基址。例如：硬件资源1331的ID为：445.8.1，1332的ID为：233.5.1，硬件资源1333的ID为：233.6.1。假设资源池133的基址范围为：0x20000到0x80000,则硬件资源1331的基址可设置为Ox20000，资源池1332的基址可设置为0x50000，资源池1333的基址可设置为0x70000。
本发明提供从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的ID编址和基址编址，在访问设备时，可以通过设备ID进行直接定位到具体硬件资源，也可以通过基址进行直接定位到具体硬件资源，灵活性更高。当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。
图5给出基于设备ID的寻址流程图。寻址主要包括如下4个步骤：
步骤1：读取存储器中的编址信息，根据接收到的PCIe访问请求的机柜ID号定位到目标机柜；
步骤2：根据主板ID的PCIe主板的总线号、PCIe主板的设备号和PCIe主板的功能号定位到连接到机柜的目标主板；
步骤3：根据主板中PCIe资源池的总线号、PCIe资源池的设备号和PCIe资源池的功能号定位到主板中的资源池；
步骤4：根据资源池中PCIe硬件资源的总线号、PCIe硬件资源的设备号和PCIe硬件资源的功能号定位到指定硬件资源，进行访问。
图6给出基于设备基址的寻址流程图。寻址主要包括如下4个步骤：
步骤1：读取存储器中的编址信息，根据接收到的PCIe访问请求的机柜基址号定位到目标机柜；
步骤2：根据主板基址定位到连接到机柜的目标主板；
步骤3：根据主板中资源池的基址定位到主板中的资源池；
步骤4：根据资源池中硬件资源的基址定位到指定硬件资源，进行访问。
图7为本发明提出的一种PCIe池化硬件资源的编址和寻址***，其中编址和寻址过程由主控节点完成，完成对连接在主控节点上的各机柜、主板、资源池、硬件资源进行分布式编址和寻址。其中：主控节点包括编址装置、寻址装置和存储器。主控节点与多个计算节点和存储节点相连，计算节点包括一系列计算资源所在的机柜、主板、资源池、硬件资源；存储节点包括一系列存储资源所在的机柜、主板、资源池、硬件资源。
在开机进行PCIe配置过程中，编址装置按照图2所示基于PCIe池化硬件资源的编址流程，对连接在主控节点上的机柜、主板、资源池、硬件资源进行编址，并将编址生成的结果存储于主控节点的存储器中。
存储器存储编址装置生成的编址信息，并在发起访问请求时将编址信息发送给寻址装置。
寻址装置根据存储器中存储的硬件资源编址信息，根据设备ID号(设备号、总线号、功能号)或设备基址定位到具体的硬件资源，发起访问调度，直接对具体的硬件资源通过PCIe DMA进行访问。
本发明实施例一方面提出的基于池化硬件资源的编址流程图，数据中心编址采用层次化方案，基于PCIe多总线配置的树形结构，以树形结构进行层次化编址。
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址。然后以机柜为根创建包括所有机柜内部PCIe主板的树。
步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，然后为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内。主板ID和主板基址形成PCIe主板的主板地址。
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树。
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，然后为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内。资源池ID和资源池基址形成资源池地址。
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树。
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，然后为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
本发明实施例通过以上层次化的编址方案，每一个硬件资源都有其一一对应的存储空间，可以根据存储空间直接调用硬件资源，完成基于PCIe DMA或兼容标准PCIe链路层协议的包格式的数据传输。
本发明实施例提出的编址格式示意图，编址结果存储于存储器中。共包括4个部分：机柜地址，主板地址，资源池地址和硬件资源地址。其中：机柜地址包括机柜ID和机柜基址，主板地址包括主板ID和主板基址，资源池地址包括资源池ID和资源池基址，硬件资源地址包括硬件资源ID和硬件资源基址。
本发明实施例在数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。
本发明第二实施例还提供了一种基于PCIe池化硬件资源的编址装置，参见图8，包括：
创建单元，用于依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内，主板ID和主板基址形成PCIe主板的主板地址；依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；以每个资源池为树的根，创建包括所有硬件资源的树；
分配单元，用于为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
本发明实施例的编制装置通过层次化的编址方案对PCIe池化硬件资源进行统一编址，编址采用从机柜，到不同主板，到不同资源池，再到不同底层硬件资源的层次化设计。当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。由于本发明每个计算、存储通过编址技术形成特定的地址，以实现各资源之间的直接访问，为大规模硬件资源高效重构提供支撑。从而有效解决了现有PCIe池化硬件资源无法实现高效直接的访问的问题。
本发明实施例的相关内容可参见方法实施例部分进行理解，在此不做详细论述。
本发明第三实施例提供了一种基于PCIe池化硬件资源的主控节点，参见图7，包括本发明第二实施例所述的基于PCIe池化硬件资源的编址装置，以及寻址装置和存储器；其中，
所述寻址装置，用于当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件；
所述存储器，用于存储所述编址装置的编址。
本发明实施例的相关内容可参见方法实施例和装置实施例部分进行理解，在此不做详细论述。
本发明第四实施例，提供一种提供计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为在交换机中为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；
步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内，主板ID和主板基址形成PCIe主板的主板地址；
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树；
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
本发明实施例的相关部分可参见方法实施例进行理解，在此不做详细赘述。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式文件***数据导入装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种基于PCIe池化硬件资源的编址方法，其特征在于，包括：
步骤1：依次以所有机柜为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；
步骤2：依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜内主控节点的内存地址空间内，主板ID和主板基址形成PCIe主板的主板地址；
步骤3：依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；
步骤4：根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；
步骤5：以每个资源池为树的根，创建包括所有硬件资源的树；
步骤6：为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
2.根据权利要求1所述的方法，其特征在于，还包括：
按照预设的编址格式将编址结果存储于存储器中。
3.根据权利要求2所述的方法，其特征在于，
所述预设的编址格式包括：机柜地址，主板地址，资源池地址和硬件资源地址；
其中，所述机柜地址包括机柜ID和机柜基址，机柜ID人工定义，机柜基址由交换机分配；
所述主板地址包括主板ID和主板基址，主板ID包括PCIe主板的总线号，PCIe主板的设备号和PCIe主板的功能号；
所述资源池地址包括资源池ID和资源池基址，资源池ID进一步包括PCIe资源池的总线号，PCIe资源池的设备号和PCIe资源池的功能号；
所述硬件资源地址包括硬件资源ID和硬件资源基址，硬件资源ID进一步包括PCIe硬件资源的总线号，PCIe硬件资源的设备号和PCIe硬件资源的功能号。
4.根据权利要求3所述的方法，其特征在于，
所述PCIe主板的总线号包括PCIe主板的主总线、次级总线和从属总线号，主板基址为配置的PCIe基址寄存器的地址，分配于所在机柜主控节点的内存空间中。
5.根据权利要求3所述的方法，其特征在于，
所述PCIe资源池的总线号包括PCIe资源池的主总线、次级总线和从属总线号，资源池基址为配置的PCIe基址寄存器的地址，分配于所在主板的内存空间中。
6.根据权利要求3所述的方法，其特征在于，
所述PCIe硬件资源的总线号包括PCIe硬件资源的主总线、次级总线和从属总线号，硬件资源基址为配置的PCIe基址寄存器的地址，分配于所在资源池的内存空间中。
7.根据权利要求1所述的方法，其特征在于，还包括：
当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件。
8.一种基于PCIe池化硬件资源的编址装置，其特征在于，包括：
创建单元，用于依次以所有机柜地址为树型结构的根，创建机柜ID和机柜基址，其中，机柜ID为机柜的人工编号，机柜基址为交换机为机柜分配的地址，机柜ID和机柜基址共同构成机柜地址，并以机柜为根创建包括所有机柜内部PCIe主板的树；依次扫描机柜中的PCIe主板，根据机柜内部PCIe主板所在树的层级创建主板的设备ID号，其中，主板的设备ID＝PCIe主板的总线号+PCIe主板的设备号+PCIe主板的功能号，为PCIe主板分配基址，PCIe主板的基址包含在机柜的地址空间内，主板ID和主板基址形成PCIe主板的主板地址；依次以所有主板为树的根，创建主板包含的所有硬件资源池的树；根据主板所在树的层次依次创建主板内资源池的ID号和基址，其中，资源池的ID号＝PCIe资源池的总线号+PCIe资源池的设备号+PCIe资源池的功能号，为PCIe资源池分配基址，PCIe资源池的基址包含在所在主板的地址空间内，资源池ID和资源池基址形成资源池地址；以每个资源池为树的根，创建包括所有硬件资源的树；
分配单元，用于为资源池内的硬件资源分配ID号和地址空间，其中，硬件资源的ID号＝PCIe硬件资源的总线号+PCIe硬件资源的设备号+PCIe硬件资源的功能号，为硬件资源分配基址，硬件资源的基址包含在所在资源池的地址空间内，形成硬件资源的地址。
9.一种基于PCIe池化硬件资源的主控节点，其特征在于，包括权利要求8所述的基于PCIe池化硬件资源的编址装置，以及寻址装置和存储器；
所述寻址装置，用于当数据发生传输时，根据编址方案首先找到资源传输目的机柜，到达目的机柜后再找到机柜中主板的地址，然后再根据资源池地址选择主板中的区域位置，最后根据硬件资源地址访问到资源池中的指定硬件；
所述存储器，用于存储所述编址装置的编址。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有信号映射的计算机程序，所述计算机程序被至少一个处理器执行时，以实现权利要求1-7中任意一项所述的基于PCIe池化硬件资源的编址方法。
CN201811051961.XA 2018-09-10 2018-09-10 基于PCIe池化硬件资源的编址方法、装置及主控节点 Active CN109324899B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811051961.XA CN109324899B (zh) 2018-09-10 2018-09-10 基于PCIe池化硬件资源的编址方法、装置及主控节点

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811051961.XA CN109324899B (zh) 2018-09-10 2018-09-10 基于PCIe池化硬件资源的编址方法、装置及主控节点

Publications (2)

Publication Number Publication Date
CN109324899A CN109324899A (zh) 2019-02-12
CN109324899B true CN109324899B (zh) 2022-05-20

Family

ID=65264013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811051961.XA Active CN109324899B (zh) 2018-09-10 2018-09-10 基于PCIe池化硬件资源的编址方法、装置及主控节点

Country Status (1)

Country Link
CN (1) CN109324899B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061535B (zh) * 2019-12-20 2023-07-25 网易（杭州）网络有限公司 界面切换方法及装置
CN116016437A (zh) * 2021-10-21 2023-04-25 华为技术有限公司 计算***、寻址的方法、计算节点、存储介质及程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669082A (zh) * 2007-02-28 2010-03-10 Lsi公司 集群化多个独立的高速pci层次结构的装置和方法
CN102521195A (zh) * 2011-11-18 2012-06-27 华为技术有限公司 一种地址资源分配方法及存储器
CN102694720A (zh) * 2011-03-24 2012-09-26 日电（中国）有限公司 编址方法、编址装置、架构管理器、交换机和数据路由方法
CN102722458A (zh) * 2012-05-29 2012-10-10 中国科学院计算技术研究所 一种用于多根共享***的i/o重映射方法和装置
CN104285218A (zh) * 2013-12-31 2015-01-14 华为技术有限公司 一种扩展PCIe总线域的方法和装置
WO2016150098A1 (zh) * 2015-03-20 2016-09-29 中兴通讯股份有限公司 PCIe设备和PCIe总线的管理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7243167B2 (en) * 2003-09-19 2007-07-10 Intel Corporation Managing peripheral device address space resources using a tunable bin-packing/knapsack algorithm

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669082A (zh) * 2007-02-28 2010-03-10 Lsi公司 集群化多个独立的高速pci层次结构的装置和方法
CN102694720A (zh) * 2011-03-24 2012-09-26 日电（中国）有限公司 编址方法、编址装置、架构管理器、交换机和数据路由方法
CN102521195A (zh) * 2011-11-18 2012-06-27 华为技术有限公司 一种地址资源分配方法及存储器
CN102722458A (zh) * 2012-05-29 2012-10-10 中国科学院计算技术研究所 一种用于多根共享***的i/o重映射方法和装置
CN104285218A (zh) * 2013-12-31 2015-01-14 华为技术有限公司 一种扩展PCIe总线域的方法和装置
WO2016150098A1 (zh) * 2015-03-20 2016-09-29 中兴通讯股份有限公司 PCIe设备和PCIe总线的管理方法及装置

Also Published As

Publication number Publication date
CN109324899A (zh) 2019-02-12

Similar Documents

Publication Publication Date Title
US8930676B2 (en) Master core discovering enabled cores in microprocessor comprising plural multi-core dies
CN109240832B (zh) 一种硬件重构***及方法
US8544019B2 (en) Thread queueing method and apparatus
RU2571366C2 (ru) Виртуальная архитектура неоднородного доступа к памяти для виртуальных машин
US10061622B2 (en) Updating memory topology information for virtual machines
TW457437B (en) Interconnected processing nodes configurable as at least one non-uniform memory access (NUMA) data processing system
CN105335309B (zh) 一种数据传输方法及计算机
US20120284448A1 (en) Executing virtual functions using memory-based data in a pci express sr-iov and mr-iov environment
JP2004192622A (ja) クラスタベースのマルチプロセッサ無線ネットワークでのマイクロプロセッサ通信の方法およびデータ処理システム
JP2004192620A (ja) マルチプロセッサ・システムでのプロセッサ相互接続を使用するマイクロプロセッサ通信の方法およびデータ処理システム
US20120284437A1 (en) Pci express sr-iov/mr-iov virtual function clusters
JPH04246745A (ja) 情報処理装置及びその方法
CN107491340B (zh) 跨物理机的巨型虚拟机实现方法
CN103761215A (zh) 基于图形处理器的矩阵转置优化方法
CN108037977B (zh) 虚拟计算机资源的管理方法、设备、计算机介质、及***
CN109324899B (zh) 基于PCIe池化硬件资源的编址方法、装置及主控节点
US20130247038A1 (en) Device-integration method, terminal-apparatus, and distributed multi-terminal-apparatus system
CN113051195A (zh) 存储器、gpu及电子设备
WO2024088263A1 (zh) 异构服务器***及其使用方法
JP2004192619A (ja) マルチプロセッサ・システムでのマイクロプロセッサ通信の方法、処理ユニット、およびデータ処理システム
CN103634374A (zh) 一种并发访问请求的处理方法及装置
CN113535087A (zh) 数据迁移过程中的数据处理方法、服务器及存储***
US20200371827A1 (en) Method, Apparatus, Device and Medium for Processing Data
JP2004192621A (ja) クラスタベースのマルチプロセッサ・システムでのマイクロプロセッサ通信の方法およびデータ処理システム
CN105068957A (zh) 一种apb总线***中访问从模块的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant