CN101507379A - 三维多层模块化计算机体系结构 - Google Patents

Abstract

本发明提供了用于构建和实施三维多层模块化计算机体系结构的新且独特的装置、***和方法，其通过使用三维分层结构大大提高了计算机质量、体积和功率密度。

Description

三维多层模块化计算机体系结构

技术领域

通过使用三维分层结构代替传统的二维印刷电路板结构，本发明可提供大大提高计算机质量、体积和功率密度的计算机体系结构。所述计算机体系结构可用于从移动计算机、桌面个人计算机、服务器到巨型计算机的许多应用。

背景技术

计算能力已成为像电和水源一样的、文明社会必需的资源。计算能力是必需的，以处理不断增加的商业数据、工程及科学问题和增强数字多媒体及娱乐体验，以及在影响大多数人的生活的许多其它方面也是必需的。由于计算机被首先提出，对计算能力的需要逐渐增加。计算机厂家受到不断增加的计算能力需求的挑战。每年均有新的软件应用程序发布且通常要求更多的计算资源。计算机厂家每年必需升级其产品以提供更好的性能、更多图形能力及更大的内存和存储器。为在不断变化的市场中保持竞争力，厂家必需持续采用最快及更高密度的处理器和芯片组。对更快计算能力的需求推动计算机供应链向更高性能、更大容量及更低价格的方向发展。这些趋势在服务器工业甚至更加明显，因为IT机构需要更强大的服务器以满足不断增加的计算能力需求及其机构中的数据处理。

相比于纯硅质量和体积，目前技术的计算机和服务器密度低。由于硅是平台“净荷”，其中发生计算和存储，计算机的其余部分可被视为“开销”如互连、冷却、外壳和电源功能。该低密度由基于形成母板的印刷电路板(PCB)的二维结构引起。在典型的桌面计算机中，只有不到1％的计算机体积和质量是硅净荷，其余99％均为开销。低效率源自芯片互连、PCB及其它连接器和接线的二维特性。一些垂直的板可提高装置密度，但体积效率和质量效率通常仍然很低。

现有技术中已知的一种选件是刀片服务器，其为机架和垂直底板的结合，所述机架可容纳几个并行的模块(刀片)，所述背板将这些刀片互连到一个或多个管理模块、电源和网络交换机。在这种选件增加装置体积和质量效率的同时，其遭遇冷却问题、标准化问题及更高成本的问题。消散在刀片芯片及功率部件处产生的热量所必需的气流要求宽的流动路径并产生强声噪。目前技术的刀片服务器的另一缺点在于缺乏任何层次的标准化。芯片、板和模块在厂家之间或在同一厂家的不同模型之间不可互相连接。随着刀片服务器的密度增加，散热问题也增加。对于已增大的组件密度，需要更快地通过空气同时空气路径更小。这向模块和机架设计提出挑战并明显影响***性能和可靠性。

体积效率很关键的区域处于数据中心中。数据中心的每机架垂直空间的成本高。每机架空间的性能或容量的任何增加均立即转换为成本节省。在其数据中心运行大量服务器核心的机构总是寻求使他们能在其机架中的每U(相当于1.75英寸/44.5mm的垂直标准)获得更大性能的技术。

互连总线技术、内存技术、CPU技术和存储器的快速发展降低了在平台之间标准化组件的能力。因此，在3年前还是最好技术的平台在今天已成为非标准及过时的平台。每年有大量计算机装置被作为废物扔弃，这已成为环境废物的最有问题的类型之一。计算机装置包含许多污染及危险材料，这种装置的短命周期产生大量废弃材料。增加计算装置的生命周期连同减小体积和质量可大大减少与计算机有关的废物，因此将更具环境安全性。关于废弃电子装置的新法规和规章已颁布以减少污染和废物。与电子有关的产品已成为全球污染源，减小其体积的任何创新将被欧洲共同体及许多其它政府欢迎。

目前技术的二维计算机和服务器的另一主要缺点在于信号迹线长度。为桥接母板上的不同部件，需要较长的PCB迹线。较长迹线设计限制总线速度、导致更大的等待时间、导致信号之间串扰、增加噪声拾音、因寄生电容和寄生电感恶化信号形状、及导致可影响附近的其它装置的电磁噪声。

目前二维计算机和服务器的另一设计问题在于低密度互连。在设计中需要包括连接母板上的另外的模块或组件的选件，这种需要要求设计包括许多已用或未使用的低密度连接器。当为PCB模块建立这些连接器时，每侧的最大可能节距约为0.5mm。使用目前的64和128位总线，这将导致长连接器。如果连接器保持未使用，问题甚至变得更严重。这样，许多快速信号可能保持曝露而没有适当的端接。

现有技术中已知的建立更高性能和更高密度计算机的另一选择是整体并行处理(MPP)***。计算***由数百或数千个由公共高速通信网络互连的处理元件(PE)组成。所述PE按3D阵列结构排列使PE之间具有更好的连通性因而在这些苛求应用中产生更高的性能。典型的例子是Cray XT3并行处理巨型计算机，其依赖于AMD Opteron商用64位处理器和Cray的SeaSta三维互连技术。在该体系结构提供更高密度和3-D核心连通性方案的同时，其相比于传统服务器仍然成本高且密度提高有限。这种目前的技术MPP通常在母板层建立为三维格网结构，及用作PE的每一核心仍然为具有传统PCB结构的二维结构。这些设计难题及目前二维计算机设计方法的许多其它固有问题产生有限的总线及互连性能，因而产生有限的***总性能及更低的可靠性。参考的专利包括：

1、Kenneth R.Smith的题为“Integrated circuit package，andmethod of forming an integrated circuit package”的美国专利4647959。

2、Richard B.Salmonson的题为“Method and Apparatus forcooling daughter card module”的美国专利5801924。

3、Birrittella等的题为“System for allocating messagesbetween virtual channels to avoid deadlock and to optimize theamount of message traffic on each type of virtual channel”的美国专利5583990。

4、Kessler等的题为“Massively parallel processing systemusing two data paths：one connecting router circuit to theinterconnect network and the other connecting router circuittoI/O controller”的美国专利5864738。

5、Alan J Schiffleger的题为“System and method fordistributed multiprocessor communications”的美国专利5920714。

6、Bradley W Bartilson的题为“Large area，multi-device heatpipe for stacked MCM-based systems”的美国专利6055157。

7、Passint等的题为“Hybrid hypercube/torus architecture”的美国专利6230252。

8、Gregory W.Pautsch的题为“Method and apparatus forcooling electronic components”的美国专利6580609。

9、Park等的题为“Distributed computing system using virtualbuses and data communication method for the same”的美国专利6680915。

10、Randall A.Law的题为“Cooling arrangement forelectronic systems”的美国专利6835070。

11、Feiertag等的题为“Substrate for an electric componentand method for the production thereof”的美国专利6909183。

12、Miyamoto等的题为“Method of manufacturing asemiconductor device having plural semiconductor chips，wherein electrodes of the semiconductor chips are electricallyconnected together via wiring substrate of the semiconductorchips”的美国专利6900074。

13、Guttag等的题为“Circuits，systems，and methods forcommunicating computer video output to a remote location”的美国专利6,219,695。

14、Mondal的题为“Systems and methods for capturing screendi splays from a host comput ing system for di splay at a remoteterminal”的美国专利6,825,846。

15、Sivertsen的题为“Housing for in-line video，keyboardand mouse remote management unit”的美国专利6,894,906。

8、Burrell的题为“Systems，methods，and computer programproducts for managing the display of information output by acomputer program”的美国专利6,906,721。

其它参考文献包括：

1.AMD Specification-″Open Platform ManagementArchitecture Specification″，AMD Publication # 32200，Revision：1.02，Issue Date：May 2005

2.White Paper-Portals 3.3 on the Sandia/Cray Red StormSystem，Ron Brightwell et al.Sandia National Laboratories，POBox 5800，Albuquerque，NM 87185-1110，May 18，2005

3.Data Sheet-AMD-8131TM HyperTransport^TM PCI-X Tunnel，AMD 24637 Rev 3.02-August 10，2004.

4.Data Sheet-AMD-8111^TMHyperTransport^TM I/O Hub，AMDPublication # 24674 Revision：3.03，Issue Date：July 2004

5.HyperTransport^TM I/O Link Specification Revision 1.03，HyperTransport^TM Technology Consort ium，10/10/2001

6.HyperTransport^TM I/O Link Specification Revision 2.00b，HyperTransport^TM Technology Consort ium Document*HTC20031217-0036-0009，4/27/2005

7.Broadcom BCM5703 Product Brief，Broadcom 5703-PB03-R，1/5/05

8.Presentation-The New Generation of Cray Tools toSupport Sustained Performance，Luiz DeRose，Sr.PrincipalEngineer Tools Manager，SC’2004 APART Workshop，November 12，2004

9.Cray XT3 Datasheet-Cray Inc.，May 2005

10.Cray XD1 Datasheet-Cray Inc.，June 2005

11.Research paper-″Developing Custom Firmware for theRed Storm SeaStar Network″，Kevin T.Pedretti，ScalableComputing Systems Department，Sandia National LaboratoriesInterface and Trammell Hudson OS Research，May 16，2005

12.Research paper-″Portals 3.3on the Sandia/Cray RedStorm System″Ron Brightwell et al.Sandia NationalLaboratories for United States Department of Energy’s，National Nuclear Security Administration under contractDE-AC04-94AL85000.

13.AMD Technical document-″Builder’s Guide for AMDOpteron^TM Processor-Based Servers and Workstations″，AMDPublication# 30925，Revision：3.04，Issue Date：February 2004

14.AMD Technical document-″BIOS and Kernel Developer’sGuide for AMD Athlon^TM 64 and AMD Opteron^TM Processors″，AMDPublication# 26094 Revision：3.24，Issue Date：January 2005

15.AMD Technical document-″AMD Opteron^TM Processor Powerand Thermal Data Sheet″，AMD Publication # 30417 Revision：3.05，Issue Date：May 2004

16.AMD Opteron^TM Product Data Sheet，Publication # 23932Revision：3.11，Issue Date：June 2004

17.AMD Functional Data Sheet，940 Pin Package，Publication#31412 Revision：3.05，Issue Date：June 2004

18.AMD Brochure-AMD Opteron^TM Processor with DirectConnect Architecture 4- Socket Server Comparison，AMDPublication # 31342B，Issue Date：June 2004

19.Celestica product data-sheet-A8440 4U 4 ProcessorSCSI System

20.International Rectifier data-sheet-Data Sheet No.PD94710，IR3082-XPHASE^TM AMD OPTERON^TM/ATHLON 64^TM ControlIC，17/12/2004

21.Linear Technology design note-3-Phase LTC3733Provides High Performance Power Solutions for AMD Opteron^TM andAthlon^TM 64Processors-Design Note 326，Henry J.Zhang andWei Chen

22.Silicon Laboratories-Advanced Information-Si8250/1/2Digital Power Controller，Preliminary Rev.0.24/05

23.Intersil data-sheet-，HIP6301-Microprocessor COREVoltage Regulator

24.Multi-Phase Buck PWM Controller，December 27，2004FN4765.6

25.Presentation-Red Storm，by Robert Alverso，Red StormHardware Architect，March 2003，Cray Computers Inc.

26.Specification-HyperTransport Cave IP-GDATechnologies，Inc，June 2002，version 1.0

27.Specification-HyperTransport Host IP-GDATechnologies，Inc，June 2002，version 1.0

28.Specification-HyperTransport Bridge IP-GDATechnologies，Inc，June 2002，version 1.0

发明内容

本发明的目标涉及用于提供可扩缩计算平台的方法和装置，其减少了一个或多个先前确定的现有技术存在的问题。

本发明的另一目标涉及提供高密度计算平台的方法和装置。

本发明的另一目标涉及提供将多个CPU和内存模块组装和互连在一起的方法和装置。

本发明的另一目标涉及用作模块化计算机的方法和装置，其使厂家甚至用户能够容易地组装和混合多个不同的CPU内存和I/O结构。

本发明的另一目标涉及用于提供改进的高密度垂直信号互连的方法和装置，其不需要大量及不可靠的印刷电路板和接线。

本发明的另一目标涉及具有更短信号路径的模块化电子***及构建该***的方法。

本发明的另一目标涉及模块化电子***，其中两个芯片之间、两块基片之间或芯片和基片之间的至少部分信号经电容性耦合进行连通。

本发明的另一目标涉及模块化电子***，其中两个芯片之间、两块基片之间或芯片和基片之间的至少部分信号经磁性耦合进行连通。

本发明的另一目标涉及模块化电子***，其中模块电容性及传导地耦合到其它模块。

本发明的另一目标涉及模块化电子***，其中模块磁性及传导地耦合到其它模块。

本发明的另一目标涉及将物理上不相容材料的模块集成为模块化电子***的方法和装置，其中邻近的、物理上不相容的模块之间的信号经电容性或磁性装置耦合。

因此，根据本发明的优选实施例提供了按并行层堆叠的三维多层模块化计算机(3DMC)装置，包括：

适于执行各种数据处理任务的CPU功能块；

适于暂时保存运行所述CPU功能块所需要的数据的易失性存储器功能块；

用于通信的输入/输出I/O接口功能块；

管理功能块；

适于向其它功能块供电的电源功能块；

其中，平行的多层被电连接以产生计算装置。

还提供了每一层构造及冷却***的描述。

附图说明

本发明的示例性实施例在下面结合附图进行描述。

同样的附图标记用于指代不同附图上的相同或相关特征。附图总体上未按比例绘制。在此参考附图描述本发明，但仅作为例子。关于对附图的具体参考，要强调的是，所示细节仅作为例子且仅用于例证性描述本发明优选实施例的目的，且是为了提供本发明原理和概念的最有用和容易理解的描述而呈现这些附图。这样，不试图示出比基本理解本发明所需的更详细的结构细节，结合附图的描述使本领域技术人员能明白本发明的几种形式怎样在实施时具体化。

图1为根据本发明优选实施例的典型3DMC服务器的外部接口。

图2为根据本发明实施例的3DMC的简化截面图。导热杆被固定到基础层及嵌入在基础层中的电源功能块。

图2a为根据本发明另一实施例的3DMC的简化截面图，其具有单独的电源层。

图2b为根据本发明另一实施例的3DMC的简化截面图，其具有单独的电源层且导热杆通过基础层。

图3为根据本发明优选实施例的3DMC的截面图，其示出了典型的堆叠高度。

图4为根据本发明优选实施例的3DMC基础层的典型电学框图。

图5为根据本发明优选实施例的典型3DMC层的俯视图，其示出了层表面结构。

图6为根据本发明实施例的典型互连层的截面侧视图。

图7为根据本发明实施例的典型3DMC互连层的俯视图的放大图。

图8a为根据本发明优选实施例的用引线接合法实现层的侧视截面图。

图8b为根据本发明优选实施例的用倒装法实现层的类似侧视截面图。

图8c为根据本发明优选实施例的具有两个引线接合的芯片的3DMC典型层的俯视截面图。

图8d为根据本发明优选实施例的具有两个倒装芯片及集成电容器的3DMC典型层的俯视截面图。

图9a-j为根据本发明优选实施例的具有倒装接合芯片的3DMC典型层的生产方法的不同阶段和视图。

图10a为根据本发明的实施例的与其周围的层交叉并连到基础层的3DMC绝热管型导热杆(TCR)，其中示出了从层安装的芯片到基础层处的冷却液体的热传递路径。

图10b为根据本发明的另一实施例的与其周围的层交叉的3DMC内部循环型TCR，其中示出了使用杆中的冷却液体同轴循环进行热传递。

图10c为与其周围的层交叉的3DMC内部冷却液体流型TCR，其中示出使用杆中及覆盖层中的冷却液体流进行热传递。

图11a为根据本发明优选实施例的具有嵌入在基础层中的电源功能块的3DMC装置的截面图，其中突出显示功率分布元件。

图11b为根据本发明优选实施例的具有位于单独底层中的电源功能块的3DMC装置的截面图，其中突出显示功率分布元件。

图11c为根据本发明优选实施例的具有位于单独顶层中的电源功能块的3DMC装置的截面图，其中突出显示功率分布元件。

图12为根据本发明实施例的基础/底/顶层电源子***的高级框图，其陈列了从一根或多根DC电源线供电的3个电源块。

图13为根据本发明实施例的基础层冷却子***的简化图。

图14为根据本发明实施例的典型单CPU层的框图。

图15为根据本发明实施例的典型单一存储器层的功能框图。

图16为根据本发明实施例的单CPU核心体系结构3DMC的各个核心部件。

图17为根据本发明优选实施例的单CPU 3DMC平台的核心体图。

图18为根据本发明的具有3个类似存储器层的优选单路单CPU核心3DMC平台的核心体图。

图19为根据本发明优选实施例的由两个单CPU层建立的双CPU核心3DMC平台的核心体图。

图20a-b分别为根据本发明的由四个单CPU层建立的优选四CPU核心3DMC平台的核心体图及核心体逻辑图。

图21为根据本发明的基于每层双CPU体系结构的本发明典型实施例的主要组件。

图22a-b为根据本发明的交叉存储器块以使能交叉侧面处理器间链路的简化框图，分别示出一般模式的交叉存储器层及交叉模式的交叉存储器层。

图23为根据本发明的两个堆叠的存储器块，两个存储器块均按交叉模式构造，例如与双CPU核心组件一起使用。

图24a-b为根据本发明实施例的具有一个CPU层和一个存储器层的双处理器(双路)结构的典型核心体，分别为核心体侧视图和核心体逻辑图。

图25a-b为根据本发明实施例的具有一个CPU层和三个存储器层的双处理器(双路)结构的典型核心体，分别为核心体侧视图和核心体逻辑图。

图26为根据本发明实施例的具有按两个双CPU层排列的四个CPU(4路)的本发明典型3DMC实施例的另一结构，其中侧面CPU互连通过该CPU层下面和上面的存储器层中的回送实现；图26a示出核心体侧视图，图26b示出核心体逻辑图。

图27a-b为根据本发明优选实施例的具有按四个同样双CPU层排列的八个CPU(8路)的3DMC的结构，分别为核心体侧视图和核心体逻辑图。

图28为根据本发明优选实施例的MPP PE 3D结点接口层框图。

图28a为根据本发明优选实施例的使用三个8路3DMC MPP PE的2D环形网的简化框图。

图29为根据本发明优选实施例的实施3DMC MPP PE 3D结点接口的平面图，示出了在所述接口固定到3DMC立方体面之前的6个3D柔软PCB接线。

图30为根据本发明实施例的组装在3DMC上的MPP PE 3D结点接口，示出了连到3DMC立方体各面的MPP PE 3D结点接口的柔软PCB。

图31为根据本发明实施例的使用具有PE 3D结点接口的3DMC的MPP***3D格网实施例。

图32为根据本发明实施例的3DMC HyperTransport到双PCI-XI/O层的例子的框图。

图33为根据本发明另一实施例的3DMC PCI-XI/O集线器和双LAN层的例子的框图。

图34为根据本发明优选实施例的具有18个核心(16个已安装)及内置冗余冷却能和LAN交换机模块的典型3DMC 3U机架安装的服务器实施例。

图35为根据本发明优选实施例的构造为具有40个3DMC核心的自动唱机的另一典型3DMC4U机架安装的服务器实施例。

图36a为图35中所示服务器的侧视图，电动头位于3DMC堆叠的上方。

图36b为图35中所示服务器的侧视图，电动头镊子保持将要移除的3DMC堆叠层。

图36c为图35中所示服务器的侧视图，其中电动头正向上提升3DMC堆叠层。

图37为根据本发明优选实施例的单循环3DMC冷却***。

图38为根据本发明优选实施例的单循环多3DMC冷却***。

图39为根据本发明优选实施例的双循环多3DMC冗余冷却***。

图40为根据本发明优选实施例的具有两个液体回路的3DMC单循环液体冷却***的简化示意图。

图41为本发明3DMC堆叠的人工组装过程的流程图。

具体实施方式

下面的详细描述是目前最佳的实现本发明的方式。该描述不被视为限制，而是仅用于说明根据本发明的一般原理的目的。本发明的范围由所附权利要求进行最佳定义。为清晰起见，非实质的元件可能已在部分附图中省略。如在此使用的，元件或步骤中的单数和词“一”应当理解为不排除多个元件或步骤，除非所述排除被明确指出。

现在将进一步参考附图，其中示出了本发明的示例性实施例。

现在参考图1，其示出了具有外部接口的本发明典型3DMC实施例500的侧视图。在该图中，3DMC可用堆叠高度(ASH)被6层占用，共同标记为504。基础层302用作整个3DMC***的机械基座。连接到底架或机壳通过可选安装凸缘514实现。这些凸缘将3DMC通过紧固件可拆卸地固紧到机壳或底架(未在此示出)。可选可拆卸电连接器501使能快速及简单地进行基础层连接/断开连接。

去往及来自3DMC的所有外部输入和输出均被集中在基础层的较低侧，在该典型实施例中示为基础层302，以便于容易组装和移除。这些连接至少一个或多个主LAN接口506、管理LAN接口505、一个或多个存储器接口507、DC电源输入510及冷却液体输入和输出512。可添加另外的接口以支持遗留接口或任何其它所需功能。

更具体地，LAN接口505可使用标准100Base-T、千兆LAN或更快的LAN协议、HyperTransport或Infiniband在铜线、光纤或其它适当的介质上实施。

万一用户不能与管理计算机通信时，电源、复位和恢复开关515使能***打开和关闭功能、***硬复位功能及***恢复到出厂默认值。这些开关可另外位于覆盖层306处以使用户更容易从上面接近。

存储器接口507可以是标准接口如SCSI、并行ATA、串行ATA(SATA)、光纤通道、HyperTransport、Infiniband或任何其它标准或专用存储器互连协议。

冷却液体附属装置512可被实施为具有快速连接-断开连接配件513以有助于***的组装和维护。断开连接配件513还可包括冷却液体过滤器以保护内部冷却***免遭微粒污染。

图2示出了本发明一3DMC实施例300的简化侧视截面图。在该图中，基础层302是整个堆叠的机械基座。四个垂直导热杆(TCR)中的两个304a和304b均可通过该截面图看见。热传导路径穿过所有其它堆叠的层并在覆盖层306的上方终止，所述覆盖层用作所有堆叠层的压力表面。四个压力螺帽308中的两个可以看见。在堆叠组装过程期间，这些螺帽308用于在堆叠上施加适当及均匀的压力。可选地，弹簧(未示出)放在压力螺帽308和覆盖层306之间以提供均匀的压力并允许热膨胀。可选地，这些弹簧被预加应力，及可以是螺帽或覆盖层的一部分。

压力螺帽308可具有不同的压头形状以使能用手、螺丝刀、Allen工具、扳手、自动化电动工具等组装和拆卸所述堆叠。

可选地，顶层用于回送和终止总线。用每层在其上方均有另外的层的假设来设计所有层是有利的。因而，回送和终止最好在顶层处完成。

另外，顶层提供并可特别设计以提供有效的主要或辅助热路径以帮助冷却其下面的层。

可选地，覆盖层可具有用于与外部装置如测试设备或编程装置等进行连接的连接器和接触件。

可选地，覆盖层可具有用于构造其或下面的层的开关或跨接线。

可选地，覆盖层可具有指示器如发光二极管(LED)或小的LCD板，其指示装置的状态如：电源开/关、运行模式、故障、温度、计算负载等。

在该例子中，所示的堆叠由两个I/O层310a和310b及上面的四个核心层320建立。四个核心互连层322a、322b、322c和322d分别放在每一核心层320a、320b、320c和320d的上面以使能与下一层电连接。核心层320可以是CPU层和存储器层的任何适当组合。

在本说明书中，I/O为输入/输出。其通常包括主LAN、磁盘/存储器接口和引导程序存储器。3个I/O互连层312a、312b和312c连接I/O层。上I/O互连层312a使上I/O层310a与最下面的核心层320d连接。中间I/O互连层312b连接上I/O层310a和下I/O层310b。下I/O互连层312c连接最下面的I/O层310b和基础层302。如图2中所见，所述层可以为不同的厚度。然而，优选地，可用堆叠高度(ASH)被所述层完全填满。当没有足够的层填充可用堆叠高度时，空的衬垫层可被组装在覆盖层306的上方，或者如果需要的终止可在空白衬垫层处，则也可组装在覆盖层306的下面。

另外类型的层可以组装在3DMC堆叠中以使能多个另外的功能，如特殊计算核心、通信、路由、模数转换、数模转换、视频处理、信号处理等。

图2a示出了本发明的一3DMC实施例314的简化侧视截面图。在该特定例子中，电源功能块不位于基础层302中，而是位于基础层上方的第一层311处。输入给电源层311的高电流DC功率通过互连基础层302和电源层311的大功率插脚313馈送。这种实施方式使厂家能按模块化方式建立电源功能块从而有助于可扩缩性和可维护性。来自电源层311的功率输出使用上述相同的四个TCR传给每一层中的用电器件。

实施分布式电源方案也是可能的，其中一个以上电源层在某一位置组装在3DMC堆叠中以向一个或多个邻近的层提供所需功率。在这种情况下，这些所述层的功率输出可使用专用电力接触件、同轴TCR层或其它高电流互连装置传给邻近的层。

图2b示出了本发明的另一实施方式317，其具有安装在基础层302下面的***机架中的4个TCR304a、304b、304c和304d。冷却液体入口315和出口316在4个TCR周围提供冷却水流。这种安排的一个明显优点是冷却液体不进入基础层，因而相比于上面所示的TCR固定到基础层的结构，泄漏风险和流动问题被大大减少。

图3示出了本发明的一3DMC实施例的类似截面图301，其示出了示例性的层厚度值。在图3的示例性实施例中所示的堆叠结构包括5个核心层320a、320b、320c、320d和320e。在核心层下面有2个I/O层310a和310b。

从基础层302到覆盖层306的下部的垂直距离称为可用堆叠高度(ASH)。可选地，该高度可被任意划分，但标准垂直高度称为SH。在该例子中，ASH为7×SH，及空间由1个1×SH I/O层310b、1个2×SH I/O层310a、2个1/2×SH核心层320a和320b、及3个1×SH核心层320c、320d和320e占用。在该例子中，所有这些层加在一起等于7×SH的ASH。

所述高度标准化可有利地提供灵活地堆叠宽范围的不同层的方法，且还保持固定的3DMC大小。这与标准机架安装的装置类似，其具有1或2U—等于1.75英寸的标准垂直测量。

层生产厂家可选择从1/2×SH到3×SH的适当高度以适合其芯片组和组件。类似地，3DMC厂家可提供不同大小的3DMC堆叠，例如其范围从3×SH到12×SH的ASH。随着厂家改进层制造工艺及冷却技术，层预期将占更小的垂直高度，因而将使同一ASH能容纳更大数量的层从而更好地利用所述ASH。

应意识到，“空白层”或几层“空白层”可添加在有效层的上面或插在其间，以使装置达到正确的总高度和结构。这些层还有助于散热。

另外或者作为备选，套管或弹簧可添加在螺帽下面以允许低总高度的固紧结构。

另外或者作为备选，可准备具有几种大小的导热杆组以适应不同的结构。

典型尺寸的例子是1U机架安装的服务器具有4.44cm的总高度。其净高度为3.44cm，基础高度为1.00cm，覆盖层高度为0.44cm，其余2cm为4×SH的ASH。在该例子中，1×H＝5mm。重要地，应注意目前的1U结构总体上不能被优化成3DMC，因为其垂直尺寸有限，但是在未来，由于层高度将降低，3DMC可能适合1U或更小的机架。

另一例子是3U机架安装的服务器具有13.335cm的总高度。其净高度为12.0cm，基础高度为5.00cm，覆盖层高度为1.0cm，其余6cm为12×SH的ASH。在该例子中，1×H＝5mm。该结构使能堆叠4个双处理器核心，每一核心具有一个或多个存储器层。因此，所述堆叠能用单核心处理器实现8路或用双核心处理器实现16路最佳服务器核心。

在40cm宽度时，8个3DMC核心可安装在标准19″机架安装的外壳中。在27.5″(56cm)深的外壳时，可安装8行3DMC，其中所述每一核心为5×5cm。因而，在保持适当空间用于电源、冷却和LAN交换机的同时，可安装共8×8＝64个3DMC核心。这使能使用单核心处理器建立具有64×8(512)个核心的3U服务器或使用双核心处理器建立具有64×16(1024)个核心的3U服务器。

高度标准化对于使该方法成为工业标准“开放体系结构”是有利的。为了避免非标准尺寸，形状和大小为3DMC标准专用，而垂直空间对厂家开放使得只要为SH、1/2×SH或1/4×SH的整数倍均可实施。在任何情况下，可***适当的空白层以使部分填充的堆叠能用于未来***扩充。

由于存在更少的由硅橡胶制成的热传导互连层，迫使层产生的热量从旁侧流到TCR并从那里向下流到基础层。由于层的垂直热传导不是很关键，层基片的热设计可被改进和简化。

现在参考图4，其示出了典型的3DMC基础层电学框图800。在优选实施例中，3DMC基础层通常由几个主要组件建立：负责3DMC控制、监视、远程管理、登录、热管理、功率管理及许多其它任务的***管理计算机(SMC)模块338、可选电源850、853和854(在该实施例中有3个电源，但实际上这可扩展到任何数量的电源)。或者，电源功能块可驻留在如上所述的其它层中。

可选电源850、853和854负责将适当的功率传给位于不同层中的功耗组件。电源功能块可按需从功率调整、计时、配电和保护变为线性调节、DC-DC及AC-DC功能块。通常，电源负责将3DMC输入AC或DC功率降低和调整为不同层所需要的电压和稳定性。这些电源通常由***管理计算机338控制以设定其运行参数及监视其活动；可选的冷却泵或阀859基于功耗和测得的温度调节冷却液体流。该可选阀或泵可由***管理计算机338控制；如果泵或阀未被组装在基础层中，同一SMC也可控制外部的泵或阀。这种体系结构是符合需要的，其可消除基础层中的活动部件。

导热杆TCR304a、304b、304c和304d从基础层的上表面延伸。或者，所述TCR可从基础层下面的下部结构延伸并穿过基础层。

这些TCR用于三个主要功能：

a、用作功率传导功能—将功率传给堆叠的层；及

b、用作热传导功能—将来自层的热量通过TCR内部结构移到3DMC的较低侧；

c、用作机械结构件，其在所有层上施加相等的压力并使它们的侧边准确地对齐。

TCR电连接到不同的电源850、853和854以向堆叠层处的用电设备传送3种不同的电源电压。此外，TCR可被安装变形测定器以检测由覆盖层上方的所述锁定螺帽308和堆叠的热膨胀引起的应变；基础层外部接口501使能将电源和其它输入/输出连接到该3DMC；基础层顶部互连820使能与基础层上方的堆叠层电连接。

应意识到，调制解调器计算装置要求低电压和高电流(例如典型的现代AMD制造的64位处理器要求1.3V、100A)，因而使用重的导体如TCR用于传送功率是有利的，其可降低电源层寄生电阻和电感。TCR304a-d的任意使用对散热和功率传送而言均节约了空间。

在该实施例中，导热杆在基础层处通过绝缘材料如塑料或陶瓷零件而被电绝缘。可选地，冷却液体也被电绝缘以避免腐蚀、泄漏和电解问题。

或者，功率通过层中的导体或通过层周围的外壳。

下面更详细地描述位于基础层处的***管理计算机功能块。***管理计算机338通常运行小的嵌入操作***如Linux、PSOS、VxWorks或Windows CE以使能通过基于网络的入口及其它远程管理应用进行用户交互。

在优选实施例的服务器实施中，SMC还用作远程管理***客户机，其通过标准管理协议如简单网络管理协议(SNMP)及其它标准和非标准协议提供远程监视、配置、资产管理及控制。

即使主机CPU未运行，处理器801仍然持续运行。所述处理器通常为低功率RISC处理器如MIPS核心、ARM或PowerPC。其基于位于非易失性存储器805上的固件程序计算和运行所有I/O交互。非易失性存储器通常基于闪存以使在部署3DMS时能进行固件打补丁和升级。非易失性存储器优选被装入适当的用于所有堆叠层的层驱动器。用户或管理员可经管理网络852将新的固件更新安装到管理计算机。

经存储器网桥802连接到处理器801的易失性存储器804暂时保存处理及I/O活动所需要的数据。易失性存储器可以是SDRAM、DDR类型或任何其它适当的存储器技术。

内部总线810经所述网桥802将接口和外设电路连接到管理处理器801。该总线可以是16、32位、PCI总线或任何其它适当的技术。

连接到内部总线810的LAN控制器835使能连网连接到管理计算机338。通过该端口，所有管理任务如配置、更新、监视、远程复位、KVM(使用键盘、视频及鼠标功能遮蔽及远程交互)均可远程执行。LAN控制器通常为10/100Mbps以太网以使能标准网络接口。管理计算机固件和操作***可支持所有标准网络行为，包括静态及动态IP、DNS、甚至驻留VPN以提高管理通信安全性。一侧连接到LAN控制器、另一侧连接到外部接口501的LAN收发器836处理LAN协议的物理层。链路852是管理LAN接口，通常包括几个双绞线导体以与标准CAT5或更高的LAN成缆连接。链路852可使用无线LAN或光纤LAN实施以适合特殊运行要求。

实时时钟838包含精确时钟参考及计数器以保持管理***时间和日期。时间和日期对于加密协议如SSL、对于记录目的、事件报告及更新主机是必需的。管理计算机时间可通过管理LAN由连接的时间服务器或其它精确时钟参考从外部进行重新调节。可能需要独立电源以在关机时保持时间和日期。为了该目的及其它目的，小功率储存装置840可被连接到RTC以向必要的电路供电。该功率储存装置840可以是一次电池、可再充电电池、特大电容器或任何其它适当的功率储存装置。

可选冷却***接口电路845用作***管理计算机内部总线810和基础层中的受控冷却***元件(如果已安装)之间的接口。这些受控冷却***元件859可包括可选的用于冷却液体的DC电动机泵、阀及调节器、以及不同位置处的热和流传感器。典型的冷却***要求对一个或多个DC泵进行脉宽调制控制及对位于基础层中的冷却液体输入和输出处的几个温度传感器进行数/模输入。流传感器可用于测量冷却液体流。位于非易失性存储器805中的固件负责管理平台在不同正常及异常情形时的热方面。热管理一方面通过控制计算平台实现，其通过：

a、改变CPU参数如时钟频率、核心电压等

b、从某些核心去除或添加计算任务(应用负载调整)

c、完全关闭热核心以避免热损害

d、关闭整个3DMC以避免来自支持***侧的热损害，SMC可影响下述参数：

e、改变冷却液体流速度

f、增加或减少辅助冷却***流

g、在异常情形时使用单一冷却***运行***

SMB接口821在管理计算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之间进行连接。一个或多个SMB在3DMC初始化及运行中扮演许多重要角色。在向3DMC主计算机通电之前，管理计算机可通过SMB与不同的层交互作用以检测层类型和型号、获得关键运行参数如电源电压、功耗、兼容层的列表、在堆叠中的位置、关键温度、时钟参数等。在装置运行期间，SMB可从层传递实时运行参数，其报告热参数、功率、健康及机能信息。SMB穿过所有堆叠层及并行连接到位于每一层中的特殊SMB接口。SMB的另一重要功能是在层处切换不同的功能。这种切换是必要的，以使能通过在不同的层编程不同的片选或地址范围而实现适当的层堆叠结构。

可选地，可编程时钟和锁相环(PLL)822也连接在***管理计算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之间。该模块的目的在于对不同层产生所需集中式时钟信号。典型地，8个或更多个不同的时钟信号可由管理计算机编程以驱动位于层处的不同电路。***管理计算机不仅可编程产生的频率，而且可编程各个时钟电压电平、占空比、启动顺序、及不同时钟输出之间的相差。可添加扩展频谱功能块以减少电磁干扰发射(EMI)。另外的频率可由层处的特定电路通过层内分频器和PLL得到。

由于新处理器需要同步差分时钟源，将敏感性时钟信号从基础层穿过所有其它层发送到CPU层是不切实际的，因此在CPU层的局部可编程时钟发生器可行使该功能。这些分布式时钟发生器的主要控制仍属于***管理计算机。

内置操作***(BIOS)及实时时钟(RTC)仿真器823也连接在***管理计算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之间。该电路的功能是通过使用主机侧的遗留寄存器及网络管理的先进结构和管理计算机仿真遗留x86BIOS和RTC。如果不需要x86遗留兼容性，则不需要该模块。BIOS功能块823和I/O或CPU层之间的连接通过上表面互连功能块820使用标准PC BIOS接口如LPC(低插针数)接口或FWH(固件集线器)接口(Intel Spec rev1.1)或任何其它标准或非标准接口实现。BIOS不仅可保存初始设置，而且通常用作引导装入器以在可装入操作***之前启动主机。引导程序代码可本地保存在管理计算机非易失性存储器805上，甚至通过管理LAN连接852远程装入以使能远程启动进程。特殊的BIOS段可由管理计算机使用以选定给堆叠层及所选3DMC体系结构的引导程序和设置。

变形测定器模-数接口826可连接在管理计算机内部总线810和位于每一TCR304a、304b、304c和304d根部的4个或更多个变形测定器之间。变形测定器可由管理计算机监视以在3DMC组装期间及在运行期间确保适当的层压力。

遗留视频和USB控制器仿真器828可连接在管理计算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之间。该电路的功能是仿真遗留x86视频控制器和USB主机控制器以使能通过内置键盘视频鼠标(KVM)功能进行远程用户交互及使能远程遮蔽。视频控制器及USB主机控制器均可实施在I/O层中以使能本地视频产生及USB外设。在典型的服务器3DMC实施例中，KVM功能使用基于IP方法的KVM实施，因而使经授权的远程用户能看见3DMC视频及使用USB外设控制它。该模块的另一可能增强是使能通过本地软盘或CD仿真进行远程软盘或CD连接。

内置测试(BIT)接口830可连接在管理计算机内部总线810和连接到堆叠层的基础层上表面互连焊盘820之间。该电路的功能是在主机关闭时运行某些测试以确保适当的互连及层功能性。通常，该模块支持NAND树、JTAG和片上测试报告。

在该具体实施例中，电源接口832是***管理计算机内部总线810和基础层主要电源850、853和854之间的接口。该接口使能控制全部电源参数如启动顺序和斜度、电压、电压公差、电流限制及其它参数。所述接口还使能不同的实时功率测量如纹波水平、实际电流、电流容量、输入电压、温度及其它基本参数。

给3个或更多个基础层电源的初始DC功率通过链路844从基础层外部接口501提供。

直接接口842使能将外部装置直接连接到堆叠层，其通过将某些基础层上表面互连焊盘820与基础层外部接口501处的某些接口相连接实现。通常，该直接接口用于一个或多个主LAN，但其也可用于通过IDE、SATA、SCSI、串行、并行、USB、模拟视频、DVI、火线、光纤通道及任何其它标准或非标准接口连接外部装置。

管理计算机电源846通常由单独的电源供电以使其能总是保持开启。该电源仅向***管理计算机电路供电且其产生这些电路需要的低电压。可能地，以太网供电(POE)电路可用于将该功率从管理LAN连接派生为独立的永远开启电源。

图5示出了根据本发明示例性实施例的典型3DMC层330的俯视图，其中示出了层表面结构。层的上表面可不同以适于随许多设计考虑而变的具体层I/O要求，所述设计考虑如电连接的数量、冷却要求、功率要求、芯片大小及其它考虑。总之，3DMC层厂家可自由开发层接口标准以与其提出的平台配套，只要这些标准坚持一些基本的层功能、机械、热及电特征即可。

层上表面332通常由陶瓷、玻璃或塑料基片制成，在层主要互连区(PIA)338中具有几百个镀金焊盘。另外的通过互连区，也称为服务互连区(SIA)337，包含***管理总线及一些其它服务如时钟和电力线路。PIA和SIA之间的差别在于PIA对每层互连均可不同而SIA是同一接口且其用同一引出线垂直地穿过所有层。另一区别在于PIA仅在主机通电时通电，而SIA可一直通电。

PIA中的信号可根据信号特征按不同的格式安排，例如：

a、总线可按矩阵或直行排列

b、模拟信号可与其它模拟或数字信号分开并由接地焊盘包围

c、差动信号可安排成由接地焊盘包围的两个靠近的焊盘

d、功率可用较宽直径焊盘或多个较小直径焊盘实施

位于每一角落的四个孔334适于4个导热杆(TCR)。孔由金属环包围以提高到层基片的热连通性。

可选地，至少一个孔包含特殊的定向栓335以防止无意旋转或颠倒层堆叠。标准情形下所述栓通过所有层。一个另外的栓称为构型栓336提供在顶面处以确保堆叠在上面的层将是与电规范一致的匹配层。由于3个导热杆可用，每一导热杆具有36个角位置，可能选择的数量为36³＝46656。这些栓或孔对于同一层的上及下表面可以不同，因为电接口可能不同。该简单的栓及匹配孔***确保不匹配的接口将不被堆叠在一起，因为所述栓将阻止层相互接触。

或者，导热杆的不均匀定位或大小可在组装期间用于层的定向(旋转)、倒置(上/下)。

或者，可使用兼容性检查电装置。

另外，多个销/孔可同时使用，从而增加较小数量孔的排列数量。

另外，版本和可接受性可被编程在孔内以确保可接受的层顺序、版本兼容性等。例如，使用不同电压或通信协议的层可使用特别的孔/销组合。

层的侧板339通常被喷绘颜色编码以识别层类型。开发颜色约定以识别某一颜色的存储器层、另一颜色的CPU层。层制造商批次和类型可被印刷并做成条形码以使人及机器能读。

图6为本发明的典型互连层350的截面侧视图。重要的是应该注意，互连层也可分开。用互连功能块实施3DMC实施例是可能的，所述互连功能块为内置的一个或两个配合层。这些互连可以是连接的柔软导电层或任何类型和结构的电接触件形式。

在该图中，上层352和下层355由互连层358互连。上层，优选在其上表面-含陶瓷表面基于金印刷的焊盘矩阵354，及在其下表面具有一样的焊盘360。下层355在其上表面具有与相对焊盘360对齐的镜像焊盘354。

硅橡胶材料的非导电薄层形成互连层358，其具有垂直位于该层内的成形为导电列的岛362的矩阵。每一导电岛电学上桥接上层焊盘和匹配的下层焊盘。当层被堆叠在一起时，层上的压力压缩互连柔软层。该压力由每一导热杆周围的金属套管调节和限制。当每一下面的套管334接触其相应的上部套管355时，层运动及该互连压缩过程停止。每层包括不同的套管以调节层互连距离和调节互连层上的压缩力。

优选地，使用金焊盘上的导电硅，因为其卓越的长期性能。其在目前的许多应用中均有使用。硅的自密封特性使得没有湿气污染。

或者，使用可变形软金属如铟。在这种情形下，互连层350可能不能够再次使用。

另一备选方案是使用散布在互连层358的整个表面周围的无定形导电列。这种结构要求不太准确的边定位及压力，但其电学特性不太合意。

图7为典型3DMC互连层370的详细俯视图。为清晰起见，只呈现了层的一个角落。

互连层358a由柔软非导电材料薄层制成。典型的材料为硅酮和氟硅酮。这种材料化学特性一直稳定且趋于产生像密封层的衬垫以保护接触区域。按矩阵排列在主要互连区(PIA)和辅助互连区(SIA)中的小的导电材料圆岛362未在此示出。PIA通常包含几百个这样的导电岛以桥接相邻层的互连焊盘。导电岛通常由类似的基础材料与导电材料如银、率、碳或铜的细粉混合而成。导电岛材料的例子为：CONSIL-C(含硅酮)及银-铜粉、CONSIL-CF(含氟硅酮)及银-铜粉、CONSIL-A(含硅酮)及银-铝粉、SC-CONSIL(含硅酮)及碳粉、及CONSIL-RHT(含硅酮)及纯银粉。最后一种材料的特性为抗高温—符合3DMC互连层实施需要的特性。

相似基础材料的使用确保岛和基体之间良好结合及确保更好的短和长期机械和温度稳定性。相似材料也是符合需要的特征，以在层经受宽的运行温度范围时确保相似的CTE(热膨胀系数)。

在互连层372中切割四个大孔以适合前面附图中所示的层导热杆套管353或359。在四个角落的这些孔可与其它销及插座一起使用以将柔软互连层固紧到所附装的层并限制层堆叠压力下的边侧移动。为了进一步限制互连层边侧在压力下位移，可使用一些机械销。

互连层最好附着到层上以有助于堆叠过程。可定义标准以将其或附着到层的下表面或附着到上表面。由于互连层的成本远小于层本身的成本，使互连层能在现场或实验室拆除和更换是符合需要的。可使用特殊的插件或插头以使能进行准确的层附着，同时还允许简单的拆除和替换。

当含硅酮基体表现就像不可压缩液体时，过大的压力可导致列变短，所述压力增加列直径。典型的可允许偏差值在5％和25％之间。更轻的压力或未压缩层可导致更高的接触电阻、更低的电流容量、过热及开路。

互连层厚度通常为约1mm。在该厚度，导电岛可传送50mA以上的电流，及接触电阻通常小于5mili-Ohm。

典型的制造工艺使用细的喷射喷嘴挤压出具有导电岛的连续同质管，然后用激光或刀切为适当的片，而不重压或损坏精密基体。另一制造方法是先产生适当厚度的大硅片，然后通过激光钻孔或机械冲孔形成用于导电岛的孔。之后，在正压力或真空状态下执行液体状态的导电材料的扩散以填充所有片孔。在导电材料已固化之后，将所述片上的多余材料清除，至此所述片已准备好用于测试和使用。之后，其被切为单个的片。显然，在本发明范围内，也可使用其它制造方法以提供类似或更好的结果。

导电岛的数量取决于层体系结构。第一例子是单CPU层的核心互连。在该例子中，有1条存储器总线(240信号)及多达3条HyperTransport总线(每一总线80信号)。这指示PIA处的480个信号+大约100个控制及其它信号。按1mm的节距，这将需要580mm²。由于节距可降低到低于0.5mm，因而有大量余量。

第二例子是双CPU层的核心互连。在该例子中，有2条存储器总线(480信号)及多达4条HyperTransport总线(每一总线80信号)。这指示PIA处的480个信号+大约200个控制及其它信号。按1mm的节距，这将需要1000mm²。由于节距可降低到低于0.5mm，因而有大量余量。

在只产生很少热量的层中，例如包含低速电子电路如非易失性闪存或无源组件如导体和端接器的层，层设计更简单，及为散热设计的结构可被制造得更薄或者省略。类似地，不需要部分或所有电源电压的层可具有绝缘甚或非金属套管。

应注意，现有技术中已知或即将开发的用于在层之间提供互连的其它技术也可使用，而不背离本发明的范围。

图8a为具有结合的芯片的本发明优选层实施例的侧视截面图。典型的层600在四个角落(在该截面侧视图中只有两个可见)具有TCR孔602。TCR用作到基础层的热传导元件及将高电流低电压从电源传到位于每层处的电负载的配电导体。

在上表面的热套管353及在下表面的359降低层热阻力及电阻。除了这些功能之外，这些套管还调节相邻堆叠层之间的间距以确保在互连层上形成适当且均匀的压力。

层(上)基片601是层结构的机械基础。其通常由电介质材料如陶瓷材料、玻璃-陶瓷、塑料或环氧树脂的子层制成。基片结构通常内置在薄的子层中，所述子层具有薄的金属化导电层611以在内部互连信号。导电层可通过电镀通路618垂直连接在子层之间。用于层基片的好材料是高性能玻璃-陶瓷(HPGC)。另一可能的方法和材料是杜邦绿带低温共燃陶瓷(LTCC)951或943。另一基片工艺为高温共燃陶瓷(HTCC)和厚膜技术。这些及其它工艺均可用于产生精细导体和通路，但也将通路和电子组件埋在层内。另一可用工艺如ALOX，其使用铝代替铜作为内部导体611，其相比于上面提及的传统多芯片模块(MCM)技术可进一步降低制造成本。典型的基片子层厚度在1.5-10mil之间。一些基片工艺使能热通路，其可进一步改善从芯片到热板的内部热传递。

由于层温度在运行期间趋于上升，应使用具有相似CTE的材料以使基片组件膨胀与硅片膨胀匹配从而避免过大热应力。为使层中的芯片互连，可使用上和下互连焊盘多层陶瓷(MLC)基片技术或类似技术。

刚性或柔性印刷电路板(PCB)也可在上表面和/或下表面处组合在层基片中。其它材料也可由层厂家使用以实现所希望的价格和物理目标。

层的上表面被互连焊盘354覆盖以使能与上部堆叠层互连。类似地，下层表面用互连焊盘360覆盖以使能与上部堆叠层互连。通过的信号可由直接通路如620或通过不同导电层611、埋置通路618和层基片601内的功能部件的间接信号连接。

金属板604与所述左侧导热杆套管353和359热及电耦合。该板通常由延伸到层中心的厚铜层或板制成并用作该层内的硅片和其它电组件的机械基座。由于在其它角落的其它套管可能承载不同的电压，从四个层角落延伸的热板通常垂直间隔开以避免电源层短路。该优选结构的另一选择是另外的电介质板608，其分隔从左侧延伸的板604和从右侧延伸的板605。适当的电介质材料和厚度选择可产生强大的大尺寸电容器，其通过更好的阶跃响应和更低的电压纹波而使电源稳定性更好。另外类型的电容器可集成在层中以进一步降低电源路径ESR。这些电容器可以是陶瓷或电解类型。

在典型的层实施例中，上面的板通常为接地板以使能将芯片612直接连接到该板。第二板通常为Vcore供给板以使能适当地将电容解耦到上面的接地板。在四个板中形成孔以使信号通路能在表面互连焊盘和层内部及外部焊盘之间通过。

热(及电)传导粘合剂610用于将芯片固定到上板610上。典型的粘合剂为Ablest ik粘合剂Ablebond 2100A，其具有良好的电及热传导性。另一例子为Ablestik ABLEFLEX 5206系列材料，其为电绝缘材料。在宽温度范围的良好机械强度、应力消除容量及低湿气吸收均为芯片附着粘合剂需要的特性。芯片612可以是单一芯片或多个芯片，及其它组件可用于执行层需要的功能性。芯片也可被堆叠以进一步增加层芯片密度和减少芯片间结合长度。

不同的芯片连接技术可在层内实施。为更好地说明本发明的层，在此提供两种典型的技术。图8a中所示的第一种为较老的引线接合技术。该技术对快速及高密度芯片而言效率不太高，但其仍然用于垂直芯片堆叠及其它技术的其它内部接线结构或者用作主要技术。使用引线接合，芯片612上的电源焊盘通过焊线如624连接到适当的电源板如604，所述板的暴露部分可用于使能大量电源压焊接线连接到一个或多个芯片。使用的焊线可以是金(Au)、铝或铜0.9mil或类似的导电金属丝。

类似地，芯片上的信号焊盘如所示的613可通过焊线614连接到基片信号焊盘615且所述信号通过导电层功能部件和通路如618可从该焊盘前进到上或下表面焊盘。层基片内的某些内部压焊和导电层也可被形成以使能在芯片之间进行适当的信号互连。

为在层制造过程中的组装之后保护芯片，封装材料624完全密封管芯及芯片侧面。该材料可以是环氧树脂或任何其它适当的树脂。将装配好的芯片完全密封是必要的，及下面的子层需要通过许多侵蚀性电化学方法由另外的子层覆盖。适当的芯片封装使过程完成而不损害里面的芯片。

图8b为与图8a类似的本发明另一优选层实施例的侧视截面图，但在该特定例子中，所实施的芯片连接使用倒装芯片技术。代替焊线，小的金属柱(称为凸点)616从基片表面610延伸，桥接在该表面上的金属焊盘和芯片622下侧处的对齐焊盘之间。倒装芯片可由一种或多种下述方法实施：

a、焊料凸点—形成焊料凸点的方法首先要求凸点下金属化层(UBM)通过溅射、电镀或其它手段放在芯片焊盘上，以代替绝缘氧化铝层并形成和限制焊料弄湿区域。焊料可通过蒸发、电镀丝网印刷焊膏或针沉积法沉积在UBM上。在形成焊料凸点之后，圆片被锯为凸状芯片。凸状芯片放在基片焊盘上，及组件被加热以进行焊接连接。

b、电镀凸点—电镀凸点倒装芯片使用湿化学方法去除氧化铝并将导电金属凸点电镀在圆片焊盘上。电镀的镍-金凸点通过芯片的铝焊盘的无电镀镍形成在半导体圆片上。在镀覆所需厚度的镍之后，添加浸入金层进行保护，及圆片被锯为凸状芯片。附着通常通过焊接或粘合剂，其可通过各种技术施加到凸点或基片焊盘上。

c、钉头凸点倒装芯片—金钉头凸点倒装芯片方法通过经修改的标准引线接合技术抬高芯片。该技术通过熔化金丝端部形成球状而形成用于引线接合的金球。金球作为引线接合的第一部分附着到芯片焊盘上。为形成金凸点而不是引线接合，引线接合器被修改以在将球附着到芯片焊盘上之后中断金属丝。金球或保留在焊盘上的“钉头凸点”通过氧化铝提供到下面的金属的永久连接。在容易施加到各个单芯片或圆片方面金钉头凸点方法是独特的。金钉头凸点倒装芯片可用粘合剂或通过热超声金-金连接附着到基片焊盘上。

在这种情形下，由于连接通过下侧完成—在该结构中芯片622面向下进行组装。底部填充材料619填充芯片622下面的凸点之间的间隙并在芯片和基片610之间进行热及机械桥接。倒装芯片和下面的基片之间的热膨胀失配，也称为CTE(热膨胀系数)由保护小的凸起接头的底部填充材料吸收。底部填充材料还保护芯片免遭湿气、离子污染、辐射、及不利运行环境如热及机械条件、冲击和振动。

倒装芯片组件的基片610可以是陶瓷、有机材料(刚性FR4或柔性杜邦Kapton)或任何其它适当的材料。

图8c为用引线接合的典型3DMC层俯视截面图630，其露出了芯片612、内部压焊614和通路620。图中所示的层基片601在一半厚度处被切割及在该水平处切口暴露用于一个或多个硅片612的底板。下表面互连焊盘(未在此示出)内部连接到排列在芯片612周围的信号焊盘615或通过内部通路620穿到上表面焊盘(未在此示出)。内部通路620可在没有热板604的区域穿过层630。

四个下部导热杆套管359位于四个层角落处并热耦合到从每一角落延伸到层中心的四个热板604。四个板均被电绝缘以使在每层可具有不同的电压。

芯片612通过特殊粘合剂(未在此示出)固定到上热板604。通常，上板接地。在不同热板的一些暴露区域处的电源焊盘被用作附着焊线614的电源焊盘632以将电源连接到芯片电源焊盘622。

图8d为具有金属丝倒装芯片的典型3DMC的俯视截面图649，其露出了两个芯片622和内部通路620。图中所示的层基片601在一半厚度处被切割且在该水平切口暴露用于一个或多个硅片622的底板。下表面互连焊盘(未在此示出)内部连接到排列在芯片622下面的信号倒装芯片焊盘604(在此示为小的正方形，尽管实际上位于芯片622的下面)。内部通路620可在没有热板604的区域穿过层630。

几个电解电容器637和陶瓷电容器638被集成在层中以保存电源板电压及滤波电源噪声。所使用的电解电容器可以是钽、铝或任何其它适当的电介质衬底。电容器可以是X7R、NPO、X5R或任何其它适当的电介质衬底。

四个下部导热杆套管359位于四个层角落处并热耦合到从每一角落延伸到层中心的四个热板604。四个板均被电绝缘以使在每层可具有不同的电压。

图9a-9j简要地描述了具有一个倒装芯片的典型3DMC层的制造过程。很清楚的是，实际制造过程及厂家实施的方法和技术可大大变化。

还很明显的是，该描述仅提供过程步骤的概览，因为为成功满足层组件大量生产还需要许多其它步骤和细节。

图9a所示为准备层的下半部分623。陶瓷、硅石或氧化铝子层620用作电介质材料或基片。某些导电金属功能部件被印刷在每一子层上以产生所需线路电路径。下部焊盘360使用光致抗蚀剂涂覆和蚀刻方法印刷在金层中。

具有一个或多个用于层的夹具的制造夹具666用于将子层保持在一起并使其对齐。

四个TCR孔602用作用于匹配导向销667的对准孔以使能准确定位被堆叠的每一子层的边侧。另外的更小的销可用于确保子层的精细对齐。制造夹具666还有助于制造过程期间的层处理。

由于子层制造过程可指示极端温度和腐蚀处理，通常需要向一些层施加一些保护性涂层以保护其在制造期间免遭损害。

在下半部分623的制造期间，堆叠一些金属板(在此示出一个板605)。这些板通常终止于TCR孔中，具有电镀孔以使能适当地热连接到热套管。

图9b示出了倒装芯片612a。组装芯片的准备工作要求更多在此未示出的步骤。首先，凸点下金属化层(UBM)被形成在所有芯片I/O焊盘上以准备用于形成凸点的芯片表面。大多数芯片I/O焊盘的最终金属层为铝，为传统的引线接合提供了令人满意的表面，但该表面通常不直接兼容于大多数导电凸点。铝在暴露于空气中时立即形成氧化物，且该原生氧化物是电绝缘体。为使能成功形成凸点，第一步是用更稳定且导电的材料UBM替换氧化的铝表面。适当的UBM实施通常要求多层不同的金属层，如附着层、扩散阻挡层、可焊接层及氧化阻挡层。

典型的多层UBM形成包括下述步骤：

1、溅射蚀刻原生芯片表面氧化物以去除氧化物并暴露新鲜铝表面。

2、沉积100nm的Ti/Cr/Al作为附着层。

3、沉积80nm的Cr:Cu作为扩散阻挡层。

4、沉积300nm的Cu/Ni:V作为可焊接弄湿层。

5、沉积50nm的Au作为氧化阻挡层(可选)。

在UBM形成在芯片上之后，被测试的圆片开始形成凸点过程，其中小凸点616被添加在每一芯片焊盘处。焊接凸点典型成分通常为63Sn/37Pb、95Pb/5Sn或对于无铅工艺为97.5Sn/2.5Ag。焊料凸点使用与制造集成电路类似的薄膜金属沉积或电镀及蚀刻操作形成。其它形成凸点的方法如铜柱结构形成凸点或“被动集成”方法可用于产生所需凸点。在形成凸点之后，凸点通常使用有机复合物如聚酰亚胺、Dow 

或其它材料钝化。

在凸点形成过程结束之后，圆片被仔细地切成方块以分隔每一好的芯片。在测试和形成凸点结束之后，倒装芯片准备好组装在3DMC层下半部分623中。

图9c示出了倒装芯片612a组件的层下半部分623的完成和准备。在这些步骤期间，所有子层均被形成且完成的下半部分基片被测试以确保具有适当的连通性。焊料施加到倒装芯片焊盘上以在芯片组装之前短时间内改善金属接合。

图9d示出了实际的芯片放置—倒装芯片612a仔细地对齐在基片610上，然后堆叠好的组件通过回流炉。另一选择是使用热超声头施加热-声压力。其它处理可用于获得适当的凸点与基片焊盘之间的粘合及连接。多个倒装芯片可组装在同一层中。此外，多个引线接合的或倒装法压焊的芯片可相继堆叠在相互之上以实现所需层功能性。除了倒装芯片放置之外，无源组件如电解或陶瓷电容器可组装在芯片周围。

这些处理的最后结果如图9e中所见—凸点616熔化在基片焊盘610内以形成所需的从芯片到基片的电连接。典型地，在大芯片中，形成几百个凸点以使能适当的电连接。类似地，另外的表面安装技术无源部件如陶瓷电容器638通过回流工艺用焊膏放在基片上。

典型地，在该阶段，具有芯片的下半部分被再次测试以确保集成的部件形成适当的电路。在成功测试之后，倒装芯片准备好进行底部填充和封装步骤。

在测试失败的情况下，在该阶段还可能进行一些与标准倒装工艺类似的一些返工。这可节省整个组装或仅恢复芯片。

图9f示出了下一步骤，其中施加底部填料619以保护凸点616并将芯片固紧到基片610上。底部填料可沿芯片612a的边缘用针散布。其通过毛细管作用引入芯片下空间，然后热固化以形成永久结合。在固化过程结束之后，芯片612a牢固地固紧到基片610上。

图9g示出了下一步骤，其中施加封装材料621以密封倒装芯片612a。在进一步测试和检查之后，下半部分623准备好与上半部分集成。

不需要提及的是，多个芯片和不同的其它电部件可以类似的方式集成在下半部分中以形成所需层功能性。

图9h示出了上半部分668的制造过程。该制造过程用与下半部分制造非常类似的方法完成。

为了使能下半部分623和上半部分668之间的适当电连接，焊盘被印刷在上半部分的底部以与下半部分中的类似焊盘匹配。微型凸点或焊接材料球611被形成以使能焊接两半配合层。

图9i示出了两半配合层627和668的连接过程。层的两半的连接类似于倒装法的BGA。两半被准确地对准在一起然后通过回流炉，其中凸点或球被焊接在一起。在焊接结束之后，组装的部件被全部测试。一旦检测到问题，可进行一些返工以恢复部件。

图9j示出了层的最后组装过程。在完全电测试之后，底部填充材料631固化，间隙被密封且整个层变为单一实心部件。四个上部金属套管353被压入所完成层的所述TCR孔内，然后压入四个下部套管359。

最后的层被再次测试和检查，然后为了运输而包装在适当的容器中。

应注意，压焊技术(即倒装法及引线接合法)可组合在同一层中。应注意，术语“上半部分”和“下半部分”是任意的，不必指示沿垂直轴的方向。实际上，电组件可被压焊到上半部分及下半部分中。通常，层可包括多个(例如两个以上)组件承载表面。

图10a示出了3DMC导热杆(TCR)，热管结构与其周围的层交叉并连到基础层。该图示用于说明从层安装的芯片到基础层处的冷却液体的热传递路径。

优选实施例的导热杆(TCR)被建立为具有极高有效热传导性的热管，以将热量从堆叠层传到基础层302处的热交换器。应注意，TCR304可被固定到基础层下方的结构以使能简单地实施多个3DMC矩阵。TCR304为封闭、抽空的圆柱形容器，其内壁644线状排列毛细管结构，其内充满工作液体646。由于TCR在密封之前被抽空然后充填工作液体，内部压力由液体的水汽压力设定。工作液体646可以是水、甲醇、锂、铯、钾、钠或任何其它适当的液体。TCR通常用铜制成，其内表面644被完成为网筛毛细作用表面或粉末金属毛细作用表面以提高工作液体抽吸效应。

由硅片612及层内的其它组件产生的热量经芯片粘合层610传给下方的热板604。热量也被传给其它3个热板以将热量传给层的四个角落。在每一角落，TCR套管353和359热耦合到热板604，将热量传给穿过套管的TCR304。

当在TCR650的蒸发器侧输入热量时，工作液体被蒸发，在管中产生压力梯度。该压力梯度迫使蒸汽沿管流到底部646处的冷却器部分，在那里蒸汽通过奉献其潜在的蒸发热量而浓缩。之后，工作液体借助于毛细作用结构644中发展的毛细作用力向上返回到(648)蒸发器。在TCR侧壁的内侧上，毛细作用结构在工作液体的液相上施加毛细作用力。通常，其为烧结的金属粉末或平行于管轴的一系列凹槽，但原则上其可以是能够吸收冷却剂的任何材料。

TCR通常被设计为在其设计限制内良好运行。特殊的TCR特征可被编程在管理计算机内以使能进行有效的热管理。总的来说，有五种主要的TCR热传送限制。这些热传送限制，其随TCR运行参数变化，包括：粘性、音速、毛细抽吸、夹带或溢流、及沸腾。这些限制可编程在管理计算机固件内以有效和可靠地管理热循环。不能控制TCR热传递可导致热失控且这可导致3DMC关闭甚或永久热损坏。

TCR304的冷凝器侧646安装冷却翼片645以增加TCR壁和热交换器室647中的冷却液体之间的接触面积。冷却液流体通过下部的入口管643进入热交换器室647。液体在TCR冷凝器翼片645周围循环，热量被传给所述液体然后通过冷却液流体出口642离开上部的室。

在TCR的顶部建立螺纹以使压力螺帽308能安装在TCR上。

从上面对优选实施例的冷却***的描述可以明显看出，整个堆叠结构可反向组装。这种颠倒安装可具有热好处，因为在TCR中流动的热量向上移动。使基础层堆叠在最下面还有其它考虑，主要是因为组装期间的重力作用。类似地，如果需要，也可向一旁组装3DMC堆叠。

或者，厚的导热杆或块用于去热及用于功率传递(可选)。在该实施例中，这些导热元件处于层的***。

图10b示出了具有内部冷却液流体流1640的TCR的示例性实施例。优选地，具有循环液体1640的TCR具有两个内腔：内腔1641传导冷的输入液体1643，及内腔1642传导热的排出液体1644。在所示实施例中，内腔1642处于1641的中央。然而，流动方向可被反向或者内腔可并排定位。相比于上面公开的热管实施例，这种结构可以更高的速率传递热量，因为冷却液流体可在TCR内高速循环。

图10c所示为3DMC的另一示例性实施例1650，其中使冷却液流体通过入口管1651流入TCR1652，然后所述流体按1655通过管。流体通过侧孔1653从覆盖层进入相对侧的TCR并向下流过TCR1654和排出管1656。更具体地，冷的入口液体可在底部进入两个相对的TCR，及热的排出液体可向下通过另两个TCR流到基础层。或者，冷却液流体可在一侧(例如基础层)进入，并在另一侧(例如覆盖层)离开3DMC。

或者，TCR循环回路可使用层间液体通路甚或层内通路封闭。

或者，冷却液体被迫使在3DMC堆叠周围流动。

图11a示出了在基础层具有电源的3DMC装置的优选实施例的截面图，突出显示配电元件660。

为说明目的，单一电源板位于基础层的电源和上面堆叠层的芯片耗电元件之间。另外的电源板和层配电方法实质上一样。

5V或更高电压的主DC电源510通过可选可拆卸电连接器501按照链路844连接到基础层302。电源850通过来自管理计算机(未在此示出)或CPU直接命令的可编程设置将功率输入转换为更低的电压，其中CPU直接命令使用VRM或任何其它CPU-电源协议。电源850的负输出连接到底架及接地TCR304a，而正输出通过功率导体851连接到第二TCR304b。电源连接使用厚的金属板实施以降低从电源到层的迹线中的电阻和电感。当TCR设计为非常好的电导体时，左侧TCR304a变为接地板，右侧304b变为电源板(在该例子中为Vcore)之一。

可实施类似的体系结构以使能从位于专用层中的电源传送功率。

本发明的另一设计使来自两个分开的DC电源的冗余功率输入通过可选可拆卸电导体501。在这种结构中，在主电源故障时3DMC可自动切换到辅助DC电源或者3DMC持续对一个或两个电源起作用。

本发明的另一设计使能将电源850实施为从两个分开的DC电源馈电的两个单独电源。在这样的结构中，一个电源发生故障将不影响3DMC运行。

顶层320通过下侧套管359a和359b及上侧套管353a和353b电连接到TCR。在层内部，左侧TCR304a连接到热板—该板变为一直延伸到芯片612的接地板。类似地，在右侧，Vcore热板605连接到右侧TCR304b，因而将电源板的正侧传给芯片612。焊线614用于将功率连接从基片传给芯片上的电源焊盘。在该例子中，622a为芯片接地焊盘，622b为芯片Vcore焊盘。为补偿TCR和层压降，可在耗电芯片处实施可选的电压检测。该模拟或数字信号可被连接回到基础层302或图2a的电源层311以更准确地闭合电源反馈回路。

图11b示出了3DMC装置的另一实施例的截面图，其使用定位为3DMC堆叠中的底层的可交换电源层，突出显示配电元件1660。

为说明目的，单一电源板位于底层的电源和上面堆叠层的芯片耗电元件之间。另外的电源板和层配电方法实质上一样。

可编程电源1850位于底部电源层1660中。

电源线路(或电源板)1851a(1851b)从电源1850分别引导到套管1304a(1304b)。

电源连接器1844将电源1510连接到电源层1160，该连接器可包括控制信号。

接地电势2858连接到至少一TCR。

该实施例的优点包括：交换电源以满足模块的功率需要的能力；及容易更换故障电源的能力。

图11c示出了3DMC装置的另一实施例的截面图，其使用定位为顶层的可交换电源层，突出显示配电元件2660。

为说明目的，单一电源板位于顶层的电源和上面堆叠层的芯片耗电元件之间。另外的电源板和层配电方法实质上一样。

可编程电源2850位于顶部电源层2662中。

电源线路(或电源板)2851a(2851b)从电源2850分别引导到套管2304a(2304b)。

位于电源层2662上方的电源连接器2844将外部DC电源2510连接到电源层2662，该连接器可包括控制信号。

接地电势2858连接到至少一TCR。

来自电源2850的热量通过电源板或层2662中的其它元件流到TCR。可选地，冷却翼片2100有助于从电源层2662去除热量。

可选地，信号连接器2102将电源层2662连接到下面的层。可选地，该连接器包括端接器或循环连接器使得顶部电源层可用作覆盖层306的功能。或者，包括端接器和循环连接器的层放在顶层2660的下面。

该实施例的优点包括：交换电源以满足模块的功率需要的能力；及容易更换故障电源和容易消除顶部电源层的热量的能力。

图12为基础层电源或底层/顶层电源的高级框图，突出显示为电源子***849。在该图中，层302的俯视图暴露了所有均从一个或多个DC电源线844供电的3个电源块。该3个电源输出均电连接到TCR：

Vcore电源850通过电源线851与TCR304d电连接。该电源线应尽可能的短和宽以减少寄生电阻。

Vio电源852输出通过电源线853与TCR304c电连接。

Vmem电源854输出通过电源线855与TCR304b电连接。

所有3个电源的返回(接地)输出339均连接到第四TCR304a。

3个或更多个电源的控制和监视通过模拟或数字连接链路340由管理计算机338完成。在层中测量的关键实时参数如电压反馈、温度均可由各个层测量和传输并通过服务互连区(SIA)337传给管理计算机338或直接传给电源。

如果需要，可增加另外的电源以使能产生另外的供电电压或提供备用电源。在电压板的数量超过TCR的数量时，需要另外的传送板。在这种情形下，另外的功率传送可通过堆叠外壁或在较低电流时通过服务互连区(SIA)337信号进行。

随着电源小型化及扁平式高电流电源平面电感器的开发，在层中设计另外的电源或功率转换是可能的。这使能从层内的主要电源板产生另外的电源板。

如果只需要一个或两个电压，同一电压可被连接到两个TCR以减少电源寄生电阻。

图13示出了基础层冷却子***的简图。尽管一个***可提供足够的冷却以支持整个3DMC冷却需要，但为了备用建立两个独立的冷却***是符合需要的。在一个***发生故障时，第二***可以更高的强度运行以将3DMC保持在正常运行温度。可选地，为了实现该备用，四个TCR被分为两个交叉组—TCR302a和302c由***A冷却，TCR302b和302d由***B冷却。

为避免使图复杂化，仅示出了***A。很明显的是，***B为类似***。

冷却液体通过装配在基础层634中而进入3DMC。所述装配最好包括细过滤器以避免冷却***被可随冷却液体行进的松散粒子污染。所述过滤器最好设计为可从3DMC的外面服务。

在冷却液体进入基础层之后，其被分为两个管道—其中之一636a导通到TCR302a周围的热交换器室647a。第二管道636c导通到TCR302c周围的热交换器室647c。冷却器冷却液体在输入643a和643c进入热交换器室，在那里其循环流过TCR底部冷却翼片645。在其从TCR吸收热量之后，较热的液体通过输出端口642a和642c离开热交换器室。返回管道635a和635c将更热的液体传给可选的电泵850a。该可选电泵由管理计算机控制并根据散热要求设定液体流率。可选的泵850a可由电或恒温控制流量调节器或阀代替。此外，可选泵可在热交换器室提供正压力之前安装。在基础层外面的位置安装冷却液流体泵以降低维护复杂性是有利的。在这种情形下，基础层冷却***变为被动循环，因而液体压力由外部泵产生。流量控制仍然在基础层中使用恒温或电动调节阀或旁路阀进行调节。

较热液体在配件633处离开基础层时再次通过可选过滤器。输入和输出配件通常连接到快速连接-断开连接功能部件512(未在此示出)。过滤器可位于配件633中以使能容易的接近和服务。

为了监视热效率和热条件，冷却液体温度由在热交换器室输入643a处的热探针331测量。冷却液体输出温度由在第二热交换器室输出333处的类似探针333测量。如果具体设计需要，可增加另外的温度或流量传感器。冷却液体和各个连接管道必须不导电以避免电流泄漏及TCR的电化学腐蚀。可选地，热传感器可安装在一层或多层内并用于监视和/或调节冷却***。

可选地，调节阀可安装在一层或多层内以使能进行每层热管理和温度控制。

具有8个处理器的基于典型高性能AMD Opteron的3DMC在最坏情形下可消耗400-600W—这要求快速液体流及高的温度差以保持容许温度。一个***的任何瞬时缩减或故障应被管理计算机立即检测到并通过增加其它***容量进行补偿。在容量处于临界或第二***受影响时，管理计算机可通过降低3DMC运行频率而降低功耗。如果这不能起作用，则3DMC应立即关闭3DMC以避免过热层永久损坏。

或者，一个或几个泵可将恒温的冷却液体提供给多个3DMC。应意识到，热量由足够大容量的冷却器从***去除，例如空调装置或热交换器。

图14示出了本发明的典型单CPU层40的详细框图。在该层中，CPU核心401负责主要的3DMC数据处理。典型的实施可包括x86可兼容处理器如Intel Xeon或64位处理器如AMD Opteron。为更好地说明本发明的体系结构，将使用AMD Opteron处理器，尽管许多其它当前及未来的处理器均可用于每层单或多处理器结构中。处理器核心401通常连接到快速片上L1指令高速缓存402。该高速缓存通过将可用指令保存在相比标准存储器更快的存储器上而提高处理器性能。该高速缓存可被组织在64KB或更大的双路集合联想结构中。为增强核心可靠性，L1高速缓存和CPU可实施差错检验码(ECC)保护功能。该功能在服务器实施时是符合需要的。

第二L2数据及指令高速缓存403通常连接到处理器以使能更快地存储和取回指令和数据集。L2数据及标记可被保存并用ECC保护。ECC位也可用于保存预解码及转移预测信息以进一步提高处理器性能。

存储器控制器405连接在CPU及连接的存储器组之间。典型的存储器控制器支持带存储器ECC保护的128位总线DDR、DDR2和SDRAM。存储器控制器405通过上表面141上的连接而连接到位于其上方的外部存储器层。可选地，一定数量的存储器可被嵌入在CPU层上。

在层下表面147处的存储器总线连接使可选的存储器总线终止于下部存储器层。总线由端接块413主动或被动终止。重要地应注意，通过存储器层处的适当逻辑终止存储器总线并完全避免在覆盖层端接是可能的。当该实施方式可提供一些总线信号负载电容、电感和可靠性方面的优点的同时，其也具有额外的成本和复杂性的缺点。由于稳定HyperTransport总线不可被终止，而是收发器被禁止，建立覆盖层完全无源(没有端接)的平台是可能的。

可包括北桥410以执行主机-I/O功能。在该例子中使用AMDOpteron核心的情况下，处理器间的通信及I/O通信均通过一个或多个HyperTransport链路完成。HyperTransport是低等待时间快速芯片-芯片互连技术，因为其理想地适于使用在开放体系结构***如3DMC中。目前在芯片-芯片技术中其总共提供高达22.4千兆字节/秒CPU-I/O或CPU-CPU带宽，代替现有的复杂多层总线。除了传送高带宽、频率可扩缩性及低实施成本之外，HyperTransport技术与遗留***组件互连(PCI)和PCI-X及新兴PCI Express技术软件上兼容。HyperTransport技术借助于低电压差分信号(LVDS)点对点链路传送高带宽及低等待时间，传送高数据吞吐量并使信号串扰和EMI最小。其采用基于包的数据协议以消除许多边带(控制及命令)信号并支持非对称、可变带宽数据路径。

组件401、402、403、405、410、414和415共同指示为计算机核心142。

根据CPU层功能性及可能根据商业原因，厂家可能对单处理器平台仅使能一个链路、对双处理器使能2个链路或者对多个处理器使能3个链路。部分或所有链路可支持相干高速缓存事务以使能进行有效的处理器间高速缓存共享。

HyperTransport收发器#0414可用于允许HyperTransport链路连到低层如CPU或I/O。该链路通过层下表面144处的HyperTransport连接进行连接。

第二可选HyperTransport收发器#1415使HyperTransport链路能连到位于所述CPU层上方的另外的处理器或I/O层。该链路通过层上表面143处的HyperTransport连接进行连接。

第三可选HyperTransport收发器#2419使HyperTransport链路能连到位于所述CPU层下面的另外的处理器或I/O层。该链路通过层下表面149处的HyperTransport连接进行连接。

HyperTransport链路可工作为通道以使数据包能通过该层从不同的源传到其它目的地。

除了1-3个HyperTransport链路之外，可以有一个或多个通过HyperTransport总线430。该总线可通过所述层以使能回送来自不同层的总线。所述总线连接在层下表面145处和上表面146处的通过HyperTransport总线连接之间的层内。

锁相环(PLL)和时钟块425通过基于局部晶体的频率发生器或通过使用传自基础层的衍生集中式时钟产生必须的频率和相位。集中式频率可通过来自位于基础层的管理计算机338的外部命令按需加倍或减倍。

穿过的一个或多个***管理总线(SMB)422通过从基础层到覆盖层的所有层。SMB通过层下表面423处的SMB连接和上表面424处的SMB连接连接到CPU层。在CPU层内，SMB连接到ID及配置存储器模块420。该模块提供必需的识别和运行参数如供电电压、供电电流、体系结构和处理器类型、冷却要求、临界温度等。SMB还内部连接到JTAG和调试端口426以使能进行集中测试和查找故障。SMB还连接到功率及热管理模块428，其监视芯片温度并将实时健康信息传给管理计算机338。

四个穿过的TCR440(在此仅示出一个)使能进行层散热和功率传送。优选地，所有层芯片和组件均热耦合到这4个导热杆以使能有效地将热量流到基础层。所有其它层电路的配电441连接到这4个导热杆并在内部分布。陶瓷或电解电容器可嵌入在层基片中以降低供电线路ESR因而降低纹波电压。

应注意，该图不意于示出各个元件的实际位置或大小，而是仅示出其互连，但除部分连接在下或上面之外。

现在参考图15，其示出了本发明的典型单存储器层30的功能框图。来自该层下面的CPU或存储器层的存储器总线通过层下表面135处的存储器总线互连与所述层互连。存储器接口总线根据平台体系结构和实施不同可以是不同类型。存储器总线通过垂直选路的导体452穿过层内部并在存储器层132的上表面处连接到存储器互连。在内部，存储器总线还连接到存储器矩阵131。存储器矩阵131可以是双数据速率(DDR)SDRAM类型、RAMBUS存储器或任何其它易失性存储器技术。大多数存储器层实施使能每一个连接的处理器层堆叠一个以上存储器层。为实现该功能，使用无需人工设置和配置的相同存储器层，存储器组选择逻辑455建立在存储器层内以使能预先定义将由基础层处的管理计算机338静态控制的配置。典型实施将存储器芯片选择信号切换到每一存储器层以用该层仿真单DIMM。更复杂的组选择逻辑可使在连接的存储器层的数量及支持的类型方面具有更大的灵活性。组选择逻辑455由穿过的SMB456及穿过的存储器总线452控制。

SMB456从下表面互连457到上表面互连459而穿过存储器层。在存储器层内，SMB连接到：负责层测试和故障查找的JTAG和测试模块460；保存必需层数据的ID和配置存储器模块462，所述层数据如型号、速度、电压、功率设置、计时、热参数等。

一个或多个CPU互连总线可穿过存储器层以在处理器之间提供适当的连接。在所示特定实施例中，一根互连总线138从下表面连接469穿过层而到达上表面连接470。第二穿过互连总线105从下表面连接476穿过层而到达上表面连接477。

添加多个相同组件的类似组件结构可被建立以在如上所示的单层中支持双CPU(或更多CPU)。

图16示意性地示出了单CPU核心体系结构3DMC的各个核心组件。

现在参考图16—覆盖层20是整个堆叠的上层。其包括各个连接的有效总线(在于此所示的典型实施例的结构中为一根存储器总线)的被动或主动端接121。返回的HyperTransport总线在下表面101进入所述层并在下表面102离开以使能如下所述的多个CPU核心结构。

存储器层30是简化的单处理器可兼容存储器的例子。存储器层包括连接到CPU核心142的RAM组131。存储器组可以是任何易失性存储器类型如DDR SDRAM或RAMBUS。

具有64、128位的存储器总线或实施的任何其它类型的存储器总线从下侧连接135穿过存储器层而到达上侧连接132。下侧总是从连接的CPU开始，上侧总是用端接结束。该端接可以是覆盖层端接121或多处理器平台中的CPU端接147。一个以上存储器层30可堆叠在单CPU层40的上面以使能存储器可扩缩性和升级。左侧上的穿过HyperTransport相干总线138使平台能扩展到放在存储器层上方的另外的处理器。存储器模块中心上的另一穿过的HyperTransport相干总线105使能用于多处理器实施的环形网类型HyperTransport总线拓扑。

CPU核心142包含CPU如AMD Opteron、与连接的存储器和快速总线链路连接从而与I/O和其它CPU互连的存储器控制器。快速总线链路通常为具有到其它CPU的相干互连的HyperTransport，其使每一CPU能在访问较慢存储器组之前搜索其它CPU高速缓存中的最新数据。CPU层上侧上的连接141使存储器层能与CPU核心142连接。

CPU核心142通过HyperTransport总线143(对单处理器层可能不被实施)连接到上述另外的处理器及通过HyperTransport总线144连接到下面的另外的处理器或I/O装置。该HyperTransport链路组合连同通道实施产生主机接口，其是使能处理器间相干运行的高度有效的低等待时间多处理器体系结构。

另外的侧部HyperTransport总线连接149可被实施以使能有效的多处理器实施。厂家为商业或技术原因可选择禁止该连接以产生型号分化。

HyperTransport总线从上CPU层回送可经穿过总线105穿过存储器层30，然后从上表面连接146穿过CPU层到达下表面连接145。

I/O层50在此示出仅用于参考目的，因为其不是核心堆叠的一部分。上侧HyperTransport回送连接153使能跨接在左侧HyperTransport及用于位于上面的CPU层的中心HyperTransport之间。I/O HyperTransport连接151通常连接到位于I/O层堆叠中的核心堆叠下方的HyperTransport穴或通道。

总的来说，为了获得链式结构中的任2个结点之间的最快链路，环形网式拓扑结构是符合需要的。因此，最后及第一结点通常连接在一起。

尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或者，覆盖层20的功能组合在最后的层中，例如存储器层30。

图17示出了通过将图16的元件放在一起形成的单CPU 3DMC平台的优选实施例的核心堆叠图。该实施是可能的最简单核心堆叠，CPU层40和一个存储器层30形成核心堆叠。覆盖层20使堆叠终止。该拓扑结构使2个I/O链能连接到核心，第一链151直接连接到处理器核心142，第二链153通过覆盖层20回送总线连接。

右侧所示的等效核心堆叠逻辑图17b示出了该简单结构，其具有单一CPU核心142和单一连接的存储器块131。

图18示出了具有3个相似存储器层的优选单路单CPU核心3DMC平台的核心堆叠图。该图的核心堆叠类似于图17的核心堆叠，只是该实施例使用3个相似存储器层30a、30b和30c堆叠在单CPU核心层40的上面。存储器层30a、30b和30c穿过并连接到存储器总线，直到其在上层20终止为止。图18b为核心堆叠逻辑图，其示出了CPU核心142及连接在上面的3个存储器块131a、131b和131c。I/O直接总线151及回送总线153使能在I/O层进行不同的I/O连接。

本领域技术人员应清楚的是，使用根据本发明实施例的同一总结构，存储器层的数量可变化，例如，1(如图17)、2、3(如图18)、4或更多层可被放在CPU和覆盖层之间。

尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或者，覆盖层20的功能组合在最后的层中，例如存储器层30c。

图19示出了两个单CPU层建立的优选双CPU核心3DMC平台的核心堆叠图。在该图中，每一CPU层40a和40b相应连接到单一存储器层30a和30b。I/O总线151直接连接到下部CPU核心142a。另外的I/O总线153可连接在通过覆盖层20的回送中。下部CPU核心存储器总线通过端接121b在上部CPU核心处终止。

双CPU核心的第三HyperTransport总线通常不被连接，尽管如果另外的I/O穴需要其可在I/O层中使用。

第二CPU主要通过覆盖层处的回送连接与连接的I/O通信，但也可通过第一CPU。HyperTransport实现通道—该类型的传送不需要任何CPU干预，因此其是透明传送。HyperTransport的带宽为3.2GBps，且对于4个以下处理器情形，其不是考虑因素。

在本发明实施例中，每一CPU具有至少一专用存储器层。因而，在实际实施中，对于每一CPU层有一个以上存储器层。

图20为根据本发明的由四个单CPU层建立的优选4CPU核心3DMC平台的核心堆叠图。图20a示出核心堆叠图，图20b示出核心堆叠逻辑图。

图20a和20b按与先前图类似的方式示出了由四个单CPU层建立的优选4CPU核心3DMC平台的核心堆叠图。单CPU核心层40a、40b、40c和40d中的每一个相应连接到单存储器层30a、30b、30c和30d。为优化处理器互连，上处理器核心142d回送到下处理器142a侧部总线连接。该称为垂直环形网的拓扑结构使能最低等待时间的相干处理器互连，尽管为商业或技术原因也可实施其它拓扑结构。为实施所述拓扑结构，特殊回送52建立在顶部I/O层51内。这种结构使单一总线能通过151连接到核心堆叠。如果希望另外的I/O连接，下部CPU核心142a或任何更高的CPU核心可通过侧部总线连接连接在一起以实现该功能性。

尽管避免在覆盖层端接是可能的，其通过在每一存储器层中添加端接逻辑实现，但当前实施例是优选实施例，因为其允许模块性。或者，覆盖层20的功能组合在最后的层中，例如存储器层30d。

图21示出了基于每层双CPU体系结构的本发明典型实施例的主要组件。标为图1a的左侧部件为组件示意图。标为图1b的右侧部件为相同层实施的简化连接图。为清晰起见，两种类型的图将并排使用。

同样，为进一步简化附图，基础设施组件如导热杆、电源总线、管理总线及传感器、测试电路等均未在此示出。下面的图集仅表现层的高级体系结构，因此许多细节均被省略。

在图21中，覆盖层120是整个堆叠的上部顶层。其包括各个连接的有效总线(在于此所示的典型实施例结构中为2根HyperTransport及2根存储器总线)的被动或主动端接121。

存储器层130是简化的双处理器可兼容存储器的例子。存储器层包括2个分开的RAM组：连接到CPU核心A侧的左侧RAM 131a和连接到CPU核心B侧的右侧RAM 131b。具有64、128位的存储器总线或实施的任何其它类型的存储器总线从底侧连接135b穿过存储器层而到达上侧连接132b。穿过的存储器总线的镜像图像实施在左侧上。

左侧上的穿过HyperTransport相干总线138a和右侧上的138b用作处理器间互连总线。这些总线用于使下层的互连CPU A与上层的CPU核心A侧互连，类似地，使B侧上的CPU互连。存储器层136的下侧上的HyperTransport总线的回送设计为从下部CPU层返回HyperTransport总线信号。按类似的方式，存储器层137的上侧上的HyperTransport总线的回送设计为从位于该存储器层上面的CPU层返回HyperTransport总线信号。

CPU层140包括双CPU核心—图中左侧上的CPU核心A142a和右侧上的CPU核心B142b。每一CPU核心包含CPU如AMD Opteron、与连接的存储器和快速总线链路连接从而与I/O和其它CPU互连的存储器控制器。快速总线链路通常为具有到其它CPU的相干互连的HyperTransport，其使每一CPU能在访问较慢存储器组之前搜索其它CPU高速缓存中的最新数据。CPU层上侧上的连接141a和141b使存储器层能与左侧CPU核心A142a和右侧CPU核心B142b连接。HyperTransport上侧连接143a和143b使位于上面的CPU层能互连到两个CPU核心。下侧HyperTransport连接144a和144b以类似方式使位于下面的CPU层能互连到两个CPU核心。端接147a和147b为设计来终止来自位于下面的存储器层的存储器总线的被动或主动端接。向上的HyperTransport互连总线148使能在CPU核心B和CPU核心A之间进行侧面连接。类似地，在右侧，向下的HyperTransport互连总线149使能通过其它层回送在CPU核心A和CPU核心B之间进行侧面连接。

I/O层150在此示出仅用于参考目的，因为其不是核心堆叠的一部分。上侧HyperTransport回送连接152使能跨接在左侧HyperTransport及用于位于上面的CPU层的中心HyperTransport之间。2个I/O HyperTransport连接151a和151b连接到位于I/O层堆叠中所述堆叠下方的HyperTransport穴或通道。

SMB为“带外”管理总线—其控制层运行而不干扰该层主要I/O。SMB还可在所有其它主要3DMC电源板均断电时通电以使能进行某些检测、测试和配置活动。

图22为根据本发明的交叉存储器模块以使能交叉边侧处理器间链路的简化框图。

图22a为标准模式的交叉存储器层，图22b为交叉模式的交叉存储器层。

图22示出了交叉存储器块以使能交叉边侧处理器间链路的简化框图。该类型的连接在具有3个或更多个双处理器层(6路核心)的计算机/服务器核心中是必需的。交叉边侧连接对于确保处理器间链路将通过每两个处理器之间的可能最短路线是必要的。短的链路对于确保高速缓存一致和I/O事务中的低等待时间是必要的。

图22a示出了交叉存储器模块160b，2个总线开关136s和137s处于正常模式(未交叉)。在该模式中，下部开关136s被定位为使下部右边总线连接136r与下部中心总线连接136c连接。上部开关137s定位为使上部左边总线连接1371与上部中心总线连接137c连接。

图22b示出静态交叉存储器模块160f，两个存储器组131a和131b相应连接到穿过的存储器总线135a-132a及135b-132b。右下表面总线连接136r被交叉到左上表面连接1371。下部中间表面总线连接136c连接到上表面中间连接137c。

在该类型的层简单的同时，不允许将这样的层使用为标准存储器层。独特的交叉功能不可与堆叠中的其它存储器层互换。为解决该问题，交叉的层可包含某些总线开关以使能以额外的电路为代价而可互换及自由堆叠。总线开关可使用近零传播时延CMOS开关实施。

总线开关实施使能在一个CPU层上堆叠多个存储器层，同时保持交叉总线结构。层开关由管理计算机338静态管理并在建立后***设置期间进行适当配置。

图23示出了根据本发明实施例的两个堆叠的存储器模块160c和160d，二者均按交叉模式构造，例如与双CPU核心组件一起使用。

图24示出了具有一个CPU层140和一个存储器层130的双处理器(2路)结构200的典型核心堆叠。处理器边侧互连通过下侧上的I/O层150和上侧上的存储器层130实现。在I/O层150有两个I/O总线可用。

在该典型双处理器体系结构中实施的结构提供高度标准化和可扩缩的解决方案。其使能使用相同的CPU层和相同的存储器层建立宽范围的计算机/服务器组合。相同的层可用于组装从2路到12路核心中的任何一种，每一CPU层对应一个或多个相同的存储器层。将这些能力与强大的64位处理器和快速HyperTransport相干总线结合可提供强大的计算核心。

图25示出了与图24中所示类似的结构，只是在该特定核心结构201处有3个存储器层130a、130b和130c堆叠在双CPU层140的上面。该结构通过存储器扩展说明3DMC可扩缩性。

现在参考图26，其示出了本发明的典型3DMC实施例的另一结构202，其中在两个双CPU层中安排4个CPU(4路)，其中边侧CPU互连通过该CPU层上面及下面的存储器层中的回送实现。图26a示出了核心堆叠侧视图，而图26b示出了核心堆叠逻辑图。

该特定结构具有安排在两个双CPU层140a和140b中的4个CPU(4路)。边侧CPU互连通过该CPU层上面及下面的存储器层中的回送实现。再次地，在I/O层150有两个I/O总线可用。

图27示出了根据本发明优选实施例的具有8个CPU(8路)排列在4个同样双CPU层中的3DMC结构，其中这些双CPU层中的每一个连接到一个双存储器层，其中第二存储器层切换到交叉存储器模式以使能适当的CPU互连布局。图27a示出核心堆叠侧视图，而图27b示出核心堆叠逻辑图。

该图示出了本发明的较大优选3DMC实施结构203。该特定结构具有排列在4个同样的双CPU层140a、140b、140c和140d中的8个CPU(8路)。这些双CPU层中的每一个连接到一个双存储器层130a、130b和130c。第二存储器层160切换到交叉存储器结构以使能适当的CPU互连布局。交叉结构使CPU层140b中的CPU核心A142c与CPU层140c中的CPU核心B142f互连，类似地，CPU核心142d与CPU核心142e互连。该3DMC实施还在下部I/O层150提供两个I/O总线。

图28为3DMC大规模并行处理(MPP)处理元件(PE)3D接口层的层截面图。该层可被添加在核心堆叠和I/O堆叠之间以使3DMC特别适于用作MPP***中的处理元件结点。因为更高的密度和更容易的3D实施，3DMC可理想地适合MPP。由于3DMC可在内部实施多处理器相干平台，所得的模型对于在同一***中实施多处理器和多计算机体系结构非常有效。

下面描述用作第一相大规模并行处理(MPP)***中的PE结点的3DMC核心的体系结构和功能。整个MPP***通常包括几百个或几千个微处理器，每一微处理器伴随局部存储器。这些***通常设计成支持两种风格的MPP编程：数据并行和消息通行。数据并行程序如高性能Fortran(HPF)，设计成向程序员提供易用性同时还利用MPP理论最佳性能的合理百分比。消息通行程序，如并行虚拟机(PVM)消息接发，提供最佳MPP性能的更高百分比。下面的3DMC实施在3D格网拓扑中优化为适于消息通行。进行最小变化，该实施即可适于数据并行模式中的功能。

在多计算机MPP中，每一PE被视为具有其自己的中央处理器、局部存储器及相关控制逻辑的独立计算机。每一PE仅可寻址其自己的局部存储器。其不能直接读或写与另一PE相关联的局部存储器，而是必需通过在类似I/O的包中向目标PE发送消息而从另一PE的存储器读数据，所述消息请求将目标PE的存储器的部分数据格式化并发送回给发出请求的PE，对于写反之亦然。因而，在多计算机***中，每一远程访问实质上是涉及目标PE的I/O操作。这种风格的处理器间通信称为“消息通行”。消息通行是众所周知的且为流行的MPP编程模型，因为多个计算机相对容易建立。多计算机MPP的易于构建源自商品微处理器在非常类似其“自然生活环境”(即微处理器设计者预期的硬件和软件实施)的环境中的使用，即小的自治计算机网络。为使能3DMC结构中的消息通行接口，特殊接口层180可被添加到3DMC核心堆叠。

接口层包括HyperTransport穴183以连接在上面的CPU核心和下面的消息通行网络之间。HyperTransport穴183通过2个直接存储器存取(DMA)传送数据—一个用于传输的数据184，另一个用于接收的数据185。DMA引擎对在网络和存储器之间传送数据提供支持，同时对网络需要的消息分包提供支持。它们还对可靠性功能如端到端32位CRC检查提供硬件支持。这增大了由在每一单独链路上执行的16位CRC检查(具有重试)提供的超高可靠性。

为优化网络任务，小的微处理器186与快速SRAM阵列187集成，其暂时保存流量部分和可靠性数据。微处理器186可以是RISC体系结构如MIPS、ARM或PowerPC。该微处理器使能快速包首部及可靠性特征处理，而不用主机处理器。另外，微处理器186负责必要的3DMCPE支持功能以提供可靠性、可用性及可服务性(RAS)和启动服务。

连接到2个DMA引擎184和185的路由器186具有6个下行端口以使能3D格网连网。输出的包通过最佳定向的输出使用格网3D映射发送给其目的地PE结点。对该PE有意的进入包被接收并传给DMA引擎184和185进行进一步处理。3D拓扑中的典型物理链路在每一方向支持高达2.5GB/s的数据净荷。这说明路由器使用的64字节包和各个链路上的可靠性协议中的开销。连接到Opteron通常使用800MHz的HyperTransport，其可提供每方向3.2GB/s的理论峰值，在协议开销之后峰值净荷速率为2.8GB/s(实际速率稍低于此)。路由器通过柔性PCB190使用+X、-X、+Y、-Y、+Z和-Z端口定向连接到相邻的PE结点。尽管路由器的6个定向端口可通过基础层选择路径，在该特定例子中，定向选路通过层中间弯曲PCB接线实现，如下两个附图将详细描述的，其连接到3DMC的6个面。

如果需要，另外的HyperTransport穿过总线191使能连接下面的另外的标准I/O层。

图28a示出了本发明的使用3个8路3DMC MPP PE140的2D环形网156的简化框图。3个PE在X轴与互连175交叉连接。PE140a-X轴和PE140c+X轴使用水平线缆链路177互连。

该简化结构可在垂直和水平平面进行复制以形成具有3D环形网形式的大的3维MPP PE格网。由于每一PE由多个紧密连接的CPU制成，组合的***为3D格网内的2D格网。为了密集的并行处理，该结构可使用适当的操作及控制***和特殊的编译器高度优化。

图29示出了3DMC MPP PE 3D结点接口180的优选实施方式的平面图199。该图示出了在固定到3DMC立方体各面之前的6个3D柔性PCB接线。

柔性接线190a和互连刚性PCB焊盘195a延伸到接口层180的外面并延伸到+X轴。柔性接线190b和互连刚性PCB焊盘195b延伸到接口层180的外面并延伸到-X轴。柔性接线190c和互连刚性PCB焊盘195c延伸到接口层180的外面并延伸到-Y轴。柔软部分190c较长以使其能到达基础层下面的3DMC下表面。柔性接线190d和互连刚性PCB焊盘195d延伸到接口层180的外面并延伸到+Y轴。柔软部分190d较长以使其能到达3DMC的上表面。柔性接线190e和互连刚性PCB焊盘195e延伸到接口层180的外面并延伸到+Z轴。柔性接线190f和互连刚性PCB焊盘195f延伸到接口层180的外面并延伸到-Z轴。6个柔性PCB和连接的刚性焊盘区使能松散附着到3DMC各面。每一刚性焊盘区上的两个或多个导向插座198使能与连接的相邻3DMC准确地机械对齐。

图30示出了MPP PE3D结点实施140，包括在其上组装接口层199的3DMC堆叠。在该图示中，MPP PE 3D结点接口180的柔性PCB附着到3DMC立方体的6个面以使能6个方向的3DMC链接。柔性PCB190a、190b、190e和190f向下弯曲并附着在3DMC的侧面以使刚性部分与网络连接焊盘或连接器195a、195b、195e和195f连接。2个较长的柔性PCB190c和190d上下弯曲并连接到位于3DMC上及下表面的刚性部分。所述刚性部分使用自由位移(浮动连接)功能部件固紧到3DMC各面以使能通过导向销进行某些引导从而在互连配合之前准确地定位这些表面。

图31示出了基于3DMC的MPP***3D格网实施178，其使用通过3D结点接口195互连到相邻PE的多个3DMC PE140。现在参考图中的较下面的行。基于右下3DMC的MPP PE 3D结点140经互连刚性PCB焊盘195b、PE互连层175和相邻3DMC结点140的左侧互连刚性PCB焊盘195b互连到相邻的下部中间3DMC MPP PE 3D结点140。类似地，3DMC MPP PE 3D结点140经互连刚性PCB焊盘195c、PE互连层175和下侧互连刚性PCB焊盘195a互连到位于下面的相邻3DMCMPP PE 3D结点140。在该二维图中，每一3DMC MPP PE 3D结点140在X和Y轴连接到其相邻的结点。尽管在该图中不可见，3DMC MPP PE3D结点140还在Z轴互连到相邻的结点。为了产生环形网拓扑，每行和列中的外侧结点互连到该列或行的相对端。例如，右上结点140经下侧互连刚性PCB焊盘195c、垂直环形网互连线缆176和右下结点的上侧互连刚性PCB焊盘195d互连到右下结点。类似地，水平环形网互连线缆177使外部上结点与外部下结点连接。

图32示出了3DMC IO层的例子。该图特别示出了HyperTransport到双PCI-X I/O层框图。该相对简单的层可与如图16-20和24-27中所示的每层单CPU核心堆叠或每层双CPU核心堆叠连接，只需进行较小变化。

层155设计为通过层上表面的主机HyperTransport总线互连焊盘157与核心堆叠连接的上部I/O层。该HyperTransport总线151通常为16位进/16位出以提供最大6.4GBps的总带宽。主机HyperTransport总线151内部连接到HyperTransport通道159。所述通道将来自HyperTransport的两个网桥馈给PCI-X总线，所述网桥指示为网桥A161和网桥B162。网桥的PCI-X侧连接到层下表面处的PCI-X总线互连焊盘，对A指示为164，对B指示为163。这些PCI-X总线在下部I/O层用于不同的I/O连接如网络和存储。

HyperTransport通道159的另一端通过HyperTransport总线165连接到层下表面处的HyperTransport总线互连焊盘166。该总线通常限制为8位进/8位出以提供最大3.2GBps的总带宽。该总线可由下部I/O层用于另外的HyperTransport通道或穴。

为了提供多处理器3DMC堆叠需要的另外的下行PCI-X总线，包括HyperTransport主机接口的一个以上的通道是可能的。

SMB总线456穿过与图15中所示的存储器层类似的层。连接的模块可提供层识别和参数、热条件、所需功率、测试服务等。

回送HyperTransport总线52可被实施以互连上面的核心堆叠处的处理器。

在该示例性I/O层中描述的HyperTransport通道和双PCI-X网桥功能性169可在标准芯片组如AMD8131中找到。

图33示出根据本发明另一实施例的3DMC PCI-XI/O集线器和双LAN层框图的例子。

图33示出了I/O层的第二例子。该层220可堆叠在先前图中所示的层470的下面。该层的主要输入为上面的I/O通道的受限I/OHyperTransport总线及该层的一个或多个PCI-X。为简化该图，省略SMB总线及连接的模块。

受限I/O HyperTransport总线通过所述层上表面处的互连焊盘221连接到所述层。HyperTransport总线223通常为8位进/8位出。连接的遗留I/O集线器224主要为内部连接到PCI/LPC网桥的HyperTransport穴。集线器可类似于AMD8111或其它标准芯片组。集线器通过AC97类型接口连接到KVM230的音频编解码器或编解码器仿真器。编解码器231的音频进和音频出连接到层下表面处的遗留端口互连焊盘240。这些端口通常连接到基础层，但如果需要，可穿过另外的I/O层。

连接到I/O集线器224的另外的模块是视频控制器232。该控制器可具有连接的视频存储器RAM233以保存显示的页面。视频控制器输出234通常为LCD数字视频、LVDS、模拟视频或DVI。如果不需要本地视频输出，视频控制器功能块可被仿真以简化到基础层处的KVM功能块的接口。视频输出通过遗留端口240传到基础层。在需要更强的视频性能时，视频控制器可被实施在PCI-X总线上而不是连接到I/O集线器的PCI总线。该类型的体系结构将确保更好的从视频控制器到主机存储器的图形带宽。

连接到I/O集线器224的另一模块为USB主机控制器235。该控制器235使能连接本地或远程USB装置如键盘和鼠标。控制器可仅具有一个端口，或者如果需要可具有多个端口。支持的USB协议236可以是USB1.1、标准USB2.0或任何其它公用标准。USB端口也被连接到遗留端口240以连接到基础层。

连接到I/O集线器224的另一(可选)模块为连接到遗留端口240的IDE接口237。该端口内部可具有512MB到10GB的启动闪存以使能本地OS启动。

I/O集线器224的两个下行总线—低引线数(LPC)总线227和PCI总线225也通过下面互连焊盘228和226连接。

一个或两个PCI-X241和239从上表面240和245穿过层220到达下表面互连焊盘224和248。该64位总线通常支持133、100和66MHz传输速率。

第一总线241连接到LAN接口A242。该LAN接口通常为千兆LAN或更高的MAC、RAM及物理层模块。如果需要，第二主要LAN接口B246可被添加。2个LAN端口通过层下表面互连焊盘243和247连接以使能将LAN线缆连接到基础层。LAN滤波及磁学通常位于基础层处以避免I/O层中的高电压绝缘模块。

存储接口模块250被可选地添加以使能连接到SATA、光纤通道(FC)、Infiniband或SCSI远程磁盘。存储接口模块250可具有另外的SRAM249以支持缓冲器和固件存储。

由于该层的结构，堆叠在其下面的任何层必须通过所有遗留端口、LAN、存储、LPC、PCI和PCI-X总线。

图34示出了典型的3DMC3U机架安装的服务器实施700，其具有18个核心及内置备用冷却电源和LAN交换机模块。该服务器的优选实施例展示了3DMC技术的高密度特征，其使高达128个AMDOpteron核心能安装在标准19″3U机架安装的外壳中。

金属外壳704包容各个服务器组件并连接到前面板702。前面板702和服务器外壳704可使用标准的安装孔703和柄部701安装在标准19″机架上。18个3DMC500在体系结构轨道上方排成3行，总线将3DMC互连到位于外壳704背侧的模块。3DMC通过可拆卸紧固件固紧到金属外壳上以有利于维护和容易升级。

通过打开4个顶部螺帽308并拆卸覆盖层和堆叠层，可关闭和拆卸特定3DMC。为进一步说明该选择，3DMC之一500a在图中被示为层也被移除。

如果维护和升级需要，即使该服务器中的其它3DMC仍在运行时，也可拆卸整个3DMC，通过将其关闭然后***螺丝刀以释放将3DMC基础层安装凸缘514连接到外壳底架704的安装螺钉。该选择在图中示出，其示出拆卸3DMC后的一个3DMC位置714，暴露下面的体系结构连接。4个安装螺钉孔717及两个冷却管715和716及基础层电连接总线718均可见。基础层冷却液流体配件的连接通过***的快速解开配件完成以确保冷却液流体溢出最少。

在外壳704的背侧，可拆卸地组装几个服务模块以支持18个3DMC。电源705从通过背侧连接器712供电的DC输入提供3DMC需要的DC功率。电源705可从外部源切换DC功率并直接馈给3DMC，或者可运行为具有一个或多个冗余通道的AC-DC转换器以允许外部AC功率输入。冷却***A模块708向所有3DMC提供一个除热液体冷却通道。第二冷却***B模块709向所有3DMC提供第二冗余除热液体冷却通道。该设计使能故障切换机制—在一个通道发生故障时，另一通道可满足18个3DMC的全部冷却需求。

24端口LAN交换机710使能灵活地将18个3DMC的主要LAN连接连接到外界。此外，该交换机可提供辅助的20个端口以支持与第一24个端口分开或结合的第二主要LAN连接。此外，LAN交换机还可支持3DMC的管理LAN的另外的20个端口。该功能也可支持光纤通道切换以使能将远程存储器的外部连接连接到3DMC。显然地，如果需要，这些功能可由分开的及备用的模块执行以提高***可靠性和性能。

图35示出了构造为投币式自动电唱机的另一典型3DMC4U机架安装的服务器实施例750。该服务器实施例具有40个核心及内置备用冷却电源和LAN交换机模块。该服务器的优选实施例展示了3DMC技术的高密度特征，其使高达320个AMD Opteron核心能安装在标准19″4U机架安装的外壳中。该特定实施例按投币式自动电唱机结构进行建立以使电动头能半自动或自动更换故障层。

该服务器由金属外壳和底架704及金属板702建立，其具有标准4U尺寸、安装孔703及柄部701以使能安装在标准机架中。

40个3DMC模块500排列成5行，每行8个3DMC。位于滑动桥734上的电动头740使能从上面接近40个3DMC中的每一个。滑动桥可借助于步进电机723、丝杆724和滑动轴承730及732沿Y轴移动。滑动轴承使滑动桥能在左侧上的滑动轨道735及右侧上的737上沿Y轴自由移动。滑动轨道固紧到外壳和底架704。滑动桥可通过步进电机移动以使桥位于每一3DMC位置的上方。滑动桥沿Y轴方向的移动通过来自激励步进电机723的电动头控制器722的命令实现。步进电机旋转Y轴丝杆724，其通过连接到滑动桥的螺杆轴承移动滑动桥。适当的位置反馈通常适于准确检测滑动桥位置并将其传给控制两个步进电机723和725的电动头控制器722。

电动头740的移动按类似的方式完成，其通过步进电机725旋转X丝杆726、X轴螺杆轴承744进行。电动头通过在滑动桥734的边侧轨道上滑动而沿X轴自由移动。沿X轴的移动由激励X轴步进电机725的电动头控制器722命令，所述X轴步进电机旋转X轴丝杆726。滑动螺钉744因而沿X方向移动电动头。

电动头可准确地定位在每一所选3DMC上方。4个螺钉旋转单元741使能打开和固定3DMC TCR螺帽308。通过执行来自电动头控制器722的命令，电动头可拆卸和组装任何3DMC堆叠以进行维护和升级。当电动头移到右侧时，其可使用堆叠升降机742卸掉所述堆叠。层可通过固定到前面板702的电动层插槽745进行安装或拆卸。所述堆叠升降机742也可保存备用层以使在层故障时能进行自动化层更换。

连接到前面板702的人机接口743使能监视和执行具体的自动化或半自动化操作。

现在参考图35，其示出了完成的服务器的俯视图；及参考图36a-36c，其示出了故障3DMC的侧视图。全自动化拆卸故障层的例子将在此进一步描述。首先，故障3DMC被远程管理***关闭。在3DMC完成断电之后，参考图35，电动头740通过丝杆726和724移到具体故障3DMC775上方的位置，如图36a中所示。

现在参考图36a，一旦电动头740准确地定位在故障3DMC的上方，电动头通过两个步进电机762和两个垂直丝杆765降低以使能拧下盖。四个螺钉旋转单元741旋转螺帽套741从而打开拧下4个螺帽308。

现在参考图36b，两个镊子766被降低到由两个垂直线性执行机构767电动和监视的具体垂直位置。故障层的垂直位置基于***管理计算机计算的堆叠数据进行计算。之后，执行机构767内的螺线管在侧面推动两个镊子到达故障层772的下面。

现在参考图36c，在镊子766适当定位之后，电动头向上垂直移动以借助于两个步进电机762和两个丝杆765提升堆叠。在所述堆叠被提升到TCR的上面时，电动头侧向自由移动以将拆卸的堆叠带到电动层插槽区，在那里颠倒所述过程以将所述堆叠放入电动头内并留下最低的层(所述故障层772)。之后，按类似的方式，所述堆叠可被定位在完好层的上方以使能将该层添加到拆卸的堆叠中。

使用电动头和两个层组，所述***可用于自动更换、升级和维护所有类型的层。

不想要的层拆除堆叠可被带到堆叠升降机742a，在那里对其进行分类，且故障层通过电动层插槽745弹出。电动头可等待用户将交换层***电动层插槽中然后反向执行所述过程以再次组装堆叠。

自动操作可被编程在电动头控制器内以使在发现故障时电动头可自动更换故障层。该特征使能服务器的自动自修理特征。该特征对于无人数据中心或在远处的数据中心是符合需要的。

图37示出了3DMC单循环液体冷却***900的简化示意图。本发明的该优选实施例基于单一***，在其设计中没有任何冗余。

冷的冷却液流体512a如水通过快速断开配件513进入3DMC500。在基础层内或直接在基础层下面，由TCR传递的热量提升冷却液流体温度。热的冷却液流体516通过同一配件513离开3DMC并通过管道流到散热器905，在那里更冷的空气912被连接到电动机907的风扇910迫使流过。由于通过的空气912从冷却液流体带走热量，因而所述空气被加热。离开散热器905的冷的冷却液流体通过储蓄器/蓄积器903。储蓄器/蓄积器保持恒定的***液体水平和压力。其还用于减少空气或蒸汽泡的风险。冷的冷却液流体通过管理***控制的电泵915。之后，高压力的冷的冷却液流体512被送回3DMC以完成闭合循环。

单循环的实际例子，单一3DMC具有16个AMD Opteron处理器及对每一CPU具有4GB的DDR存储器，在100％负载时产生大约2.4KW的热量。使用水循环和基于水的热管消除该热量的冷却热量提供下述：

水运行前温度：12℃

水运行后温度：18℃

水压力损耗：0.5bar

水流：0.01l/sec

水入口压力：6bar

现在参考图38，其示出了支持2个3DMC的3DMC单循环液体冷却***的另一简化示意图514。本发明的该优选实施例基于与图37中所示***类似的单循环，但具有另外的入口歧管922和出口歧管920。通过增加歧管，一个以上的3DMC可被并行连接。

为了避免对层的热应力，希望在这样的***中为每一3DMC甚或CPU层增加调节阀。该调节阀(未在此示出)可用于调节冷却液流体流动速率，从而改变热量捕获速率。

图39示出了具有两个冗余冷却液流体循环514a和514b的3DMC液体冷却***的简化示意图，其对两个3DMC500c和500d提供冷却。在本发明的该实施例中，左侧3DMC500d通过快速断开配件518d从下面的冷却***514b接收冷的冷却液流体。同一3DMC还通过快速断开配件513d从另一冷却循环514a接收冷的冷却液流体。

右侧3DMC500c通过快速断开配件518c从下面的冷却***514b接收冷的冷却液流体。同一3DMC还通过快速断开配件513c从另一冷却循环514a接收冷的冷却液流体。

***可被设计为具有足够的冷却容量以使能仅运行一个冷却***即可完全运行两个3DMC。冷却容量可通过改变通过风扇和电动机907a和907b的气流速度912a和912b进行控制。冷却也可通过改变泵速915a和915b进行控制。

图40示出了与上面图37中所示***900类似的3DMC单循环液体冷却***918的简化示意图，但其具有两个液体回路—主要冷却回路921和辅助冷却回路919。

冷的冷却液流体通过管512s和快速连接513进入3DMC500。在从TCR吸收热量之后，热的冷却液流体通过同一快速连接513和辅助回路热管516s离开3DMC。之后，热的冷却液流体进入液-液热交换器617，其中将热量释放到主要冷却回路冷却液流体中。主要冷却回路通过热交换器617提供更冷的工作液体流，之后通过主要冷却回路热管516p，热的液体通过冷却器或液体-空气热交换器905p。在将热量释放到周围空气912p中之后，冷却液流体由主要回路冷却泵915p泵回到液-液热交换器917。在主要及辅助回路的工作液体通常为水。水可与高达30％的防冻剂混合。

两个独立的冷却回路的使用使能将3DMC机架连接到标准建筑物冷却回路。水-水或液-液热交换器517的使用使能在主要的建筑物冷却回路921(通常用水作为工作液体并连接到外部冷却器)及连接到3DMC500的辅助冷却回路之间进行有效的连接，并可以不同压力、流动速率、温度甚至不同的工作液体运行。因为下述原因该回路隔离是有利的：

-使用现有冷却基础设施—建筑物空调***

-故障安全冷却***

-更好地控制3DMC的运行参数

-相比空气-水冷却方法高得多的效率

-由于回路隔离污染风险更低

-由于在辅助回路的更好的温度和流动控制，较冷部分凝露风险更低

-由于较大的主要回路质量，热量起伏可吸收性更好

图41示出了3DMC人工层堆叠过程的流程图。所述过程以用户从3DMC堆叠拆卸覆盖层开始，即步骤1002。在下一步骤1004，用户添加第一I/O层。在一些实施方式中，在添加I/O层之前用户可首先添加基础层和/或电源层。

在下一步骤1007，用户添加第一CPU层，然后在步骤1008添加一个或多个存储器层，直到在步骤1010添加最后一存储器层为止。前述3个步骤可重复以组装多CPU层的堆叠。在下一可选步骤1012，如果需要，用户添加垫片层以填满堆叠直到覆盖层为止。

在下一步骤1014，用户添加覆盖层，及在步骤1016，施加启动功率。在步骤1018，在3DMC启动顺序期间，用户使用***测量和产生的音频或可视扭矩信息固紧4个TCR螺帽。

在步骤1022，在堆叠被适当固紧之后，用户从远程管理***取回关于堆叠内容、层可兼容性、功率方面、层互连状态及自测试状态的详细信息。

在步骤1025，如果过程成功完成，则管理***通知用户该构造被批准且开始全3DMC启动过程。

在步骤1026，如果加电成功完成，则管理***通知用户及3DMC完全运行。

在本发明已结合某些示例性实施例描述的同时，对本领域技术人员而言多种修改显而易见且可容易地完成，而不会背离上述示教的精神和范围。

应当理解，结合一实施例描述的特征和/或步骤可用于其它实施例，且不是本发明的所有实施例均具有在特定附图中所示或结合实施例之一所述的所有特征和/或步骤。本领域技术人员将可对所描述的实施例进行变化。

应注意，部分上述实施例描述了发明人预期的最佳模式，因此包括可能对本发明不是必需及作为例子描述的结构、步骤或结构和步骤的细节。如本领域公知的，在此所述的结构和步骤可由执行相同功能的等效方案代替，即使结构或步骤不同。因此，本发明的范围仅由权利要求中使用的元件和限制进行确定。在此使用的术语“包括”、“包含”及其语法变化意为“包括但不必限于”。

Claims (190)

1、按平行层堆叠的三维多层模块化计算机3DMC装置，包括：

适于执行各种数据处理任务的CPU功能块；

适于暂时保存运行所述CPU功能块所需要的数据的易失性存储器功能块；

用于通信的输入/输出I/O接口功能块；

管理功能块；

适于向其它功能块供电的电源功能块；

其中，平行的多层被电连接以产生计算装置。

2、根据权利要求1的装置，其中CPU功能块提供在CPU层中。

3、根据权利要求2的装置，其中至少一所述存储器功能块集成在CPU层中。

4、根据权利要求1的装置，其中所述存储器功能块提供在至少一分开的存储器层中。

5、根据权利要求1的装置，其中所述装置还包括适于在机械上支撑其它层的基础层。

6、根据权利要求5的装置，其中所述基础层包括所述管理功能块。

7、根据权利要求5的装置，其中所述基础层包括所述电源功能块。

8、根据权利要求1的装置，其中所述电源功能块安排在分开的多层中。

9、根据权利要求1的装置，其中总线及层互连通过安排在层的两个相对的较大面处的电触点组进行实施以使能层堆叠。

10、根据权利要求1的装置，其中所述装置可由用户进行构造以运行为下列之一的计算装置：单处理器计算装置、在至少一CPU层中具有一个以上CPU的多处理器计算装置、或者具有一个以上CPU层的多处理器计算装置。

11、根据权利要求1的装置，其中所述I/O接口功能块适于连接在所述CPU功能块中的一个或多个和一个或多个外部存储***之间。

12、根据权利要求1的装置，其中所述I/O接口功能块适于连接在所述CPU层中的一个或多个和一个或多个外部网络资源之间。

13、根据权利要求1的装置，其中所述I/O接口功能块适于连接在所述CPU层中的一个或多个和一个或多个外部CPU之间。

14、根据权利要求1的装置，其中提供至少一元件以将热量从所述层散发到冷却***。

15、根据权利要求14的装置，其中所述至少一元件为导热杆TCR，及其中所述TCR热耦合到所述层以将所述层中发生的热量传到所述冷却***。

16、根据权利要求15的装置，其中所述TCR通过垂直通到层表面并接触层组件而热耦合到所述层。

17、根据权利要求16的装置，其中所述TCR通过穿过层结构热耦合到所述层。

18、根据权利要求5或16的装置，其中所述TCR热及机械耦合到所述基础层。

19、根据权利要求16的装置，其中所述TCR热及机械耦合到外部结构。

20、根据权利要求15的装置，其中所述TCR中的一个或多个还适于将DC供电功率传给堆叠的层。

21、根据权利要求15的装置，其中所述TCR具有内部导热液体或固体材料以将层产生的热量有效传到所述冷却***。

22、根据权利要求15的装置，其中所述TCR具有同轴内部导热液体管道以使能双向液体流过TCR。

23、根据权利要求15的装置，其中所述TCR被构建为使循环液体能从较冷侧流过一层或多层、液体横向流过一层或多层、及返回的液体通过一层或多层流到热侧。

24、根据权利要求15的装置，其中所述TCR被构建为由中空金属管如不锈钢或铜制成的热管，并包含选自一组绝热导热液体的内部工作液体：水、氨、甲醇、锂、铯、钾、钠。

25、根据权利要求15的装置，其中所述TCR内部具有毛细作用表面以在工作液体的液相上施加毛细作用力，其中毛细作用结构选自下组：槽、格网、线缆/光纤、及烧结的粉末金属或任何其它适当的内部修整、形状和形式。

26、根据权利要求15的装置，其中所述层包括邻近每一层的四个角落中的每一角落定位的四个TCR。

27、根据权利要求15的装置，其中所述层包括适于接触所述TCR的导热套管以提高从层基片和芯片到所述TCR的热传导。

28、根据权利要求27的装置，其中所述层基片还包括内部热耦合表面以将层散发的热量通过所述导热套管传给所述TCR。

29、根据权利要求15的装置，其中不同的TCR大小和形状用作防止无意旋转层堆叠的机械保护。

30、根据权利要求1的装置，还包括一个或多个非易失性存储器功能块以使能装置的本地启动和/或操作***装入和/或本地数据存储。

31、根据权利要求30的装置，其中所使用的所述非易失性存储器的类型为闪存、硬盘、光电存储或只读存储器。

32、根据权利要求1的装置，还包括一个或多个非易失性存储器功能块以使能装置的本地启动和/或操作***装入和/或本地数据存储。

33、根据权利要求31的装置，其中所使用的所述非易失性存储器的类型为闪存、硬盘、光电存储或只读存储器。

34、根据权利要求1的装置，其中所述装置还包括覆盖层以使在所有堆叠层上具有相等的机械压力。

35、根据权利要求33的装置，其中所述覆盖层包括被动或主动信号端接。

36、根据权利要求33的装置，其中所述覆盖层包括互连到适当回送信号和总线的信号和/或总线。

37、根据权利要求33的装置，其中所述覆盖层适于在层堆叠上提供均匀压力，通过一个或多个紧固件将所述覆盖层固紧到所述装置的机械结构。

38、根据权利要求33的装置，其中所述覆盖层包括适于将覆盖层固紧到其它层的固定螺帽或螺钉。

39、根据权利要求33的装置，其中所述覆盖层包括适于提供用户交互特别是装置的故障隔离的指示器。

40、根据权利要求33的装置，其中所述覆盖层包括确保在装置堆叠期间所述覆盖层将在所有其它层上施加相同压力的装置。

41、根据权利要求41的装置，其中所述装置包括至少一齿轮以同步紧固件旋转。

42、根据权利要求33的装置，其中所述覆盖层包括散热装置以将所述装置中发生的热量传给周围的空气。

43、根据权利要求1的装置，其中所述装置还包括一个或多个居中分布的时钟发生器以向一层或多层提供一个或多个准确的时钟频率信号。

44、根据权利要求43的装置，其中一个或多个所述时钟发生器频率由管理计算机编程以使其适于层时钟规约及当前装置功率和/或热状态。

45、根据权利要求43的装置，其中集中的时钟发生器具有可调节时钟时延或相移以使其适于层堆叠中的具体层位置和迹线长度。

46、根据权利要求1的装置，其中所述装置还包括包含时钟发生器和/或锁相环和/或时钟除法器以局部驱动具体层时钟信号的层。

47、根据权利要求1的装置，其中所述管理功能块包括能够命令下述操作的管理计算机：

***层审核；

启动前配置；

***构建测试；

***加电；

***启动；

***重启；及

断电。

48、根据权利要求47的装置，其中在所述管理计算机和位于不同层处的电路之间的管理数据交换通过一个或多个专用***管理总线进行，所述总线经互连层发送并通过所述层。

49、根据权利要求47的装置，其中所述管理计算机适于使用预定协议如PXE或NETBIOS执行远程***启动。

50、根据权利要求47的装置，其中所述管理计算机、其管理网络接口、其连接的***管理总线SMB及其连接的传感器均通过备用电源独立供电，所述备用电源即使在主电源关闭时仍保持可用。

51、根据权利要求47的装置，其中所述管理计算机固件可被修改以使装置适于多个层结构和新的具体层。

52、根据权利要求47的装置，其中所述管理计算机包括把关定时器以提高其运行稳定性。

53、根据权利要求47的装置，其中所述管理计算机固件可通过所述管理网络远程安装、管理和加载。

54、根据权利要求47的装置，其中所述管理计算机适于仿真本地软盘、CD或DVD驱动器以使能远程将软件装入本地启动盘或易失性存储器。

55、根据权利要求47的装置，其中所述管理计算机包括ROM仿真器以用作3DMC***BIOS。

56、根据权利要求47的装置，其中所述管理计算机包括实时时钟RTC电路以为3DMC装置提供准确的时间和日期信息。

57、根据权利要求56的装置，其中所述管理计算机实时时钟电路由内部储电装置如电池或超电容器供电。

58、根据权利要求47的装置，还包括视频控制器功能块以连接在所述CPU功能块和外部视频显示器之间。

59、根据权利要求58的装置，其中所述视频控制器功能块输出适于连接到KVM功能块以使远处的管理员能与3DMC装置交互作用。

60、根据权利要求58的装置，其中所述视频控制器功能块与KVM功能性组合以使远处的管理员能与3DMC装置交互作用。

61、根据权利要求1的装置，其中所述装置还包括视频控制器仿真器功能块以基于TCP/IP捕获、压缩和管理给远处视频显示器的视频显示图像。

62、根据权利要求1的装置，还包括键盘控制器功能块以使能连接外部键盘。

63、根据权利要求1的装置，还包括键盘控制器仿真器功能块以仿真遗留x86控制器和通过KVM功能性提供远程键盘交互作用。

64、根据权利要求1的装置，还包括通用串行总线USB主机控制器以使能连接外部键盘、鼠标或其它可兼容外设或适于与内部或外部KVM功能一起使用。

65、根据权利要求5的装置，其中一个或多个所述电源功能块嵌入在所述基础层中。

66、根据权利要求1的装置，其中一个或多个所述电源功能块嵌入在专用电源层中。

67、根据权利要求1的装置，其中一个或多个所述电源功能块嵌入在其它层中。

68、根据权利要求1的装置，其中一个或多个所述电源功能块还包括至少一由一个或多个CPU层使用标准CPU接口如电压标识定义VID代码或VRM或任何其它认可的接口通过数模转换器进行控制的可编程CPU核心电源。

69、根据权利要求68的装置，其中一个或多个所述可编程核心电源从所述管理功能块接收初始设置和参数如电压设置及供电顺序。

70、根据权利要求68的装置，其中所述可编程核心电源具有多个电压标识定义VID表，其可预先定义或远程加载以适于使用内部数模功能块的多个处理器。

71、根据权利要求1的装置，其中所述电源功能块还包括一个或多个固定或可编程的电源以向其它3DMC组件供电所需DC电压。

72、根据权利要求1的装置，其中所述电源功能块还包括一个或多个多相转换器，其具有两个或多个由一个或多个模数PWM控制器控制的同步电相。

73、根据权利要求1的装置，其中所述电源功能块由所述管理功能块监视以使能进行本地和远程热及功率参数报告和记录。

74、根据权利要求15的装置，其中所述电源功能块将所述TCR之一用作功率返回导体及将另三个TCR用作连接到三个不同可编程电源的功率导体以将不同的DC电压传给不同的层。

75、根据权利要求15的装置，其中所述TCR还包括一个或多个连接到所述管理功能块的变形测定器以检测张力从而提供装置层上压力适当且相等的指示。

76、基于3DMC的服务器，包括：

一个以上3DMC装置；

至少一电源功能块；

至少一冷却***；

至少一管理功能块。

77、根据权利要求76的服务器，还包括可拆卸安装在机械基座上的多排3DMC的阵列。

78、根据权利要求77的服务器，其中所述机械基座热及机械耦合到所有3DMC导热杆。

79、根据权利要求76的服务器，还包括一个或多个连接到3DMCLAN接口的LAN交换机。

80、根据权利要求76的服务器，还包括备用基于液体的冷却***。

81、根据权利要求76的服务器，其中服务器的外壳包括控制器和电动头以使能自动堆叠和拆卸所述服务器中的3DMC堆叠。

82、可用于装置如三维多层模块化计算机并具有两个大的相对表面的可堆叠层，该层包括：

至少一封装芯片；

在层的大相对表面之一处的电触点组；

在层的另一大相对表面处的电触点组；

其中所述至少一封装芯片和层的两个所述大相对表面完全平行。

83、根据权利要求82的可堆叠层，其中所述至少一芯片电连接到基片或使用薄的金属焊线互连在一起。

84、根据权利要求82的可堆叠层，其中所述至少一芯片使用倒装技术电连接到基片，其中位于基片上的小金属凸点连接到位于芯片表面上的匹配焊盘。

85、根据权利要求82的可堆叠层，其中所述层适于使一些信号和总线能通过所述层。

86、根据权利要求82的可堆叠层，其中，除了所述至少一芯片之外，所述层还包括一个或多个无源或有源部件。

87、根据权利要求82的可堆叠层，其中所述层还包括适于滤波电源噪声和/或保存提供的功率的电解电容器和/或陶瓷电容器。

88、根据权利要求82的可堆叠层，其中所述至少一封装芯片内部由密封树脂包封以在所需层制造过程期间对其保护。

89、根据权利要求82的可堆叠层，其中所述层由选自下述绝缘体组的绝缘材料制成：陶瓷、氧化铝或塑料基片。

90、根据权利要求82的可堆叠层，其中所述层还包括具有电导体和通路以连接层芯片、组件和互连焊盘的一个或多个薄的子层。

91、根据权利要求82的可堆叠层，其中所述层具有标识和配置存储器功能块，从而使连接的电路能读层类型和层的运行参数。

92、根据权利要求82的可堆叠层，其中所述层还包括一个或多个适于检测关键层组件运行温度的热传感器。

93、根据权利要求92的可堆叠层，其中至少一热传感器为片上热二极管。

94、根据权利要求82的可堆叠层，其中所述层还包括一个或多个适于保护所述层免遭极端过热损害条件的解扣功能块。

95、根据权利要求82的可堆叠层，其中所述层还包括一个或多个适于使能在装置运行之前或期间进行功能和/或数据完整性测试的自测试功能块。

96、根据权利要求95的可堆叠层，其中所述自测试功能块适于支持具体芯片功能和I/O互连的测试并通过如边界扫描、NAND树和JTAG的方法执行。

97、根据权利要求82的可堆叠层，其中所述层包括适于使基于光的通信能通过该层的光管或光路径。

98、根据权利要求82的可堆叠层，其中所述层包括适于通过光纤、光管或自由空气介质与其它层或外部功能块通信的光反射器和/或接收器。

99、根据权利要求82的可堆叠层，其中提供至少一机械装置以防止在层堆叠期间不适当的层旋转组装。

100、根据权利要求82的可堆叠层，其中提供另外的装置以防止层的颠倒堆叠。

101、根据权利要求82的可堆叠层，其中层颜色编码用于肯定地识别层类型并可视地帮助层堆叠。

102、根据权利要求82的可堆叠层，其中所述层可被制造成标准预定高度H、所述预定H值的整数倍如2H、4H及所述H值的分数如1/2H和1/4H。

103、根据权利要求82的可堆叠层，其中相邻层之间的所述电触点使用至少一组金属销和配合金属插座实施。

104、根据权利要求82的可堆叠层，其中相邻层之间的所述电触点使用至少一组在一层表面的金属焊盘和在另一层配合侧的匹配弹性金属触点实施。

105、根据权利要求82、5或34的可堆叠层，其中不同于所述基础层和所述覆盖层的层在层的两个大表面包括电触点阵列以使能层互连。

106、根据权利要求82的可堆叠层，其中层表面电焊盘被涂覆选自下组的金属以提高触点长期可靠性：金、镍或热气级含锡焊盘。

107、根据权利要求82的可堆叠层，其中层制造过程通过下述步骤之一完成：

层子层基片制造印刷金属迹线和焊盘及内部传导通路；

使用倒装引线接合或其它技术在一个层部分上组装芯片；

使用形成凸点方法和/或回流配合两个层部分以将两个部分电连接在一起；

所完成层的最后测试。

108、可用于装置如三维多层模块化计算机的可堆叠存储器层，该层包括：

至少一封装存储器芯片；

控制功能块；

在两个相对的大层表面之一处的电触点组；

在所述两个相对的大层表面中的另一个处的电触点组；

其中所述封装芯片和所述两个相对的大层表面完全平行。

109、根据权利要求108的可堆叠存储器层，其中存储器总线和信号通过每一存储器层以使能堆叠多个可堆叠存储器层。

110、根据权利要求108的可堆叠存储器层，其中所述控制功能块适应堆叠层的存储器功能块以获得适当组合的堆叠存储器层结构。

111、根据权利要求108的可堆叠存储器层，其中内部存储器控制信号切换借助于其它层的自动检测设定适当的存储器组设置。

112、根据权利要求108的可堆叠存储器层，其中存储器层还包括通过的一个或多个快速总线如CPU/IO链路。

113、根据权利要求68的可堆叠存储器层，其中所述层还支持差错检验码功能以检测108个正确的单或多位差错从而提高数据完整性。

114、根据权利要求108的可堆叠存储器层，其中所述层还支持擦洗功能以提高数据完整性。

115、根据权利要求108的可堆叠存储器层，其中所述层还包括芯片猎杀功能块以提高数据完整性。

116、根据权利要求108的可堆叠存储器层，其中所述层还包括多个存储器组以支持一个以上CPU。

117、根据权利要求108的可堆叠存储器层，其中存储器层适于印刷电路板上的堆叠安装。

118、可用于装置如三维多层模块化计算机的可堆叠CPU层，该层包括：

至少一封装CPU核心芯片；

在两个大的相对层表面之一处的电触点组；

在所述两个大的相对层表面中的另一个处的电触点组；

其中所述至少一封装CPU核心芯片和所述两个大的相对层表面完全平行。

119、根据权利要求118的可堆叠CPU层，其中所述CPU层包括位于单一芯片上的一个以上CPU核心。

120、根据权利要求118的可堆叠CPU层，其中所述CPU层包括位于一个以上互连芯片上的一个以上CPU核心。

121、根据权利要求118的可堆叠CPU层，其中所述CPU层包括一个或多个存储器控制器功能块以连接在所述CPU功能块和外部存储器之间。

122、根据权利要求119、120或121的可堆叠CPU层，其中每一所述CPU核心连接到集成在可堆叠CPU层中的专用存储器控制器功能块。

123、根据权利要求108的可堆叠CPU层，其中所述CPU层包括一个或多个快速CPU-CPU互连总线以互连到其它CPU核心。

124、根据权利要求108的可堆叠CPU层，其中所述CPU层包括一个或多个快速CPU-I/O互连总线以互连到I/O资源。

125、根据权利要求123或124的可堆叠CPU层，其中所述互连总线使用低等待时间高速低电压差分信令LVDS技术。

126、根据权利要求125的可堆叠CPU层，其中所述互连总线属于HyperTransport技术或源自该技术。

127、根据权利要求126的可堆叠CPU层，其中所述CPU层包括一个或多个HyperTransport网桥以使能到其它CPU核心和I/O资源的有效连接路径。

128、根据权利要求108的可堆叠CPU层，其中所述CPU层包括共享的前侧总线FSB CPU-CPU互连总线。

129、根据权利要求127或128的可堆叠CPU层，其中所述互连总线使用InfiniBand

技术。

130、根据权利要求108的可堆叠CPU层，其中所述CPU层包括一个或多个高速缓存功能块。

131、根据权利要求130的可堆叠CPU层，其中所述高速缓存功能块包括一个或多个L1类型高速缓存。

132、根据权利要求130的可堆叠CPU层，其中所述高速缓存功能块包括一个或多个L1类型高速缓存。

133、根据权利要求130、131或132的可堆叠CPU层，其中所述高速缓存功能块包括奇偶校验功能块以增加平台运行可靠性和数据完整性。

134、根据权利要求130、131或132的可堆叠CPU层，其中所述高速缓存功能块包括差错检验码ECC功能块以增加平台运行可靠性和数据完整性。

135、根据权利要求108的可堆叠CPU层，其中所述CPU层基于遗留32位x86CPU核心体系结构。

136、根据权利要求108的可堆叠CPU层，其中所述CPU层基于64位CPU体系结构。

137、根据权利要求136的可堆叠CPU层，其中所述64位CPU体系结构也能运行遗留32位应用程序。

138、根据权利要求108的可堆叠CPU层，其中所述层还包括CPU电压标识定义VID电路以将提供的核心电压设定到适当水平。

139、根据权利要求108的可堆叠CPU层，其中所述层还包括一个或多个CPU芯片电压反馈信号以使能电源认可的性能和准确度。

140、可用于装置如三维多层模块化计算机的可堆叠输入/输出I/O层，该层包括：

至少一封装的I/O功能芯片；

在两个大的层表面之一处的电触点组；

在所述两个大的层表面中的另一个处的电触点组；

其中所述封装芯片和所述两个大的层表面完全平行。

141、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括具有网桥的一个或多个到其它总线如PCI、PCI-X或更快的总线和InfiniBand的HyperTransport通道。

142、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到以太网局域网控制器的一个或多个PCI-X或更快的总线以使能与外部网络通信。

143、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到光纤网络控制器的一个或多个PCI-X或更快的总线以使能与外部光纤网络和/或存储器通信。

144、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到SCSI磁盘控制器的一个或多个PCI-X或更快的总线以使能与外部SCSI磁盘通信。

145、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到IDE磁盘控制器的一个或多个PCI-X或更快的总线以使能与外部IDE磁盘通信。

146、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到SATA磁盘控制器的一个或多个PCI-X或更快的总线以使能与外部SATA磁盘通信。

147、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到RAID磁盘控制器的一个或多个PCI-X或更快的总线以使能与外部冗余磁盘阵列通信。

148、根据权利要求141的可堆叠I/O层，其中所述I/O层还包括到光纤通道控制器的一个或多个PCI-X或更快的总线以使能与外部存储资源通信。

149、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括一个或多个HyperTransport穴以与遗留总线如PCI、LPC、AC-97、USB、LPC和ISA总线连接。

150、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括一个或多个PCIUSB主机控制器以使能连接外部USB装置或使能通过KVM功能进行远程交互。

151、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括一个或多个PCI音频编解码器以使能连接外部音频装置或使能通过KVM功能进行远程交互。

152、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括一个或多个无线LAN功能块以使能与其它资源无线通信。

153、根据权利要求140的可堆叠I/O层，其中所述I/O层还包括一个或多个低引线数LPC接口以支持可选遗留x86功能块如计时器、中断控制器、DMA控制器、实时时钟RTC及内置操作***BIOS。

154、可用于装置如三维多层模块化计算机的可堆叠互连层，该层包括：

基于弹性材料的电介质基片；

在大的层表面之一处的电触点阵列；

在另一大的层表面处的电触点阵列；

在所述大的层表面之一处的触点和另一大的层表面处的匹配触点之间的内部直接电互连。

155、根据权利要求154的可堆叠互连层，其中所述电触点阵列还包括导电弹性材料岛以电接在层大表面处的镜像电触点之间。

156、根据权利要求154的可堆叠互连层，其中所述基于弹性材料的电介质基片适于用作膨胀间隙填充物以减轻由于垂直热膨胀导致的层应力及抑制冲击和振动。

157、根据权利要求155的可堆叠互连层，其中所述基于弹性材料的电介质基片导电岛按下述方式定位：其在两层的两个平行相邻电触点之间提供低电阻桥接，而在任何邻近的水平间隔的相邻电触点之间提供非常高的阻抗及漏电流电阻。

158、根据权利要求155的可堆叠互连层，其中所述基于弹性材料的电介质基片由基于硅酮的材料制成，及导电岛由硅与细的导电粉末如石墨或金属粉如铜的混合物的挤压沉积制成。

159、根据权利要求155的可堆叠互连层，其中所述基于弹性材料的电介质基片由基于硅酮的材料制成，导电岛为由金属如磷青铜制成的微型传导金属丝形成并垂直于层表面及穿过两侧，所述金属丝可以由类似或不同金属如金制成的触点套终止以提高接触可靠性。

160、根据权利要求155的可堆叠互连层，其中所述基于弹性材料的电介质基片由基于硅酮的材料制成，导电岛由微型传导金属线圈、弹簧或金属柱如绒毛按钮制成以用作所述大的层电触点之间的电桥。

161、根据权利要求154的可堆叠互连层，其中所述基于弹性材料的电介质基片还适于用作环境密封以保护3DMC层电触点免遭湿气和污染。

162、根据权利要求154的可堆叠互连层，还包括电极或其它装置以将互连层的电阻测量提供为适当触点桥接和隔离的指示以增加装置在其生命周期内的可靠性并在湿气、错误压力、未对齐或材料损害可能影响互连层及信号完整性时提出警告。

163、根据权利要求154的可堆叠互连层，还包括气隙、孔或嵌入的光管以使3DMC层之间的光学链路通过所述互连层。

164、可用于装置如三维多层模块化计算机3DMC的液体冷却***，包括：

适于传递3DMC层中产生的热量的导热杆TCR；

适于将热量从所述TCR传到冷却液流体的至少一热交换器；

包括热交换器、液体-空气热交换器和泵中的至少一个的至少一冷却回路；

其中TCR、热交换器及冷却回路共同将一个或多个3DMC装置中散发的热量消除到周围空气中。

165、根据权利要求165的液体冷却***，其中所述TCR穿过冷却后的3DMC层。

166、根据权利要求165的液体冷却***，其中所述TCR构建为使用绝热冷却进行热传递的热管。

167、根据权利要求165的液体冷却***，其中所述TCR构建为冷却液流体管以使冷却液流体能在一个方向流过TCR。

168、根据权利要求165的液体冷却***，其中所述TCR构建为同轴冷却液流体管以使冷却液流体能在两个方向流过每一TCR。

169、根据权利要求165的液体冷却***，其中所述冷却回路适于在远处的外侧位置通过冷却器或散热器散热。

170、根据权利要求165的液体冷却***，其中所述冷却回路适于将热量散发到周围的室内空气中。

171、根据权利要求165的液体冷却***，其中提供两个隔离的冷却回路：主要回路延伸到远处位置，在那里热量可被散发到周围空气中；及辅助回路，其中热量从所述层或TCR吸收并通过液体-液体热交换器散发到所述主要回路中。

172、根据权利要求171的液体冷却***，其中所述辅助回路流由管理计算机调节以适应3DMC冷却需求及主要回路流参数如冷却液流体输入温度、压力和流动速率的变化。

173、根据权利要求171的液体冷却***，其中所述主要回路使用基于公用水的空调回路。

174、根据权利要求165的液体冷却***，其中所述从TCR到液体的热交换器功能通过一个以上冷却液回路执行，每一回路具有足够的容量以独立冷却3DMC装置从而提供更高的***可靠性和冗余度。

175、根据权利要求165的液体冷却***，其中所述液体冷却回路通过自然或强制对流将热量散发到周围的空气中。

176、根据权利要求165的液体冷却***，其中所述热交换器循环液体特征如输入温度、输出温度、输入压力、输出压力及流动速率由管理计算机测量和监视。

177、根据权利要求165的液体冷却***，其中具体3DMC的温度可由管理计算机通过改变流过所述热交换器的冷却液流体的流动速率进行调节，其使用调节阀和/或可变速电泵进行。

178、根据权利要求165的液体冷却***，其中3DMC装置冷却要求可由管理计算机使用所述管理计算机监视的一个或多个电源电流传感器进行预测以使能有效的温度控制循环及提高冷却***对3DMC装置散热的快速变化的响应时间。

179、根据权利要求165的液体冷却***，其中管理计算机使用保存在每一3DMC层的非易失性存储器上的数据如正常功耗、异常功耗及芯片过热值以使所述管理计算机能计算典型及最坏情形冷却需求并对每一具体层设定正常及异常温度限制。

180、大规模并行处理MPP装置，包括：

用作计算结点的至少一三维多层模块化计算机3DMC装置；

3D高速互连格网；

电源***；

冷却***。

181、根据权利要求180的MPP装置，其中所述3DMC包括3D网络接口和路由器，其适于在6个轴方向传递消息从而形成3D高速互连格网。

182、根据权利要求181的MPP装置，其中网络和选路功能块使用HyperTransport穴、接收DMA引擎、发射DMA引擎及消息路由器实施。

183、根据权利要求181的MPP装置，其中消息传递路由器支持可靠的链路协议和/或错误修正和/或重传功能。

184、根据权利要求181的MPP装置，其中所述网络和选路功能块包括一个或多个管理处理器以管理消息传递和选路活动，及包括易失性存储器以暂时保存处理器固件和数据集。

185、根据权利要求181的MPP装置，其中网络和选路功能块嵌入在一个或多个专用MPP3DMC3D选路层中。

186、根据权利要求181的MPP装置，其中所述网络和选路功能块通过一个或多个非相干HyperTransport链路连接到3DMC CPU核心。

187、根据权利要求181的MPP装置，其中所述装置还包括一个或多个管理计算机以管理、调度和平衡3DMC计算结点上的计算负载。

188、根据权利要求181的MPP装置，其中所述装置路由器链路连接到延伸到3DMC层堆叠外面的4个柔性印刷电路板以使能与4个相邻3DMC堆叠互连。

189、根据权利要求181的MPP装置，其中在3DMC互连消息传递层中，路由器具有6个或6个以上非相干HyperTransport链路以与3DMC装置的3维格网状结构连接。

190、根据权利要求181的MPP装置，其中所述装置包括4个延伸到3DMC层堆叠外面的柔性印刷电路板以使能与4个相邻的3DCM堆叠互连，2个另外的更长的柔性PCB延伸到层堆叠的外面并在覆盖层的顶部终止以与位于顶部的相邻3DMC装置连接，及在基础层下面的底部终止以与其下面的紧邻3DMC装置连接。

191、根据权利要求181的MPP装置，其中所述装置互连链路包括相邻3DMC堆叠之间的一个或多个可选收发器连接。

Images