CN113727574A - 基于高弹性部署的电子机架冷却*** - Google Patents

基于高弹性部署的电子机架冷却*** Download PDF

Info

Publication number
CN113727574A
CN113727574A CN202011485000.7A CN202011485000A CN113727574A CN 113727574 A CN113727574 A CN 113727574A CN 202011485000 A CN202011485000 A CN 202011485000A CN 113727574 A CN113727574 A CN 113727574A
Authority
CN
China
Prior art keywords
cooling
fluid
cdu
cooling fluid
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011485000.7A
Other languages
English (en)
Inventor
高天翼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN113727574A publication Critical patent/CN113727574A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/208Liquid cooling with phase change
    • H05K7/20818Liquid cooling with phase change within cabinets for removing heat from server blades
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • H05K7/20781Liquid cooling without phase change within cabinets for removing heat from server blades
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • H05K7/2079Liquid cooling without phase change within rooms for removing heat from cabinets
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/14Mounting supporting structure in casing or on frame or rack
    • H05K7/1485Servers; Data center rooms, e.g. 19-inch computer racks
    • H05K7/1488Cabinets therefor, e.g. chassis or racks or mechanical interfaces between blades and support structures
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718Forced ventilation of a gaseous coolant
    • H05K7/20736Forced ventilation of a gaseous coolant within cabinets for removing heat from server blades
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718Forced ventilation of a gaseous coolant
    • H05K7/20745Forced ventilation of a gaseous coolant within rooms for removing heat from cabinets, e.g. by air conditioning device
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/208Liquid cooling with phase change
    • H05K7/20827Liquid cooling with phase change within rooms for removing heat from cabinets, e.g. air conditioning devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • Thermal Sciences (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)

Abstract

本文公开了一种用于诸如IT机架或PoD的数据中心的电子机架的冷却***。该***包括通过流体冷却回路联接至电子机架的机架歧管的冷却剂分配单元(CDU)。CDU供应分配给IT机架或PoD的冷却流体,并从IT机架或PoD接收返回的温/热流体。该***还包括增强冷却单元,以接收冷却流体的第一分配部分的第一部分,并通过增强冷却回路,将冷却流体的第一分配部分的第一部分进一步冷却到比供应的冷却流体中的一个更低的温度值。该***还包括第一外部冷却单元,该第一外部冷却单元通过冷却流体回路连接至CDU,以将冷却流体供应至CDU。该***还包括空气冷却单元,以接收冷却流体的第二分配部分,并使用冷却流体的第二分配部分来冷却用于IT机架或PoD的气流。该***布置成五个部分,并且流体和冷却单元在分配回路内在各部分之间共享。

Description

基于高弹性部署的电子机架冷却***
技术领域
本发明的实施方式大致涉及数据中心冷却。更具体地,本发明的实施方式涉及用于信息技术(IT)部件的电子机架的基于高弹性部署的冷却***。
背景技术
冷却是计算机***和数据中心设计中的突出因素。诸如封装在服务器内的高性能处理器的高性能电子部件的数量稳定地增加,从而增加了在服务器的普通操作期间产生和耗散的热量。如果允许服务器运行的环境随时间而温度增高,则数据中心内使用的服务器的可靠性降低。保持适当的热环境对于这些服务器在数据中心中的正常操作以及服务器性能和寿命、能效和成本是至关重要的,尤其在冷却这些高性能服务器的情况下,这需要更有效和高效的冷却解决方案。
对于IT部件的高密度电子机架,液体冷却已成为用于高功率密度服务器和诸如中央处理单元(CPU)/图形处理单元(GPU)/专用集成电路(ASIC)的电子设备的重要技术。这种冷却***需要能够向那些部件提供液体分配。对于其它部件或IT设备,它们可继续进行空气冷却。这就意味着机架同时使用空气和液体进行混合冷却,因而仍然需要空气冷却。这意味着该***需要能够循环空气和液体二者。因此,冷却***需要向空气冷却设备提供冷却/冷流体。
通常,传统的冷却***主要集中在液体冷却,或在液体冷却或空气冷却上进行优化。如果没有进行任何***修改,它们就不能支持机架或IT设备的不同类型的配置或变化,成本效率不高。另外,它们只针对在基础设施一侧的能量效率改进,而不是在机架或IT一侧的能量效率改进。例如,当操作温度升高时,可使用那些常规冷却***来提高设备侧能量效率。不幸的是,这不支持IT和机架侧的性能和功率优化。因此,设施和IT硬件性能以及能量效率协同设计在现代数据中心中是至关重要的。
发明内容
根据本申请的一方面,提供了一种用于数据中心的电子机架的冷却***,可包括:
冷却剂分配单元(CDU),通过流体冷却回路联接至所述电子机架的机架歧管,所述CDU供应分配至所述机架歧管的冷却流体,以及接收从所述机架歧管返回的温/热流体;
增强冷却单元,用于接收所述冷却流体的第一分配部分的第一部分,并进一步将所述冷却流体的所述第一分配部分的所述第一部分冷却至比通过制冷回路供应的冷却流体的温度更低的温度;
第一外部冷却单元,通过冷却流体回路连接至所述CDU,以将所述冷却流体供应至所述CDU;以及
空气冷却单元,用于接收所述冷却流体的第二分配部分,以及使用所述冷却流体的所述第二分配部分来冷却所述电子机架。
根据本申请的另一方面,提供了一种用于数据中心的电子机架的冷却***,可包括:
多个冷却剂分配单元(CDU),联接至所述电子机架的机架歧管,所述多个CDU包括:
第一CDU,供应分配至所述机架歧管的第一冷却流体,以及接收来自所述机架歧管的返回的温/热流体,所述第一CDU包括增强冷却单元,所述增强冷却单元接收所述第一冷却流体的第一分配部分的第一部分,并且通过制冷回路进一步冷却所述第一冷却流体的所述第一分配部分的所述第一部分,以及
第二CDU,用于在流体冷却分配回路上供应分配至所述机架歧管的第二冷却流体,并从所述机架歧管接收返回的温/热流体,所述第二CDU包括增强冷却单元,以接收所述第二冷却流体的第一分配部分的第一部分,并通过冷流体分配回路进一步冷却所述第二冷却流体的所述第一分配部分的所述第一部分,以及
空气冷却单元,用于接收所述第一冷却流体的第二分配部分和所述第二冷却流体的第二分配部分,并使用所述第一冷却流体的所述第二分配部分和所述第二冷却流体的所述第二分配部分通过气流冷却所述电子机架。
根据本申请的又一方面,提供了一种数据中心***,可包括:
多个能够独立部署的部分,包括:
机架部分,包括:(i)电子机架,容纳多个服务器底架,每个服务器底架均对应于一个或多个服务器,其中,所述电子机架包括机架歧管,以接收冷却流体和从所述电子机架返回温/热流体,以及(ii)空气冷却单元,用于冷却所述电子机架,
次分配部分,包括:(i)流体冷却分配回路,用于将所述冷却流体输送至所述电子机架,(ii)***返回分配回路,用于输送来自所述电子机架的返回的温/热流体,以及(iii)空气冷却分配回路,用于将所述冷却流体的分配部分输送至所述空气冷却单元,以及
增强冷却部分,包括:(i)第一冷却剂分配单元(CDU),用于将所述冷却流体的第一部分供应至所述机架歧管,从所述机架歧管接收所述温/热流体的第一部分,并通过所述空气冷却分配回路将所述冷却流体的另一分配部分供应至所述空气冷却单元,以及(ii)第二CDU,用于通过所述流体冷却分配回路将所述冷却流体的第二部分供应至所述机架歧管,通过所述***返回分配回路接收所述温/热流体的第二部分,以及通过所述空气冷却分配回路将所述冷却流体的分配部分供应至所述空气冷却单元。
附图说明
本发明的实施方式在附图中以示例的方式示出,而不是以限制的方式示出,在附图中相同的附图标记指示类似的元件。
图1是示出根据一个实施方式的数据中心设施的示例的框图。
图2是示出根据一个实施方式的冷却***的示例的示意图。
图3是示出根据一个实施方式的冷却***的另一示例的示意图。
图4是示出根据一个实施方式的具有替代冷却剂分配单元(CDU)的冷却***的示例的示意图。
图5是示出根据一个实施方式的冷却***的又一示例的示意图。
图6是示出根据一个实施方式的具有不同数据中心部分的冷却***的示例的示意图。
具体实施方式
将参考下面讨论的细节来描述本发明的各种实施方式和各方面,并且附图将示出各种实施方式。下面的描述和附图是对本发明的说明,并不构成对本发明的限制。描述了许多具体细节以提供对本发明的各种实施方式的透彻理解。然而,在某些情况下,为了提供本发明的实施方式的简洁讨论,没有描述公知的或常规的细节。
在说明书中提及“一个实施方式”或“实施方式”意味着结合该实施方式描述的特定特征、结构或特性可包括于本发明的至少一个实施方式中。在说明书的各处出现的短语“在一个实施方式中”不一定都指同一实施方式。
根据一些实施方式,提供了一种用于具有多个高密度机架的数据中心的、具有创新冷却单元的冷却***。冷却***可用于IT部件的电子机架的下一代冷却架构中,如前所述,该IT部件的电子机架通过空气冷却和液体冷却进行混合冷却。冷却***还通过提供不同的液体/流体冷却和空气冷却配置来满足机架或IT设备的动态配置的要求。本发明的实施方式提供了在现代数据中心行业中非常需要的弹性解决方案,并且是一种重要的趋势。另外,本发明的实施方式解决了传统冷却***中存在的问题,诸如具有混合(液体-空气)冷却技术的动态机架配置、功率密度和IT设备的动态变化、灵活性、弹性和其它要求、由于性能考虑而导致的操作条件的动态变化。本发明的实施方式还能够为液体冷却回路提供大的温度范围,因为对于某些电子部件(例如,CPU、ASIC或GPU),更好的能量充分性或性能增强可能需要较低的温度,同时以较低的总拥有成本(TCO)维持整个冷却***。另外,本发明的实施方式为不同类型的场景提供了强有力的住所,例如从部件级到全***级。
在一些实施方式中,这里公开的冷却***用于数据中心IT设备。IT部件的电子机架使用冷却水和冷却空气二者进行混合冷却。冷却***通过使用一个或多个冷却分配单元向液体冷却装置和空气冷却装置提供冷却流体。在用于液体/流体冷却回路的***中还使用增强冷却回路。它用于在需要时为液体冷却部件提供增强的热环境。该方法可理解为设计和操作***,以提供通常用于大多数类型的IT设备或集群的大多数所需的增强条件。这是为了提高***设计的灵活性和弹性。增强冷却单元连接至制冷循环回路或类似的回路,制冷循环回路或类似的回路在一定的时间段内提供类似功能。在一个实施方式中,增强冷却单元也可嵌入到冷却分配单元中。本文还公开了一种***级结构,其包括在IT和冷却单元之间使用的次分配部分和主回路部分以及增强冷却部分。
根据一方面,描述了一种用于数据中心的电子机架的冷却***。该***包括通过流体冷却回路联接至电子机架的机架歧管的冷却剂分配单元(CDU)。CDU供应分配至机架歧管的冷却流体,并从机架歧管接收返回的温/热流体。该***还包括增强冷却单元,以接收冷却流体的第一分配部分的第一部分,并进一步将冷却流体的第一分配部分的第一部分冷却到比通过制冷回路供应的冷却流体的温度低的温度。该***还包括第一外部冷却单元,该第一外部冷却单元通过冷却流体回路连接至CDU,以将冷却流体供应至CDU。该***还包括空气冷却单元,以接收冷却流体的第二分配部分,并使用冷却流体的第二分配部分来冷却用于电子机架的热排气。
在一个实施方式中,该***包括第一三通阀和第二三通阀,第一三通阀用于接收供应的冷却流体,并将供应的冷却流体分配至第一分配部分和第二分配部分中,第二三通阀用于接收冷却流体的第一分配部分,并将冷却流体的第一分配部分的第一部分输送至增强冷却单元,并将冷却流体的第一分配部分的第二部分输送至流体分配回路上的机架歧管。增强冷却单元可将冷却流体的第一分配部分的进一步冷却的第一部分供应至流体冷却回路。该***还包括通过制冷回路连接至增强冷却单元的冷凝单元。增强冷却单元以及第一三通阀和第二三通阀包括于CDU中。CDU还可包括在返回的温/热流体和供应的冷却流体之间传递热量的热交换器、以及将供应的冷却流体输送至第一三通阀中的液体泵。CDU还包括联接至增强冷却单元、第二三通阀、热交换器和增强冷却单元的多个入口和出口。
根据另一方面,描述了一种用于数据中心的电子机架的冷却***。该***包括联接至电子机架的机架歧管的多个冷却剂分配单元(CDU)。CDU包括第一CDU,以供应分配至机架歧管的第一冷却流体,并从机架歧管接收返回的温/热流体。第一CDU包括增强冷却单元,以接收第一冷却流体的第一分配部分的第一部分,并通过制冷回路进一步冷却第一冷却流体的第一分配部分的第一部分。CDU还包括第二CDU,用于供应通过流体冷却分配回路分配至机架歧管的第二冷却流体,并从机架歧管接收返回的温/热流体。第二CDU包括增强冷却单元,以接收第二冷却流体的第一分配部分的第一部分,并通过冷流体分配回路进一步冷却第二冷却流体的第一分配部分的第一部分。该***还包括空气冷却单元,以接收第一冷却流体的第二分配部分和第二冷却流体的第二分配部分,并使用第一冷却流体的第二分配部分和第二冷却流体的第二分配部分来冷却电子机架。在一个实施方式中,可存在多个空气冷却单元接收来自多个CDU的冷却流体的多个第二分配部分的冷却流体源。
在一个实施方式中,该***还包括通过冷却流体回路连接至第一CDU以将第一冷却流体供应至第一CDU的第一外部冷却单元。第一外部冷却单元还可通过冷却流体分配回路连接至第二CDU,以将第二冷却流体供应至第二CDU。该***还可包括通过制冷回路连接至第一CDU的增强冷却单元的第二外部冷却单元。第二外部冷却单元还可通过却流体分配回路连接至第二CDU的增强冷却单元。
在一个实施方式中,第一CDU还包括第一三通阀,以接收所供应的第一冷却流体,并将所供应的第一冷却流体分配至第一冷却流体的第一分配部分和第二分配部分中。第一CDU还可包括第二三通阀,以接收第一冷却流体的第一分配部分,并通过流体冷却分配回路将第一冷却流体的第一分配部分的第一部分输送至第一CDU的增强冷却单元,并将第一冷却流体的第一分配部分的第二部分输送至机架歧管。
在一个实施方式中,第二CDU还包括第一三通阀,以接收所供应的第二冷却流体,并将所供应的第二冷却流体分配至第二冷却流体的第一分配部分和第二分配部分中。第二CDU还可包括第二三通阀,以接收第二冷却流体的第一分配部分,并将第二冷却流体的第一分配部分的第一部分输送至第二CDU的增强冷却单元,并将第二冷却流体的第一分配部分的第二部分输送至流体冷却分配回路上的机架歧管。
根据又一方面,描述了一种数据中心***。该***包括可独立部署的部分,该可独立部署的部分包括机架部分,该机架部分具有:(i)容纳多个服务器底架的电子机架,每个服务器底架均对应于一个或多个服务器,其中该电子机架包括机架歧管,用于接收冷却流体和从该电子机架返回温/热流体,以及(ii)空气冷却单元,用于冷却用于电子机架的气流。该***还包括第二分配部分,该第二分配部分包括:(i)流体冷却分配回路,用于将冷却流体输送至电子机架;(ii)***返回分配回路,用于从电子机架和空气冷却单元输送返回的温/热流体;以及(iii)空气冷却分配回路,用于将冷却流体的分配部分输送至空气冷却单元。该***还包括增强冷却部分,所述增强冷却部分包括:(i)第一冷却剂分配单元(CDU),所述第一冷却剂分配单元(CDU)用于将所述冷却流体的第一部分供应至机架歧管,从机架歧管接收温/热流体的第一部分,以及通过空气冷却分配回路将冷却流体的另一分配部分供应至空气冷却单元,并通过***返回分配回路接收温/热流体;以及(ii)第二CDU,通过流体冷却分配回路将冷却流体的第二部分供应至机架歧管,以通过***返回分配回路接收温/热流体的第二部分,以及通过空气冷却分配回路将冷却流体的分配部分供应至空气冷却单元,并通过***返回分配回路接收温/热流体。
图1是示出根据一个实施方式的数据中心或数据中心单元的示例的框图。在该示例中,图1示出了数据中心的至少部分的俯视图。参照图1,根据一个实施方式,数据中心***100包括一行或多行IT组件、设备或工具101-102的电子机架(IT),诸如通过网络(例如,因特网)向各种客户机提供数据服务的计算机服务器或计算节点。在该实施方式中,每行均包括诸如电子机架110A-110N的电子机架阵列。然而,可实现更多或更少的电子机架行。通常,行101-102平行排列,其前端彼此面对,以及后端彼此背对,从而在行之间形成通道103,以允许管理人员在其中行走。然而,也可应用其它配置或布置。例如,两行电子机架可背对背地彼此面对,而不在它们之间形成过道,同时它们的前端彼此背对背。电子机架的后端可联接至房间冷却液体歧管。本公开中提出的当前方法可在不同的配置上实现,包括这里未讨论的配置。
在一个实施方式中,电子机架(例如,电子机架110A-110N)中的每个都包括外壳,以容纳在其中操作的设置成堆叠部的多个IT组件。电子机架可包括冷却液体歧管、多个服务器槽(例如,配置有相同或类似形状因子的标准架或底架)、以及能够***到槽中和从槽中取出的多个服务器底架(也称为刀片服务器或服务器架)。每个服务器底架均表示具有一个或多个处理器、存储器和/或永久存储设备(例如,硬盘)的计算节点,其中计算节点中可包括在其中操作的一个或多个服务器。处理器中的至少一个附接至液体冷板(也称为冷板部件)以接收冷却液体。另外,一个或多个可选的冷却风扇与服务器底架相关联,以向其中容纳的计算节点提供空气冷却。注意,冷却***120可联接至多个数据中心***,诸如数据中心***100。可存在多个联接至数据中心或集群的多个冷却***。
在一个实施方式中,冷却***120包括连接至建筑物/容纳容器外部的冷却塔或干燥冷却器的外部液体回路。冷却***120可包括但不限于蒸发冷却、自由空气、对大热质量的拒绝、以及废热回收设计的冷却器***。冷却***120可包括或联接至提供冷却液体的冷却液体源。
在一个实施方式中,每个服务器底架均模块化地联接至冷却液体歧管,使得可从电子机架中移除服务器底架,而不影响电子机架和冷却液体歧管上的剩余服务器底架的操作。在另一实施方式中,每个服务器底架均通过快速释放联接部件联接至冷却液体歧管,该快速释放联接部件具有联接到柔性软管以将冷却液体分配至处理器的服务器液体出口连接器和服务器液体入口连接器。服务器液体入口连接器将通过机架液体入口连接器从安装在电子机架后端上的排热液体歧管接收排热液体。服务器液体出口连接器用于将携带从处理器经机架液体出口连接器交换到冷却液体歧管的更温或更热的液体发射回电子机架内的冷却剂分配单元(CDU)。
在一个实施方式中,冷却液体歧管设置在每个电子机架的后端上,并联接至液体供应线路132(也称为房间供应歧管),以从冷却***120接收冷却液体。冷却液体通过液体分配回路分配,该液体分配回路附接至冷板部件,在该冷板部件上安装有处理器,以从处理器去冷却量。冷板配置成类似于具有连接或嵌入其中的液体分配管的散热器。所得到的携带有从处理器交换的热量的较温或较热的液体经由液体返回线路131(也称为房间返回歧管)传回冷却***120。
液体供应/返回线路131-132被称为数据中心或房间液体供应/返回线路(例如,整体液体供应/返回线路),液体供应/返回线路131-132向行101-102的所有电子机架供应冷却液体。液体供应线路132和液体返回线路131联接至位于电子机架中的每个内的CDU的热交换器,从而形成主回路。热交换器的第二回路联接至电子机架中的服务器底架中的每个,以将冷却液输送至处理器的冷板。
在一个实施方式中,数据中心***100还包括可选的气流输送***135,以产生气流,从而使气流通过电子机架的服务器底架的空气空间,以交换由于计算节点(例如服务器)的操作而由计算节点产生的热量,并将经气流交换的热量排放到外壳/房间/建筑物外部的外部环境或冷却***(例如,气-液热交换器)以降低气流温度。例如,空气供应***135产生凉/冷空气流,以从通道103通过电子机架110A-110N循环,从而带走交换的热量。
冷气流通过电子机架的前端进入电子机架,以及温/热气流从电子机架的后端离开电子机架。带有交换的热量的温/热空气从房间/建筑物排出或使用诸如液-气热交换器的独立冷却***进行冷却。因而,冷却***是混合液体-空气冷却***,其中由处理器产生的热量的部分通过例如相应的冷板由冷却液体去除,而由处理器(或其它电子设备或处理装置)产生的其余部分热量通过气流冷却去除。
图2是示出根据一个实施方式的冷却***的示例的示意图。参照图2,电子机架201联接至冷却***200,以从冷却***200接收冷却液/流体。电子机架201代表如图1所示的任何电子机架,例如,电子机架110A-110N。如图所示,电子机架201可包括服务器底架211和机架(或冷却液体)歧管213。服务器底架211可包括液体冷板212(也称为冷板组件),其联接至歧管213,以接收来自歧管213的冷却流体,并将温/热流体返回歧管213。使用从歧管213接收的冷却流体,冷板212(其上安装有服务器底架211的IT部件)可去除由IT部件产生的热量。
继续参考图2,冷却***200可包括但不限于增强冷却单元221、冷凝单元(或冷凝器、或外部冷却单元)222、CDU 223、空气冷却单元224和外部冷却单元225。CDU 223通过经由三通阀242-243将流体供应至机架歧管213而将冷却流体供应至机架201,其中机架歧管213将流体输送至冷板212。CDU 223还可将冷却流体供应至空气冷却单元224(液体-空气热交换器),使得空气冷却单元224可使用供应的冷却流体来冷却用于机架201的再循环空气。例如,在一个实施方式中,冷却液流过空气冷却单元224,并与从机架201(服务器底架211)排出的温/热空气进行热交换,并循环到空气冷却单元224中。由于在空气冷却单元内热交换,热空气被冷却,并且可产生凉/冷空气,并将其供应至机架201以冷却机架201,同时温/热流体从空气冷却单元224排出,以与歧管213产生的温/热流体混合。在一个实施方式中,空气冷却单元224可集成为机架201的部分。需要注意的是,冷却气流未在图中示出。冷却空气供应至机架201,然后热的排气进入空气冷却单元224。空气冷却单元224将冷却空气供应回机架201。
在一些实施方式中,三通阀242配置成将不同量的流体分配至机架歧管213和空气冷却单元224。也就是说,阀242可用于调节诸如空气冷却部分和液体冷却部分的不同冷却部分的冷却能力输送。例如,在附接或联接至机架歧管213的液体/流体分配回路上,三通阀243用于将全部或部分冷却流体引导到增强冷却单元221(例如,液-液热交换器)。增强冷却单元221可用于增强液体分配回路或整个冷却回路上的冷却能力。在增强冷却单元221内,由于增强冷却单元221通过连接或联接至冷凝单元222的制冷回路进行冷却,因而冷却流体可进一步冷却到低得多的温度。然后,从冷凝单元222输送至增强冷却单元221的凉/冷流体可经由双通阀244输送至流体冷却回路250,以便输送至机架歧管213(阀244在***200中具有单元较好,尽管在一些实施方式中可为可选的,但是也可提供用于增强***控制的附加特征)。注意,冷凝单元222可为任何种类的市售或定制的冷凝单元或(冷凝器)。因而,这里将不描述冷凝单元222的细节。在一个实施方式中,通过增强冷却单元221供应的凉/冷流体可与由流体冷却回路250上的CDU 223供应的冷流体混合,并且流体混合物输送至歧管213。
在一个实施方式中,CDU 223可包括热交换器231和液体泵232。CDU 223包括泵控制器(未示出)、以及一些其它部件,诸如贮液器、电源、监测传感器等。注意,CDU 223可为任何种类的市场上可买到的或定制的CDU。因而,这里将不描述CDU 223的细节。热交换器231可经由冷却流体回路连接至外部冷却单元225。热交换器231可经由液体泵241从外部冷却单元225接收冷却流体。在一个实施方式中,来自由歧管213输送(和由空气冷却单元224输送)的温流体的热量可在被提取到外部冷却单元225之前传递至冷流体,同时经过热交换器231。使用液体泵232将来自外部冷却单元225的冷却流体传递到液体分配回路上。在一个实施方式中,热交换器231可为液-液热交换器。在一个实施方式中,外部冷却单元225可为在建筑物/容纳容器外部的冷却塔(开环或闭环)、蒸发冷却盘管、干燥冷却器等。
注意,图2仅示出了冷却***200和相应的关键结构的简化表示,其中仅示出了每个部件(单元221-225)中的一个。如前所述,数据中心***(数据中心***100)可包括IT部件的多行电子机架。因而,***200可包括多个单元221-225中的每一个,用于冷却那些行的电子机架。
图3是示出根据一个实施方式的冷却***的另一示例的示意图。在图3的冷却***300中,增强冷却单元221集成到CDU 223中。三通阀342-343也包括于CDU 223中,并用于操纵流体。例如,通过将不同量的流体分配至机架歧管213和空气冷却单元224,以与阀242类似的方式使用阀342。因此,阀342可用于调节诸如空气冷却部分和液体冷却部分的不同冷却部分的冷却能力输送。与阀243类似,三通阀343用于引导由阀342分配的完全或部分冷却流体,以增强冷却单元221(如前所述,因而在此不再描述)。然而,在图3中,CDU 223包括多个入口端口和出口端口361-367。例如,出口端口361将增强冷却单元221连接至机架歧管213,以及出口端口362将阀343连接至机架歧管213。端口361-362可在不同或相同的流体温度下同时独立地向歧管213供应凉/冷流体,尽管它们可在不同或相同的流体温度下以交替的方式提供流体。在一些实施方式中,由端口361-362供应的流体在歧管213中混合。在一个实施方式中,入口端口363将歧管213连接至热交换器231,以接收来自歧管213和空气冷却单元224的返回的温/热流体。出口端口364和入口端口365连接热交换器231和外部冷却单元325A之间的冷却回路,如先前在图2中关于热交换器231和外部冷却单元225所描述的。出口端口366和入口端口367连接增强冷却单元221和外部冷却单元325B之间的制冷回路。在冷却***300中,在增强冷却单元221内,由于增强冷却单元221通过连接或联接至外部冷却单元325B的制冷回路进行冷却,因而冷却流体可进一步冷却到较低的温度。在一些实施方式中,外部冷却单元325B可为冷凝单元(例如,图2的冷凝单元222、或任何其它类型的冷却单元)。在一个实施方式中,外部冷却单元325A-B中的每一个均为图2在的外部冷却单元225。因而,这里将不再描述外部冷却单元325A-B的细节。
图4是示出根据一个实施方式的具有交替冷却分配单元(CDU)的冷却***的示例的示意图。在图4中,冷却***400类似于图3的冷却***300。然而,图3的端口361-362基于CDU 223内的内部设计变化而在CDU 223中组合。也就是说,三通阀442可以以与图3的阀342类似的方式将凉/冷流体分配至空气冷却单元224和三通阀443。然而,在冷却***400中,阀443配置成将流体分配回增强冷却单元221(类似于图3的阀343),并且还分配回端口461(而不是直接分配至歧管213)。因而,端口461可承载通过增强冷却单元221供应的流体和通过阀443供应的流体的流体混合物。端口462-467的配置类似于图3的端口362-367,因而,这里不再描述端口462-467的细节。在一些实施方式中,图4中的机架歧管213的相应设计不同于图3中的机架歧管213的设计。例如,图3的歧管213可能需要另外的入口端口来接收CDU 223的冷却流体。
图5是示出根据一个实施方式的冷却***的又一示例的示意图。在图5的冷却***500中,引入空气冷却分配回路503、冷却流体分配回路504和冷流体分配回路505。这将提高冷却***设计的弹性。在图5中,多个CDU 523A-B可用于将流体分配至流体冷却分配回路501。例如,在***500中,冷却剂分配回路可包括流体冷却分配回路501、***返回分配回路502和空气冷却分配回路503。在电子机架201和CDU 523A-B之间使用回路501-503。在这些分配回路上组装连接端口,并且将冷却单元、CDU和其它流体回路连接至这些分配回路。在CDU 523A-B和外部冷却单元325A-B之间使用冷却流体分配回路504和冷流体分配回路505。在一些实施方式中,在回路501-505中的每一个中使用的流体可彼此不同,从而具有彼此不同的温度。然而,在其它实施方式中,在回路501-505的一些或全部中使用的流体可为相同流体。注意,可在图中未示出的分配回路上使用附加的控制阀或止回阀。
注意,在***500中,CDU 523A-B和外部冷却单元325A-B可分离联接,以及回路501-505用作用于分配和接收流体的池。外部冷却单元325A-B和CDU 523A-B可通过池交换流体。因而,这不仅提供了冗余设计的灵活性,而且易于服务,同时提高了基础设施成本效率。
图6是示出根据一个实施方式的具有不同部分的冷却***和数据中心***布局的示例的示意图。在图6中,***500分为五个部分,即机架部分(或IT部分)601、辅助分配部分602、增强冷却部分603、主回路部分604和冷却单元部分605。这提供了***500中不同部分或模块的边界。这种部分(或部/模块)的分类将简化***500的***设计和部署过程,因为部分601-605可进行单独和独立地设计和部署,从而提高效率。这对于开发***标准化也很重要,因为对于模块来说,只需要容量、或连接方法以及某些关键参数或规范就能够连接至整个***并正常工作。另外,这将显著提高可靠性,因为大部分功能是移动封装在CDU(CDU523A-B)内的部件。CDU可容易地在***500中进行替换和服务,而不会引起***连续操作的重大中断。利用主回路部分604,外部冷却单元325B可用于在CDU 523A或CDU 523B或两者中向服务器底架211提供增强的冷却能力。对于冷却回路中的不同的其它冷却单元,通过部分602提供类似的功能。
在一些实施方式中,辅助分配部分602和主回路部分604用作源池,从而提高***的弹性。作为例子,制冷回路(在CDU和外部冷却单元之间)可用于在多个CDU配置中的增强冷却部分603中的不同增强回路。在分配部分602和主回路部分604上可使用阀(三通阀442-443)来控制流体。图6还提供了用于设计用于混合(液体-空气)冷却架的冷却***的紧凑且高效的方法的概念。例如,可将机架部分601视为是交付点(PoD)。因而,***500可用于计算PoD、存储PoD或异构高性能计算PoD,且可使用通用增强冷却部分(增强冷却部分603),专用于单个PoD或多个PoD。
每个部分的部署可彼此独立。这意味着即使每个部分的相应设计和规格也可由不同的供应商提供,也可集成在一起并适当地工作。
在前面的说明书中,已参考本发明的特定示例性实施方式描述了本发明的实施方式。显然,可对其进行各种修改,而不背离如所附权利要求书中所阐述的本发明的更宽的精神和范围。因此,将说明书和附图视为说明性的,而不是限制性的。

Claims (20)

1.一种用于数据中心的电子机架的冷却***,包括:
冷却剂分配单元(CDU),通过流体冷却回路联接至所述电子机架的机架歧管,所述CDU供应分配至所述机架歧管的冷却流体,以及接收从所述机架歧管返回的温/热流体;
增强冷却单元,用于接收所述冷却流体的第一分配部分的第一部分,并进一步将所述冷却流体的所述第一分配部分的所述第一部分冷却至比通过制冷回路供应的冷却流体的温度更低的温度;
第一外部冷却单元,通过冷却流体回路连接至所述CDU,以将所述冷却流体供应至所述CDU;以及
空气冷却单元,用于接收所述冷却流体的第二分配部分,以及使用所述冷却流体的所述第二分配部分来冷却所述电子机架。
2.根据权利要求1所述的冷却***,还包括:
第一三通阀,用于接收供应的冷却流体,并将所述供应的冷却流体分配至所述第一分配部分和所述第二分配部分中;以及
第二三通阀,用于接收所述冷却流体的所述第一分配部分,并通过所述流体冷却回路将所述冷却流体的所述第一分配部分的所述第一部分输送至所述增强冷却单元,并将所述冷却流体的所述第一分配部分的第二部分输送至所述机架歧管。
3.根据权利要求2所述的冷却***,其中,所述增强冷却单元将所述冷却流体的所述第一分配部分的进一步冷却的第一部分供应至流体分配回路。
4.根据权利要求2所述的冷却***,还包括冷凝单元,所述冷凝单元通过所述制冷回路连接至所述增强冷却单元。
5.根据权利要求2所述的冷却***,其中,所述增强冷却单元以及所述第一三通阀和所述第二三通阀包括于所述CDU中。
6.根据权利要求5所述的冷却***,其中,所述CDU还包括热交换器和液体泵,所述热交换器在返回的温/热流体和供应的冷却流体之间进行热交换,所述液体泵将供应的冷却流体输送至所述第一三通阀中。
7.根据权利要求6所述的冷却***,其中,所述CDU包括联接至所述增强冷却单元、所述第二三通阀、所述热交换器的多个入口端口和出口端口。
8.根据权利要求7所述的冷却***,其中,所述多个入口端口和所述出口端口包括:
将所述增强冷却单元连接至所述机架歧管的第一出口端口,
将所述第二三通阀连接至所述机架歧管的第二出口端口,
将所述机架歧管连接至所述热交换器的第一入口端口,
将所述冷却流体回路连接在所述热交换器与所述第一外部冷却单元之间的第三出口端口和第二入口端口,以及
将所述制冷回路连接在所述增强冷却单元与第二外部冷却单元之间的第四出口端口和第三入口端口。
9.根据权利要求7所述的冷却***,其中,所述多个入口端口和所述出口端口包括:
将所述增强冷却单元和所述第二三通阀连接至所述机架歧管的第一出口端口,
将所述机架歧管连接至所述热交换器的第一入口端口,
将所述冷却流体回路连接在所述热交换器与所述第一外部冷却单元之间的第二出口端口和第二入口端口,以及
将所述制冷回路连接在所述增强冷却单元与第二外部冷却单元之间的第三出口端口和第三入口端口。
10.一种用于数据中心的电子机架的冷却***,包括:
多个冷却剂分配单元(CDU),联接至所述电子机架的机架歧管,所述多个CDU包括:
第一CDU,供应分配至所述机架歧管的第一冷却流体,以及接收来自所述机架歧管的返回的温/热流体,所述第一CDU包括增强冷却单元,所述增强冷却单元接收所述第一冷却流体的第一分配部分的第一部分,并且通过制冷回路进一步冷却所述第一冷却流体的所述第一分配部分的所述第一部分,以及
第二CDU,用于在流体冷却分配回路上供应分配至所述机架歧管的第二冷却流体,并从所述机架歧管接收返回的温/热流体,所述第二CDU包括增强冷却单元,以接收所述第二冷却流体的第一分配部分的第一部分,并通过冷流体分配回路进一步冷却所述第二冷却流体的所述第一分配部分的所述第一部分,以及
空气冷却单元,用于接收所述第一冷却流体的第二分配部分和所述第二冷却流体的第二分配部分,并使用所述第一冷却流体的所述第二分配部分和所述第二冷却流体的所述第二分配部分通过气流冷却所述电子机架。
11.根据权利要求10所述的冷却***,还包括第一外部冷却单元,所述第一外部冷却单元通过冷却流体回路连接至所述第一CDU,以将所述第一冷却流体供应至所述第一CDU,其中,所述第一外部冷却单元还通过冷却流体分配回路连接至所述第二CDU,以将所述第二冷却流体供应至所述第二CDU。
12.根据权利要求11所述的冷却***,还包括第二外部冷却单元,所述第二外部冷却单元通过所述制冷回路连接至所述第一CDU的所述增强冷却单元,其中,所述第二外部冷却单元还通过所述冷流体分配回路连接至所述第二CDU的所述增强冷却单元。
13.根据权利要求10所述的冷却***,其中,所述第一CDU还包括第一三通阀,所述第一三通阀用于接收供应的第一冷却流体,并将所述供应的第一冷却流体分配至所述第一冷却流体的所述第一分配部分和所述第二分配部分中。
14.根据权利要求13所述的冷却***,其中,所述第一CDU还包括第二三通阀,所述第二三通阀用于接收所述第一冷却流体的所述第一分配部分,并将所述第一冷却流体的所述第一分配部分的所述第一部分输送至所述第一CDU的所述增强冷却单元,并将所述第一冷却流体的所述第一分配部分的第二部分输送至所述机架歧管。
15.根据权利要求14所述的冷却***,其中,所述第二CDU还包括第一三通阀,所述第一三通阀用于接收供应的第二冷却流体,并将所述供应的第二冷却流体分配至所述第二冷却流体的所述第一分配部分和所述第二分配部分中。
16.根据权利要求15所述的冷却***,其中,所述第二CDU还包括第二三通阀,所述第二三通阀用于接收所述第二冷却流体的所述第一分配部分,并将所述第二冷却流体的所述第一分配部分的所述第一部分输送至所述第二CDU的所述增强冷却单元,并将所述第二冷却流体的所述第一分配部分的第二部分输送至所述流体冷却分配回路上的所述机架歧管。
17.一种数据中心***,包括:
多个能够独立部署的部分,包括:
机架部分,包括:(i)电子机架,容纳多个服务器底架,每个服务器底架均对应于一个或多个服务器,其中,所述电子机架包括机架歧管,以接收冷却流体和从所述电子机架返回温/热流体,以及(ii)空气冷却单元,用于冷却所述电子机架,
次分配部分,包括:(i)流体冷却分配回路,用于将所述冷却流体输送至所述电子机架,(ii)***返回分配回路,用于输送来自所述电子机架的返回的温/热流体,以及(iii)空气冷却分配回路,用于将所述冷却流体的分配部分输送至所述空气冷却单元,以及
增强冷却部分,包括:(i)第一冷却剂分配单元(CDU),用于将所述冷却流体的第一部分供应至所述机架歧管,从所述机架歧管接收所述温/热流体的第一部分,并通过所述空气冷却分配回路将所述冷却流体的另一分配部分供应至所述空气冷却单元,以及(ii)第二CDU,用于通过所述流体冷却分配回路将所述冷却流体的第二部分供应至所述机架歧管,通过所述***返回分配回路接收所述温/热流体的第二部分,以及通过所述空气冷却分配回路将所述冷却流体的分配部分供应至所述空气冷却单元。
18.根据权利要求17所述的数据中心***,其中,所述多个能够独立部署的部分还包括:
主回路部分,包括:(i)冷却流体分配回路,将所述第二CDU连接至第一外部冷却单元,以及(ii)冷流体分配回路,将所述第二CDU连接至第二外部冷却单元,
其中,所述第一外部冷却单元将第一冷却流体供应至所述第一CDU,且将第二冷却流体供应至所述第二CDU,以及所述第二外部冷却单元将具有比所述第一冷却流体低的温度的第一冷流体供应至所述第一CDU,且将具有比所述第二冷却流体低的温度的第二冷流体供应至所述第二CDU。
19.根据权利要求18所述的数据中心***,其中,所述多个能够独立部署的部分还包括冷却单元部分,所述冷却单元部分包括所述第一外部冷却单元和所述第二外部冷却单元。
20.根据权利要求17所述的数据中心***,其中,所述机架部分是交付点(PoD)。
CN202011485000.7A 2020-05-26 2020-12-16 基于高弹性部署的电子机架冷却*** Pending CN113727574A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/883,454 2020-05-26
US16/883,454 US11297741B2 (en) 2020-05-26 2020-05-26 High resilient deployment based cooling system for electronic racks

Publications (1)

Publication Number Publication Date
CN113727574A true CN113727574A (zh) 2021-11-30

Family

ID=78672324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485000.7A Pending CN113727574A (zh) 2020-05-26 2020-12-16 基于高弹性部署的电子机架冷却***

Country Status (2)

Country Link
US (1) US11297741B2 (zh)
CN (1) CN113727574A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11477913B2 (en) * 2021-01-07 2022-10-18 Baidu Usa Llc Integrating thermal storage system in electronics cooling
US11729954B2 (en) * 2021-04-20 2023-08-15 Dell Products L.P. Providing continuous cooling to a storage rack
US20230240052A1 (en) * 2022-01-24 2023-07-27 Nvidia Corporation Three-way flow controller paths for single-phase and two-phase cooling in datacenter cooling systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292601A1 (en) * 2010-05-26 2011-12-01 International Business Machines Corporation Dehumidifying and re-humidifying apparatus and method for an electronics rack
US20130317785A1 (en) * 2012-05-23 2013-11-28 International Business Machines Corporation Liquid cooled data center design selection
CN109247082A (zh) * 2017-05-05 2019-01-18 百度时代网络技术(北京)有限公司 用于数据中心中的it部件的电子机架的无风扇无冷却器式液-气冷却装置
CN110381696A (zh) * 2018-04-12 2019-10-25 百度(美国)有限责任公司 用于数据中心电子机架的液体冷却的液体分配单元设计

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110292601A1 (en) * 2010-05-26 2011-12-01 International Business Machines Corporation Dehumidifying and re-humidifying apparatus and method for an electronics rack
US20130317785A1 (en) * 2012-05-23 2013-11-28 International Business Machines Corporation Liquid cooled data center design selection
CN109247082A (zh) * 2017-05-05 2019-01-18 百度时代网络技术(北京)有限公司 用于数据中心中的it部件的电子机架的无风扇无冷却器式液-气冷却装置
CN110381696A (zh) * 2018-04-12 2019-10-25 百度(美国)有限责任公司 用于数据中心电子机架的液体冷却的液体分配单元设计

Also Published As

Publication number Publication date
US20210378149A1 (en) 2021-12-02
US11297741B2 (en) 2022-04-05

Similar Documents

Publication Publication Date Title
CN110446396B (zh) 用于数据中心的液体冷却***
US11272642B2 (en) Liquid distribution unit design for liquid cooling of electronic racks of a data center
US10334763B2 (en) Method for providing cooling to electronic racks using liquid cooling and air cooling
CN110447315B (zh) 用于数据中心中的使it部件液体冷却的电子器件机架的液体冷却设计
US11252844B2 (en) Liquid distribution for electronic racks
CN113727574A (zh) 基于高弹性部署的电子机架冷却***
US11206745B2 (en) Highly integrated liquid cooling system design for data center IT room
US11284543B2 (en) Data center point of delivery layout and configurations
US11606885B2 (en) Composite multiple channel liquid component for liquid cooled electronics
US20100275618A1 (en) System and method for cooling fluid distribution
US11528826B2 (en) Internal channel design for liquid cooled device
JP2022062243A (ja) 多相系のための高度な流体接続設計
US20230200025A1 (en) Prefabricated module for heterogeneous data centers
US11304341B2 (en) Liquid cooling system for IT racks
CN114258241A (zh) 具有流体分配配置的信息技术冷却***
JP7397111B2 (ja) 液冷装置、データセンターおよび電子機器を調整する方法
US11627687B2 (en) Multiple phase multiple system architecture
US11765865B2 (en) Data center system for various electronic rack architectures
US11659688B2 (en) Data center with immersion electronic racks and two phase coolant units
US11259447B2 (en) Composite liquid cooling device
US11740003B2 (en) Optimized air cooling unit
US20230292465A1 (en) It cooling enclosures for energy storage backup systems
US20220377942A1 (en) Multiple channels based cooling device for chips

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination