CN1902577A - 动态功率管理 - Google Patents

动态功率管理 Download PDF

Info

Publication number
CN1902577A
CN1902577A CNA2004800391531A CN200480039153A CN1902577A CN 1902577 A CN1902577 A CN 1902577A CN A2004800391531 A CNA2004800391531 A CN A2004800391531A CN 200480039153 A CN200480039153 A CN 200480039153A CN 1902577 A CN1902577 A CN 1902577A
Authority
CN
China
Prior art keywords
power
memory device
management agency
cache
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800391531A
Other languages
English (en)
Inventor
E·科马拉
V·齐默
D·博达斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1902577A publication Critical patent/CN1902577A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625Power saving in storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3268Power saving in hard disk drive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02Addressing or allocation; Relocation
    • G06F12/08Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Power Sources (AREA)
  • Secondary Cells (AREA)

Abstract

提供了用于一个或多个存储设备的功率和性能管理的技术。利用功率和性能管理代理,接收标识功率设置点的功率改变通知并且调整至少一个存储设备的功率状态。

Description

动态功率管理
技术领域
本公开涉及动态功率管理技术。
背景技术
在常规***中,作为数据中心工作的服务器要连接到存储子***。数据中心中的功率传送和冷却性能受到限制。改善该性能费用昂贵并且在技术上有难度。存储子***是造成很大一部分功率消耗和热负载的原因。例如,在许多情况下存储子***包括磁盘驱动器,即使在当前没有对磁盘驱动器读写时也要使用功率保持磁盘驱动器可以用于读写(即“唤醒”)。另外,当磁盘驱动器被改变到节省功率状态时,将磁盘驱动器改变到较高功率的状态有时很耗时间。
常规***的另一个问题是由于功率和冷却***的故障而导致数据中心的可用性降低。在数据中心中,功率传送(例如市电、UPS、备用发电机)和冷却***有时会崩溃。今天,当遭遇这样的故障时,许多数据中心会关闭。为了维持高可用性,数据中心持续运转很重要。
常规存储子***几乎没有任何形式的功率管理。通常,存储子***的每个驱动器上的逻辑管理本地驱动器,该管理可能包括在本地驱动器不忙期间停止转动。但是,担心的是将存储子***置于低功率状态对I/O吞吐率有不利影响,因而会损害在线事务处理(OLTP)结果。
因而,或者在驱动器级对盘驱动器实现功率管理,即当负载低时驱动器停转,或者对设备功率状态不进行积极管理,以便盘子***持续运行。
因此,该领域需要改善存储子***的功率管理。
附图说明
现在参考附图,所有附图中相似的参考标号表示对应的部分。
图1A示出了一种实现了本发明的特定实施例的计算环境。
图1B示出了可以实现本发明特定实施例的计算环境的进一步的细节。
图2A示出了依照本发明特定实施例的一种存储机架。
图2B示出了依照本发明特定实施例的存储子***的进一步的细节。
图2C示出了依照本发明特定实施例的I/O处理器的进一步细节。
图2D示出了依照本发明特定实施例的I/O处理器的地址空间使用的进一步的细节。
图3示出了依照本发明特定实施例的一般功率管理流程。
图4A示出了依照本发明特定实施例的在主机上的功率管理操作。
图4B示出了依照本发明特定实施例的在I/O处理器上的功率管理操作。
图5A和5B示出了依照本发明特定实施例的延迟更新的操作。
图6示出了依照本发明特定实施例的磁盘驱动器的功率消耗表。
图7示出了计算机***的一个实施例。
具体实施方式
在以下说明中参考附图,所述附图构成说明书的一部分并且示出了本发明的几种实施例。应理解可以使用其它实施例,并且在不偏离本发明实施例的范围的前提下可以进行结构和操作的改变。
本发明的特定实施例提供了存储子***中动态的、策略驱动的功率管理。
图1A示出了可以实现本发明的特定实施例的一种计算机环境。各种计算设备102a、102b、102c、102d和102e通过网络176连接到存储子***140。所述计算设备可以是,例如,位于Anchorage,Alaska的服务器102a,便携个人计算机102b,位于Chicago,Illinois的服务器102c,数据中心的服务器102d,和位于Houston,Texas的客户端102e。网络176可以是,例如,局域网(LAN)、因特网、广域网(WAN)、存储区域网(SAN)、WiFi(IEEE 802.11,1999),无线LAN(IEEE 802.11,1999)等等。也就是说,存储子***140连接到连接了发布I/O请求的客户端和服务器计算机器102a、102b、102c、102d和102e的网络。
图1B示出了可以实现本发明特定实施例的计算环境的进一步的细节。主机103包括一个或多个中央处理器(CPU)104、易失性存储器106、非易失性存储装置108(例如磁盘驱动器、光盘驱动器、磁带驱动器等),操作***110,和一个或多个网络适配器128。操作***110可以包括操作***驱动器,例如操作***功率管理(OSPM)驱动器111。一个或多个存储驱动器120和一个或多个应用程序124在存储器106中进一步执行并能够通过网络176从远程存储子***140发送和获取包。
主机10e可以包括该领域内任何已知的计算设备,例如大型机、服务器、个人计算机、工作站、膝上型计算机、便携计算机、电话设备、网络应用、可视化设备、存储控制器等。计算设备102a、102b、102c、102d和/或102e可以实现主机***104。本领域中任何已知的CPU104和操作***110都可以使用。存储器106中的程序和数据可以作为存储器管理操作的一部分转移到存储装置108。
存储子***140包括连接到存储信道240的存储服务器200(即一种计算设备类型),该信道连接到一个或多个存储设备230(例如作为独立磁盘冗余阵列(RAID)***一部分的盘驱动器)。存储设备230也称为I/O子***230。
各网络适配器128包括在网络适配器112的硬件中实现的各种部件。各网络适配器112能够通过网络176发送和接收数据包。
各存储驱动器120在存储器106中执行,并且包括网络适配器112的与各网络适配器112通信的特定指令和在操作***110与各网络适配器112之间的接口。各网络适配器112或存储驱动器120实施处理包的逻辑,诸如处理在传输层交换的包中所包括的消息内容的传输层协议,例如传输控制协议(TCP)和/或因特网协议(IP)(传输控制协议DARPA因特网程序协议说明,1981年9月;互联网工程任务组(IETF)因特网协议版本4(IPV4)),互联网小型计算机***接口(iSCSI)(IETF 2003年2月),光纤信道(ISO 141665-1),或当前技术中其它任何已知的传输层协议。传输协议层从接收到的TCP/IP包中解包有效负载并且将数据传送到存储驱动器120以便返回给应用程序124。而且,在网络176上发送包之前,发送数据的应用程序124将数据发送到存储驱动器120,然后存储驱动器将数据发送到传输协议层以便打包在TCP/IP包中。
总线控制器134使得每个网络适配器112能够在计算机总线160上通信,计算机总线160可以包括当前技术中已知的任何总线接口,诸如外设部件互连(PCI)总线、小型计算机***接口(SCSI)、串行ATA总线等。网络适配器112包括用以实现物理通信层132的网络协议,物理通信层用以通过网络176向或从远程数据存储装置发送和接收网络包。在特定实施例中,网络适配器112可以实现以太网协议(IEEE std.802.3,2002年3月8号公布),光纤信道(ISO 14165-1),或当前技术已知的任何其它网络通信协议。
网络适配器112包括输入/输出(I/O)控制器130。在特定实施例中,I/O控制器130可以包括互联网小型计算机***接口(iSCSI控制器),并且应理解还可以使用其它类型的网络控制器,诸如以太网媒体访问控制器(MAC)或网络接口控制器(NIC)或卡。
存储装置108可以包括内部存储设备或附加的或网络可访问存储装置。存储装置108中的程序被加载到存储器106中并且由CPU 104执行。输入设备150用于为CPU 104提供用户输入,可以包括键盘、鼠标、输入笔、麦克风、触敏显示屏或当前技术已知的任何其它启动或输入装置。输出设备152能够反映从CPU 104或其它部件传递的信息,诸如监视器、打印机、存储装置等。
在特定实施例中,除了一个或多个存储驱动器120之外,主机103可以包括其它驱动器,诸如执行传输协议层的功能的传输协议驱动器(未示出)。
网络适配器112可以包括执行对从计算机103或网络176接收的包的处理附加操作的附加硬件逻辑。另外,网络适配器112可以实施传输层负载引擎(TOE)以便在网络适配器中实现传输协议层,相对于计算机存储驱动器120进一步减少主机处理负荷。作为另一个选择,传输层可以在存储驱动器120中实现。
在特定实施例中,各种结构和/或缓冲器(未示出)可以驻留在存储器106中,或者可以位于和存储器106分离的存储单元中。
图2A示出了依照本发明特定实施例的存储机架242。存储机架242包括用于同存储区域网(SAN)上的服务器的外部网络连接的高可用的高速底板。所述服务器之一是具有I/O处理器的存储服务器200,I/O处理器连接到与存储设备230相连的存储总线(即一种存储连接240)。图2A提供了一个具有网络附加存储装置的企业存储拓扑结构的例子,以便说明如何将本发明的特定实施例扩展到跨越存储区域网络(SAN)和具有I/O处理器的存储服务器的企业功率管理领域。
图2B示出了依照本发明的特定实施例的存储子***140的进一步的细节。存储子***140包括存储服务器200、小型计算机***接口(SCSI)或光纤信道接口(即通信路径240的类型)和存储设备230。存储服务器200包括I/O处理器210。在特定实施例中,在从Intel公司获得的IntelXscaleTM I/O处理器中实现本发明。在特定实施例中,I/O子***230由I/O处理器210控制。在特定实施例中,存储设备230可以描述为NAS单元。在特定实施例中,I/O处理器210可以位于存储服务器200的母板上或者是芯片组的一部分。I/O处理器210是具有专用于存储的操作环境的智能处理器(例如I/O处理器210包括用于诸如RAID和iSCSI***应用的固件/软件)。I/O处理器210管理从存储设备130到主机103的CPU 104的传输和反向传输。
存储服务器200还包括由I/O处理器210使用的同步动态随机访问存储器(SDRAM)212和闪存214。由I/O处理器210管理的存储器部分(高速缓存216)是电池备份的,因而允许作为缓写式高速缓存(即用于存储写事务并且作为缓冲区高速缓存)使用。高速缓存216可以是,例如,动态随机访问存储器(DRAM)或静态随机访问存储器(SRAM)。SCSI或光纤信道控制器218用于连接SCSI或光纤信道接口240。在特定实施例中,集成驱动电子设备(IDE)可以作为信道控制器218的代替或补充。另外,网络到PCI-X的桥220通过二级PCI-X总线222(例如133MHz的)连接到I/O处理器210和信道控制器218,并且通过通信路径224连接到PCI总线、网络、主机103等。
图2C示出了依照本发明特定实施例的I/O处理器210的进一步的细节。I/O处理器210包括地址空间250和功率和性能管理策略252。I/O处理器210还包括(例如在软件栈中包括或作为固件包括)执行功率管理任务的功率和性能管理代理254(除了其它I/O软件之外,未示出)。I/O处理器210还包括协助管理高速缓存216的高速缓存管理代理256。
图2D示出了依照本发明特定实施例的I/O处理器210对地址空间250的使用的进一步的细节。地址空间250包括由信道控制器218使用的映射I/O的控制器存储器、由I/O处理器210使用的I/O处理器210操作***存储器、由高速缓存216使用的用于缓写的缓冲区高速缓存、用于预取(即预读)的缓冲区高速缓存和高速缓存哈希表。
本发明的特定实施例利用I/O处理器210的计算能力管理存储设备230,以便跟踪与主机103一致的功率和/或性能设置点。在特定实施例中,功率涉及使用的能量,而性能可能涉及限制等待时间等。
图3示出了依照本发明特定实施例的一般功率管理流程。该功率管理流程代表由I/O处理器210上执行的功率和性能管理代理254管理的一种技术。在图3中,块300表示从主机103的操作***110(例如在XeonTM处理器上运行的操作***Windows2003)输入到I/O处理器210的设置点。块310表示I/O处理器210中细密的、性能/任务驱动的功率管理策略。该功率管理策略用于将功率和/或性能设置映射点到功率消耗级别。然后,I/O处理器210试图基于该功率消耗级别调整块330中的部件(例如存储服务器CPU,存储设备1...N 130,存储器和信道控制器218)的功率和/或性能。结果是I/O处理器输出存储子***功率。因而,在特定实施例中,I/O处理器固件262试图通过对存储设备230和I/O处理器210的部件的功率管理达到设置点。该管理包括,例如,使驱动器停止转动,将驱动器置于各种睡眠模式,以及使用缓写高速缓存216来隐藏从这些断电的操作模式中重新启动驱动器所需要的等待时间。
在特定实施例中,使用高级配置和功率界面(ACPI)性能状态“P-state”)作为对I/O处理器210的设置点指示。ACPI是用于计算机***(例如膝上型计算机、台式机和服务器)中的***配置和功率管理的工业标准。ACPI抽象***资源配置和功率管理使得下层的硬件和***操作对于操作***和设备驱动器不透明。ACPI定义了一个命名空间,是所有***实体的树型结构。每个***组件是这个命名空间的一个元素(例如命名空间中的一个节点)。除了属性以外,节点元素可以具有以ACPI机制语言(AML)编码的用来操纵组件操作的可执行方法。
ACPI指定了计算机***中几种功率状态,***功率状态由Sx表示,CPU功率状态由Cx表示,存储设备功率状态由Dx表示。另外,ACPI定义了处理器和其它组件的性能状态Px。
处于P-state P0的设备具有最高级别的性能能力。同样,处于P-state P0的设备可以消耗最多的功率。较低的性能并且因而有与其它P-state(即P-state P1...P15)相关联的较小的功率消耗。主机103的操作***110控制转换到不同的性能和/或功率状态的触发机制。但是,下层的硬件接口和交互由硬件或设备厂商提供的ACPI方法抽象。
取决于操作***110和操作***110的平台策略,如果一个设备的工作负载不重,操作***110可以将该一个存储设备转换到较低的性能/功率状态,比方说从P0到P1,以便减小***的功率消耗。在特定实施例中,在***功率状态之间转换的触发器可以是当前的工作负载或每个用户/管理员指示。
图4A示出了依照本发明特定实施例在主机103的功率管理操作。控制从块400开始,此时***(例如主机103)被重新启动。在块402,主机103的操作***执行功率状态转换。在块404,I/O处理器210确定是否已经达到功率设置点(例如一个功率管理P-state)。在特定实施例中,功率和/或性能状态改变的触发器是来自主机103的操作***110的基于例如***工作负载的指示,或对用户/管理员的输入的响应。
如果达到一个功率设置点,则该处理继续到块408,否则处理继续块406。在块406中,I/O处理器210继续服务I/O请求。在块408中,操作***专用功率管理(OSPM)驱动器111接收到功率转换请求。在块410,OSPM驱动器111建立一个I/O请求包(IRP),其用于将I/O操作从操作***110中的一个代理传送到另一个代理。在块412中,OSPM驱动器111向各种***驱动器包括存储驱动器120发送一个功率IRP(即一种功率请求)。
图4B示出了依照本发明特定实施例的I/O处理器210中的功率管理操作。在块414中,控制于I/O处理器210的功率和性能管理代理254接收到功率改变通知(例如,由存储驱动器120建立的功率改变包,存储驱动器120从OSPM驱动器111接收到IRP)开始。在块416,位于I/O处理器210的功率和性能管理代理254选择下一个存储设备,从第一个开始。在块418中,位于I/O处理器210的功率和性能管理代理254确定在所选择的存储设备上是否存在任何未完成的I/O。如果存在,则该处理继续到块422,否则该处理继续块420。
在块420,I/O处理器210的功率和性能管理代理254为所选择的存储设备执行功率状态转换。在特定实施例中,通过使用功率和性能管理策略252确定转换到哪个状态。功率和性能管理策略252可能指向例如延迟镜像和读取睡眠。指向延迟镜像的功率和性能管理策略252可以包括,例如,以下指示:1)对RAID 1的镜像磁盘断电,并且在500个I/O事务后对它们加电以便同步;2)将针对断电磁盘的写发送到非易失高速缓存,直到该非易失高速缓存写满,然后唤醒一个磁盘并且从非易失高速缓存向该磁盘刷新对该磁盘的写。指向读取睡眠的功率和性能管理策略252可以包括,例如,以下指示:服务所有对苏醒磁盘的读取和对睡眠/断电磁盘的缓存读取,并且在10个挂起的读失败后唤醒缓存失败的磁盘。
在特定实施例中,如果一些存储设备不被使用,则可以将它们关闭。在特定实施例中,每个不被使用的存储设备也可以改变到较低的功率状态而不必关闭。在块422,I/O处理器210的功率和性能管理代理254判定是否存在任何剩余的存储设备进行处理。如果存在,则该处理继续至块416,否则该处理继续块424。因而,在特定实施例中,如果在一个存储设备上有未完成的I/O,则I/O处理器210的功率和性能管理代理254不会对该存储设备执行功率状态转换。在块424中,I/O处理器210的功率和性能管理代理254判定是否已经达到功率设置点。在特定实施例中,感测器(例如数字转换器的类似物)可用来测量I/O处理器210和存储设备230的功率消耗,并且这个测量结果可以用于判定是否已经达到功率设置点。如果已经达到功率设置点,则该处理继续至块430,否则该处理继续块426。在块426,调整I/O处理器210的功率和性能管理代理254的频率,不必调到预定的最小值以下。不将I/O处理器210的频率调整到预定最小值是为了避免I/O处理器210放慢太多以至影响性能。在块428,I/O处理器210的功率和性能管理代理254确定是否已经到达功率设置点。如果已经达到,则该处理继续至块430,否则该处理循环回到块416。因而,在特定实施例中,如果在存储设备上执行功率状态转换不会导致达到功率设置点,则I/O处理器210的功率和性能管理代理254调整I/O处理器的频率以试图达到功率设置点,并且如果在该调整之后仍然没有达到功率设置点,则可以在该存储设备上再次执行功率状态转换。在块430,I/O处理器210继续服务于I/O请求。
另外,本发明的特定实施例允许使用电池备份的缓写缓存以便一些镜像磁盘或RAID的奇偶磁盘保持断电,然后当I/O处理器210的最近最少使用(LRU)缓存技术指示要从高速缓存216逐出时更新镜像或奇偶磁盘,从而允许镜像或奇偶磁盘暂时睡眠而不对性能造成任何有害影响。
图5A和5B示出了依照本发明特定实施例的延迟更新操作。控制在块500开始,此时I/O处理器210接收到一条命令(例如从主机103)。在块502,位于I/O处理器210的高速缓存管理代理256判定所接收到的命令是否是写命令。如果是的话,该处理继续至块504,否则,该处理继续块520。在块504,I/O处理器210的高速缓存管理代理256确定高速缓存216是否能够写数据。如果能,则该处理继续至块506,否则,该处理继续块508。
在块506中,I/O处理器210的高速缓存管理代理256在高速缓存216中缓存数据,并且向存储设备提交写事务。由于在将数据实际写入存储设备之前提交了写事务,主机103不知道数据被实际写入存储设备的延迟。
在块508中,如果高速缓存216不可用于写数据(即没有空间存储更多数据),则从高速缓存216逐出不是要写入的数据的最老的数据(例如一个数据块)。在块510中,I/O处理器210的高速缓存管理代理256确定要为其逐出最老数据的存储设备是否是苏醒的。如果该存储设备是苏醒的,则该处理继续至块512,否则该处理继续块518。
在块512中,将逐出的数据写入所述存储设备。在块514中,将要写入高速缓存216的数据写入高速缓存216,并且将所述写事务提交给存储设备。在块518中,I/O处理器210的高速缓存管理代理256唤醒所述存储设备,并且循环回到块510。在特定实施例中,存储设备是容错存储设备。
在块520中(图5B),因为接收到的命令不是写命令,I/O处理器210的高速缓存管理代理256识别接收到的命令是读命令,并且I/O处理器210的高速缓存管理代理256确定要读取的数据是否在高速缓存216中。如果在,则该处理继续至块522,否则该处理继续块524。在块522中,I/O处理器210的高速缓存管理代理256从高速缓存216读取数据。在块524,I/O处理器210的高速缓存管理代理256确定要从中读取数据的存储设备是否是苏醒的。如果是,则该处理继续至块526,否则,该处理继续块528。在块526中,I/O处理器210的高速缓存管理代理256从所述存储设备读取数据。在块528中,I/O处理器210的高速缓存管理代理256唤醒所述存储设备,并且循环返回块524。
图6示出了依照本发明特定实施例的磁盘驱动器的功率消耗表600。表600列出了驱动器的不同状态,诸如启动、随机读/写(R/W)操作、搜索、空闲、等待和睡眠。表600还列出了不同状态的不同电压,并且列出了各状态的功率消耗。
因此,本发明的特定实施例能够基于允许具有降低的电压和性能的存储子***140的连续操作的解决方案,利用I/O处理器210调整存储设备130的功率和/或性能状态。
本发明的特定实施例扩展I/O处理器210的功能以包括设备性能和功率管理。改变状态的控制点是主机103的操作***110的改变***状态的指示。所述I/O处理器210知道存储设备(例如磁盘驱动器)的数据模式和活动级别,并且因此调整例如I/O子***230中的硬盘驱动器和其它存储设备的功率状态。依赖于存储驱动器的活动性,存储设备230(例如硬盘驱动器)可以具有几种不同功率状态之一。
I/O处理器210通过监视和操纵存储设备的功率状态来维护对I/O子***230的性能和/功率管理的更强控制,从而将主机103的操作***110解放出来以进行其它处理。
本发明的特定实施例能够在不影响吞吐率的情况下节省功率。通过使用ACPI P-state和令OSPM 111具有到存储子***140的整体绑定,本发明的特定实施例克服了传统的存储子***由于服务器不支持ACPI功率管理和OSPM 111与子***之间不存在整体绑定而没有功率管理的问题。
本发明的特定实施例提供了母板上的RAID(ROMB)和网络附加存储(NAS)部署中具有业内领先的功率消耗水平的功率-性能。
本发明的特定实施例引入了两个功率域,一个在主机103的CPU104级别,一个在I/O子***230级别。I/O处理器210管理I/O子***230功率域。当主机103的CPU 104指示I/O处理器210改变到较低功率状态时,I/O处理器210利用I/O拓扑结构、设备通信模式等管理I/O子***230。
本发明的特定实施例最优化可用性和正常运行时间,而不是执行功率管理。在传统***中,测量产品的度量是每秒的I/O量(即吞吐率),而不是每瓦特的I/O量(即功率效率)。本发明的特定实施例允许使用每瓦特I/O量这样的度量。
本发明的特定实施例允许在不损害I/O性能的情况下的最低功率消耗,产生更密集的硬件配置(例如更密集的刀片式和机架服务器)。在数据中心部署中还可以使用每立方米的功率消耗。
I/O处理器具有很强的计算能力并且能够使用学习算法,从而能够在预期到未来的工作或未来的空闲时分别将部件重启或断电。这种类型的预测能力是当前的数据中心所需的自管理、自修复、自治***的精髓。
I/O处理器210可以采用功率已知容错协议,诸如RAID更新,其中对“睡眠”存储设备130的写可以登记到高速缓存216并且在其中锁定,来代替将该事务立即传送到存储设备130。
本发明的特定实施例用由IntelXscaleCPU-based子***管理的新的控制理论技术来平衡可用的平台功率管理技术。另外,通过提供功率管理,本发明的特定实施例支持绿色数据中心。
在本发明的特定实施例中,I/O处理器210补充了平台技术,诸如ACPI和数据中心/机架级别的策略。在特定实施例中,基于存储子***140的I/O处理器210通过实现ACPI性能状态实现了功率已知计算。
另外,本发明的特定实施例提供了功率消耗级别和支持功率和热管理的能力,这些在购买数据中心装备的决策中是有用的。
Intel、Xscale和Xeon是Intel公司在美国和/或外国的注册商标和习惯法标记。Windows是Microsoft公司在美国和/或外国的注册商标和习惯法标记。
附加的实施例细节
所描述的用于动态功率管理的技术可以实现为使用生产软件、固件、硬件或它们的任意组合的标准编程和/或工程技术的方法、设备或制造产品。这里使用的术语“制造产品”涉及硬件逻辑(例如集成电路芯片、可编程门阵列(PGA)、专用集成电路(ASIC)等)或计算机可读介质中实现的代码或逻辑,计算机可读介质诸如磁存储介质(例如硬盘驱动器、软盘、磁带等)、光存储介质(CD-ROM、光盘等)、易失和非易失存储设备(例如EEPROM、ROM、PROM、RAM、DRAM、SRAM、固件、可编程逻辑等)。计算机可读介质中的代码由处理器访问和执行。实现优选实施例的代码还可以通过传输介质或者经由网络从文件服务器访问。在这种情况下,其中实现了所述代码的制造产品可以包括传输介质,诸如网络传输线路,无线传输介质,通过空间传播的信号,无线电波,红外线信号等。因而,“制造产品”可以包括内嵌有代码的介质。另外,“制造产品”可以包括其中嵌有、处理和执行代码的硬件和软件组件的组合。当然,本领域技术人员将认识到在不偏离本发明实施例的范围的条件下可以对该配置进行许多修改,并且制造产品可以包括当前技术中已知的承载信息的任何介质。
图4A、4B、5A和5B所示出的逻辑说明了在特定次序下发生的特定事件。在替代实施例中,可以不同的次序执行、修改或删除特定的操作。另外,可以向上述逻辑添加操作并且仍然符合所描述的实施例。还有,这里描述的操作可以顺序发生,或者特定操作可以并行处理。另外,可以由单独的处理单元或分布式处理单元执行操作。
图7示出了计算机***700的一个实施例,诸如计算机设备102a、102b、102c、102d、103和/或200。***70O可以包括处理器702(例如微处理器)、存储器704(例如易失性存储设备)和存储装置706(例如非易失性存储装置,诸如磁盘驱动器、光盘驱动器、磁带驱动器等)。存储装置706可以包括内部存储设备,或附加的或网络可访问的存储装置。存储装置706中的程序被以当前技术的已知方式加载到存储器704中并且由处理器702执行。该***还包括网络卡708,以便能够与网络,诸如以太网、光纤信道仲裁环等,进行通信。另外,在特定实施例中,所述***可以包括存储控制器709。像讨论的那样,特定的网络设备可以具有多个网络卡。输入设备710用于向处理器702提供用户输入,可以包括键盘、鼠标、输入笔、麦克风、触敏显示屏、或当前技术中已知的任何其它活动或输入装置。输出设备712能够再现从处理器702或诸如监视器、打印机、存储装置等其它组件传送来的信息。
已经提出的对本发明各实施例的前述说明是为了举例和说明的目的。不是想穷举本发明的实施例或者将本发明的实施例限制为所公开的精确形式。根据上述精神可以进行许多修改和变化。意在不以详细说明限制实施例的范围,而以这里所附的权利要求来限制。上述说明、例子和数据提供了对产品的完整描述和对本发明实施例的组合使用。由于在不偏离本发明实施例的精神和范围的条件下可以得到本发明的许多实施例,本发明的实施例由下面附属的权利要求限定。

Claims (30)

1.一种用于对一个或多个存储设备进行功率和性能管理的方法,包括:
利用功率和性能管理代理接收标识功率设置点的功率改变通知;
利用功率和性能管理代理调整至少一个存储设备的功率状态。
2.如权利要求1所述的方法,其中所述功率改变通知是由存储驱动器在接收到来自主机操作***的功率请求时产生的。
3.如权利要求1所述的方法,其中响应于通过功率和性能管理代理确定存储设备没有未完成的输入/输出(I/O)活动而为该至少一个存储设备调整功率状态。
4.如权利要求1所述的方法,其中基于功率和性能策略调整功率状态。
5.如权利要求1所述的方法,还包括:
利用功率和性能管理代理确定是否已经达到所述功率设置点;
响应于确定还未达到功率设置点,利用功率和性能管理代理调整I/O处理器频率。
6.如权利要求5所述的方法,其中所述频率不被调整到预定最小值之下。
7.如权利要求5所述的方法,还包括:
利用功率和性能管理代理确定是否已经达到所述功率设置点;
利用功率和性能管理代理调整至少一个附加存储设备的功率状态。
8.一种用于处理命令的方法,包括:
利用高速缓存管理代理接收命令;
利用高速缓存管理代理确定该命令是具有给存储设备的新数据的写命令;
利用高速缓存管理代理将所述新数据写入高速缓存;和
响应于确定出该命令是具有给存储设备的新数据的写命令,利用高速缓存管理代理向存储设备提交写命令。
9.权利要求8所述的方法,还包括:
利用高速缓存管理代理从高速缓存中逐出现有数据以便为新数据腾出空间。
10.如权利要求8所述的方法,还包括:
利用高速缓存管理代理确定所述命令是请求数据的读命令;
响应于确定出所请求的数据在高速缓存中,利用高速缓存管理代理从该高速缓存中读取数据。
11.一种与数据存储装置通信的***,包括:
具有输入/输出(I/O)处理器的计算设备;
能够管理对所述数据存储装置的输入/输出(I/O)访问的存储控制器,其中数据存储控制器连接到所述计算设备;和
在所述计算设备上的功率和性能管理代理,能够接收标识功率设置点的功率改变通知并且调整至少一个存储设备的功率状态。
12.如权利要求11所述的***,其中所述功率改变通知由存储驱动器在接收到来自主机操作***的功率请求时产生。
13.如权利要求11所述的***,其中响应于确定了存储设备没有未完成的输入/输出(I/O)活动,所述功率和性能管理代理能够为该至少一个存储设备调整功率状态。
14.如权利要求11所述的***,其中基于功率和性能策略调整功率状态。
15.如权利要求11所述的***,其中所述功率和性能管理代理能够确定是否已经达到所述功率设置点,并且响应于确定没有达到功率设置点而调整I/O处理器频率。
16.如权利要求15所述的***,其中所述频率不被调整到预定最小值之下。
17.如权利要求15所述的***,其中所述功率和性能管理代理能够确定是否已经达到所述功率设置点并且调整至少一个附加存储设备的功率状态。
18.一种与数据存储装置通信的***,包括:
具有输入/输出(I/O)处理器的计算设备;
能够管理对所述数据存储装置的输入/输出(I/O)访问的存储控制器,其中数据存储控制器连接到所述计算设备;和
在所述计算设备上的高速缓存管理代理,能够接收命令,确定该命令是具有给存储设备的新数据的写命令,将所述新数据写入高速缓存,并且响应于确定该命令是具有给存储设备的新数据的写命令而将写命令提交给该存储设备。
19.如权利要求18所述的***,其中所述高速缓存管理代理能够从高速缓存逐出现有数据以便为新数据腾出空间。
20.如权利要求18所述的***,其中所述高速缓存管理代理能够确定命令是请求数据的读命令,并且响应于确定所请求的数据在高速缓存中而从该高速缓存读取数据。
21.一种制造产品,包括其中存储有指令的存储介质,所述指令由计算设备执行时产生以下结果:
接收标识功率设置点的功率改变通知;
调整至少一个存储设备的功率状态。
22.如权利要求21所述的制造产品,其中功率改变通知由存储驱动器在接收到来自主机操作***的功率请求时产生。
23.如权利要求21所述的制造产品,其中执行所述指令时还产生以下结果:
响应于确定存储设备没有未完成的输入/输出(I/O)活动,为该至少一个存储设备调整功率状态。
24.如权利要求21所述的制造产品,其中基于功率和性能策略调整功率状态。
25.如权利要求21所述的制造产品,其中所述指令执行时还产生以下结果:
确定是否已经达到功率设置点;和
响应于确定没有达到功率设置点,调整I/O处理器频率。
26.如权利要求25所述的制造产品,所述频率不被调整到预定最小值之下。
27.如权利要求25所述的制造产品,其中所述指令执行时还产生以下结果:
确定是否已经达到所述功率设置点;和
调整至少一个附加存储设备的功率状态。
28.一种制造产品,包括其中存储有指令的存储介质,所述指令由计算设备执行时产生以下结果:
接收命令;
确定该命令是具有给存储设备的新数据的写命令;
将该新数据写入高速缓存;和
响应于确定该命令是具有给存储设备的新数据的写命令,将该写命令提交给所述存储设备。
29.如权利要求28所述的制造产品,其中所述指令执行时还产生以下结果:
从高速缓存逐出现有数据以便为新数据腾出空间。
30.如权利要求28所述的制造产品,其中所述指令执行时还产生以下结果:
确定该命令是请求数据的读命令;
响应于确定所请求的数据在高速缓存中,从该高速缓存中读取数据。
CNA2004800391531A 2003-12-24 2004-12-17 动态功率管理 Pending CN1902577A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/745,828 2003-12-24
US10/745,828 US7174471B2 (en) 2003-12-24 2003-12-24 System and method for adjusting I/O processor frequency in response to determining that a power set point for a storage device has not been reached

Publications (1)

Publication Number Publication Date
CN1902577A true CN1902577A (zh) 2007-01-24

Family

ID=34700589

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800391531A Pending CN1902577A (zh) 2003-12-24 2004-12-17 动态功率管理

Country Status (5)

Country Link
US (1) US7174471B2 (zh)
EP (1) EP1697828A2 (zh)
CN (1) CN1902577A (zh)
TW (1) TWI265405B (zh)
WO (1) WO2005066758A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104395854A (zh) * 2012-03-09 2015-03-04 谷歌公司 用于在计算机装置中管理功率消耗的***及方法
CN107003901A (zh) * 2014-12-22 2017-08-01 英特尔公司 整体全局性能和功率管理
CN111459261A (zh) * 2020-04-03 2020-07-28 北京云宽志业网络技术有限公司 磁盘唤醒方法、装置、电子设备及存储介质

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496740B2 (en) * 2004-07-26 2009-02-24 Hewlett-Packard Development Company, L.P. Accessing information associated with an advanced configuration and power interface environment
US7516346B2 (en) * 2004-10-28 2009-04-07 Nec Laboratories America, Inc. System and method for dynamically changing the power mode of storage disks based on redundancy and system load
TWI291087B (en) * 2005-05-10 2007-12-11 Quanta Comp Inc Portable computer and data backup method thereof
US20060271718A1 (en) * 2005-05-27 2006-11-30 Diplacido Bruno Jr Method of preventing error propagation in a PCI / PCI-X / PCI express link
JP5036158B2 (ja) * 2005-10-05 2012-09-26 株式会社日立製作所 情報処理システム及び情報処理システムの制御方法
US7437270B2 (en) * 2006-03-30 2008-10-14 Intel Corporation Performance state management
US7685376B2 (en) * 2006-05-03 2010-03-23 Intel Corporation Method to support heterogeneous memories
GB0614515D0 (en) * 2006-07-21 2006-08-30 Ibm An apparatus for managing power-consumption
JP2008276646A (ja) * 2007-05-02 2008-11-13 Hitachi Ltd ストレージ装置及びストレージ装置におけるデータの管理方法
US8060759B1 (en) 2007-06-29 2011-11-15 Emc Corporation System and method of managing and optimizing power consumption in a storage system
US9158466B1 (en) * 2007-06-29 2015-10-13 Emc Corporation Power-saving mechanisms for a dynamic mirror service policy
US7792882B2 (en) * 2007-09-27 2010-09-07 Oracle America, Inc. Method and system for block allocation for hybrid drives
US20090217067A1 (en) * 2008-02-27 2009-08-27 Dell Products L.P. Systems and Methods for Reducing Power Consumption in a Redundant Storage Array
US8205209B2 (en) * 2008-03-18 2012-06-19 International Business Machines Corporation Selecting a number of processing resources to run an application effectively while saving power
US7984317B2 (en) 2008-03-24 2011-07-19 Apple Inc. Hardware-based power management of functional blocks
US8301742B2 (en) * 2008-04-07 2012-10-30 International Business Machines Corporation Systems and methods for coordinated management of power usage and runtime performance in performance-managed computing environments
US8488500B2 (en) 2008-05-02 2013-07-16 Dhaani Systems Power management of networked devices
JP2010055287A (ja) * 2008-08-27 2010-03-11 Hitachi Ltd 節電機能を備えたストレージシステム
US8135976B2 (en) * 2008-12-17 2012-03-13 Lsi Corporation Modulated clock, an IC including the modulated clock and a method of providing a modulated clock signal for power control
US20100313044A1 (en) * 2009-06-03 2010-12-09 Microsoft Corporation Storage array power management through i/o redirection
US20100318824A1 (en) * 2009-06-10 2010-12-16 Seagate Technology Llc Storage device with advanced power management
US8321701B2 (en) * 2009-07-10 2012-11-27 Microsoft Corporation Adaptive flushing of storage data
DE112010004798T5 (de) * 2009-12-14 2012-11-15 Sumitomo Electric Industries, Ltd. Verwaltungsvorrichtung und Programm
US8335935B2 (en) * 2010-03-29 2012-12-18 Intel Corporation Power management based on automatic workload detection
US8938582B2 (en) * 2010-07-01 2015-01-20 Infinidat Ltd. Storage systems with reduced energy consumption
US8775836B2 (en) * 2010-12-23 2014-07-08 Intel Corporation Method, apparatus and system to save processor state for efficient transition between processor power states
US8627126B2 (en) 2011-01-12 2014-01-07 International Business Machines Corporation Optimized power savings in a storage virtualization system
TWI463757B (zh) * 2011-08-29 2014-12-01 Univ Ishou Intelligent power management systems, devices and modules
CN102609219B (zh) * 2012-01-20 2015-05-06 华为技术有限公司 一种独立磁盘冗余阵列raid控制器及***
US8543763B2 (en) * 2012-01-20 2013-09-24 Huawei Technologies Co., Ltd. Redundant array of independent disks raid controller and system
US9037840B2 (en) * 2012-06-29 2015-05-19 Intel Corporation Mechanism to provide workload and configuration-aware deterministic performance for microprocessors
US9494996B2 (en) 2013-03-15 2016-11-15 Intel Corporation Processor having frequency of operation information for guaranteed operation under high temperature events
US9195293B1 (en) * 2013-05-03 2015-11-24 Western Digital Technologies, Inc. User controlled data storage device power and performance settings
US9471137B2 (en) 2014-08-11 2016-10-18 International Business Machines Corporation Managing power savings in a high availability system at a redundant component level of granularity
US10198061B2 (en) * 2015-09-01 2019-02-05 Toshiba Memory Corporation Storage and storage system
US10599349B2 (en) * 2015-09-11 2020-03-24 Samsung Electronics Co., Ltd. Method and apparatus of dynamic parallelism for controlling power consumption of SSDs
US10254985B2 (en) 2016-03-15 2019-04-09 Western Digital Technologies, Inc. Power management of storage devices
US11023379B2 (en) * 2019-02-13 2021-06-01 Google Llc Low-power cached ambient computing
US20230169008A1 (en) * 2021-11-30 2023-06-01 Red Hat, Inc. Managing prefetching operations for drives in distributed storage systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2286267A (en) 1994-02-03 1995-08-09 Ibm Energy-saving cache control system
EP0670539B1 (en) * 1994-02-23 2000-04-12 Sun Microsystems, Inc. Method and apparatus for conserving power in a computer system using a power management pseudo-device driver
KR0174711B1 (ko) * 1996-04-24 1999-04-15 김광호 하드디스크 캐시의 제어방법
US6105142A (en) * 1997-02-11 2000-08-15 Vlsi Technology, Inc. Intelligent power management interface for computer system hardware
US6189106B1 (en) * 1998-05-08 2001-02-13 Gateway, Inc. Method and apparatus for operating an electronic device at an optimal power mode based upon a scheduled event
US6622252B1 (en) * 2000-04-12 2003-09-16 International Business Machines Corporation Data storage device having selectable performance modes for use in dual powered portable devices
US20020178387A1 (en) * 2001-05-25 2002-11-28 John Theron System and method for monitoring and managing power use of networked information devices
US20030074524A1 (en) * 2001-10-16 2003-04-17 Intel Corporation Mass storage caching processes for power reduction
US20030145086A1 (en) * 2002-01-29 2003-07-31 O'reilly James Scalable network-attached storage system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104395854A (zh) * 2012-03-09 2015-03-04 谷歌公司 用于在计算机装置中管理功率消耗的***及方法
CN107003901A (zh) * 2014-12-22 2017-08-01 英特尔公司 整体全局性能和功率管理
US10884471B2 (en) 2014-12-22 2021-01-05 Intel Corporation Holistic global performance and power management
US11740673B2 (en) 2014-12-22 2023-08-29 Intel Corporation Holistic global performance and power management
CN111459261A (zh) * 2020-04-03 2020-07-28 北京云宽志业网络技术有限公司 磁盘唤醒方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
TWI265405B (en) 2006-11-01
EP1697828A2 (en) 2006-09-06
WO2005066758A3 (en) 2006-02-23
TW200530794A (en) 2005-09-16
US7174471B2 (en) 2007-02-06
US20050144486A1 (en) 2005-06-30
WO2005066758A2 (en) 2005-07-21

Similar Documents

Publication Publication Date Title
CN1902577A (zh) 动态功率管理
JP5961218B2 (ja) ストレージ・クラスタにおける適応的な電力節約の方法
US7877358B2 (en) Replacing system hardware
US8301852B2 (en) Virtual storage migration technique to minimize spinning disks
JP6652646B2 (ja) 選択的リソースマイグレーションを用いるネットワーク接続型メモリ
US8200999B2 (en) Selective power reduction of memory hardware
US20130007488A1 (en) Power management of a storage device including multiple processing cores
JP5623284B2 (ja) 逆データ・バックアップのための方法、コンピュータ・プログラム及びシステム
US8196034B2 (en) Computer system and method for reducing power consumption of storage system
US20080120486A1 (en) Driver model for replacing core system hardware
JP2018088134A (ja) マイグレーションプログラム、情報処理装置およびマイグレーション方法
JP2003280950A (ja) ファイル管理システム
Bisson et al. NVCache: Increasing the effectiveness of disk spin-down algorithms with caching
WO2024148977A1 (zh) 一种供电方法、硬盘及计算设备
US9058274B2 (en) System and method of selective READ cache retention for a rebooted node of a multiple-node storage cluster
US8122268B2 (en) Reducing power consumption of mirrored RAID subsystems
US9778870B2 (en) Power management for a distributed storage system accessible by a cluster in a virtualized computing environment
Tolentino et al. An implementation of page allocation shaping for energy efficiency
CN112612414B (zh) 基于微处理器***调度实现冷数据分布式存储***
Sanjay et al. ECOSTAR-Energy Conservation in Swift through Tiered Storage Architecture
JP3870774B2 (ja) 情報処理装置の制御方法及びそれを実行するプログラム
JP5287374B2 (ja) ストレージシステム、領域回収方法及び領域回収プログラム
Salman Towards Improving Endurance and Performance in Flash Storage Clusters
Zhu Performance aware energy efficient storage systems
KR20140047831A (ko) 저전력 클라우드 스토리지 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20070124