WO2017081811A1 - ストレージ装置、記録媒体、および記憶制御方法 - Google Patents

ストレージ装置、記録媒体、および記憶制御方法 Download PDF

Info

Publication number
WO2017081811A1
WO2017081811A1 PCT/JP2015/081968 JP2015081968W WO2017081811A1 WO 2017081811 A1 WO2017081811 A1 WO 2017081811A1 JP 2015081968 W JP2015081968 W JP 2015081968W WO 2017081811 A1 WO2017081811 A1 WO 2017081811A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
storage device
storage
processor
write
Prior art date
Application number
PCT/JP2015/081968
Other languages
English (en)
French (fr)
Inventor
夏樹 楠野
俊哉 関
智広 西本
貴記 松下
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/741,097 priority Critical patent/US10846231B2/en
Priority to JP2017549954A priority patent/JP6507261B2/ja
Priority to PCT/JP2015/081968 priority patent/WO2017081811A1/ja
Publication of WO2017081811A1 publication Critical patent/WO2017081811A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0868—Data transfer between cache memory and other subsystems, e.g. storage devices or host systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/21—Employing a record carrier using a specific recording technology
    • G06F2212/214—Solid state disk
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/26—Using a specific storage system architecture
    • G06F2212/261—Storage comprising a plurality of storage devices
    • G06F2212/262—Storage comprising a plurality of storage devices configured as RAID
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/31—Providing disk cache in a specific location of a storage system
    • G06F2212/312—In storage controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/40—Specific encoding of data in memory or cache
    • G06F2212/401—Compressed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages

Definitions

  • the present invention relates to a storage apparatus.
  • the storage apparatus generally has a physical storage device that stores data and a controller that controls the physical storage device.
  • the controller provides a data storage space (generally a logical volume) to a computer (for example, a host computer) connected to the storage apparatus.
  • the storage device uses a plurality of physical storage devices in a PG (Parity Group) configuration such as RAID (Redundant Array of Independent (or Independent) Disks) to speed up I / O processing, High fault tolerance against failure can be exhibited.
  • PG Parent Group
  • RAID Redundant Array of Independent (or Independent) Disks
  • the storage apparatus includes a hard disk drive (HDD) and a physical storage device having a flash memory (hereinafter referred to as FM), for example, an SSD (Solid State Drive) as a physical storage device.
  • HDD hard disk drive
  • FM flash memory
  • SSD Solid State Drive
  • Data compression is a technique for reducing the amount of data stored in a physical storage device by compressing data, and realizes a reduction in footprint and a reduction in bit cost.
  • a physical storage device having a compression function is referred to as a compression drive.
  • the storage controller When the SSD itself is equipped with a compression function, the storage controller does not need to be aware of the compressed data, and can read / write (hereinafter referred to as R / W) in the same manner as a storage device without a compression function.
  • the compression drive to which data is written from the storage controller executes compression processing internally and stores it in the FM, thereby reducing the amount of FM used.
  • the storage controller can write data to the compressed drive only for the capacity of the compressed drive. In other words, when the storage controller has written data to the full capacity of the compression drive, it cannot write further data to the free space increased by compressing the data in the compression drive. This is because the area that the storage controller can write to the compressed drive is consumed with an uncompressed data size.
  • Patent Document 1 describes a technology in which a storage controller uses a semiconductor storage unit that compresses and stores data, and a storage controller moves data between semiconductor storage units so as to reduce the risk of the semiconductor storage unit being depleted. Has been.
  • a storage apparatus includes a plurality of storage devices, a first memory, a processor connected to the plurality of storage devices, the first memory, and a host device. .
  • the processor sets at least a part of the plurality of storage devices as a first storage device group, the processor creates cache information indicating a state of a plurality of cache areas in the first memory, and the processor A cache area storing data from the host device is associated with the first storage device group, the processor destages the data in each cache area to a corresponding storage device, and the storage device By compressing the staged data, the destaged data is converted into compressed data, the compressed data is stored, storage device information based on usage of the storage device is stored, and the processor The storage device information is acquired from a storage device, and the processor When receiving a write request for the first storage device group, it is determined whether a write destination cache area corresponding to the write destination address indicated in the write request is secured, and the write destination cache area is secured.
  • the processor determines whether to secure the write destination cache area based on the storage device information and the cache information, performs a securing determination, and writes the write destination cache area If it is determined that the write destination cache area is to be secured, the processor waits for the write destination cache area to be secured.
  • FIG. 1 is a diagram illustrating a configuration example of a storage system 10000 including a storage apparatus 10 according to Embodiment 1.
  • FIG. 2 is a diagram illustrating a configuration example of an SSD 700.
  • FIG. 3 is a diagram showing a configuration example of a flash memory 780.
  • FIG. It is a figure which shows the structural example of the address space of SSD. It is an outline explanatory view of capacity virtualization technology. It is a figure explaining the outline
  • 3 is a diagram illustrating a configuration example of a cache memory 103.
  • FIG. 5 is a diagram illustrating a configuration example of a disk management table 13100.
  • FIG. 10 is a diagram showing a configuration example of an entry management table 13800.
  • FIG. It is a figure which shows the structural example of the extent management table 13400.
  • 15 is a diagram showing a configuration example of a virtual volume management table 13500.
  • FIG. It is a figure which shows the structural example of the statistical information management table 13600.
  • FIG. 10 is a diagram illustrating a configuration example of an FM WR amount prediction table 13700 in Embodiment 1.
  • FIG. 5 is a diagram illustrating a configuration example of a cache management table 32100.
  • FIG. It is a figure which shows the structural example of the RG determination management table 32200.
  • FIG. 3 is a diagram illustrating a configuration example of a cache memory 716 in the SSD 700.
  • FIG. 5 is a diagram illustrating a configuration example of a logical-physical conversion table 23100.
  • FIG. It is a figure which shows the structural example of the statistical information management table 23200 in SSD.
  • a write process related to a write request from the host computer 30 is shown.
  • Destage processing is shown.
  • a read process related to a read request from the host computer 30 is shown.
  • the asynchronous process for SSD is shown.
  • the SSD internal information acquisition process is shown.
  • the storage status update process is shown.
  • WR request reception processing is shown.
  • An inflow restriction determination process is shown. Indicates idle job release processing.
  • 6 is a flowchart illustrating an example of a depletion avoidance process according to the first embodiment.
  • 6 is a flowchart illustrating an example of FM WR amount prediction processing according to the first embodiment.
  • 7 is a flowchart illustrating an example of a data movement process in a depletion avoidance process according to the first embodiment.
  • 6 is a flowchart illustrating an example of a life leveling process according to the first embodiment.
  • 7 is a flowchart illustrating an example of a data movement process in the life leveling process according to the first embodiment.
  • 6 is a flowchart illustrating an example of an I / O performance rebalancing process according to the first embodiment. It is a figure which shows the structural example of the storage system 10000b including the storage apparatus 10b which concerns on Example 2.
  • AAA table various types of information may be described using the expression “AAA table”, but the various types of information may be expressed using a data structure other than a table.
  • AAA table can be referred to as “AAA information” to indicate that it does not depend on the data structure.
  • numbers are used as identification information of elements (for example, extents), but other types of identification information (for example, names and identifiers) may be used.
  • the process may be described with “program” as the subject, but the program is executed by a processor (for example, a CPU (Central Processing Unit)) included in the controller (storage controller or SSD controller).
  • the subject of the process may be a controller or a processor in order to perform the determined process appropriately using a storage resource (for example, a memory) and / or a communication interface device (for example, a communication port).
  • the controller may include a hardware circuit that performs part or all of the processing.
  • the computer program may be installed from a program source.
  • the program source may be, for example, a program distribution server or a computer-readable storage medium.
  • the physical storage device may be referred to as “Disk” for convenience, but this notation does not necessarily mean that the storage medium included in the physical storage device is a disk-shaped storage medium.
  • the physical storage device may be, for example, an SSD.
  • a period or time is used, but the unit of the period or time is not limited to the following example.
  • the unit of the period or time may be any one of year, month, day, hour, minute, second, or any combination of two or more.
  • the nonvolatile semiconductor storage medium included in the SSD is a flash memory (FM).
  • the flash memory is assumed to be a type of flash memory in which erasure is performed in units of blocks and R / W is performed in units of pages, typically a NAND flash memory.
  • the flash memory may be another type of flash memory (for example, NOR type) instead of the NAND type.
  • other types of nonvolatile semiconductor storage media for example, phase change memory may be employed.
  • the NAND flash memory is generally composed of a plurality of blocks (physical blocks). Each block is composed of a plurality of pages (physical pages).
  • a logical page group (logical storage space) based on one or more SSDs (for example, a RAID group described later) may be provided.
  • a physical page to which no data is written can be referred to as a “free page”.
  • For each logical page, recently written data can be referred to as “valid data”, and data that has become old due to the writing of valid data can be referred to as “invalid data”.
  • a physical page in which valid data is stored can be referred to as a “valid page”, and a physical page in which invalid data is stored can be referred to as an “invalid page”.
  • FIG. 1 is a diagram showing an outline of the embodiment.
  • the storage apparatus 10 includes a storage controller 100 and a plurality of physical storage devices (Disks) 11.
  • the plurality of physical storage devices 11 constitute a RAID group (RG) 50.
  • the RG 50 may be a PG (Parity Group).
  • the RG 50 is the basis of the logical storage area.
  • the logical storage area may be the extent 70, or may be all or part of a logical volume (LU) provided to a higher-level device (for example, the host computer 30) connected to the storage device 10.
  • the storage controller 100 may manage the RG as a VDEV (Virtual Device) that is a logical volume, or may divide and manage one RG into a plurality of VDEVs.
  • VDEV Virtual Device
  • the storage controller 100 includes a cache memory 130. Write data from the host device is stored in the cache memory 130 and then destaged to the RG 50. The storage controller 100 manages data before destage among the data stored in the cache memory 130 as dirty data.
  • the storage controller 100 determines whether or not the RG actual free space of the RG that is the write destination of the write request is larger than the RG scheduled destage amount of the RG.
  • the RG actual free space is a physical free space of the RG, and is a value obtained by subtracting the RG actual use amount that is the physical use amount of the RG from the physical capacity of the RG.
  • the RG scheduled destage amount is the amount of data that may be destaged to the RG.
  • the RG scheduled destage amount is, for example, an estimated value of the amount of dirty data that is the amount of dirty data corresponding to the RG in the cache memory 130 and the amount of dirty data that is added before the destage processing. Is the sum of the data amount and the margin. Note that the RG scheduled destage amount may include the write data amount indicated in the write request.
  • the storage controller 100 acquires the internal information of each Disk 11 and calculates the RG actual usage based on the internal information.
  • the storage controller 100 transmits a write data transfer permission notification to the host computer 30, receives write data from the host computer 30, and receives write data. Is written into the cache memory 130. Thereafter, the storage controller 100 destages from the cache memory 130 to the RG 50 asynchronously with the write request.
  • the storage controller 100 executes the RG free waiting job. During the idle job, the storage controller 100 does not secure an area of the cache memory 130 for write data from the host device and does not receive write data to the RG. Thereafter, the storage controller 100 increases the RG actual free capacity of the RG by executing a data arrangement control process for moving data between RGs. In response to this, when it is determined that the RG actual free space of the RG is larger than the RG scheduled destage amount, the storage controller 100 releases the RG free waiting job, receives write data from the host device, Write data to cache memory.
  • the RG actual free capacity of the RG may be increased by adding the physical storage device 11 to the RG during the vacant waiting job. In this case, the storage controller 100 does not have to execute the data arrangement control process.
  • the storage controller 100 performs a RAID group 50 depletion avoidance process, a life leveling process, an I / O as a data arrangement control process for moving data between the RAID groups 50 separately from the process accompanying the I / O request from the host device.
  • O performance leveling (rebalancing) processing input / output leveling processing
  • relocation processing in storage tier virtualization and the like are performed.
  • the RAID group is an example of a semiconductor storage unit.
  • the semiconductor storage unit may be a single physical storage device 11.
  • SSD has the merit that the I / O processing is very high speed compared with HDD, but has the demerit that the number of data writing has an upper limit and the life is shorter than HDD.
  • a flash memory typically a NAND flash memory
  • the data cannot be directly overwritten on the physical area where the data is stored.
  • erase processing hereinafter referred to as block erasure
  • blocks which are flash memory erase units. After that, it is necessary to write data on the physical area where the block erase is executed.
  • the number of block erases for each block (hereinafter referred to as the number of erases) is limited due to physical limitations of the flash memory. If the number of erases of a block exceeds this limit, data cannot be stored in that block. That is, when the number of erasures of all blocks constituting the SSD exceeds the limit, the life of the SSD is reached.
  • WL wear leveling
  • the storage controller determines the SSD to be moved and the data to be moved.
  • the storage controller 100 acquires internal information about each physical storage device from each physical storage device 11.
  • the internal information includes various types of capacity information (total capacity, actual usage, total amount of data written to the flash memory after data compression, etc.). Information on lifespan.
  • the storage controller 100 calculates the RG depletion risk based on the internal information and the statistical information on the I / O amount, and determines whether or not to execute the depletion avoidance process.
  • the exhaustion risk is calculated by, for example, RG write I / O amount (WRI / O amount) ⁇ RG actual free space.
  • writing may be referred to as WR and reading may be referred to as RD.
  • the exhaustion risk may be RG actual WR amount (total FM write total amount) which is the amount written in RG ⁇ RG actual capacity (total physical capacity).
  • the storage controller 100 has an RG50 that has a high depletion risk and will not accept WR in the near future, and an RG50 that has a low depletion risk and is expected to have a long time to RG depletion. Is identified.
  • the storage controller 100 determines the amount of data (movement data amount) to be transferred from the RG 50 with a high depletion risk to the RG 50 with a low depletion risk.
  • the amount of movement data may be the amount of movement data that falls below a threshold (for example, 90% of RG usage) set by the user, or may be the amount of movement that can equalize the depletion risk between RGs 50.
  • the storage controller 100 moves the data by the determined movement data amount.
  • the range of the storage area when data is moved is called “extent”.
  • the extent is an address range (logical area) extending over a plurality of physical storage devices 11 (for example, SSDs) as indicated by reference numeral 70.
  • a load for data movement increases.
  • the load for data movement of the storage controller 100 can be suppressed.
  • the storage controller 100 calculates the remaining life of the RG 50 after the execution of the exhaustion avoidance process or when it is determined that the exhaustion avoidance process is unnecessary, and determines whether or not to execute the life leveling process.
  • the remaining life of the RG 50 for example, the minimum value of the remaining life information of the physical storage device 11 (in this case, SSD) constituting the RG 50 is set as the remaining life of the RG 50.
  • the remaining life of the RG 50 may be an average value of the remaining lives of the physical storage devices 11 (SSD) constituting the RG 50.
  • the storage controller 100 has an RG composed of an SSD that has a short remaining life, has a near future life, and becomes unusable, and an RG composed of an SSD that has a long remaining life. Identify.
  • the storage controller 100 determines an extent having a high WR load in an RG having a short remaining lifetime and an extent having a low WR load in an RG having a long remaining lifetime, and exchanges data of these extents.
  • the storage controller 100 measures the WR data amount for each extent. For example, if the amount of WR data to the SSD is large, block rewriting occurs frequently, and the number of block erasures increases accordingly. When the number of block erasures increases, the number of block erasures reaches a limit (upper limit), and the block can be read, but WR becomes impossible. Then, such an SSD with an increased number of blocks becomes unusable. Therefore, the storage controller 100 finds an extent having a large amount of WR data, and moves the data included in the extent from the short-lifetime SSD RG to the long-lifetime SSD RG.
  • the storage controller 100 calculates the I / O amount of the RG 50 after executing the life leveling process or when it is determined that the life leveling process is unnecessary, and determines whether or not the I / O performance rebalancing process is necessary. In the I / O performance rebalancing process, the storage controller 100 first identifies an RG with a large I / O amount and a high I / O load and an RG with a small I / O amount and a low I / O load. To do.
  • the storage controller 100 determines an extent having a high I / O load in an RG having a high I / O load and an extent having a low I / O load in an RG having a low I / O load. Exchange extent data.
  • the storage controller 100 may not include any of the data placement control processes.
  • FIG. 2 is a diagram illustrating a configuration example of the storage system 10000 including the storage apparatus 10 according to the first embodiment.
  • the storage system 10000 includes a storage device 10 and a host computer 30.
  • the host computer 30 is an example of a host device that uses the storage device 10.
  • the host computer 30 is an application server, for example.
  • the host computer 30 and the storage apparatus 10 are connected via a SAN (Storage Area Network) 20 so as to be communicable.
  • SAN Storage Area Network
  • the SAN 20 for example, Fiber Channel, SCSI (Small Computer System Interface), iSCSI (Internet Small Computer System Interface), USB (Universal Serial Bus), IEEE 1394Ser (Serial Standard Bus, etc.) can be used.
  • another type of communication network for example, a LAN (Local Area Network)
  • the storage system 10000 includes one host computer 30 and one storage apparatus 10, but a plurality of at least one of them may be included.
  • the host computer 30 executes control software (not shown) that issues a control command or the like to the storage apparatus 10, thereby issuing a control command or the like to the storage apparatus 10 to perform maintenance management of the storage apparatus 10.
  • control software (not shown) that issues a control command or the like to the storage apparatus 10, thereby issuing a control command or the like to the storage apparatus 10 to perform maintenance management of the storage apparatus 10.
  • control software By executing processing based on this control command in the storage apparatus 10, changing the RAID level of the RG that the storage apparatus 10 has, various activations of exhaustion avoidance processing, life leveling processing, and I / O performance rebalancing processing
  • Various operations such as adjustment of the threshold value and ON / OFF setting of the compression function in units of Pool or RG can be performed.
  • the RG 50 is a physical storage device group that includes a plurality of SSDs (or HDDs) and stores data according to a predetermined RAID level.
  • a computer different from the host computer 30 may be used as a computer that issues
  • the storage apparatus 10 includes a storage controller (Storage CTL) 100 connected to the host computer 30 and a Disk Box 110 connected to the storage controller 100.
  • Storage CTL Storage CTL
  • Disk Box 110 connected to the storage controller 100.
  • the storage controller 100 controls the operation of the storage device 10.
  • the storage controller 100 includes a communication interface device, a memory, and a control device connected to them.
  • As the communication interface devices there are a host I / F 101 which is a front-end communication interface device and a disk I / F 107 which is a back-end communication interface device.
  • As a control device there is a processor (for example, a CPU (Central Processing Unit)) 104.
  • the host I / F 101, the cache memory 103, the processor 104, and the disk I / F 107 are connected to the internal network 102 by a dedicated connection bus such as PCI (Peripheral Component Interconnect), for example. Communication is possible.
  • PCI Peripheral Component Interconnect
  • the cache memory 103 is a DRAM such as DDR3 (Double Data Rate3).
  • the Host I / F 101 is an interface for connecting the storage apparatus 10 to the SAN 20.
  • the internal network 102 is a network for connecting devices existing inside the storage apparatus 10.
  • the internal network 102 includes a switch. Instead of the internal network 102, an ASIC (Application Specific Integrated Circuit) having an assist function such as a switch function, DMA transfer, or RAID calculation may be used.
  • the processor 104 controls the entire storage apparatus 10. There may be a plurality of processors 104. In this case, a plurality of processors 104 may control the storage apparatus 10 in cooperation or sharing.
  • the cache memory 103 has an area for storing computer programs and data necessary for the processor 104 to control the storage apparatus 10.
  • the Disk I / F 107 is an interface for connecting the storage controller 100 and the Disk Box 110.
  • the Disk Box 110 includes a plurality of different types of Disk 11 (for example, nonvolatile physical storage devices such as the HDD 111 and the SSD 700).
  • an RG is composed of a plurality of Disks of the same type. Each RG provides a logical volume as a storage space for user data.
  • the HDD 11 and the SSD 700 are used as the Disk 11 constituting the Disk Box 110, but only the SSD 700 may be used.
  • the number of each part of the storage apparatus 10 and the number of each part of the storage controller 100 are not limited to the example of this figure.
  • FIG. 3 is a diagram illustrating a configuration example of the SSD 700.
  • the SSD 700 has a plurality of flash memories 780 and an SSD controller 710 connected thereto.
  • the SSD controller 710 controls the operation of the SSD 700.
  • the SSD controller 710 includes a communication interface device, a memory, a control device connected thereto, and a hardware device that executes data compression / decompression.
  • As the communication interface devices there are a Disk I / F 711 that is a front-end communication interface device and a Flash I / F 717 that is a back-end communication interface device.
  • As the memory there is a cache memory 716.
  • As a control device there is a processor 713.
  • a compression / decompression circuit 718 is a hardware device that performs data compression / decompression.
  • the function of compressing / decompressing data may be realized in software by the processor 713 executing a dedicated program.
  • the disk I / F 711, the processor 713, the cache memory 716, the flash I / F 717, and the compression / decompression circuit 718 are connected to each other via the internal network 712.
  • the Disk I / F 711 is connected to the Disk I / F 107 of the storage controller 100 via a dedicated connection bus.
  • the internal network 712 is a network for connecting devices.
  • the internal network 712 may include a switch. Further, the internal network 712 may be replaced by an ASIC having a switch function.
  • the processor 713 controls the entire SSD 700.
  • the cache memory 716 has an area for storing a computer program and data necessary for the processor 713 to control the SSD 700.
  • the flash I / F 717 is an interface for connecting the SSD controller 710 and the flash memory 780.
  • the SSD 700 is a semiconductor storage device including a plurality of flash memories 780 and a controller 710 for controlling them, and the external shape and the like are not limited to form factors.
  • the flash memory 780 may be a non-volatile semiconductor memory such as NOR or NAND. Further, in place of the flash memory 780, an MRAM (Magnetoretic random access memory) that is a magnetoresistive memory, a ReRAM (resistance random access memory) that is a resistance change type memory, and a FeRAM (Ferroelectric memory) that is a ferroelectric memory.
  • MRAM Magnetic random access memory
  • ReRAM resistance random access memory
  • FeRAM Feroelectric memory
  • FIG. 4 is a diagram illustrating a configuration example of the flash memory 780.
  • the flash memory 780 has a plurality of blocks 782 and a flash memory controller (hereinafter referred to as a flash controller) 781 connected thereto.
  • the flash controller 781 controls the flash memory 780.
  • Each block 782 includes a plurality of pages 783.
  • Data RD from the flash memory 780 and data WR to the flash memory 780 are executed in units of pages.
  • Data erasure is executed in units of blocks.
  • the page 783 includes a plurality of code words 784.
  • the code words 784 store data stored by the host computer 30 and ECC that is an error correction code for protecting the data.
  • the flash memory 780 is, for example, a NAND flash memory.
  • a NAND flash memory data cannot be overwritten. Therefore, in the flash memory 780, when new data is WR to the page 783 where the data is WR, the data is erased and WR is erased for the erased page 783 from which the data has been erased.
  • the SSD controller 710 performs the erase count leveling process on a plurality of blocks 782 in the SSD 700.
  • the SSD controller 710 stores data with a low update frequency in the block 782 with a large number of erases, and stores data with a high update frequency in the block 782 with a small number of erases, thereby leveling the number of erases of the block 782 in the SSD 700. To do.
  • the SSD controller 710 may equalize the number of erasures by selecting an empty block 782 with a small number of erasures and storing data during WR.
  • the plurality of blocks 782 may be divided into a plurality of groups according to the number of erasures, and the block 782 for storing data may be selected from the group with the fewest erasures. In this manner, the life of the SSD 700 is extended by leveling the number of times of erasure of the plurality of blocks 782 in the SSD 700.
  • FIG. 5 is a diagram showing a configuration example of an SSD address space.
  • the physical address space 800 is an address space of a physical storage area in which actual data is stored.
  • the logical address space 900 is a unique address space that the SSD 700 provides to the storage controller 100.
  • the SSD controller 710 divides the logical address space 900 into, for example, a plurality of areas (hereinafter, logical pages) 901, 902, 903, 904 having the same size as the physical page size.
  • the logical page 901 data is compressed data 911
  • the logical page 902 data is compressed data 912
  • the logical page 903 data is compressed data.
  • the data of the logical page 904 is converted (compressed) into compressed data 914, respectively. Since the compression rate changes depending on the data pattern or the like, the size of each compressed data obtained by converting the logical page is not necessarily constant, and becomes an arbitrary size.
  • Each compressed data is stored in a physical page in units of code words (CW).
  • compressed data 911 is stored in CW7841
  • compressed data 912 is stored in CW7842
  • compressed data 913 is stored in CW7843 and CW7844
  • compressed data 914 is stored in CW7900.
  • the logical page and the physical page are not in a one-to-one relationship, and the physical page is dynamically generated with respect to the compressed data actually stored in the FM780. Assigned. Further, in the SSD 700, by making the logical address space 900 larger than the physical address space 800, the storage controller 100 can write data that is larger than the physical storage capacity installed in the SSD 700.
  • the size of the logical address space 900 is determined on the assumption that all write data is compressed at the best compression rate (for example, 1/8) that can be compressed by the compression / decompression circuit 718.
  • the SSD 700 provides the storage controller 100 with a logical address space 900 having a logical capacity that is eight times as large as the physical capacity of the SSD 700.
  • an SSD 700 that physically has a capacity of 1 TB provides the storage controller 100 with a logical capacity of 8 TB, assuming that the best compression ratio is 1/8, for example.
  • the storage controller 100 can store data exceeding the actual physical capacity of the SSD 700 simply by writing data in the same manner as an HDD or SSD without a compression function.
  • the compression rate of the written data varies depending on the data pattern or the like, the compression rate may actually be worse (higher) than 1/8, and the storage controller 100 does not necessarily provide 8 TB to the SSD 700.
  • Cannot store the data As described above, a state in which the physical capacity becomes full before the logical capacity of the SSD 700 becomes full is called a depleted state.
  • the storage controller 100 cannot WR data at all for the SSD 700 that is in a depleted state.
  • a WR command for the SSD 700 in a depleted state becomes an error response. This is because, as described above, in the NAND type FM780, data cannot be simply overwritten, and when WR new data is written on the page where the data is stored, the data is erased and the data is erased. This is because it is necessary to perform WR on the erased page, and the erased page cannot be prepared in the exhausted SSD 700.
  • the storage controller 100 executes a depletion avoidance process, which will be described later, so that the SSD 700 is not depleted, and always keeps the SSD 700 in a non-depleted state.
  • the SSD controller 710 dynamically changes the mapping between the address range (logical storage area) that forms the logical address space 900 and the address range (physical storage area) that forms the physical address space 800, so that the WL in the SSD 700 Etc. can be realized.
  • the correspondence between the logical address space 900 and the physical address space 800 is managed by the processor 713 using a logical-physical conversion table 23100 described later.
  • the storage controller 100 does not directly manage the logical / physical conversion table in the SSD 700. Therefore, unless the processor 713 of the SSD 700 notifies the storage controller 100 with SSD internal information or the like, the storage controller 100 cannot grasp the correspondence between the logical address space 900 and the physical address space 800.
  • Capacity virtualization technology (for example, Thin Provisioning) is a technology that provides a virtual capacity larger than the physical capacity of the storage apparatus 10 to the host computer 30 side.
  • the host computer 30 accesses a virtual logical volume (virtual volume).
  • a virtual logical volume virtual volume
  • a physical storage area is allocated to the virtual storage area (virtual extent) of the WR request data.
  • a unit of physical storage area allocated in the capacity virtualization technology is set as an extent unit. The extent size may be varied from several MB to several GB.
  • FIG. 6 is a schematic explanatory diagram of capacity virtualization technology.
  • RG 200, 300, 400
  • Pool 500 is configured based on one or more RGs.
  • Extents (240, 241, 241, 340, 440, etc.) are storage areas (partial storage areas) obtained by dividing Pool 500, that is, a part of Pool 500.
  • Pool 500 is configured based on three RGs of RG200, RG300, and RG400.
  • the RG 200 will be described as an example.
  • RG200 is comprised by Disk210, Disk220, and Disk230.
  • the RG 200 constructs RAID5, and Data (D in the figure) and Parity (P in the figure) are stored in the Disks (210 to 230).
  • the storage area based on RG200 is divided into a plurality of extents (240, 241, 242).
  • a storage area based on the RG 200 corresponds to a logical address space 900 provided by a plurality of SSDs 700.
  • the extent is a storage area having a size larger than the block 782 of the SSD 700.
  • the extent size is, for example, N times the block (N is an integer of 2 or more).
  • the extent is configured by entries (for example, entries 251, 252, 253, 254, 255, 256) that are logical address spaces existing in each disk.
  • the entry stores a plurality of Data and Parity.
  • the entry 251 stores data 211, data 212, parity 213, etc.
  • the entry 252 stores data 221, data 223, parity 222, etc.
  • the entry 253 stores data 232.
  • Data 233, parity 231 and the like are stored.
  • entries 254, 255, and 256 store a plurality of Data and Parity.
  • the entries 251 and 254 are built in the Disk 210
  • the entries 252 and 255 are built in the Disk 220
  • the entries 253 and 256 are built in the Disk 230, respectively.
  • an extent 240, an extent 241 and an extent 242 are created from the storage area of the RG 200.
  • An extent 340, an extent 341, and an extent 342 are created from the storage area of the RG 300.
  • An extent 440, an extent 441, and an extent 442 are created from the storage area of the RG 400.
  • the virtual volume 600 is a virtual logical volume for the host computer 30 to store user data.
  • the capacity defined as the capacity of the virtual volume 600 can be a storage capacity larger than the total capacity of physical storage devices included in the storage apparatus 10.
  • the virtual volume 600 is composed of an arbitrary number of virtual extents (601 to 607, etc.).
  • the storage area of the virtual volume 600 is managed by a virtual address (logical address constituting the virtual volume), and a virtual extent is configured by the storage area of the virtual address divided into a predetermined range. In the example of this figure, one extent is associated with one virtual extent, but a plurality of extents may be associated with one virtual extent.
  • virtual extents 601 to 604 indicated by solid lines are virtual extents to which extents are allocated from RGs 200, 300, and 400. That is, an extent 341 is allocated to the virtual extent 601, an extent 242 is allocated to the virtual extent 602, an extent 442 is allocated to the virtual extent 603, and an extent 240 is allocated to the virtual extent 604. .
  • the virtual extents 605 to 607 indicated by broken lines are not the virtual extent to which the address designated as the WR destination of the data belongs, and therefore, these virtual extents 605 to 607 are not included in the virtual extents 605 to 607. The extent is unallocated.
  • FIG. 7 is a diagram for explaining the outline of data access when data is moved between RGs by the data movement process.
  • the data movement process is executed in an asynchronous process for SSD (described later).
  • the host computer 30 When the data is moved between RGs, the host computer 30 must change the data access destination to the destination RG. However, by converting the address using the virtual volume 600, the host computer 30 can access the migration destination data without changing the access destination. That is, the storage controller 100 changes the association of the virtual extent 610 to the virtual address from the logical address of the migration source extent 70 to the logical address of the migration destination extent 80. Therefore, even if the asynchronous processing for SSD is executed, the host computer 30 does not need to change the access destination address by accessing the virtual volume 600.
  • a virtual volume is used for address conversion. However, the present invention is not limited to this, and address conversion may be performed without using a virtual volume.
  • FIG. 8 is a diagram illustrating a configuration example of the cache memory 103.
  • the cache memory 103 of the storage controller 100 has a program area 12000, a table area 13000, and a data cache area 14000.
  • the program area 12000 and the table area 13000 are areas for storing programs for controlling the storage apparatus 10 and various tables.
  • the data cache area 14000 is an area used for temporarily storing user data.
  • the program area 12000 includes a write I / O program 12100, a read I / O program 12200, a life management program 12300, an SSD information acquisition program 12400, a life leveling program 12500, a depletion avoidance program 12600, an I / O performance rebalancing program 12700, And the inflow control program 31100 is stored.
  • the Write I / O program 12100 is a program that processes a WR request from the host computer 30.
  • the Read I / O program 12200 is a program that processes an RD request from the host computer 30.
  • the life management program 12300 is a program for the processor 104 to manage the life of various disks such as the SSD 700.
  • the SSD information acquisition program 12400 is a program for acquiring internal information of the SSD 700.
  • the life leveling program 12500 is a program for converting the life of the SSD 700 into RG units and executing the life leveling of the RG.
  • the depletion avoidance program 12600 is a program that calculates the RG depletion risk from the capacity information of the SSD 700 and executes RG depletion avoidance with a high possibility of depletion.
  • the I / O performance rebalancing program 12700 is a program for detecting that a specific RG is a performance bottleneck from RG I / O statistical information and performing performance leveling.
  • the inflow control program 31100 is a program that restricts WR data from the host computer 30 when it is determined that destaging is impossible.
  • the table area 13000 includes a disk management table (the table may be expressed as TBL) 13100, an RG management table 13200, a pool management table 13300, an extent management table 13400, a virtual volume management table 13500, a statistical information management table 13600, and an FM write. It includes an amount prediction table 13700, an entry management table 13800, a cache management table 32100, an RG determination management table 32200, and a determination result management table 32300.
  • TBL disk management table
  • the disk management TBL 13100 is a table that stores information about the disk stored in the disk box 110.
  • the RG management TBL 13200 is a table that stores information on RAID groups.
  • the Pool management TBL 13300 is a table storing Pool information.
  • the extent management TBL 13400 is a table that stores information about extents.
  • the virtual volume management TBL 13500 is a table that stores information related to virtual volumes.
  • the statistical information management TBL 13600 is a table that stores various types of information related to the I / O performance of the storage apparatus 10.
  • the FM write amount prediction TBL 13700 is a table used when the data write amount in the SSD is predicted in order to determine the movement target data when the processor 104 executes the life leveling process.
  • the cache management table 32100 is a table that stores information related to the data cache area 14000.
  • the RG determination management table 32200 is a table that stores information related to RG determination.
  • the determination result management table 32300 is a table that stores RG determination results.
  • User data 14100 is data used by the host computer 30.
  • FIG. 9 is a diagram illustrating a configuration example of the disk management table 13100.
  • the disk management TBL 13100 mainly manages information (depletion related information and remaining life information) for performing depletion management and life management of each disk managed by the storage controller 100.
  • the Disk management TBL 13100 includes, for each Disk, Disk # 13101, Disk Type 13102, information update date 13103, remaining guarantee period 13104, expected remaining life 13105, compression setting 13106, FM read total amount 13107, FM write total amount 13108, average compression rate 13109, remaining erase count 13110, FM usage 13111, physical capacity 13112, and logical capacity 13113.
  • Disk # 13101 is an identifier of the disk and is a unique number.
  • the Disk Type 13102 represents the type of Disk.
  • Examples of the disk type include SSD (SLC), SSD (MLC), and HDD.
  • SLC Single Level Cell
  • MLC Multiple Level Cell
  • TLC Triple Level Cell
  • SLC is a high-speed, long-life, low-capacity flash memory that can erase blocks in the order of hundreds of thousands to tens of thousands of times.
  • MLC is a low-speed, short-life, large-capacity flash memory, and can erase blocks in the order of tens of thousands to thousands of times.
  • TLC has a lower speed and shorter life than MLC, but is a large-capacity flash memory that can erase blocks in the order of several thousand to several hundred times.
  • the information update date 13103 represents the most recent date (for example, the date when the life information is updated) when the information about the disk is updated.
  • the remaining warranty period 13104 indicates how much disk warranty period left by the vendor remains. In the example of this figure, the remaining guarantee period 13104 is shown as the number of days.
  • the Disk warranty period is a period during which the Disk is guaranteed to operate normally (for example, 5 years).
  • the flash memory deteriorates due to an increase in the number of erasures due to data writing. When the flash memory reaches the end of its life, data R / W is impossible or data retention characteristics are remarkably deteriorated. Therefore, a threshold is set in advance as a period in which the Disk can be used normally based on the number of erasures, the total WR amount, and the like. If the disk usage period exceeds the warranty period, the disk will be replaced.
  • the expected remaining life 13105 indicates the remaining period in which the SSD remaining erase count 13110 is expected to reach zero.
  • the expected remaining life 13105 is a value predicted by the processor 104 (life management program 12300).
  • the expected remaining life 13105 is shown as the number of days.
  • the load is concentrated on a specific SSD due to, for example, I / O variation, etc., and this SSD has a higher load than the vendor's assumption. This means that the SSD reaches the end of its life before the expiration date guaranteed by the vendor.
  • the expected remaining life 13105 can be calculated based on the information update date and time 13103, the FM read total amount 13107, the FM write total amount 13108, the remaining erase count 13110, and the like. A method for calculating the remaining lifetime will be described later.
  • Compression setting 13106 indicates whether or not the target disk has enabled the data compression function.
  • the compression setting 13106 is ON (or a numerical value corresponding to ON (for example, “1”)) when it is valid (used), and is OFF (or a numerical value corresponding to OFF (for example, “1”) when invalid (not used). 0 ")).
  • the ON / OFF setting of the data compression function may be set by the administrator of the storage apparatus 10 via control software or the like installed in the host computer 30.
  • the FM read total amount 13107 is an integrated value of the read amount generated in the SSD (the amount of data read from the flash memory in the SSD), and is updated based on the internal information of the SSD.
  • the FM write total amount 13108 is an integrated value of the amount of WR generated in the SSD (the amount of data written in the flash memory in the SSD), and is updated based on the internal information of the SSD.
  • the average compression rate 13109 is a numerical value indicating what percentage of the original size is obtained by compressing the data inside the SSD.
  • the average compression rate 13109 is an average value of the compression rate of each SSD, and is updated based on the SSD internal information.
  • the remaining erase count 13110 indicates a value according to the block erase count that can be executed in the SSD.
  • the remaining erasure count 13110 is a ratio (percentage) of the remaining erasure count to a predetermined erasable count, and is updated based on SSD internal information. When the value of the remaining erase count 13110 becomes zero, it indicates that the erase count of all blocks in the flash memory has reached the upper limit.
  • the FM read total amount 13107, the FM write total amount 13108, the average compression rate 13109, and the remaining erase count 13110 are updated based on information acquired from each SSD by the storage controller 100.
  • the storage controller 100 is, for example, S.I. M.M. A. R. T.A. Information is acquired from each SSD using a general-purpose interface such as (Self-Monitoring Analysis and Reporting Technology).
  • FM usage amount 13111 represents the amount of data stored in the SSD and is updated based on the SSD internal information.
  • the physical capacity 13112 represents a physical capacity mounted on the SSD.
  • the logical capacity 13113 indicates the logical capacity for the SSD. This logical capacity is a capacity based on the best compression rate possible with the compression / decompression circuit 718 and is larger than the physical capacity.
  • the storage controller 100 recognizes the logical capacity 13113 as the SSD capacity when the compression setting 13106 is ON, and recognizes the physical capacity 13112 as the SSD capacity when the compression setting 13106 is OFF.
  • Disk management TBL 13100 for disks that do not require exhaustion management (for example, SSDs whose compression setting 13106 is OFF), the average compression rate 13109, FM usage 13111, and logical capacity 13113 are not subject to acquisition by the processor 104. Also good. Further, in the Disk management TBL 13100, for a Disk (for example, HDD) that does not require lifetime management, the remaining guarantee period 13104, the expected remaining lifetime 13105, the remaining erase count 13110, and the FM usage 13111 are not acquired by the processor 104. May be.
  • FIG. 10 is a diagram illustrating a configuration example of the RG management table 13200.
  • RG management TBL 13200 has RG # 13201, Disk Type 13202, RAID Level 13203, RAID configuration 13204, compression setting 13205, and Disk # 13206 for each RG.
  • RG # 13201 is an RG identifier and is a unique number.
  • the Disk Type 13202 represents the type of Disk constituting the RG.
  • the RG is composed of the same type of disk.
  • RAID Level 13203 represents the RAID level of RG.
  • the RAID level is various values such as RAID 1 + 0, 1, 3, 4, 5, 6.
  • the RAID configuration 13204 represents the number of data Disks (Disks that store data) and the number of parity Disks (Disks that store parity).
  • the compression setting 13205 indicates the setting status of the compression function for the Disk constituting the RG. When the compression setting 13205 is ON, it indicates that the compression setting of all the disks constituting this RG is ON. Further, when the compression setting 13205 is OFF, it indicates that the compression setting of all the disks constituting this RG is OFF.
  • Disk # 13206 represents the number (Disk #) of the Disk constituting the RG. The disk # 13206 includes the same number of valid disk # as the number of disks indicated by the RAID configuration 13204.
  • FIG. 11 is a diagram showing a configuration example of the Pool management table 13300.
  • the Pool management TBL 13300 has Pool # 13301, RG # 13302, RG remaining capacity 13303, and Pool remaining capacity 13304 for each Pool.
  • Pool # 13301 is an identifier of Pool and is a unique number.
  • RG # 13302 represents the RG number of all RGs constituting the Pool.
  • the RG remaining capacity 13303 represents the remaining capacity for each RG.
  • the Pool remaining capacity 13304 represents the remaining capacity of the Pool, and is equal to the total value of the RG remaining capacity 13303 of the RG constituting the Pool.
  • the RG remaining capacity 13303 and Pool remaining capacity 13304 are updated to values decreased by data writing by the processor 104 (Write I / O program 12100) when data writing occurs in the extent unallocated area of the virtual volume. .
  • FIG. 12 is a diagram showing a configuration example of the entry management table 13800.
  • the entry management TBL 13800 has, for each Disk, a Disk # 13801, an entry # 13802, a size 13803, a Start-LBA 13804, a Last-LBA 13805, and an allocation destination extent # 13806.
  • Disk # 13801 is a disk identifier (Disk #) and is a unique number.
  • An entry # 13802 is an identifier (entry #) of an entry created in the Disk, and is a unique identifier for each Disk.
  • a size 13803 indicates the capacity of the entry (for example, in bytes).
  • Start-LBA 13804 and Last-LBA 13805 indicate how many LBAs to what LBAs are used to create entries. Specifically, Start-LBA 13804 is the number of the first LBA in the entry address space, and Last-LBA 13805 is the number of the last LBA in the address space of the entry.
  • Allocation destination extent # 13807 indicates whether or not this entry has already been allocated to the extent. Specifically, the allocation extent # 13807 is the extent # of the allocation destination when it is an entry allocated to the extent, and is unallocated when it is an entry not allocated to the extent. "N / A" shown.
  • FIG. 13 is a diagram showing a configuration example of the extent management table 13400.
  • the extent management TBL 13400 has an extent # 13401, a size 13402, a disk # 13403, and an allocation entry # 13404 for each extent.
  • Extent # 13401 is an extent identifier and is a unique number.
  • the size 13402 represents the extent capacity (for example, in bytes).
  • the Disk # 13403 and the allocation entry # 13404 indicate the Disk # of the Disk for constructing the extent and the entry # of the entry.
  • FIG. 14 is a diagram showing a configuration example of the virtual volume management table 13500.
  • the virtual volume management TBL 13500 has an LU # 13501, a virtual capacity 13502, an actual used capacity 13503, a virtual extent # 13504, and an allocated extent # 13505 for each virtual volume.
  • LU # 13501 is a virtual volume identifier (LU #) and is a unique number.
  • the virtual capacity 13502 is a virtual capacity of the virtual volume.
  • a virtual capacity corresponding to the virtual capacity 13502 is provided to the host computer 30.
  • the actual used capacity 13503 is a total value of extent capacity actually allocated to the virtual volume.
  • Virtual extent # 13504 is an identifier of a virtual extent included in the virtual volume. In the example of this figure, it is shown that virtual extents # 0 to n are included in the virtual volume of LU # 0. The virtual extents # 13504 are arranged in ascending order, and it can be determined by calculation which virtual extent # corresponds to the LBA (Logical Block Address) specified by the R / W command issued from the host computer 30.
  • Allocation extent # 13505 is an identifier (number) of an extent allocated to a virtual volume.
  • the storage controller 100 manages the extent allocation state for each virtual extent. In the example of this figure, extent # 0 is assigned to virtual extent # 0, and extent # 100 is assigned to virtual extent # 1 for management.
  • extent # 13505 corresponding to virtual extent # 13504 of a virtual extent to which an extent that is a physical storage area is not allocated is “-” indicating that no extent is allocated. In the example of this figure, it is shown that no extent is allocated to the virtual extent of virtual extent #n.
  • FIG. 15 is a diagram showing a configuration example of the statistical information management table 13600.
  • the statistical information management TBL 13600 is information (input / output amount information) related to the access status such as R / W to each entry and / or extent.
  • the storage controller 100 monitors the R / W status in units of entries and constitutes the statistical information management TBL 13600.
  • the R / W access status to the extent can be acquired by the storage controller 100 adding the information values of the entries belonging to each extent based on the contents of the statistical information management TBL 13600.
  • the statistical information management TBL 13600 has, for each Disk, Disk # 13601, Entry # 13602, Average WR I / O Size 13603, Average RD I / O Size 13604, WR ratio 13605, WR amount 13606, and RD amount 13607. Note that at least one of the information items 13601 to 13607 may be referred to as statistical information.
  • Disk # 13601 is an identifier of the disk and is a unique number.
  • the extent # 13602 is an extent identifier based on the disk, and is a unique number.
  • Average WR I / O Size 13603 and Average RD I / O Size 13604 are average values of the I / O sizes of WR I / O and RD I / O generated in this entry.
  • the WR ratio 13605 is the ratio of the I / O requests generated in this entry that the request was a WR command.
  • the WR amount 13606 and the RD amount 13607 indicate the total amount of WR data and the total amount of RD data generated in this entry. Note that the WR amount 13606 and the RD amount 13607 are values in which the I / O contents requested by the storage controller 100 to the SSD are recorded, and thus these values are values before compression. In this embodiment, by monitoring the statistical information in units of entries and / or extents, it is possible to reduce the monitoring load compared to monitoring in units of blocks or pages of the flash memory.
  • the storage controller 100 monitors the access status of the allocated extent based on the virtual volume management TBL 13500.
  • the statistical information is a cumulative value after the extent is allocated to the virtual volume, and a trend of R / W.
  • the statistical information may be a cumulative value per unit time.
  • the storage controller 100 may reset only the statistical information regarding the moved extent in the life leveling process.
  • FIG. 16 is a diagram illustrating a configuration example of the FM WR amount prediction table 13700 according to the first embodiment.
  • FM WR amount prediction TBL 13700 is configured based on disk management TBL 13100 and statistical information management TBL 13600.
  • the FM WR amount prediction TBL 13700 has, for each Disk, a Disk # 13701, an entry # 13702, a WR amount 13703, a compression rate 13704, and an FM WR prediction amount 13705.
  • Disk # 13701 is an identifier of the disk and is a unique number.
  • the entry # 13702 is an entry identifier and is a unique number.
  • the WR amount 13703 indicates the total amount of WR data with entries as write destinations.
  • the WR amount 13703 is updated based on the value of the WR amount 13606 of the statistical information management TBL 13600 when the FM WR amount is predicted.
  • the compression rate 13704 is an average value of the compression rates in the disk, and is set based on internal information acquired from the SSD.
  • the compression rate 13704 is set by copying the value of the average compression rate 13109 of the Disk management TBL 13100 when the FM WR amount is predicted. In this embodiment, since the average value of the compression rate in Disk units is used, the numerical values of all entries are the same.
  • FM WR expected amount 13705 indicates the expected amount of data actually written to the flash memory (FM WR expected amount).
  • FM WR expected amount a value obtained by multiplying the WR amount 13703 of a certain entry by the average compression rate 13704 of the entire disk to which the entry belongs is regarded as the FM WR expected amount generated in this entry.
  • the FM WR predicted amount in extent units can be obtained by taking the sum of the FM WR predicted amounts of one or more entries constituting the extent.
  • the SSD life can be leveled with high accuracy by determining the extent to be moved based on the expected WR amount of extent.
  • the data to be moved may be an entry.
  • FIG. 17 is a diagram showing a configuration example of the cache management table 32200.
  • the storage controller 100 manages the data cache area 14000 by dividing it into a plurality of cache areas.
  • the cache area has a preset size.
  • One record of the cache management table 32100 includes a virtual address 32101 in the virtual volume, a cache area # 32102 indicating a cache area corresponding to the virtual address, and a status indicating whether the cache area is dirty or not. 32103.
  • the cache area may be a slot or a segment smaller than the slot. Further, the storage controller 100 may secure an area in segment units and manage the status 32103 in slot units.
  • FIG. 18 is a diagram illustrating a configuration example of the RG determination management table 32200.
  • One record of the RG determination management table 32200 belongs to the RG # 3221 indicating the RG, the RG actual free space # 32202 of the RG, the margin 32203 of the RG, the dirty data amount 32204 of the RG, and the RG. And pool # 32205 indicating the pool.
  • FIG. 19 is a diagram illustrating a configuration example of the determination result management table 32300.
  • the determination result management table 32300 includes a system flag 32301 indicating a determination result of the entire storage apparatus 10 by a storage state update process described later, a pool # 32302 indicating each pool, and a pool indicating a determination result of each pool by the storage state update process. It includes a flag 32303, an RG # 32304 indicating each RG belonging to the pool, and an RG flag 32305 indicating the determination result of each RG by the storage state update processing.
  • the system flag 32301 is set to ON if at least one RG flag 32305 is ON in the storage apparatus 10 during the storage status update process, and is set to OFF otherwise.
  • the pool flag 32303 of one pool is set to ON if at least one RG flag 32305 in the pool is ON during the storage status update process, and is set to OFF otherwise.
  • the RG flag 32305 of one RG is set to ON when the RG satisfies the free condition during the storage status update process, and is set to OFF otherwise.
  • FIG. 20 is a diagram illustrating a configuration example of the cache memory 716 in the SSD 700.
  • the cache memory 716 has a program area 22000, a table area 23000, and a data cache area 24000.
  • the program area 22000 and the table area 23000 are areas for storing programs for controlling the SSD 700 and various tables.
  • the data cache area 24000 is an area for temporarily storing user data.
  • the program area 22000 includes a Write I / O program 22100, a Read I / O program 22200, an SSD WL program 22300, a free space generation program 22400, an SSD internal information communication program 22500, and a compression / decompression program 22600.
  • the Write I / O program 22100 is a program that processes a WR request from the storage controller 100.
  • the Read I / O program 22200 is a program that processes an RD request from the storage controller 100.
  • the SSD WL program 22300 is a program for executing WL in the SSD.
  • the free space generation program 22400 is a program that executes a reclamation process that is performed to avoid the free space of the SSD 700 being depleted.
  • the SSD internal information communication program 22500 is a program for creating SSD internal information in accordance with a request from the storage controller 100 and notifying the storage controller 100 of the SSD internal information.
  • the compression / decompression program 22600 is a program for the SSD controller 710 to perform data compression / decompression using the processor 713.
  • the compression / decompression program 22600 may execute data compression / decompression by controlling the compression / decompression circuit 718.
  • the table area 23000 includes a logical-physical conversion table 23100, a statistical information management table 23200, and a compression setting flag 23300.
  • the logical-physical conversion TBL 23100 is a table for managing the correspondence between the logical address space of the SSD 700 and the physical address space.
  • the statistical information management TBL 23200 is a table for managing SSD statistical information.
  • the compression setting flag 23300 is a flag indicating whether the compression setting of the SSD 700 is ON or OFF.
  • the data cache area 24000 is an area for storing user data 24100.
  • the user data 24100 is data written to the block and data read from the block.
  • FIG. 21 is a diagram illustrating a configuration example of the logical-physical conversion table 23100.
  • the logical-physical conversion table 23100 includes Start-LBA 23101, Block # 23102, Page # 23103, and Cord Word (CW) # 23104.
  • Start-LBA 23101 indicates the start position of the LBA provided to the storage controller 100. Since the I / O unit of the flash memory is a page, the value of Start-LBA 23101 is managed as a multiple of the page size. Block # 23102, Page # 23103, and CW # 23104 indicate information (block #, page #, CW #) of the physical address space corresponding to the Start-LBA 23101. In this embodiment, since the SSD has a data compression function, a logical address space over two pages or more may be mapped to one physical page.
  • FIG. 22 is a diagram showing a configuration example of the statistical information management table 23200 in the SSD.
  • the statistical information management TBL 23200 information notified by the processor 713 in response to a request from the storage controller 100 is stored.
  • the statistical information management TBL 23200 includes a write request total amount 23211, a read request total amount 23212, an FM write total amount 23213, an average compression rate 23214, an FM read total amount 23215, and a remaining erase count 23216.
  • the total write request amount 23211 and the total read request amount 23212 are the total amounts of the data requested by the storage controller 100 for the SSD 700 and the read requested data, respectively, and each of them is the WR in the statistical information management TBL 13600.
  • the sum of the amount 13606 and the sum of the RD amount 13607 are the same value.
  • the FM write total amount 23213 and the FM read total amount 23215 are the total amount of data actually WR written to the FM 780 and the total amount of data actually RD from the FM 780. These values include the R / W amount generated inside the SSD in processing other than the R / W request from the storage controller 100 such as reclamation.
  • the FM write total amount 23213 has the same value as the FM usage amount 13111 of the Disk management TBL 13100.
  • the average compression rate 23213 is an average value of the compression rate of the compressed data obtained by the data compression process inside the SSD.
  • the remaining number of erasures 23216 is a value obtained by subtracting the total number of FM erasures generated by data WR from the FM from the maximum number of erasures supported by the vendor.
  • the numerical value of the statistical information management TBL 23200 is updated when data R / W or erasure occurs.
  • FIG. 23 shows a write process related to a write request from the host computer 30.
  • the processing of the storage controller 100 is realized by executing the Write I / O program 12100
  • the processing of the SSD controller 710 is realized by executing the Write I / O program 22100. Is done.
  • the host computer 30 transmits a WR request to the storage controller 100 (S10).
  • the storage controller 100 executes a WR request reception process described later (S20).
  • the storage controller 100 determines whether or not an extent has been allocated to the WR destination range (virtual volume address range) indicated by the WR request based on the virtual volume management table 13500 (S30).
  • the storage controller 100 shifts the processing to S50.
  • the storage controller 100 finds an unallocated extent and allocates the extent to a virtual extent in the WR destination range (S40). Note that the storage controller 100 may allocate extents when transferring data from the cache memory 103 to the SSD 700.
  • the storage controller 100 determines whether or not the cache area has been allocated to the WR destination range (there is a cache area securing request) (S50).
  • the storage controller 100 shifts the process to S70. If the cache area is unallocated (S50: No), the storage controller 100 finds an unallocated cache area and allocates the cache area to the WR destination range (S60).
  • the storage controller 100 urges sending WR data by sending a WR data transfer permission notification to the host computer 30 (S70).
  • the host computer 30 sends WR data in response to the WR data transfer permission notification (S80), and the storage controller 100 receives the WR data and stores the received WR data in the cache memory 103 (S85). . Thereafter, the storage controller 100 transmits a WR data transfer permission notification to the host computer 30 (S90).
  • the host computer 30 When the host computer 30 receives a transfer completion response from the storage controller 100, the host computer 30 ends the write process (S95).
  • FIG. 24 shows the destage processing
  • the storage controller 100 executes destage processing.
  • the storage controller 100 transmits the data stored in the cache memory 103 and the WR request for the data to the SSD controller 710 of the SSD 700 as the data storage destination (S105).
  • the SSD controller 710 receives the data and WR request from the storage controller 100, refers to its own compression setting flag 23100, and determines whether or not data compression is enabled (S106). As a result, when the data compression is valid (S106: Yes), the SSD controller 710 compresses the data (S107), refers to the logical-physical conversion TBL23100, and stores the FM location (Block #) of the data. , Page #, and CW #) and store the data in the determined FM position (S108).
  • the SSD controller 710 does not perform data compression, determines the FM location of the data storage destination based on the logical-physical conversion TBL23100, and determines the determined FM The data is stored in the position (S108).
  • the SSD controller 710 After executing S108, the SSD controller 710 updates the write request total amount 23211, FM write total amount 23213, average compression rate 23214, and remaining erase count 23216 of the statistical information management TBL 23200 regarding the received data (S109). Next, the SSD controller 710 transmits a transfer completion response as a response to the WR request received in S106 to the storage controller 100 (S110).
  • the storage controller 100 When the storage controller 100 receives the transfer completion response from the SSD controller 710, the storage controller 100 updates the average WR I / O Size 13603, the WR ratio 13605, and the WR amount 13606 of the statistical information management TBL 13600 (S111), and ends this sequence.
  • FIG. 25 shows a read process related to a read request from the host computer 30.
  • the processing of the storage controller 100 is realized by executing the Read I / O program 12200
  • the processing of the SSD controller 710 is realized by executing the Read I / O program 22200. Is done.
  • the host computer 30 transmits a data RD request to the storage controller 100 (S180).
  • the storage controller 100 receives an RD request for data, and is there a cache area assigned to the RD range (virtual volume address range) indicated in the RD request (the requested data is in the cache area)? It is determined whether or not (S190).
  • the storage controller 100 shifts the process to S208.
  • the storage controller 100 allocates the cache area, identifies the SSD 710 that is the basis of the extent, and sends the data RD to the SSD controller 710 of the identified SSD 710.
  • a request (staging request) is transmitted (S201).
  • the SSD controller 710 receives the data RD request, specifies the physical address range corresponding to the logical address range according to the RD request based on the logical-physical conversion TBL 23100, and extracts data from this physical address range (one or more pages). Perform the reading process. In this process, the SSD controller 710 confirms whether or not the data compression is valid (S202). If the data compression is valid (S202: Yes), the SSD controller 710 decompresses the read data ( (S203), the decompressed data is transmitted to the storage controller 100 (S204). On the other hand, when the data compression is not valid (S202: No), the SSD controller 710 transmits the read data to the storage controller 100 without decompressing (S204).
  • the SSD controller 710 updates the read request total amount 23212 and the FM read total amount 23215 of the statistical information management TBL 23200 (S205).
  • the storage controller 100 When the storage controller 100 receives data from the SSD controller 710 as a response to the RD request transmitted in S201, the storage controller 100 stores the received data in the cache memory 103 (S206), the average RD I / O Size 13604 of the statistical information management TBL 13600, The WR ratio 13605 and the RD amount 13607 are updated (S207). Thereafter, the storage controller 100 transmits the data stored in the cache memory 103 in S206 to the host computer 30 (S208).
  • the host computer 30 When the host computer 30 receives data from the storage controller 100 as a response to the RD request transmitted in S200, the host computer 30 ends the read process (S209).
  • the storage controller 100 may perform destage processing after storing the data in the cache memory 103 in S85 of the write processing, and transmit a transfer completion response to the host computer 30 after the destage processing.
  • the storage controller 100 may not use a margin, or may use a preset value as the margin.
  • FIG. 26 shows asynchronous processing for SSD.
  • the storage controller 100 executes an SSD internal information acquisition process (described later) with respect to each SSD controller 710 at every preset SSD internal information acquisition period asynchronously with the I / O request (S300).
  • the storage controller 100 transmits an SSD internal information acquisition command to the SSD controller 710 and receives an execution result notification command as a response from the SSD controller 710.
  • the information acquired in the process of S300 is, for example, data (FM write total amount 23213, average compression rate 23214, FM read total amount 23215, and remaining erase count 23216) stored in the statistical information management TBL 23200.
  • the storage controller 100 updates the disk management TBL 13100 based on the acquired internal information (S301). Specifically, the storage controller 100 updates the FM write total amount 13108 and the FM usage amount 13111 based on the FM write total amount 23213, and updates the FM read total amount 13107 based on the FM read total amount 23215.
  • the average compression rate 13109 is updated based on the average compression rate 23214, and the remaining erase count 13110 is updated based on the remaining erase count 23216.
  • the storage controller 100 calculates the risk of disk depletion based on the information of the disk management TBL 13100 (S302).
  • the depletion risk is an index for determining the ease of depletion of the disk. In the present embodiment, the higher the numerical value, the easier the depletion is.
  • the exhaustion risk is calculated by, for example, WR amount to Disk ⁇ average compression rate ⁇ free capacity. That is, the risk of exhaustion increases as the WR frequency increases, the compression rate decreases, and the free space decreases.
  • the WR amount to the disk is the total of the disk unit of the WR amount 13606 of the statistical information management TBL 13600, the average compression rate is the average compression rate 13109 of the disk management TBL 13100, and the free space is the physical capacity 13112 of the disk management TBL 13100. It can be calculated by subtracting the FM usage amount 13111 from.
  • the storage controller 100 determines whether or not the depletion risk is equal to or higher than a threshold, and determines whether or not to execute the depletion avoidance process (S303).
  • the threshold value may be set by the administrator of the storage apparatus 10 via control software installed in the host computer 30 or the like.
  • the storage controller 100 executes the exhaustion avoidance process (described later) (S304). After the end, the process proceeds to S305.
  • the exhaustion risk is not equal to or greater than the threshold and it is determined that the exhaustion avoidance process is unnecessary (S303: No)
  • the storage controller 100 advances the process to S305.
  • the storage controller 100 calculates the remaining life in RG units in order to determine whether or not the life leveling process is necessary (S305).
  • the remaining life in RG units may be the worst value among the remaining lives of the SSDs constituting the RG, or may be an average value of the remaining lives of the SSDs. A method for calculating the remaining life of each SSD will be described later.
  • the storage controller 100 stores the calculated remaining life of each SSD in the expected remaining life 13105 of the Disk management TBL.
  • the storage controller 100 obtains the difference in remaining life between RGs, determines whether the difference is equal to or greater than a threshold value, and determines whether to execute the life leveling process (S306).
  • the threshold value may be set by the administrator of the storage apparatus 10 via control software installed in the host computer 30 or the like. Whether or not to execute the life leveling process includes, for example, whether or not there is an SSD that reaches the life before the warranty period (an SSD having a smaller expected remaining life 13105 than the remaining warranty period 13104). It may be determined based on whether or not there is.
  • the storage controller 100 executes the life leveling process (described later) (S307).
  • the life leveling process ends, the process proceeds to S305 again.
  • the remaining life of the SSD RG for the state after the life leveling process is calculated again, and it is determined whether or not the difference in the remaining life is equal to or greater than the threshold value in S306.
  • the storage controller 100 determines whether or not the I / O performance rebalancing process is necessary.
  • the amount of I / O per physical capacity is calculated (S308).
  • the I / O amount per RG physical capacity is calculated by, for example, RG I / O amount ⁇ average compression ratio ⁇ RG physical capacity.
  • the RG I / O amount is calculated by calculating the I / O amount of each SSD from the WR amount 13600 and the RD amount 13607 of the statistical information management TBL 13600, and adding the I / O amount for the SSD constituting the RG. Can be calculated.
  • the average compression rate is, for example, a numerical value having the worst compression rate among the RGs from the average compression rate 13109 of the Disk management TBL 13100.
  • the RG physical capacity can be calculated by adding the physical capacity of the SSD constituting the RG from the physical capacity 13112 of the disk management TBL 13100.
  • the storage controller 100 obtains a difference in I / O amount per physical capacity between RGs, determines whether this difference is equal to or greater than a threshold value, and executes the I / O performance rebalancing process. It is determined whether or not (S309). As a result, if the difference is equal to or greater than the threshold (S309: Yes), the storage controller 100 executes an I / O performance rebalancing process (described later) (S310), and for the SSD after the I / O performance rebalancing process is completed. Asynchronous processing ends. On the other hand, when the difference is less than the threshold (S309: No), the storage controller 100 ends the SSD asynchronous process.
  • the asynchronous processing for SSD may be executed at an arbitrary timing, may be executed at regular intervals (for example, every other day), or may be executed when a specific command is received. Furthermore, the asynchronous processing for SSD may be executed by the user instructing the execution timing of this processing from the control software of the host computer 30.
  • the priority of the depletion avoidance process is the highest
  • the priority of the life leveling process is the second highest
  • the priority of the IO performance balance process is the lowest.
  • the processes are performed in descending order, but the priorities of these processes may be different from the priorities in this figure.
  • the priority of the IO performance balance process may be higher than the priority of the life leveling process.
  • the storage controller 100 has a higher priority than the target data placement control process even if the target data placement control process is performed before performing any data placement control process (target data placement control process). It may be determined whether or not the condition for skipping (the data arrangement control process performed earlier) remains satisfied. “The condition for skipping the higher-priority data placement control process remains satisfied” means that the condition that should be satisfied by the higher-priority data placement control process remains satisfied.
  • the storage controller 100 may perform the target data arrangement control process. If the result of this determination is negative, the storage controller 100 may skip (do not perform) the target data arrangement control process.
  • FIG. 27 shows the SSD internal information acquisition process.
  • the storage controller 100 executes SSD internal information acquisition processing.
  • This figure shows a configuration example of an SSD internal information acquisition command 25000 and an execution result notification command 25100 as a response thereto.
  • the SSD internal information acquisition command 25000 is a command that the storage controller 100 transmits to the SSD 700.
  • the SSD internal information acquisition command 25000 includes, for example, a command # 25001 and an acquisition target 25002.
  • Command # 25001 is a command identifier (command #).
  • the acquisition target 25002 is an item that is an object that the storage controller 100 desires to acquire from the SSD. Specifically, the acquisition target 25002 indicates which item value is required among the items included in the statistical information management TBL 23200 of the SSD 780.
  • the execution result notification command 25100 is a command sent from the SSD 700 to the storage controller 100, and includes a response content to the SSD internal information acquisition command 25000.
  • the execution result notification command 25100 includes, for example, command # 25101 and Disk internal information 25102.
  • Command # 25101 indicates to which request command the response is, and is command # 25001 corresponding to the request command.
  • the Disk internal information 25102 is a response value to the content specified by the acquisition target 25002, and this value is a value calculated or copied from the SSD statistical information management TBL 23200.
  • the storage controller 100 acquires the FM usage amount 13111, the physical capacity 13112, and the like by transmitting an SSD internal information acquisition command 25000 to each SSD 700, and subtracts the FM usage amount 13111 from the physical capacity 13112.
  • the SSD actual free capacity that is the physical free capacity size for each SSD 700 is calculated
  • the RG actual free capacity that is the sum of the SSD actual free capacity for each RG is calculated based on the RG management table 13200. It is stored in the judgment management table 32200.
  • the SSD 700 may manage the SSD actual free capacity, and the storage controller 100 may acquire the SSD actual free capacity from the SSD 700.
  • the storage controller 100 can periodically acquire the state of each SSD 700. As a result, the amount of data compressed by the SSD 700 and stored in the SSD 700 and the free physical capacity (actual free capacity) of the SSD 700 can be acquired.
  • FIG. 28 shows the storage status update process.
  • the storage controller 100 executes the storage state update process every time a preset storage state update cycle elapses in synchronization with the I / O request according to the inflow control program 31100.
  • the storage state update cycle may be shorter than the aforementioned SSD internal information acquisition cycle.
  • the storage controller 100 acquires, from each cache management table 32100, the number of cache areas whose status is dirty among the cache areas corresponding to the RG, and stores the RG based on the number of cache areas.
  • the RG dirty data amount A which is the dirty data amount of the corresponding cache area, is calculated and stored in the RG determination management table 32200 (S4110).
  • the storage controller 100 calculates, for each RG, a margin B indicating a data amount that may be destaged to the RG other than the RG dirty data amount A, and stores it in the RG determination management table 32200 (S4120). ).
  • the margin B is a predicted value of the maximum destage amount additionally generated as described above.
  • the margin B is expressed by reference margin ⁇ elapsed time.
  • the reference margin [GB / s] is determined in advance based on the maximum WR amount when the inflow restriction is not performed.
  • the reference margin may be determined for each model of the storage apparatus 10, or may be determined according to a write pend rate (hereinafter referred to as a WP rate).
  • the WP rate is expressed as dirty data amount / total capacity (number of dirty cache areas / total number of cache areas) in the data cache area 14000.
  • the elapsed time [s] is a time obtained by subtracting the update time of the latest RG actual free space from the current time, and indicates an update time interval of the RG actual free space.
  • the update of the RG actual free space is performed by the above-described SSD internal information acquisition process.
  • the elapsed time is equal to the SSD internal information acquisition cycle.
  • the elapsed time is longer than the SSD internal information acquisition cycle.
  • the storage controller 100 determines whether or not the inflow restriction condition is satisfied for each RG based on the RG determination management table 32200 (S4130).
  • the inflow restriction condition is expressed by A + B ⁇ C using the RG dirty data amount A, the margin B, and the RG actual free capacity C regarding the RG.
  • This inflow restriction condition indicates that all data having the sum of the RG dirty data amount A and the margin B cannot be written to the RG without being compressed.
  • the storage controller 100 may switch the RG inflow restriction condition depending on the presence / absence of the compression setting 13205 in the RG management table 13200.
  • the storage controller 100 determines whether or not the inflow restriction condition is satisfied in at least one RG in the result of S4130 (S4140).
  • the storage controller 100 sets the system flag to ON in the determination result management table 32300 (S4210).
  • the storage controller 100 updates the pool flag of each pool in the determination result management table 32300 (S4220).
  • the storage controller 100 sets the pool flag of the pool to ON, and otherwise sets the pool flag of the pool to OFF.
  • the pool flag condition is, for example, that at least one RG inflow restriction condition in the pool to which the target RG belongs is satisfied as a result of S4130.
  • the storage controller 100 updates the RG flag in the determination result management table 32300 (S4230), and ends this flow. If the RG flag condition is satisfied for each RG, the storage controller 100 sets the RG flag of the RG to ON, and otherwise sets the RG flag of the RG to OFF. For example, as a result of S4130, the RG flag condition is that the RG inflow restriction condition of the RG is satisfied, or that the RG inflow restriction condition of the RG is not satisfied and there is an idle waiting job for the RG.
  • the storage controller 100 sets the RG flags of all RGs to OFF in the determination result management table 32300 (S4240). Thereafter, the storage controller 100 sets the pool flags of all the pools to OFF (S4250). Thereafter, the storage controller 100 sets the system flag to OFF (S4260) and ends this flow.
  • the storage controller 100 can determine whether or not destaging to each RG is possible by calculating the RG actual free space and the RG scheduled destage amount.
  • the storage controller 100 periodically determines whether or not destaging to each RG is possible, and updates the determination result management table 32300 so that the determination result can be used when a WR request is received.
  • the storage controller 100 calculates the RG dirty data amount and the margin of the target RG, the data amount that can be destaged to the target RG can be calculated.
  • FIG. 29 shows WR request reception processing.
  • the storage controller 100 executes WR request reception processing according to the inflow control program 31100.
  • the storage controller 100 Upon receiving the WR request from the host computer 30 (S5110), the storage controller 100 determines whether or not it is necessary to secure a cache area corresponding to the WR destination range indicated in the WR request based on the cache management table 32100. Determination is made (S5120). Here, when the cache area does not exist in the data cache area 14000 (cache miss), the storage controller 100 determines that the cache area needs to be secured.
  • the storage controller 100 shifts the process to S5140.
  • the storage controller 100 sets a cache area securing request for securing the cache area (S5130).
  • the storage controller 100 executes an inflow restriction determination process to be described later (S5140), and determines whether it is determined to restrict the inflow (S5150). If it is determined not to restrict the inflow (S5150: N), the storage controller 100 ends this flow.
  • the storage controller 100 performs a waiting process (S5160). In this waiting processing, the storage controller 100 starts a waiting job for the target RG, and then repeats whether or not the waiting job has been released until the waiting job is released by a waiting job release process described later. judge. If it is determined that the idle job has been released, the storage controller 100 ends the idle process and moves the process to S5110. During the idle waiting process, the storage controller 100 does not secure a cache area and does not send a WR data transfer permission notification to the host computer 30.
  • the storage controller 100 determines that the inflow restriction of the target RG is performed when the WR request is received, the storage controller 100 waits without securing a cache area for the write data, and the amount of RG dirty data And an increase in the WP rate can be prevented. If it is determined not to restrict the inflow of the target RG, write data can be received from the host computer 30.
  • FIG. 30 shows the inflow restriction determination process.
  • the storage controller 100 executes the inflow restriction determination process according to the inflow control program 31100.
  • the storage controller 100 determines whether or not a cache area needs to be secured (a cache area securing request is set) (S5210). When it is determined that it is not necessary to secure the cache area (S5210: N), the storage controller 100 determines that the inflow restriction of the target RG is not performed (S5320), and ends this flow.
  • the storage controller 100 determines whether the system flag is ON based on the determination result management table 32300 (S5220). When it is determined that the system flag is OFF (S5210: N), the storage controller 100 shifts the process to S5320 described above.
  • the storage controller 100 determines whether the pool flag of the pool to which the target RG corresponding to the WR destination range belongs is ON based on the determination result management table 32300. It is determined whether or not (S5230). When it is determined that the pool flag is OFF (S5220: N), the storage controller 100 shifts the process to S5320 described above.
  • the storage controller 100 determines whether or not the RG flag of the target RG is ON based on the determination result management table 32300 (S5240). When it is determined that the RG flag is OFF (S5230: N), the storage controller 100 shifts the process to S5320 described above.
  • the storage controller 100 determines that the inflow restriction of the target RG is performed (S5310), and this flow is finished.
  • the storage controller 100 determines whether or not the target RG satisfies the free space shortage condition, and if the target RG satisfies the free space shortage condition. If it is determined, the process may be shifted to S5310, and if it is determined that the target RG does not satisfy the free space shortage condition, the process may be shifted to S5320.
  • the free space shortage condition is, for example, A + B ⁇ C.
  • the storage controller 100 determines the type of I / O process being executed, and changes the margin B according to the type. For example, a margin Ba when the I / O process being executed is a write from the host computer 30 to the cache and a margin Bb when the I / O process being executed is a destage are set in advance. Ba is larger than Bb.
  • the storage controller 100 determines to restrict the inflow of the target RG for safety.
  • the storage controller 100 can quickly determine whether or not to perform inflow restriction on the target RG by referring to the determination result management table 32300 at the time of a WR request. For example, the storage controller 100 determines that the inflow restriction is not performed if any flag regarding the target RG is OFF. Further, the storage controller 100 determines that the inflow restriction is performed if all the flags related to the target RG are ON.
  • FIG. 31 shows the idle waiting job release process.
  • the storage controller 100 is asynchronous with the I / O request, and executes an idle waiting job release process for each RG every time a preset idle waiting job determination period elapses.
  • the idle waiting job determination cycle may be shorter than the storage state collection cycle.
  • the storage controller 100 determines whether or not there is an idle waiting job in the target RG (S5410). When it is determined that there is no idle waiting job in the target RG (S5410: N), the storage controller 100 ends this flow.
  • the storage controller 100 determines whether the target RG satisfies the inflow permission condition (S4520).
  • the inflow permission condition is expressed as A + B ⁇ C using the RG dirty data amount A, the margin B, and the RG actual free space C regarding the RG.
  • This inflow permission condition indicates that all data having the sum of the RG dirty data amount A and the margin B can be written to the RG without being compressed.
  • the storage controller 100 releases the empty waiting job (S4530) and ends this flow. If it is determined that the target RG does not satisfy the inflow permission condition (S4520: N), the storage controller 100 ends this flow and continues the idle job.
  • the storage controller 100 releases the idle waiting job of the target RG when the RG free capacity of the target RG increases or when the dirty data amount of the target RG decreases. Can do. For example, the RG free capacity of the target RG is increased by a depletion avoidance process described later, and when the target RG satisfies the inflow permission condition, the free waiting job is released, and the host computer 30 transfers the WR data to the target RG to the storage device 10. Can be sent to.
  • the host computer 30 determines that a timeout has occurred and interrupts the processing related to the WR request.
  • FIG. 32 is a schematic explanatory diagram of SSD life expectancy.
  • the life expectancy of the SSD is a process executed in S305 described above.
  • the horizontal axis represents time
  • the vertical axis represents the number of remaining SSDs.
  • the life of the SSD is a period in which the SSD can actually be used.
  • life leveling processing specifically, processing for exchanging data stored in extents and entries between SSDs
  • t (previous) 30000 indicates the time when the lifetime was predicted last time (when the previous lifetime was predicted), and corresponds to the value of the information update date 13103 of the Disk management TBL 13100.
  • EZ (previous) 30003 is the number of remaining erases at the time of the previous life prediction, and is the number of remaining erases 13106.
  • t (current) 30001 is the time when the current lifetime is predicted
  • EZ (current) 30002 is the current remaining erase count, which is a value that can be acquired from the SSD internal information acquired this time.
  • the slope (I) is calculated by the following formula (1).
  • Inclination (I) (EZ (current)-EZ (previous)) ⁇ (t (current)-t (previous)) ... (1)
  • T (life reached) 30005 is the time when the remaining number of erasures becomes zero, that is, the life reached time. In this way, the remaining lifetime can be calculated from the remaining erase count and the decrease rate of the remaining erase count. The remaining lifetime is stored in the expected remaining lifetime 13105 of the Disk management TBL 13100.
  • FIG. 33 is a flowchart illustrating an example of a depletion avoidance process according to the first embodiment.
  • the depletion avoidance process corresponds to the process of S304 described above.
  • the storage controller 100 calculates the RG unit depletion risk for all RGs in the pool 500 (S500).
  • the RG unit depletion risk may be the worst value of the SSD unit depletion risk calculated in S302 described above in the SSD 700 constituting the RG, or may be the average value of the SSD depletion risk constituting the RG.
  • the storage controller 100 identifies the RG having the highest depletion risk and the RG having the lowest depletion risk (S501).
  • the storage controller 100 performs FM WR amount prediction processing (described later) for predicting the FM WR amount for each entry or extent based on the statistical information management TBL 13600 and the statistical information management TBL 23200 of the SSD 700 (S505).
  • the storage controller 100 calculates the amount of data to be moved (S502).
  • the amount of movement data may be the amount of movement below the threshold, or may be the amount of movement that equalizes the depletion risk between the target RGs (between the RG having the maximum depletion risk and the RG having the minimum depletion risk).
  • the threshold value may be set by the administrator of the storage apparatus 10 via control software installed in the host computer 30 or the like.
  • the storage controller 100 executes a data movement process (described later) for moving data by the determined amount (S503). Finally, the storage controller 100 updates information on various TBLs (S504) and ends the depletion avoidance process.
  • the risk of SSD depletion can be reduced with the minimum number of extent movements by moving data with a large FM WR amount in units of extents from an RG with a high depletion risk to a low RG.
  • the storage controller 100 determines whether or not the RG actual usage rate of each RG (ratio of the RG actual usage amount to the physical capacity of the RG) exceeds a preset RG actual usage rate threshold value. When the RG actual usage rate exceeds the RG actual usage rate threshold, data movement processing may be performed from the RG to another RG.
  • the storage controller 100 increases the actual free capacity of the target RG by moving data from the target RG of the idle job to another RG by the exhaustion avoidance process, and waits for the idle by the above idle job release process. The job can be released.
  • FIG. 34 is a flowchart illustrating an example of FM WR amount prediction processing according to the first embodiment.
  • the FM WR amount prediction process corresponds to the process of S505 described above.
  • the FM WR amount prediction process is a process in which the storage controller 100 calculates the FM WR predicted amount 13705 of the FM WR amount predicted TBL 13700.
  • the storage controller 100 selects an entry that is a target of calculation of the FM write amount prediction (S3031). Next, the storage controller 100 stores (copies) the value acquired from the average compression rate 13109 of the Disk management TBL 13100 in the compression rate 13704 of the selected entry (S3032). Subsequently, the storage controller 100 acquires the WR amount 13606 corresponding to this entry from the statistical information management TBL 13600 as the WR amount 13703 of this entry, and stores (copies) the value (S3033).
  • the storage controller 100 calculates the FM WR expected amount 13705 of this entry by multiplying the WR amount 13703 and the compression rate 13704 (S3034).
  • the storage controller 100 determines whether or not the calculation target entry remains (S3035). If the calculation target entry remains (S3035: No), the next entry is selected, and S3032 to S3035 are selected. Repeat the process. On the other hand, if it is determined in S3035 that no calculation target entry remains (S3035: Yes), the storage controller 100 calculates an FM WR predicted amount for each extent (S3036). Specifically, the storage controller 100 identifies entries belonging to each extent by referring to the extent management TBL 13400, and calculates the total FM WR expected amount 13705 of the identified entries. Thereafter, the storage controller 100 ends the FM WR amount prediction process.
  • FIG. 35 is a flowchart illustrating an example of the data movement process in the exhaustion avoidance process according to the first embodiment. This data movement process corresponds to the process of S503 described above.
  • the storage controller 100 selects an extent with a large FM WR predicted amount calculated in the FM WR amount prediction process of S505 from among the RGs having the maximum depletion risk specified in S501 (S5031).
  • the extent having the largest FM WR predicted amount is the extent having the largest FM WR predicted amount among a plurality of extents.
  • the storage controller 100 migrates the selected extent to the RG having the minimum depletion risk specified in S501 (S5032). Next, the storage controller 100 determines whether or not the amount of data moved from the RG having the maximum depletion risk to the RG having the minimum depletion risk has reached the amount of movement data calculated in S502 described above (S5033).
  • This process can reduce the risk of SSD depletion with the minimum number of extent movements by moving an extent with a high depletion risk FM WR to an RG with a low depletion risk.
  • FIG. 36 is a flowchart illustrating an example of a life leveling process according to the first embodiment.
  • the life leveling process corresponds to the process of S307 described above.
  • the storage controller 100 identifies the RG having the maximum remaining life and the RG having the minimum remaining life (S601), and based on the statistical information management TBL 13600 and the statistical information management TBL 23200 of the SSD 700, the FM WR for each entry or extent. FM WR amount prediction processing (described later) for predicting the amount is executed (S602).
  • the storage controller 100 executes a data movement process (described later) for executing data movement (S603), updates various tables (S604), and ends the life leveling process.
  • FIG. 37 is a flowchart illustrating an example of the data movement process in the life leveling process according to the first embodiment. This data movement process is a process corresponding to S603 described above.
  • the storage controller 100 selects an extent (A1) having a large FM WR expected amount from among the short-life RGs specified as the source of data of the life leveling process specified in S601 described above (S30410).
  • an extent having a large FM WR predicted amount is an extent having the largest FM WR predicted amount among a plurality of extents.
  • the storage controller 100 selects an extent (B1) having a small FM WR expected amount from the long-life RG specified as the transfer destination of the life leveling process specified in S601 (S30411).
  • the extent with the smallest FM WR predicted amount is the extent with the smallest FM WR predicted amount among a plurality of extents. It is also possible to group extents whose FM WR predicted amount is equal to or less than a threshold value, and select one extent from them.
  • the storage controller 100 determines whether or not the FM WR predicted amount of the extent (A1) is larger than the FM WR predicted amount of the extent (B1) (S30412). If the expected FM WR amount of extent (B1) is larger than the expected FM WR amount of extent (A1), moving the data of extent (B1) to an RG with a short remaining life will further increase the WR data amount to that RG. , It does not equalize the number of erases between devices. Therefore, by making this determination and canceling the data exchange, it is possible to appropriately equalize the number of erasures between devices without unnecessary data movement.
  • FIG. 38 is a flowchart illustrating an example of the I / O performance rebalancing process according to the first embodiment.
  • the I / O performance rebalancing process corresponds to the process of S310 described above.
  • the storage controller 100 identifies the RG with the largest I / O amount per RG physical capacity and the smallest RG (S901). Based on the statistical information management TBL 13600 and the statistical information management TBL 23200 of the SSD 700, the storage controller 100 Predict FM RD / WR forecast amount (FM RD forecast amount and FM WR forecast amount) for each extent (S902). Specifically, the FM RD predicted amount is also predicted by processing similar to the above-described FM WR amount predicted processing.
  • the storage controller 100 executes data movement (S903), updates various tables (S904), and ends the performance I / O rebalance processing.
  • step S903 the storage controller 100 performs processing similar to the data movement processing in step S603 described above, and an extent having a large RG I / O amount per RG physical capacity (FM RD / WR expected amount) is large.
  • FM RD / WR expected amount an extent having a large RG I / O amount per RG physical capacity
  • I / O amount to RG with large I / O amount is reduced, while I / O amount is reduced.
  • the divergence of the I / O amount between RGs can be reduced. That is, the I / O performance can be leveled.
  • the performance bottleneck can be avoided by moving the stored data in extent units from the RG having a large I / O amount to the RG having a small I / O amount.
  • the storage controller 100 may have a storage tier virtualization function.
  • the storage controller 100 sets the RG to one of a plurality of tiers, measures the access frequency for each virtual storage area such as a virtual extent, and assigns the virtual storage area to a plurality of tiers based on the access frequency. It arranges in either.
  • the storage controller 100 may execute the reallocation of the virtual storage area periodically or in response to an I / O request.
  • the storage controller 100 may execute an IO performance rebalancing process for moving data between Tiers.
  • the storage controller 100 stops the IO performance rebalancing process, the IO performance rebalancing process between Tiers, the rearrangement of storage tier virtualization, and the like. Thereby, the storage controller 100 preferentially executes an increase in the actual free space of the target RG.
  • the RG is depleted, the WR request for overwriting the allocated page becomes an error, and there is a possibility that the host computer 30 may be down, and thus the depletion avoidance process is given priority.
  • the storage controller 100 allocates the extent in the RG to the virtual extent, moves the data in the extent to the extent in another RG, and allocates the migration source extent. By assigning the extent of the movement destination to the extent, the actual free space of the RG can be adjusted.
  • a storage apparatus including a plurality of storage controllers (clusters) will be described.
  • differences from the first embodiment will be mainly described.
  • FIG. 39 is a diagram illustrating a configuration example of a storage system 10000b including the storage apparatus 10b according to the second embodiment.
  • the storage device 10b includes two storage controllers 100.
  • the processor 104 in the storage controller 100 is connected to a processor in another storage controller 100.
  • the host computer 30 is connected to the two storage controllers 100 via the SAN 20.
  • the Disk Box 110 is connected to the two storage controllers 100.
  • the two storage controllers 100 are respectively called a first storage controller and a second storage controller, the cache memory 130 in the first storage controller is called a first cache memory, and the cache memory 130 in the second storage controller is called the first storage controller. This is called a second cache memory.
  • the processing of S20 to S40 is executed as in the first embodiment.
  • the first storage controller determines whether or not the cache area corresponding to the WR destination range has been allocated to both the first cache memory and the second cache memory. When it is determined that the cache area corresponding to the WR destination range is not allocated to at least one of the first cache memory and the second cache memory, the first storage controller is determined not to be allocated in S60. A cache area corresponding to the WR destination range is secured from the cache memory.
  • the first storage controller writes the received WR data to both the first cache memory and the second cache memory in S85, and in WR, the WR data is written.
  • a data transfer permission notification is transmitted to the host computer 30.
  • the storage controller 100 determines that it is not necessary to secure the cache area, and the cache area When it does not exist in at least one of the first cache memory and the second cache memory, it is determined that the cache area needs to be secured. When it is determined that the cache area needs to be secured (S5120: Y), in S5130, the storage controller 100 sets a cache area securing request for a cache memory in which the cache area does not exist.
  • the storage controller 100 writes the write data received from the host computer 30 to the two cache memories 130 and transmits a response to the host computer 30, thereby shortening the response time of the WR request. , Can increase the reliability.
  • the storage controller 100 may acquire the compression rate for each entry. Specifically, when the SSD controller 710 completes the WR, the data compression rate for each entry is added to the response command sent to the storage controller 100. By referring to the data compression rate included in the response command, the storage controller 100 can manage the compression rate for each entry.
  • the prediction accuracy of the FM WR predicted amount for each entry can be increased, and as a result, the execution accuracy of the life leveling process can be improved.
  • WA Write Amplification
  • the amount of data actually written to the flash memory is larger than the amount of data received by the SSD 700 from the storage controller 100. .
  • the ratio of the amount of data actually written to the flash memory to the amount of received data is called WA.
  • the increase in the amount of WR data due to the internal processing of the SSD depends on the access pattern, the size of the WR data, and the like.
  • the storage controller 100 additionally acquires WA from the SSD controller 710 and adds the value to the FM WR predicted amount of predicted material, thereby further improving the accuracy of the life leveling process.
  • WA is a ratio ((b) / (a)) obtained by dividing the following (b) by (a).
  • (a) is the amount of data received by the SSD 700 from the storage controller 100
  • (b) is the amount of data actually written to the flash memory.
  • the SSD 700 when the SSD 700 receives WR data from the storage controller 100 in a state where no data is WR in the SSD 700, the data is WR as it is to an empty page. Is likely to be.
  • the page to be the destination of valid data and the data from the storage controller 100 are written. Therefore, WA exceeds “1.0”.
  • the reclamation process for example, generates a block having only invalid data by aggregating pages storing valid data and WR to another block when empty blocks start to be exhausted. This is a process for generating an empty block by erasing data in the block.
  • the storage controller 100 can newly acquire a WA from the SSD 700 through the SSD internal information acquisition command, and add the WA to the FM WR expected amount of expected material.
  • the FM usage amount for each entry may be notified from the SSD 700 to the storage controller 100.
  • the storage controller 100 does not need to predict the FM WR amount, and can perform the life leveling process using the FM usage amount notified from the SSD 700 as it is. For this reason, the load (calculation amount) of the storage controller 100 can be suppressed.
  • the storage controller 100 performs the life leveling process and The I / O performance rebalancing process can be realized with high accuracy.
  • Flash memory has a characteristic that data is easily destroyed even when data is repeatedly read from a page. Therefore, a general SSD has a function of storing an ECC, which is an error correction code for data, together with data in a page, and recovering a partially generated error by the ECC at the time of data reading. Further, such an SSD has a function of moving data to another page when the number of occurrences of data errors exceeds a certain threshold. Therefore, the flash memory can be erased even in an environment where only data RD occurs. Therefore, information (RDI / O count and / or data RD amount) related to RD for each extent or entry may be used as a material for determining the life leveling process.
  • ECC error correction code for data
  • the storage controller 100 performs the process of converting the remaining number of deletions into the remaining number of days.
  • the SSD 700 may notify the storage controller 100 of the remaining number of days. This can be realized, for example, when the SSD 700 has a function of converting the remaining number of erasures into the number of remaining days as described above.
  • the exhaustion avoidance process, the life leveling process, and the I / O performance rebalancing process are executed in units of extents, but these processes are performed in different units (for example, entry units or LU units). It may be broken.
  • the migration policy of each process such as permitting the balance process, (3) permitting the depletion avoidance process between the compressed RG and the non-compressed RG, the life leveling process, and the I / O performance rebalance process,
  • a plurality of patterns are prepared in the storage apparatus 10, and a user or an administrator sets a migration policy corresponding to the intended use for each predetermined storage area unit (for example, RG or LU) via the host computer 30 or the management computer. Processing that is selected and in accordance with the selected migration policy may be performed by the storage apparatus 10.
  • an interface for notifying whether the host computer 30 has already compressed the data to the storage controller 100 is prepared, and based on the information, the storage controller 100 determines whether or not compression is required, or compresses RG. Alternatively, it may be determined in which RG of the uncompressed RG, or a movement policy of the life leveling process may be determined.
  • a write request command sent from the host computer 30 to the storage controller 100 may include a field indicating whether or not data is compressed.
  • the storage device may be the SSD 700 or the HDD 111.
  • Each of the first memory and the second memory may be a cache memory 130.
  • the processor may be the processor 104.
  • Each of the first storage device group and the second storage device group may be RG or PG.
  • the storage device information may be statistical information management TBL23200.
  • the cache information may be a cache management table 32100.
  • the storage device controller may be the SSD controller 710.
  • the non-volatile semiconductor memory may be a flash memory 780.
  • the destage determination may be a storage state update process.
  • the securing determination may be S5210 to 5320 of the inflow restriction determining process.
  • the waiting may be an idle waiting job.
  • the free space may be an RG actual free space.
  • the release condition may be an inflow permission condition.
  • the physical storage area may be an extent.
  • the virtual storage area may be a virtual extent.
  • the depletion condition may be that the depletion risk of the first storage device group is the maximum, or that the RG actual usage rate exceeds the RG actual usage rate threshold.
  • the dirty data amount may be the RG dirty data amount.
  • the result of the destage determination may be the determination result management table 32300.
  • the scheduled destage amount may be an RG scheduled destage amount.
  • 10 storage device, 11: disk, 30: host computer, 100: storage controller, 130: cache memory, 700: SSD, 710: SSD controller, 780: flash memory, 781: flash controller, 10000: storage system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

キャッシュメモリにおけるダーティデータ量の過剰な増加を防ぐ。　プロセッサは、各記憶デバイスから記憶デバイス情報を取得し、プロセッサは、上位装置から第一記憶デバイスグループに対するライト要求を受信する場合、ライト要求に示されたライト先アドレスに対応するライト先キャッシュ領域が確保されているか否かを判定し、ライト先キャッシュ領域が確保されていないと判定された場合、プロセッサは、記憶デバイス情報およびキャッシュ情報に基づいて、ライト先キャッシュ領域を確保するか否かを判定する、確保判定を行い、ライト先キャッシュ領域を確保すると判定された場合、プロセッサは、ライト先キャッシュ領域を確保し、ライト先キャッシュ領域を確保しないと判定された場合、プロセッサは、ライト先キャッシュ領域の確保を待機する。

Description

ストレージ装置、記録媒体、および記憶制御方法
　本発明は、ストレージ装置に関する。
　ストレージ装置は、一般に、データを格納する物理記憶デバイスと、物理記憶デバイスを制御するコントローラとを有する。コントローラは、ストレージ装置に接続された計算機（例えばホスト計算機）にデータ格納空間（一般に論理ボリューム）を提供する。
　ストレージ装置は、複数の物理記憶デバイスを、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙ　ｏｆ　Ｉｎｄｅｐｅｎｄｅｎｔ（ｏｒ　Ｉｎｅｘｐｅｎｓｉｖｅ）Ｄｉｓｋｓ）等のＰＧ（Ｐａｒｉｔｙ　Ｇｒｏｕｐ）構成で使用することにより、Ｉ／Ｏ処理を高速化したり、物理記憶デバイスの故障に対する高い耐障害性を発揮したりすることができる。
　ストレージ装置は、物理記憶デバイスとして、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）や、フラッシュメモリ（以下、ＦＭ）を有する物理記憶デバイス、例えば、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）を含む。
　次に、データ圧縮について述べる。データ圧縮は、データを圧縮することで物理記憶デバイスに格納するデータ量を削減する技術であり、フットプリントの削減やビットコストの低下を実現する。
　今後、ＳＳＤ自体のビットコスト低下等を目的として、ＳＳＤが上述の圧縮機能を有する可能性がある。以下、圧縮機能を有する物理記憶デバイスを圧縮ドライブと呼ぶ。
　ＳＳＤ自体が圧縮機能を搭載する場合、ストレージコントローラは圧縮後のデータを意識する必要がなく、圧縮機能のない記憶デバイスと同様にリード／ライト（以下、Ｒ／Ｗ）することができる。ストレージコントローラからデータを書き込まれた圧縮ドライブは、内部で圧縮処理を実行し、ＦＭに格納することで、ＦＭの使用量を削減することができる。しかし、ストレージコントローラからは、圧縮ドライブに対して、圧縮ドライブの容量分しかデータを書き込むことができない。つまりストレージコントローラは圧縮ドライブの容量一杯までデータを書き込んだ状態では、圧縮ドライブ内でデータが圧縮されることにより増加した空き容量に対してさらにデータを書き込むことができない。なぜなら、ストレージコントローラが圧縮ドライブに書き込める領域は非圧縮のデータサイズで消費されるためである。
　特許文献１には、データを圧縮して格納する半導体記憶ユニットを用いるストレージ装置において、ストレージコントローラが、半導体記憶ユニットが枯渇するリスクを軽減するように半導体記憶ユニット間でデータを移動する技術が記載されている。
国際公開第２０１５／００８３７５号
　記憶デバイスの空き容量が不足する場合、当該記憶デバイスをデステージ先とするダーティデータがキャッシュメモリに溜まる。これにより、キャッシュメモリ資源を使用するサービスの性能低下、保守失敗、ホストシステムダウン等を発生させる可能性がある。
　上記課題を解決するために、本発明の一態様であるストレージ装置は、複数の記憶デバイスと、第一メモリと、前記複数の記憶デバイス、前記第一メモリ、及び上位装置に接続されるプロセッサと、を備える。前記プロセッサは、前記複数の記憶デバイスの少なくとも一部を第一記憶デバイスグループとして設定し、前記プロセッサは、前記第一メモリ内の複数のキャッシュ領域の状態を示すキャッシュ情報を作成し、前記プロセッサは、前記上位装置からのデータを格納するキャッシュ領域を、第一記憶デバイスグループに関連付け、前記プロセッサは、各キャッシュ領域内のデータを、対応する記憶デバイスへデステージし、前記記憶デバイスは、前記デステージされたデータを圧縮することで、前記デステージされたデータを圧縮データに変換し、前記圧縮データを格納し、前記記憶デバイスの使用量に基づく記憶デバイス情報を記憶し、前記プロセッサは、各記憶デバイスから前記記憶デバイス情報を取得し、前記プロセッサは、前記上位装置から前記第一記憶デバイスグループに対するライト要求を受信する場合、前記ライト要求に示されたライト先アドレスに対応するライト先キャッシュ領域が確保されているか否かを判定し、前記ライト先キャッシュ領域が確保されていないと判定された場合、前記プロセッサは、前記記憶デバイス情報および前記キャッシュ情報に基づいて、前記ライト先キャッシュ領域を確保するか否かを判定する、確保判定を行い、前記ライト先キャッシュ領域を確保すると判定された場合、前記プロセッサは、前記ライト先キャッシュ領域を確保し、前記ライト先キャッシュ領域を確保しないと判定された場合、前記プロセッサは、前記ライト先キャッシュ領域の確保を待機する。
　キャッシュメモリにおけるダーティデータ量の過剰な増加を防ぐことができる。
実施形態の概要を示す図である。 実施例１に係るストレージ装置１０を含むストレージシステム１００００の構成例を示す図である。 ＳＳＤ７００の構成例を示す図である。 フラッシュメモリ７８０の構成例を示す図である。 ＳＳＤのアドレス空間の構成例を示す図である。 容量仮想化技術の概要説明図である。 データ移動処理によりＲＧ間でデータが移動された場合におけるデータアクセスの概要を説明する図である。 キャッシュメモリ１０３の構成例を示す図である。 Ｄｉｓｋ管理テーブル１３１００の構成例を示す図である。 ＲＧ管理テーブル１３２００の構成例を示す図である。 Ｐｏｏｌ管理テーブル１３３００の構成例を示す図である。 エントリ管理テーブル１３８００の構成例を示す図である。 エクステント管理テーブル１３４００の構成例を示す図である。 仮想ボリューム管理テーブル１３５００の構成例を示す図である。 統計情報管理テーブル１３６００の構成例を示す図である。 実施例１におけるＦＭ　ＷＲ量予想テーブル１３７００の構成例を示す図である。 キャッシュ管理テーブル３２１００の構成例を示す図である。 ＲＧ判定管理テーブル３２２００の構成例を示す図である。 判定結果管理テーブル３２３００の構成例を示す図である。 ＳＳＤ７００におけるキャッシュメモリ７１６の構成例を示す図である。 論物変換テーブル２３１００の構成例を示す図である。 ＳＳＤ内の統計情報管理テーブル２３２００の構成例を示す図である。 ホスト計算機３０からのライト要求に関わるライト処理を示す。 デステージ処理を示す。 ホスト計算機３０からのリード要求に関わるリード処理を示す。 ＳＳＤ向け非同期処理を示す。 ＳＳＤ内部情報取得処理を示す。 ストレージ状態更新処理を示す。 ＷＲ要求受領処理を示す。 流入制限判定処理を示す。 空き待ちジョブ解放処理を示す。 ＳＳＤの寿命予想の概要説明図である。 実施例１に係る枯渇回避処理の一例を示すフローチャートである。 実施例１に係るＦＭ　ＷＲ量予想処理の一例を示すフローチャートである。 実施例１に係る枯渇回避処理におけるデータ移動処理の一例を示すフローチャートである。 実施例１に係る寿命平準化処理の一例を示すフローチャートである。 実施例１に係る寿命平準化処理におけるデータ移動処理の一例を示すフローチャートである。 実施例１に係るＩ／Ｏ性能リバランス処理の一例を示すフローチャートである。 実施例２に係るストレージ装置１０ｂを含むストレージシステム１００００ｂの構成例を示す図である。
　以下、本発明の実施形態を説明する。
　以下の説明では、「ＡＡＡテーブル」の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＡＡＡテーブル」を「ＡＡＡ情報」と呼ぶことができる。
　また、以下の説明では、要素（例えばエクステント）の識別情報として番号が使用されるが、他種の識別情報（例えば名前、識別子）が使用されてよい。
　また、以下、「プログラム」を主語として処理を説明する場合があるが、プログラムは、コントローラ（ストレージコントローラ、又はＳＳＤコントローラ）に含まれるプロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又は通信インタフェース装置（例えば通信ポート）を用いながら行うため、処理の主語がコントローラ或いはプロセッサとされてもよい。また、コントローラは、処理の一部又は全部を行うハードウェア回路を含んでもよい。コンピュータプログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ、又は、コンピュータで読取可能な記憶メディアであってもよい。
　また、以下の説明では、物理記憶デバイスを「Ｄｉｓｋ」と便宜上表記することがあるが、この表記は、物理記憶デバイスが有する記憶媒体が必ずしも円盤状の記憶媒体であることを意味しない。物理記憶デバイスは、例えば、ＳＳＤでもよい。
　また、以下の説明では、期間或いは時間を用いるが、期間或いは時間の単位は、以下の例に限定されない。例えば、期間或いは時間の単位は、年、月、日、時、分、秒のうちのいずれか１つ或いはいずれか２以上の組合せであってもよい。
　また、以下の説明では、ＳＳＤに含まれる不揮発半導体記憶媒体は、フラッシュメモリ（ＦＭ）であるとする。そのフラッシュメモリは、ブロック単位で消去が行われ、ページ単位でＲ／Ｗが行われる種類のフラッシュメモリ、典型的にはＮＡＮＤ型のフラッシュメモリであるとする。しかし、フラッシュメモリは、ＮＡＮＤ型に代えて他種のフラッシュメモリ（例えばＮＯＲ型）でもよい。また、フラッシュメモリに代えて、他種の不揮発半導体記憶媒体、例えば相変化メモリが採用されてもよい。
　また、ＮＡＮＤ型のフラッシュメモリは、一般に、複数のブロック（物理ブロック）で構成されている。各ブロックは、複数のページ（物理ページ）で構成されている。１以上のＳＳＤ（例えば後述のＲＡＩＤグループ）に基づく論理ページ群（論理的な記憶空間）が提供されてよい。何のデータも書き込まれていない物理ページを、「空きページ」と言うことができる。各論理ページについて、最近書き込まれたデータを「有効データ」と言い、有効データが書き込まれたことにより旧いデータとなったデータを「無効データ」と言うことができる。また、有効データが格納されている物理ページを「有効ページ」と言うことができ、無効データが格納されている物理ページを「無効ページ」と言うことができる。
　図１は、実施形態の概要を示す図である。
　ストレージ装置１０は、ストレージコントローラ１００と、複数の物理記憶デバイス（Ｄｉｓｋ）１１を備える。複数の物理記憶デバイス１１は、ＲＡＩＤグループ（ＲＧ）５０を構成する。ＲＧ５０は、ＰＧ（Ｐａｒｉｔｙ　Ｇｒｏｕｐ）であってもよい。ＲＧ５０は、論理記憶領域の基になっている。論理記憶領域は、エクステント７０でもよいし、ストレージ装置１０に接続されている上位装置（例えばホスト計算機３０）に提供される論理ボリューム（ＬＵ：Ｌｏｇｉｃａｌ　Ｕｎｉｔ）の全部或いは一部でもよい。なお、ストレージコントローラ１００は、ＲＧを論理ボリュームであるＶＤＥＶ（Ｖｉｒｔｕａｌ　Ｄｅｖｉｃｅ）として管理してもよいし、一つのＲＧを複数のＶＤＥＶに分割して管理してもよい。
　ストレージコントローラ１００は、キャッシュメモリ１３０を含む。上位装置からのライトデータは、キャッシュメモリ１３０に格納され、その後、ＲＧ５０へデステージされる。ストレージコントローラ１００は、キャッシュメモリ１３０に格納されているデータのうち、デステージ前のデータをダーティデータとして管理する。
　ストレージコントローラ１００は、上位装置からライト要求を受信した場合、ライト要求のライト先であるＲＧのＲＧ実空き容量が、当該ＲＧのＲＧ予定デステージ量より大きいか否かを判定する。ＲＧ実空き容量は、ＲＧの物理的な空きスペースであり、ＲＧの物理容量から、ＲＧの物理的な使用量であるＲＧ実使用量を減じて得られる値である。ＲＧ予定デステージ量は、当該ＲＧへデステージされる可能性のあるデータの量である。ＲＧ予定デステージ量は、例えば、キャッシュメモリ１３０内で、当該ＲＧに対応するダーティデータの量であるＲＧダーティデータ量と、それ以外にデステージ処理までに追加されるダーティデータの量の予測値であるデータ量であるマージンとの和である。なお、ＲＧ予定デステージ量は、ライト要求に示されたライトデータ量を含んでもよい。
　Ｄｉｓｋ１１が圧縮機能を有する場合、ストレージコントローラ１００は、各Ｄｉｓｋ１１の内部情報を取得し、内部情報に基づいてＲＧ実使用量を算出する。
　当該ＲＧのＲＧ実空き容量がデステージに十分であると判定された場合、ストレージコントローラ１００は、ライトデータ転送許可通知をホスト計算機３０へ送信し、ホスト計算機３０からライトデータを受信し、ライトデータをキャッシュメモリ１３０へ書き込む。その後、ストレージコントローラ１００は、ライト要求と非同期で、キャッシュメモリ１３０からＲＧ５０へデステージを行う。
　当該ＲＧのＲＧ実空き容量がデステージに十分でないと判定された場合、ストレージコントローラ１００は、当該ＲＧの空き待ちジョブを実行する。空き待ちジョブ中、ストレージコントローラ１００は、上位装置からのライトデータのためのキャッシュメモリ１３０の領域を確保せず、当該ＲＧへのライトデータを受信しない。その後、ストレージコントローラ１００は、ＲＧ間でデータを移動するデータ配置制御処理を実行することにより、当該ＲＧのＲＧ実空き容量を増加させる。これに応じて、当該ＲＧのＲＧ実空き容量がＲＧ予定デステージ量より大きいと判定された場合、ストレージコントローラ１００は、当該ＲＧの空き待ちジョブを解放し、上位装置からライトデータを受信し、ライトデータをキャッシュメモリへ書き込む。
　なお、空き待ちジョブ中、管理者が当該ＲＧに物理記憶デバイス１１を追加することで、当該ＲＧのＲＧ実空き容量を増加させてもよい。この場合、ストレージコントローラ１００は、データ配置制御処理を実行しなくてもよい。
　次に、データ配置制御処理について説明する。
　ストレージコントローラ１００は、上位装置からのＩ／Ｏ要求に伴う処理とは別に、ＲＡＩＤグループ５０間でデータを移動するデータ配置制御処理として、ＲＡＩＤグループ５０の枯渇回避処理、寿命平準化処理、Ｉ／Ｏ性能平準化（リバランス）処理（入出力平準化処理）、ストレージ階層仮想化における再配置処理等を行う。ここで、ＲＡＩＤグループが半導体記憶ユニットの一例である。なお、半導体記憶ユニットを１つの物理記憶デバイス１１としてもよい。
　ＳＳＤは、ＨＤＤに比べＩ／Ｏ処理が非常に高速であるというメリットを有しているが、データの書き込み回数には上限があり、ＨＤＤに比べ寿命が短いというデメリットも有している。
　フラッシュメモリ（典型的にはＮＡＮＤ型のフラッシュメモリ）は、データを書き換えようとしたとき、そのデータが格納されている物理領域上に、データを直接上書くことができない。その物理領域上のデータに対してデータの書き換えを行うためには、フラッシュメモリの消去単位であるブロックと呼ばれる単位で、その物理領域上のデータに対して消去処理（以下、ブロック消去）を実行した後、ブロック消去が実行された物理領域上にデータを書く必要がある。
　しかしながら、各ブロックについてのブロック消去の回数（以下、消去回数）は、フラッシュメモリの物理的な制約から限界がある。そして、ブロックの消去回数がこの限界を超えると、そのブロックにはデータを格納することができなくなってしまう。つまり、ＳＳＤを構成する全ブロックの消去回数が限界を超えると、そのＳＳＤの寿命となる。
　そこで、一般のＳＳＤでは、ウエアレベリング（以下、ＷＬ）とよばれる手法を用いて、ＳＳＤの長寿命化が図られている。ＷＬでは、一般に、消去回数が多いブロックには、低頻度で更新されるデータが格納され、消去回数が少ないブロックには、高頻度で更新されるデータが格納される。これにより、ブロック間の消去回数を平準化し、特定のブロックのみが劣化することを抑えることができる。
　ストレージ装置の物理記憶デバイスとしてＳＳＤが採用される場合、複数のＳＳＤがストレージ装置に搭載されることが一般的である。このようなストレージ装置においては、各ＳＳＤにおいて特定のブロックのみが劣化することを抑えられても、ＳＳＤ間の負荷に不均衡が生じ、特定のＳＳＤのみに負荷が集中することがある。そこで、ＳＳＤ間にもＷＬを適用し、複数のＳＳＤ間の消去回数を平準化することで、ストレージ装置全体の長寿命化を実現する手法が、知られている。以下では、ＳＳＤなどの物理記憶デバイス間で行われるＷＬを、「寿命平準化」と言う。
　寿命平準化では、ストレージコントローラが、移動対象のＳＳＤと移動対象のデータとを決定する。
　データ配置制御処理において、ストレージコントローラ１００は、各物理記憶デバイス１１から各物理記憶デバイスに関する内部情報を取得する。例えば、物理記憶デバイス１１がＳＳＤ（フラッシュメモリを有する記憶デバイス）であれば、内部情報は、各種容量情報（全体容量、実使用量、データ圧縮後にフラッシュメモリに書き込まれたデータの総量など）と寿命に関する情報などである。
　ストレージコントローラ１００は、これらの内部情報とＩ／Ｏ量に関する統計情報に基づいて、ＲＧの枯渇リスクを算出し、枯渇回避処理の実行要否を判断する。枯渇リスクは、例えば、ＲＧのライトＩ／Ｏ量（ＷＲＩ／Ｏ量）÷ＲＧ実空き容量、で算出する。以後、書き込みをＷＲと呼び、読み出しをＲＤと呼ぶことがある。また、枯渇リスクは、ＲＧに書き込まれた量であるＲＧ実ＷＲ量（ＦＭライト合計量の合計）÷ＲＧの実容量（物理容量の合計）、であってもよい。枯渇回避処理では、まず、ストレージコントローラ１００は、枯渇リスクが高く近い将来ＲＧ枯渇が発生しＷＲを受け付けられなくなってしまうＲＧ５０と、枯渇リスクが低くＲＧ枯渇までの時間が長いと予想されるＲＧ５０とを特定する。
　次に、ストレージコントローラ１００は、枯渇リスクが高いＲＧ５０から枯渇リスクが低いＲＧ５０へ移動するデータ量（移動データ量）を決定する。移動データ量はユーザが設定する枯渇リスクに関する閾値（たとえばＲＧ使用量９０％など）を下回るだけの移動データ量でもよいし、ＲＧ５０間で枯渇リスクを平準化することのできる移動量でもよい。
　次に、ストレージコントローラ１００は、決定した移動データ量だけデータを移動する。ここで、データを移動させる際の記憶領域の範囲を「エクステント」と呼ぶ。エクステントは、参照符号７０に示すように、複数の物理記憶デバイス１１（例えば、ＳＳＤ）にまたがったアドレス範囲（論理領域）である。フラッシュメモリのブロック単位や、ページ単位という小さい単位では、データ移動のための負荷が大きくなる。これに対して、ブロック及びページよりも大きい単位であって、複数のＲＧ５０にまたがったエクステントという単位でデータ移動を行うことでストレージコントローラ１００のデータ移動のための負荷を抑えることができる。
　ストレージコントローラ１００は枯渇回避処理実行後、または枯渇回避処理が不要だと判断した場合、ＲＧ５０の残寿命を算出し、寿命平準化処理の実行要否を判断する。ＲＧ５０の残寿命としては、例えば、ＲＧ５０を構成する物理記憶デバイス１１（ここでは、ＳＳＤ）の残寿命情報の最小値をＲＧ５０の残寿命とする。または、ＲＧ５０の残寿命としては、ＲＧ５０を構成する物理記憶デバイス１１（ＳＳＤ）の残寿命の平均値としてもよい。寿命平準化処理では、まず、ストレージコントローラ１００は、残寿命が短く、近い将来寿命を迎え、使用不可となってしまうＳＳＤで構成されたＲＧと、残寿命が長いＳＳＤで構成されたＲＧとを特定する。
　次に、ストレージコントローラ１００は、残寿命の短いＲＧの中でＷＲ負荷が高いエクステントと、残寿命の長いＲＧの中でＷＲ負荷が低いエクステントとを決定し、それらのエクステントのデータを交換する。
　具体的には、ＷＲ負荷を判断するために、ストレージコントローラ１００は、エクステント毎にＷＲデータ量を計測する。例えば、ＳＳＤへのＷＲデータ量が多いと、ブロックの書き換えが頻繁に発生し、それに伴ってブロックの消去回数が増加する。ブロックの消去回数が増加すると、そのブロックの消去回数が限界（上限値）に達して、そのブロックへのリードはできるが、ＷＲが不可能となる。そして、このようなブロックが増加したＳＳＤは、使用不可能となる。このため、ストレージコントローラ１００が、ＷＲデータ量が多いエクステントを見つけ、そのエクステントに含まれるデータを、短寿命のＳＳＤのＲＧから、長寿命のＳＳＤのＲＧへ移動する。
　これにより、ストレージコントローラ１００の負荷を高くすることなく、ＳＳＤ間で消去回数を平準化することができる。また、短寿命のＳＳＤのＲＧにおけるＷＲ　Ｉ／Ｏ量が多いエクステントと、長寿命のＳＳＤのＲＧにおけるＷＲ　Ｉ／Ｏ量が少ないエクステントとのデータを交換することで、最小の移動データ量で寿命平準化を実現することができる。
　ストレージコントローラ１００は寿命平準化処理実行後、または寿命平準化処理が不要だと判断された場合、ＲＧ５０のＩ／Ｏ量を算出し、Ｉ／Ｏ性能リバランス処理の実行要否を判断する。Ｉ／Ｏ性能リバランス処理では、まず、ストレージコントローラ１００は、Ｉ／Ｏ量が多く、且つＩ／Ｏ負荷が高いＲＧと、Ｉ／Ｏ量が少なく、且つＩ／Ｏ負荷が低いＲＧを特定する。
　次にストレージコントローラ１００は、Ｉ／Ｏ負荷が高いＲＧの中でＩ／Ｏ負荷が高いエクステントと、Ｉ／Ｏ負荷が低いＲＧの中でＩ／Ｏ負荷が低いエクステントとを決定し、それらのエクステントのデータを交換する。
　なお、ストレージコントローラ１００は、データ配置制御処理のうち何れかの処理を含まなくてもよい。
　以下、本実施形態の実施例について詳細に説明する。
　図２は、実施例１に係るストレージ装置１０を含むストレージシステム１００００の構成例を示す図である。
　ストレージシステム１００００は、ストレージ装置１０、及びホスト計算機３０を備える。ホスト計算機３０は、ストレージ装置１０を利用する上位装置の一例である。ホスト計算機３０は、例えばアプリケーションサーバである。ホスト計算機３０と、ストレージ装置１０とは、例えば、ＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）２０を経由して通信可能に接続されている。ＳＡＮ２０としては、例えば、ファイバチャネル、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ｉＳＣＳＩ（ｉｎｔｅｒｎｅｔ　Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＩＥＥＥ１３９４バス、ＳＡＳ（Ｓｅｒｉａｌ　Ａｔｔａｃｈｅｄ　ＳＣＳＩ）等を用いることが可能である。また、ＳＡＮ２０に代えて、他種の通信ネットワーク（例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ））が採用されてもよい。なお、この図の例では、ストレージシステム１００００は、ホスト計算機３０及びストレージ装置１０をそれぞれ１つ備えているが、それらのうちの少なくとも一方を複数備えてもよい。
　ホスト計算機３０は、ストレージ装置１０に対して制御コマンド等を発行する制御ソフトウェア（図示省略）を実行することにより、制御コマンド等をストレージ装置１０に発行してストレージ装置１０の保守管理をする。この制御コマンドに基づく処理がストレージ装置１０で実行されることにより、ストレージ装置１０が有するＲＧのＲＡＩＤレベルの変更や、枯渇回避処理、寿命平準化処理、及びＩ／Ｏ性能リバランス処理の各種起動閾値の調整、及び、Ｐｏｏｌ単位又はＲＧ単位での圧縮機能のＯＮ／ＯＦＦ設定等の種々の作業を行うことができる。なお、ＲＧ５０は、複数のＳＳＤ（又はＨＤＤ）で構成され所定のＲＡＩＤレベルに従いデータを記憶する物理記憶デバイスグループである。ストレージ装置１０に対して制御コマンドを発行する計算機として、ホスト計算機３０とは別の計算機が使用されもよい。
　ストレージ装置１０は、ホスト計算機３０に接続されたストレージコントローラ（Ｓｔｏｒａｇｅ　ＣＴＬ）１００と、ストレージコントローラ１００に接続されたＤｉｓｋ　Ｂｏｘ１１０とを有する。
　ストレージコントローラ１００は、ストレージ装置１０の動作を制御する。ストレージコントローラ１００は、通信インタフェースデバイスと、メモリと、それらに接続された制御デバイスとを有する。通信インタフェースデバイスとして、フロントエンドの通信インタフェースデバイスであるＨｏｓｔ　Ｉ／Ｆ１０１と、バックエンドの通信インタフェースデバイスであるＤｉｓｋ　Ｉ／Ｆ１０７とがある。メモリとして、キャッシュメモリ１０３がある。制御デバイスとして、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））１０４がある。Ｈｏｓｔ　Ｉ／Ｆ１０１と、キャッシュメモリ１０３と、プロセッサ１０４と、Ｄｉｓｋ　Ｉ／Ｆ１０７とは、例えばＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ）のような専用の接続バスで、内部ネットワーク１０２に接続されており、内部ネットワーク１０２を介して通信可能である。
　キャッシュメモリ１０３は、例えばＤＤＲ３（Ｄｏｕｂｌｅ　Ｄａｔａ　Ｒａｔｅ３）のようなＤＲＡＭである。Ｈｏｓｔ　Ｉ／Ｆ１０１は、ストレージ装置１０をＳＡＮ２０と接続するためのインタフェースである。内部ネットワーク１０２は、ストレージ装置１０の内部に存在するデバイス同士を接続するためのネットワークである。内部ネットワーク１０２は、スイッチを含む。内部ネットワーク１０２に代えて、スイッチ機能やＤＭＡ転送、ＲＡＩＤ演算等のアシスト機能を有するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を用いてもよい。プロセッサ１０４は、ストレージ装置１０の全体を制御する。プロセッサ１０４は、複数存在してもよい。この場合、複数のプロセッサ１０４が協調または分担してストレージ装置１０を制御するようにしてもよい。キャッシュメモリ１０３は、プロセッサ１０４がストレージ装置１０を制御するために必要なコンピュータプログラムやデータを記憶する領域を有する。Ｄｉｓｋ　Ｉ／Ｆ１０７は、ストレージコントローラ１００とＤｉｓｋ　Ｂｏｘ１１０とを接続するためのインタフェースである。Ｄｉｓｋ　Ｂｏｘ１１０は、種類の異なるＤｉｓｋ１１（例えば、ＨＤＤ１１１、ＳＳＤ７００といった不揮発物理記憶デバイス）を複数台備える。Ｄｉｓｋ　Ｂｏｘ１１０において、同じ種類の複数のＤｉｓｋでＲＧが構成される。各ＲＧから、ユーザデータの格納空間としての論理ボリュームが提供される。なお、この図の例では、Ｄｉｓｋ　Ｂｏｘ１１０を構成するＤｉｓｋ１１として、ＨＤＤ１１１及びＳＳＤ７００としているが、ＳＳＤ７００のみとしてもよい。
　なお、ストレージ装置１０の各部の数や、ストレージコントローラ１００の各部の数は、この図の例に限られない。
　図３は、ＳＳＤ７００の構成例を示す図である。
　ＳＳＤ７００は、複数のフラッシュメモリ７８０と、それらに接続されたＳＳＤコントローラ７１０とを有する。ＳＳＤコントローラ７１０は、ＳＳＤ７００の動作を制御する。ＳＳＤコントローラ７１０は、通信インタフェースデバイスと、メモリと、それらに接続された制御デバイス、およびデータの圧縮・伸長を実行するハードウェアデバイスとを有する。通信インタフェースデバイスとしては、フロントエンドの通信インタフェースデバイスであるＤｉｓｋ　Ｉ／Ｆ７１１と、バックエンドの通信インタフェースデバイスであるＦｌａｓｈ　Ｉ／Ｆ７１７とがある。メモリとしては、キャッシュメモリ７１６がある。制御デバイスとしては、プロセッサ７１３がある。データの圧縮・伸長を実行するハードウェアデバイスとして、圧縮・伸長回路７１８がある。なお、データの圧縮・伸長を実行する機能を、プロセッサ７１３が専用のプログラムを実行することで、ソフトウェア的に実現してもよい。Ｄｉｓｋ　Ｉ／Ｆ７１１と、プロセッサ７１３と、キャッシュメモリ７１６と、Ｆｌａｓｈ　Ｉ／Ｆ７１７と、圧縮・伸長回路７１８とは、内部ネットワーク７１２を介してそれぞれ接続されている。
　Ｄｉｓｋ　Ｉ／Ｆ７１１は、ストレージコントローラ１００のＤｉｓｋ　Ｉ／Ｆ１０７と専用の接続バスで接続されている。内部ネットワーク７１２は、デバイス同士を接続するためのネットワークである。内部ネットワーク７１２は、スイッチを含んでもよい。また、内部ネットワーク７１２をスイッチ機能を有したＡＳＩＣで代用してもよい。プロセッサ７１３は、ＳＳＤ７００全体を制御する。キャッシュメモリ７１６は、プロセッサ７１３がＳＳＤ７００を制御するために必要なコンピュータプログラムやデータを記憶する領域を有する。Ｆｌａｓｈ　Ｉ／Ｆ７１７は、ＳＳＤコントローラ７１０とフラッシュメモリ７８０とを接続するためのインタフェースである。
　本実施例において、ＳＳＤ７００は、複数のフラッシュメモリ７８０と、それらを制御するコントローラ７１０とを備える半導体記憶デバイスであり、外観形状等がフォームファクタに限定されるものではない。また、フラッシュメモリ７８０には、ＮＯＲやＮＡＮＤといった不揮発性の半導体メモリが使用されてよい。また、フラッシュメモリ７８０に代えて、磁気抵抗メモリであるＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）や、抵抗変化型メモリであるＲｅＲＡＭ（ｒｅｓｉｓｔａｎｃｅ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）、強誘電体メモリであるＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　ｒａｎｄｏｍ　ａｃｃｅｓｓ　ｍｅｍｏｒｙ）等の各種半導体メモリが使用されてもよい。
　図４は、フラッシュメモリ７８０の構成例を示す図である。
　フラッシュメモリ７８０は、複数のブロック７８２と、それらに接続されたフラッシュメモリコントローラ（以下、フラッシュコントローラ）７８１とを有する。フラッシュコントローラ７８１は、フラッシュメモリ７８０を制御する。各ブロック７８２は、複数のページ７８３により構成される。フラッシュメモリ７８０からのデータのＲＤ、及びフラッシュメモリ７８０へのデータのＷＲは、ページ単位で実行される。データ消去は、ブロック単位で実行される。ページ７８３は、複数のＣｏｄｅ　ｗｏｒｄ７８４により構成されており、Ｃｏｄｅ　ｗｏｒｄ７８４には、ホスト計算機３０により格納されたデータと、そのデータを保護するためのエラー訂正符号であるＥＣＣとが格納されている。
　フラッシュメモリ７８０は、例えば、ＮＡＮＤ型のフラッシュメモリである。ＮＡＮＤ型のフラッシュメモリでは、データを上書きすることができない。そのため、フラッシュメモリ７８０では、データがＷＲされているページ７８３に新たなデータをＷＲする際は、データを消去し、データが消去された消去済みのページ７８３に対してＷＲする。
　ＳＳＤコントローラ７１０は、ＳＳＤ７００内の複数のブロック７８２に対して、消去回数の平準化処理を行う。ＳＳＤコントローラ７１０は、更新頻度が小さいデータを消去回数の多いブロック７８２に格納し、更新頻度が大きいデータを消去回数の少ないブロック７８２に格納することで、ＳＳＤ７００内のブロック７８２の消去回数を平準化する。なお、ＳＳＤコントローラ７１０は、ＷＲの際に、消去回数の少ない空きブロック７８２を選択してデータを格納することで、消去回数の平準化を行ってもよい。この際、複数のブロック７８２を消去回数に応じて複数のグループに分けて、消去回数が少ないグループからデータを格納するブロック７８２を選択するようにしてもよい。このように、ＳＳＤ７００内の複数のブロック７８２の消去回数が平準化されることで、ＳＳＤ７００の長寿命化が達成される。
　図５は、ＳＳＤのアドレス空間の構成例を示す図である。
　ＳＳＤ７００に関して、物理アドレス空間８００と、物理アドレス空間８００より大きい論理アドレス空間９００とが存在する。物理アドレス空間８００は、実際のデータが格納される物理記憶領域のアドレス空間である。一方、論理アドレス空間９００は、ＳＳＤ７００がストレージコントローラ１００に対して提供する一意なアドレス空間である。
　ＳＳＤコントローラ７１０は、論理アドレス空間９００を、例えば物理ページサイズと同じ大きさを持つ複数個の領域（以下、論理ページ）９０１、９０２、９０３、９０４等に分割する。ここで、本実施例ではＳＳＤ７００は、データ圧縮機能を有しているため、論理ページ９０１のデータは圧縮データ９１１に、論理ページ９０２のデータは圧縮データ９１２に、論理ページ９０３のデータは圧縮データ９１３に、論理ページ９０４のデータは圧縮データ９１４にそれぞれ変換（圧縮）される。データパターン等によって、圧縮率が変化するため、論理ページを変換した各圧縮データのサイズは一定とは限らず、任意のサイズとなる。各圧縮データは、それぞれＣｏｄｅ　ｗｏｒｄ（ＣＷ）単位で物理ページに格納される。この図の例では、圧縮データ９１１はＣＷ７８４１に、圧縮データ９１２はＣＷ７８４２に、圧縮データ９１３はＣＷ７８４３とＣＷ７８４４とに、圧縮データ９１４はＣＷ７９００に格納される。
　このように、データ圧縮機能を有しているＳＳＤ７００では、論理ページと物理ページとは一対一の関係ではなく、実際にＦＭ７８０に格納される圧縮後の圧縮データに対して物理ページが動的に割り当てられる。また、このＳＳＤ７００では、論理アドレス空間９００を物理アドレス空間８００より大きくすることで、ストレージコントローラ１００はＳＳＤ７００が搭載する物理記憶容量以上のデータを書き込むことができる。
　ここで、論理アドレス空間９００をどの程度の大きさとするかを考える。本実施例では全書き込みデータが圧縮・伸長回路７１８で圧縮できる最良の圧縮率（たとえば８分の１）で圧縮されることを想定して、論理アドレス空間９００の大きさを決定する。この場合には、ＳＳＤ７００は自身が搭載する物理容量の８倍の大きさを持つ論理容量の論理アドレス空間９００をストレージコントローラ１００に提供する。例えば、物理的に１ＴＢの容量を搭載するＳＳＤ７００は、例えば最良の圧縮率８分の１だとすると、８ＴＢの論理容量をストレージコントローラ１００に提供する。これにより、ストレージコントローラ１００は圧縮機能を持たないＨＤＤやＳＳＤと同様に単にデータをライトするだけで、ＳＳＤ７００の実際の物理容量以上のデータを格納することができる。この場合、書き込まれたデータの圧縮率は、データパターン等によって変化するため、実際には８分の１より圧縮率が悪く（高く）なることがあり、ストレージコントローラ１００からＳＳＤ７００に対して必ずしも８ＴＢのデータを格納することができない。このように、ＳＳＤ７００の論理容量が満杯になる前に、物理容量が満杯になる状態を枯渇状態と呼ぶ。
　ストレージコントローラ１００は枯渇状態になったＳＳＤ７００に対しては、一切データをＷＲすることができない。枯渇状態のＳＳＤ７００に対するＷＲコマンドはエラー応答となる。なぜなら、前述のとおり、ＮＡＮＤ型のＦＭ７８０では、単純にデータを上書きすることができず、データが格納されているページに新たなデータをＷＲする際は、データを消去し、データが消去された消去済みのページに対してＷＲする必要があり、枯渇状態のＳＳＤ７００では、消去済みのページを用意することができないためである。
　逆に、非枯渇状態のＳＳＤ７００に対しては、ＷＲの制限はなく、論理アドレス空間９００全面に対してＷＲすることができる。
　そこで、ストレージコントローラ１００は、ＳＳＤ７００を枯渇状態にしないよう、後述の枯渇回避処理を実行し、ＳＳＤ７００を常に非枯渇状態に保つようにする。
　ＳＳＤコントローラ７１０は、論理アドレス空間９００を構成するアドレス範囲（論理記憶領域）と物理アドレス空間８００を構成するアドレス範囲（物理記憶領域）とのマッピングを動的に変更することで、ＳＳＤ７００内のＷＬ等を実現することができる。なお、論理アドレス空間９００と物理アドレス空間８００との対応は、プロセッサ７１３が後述の論物変換テーブル２３１００を用いて管理している。本実施例では、ストレージコントローラ１００は、ＳＳＤ７００内の論物変換テーブルを直接管理していない。ゆえに、ＳＳＤ７００のプロセッサ７１３がストレージコントローラ１００に対して、ＳＳＤ内部情報等で通知を行わない限り、ストレージコントローラ１００は、論理アドレス空間９００と物理アドレス空間８００との対応関係を把握することはできない。
　次に、容量仮想化技術について説明する。
　容量仮想化技術（例えば、Ｔｈｉｎ　Ｐｒｏｖｉｓｉｏｎｉｎｇ）とは、ストレージ装置１０が有している物理的な容量より大きな仮想的な容量をホスト計算機３０側に提供する技術である。ホスト計算機３０は、仮想的な論理ボリューム（仮想ボリューム）に対してアクセスする。容量仮想化技術では、ストレージ装置１０がＷＲ要求を受けた場合に、ＷＲ要求のデータのＷＲ先の仮想的な記憶領域（仮想エクステント）に、物理的な記憶領域が割り当てられる。本実施例では、容量仮想化技術において割り当てられる物理的な記憶領域の単位をエクステント単位とする。また、エクステントのサイズは、数ＭＢから数ＧＢと多様性に富んでいてよい。
　図６は、容量仮想化技術の概要説明図である。
　同一種類のＤｉｓｋ１１（例えばＳＳＤ７００）でＲＧ（２００、３００、４００）が構成される。１以上のＲＧを基にＰｏｏｌ５００が構成される。
　エクステント（２４０、２４１、２４１、３４０、４４０等）は、Ｐｏｏｌ５００を分割することにより得られた記憶領域（部分記憶領域）、つまり、Ｐｏｏｌ５００の一部である。この図の例では、Ｐｏｏｌ５００は、ＲＧ２００、ＲＧ３００、及びＲＧ４００の３つのＲＧに基づいて構成されている。以下、ＲＧ２００を例に説明する。
　ＲＧ２００は、Ｄｉｓｋ２１０、Ｄｉｓｋ２２０、及びＤｉｓｋ２３０により構成されている。ＲＧ２００は、ＲＡＩＤ５を構築しており、Ｄａｔａ（この図中のＤ）及びＰａｒｉｔｙ（この図中のＰ）がＤｉｓｋ（２１０～２３０）に格納される。
　ＲＧ２００に基づく記憶領域が複数のエクステント（２４０、２４１、２４２）に分割される。ＲＧ２００に基づく記憶領域は、複数のＳＳＤ７００によって提供される論理アドレス空間９００に対応する。
　エクステントは、ＳＳＤ７００のブロック７８２よりも大きいサイズの記憶領域である。エクステントのサイズは、例えば、ブロックのＮ倍（Ｎは２以上の整数）である。エクステントは、各Ｄｉｓｋに存在する論理アドレス空間であるエントリ（例えば、エントリ２５１、２５２、２５３、２５４、２５５、２５６）により構成される。エントリには、複数個のＤａｔａ及びＰａｒｉｔｙが格納される。この図の例では、例えばエントリ２５１には、データ２１１、データ２１２、パリティ２１３等が格納され、エントリ２５２には、データ２２１、データ２２３、パリティ２２２等が格納され、エントリ２５３には、データ２３２、データ２３３、パリティ２３１等が格納されている。エントリ２５４、２５５、及び２５６も同様に複数個のＤａｔａとＰａｒｉｔｙとが格納されている。また、エントリ２５１及び２５４は、Ｄｉｓｋ２１０内に、エントリ２５２及び２５５は、Ｄｉｓｋ２２０内に、エントリ２５３及び２５６は、Ｄｉｓｋ２３０内にそれぞれ構築されている。
　この図の例では、ＲＧ２００の記憶領域から、エクステント２４０、エクステント２４１、及びエクステント２４２が作成されている。ＲＧ３００の記憶領域から、エクステント３４０、エクステント３４１、及びエクステント３４２が作成されている。ＲＧ４００の記憶領域から、エクステント４４０、エクステント４４１、及びエクステント４４２が作成されている。
　仮想ボリューム６００は、ホスト計算機３０がユーザデータを格納するための仮想的な論理ボリュームである。仮想ボリューム６００の容量として定義される容量は、ストレージ装置１０が有する物理記憶デバイスの容量の合計よりも大きな記憶容量とすることができる。なお、仮想ボリューム６００は、任意の数の仮想エクステント（６０１～６０７等）によって構成されている。仮想ボリューム６００の記憶領域は、仮想アドレス（仮想ボリュームを構成する論理アドレス）で管理されており、所定の範囲に区切られた仮想アドレスの記憶領域により、仮想エクステントが構成される。この図の例では、１つの仮想エクステントに対して１つのエクステントが対応付けられているが、１つの仮想エクステントに対して複数のエクステントが対応付けられてもよい。
　この図の例において、実線で示されている仮想エクステント６０１～６０４は、ＲＧ２００、３００、及び４００からエクステントが割当てられている仮想エクステントである。すなわち、仮想エクステント６０１に対してはエクステント３４１が、仮想エクステント６０２に対してはエクステント２４２が、仮想エクステント６０３に対してはエクステント４４２が、仮想エクステント６０４に対してはエクステント２４０がそれぞれ割当てられている。また、この図の例において、破線で示されている仮想エクステント６０５～６０７は、データのＷＲ先として指定されたアドレスが属している仮想エクステントではなく、このため、これら仮想エクステント６０５～６０７にはエクステントが未割当てとなっている。
　図７は、データ移動処理によりＲＧ間でデータが移動された場合におけるデータアクセスの概要を説明する図である。データ移動処理は、ＳＳＤ向け非同期処理（後述）において実行される。
　ＲＧ間でデータが移動されると、ホスト計算機３０は、データへのアクセス先を移動先のＲＧへ変更しなければならない。しかし、仮想ボリューム６００を用いてアドレスが変換されることで、ホスト計算機３０は、アクセス先を変更することなく、移動先のデータへアクセスできる。つまり、ストレージコントローラ１００によって、仮想エクステント６１０の仮想アドレスに対する関連付けが、移動元のエクステント７０の論理アドレスから、移動先のエクステント８０の論理アドレスへ変更される。従って、ＳＳＤ向け非同期処理を実行しても、ホスト計算機３０は、仮想ボリューム６００にアクセスすることで、アクセス先のアドレスを変更する必要はない。なお、本実施例では、アドレス変換に仮想ボリュームを用いているが、これに限られず、仮想ボリュームを用いずにアドレス変換を行うようにしてもよい。
　図８は、キャッシュメモリ１０３の構成例を示す図である。
　ストレージコントローラ１００のキャッシュメモリ１０３は、プログラムエリア１２０００、テーブルエリア１３０００、及びデータキャッシュエリア１４０００を有する。プログラムエリア１２０００及びテーブルエリア１３０００は、ストレージ装置１０を制御するためのプログラムや各種テーブルが格納される領域である。データキャッシュエリア１４０００は、ユーザデータを一時的に格納するために使用される領域である。
　プログラムエリア１２０００は、Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム１２１００、Ｒｅａｄ　Ｉ／Ｏ　プログラム１２２００、寿命管理プログラム１２３００、ＳＳＤ情報取得プログラム１２４００、寿命平準化プログラム１２５００、枯渇回避プログラム１２６００、Ｉ／Ｏ性能リバランスプログラム１２７００、及び流入制御プログラム３１１００を記憶する。
　Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム１２１００は、ホスト計算機３０からのＷＲ要求を処理するプログラムである。Ｒｅａｄ　Ｉ／Ｏ　プログラム１２２００は、ホスト計算機３０からのＲＤ要求を処理するプログラムである。寿命管理プログラム１２３００は、プロセッサ１０４がＳＳＤ７００などの各種Ｄｉｓｋの寿命を管理するためのプログラムである。ＳＳＤ情報取得プログラム１２４００は、ＳＳＤ７００の内部情報を取得するためのプログラムである。寿命平準化プログラム１２５００は、ＳＳＤ７００の寿命をＲＧ単位に換算し、ＲＧの寿命平準化を実行するためのプログラムである。枯渇回避プログラム１２６００は、ＳＳＤ７００の容量情報から、ＲＧの枯渇リスクを計算し、枯渇の可能性が高いＲＧの枯渇回避を実行するプログラムである。Ｉ／Ｏ性能リバランスプログラム１２７００は、ＲＧのＩ／Ｏ統計情報から、特定ＲＧが性能ボトルネックとなっていることを検出し、性能平準化を実行するプログラムである。流入制御プログラム３１１００は、デステージ不可能であることを判定した場合、ホスト計算機３０からのＷＲデータを制限するプログラムである。
　テーブルエリア１３０００は、Ｄｉｓｋ管理テーブル（テーブルをＴＢＬと表記することもある）１３１００、ＲＧ管理テーブル１３２００、Ｐｏｏｌ管理テーブル１３３００、エクステント管理テーブル１３４００、仮想ボリューム管理テーブル１３５００、統計情報管理テーブル１３６００、ＦＭライト量予想テーブル１３７００、エントリ管理テーブル１３８００、キャッシュ管理テーブル３２１００、ＲＧ判定管理テーブル３２２００、及び判定結果管理テーブル３２３００を有する。
　Ｄｉｓｋ管理ＴＢＬ１３１００は、Ｄｉｓｋ　Ｂｏｘ１１０に格納されているＤｉｓｋに関する情報を格納するテーブルである。ＲＧ管理ＴＢＬ１３２００は、ＲＡＩＤグループに関する情報を格納するテーブルである。Ｐｏｏｌ管理ＴＢＬ１３３００は、Ｐｏｏｌの情報を格納するテーブルである。エクステント管理ＴＢＬ１３４００は、エクステントに関する情報を格納するテーブルである。仮想ボリューム管理ＴＢＬ１３５００は、仮想ボリュームに関する情報を格納するテーブルである。統計情報管理ＴＢＬ１３６００は、ストレージ装置１０のＩ／Ｏ性能に関する各種情報を格納するテーブルである。ＦＭライト量予想ＴＢＬ１３７００は、プロセッサ１０４が寿命平準化処理を実行する際の移動対象データを決定するために、ＳＳＤ内部のデータ書き込み量を予想する際に使用するテーブルである。キャッシュ管理テーブル３２１００は、データキャッシュエリア１４０００に関する情報を格納するテーブルである。ＲＧ判定管理テーブル３２２００は、ＲＧの判定に関する情報を格納するテーブルである。判定結果管理テーブル３２３００は、ＲＧの判定結果を格納するテーブルである。
　データキャッシュエリア１４０００には、ＷＲ要求及びＲＤ要求に従うユーザデータ１４１００が一時記憶される。ユーザデータ１４１００は、ホスト計算機３０が使用するデータである。
　図９は、Ｄｉｓｋ管理テーブル１３１００の構成例を示す図である。
　Ｄｉｓｋ管理ＴＢＬ１３１００は、主にストレージコントローラ１００が管理する各Ｄｉｓｋの枯渇管理および寿命管理を行うための情報（枯渇関連情報、残寿命情報）を管理する。Ｄｉｓｋ管理ＴＢＬ１３１００は、Ｄｉｓｋ毎に、Ｄｉｓｋ＃１３１０１、Ｄｉｓｋ　Ｔｙｐｅ１３１０２、情報更新日１３１０３、残保証期間１３１０４、予想残寿命１３１０５、圧縮設定１３１０６、ＦＭリード合計量１３１０７、ＦＭライト合計量１３１０８、平均圧縮率１３１０９、残消去回数１３１１０、ＦＭ使用量１３１１１、物理容量１３１１２、及び論理容量１３１１３を有する。
　Ｄｉｓｋ＃１３１０１は、Ｄｉｓｋの識別子であり、ユニークな番号である。Ｄｉｓｋ　Ｔｙｐｅ１３１０２は、Ｄｉｓｋの種別を表す。Ｄｉｓｋの種別としては、例えば、ＳＳＤ（ＳＬＣ）、ＳＳＤ（ＭＬＣ）、ＨＤＤなどがある。ここで、ＳＳＤは、使用するＮＡＮＤフラッシュメモリの種類により、ＳＬＣ（Ｓｉｎｇｌｅ　Ｌｅｖｅｌ　Ｃｅｌｌ）タイプ、ＭＬＣ（Ｍｕｌｔｉ　Ｌｅｖｅｌ　Ｃｅｌｌ）タイプ、及びＴＬＣ（Ｔｒｉｐｌｅ　Ｌｅｖｅｌ　Ｃｅｌｌ）タイプの３種類が存在する。ＳＬＣは、高速、長寿命、低容量なフラッシュメモリであり、数十万から数万回オーダーのブロック消去が可能である。ＭＬＣは、低速、短寿命、及び大容量なフラッシュメモリであり、数万から数千回オーダーのブロック消去が可能である。ＴＬＣはＭＬＣに比べ、さらに、低速、短寿命であるが、大容量なフラッシュメモリであり数千から数百回オーダーのブロック消去が可能である。
　情報更新日１３１０３は、Ｄｉｓｋに関する情報が更新された最近の日付（例えば、寿命情報等を更新した日付）を表す。残保証期間１３１０４は、ベンダが定めるＤｉｓｋの保証期間があとどれだけ残っているかを示す。この図の例では、残保証期間１３１０４は、日数として示されている。ここで、Ｄｉｓｋの保証期間とは、Ｄｉｓｋが正常に動作することが保証された期間（例えば、５年）である。フラッシュメモリは、データの書き込みによる消去回数の増加により劣化し、寿命に到達すると、データのＲ／Ｗが不可能、または、データ保持特性が著しく悪化する。よって、Ｄｉｓｋを正常に使用可能な期間として、予め消去回数や総ＷＲ量等に基づいて閾値が設定される。Ｄｉｓｋの使用期間が保証期間を超えた場合は、そのＤｉｓｋを交換することとなる。
　予想残寿命１３１０５は、ＳＳＤの残消去回数１３１１０がゼロに到達すると予想される残りの期間を示す。予想残寿命１３１０５は、プロセッサ１０４（寿命管理プログラム１２３００）が予想した数値である。ここでは、予想残寿命１３１０５は、日数として示されている。ここで、予想残寿命１３１０５が残保証期間１３１０４を下回るということは、例えばＩ／Ｏのばらつきなどにより、特定のＳＳＤに負荷が集中することで、このＳＳＤがベンダの想定よりも高負荷な状態となってしまい、ベンダが保証する使用期限よりも前に、ＳＳＤが寿命に到達するということを意味している。寿命平準化処理を実行することで、特定のＳＳＤを含むＲＧへのＷＲの集中を回避することができ、ＳＳＤの長寿命化を図ることができる。予想残寿命１３１０５は、情報更新日時１３１０３、ＦＭリード合計量１３１０７、ＦＭライト合計量１３１０８、及び残消去回数１３１１０等を基に算出することができる。残寿命期間の算出方法については後述する。
　圧縮設定１３１０６は、対象Ｄｉｓｋがデータ圧縮機能を有効にしているか否かを示す。圧縮設定１３１０６は、有効（使用）中の場合はＯＮ（又はＯＮに相当する数値（例えば「１」））となり、無効（未使用）中の場合はＯＦＦ（又はＯＦＦに相当する数値（例えば「０」））となっている。なお、データ圧縮機能のＯＮ／ＯＦＦの設定については、ストレージ装置１０の管理者がホスト計算機３０にインストールされた制御ソフトウェア等を介して設定できるようにしてもよい。
　ＦＭリード合計量１３１０７は、ＳＳＤ内に発生したリード量（ＳＳＤ内のフラッシュメモリから読み出されたデータの量）の積算値であり、ＳＳＤ内部情報を基に更新される。ＦＭライト合計量１３１０８は、ＳＳＤ内に発生したＷＲ量（ＳＳＤ内のフラッシュメモリに書き込まれたデータの量）の積算値であり、ＳＳＤ内部情報を基に更新される。平均圧縮率１３１０９は、ＳＳＤ内部でデータが圧縮されることにより、元のサイズに比べて何パーセントのサイズになったかを示す数値である。なお平均圧縮率１３１０９は、各ＳＳＤの圧縮率の平均値であり、ＳＳＤ内部情報を基に更新される。
　残消去回数１３１１０は、ＳＳＤにおいて実行可能なブロック消去の回数に従う値を示す。本実施例では、残消去回数１３１１０は、予め決まっている消去可能回数に対する残消去回数についての割合（パーセンテージ）となっており、ＳＳＤ内部情報を基に更新される。残消去回数１３１１０の値がゼロになったとき、フラッシュメモリ内の全てのブロックの消去回数が上限に達したことを示す。
　ＦＭリード合計量１３１０７、ＦＭライト合計量１３１０８、平均圧縮率１３１０９及び残消去回数１３１１０は、ストレージコントローラ１００が各ＳＳＤから取得した情報に基づいて更新される。ストレージコントローラ１００は、例えば、Ｓ．Ｍ．Ａ．Ｒ．Ｔ．（Ｓｅｌｆ－Ｍｏｎｉｔｏｒｉｎｇ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｒｅｐｏｒｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ）等の汎用インタフェースを用いて各ＳＳＤから情報を取得する。
　ＦＭ使用量１３１１１は、ＳＳＤ内に格納されているデータ量を表し、ＳＳＤ内部情報を基に更新される。物理容量１３１１２は、ＳＳＤが搭載する物理容量を表す。論理容量１３１１３は、ＳＳＤに対する論理容量を示す。この論理容量は、圧縮・伸長回路７１８で可能な最良の圧縮率を前提とした容量であって、物理容量より大きな容量である。ストレージコントローラ１００は圧縮設定１３１０６がＯＮの場合は、論理容量１３１１３をＳＳＤの容量と認識し、圧縮設定１３１０６がＯＦＦの場合は、物理容量１３１１２をＳＳＤの容量と認識する。
　なお、Ｄｉｓｋ管理ＴＢＬ１３１００において、枯渇管理が必要ないＤｉｓｋ（たとえば圧縮設定１３１０６がＯＦＦのＳＳＤ）については、平均圧縮率１３１０９、ＦＭ使用量１３１１１、及び論理容量１３１１３を、プロセッサ１０４による取得対象としなくてもよい。また、Ｄｉｓｋ管理ＴＢＬ１３１００において、寿命管理が必要ないＤｉｓｋ（例えば、ＨＤＤ）については、残保証期間１３１０４、予想残寿命１３１０５、残消去回数１３１１０、及びＦＭ使用量１３１１１を、プロセッサ１０４による取得対象としなくてもよい。
　図１０は、ＲＧ管理テーブル１３２００の構成例を示す図である。
　ＲＧ管理ＴＢＬ１３２００は、ＲＧ毎に、ＲＧ＃１３２０１、Ｄｉｓｋ　Ｔｙｐｅ１３２０２、ＲＡＩＤ　Ｌｅｖｅｌ１３２０３、ＲＡＩＤ構成１３２０４、圧縮設定１３２０５、及びＤｉｓｋ＃１３２０６を有する。
　ＲＧ＃１３２０１は、ＲＧの識別子であり、ユニークな番号である。Ｄｉｓｋ　Ｔｙｐｅ１３２０２は、ＲＧを構成するＤｉｓｋの種別を表す。ＲＧは、同一種類のＤｉｓｋから構成される。
　ＲＡＩＤ　Ｌｅｖｅｌ１３２０３は、ＲＧのＲＡＩＤレベルを表す。ＲＡＩＤレベルは、例えば、ＲＡＩＤ　１＋０、１、３、４、５、６といった種々の値である。ＲＡＩＤ構成１３２０４は、ＲＡＩＤを構成するデータＤｉｓｋ（データを格納するＤｉｓｋ）の数、及びパリティＤｉｓｋ（パリティを格納するＤｉｓｋ）の数を表す。圧縮設定１３２０５は、ＲＧを構成するＤｉｓｋに対する圧縮機能の設定状況を示す。圧縮設定１３２０５がＯＮである場合には、このＲＧを構成する全Ｄｉｓｋの圧縮設定がＯＮであることを表す。また、圧縮設定１３２０５がＯＦＦである場合には、このＲＧを構成する全Ｄｉｓｋの圧縮設定がＯＦＦであることを表す。Ｄｉｓｋ＃１３２０６は、ＲＧを構成するＤｉｓｋの番号（Ｄｉｓｋ＃）を表す。Ｄｉｓｋ＃１３２０６は、ＲＡＩＤ構成１３２０４が示すＤｉｓｋの数と同数の有効なＤｉｓｋ＃を含む。
　図１１は、Ｐｏｏｌ管理テーブル１３３００の構成例を示す図である。
　Ｐｏｏｌ管理ＴＢＬ１３３００は、Ｐｏｏｌ毎に、Ｐｏｏｌ＃１３３０１、ＲＧ＃１３３０２、ＲＧ残容量１３３０３、及びＰｏｏｌ残容量１３３０４を有する。
　Ｐｏｏｌ＃１３３０１は、Ｐｏｏｌの識別子であり、ユニークな番号である。ＲＧ＃１３３０２は、Ｐｏｏｌを構成する全てのＲＧのＲＧ番号を表す。ＲＧ残容量１３３０３は、ＲＧ毎の残容量を表す。Ｐｏｏｌ残容量１３３０４は、Ｐｏｏｌの残容量を表し、Ｐｏｏｌを構成するＲＧのＲＧ残容量１３３０３の合計値に等しい。ＲＧ残容量１３３０３及びＰｏｏｌ残容量１３３０４は、仮想ボリュームのエクステント未割当領域にデータの書き込みが発生した際に、プロセッサ１０４（Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム１２１００）によりデータの書き込みにより減少した値に更新される。
 
　図１２は、エントリ管理テーブル１３８００の構成例を示す図である。
　エントリ管理ＴＢＬ１３８００は、Ｄｉｓｋ毎に、Ｄｉｓｋ＃１３８０１、エントリ＃１３８０２、サイズ１３８０３、Ｓｔａｒｔ－ＬＢＡ１３８０４、Ｌａｓｔ－ＬＢＡ１３８０５、及び割当先エクステント＃１３８０６を有する。
　Ｄｉｓｋ＃１３８０１は、Ｄｉｓｋの識別子（Ｄｉｓｋ＃）であり、ユニークな番号である。エントリ＃１３８０２はＤｉｓｋ内に作成されたエントリの識別子（エントリ＃）であり、Ｄｉｓｋ毎にユニークな識別子である。サイズ１３８０３は、エントリの容量（例えばＢｙｔｅ単位）を示す。
　Ｓｔａｒｔ－ＬＢＡ１３８０４及びＬａｓｔ－ＬＢＡ１３８０５は、エントリが、何番のＬＢＡから何番のＬＢＡまでのアドレス空間を使用して作成されているかを示す。具体的には、Ｓｔａｒｔ－ＬＢＡ１３８０４は、エントリのアドレス空間の先頭のＬＢＡの番号であり、Ｌａｓｔ－ＬＢＡ１３８０５は、エントリのアドレス空間の最後尾のＬＢＡの番号である。
　割当先エクステント＃１３８０７は、このエントリがエクステントに割当済みであるか否かを示す。具体的には、割当先エクステント＃１３８０７は、エクステントに割当済みのエントリである場合に、その割当先のエクステント＃であり、エクステントに未割当てのエントリである場合には、未割当てであることを示す「Ｎ／Ａ」となる。
　図１３は、エクステント管理テーブル１３４００の構成例を示す図である。
　エクステント管理ＴＢＬ１３４００は、エクステント毎に、エクステント＃１３４０１、サイズ１３４０２、Ｄｉｓｋ＃１３４０３、及び割当てエントリ＃１３４０４を有する。
　エクステント＃１３４０１は、エクステントの識別子であり、ユニークな番号である。サイズ１３４０２は、エクステントの容量（例えばＢｙｔｅ単位）を表す。Ｄｉｓｋ＃１３４０３、及び割当てエントリ＃１３４０４は、エクステントを構築するＤｉｓｋのＤｉｓｋ＃と、エントリのエントリ＃とを表す。
　図１４は、仮想ボリューム管理テーブル１３５００の構成例を示す図である。
　仮想ボリューム管理ＴＢＬ１３５００は、仮想ボリューム毎に、ＬＵ＃１３５０１、仮想容量１３５０２、実使用容量１３５０３、仮想エクステント＃１３５０４、及び割当てエクステント＃１３５０５を有する。
　ＬＵ＃１３５０１は、仮想ボリュームの識別子（ＬＵ＃）であり、ユニークな番号である。仮想容量１３５０２は、仮想ボリュームの仮想的な容量である。仮想容量１３５０２に対応する仮想的な容量がホスト計算機３０に提供される。実使用容量１３５０３は、仮想ボリュームに実際に割当てられているエクステントの容量の合計値である。
　仮想エクステント＃１３５０４は、仮想ボリュームに含まれる仮想エクステントの識別子である。この図の例では、ＬＵ＃０の仮想ボリュームには、仮想エクステント＃０～ｎが含まれることを示している。仮想エクステント＃１３５０４は昇順に並んでおり、ホスト計算機３０から発行されるＲ／Ｗコマンドで指定されるＬＢＡ（Ｌｏｇｉｃａｌ　Ｂｌｏｃｋ　Ａｄｄｒｅｓｓ）がどの仮想エクステント＃に対応するかを計算によって求めることができる。割当てエクステント＃１３５０５は、仮想ボリュームに割り当てられているエクステントの識別子（番号）である。ストレージコントローラ１００は、仮想エクステント毎に、エクステントの割当て状態を管理する。この図の例では、仮想エクステント＃０には、エクステント＃０が割当てられ、仮想エクステント＃１には、エクステント＃１００が割当てられて管理されている。なお、物理的な記憶領域であるエクステントが未割当ての仮想エクステントの仮想エクステント＃１３５０４に対応するエクステント＃１３５０５は、エクステントが割当てられていないことを示す「－」となる。この図の例では、仮想エクステント＃ｎの仮想エクステントには、エクステントが割当てられていないことを示している。
　図１５は、統計情報管理テーブル１３６００の構成例を示す図である。
　統計情報管理ＴＢＬ１３６００は、各エントリ及び／又はエクステントへのＲ／Ｗ等のアクセス状況に関する情報（入出力量情報）である。ストレージコントローラ１００は、エントリ単位でＲ／Ｗ状況を監視しており、統計情報管理ＴＢＬ１３６００を構成する。なお、エクステントへのＲ／Ｗのアクセス状況は、統計情報管理ＴＢＬ１３６００の内容を基に、ストレージコントローラ１００が各エクステントに属するエントリの各情報の値を加算することにより、取得することができる。
　統計情報管理ＴＢＬ１３６００は、Ｄｉｓｋ毎に、Ｄｉｓｋ＃１３６０１、エントリ＃１３６０２、平均ＷＲ　Ｉ／Ｏ　Ｓｉｚｅ１３６０３、平均ＲＤ　Ｉ／Ｏ　Ｓｉｚｅ１３６０４、ＷＲ比率１３６０５、ＷＲ量１３６０６、及びＲＤ量１３６０７を有する。なお、情報項目１３６０１～１３６０７の少なくとも１つを統計情報と呼ぶ場合がある。
　Ｄｉｓｋ＃１３６０１は、Ｄｉｓｋの識別子であり、ユニークな番号である。エクステント＃１３６０２は、Ｄｉｓｋに基づくエクステントの識別子であり、ユニークな番号である。
　平均ＷＲ　Ｉ／Ｏ　Ｓｉｚｅ１３６０３及び平均ＲＤ　Ｉ／Ｏ　Ｓｉｚｅ１３６０４は、このエントリに発生したＷＲ　Ｉ／Ｏ、及びＲＤ　Ｉ／ＯのＩ／Ｏサイズの平均値である。ＷＲ比率１３６０５は、このエントリに発生したＩ／Ｏ要求のうち、その要求がＷＲコマンドであった比率である。ＷＲ量１３６０６及びＲＤ量１３６０７は、このエントリに発生したＷＲデータの総量及びＲＤデータの総量を示す。なお、ＷＲ量１３６０６及びＲＤ量１３６０７は、ストレージコントローラ１００がＳＳＤに対して依頼したＩ／Ｏ内容を記録した数値であるため、これら数値は圧縮前の値である。本実施例では、統計情報の監視を、エントリ及び／又はエクステント単位とすることで、フラッシュメモリのブロックやページ単位で監視するよりも、監視負荷を低減することができる。
　ストレージコントローラ１００は、仮想ボリューム管理ＴＢＬ１３５００に基づいて、割当て中のエクステントについて、アクセス状況を監視する。統計情報は、仮想ボリュームにエクステントが割当てられた後からの累積値、及びＲ／Ｗの傾向である。なお、統計情報は、単位時間当たりの累積値としてもよい。
　また、枯渇回避処理、寿命平準化処理、又はＩ／Ｏ性能リバランス処理の実行後、各処理の対象のエクステントの統計情報を、リセットするようにしてもよい。例えば、ストレージコントローラ１００は、寿命平準化処理において、移動されたエクステントに関する統計情報のみをリセットしてもよい。
　図１６は、実施例１におけるＦＭ　ＷＲ量予想テーブル１３７００の構成例を示す図である。
　ＦＭ　ＷＲ量予想ＴＢＬ１３７００は、Ｄｉｓｋ管理ＴＢＬ１３１００及び統計情報管理ＴＢＬ１３６００を基に構成される。ＦＭ　ＷＲ量予想ＴＢＬ１３７００は、Ｄｉｓｋ毎に、Ｄｉｓｋ＃１３７０１、エントリ＃１３７０２、ＷＲ量１３７０３、圧縮率１３７０４、及びＦＭ　ＷＲ予想量１３７０５を有している。
　Ｄｉｓｋ＃１３７０１は、Ｄｉｓｋの識別子であり、ユニークな番号である。エントリ＃１３７０２は、エントリの識別子であり、ユニークな番号である。
　ＷＲ量１３７０３は、エントリを書込み先としたＷＲデータの総量を示す。ＷＲ量１３７０３は、ＦＭ　ＷＲ量の予想の際に、統計情報管理ＴＢＬ１３６００のＷＲ量１３６０６の値を基に更新される。圧縮率１３７０４は、このＤｉｓｋにおける圧縮率の平均値であり、ＳＳＤから取得した内部情報を基に設定される。圧縮率１３７０４は、ＦＭ　ＷＲ量の予想の際に、Ｄｉｓｋ管理ＴＢＬ１３１００の平均圧縮率１３１０９の値がコピーされて設定される。なお、本実施例では、Ｄｉｓｋ単位の圧縮率の平均値を使用するため、全エントリの数値はすべて同じ値としている。
　ＦＭ　ＷＲ予想量１３７０５は、フラッシュメモリに実際に書き込まれるデータの予想量（ＦＭ　ＷＲ予想量）を示す。本実施例では、或るエントリのＷＲ量１３７０３と、そのエントリが属するＤｉｓｋ全体の平均圧縮率１３７０４とを乗算した値を、このエントリに発生したＦＭ　ＷＲ予想量とみなす。また、エクステント単位のＦＭ　ＷＲ予想量は、そのエクステントを構成する１以上のエントリのＦＭ　ＷＲ予想量の合計をとることで取得することができる。
　例えば、或るエクステントへのＷＲ予想量が多いと、そのエクステントの基になっているＳＳＤにおいてブロックに対するデータの書き換えが頻繁に発生し、ブロックの消去回数が増加する。ブロックの消去回数が増加すると、そのブロックを有するＳＳＤの寿命が短くなる。寿命平準化を行う際に、エクステントのＷＲ予想量を基に、移動対象のエクステントを決めることで、精度高くＳＳＤ寿命を平準化することができる。なお、移動対象のデータはエントリとしてもよい。
　図１７は、キャッシュ管理テーブル３２２００の構成例を示す図である。
　ストレージコントローラ１００は、データキャッシュエリア１４０００を複数のキャッシュ領域に分割して管理する。キャッシュ領域は、予め設定されたサイズを有する。
　キャッシュ管理テーブル３２１００の一つのレコードは、仮想ボリュームにおける仮想アドレス３２１０１と、当該仮想アドレスに対応するキャッシュ領域を示すキャッシュ領域＃３２１０２と、当該キャッシュ領域がダーティであるか否かを示すフラグであるステータス３２１０３と、を含む。
　キャッシュ領域は、スロットであってもよいし、スロットより小さいセグメントであってもよい。また、ストレージコントローラ１００は、セグメント単位で領域を確保し、スロット単位でステータス３２１０３を管理してもよい。
　図１８は、ＲＧ判定管理テーブル３２２００の構成例を示す図である。
　ＲＧ判定管理テーブル３２２００の一つのレコードは、ＲＧを示すＲＧ＃３２２０１と、当該ＲＧのＲＧ実空き容量＃３２２０２と、当該ＲＧのマージン３２２０３と、当該ＲＧのダーティデータ量３２２０４と、当該ＲＧが属するプールを示すプール＃３２２０５と、を含む。
　図１９は、判定結果管理テーブル３２３００の構成例を示す図である。
　判定結果管理テーブル３２３００は、後述のストレージ状態更新処理によるストレージ装置１０全体の判定結果を示すシステムフラグ３２３０１と、各プールを示すプール＃３２３０２と、ストレージ状態更新処理による各プールの判定結果を示すプールフラグ３２３０３と、プールに属する各ＲＧを示すＲＧ＃３２３０４と、ストレージ状態更新処理による各ＲＧの判定結果を示すＲＧフラグ３２３０５と、を含む。
　システムフラグ３２３０１は、ストレージ状態更新処理時に、ストレージ装置１０内で少なくとも一つのＲＧフラグ３２３０５がＯＮであればＯＮに設定され、そうでなければＯＦＦに設定される。一つのプールのプールフラグ３２３０３は、ストレージ状態更新処理時に、当該プール内の少なくとも一つのＲＧフラグ３２３０５がＯＮであればＯＮに設定され、そうでなければＯＦＦに設定される。一つのＲＧのＲＧフラグ３２３０５は、ストレージ状態更新処理時に、当該ＲＧが空き条件を満たせばＯＮに設定され、そうでなければＯＦＦに設定される。
　図２０は、ＳＳＤ７００におけるキャッシュメモリ７１６の構成例を示す図である。
　キャッシュメモリ７１６は、プログラムエリア２２０００、テーブルエリア２３０００、及びデータキャッシュエリア２４０００を有する。
　プログラムエリア２２０００及びテーブルエリア２３０００は、ＳＳＤ７００を制御するためのプログラムや各種テーブルが格納される領域である。データキャッシュエリア２４０００は、ユーザデータを一時的に格納するための領域である。
　プログラムエリア２２０００は、Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム２２１００、Ｒｅａｄ　Ｉ／Ｏ　プログラム２２２００、ＳＳＤ内ＷＬ　プログラム２２３００、空き容量生成プログラム２２４００、ＳＳＤ内部情報通信プログラム２２５００、及び、圧縮・伸長プログラム２２６００を有する。
　Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム２２１００は、ストレージコントローラ１００からのＷＲ要求を処理するプログラムである。Ｒｅａｄ　Ｉ／Ｏ　プログラム２２２００は、ストレージコントローラ１００からのＲＤ要求を処理するプログラムである。ＳＳＤ内ＷＬ　プログラム２２３００は、ＳＳＤ内部でのＷＬを実行するためのプログラムである。空き容量生成プログラム２２４００は、ＳＳＤ７００の空き容量の枯渇を回避するために行われるリクラメーション処理を実行するプログラムである。
　ＳＳＤ内部情報通信プログラム２２５００は、ストレージコントローラ１００の要求に従ってＳＳＤの内部情報を作成し、そのＳＳＤ内部情報をストレージコントローラ１００に通知するためのプログラムである。圧縮・伸長プログラム２２６００は、ＳＳＤコントローラ７１０が、プロセッサ７１３を用いてデータの圧縮・伸長を実行するためのプログラムである。なお、圧縮・伸長プログラム２２６００を、圧縮・伸長回路７１８を制御することによってデータの圧縮・伸長を実行するようにしてもよい。
　テーブルエリア２３０００は、論物変換テーブル２３１００、統計情報管理テーブル２３２００、及び圧縮設定フラグ２３３００を有する。
　論物変換ＴＢＬ２３１００は、ＳＳＤ７００の論理アドレス空間と物理アドレス空間との対応を管理するためのテーブルである。統計情報管理ＴＢＬ２３２００は、ＳＳＤの統計情報を管理するためのテーブルである。圧縮設定フラグ２３３００は、ＳＳＤ７００の圧縮設定がＯＮであるか、ＯＦＦであるかを示すフラグである。
　データキャッシュエリア２４０００は、ユーザデータ２４１００を格納する領域である。ここで、ユーザデータ２４１００は、ブロックに書き込まれるデータ及びブロックから読み出されたデータである。
　図２１は、論物変換テーブル２３１００の構成例を示す図である。
　論物変換テーブル２３１００は、Ｓｔａｒｔ－ＬＢＡ２３１０１、Ｂｌｏｃｋ＃２３１０２、Ｐａｇｅ＃２３１０３、及びＣｏｒｄ　Ｗｏｒｄ（ＣＷ）＃２３１０４を有する。
　Ｓｔａｒｔ－ＬＢＡ２３１０１は、ストレージコントローラ１００に提供するＬＢＡの開始位置を示す。なお、フラッシュメモリのＩ／Ｏ単位はページであるため、Ｓｔａｒｔ－ＬＢＡ２３１０１の数値は、ページサイズの倍数で管理されている。Ｂｌｏｃｋ＃２３１０２、Ｐａｇｅ＃２３１０３、及びＣＷ＃２３１０４は、Ｓｔａｒｔ－ＬＢＡ２３１０１に対応する物理アドレス空間の情報（ブロック＃、ページ＃、ＣＷ＃）を示している。なお、本実施例では、ＳＳＤがデータ圧縮機能を有するため、２ページ以上にわたる論理アドレス空間が、１ページの物理ページにマッピングされることがあり得る。この図の例では、ＬＢＡ０からＬＢＡ８１９１に対応する論理アドレス空間と、ＬＢＡ８１９２からＬＢＡ１６３８３に対応する論理アドレス空間が同一の物理ページ（Ｂｌｏｃｋ＃０のＰａｇｅ＃０）に格納されていることを示している。また、Ｓｔａｒｔ－ＬＢＡ２３１０１は、論理アドレス空間９００に対応しているため、ストレージコントローラ１００からのＷＲが無く実際に物理ページが割り当てられていないものも存在する。この場合には、Ｓｔａｒｔ－ＬＢＡに対応する物理空間アドレス空間を示すＢｌｏｃｋ＃２３１０２、Ｐａｇｅ＃２３１０３、及びＣＷ＃２３１０４は無効な情報である。
　図２２は、ＳＳＤ内の統計情報管理テーブル２３２００の構成例を示す図である。
　統計情報管理ＴＢＬ２３２００には、ストレージコントローラ１００からの要求に応じてプロセッサ７１３が通知した情報が格納される。統計情報管理ＴＢＬ２３２００は、ライト要求合計量２３２１１、リード要求合計量２３２１２、ＦＭライト合計量２３２１３、平均圧縮率２３２１４、ＦＭリード合計量２３２１５、及び残消去回数２３２１６を有する。
　ライト要求合計量２３２１１とリード要求合計量２３２１２とは、ストレージコントローラ１００がＳＳＤ７００に対してＷＲ要求したデータと、リード要求したデータとのそれぞれの総量であり、それぞれが、統計情報管理ＴＢＬ１３６００内のＷＲ量１３６０６の合計と、ＲＤ量１３６０７の合計と同じ値となる。ＦＭライト合計量２３２１３及びＦＭリード合計量２３２１５は、ＦＭ７８０に実際にＷＲされたデータの総量及びＦＭ７８０から実際にＲＤされたデータの総量である。なお、これらの値には、リクラメーション等、ストレージコントローラ１００からのＲ／Ｗ要求以外の処理においてＳＳＤ内部で発生するＲ／Ｗ量を含んでいる。ＦＭライト合計量２３２１３は、Ｄｉｓｋ管理ＴＢＬ１３１００のＦＭ使用量１３１１１と同じ値となる。
　平均圧縮率２３２１３は、ＳＳＤ内部でのデータ圧縮処理により得られた圧縮データの、圧縮率の平均値である。残消去回数２３２１６は、ＦＭにデータがＷＲされることにより発生したＦＭの消去回数の合計値をベンダがサポートする最大消去回数から引いた値である。統計情報管理ＴＢＬ２３２００の数値は、データのＲ／Ｗ、又は消去が発生した際に更新される。
　以下、ストレージコントローラ１００の動作について説明する。
　図２３は、ホスト計算機３０からのライト要求に関わるライト処理を示す。
　なお、この図の例における、ストレージコントローラ１００の処理は、Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム１２１００が実行されることにより実現され、ＳＳＤコントローラ７１０の処理は、Ｗｒｉｔｅ　Ｉ／Ｏ　プログラム２２１００が実行されることにより実現される。
　ホスト計算機３０は、ＷＲ要求をストレージコントローラ１００に送信する（Ｓ１０）。ストレージコントローラ１００は、ＷＲ要求を受信すると、後述のＷＲ要求受領処理を実行する（Ｓ２０）。
　その後、ストレージコントローラ１００は、ＷＲ要求が表すＷＲ先範囲（仮想ボリュームのアドレス範囲）にエクステントが割当済みか否かを、仮想ボリューム管理テーブル１３５００を基に判定する（Ｓ３０）。
　この判断の結果、エクステントが既に割当済みである場合（Ｓ３０：Ｙｅｓ）は、ストレージコントローラ１００は、処理をＳ５０へ移行させる。エクステントが未割当である場合（Ｓ３０：Ｎｏ）は、ストレージコントローラ１００は、未割当てのエクステントを見つけて、そのエクステントをＷＲ先範囲の仮想エクステントに割り当てる（Ｓ４０）。なお、ストレージコントローラ１００は、キャッシュメモリ１０３からＳＳＤ７００にデータを転送する際に、エクステントを割当ててもよい。
　その後、ストレージコントローラ１００は、ＷＲ先範囲にキャッシュ領域が割当済み（キャッシュ領域確保要求がある）か否かを判定する（Ｓ５０）。
　この判断の結果、キャッシュ領域が既に割当済みである場合（Ｓ５０：Ｙｅｓ）は、ストレージコントローラ１００は、処理をＳ７０へ移行させる。キャッシュ領域が未割当である場合（Ｓ５０：Ｎｏ）は、ストレージコントローラ１００は、未割当てのキャッシュ領域を見つけて、そのキャッシュ領域をＷＲ先範囲に割り当てる（Ｓ６０）。
　その後、ストレージコントローラ１００は、ホスト計算機３０へＷＲデータ転送許可通知を送信することで、ＷＲデータ送付を促す（Ｓ７０）。
　次に、ホスト計算機３０はＷＲデータ転送許可通知に応じてＷＲデータを送付し（Ｓ８０）、ストレージコントローラ１００は、ＷＲデータを受信し、受信されたＷＲデータをキャッシュメモリ１０３に格納する（Ｓ８５）。その後、ストレージコントローラ１００は、ＷＲデータ転送許可通知をホスト計算機３０へ送信する（Ｓ９０）。
　ホスト計算機３０は、ストレージコントローラ１００から転送完了応答を受信すると、ライト処理を終了する（Ｓ９５）。
　図２４は、デステージ処理を示す。
　割当済みのキャッシュ領域数が予め設定されたキャッシュ領域数閾値を超える等の条件が成立した場合、ストレージコントローラ１００は、デステージ処理を実行する。
　ストレージコントローラ１００は、データの格納先となるＳＳＤ７００のＳＳＤコントローラ７１０に、キャッシュメモリ１０３に記憶されたデータと、そのデータについてのＷＲ要求とを送信する（Ｓ１０５）。
　ＳＳＤコントローラ７１０は、ストレージコントローラ１００からデータ及びＷＲ要求を受信し、自身の圧縮設定フラグ２３１００を参照して、データ圧縮が有効になっているか否かを判断する（Ｓ１０６）。この結果、データ圧縮が有効となっている場合（Ｓ１０６：Ｙｅｓ）は、ＳＳＤコントローラ７１０は、データを圧縮し（Ｓ１０７）、論物変換ＴＢＬ２３１００を参照し、データの格納先のＦＭ位置（Ｂｌｏｃｋ＃、Ｐａｇｅ＃、及びＣＷ＃）を決定し、決定したＦＭ位置にそのデータを格納する（Ｓ１０８）。
　一方、データ圧縮設定が無効である場合（Ｓ１０６：Ｎｏ）は、ＳＳＤコントローラ７１０は、データ圧縮は行わず、論物変換ＴＢＬ２３１００を基に、データの格納先のＦＭ位置を決定し、決定したＦＭ位置にそのデータを格納する（Ｓ１０８）。
　Ｓ１０８を実行した後、ＳＳＤコントローラ７１０は、受信したデータに関する統計情報管理ＴＢＬ２３２００のライト要求合計量２３２１１、ＦＭライト合計量２３２１３、平均圧縮率２３２１４、及び残消去回数２３２１６を更新する（Ｓ１０９）。次に、ＳＳＤコントローラ７１０は、ストレージコントローラ１００に対して、Ｓ１０６で受信したＷＲ要求の応答として、転送完了応答を送信する（Ｓ１１０）。
　ストレージコントローラ１００は、ＳＳＤコントローラ７１０から転送完了応答を受信すると、統計情報管理ＴＢＬ１３６００の平均ＷＲ　Ｉ／Ｏ　Ｓｉｚｅ１３６０３、ＷＲ比率１３６０５、及びＷＲ量１３６０６を更新し（Ｓ１１１）、このシーケンスを終了する。
　図２５は、ホスト計算機３０からのリード要求に関わるリード処理を示す。
　なお、この図の例における、ストレージコントローラ１００の処理は、Ｒｅａｄ　Ｉ／Ｏ　プログラム１２２００が実行されることにより実現され、ＳＳＤコントローラ７１０の処理は、Ｒｅａｄ　Ｉ／Ｏ　プログラム２２２００が実行されることにより実現される。
　ホスト計算機３０は、ストレージコントローラ１００に対して、データのＲＤ要求を送信する（Ｓ１８０）。
　ストレージコントローラ１００は、データのＲＤ要求を受信し、そのＲＤ要求に示されたＲＤ範囲（仮想ボリュームのアドレス範囲）に割り当てられているキャッシュ領域がある（要求されたデータがキャッシュ領域にある）か否かを判定する（Ｓ１９０）。
　当該キャッシュ領域が割り当てられていない場合（Ｓ１９０：Ｙ）、ストレージコントローラ１００は、処理をＳ２０８へ移行させる。当該キャッシュ領域が割り当てられていない場合（Ｓ１９０：Ｎ）、ストレージコントローラ１００は、当該キャッシュ領域を割り当て、エクステントの基となるＳＳＤ７１０を特定し、特定したＳＳＤ７１０のＳＳＤコントローラ７１０に対して、データのＲＤ要求（ステージング要求）を送信する（Ｓ２０１）。
　ＳＳＤコントローラ７１０は、データのＲＤ要求を受信し、論物変換ＴＢＬ２３１００を基に、ＲＤ要求に従う論理アドレス範囲に対応する物理アドレス範囲を特定し、この物理アドレス範囲（１以上のページ）からデータを読み出す処理を行う。この処理では、ＳＳＤコントローラ７１０は、データ圧縮が有効となっているか否かを確認し（Ｓ２０２）、データ圧縮が有効である場合（Ｓ２０２：Ｙｅｓ）は、読み出したデータに対して伸長を行い（Ｓ２０３）、伸長したデータをストレージコントローラ１００に送信する（Ｓ２０４）。一方、データ圧縮が有効でない場合（Ｓ２０２：Ｎｏ）は、ＳＳＤコントローラ７１０は、読み出したデータを伸張することなくストレージコントローラ１００に送信する（Ｓ２０４）。
　Ｓ２０４の次に、ＳＳＤコントローラ７１０は、統計情報管理ＴＢＬ２３２００のリード要求合計量２３２１２、及びＦＭリード合計量２３２１５を更新する（Ｓ２０５）。
　ストレージコントローラ１００は、Ｓ２０１で送信したＲＤ要求の応答として、ＳＳＤコントローラ７１０からデータを受信すると、受信したデータをキャッシュメモリ１０３に格納し（Ｓ２０６）、統計情報管理ＴＢＬ１３６００の平均ＲＤ　Ｉ／Ｏ　Ｓｉｚｅ１３６０４、ＷＲ比率１３６０５、及びＲＤ量１３６０７を更新する（Ｓ２０７）。その後、ストレージコントローラ１００は、Ｓ２０６でキャッシュメモリ１０３に格納したデータをホスト計算機３０に送信する（Ｓ２０８）。
　ホスト計算機３０は、Ｓ２００で送信したＲＤ要求の応答として、ストレージコントローラ１００からデータを受信すると、リード処理を終了する（Ｓ２０９）。
　なお、ストレージコントローラ１００は、ライト処理のＳ８５において、データをキャッシュメモリ１０３に格納した後、デステージ処理を行い、デステージ処理後に転送完了応答をホスト計算機３０へ送信してもよい。この場合、ストレージコントローラ１００は、マージンを用いなくてもよいし、予め設定された値をマージンとして用いてもよい。
　図２６は、ＳＳＤ向け非同期処理を示す。
　ストレージコントローラ１００は、Ｉ／Ｏ要求とは非同期で、予め設定されたＳＳＤ内部情報取得周期毎に、各ＳＳＤコントローラ７１０に対して、ＳＳＤ内部情報取得処理（後述）を実行する（Ｓ３００）。ここでストレージコントローラ１００は、ＳＳＤ内部情報取得コマンドをＳＳＤコントローラ７１０へ送信し、その応答である実行結果通知コマンドをＳＳＤコントローラ７１０から受信する。Ｓ３００の処理で取得する情報は例えば、統計情報管理ＴＢＬ２３２００に保存されているデータ（ＦＭライト合計量２３２１３、平均圧縮率２３２１４、ＦＭリード合計量２３２１５、及び残消去回数２３２１６）である。
　ストレージコントローラ１００は、取得した内部情報を基に、Ｄｉｓｋ管理ＴＢＬ１３１００を更新する（Ｓ３０１）。具体的には、ストレージコントローラ１００は、ＦＭライト合計量２３２１３に基づいて、ＦＭライト合計量１３１０８及びＦＭ使用量１３１１１を更新し、ＦＭリード合計量２３２１５に基づいて、ＦＭリード合計量１３１０７を更新し、平均圧縮率２３２１４に基づいて、平均圧縮率１３１０９を更新し、残消去回数２３２１６に基づいて、残消去回数１３１１０を更新する。
　次に、ストレージコントローラ１００はＤｉｓｋ管理ＴＢＬ１３１００の情報を基に、このＤｉｓｋの枯渇リスクを計算する（Ｓ３０２）。ここで、枯渇リスクとは、Ｄｉｓｋの枯渇しやすさを判断するための指標であり、本実施例では、数値が高いほうが枯渇し易いことを示す。枯渇リスクは、例えば、ＤｉｓｋへのＷＲ量×平均圧縮率÷空き容量、で算出される。つまり、ＷＲ頻度が高く、圧縮率が悪く、空き容量が少ないほど枯渇リスクが高くなる。ＤｉｓｋへのＷＲ量は、統計情報管理ＴＢＬ１３６００のＷＲ量１３６０６のＤｉｓｋ単位の合計であり、平均圧縮率は、Ｄｉｓｋ管理ＴＢＬ１３１００の平均圧縮率１３１０９であり、空き容量は、Ｄｉｓｋ管理ＴＢＬ１３１００の物理容量１３１１２からＦＭ使用量１３１１１を引くことにより算出できる。
　次に、ストレージコントローラ１００は、枯渇リスクが閾値以上か否かを判断し、枯渇回避処理を実行するか否かを判断する（Ｓ３０３）。なお、閾値は、ストレージ装置１０の管理者により、ホスト計算機３０にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。枯渇リスクが閾値以上であって、枯渇回避処理が必要であると判断された場合（Ｓ３０３：Ｙｅｓ）は、ストレージコントローラ１００は、枯渇回避処理（後述）を実行し（Ｓ３０４）、枯渇回避処理の終了後に、処理をＳ３０５に進める。一方、枯渇リスクが閾値以上でなくて、枯渇回避処理が不要であると判断された場合（Ｓ３０３：Ｎｏ）は、ストレージコントローラ１００は、処理をＳ３０５に進める。
　Ｓ３０５では、ストレージコントローラ１００は、寿命平準化処理の要否判断を行うため、ＲＧ単位の残寿命を計算する（Ｓ３０５）。ここで、ＲＧ単位の残寿命は、ＲＧを構成する各ＳＳＤの残寿命のうち最悪値としてもよいし、各ＳＳＤの残寿命の平均値としてもよい。各ＳＳＤの残寿命を計算する方法については、後述する。ストレージコントローラ１００は、計算された各ＳＳＤの残寿命を、Ｄｉｓｋ管理ＴＢＬの予想残寿命１３１０５に格納する。
　次に、ストレージコントローラ１００は、ＲＧ間での残寿命の差分を求め、差分が閾値以上か否かを判断し、寿命平準化処理を実行するか否かを判断する（Ｓ３０６）。なお、閾値は、ストレージ装置１０の管理者により、ホスト計算機３０にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。なお、寿命平準化処理を実行するか否かについては、例えば、保証期間よりも先に寿命に到達するＳＳＤがあるか否か（残保証期間１３１０４よりも予想残寿命１３１０５の方が少ないＳＳＤがあるか否か）により判断するようにしてもよい。
　この結果、差分が閾値以上であり、寿命平準化処理が必要であると判断された場合（Ｓ３０６：Ｙｅｓ）は、ストレージコントローラ１００は、寿命平準化処理（後述）を実行する（Ｓ３０７）。この寿命平準化処理が終了すると、再度Ｓ３０５に進む。これにより、寿命平準化処理後の状態についての再びＳＳＤ　ＲＧの残寿命が算出され、Ｓ３０６で残寿命の差分が閾値以上であるか否かの判断が行われることとなる。
　一方、差分が閾値以上でなく、寿命平準化処理が不要であると判断された場合（Ｓ３０６：Ｎｏ）は、ストレージコントローラ１００は、Ｉ／Ｏ性能リバランス処理の要否判断を行うため、ＲＧ物理容量当たりのＩ／Ｏ量を算出する（Ｓ３０８）。ここで、ＲＧ物理容量当たりのＩ／Ｏ量は、例えば、ＲＧのＩ／Ｏ量×平均圧縮率÷ＲＧ物理容量で計算される。ＲＧのＩ／Ｏ量は、統計情報管理ＴＢＬ１３６００のＷＲ量１３６００及びＲＤ量１３６０７から各ＳＳＤのＩ／Ｏ量を算出し、ＲＧを構成しているＳＳＤ分のＩ／Ｏ量を加算することにより算出することができる。平均圧縮率は、例えば、Ｄｉｓｋ管理ＴＢＬ１３１００の平均圧縮率１３１０９からＲＧの中で最も圧縮率の悪い数値とする。ＲＧ物理容量は、Ｄｉｓｋ管理ＴＢＬ１３１００の物理容量１３１１２からＲＧを構成しているＳＳＤ分の物理容量を加算することにより算出することができる。
　次に、ストレージコントローラ１００は、ＲＧ間で物理容量当たりのＩ／Ｏ量の差分を求め、この差分が閾値以上であるか否かを判断して、Ｉ／Ｏ性能リバランス処理を実行するか否かを判断する（Ｓ３０９）。この結果、差分が閾値以上の場合（Ｓ３０９：Ｙｅｓ）は、ストレージコントローラ１００は、Ｉ／Ｏ性能リバランス処理（後述）を実行し（Ｓ３１０）、Ｉ／Ｏ性能リバランス処理終了後に、ＳＳＤ向け非同期処理を終了する。一方、差分が閾値未満の場合（Ｓ３０９：Ｎｏ）は、ストレージコントローラ１００は、ＳＳＤ向け非同期処理を終了する。
　なお、ＳＳＤ向け非同期処理は、任意のタイミングで実行されても良く、一定の間隔（例えば一日おき）で実行されても良く、また、特定のコマンドを受け取ったタイミングで実行されてもよい。更に、ＳＳＤ向け非同期処理は、ホスト計算機３０の制御ソフトウェアからユーザが本処理の実行契機を指示することで実行されてもよい。
　また、この図の例によれば、枯渇回避処理の優先度が最も高く、寿命平準化処理の優先度が２番目に高く、ＩＯ性能理バランス処理の優先度が最も低く、このような優先度が高い順に処理が行われるが、これらの処理のそれぞれの優先度は、この図の優先度と違っていてもよい。例えば、ＩＯ性能理バランス処理の優先度が寿命平準化処理の優先度より高くてもよい。
　また、枯渇回避処理、寿命平準化処理及びＩＯ性能理バランス処理のような複数のデータ配置制御処理（記憶デバイス間でのデータ移動が生じる処理）がある。ストレージコントローラ１００は、いずれかのデータ配置制御処理（対象のデータ配置制御処理）を行う前に、対象のデータ配置制御処理を行っても対象のデータ配置制御処理より優先度が高いデータ配置制御処理（先に行われたデータ配置制御処理）がスキップされるための条件が満たされたままとなるか否かを判断してもよい。「より優先度が高いデータ配置制御処理がスキップされるための条件が満たされたまま」とは、より優先度が高いデータ配置制御処理によって満たされるべき条件が満たされたままとなることであり、例えば、枯渇リスクがそれの閾値未満のままである、ＲＧ間残寿命差がそれの閾値未満のままである、又は、ＲＧ間ＩＯ量差がそれの閾値未満のままである、ということである。この判断の結果が肯定的の場合に、ストレージコントローラ１００は、対象のデータ配置制御処理を行ってよい。また、この判断の結果が否定的の場合には、ストレージコントローラ１００は、対象のデータ配置制御処理をスキップしてよい（行わないでよい）。
　図２７は、ＳＳＤ内部情報取得処理を示す。
　前述のＳ３００においてストレージコントローラ１００は、ＳＳＤ内部情報取得処理を実行する。この図は、ＳＳＤ内部情報取得コマンド２５０００と、その応答である実行結果通知コマンド２５１００の構成例を示す。
　ＳＳＤ内部情報取得コマンド２５０００は、ストレージコントローラ１００がＳＳＤ７００に対して送信するコマンドである。
　ＳＳＤ内部情報取得コマンド２５０００は、例えば、コマンド＃２５００１及び取得対象２５００２を有している。コマンド＃２５００１はコマンドの識別子（コマンド＃）である。取得対象２５００２は、ストレージコントローラ１００がＳＳＤからの取得を希望する対象である項目である。具体的には、取得対象２５００２は、ＳＳＤ７８０の統計情報管理ＴＢＬ２３２００に含まれる項目のうち、どの項目の値を必要としているのかを示す。
　実行結果通知コマンド２５１００は、ＳＳＤ７００がストレージコントローラ１００に対して送付するコマンドであり、ＳＳＤ内部情報取得コマンド２５０００に対する応答内容を含んでいる。実行結果通知コマンド２５１００は、例えば、コマンド＃２５１０１及びＤｉｓｋ内部情報２５１０２を含む。コマンド＃２５１０１は、どの要求コマンドに対する応答なのかを示し、要求コマンドに対応するコマンド＃２５００１となっている。Ｄｉｓｋ内部情報２５１０２は、取得対象２５００２で指定された内容に対する回答値であり、この値は、ＳＳＤの統計情報管理ＴＢＬ２３２００から計算、もしくはコピーされた値となっている。
　ＳＳＤ内部情報取得処理において、ストレージコントローラ１００は、各ＳＳＤ７００にＳＳＤ内部情報取得コマンド２５０００を送信することで、ＦＭ使用量１３１１１、物理容量１３１１２等を取得し、物理容量１３１１２からＦＭ使用量１３１１１を減ずることにより、ＳＳＤ７００毎の物理的な空き容量サイズであるＳＳＤ実空き容量を算出し、ＲＧ管理テーブル１３２００に基づいて、ＲＧ毎のＳＳＤ実空き容量の合計であるＲＧ実空き容量を算出し、ＲＧ判定管理テーブル３２２００へ格納する。なお、ＳＳＤ７００がＳＳＤ実空き容量を管理し、ストレージコントローラ１００がＳＳＤ７００からＳＳＤ実空き容量を取得してもよい。
　ＳＳＤ内部情報取得処理によれば、ストレージコントローラ１００は、定期的に、各ＳＳＤ７００の状態を取得することができる。これにより、ＳＳＤ７００により圧縮されてＳＳＤ７００に格納されているデータ量や、ＳＳＤ７００を空き物理容量（実空き容量）を取得することができる。
　図２８は、ストレージ状態更新処理を示す。
　ストレージコントローラ１００は、流入制御プログラム３１１００に従って、Ｉ／Ｏ要求とは非同期で、予め設定されたストレージ状態更新周期が経過する度に、ストレージ状態更新処理を実行する。ストレージ状態更新周期は、前述のＳＳＤ内部情報取得周期より短くてもよい。
　まず、ストレージコントローラ１００は、キャッシュ管理テーブル３２１００から、各ＲＧに対し、当該ＲＧに対応するキャッシュ領域のうちステータスがダーティであるキャッシュ領域数を取得し、そのキャッシュ領域数に基づいて、当該ＲＧに対応するキャッシュ領域のダーティデータ量であるＲＧダーティデータ量Ａを算出し、ＲＧ判定管理テーブル３２２００へ格納する（Ｓ４１１０）。
　その後、ストレージコントローラ１００は、各ＲＧに対し、ＲＧダーティデータ量Ａ以外で当該ＲＧにデステージされる可能性のあるデータ量を示すマージンＢを計算し、ＲＧ判定管理テーブル３２２００へ格納する（Ｓ４１２０）。キャッシュメモリへのデータの書き込みと、デステージとが、非同期で行われる場合、当該ＲＧに対するデステージが追加で発生する可能性がある。マージンＢは、このように追加で発生する最大のデステージ量の予測値である。例えば、マージンＢは、基準マージン×経過時間、で表される。基準マージン［ＧＢ／ｓ］は、流入制限を行っていないときの最大ＷＲ量に基づいて予め決定される。なお、基準マージンは、ストレージ装置１０の機種毎に決定されてもよいし、Ｗｒｉｔｅ　Ｐｅｎｄ率（以下、ＷＰ率）に応じて決定されてもよい。ＷＰ率は、データキャッシュエリア１４０００における、ダーティデータ量／全容量（ダーティであるキャッシュ領域数／全キャッシュ領域数）、で表される。経過時間［ｓ］は、現在時刻から最新のＲＧ実空き容量の更新時刻を減じた時間であり、ＲＧ実空き容量の更新時間間隔を示す。ＲＧ実空き容量の更新は、前述のＳＳＤ内部情報取得処理により行われる。ストレージコントローラ１００の負荷が比較的低い場合、経過時間は、ＳＳＤ内部情報取得周期に等しくなる。ストレージコントローラ１００の負荷が比較的高い場合、経過時間は、ＳＳＤ内部情報取得周期より長くなる。
　その後、ストレージコントローラ１００は、ＲＧ判定管理テーブル３２２００に基づいて、各ＲＧに対し、流入制限条件が成立するか否かを判定する（Ｓ４１３０）。流入制限条件は例えば、当該ＲＧに関する、ＲＧダーティデータ量Ａと、マージンＢと、ＲＧ実空き容量Ｃとを用いて、Ａ＋Ｂ≧Ｃ、で表される。この流入制限条件は、ＲＧダーティデータ量ＡとマージンＢの和のサイズの全てのデータを、非圧縮で当該ＲＧに書き込むことができないことを示す。なお、ストレージコントローラ１００は、ＲＧ管理テーブル１３２００の圧縮設定１３２０５の有無によってＲＧの流入制限条件を切り替えてもよい。
　その後、ストレージコントローラ１００は、Ｓ４１３０の結果において、少なくとも一つのＲＧにおいて流入制限条件が成立したか否かを判定する（Ｓ４１４０）。
　少なくとも一つのＲＧにおいて流入制限条件が成立したと判定された場合（Ｓ４１４０：Ｙ）、ストレージコントローラ１００は、判定結果管理テーブル３２３００において、システムフラグをＯＮに設定する（Ｓ４２１０）。
　その後、ストレージコントローラ１００は、判定結果管理テーブル３２３００において、各プールのプールフラグを更新する（Ｓ４２２０）。ここでストレージコントローラ１００は、各プールに対し、プールフラグ条件が成立すれば、当該プールのプールフラグをＯＮに設定し、そうでなければ、当該プールのプールフラグをＯＦＦに設定する。プールフラグ条件は例えば、Ｓ４１３０の結果、対象ＲＧが属するプール内の少なくとも一つのＲＧの流入制限条件が成立することである。
　その後、ストレージコントローラ１００は、判定結果管理テーブル３２３００において、ＲＧフラグを更新し（Ｓ４２３０）、このフローを終了する。ここでストレージコントローラ１００は、各ＲＧに対し、ＲＧフラグ条件が成立すれば、当該ＲＧのＲＧフラグをＯＮに設定し、そうでなければ当該ＲＧのＲＧフラグをＯＦＦに設定する。ＲＧフラグ条件は例えば、Ｓ４１３０の結果、当該ＲＧのＲＧ流入制限条件が成立すること、又は当該ＲＧのＲＧ流入制限条件が成立せず且つ当該ＲＧに対する空き待ちジョブがあることである。
　Ｓ４１４０において全てのＲＧにおいて流入制限条件が成立しないと判定された場合（Ｓ４１４０：Ｎ）、ストレージコントローラ１００は、判定結果管理テーブル３２３００において、全てのＲＧのＲＧフラグをＯＦＦに設定する（Ｓ４２４０）。その後、ストレージコントローラ１００は、全てのプールのプールフラグをＯＦＦに設定する（Ｓ４２５０）。その後、ストレージコントローラ１００は、システムフラグをＯＦＦに設定し（Ｓ４２６０）、このフローを終了する。
　このストレージ状態更新処理によれば、ストレージコントローラ１００が、ＲＧ実空き容量と、ＲＧ予定デステージ量を算出することにより、各ＲＧへのデステージが可能か否かを判定することができる。ストレージコントローラ１００は、定期的に各ＲＧへのデステージが可能か否かを判定し、判定結果管理テーブル３２３００を更新することにより、ＷＲ要求の受信時にその判定結果を用いることができる。ストレージコントローラ１００が対象ＲＧのＲＧダーティデータ量とマージンを算出することで、対象ＲＧへデステージされる可能性のあるデータ量を算出することができる。
　図２９は、ＷＲ要求受領処理を示す。
　ストレージコントローラ１００は、流入制御プログラム３１１００に従って、ＷＲ要求受領処理を実行する。
　ストレージコントローラ１００は、ホスト計算機３０からＷＲ要求を受信すると（Ｓ５１１０）、キャッシュ管理テーブル３２１００に基づいて、ＷＲ要求に示されたＷＲ先範囲に対応するキャッシュ領域の確保が必要であるか否かを判定する（Ｓ５１２０）。ここでストレージコントローラ１００は、データキャッシュエリア１４０００内に当該キャッシュ領域が存在しない（キャッシュミス）場合、当該キャッシュ領域の確保が必要であると判定する。
　当該キャッシュ領域の確保が必要でないと判定された場合（Ｓ５１２０：Ｎ）、ストレージコントローラ１００は、処理をＳ５１４０へ移行させる。
　当該キャッシュ領域の確保が必要であると判定された場合（Ｓ５１２０：Ｙ）、ストレージコントローラ１００は、当該キャッシュ領域を確保するためのキャッシュ領域確保要求を設定する（Ｓ５１３０）。
　その後、ストレージコントローラ１００は、後述する流入制限判定処理を実行し（Ｓ５１４０）、流入制限すると判定されたか否かを判定する（Ｓ５１５０）。流入制限しないと判定された場合（Ｓ５１５０：Ｎ）、ストレージコントローラ１００は、このフローを終了する。
　流入制限すると判定された場合（Ｓ５１５０：Ｙ）、ストレージコントローラ１００は、空き待ち処理を行う（Ｓ５１６０）。この空き待ち処理においてストレージコントローラ１００は、対象ＲＧの空き待ちジョブを開始し、その後、後述する空き待ちジョブ解放処理により空き待ちジョブが解放されるまで、空き待ちジョブが解放されたか否かを繰り返し判定する。空き待ちジョブが解放されたと判定された場合、ストレージコントローラ１００は、空き待ち処理を終了し、処理をＳ５１１０へ移行させる。空き待ち処理中、ストレージコントローラ１００は、キャッシュ領域を確保せず、ＷＲデータ転送許可通知をホスト計算機３０へ送信しない。
　このＷＲ要求受領処理によれば、ストレージコントローラ１００は、ＷＲ要求受領時、対象ＲＧの流入制限を行うと判定した場合、ライトデータのためのキャッシュ領域を確保せずに待機し、ＲＧダーティデータ量及びＷＰ率の増加を防ぐことができる。また、対象ＲＧの流入制限を行わないと判定した場合、ホスト計算機３０からライトデータを受信することができる。
　図３０は、流入制限判定処理を示す。
　前述のＳ５１４０においてストレージコントローラ１００は、流入制御プログラム３１１００に従って、流入制限判定処理を実行する。ストレージコントローラ１００は、キャッシュ領域の確保が必要である（キャッシュ領域確保要求が設定されている）か否かを判定する（Ｓ５２１０）。キャッシュ領域の確保が必要でないと判定された場合（Ｓ５２１０：Ｎ）、ストレージコントローラ１００は、対象ＲＧの流入制限を行わないと判定し（Ｓ５３２０）、このフローを終了する。
　キャッシュ領域の確保が必要であると判定された場合（Ｓ５２１０：Ｙ）、ストレージコントローラ１００は、判定結果管理テーブル３２３００に基づいて、システムフラグがＯＮであるか否かを判定する（Ｓ５２２０）。システムフラグがＯＦＦであると判定された場合（Ｓ５２１０：Ｎ）、ストレージコントローラ１００は、処理を前述のＳ５３２０へ移行させる。
　システムフラグがＯＮであると判定された場合（Ｓ５２２０：Ｙ）、ストレージコントローラ１００は、判定結果管理テーブル３２３００に基づいて、ＷＲ先範囲に対応する対象ＲＧが属するプールのプールフラグがＯＮであるか否かを判定する（Ｓ５２３０）。プールフラグがＯＦＦであると判定された場合（Ｓ５２２０：Ｎ）、ストレージコントローラ１００は、処理を前述のＳ５３２０へ移行させる。
　プールフラグがＯＮであると判定された場合（Ｓ５２３０：Ｙ）、ストレージコントローラ１００は、判定結果管理テーブル３２３００に基づいて、対象ＲＧのＲＧフラグがＯＮであるか否かを判定する（Ｓ５２４０）。ＲＧフラグがＯＦＦであると判定された場合（Ｓ５２３０：Ｎ）、ストレージコントローラ１００は、処理を前述のＳ５３２０へ移行させる。
　ＲＧフラグがＯＮであると判定された場合（Ｓ５２４０：Ｙ）、ストレージコントローラ１００は、対象ＲＧの流入制限を行うと判定し（Ｓ５３１０）、このフローを終了する。
　なお、ＲＧフラグがＯＮであると判定された場合（Ｓ５２４０：Ｙ）、ストレージコントローラ１００は、対象ＲＧが空き容量不足条件を満たすか否かを判定し、対象ＲＧが空き容量不足条件を満たすと判定された場合に処理をＳ５３１０へ移行させ、対象ＲＧが空き容量不足条件を満たさないと判定された場合に処理をＳ５３２０へ移行させてもよい。空き容量不足条件は例えば、Ａ＋Ｂ≧Ｃ、である。この場合、ストレージコントローラ１００は、実行中のＩ／Ｏ処理の種類を判定し、その種類に応じてマージンＢを変化させる。例えば、実行中のＩ／Ｏ処理がホスト計算機３０からキャッシュへのライトである場合のマージンＢａと、実行中のＩ／Ｏ処理がデステージである場合のマージンＢｂが予め設定される。Ｂａは、Ｂｂより大きい。
　なお、ストレージ状態更新処理によりパラメータエラーが発生した場合、ストレージコントローラ１００は、安全のため、対象ＲＧの流入制限を行うと判定する。
　この流入制限判定処理によれば、ストレージコントローラ１００は、ＷＲ要求時に、判定結果管理テーブル３２３００を参照することにより、対象ＲＧに対して流入制限を行うか否かを迅速に判定することができる。例えば、ストレージコントローラ１００は、対象ＲＧに関する何れかのフラグがＯＦＦであれば、流入制限を行わないと判定する。また、ストレージコントローラ１００は、対象ＲＧに関する全てのフラグがＯＮであれば、流入制限を行うと判定する。
　図３１は、空き待ちジョブ解放処理を示す。
　ストレージコントローラ１００は、Ｉ／Ｏ要求とは非同期で、予め設定された空き待ちジョブ判定周期が経過する度に、ＲＧ毎の空き待ちジョブ解放処理を実行する。空き待ちジョブ判定周期は、ストレージ状態収集周期より短くてもよい。
　ストレージコントローラ１００は、対象ＲＧに空き待ちジョブがあるか否かを判定する（Ｓ５４１０）。対象ＲＧに空き待ちジョブがないと判定された場合（Ｓ５４１０：Ｎ）、ストレージコントローラ１００は、このフローを終了する。
　対象ＲＧに空き待ちジョブがあると判定された場合（Ｓ４５１０：Ｙ）、ストレージコントローラ１００は、対象ＲＧが流入許可条件を満たすか否かを判定する（Ｓ４５２０）。流入許可条件は例えば、当該ＲＧに関する、ＲＧダーティデータ量Ａと、マージンＢと、ＲＧ実空き容量Ｃとを用いて、Ａ＋Ｂ＜Ｃ、で表される。この流入許可条件は、ＲＧダーティデータ量ＡとマージンＢの和のサイズの全てのデータを、非圧縮で当該ＲＧに書き込むことができることを示す。対象ＲＧが流入許可条件を満たすと判定された場合（Ｓ４５２０：Ｙ）、ストレージコントローラ１００は、当該空き待ちジョブを解放し（Ｓ４５３０）、このフローを終了する。対象ＲＧが流入許可条件を満たさないと判定された場合（Ｓ４５２０：Ｎ）、ストレージコントローラ１００は、このフローを終了し、当該空き待ちジョブを継続させる。
　この空き待ちジョブ解放処理によれば、対象ＲＧのＲＧ空き容量が増加した場合や、対象ＲＧのダーティデータ量が減少した場合等において、ストレージコントローラ１００は、対象ＲＧの空き待ちジョブを解放することができる。例えば、後述の枯渇回避処理により対象ＲＧのＲＧ空き容量が増加し、対象ＲＧが流入許可条件を満たすことにより、空き待ちジョブが解放され、ホスト計算機３０は対象ＲＧへのＷＲデータをストレージ装置１０へ送信できるようになる。また、ホスト計算機３０は、ＷＲ要求から、予め設定されたＷＲ待機時間の経過までに、ストレージ装置１０からＷＲデータ転送許可通知を受信できない場合、タイムアウトと判定し、ＷＲ要求に関する処理を中断する。
　図３２は、ＳＳＤの寿命予想の概要説明図である。ＳＳＤの寿命予想は、前述のＳ３０５に実行される処理である。この図は、横軸に時間を取り、縦軸にＳＳＤの残消去回数を取っている。
　ＳＳＤの寿命予想の方法の一例として、残消去回数の減少速度から、ＳＳＤの寿命の終期への到達時刻を予想する方法について説明する。ここで、ＳＳＤの寿命とは、ＳＳＤを実際に使用可能な期間とする。或るＳＳＤにＷＲが集中している場合、このＳＳＤの寿命が短くなる。従って、寿命の長い他のＳＳＤが積極的に使用されるように、寿命平準化処理（具体的には、エクステントやエントリに格納されているデータをＳＳＤ間で交換する処理）を行う必要がある。なお、寿命平準化処理では、残りの寿命が短い（残寿命が閾値以下の）ＳＳＤを検出する。
　この図の例において、ｔ（前回）３００００は、前回に寿命予想を行った時点（前回寿命予想時）を示し、Ｄｉｓｋ管理ＴＢＬ１３１００の情報更新日時１３１０３の値に対応する時点である。ＥＺ（前回）３０００３は、前回寿命予想時における残消去回数であり、残消去回数１３１０６の回数である。また、ｔ（現在）３０００１は、今回の寿命予想を行う時点であり、ＥＺ（現在）３０００２は現在の残消去回数であり、今回取得しているＳＳＤ内部情報から取得できる値である。
　まず、以下の数式（１）により、傾き（Ｉ）を算出する。
　傾き（Ｉ）＝（ＥＺ（現在）－　ＥＺ（前回））÷　（ｔ（現在）－　ｔ（前回））　・・・（１）
　ここで、傾き（Ｉ）３０００４が大きいほど、残消去回数の減少速度が速いことを示す。
　次に、傾き（Ｉ）３０００４と、現時点の残消去回数であるＥＺ（現在）３０００１とを用いて、以下の数式（２）により、ｔ（寿命到達）を算出する。
　ｔ（寿命到達）＝－（ＥＺ（現在）÷傾き（Ｉ））　・・・（２）
　ｔ（寿命到達）３０００５は、残消去回数がゼロとなる時間、すなわち、寿命到達時間である。このようにして、残消去回数と、残消去回数の減少速度とから、残寿命期間を算出することができる。残寿命期間は、Ｄｉｓｋ管理ＴＢＬ１３１００の予想残寿命１３１０５に格納される。
　記憶デバイスやストレージ装置は、所定の期間（保証期間、例えば５年）は使用し続けられ、データが保証されることが重要である。よって、保証期間を一つの指標として寿命平準化処理を実行することで、複数の記憶デバイス（例えばＳＳＤ）を保証期間以上使用することができるようになる。なお、ＳＳＤが寿命に到達するまでに書き込めるデータの全Ｗｒｉｔｅ総量が分かっている場合は、この図の縦軸を残Ｗｒｉｔｅ量（全Ｗｒｉｔｅ総量からＦＭライト合計量１３１０８を引いた値）として、ｔ（寿命到達）を算出するようにしてもよい。
　図３３は、実施例１に係る枯渇回避処理の一例を示すフローチャートである。枯渇回避処理は、前述のＳ３０４の処理に対応する。
　ストレージコントローラ１００は、プール５００内の全ＲＧにおけるＲＧ単位の枯渇リスクを算出する（Ｓ５００）。ＲＧ単位の枯渇リスクは、ＲＧを構成するＳＳＤ７００の中で、前述のＳ３０２で算出したＳＳＤ単位の枯渇リスクの最悪値としてもよいし、ＲＧを構成するＳＳＤの枯渇リスクの平均値としてもよい。
　次に、ストレージコントローラ１００は、枯渇リスクが最も高いＲＧと、枯渇リスクが最も低いＲＧとを特定する（Ｓ５０１）。次に、ストレージコントローラ１００は、統計情報管理ＴＢＬ１３６００と、ＳＳＤ７００の統計情報管理ＴＢＬ２３２００とを基に、エントリやエクステント毎のＦＭ　ＷＲ量を予想するＦＭ　ＷＲ量予想処理（後述）を行う（Ｓ５０５）。
　次に、ストレージコントローラ１００は、移動するデータ量を算出する（Ｓ５０２）。移動データ量は、閾値を下回る分を移動量としてもよいし、対象ＲＧ間（枯渇リスクが最大のＲＧと最小のＲＧとの間）で枯渇リスクを平準化する分を移動量としてもよい。閾値はストレージ装置１０の管理者により、ホスト計算機３０にインストールされた制御ソフトウェア等を介して設定されるようにしてもよい。
　次に、ストレージコントローラ１００は、決定した量だけデータを移動するデータ移動処理（後述）を実行する（Ｓ５０３）。最後に、ストレージコントローラ１００は、各種ＴＢＬの情報を更新して（Ｓ５０４）、枯渇回避処理を終了する。
　この枯渇回避処理によると、枯渇リスクの高いＲＧから低いＲＧへＦＭ　ＷＲ量が大きいデータをエクステント単位で移動させることによって、最小のエクステント移動回数でＳＳＤ枯渇の危険性を低減させることができる。
　なお、枯渇回避処理において、ストレージコントローラ１００は、各ＲＧのＲＧ実使用率（当該ＲＧの物理容量に対するＲＧ実使用量の割合）が予め設定されたＲＧ実使用率閾値を上回るか否かを判定し、ＲＧ実使用率がＲＧ実使用率閾値を上回る場合、当該ＲＧから他のＲＧへデータ移動処理を行ってもよい。
　また、ストレージコントローラ１００は、枯渇回避処理により、空き待ちジョブの対象ＲＧから他のＲＧへデータを移動することで、対象ＲＧの実空き容量を増加させ、前述の空き待ちジョブ解放処理により空き待ちジョブを解放することができる。
　図３４は、実施例１に係るＦＭ　ＷＲ量予想処理の一例を示すフローチャートである。ＦＭ　ＷＲ量予想処理は、前述のＳ５０５の処理に対応する。ＦＭ　ＷＲ量予想処理は、ストレージコントローラ１００がＦＭ　ＷＲ量予想ＴＢＬ１３７００のＦＭ　ＷＲ予想量１３７０５を算出する処理である。
　ストレージコントローラ１００は、ＦＭライト量の予想の計算対象となるエントリを選択する（Ｓ３０３１）。次に、ストレージコントローラ１００は、選択したエントリの圧縮率１３７０４に、Ｄｉｓｋ管理ＴＢＬ１３１００の平均圧縮率１３１０９から取得した値を格納（コピー）する（Ｓ３０３２）。続いて、ストレージコントローラ１００は、このエントリのＷＲ量１３７０３に、統計情報管理ＴＢＬ１３６００からこのエントリに対応するＷＲ量１３６０６を取得し、その値を格納（コピー）する（Ｓ３０３３）。
　続いて、ストレージコントローラ１００は、ＷＲ量１３７０３と圧縮率１３７０４とを乗算することで、このエントリのＦＭ　ＷＲ予想量１３７０５を算出する（Ｓ３０３４）。次に、ストレージコントローラ１００は、計算対象のエントリが残っているか否かを判断し（Ｓ３０３５）、計算対象エントリが残っている場合（Ｓ３０３５：Ｎｏ）は、次のエントリを選択し、Ｓ３０３２からＳ３０３５の処理を繰り返す。一方、Ｓ３０３５で、計算対象エントリが残っていないと判断した場合（Ｓ３０３５：Ｙｅｓ）には、ストレージコントローラ１００は、エクステント毎のＦＭ　ＷＲ予想量を算出する（Ｓ３０３６）。具体的には、ストレージコントローラ１００は、エクステント管理ＴＢＬ１３４００を参照することで、各エクステントに属するエントリを特定し、特定したエントリのＦＭ　ＷＲ予想量１３７０５の合計値を算出する。この後、ストレージコントローラ１００は、ＦＭ　ＷＲ量予想処理を終了する。
　図３５は、実施例１に係る枯渇回避処理におけるデータ移動処理の一例を示すフローチャートである。このデータ移動処理は、前述のＳ５０３の処理に対応する。
　ストレージコントローラ１００は、前述のＳ５０１で特定した枯渇リスク最大のＲＧの中で、Ｓ５０５のＦＭ　ＷＲ量予想処理で算出したＦＭ　ＷＲ予想量が大きいエクステントを選択する（Ｓ５０３１）。ＦＭ　ＷＲ予想量が大きいエクステントとは、複数のエクステントの中で最もＦＭ　ＷＲ予想量が大きいエクステントとする。
　次に、ストレージコントローラ１００は、選択したエクステントを、前述のＳ５０１で特定した枯渇リスク最小のＲＧへマイグレーションする（Ｓ５０３２）。次に、ストレージコントローラ１００は、枯渇リスク最大のＲＧから枯渇リスク最小のＲＧへ移動したデータ量が、前述のＳ５０２で算出した移動データ量に達したか否かを判断する（Ｓ５０３３）。
　この結果、否定的（Ｓ５０３３：Ｎｏ）であれば、ストレージコントローラ１００は、Ｓ５０３１の処理から繰り返す。一方、結果が肯定的（Ｓ５０３３：Ｙｅｓ）であれば、ストレージコントローラ１００は、データ移動処理を終了する。
　この処理によると、枯渇リスクの高いＲＧのＦＭ　ＷＲ予想量が多いエクステントを枯渇リスクの低いＲＧへ移動することにより、最小のエクステント移動回数でＳＳＤ枯渇の危険性を低減させることができる。
　図３６は、実施例１に係る寿命平準化処理の一例を示すフローチャートである。寿命平準化処理は、前述のＳ３０７の処理に対応する。
　ストレージコントローラ１００は、残寿命が最大のＲＧと残寿命が最小のＲＧとを特定し（Ｓ６０１）、統計情報管理ＴＢＬ１３６００と、ＳＳＤ７００の統計情報管理ＴＢＬ２３２００とに基づいて、エントリやエクステント毎のＦＭ　ＷＲ量を予想するＦＭ　ＷＲ量予想処理（後述）を実行する（Ｓ６０２）。
　その後、ストレージコントローラ１００は、データ移動を実行するデータ移動処理（後述）を実行し（Ｓ６０３）、各種テーブルを更新し（Ｓ６０４）、寿命平準化処理を終了する。
　図３７は、実施例１に係る寿命平準化処理におけるデータ移動処理の一例を示すフローチャートである。このデータ移動処理は、前述のＳ６０３に対応する処理である。
　ストレージコントローラ１００は、前述のＳ６０１で特定した、寿命平準化処理のデータの移動元となる短寿命のＲＧの中で、ＦＭ　ＷＲ予想量が大きいエクステント（Ａ１）を選択する（Ｓ３０４１０）。ここで、ＦＭ　ＷＲ予想量が大きいエクステントとは、複数のエクステントの中で最もＦＭ　ＷＲ予想量が大きいエクステントとする。
　次に、ストレージコントローラ１００は、前述のＳ６０１で特定した、寿命平準化処理の移動先となる長寿命のＲＧの中で、ＦＭ　ＷＲ予想量が小さいエクステント（Ｂ１）を選択する（Ｓ３０４１１）。ＦＭ　ＷＲ予想量が小さいエクステントとは、複数のエクステントの中で最もＦＭ　ＷＲ予想量が小さいエクステントとする。なお、ＦＭ　ＷＲ予想量が閾値以下のエクステントをグループ化し、その中から一つのエクステントを選択するようにしてもよい。
　そして、ストレージコントローラ１００は、エクステント（Ａ１）のＦＭ　ＷＲ予想量がエクステント（Ｂ１）のＦＭ　ＷＲ予想量よりも大きいか否かを判断する（Ｓ３０４１２）。エクステント（Ｂ１）のＦＭ　ＷＲ予想量がエクステント（Ａ１）のＦＭ　ＷＲ予想量より大きい場合、エクステント（Ｂ１）のデータを残寿命が短いＲＧに移動すると、そのＲＧへのＷＲデータ量がさらに増加し、デバイス間で消去回数を平準化することにならない。よって、この判断を行って、データ交換を中止することにより、不要なデータ移動をすることなく、適切にデバイス間で消去回数の平準化を行うことができる。
　この判断の結果が肯定的（Ｓ３０４１２：Ｙｅｓ）であれば、プロセッサ１０４は、エクステント（Ａ１）内のデータとエクステント（Ｂ１）内のデータとを交換し（Ｓ３０４１３）、データ移動処理を終了する。一方、この判断の結果が否定的（Ｓ３０４１２：Ｎｏ）であれば、プロセッサ１０４は、データ交換を中止し（Ｓ３０４１４）、本処理を終了する。
　残寿命の短いＲＧのＦＭ　ＷＲ予想量が多いエクステントと、残寿命が長いＲＧのＦＭ　ＷＲ予想量が少ないエクステントとを交換することにより、残寿命が短いＲＧを構成するＳＳＤへのＷＲデータ量が減少する。従って、残寿命の減少を抑えることができる。一方、残寿命の長いＲＧはＷＲデータ量が増大する。よって、このデータ交換により、ＲＧ間の残寿命の乖離を小さくすることができる。つまり、ＳＳＤ寿命を平準化することができる。
　図３８は、実施例１に係るＩ／Ｏ性能リバランス処理の一例を示すフローチャートである。Ｉ／Ｏ性能リバランス処理は、前述のＳ３１０の処理に対応する。
　ストレージコントローラ１００は、ＲＧ物理容量あたりのＩ／Ｏ量が最大のＲＧと、最小のＲＧとを特定し（Ｓ９０１）、統計情報管理ＴＢＬ１３６００と、ＳＳＤ７００の統計情報管理ＴＢＬ２３２００とに基づいて、エントリやエクステント毎のＦＭ　ＲＤ／ＷＲ予想量（ＦＭ　ＲＤ予想量及びＦＭ　ＷＲ予想量）を予想する（Ｓ９０２）。具体的には、前述のＦＭ　ＷＲ量予想処理と同様な処理により、ＦＭ　ＲＤ予想量に関しても予想する処理である。
　その後、ストレージコントローラ１００は、データ移動を実行し（Ｓ９０３）、各種テーブルを更新し（Ｓ９０４）、性能Ｉ／Ｏリバランス処理を終了する。Ｓ９０３では、ストレージコントローラ１００は、前述のＳ６０３のデータ移動処理と同様な処理により、ＲＧ物理容量あたりのＩ／Ｏ量（ＦＭ　ＲＤ／ＷＲ予想量）が大きいＲＧのＩ／Ｏ量が大きいエクステントと、ＲＧ物理容量あたりのＩ／Ｏ量が小さいＲＧのＩ／Ｏ量が小さいエクステントとのデータを交換することによって、Ｉ／Ｏ量が大きいＲＧへのＩ／Ｏ量を減少させる一方、Ｉ／Ｏ量が小さいＲＧのＩ／Ｏ量を増加させる。このデータ交換により、ＲＧ間のＩ／Ｏ量の乖離を小さくすることができる。つまり、Ｉ／Ｏ性能を平準化することができる。このＩ／Ｏ性能リバランス処理により、Ｉ／Ｏ量が多いＲＧからＩ／Ｏ量が少ないＲＧへ格納データをエクステント単位で移動させることによって、性能ボトルネックを回避することができる。
　ストレージコントローラ１００は、ストレージ階層仮想化の機能を有していてもよい。この場合、ストレージコントローラ１００は、ＲＧを複数の階層（Ｔｉｅｒ）の何れかに設定し、仮想エクステント等の仮想記憶領域毎にアクセス頻度を測定し、アクセス頻度に基づいて仮想記憶領域を複数のＴｉｅｒの何れかに配置する。ストレージコントローラ１００は、仮想記憶領域の再配置を、定期的に実行してもよいし、Ｉ／Ｏ要求に応じて実行してもよい。また、ストレージコントローラ１００は、Ｔｉｅｒ間でデータを移動するＩＯ性能リバランス処理を実行してもよい。
　枯渇回避処理時、ストレージコントローラ１００は、ＩＯ性能リバランス処理、Ｔｉｅｒ間のＩＯ性能リバランス処理、ストレージ階層仮想化の再配置等を中止する。これにより、ストレージコントローラ１００は、対象ＲＧの実空き容量の増加を優先して実行する。ＲＧが枯渇すると、割当済みページへの上書きのＷＲ要求がエラーになり、ホスト計算機３０のシステムダウンを誘発する可能性があるため、このように枯渇回避処理が優先される。
　これらのデータ移動制御処理によれば、ストレージコントローラ１００は、ＲＧ内のエクステントを仮想エクステントに割り当て、エクステント内のデータを別のＲＧ内のエクステントへ移動させ、移動元のエクステントを割り当てられている仮想エクステントに、移動先のエクステントを割り当てることにより、ＲＧの実空き容量を調整することができる。
　本実施例では、複数のストレージコントローラ（クラスタ）を含むストレージ装置について説明する。本実施例では、主に実施例１との相違点を説明する。
　図３９は、実施例２に係るストレージ装置１０ｂを含むストレージシステム１００００ｂの構成例を示す図である。
　ストレージ装置１０ｂは、二つのストレージコントローラ１００を含む。ストレージコントローラ１００内のプロセッサ１０４は、別のストレージコントローラ１００内のプロセッサに接続されている。ホスト計算機３０は、ＳＡＮ２０を介して二つのストレージコントローラ１００に接続されている。Ｄｉｓｋ　Ｂｏｘ１１０は、二つのストレージコントローラ１００に接続されている。ここでは、二つのストレージコントローラ１００をそれぞれ、第一ストレージコントローラ及び第二ストレージコントローラと呼び、第一ストレージコントローラ内のキャッシュメモリ１３０を第一キャッシュメモリと呼び、第二ストレージコントローラ内のキャッシュメモリ１３０を第二キャッシュメモリと呼ぶ。
　本実施例におけるライト処理について説明する。
　第一ストレージコントローラが、ホスト計算機３０からＷＲ要求を受信すると、実施例１と同様、Ｓ２０～Ｓ４０の処理を実行する。Ｓ５０において、第一ストレージコントローラは、ＷＲ先範囲に対応するキャッシュ領域が第一キャッシュメモリと第二キャッシュメモリの両方に割当済みか否かを判定する。ＷＲ先範囲に対応するキャッシュ領域が第一キャッシュメモリと第二キャッシュメモリの少なくとも一つに割り当てられていないと判定された場合、Ｓ６０において、第一ストレージコントローラは、割り当てられていないと判定されたキャッシュメモリから、ＷＲ先範囲に対応するキャッシュ領域を確保する。
　その後、第一ストレージコントローラは、Ｓ７０、Ｓ８０において、ホスト計算機３０からＷＲデータを受信すると、Ｓ８５において、受信されたＷＲデータを第一キャッシュメモリと第二キャッシュメモリの両方へ書き込み、Ｓ９０において、ＷＲデータ転送許可通知をホスト計算機３０へ送信する。
　本実施例におけるＷＲ要求受領処理について説明する。
　Ｓ５１２０において、ストレージコントローラ１００は、ＷＲ先範囲に対応するキャッシュ領域が、第一キャッシュメモリと第二キャッシュメモリの両方に存在する場合、当該キャッシュ領域の確保が必要でないと判定し、当該キャッシュ領域が、第一キャッシュメモリと第二キャッシュメモリの少なくとも一方に存在しない場合に、当該キャッシュ領域の確保が必要であると判定する。当該キャッシュ領域の確保が必要と判定された場合（Ｓ５１２０：Ｙ）、Ｓ５１３０において、ストレージコントローラ１００は、当該キャッシュ領域が存在しないキャッシュメモリに対するキャッシュ領域確保要求を設定する。
　本実施例によれば、ストレージコントローラ１００が、ホスト計算機３０から受信したライトデータを、二つのキャッシュメモリ１３０へ書き込み、ホスト計算機３０へ応答を送信することにより、ＷＲ要求の応答時間を短くすると共に、信頼性を高めることができる。
　以上、一実施形態及び幾つかの実施例を説明したが、本発明は、これらの実施形態及び実施例に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
　例えば、ストレージコントローラ１００は、エントリ単位で圧縮率を取得してもよい。具体的には、ＳＳＤコントローラ７１０がＷＲ完了時に、ストレージコントローラ１００へ送付する応答コマンドに、エントリ単位のデータ圧縮率を付与する。応答コマンドに含まれるデータ圧縮率を参照することで、ストレージコントローラ１００は、エントリ毎に圧縮率を管理することが可能となる。
　これにより、エントリ毎のＦＭ　ＷＲ予想量の予想精度を高めることができ、結果として寿命平準化処理の実行精度を向上させることができる。
　また、ＦＭ　ＷＲ量の予想材料に、圧縮率に加えてＷＡ（Ｗｒｉｔｅ　Ａｍｐｌｉｆｉｃａｔｉｏｎ）を追加してもよい。
　一般的に、ＳＳＤ７００内部では、ＷＬやリクラメーションなどの、ＳＳＤ独自の処理が発生するため、ＳＳＤ７００がストレージコントローラ１００から受信したデータの量に比べ、実際にフラッシュメモリに書き込まれるデータの量は大きい。受信したデータの量に対する、実際にフラッシュメモリに書き込まれるデータの量の比率は、ＷＡと呼ばれる。ＳＳＤ内部の処理によるＷＲデータ量の増加は、アクセスパターンや、ＷＲデータのサイズ等にも依存する。
　ＳＳＤ７００内の独自処理によってＷＲデータ量が増加すると、それに伴って消去回数も増加する。そこで、ストレージコントローラ１００がＳＳＤコントローラ７１０からＷＡを追加で取得し、その値をＦＭ　ＷＲ予想量の予想材料に加えることで、寿命平準化処理の精度をより向上させることができる。
　まず、ＷＡについて説明する。
　ＷＡは、以下の（ｂ）を（ａ）で割ることにより得られる比率（（ｂ）／（ａ））である。ここで、（ａ）は、ＳＳＤ７００がストレージコントローラ１００から受信したデータの量であり、（ｂ）は、フラッシュメモリに実際に書き込むデータの量である。
　例えば、ＳＳＤ７００に何もデータがＷＲされていない状態で、ＳＳＤ７００がストレージコントローラ１００からＷＲデータを受信した場合、そのデータは、空きページにそのままＷＲされることになるので、ＷＡは「１．０」となる確率が高い。また、例えば、ＳＳＤ７００のページに有効データがＷＲされており、且つ、空きページが無くリクラメーション処理の必要がある場合、有効データの移動先となるページ、及びストレージコントローラ１００からのデータを書き込むためのページが必要となるため、ＷＡは「１．０」を超えることになる。なお、リクラメーション処理とは、例えば、空きブロックが枯渇し始めた際に、有効なデータを格納するページを集約し、別のブロックへＷＲすることで、無効なデータのみを有するブロックを生成し、そのブロック内のデータを消去することで、空きブロックを生成する処理である。
　したがって、ＦＭへのデータＷＲ量を正確に予想するためには、内部コピー量を示すパラメータであるＷＡを考慮に入れる必要がある。そこで、ストレージコントローラ１００はＳＳＤ内部情報取得コマンドを通じて、ＳＳＤ７００から新たにＷＡを取得するようにし、そのＷＡをＦＭ　ＷＲ予想量の予想材料に加えることができる。
　また、ＳＳＤ７００からストレージコントローラ１００に、エントリ単位のＦＭ使用量が通知されてもよい。これにより、ストレージコントローラ１００は、ＦＭ　ＷＲ量を予想する必要がなく、ＳＳＤ７００から通知されるＦＭ使用量をそのまま使用して、寿命平準化処理を実行することができる。このため、ストレージコントローラ１００の負荷（計算量）を抑えることができる。さらに、ＳＳＤ７００がデータ圧縮機能を有し、ストレージコントローラ１００が管理するデータＷＲ量と、ＳＳＤ内部での実際のＦＭ　ＷＲ量とが異なる場合であっても、ストレージコントローラ１００は、寿命平準化処理及びＩ／Ｏ性能リバランス処理を高精度に実現することができる。
　フラッシュメモリはページから繰り返しデータをＲＤした場合においても、データの破壊が生じやすいという特性を有している。そこで、一般的なＳＳＤは、データのエラー訂正コードであるＥＣＣをデータとともにページに格納し、データ読み出し時に、部分的に生じたエラーをＥＣＣにより回復させる機能を有している。更に、このようなＳＳＤは、データエラーの発生数が或る閾値を超過すると、データを別ページに移動させる機能を有している。したがって、データのＲＤしか発生しない環境下においても、フラッシュメモリの消去が発生しうる。そこで、寿命平準化処理の判断材料として、エクステントやエントリ毎のＲＤに関する情報（ＲＤＩ／Ｏ数、及び／又はデータＲＤ量）が用いられてもよい。
　また、実施例では、ストレージコントローラ１００が残消去回数を残日数に換算する処理を行っていたが、ＳＳＤ７００が残日数をストレージコントローラ１００に通知するようにしてもよい。これは、例えば、ＳＳＤ７００が、前述したような、残消去回数を残日数に換算する機能を備えることで実現することができる。
　実施例では、枯渇回避処理、寿命平準化処理、及びＩ／Ｏ性能リバランス処理がエクステント単位で実行されるが、これらの処理は、別の単位（例えば、エントリ単位、又はＬＵ単位）で行われてもよい。
　ストレージ装置１０内に、圧縮設定のＲＧ（圧縮ＲＧ）と、非圧縮設定のＲＧ（非圧縮ＲＧ）とが混在する場合に、圧縮ＲＧと非圧縮ＲＧとの間で枯渇回避処理、寿命平準化処理、及びＩ／Ｏ性能リバランス処理が実施されてもよい。さらに、（１）圧縮ＲＧ間でのみ枯渇回避処理、寿命平準化処理、及びＩ／Ｏ性能リバランス処理を許可する、（２）非圧縮ＲＧ間でのみ寿命平準化処理、Ｉ／Ｏ性能リバランス処理を許可する、（３）圧縮ＲＧ間と非圧縮ＲＧ間での枯渇回避処理、寿命平準化処理、及びＩ／Ｏ性能リバランス処理を許可する、といったような各処理の移動ポリシーを、ストレージ装置１０に複数パターン用意しておき、ユーザ又は管理者が、ホスト計算機３０又は管理計算機等を介して、所定の記憶領域単位（例えばＲＧもしくはＬＵ）毎に、使用用途に応じた移動ポリシーが選択され、選択された移動ポリシーに従う処理がストレージ装置１０によって行われてもよい。
　また、ホスト計算機３０のアプリケーションによって圧縮されたデータは、ストレージ装置１０のＳＳＤ７００内で再度圧縮されても、データサイズは変わらない。そこで、ホスト計算機３０からストレージコントローラ１００に対してデータを既に圧縮しているか否かを通知するインタフェースを用意し、その情報を基にストレージコントローラ１００が、圧縮の要否を決定したり、圧縮ＲＧまたは非圧縮ＲＧのどちらのＲＧにデータを格納するかを決定したり、寿命平準化処理の移動ポリシーを決定したりしてもよい。ここで、用意するインタフェースとしては、例えばホスト計算機３０がストレージコントローラ１００に対して送付するライト要求コマンド内に、データが圧縮されているか否かを示すフィールドを含むようにしてもよい。
　本発明の表現のための用語について説明する。記憶デバイスは、ＳＳＤ７００又はＨＤＤ１１１であってもよい。第一メモリ及び第二メモリの夫々は、キャッシュメモリ１３０であってもよい。プロセッサは、プロセッサ１０４であってもよい。第一記憶デバイスグループ及び第二記憶デバイスグループの夫々は、ＲＧ又はＰＧであってもよい。記憶デバイス情報は、統計情報管理ＴＢＬ２３２００であってもよい。キャッシュ情報は、キャッシュ管理テーブル３２１００であってもよい。記憶デバイスコントローラは、ＳＳＤコントローラ７１０であってもよい。不揮発性半導体メモリは、フラッシュメモリ７８０であってもよい。デステージ判定は、ストレージ状態更新処理であってもよい。確保判定は、流入制限判定処理のＳ５２１０～５３２０であってもよい。待機は、空き待ちジョブであってもよい。空き容量は、ＲＧ実空き容量であってもよい。解放条件は、流入許可条件であってもよい。物理記憶領域は、エクステントであってもよい。仮想記憶領域は、仮想エクステントであってもよい。枯渇条件は、第一記憶デバイスグループの枯渇リスクが最大であることであってもよいし、ＲＧ実使用率がＲＧ実使用率閾値を上回ることであってもよい。ダーティデータ量は、ＲＧダーティデータ量であってもよい。デステージ判定の結果は、判定結果管理テーブル３２３００であってもよい。予定デステージ量は、ＲＧ予定デステージ量であってもよい。
　１０：ストレージ装置、１１：Ｄｉｓｋ、３０：ホスト計算機、１００：ストレージコントローラ、１３０：キャッシュメモリ、７００：ＳＳＤ、７１０：ＳＳＤコントローラ、７８０：フラッシュメモリ、７８１：フラッシュコントローラ、１００００：ストレージシステム。

Claims (13)

  1. 　複数の記憶デバイスと、
    　第一メモリと、
    　前記複数の記憶デバイス、前記第一メモリ、及び上位装置に接続されるプロセッサと、
    を備え、
    　前記プロセッサは、前記複数の記憶デバイスの少なくとも一部を第一記憶デバイスグループとして設定し、
    　前記プロセッサは、前記第一メモリ内の複数のキャッシュ領域の状態を示すキャッシュ情報を作成し、
    　前記プロセッサは、前記上位装置からのデータを格納するキャッシュ領域を、第一記憶デバイスグループに関連付け、
    　前記プロセッサは、各キャッシュ領域内のデータを、対応する記憶デバイスへデステージし、
    　前記記憶デバイスは、前記デステージされたデータを圧縮することで、前記デステージされたデータを圧縮データに変換し、前記圧縮データを格納し、前記記憶デバイスの使用量に基づく記憶デバイス情報を記憶し、
    　前記プロセッサは、各記憶デバイスから前記記憶デバイス情報を取得し、
    　前記プロセッサは、前記上位装置から前記第一記憶デバイスグループに対するライト要求を受信する場合、前記ライト要求に示されたライト先アドレスに対応するライト先キャッシュ領域が確保されているか否かを判定し、
    　前記ライト先キャッシュ領域が確保されていないと判定された場合、前記プロセッサは、前記記憶デバイス情報および前記キャッシュ情報に基づいて、前記ライト先キャッシュ領域を確保するか否かを判定する、確保判定を行い、
    　前記ライト先キャッシュ領域を確保すると判定された場合、前記プロセッサは、前記ライト先キャッシュ領域を確保し、
    　前記ライト先キャッシュ領域を確保しないと判定された場合、前記プロセッサは、前記ライト先キャッシュ領域の確保を待機する、
    ストレージ装置。
  2. 　前記プロセッサが前記ライト要求を受信し、且つ前記ライト先キャッシュ領域が確保されている、状態において、前記プロセッサは、前記上位装置にライトデータを送信させるためのＷＲデータ転送許可通知を前記上位装置へ送信し、前記ライトデータを前記上位装置から受信し、前記ライトデータを前記ライト先キャッシュ領域へ書き込む、
    請求項１に記載のストレージ装置。
  3. 　前記プロセッサは、前記記憶デバイス情報および前記キャッシュ情報に基づいて、前記第一記憶デバイスグループへのデステージが可能であるか否かを判定する、デステージ判定を行い、
    　前記プロセッサは、前記ライト要求を受信する場合、前記デステージ判定の結果に基づいて、前記確保判定を行う、
    請求項２に記載のストレージ装置。
  4. 　前記プロセッサは、前記記憶デバイス情報に基づいて、前記第一記憶デバイスグループの物理的な空き容量を算出し、
    　前記プロセッサは、前記キャッシュ情報に基づいて、前記第一記憶デバイスグループへデステージされる可能性のあるデータ量である予定デステージ量を算出し、
    　前記プロセッサは、前記デステージ判定において、前記空き容量が前記予定デステージ量より大きい場合、前記第一記憶デバイスグループへのデステージが可能であると判定する、
    請求項３に記載のストレージ装置。
  5. 　前記プロセッサは、前記待機中、前記空き容量が前記予定デステージ量より大きいか否かを判定し、
    　前記空き容量が前記予定デステージ量より大きいと判定された場合、前記プロセッサは、前記確保判定を行う、
    請求項４に記載のストレージ装置。
  6. 　前記プロセッサは、仮想ボリュームを前記上位装置へ提供し、
    　前記プロセッサは、前記第一記憶デバイスグループ内の物理記憶領域を、前記仮想ボリューム内の仮想記憶領域へ割り当てる、
    請求項５に記載のストレージ装置。
  7. 　前記プロセッサは、前記複数の記憶デバイスのうち、前記第一記憶デバイスグループ以外の一部を、第二記憶デバイスグループとして設定し、
    　前記プロセッサは、前記記憶デバイス情報に基づいて、前記第一記憶デバイスグループが、予め設定された枯渇条件を満たすか否かを判定し、
    　前記第一記憶デバイスグループが前記枯渇条件を満たすと判定された場合、前記プロセッサは、前記第一記憶デバイスグループ内の第一物理記憶領域に格納されているデータを前記第二記憶デバイスグループ内の第二物理記憶領域へ移動させ、前記第一物理記憶領域を割り当てられている仮想記憶領域に、前記第二物理記憶領域を割り当てる、
    請求項６に記載のストレージ装置。
  8. 　前記プロセッサは、前記キャッシュ情報に基づいて、前記第一記憶デバイスグループに対応するキャッシュ領域のダーティデータ量を算出し、
    　前記プロセッサは、前記記憶デバイス情報の取得に基づいて、前記ダーティデータ量に関するマージンを決定し、
    　前記プロセッサは、前記ダーティデータ量及び前記マージンの和を前記予定デステージ量として算出する、
    請求項７に記載のストレージ装置。
  9. 　前記記憶デバイスは、前記プロセッサに接続される記憶デバイスコントローラと、前記記憶デバイスコントローラに接続される不揮発性半導体メモリとを含み、
    　前記記憶デバイスコントローラは、前記ダーティデータを圧縮することで前記ダーティデータを前記圧縮データに変換し、前記圧縮データを前記不揮発性半導体メモリへ書き込む、
    請求項８に記載のストレージ装置。
  10. 　前記プロセッサは、前記確保判定において、前記デステージ判定の結果が、前記第一記憶デバイスグループへのデステージが可能であることを示す場合、前記ライト先キャッシュ領域を確保すると判定し、前記デステージ判定の結果が、前記第一記憶デバイスグループへのデステージが可能でないことを示す場合、前記ライト先キャッシュ領域を確保しないと判定する、
    請求項９に記載のストレージ装置。
  11. 　前記プロセッサに接続される第二メモリを更に備え、
    　前記プロセッサは、前記第一メモリ及び前記第二メモリの両方に、前記ライト先に対応するキャッシュ領域が確保されている場合、前記ライト先キャッシュ領域が確保されていると判定し、
    　前記プロセッサは、前記ライトデータを前記上位装置から受信した場合、前記ライトデータを、前記第一メモリ及び前記第二メモリの両方へ書き込む、
    請求項２に記載のストレージ装置。
  12. 　プロセスをプロセッサに実行させるプログラムを格納するコンピュータ読み取り可能な記録媒体であって、前記プロセスは、
    　前記プロセッサに接続される複数の記憶デバイスの少なくとも一部を第一記憶デバイスグループとして設定し、
    　前記プロセッサに接続される第一メモリ内の複数のキャッシュ領域の状態を示すキャッシュ情報を作成し、
    　上位装置からのデータを格納するキャッシュ領域を、第一記憶デバイスグループに関連付け、
    　各キャッシュ領域内のデータを、対応する記憶デバイスへデステージし、前記記憶デバイスは、前記デステージされたデータを圧縮することで、前記デステージされたデータを圧縮データに変換し、前記圧縮データを格納し、前記記憶デバイスの使用量に基づく記憶デバイス情報を記憶し、
    　各記憶デバイスから前記記憶デバイス情報を取得し、
    　前記上位装置から前記第一記憶デバイスグループに対するライト要求を受信する場合、前記ライト要求に示されたライト先アドレスに対応するライト先キャッシュ領域が確保されているか否かを判定し、
    　前記ライト先キャッシュ領域が確保されていないと判定された場合、前記記憶デバイス情報および前記キャッシュ情報に基づいて、前記ライト先キャッシュ領域を確保するか否かを判定する、確保判定を行い、
    　前記ライト先キャッシュ領域を確保すると判定された場合、前記ライト先キャッシュ領域を確保し、
    　前記ライト先キャッシュ領域を確保しないと判定された場合、前記ライト先キャッシュ領域の確保を待機する、
    ことを備える、
    記録媒体。
  13. 　複数の記憶デバイスの少なくとも一部を第一記憶デバイスグループとして設定し、
    　第一メモリ内の複数のキャッシュ領域の状態を示すキャッシュ情報を作成し、
    　上位装置からのデータを格納するキャッシュ領域を、第一記憶デバイスグループに関連付け、
    　各キャッシュ領域内のデータを、対応する記憶デバイスへデステージし、前記記憶デバイスは、前記デステージされたデータを圧縮することで、前記デステージされたデータを圧縮データに変換し、前記圧縮データを格納し、前記記憶デバイスの使用量に基づく記憶デバイス情報を記憶し、
    　各記憶デバイスから前記記憶デバイス情報を取得し、
    　前記上位装置から前記第一記憶デバイスグループに対するライト要求を受信する場合、前記ライト要求に示されたライト先アドレスに対応するライト先キャッシュ領域が確保されているか否かを判定し、
    　前記ライト先キャッシュ領域が確保されていないと判定された場合、前記記憶デバイス情報および前記キャッシュ情報に基づいて、前記ライト先キャッシュ領域を確保するか否かを判定する、確保判定を行い、
    　前記ライト先キャッシュ領域を確保すると判定された場合、前記ライト先キャッシュ領域を確保し、
    　前記ライト先キャッシュ領域を確保しないと判定された場合、前記ライト先キャッシュ領域の確保を待機する、
    ことを備える記憶制御方法。
PCT/JP2015/081968 2015-11-13 2015-11-13 ストレージ装置、記録媒体、および記憶制御方法 WO2017081811A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/741,097 US10846231B2 (en) 2015-11-13 2015-11-13 Storage apparatus, recording medium, and storage control method
JP2017549954A JP6507261B2 (ja) 2015-11-13 2015-11-13 ストレージ装置、記録媒体、および記憶制御方法
PCT/JP2015/081968 WO2017081811A1 (ja) 2015-11-13 2015-11-13 ストレージ装置、記録媒体、および記憶制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081968 WO2017081811A1 (ja) 2015-11-13 2015-11-13 ストレージ装置、記録媒体、および記憶制御方法

Publications (1)

Publication Number Publication Date
WO2017081811A1 true WO2017081811A1 (ja) 2017-05-18

Family

ID=58694884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081968 WO2017081811A1 (ja) 2015-11-13 2015-11-13 ストレージ装置、記録媒体、および記憶制御方法

Country Status (3)

Country Link
US (1) US10846231B2 (ja)
JP (1) JP6507261B2 (ja)
WO (1) WO2017081811A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852951B1 (en) * 2017-10-18 2020-12-01 EMC IP Holding Company, LLC System and method for improving I/O performance by introducing extent pool level I/O credits and user I/O credits throttling on Mapped RAID
CN108664218A (zh) * 2018-04-23 2018-10-16 浙江大华技术股份有限公司 一种基于数据特征的ssd存储方法、装置及***
KR102545229B1 (ko) * 2018-05-04 2023-06-21 에스케이하이닉스 주식회사 메모리 시스템 및 그것의 동작 방법
CN110737391B (zh) * 2018-07-20 2023-08-22 伊姆西Ip控股有限责任公司 用于管理存储***的方法、设备和计算机程序产品
US11199988B2 (en) 2019-05-07 2021-12-14 International Business Machines Corporation Data migration across tiers in a multi-tiered storage area network
JP2021015461A (ja) * 2019-07-12 2021-02-12 株式会社日立製作所 ストレージ装置およびストレージ管理方法
CN111782146B (zh) * 2020-06-30 2023-10-13 深圳忆联信息***有限公司 实现写缓存的方法、装置、计算机设备及存储介质
US20220357980A1 (en) * 2021-05-06 2022-11-10 Dell Products L.P. Selectively offloading the compression and decompression of files to a hardware controller
US11481134B1 (en) * 2021-05-24 2022-10-25 Sap Se Adaptive caching for hybrid columnar databases with heterogeneous page sizes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014184941A1 (ja) * 2013-05-17 2014-11-20 株式会社日立製作所 ストレージ装置
WO2015008375A1 (ja) * 2013-07-19 2015-01-22 株式会社日立製作所 ストレージ装置および記憶制御方法
WO2015052798A1 (ja) * 2013-10-09 2015-04-16 株式会社日立製作所 ストレージシステム及び記憶制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014049636A1 (en) * 2012-09-25 2014-04-03 Hitachi, Ltd. Storage apparatus and method of controlling the same
DE112013006504B4 (de) 2013-01-25 2022-06-15 Hitachi, Ltd. Speichersystem und Datenverwaltungsverfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014184941A1 (ja) * 2013-05-17 2014-11-20 株式会社日立製作所 ストレージ装置
WO2015008375A1 (ja) * 2013-07-19 2015-01-22 株式会社日立製作所 ストレージ装置および記憶制御方法
WO2015052798A1 (ja) * 2013-10-09 2015-04-16 株式会社日立製作所 ストレージシステム及び記憶制御方法

Also Published As

Publication number Publication date
US20180196755A1 (en) 2018-07-12
JP6507261B2 (ja) 2019-04-24
JPWO2017081811A1 (ja) 2018-02-22
US10846231B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
JP6381529B2 (ja) ストレージ装置および記憶制御方法
JP6507261B2 (ja) ストレージ装置、記録媒体、および記憶制御方法
JP5844473B2 (ja) 複数の不揮発性の半導体記憶媒体を有し、ホットデータを長寿命記憶媒体に配置しコールドデータを短寿命記憶媒体に配置するストレージ装置、及び、記憶制御方法
WO2014141411A1 (ja) ストレージシステムおよびストレージシステム制御方法
JP6073471B2 (ja) ストレージ装置
JP6000376B2 (ja) 特性の異なる複数種類のキャッシュメモリを有する情報処理装置
JP5437373B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
US10459639B2 (en) Storage unit and storage system that suppress performance degradation of the storage unit
JP5192352B2 (ja) 記憶装置及びデータ格納領域管理方法
US10545684B2 (en) Storage device
WO2017090176A1 (ja) ストレージシステム
US20180275894A1 (en) Storage system
WO2016013202A1 (ja) ストレージ装置、コンピュータシステム、アクセス制御方法および記録媒体
JP5768118B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
JP6138318B2 (ja) 複数のフラッシュパッケージを有するストレージシステム
JP5945040B2 (ja) 複数のフラッシュパッケージを有するストレージシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15908331

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017549954

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15908331

Country of ref document: EP

Kind code of ref document: A1