WO2016129101A1 - ストレージシステム、及び、記憶制御方法 - Google Patents

ストレージシステム、及び、記憶制御方法 Download PDF

Info

Publication number
WO2016129101A1
WO2016129101A1 PCT/JP2015/053964 JP2015053964W WO2016129101A1 WO 2016129101 A1 WO2016129101 A1 WO 2016129101A1 JP 2015053964 W JP2015053964 W JP 2015053964W WO 2016129101 A1 WO2016129101 A1 WO 2016129101A1
Authority
WO
WIPO (PCT)
Prior art keywords
difference
storage
data
difference information
storage controller
Prior art date
Application number
PCT/JP2015/053964
Other languages
English (en)
French (fr)
Inventor
直人 柳
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2015/053964 priority Critical patent/WO2016129101A1/ja
Publication of WO2016129101A1 publication Critical patent/WO2016129101A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures

Definitions

  • the present invention generally relates to a technology of a storage system and a storage control method.
  • a technology is known in which only data newly written in a first storage device is copied to a second storage device through a network, thereby backing up data in the first storage device to a second storage device.
  • Patent Document 1 discloses the following.
  • the first storage device stores the write data received from the host computer in the transfer buffer, rearranges the plurality of write data in the transfer buffer in units of tracks, and converts the rearranged plurality of write data to the second buffer.
  • the second storage device receives the rearranged write data and writes the write data to the HDD (Hard Disk Drive) in the rearranged order.
  • the disk head in the second storage device can sequentially access the HDD.
  • the data expansion process to the HDD in the second storage device is shortened.
  • the first storage device stores data (including overwritten data; hereinafter referred to as “difference data”) newly written in its own storage device (HDD, SSD (Solid State Drive), etc.) as the second storage device.
  • difference data data
  • HDD hard disk drive
  • SSD Solid State Drive
  • the storage system includes one or more storage devices that store data stored in the first volume, and a storage controller that controls the one or more storage devices.
  • the first volume is divided into a plurality of slots which are a plurality of storage areas.
  • the storage controller displays difference information for each of a plurality of slots indicating whether it is a used slot in which difference data including data stored after a predetermined timing is stored or an empty slot in which difference data is not stored. Have.
  • the storage controller divides the difference information into a plurality of difference information parts, a selection process for selecting the first difference information part and the second difference information part from the plurality of difference information parts, The exchange processing for exchanging the address of the used slot belonging to the second difference information portion and the address of the empty slot belonging to the second difference information portion is executed.
  • FIG. 1 is a schematic diagram showing an overview of a storage system according to an embodiment. It is a figure for demonstrating an example of a difference data rearrangement process. It is a schematic diagram which shows an example of a structure in a storage system. The structural example of a difference map is shown. The structural example of a submap management table is shown. The structural example of a synchronous setting table is shown. The structural example of a synchronous time analysis table is shown. The structural example of a synchronous time management table is shown. The structural example of an operation rate threshold value setting table is shown. The structural example of an employment
  • xxx table information may be described using the expression “xxx table”, but the information may be expressed in any data structure. That is, “xxx table” can be referred to as “xxx information” to indicate that the information does not depend on the data structure.
  • xxx information information may be described using the expression “xxx table”, but the information may be expressed in any data structure. That is, “xxx table” can be referred to as “xxx information” to indicate that the information does not depend on the data structure.
  • the configuration of each table is an example, and one table may be divided into two or more tables, or all or part of the two or more tables may be a single table. Good.
  • an ID is used as element identification information, but other types of identification information may be used instead of or in addition thereto.
  • a common number in the reference number is used, and when a description is made by distinguishing the same type of element, the reference number of the element may be used. is there.
  • VOL80 when the VOL is not particularly distinguished, it is described as “VOL80”, and when each VOL is distinguished and described, it may be described as “VOL80a” or “VOL80b”.
  • an I / O (Input / Output) request is a write request or a read request, and may be referred to as an access request.
  • the “storage unit” may be one or more storage devices including a memory.
  • the storage unit may be at least a main storage device of a main storage device (typically a volatile memory) and an auxiliary storage device (typically a nonvolatile storage device).
  • the storage unit may include at least one of a cache area (for example, a cache memory or a partial area thereof) and a buffer area (for example, a buffer memory or a partial area thereof).
  • the cache area and the buffer area are common in that data input / output to / from the PDEV is temporarily stored, and may differ depending on whether or not the read data remains. Specifically, data read from the cache area remains in the cache area, and data once read from the buffer area may not remain in the buffer area.
  • “PDEV” means a physical storage device, and typically a non-volatile storage device (for example, an auxiliary storage device).
  • the PDEV may be, for example, an HDD or an SSD.
  • RAID is an abbreviation for Redundant Array of Independent (or Independent) Disks.
  • the RAID group is composed of a plurality of PDEVs, and stores data according to the RAID level associated with the RAID group.
  • the RAID group may be referred to as a parity group.
  • the parity group may be, for example, a RAID group that stores parity.
  • a program is executed by a processor (for example, a CPU (Central Processing Unit)), so that a predetermined process is appropriately performed with a storage resource (for example, a memory) and / or an interface device (for example, a communication port). ) Etc. may be used.
  • the processing described with the program as the subject may be processing performed by a processor or an apparatus or system having the processor.
  • the processor may include a hardware circuit that performs a part or all of the processing.
  • the program may be installed in a computer-like device from a program source.
  • the program source may be, for example, a storage medium that can be read by a program distribution server or a computer.
  • the program distribution server may include a processor (for example, a CPU) and a storage resource, and the storage resource may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • a processor for example, a CPU
  • the storage resource may further store a distribution program and a program to be distributed. Then, the processor of the program distribution server executes the distribution program, so that the processor of the program distribution server may distribute the distribution target program to other computers.
  • two or more programs may be realized as one program, or one program may be realized as two or more programs.
  • the management system may be composed of one or more computers.
  • the management computer displays information (specifically, for example, the management computer displays information on its own display device, or the management computer displays display information in a remote display computer)
  • Management computer is the management system.
  • the plurality of computers may include a display computer when the display computer performs display
  • a management computer eg, management system
  • the display system may be a display device included in the management computer or a display computer connected to the management computer.
  • the I / O system may be an I / O device (for example, a keyboard and a pointing device or a touch panel) included in the management computer, a display computer connected to the management computer, or another computer.
  • “Displaying display information” by the management computer means displaying the display information on the display system, which may be displaying the display information on a display device included in the management computer.
  • the management computer may transmit display information to the display computer (in the latter case, the display information is displayed by the display computer).
  • the management computer inputting / outputting information may be inputting / outputting information to / from an I / O device of the management computer, or a remote computer connected to the management computer (for example, a display) Information may be input / output to / from the computer.
  • the information output may be a display of information.
  • the “host system” is a system that transmits an I / O request to the storage system, and includes an interface device, a storage resource (for example, a memory), and a processor connected to them. Good.
  • the host system may be composed of one or more host computers.
  • the at least one host computer may be a physical computer, and the host system may include a virtual host computer in addition to the physical host computer.
  • the “storage system” may be one or more storage apparatuses, and includes a plurality of PDEVs (for example, one or more RAID groups) and a storage controller that controls I / O for the plurality of PDEVs. It's okay.
  • a storage controller includes a back-end interface device connected to a plurality of PDEVs, a front-end interface device connected to at least one of a host system and a management system, a storage resource, and a processor connected to them May be included.
  • the storage controller may be made redundant.
  • VOL is an abbreviation for logical volume and may be a logical storage device.
  • the VOL may be a substantial VOL (RVOL) or a virtual VOL (VVOL).
  • the VOL may be an online VOL provided to a host system connected to a storage system that provides the VOL, and an offline VOL that is not provided to the host system 8 (not recognized by the host system).
  • the “RVOL” may be a VOL based on a physical storage resource (for example, one or more RAID groups) possessed by the storage system having the RVOL.
  • VVOL may be at least one of an external connection VOL (EVOL), a capacity expansion VOL (TPVOL), and a snapshot VOL.
  • the EVOL is based on a storage space (for example, VOL) of an external storage system, and may be a VOL according to a storage virtualization technology.
  • the TPVOL is composed of a plurality of virtual areas (virtual storage areas), and may be a VOL according to a capacity virtualization technology (typically Thin Provisioning).
  • the snapshot VOL may be a snapshot VOL that is provided as a snapshot of the original VOL.
  • the TPVOL may typically be an online VOL.
  • the snapshot VOL may be an RVOL.
  • a “pool” is a logical storage area (for example, a set of a plurality of pool VOLs), and may be prepared for each use.
  • the TP pool may be a storage area composed of a plurality of real areas (substantial storage areas). A real area may be allocated from the TP pool to the virtual area of TPVOL.
  • the snapshot pool may be a storage area in which data saved from the original VOL is stored.
  • One pool may be used as both a TP pool and a snapshot pool.
  • the “pool VOL” may be a VOL that is a component of the pool.
  • the pool VOL may be an RVOL or an EVOL.
  • the pool VOL may typically be an offline VOL.
  • FIG. 1 is a schematic diagram showing an outline of a storage system according to this embodiment.
  • the storage system 1 includes a storage device 10a and a storage device 10b.
  • the storage device 10a and the storage device 10b can transmit and receive data through a predetermined network or communication line.
  • the storage device 10a includes a PDEV and a storage controller 20a that controls the PDEV.
  • the storage controller 20a controls the PDEV to configure the first VOL 80a.
  • the storage apparatus 10b includes a PDEV and a storage controller 20b that controls the PDEV.
  • the storage controller 20b constitutes the second VOL 80b.
  • the storage controller 20a When backing up the data of the first VOL 80a to the second VOL 80b, the storage controller 20a performs the following processing.
  • the storage controller 20a backs up all data stored in the first VOL 80a to the second VOL 80b. As a result, the first VOL 80a and the second VOL 80b have the same data (synchronized state).
  • the storage controller 20a stores data (including overwritten data, that is, differential data) newly written in the first VOL 80a after the first VOL 80a and the second VOL 80b are in synchronization with each other in a predetermined area ( (Referred to as “difference data storage area”) 102a.
  • the storage controller 20a acquires the difference data from the difference data storage area 102a at a predetermined timing (after the elapse of a certain period or when the difference data is stored in a predetermined amount or more), and the acquired difference Data is transmitted to the storage device 10b.
  • the storage controller 20b receives the difference data and stores it in the difference data storage area 102b of the second VOL 80b.
  • the difference data storage area consists of multiple slots, and the difference data is managed in slot units.
  • the data stored in the slot itself becomes differential data.
  • the data including the written data (data in the slot unit) ) Is the difference data.
  • a VOL address indicating the order is given to a plurality of slots constituting the difference data storage area.
  • the storage controller 20a has information indicating whether or not differential data is stored in each slot in the differential data storage area 102a of the first VOL 80a. This information is referred to as a difference map 90a.
  • the difference map 90a is composed of a plurality of difference bits, and the difference bits correspond to the slots (VOL address) of the difference data storage area on a one-to-one basis.
  • the differential bit corresponding to the slot in which the differential data is stored is differential bit on (eg, “1”).
  • the difference bit corresponding to the empty slot in which the difference data is not stored, that is, the difference slot is turned off (for example, “0”).
  • the method by which the storage controller 20a obtains differential data from the differential data storage area 102a includes sequential access and random access.
  • Sequential access can be used when differential data is acquired at a time from consecutive slots of VOL addresses.
  • the storage controller 20a issues a sequential access command designating the head VOL address and data length, and thereby stores a plurality of data stored in a plurality of slots between the head VOL address and the data length. Differential data can be acquired sequentially.
  • Random access can be used when obtaining differential data from each slot.
  • the storage controller 20a can obtain the difference data stored in the slot corresponding to the VOL address by issuing a random access command designating the VOL address.
  • the storage controller 20a performs differential data relocation processing on the differential data storage area 102a.
  • the difference data rearrangement process is a process of rearranging the difference data so that the difference data is continuous.
  • the storage controller 20a can acquire a large amount of difference data from the difference data storage area 102a after rearrangement by one sequential access. Next, the difference data rearrangement process will be described.
  • FIG. 2 is a diagram for explaining an example of the difference data rearrangement process.
  • the slot in the difference data storage area 102a and the difference bit in the difference map 90 have a one-to-one correspondence.
  • the rearrangement process of the difference map 90 is performed by the following steps, for example.
  • the storage controller 20a divides the difference map 90-1 as an example of difference information into a plurality of submaps as an example of the difference information part.
  • the difference map 90-1 is divided into four submaps R1, R2, R3, and R4.
  • the storage controller 20a counts the differential bit-on of each submap.
  • the number of difference bit on (black block) in the submap R1 is “9”
  • the number of difference bit on in the submap R2 is “5”
  • the number of differential bit-ons in the submap R4 is “7”.
  • the storage controller 20a selects a submap (referred to as “relocation destination submap”) as a relocation destination (movement destination) from among the plurality of submaps.
  • the storage controller 20a may preferentially select a submap having a large number of differential bit-ons as a relocation destination.
  • the storage controller 20a may select this submap R1 as a relocation destination.
  • the storage controller 20a selects, from among a plurality of submaps, a submap (referred to as “relocation source submap”) that is a relocation source (movement source) of difference data.
  • the storage controller 20a may preferentially select a submap with a small number of differential bit-ons as a relocation source. For example, in the difference map 90-1 of FIG. 2, since the number of difference bit-ons in the submap R2 is the smallest, the storage controller 20a selects this submap R2 as the relocation source.
  • the storage controller 20a selects, from among the differential bit-offs of the rearrangement destination submap, the differential bit-off that is the replacement destination of the differential bit-on of the rearrangement source submap.
  • the storage controller 20a may preferentially select the differential bit off with the earliest VOL address among the differential bit offs of the relocation destination submap as the differential bit off as the replacement destination.
  • the difference bit-on can be continuously rearranged in the rearrangement destination submap.
  • the difference bit off 1002 of the rearrangement destination submap R1 is selected as the replacement destination of the difference bit on 2002 of the rearrangement source submap R2.
  • the difference bit off 1003 of the rearrangement destination submap R1 is selected as the replacement destination of the difference bit on 2004 of the rearrangement source submap R2.
  • the storage controller 20a exchanges the difference bit-on of the replacement source submap exchange source and the exchange destination difference bit-off of the relocation destination submap (S11). That is, the storage controller 20a exchanges the physical address in which the differential data corresponding to the exchange-source VOL address is stored and the physical address in which the differential data is not stored corresponding to the exchange-destination VOL address. As a result, the physical address in which the differential data is not stored is associated with the exchange-source VOL address, and the physical address in which the differential data is stored is associated with the exchange-destination VOL address.
  • the physical address may be an address corresponding to a storage area constituting the VOL.
  • the physical address may be an address corresponding to a storage area on the PDEV 31 constituting the VOL.
  • the physical address may be an address corresponding to a lower logical storage area constituting the VOL.
  • the storage controller 20a executes the above (B4) to (B6) for the other submaps.
  • the storage controller 20a selects a submap R4 with the smallest number of differential bit-on after the submap R2 as a relocation source, executes the above (B4) to (B6) (S12), and finally The submap R3 is selected as the rearrangement source, and the above (B4) to (B6) are executed (S13).
  • the difference map 90-2 in FIG. 2 becomes the state of the difference map 90-3 in FIG.
  • the storage controller 20a acquires the difference data relating to the difference bit-on of the rearrangement destination submap. At this time, the storage controller 20a obtains differential bit-on that is continuously arranged, that is, differential data that is continuously stored, using a sequential access command in the rearrangement destination submap. In the difference map 90-3 of FIG. 2, difference bit-on 1001 to 1029 are continuously arranged. Therefore, the storage controller 20a issues a sequential access command once, and acquires continuous differential data corresponding to differential bit-on 1001 to 1029 at a time. As a result, the storage controller 20a can reduce the number of times the command for acquiring the difference data is issued.
  • the storage controller 20a transmits the acquired plurality of difference data to the second storage device 10b.
  • the storage controller 20b stores the transmitted plurality of difference data in the second VOL 80b. As a result, the first VOL 80a and the second VOL 80b are synchronized again.
  • the storage controller 20a may divide the difference map 90 in any way.
  • the storage controller 20a may divide the difference map 90 of FIG. 2 into a cross shape.
  • the number of divisions of the difference map 90-1 may be determined based on the number of difference bits of the difference map 90-1.
  • the number of divisions may be determined so that the number of difference bits belonging to each submap is a predetermined number.
  • the storage controller 20a may divide the difference map 90 so that the number of difference bits in each submap is as equal as possible. This is to facilitate comparison of the number of differential bit-ons in (B3) and (B4).
  • the storage controller 20a replaces the number of difference bits on in the submap with the difference bit-on with respect to the total number of difference bits in the submap in (B3) and (B4).
  • a ratio of numbers may be used. For example, in (B3), the storage controller 20a preferentially selects a submap having a large difference bit-on ratio as a relocation destination, and in (B4), selects a submap having a small difference bit-on ratio. You may preferentially select the relocation source.
  • FIG. 3 is a schematic diagram showing an example of a configuration in the storage system 1.
  • the storage system 1 is composed of two or more storage devices 10a and 10b.
  • the storage apparatuses 10a and 10b may be configured as one apparatus.
  • the storage device 10 is a device for storing data.
  • the storage apparatus 10 can send and receive data to and from the host system 8 and the management system 9 through the communication network 7.
  • the communication network 7 may be, for example, a SAN (Storage Area Network), a LAN (Local Area Network), a WAN (Wide Area Network), or a combination thereof.
  • the management system 9 is a system for managing the storage system 1.
  • the management system 9 may be composed of one or more management computers.
  • the host system 8 is a system that uses the storage system 1.
  • the host system 8 may be composed of one or more host computers.
  • the host computer may be able to store the data in the storage device 10 by sending a write request to the storage device 10.
  • the host computer may be able to acquire data from the storage apparatus 10 by sending a read request to the storage apparatus 10.
  • the storage apparatus 10 includes one or more storage controllers 20 and one or more PDEVs 31.
  • the PDEV 31 is an example of a physical storage device.
  • the PDEV 31 may be, for example, an HDD, SSD, or FM package.
  • the FM package includes an FM (flash memory) and an FM controller that controls input / output of data to / from the FM.
  • the FM is composed of one or more FM chips.
  • the FM chip is composed of a plurality of physical areas. Specifically, for example, the FM chip is a NAND flash, and is configured by a plurality of “physical blocks”, and each physical block is configured by a plurality of “physical pages”.
  • a physical block or a physical page is an example of a physical area. Data is accessed (read and written) in physical page units, and data is erased in physical block units.
  • the logical space (for example, all or a part of the VOL) managed by the storage controller 20 is based on a plurality of sub-logical spaces provided by a plurality of FM packages constituting a RAID group.
  • One sub logical space may be divided into a plurality of logical areas.
  • the sub logical space may be composed of a plurality of “logical blocks”, and each logical block may be composed of a plurality of “logical pages”.
  • a logical block or logical page may be an example of a logical area.
  • a logical area may be rephrased as a logical address range.
  • the FM controller manages the correspondence between the logical address and the physical address (for example, holds address conversion information indicating the correspondence between the logical address and the physical address), and is specified by an I / O command from the host device.
  • the logical area to which the specified logical address belongs is specified, the physical area corresponding to the specified logical area is specified, and I / O is performed on the specified physical area.
  • the logical address is, for example, LBA (Logical Block Address), and a logical area ID (for example, a logical block number or a logical page number) or the like may be employed instead of or in addition to the LBA.
  • the physical address is, for example, PBA (Physical Block Address), and a physical area ID (for example, a physical block number or a physical page number) or the like may be employed instead of or in addition to PBA.
  • FM is a write-once type. Specifically, when a logical area to which a physical page (hereinafter referred to as “page”) is assigned is a write destination, the FM is replaced with the assigned page. Thus, a new empty page is allocated, and data is written to the newly allocated page. For each logical area, the data written to the newly assigned page is “valid data”, the page to which valid data is written is the “valid page”, and is stored in the previously assigned page.
  • the invalid data is “invalid data”, and the page where invalid data is written is “invalid page”.
  • a physical page that can store new data without being a valid page or an invalid page is an “empty page”.
  • non-volatile semiconductor memory other than FM for example, PRAM (Phase Change Random Access Memory), MRAM (Magnetic Resistant Random Access Memory), ReRAM Ace MemoryRec (Ferroelectric Random Access Memory) may be employed.
  • the storage controller 20 controls the PDEV 31 to configure a VOL that is a logical storage device.
  • the VOL may be a substantial VOL (RVOL) or a virtual VOL (VVOL).
  • the storage controller 20 processes I / O for the VOL. For example, when the storage controller 20 receives a write request transmitted from the host system 8, the storage controller 20 stores the received write data in the VOL. That is, the storage controller 20 writes the write data to the PDEV 31 that constitutes the VOL. When the storage controller 20 receives a read request from the host system 8, the storage controller 20 acquires the requested read data from the VOL and returns it to the host system 8. Other processing in the storage controller 20 will be described later.
  • the storage controller 20 includes a processor 21, a local memory 22, a shared memory 23, a cache memory 24, a host I / F 26, a disk I / F 25, a remote I / F 27, and a bidirectional communication between these elements. It may be constituted by an internal bus 28 that enables data communication. There may be a plurality of these elements. The processing in the storage controller 20 may be realized by these elements operating in cooperation.
  • the local memory 22 is a memory for storing various data and programs used by the processor 21. Examples of data and programs stored in the local memory 22 will be described later.
  • the shared memory 23 is a memory for storing data shared by a plurality of elements. An example of data stored in the shared memory 23 will be described later.
  • the cache memory 24 is a memory for storing temporary data and the like.
  • the read data or the write data is temporarily stored in the cache memory 24 in order to shorten the response time of the storage controller 20 to the read request or write request.
  • the host I / F 26 is an I / F for the storage controller 20 (the processor 21) to transmit / receive data to / from the host system 8 through the communication network 7.
  • the host I / F 26 is, for example, a SAS adapter or a LAN adapter.
  • the disk I / F 25 is an I / F for the storage controller 20 (the processor 21) to transmit / receive data to / from the PDEV 31.
  • the disk I / F 25 is, for example, a PCIe adapter, a SATA adapter, a SAS adapter, or the like.
  • the remote I / F 27 is an I / F for transmitting and receiving data between the storage apparatus 10a and the storage apparatus 10b that is the synchronization target. That is, the difference data in the storage apparatus 10a is transmitted to the storage apparatus 10b through this remote I / F 27.
  • the remote I / F 27 may be connected to the communication network 7 or may be connected to a predetermined communication line or communication network connected to the storage device 10b.
  • the storage controller 20 can execute the I / O program 41, the differential data relocation program 43, and the VOL synchronization program 42. These programs may be stored in the local memory 22. Then, the contents of these processes may be realized by executing these programs by the processor 21. Alternatively, these processes may be configured as a predetermined logic operation circuit (for example, ASIC (Application Specific Integrated Circuit)). The contents of these processes may be realized by these logical operation circuits operating independently or in cooperation with the processor 21.
  • ASIC Application Specific Integrated Circuit
  • the storage controller 20 manages a submap management table 52, a synchronization setting table 54, a synchronization time analysis table 56, a synchronization time management table 58, an operation rate threshold setting table 60, and an adoption determination setting table 62.
  • the storage controller 20 may manage only one of these tables. These tables may be stored in the local memory 22. Alternatively, these tables may be stored in either the shared memory 23 or the PDEV 31. Alternatively, these tables may be stored in another device connected by the communication network 7.
  • the storage controller 20 manages the difference map 90.
  • the difference map 90 may be stored in any of the local memory 22, the shared memory 23, or the PDEV 31.
  • the difference data rearrangement program 43 is a process for rearranging difference data in the difference data storage area.
  • the difference data rearrangement program 43 divides the difference map 90 into two or more submaps, a selection process for selecting a rearrangement destination submap from a plurality of submaps, and a difference between the rearrangement source submaps
  • An exchange process for exchanging bit-on and differential bit-off of the rearrangement destination submap may be included.
  • the division number of the difference map 90 may be determined based on the total number of difference bits included in the difference map 90.
  • the difference map 90 may be divided so that the total number of difference bits included in each submap is as equal as possible.
  • the difference map 90 may be divided so that each submap has a predetermined total number of difference bits. This is to facilitate comparison between submaps.
  • the difference data rearrangement program 43 is executed when necessary, and may not be executed when unnecessary. This is because the time allowed for resynchronization processing varies depending on the policy of the user who uses the storage system, and it is not necessary to execute the differential data relocation processing that requires a processing load until the user policy is satisfied. is there.
  • the storage controller 20 calculates the number of difference data (predicted number) when the VOL synchronization program 42 is executed next time, and determines whether or not the predicted number of difference data is larger than a predetermined threshold.
  • the storage controller 20 does not need to execute the replacement process when the determination result is affirmative and performs the replacement process when the determination result is negative.
  • the predicted number of difference data may be calculated based on the past VOL synchronization program 42.
  • the VOL synchronization program 42 is a process for synchronizing the data of the first VOL 80a and the second VOL 80b.
  • the VOL synchronization program 42 may include a process of transmitting difference data newly stored in the first VOL 80a to the second VOL 80b after the synchronization state.
  • the VOL synchronization program 42 may be executed at a constant cycle. Alternatively, the VOL synchronization program 42 may be executed when the difference data has accumulated a predetermined amount or more.
  • the storage controller 20 In executing the VOL synchronization program 42, the storage controller 20 first acquires the relocated differential data from the differential data storage area of the first VOL 80a. Then, the storage controller 20 transmits the acquired difference data to the storage apparatus 10b having the second VOL 80b. The transmitted difference data is stored (that is, synchronized) in the second VOL 80b of the storage apparatus 10b.
  • the VOL synchronization program 42 may include a process of acquiring a plurality of differential data stored continuously at a time using a sequential access command.
  • the VOL synchronization program 42 may include a process of acquiring difference data stored discontinuously with a random access command.
  • the I / O program 41 is a process for controlling a write request and a read request received from the host system 8.
  • the I / O program 41 stores the write data (difference data) in the first VOL 80 a and transmits a response (success or failure) to the write request to the host system 8. including.
  • the I / O program 41 receives a read request from the host system 8
  • the I / O program 41 includes processing for acquiring data related to the request from the first VOL 80 a and transmitting the acquired data to the host system 8.
  • the I / O program 41 When the I / O program 41 receives a write request during execution of the differential data rearrangement program 43, the I / O program 41 stores the write data (differential data) preferentially in an empty slot belonging to the rearrangement destination submap. May be included. Thereby, the continuity of differential bit-on in the rearrangement destination submap can be enhanced. In addition, it is possible to prevent a difference bit-on from newly occurring in the rearrangement source submap that has been rearranged. Details of this processing will be described later (see FIG. 15).
  • the difference map 90 is as described above. Details will be described later (see FIG. 4).
  • the submap management table 52 is a table for managing information related to each submap. Details will be described later (see FIG. 5).
  • the synchronization setting table 54 is a table in which setting values related to the VOL synchronization program 42 are stored. Details will be described later (see FIG. 6).
  • the synchronization time analysis table 56 is a table in which values for analyzing the time required for the VOL synchronization program 42 are stored. Details will be described later (see FIG. 7).
  • the synchronization time management table 58 is a table for managing information related to the time required for the VOL synchronization program 42. Details will be described later (see FIG. 8).
  • the operating rate threshold setting table 60 is a table in which thresholds used for determining whether or not the differential data rearrangement program 43 is to be executed are stored. Details will be described later (see FIG. 9).
  • the adoption determination setting table 62 is a table that stores whether or not each determination regarding the necessity of executing the differential data rearrangement program 43 is adopted. Details will be described later (see FIG. 10).
  • FIG. 4 shows a configuration example of the difference map 90.
  • the difference map 90 is information for managing an address assigned to a slot in the VOL (referred to as a “VOL address”) and a difference bit indicating whether or not difference data is stored in the slot. is there.
  • the difference map 90 may have a VOL address 101 and a difference bit 102 as field values.
  • the VOL address 101 is an address assigned to a slot included in the VOL difference data storage area.
  • the difference bit 102 is a flag indicating whether or not difference data is stored in the slot indicated by the VOL address 101.
  • the difference bit corresponding to the VOL address 101 in which the difference data is stored is the difference bit on (“1”), and the difference bit corresponding to the VOL address 10 in which the difference data is not stored is the difference bit off (“0”). It becomes.
  • the VOL address 101 “0x0000 to 0x0030” belongs to the rearrangement destination submap
  • the VOL address 101 “0x0270” belongs to the rearrangement source submap.
  • the differential bit on of the VOL address 101 “0x0270” is exchanged with any differential bit off belonging to the rearrangement destination submap.
  • the earliest VOL address 101 is “0x0010”.
  • the difference bit on 102 of the VOL address 101 “0x0270” and the difference bit off 102 of the VOL address 101 “0x0010” may be exchanged. That is, the physical address in which the differential data corresponding to the exchange source VOL address 101 “0x0270” has been stored and the physical address in which the differential data not corresponding to the exchange destination VOL address 101 “0x0010” is stored may be exchanged. As a result, the two difference bits of the VOL address 101 “0x0000” and “0x0010” are successively turned on. By repeating this, the continuity of differential bit-on in the rearrangement destination submap can be enhanced.
  • FIG. 5 shows a configuration example of the submap management table 52.
  • the submap management table 52 is a table for managing information on each submap divided by the division processing on the difference map 90.
  • the submap management table 52 includes, as field values, a submap ID 111, a VOL address section 112, a differential bit-on number 113, a total number of differential bits 114, a differential bit-on ratio 115, a rank 116, and a difference And a bit-on tail 117.
  • the submap ID 111 is a value for identifying the submap.
  • the submap ID 111 may be the ID of the difference map 90.
  • the submap ID 111 “R” in FIG. 5 may be an ID of the difference map 90
  • the submap IDs 111 “R1” to “R4” may be IDs of submaps divided from the difference map 90 “R”.
  • the VOL address section 112 is a section of a VOL address belonging to the submap of the submap ID 111.
  • the difference bit-on number 113 is the number of difference bit-ons belonging to the submap of the submap ID 111 (that is, the number of difference data).
  • the total number of difference bits 114 is the total number of difference bits belonging to the submap of the submap ID 111 (that is, the total number of slots).
  • the difference bit-on ratio 115 is the ratio of the difference bit-on number 113 to the total number 114 of difference bits in the submap of the submap ID 111.
  • the rank 116 is a value indicating the largest difference bit-on ratio 115 in the submap of the submap ID 111 among all the submaps divided from the same difference map 90.
  • the last bit 117 of differential bit on is information regarding the differential bit on at the end of the VOL address in the submap of the submap ID 111.
  • the last bit 117 of the difference bit on may be “0”.
  • the last 117 of the differential bit on may be “ ⁇ 1”.
  • the last 117 of the differential bit on may be the known VOL address.
  • FIG. 6 shows a configuration example of the synchronization setting table 54.
  • the synchronization setting table 54 is a table in which setting values related to the VOL synchronization program 42 are stored.
  • the synchronization setting table 54 may include, as field values, a pair ID 121, an upper limit time 122, a previous resynchronization time 123, a safety factor 124, and a next relocation necessity 125.
  • the pair ID 121 is a value for identifying a VOL pair to be synchronized (backup target).
  • the pair ID 121 may be, for example, a combination of two VOL IDs to be synchronized.
  • the upper limit time 122 is a value indicating the upper limit of the time that can be applied to the VOL synchronization program 42 between the VOLs of the pair ID 121.
  • the upper limit time 122 may be set by the user, or may be automatically set by the storage controller 20.
  • the previous resynchronization time 123 is the time taken by the previous VOL synchronization program 42 between the VOLs of the pair ID 121.
  • the safety factor 124 is a value indicating how much margin is provided for the upper limit time 122.
  • the upper limit time 122 of the pair ID 121 “first VOL: second VOL” in FIG. 6 is “200 minutes”, and the safety factor 124 is “10%”.
  • the safety factor 124 may be set by the user or automatically set by the storage controller 20.
  • the next relocation necessity 125 is information indicating whether or not the differential data relocation program 43 needs to be executed before the next VOL synchronization program 42 between the VOLs of the pair ID 121.
  • the next relocation necessity 125 may be “necessary”, and when the difference data relocation program 43 is not necessary, the next relocation necessity 125 may be “unnecessary”.
  • the next relocation necessity 125 may be automatically determined by the storage controller 20 based on the upper limit time 122, the safety factor 124, and the previous resynchronization time 123.
  • the storage controller 20 determines that the next relocation necessity 125 is “necessary”, If not, the next relocation necessity 125 may be determined as “unnecessary”. This is because the time required for the VOL synchronization program 42 can be shortened by executing the differential data relocation program 43.
  • the storage controller 20 may generate a GUI (Graphical User Interface) that can input the upper limit time 122 and the safety factor 124 for each pair ID 121.
  • GUI Graphic User Interface
  • a result of whether or not the next rearrangement is necessary may be displayed in conjunction with the input upper limit time 122 and safety factor 124.
  • This GUI may be output to the display device of the host system 8 used by the user.
  • FIG. 7 shows a configuration example of the synchronization time analysis table 56.
  • the synchronization time analysis table 56 is a table in which values for analyzing the time required for the VOL synchronization program 42 are stored.
  • the synchronization time analysis table 56 may store both records including actual measured values in the past VOL synchronization program 42 and records including predicted values in the future VOL synchronization program 42.
  • the synchronization time analysis table 56 may have, as field values, a synchronization ID 131, a Q arrival time 132, a difference bit-on number 133, a difference bit-on increase rate 134, and a time 135 required for resynchronization. .
  • the synchronization ID 131 is information for identifying which VOL synchronization program 42 the record relates to.
  • the synchronization ID 131 may include information for identifying whether the record is an actual measurement value or a predicted value. For example, the synchronization ID 131 “1 (actual measurement)” in FIG. 7 indicates that the record includes an actual measurement value in the first VOL synchronization program 42 that has been executed.
  • the synchronization ID 131 “2 (prediction)” indicates that the record includes a predicted value in the second VOL synchronization program 42 scheduled to be executed.
  • the synchronization ID 131 may be the time when the VOL synchronization program 42 is executed or the time when it is scheduled to be executed.
  • the Q arrival time 132 is an actual time taken until the number of differential bit-on 133 reaches the threshold value Q in the VOL synchronization program 42 of the synchronization ID 131.
  • the Q arrival time 132 may be an actual measurement value in any record of actual measurement and prediction.
  • the difference bit-on number 133 related to actual measurement is the actual number of difference bit-ons when the VOL synchronization program 42 of the synchronization ID 131 is executed.
  • the difference bit-on number 133 related to the prediction is the number of difference bit-on predicted when the VOL synchronization program 42 of the synchronization ID is executed.
  • the difference bit-on increase rate 134 related to the actual measurement is a value indicating a rate of increase in the number of differential bit-on per unit time until the VOL synchronization program 42 with the synchronization ID 131 is actually executed.
  • the difference bit-on increase rate 134 relating to the prediction is a value indicating a rate of increase in the number of difference bit-on per unit time predicted until the time when the VOL synchronization program 42 of the synchronization ID 131 is executed. .
  • the time 135 required for the resynchronization related to the actual measurement is the time actually taken from the start to the completion of the VOL synchronization program 42 with the synchronization ID 131.
  • the time 135 required for the resynchronization related to the prediction is a time estimated to be taken from the start to the completion of the VOL synchronization program 42 of the synchronization ID 131.
  • the Q arrival time 132 is “tp (minutes)”, and the number of differential bit on Assume that 133 is “Np (pieces)”, the differential bit-on increase rate 134 is “np (pieces / minute)”, and the time 135 required for resynchronization is “Tp (minutes)”. Then, it is assumed that the Q arrival time 132 is “tc (minutes)” in the VOL synchronization program 42 (VOL synchronization program 42 in the current cycle) with the synchronization ID 131 “2 (prediction)”.
  • FIG. 8 shows a configuration example of the synchronization time management table 58.
  • the synchronization time management table 58 is a table for managing information related to the time required for the VOL synchronization program 42.
  • the synchronization time management table 58 includes, as field values, a pair ID 141, an upper limit time 142, a safety factor 143, an allowable time 144, a predicted time 145, a predicted excess time 146, a measured sequential ratio 147, and a target sequential ratio. 148.
  • the pair ID 141, the upper limit time 142, and the safety factor 143 are as described above (see FIG. 6).
  • Allowable time 144 is a time allowed for the VOL synchronization program 42 between the VOLs of the pair ID 141.
  • the predicted time 145 is a time predicted from the start to the completion of the VOL synchronization program 42 between the VOLs of the pair ID 141.
  • the storage controller 20 may automatically calculate the predicted time 145 based on the time (actually measured value) required for the past VOL synchronization program 42.
  • the sequential ratio is the ratio of the number of differential bit-ons having continuity to the sum of the number of differential bit-ons having continuity and the number of differential bit-ons having no continuity (random) in the difference map 90. It may be the value shown. Whether or not the difference bit-on has continuity may be determined based on, for example, whether or not the difference bit-on continues for a predetermined number or more.
  • the measured sequential ratio 147 is a sequential ratio measured at a certain time (for example, the current time) in the synchronization source VOL of the pair ID 141.
  • the target sequential ratio 148 is a sequential ratio targeted by the synchronization source VOL of the pair ID 141.
  • the target sequential ratio 148 may be a sequential ratio necessary for completing the VOL synchronization program 42 within the allowable time 144. That is, in order to complete the VOL synchronization program 42 within the allowable time 144, the differential data relocation program 43 may be executed until the measured sequential ratio 147 becomes equal to or greater than the target sequential ratio 148.
  • FIG. 9 shows a configuration example of the operation rate threshold value setting table 60.
  • the operating rate threshold value setting table 60 is a table in which threshold values of resource operating rates used for determining whether or not the differential data rearrangement program 43 is to be executed are stored.
  • the operating rate threshold setting table 60 may have a resource ID 151 and an operating rate threshold 152 as field values.
  • the resource ID 151 is information for identifying a resource in the storage apparatus 10.
  • the resource may be, for example, a processor resource, a memory resource, or a network resource.
  • the operation rate threshold 152 indicates a threshold for the operation rate of the resource with the resource ID 151.
  • the storage controller 20 determines that the resource operation rate with the resource ID 151 is equal to or less than the operation rate threshold value 152 corresponding to the resource ID 151. Until that time, the execution of the differential data rearrangement program 43 is temporarily stopped. This is because if the differential data relocation program 43 is executed when the operation rate is high, the operation rate is further increased, and the performance of other processes (for example, the performance of the I / O program 41) can be reduced.
  • the storage controller 20 may generate a GUI that can input the operation rate threshold 152 for each resource ID 151. This GUI may be output to the display device of the host system 8 used by the user.
  • FIG. 10 shows a configuration example of the adoption determination setting table 62.
  • the adoption determination setting table 62 is a table that stores whether or not each determination regarding the necessity of executing the differential data rearrangement program 43 is adopted.
  • the adoption determination setting table 62 may have a determination content 161 and adoption approval / disapproval 162 as field values.
  • the determination content 161 is information indicating the content of determination regarding whether or not the differential data relocation program 43 can be executed.
  • Adoptability 162 is information indicating whether or not to adopt the determination content.
  • the adoption availability 161 may be set by the user, or may be automatically set by the storage controller 20.
  • FIG. 11 is a flowchart showing an example of processing of the difference data relocation program 43.
  • the storage controller 20 executes necessity determination processing for determining whether or not it is necessary to execute the differential data relocation program 43 (S101). Details of the necessity determination process will be described later (see FIG. 12).
  • the storage controller 20 determines that it is not necessary to execute the differential data rearrangement program 43 (S101: rearrangement is not necessary), the process ends. If the storage controller 20 determines that it is necessary to execute the differential data relocation program 43 (S101: relocation required), the storage controller 20 proceeds to the next processing of S102.
  • the storage controller 20 executes the dividing process of the difference map 90 (S102). Details of the dividing process of the difference map 90 will be described later.
  • the storage controller 20 executes processing related to the submap divided by the division processing (S102) of the difference map 90 (S103). Details of processing related to the submap will be described later (see FIG. 13).
  • the storage controller 20 determines that the rearrangement of the difference data has been completed (S103: rearrangement complete), the present processing is terminated.
  • the storage controller 20 determines that the relocation of the difference data is incomplete (S103: relocation incomplete)
  • the storage controller 20 may proceed to the next processing of S104.
  • the storage controller 20 performs differential bit exchange processing (S104). Details of the exchange process will be described later.
  • Storage controller 20 executes post-processing (S105). Details of the post-processing will be described later. Then, the storage controller 20 returns to the process of S103.
  • FIG. 12 is a flowchart showing details of the necessity determination process (S101).
  • the storage controller 20 newly creates the difference map 90 and initializes it (for example, turns off all the difference bits) (S201).
  • the storage controller 20 starts measuring the Q arrival time 132 “tc” until the number of differential bit-ons becomes equal to or greater than the threshold Q in the difference map 90 (S202).
  • the storage controller 20 When the storage controller 20 receives a write command for the synchronization source VOL (S210: YES), the storage controller 20 executes a difference map update process (S211). Otherwise (S210: NO), the process returns to the process of S210. Details of the difference map update processing will be described later (see FIG. 14).
  • the storage controller 20 determines whether or not the number of difference bit-ons in the difference map 90 is equal to or greater than the threshold value Q (S220). If the determination result is negative (S220: NO), the process returns to S210.
  • the storage controller 20 ends the measurement of the Q arrival time “tc” and stores the measured time “tc” in the synchronization time analysis table 56 (S221). .
  • the storage controller 20 determines whether or not the time 135 “Tc” required for the resynchronization related to the prediction exceeds the allowable time 144 (S230).
  • the storage controller 20 determines that rearrangement of difference data is necessary (S231). In this case, the processing after S102 in FIG. 12 is executed.
  • the storage controller 20 determines that the relocation of the difference data is not necessary (S232). In this case, the processes after S102 in FIG. 12 are not executed.
  • the storage controller 20 determines the division number of the difference map 90 based on the difference bit-on number 133 “Nc” related to the prediction in the difference map 90 (S301).
  • the storage controller 20 divides the difference map 90 by the determined number of divisions and generates a plurality of submaps (S302).
  • the storage controller 20 stores the submap ID 111, the VOL address section 112, and the total number of difference bits 114 in each submap in the submap management table 52.
  • the storage controller 20 stores the difference bit-on number 113 in each submap in the submap management table 52 (S303).
  • the storage controller 20 selects a submap having the largest number of differential bit-ons 113 from among a plurality of submaps as a relocation destination submap (S304).
  • the storage controller 20 calculates the difference bit-on ratio 115 and the rank 116 based on the difference bit-on number 113 of each submap, and stores it in the submap management table 52.
  • FIG. 13 is a flowchart showing details of the process (S103) related to the submap.
  • the storage controller 20 determines whether or not an unselected submap exists in this process (S401). If there is no unselected submap (S401: NO), the storage controller 20 determines “relocation complete” (S412), and returns to the processing shown in FIG. 11 (RETURN). In this case, the determination result of the process related to the submap shown in FIG. 11 (S103) is “relocation complete”, and the differential data relocation program 43 ends.
  • the storage controller 20 selects, from among the unselected submaps, the submap having the smallest difference bit-on number 113 as the relocation source submap ( S402).
  • the storage controller 20 determines whether or not the rearrangement source submap is the target of the rearrangement process (S403). For example, in the submap management table 52, when the last bit 117 of the difference bit on related to the rearrangement source submap is “0” (when there is no difference bit on), or the rearrangement source submap and the rearrangement destination sub When the maps are the same, the storage controller 20 may make the determination result in S403 negative. When the determination result of S403 is negative (S403: NO), the storage controller 20 returns to the process of S401. If the determination result of S403 is positive (S403: YES), the storage controller 20 proceeds to the next process of S410.
  • the storage controller 20 determines whether or not the latest measured sequential ratio 147 of the difference map 90 is equal to or greater than the target sequential ratio 148 (S410). If the determination result in S410 is affirmative (S410: YES), the storage controller 20 determines “relocation complete” (S410), and returns to the processing shown in FIG. 11 (RETURN). This is because the VOL synchronization program 42 can be completed within the allowable time 144 with the current difference map 90 maintained without further rearranging the difference data. In this case, the determination result of the processing relating to the submap shown in FIG. The reason why the rearrangement is completed when the condition of S410 is satisfied is that the rearrangement processing is subjected to a certain processing load. Further, by sequentially selecting a submap having a large number of differential bit-ons as a relocation destination, the sequential ratio can be increased with a smaller number of relocations.
  • the storage controller 20 proceeds to the process of S413. If it is set in the adoption determination setting table 62 that the determination content 161 in S410 is not adopted (adoption propriety 162 “NO”), the storage controller 20 does not execute the determination in S410 and does not perform the determination in S413. You may proceed to processing.
  • the storage controller 20 selects one of the differential bit ons belonging to the relocation source submap as the differential bit on of the exchange source (S413).
  • the storage controller 20 determines whether or not the resource operation rate measured most recently is equal to or higher than the operation rate threshold 152 corresponding to the ID 151 of this resource in the operation rate threshold setting table 60 (S420).
  • the storage controller 20 registers the difference bit-on of the exchange source in a predetermined queue (S431), waits for a fixed time (S432), and then performs the processing of S420. Return.
  • the storage controller 20 determines “relocation is incomplete” (S421), and returns to the process shown in FIG. 12 (RETURN). In this case, the determination result of the process related to the submap shown in FIG. 11 (S103) is “relocation incomplete”, and the next replacement process (S104) is executed.
  • the storage controller 20 selects the difference bit off of the exchange destination from the difference bit off in the relocation destination submap (S501).
  • the storage controller 20 may preferentially select the differential bit off with the earliest VOL address 101 in the relocation destination submap. This is because differential bit-on is arranged as continuously as possible in the rearrangement destination submap.
  • the storage controller 20 exchanges the differential bit-on selected as the exchange source in the relocation source submap and the differential bit-on selected as the exchange destination in the relocation destination submap (S502). That is, the storage controller 20 exchanges a slot in which difference data corresponding to the difference bit on of the exchange source is stored and an empty slot corresponding to the difference bit off of the exchange destination. Then, the storage controller 20 returns to the process shown in FIG. 11 (RETURN).
  • the storage controller 20 updates the difference bit-on number 113, the difference bit-on ratio 115, and the last bit 117 of the difference bit-on of the record related to the rearrangement destination submap (S601). .
  • the storage controller 20 updates the difference bit-on number 113, the difference bit-on ratio 115, and the last bit 117 of the difference bit-on in the relocation source submap (S602). .
  • the storage controller 20 updates the measured sequential ratio 147 in the synchronization time management table 58 (S603). Then, the storage controller 20 returns to the process shown in FIG. 12 (RETURN). In the process shown in FIG. 11, the storage controller 20 returns to the process of S103.
  • FIG. 14 is a flowchart showing an example of the difference map update process (S211).
  • the difference map update process (S211) is executed when a write command for the synchronization source VOL is received as shown in FIG.
  • the storage controller 20 determines whether or not the rearrangement destination submap has already been determined (S701). If the relocation destination submap has not yet been determined (S701: NO), the storage controller 20 proceeds to the process of S710.
  • the storage controller 20 next determines whether or not the VOL address 101 designated by the write command belongs to the relocation destination submap (S702). . If the determination result of S702 is positive (S702: YES), the storage controller 20 proceeds to the process of S710.
  • the storage controller 20 exchanges the slot of the VOL address 101 designated by the write command with an empty slot belonging to the relocation destination submap (S703). Further, the storage controller 20 may preferentially select the first VOL address 101 as the replacement destination in the difference bit off in the relocation destination submap. Then, the storage controller 20 proceeds to the process of S710.
  • the storage controller 20 stores the write data (that is, difference data) in the write destination slot (S710). If the write destination slot is exchanged in S703, the difference data is stored in the exchange destination slot belonging to the rearrangement destination submap.
  • the storage controller 20 updates the difference map 90 (S711). That is, the storage controller 20 updates the difference bit corresponding to the slot in which the difference data is stored in the difference map 90 to ON.
  • the storage controller 20 updates the submap management table 52 (S712). That is, in the submap management table 52, the storage controller 20 adds the number of differential bits turned on in S711 to the number of differential bits on in the relocation destination submap.
  • the storage controller 20 refers to the difference bit-on tail 117 of the record related to the submap in which the difference data of the submap management table 52 is stored, and the difference bit-on tail 117 of the submap in which the difference data is stored. It is determined whether or not the VOL address 101 is known (S720).
  • the storage controller 20 next determines whether the write destination VOL address 101 of the differential data is behind the last VOL address 101 of the differential bit on. It is determined whether or not (S721).
  • the storage controller 20 next sets “ ⁇ 1” (unknown) in the submap management table 52 for the difference bit-on end 117 of the record related to the submap. (S722). Then, the storage controller 20 returns to the process shown in FIG. 12 (RETURN).
  • FIG. 15 is a flowchart showing an example of processing of the VOL synchronization program 42.
  • the storage controller 20 determines whether or not the differential data relocation program 43 has been executed (S801). When the differential data relocation program 43 has not been executed (S801: NO), the storage controller 20 executes a normal resynchronization process between VOLs (S810), and proceeds to the process of S830.
  • the storage controller 20 determines whether or not an unselected submap exists in the VOL synchronization program 42 (S802). If there is no unselected submap (S802: NO), the storage controller 20 proceeds to the process of S830.
  • the storage controller 20 selects a submap with the largest number of differential bit-ons from among the unselected submaps (S803).
  • the storage controller 20 determines whether or not the VOL address 101 at the end 117 of the differential bit on is found in the selected submap (S820).
  • the storage controller 20 When the VOL address 101 of the last bit 117 of the difference bit on is unknown in the selected submap (S820: NO), the storage controller 20 performs the following process. That is, the storage controller 20 searches the entire submap and extracts differential bit-on. Then, the storage controller 20 acquires each difference data of the plurality of VOL addresses 101 corresponding to the extracted difference bit-on by a random access command (S822). Then, the storage controller 20 returns to the process of S802.
  • the storage controller 20 When the VOL address 101 of the last bit 117 of differential bit on is known in the selected submap (S803: YES), the storage controller 20 performs the following process. In other words, the storage controller 20 acquires all the differential data from the first VOL address 101 of the submap to the last VOL address 101 of the differential bit ON by a sequential access command (S822). Then, the storage controller 20 returns to the process of S802.
  • the storage controller 20 transmits the difference data acquired in S821 and S822 to the synchronization destination storage device (S830).
  • the storage controller 20 updates the synchronization time management table 58 (S831), and ends this process.
  • the embodiment of the copy process (remote copy process) between the first VOL 80a of the two storage apparatuses 10a and the second VOL 80b of the storage apparatus 10b has been described.
  • the contents of the above-described embodiment include other configurations. It is also applicable to.
  • the contents of the above-described embodiment can be applied to a copy process (local copy process) in one storage apparatus.
  • one storage apparatus 10 has one storage controller 20, a first VOL 80a, and a second VOL 80b.
  • a difference map 90a related to the first VOL 80a and a difference map 80b related to the second VOL 80b are provided. May be managed.
  • the contents of the above-described embodiment may be applied to the local copy process between the first VOL 80a and the second VOL 80b in one storage apparatus 10.
  • Storage system 10 Storage device 20: Storage controller 31: PDEV 80: Volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　ストレージコントローラは、第１のボリュームにおける差分データが格納されている使用スロットであるか差分データが格納されていない空きスロットであるかを複数のスロットの各々について表す差分情報を有する。そして、ストレージコントローラは、差分情報を複数の差分情報部分に分割し、複数の差分情報部分の中から第１の差分情報部分及び第２の差分情報部分を選択し、第２の差分情報部分に属する使用スロットのアドレスと、第１の差分情報部分に属する空きスロットのアドレスとを交換する。

Description

ストレージシステム、及び、記憶制御方法
　本発明は、概して、ストレージシステム及び記憶制御方法の技術に関する。
　第１のストレージ装置に新たに書き込まれたデータのみをネットワークを通じて第２のストレージ装置にコピーすることにより、第１のストレージ装置のデータを第２のストレージ装置にバックアップする技術が知られている。
　特許文献１には次のことが開示されている。第１のストレージ装置は、ホストコンピュータから受信した書き込みデータを転送用バッファに格納し、その転送用バッファ内の複数の書き込みデータをトラック単位で並び替え、その並び替えた複数の書き込みデータを第２のストレージ装置に送信する。第２のストレージ装置は、その並び替えられた書き込みデータを受信し、その並び替えられた順序で書き込みデータをＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）に書き込む。これにより、第２のストレージ装置におけるディスクヘッドは、ＨＤＤに対してシーケンシャルにアクセスできる。この結果、第２のストレージ装置におけるＨＤＤへのデータの展開処理が短縮される。
特開２０１３－７３３８８号公報
　第１のストレージ装置は、自分の記憶デバイス（ＨＤＤ、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）など）に新たに書き込まれたデータ（上書きされたデータも含む。以下「差分データ」という）を第２のストレージ装置に送信するためにはまず、差分データを読み出す必要がある。差分データの読み出しにかかる時間は、差分データの量が増大するにつれて長くなる。したがって、第１のストレージ装置の全ての差分データを第２のストレージ装置にコピーする処理（「コピー処理」という）にかかる時間は、差分データの量が増大するにつれて長くなる。そこで、本発明の目的の１つは、第１のストレージ装置における差分データの読み出しにかかる時間を短縮することにある。
　一実施形態に係るストレージシステムは、第１のボリュームに格納されたデータが格納される１以上の記憶デバイスと、１以上の記憶デバイスを制御するストレージコントローラとを有する。第１のボリュームは、複数の記憶領域である複数のスロットに分割されている。ストレージコントローラは、所定のタイミング以降に格納されたデータを含む差分データが格納されている使用スロットであるか差分データが格納されていない空きスロットであるかを複数のスロットの各々について表す差分情報を有する。そして、ストレージコントローラは、差分情報を複数の差分情報部分に分割する分割処理と、複数の差分情報部分の中から第１の差分情報部分及び第２の差分情報部分を選択する選択処理と、第２の差分情報部分に属する使用スロットのアドレスと、第２の差分情報部分に属する空きスロットのアドレスとを交換する交換処理とを実行する。
　本発明の一実施形態によれば、第１のストレージ装置における差分データの読み出しにかかる時間を短縮することができる。
本実施形態に係るストレージシステムの概要を示す模式図である。 差分データ再配置処理の一例を説明するための図である。 ストレージシステムにおける構成の一例を示す模式図である。 差分マップの構成例を示す。 サブマップ管理テーブルの構成例を示す。 同期設定テーブルの構成例を示す。 同期時間分析テーブルの構成例を示す。 同期時間管理テーブルの構成例を示す。 稼働率閾値設定テーブルの構成例を示す。 採用判定設定テーブルの構成例を示す。 差分データ再配置処理の一例を示すフローチャートである。 要否判定処理の一例を示すフローチャートである。 サブマップに関する処理の一例を示すフローチャートである。 差分マップ更新処理の一例を示すフローチャートである。 ＶＯＬ同期処理の一例を示すフローチャートである。
　以下の説明では、「×××テーブル」の表現にて情報を説明することがあるが、情報は、どのようなデータ構造で表現されていてもよい。すなわち、情報がデータ構造に依存しないことを示すために、「×××テーブル」を「×××情報」と呼ぶことができる。また、以下の説明において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
　また、以下の説明では、要素の識別情報として、ＩＤが使用されるが、それに代えて又は加えて他種の識別情報が使用されてもよい。また、以下の説明では、同種の要素を区別しないで説明する場合には、参照符号における共通番号を使用し、同種の要素を区別して説明する場合は、その要素の参照符号を使用することがある。例えば、ＶＯＬを特に区別しないで説明する場合には、「ＶＯＬ８０」と記載し、個々のＶＯＬを区別して説明する場合には、「ＶＯＬ８０ａ」、「ＶＯＬ８０ｂ」のように記載することがある。また、以下の説明では、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）要求は、ライト要求又はリード要求であり、アクセス要求と呼ばれてもよい。
　また、以下の説明では、「記憶部」は、メモリを含んだ１以上の記憶デバイスでよい。例えば、記憶部は、主記憶デバイス（典型的には揮発性のメモリ）及び補助記憶デバイス（典型的には不揮発性の記憶デバイス）のうちの少なくとも主記憶デバイスでよい。また、記憶部は、キャッシュ領域（例えばキャッシュメモリ又はその一部領域）とバッファ領域（例えばバッファメモリ又はその一部領域）とのうちの少なくとも１つを含んでもよい。キャッシュ領域及びバッファ領域は、ＰＤＥＶに入出力されるデータが一時格納される点で共通し、読み出されたデータが残るか否かで相違してよい。具体的には、キャッシュ領域から読み出されたデータは、キャッシュ領域に残り、バッファ領域から一旦読み出されたデータは、バッファ領域には残らないでよい。また、以下の説明では、「ＰＤＥＶ」は、物理的な記憶デバイスを意味し、典型的には、不揮発性の記憶デバイス（例えば補助記憶デバイス）でよい。ＰＤＥＶは、例えば、ＨＤＤ又はＳＳＤでよい。
　また、以下の説明では、「ＲＡＩＤ」は、Ｒｅｄｕｎｄａｎｔ　Ａｒｒａｙ　ｏｆ　Ｉｎｄｅｐｅｎｄｅｎｔ　（ｏｒ　Ｉｎｅｘｐｅｎｓｉｖｅ）　Ｄｉｓｋｓの略である。ＲＡＩＤグループは、複数のＰＤＥＶで構成され、そのＲＡＩＤグループに関連付けられたＲＡＩＤレベルに従いデータを記憶する。ＲＡＩＤグループは、パリティグループと呼ばれてもよい。パリティグループは、例えば、パリティを格納するＲＡＩＤグループのことでよい。
　また、以下の説明において、プログラムは、プロセッサ（例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）及び／又はインターフェースデバイス（例えば通信ポート）等を用いながら行ってよい。プログラムを主語として説明された処理は、プロセッサあるいはそのプロセッサを有する装置又はシステムが行う処理としてもよい。また、プロセッサは、処理の一部または全部を行うハードウェア回路を含んでもよい。プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサ（例えばＣＰＵ）と記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムとを記憶してよい。そして、プログラム配布サーバのプロセッサが配布プログラムを実行することで、プログラム配布サーバのプロセッサは配布対象のプログラムを他の計算機に配布してよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
　また、以下の説明では、管理システムは、一以上の計算機で構成されてよい。具体的には、例えば、管理計算機が情報を表示する場合（具体的には、例えば、管理計算機が自分の表示デバイスに情報を表示する、或いは、管理計算機が表示用情報を遠隔の表示用計算機に送信する場合）、管理計算機が管理システムである。また、例えば、複数の計算機で管理計算機と同等の機能が実現されている場合は、当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機を含んでよい）が、管理システムである。管理計算機（例えば管理システム）は、表示システムを含むＩ／Ｏシステムに接続されたインターフェースデバイスと、記憶資源（例えばメモリ）と、インターフェースデバイス及び記憶資源に接続されたプロセッサとを有してよい。表示システムは、管理計算機が有する表示デバイスでもよいし、管理計算機に接続された表示用計算機でもよい。Ｉ／Ｏシステムは、管理計算機が有するＩ／Ｏデバイス（例えばキーボード及びポインティングデバイス、タッチパネル）でもよいし、管理計算機に接続された表示用計算機又は別の計算機でもよい。管理計算機が「表示用情報を表示する」ことは、表示システムに表示用情報を表示することであり、これは、管理計算機が有する表示デバイスに表示用情報を表示することであってもよいし、管理計算機が表示用計算機に表示用情報を送信することであってもよい（後者の場合は表示用計算機によって表示用情報が表示される）。また、管理計算機が情報を入出力するとは、管理計算機が有するＩ／Ｏデバイスとの間で情報の入出力を行うことであってもよいし、管理計算機に接続された遠隔の計算機（例えば表示用計算機）との間で情報の入出力を行うことであってもよい。情報の出力は、情報の表示であってもよい。
　また、以下の説明では、「ホストシステム」は、ストレージシステムにＩ／Ｏリクエストを送信するシステムであり、インターフェースデバイスと、記憶資源（例えばメモリ）と、それらに接続されたプロセッサとを有してよい。ホストシステムは、１以上のホスト計算機で構成されてよい。少なくとも１つのホスト計算機は、物理的な計算機でよく、ホストシステムは、物理的なホスト計算機に加えて仮想的なホスト計算機を含んでよい。
　また、以下の説明では、「ストレージシステム」は、１以上のストレージ装置でよく、複数のＰＤＥＶ（例えば１以上のＲＡＩＤグループ）と、複数のＰＤＥＶに対するＩ／Ｏを制御するストレージコントローラとを有してよい。ストレージコントローラは、複数のＰＤＥＶに接続されるバックエンドのインターフェースデバイスと、ホストシステム及び管理システムのうちの少なくとも１つに接続されるフロントエンドのインターフェースデバイスと、記憶資源と、それらに接続されたプロセッサとを有してよい。ストレージコントローラは、冗長化されていてもよい。
　また、以下の説明では、「ＶＯＬ」は、論理ボリュームの略であり、論理的な記憶デバイスでよい。ＶＯＬは、実体的なＶＯＬ（ＲＶＯＬ）であってもよいし、仮想的なＶＯＬ（ＶＶＯＬ）であってもよい。また、ＶＯＬは、そのＶＯＬを提供するストレージシステムに接続されているホストシステムに提供されるオンラインＶＯＬと、ホストシステム８には提供されない（ホストシステムからは認識されない）オフラインＶＯＬとがあってよい。「ＲＶＯＬ」は、そのＲＶＯＬを有するストレージシステムが有する物理的な記憶資源（例えば、１以上のＲＡＩＤグループ）に基づくＶＯＬでよい。「ＶＶＯＬ」としては、外部接続ＶＯＬ（ＥＶＯＬ）と、容量拡張ＶＯＬ（ＴＰＶＯＬ）と、スナップショットＶＯＬとのうちの少なくとも１種類でよい。ＥＶＯＬは、外部のストレージシステムの記憶空間（例えばＶＯＬ）に基づいておりストレージ仮想化技術に従うＶＯＬでよい。ＴＰＶＯＬは、複数の仮想領域（仮想的な記憶領域）で構成されており容量仮想化技術（典型的にはＴｈｉｎ　Ｐｒｏｖｉｓｉｏｎｉｎｇ）に従うＶＯＬでよい。スナップショットＶＯＬは、オリジナルのＶＯＬのスナップショットとして提供されるスナップショットＶＯＬとがあってよい。ＴＰＶＯＬは、典型的にはオンラインＶＯＬでよい。スナップショットＶＯＬは、ＲＶＯＬであってもよい。「プール」は、論理的な記憶領域（例えば複数のプールＶＯＬの集合）であり、用途ごとに用意されてよい。例えば、プールとして、ＴＰプールと、スナップショットプールとのうちの少なくとも１種類があってよい。ＴＰプールは、複数の実領域（実体的な記憶領域）で構成された記憶領域でよい。ＴＰプールからＴＰＶＯＬの仮想領域に実領域が割り当てられてよい。スナップショットプールは、オリジナルのＶＯＬから退避されたデータが格納される記憶領域でよい。１つのプールが、ＴＰプールとしてもスナップショットプールとしても使用されてもよい。「プールＶＯＬ」は、プールの構成要素となるＶＯＬでよい。プールＶＯＬは、ＲＶＯＬであってもよいしＥＶＯＬであってもよい。プールＶＯＬは、典型的にはオフラインＶＯＬでよい。
　図１は、本実施形態に係るストレージシステムの概要を示す模式図である。
　ストレージシステム１は、ストレージ装置１０ａとストレージ装置１０ｂとを有する。ストレージ装置１０ａとストレージ装置１０ｂとは、所定のネットワーク又は通信線を通じてデータを送受信できる。
　ストレージ装置１０ａは、ＰＤＥＶと、そのＰＤＥＶを制御するストレージコントローラ２０ａとを有する。ストレージコントローラ２０ａは、ＰＤＥＶを制御して第１ＶＯＬ８０ａを構成する。ストレージ装置１０ｂも同様にＰＤＥＶとそのＰＤＥＶを制御するストレージコントローラ２０ｂとを有する。ストレージコントローラ２０ｂは、第２ＶＯＬ８０ｂを構成する。
　第１ＶＯＬ８０ａのデータを第２ＶＯＬ８０ｂにバックアップする場合、ストレージコントローラ２０ａは次の処理を行う。
　（Ａ１）ストレージコントローラ２０ａは、第１ＶＯＬ８０ａに格納されている全てのデータを第２ＶＯＬ８０ｂにバックアップする。これにより、第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂが同じデータを有する状態（同期状態）となる。
　（Ａ２）ストレージコントローラ２０ａは、第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂが同期状態となった後に第１ＶＯＬ８０ａに新たに書き込まれたデータ（上書きされたデータも含む。つまり差分データ）を、第１ＶＯＬ８０ａの所定の領域（「差分データ格納領域」という）１０２ａに格納する。
　（Ａ３）ストレージコントローラ２０ａは、所定のタイミング（一定周期の経過後、又は、差分データが所定量以上格納されたときなど）に、差分データ格納領域１０２ａから差分データを取得し、その取得した差分データをストレージ装置１０ｂに送信する。
　（Ａ４）ストレージコントローラ２０ｂは、その差分データを受信し、第２ＶＯＬ８０ｂの差分データ格納領域１０２ｂに格納する。
　差分データ格納領域は複数のスロットで構成されており、差分データはスロットの単位で管理される。スロット単位でデータが書き込まれた場合、スロットに格納されたデータそれ自体が差分データとなるが、スロットより小さい単位でデータが書き込まれた場合、書き込まれたデータを含んだデータ（スロット単位のデータ）が差分データとなる。差分データ格納領域を構成する複数のスロットには順番を示すＶＯＬアドレスが付与されている。
　ストレージコントローラ２０ａは、第１ＶＯＬ８０ａの差分データ格納領域１０２ａにおける各スロットに差分データが格納されているか否かを示す情報を有する。この情報を差分マップ９０ａという。差分マップ９０ａは複数の差分ビットから構成されており、差分ビットと差分データ格納領域のスロット（ＶＯＬアドレス）とは１対１に対応する。差分データが格納されているスロットに対応する差分ビットは、差分ビットオン（例えば「１」）となる。差分データが格納されていない、つまり空のスロットに対応する差分ビットは、差分ビットオフ（例えば「０」）となる。
　ストレージコントローラ２０ａが差分データ格納領域１０２ａから差分データを取得する方法には、シーケンシャルアクセスとランダムアクセスがある。
　シーケンシャルアクセスは、ＶＯＬアドレスの連続するスロットから一度に差分データを取得する場合に用いることができる。例えば、ストレージコントローラ２０ａは、先頭のＶＯＬアドレス及びデータ長を指定したシーケンシャルアクセスのコマンドを発行することにより、その先頭のＶＯＬアドレスからデータ長までの間の複数のスロットにそれぞれ格納されている複数の差分データをシーケンシャルに取得することができる。
　ランダムアクセスは、それぞれのスロットから差分データを取得する場合に用いることができる。例えば、ストレージコントローラ２０ａは、ＶＯＬアドレスを指定したランダムアクセスのコマンドを発行することにより、そのＶＯＬアドレスに対応するスロットに格納されている差分データを取得することができる。
　すなわち、ランダムアクセスによって差分データを取得するよりも、シーケンシャルアクセスによって差分データを取得する方が、１回のコマンド発行で多くの差分データを取得できる。よって、上記（Ａ３）の処理にかかる時間が短縮され得る。
　そこでストレージコントローラ２０ａは、差分データ格納領域１０２ａに対して差分データ再配置処理を行う。差分データ再配置処理は、差分データが連続するように差分データを再配置する処理である。ストレージコントローラ２０ａは、１回のシーケンシャルアクセスで多くの差分データを再配置後の差分データ格納領域１０２ａから取得できるようになる。次に、この差分データ再配置処理について説明する。
　図２は、差分データ再配置処理の一例を説明するための図である。
　差分データ格納領域１０２ａにおけるスロットと差分マップ９０における差分ビットとは、１対１で対応している。差分マップ９０の再配置処理は、例えば以下のステップで行われる。
　（Ｂ１）ストレージコントローラ２０ａは、差分情報の一例である差分マップ９０－１を、差分情報部分の一例である複数のサブマップに分割する。図２では、差分マップ９０－１を、サブマップＲ１、Ｒ２、Ｒ３、Ｒ４の４つに分割している。
　（Ｂ２）ストレージコントローラ２０ａは、各サブマップの差分ビットオンを数える。図２の差分マップ９０－１において、サブマップＲ１における差分ビットオン（黒色のブロック）の数は「９」、サブマップＲ２における差分ビットオンの数は「５」、サブマップＲ３における差分ビットオンの数は「８」、サブマップＲ４における差分ビットオンの数は「７」である。
　（Ｂ３）ストレージコントローラ２０ａは、複数のサブマップの中から、差分データを再配置先（移動先）となるサブマップ（「再配置先サブマップ」という）を選択する。ストレージコントローラ２０ａは、差分ビットオンの数が多いサブマップを優先的に再配置先に選択してよい。図２の差分マップ９０－１において、サブマップＲ１の差分ビットオンの数が最大であるので、ストレージコントローラ２０ａは、このサブマップＲ１を再配置先に選択してよい。
　（Ｂ４）ストレージコントローラ２０ａは、複数のサブマップの中から、差分データの再配置元（移動元）となるサブマップ（「再配置元サブマップ」という）を選択する。ストレージコントローラ２０ａは、差分ビットオンの数が少ないサブマップを優先的に再配置元に選択してよい。例えば、図２の差分マップ９０－１において、サブマップＲ２の差分ビットオンの数が最少であるので、ストレージコントローラ２０ａは、このサブマップＲ２を再配置元に選択する。
　（Ｂ５）ストレージコントローラ２０ａは、再配置先サブマップの差分ビットオフの中から、再配置元サブマップの差分ビットオンの交換先となる差分ビットオフを選択する。ストレージコントローラ２０ａは、交換先となる差分ビットオフとして、再配置先サブマップの差分ビットオフの内、ＶＯＬアドレスが最先の差分ビットオフを優先的に選択してよい。これにより、再配置先サブマップにおいて、差分ビットオンが連続的に再配置され得る。例えば、図２の差分ビットマップ９０－１において、再配置元サブマップＲ２の差分ビットオン２００２の交換先として、再配置先サブマップＲ１の差分ビットオフ１００２が選択される。例えば、再配置元サブマップＲ２の差分ビットオン２００４の交換先として、再配置先サブマップＲ１の差分ビットオフ１００３が選択される。
　（Ｂ６）ストレージコントローラ２０ａは、再配置元サブマップの交換元の差分ビットオンと、再配置先サブマップの交換先の差分ビットオフとを交換する（Ｓ１１）。すなわち、ストレージコントローラ２０ａは、交換元のＶＯＬアドレスに対応する差分データ格納済みの物理アドレスと、交換先のＶＯＬアドレスに対応する差分データ未格納の物理アドレスとを交換する。これにより、交換元のＶＯＬアドレスには差分データ未格納の物理アドレスが対応付けられ、交換先のＶＯＬアドレスには差分データ格納済みの物理アドレスが対応付けられる。ここで、物理アドレスは、ＶＯＬを構成する記憶領域に対応するアドレスであってよい。例えば、物理アドレスは、ＶＯＬを構成するＰＤＥＶ３１上の記憶領域に対応するアドレスであってよい。例えば、物理アドレスは、ＶＯＬを構成する下位の論理的な記憶領域に対応するアドレスであってよい。以下においても、差分マップ９０における差分ビットオンを再配置した場合には、その差分ビットオンの再配置に伴って差分データ格納領域１０２ａにおける差分データも再配置されるとする。図２の差分マップ９０－２は、再配置元サブマップＲ２の差分ビットオンを全て、再配置先サブマップＲ１の差分ビットオフと交換した状態である。
　（Ｂ７）ストレージコントローラ２０ａは、他のサブマップについても、上記（Ｂ４）～（Ｂ６）を実行する。図２において、ストレージコントローラ２０ａは、サブマップＲ２の次に差分ビットオンの数が少ないサブマップＲ４を再配置元に選択し、上記（Ｂ４）～（Ｂ６）を実行し（Ｓ１２）、最後にサブマップＲ３を再配置元に選択し、上記（Ｂ４）～（Ｂ６）を実行する（Ｓ１３）。これらの処理が完了すると、図２の差分マップ９０－２は、図２の差分マップ９０－３の状態となる。
　（Ｂ８）ストレージコントローラ２０ａは、再配置先サブマップの差分ビットオンに係る差分データを取得する。このとき、ストレージコントローラ２０ａは、再配置先サブマップにおいて、連続的に配置されている差分ビットオン、つまり連続的に格納されている差分データを、シーケンシャルアクセスのコマンドを用いて取得する。図２の差分マップ９０－３において、差分ビットオン１００１～１０２９が連続的に配置されている。そこで、ストレージコントローラ２０ａは、シーケンシャルアクセスのコマンドを１回発行し、差分ビットオン１００１～１０２９に対応する連続する差分データを一度に取得する。これにより、ストレージコントローラ２０ａは、差分データを取得するためのコマンドの発行回数を削減することができる。
　（Ｂ９）ストレージコントローラ２０ａは、その取得した複数の差分データを、第２ストレージ装置１０ｂに送信する。
　（Ｂ１０）ストレージコントローラ２０ｂは、この送信された複数の差分データを第２ＶＯＬ８０ｂに格納する。これにより、第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂが再び同期状態となる。
　上記（Ｂ１）において、ストレージコントローラ２０ａは、差分マップ９０をどのように分割してもよい。例えばストレージコントローラ２０ａは、図２の差分マップ９０を十字形に分割してもよい。上記（Ｂ１）において、差分マップ９０－１の分割数は、差分マップ９０－１の差分ビット数に基づいて決定されてよい。例えば、各サブマップに属する差分ビットが所定数となるように、分割数が決定されてよい。上記（Ｂ１）において、ストレージコントローラ２０ａは、各サブマップの差分ビット数ができるだけ同じになるように差分マップ９０を分割してよい。上記（Ｂ３）及び（Ｂ４）における差分ビットオンの数の比較を容易にするためである。各サブマップの差分ビット数が異なる場合、ストレージコントローラ２０ａは、上記（Ｂ３）及び（Ｂ４）において、サブマップの差分ビットオンの数に代えて、サブマップにおける差分ビットの総数に対する差分ビットオンの数の割合を用いてもよい。例えばストレージコントローラ２０ａは、上記（Ｂ３）において、差分ビットオンの数の割合が大きいサブマップを優先的に再配置先に選択し、上記（Ｂ４）において、差分ビットオンの割合が小さいサブマップを優先的に再配置元に選択してよい。
　上記（Ｂ３）において、差分ビット数が多いサブマップを優先的に再配置先に選択している。これにより、より少ない再配置数で、再配置先サブマップにおける差分ビットオンの連続性を高めることができる。再配置数を少なくすることで、ストレージ装置における再配置による処理負荷も軽減することができる。
　上記（Ｂ４）において、差分ビットオン数が少ないサブマップを優先的に再配置元に選択している。これにより、より少ない再配置数で、再配置元サブマップにおける全ての差分ビットオンを差分ビットオフにすることができる。そして、全てが差分ビットオフのサブマップは、上記（Ｂ８）において、差分ビットオンに係る差分データの検索対象から除外することができる。つまり、上記（Ｂ８）における処理時間を短縮することができる。
　図３は、ストレージシステム１における構成の一例を示す模式図である。
　ストレージシステム１は、２以上のストレージ装置１０ａ、１０ｂで構成される。なお、ストレージ装置１０ａと１０ｂは１つの装置として構成されてもよい。ストレージ装置１０は、データを格納するための装置である。ストレージ装置１０は、通信ネットワーク７を通じて、ホストシステム８及び管理システム９と双方向にデータを送受信できる。通信ネットワーク７は、例えば、ＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はこれらの組み合わせなどであってよい。
　管理システム９は、ストレージシステム１を管理するためのシステムである。管理システム９は、１以上の管理計算機で構成されてよい。
　ホストシステム８は、ストレージシステム１を利用するシステムである。ホストシステム８は、１以上のホスト計算機で構成されてよい。ホスト計算機は、ライト要求をストレージ装置１０へ送信して、データをストレージ装置１０に格納できてよい。ホスト計算機は、リード要求をストレージ装置１０へ送信して、ストレージ装置１０からデータを取得できてよい。
　ストレージ装置１０は、１以上のストレージコントローラ２０と、１以上のＰＤＥＶ３１を有する。ＰＤＥＶ３１は物理的な記憶デバイスの一例である。ＰＤＥＶ３１は、例えば、ＨＤＤ、ＳＳＤ又はＦＭパッケージなどであってよい。
　ＦＭパッケージは、ＦＭ（フラッシュメモリ）と、ＦＭへのデータの入出力を制御するＦＭコントローラとを有する。ＦＭは、１以上のＦＭチップで構成されている。ＦＭチップは、複数の物理領域で構成されている。具体的には、例えば、ＦＭチップは、ＮＡＮＤフラッシュであり、複数の「物理ブロック」で構成され、各物理ブロックは、複数の「物理ページ」で構成されている。物理ブロック又は物理ページが物理領域の一例である。物理ページ単位でデータがアクセス（リード及びライト）され、物理ブロック単位でデータが消去される。また、以下の説明では、ストレージコントローラ２０が管理する論理空間（例えばＶＯＬの全部又は一部）は、ＲＡＩＤグループを構成する複数のＦＭパッケージがそれぞれ提供する複数のサブ論理空間に基づいている。１つのサブ論理空間について複数の論理領域に区切られてよい。例えば、サブ論理空間が、複数の「論理ブロック」で構成され、各論理ブロックが、複数の「論理ページ」で構成されていてもよい。論理ブロック又は論理ページが論理領域の一例でよい。論理領域は、論理アドレス範囲と言い換えられてもよい。ＦＭコントローラは、論理アドレスと物理アドレスの対応関係を管理しており（例えば論理アドレスと物理アドレスの対応関係を表すアドレス変換情報を保持しており）、上位装置からのＩ／Ｏコマンドで指定されている論理アドレスが属する論理領域を特定し、特定した論理領域に対応する物理領域を特定し、特定した物理領域に対してＩ／Ｏを行う。論理アドレスは、例えば、ＬＢＡ（Ｌｏｇｉｃａｌ　Ｂｌｏｃｋ　Ａｄｄｒｅｓｓ）であり、ＬＢＡに代えて又は加えて、論理領域ＩＤ（例えば論理ブロック番号又は論理ページ番号）等が採用されてよい。物理アドレスは、例えば、ＰＢＡ（Ｐｈｙｓｉｃａｌ　Ｂｌｏｃｋ　Ａｄｄｒｅｓｓ）であり、ＰＢＡに代えて又は加えて、物理領域ＩＤ（例えば物理ブロック番号又は物理ページ番号）等が採用されてよい。また、以下の説明では、ＦＭは、追記型、具体的には、物理ページ（以下、ページ）が割り当てられている論理領域がライト先の場合、ライト先論理領域に、割当て済のページに代えて新たに空きページが割り当てられ、新たに割り当てられたページにデータが書き込まれる。各論理領域について、新たに割り当てられたページに書き込まれたデータは「有効データ」であり、有効データが書き込まれているページは「有効ページ」であり、過去に割り当てられていたページに格納されているデータは「無効データ」であり、無効データが書き込まれているページは「無効ページ」である。また、有効ページでも無効ページでも無く新たにデータを格納可能な物理ページが、「空きページ」である。また、ＰＤＥＶ３１が有する物理記憶媒体として、ＦＭに代えて、ＦＭ以外の不揮発半導体メモリ、例えばＰＲＡＭ（Ｐｈａｓｅ　Ｃｈａｎｇｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔａｎｃｅ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）が採用されてもよい。
　ストレージコントローラ２０は、ＰＤＥＶ３１を制御して、論理的な記憶デバイスであるＶＯＬを構成する。ＶＯＬは、実体的なＶＯＬ（ＲＶＯＬ）であってもよいし、仮想的なＶＯＬ（ＶＶＯＬ）であってもよい。
　ストレージコントローラ２０は、ＶＯＬに対するＩ／Ｏを処理する。例えば、ストレージコントローラ２０は、ホストシステム８から送信されたライト要求を受信すると、その受信したライトデータをＶＯＬに格納する。すなわち、ストレージコントローラ２０は、そのＶＯＬを構成するＰＤＥＶ３１にライトデータを書き込む。ストレージコントローラ２０は、ホストシステム８からリード要求を受信すると、その要求されたリードデータをＶＯＬから取得し、ホストシステム８に返す。ストレージコントローラ２０における他の処理については後述する。
　ストレージコントローラ２０は、プロセッサ２１と、ローカルメモリ２２と、共有メモリ２３と、キャッシュメモリ２４と、ホストＩ／Ｆ２６と、ディスクＩ／Ｆ２５と、リモートＩ／Ｆ２７と、これらの要素間で双方向のデータ通信を可能とする内部バス２８によって構成されてよい。これらの要素はそれぞれ複数であってもよい。ストレージコントローラ２０における処理は、これらの要素が連携して動作することによって実現されてよい。
　ローカルメモリ２２は、プロセッサ２１から利用される様々なデータ及びプログラムなどを格納するためのメモリである。ローカルメモリ２２に格納されるデータ及びプログラムの例については後述する。
　共有メモリ２３は、複数の要素から共有で利用されるデータなどを格納するためのメモリである。共有メモリ２３に格納されるデータの例については後述する。
　キャッシュメモリ２４は、一時的なデータなどを格納するためのメモリである。例えば、ストレージコントローラ２０のリード要求又はライト要求に対する応答時間を短縮するために、リードデータ又はライトデータが一時的にキャッシュメモリ２４に格納される。
　ホストＩ／Ｆ２６は、ストレージコントローラ２０（のプロセッサ２１）が、通信ネットワーク７を通じて、ホストシステム８とデータを送受信するためのＩ／Ｆである。ホストＩ／Ｆ２６は、例えば、ＳＡＳアダプタ、ＬＡＮアダプタなどである。
　ディスクＩ／Ｆ２５は、ストレージコントローラ２０（のプロセッサ２１）がＰＤＥＶ３１とデータを送受信するためのＩ／Ｆである。ディスクＩ／Ｆ２５は、例えば、ＰＣＩｅアダプタ、ＳＡＴＡアダプタ、ＳＡＳアダプタなどである。
　リモートＩ／Ｆ２７は、ストレージ装置１０ａとその同期対象であるストレージ装置１０ｂとの間でデータを送受信するためのＩ／Ｆである。すなわち、ストレージ装置１０ａにおける差分データは、このリモートＩ／Ｆ２７を通じて、ストレージ装置１０ｂに送信される。リモートＩ／Ｆ２７は、通信ネットワーク７に接続されてもよいし、ストレージ装置１０ｂに繋がる所定の通信線又は通信網に接続されてもよい
　ストレージコントローラ２０は、Ｉ／Ｏプログラム４１と、差分データ再配置プログラム４３と、ＶＯＬ同期プログラム４２とを実行し得る。これらのプログラムはローカルメモリ２２に格納されてよい。そして、これらのプログラムがプロセッサ２１に実行されることにより、これらの処理の内容が実現されてよい。又は、これらの処理は所定の論理演算回路（例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ））として構成されてよい。そして、これらの論理演算回路が、独立して、又は、プロセッサ２１と協調して動作することにより、これらの処理の内容が実現されよい。
　ストレージコントローラ２０は、サブマップ管理テーブル５２と、同期設定テーブル５４と、同期時間分析テーブル５６と、同期時間管理テーブル５８と、稼働率閾値設定テーブル６０と、採用判定設定テーブル６２とを管理する。ストレージコントローラ２０は、これらのテーブルの何れかのみを管理してもよい。これらのテーブルは、ローカルメモリ２２に格納されてよい。又は、これらのテーブルは、共有メモリ２３又はＰＤＥＶ３１の何れに格納されてもよい。又は、これらのテーブルは、通信ネットワーク７によって接続されている他の装置に格納されてもよい。ストレージコントローラ２０は、差分マップ９０を管理する。差分マップ９０は、ローカルメモリ２２、共有メモリ２３又はＰＤＥＶ３１の何れに格納されてもよい。
　差分データ再配置プログラム４３は、差分データ格納領域の差分データを再配置するための処理である。差分データ再配置プログラム４３は、差分マップ９０を２以上のサブマップに分割する分割処理と、複数のサブマップの中から再配置先サブマップを選択する選択処理と、再配置元サブマップの差分ビットオンと再配置先サブマップの差分ビットオフとを交換する交換処理を含んでよい。
　差分マップ９０の分割数は、差分マップ９０に含まれる差分ビットの総数に基づいて決定されてよい。差分マップ９０は、各サブマップに含まれる差分ビットの総数ができるだけ同じになるように分割されてよい。又は差分マップ９０は、各サブマップが所定の差分ビットの総数となるように分割されてよい。サブマップ同士の比較を容易にするためである。
　差分データ再配置プログラム４３は、必要な場合に実行され、不要な場合には実行されなくてもよい。なぜなら、再同期処理にかけることのできる時間はストレージシステムを使用するユーザのポリシーによって様々であり、ユーザのポリシーを満たす場合にまで処理負荷のかかる差分データ再配置処理を実行する必要はないからである。例えばストレージコントローラ２０は、次回のＶＯＬ同期プログラム４２の実行時における差分データの数（予測数）を算出し、その差分データの予測数が所定の閾値よりも大きいか否かを判定する。そしてストレージコントローラ２０は、当該判定結果が肯定的な場合には交換処理を実行し、当該判定結果が否定的な場合には交換処理を実行しなくてもよい。差分データの予測数は、過去のＶＯＬ同期プログラム４２に基づいて算出されてよい。
　ＶＯＬ同期プログラム４２は、第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂのデータを同期させるための処理である。ＶＯＬ同期プログラム４２は、同期状態後に第１ＶＯＬ８０ａに新たに格納された差分データを第２ＶＯＬ８０ｂに送信する処理を含んでよい。ＶＯＬ同期プログラム４２は、一定の周期で実行されてよい。又は、ＶＯＬ同期プログラム４２は、差分データが所定量以上蓄積したときに実行されてよい。
　ストレージコントローラ２０は、ＶＯＬ同期プログラム４２を実行するにあたり、まず、第１ＶＯＬ８０ａの差分データ格納領域から再配置後の差分データを取得する。そして、ストレージコントローラ２０はその取得した差分データを、第２ＶＯＬ８０ｂを有するストレージ装置１０ｂに送信する。送信された差分データは、ストレージ装置１０ｂの第２ＶＯＬ８０ｂに格納（すなわち同期）される。ＶＯＬ同期プログラム４２には、連続的に格納されている複数の差分データをシーケンシャルアクセスのコマンドで一度に取得する処理が含まれてよい。ＶＯＬ同期プログラム４２には、非連続的に格納されている差分データをランダムアクセスのコマンドでそれぞれ取得する処理が含まれてよい。
　Ｉ／Ｏプログラム４１は、ホストシステム８から受信したライト要求及びリード要求を制御するための処理である。Ｉ／Ｏプログラム４１は、ホストシステム８からライト要求を受信すると、そのライトデータ（差分データ）を第１ＶＯＬ８０ａに格納し、そのライト要求に対する応答（成功又は失敗など）をホストシステム８に送信する処理を含む。Ｉ／Ｏプログラム４１は、ホストシステム８からリード要求を受信すると、その要求に係るデータを第１ＶＯＬ８０ａから取得し、その取得したデータをホストシステム８に送信する処理を含む。
　Ｉ／Ｏプログラム４１は、差分データ再配置プログラム４３の実行中にライト要求を受信した場合に、そのライトデータ（差分データ）を、再配置先サブマップに属する空きスロットに優先的に格納する処理を含んでよい。これにより、再配置先サブマップにおける差分ビットオンの連続性を高めることができる。また、再配置を完了した再配置元サブマップに新たに差分ビットオンが発生することを防止することができる。当該処理の詳細については後述する（図１５参照）。
　差分マップ９０は上記で説明したとおりである。詳細については後述する（図４参照）。サブマップ管理テーブル５２は、各サブマップに関する情報を管理するためのテーブルである。詳細については後述する（図５参照）。同期設定テーブル５４は、ＶＯＬ同期プログラム４２に関する設定値が格納されるテーブルである。詳細については後述する（図６参照）。同期時間分析テーブル５６は、ＶＯＬ同期プログラム４２にかかる時間を分析するための値が格納されるテーブルである。詳細については後述する（図７参照）。同期時間管理テーブル５８は、ＶＯＬ同期プログラム４２にかかる時間に関する情報を管理するためのテーブルである。詳細については後述する（図８参照）。稼働率閾値設定テーブル６０は、差分データ再配置プログラム４３の実行要否の判定に用いられる閾値が格納されるテーブルである。詳細については後述する（図９参照）。採用判定設定テーブル６２は、差分データ再配置プログラム４３の実行要否に関する各判定の採用可否が格納されるテーブルである。詳細については後述する（図１０参照）。
　図４は、差分マップ９０の構成例を示す。
　差分マップ９０は、ＶＯＬにおけるスロットに付与されているアドレス（「ＶＯＬアドレス」という）と、そのスロットに差分データが格納されているか否かを示す差分ビットとを対応付けて管理するための情報である。差分マップ９０は、フィールド値として、ＶＯＬアドレス１０１と、差分ビット１０２と、を有してよい。
　ＶＯＬアドレス１０１は、ＶＯＬの差分データ格納領域に含まれるスロットに付与されているアドレスである。
　差分ビット１０２は、ＶＯＬアドレス１０１の示すスロットに差分データが格納されているか否かを示すフラグである。差分データが格納されているＶＯＬアドレス１０１に対応する差分ビットは差分ビットオン（「１」）となり、差分データの格納されていないＶＯＬアドレス１０に対応する差分ビットは差分ビットオフ（「０」）となる。
　次に、図４を参照しながら、差分ビットオンを連続的に再配置する交換処理の例を説明する。例えば、ＶＯＬアドレス１０１「０ｘ００００～０ｘ００３０」が再配置先サブマップに属しており、ＶＯＬアドレス１０１「０ｘ０２７０」が再配置元サブマップに属しているとする。この場合、ＶＯＬアドレス１０１「０ｘ０２７０」の差分ビットオンと、再配置先サブマップに属する何れかの差分ビットオフとを、交換する。ここで、再配置先サブマップに属する差分ビットオフのＶＯＬアドレス１０１の内、最先のＶＯＬアドレス１０１は「０ｘ００１０」である。この場合、ＶＯＬアドレス１０１「０ｘ０２７０」の差分ビットオン１０２と、ＶＯＬアドレス１０１「０ｘ００１０」の差分ビットオフ１０２とが、交換されてよい。すなわち、交換元のＶＯＬアドレス１０１「０ｘ０２７０」に対応する差分データ格納済みの物理アドレスと、交換先のＶＯＬアドレス１０１「０ｘ００１０」に対応する差分データ未格納の物理アドレスとが交換されてよい。これにより、ＶＯＬアドレス１０１「０ｘ００００」と「０ｘ００１０」の２つの差分ビットが連続してオンとなる。これを繰り返すことにより、再配置先サブマップにおける差分ビットオンの連続性を高めることができる。
　図５は、サブマップ管理テーブル５２の構成例を示す。
　サブマップ管理テーブル５２は、差分マップ９０に対する分割処理によって分割された各サブマップに関する情報を管理するためのテーブルである。サブマップ管理テーブル５２は、フィールド値として、サブマップＩＤ１１１と、ＶＯＬアドレス区間１１２と、差分ビットオンの数１１３と、差分ビットの総数１１４と、差分ビットオンの割合１１５と、順位１１６と、差分ビットオンの最後尾１１７とを有してよい。
　サブマップＩＤ１１１は、サブマップを識別するための値である。サブマップＩＤ１１１は、差分マップ９０のＩＤであってもよい。例えば図５におけるサブマップＩＤ１１１「Ｒ」は差分マップ９０のＩＤであり、サブマップＩＤ１１１「Ｒ１」～「Ｒ４」は、差分マップ９０「Ｒ」から分割されたサブマップのＩＤであってよい。
　ＶＯＬアドレス区間１１２は、サブマップＩＤ１１１のサブマップに属するＶＯＬアドレスの区間である。
　差分ビットオンの数１１３は、サブマップＩＤ１１１のサブマップに属する差分ビットオンの数（すなわち、差分データの数）である。
　差分ビットの総数１１４は、サブマップＩＤ１１１のサブマップに属する差分ビットの総数（すなわちスロットの総数）である。
　差分ビットオンの割合１１５は、サブマップＩＤ１１１のサブマップにおける差分ビットの総数１１４に対する差分ビットオンの数１１３の割合である。
　順位１１６は、サブマップＩＤ１１１のサブマップにおける差分ビットオンの割合１１５が、同一の差分マップ９０から分割された全てのサブマップの中で何番目に大きいかを示す値である。
　差分ビットオンの最後尾１１７は、サブマップＩＤ１１１のサブマップにおいて、ＶＯＬアドレスの最後尾の差分ビットオンに関する情報である。サブマップＩＤ１１１のサブマップに差分ビットオンが存在しない場合、差分ビットオンの最後尾１１７は「０」であってよい。サブマップＩＤ１１１のサブマップにおいて、最後尾の差分ビットオンのＶＯＬアドレスが不明の場合、差分ビットオンの最後尾１１７は「－１」であってよい。サブマップＩＤ１１１のサブマップにおいて、最後尾の差分ビットオンのＶＯＬアドレスが判明している場合、差分ビットオンの最後尾１１７はその判明しているＶＯＬアドレスであってよい。
　図６は、同期設定テーブル５４の構成例を示す。
　同期設定テーブル５４は、ＶＯＬ同期プログラム４２に関する設定値が格納されるテーブルである。同期設定テーブル５４は、フィールド値として、ペアＩＤ１２１と、上限時間１２２と、前回の再同期時間１２３と、安全係数１２４と、次回の再配置要否１２５とを有してよい。
　ペアＩＤ１２１は、同期対象（バックアップ対象）のＶＯＬのペアを識別するための値である。ペアＩＤ１２１は、例えば同期対象の２つのＶＯＬのＩＤの組み合わせであってよい。
　上限時間１２２は、ペアＩＤ１２１のＶＯＬ間において、ＶＯＬ同期プログラム４２にかけることのできる時間の上限を示す値である。上限時間１２２は、ユーザが設定してもよいし、ストレージコントローラ２０が自動的に設定してもよい。
　前回の再同期時間１２３は、ペアＩＤ１２１のＶＯＬ間において、前回のＶＯＬ同期プログラム４２にかかった時間である。
　安全係数１２４は、上限時間１２２に対してどのくらいの余裕を持たせるかを示す値である。例えば図６のペアＩＤ１２１「第１ＶＯＬ：第２ＶＯＬ」の上限時間１２２は「２００分」、安全係数１２４は「１０％」である。この場合、第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂとの間におけるＶＯＬ同期プログラム４２は、「２００分×（１００％－１０％）＝１８０分」以内に完了することが望ましい。安全係数１２４は、ユーザが設定してもよいし、ストレージコントローラ２０が自動的に設定してもよい。
　次回の再配置要否１２５は、ペアＩＤ１２１のＶＯＬ間における次回のＶＯＬ同期プログラム４２の前に、差分データ再配置プログラム４３を実行する必要かあるか否かを示す情報である。差分データ再配置プログラム４３が必要な場合、次回の再配置要否１２５は「必要」、差分データ再配置プログラム４３が不要な場合、次回の再配置要否１２５は「不要」であってよい。次回の再配置要否１２５は、上限時間１２２と、安全係数１２４と、前回の再同期時間１２３とに基づいて、ストレージコントローラ２０が自動的に決定してよい。例えば、ストレージコントローラ２０は、次回のＶＯＬ同期プログラム４２にかかる予測時間が上限時間１２２に安全係数１２４を考慮した時間よりも長いならば、次回の再配置要否１２５を「必要」と判定し、そうでないならば、次回の再配置要否１２５を「不要」と判定してよい。差分データ再配置プログラム４３を実行することにより、ＶＯＬ同期プログラム４２にかかる時間が短縮し得るからである。
　ストレージコントローラ２０は、ペアＩＤ１２１毎に上限時間１２２及び安全係数１２４を入力できるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を生成してもよい。このＧＵＩには、入力された上限時間１２２及び安全係数１２４に連動して次回の再配置要否１２５の結果が表示されてもよい。このＧＵＩは、ユーザが使用しているホストシステム８の表示装置に出力されてよい。
　図７は、同期時間分析テーブル５６の構成例を示す。
　同期時間分析テーブル５６は、ＶＯＬ同期プログラム４２かかる時間を分析するための値が格納されるテーブルである。同期時間分析テーブル５６には、過去のＶＯＬ同期プログラム４２における実測値を含むレコードと、今後のＶＯＬ同期プログラム４２における予測値を含むレコードの両方が格納されてよい。同期時間分析テーブル５６は、フィールド値として、同期ＩＤ１３１と、Ｑ到達時間１３２と、差分ビットオンの数１３３と、差分ビットオンの増加率１３４と、再同期にかかる時間１３５とを有してよい。
　同期ＩＤ１３１は、レコードが何れのＶＯＬ同期プログラム４２に関するものであるかを識別するための情報である。同期ＩＤ１３１は、そのレコードが実測値又は予測値の何れのものであるかを識別する情報を含んでよい。例えば図７の同期ＩＤ１３１「１（実測）」は、そのレコードが、実行済みである１回目のＶＯＬ同期プログラム４２における実測値を含むことを示す。同期ＩＤ１３１「２（予測）」は、そのレコードが、実行予定である２回目のＶＯＬ同期プログラム４２における予測値を含むことを示す。同期ＩＤ１３１は、ＶＯＬ同期プログラム４２が実行された時刻又は実行される予定の時刻であってよい。
　Ｑ到達時間１３２は、同期ＩＤ１３１のＶＯＬ同期プログラム４２において、差分ビットオン１３３の数が閾値Ｑに到達するまでにかかった実際の時間である。Ｑ到達時間１３２は、実測及び予測の何れのレコードにおいても実測値であってよい。
　実測に係る差分ビットオンの数１３３は、同期ＩＤ１３１のＶＯＬ同期プログラム４２が実行されたときの実際の差分ビットオンの数である。予測に係る差分ビットオンの数１３３は、同期ＩＤのＶＯＬ同期プログラム４２が実行されるときに予測される差分ビットオンの数である。
　実測に係る差分ビットオンの増加率１３４は、同期ＩＤ１３１のＶＯＬ同期プログラム４２が実際に実行されたときまでの間における、単位時間当たりの差分ビットオンの数の増加の割合を示す値である。予測に係る差分ビットオンの増加率１３４は、同期ＩＤ１３１のＶＯＬ同期プログラム４２が実行されるときまでの間において予測される、単位時間当たりの差分ビットオンの数の増加の割合を示す値である。
　実測に係る再同期にかかる時間１３５は、同期ＩＤ１３１のＶＯＬ同期プログラム４２の開始から完了までに実際にかかった時間である。予測に係る再同期にかかる時間１３５は、同期ＩＤ１３１のＶＯＬ同期プログラム４２の開始から完了までにかかると予測される時間である。
　例えば図７に示すように、同期ＩＤ１３１「１（実測）」のＶＯＬ同期プログラム４２（前回の周期におけるＶＯＬ同期プログラム４２）において、Ｑ到達時間１３２が「ｔｐ（分）」、差分ビットオンの数１３３が「Ｎｐ（個）」、差分ビットオンの増加率１３４が「ｎｐ（個／分）」、再同期にかかる時間１３５が「Ｔｐ（分）」であったとする。そして、同期ＩＤ１３１「２（予測）」のＶＯＬ同期プログラム４２（今回の周期におけるＶＯＬ同期プログラム４２）において、Ｑ到達時間１３２が「ｔｃ（分）」であったとする。この場合、同期ＩＤ１３１「２」の予測に係る差分ビットオンの数１３３「Ｎｃ」は、「Ｎｃ＝（ｔｐ／ｔｃ）×Ｎｐ」として算出されてよい。また、同期ＩＤ１３１「２」の予測に係る差分ビットオンの増加率１３４「ｎｃ」は、「ｎｃ＝（ｔｐ／ｔｃ）×ｎｐ」として算出されてよい。また、同期ＩＤ１３１「２」の予測に係る再同期にかかる時間１３５「Ｔｃ」は、「Ｔｃ＝（ｔｐ／ｔｃ）×Ｔｐ」として算出されてよい。
　図８は、同期時間管理テーブル５８の構成例を示す。
　同期時間管理テーブル５８は、ＶＯＬ同期プログラム４２にかかる時間に関する情報を管理するためのテーブルである。同期時間管理テーブル５８は、フィールド値として、ペアＩＤ１４１と、上限時間１４２と、安全係数１４３と、許容時間１４４と、予測時間１４５と、予測超過時間１４６と、実測シーケンシャル比率１４７と、目標シーケンシャル比率１４８とを有してよい。ペアＩＤ１４１、上限時間１４２、及び、安全係数１４３は、上記で説明したとおりである（図６参照）。
　許容時間１４４は、ペアＩＤ１４１のＶＯＬ間におけるＶＯＬ同期プログラム４２に許容される時間である。許容時間１４４は、上限時間１４２と安全係数１４３に基づいて、ストレージコントローラ２０によって自動的に算出されてよい。例えば、上限時間１４２「４００分」、安全係数１４３「２０％」の場合、許容時間１４４は「４００分×（１００％－２０％）＝３２０分」と算出されてよい。
　予測時間１４５は、ペアＩＤ１４１のＶＯＬ間におけるＶＯＬ同期プログラム４２の開始から完了までにかかると予測される時間である。ストレージコントローラ２０は、過去のＶＯＬ同期プログラム４２にかかった時間（実測値）に基づいて、この予測時間１４５を自動的に算出してよい。
　予測超過時間１４６は、ペアＩＤ１４１のＶＯＬ間において、予測時間１４５が許容時間１４４をどのくらい超過するかを示す予測値である。例えば、予測時間１４５「３５０分」、許容時間１４４「３２０分」の場合、予測超過時間１４６は「３５０分－３２０分＝３０分」と算出されてよい。
　シーケンシャル比率は、差分マップ９０において、連続性を有する差分ビットオンの数と、連続性を有さない（ランダムな）差分ビットオンの数の総和に対する連続性を有する差分ビットオンの数の割合を示す値であってよい。連続性を有する差分ビットオンであるか否かは、例えば、差分ビットオンが所定数以上連続しているか否かに基づいて判定されてよい。
　実測シーケンシャル比率１４７は、ペアＩＤ１４１の同期元ＶＯＬにおいて或る時点（例えば現時点）に実測されたシーケンシャル比率である。
　目標シーケンシャル比率１４８は、ペアＩＤ１４１の同期元ＶＯＬが目標とするシーケンシャル比率である。目標シーケンシャル比率１４８は、ＶＯＬ同期プログラム４２を許容時間１４４内に完了するために必要なシーケンシャル比率であってよい。すなわち、ＶＯＬ同期プログラム４２を許容時間１４４内に完了するためには、実測シーケンシャル比率１４７が目標シーケンシャル比率１４８以上になるまで差分データ再配置プログラム４３を実行すればよい。
　図９は、稼働率閾値設定テーブル６０の構成例を示す。
　稼働率閾値設定テーブル６０は、差分データ再配置プログラム４３の実行要否の判定に用いられるリソース稼働率の閾値が格納されるテーブルである。稼働率閾値設定テーブル６０は、フィールド値として、リソースＩＤ１５１と、稼働率閾値１５２とを有してよい。
　リソースＩＤ１５１は、ストレージ装置１０におけるリソースを識別するための情報である。リソースは、例えば、プロセッサリソース、メモリリソース、又は、ネットワークリソースなどであってよい。
　稼働率閾値１５２は、リソースＩＤ１５１のリソースの稼働率に対する閾値を示す。
　例えば、ストレージコントローラ２０は、リソースＩＤ１５１のリソースの稼働率がそのリソースＩＤ１５１に対応する稼働率閾値１５２を超える場合、そのリソースＩＤ１５１のリソースの稼働率がそのリソースＩＤ１５１に対応する稼働率閾値１５２以下となるまで、差分データ再配置プログラム４３の実行を一時中止する。なぜなら、稼働率が高いときに差分データ再配置プログラム４３を実行すると、更に稼働率が高くなり、他の処理の性能（例えばＩ／Ｏプログラム４１の性能）が低下し得るからである。
　ストレージコントローラ２０は、リソースＩＤ１５１毎に稼働率閾値１５２を入力できるＧＵＩを生成してもよい。このＧＵＩは、ユーザが利用しているホストシステム８の表示装置に出力されてよい。
　図１０は、採用判定設定テーブル６２の構成例を示す。
　採用判定設定テーブル６２は、差分データ再配置プログラム４３の実行要否に関する各判定の採用可否が格納されるテーブルである。採用判定設定テーブル６２は、フィールド値として、判定内容１６１と、採用可否１６２とを有してよい。
　判定内容１６１は、差分データ再配置プログラム４３の実行可否に関する判定の内容を示す情報である。
　採用可否１６２は、判定内容の判定を採用するか否かを示す情報である。採用可否１６１は、ユーザが設定してもよいし、ストレージコントローラ２０が自動的に設定してもよい。
　図１１は、差分データ再配置プログラム４３の処理の一例を示すフローチャートである。
　ストレージコントローラ２０は、差分データ再配置プログラム４３を実行する必要があるか否かを判定する要否判定処理を実行する（Ｓ１０１）。要否判定処理の詳細については後述する（図１２参照）。
　ストレージコントローラ２０は、差分データ再配置プログラム４３を実行する必要が無いと判定した場合（Ｓ１０１：再配置不要）、本処理を終了する。ストレージコントローラ２０は、差分データ再配置プログラム４３を実行する必要があると判定した場合（Ｓ１０１：再配置必要）、次のＳ１０２の処理に進む。
　ストレージコントローラ２０は、差分マップ９０の分割処理を実行する（Ｓ１０２）。差分マップ９０の分割処理の詳細については後述する。
　ストレージコントローラ２０は、差分マップ９０の分割処理（Ｓ１０２）によって分割されたサブマップに関する処理を実行する（Ｓ１０３）。サブマップに関する処理の詳細については後述する（図１３参照）。
　ここで、ストレージコントローラ２０は、差分データの再配置が完了したと判定した場合（Ｓ１０３：再配置完了）、本処理を終了する。ストレージコントローラ２０は、差分データの再配置が未完了と判定した場合（Ｓ１０３：再配置未完了）、次のＳ１０４の処理へ進んでよい。
　ストレージコントローラ２０は、差分ビットの交換処理を行う（Ｓ１０４）。交換処理の詳細については後述する。
　ストレージコントローラ２０は、後処理を実行する（Ｓ１０５）。後処理の詳細については後述する。そして、ストレージコントローラ２０は、Ｓ１０３の処理に戻る。
　図１２は、要否判定処理（Ｓ１０１）の詳細を示すフローチャートである。
　ストレージコントローラ２０は、差分マップ９０を新規に作成し、初期化（例えば差分ビットを全てオフに）する（Ｓ２０１）。
　ストレージコントローラ２０は、差分マップ９０において、差分ビットオンの数が閾値Ｑ以上となるまでのＱ到達時間１３２「ｔｃ」の計測を開始する（Ｓ２０２）。
　ストレージコントローラ２０は、同期元のＶＯＬに対するライトコマンドを受信した場合（Ｓ２１０：ＹＥＳ）、差分マップ更新処理を実行し（Ｓ２１１）、そうでない場合（Ｓ２１０：ＮＯ）、Ｓ２１０の処理に戻る。差分マップ更新処理の詳細については後述する（図１４参照）。
　ストレージコントローラ２０は、差分マップ９０における差分ビットオンの数が閾値Ｑ以上であるか否かを判定し（Ｓ２２０）、その判定結果が否定的な場合（Ｓ２２０：ＮＯ）、Ｓ２１０の処理に戻る。
　その判定結果が肯定的な場合（Ｓ２２０：ＹＥＳ）、ストレージコントローラ２０は、Ｑ到達時間「ｔｃ」の計測を終了し、その計測した時間「ｔｃ」を同期時間分析テーブル５６に格納する（Ｓ２２１）。
　ストレージコントローラ２０は、予測に係る差分ビットオンの数１３３「Ｎｃ」を算出する（Ｓ２２２）。例えば、ストレージコントローラ２０は「Ｎｃ＝（ｔｐ／ｔｃ）×Ｎｐ」を算出する。
　ストレージコントローラ２０は、予測に係る再同期にかかる時間１３５「Ｔｃ」を算出する（Ｓ２２３）。例えば、ストレージコントローラ２０は「Ｔｃ＝（ｔｐ／ｔｃ）×Ｔｐ」を算出する。
　ストレージコントローラ２０は、予測に係る再同期にかかる時間１３５「Ｔｃ」が許容時間１４４を超えているか否か判定する（Ｓ２３０）。
　Ｓ２３０の判定結果が肯定的な場合（Ｓ２３０：ＹＥＳ）、ストレージコントローラ２０は、差分データの再配置が必要と判定する（Ｓ２３１）。この場合、図１２のＳ１０２以降の処理が実行される。
　Ｓ２３０の判定結果が否定的な場合（Ｓ２３０：ＮＯ）、ストレージコントローラ２０は、差分データの再配置が不要と判定する（Ｓ２３２）。この場合、図１２のＳ１０２以降の処理は実行されない。
　次に、差分マップ９０の分割処理（Ｓ１０２）の詳細を説明する。
　ストレージコントローラ２０は、差分マップ９０における予測に係る差分ビットオンの数１３３「Ｎｃ」に基づいて、差分マップ９０の分割数を決定する（Ｓ３０１）。
　ストレージコントローラ２０は、その決定した分割数で差分マップ９０を分割し、複数のサブマップを生成する（Ｓ３０２）。ストレージコントローラ２０は、それぞれのサブマップにおけるサブマップＩＤ１１１、ＶＯＬアドレス区間１１２、及び、差分ビットの総数１１４を、サブマップ管理テーブル５２に格納する。
　ストレージコントローラ２０は、それぞれのサブマップにおける差分ビットオンの数１１３を、サブマップ管理テーブル５２に格納する（Ｓ３０３）。
　ストレージコントローラ２０は、複数のサブマップの中から差分ビットオンの数１１３が最も多いサブマップを、再配置先サブマップに選択する（Ｓ３０４）。ストレージコントローラ２０は、それぞれのサブマップの差分ビットオンの数１１３に基づいて、差分ビットオンの割合１１５、及び、順位１１６などを算出し、サブマップ管理テーブル５２に格納する。
　図１３は、サブマップに関する処理（Ｓ１０３）の詳細を示すフローチャートである。
　ストレージコントローラ２０は、本処理において未選択のサブマップが存在するか否かを判定する（Ｓ４０１）。未選択のサブマップが存在しない場合（Ｓ４０１：ＮＯ）、ストレージコントローラ２０は、「再配置完了」と判定し（Ｓ４１２）、図１１に示す処理に戻る（ＲＥＴＵＲＮ）。この場合、図１１に示すサブマップに関する処理（Ｓ１０３）の判定結果が「再配置完了」となり、差分データ再配置プログラム４３が終了する。
　未選択のサブマップが存在する場合（Ｓ４０１：ＹＥＳ）、ストレージコントローラ２０は、未選択のサブマップの中から、差分ビットオンの数１１３の最も少ないサブマップを再配置元サブマップに選択する（Ｓ４０２）。
　ストレージコントローラ２０は、再配置元サブマップが再配置処理の対象であるか否かを判定する（Ｓ４０３）。例えば、サブマップ管理テーブル５２において再配置元サブマップに係る差分ビットオンの最後尾１１７が「０」の場合（差分ビットオンが存在しない場合）、又は、再配置元サブマップと再配置先サブマップが同一の場合、ストレージコントローラ２０は、Ｓ４０３の判定結果を否定的としてよい。Ｓ４０３の判定結果が否定的な場合（Ｓ４０３：ＮＯ）、ストレージコントローラ２０は、Ｓ４０１の処理に戻る。Ｓ４０３の判定結果が肯定的な場合（Ｓ４０３：ＹＥＳ）、ストレージコントローラ２０は次のＳ４１０の処理に進む。
　ストレージコントローラ２０は、差分マップ９０の直近の実測シーケンシャル比率１４７が、目標シーケンシャル比率１４８以上であるか否かを判定する（Ｓ４１０）。Ｓ４１０の判定結果が肯定的な場合（Ｓ４１０：ＹＥＳ）、ストレージコントローラ２０は「再配置完了」と判定し（Ｓ４１０）、図１１に示す処理に戻る（ＲＥＴＵＲＮ）。これ以上差分データの再配置をせずとも、現状の差分マップ９０のままで、ＶＯＬ同期プログラム４２が許容時間１４４以内に完了し得るからである。この場合、図１２に示すサブマップに関する処理の判定結果が「再配置完了」となり、差分データ再配置プログラム４３が終了する。Ｓ４１０の条件が満たされた時点で再配置を完了としているのは、再配置処理にはそれなりに処理負荷がかかるからである。また、差分ビットオン数が多いサブマップを優先的に再配置先に選択することにより、より少ない再配置数でシーケンシャル比率を高めることができる。
　Ｓ４１０の判定結果が否定的な場合（Ｓ４１０：ＮＯ）、ストレージコントローラ２０はＳ４１３の処理に進む。なお、採用判定設定テーブル６２において、このＳ４１０の判定内容１６１を採用しない（採用可否１６２「ＮＯ」）と設定されている場合、ストレージコントローラ２０は、このＳ４１０の判定を実行せずにそのままＳ４１３の処理に進んでよい。
　ストレージコントローラ２０は、再配置元サブマップに属する差分ビットオンの中の１つを交換元の差分ビットオンに選択する（Ｓ４１３）。
　ストレージコントローラ２０は、直近に測定されたリソースの稼働率が、稼働率閾値設定テーブル６０におけるこのリソースのＩＤ１５１に対応する稼働率閾値１５２以上であるか否かを判定する（Ｓ４２０）。
　Ｓ４２０の判定結果が肯定的な場合（Ｓ４２０：ＹＥＳ）、ストレージコントローラ２０は、その交換元の差分ビットオンを所定のキューに登録し（Ｓ４３１）、一定時間待機後（Ｓ４３２）、Ｓ４２０の処理に戻る。
　Ｓ４２０の判定結果が否定的な場合（Ｓ４２０：ＮＯ）、ストレージコントローラ２０は、「再配置未完了」と判定し（Ｓ４２１）、図１２に示す処理に戻る（ＲＥＴＵＲＮ）。この場合、図１１に示すサブマップに関する処理（Ｓ１０３）の判定結果が「再配置未完了」となり、次の交換処理（Ｓ１０４）が実行される。
　次に、交換処理（Ｓ１０４）の詳細を説明する。
　ストレージコントローラ２０は、再配置先サブマップにおける差分ビットオフの中から、交換先の差分ビットオフを選択する（Ｓ５０１）。ここで、ストレージコントローラ２０は、再配置先サブマップにおいて、ＶＯＬアドレス１０１が最先の差分ビットオフを優先的に選択してよい。再配置先サブマップにおいて、差分ビットオンができるだけ連続して配置されるようにするためである。
　ストレージコントローラ２０は、再配置元サブマップにおいて交換元に選択された差分ビットオンと、再配置先サブマップにおいて交換先に選択された差分ビットオンとを交換する（Ｓ５０２）。すなわち、ストレージコントローラ２０は、交換元の差分ビットオンに対応する差分データの格納されているスロットと、交換先の差分ビットオフに対応する空きスロットとを交換する。そして、ストレージコントローラ２０は、図１１に示す処理に戻る（ＲＥＴＵＲＮ）。
　次に、後処理（Ｓ１０５）の詳細を説明する。
　ストレージコントローラ２０は、サブマップ管理テーブル５２において、再配置先サブマップに係るレコードの差分ビットオンの数１１３、差分ビットオンの割合１１５、及び、差分ビットオンの最後尾１１７を更新する（Ｓ６０１）。
　ストレージコントローラ２０は、サブマップ管理テーブル５２において、再配置元サブマップに係るレコードの差分ビットオンの数１１３、差分ビットオンの割合１１５、及び、差分ビットオンの最後尾１１７を更新する（Ｓ６０２）。
　ストレージコントローラ２０は、同期時間管理テーブル５８において、実測シーケンシャル比率１４７を更新する（Ｓ６０３）。そして、ストレージコントローラ２０は、図１２に示す処理に戻る（ＲＥＴＵＲＮ）。図１１に示す処理において、ストレージコントローラ２０は、Ｓ１０３の処理に戻る。
　図１４は、差分マップ更新処理（Ｓ２１１）の一例を示すフローチャートである。
　差分マップ更新処理（Ｓ２１１）は、図１２に示すように、同期元ＶＯＬに対するライトコマンドを受信した場合に実行される。
　ストレージコントローラ２０は、再配置先サブマップが既に決定しているか否かを判定する（Ｓ７０１）。再配置先サブマップが未だ決定していない場合（Ｓ７０１：ＮＯ）、ストレージコントローラ２０はＳ７１０の処理に進む。
　再配置先サブマップが既に決定している場合（Ｓ７０１：ＹＥＳ）、ストレージコントローラ２０は次に、ライトコマンドの指定するＶＯＬアドレス１０１が再配置先サブマップに属するか否かを判定する（Ｓ７０２）。Ｓ７０２の判定結果が肯定的な場合（Ｓ７０２：ＹＥＳ）、ストレージコントローラ２０はＳ７１０の処理に進む。
　Ｓ７０２の判定結果が否定的な場合（Ｓ７０２：ＮＯ）、ストレージコントローラ２０は、ライトコマンドの指定するＶＯＬアドレス１０１のスロットと、再配置先サブマップに属する空きスロットとを交換する（Ｓ７０３）。また、ストレージコントローラ２０は、再配置先サブマップにおける差分ビットオフの内、最先のＶＯＬアドレス１０１を優先的に交換先に選択してよい。そして、ストレージコントローラ２０はＳ７１０の処理に進む。
　Ｓ７１０の処理において、ストレージコントローラ２０は、ライト先のスロットにライトデータ（つまり差分データ）を格納する（Ｓ７１０）。ここで、Ｓ７０３でライト先のスロットが交換されている場合、差分データは、再配置先サブマップに属する交換先のスロットに格納されることになる。
　ストレージコントローラ２０は、差分マップ９０を更新する（Ｓ７１１）。すなわち、ストレージコントローラ２０は、差分マップ９０において、差分データが格納されたスロットに対応する差分ビットをオンに更新する。
　ストレージコントローラ２０は、サブマップ管理テーブル５２を更新する（Ｓ７１２）。すなわち、ストレージコントローラ２０は、サブマップ管理テーブル５２において、再配置先サブマップに係るレコードの差分ビットオンの数に、Ｓ７１１において差分ビットがオンに更新された数を加算する。
　ストレージコントローラ２０は、サブマップ管理テーブル５２の差分データが格納されたサブマップに係るレコードの差分ビットオンの最後尾１１７を参照し、差分データが格納されたサブマップの差分ビットオンの最後尾１１７のＶＯＬアドレス１０１が判明しているか否かを判定する（Ｓ７２０）。
　Ｓ７２０の判定結果が否定的な場合（Ｓ７２０：ＮＯ）、ストレージコントローラ２０は、図１２に示す処理に戻る（ＲＥＴＵＲＮ）。
　Ｓ７２０の判定結果が肯定的な場合（Ｓ７２０：ＹＥＳ）、ストレージコントローラ２０は次に、差分データのライト先のＶＯＬアドレス１０１が、その差分ビットオンの最後尾のＶＯＬアドレス１０１よりも後方であるか否かを判定する（Ｓ７２１）。
　Ｓ７２１の判定結果が否定的な場合（Ｓ７２１：ＮＯ）、ストレージコントローラ２０は、図１２に示す処理に戻る（ＲＥＴＵＲＮ）。
　Ｓ７２１の判定結果が肯定的な場合（Ｓ７２１：ＹＥＳ）、ストレージコントローラ２０は次に、サブマップ管理テーブル５２において、当該サブマップに係るレコードの差分ビットオンの最後尾１１７を「－１」（不明）に更新する（Ｓ７２２）。そして、ストレージコントローラ２０は、図１２に示す処理に戻る（ＲＥＴＵＲＮ）。
　図１５は、ＶＯＬ同期プログラム４２の処理の一例を示すフローチャートである。
　ストレージコントローラ２０は、差分データ再配置プログラム４３を実行したか否かを判定する（Ｓ８０１）。差分データ再配置プログラム４３を実行しなかった場合（Ｓ８０１：ＮＯ）、ストレージコントローラ２０は、通常のＶＯＬ間の再同期処理を実行し（Ｓ８１０）、Ｓ８３０の処理へ進む。
　差分データ再配置プログラム４３を実行した場合（Ｓ８０１：ＹＥＳ）、ストレージコントローラ２０は、次のＳ８０２の処理へ進む。
　ストレージコントローラ２０は、本ＶＯＬ同期プログラム４２において未選択のサブマップが存在するか否かを判定し（Ｓ８０２）、未選択のサブマップが存在しない場合（Ｓ８０２：ＮＯ）、Ｓ８３０の処理へ進む。
　未選択のサブマップが存在する場合（Ｓ８０２：ＹＥＳ）、ストレージコントローラ２０は、未選択のサブマップの中から、差分ビットオンの数が最大のサブマップを選択する（Ｓ８０３）。
　ストレージコントローラ２０は、選択したサブマップにおいて差分ビットオンの最後尾１１７のＶＯＬアドレス１０１が判明しているか否かを判定する（Ｓ８２０）。
　選択したサブマップにおいて差分ビットオンの最後尾１１７のＶＯＬアドレス１０１が不明な場合（Ｓ８２０：ＮＯ）、ストレージコントローラ２０は次の処理を行う。すなわちストレージコントローラ２０は、そのサブマップ全体を探索して差分ビットオンを抽出する。そして、ストレージコントローラ２０は、その抽出した差分ビットオンに対応する複数のＶＯＬアドレス１０１のそれぞれの差分データを、ランダムアクセスのコマンドによって取得する（Ｓ８２２）。そして、ストレージコントローラ２０は、Ｓ８０２の処理に戻る。
　選択したサブマップにおいて差分ビットオンの最後尾１１７のＶＯＬアドレス１０１が判明している場合（Ｓ８０３：ＹＥＳ）、ストレージコントローラ２０は次の処理を行う。すなわちストレージコントローラ２０は、そのサブマップの先頭のＶＯＬアドレス１０１から差分ビットオンの最後尾１１７のＶＯＬアドレス１０１までの間の全ての差分データをシーケンシャルアクセスのコマンドによって一度に取得する（Ｓ８２２）。そして、ストレージコントローラ２０は、Ｓ８０２の処理に戻る。
　Ｓ８３０においてストレージコントローラ２０は、Ｓ８２１及びＳ８２２で取得した差分データを、同期先のストレージ装置に送信する（Ｓ８３０）。
　そして、ストレージコントローラ２０は、同期時間管理テーブル５８を更新し（Ｓ８３１）、本処理を終了する。
　以上、幾つかの実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実行することが可能である。
　上述では、２つのストレージ装置１０ａの有する第１ＶＯＬ８０ａとストレージ装置１０ｂの有する第２ＶＯＬ８０ｂとの間におけるコピー処理（リモートコピー処理）の実施形態について説明したが、上述の実施形態の内容は、他の構成にも適用可能である。例えば、上述の実施形態の内容は、１つのストレージ装置内におけるコピー処理（ローカルコピー処理）においても適用可能である。この場合、１つのストレージ装置１０が、１つのストレージコントローラ２０と、第１ＶＯＬ８０ａと、第２ＶＯＬ８０ｂとを有し、１つのストレージコントローラ２０において、第１ＶＯＬ８０ａに関する差分マップ９０ａと第２ＶＯＬ８０ｂに関する差分マップ８０ｂとを管理してよい。そして、１つのストレージ装置１０内における第１ＶＯＬ８０ａと第２ＶＯＬ８０ｂとの間のローカルコピー処理に、上述の実施形態の内容を適用してもよい。
　１：ストレージシステム　１０：ストレージ装置　２０：ストレージコントローラ　３１：ＰＤＥＶ　８０：ボリューム
 
 

 

Claims (12)

  1. 　第１のボリュームに格納されたデータが格納される１以上の記憶デバイスと、
    　前記１以上の記憶デバイスを制御するストレージコントローラと
    を有し、
    　前記第１のボリュームは、複数の記憶領域である複数のスロットに分割されており、
    　前記ストレージコントローラは、所定のタイミング以降に格納されたデータを含む差分データが格納されている使用スロットであるか差分データが格納されていない空きスロットであるかを前記複数のスロットの各々について表す差分情報を有し、
    　前記ストレージコントローラは、
    　　前記差分情報を複数の差分情報部分に分割する分割処理と、
    　　前記複数の差分情報部分の中から第１の差分情報部分及び第２の差分情報部分を選択する選択処理と、
    　　前記第２の差分情報部分に属する使用スロットのアドレスと、前記第１の差分情報部分に属する空きスロットのアドレスとを交換する交換処理と
    を実行する
    ストレージシステム。
  2. 　前記ストレージコントローラは前記交換処理において、前記第２の差分情報部分に属する前記使用スロットのアドレスと、前記第１の差分情報部分に属する空きスロットの内の最先のアドレスとを交換する
    請求項１に記載のストレージシステム。
  3. 　前記ストレージコントローラは、
    　　前記第１のボリュームに対するデータの格納要求を新たに受信した場合、前記受信した格納要求から特定される格納先が前記第２の差分情報部分に属するスロットであるか否かを判定し、
    　　当該判定結果が肯定的な場合、前記データの格納要求先のスロットのアドレスと、前記第１の差分情報部分に属する空きスロットのアドレスとを交換し、前記第１の差分情報部分に属する交換後のスロットに前記データを格納する
    請求項２に記載のストレージシステム。
  4. 　前記第１のボリュームとペアを構成する第２のボリュームをさらに有し、
    　前記ストレージコントローラは、前記交換処理の実行後、前記第１のボリュームから前記第１の差分情報部分に属する連続する複数の使用ブロックに格納されている複数の差分データをシーケンシャルに取得し、その取得した複数の差分データを前記第２のボリュームにコピーするコピー処理を実行する
    請求項３に記載のストレージシステム。
  5. 　前記ストレージコントローラは、前記差分情報における複数の使用スロットの数に対する連続する使用スロットの数の割合に関する値であるシーケンシャル比率が、所定の目標のシーケンシャル比率よりも小さいか否かを判定し、当該判定結果が肯定的な場合、前記シーケンシャル比率が前記目標のシーケンシャル比率以上となるまで前記交換処理を実行する
    請求項４に記載のストレージシステム。
  6. 　前記ストレージコントローラは、前記コピー処理を所定の周期で実行するにあたり、
    　　今回の周期の前記コピー処理の実行時における差分データの予測数を、今回及び過去の周期における差分データの増加率に基づいて算出し、
    　　前記差分データの予測数が所定の閾値よりも大きいか否かを判定し、当該判定結果が肯定的な場合、前記交換処理を実行する
    請求項４に記載のストレージシステム。
  7. 　前記ストレージコントローラは、前記分割処理において、前記差分情報に属する前記使用スロットの数及び前記空きスロットの数に基づいて前記差分情報の分割数を決定する
    請求項１に記載のストレージシステム。
  8. 　前記ストレージコントローラは、前記選択処理において、前記複数の差分情報部分のそれぞれに属する前記使用スロットの数に基づいて、前記第１の差分情報部分及び前記第２の差分情報部分を選択する
    請求項１に記載のストレージシステム。
  9. 　前記ストレージコントローラは、前記選択処理において、前記複数の差分情報部分の内、前記使用スロットの数及び前記空きスロットの数の合計に対する前記使用スロットの数の割合の大きい差分情報部分を優先的に前記第１の差分情報部分に選択する
    請求項８に記載のストレージシステム。
  10. 　前記ストレージコントローラは、前記選択処理において、前記複数の差分情報部分の内、前記使用スロットの数及び前記空きスロットの数の合計に対する前記使用スロットの数の割合の小さい差分情報部分を優先的に前記第２の差分情報部分に選択する
    請求項８に記載のストレージシステム。
  11. 　前記ストレージコントローラは、当該ストレージコントローラに関する稼働率が所定の閾値以上ならば、前記稼働率が所定の閾値未満となった後に前記交換処理を実行する
    請求項１に記載のストレージシステム。
  12. 　格納されたデータを１以上の記憶デバイスに格納する第１のボリュームを、複数の記憶領域である複数のスロットに分割し、
    所定のタイミング以降に格納されたデータを含む差分データが格納されている使用スロットであるか差分データが格納されていない空きスロットであるかを前記複数のスロットの各々について表す差分情報を、複数の差分情報部分に分割し、
    　前記複数の差分情報部分の中から第１の差分情報部分及び第２の差分情報部分を選択し、
    　　前記第２の差分情報部分に属する使用スロットのアドレスと、前記第１の差分情報部分に属する空きスロットのアドレスとを交換する
    記憶制御方法。
     

     
PCT/JP2015/053964 2015-02-13 2015-02-13 ストレージシステム、及び、記憶制御方法 WO2016129101A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053964 WO2016129101A1 (ja) 2015-02-13 2015-02-13 ストレージシステム、及び、記憶制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/053964 WO2016129101A1 (ja) 2015-02-13 2015-02-13 ストレージシステム、及び、記憶制御方法

Publications (1)

Publication Number Publication Date
WO2016129101A1 true WO2016129101A1 (ja) 2016-08-18

Family

ID=56614339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053964 WO2016129101A1 (ja) 2015-02-13 2015-02-13 ストレージシステム、及び、記憶制御方法

Country Status (1)

Country Link
WO (1) WO2016129101A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078899A (ja) * 1996-09-02 1998-03-24 Hitachi Ltd 情報記録再生装置
JP2005332067A (ja) * 2004-05-18 2005-12-02 Hitachi Ltd バックアップ取得方法及びディスクアレイ装置
JP2010176180A (ja) * 2009-01-27 2010-08-12 Nec Corp ストレージシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1078899A (ja) * 1996-09-02 1998-03-24 Hitachi Ltd 情報記録再生装置
JP2005332067A (ja) * 2004-05-18 2005-12-02 Hitachi Ltd バックアップ取得方法及びディスクアレイ装置
JP2010176180A (ja) * 2009-01-27 2010-08-12 Nec Corp ストレージシステム

Similar Documents

Publication Publication Date Title
US9317436B2 (en) Cache node processing
US8316180B2 (en) Method and system for rebuilding data in a distributed RAID system
JP4890160B2 (ja) ストレージシステム及びバックアップ／リカバリ方法
JP5981563B2 (ja) 情報記憶システム及び情報記憶システムの制御方法
JP6286622B2 (ja) ストレージシステム
JP6328335B2 (ja) ストレージ装置及びその制御方法
JP5073259B2 (ja) 仮想化システム及び領域割当て制御方法
US8639898B2 (en) Storage apparatus and data copy method
JP6007332B2 (ja) ストレージシステム及びデータライト方法
WO2014155525A1 (ja) ストレージシステム及び制御方法
US10579540B2 (en) Raid data migration through stripe swapping
CN113360082B (zh) 存储***及其控制方法
CN112181736A (zh) 分布式存储***及分布式存储***的配置方法
US10067882B2 (en) Storage system and storage control method
US11740823B2 (en) Storage system and storage control method
WO2016139787A1 (ja) ストレージシステム及びデータ書込み制御方法
US8572347B2 (en) Storage apparatus and method of controlling storage apparatus
JP6019940B2 (ja) 情報処理装置、コピー制御プログラム、およびコピー制御方法
US11061604B2 (en) Method and storage system architecture for accessing data by means of a compatible module
JP5712535B2 (ja) ストレージ装置、制御部およびストレージ装置制御方法
WO2018055686A1 (ja) 情報処理システム
WO2016129101A1 (ja) ストレージシステム、及び、記憶制御方法
JP2020106999A (ja) ストレージシステムおよびストレージシステムのデータ管理方法
JP2019121129A (ja) 不揮発性メモリモジュール
WO2018167950A1 (ja) ストレージシステム及び複製制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15881976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15881976

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP